原始论文 · 方法解释 · 引用记录

神经语言隐写

用语言模型生成承载秘密消息的文本。

词表分组、Huffman 编码和算术编码决定秘密比特如何映射到生成文本。分布保持与分词可靠性研究分别处理隐蔽性和消息恢复问题。

从机制读到实验

把编码规则、传输容量、检测问题和消息恢复分开理解。

01 / 方法比较

比较词表分组、Huffman、patient-Huffman、算术编码、自适应算术编码和最小熵耦合。

02 / 编码机制

用概率区间示例追踪秘密比特如何决定词元，以及接收方如何逆向恢复。

03 / 评价与安全

区分每词比特数、模型分布偏差、人工自然度、检测器表现和消息恢复率。

04 / 相关研究

理解水印的来源识别目标，以及智能体通过文本隐蔽通信的问题。

原始研究

首次 arXiv 提交：2019 年 9 月 3 日
正式发表：EMNLP-IJCNLP，2019 年 11 月

Zachary M. Ziegler*、Yuntian Deng*、Alexander M. Rush

* Zachary M. Ziegler 与 Yuntian Deng 同等贡献。

论文将算术编码与大型预训练语言模型结合，把秘密信息编码为生成文本，并使生成分布接近语言模型分布。研究包括诱导分布分析，以及 GPT-2 上的信息容量、统计散度和上下文续写人工评价；还展示了把自然语言消息编码为内容无关的载体文本。

STEGASURAS 是用于体验编码与解码过程的配套交互演示。

语言模型水印利用词元选择识别文本来源；智能体通信研究生成文本中的隐蔽信息如何支持协调。