# 神经语言隐写：论文、方法与阅读指南

由 Yuntian Deng 整理。更新日期：2026-11-11。

[论文](https://steganography.live/reading-list/zh/papers/) / fang-2017

早期神经方法

# Generating Steganographic Text with LSTMs

Tina Fang, Martin Jaggi, Katerina Argyraki

首次 arXiv 提交：2017年5月30日 · ACL 2017 Student Research Workshop

正式发表版本：2017年7月。

使用 LSTM 语言模型和词表分组，生成承载秘密比特流的文本。论文在推文与电子邮件上实验，研究嵌入容量与文本质量之间的关系。

[阅读原文 ↗](https://aclanthology.org/P17-3017/) · [PDF ↗](https://aclanthology.org/P17-3017.pdf) · [代码 ↗](https://github.com/tbfang/steganography-lstm)

## 与 Neural Linguistic Steganography 的关系

2019 年的 Neural Linguistic Steganography 引用这一早期神经方法，并在 GPT-2 上重新实现其分组编码，作为 Block 对照方法。

在[神经文本隐写方法指南](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/)中比较词表分组、Huffman 编码、算术编码与耦合方法。

## 适用范围与边界

论文将人工评审和隐写分析方法的正式评估列为后续工作；展示的文本示例不构成统计不可检测性的证明。

## 引用这篇论文

### 正式发表版本

Tina Fang, Martin Jaggi, Katerina Argyraki. [Generating Steganographic Text with LSTMs](https://aclanthology.org/P17-3017/). Proceedings of ACL 2017, Student Research Workshop, 2017

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/fang-2017/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/fang-2017/publication.csl.json)
显示 BibTeX`@inproceedings{fang-2017-publication,
  title = {{Generating Steganographic Text with LSTMs}},
  author = {Fang, Tina and Jaggi, Martin and Argyraki, Katerina},
  year = {2017},
  booktitle = {Proceedings of ACL 2017, Student Research Workshop},
  pages = {100--106},
  publisher = {Association for Computational Linguistics},
  url = {https://aclanthology.org/P17-3017/}
}
`

### arXiv 预印本

Tina Fang, Martin Jaggi, Katerina Argyraki. [Generating Steganographic Text with LSTMs](https://arxiv.org/abs/1705.10742v1). arXiv:1705.10742。首次提交：2017年5月30日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/fang-2017/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/fang-2017/preprint.csl.json)
显示 BibTeX`@misc{fang-2017-preprint,
  title = {{Generating Steganographic Text with LSTMs}},
  author = {Fang, Tina and Jaggi, Martin and Argyraki, Katerina},
  year = {2017},
  publisher = {arXiv},
  eprint = {1705.10742v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1705.10742v1}
}
`

## 原始来源

- [原始来源 1](https://aclanthology.org/P17-3017/)

- [原始来源 2](https://arxiv.org/abs/1705.10742)

- [原始来源 3](https://aclanthology.org/P17-3017.pdf)

- [原始来源 4](https://aclanthology.org/D19-1115.pdf)

- [原始来源 5](https://github.com/tbfang/steganography-lstm)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/fang-2017/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/fang-2017/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-fang-2017)


---

[论文](https://steganography.live/reading-list/zh/papers/) / rnn-stega

早期神经方法

# RNN-Stega: Linguistic Steganography Based on Recurrent Neural Networks

Zhong-Liang Yang, Xiao-Qing Guo, Zi-Ming Chen, Yong-Feng Huang, Yu-Jin Zhang

IEEE 首次在线发表：2018年9月24日 · IEEE TIFS 2019 (online 2018)

正式发表版本：2019年5月。

使用循环语言模型生成载体文本，并根据候选词的条件概率动态构造定长码或 Huffman 变长码。论文评估生成效率、嵌入容量、文本质量，以及对实验所用隐写分析方法的抵抗能力。

[阅读原文 ↗](https://ieeexplore.ieee.org/document/8470163)

## 与 Neural Linguistic Steganography 的关系

2019 年的 Neural Linguistic Steganography 在同一个 GPT-2 语言模型上实现这一工作的 Huffman 方法，与自己的算术编码方法比较。

在[神经文本隐写方法指南](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/)中比较词表分组、Huffman 编码、算术编码与耦合方法。

## 适用范围与边界

论文讨论容量与文本质量之间的权衡，以及每一步重建 Huffman 树的开销。实验中的检测表现与保持原有概率分布的保证是不同结论。

## 引用这篇论文

### 正式发表版本

Zhong-Liang Yang, Xiao-Qing Guo, Zi-Ming Chen, Yong-Feng Huang, Yu-Jin Zhang. [RNN-Stega: Linguistic Steganography Based on Recurrent Neural Networks](https://ieeexplore.ieee.org/document/8470163). IEEE Transactions on Information Forensics and Security, 2019

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/rnn-stega/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/rnn-stega/publication.csl.json)
显示 BibTeX`@article{rnn-stega-publication,
  title = {{RNN-Stega: Linguistic Steganography Based on Recurrent Neural Networks}},
  author = {Yang, Zhong-Liang and Guo, Xiao-Qing and Chen, Zi-Ming and Huang, Yong-Feng and Zhang, Yu-Jin},
  year = {2019},
  journal = {IEEE Transactions on Information Forensics and Security},
  doi = {10.1109/TIFS.2018.2871746},
  pages = {1280--1295},
  volume = {14},
  number = {5},
  publisher = {IEEE},
  url = {https://ieeexplore.ieee.org/document/8470163}
}
`

## 原始来源

- [原始来源 1](https://ieeexplore.ieee.org/document/8470163)

- [原始来源 2](https://api.crossref.org/works/10.1109/TIFS.2018.2871746)

- [原始来源 3](https://www.researchgate.net/publication/327852903_RNN-Stega_Linguistic_Steganography_Based_on_Recurrent_Neural_Networks)

- [原始来源 4](https://aclanthology.org/D19-1115.pdf)

- [原始来源 5](https://raw.githubusercontent.com/YangzlTHU/Linguistic-Steganography-and-Steganalysis/master/Steganography/RNN-Stega/README.md)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/rnn-stega/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/rnn-stega/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-rnn-stega)


---

[论文](https://steganography.live/reading-list/zh/papers/) / dai-cai-2019

安全性与分布匹配

# Towards Near-imperceptible Steganographic Text

Falcon Z. Dai, Zheng Cai

首次 arXiv 提交：2019年7月15日 · ACL 2019

正式发表版本：2019年7月。

分析词表分组和变长编码如何改变语言模型的输出分布。提出 patient-Huffman：当某一步嵌入消息造成的分布偏差超过阈值时，按原模型采样，并等待后续步骤再嵌入。

[阅读原文 ↗](https://aclanthology.org/P19-1422/) · [PDF ↗](https://aclanthology.org/P19-1422.pdf) · [代码 ↗](https://github.com/falcondai/lm-steganography)

## 与 Neural Linguistic Steganography 的关系

Neural Linguistic Steganography 将其明确列为同期研究。两篇论文都分析编码诱导的分布；本工作修改 Huffman 编码，原始项目采用算术编码。

在[神经文本隐写方法指南](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/)中比较词表分组、Huffman 编码、算术编码与耦合方法。

## 适用范围与边界

严格的总变差界需要较小的逐步阈值，实际传输率取决于生成过程中遇到的模型分布。论文也指出，主动攻击者修改文本会破坏消息提取。

## 引用这篇论文

### 正式发表版本

Falcon Z. Dai, Zheng Cai. [Towards Near-imperceptible Steganographic Text](https://aclanthology.org/P19-1422/). Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/dai-cai-2019/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/dai-cai-2019/publication.csl.json)
显示 BibTeX`@inproceedings{dai-cai-2019-publication,
  title = {{Towards Near-imperceptible Steganographic Text}},
  author = {Dai, Falcon Z. and Cai, Zheng},
  year = {2019},
  booktitle = {Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics},
  doi = {10.18653/v1/P19-1422},
  pages = {4303--4308},
  publisher = {Association for Computational Linguistics},
  url = {https://aclanthology.org/P19-1422/}
}
`

### arXiv 预印本

Falcon Z. Dai, Zheng Cai. [Towards Near-imperceptible Steganographic Text](https://arxiv.org/abs/1907.06679v1). arXiv:1907.06679。首次提交：2019年7月15日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/dai-cai-2019/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/dai-cai-2019/preprint.csl.json)
显示 BibTeX`@misc{dai-cai-2019-preprint,
  title = {{Towards Near-imperceptible Steganographic Text}},
  author = {Dai, Falcon Z. and Cai, Zheng},
  year = {2019},
  publisher = {arXiv},
  eprint = {1907.06679v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1907.06679v1}
}
`

## 原始来源

- [原始来源 1](https://aclanthology.org/P19-1422/)

- [原始来源 2](https://arxiv.org/abs/1907.06679)

- [原始来源 3](https://aclanthology.org/P19-1422.pdf)

- [原始来源 4](https://aclanthology.org/D19-1115.pdf)

- [原始来源 5](https://github.com/falcondai/lm-steganography)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/dai-cai-2019/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/dai-cai-2019/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-dai-cai-2019)


---

[论文](https://steganography.live/reading-list/zh/papers/) / neural-linguistic-steganography

Neural Linguistic Steganography 原始研究

# Neural Linguistic Steganography

Zachary M. Ziegler*, Yuntian Deng*, Alexander M. Rush

* Zachary M. Ziegler 与 Yuntian Deng 贡献相同。

首次 arXiv 提交：2019年9月3日 · EMNLP-IJCNLP 2019

正式发表版本：2019年11月。

将算术编码与大型预训练语言模型结合，把秘密信息编码为生成文本，并使生成分布接近语言模型分布。GPT-2 实验分别评估信息容量、统计散度和上下文续写的人工判断，并展示把自然语言消息编码为内容无关的载体文本。

[阅读原文 ↗](https://aclanthology.org/D19-1115/) · [PDF ↗](https://aclanthology.org/D19-1115.pdf) · [代码 ↗](https://github.com/harvardnlp/NeuralSteganography)

## 与 Neural Linguistic Steganography 的关系

STEGASURAS 实现了这篇论文的编码与解码方法。正式发表的论文链接了 steganography.live 与官方代码仓库。研究贡献包括编码方法、诱导分布分析、容量和文本质量实验；STEGASURAS 是配套交互演示。

在[神经文本隐写方法指南](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/)中比较词表分组、Huffman 编码、算术编码与耦合方法。

## 适用范围与边界

统计实验衡量的是与语言模型分布的偏差，而非与无法直接获得的真实人类语言分布的偏差。词表截断和温度设置改变生成分布，在人工自然度与模型分布匹配之间形成实际权衡。

## 引用这篇论文

### 正式发表版本

Zachary M. Ziegler, Yuntian Deng, Alexander M. Rush. [Neural Linguistic Steganography](https://aclanthology.org/D19-1115/). Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), 2019

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/neural-linguistic-steganography/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/neural-linguistic-steganography/publication.csl.json)
显示 BibTeX`@inproceedings{neural-linguistic-steganography-publication,
  title = {{Neural Linguistic Steganography}},
  author = {Ziegler, Zachary M. and Deng, Yuntian and Rush, Alexander M.},
  year = {2019},
  booktitle = {Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP)},
  doi = {10.18653/v1/D19-1115},
  pages = {1210--1215},
  publisher = {Association for Computational Linguistics},
  url = {https://aclanthology.org/D19-1115/}
}
`

### arXiv 预印本

Zachary M. Ziegler, Yuntian Deng, Alexander M. Rush. [Neural Linguistic Steganography](https://arxiv.org/abs/1909.01496v1). arXiv:1909.01496。首次提交：2019年9月3日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/neural-linguistic-steganography/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/neural-linguistic-steganography/preprint.csl.json)
显示 BibTeX`@misc{neural-linguistic-steganography-preprint,
  title = {{Neural Linguistic Steganography}},
  author = {Ziegler, Zachary M. and Deng, Yuntian and Rush, Alexander M.},
  year = {2019},
  publisher = {arXiv},
  eprint = {1909.01496v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1909.01496v1}
}
`

## 原始来源

- [原始来源 1](https://aclanthology.org/D19-1115/)

- [原始来源 2](https://aclanthology.org/D19-1115.pdf)

- [原始来源 3](https://arxiv.org/abs/1909.01496)

- [原始来源 4](https://github.com/harvardnlp/NeuralSteganography)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/neural-linguistic-steganography/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/neural-linguistic-steganography/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-neural-linguistic-steganography)


---

[论文](https://steganography.live/reading-list/zh/papers/) / saac

后续扩展与可靠性

# Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding

Jiaming Shen, Heng Ji, Jiawei Han

首次 arXiv 提交：2020年10月1日 · EMNLP 2020

正式发表版本：2020年11月。

提出自适应算术编码（Self-Adjusting Arithmetic Coding，SAAC），逐步选择候选词元集合的大小，以控制相对语言模型的分布偏差。论文给出隐蔽性分析，并在多个数据集上评估容量、散度和人工判断。

[阅读原文 ↗](https://aclanthology.org/2020.emnlp-main.22/) · [PDF ↗](https://aclanthology.org/2020.emnlp-main.22.pdf) · [代码 ↗](https://github.com/mickeysjm/StegaText)

## 与 Neural Linguistic Steganography 的关系

论文引言明确说明，SAAC 基于 Ziegler、Deng 和 Rush 在 2019 年提出的算术编码方法，将固定的截断大小改为随当前概率分布调整的截断大小。

在[神经文本隐写方法指南](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/)中比较词表分组、Huffman 编码、算术编码与耦合方法。

## 适用范围与边界

分布保证以底层语言模型为参照。截断阈值仍影响嵌入行为、计算开销与分布偏差，不能把模型相对保证直接当作真实通信中的不可检测性。

## 引用这篇论文

### 正式发表版本

Jiaming Shen, Heng Ji, Jiawei Han. [Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding](https://aclanthology.org/2020.emnlp-main.22/). Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/saac/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/saac/publication.csl.json)
显示 BibTeX`@inproceedings{saac-publication,
  title = {{Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding}},
  author = {Shen, Jiaming and Ji, Heng and Han, Jiawei},
  year = {2020},
  booktitle = {Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  doi = {10.18653/v1/2020.emnlp-main.22},
  pages = {303--313},
  publisher = {Association for Computational Linguistics},
  url = {https://aclanthology.org/2020.emnlp-main.22/}
}
`

### arXiv 预印本

Jiaming Shen, Heng Ji, Jiawei Han. [Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding](https://arxiv.org/abs/2010.00677v1). arXiv:2010.00677。首次提交：2020年10月1日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/saac/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/saac/preprint.csl.json)
显示 BibTeX`@misc{saac-preprint,
  title = {{Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding}},
  author = {Shen, Jiaming and Ji, Heng and Han, Jiawei},
  year = {2020},
  publisher = {arXiv},
  eprint = {2010.00677v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2010.00677v1}
}
`

## 原始来源

- [原始来源 1](https://aclanthology.org/2020.emnlp-main.22/)

- [原始来源 2](https://arxiv.org/abs/2010.00677)

- [原始来源 3](https://aclanthology.org/2020.emnlp-main.22.pdf)

- [原始来源 4](https://github.com/mickeysjm/StegaText)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/saac/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/saac/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-saac)


---

[论文](https://steganography.live/reading-list/zh/papers/) / minimum-entropy-coupling

安全性与分布匹配

# Perfectly Secure Steganography Using Minimum Entropy Coupling

Christian Schroeder de Witt*, Samuel Sokota*, J. Zico Kolter, Jakob Foerster, Martin Strohmeier

* Christian Schroeder de Witt 与 Samuel Sokota 贡献相同。

首次 arXiv 提交：2022年10月24日 · ICLR 2023

正式发表版本：2023年。

在信息论模型中，用耦合刻画完全安全的隐写，并用最小熵耦合刻画这类编码器中的最大信息吞吐量。论文提出迭代方法，并在文本、音频和图像模型分布上与算术编码、Meteor 和自适应动态分组比较。

[阅读原文 ↗](https://openreview.net/forum?id=HQ67mj5rJdR) · [PDF ↗](https://arxiv.org/pdf/2210.14889) · [代码 ↗](https://github.com/schroederdewitt/perfectly-secure-steganography)

## 与 Neural Linguistic Steganography 的关系

论文明确引用 2019 年的算术编码工作，并将其实现用于实验对照。它提出的是基于耦合的不同构造，具有不同的安全性保证。

在[神经文本隐写方法指南](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/)中比较词表分组、Huffman 编码、算术编码与耦合方法。

## 适用范围与边界

该保证假设被动观察者、未经修改的传输，以及对载体分布的访问。保持模型分布并不证明这个模型准确描述了真实通信。

## 引用这篇论文

### 正式发表版本

Christian Schroeder de Witt, Samuel Sokota, J. Zico Kolter, Jakob Foerster, Martin Strohmeier. [Perfectly Secure Steganography Using Minimum Entropy Coupling](https://openreview.net/forum?id=HQ67mj5rJdR). International Conference on Learning Representations, 2023

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/minimum-entropy-coupling/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/minimum-entropy-coupling/publication.csl.json)
显示 BibTeX`@inproceedings{minimum-entropy-coupling-publication,
  title = {{Perfectly Secure Steganography Using Minimum Entropy Coupling}},
  author = {Schroeder de Witt, Christian and Sokota, Samuel and Kolter, J. Zico and Foerster, Jakob and Strohmeier, Martin},
  year = {2023},
  booktitle = {International Conference on Learning Representations},
  url = {https://openreview.net/forum?id=HQ67mj5rJdR}
}
`

### arXiv 预印本

Christian Schroeder de Witt, Samuel Sokota, J. Zico Kolter, Jakob Foerster, Martin Strohmeier. [Perfectly Secure Steganography Using Minimum Entropy Coupling](https://arxiv.org/abs/2210.14889v1). arXiv:2210.14889。首次提交：2022年10月24日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/minimum-entropy-coupling/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/minimum-entropy-coupling/preprint.csl.json)
显示 BibTeX`@misc{minimum-entropy-coupling-preprint,
  title = {{Perfectly Secure Steganography Using Minimum Entropy Coupling}},
  author = {Schroeder de Witt, Christian and Sokota, Samuel and Kolter, J. Zico and Foerster, Jakob and Strohmeier, Martin},
  year = {2022},
  publisher = {arXiv},
  eprint = {2210.14889v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2210.14889v1}
}
`

## 原始来源

- [原始来源 1](https://arxiv.org/abs/2210.14889)

- [原始来源 2](https://arxiv.org/pdf/2210.14889)

- [原始来源 3](https://iclr.cc/virtual/2023/poster/11490)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/minimum-entropy-coupling/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/minimum-entropy-coupling/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-minimum-entropy-coupling)


---

[论文](https://steganography.live/reading-list/zh/papers/) / llm-watermark

语言模型水印

# A Watermark for Large Language Models

John Kirchenbauer*, Jonas Geiping*, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein

* John Kirchenbauer 与 Jonas Geiping 贡献相同。

首次 arXiv 提交：2023年1月24日 · ICML 2023

正式发表版本：2023年7月。

在生成过程中温和地提高一组伪随机词元的选择概率，嵌入统计水印。论文提出无需访问语言模型的检测检验，并分析词元分布如何影响检测强度。

[阅读原文 ↗](https://proceedings.mlr.press/v202/kirchenbauer23a.html) · [PDF ↗](https://proceedings.mlr.press/v202/kirchenbauer23a/kirchenbauer23a.pdf) · [代码 ↗](https://github.com/jwkirchenbauer/lm-watermarking)

## 与 Neural Linguistic Steganography 的关系

相关工作部分将 Neural Linguistic Steganography 列为早期神经信息隐藏方法。水印的目标是识别文本来源；隐写的目标是隐藏任意秘密消息的存在，二者的成功标准不同。

## 适用范围与边界

低熵文本留给水印嵌入的选择空间较小，增加可检测信号与保持文本质量之间存在权衡。检测效果和稳健性取决于文本长度、熵以及对抗性修改。

## 引用这篇论文

### 正式发表版本

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein. [A Watermark for Large Language Models](https://proceedings.mlr.press/v202/kirchenbauer23a.html). Proceedings of the 40th International Conference on Machine Learning, 2023

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/llm-watermark/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/llm-watermark/publication.csl.json)
显示 BibTeX`@inproceedings{llm-watermark-publication,
  title = {{A Watermark for Large Language Models}},
  author = {Kirchenbauer, John and Geiping, Jonas and Wen, Yuxin and Katz, Jonathan and Miers, Ian and Goldstein, Tom},
  year = {2023},
  booktitle = {Proceedings of the 40th International Conference on Machine Learning},
  pages = {17061--17084},
  volume = {202},
  publisher = {PMLR},
  url = {https://proceedings.mlr.press/v202/kirchenbauer23a.html}
}
`

### arXiv 预印本

John Kirchenbauer, Jonas Geiping, Yuxin Wen, Jonathan Katz, Ian Miers, Tom Goldstein. [A Watermark for Large Language Models](https://arxiv.org/abs/2301.10226v1). arXiv:2301.10226。首次提交：2023年1月24日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/llm-watermark/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/llm-watermark/preprint.csl.json)
显示 BibTeX`@misc{llm-watermark-preprint,
  title = {{A Watermark for Large Language Models}},
  author = {Kirchenbauer, John and Geiping, Jonas and Wen, Yuxin and Katz, Jonathan and Miers, Ian and Goldstein, Tom},
  year = {2023},
  publisher = {arXiv},
  eprint = {2301.10226v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2301.10226v1}
}
`

## 原始来源

- [原始来源 1](https://proceedings.mlr.press/v202/kirchenbauer23a.html)

- [原始来源 2](https://arxiv.org/abs/2301.10226)

- [原始来源 3](https://proceedings.mlr.press/v202/kirchenbauer23a/kirchenbauer23a.pdf)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/llm-watermark/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/llm-watermark/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-llm-watermark)


---

[论文](https://steganography.live/reading-list/zh/papers/) / secret-collusion

智能体通信

# Secret Collusion among AI Agents: Multi-Agent Deception via Steganography

Sumeet Ramesh Motwani, Mikhail Baranchuk, Martin Strohmeier, Vijay Bolina, Philip H.S. Torr, Lewis Hammond, Christian Schroeder de Witt

首次 arXiv 提交：2024年2月12日 · NeurIPS 2024

正式发表版本：2024年。

形式化生成式 AI 智能体之间的秘密串通，并设计对隐蔽通信和协调能力的评估。论文研究单智能体与多智能体设置，同时分析监控及其他缓解措施的假设与限制。

[阅读原文 ↗](https://proceedings.neurips.cc/paper_files/paper/2024/hash/861f7dad098aec1c3560fb7add468d41-Abstract-Conference.html) · [PDF ↗](https://proceedings.nips.cc/paper_files/paper/2024/file/861f7dad098aec1c3560fb7add468d41-Paper-Conference.pdf)

## 与 Neural Linguistic Steganography 的关系

第 2 节将 Ziegler 等人 2019 年的工作列为使用算术编码生成隐写文本的早期方法。这篇论文研究更广泛的智能体安全问题，没有把自己的方法描述为 STEGASURAS 实现的扩展。

## 适用范围与边界

实验所评估的模型在高级隐写任务上的能力有限，作者提出需要更复杂的多智能体和真实环境评估。这些实验不证明每个智能体都会自主建立隐蔽信道。

## 引用这篇论文

### 正式发表版本

Sumeet Ramesh Motwani, Mikhail Baranchuk, Martin Strohmeier, Vijay Bolina, Philip H.S. Torr, Lewis Hammond, Christian Schroeder de Witt. [Secret Collusion among AI Agents: Multi-Agent Deception via Steganography](https://proceedings.neurips.cc/paper_files/paper/2024/hash/861f7dad098aec1c3560fb7add468d41-Abstract-Conference.html). Advances in Neural Information Processing Systems, 2024

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/secret-collusion/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/secret-collusion/publication.csl.json)
显示 BibTeX`@inproceedings{secret-collusion-publication,
  title = {{Secret Collusion among AI Agents: Multi-Agent Deception via Steganography}},
  author = {Motwani, Sumeet Ramesh and Baranchuk, Mikhail and Strohmeier, Martin and Bolina, Vijay and Torr, Philip H.S. and Hammond, Lewis and Schroeder de Witt, Christian},
  year = {2024},
  booktitle = {Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-2336},
  volume = {37},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/hash/861f7dad098aec1c3560fb7add468d41-Abstract-Conference.html}
}
`

### arXiv 预印本

Sumeet Ramesh Motwani, Mikhail Baranchuk, Martin Strohmeier, Vijay Bolina, Philip H.S. Torr, Lewis Hammond, Christian Schroeder de Witt. [Secret Collusion Among Generative AI Agents](https://arxiv.org/abs/2402.07510v1). arXiv:2402.07510。首次提交：2024年2月12日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/secret-collusion/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/secret-collusion/preprint.csl.json)
显示 BibTeX`@misc{secret-collusion-preprint,
  title = {{Secret Collusion Among Generative AI Agents}},
  author = {Motwani, Sumeet Ramesh and Baranchuk, Mikhail and Strohmeier, Martin and Bolina, Vijay and Torr, Philip H.S. and Hammond, Lewis and Schroeder de Witt, Christian},
  year = {2024},
  publisher = {arXiv},
  eprint = {2402.07510v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2402.07510v1}
}
`

## 原始来源

- [原始来源 1](https://proceedings.neurips.cc/paper_files/paper/2024/hash/861f7dad098aec1c3560fb7add468d41-Abstract-Conference.html)

- [原始来源 2](https://arxiv.org/abs/2402.07510)

- [原始来源 3](https://arxiv.org/html/2402.07510v3)

- [原始来源 4](https://arxiv.org/abs/2402.07510v1)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/secret-collusion/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/secret-collusion/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-secret-collusion)


---

[论文](https://steganography.live/reading-list/zh/papers/) / syncpool

后续扩展与可靠性

# Provably Secure Disambiguating Neural Linguistic Steganography

Yuang Qi, Kejiang Chen, Kai Zeng, Weiming Zhang, Nenghai Yu

首次 arXiv 提交：2024年3月26日 · IEEE TDSC 2025 (preprint 2024)

正式发表版本：2025年5月。

提出 SyncPool，在保持模型词元分布的同时解决子词切分歧义。方法将具有前缀关系的词元分组，并使用同步伪随机采样，使接收方从转换后的文本中恢复词元选择。

[阅读原文 ↗](https://ieeexplore.ieee.org/document/10804596) · [PDF ↗](https://arxiv.org/pdf/2403.17524) · [代码 ↗](https://github.com/7-yaya/SyncPool)

## 与 Neural Linguistic Steganography 的关系

论文在神经生成式隐写的背景下引用 Neural Linguistic Steganography，并解决现代词元级隐写共有的实现问题。它解决的分词可靠性问题，与秘密比特到词元的编码映射处于不同环节。

## 适用范围与边界

对有歧义的词元分组会损失可用于传输的熵，从而降低嵌入率。论文明确分析了可靠性与容量之间的这一权衡。

## 引用这篇论文

### 正式发表版本

Yuang Qi, Kejiang Chen, Kai Zeng, Weiming Zhang, Nenghai Yu. [Provably Secure Disambiguating Neural Linguistic Steganography](https://ieeexplore.ieee.org/document/10804596). IEEE Transactions on Dependable and Secure Computing, 2025

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/syncpool/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/syncpool/publication.csl.json)
显示 BibTeX`@article{syncpool-publication,
  title = {{Provably Secure Disambiguating Neural Linguistic Steganography}},
  author = {Qi, Yuang and Chen, Kejiang and Zeng, Kai and Zhang, Weiming and Yu, Nenghai},
  year = {2025},
  journal = {IEEE Transactions on Dependable and Secure Computing},
  doi = {10.1109/TDSC.2024.3519322},
  pages = {2430--2442},
  volume = {22},
  number = {3},
  publisher = {IEEE},
  url = {https://ieeexplore.ieee.org/document/10804596}
}
`

### arXiv 预印本

Yuang Qi, Kejiang Chen, Kai Zeng, Weiming Zhang, Nenghai Yu. [Provably Secure Disambiguating Neural Linguistic Steganography](https://arxiv.org/abs/2403.17524v1). arXiv:2403.17524。首次提交：2024年3月26日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/syncpool/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/syncpool/preprint.csl.json)
显示 BibTeX`@misc{syncpool-preprint,
  title = {{Provably Secure Disambiguating Neural Linguistic Steganography}},
  author = {Qi, Yuang and Chen, Kejiang and Zeng, Kai and Zhang, Weiming and Yu, Nenghai},
  year = {2024},
  publisher = {arXiv},
  eprint = {2403.17524v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.17524v1}
}
`

## 原始来源

- [原始来源 1](https://arxiv.org/abs/2403.17524)

- [原始来源 2](https://api.crossref.org/works/10.1109/TDSC.2024.3519322)

- [原始来源 3](https://arxiv.org/html/2403.17524v2)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/syncpool/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/syncpool/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-syncpool)


---

[论文](https://steganography.live/reading-list/zh/papers/) / tokenization

后续扩展与可靠性

# Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models

Ruiyi Yan, Yugo Murawaki

首次 arXiv 提交：2025年8月28日 · EMNLP 2025

正式发表版本：2025年11月。

研究生成词元序列与接收方对可见文本重新分词所得序列之间的不一致。论文为隐写提出逐步验证，为水印检测提出事后回退，并评估可靠性、文本质量和检测表现。

[阅读原文 ↗](https://aclanthology.org/2025.emnlp-main.361/) · [PDF ↗](https://aclanthology.org/2025.emnlp-main.361.pdf) · [代码 ↗](https://github.com/ryehr/Consistency)

## 与 Neural Linguistic Steganography 的关系

第 4.1 节明确说明，全部隐写实验都采用 Ziegler 等人的算术编码方法。该工作扩展 2019 年方法周围的可靠性环节，保留其编码原理。

## 适用范围与边界

隐写提取实验假设攻击者不修改文本。作者报告，水印实验中的不一致词元较少，因此改进幅度较小；分词不一致机制的完整理论仍未建立。

## 引用这篇论文

### 正式发表版本

Ruiyi Yan, Yugo Murawaki. [Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models](https://aclanthology.org/2025.emnlp-main.361/). Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing, 2025

[正式发表版本 BibTeX](https://steganography.live/reading-list/papers/tokenization/publication.bib) · [正式发表版本 CSL-JSON](https://steganography.live/reading-list/papers/tokenization/publication.csl.json)
显示 BibTeX`@inproceedings{tokenization-publication,
  title = {{Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models}},
  author = {Yan, Ruiyi and Murawaki, Yugo},
  year = {2025},
  booktitle = {Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing},
  doi = {10.18653/v1/2025.emnlp-main.361},
  pages = {7076--7098},
  publisher = {Association for Computational Linguistics},
  url = {https://aclanthology.org/2025.emnlp-main.361/}
}
`

### arXiv 预印本

Ruiyi Yan, Yugo Murawaki. [Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models](https://arxiv.org/abs/2508.20718v1). arXiv:2508.20718。首次提交：2025年8月28日。

该引用保留首个 arXiv 版本及其原始标题。版本链接区分后续修订；请引用支持所述结论的版本。

[arXiv 预印本 BibTeX](https://steganography.live/reading-list/papers/tokenization/preprint.bib) · [arXiv 预印本 CSL-JSON](https://steganography.live/reading-list/papers/tokenization/preprint.csl.json)
显示 BibTeX`@misc{tokenization-preprint,
  title = {{Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models}},
  author = {Yan, Ruiyi and Murawaki, Yugo},
  year = {2025},
  publisher = {arXiv},
  eprint = {2508.20718v1},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2508.20718v1}
}
`

## 原始来源

- [原始来源 1](https://aclanthology.org/2025.emnlp-main.361/)

- [原始来源 2](https://arxiv.org/abs/2508.20718)

- [原始来源 3](https://aclanthology.org/2025.emnlp-main.361.pdf)

## 阅读与复用

[论文记录 JSON](https://steganography.live/reading-list/papers/tokenization/record.json) · [中文 Markdown](https://steganography.live/reading-list/zh/papers/tokenization/index.md) · [返回完整清单](https://steganography.live/reading-list/zh/papers/#paper-tokenization)


---

[阅读清单](https://steganography.live/reading-list/zh/) / 方法指南

方法比较

# 神经语言隐写方法：从词表分组到算术编码与分布保持

比较六类生成式文本隐写方法，沿着秘密比特如何决定词元、接收方如何恢复消息来读原始论文。

Yuntian Deng 撰写 · 2026年11月11日

**神经语言隐写（neural linguistic steganography）**用神经语言模型生成承载秘密消息的文本。在每一步，模型根据上下文给出下一个词或词元（token）的概率分布；编码方法根据秘密比特选择延续，接收方再逆向恢复消息。在中文研究中，这类问题也归入**生成式文本隐写**。

LSTM、循环神经网络、GPT-2 和大语言模型描述的是生成器；词表分组、Huffman 编码、算术编码和耦合描述的是消息与文本之间的映射。比较方法时，需要把语言模型与编码规则分开。

[六类方法](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/#methods) · [比较方法](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/#choosing) · [恢复与安全](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/#reliability) · [阅读顺序](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/#reading)

## 秘密比特如何变成文本

### 1. 词表分组：比特块选择词所在的组

Tina Fang、Martin Jaggi 和 Katerina Argyraki 的 [Generating Steganographic Text with LSTMs](https://steganography.live/reading-list/zh/papers/fang-2017/)（2017）把词表划分为与秘密比特块对应的组。LSTM 从指定组中选择下一个词；接收方根据该词所属的组恢复比特块。增加组数会提高每词的名义比特数，同时限制每一步可选的词。

这种方法直接把比特块对应到词组。评价时，需要检查分组约束怎样改变生成文本及其概率分布。[原论文介绍了分组构造与实验。](https://aclanthology.org/P17-3017.pdf)

### 2. 定长码与 Huffman 编码：为候选词分配码字

Zhong-Liang Yang 等人的 [RNN-Stega: Linguistic Steganography Based on Recurrent Neural Networks](https://steganography.live/reading-list/zh/papers/rnn-stega/)（2018 年在线发表，2019 年期刊卷期）利用循环语言模型的条件概率，为候选词构造编码。定长码消耗固定数量的消息比特；Huffman 变长码为不同词分配不同长度的码字。上下文变化后，映射也随之重建。

Huffman 树给高概率词分配较短码字。对于均匀的消息比特，长度为 `l` 的码字使相应词以 `2^-l` 的概率被选中。把这个诱导分布与语言模型分布比较，就能研究编码带来的偏差。RNN-Stega 分别评估嵌入容量、文本质量、效率和实验检测器的表现。[2019 年论文第 2、4 节给出了共享 GPT-2 模型下的 Huffman 对照。](https://aclanthology.org/D19-1115.pdf)

### 3. Patient-Huffman：在分布合适时再嵌入

Falcon Z. Dai 和 Zheng Cai 的 [Towards Near-imperceptible Steganographic Text](https://steganography.live/reading-list/zh/papers/dai-cai-2019/)（2019）逐步比较 Huffman 诱导分布与基础语言模型分布。当总变差距离或 KL 散度超过给定阈值时，编码器按基础模型采样，不消耗消息比特，等待后续合适的步骤。

该方法把分布检验加入嵌入决策。阈值决定哪些步骤携带消息，因此传输率取决于生成中遇到的分布。[阅读原论文与 patient-Huffman 算法。](https://aclanthology.org/P19-1422/)

### 4. 算术编码：按概率不断细分区间

[Neural Linguistic Steganography](https://steganography.live/reading-list/zh/papers/neural-linguistic-steganography/) 的作者是 **Zachary M. Ziegler*、Yuntian Deng* 和 Alexander M. Rush**，前两位作者同等贡献。该工作将算术编码与大型预训练语言模型结合：秘密比特流在下一个词元的累积概率区间中选择子区间，反复细分区间，得到可以解码的词元序列。

论文提出编码方法，分析诱导分布，并在 GPT-2 上分别评估信息容量、统计散度和上下文续写的人工判断。它还展示了把自然语言消息编码为内容无关的载体文本。首次 arXiv 提交日期是 **2019 年 9 月 3 日**，正式发表于 **EMNLP-IJCNLP，2019 年 11 月**。

[阅读正式论文](https://aclanthology.org/D19-1115/)，跟随[算术编码示例](https://steganography.live/reading-list/zh/guides/arithmetic-coding/)理解机制，或试用配套的 [STEGASURAS 交互演示](https://steganography.live/)。

### 5. 自适应算术编码：根据当前分布调整候选集

Jiaming Shen、Heng Ji 和 Jiawei Han 的 [Near-imperceptible Neural Linguistic Steganography via Self-Adjusting Arithmetic Coding](https://steganography.live/reading-list/zh/papers/saac/)（2020）明确建立在 Ziegler、Deng 和 Rush 的算术编码方法之上。SAAC 在每一步选择满足相对原模型散度条件的最小候选集。

这里改变的是候选选择规则：固定的 top-K 截断改为自适应截断。论文给出隐蔽性分析，并评估容量、散度与人工判断。[阅读 SAAC 的构造与实验。](https://aclanthology.org/2020.emnlp-main.22/)

### 6. 最小熵耦合：保持载体边缘分布

Christian Schroeder de Witt 等人的 [Perfectly Secure Steganography Using Minimum Entropy Coupling](https://steganography.live/reading-list/zh/papers/minimum-entropy-coupling/)（2022 年预印本，ICLR 2023）构造连接消息分布与载体分布的联合分布。在其信息论模型中，保持载体边缘分布不变得到完全安全性；最小化联合熵则在完全安全的编码器中最大化信息吞吐量。

迭代实现采用近似最小熵耦合子程序，并保持边缘分布。其假设包括被动观察者与未经修改的传输。[原论文给出了耦合刻画、算法和适用假设。](https://arxiv.org/abs/2210.14889)

## 怎样比较这些方法

- **编码机制：**比较词表分组、定长码、Huffman 树、概率区间和耦合。逐步追踪秘密比特怎样影响词元，以及接收方怎样逆向恢复。

- **分布控制：**比较 patient-Huffman 跳过嵌入的决策、SAAC 的自适应候选集，以及耦合保持载体边缘分布的构造。

- **容量与文本质量：**在相同语言模型、上下文与评价设置下比较。2019 年论文在同一个 GPT-2 模型上重新实现 Block 和 Huffman，与算术编码一起实验。

## 消息恢复与隐蔽性分别检验

逐词元算术解码需要收发双方复现相同的模型概率、上下文、参数与词元序列。重新分词得到不同序列时，解码器重建的区间发生变化，造成提取错误。[Yan 和 Murawaki 的分词一致性研究](https://steganography.live/reading-list/zh/papers/tokenization/)（2025）全部采用 2019 年的算术编码器开展隐写实验；[SyncPool](https://steganography.live/reading-list/zh/papers/syncpool/) 则通过同步采样处理子词切分歧义。

匹配语言模型分布不等于与人类写作不可区分。实验应说明载体参照分布、观察者掌握的信息、嵌入率、文本质量和精确消息恢复率。详见[容量、可检测性与安全性指南](https://steganography.live/reading-list/zh/guides/capacity-and-security/)。

## 沿着机制阅读原论文

从[词表分组](https://steganography.live/reading-list/zh/papers/fang-2017/)和 [Huffman 编码](https://steganography.live/reading-list/zh/papers/rnn-stega/)开始，再读[分布分析](https://steganography.live/reading-list/zh/papers/dai-cai-2019/)、[神经语言模型与算术编码](https://steganography.live/reading-list/zh/papers/neural-linguistic-steganography/)、[自适应截断](https://steganography.live/reading-list/zh/papers/saac/)和[耦合安全性](https://steganography.live/reading-list/zh/papers/minimum-entropy-coupling/)。

[阅读中文 Markdown](https://steganography.live/reading-list/zh/guides/neural-text-steganography-methods/index.md) · [浏览参考文献](https://steganography.live/reading-list/zh/papers/)


---

[阅读清单](https://steganography.live/reading-list/zh/) / 方法指南

编码机制

# 算术编码怎样把秘密消息藏进文本？

从秘密比特到语言模型的词元选择，再从可见文本恢复消息，逐步理解算术编码。

Yuntian Deng 撰写 · 2026年11月11日

[问题设置](https://steganography.live/reading-list/zh/guides/arithmetic-coding/#setting) · [区间示例](https://steganography.live/reading-list/zh/guides/arithmetic-coding/#intervals) · [消息恢复](https://steganography.live/reading-list/zh/guides/arithmetic-coding/#decoding) · [实现细节](https://steganography.live/reading-list/zh/guides/arithmetic-coding/#practical)

## 语言模型提供下一步的选择

生成式语言模型根据已有上下文，为下一个词元分配概率。语言隐写利用这些选择承载另一条消息：可见文本是载体，秘密消息由掌握相同语言模型与编码规则的接收方恢复。

[Neural Linguistic Steganography](https://steganography.live/reading-list/zh/papers/neural-linguistic-steganography/)（2019）的作者是 Zachary M. Ziegler*、Yuntian Deng* 和 Alexander M. Rush，前两位作者同等贡献。论文将算术编码与大型预训练语言模型结合，贡献包括编码方法、生成分布分析、容量和文本质量实验，以及把自然语言消息转换为内容无关文本的演示。[STEGASURAS](https://steganography.live/) 是配套交互演示。

早期方法将比特分配给词表中的组，或为候选词构造 Huffman 码字。算术编码维护一个随生成逐步缩小的区间，使词元选择比粗粒度的固定比特分配更贴近给定概率分布。2019 年论文在共享的 GPT-2 模型上比较这些方法。[原论文第 2 至 4 节给出了方法与实验。](https://aclanthology.org/D19-1115.pdf)

## 一个理想化的小例子

假设下一个词元有 A、B、C、D 四种选择，概率依次为 1/2、1/4、1/8、1/8。将区间 [0,1) 按这些概率划分，把秘密比特流视为该区间内一个数的二进制小数位。

A · 1/2 B · 1/4 C · 1/8 D · 1/8
A：[0,0.5)；B：[0.5,0.75)；C：[0.75,0.875)；D：[0.875,1)。这是机制示例，概率不是论文的实测结果。

以 `0.101…` 开头的二进制小数落在 B 的区间内，因此发送方输出 B。语言模型根据 B 和此前上下文，计算下一步概率；编码器据此继续细分 B 的区间，再选择包含秘密数值的词元。区间不断缩小，秘密消息中越来越多的比特得到确定。

在秘密比特均匀随机的理想构造中，宽度为总区间一半的区域，以一半的概率被选择。这就是消息编码与分布匹配之间的联系。例子中 B 的区间确定了前两位 `10`，后续词元进一步确定余下比特。实际实现使用有限精度整数运算与重归一化，不会保存无限精度的实数。

## 接收方为什么能恢复秘密比特

接收方按顺序读取载体词元，复现相同的条件概率与区间划分。每个观察到的词元都选出发送方曾使用的子区间；当区间内所有数具有相同的二进制前缀时，就可以提取这些公共比特。

双方必须对齐完整过程：模型与权重、上下文、分词、候选集合、概率变换、词元顺序、数值精度以及消息长度或结束标记。模型名称相同并不足以保证解码一致。[官方实现](https://github.com/harvardnlp/NeuralSteganography)给出了具体编码与解码程序。

**隐写与加密解决不同问题。**加密隐藏消息内容；隐写隐藏传递消息这一行为的存在。算术编码本身不提供通用保密性保证，其分布行为也依赖输入比特的假设。

## 理想区间与实际系统之间

温度和词表截断会改变生成使用的概率分布。限制候选词能改善实验中的人工自然度判断，同时使生成分布偏离原始模型。2019 年论文分别测量这两种变化。后续 [SAAC](https://steganography.live/reading-list/zh/papers/saac/) 明确建立在该方法之上，把固定候选集大小改为自适应选择。

另一个问题出现在词元与文本之间：将生成的词元序列转换为字符串，再对字符串分词，所得序列不一定与原序列相同。[Yan 和 Murawaki（2025）](https://steganography.live/reading-list/zh/papers/tokenization/)研究这一不一致，隐写实验全部使用 2019 年的算术编码方法。编码机制和分词可靠性处于不同环节，二者共同决定消息能否成功恢复。

继续阅读[容量、可检测性与安全性](https://steganography.live/reading-list/zh/guides/capacity-and-security/)，了解每词比特数、模型分布偏差、人工评价和一次成功解码各自支持什么结论。

[阅读中文 Markdown](https://steganography.live/reading-list/zh/guides/arithmetic-coding/index.md) · [浏览参考文献](https://steganography.live/reading-list/zh/papers/)


---

[阅读清单](https://steganography.live/reading-list/zh/) / 方法指南

评价与安全

# 嵌入容量、可检测性与安全性：分别衡量什么？

区分能传多少信息、隐藏行为是否被识别，以及接收方是否完整恢复消息；每个结论都对应具体分布和观察者。

Yuntian Deng 撰写 · 2026年11月11日

[嵌入容量](https://steganography.live/reading-list/zh/guides/capacity-and-security/#capacity) · [参照分布](https://steganography.live/reading-list/zh/guides/capacity-and-security/#distribution) · [观察者](https://steganography.live/reading-list/zh/guides/capacity-and-security/#observers) · [恢复可靠性](https://steganography.live/reading-list/zh/guides/capacity-and-security/#reliability)

## 一段文本能携带多少秘密信息？

嵌入率通常按每个生成词元或每个词承载的比特数报告，衡量秘密消息的密度。单位必须明确：不同分词器对同一段文本的切分不同，每词元比特数不能直接跨系统比较。嵌入容量回答“能传多少信息”；可检测性回答“隐藏行为能否被识别”。

在均匀消息比特与理想概率匹配构造下，模型的不确定性提供传输信息的空间。概率为 p 的词元具有 −log₂(p) 的信息量，对该量求期望得到分布熵。实际载荷率还受有限精度、消息边界、候选限制与可靠性处理影响。[Neural Linguistic Steganography 第 3、4 节](https://aclanthology.org/D19-1115.pdf)同时评价编码率与其他性质。

高嵌入率不等于低可检测性：文本可以携带很多可恢复比特，同时很容易被检测器识别。控制分布偏差的方法也会以较低传输率为代价。比较结果时，应一起报告嵌入率及相关检测或分布指标。

## 究竟匹配哪一个分布？

需要区分三个对象：具体通信场景中普通文本的真实分布、语言模型对它的近似分布，以及隐写编码器产生的分布。匹配语言模型，处理的是后两个分布之间的差异；它不证明语言模型与现实通信完全一致。

2019 年论文分析算术编码诱导的分布，报告与语言模型之间的 KL 散度，同时请人类评价给定上下文后的生成续写。截断和温度实验表明，更接近模型分布的文本，不一定获得更高的人工自然度评分。统计隐蔽性与感知隐蔽性对应不同评价，必须分别说明参照对象。[查看原论文实验。](https://aclanthology.org/D19-1115.pdf)

[Dai 和 Cai（2019）](https://steganography.live/reading-list/zh/papers/dai-cai-2019/)分析分组与变长编码引入的分布变化，提出在偏差过大的步骤跳过嵌入的 patient-Huffman。[SAAC（2020）](https://steganography.live/reading-list/zh/papers/saac/)调整算术编码的候选集大小来控制偏差。这些工作明确连接了编码选择、传输率与指定的参照分布。

**完全安全性是带有模型假设的数学结论。**[Perfectly Secure Steganography Using Minimum Entropy Coupling](https://steganography.live/reading-list/zh/papers/minimum-entropy-coupling/) 用耦合刻画完全安全的隐写，并提出最小熵耦合方法。结论保留被动观察者、未经修改的传输及载体分布访问等假设。论文明确讨论这些条件。

## 观察者能看到什么，又能改变什么？

被动观察者尝试区分普通载体文本与承载秘密消息的文本。人工判断、训练好的文本隐写分析器的准确率，以及信息论界，回答的是不同形式的检测问题。一个检测器未能发现隐写，说明的是该检测器在给定实验条件下的表现，不是所有检测器都必然失败的证明。

主动观察者还能修改传输文本。改写或编辑一旦改变编码所依赖的词元，就会破坏秘密消息提取。这同时涉及恢复可靠性与抗修改能力。Dai 和 Cai 将主动修改列为限制；Yan 和 Murawaki 的隐写提取设置假设攻击者不改动文本。参见[前者第 4 节](https://aclanthology.org/P19-1422.pdf)及[后者的 Limitations](https://aclanthology.org/2025.emnlp-main.361.pdf)。

## 预期接收方能否完整解码？

即使字符串未被修改，词元序列与可见文本之间仍存在转换歧义。[SyncPool](https://steganography.live/reading-list/zh/papers/syncpool/) 通过同步分组与采样处理子词切分歧义，同时保持建模的词元分布；分组也减少可用嵌入率。[逐步验证方法](https://steganography.live/reading-list/zh/papers/tokenization/)则处理算术编码生成过程中的分词不一致。这些工作研究理论编码器能否经受词元到文本再返回词元的完整往返过程。

实验记录应包括语言模型、分词器、生成参数、载荷单位、统计参照分布、观察者能力、提取成功率，以及传输中是否修改文本。这样才能判断改进发生在容量、可检测性还是交付可靠性上，并确认与另一篇论文的实验条件是否一致。

接着阅读[语言模型水印与智能体通信](https://steganography.live/reading-list/zh/guides/watermarking-and-agents/)，理解两个相关领域各自的目标。

[阅读中文 Markdown](https://steganography.live/reading-list/zh/guides/capacity-and-security/index.md) · [浏览参考文献](https://steganography.live/reading-list/zh/papers/)


---

[阅读清单](https://steganography.live/reading-list/zh/) / 方法指南

相关研究

# 从文本隐写到语言模型水印与智能体通信

比较文本隐写的秘密消息恢复、语言模型水印的来源识别，以及智能体通过文本隐蔽通信的机制与实验。

Yuntian Deng 撰写 · 2026年11月11日

[语言模型水印](https://steganography.live/reading-list/zh/guides/watermarking-and-agents/#watermarking) · [共有接口问题](https://steganography.live/reading-list/zh/guides/watermarking-and-agents/#tokenization) · [智能体通信](https://steganography.live/reading-list/zh/guides/watermarking-and-agents/#agents) · [文献关系](https://steganography.live/reading-list/zh/guides/watermarking-and-agents/#reading)

## 隐藏消息与识别生成来源

语言隐写在生成文本中携带秘密消息，同时隐藏消息的存在。语言模型水印加入指定检测器能够识别的信号，为文本生成来源提供证据。两者都利用词元选择的自由度，但成功标准不同。

Kirchenbauer 等人的 [A Watermark for Large Language Models](https://steganography.live/reading-list/zh/papers/llm-watermark/)（ICML 2023）在生成时温和偏向一个伪随机词元集合，并给出无需语言模型的统计检测检验。相关工作部分明确引用 [Neural Linguistic Steganography](https://steganography.live/reading-list/zh/papers/neural-linguistic-steganography/)。水印论文提出了自己的生成与检测构造。[阅读 ICML 原论文。](https://proceedings.mlr.press/v202/kirchenbauer23a/kirchenbauer23a.pdf)

水印检测的统计置信度与从载体文本恢复任意秘密消息是两种输出。水印可以被指定检测器识别，同时不被普通读者直接察觉。比较系统时，应明确谁掌握检测或解码信息，以及系统要揭示或隐藏什么。2019 年的算术编码工作不是这篇水印论文的“绿色词表”算法。

## 共同的文本接口带来共同问题

两类方法经常在词元上操作，却通过字符串传输结果。把词元转换为文本，再重新分词，所得序列不一定保持不变，导致发送方决策与接收方重建过程不一致。

Yan 和 Murawaki 的 [Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models](https://steganography.live/reading-list/zh/papers/tokenization/)（EMNLP 2025）直接研究这一共同问题。论文对隐写提出逐步验证，对水印检测提出事后回退；全部隐写实验使用 Ziegler、Deng 和 Rush 的算术编码方法，因此与 2019 年工作的直接联系位于可靠性环节。[参见第 4.1 节和方法章节。](https://aclanthology.org/2025.emnlp-main.361.pdf)

论文报告，水印设置中的不一致词元较少，改进幅度相应较小。同一个错误来源不代表它对每种应用都有相同影响。

## 文本成为智能体之间的通信信道

语言模型智能体交换的文本本身就是通信信道。如果双方共享编码约定，一段具有普通任务含义的文字还能携带第二层信息。研究这种通信时，需要区分外部提供的编码程序，以及智能体自行建立、使用或发现的编码方案。

Motwani 等人的 [Secret Collusion among AI Agents: Multi-Agent Deception via Steganography](https://steganography.live/reading-list/zh/papers/secret-collusion/)（NeurIPS 2024）形式化秘密串通，并评估隐蔽通信与协调所需的能力。第 2 节把 2019 年的算术编码工作列为早期 AI 生成式隐写方法，其更广泛的问题是智能体、协调和监控的边界。[阅读会议时期版本。](https://arxiv.org/html/2402.07510v3)

**可用的编码机制与观察到的智能体行为是两类证据。**一个可工作的外部算术编码器证明存在这样一条通信信道，不证明未经辅助的智能体能够自主构造、使用或发现它。串通论文报告的模型在高级隐写任务上能力有限，并提出更复杂的多智能体和真实环境评估需求。2019 年论文的实验不是智能体自主串通实验。

具体实验应交代谁控制编码器、智能体是否共享模型或码本、观察者得到哪些信息，以及接收方是否真正恢复秘密消息。承载消息的能力与自主隐蔽协调的证据需要分别报告。

## 论文之间的联系

- **明确引用：**ICML 水印论文引用 Neural Linguistic Steganography，将其放在神经信息隐藏方法的文献中。

- **直接使用方法：**2025 年分词研究在隐写实验中使用 2019 年算术编码器，并增加可靠性处理。

- **拓展研究场景：**NeurIPS 串通论文把早期隐写机制连接到智能体系统的通信与监控问题。

引用关系不等于实现继承，也不等于已观察到智能体自主行为。

[阅读中文 Markdown](https://steganography.live/reading-list/zh/guides/watermarking-and-agents/index.md) · [浏览参考文献](https://steganography.live/reading-list/zh/papers/)