北京邮电大学牛凯教授：语义信息论

　　1948年，美国数学家香农发表了经典论文《通信的数学理论》，标志着信息科学理论的奠基。70多年来，香农构建的经典信息论变成了一座富丽堂皇的科学大厦。由信息的不确定性出发，香农引入的信息熵、互信息、信道容量与率失真函数的信息度量体系，构成了信息论大厦的底座；以无失真信源编码定理为支柱，各种高性能的无损压缩编码方法构成了大厦的第一层；以信道编码定理为支柱，各种信道编码技术，包括Turbo 码、LDPC 码以及Polar 码等先进编码技术，构成了大厦的第二层；以限失真信源编码定理为支柱，各种有损压缩、量化编码的先进技术构成了大厦的第三层。

　　但是，上述工作只局限在语法信息层面。长期以来，如何将经典信息论扩展到语义信息论，是信息论学术界共同关心的重大科学问题。在我从事信息论与编码研究的20年中，如何推广信息论，也是始终萦绕在我脑海中的一个中心问题。恩师吴伟陵教授曾与我多次畅谈信息论的核心问题。我仔细研读了1982年吴老师发表在《北京邮电大学学报》的论文《广义信源与广义熵》。在这篇文章中，吴老师将香农信息熵的概念推广到模糊集合中，提出了广义信息熵理论，证明了广义熵同样具有信息熵的四种重要性质，构成了一个严谨的理论体系。后续我也学习了钟义信教授提出的全信息方法的系列工作。这些工作非常具有启发性，让我从模糊集合的角度看待语义信息，但也带来了新的困惑。如何度量模糊性？如何证明基于模糊性的编码定理？这些问题始终困扰着我的思路。

　　随着2012年第三次人工智能热潮的兴起，AI 与通信的融合研究成为近年来通信业界的大趋势。从2019年开始，在张平院士的带领下，北京邮电大学团队在语义通信领域大胆创新，深入探索。张院士提出“智简(Intellicise)”理念，由此构建模型驱动的语义通信框架，进而提出语义基模型，用于语义信息的表征与编码。在此基础上，张院士团队提出了多项先进的语义信息处理技术。与此同时，国内外语义通信的研究工作也如雨后春笋般涌现。人们发现，相比传统通信，语义通信显示出巨大的性能优势。如何从理论上解释语义通信的性能增益，构建完善的语义信息论，指导语义通信系统的设计与优化，成为业界关注的焦点。张院士把这份理论研究的任务交给我，期待我在语义信息论的研究上取得突破。记得一个冬日的中午，张院士专门给我打电话，谈到引入语义信息，是否能够改进香农信道容量公式，殷殷期待，令人动容，谆谆嘱托，促我奋进。

　　重任在肩，推动我反复思考语义信息的本质，上下求索语义信息论构建的突破点。2023年8 月的一天，我正在仔细研读香农的经典论文以及Cover 的信息论经典教材，随机性、模糊性、算法复杂度等，一系列概念在我脑海中相互交织。语义信息的本质是什么？如何度量语义信息？纷繁复杂的思绪让我无所适从。当我再次审视香农原著的英文文本分析示例时，突然想到语言中普遍存在的同义词现象。同样的含义，可以有多种表达，不同的词语背后对应相同或相似的语义，这种“一对多”的映射关系是不是反映了语义信息的特点？电光石火之间，我发现了语义信息的本质特征——同义性，前人都是从数据符号的逻辑性与模糊性刻画语义信息，而基于同义性，我发现应当改用语法和语义之间的同义映射关系刻画，语义信息是定义在同义集合上的信息，而非单个数据符号。在语法层面，用数据符号的不确定性刻画信息，而在语义层面，定义在同义集合上的信息，既可以表征不同语法表达背后的公共语义属性，又可以在“一对一”映射下，退化为语法信息。由此，实现了语义和语法信息之间完美的过渡与兼容。这真是踏破铁鞋无觅处，得来全不费功夫，我终于找到了构建语义信息论的金钥匙。

　　从同义性出发，刻画语义信息的本质特征，以同义映射为核心，构建语义信息的度量体系，证明语义信息的基本编码定理。

　　2024年6月，我与张平院士撰写的论文《语义通信的数学理论》正式发表在《通信学报》，受到学术界的普遍关注。在这篇论文中，我们回答了语义通信的三个基本问题：什么是语义信息？语义信息如何度量？语义通信的极限与性能增益来源是什么？语义信息是语法信息的上级概念，是定义在同义集合上的信息，同义性是语义信息的本质特征。由同义映射出发，我们推导了语义信息的度量体系，包括语义熵、上/下语义互信息、语义信道容量以及语义率失真函数等五个度量。

　　当“一对多”的同义映射退化为“一对一”映射时，这些度量都可以退化为经典信息的度量，从而实现完美的兼容性。进一步，我们将同义映射推广到码长无限长的渐近情况，引入同义典型序列作为新的数学工具，从而证明了三个基本的编码定理——语义无失真编码定理、语义信道编码定理以及语义限失真编码定理。这些基本定理表明，在语义层面，信源压缩效率可以进一步提高到语义熵或语义率失真函数，信息传输速率可以增大到语义信道容量，这些语义通信的性能极限，都超越了经典通信极限，从而揭示了语义通信的性能增益来源。同时，当同义映射退化为“一对一”映射时，它们又能将经典通信极限作为特例包含进来。由此可见，这篇论文建立的语义信息论框架，实现了对经典信息论的兼容与扩展。

　　以这篇论文为基础，我对理论框架进行了扩充与完善，撰写了这部《 》专著。本书系统阐述了语义信息理论，指出语义信息是语法信息的上级概念，同义性是语义信息的本质特征，由此构建了语义信息的度量体系，推导了语义通信的理论极限，证明了三个基本的语义编码定理。本书建立的语义信息论框架，是对经典信息论的兼容与发展，将成为语义通信优化设计的指导理论。全书包括8章内容，分为四个部分。

　　第一部分简述经典信息论与前人的语义信息论研究，包括第1章～第3章。第1章简述语义信息论的主要观点，以及全书的基本内容。第2章简要介绍经典信息论的主要内容。第3章概括前人在语义信息论方面的主要工作，包括逻辑概率、模糊属性两条主线的研究。

　　第二部分阐述语义信息的度量体系，对应第4章。首先，揭示语义信息的本质特征是同义性，由此引入同义映射与语义变量的正式定义，引入语义熵、语义相对熵、上/下语义互信息、语义信道容量以及语义率失真函数的严格定义，构建语义信息的度量体系，系统阐述各个度量的数学性质以及与经典信息度量之间的关系。

　　第三部分阐述语义编码的基本定理，包括第5章～第7章。第5章在弱典型与强典型两种条件下，引入语义典型序列与同义典型序列，证明语义无失真信源编码定理，并描述语义Huffman 编码以及语义算术编码方法。第6章引入语义联合典型序列以及联合同义典型序列，采用联合同义典型序列译码方法，证明语义信道编码定理，并描述最大似然群译码算法的基本思想。第7章讨论弱典型与强典型条件下的失真同义典型序列性质，采用联合同义典型序列编码方法，证明语义限失真编码定理。

　　第四部分阐述连续语义信息度量，对应第8章。将语义信息度量推广到连续消息情况，引入连续语义熵、连续上/下语义互信息、连续语义信道容量与连续语义率失真函数，证明高斯信道的语义编码定理，并推导相应的语义信道容量。

　　本书的研究工作是在国家自然科学基金项目(编号：62293481、62071058、92067202、62471054)对于基础研究的持续资助下完成的。

　　本书主要面向信息论与语义通信的初学者和研究人员。对于初学者，本书对语义信息论进行系统全面的阐述，便于读者了解语义通信基础理论研究的全貌。对于研究人员，本书是作者在语义信息论方向的研究总结，希望能够展现语义通信研究的最新前沿。语义信息论将开启新的研究序幕，有大量激动人心的研究课题等待挖掘。作者期待感兴趣的研究人员，共同投入到语义信息论研究的伟大事业中！

　　信息科学的发展正面临新的历史机遇，时代呼唤信息理论的变革与创新。一个伟大的理论必然能概括为系统化的数学表述，而这种数学表述越简洁，就越容易被接受，必将引导一场技术革命，从而形成一种创新的社会范式。在历史上，经典信息论作为一种开创性的理论，揭开了信息技术革命的面纱。特别是香农的信道容量公式，成为通信系统设计与优化的指路明灯。展望未来，语义信息论将指导语义通信系统的优化，设计新型的语义编码方案，为信息和信号处理研究开辟新的道路。

　　本文摘编自《语义信息论》（牛凯著. 北京: 龙门书局, 2025. 6）一书“前言”“后记”“序”，有删减修改，标题为编者所加。

　　作为通信与AI 融合的代表性技术，近年来语义通信成为非常热门的前沿方向。本书阐述了语义信息理论，回答了语义通信的三个基本问题：什么是语义信息？语义信息如何度量？语义通信的极限与性能增益来源是什么？本书指出语义信息是语法信息的上级概念，同义性是语义信息的本质特征，由此构建了语义信息的度量体系，推导了语义通信的理论极限，证明了三个基本的语义编码定理。本书建立的语义信息论框架，是对经典信息论的兼容与发展，将成为语义通信优化设计的指导理论。

　　本书可作为语义通信相关领域的教材，也可供需要了解语义通信的研究人员与工程技术人员参考。