信息论与编码 pdf epub mobi txt 电子书 下载 2026

内容简介

　　本书重点介绍了香农信息论和编码理论的基本原理及其应用。在保持一定理论深度的基础上，尽可能地简化繁杂的公式、定理的证明，采用较多的例题和图示来展示基本概念和原理的应用。叙述上力求概念清楚、重点突出、深入浅出、通俗易懂，内容上力求科学性、先进性、系统性与实用性的统一。
　　本书共9章，内容包括：绪论、信息的统计度量、离散信源和熵、无失真信源编码、离散信道和信道容量、有噪信道编码、连续信源和连续信道、限失真信源编码和网络信息论初步。
　　本书可作为高等院校电子信息工程、通信工程等相关专业的本科生教材，也可作为相关领域中教学与科研人员和工程技术人员的参考用书。

内页插图

目录

目　录

第1章　绪论　1
1．1　信息的概念　1
1．1．1　什么是“信息”　1
1．1．2　如何度量“信息”　2
1．2　信息传输系统　3
1．2．1　信息传输系统模型　3
1．2．2　信息传输系统的性能指标　6
1．3　信息论的研究内容　7
1．3．1　基本信息论的研究内容　7
1．3．2　一般信息论的研究内容　7
1．3．3　广义信息论的研究内容　8
1．4　信息论和编码理论的形成和发展　8
习题　10

第2章　信息的统计度量　11
2．1　随机变量的统计特性　11
2．1．1　随机变量的分类及其描述　11
2．1．2　信源的统计特性　14
2．1．3　信道的传输特性　15
2．2　离散随机变量的自信息和信息熵　18
2．2．1　自信息量　18
2．2．2　信息熵　19
2．2．3　信息熵的性质　21
2．3　离散随机变量的联合自信息和联合熵　22
2．3．1　联合自信息　22
2．3．2　联合熵　23
2．4　离散随机变量的条件自信息和条件熵　24
2．4．1　条件自信息　24
2．4．2　条件熵　25
2．4．3　各类熵之间的关系　26
2．5　离散随机变量的互信息和平均互信息　29
2．5．1　互信息　29
2．5．2　互信息的性质　30
2．5．3　平均互信息　31
2．5．4　平均互信息的性质　33
2．5．5　平均互信息与各类熵之间的关系　36
2．5．6　联合互信息和条件互信息　37
2．5．7　信息处理定理　38
2．6　连续随机变量的信息度量　39
2．6．1　连续随机变量的熵　39
2．6．2　连续随机变量的平均互信息　42
本章小结　43
习题　44

第3章　离散信源和熵　49
3．1　离散信源的分类　49
3．2　离散信源的N次扩展信源　50
3．2．1　N次扩展信源的数学模型　50
3．2．2　离散信源的N次扩展信源的熵　51
3．2．3　离散无记忆信源的N次扩展信源的熵　51
3．3　离散平稳信源　53
3．3．1　离散平稳信源的数学定义　53
3．3．2　有限维离散平稳信源的条件熵　54
3．3．3　二维离散平稳信源的平均符号熵　56
3．3．4　离散平稳信源的极限熵　57
3．3．5　计算极限熵的处理方法　59
3．4　马尔可夫信源　60
3．4．1　马尔可夫信源的描述　60
3．4．2　齐次遍历的马尔可夫信源　62
3．4．3　齐次遍历马尔可夫信源的极限熵　64
3．5　信源的相关性和剩余度　68
本章小结　70
习题　71

第4章　无失真信源编码　74
4．1　信源编码的基本概念　74
4．1．1　信源编码的数学模型　74
4．1．2　信源编码的分类　75
4．1．3　唯一可译码和即时码　76
4．1．4　编码效率　79
4．2　无失真信源编码定理　81
4．2．1　无失真定长信源编码定理　81
4．2．2　无失真变长信源编码定理　86
4．3　常见的无失真信源编码方法　87
4．3．1　香农(Shannon)码　88
4．3．2　霍夫曼(Huffman)码　89
4．3．3　费诺(Fano)码　96
4．3．4　香农-费诺-埃利斯码　97
4．3．5　算术码　99
4．3．6　LZ码　104
本章小结　106
习题　107

第5章　离散信道和信道容量　110
5．1　离散信道的分类　110
5．2　离散信道的数学模型　111
5．3　信道容量　113
5．3．1　信道的信息传输率　113
5．3．2　信道容量的定义　114
5．4　单符号离散信道及其信道容量　116
5．4．1　典型信道的信道容量　116
5．4．2　串联信道及其信道容量　120
5．4．3　一般离散信道的信道容量　121
5．4．4　信道容量的迭代算法　128
5．5　多符号离散信道及其信道容量　134
5．5．1　多符号离散信道的平均互信息　134
5．5．2　离散无记忆信道的信道容量　135
5．5．3　独立并联信道及其信道容量　136
5．6　信源与信道的匹配　136
本章小结　137
习题　138

第6章　有噪信道编码　141
6．1　错误概率　141
6．1．1　错误概率和译码规则　141
6．1．2　错误概率与编码方法　145
6．2　有噪信道编码定理　146
6．3　联合信源信道编码定理　148
6．4　信道编码的基本概念　150
6．4．1　信道编码的分类　150
6．4．2　线性分组码的检错和纠错能力　151
6．4．3　最小汉明距离译码　153
6．4．4　差错控制的三种方式　154
6．4．5　差错控制的途径　154
6．5　线性分组码　155
6．5．1　线性分组码的编码　156
6．5．2　线性分组码的译码　162
6．5．3　完备码和汉明码　167
6．5．4　对偶码　168
6．5．5　扩展码、缩短码和删信码　169
6．6　循环码　171
6．6．1　循环码的码多项式　172
6．6．2　循环码的生成多项式和生成矩阵　173
6．6．3　循环码的监督多项式和监督矩阵　176
6．6．4　循环码的编码电路　178
6．6．5　循环码的伴随式　180
6．6．6　循环码的译码电路　183
6．6．7　CRC码　186
6．7　BCH码和RS码　187
6．7．1　有限域的基本知识　187
6．7．2　二元BCH码　196
6．7．3　多元BCH码和RS码　201
6．8　卷积码　203
6．8．1　卷积码的解析表示　203
6．8．2　卷积码的图形描述　210
6．8．3　卷积码的译码方法　211
6．8．4　卷积码的特性　214
6．8．5　删余卷积码　215
6．8．6　递归型系统卷积码　216
6．9　交织码　217
6．10　级联码　218
6．11　Turbo码　219
6．11．1　Turbo编码　219
6．11．2　Turbo译码　220
6．12　LDPC码　225
本章小结　226
习题　228

第7章　连续信源和连续信道　233
7．1　连续信源和波形信源的信息度量　233
7．1．1　一维连续信源的熵　233
7．1．2　多维连续信源的熵　234
7．1．3　波形信源的熵率　236
7．2　连续信源的最大熵　237
7．2．1　峰功率受限的连续信源　238
7．2．2　平均功率受限的连续信源　238
7．2．3　连续信源的熵功率　240
7．3　连续信源熵的变换　241
7．4　波形信道的分类和处理方法　242
7．4．1　波形信道的分类　242
7．4．2　波形信道的处理方法　243
7．5　连续信道的平均互信息　244
7．5．1　连续信道　244
7．5．2　加性信道　245
7．6　连续信道的信道容量　246
7．6．1　一维高斯加性信道　247
7．6．2　多维无记忆高斯加性信道　248
7．7　波形信道的信道容量　250
7．7．1　限带AWGN信道的容量　250
7．7．2　香农公式的讨论　251
7．8　连续信道编码定理　253
本章小结　254
习题　255

第8章　限失真信源编码　258
8．1　失真测度　258
8．1．1　失真函数　259
8．1．2　平均失真　262
8．1．3　保真度准则　262
8．2　信息率失真函数　263
8．2．1　信息率失真函数的定义　264
8．2．2　R(D)函数的性质　264
8．2．3　常见信源的R(D)函数　267
8．3　限失真信源编码定理　268
8．4　R(D)函数的计算　270
8．4．1　R(D)函数的参量表示法　270
8．4．2　离散对称信源的R(D)函数　273
8．5　联合限失真信源信道编码定理　278
本章小结　280
习题　280

第9章　网络信息论初步　283
9．1　网络信源　283
9．2　网络信道　285
9．2．1　多址接入信道　285
9．2．2　广播信道　287
9．3　网络信源和网络信道的联合/分离　288
9．4　网络编码　289
9．4．1　网络编码原理　289
9．4．2　线性网络编码原理　290
9．4．3　网络编码的优势　291
9．5　协作通信　292
9．5．1　中继网络中协作策略及其容量　294
9．5．2　多中继高斯信道的容量　296

附录A　詹森不等式及其应用　299
A1　詹森不等式　299
A2　利用詹森不等式证明的性质和定理　299
附录B　信息度量的常用公式　305

参考文献　308

前言/序言

《编码的艺术：信号的穿越与信息的守护》 在浩瀚的数字洪流中，信息如同生命之血，贯穿人类文明的脉络。从古老的烽火狼烟到如今的量子通信，我们对信息传递的追求从未停止。然而，信号在传输过程中，如同一位旅人，难免会遭遇噪声的侵扰、失真的阻碍。如何才能让信息在崎岖的道路上，安然无恙地抵达目的地？《编码的艺术：信号的穿越与信息的守护》将为您揭开信息传递的神秘面纱，带领您走进一个精妙绝伦的世界。 本书并非聚焦于某一特定学科的理论框架，而是以一种更广阔的视角，审视信息在现实世界中的存在、流动与保护。它将从信息产生的源头，深入探讨其本质；再追溯信息在物理世界中的载体与表现形式；进而剖析信息在传递过程中所面临的挑战，以及人类为克服这些挑战所发展出的智慧结晶。 第一部分：信息的溯源与度量 信息究竟是什么？它不是物质，却能引发巨大的变革；它不是能量，却能驱动科技的飞跃。本书将首先带领读者回到信息概念的本源。我们将从信息论的奠基人克劳德·香农的经典工作出发，但会剥离其纯粹的数学模型，将其转化为易于理解的直观描述。我们将探讨信息熵的概念，不是用复杂的公式，而是通过生活中的例子，比如一个未知事件的不确定性如何衡量其“信息量”。例如，抛一枚硬币，正面朝上的信息量，与掷一个骰子，得到特定数字的信息量，哪一个更大？答案取决于我们对结果的“意外程度”。 我们会进一步探讨信息的“冗余”与“信息增益”。在日常沟通中，我们常常会重复一些话语，这看似是低效的，但从另一个角度看，这种冗余恰恰是应对噪声、确保信息被准确接收的关键。本书将通过生动的比喻，说明冗余在信息传递中的保护作用，以及如何通过识别和去除冗余，来提高信息传递的效率。 第二部分：信号的物理世界 信息并非空中楼阁，它必须以某种物理形式存在，才能被传播和接收。本书将穿越模拟信号与数字信号的边界。我们将用形象的语言描绘连续变化的模拟信号，就像声波在空气中传播，其波动幅度直接反映了声音的大小。而数字信号，则是将信息离散化，用0和1的序列来代表，如同二进制代码，精确而稳定。 我们将探讨不同媒介对信号的影响。声音在空气中的传播，电磁波在电缆中的穿梭，光纤中闪烁的光脉冲，甚至基因序列中蕴含的遗传信息，它们都是信息的不同载体。本书将揭示这些载体各自的特性，以及它们在传输信息时所表现出的优势与局限。例如，电磁波的传播速度极快，但容易受到干扰；光纤的传输容量巨大，但铺设成本较高。 第三部分：信号的旅途：挑战与智慧 信息的旅途从来不是一帆风顺的。噪声，如同潜伏在信号路径上的“窃听者”，会扭曲、篡改信息，使其失真。热噪声、串扰、电磁干扰……这些无形的敌人，时刻威胁着信息的完整性。本书将深入浅出地分析这些噪声的来源和影响，并着重介绍人类为对抗噪声所发展出的强大武器——编码。 本书将重点讲解“纠错码”的奥秘。纠错码，就好比给信息加上了一层“保护网”。我们不会深入到复杂的代数构造，而是通过理解其核心思想来阐释。想象一下，当你写一个信息时，你知道它有很大概率会被抄写错误，于是你在每个字母后面都加上一些“校验位”。这些校验位本身不携带信息，但它们与原始信息之间存在着特定的数学关系。当信息到达目的地时，接收方可以通过检查这些关系，判断信息是否出错，甚至在某些情况下，还能自动修正错误。 我们将介绍一些经典的纠错码思想，例如汉明码，它以其简洁而高效的设计，在早期通信和数据存储领域扮演了重要角色。我们将通过图示和类比，展示汉明码如何巧妙地用少量的冗余信息，实现对单比特错误的检测和纠正。同时，我们也会提及更强大的纠错码，如里德-所罗门码，它在CD、DVD以及卫星通信等领域发挥着至关重要的作用，能够有效地对抗突发性的、连续的错误。 第四部分：压缩的智慧：信息的精炼 在信息爆炸的时代，存储空间和传输带宽变得尤为宝贵。如何让有限的资源承载更多的信息？“数据压缩”技术应运而生。本书将揭示数据压缩的艺术，它并非是丢弃信息，而是在不损失关键信息的前提下，对信息进行精炼。 我们将区分“无损压缩”和“有损压缩”。无损压缩，顾名思义，能够百分之百地恢复原始信息，就像将一件衣服折叠起来，再展开后与原装时一模一样。我们将介绍一些常见的无损压缩算法，例如行程长度编码（RLE），它通过将连续重复的字符替换为重复次数和字符本身，大大缩短了数据长度。例如，“AAAAABBBCC”可以被压缩成“5A3B2C”。 而有损压缩，则是在可接受的范围内，牺牲一部分信息以换取更高的压缩率。这种压缩方式的精妙之处在于，它利用了人眼的感知阈值和耳朵的听觉特性。例如，在图像压缩中，人眼对亮度变化的敏感度远高于对色彩变化的敏感度，因此，有损压缩算法会优先保留亮度信息，而对色彩信息进行一定程度的简化。在音频压缩中，类似地，一些人耳不易察觉的声音频率会被去除。本书将通过实例，展示JPEG图像压缩和MP3音频压缩的原理，让读者理解它们如何在保证视觉和听觉体验的同时，实现惊人的压缩效果。 第五部分：编码的未来与展望 随着科技的飞速发展，信息传递的边界正在不断拓展。本书的最后一部分，将带领读者展望编码技术的未来。我们将触及现代通信系统中更加复杂的编码技术，例如信道编码与源编码的协同设计，如何更有效地利用有限的通信资源。 我们还将探讨信息安全与编码之间的深刻联系。加密技术，本质上也是一种特殊的编码，它通过数学算法，将可读的信息转化为难以理解的密文，从而保护信息的机密性。本书将简要介绍对称加密和非对称加密的基本思想，让读者了解现代信息安全体系是如何建立在编码的基石之上的。 最后，我们将目光投向新兴的编码技术，如在机器学习、人工智能领域应用的各种编码方法，以及在量子计算领域，量子比特的编码与纠错所面临的挑战与机遇。 《编码的艺术：信号的穿越与信息的守护》并非一本艰深的学术著作，它是一次关于信息之美的探索之旅。通过生动形象的语言、贴近生活的例子，以及对编码技术背后智慧的深入挖掘，本书旨在让每一位读者都能领略到信息传递的魅力，理解编码在现代社会中不可或缺的重要性，并对信息如何穿越时空，被守护得如此安然，产生由衷的赞叹。无论您是技术爱好者，还是对信息世界的运作方式感到好奇，本书都将为您打开一扇通往新世界的大门。