信息论基础 下载 mobi epub pdf 电子书 2024

编辑推荐

本书针对通信工程、电子信息工程和信息工程等专业的教学需要，重点讲授香农信息论的基本原理及其应用，强调在信息传输系统这一工程应用背景下建立信息论的数学分析方法。

内容简介

本书重点介绍了香农信息论的基本原理及其应用。在保持一定理论深度的基础上，尽可能简化繁杂的公式、定理的证明，采用较多的例题和图示来展示基本概念和原理的应用。叙述上力求概念清楚、重点突出、深入浅出、通俗易懂；内容上力求科学性、先进性、系统性与实用性的统一。 本书共8章，内容包括：绪论、离散信源及其信息度量、离散信道及其信道容量、连续信源和连续信道、无失真信源编码、有噪信道编码、限失真信源编码和网络信息论初步。

作者简介

于秀兰，重庆邮电大学通信学院副教授，主要从事通信原理和信息论的教学和科研工作；重庆市精品课程《信息论基础》和第二负责人（实际负责人）；重庆市精品课程《通信原理》第二负责人；编著有"信息论”和"通信原理”等多部教材。

目录

第1章 绪论 1
1．1 信息的概念 1
1．1．1 什么是信息 1
1．1．2 信息如何度量 2
1．2 信息传输系统 4
1．3 信息论的研究内容 7
1．3．1 基本信息论的研究内容 7
1．3．2 一般信息论的研究内容 8
1．3．3 广义信息论的研究内容 8
1．4 香农信息论的形成和发展 8
习题 10
第2章 离散信源及其信息度量 12
2．1 离散信源的分类 12
2．2 离散信源的统计特性 13
2．2．1 单符号离散信源的统计特性 13
2．2．2 多符号离散信源的统计特性 13
2．3 离散随机变量的信息度量 14
2．3．1 自信息和信息熵 14
2．3．2 联合自信息和联合熵 19
2．3．3 条件自信息和条件熵 21
2．3．4 各类熵之间的关系 24
2．4 离散信源的N次扩展信源 27
2．4．1 离散信源的N次扩展信源的熵 27
2．4．2 离散无记忆信源的N次扩展信源的熵 28
2．5 离散平稳信源 29
2．5．1 离散平稳信源的数学定义 29
2．5．2 有限维离散平稳信源的条件熵 31
2．5．3 二维离散平稳信源的平均符号熵 32
2．5．4 离散平稳信源的极限熵 33
2．5．5 计算极限熵的处理方法 36
2．6 马尔可夫信源 37
2．6．1 马尔可夫信源的描述 37
2．6．2 齐次遍历的马尔可夫信源 39
2．6．3 齐次遍历马尔可夫信源的极限熵 41
2．7 离散信源的相关性和剩余度 46
习题 48
第3章 离散信道及其信道容量 53
3．1 离散信道的分类 53
3．2 离散信道的数学模型 54
3．2．1 单符号离散信道的数学模型 54
3．2．2 多符号离散信道的数学模型 57
3．3 离散随机变量的互信息和平均互信息 59
3．3．1 互信息的定义 59
3．3．2 互信息的性质 60
3．3．3 平均互信息的定义 61
3．3．4 平均互信息的性质 62
3．3．5 平均互信息与各类熵之间的关系 65
3．3．6 平均联合互信息和平均条件互信息 66
3．4 信道容量的定义 68
3．4．1 信息传输率和信息传输速率 68
3．4．2 信道容量 69
3．5 单符号离散信道及其信道容量 71
3．5．1 典型信道的信道容量 71
3．5．2 串联信道及其信道容量 75
3．5．3 信息处理定理 76
3．5．4 一般离散信道的信道容量 77
3．6 多符号离散信道及其信道容量 85
3．6．1 多符号离散信道的平均互信息 85
3．6．2 离散无记忆信道的信道容量 86
3．6．3 独立并联信道及其信道容量 86
3．7 信源与信道的匹配 87
习题 88
第4章 连续信源和连续信道 93
4．1 连续信源的分类和统计特性 93
4．1．1 连续信源的分类 93
4．1．2 连续信源的统计特性 93
4．2 连续随机变量的信息度量 95
4．2．1 连续随机变量的熵 96
4．2．2 连续随机变量的平均互信息 98
4．3 连续信源的信息度量 99
4．3．1 单符号连续信源的熵 100
4．3．2 多符号连续信源的熵 100
4．3．3 波形信源的熵率 101
4．4 连续信源的最大熵 102
4．4．1 瞬时功率受限的连续信源 103
4．4．2 平均功率受限的连续信源 103
4．4．3 连续信源的熵功率 105
4．5 连续信源熵的变换 106
4．6 连续信道和波形信道的分类 108
4．6．1 连续信道的分类 108
4．6．2 波形信道的分类 109
4．7 连续信道的平均互信息 110
4．7．1 连续信道 110
4．7．2 加性信道 111
4．8 连续信道的信道容量 112
4．8．1 一维高斯加性信道 113
4．8．2 多维无记忆高斯加性信道 114
4．9 波形信道的信道容量 116
4．9．1 限带AWGN信道的容量 116
4．9．2 香农公式的讨论 117
习题 120
第5章 无失真信源编码 123
5．1 信源编码的基本概念 123
5．1．1 信源编码的数学模型 123
5．1．2 信源编码的分类 124
5．1．3 唯一可译码和即时码 125
5．1．4 编码效率 128
5．2 无失真信源编码定理 130
5．2．1 无失真定长信源编码定理 131
5．2．2 无失真变长信源编码定理 135
5．3 常见的无失真信源编码方法 137
5．3．1 香农（Shannon）码 138
5．3．2 霍夫曼（Huffman）码 139
5．3．3 费诺（Fano）码 147
5．3．4 香农-费诺-埃利斯码 148
5．3．5 算术码 149
5．3．6 LZ码 152
习题 154
第6章 有噪信道编码 158
6．1 错误概率 158
6．1．1 错误概率和译码规则 158
6．1．2 错误概率和编码方法 162
6．2 有噪信道编码定理 163
6．3 联合信源信道编码定理 166
6．4 信道编码的基本概念 167
6．4．1 信道编码的分类 168
6．4．2 线性分组码的检错和纠错能力 168
6．4．3 最小汉明距离译码 170
6．4．4 差错控制的三种方式 171
6．4．5 差错控制的途径 172
6．5 线性分组码 173
6．5．1 线性分组码的编码 173
6．5．2 线性分组码的译码 180
6．5．3 完备码和汉明码 185
6．6 循环码 186
6．6．1 循环码的码多项式 186
6．6．2 循环码的生成多项式和生成矩阵 187
6．6．3 循环码的伴随式 190
6．6．4 BCH码和RS码 192
6．7 卷积码 194
6．7．1 卷积码的解析表示 194
6．7．2 卷积码的图形描述 198
6．7．3 卷积码的译码方法 200
6．7．4 递归型系统卷积码 202
6．8 交织码 203
6．9 级联码 205
6．10 Turbo码 205
6．11 LDPC码 207
习题 208
第7章 限失真信源编码 212
7．1 失真测度 212
7．1．1 失真函数 213
7．1．2 平均失真 215
7．1．3 保真度准则 216
7．2 信息率失真函数 217
7．2．1 信息率失真函数的定义 217
7．2．2 R(D)函数的性质 217
7．3 常见信源的R(D)函数 220
7．3．1 R(D)函数的参量表示法 220
7．3．2 离散对称信源的R(D)函数 224
7．3．3 高斯信源的R(D)函数 229
7．4 限失真信源编码定理 231
7．5 联合限失真信源信道编码定理 232
习题 233
第8章 网络信息论初步 237
8．1 网络信源 237
8．2 网络信道 239
8．2．1 多址接入信道 239
8．2．2 广播信道 241
8．3 网络信源和网络信道的联合/分离 242
8．4 网络编码 243
8．4．1 网络编码原理 243
8．4．2 线性网络编码原理 244
8．4．3 网络编码的优势 245
8．5 协作通信 246
8．5．1 中继网络中协作策略及其容量 247
8．5．2 多中继高斯信道的容量 250
附录A 詹森不等式及其应用 253
附录B 信息度量的常用公式 260
参考文献 263

前言/序言

信息社会被广泛认为是继农业社会、工业社会之后的第三次伟大的科技革命与社会变革，信息论、控制论和系统论成为信息社会最基础的理论体系。信息论是20世纪40年代末期由美国数学家香农等人创立的，它是关于通信的数学理论，是一门高度概括的、应用广泛的综合性学科，经过几十年的发展，已经成为信息科学的重要基础理论。

香农信息论应用概率论、随机过程和数理统计等方法来研究信息的存储、传输和处理中的一般规律，揭示如何采用适当的编码提高信息系统的可靠性和有效性，为构造最佳通信系统提供了重要的理论依据。其主要内容包括三个基本概念（信源熵、信道容量和信息率失真函数）及其三个编码定理（无失真信源编码定理、有噪信道编码定理和限失真信源编码定理）。

本书针对通信工程、电子信息工程和信息工程等专业的教学需要，重点讲授香农信息论的基本原理及其应用，强调在信息传输系统这一工程应用背景下建立信息论的数学分析方法。全书共8章，主要内容如下。

第1章介绍香农信息论的概况，包括信息的概念、信息传输系统的组成、信息论的研究内容、形成和发展。

第2章介绍离散信源及其信息度量。首先介绍离散信源的分类和统计特性，然后讨论离散随机变量的信息度量，包括自信息和信息熵、联合自信息和联合熵、条件自信息和条件熵，进而讨论离散信源的Ｎ次扩展信源、离散平稳信源和马尔可夫信源的信息度量，最后介绍离散信源的相关性和剩余度。

第3章介绍离散信道及其信道容量。首先介绍离散信道的分类和数学模型，然后定量地研究信道传输的平均互信息及其重要性质，并重点讨论几种典型单符号离散信道的信道容量，进而研究一般单符号离散信道的信道容量的计算方法，而后讨论多符号离散信道的信道容量，最后讨论信源和信道的匹配问题。

第4章介绍连续信源和连续信道。首先介绍连续信源的分类及其统计特性，进而讨论其信息度量，而后介绍连续信道的分类及其信道容量，并重点讨论表征AWGN信道容量的香农公式。

第5章论述无失真信源编码定理，并给出几种常见的无失真信源编码方法。

第6章论述有噪信道编码定理，并讨论几种常见的信道编码和译码的方法。

第7章论述限失真信源编码定理，并讨论信息率失真函数的定义、性质及其计算。

第8章介绍网络信息论的一些基本理论和新成果。

本书在叙述上力求概念清楚、体系完整、重点突出、通俗易懂；在内容上力求科学性、先进性、系统性与实用性的统一。读者在学习时应结合实际通信系统来理解信息论和编码理论，注重对物理概念的理解，培养分析和解决通信系统中实际问题的能力。

本书由于秀兰、陈前斌、王永编著，其中第1章、第2章、第5章和第6章由于秀兰编写；第4章和第8章由陈前斌编写；第7章由王永编写；第3章由于秀兰和王永共同编写；最后由于秀兰统稿。

本书在编写过程中得到了重庆邮电大学雷维嘉教授、蒋青教授、陈善学教授和唐伦教授等多位同行的帮助，在出版过程中得到了电子工业出版社的鼎力支持，在此一并表示诚挚的谢意。

由于作者水平有限，书中错误难免，敬请读者批评指正。

作 者

2017年1月