信源的分类

授课题目

首次授课时间

教学目标 信息论的数学基础与信源的分类 授课类型 学时 理论课 2课时 掌握信息论涉及的数学基础；

理解信源的分类；

信息论的数学基础；

平稳信源、MARKOV 信源的理解； 重点与难点

教学手段与方法 讲授

教学过程：（包括授课思路、过程设计、讲解要点及各部分具体内容、时间分配等） 授课思路与过程设计：

（1）

（2）

（3）

讲解要点：

（1） 信源的分类，注意对平稳信源、无记忆信源以及扩展信源的理解；

（2） 信源的基本单位与举例说明

（3） 信息熵的基本概念与理解

时间分配：

内 容

复习

信源的分类

信源的单位与举例说明

信息熵

小结 时间分配 5分钟 20分钟 30分钟 30分钟 5分钟 信源的分类，特别是离散信源的分类：离散无记忆信源、N 次扩展信源、平稳信源。 信源的单位与举例说明 信息熵

若信源输入的消息可以用N 维随机矢量(X 1, X 2, K , X N ) 来描述，其中每个随机分量X i 都是取值为连续的连续型随机变量，并且满足随机矢量X 的各维密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X 的各维密度函数均相同，这样的信源称为连续平稳信源。例如，语音信号、热噪声信号等。

在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的，也就是说信源输出的随机矢量X =(X 1, X 2, K , X N ) 中，各随机变量X i 之间是无依赖的、统计独立的，则N 维随机矢量的联合概率分布满足

P (X ) =P (X 1X 2L X N ) =P 1(X 1) P 2(X 2) L P N (X N )

由于信源是平稳的，根据平稳随机序列的统计特性可知，各变量X i 的一维概率分布都相同，即P 1(X i ) =P 2(X i ) =L =P N (X i ) ，则得

P (X ) =P (X 1) P (X 2) L P (X N ) =∏P (X i )

i =1N

若不同时刻的随机变量又取值于同一符号集A :{a 1, a 2, K , a q }，则有

P (X =αi ) =P (a i 1a i 2L a i N ) =P (a i 1) P (a i 2) L P (a i N )

=∏P (a i k ) k =1N

式中，αi 是N 维随机矢量的一个取值，即αi =(a i 1a i 2L a i N ) 。

由符号集A :{a 1, a 2, K , a q }与概率测度P (a i ) （i =1, 2, K , q ）构成一个概率空间

K , a 2, a q ⎤⎡X ⎤⎡a 1,

⎢P (x ) ⎥=⎢P (a ), P (a ), K , P (a ) ⎥

12q ⎦⎣⎦⎣

我们称由信源空间[X , P (x )]描述的信源X 为离散无记忆信源，这信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。

把由离散无记忆信源所输出的随机矢量X 所描述的信源称为离散无记忆信源X 的N 次扩展信源，可见，N 次扩展信源是由离散无记忆信源输出N 长的随机序列构成的信源。

离散无记忆信源的N 次扩展信源的数学模型是X 信源空间的N 重空间：

α2, K , αq N ⎤⎡X N ⎤⎡α1,

⎢⎥=⎢P (α), P (α), K , P (α) ⎥

12q N ⎥⎣P (αi ) ⎦⎢⎣⎦

式中αi =(a i 1a i 2L a i N ) ，并满足

P (αi ) =P (a i 1a i 2L a i N ) =P (a i 1) P (a i 2) L P (a i N )

∑P (α) =∑(P (a i

i =1i =1q N q N i 1) P (a i 2) L P (a i N )) =1

一般情况下，信源输出的信息是非平稳的随机序列，且序列中在不同时刻发出的符号之间是相互依赖的，也就是信源输出的随机序列X 中，各随机变量X i 之间是有依赖的，这种信源称为有记忆信源。我们需要在N 维随机矢量的联合概率分布中，引入条件概率来说明它们之间的关联。

表述有记忆信源比无记忆信源困难得多，实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。当记忆长度为m +1时，称这种有记忆信源为m 阶Markov 信源，即信源每次发出的符号只与前面m 个符号有关，与更前面的符号无关。描述随机序列中各随机变量之间依赖关系的条件概率为

P (x i |L x i +2x i +1x i −1x i −2L x 1) =P (x i |x i −1x i −2L x i −m )

如果上述条件概率与时间起点i 无关，即信源输出的符号序列可以看成为时齐Markov 链，则此信源称为时齐Markov 信源。

更一般地，实际信源输出的消息常常是时间和取值都是连续的，例如语音信号、电视图像信号等。对于这种信源输出的信息，可用随机过程来描述，称这类信源为随机波形信源（又称模拟信源）。

分析一般随机波形信源比较复杂和困难，常见的随机波形信源输出的消息是时间上或频率上为有限的随机过程。根据取样定理，只要时间上或频率上受限的随机过程，都可以把随机过程用一系列时间（或频率）域上离散的取样值来表示，而每个取样值都是连续型随机变量。这样，就可把随机过程转换成时间上离散的随机序列来处理，甚至在某些条件下可以转换成随机变量间统计独立的随机序列。如果随机过程是平稳的随机过程，时间离散化后可转换成平稳的随机序列，这样，随机波形信源可以转换为连续平稳信源来处理，再对每个取值进行分层（量化），就可以将连续的取值转换成离散信源来处理。

二、信息的单位

自信息采用的单位取决于对数所选取的底，由于P (a i ) 是小于1的正数，又根据实际情况，自信息I (a i ) 肯定是正数，因此，对数的底必然为大于1的任意数。如果以2为底，所得的信息量单位为比特；如果采用以e 为底的自然对数，所得的信息量单位为奈特；若采用以10为底的对数，所得的信息量单位为哈特。同样可以根据对数的运算公式找出比特、奈特和哈特之间的数量关系。

这样，平均摸取一次所能获得的信息量约为

H (X ) =−[P (a 1) log P (a 1) +P (a 2) log P (a 2)]

=−∑P (a i ) log P (a i )

i =12

显然，这就是信源X 的信息熵，因此信息熵是从平均意义上来表征信源的总体信息测度的一个量，信息熵具有以以下三种物理意义：

第一，信息熵H (X ) 是表示信源输出后，每个消息或符号所提供的平均信息量； 第二，信息熵H (X ) 是表示信源输出前，信源的平均不确定性。例如有两个信源，其概率空间分别为

a 2⎤⎡Y ⎤⎡b 1, b 2⎤⎡X ⎤⎡a 1, =⎢P (x ) ⎥⎢0. 99, 0. 01⎥，⎢P (y ) ⎥=⎢0. 5, 0. 5⎥

⎣⎦⎣⎦⎣⎦⎣⎦

则信息熵分别为

H (X ) =0. 08比特/符号

H (Y ) =1比特/符号

可见H (Y ) >H (X ) ，即信源Y 比信源X 的平均不确定性要大。原因是信源Y 的两个输出消息是等可能性的，所以在信源没有输出消息之前，事先猜测哪一个消息出现的不确定性要大，而对于信源X ，它的两个输出消息不是等概率的，事先猜测两个事件哪一个出现，虽然具有不确定性，但大致可以猜测a 1会出现，因为它出现的概率要大得多，所以前一个信源的不确定性要小，因此，信息熵反映了信源输出消息前，接收者对信源存在的平均不确定程度的大小。

第三，用信息熵H (X ) 来表征随机变量X 的随机性，如前例，变量Y 取b 1和b 2是等概率的，所以其随机性大，而前一个变量则不同，因此随机性就小。因此H (X ) 反映了变量的随机性，信息熵H (X ) 正是描述随机变量X 所需的比特性。

需要注意的是，信息熵是信源的平均不确定的描述，一般情况下，它并不等于平均获得的信息量，只是在无噪情况下，接收者才能准确无误地接收到信源所发出的消息，全部消除了H (X ) 大小的平均不确定性，所以获得的平均信息量就等于H (X ) 。在一般情况下所获得的信息量是两熵之差，并不是信息熵本身。

【例3-3】进一步分析例3-1，8个灯泡构成一信源X ，每个灯泡损坏的概率都相等，这个信源为

授课题目

首次授课时间

教学目标 信息论的数学基础与信源的分类 授课类型 学时 理论课 2课时 掌握信息论涉及的数学基础；

理解信源的分类；

信息论的数学基础；

平稳信源、MARKOV 信源的理解； 重点与难点

教学手段与方法 讲授

教学过程：（包括授课思路、过程设计、讲解要点及各部分具体内容、时间分配等） 授课思路与过程设计：

（1）

（2）

（3）

讲解要点：

（1） 信源的分类，注意对平稳信源、无记忆信源以及扩展信源的理解；

（2） 信源的基本单位与举例说明

（3） 信息熵的基本概念与理解

时间分配：

内 容

复习

信源的分类

信源的单位与举例说明

信息熵

小结 时间分配 5分钟 20分钟 30分钟 30分钟 5分钟 信源的分类，特别是离散信源的分类：离散无记忆信源、N 次扩展信源、平稳信源。 信源的单位与举例说明 信息熵

若信源输入的消息可以用N 维随机矢量(X 1, X 2, K , X N ) 来描述，其中每个随机分量X i 都是取值为连续的连续型随机变量，并且满足随机矢量X 的各维密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X 的各维密度函数均相同，这样的信源称为连续平稳信源。例如，语音信号、热噪声信号等。

在某些简单的离散平稳信源情况下，信源先后发出的一个个符号彼此是统计独立的，也就是说信源输出的随机矢量X =(X 1, X 2, K , X N ) 中，各随机变量X i 之间是无依赖的、统计独立的，则N 维随机矢量的联合概率分布满足

P (X ) =P (X 1X 2L X N ) =P 1(X 1) P 2(X 2) L P N (X N )

由于信源是平稳的，根据平稳随机序列的统计特性可知，各变量X i 的一维概率分布都相同，即P 1(X i ) =P 2(X i ) =L =P N (X i ) ，则得

P (X ) =P (X 1) P (X 2) L P (X N ) =∏P (X i )

i =1N

若不同时刻的随机变量又取值于同一符号集A :{a 1, a 2, K , a q }，则有

P (X =αi ) =P (a i 1a i 2L a i N ) =P (a i 1) P (a i 2) L P (a i N )

=∏P (a i k ) k =1N

式中，αi 是N 维随机矢量的一个取值，即αi =(a i 1a i 2L a i N ) 。

由符号集A :{a 1, a 2, K , a q }与概率测度P (a i ) （i =1, 2, K , q ）构成一个概率空间

K , a 2, a q ⎤⎡X ⎤⎡a 1,

⎢P (x ) ⎥=⎢P (a ), P (a ), K , P (a ) ⎥

12q ⎦⎣⎦⎣

我们称由信源空间[X , P (x )]描述的信源X 为离散无记忆信源，这信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。

把由离散无记忆信源所输出的随机矢量X 所描述的信源称为离散无记忆信源X 的N 次扩展信源，可见，N 次扩展信源是由离散无记忆信源输出N 长的随机序列构成的信源。

离散无记忆信源的N 次扩展信源的数学模型是X 信源空间的N 重空间：

α2, K , αq N ⎤⎡X N ⎤⎡α1,

⎢⎥=⎢P (α), P (α), K , P (α) ⎥

12q N ⎥⎣P (αi ) ⎦⎢⎣⎦

式中αi =(a i 1a i 2L a i N ) ，并满足

P (αi ) =P (a i 1a i 2L a i N ) =P (a i 1) P (a i 2) L P (a i N )

∑P (α) =∑(P (a i

i =1i =1q N q N i 1) P (a i 2) L P (a i N )) =1

一般情况下，信源输出的信息是非平稳的随机序列，且序列中在不同时刻发出的符号之间是相互依赖的，也就是信源输出的随机序列X 中，各随机变量X i 之间是有依赖的，这种信源称为有记忆信源。我们需要在N 维随机矢量的联合概率分布中，引入条件概率来说明它们之间的关联。

表述有记忆信源比无记忆信源困难得多，实际上信源发出的符号往往只与前若干个符号的依赖关系强，而与更前面的符号依赖关系弱。为此，可以限制随机序列的记忆长度。当记忆长度为m +1时，称这种有记忆信源为m 阶Markov 信源，即信源每次发出的符号只与前面m 个符号有关，与更前面的符号无关。描述随机序列中各随机变量之间依赖关系的条件概率为

P (x i |L x i +2x i +1x i −1x i −2L x 1) =P (x i |x i −1x i −2L x i −m )

如果上述条件概率与时间起点i 无关，即信源输出的符号序列可以看成为时齐Markov 链，则此信源称为时齐Markov 信源。

更一般地，实际信源输出的消息常常是时间和取值都是连续的，例如语音信号、电视图像信号等。对于这种信源输出的信息，可用随机过程来描述，称这类信源为随机波形信源（又称模拟信源）。

分析一般随机波形信源比较复杂和困难，常见的随机波形信源输出的消息是时间上或频率上为有限的随机过程。根据取样定理，只要时间上或频率上受限的随机过程，都可以把随机过程用一系列时间（或频率）域上离散的取样值来表示，而每个取样值都是连续型随机变量。这样，就可把随机过程转换成时间上离散的随机序列来处理，甚至在某些条件下可以转换成随机变量间统计独立的随机序列。如果随机过程是平稳的随机过程，时间离散化后可转换成平稳的随机序列，这样，随机波形信源可以转换为连续平稳信源来处理，再对每个取值进行分层（量化），就可以将连续的取值转换成离散信源来处理。

二、信息的单位

自信息采用的单位取决于对数所选取的底，由于P (a i ) 是小于1的正数，又根据实际情况，自信息I (a i ) 肯定是正数，因此，对数的底必然为大于1的任意数。如果以2为底，所得的信息量单位为比特；如果采用以e 为底的自然对数，所得的信息量单位为奈特；若采用以10为底的对数，所得的信息量单位为哈特。同样可以根据对数的运算公式找出比特、奈特和哈特之间的数量关系。

这样，平均摸取一次所能获得的信息量约为

H (X ) =−[P (a 1) log P (a 1) +P (a 2) log P (a 2)]

=−∑P (a i ) log P (a i )

i =12

显然，这就是信源X 的信息熵，因此信息熵是从平均意义上来表征信源的总体信息测度的一个量，信息熵具有以以下三种物理意义：

第一，信息熵H (X ) 是表示信源输出后，每个消息或符号所提供的平均信息量； 第二，信息熵H (X ) 是表示信源输出前，信源的平均不确定性。例如有两个信源，其概率空间分别为

a 2⎤⎡Y ⎤⎡b 1, b 2⎤⎡X ⎤⎡a 1, =⎢P (x ) ⎥⎢0. 99, 0. 01⎥，⎢P (y ) ⎥=⎢0. 5, 0. 5⎥

⎣⎦⎣⎦⎣⎦⎣⎦

则信息熵分别为

H (X ) =0. 08比特/符号

H (Y ) =1比特/符号

可见H (Y ) >H (X ) ，即信源Y 比信源X 的平均不确定性要大。原因是信源Y 的两个输出消息是等可能性的，所以在信源没有输出消息之前，事先猜测哪一个消息出现的不确定性要大，而对于信源X ，它的两个输出消息不是等概率的，事先猜测两个事件哪一个出现，虽然具有不确定性，但大致可以猜测a 1会出现，因为它出现的概率要大得多，所以前一个信源的不确定性要小，因此，信息熵反映了信源输出消息前，接收者对信源存在的平均不确定程度的大小。

第三，用信息熵H (X ) 来表征随机变量X 的随机性，如前例，变量Y 取b 1和b 2是等概率的，所以其随机性大，而前一个变量则不同，因此随机性就小。因此H (X ) 反映了变量的随机性，信息熵H (X ) 正是描述随机变量X 所需的比特性。

需要注意的是，信息熵是信源的平均不确定的描述，一般情况下，它并不等于平均获得的信息量，只是在无噪情况下，接收者才能准确无误地接收到信源所发出的消息，全部消除了H (X ) 大小的平均不确定性，所以获得的平均信息量就等于H (X ) 。在一般情况下所获得的信息量是两熵之差，并不是信息熵本身。

【例3-3】进一步分析例3-1，8个灯泡构成一信源X ，每个灯泡损坏的概率都相等，这个信源为