试题编号：
重庆邮电大学2007/2008学年2学期
《信息论基础》试卷（期末）（A 卷）（半开卷）
一、填空题（本大题共10小空，每小空1分，共20分）
1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分 为 和
2. 一个八进制信源的最大熵为
⎡X ⎤⎡x 1
3. 有一信源X ，其概率分布为⎢⎥=⎢1
⎣P ⎦⎢⎣2x 2
14x 3⎤
1⎥，其信源剩余度为 ；若对⎥4⎦
该信源进行十次扩展，则每十个符号的平均信息量是 。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 ；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 .
5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 ；与其熵相等的非高斯分布信源的功率为
6、信源编码的主要目的是 ，信道编码的主要目的是 。
7、无失真信源编码的平均码长最小理论极限制为 . 8、当 时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为 和 。 10、在下面空格中选择填入数学符号“=, ≥, ≤, 〉”或“〈” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y)。
（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。
二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1. 当点数和为3时，该消息包含的信息量是多少？ 2. 当点数和为7是，该消息包含的信息量是多少？ 3. 两个点数中没有一个是1的自信息是多少？
三、（12分）设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX（一般乘积）。试计算：
1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）；
四、(15分) 如图所示为一个三状态马尔科夫信源的转移概率矩阵
⎛1
2 1P= 2 1 ⎝4
01212
1⎫2⎪⎪0⎪ ⎪⎪1⎪⎪4⎭
1. 绘制状态转移图；
2. 求该马尔科夫信源的稳态分布； 3. 求极限熵；
五、（12分）在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：
1. 该信道的转移概率矩阵P 2. 信道疑义度H （X|Y）
3. 该信道的信道容量以及其输入概率分布
六、（10分）某信道的转移矩阵P =⎢
⎡0. 60. 30. 10⎤
⎥
⎣0. 30. 600. 1⎦
试求：该信道的信道容量及其最佳输入概率分布。
七、（13分）信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。
八、（10分）设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz ，又设信噪比为10
1. 试计算该信道传达的最大信息率（单位时间）；
2. 若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少？
《信息论基础》答案
一、填空题（本大题共10小空，每小空1分，共20分）
1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为3bit/符号
⎛x
⎡X ⎤ 1
3. 有一信源X ，其概率分布为⎢⎥=1
⎣P ⎦
⎝2x 2 x3⎫
⎪
11⎪，其信源剩余度为94.64%；若44⎭
对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是若放大器的最高频率为F ，则单位时间内输出的最大信息量是 （b-a ）bit/s.
5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为
1
log32πe ；与其熵相等的非高斯分布信源的功率为≥16w 2
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr (S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“=, ≥, ≤, 〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。
（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1. 当点数和为3时，该消息包含的信息量是多少？ 2. 当点数和为7是，该消息包含的信息量是多少？ 3. 两个点数中没有一个是1的自信息是多少？
解：1.P （“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit 2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P （4,3）=1/36 ⨯6=1/6
则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit 3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36
则该消息包含的信息量是：I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit
三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX（一般乘积）。试计算：
1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解：1. H （Y ）=-
111⎤⎡1
=1bit/符号 P （y ）logP （y ）=-log +log ∑i i ⎢⎥2222⎣⎦i =1
2
Z=YX而且X 和Y 相互独立
（Z 1=1）=P(Y=1)⋅P (X =1) +P (Y =-1) ⋅P (X =-1) = ∴ P
111
⨯2+⨯2= 222111
P （Z 2=-1）=P(Y=1)⋅P (X =-1) +P (Y =-1) ⋅P (X =1) = ⨯2+⨯2=
222
故H(Z)= -
∑P (z)log P (z) =1bit/符号
i =1
i
2
i
2. 从上式可以看出:Y与X 的联合概率分布为:
H(YZ)=H(X)+H(Y)=1+1=2bit/符号
3. X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号 ∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号
I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
⎛1 2 1P= 2 1 ⎝4
01212
1⎫2⎪⎪0⎪ ⎪⎪1⎪⎪4⎭
4. 绘制状态转移图；
5. 求该马尔科夫信源的稳态分布； 6. 求极限熵；
解：1. 状态转移图如右图 2.由公式p (E j ) =
∑P (E ) P (E
i
i =1
3
j
|E i ) , 可得其三个状态的稳态概率为：
111⎧
P (E ) =P (E ) +P (E ) +P (E 3) ⎧3112⎪P (E ) =2241⎪⎪7
11⎪⎪2⎪⎪P (E 2) =P (E 2) +P (E 3)
⇒⎨P (E 2) =
22⎨
7⎪⎪11
2⎪⎪P (E 3) =P (E 1) +P (E 3)
P (E ) =243⎪⎪7⎩⎪P (E ) +P (E ) +P (E ) =1123⎩
3. 其极限熵:
3112112111
H ∞= -∑P （E i ）（H X |Ei ）=⨯H （，0+⨯H （0）+⨯H （7227227424i =1
3228
=⨯1+⨯1+⨯1.5=bit/符号7777
五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：
3
4. 该信道的转移概率矩阵P 5. 信道疑义度H （X|Y）
6. 该信道的信道容量以及其输入概率分布
解：1. 该转移概率矩阵为 P=⎢
⎡0.90.1⎤
⎥
⎣0.10.9⎦
2.根据P （XY ）=P（Y|X）⋅P （X ），可得联合概率
由P （X|Y）=P(X|Y)/P(Y)可得
H(X|Y)=-
（x |y）=0.09+0.12+0.15+0.035=0.4bit/符号 ∑P (xy )log P
i j
i
j
i ，j
3.该信道是对称信道，其容量为：
C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号
⎡01⎤
⎡X ⎤⎢
=11⎥ 这时，输入符号服从等概率分布，即⎢⎥⎥⎣P (X ) ⎦⎢⎣22⎦
⎡0. 60. 30. 10⎤
六、某信道的转移矩阵P =⎢⎥
0. 30. 600. 1⎣⎦
试求：该信道的信道容量及其最佳输入概率分布。
解：该信道是准对称信道，分解为两个互不相交的子信道矩阵
⎡0.60.3⎤
⎢⎥
0.30.6⎣⎦N 1=0.9 N 2=0.1⎡0. 10⎤
这里 ⎢00. ⎥1M =0.9M =0.1⎣⎦12
∴C=logr-H(P的行矢量)
-
∑N
k =1
2
K
log M K =1-H (0.6，0.3，0.1) -0.9⨯log 0.9-0.1⨯log 0.1
=0.174bit/符号
⎡01⎤
⎡X ⎤⎢⎥
这时，输入端符号服从等概率分布，即⎢=11 ⎥
⎣P (X ) ⎦⎢⎥
⎣22⎦
七、信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。 解：
该信源在编码之前的信源熵为：
=0.526+0.481+0.445+0.423+0.292+0.186 H (S ) =-∑P (xi ) log P （x i ）
i =16
=2.353bit/符号
编码后的平均码长：
L =(0.32+0.22+0.18) ⨯2+0.16⨯3+(0.08+0.04) ⨯4=2.4码元/信源符号
编码后的信息传输率为：
R =
H (S ) 2.353
==0.98bit/码元
2.4L
编码效率为：η=
R H (S ) ==0.98 R max L log r
八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz ，又设信噪比为10
1. 试计算该信道传达的最大信息率（单位时间）；
2. 若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少？ 解：1. SNR =10d B ∴SNR =10
故：该信道传送的最大信息速率为：
C t =W log （1+SNR ）=3⨯103⨯log （11）
=1.04⨯10bit/s4
2. 若SNR=5dB，则
，在相同C t 情况下
1.04⨯10=Wlog（1+SNR）=Wlog4.162
⇒W=5.04⨯10Hz
34
试题编号：
重庆邮电大学2007/2008学年2学期
《信息论基础》试卷（期末）（A 卷）（半开卷）
一、填空题（本大题共10小空，每小空1分，共20分）
1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分 为 和
2. 一个八进制信源的最大熵为
⎡X ⎤⎡x 1
3. 有一信源X ，其概率分布为⎢⎥=⎢1
⎣P ⎦⎢⎣2x 2
14x 3⎤
1⎥，其信源剩余度为 ；若对⎥4⎦
该信源进行十次扩展，则每十个符号的平均信息量是 。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ；其能在每个自由度熵的最大熵是 ；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 .
5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 ；与其熵相等的非高斯分布信源的功率为
6、信源编码的主要目的是 ，信道编码的主要目的是 。
7、无失真信源编码的平均码长最小理论极限制为 . 8、当 时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为 和 。 10、在下面空格中选择填入数学符号“=, ≥, ≤, 〉”或“〈” （1）当X 和Y 相互独立时，H （XY ） H(X)+H(X/Y)。
（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。
二、（8分）掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1. 当点数和为3时，该消息包含的信息量是多少？ 2. 当点数和为7是，该消息包含的信息量是多少？ 3. 两个点数中没有一个是1的自信息是多少？
三、（12分）设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX（一般乘积）。试计算：
1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）；
四、(15分) 如图所示为一个三状态马尔科夫信源的转移概率矩阵
⎛1
2 1P= 2 1 ⎝4
01212
1⎫2⎪⎪0⎪ ⎪⎪1⎪⎪4⎭
1. 绘制状态转移图；
2. 求该马尔科夫信源的稳态分布； 3. 求极限熵；
五、（12分）在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：
1. 该信道的转移概率矩阵P 2. 信道疑义度H （X|Y）
3. 该信道的信道容量以及其输入概率分布
六、（10分）某信道的转移矩阵P =⎢
⎡0. 60. 30. 10⎤
⎥
⎣0. 30. 600. 1⎦
试求：该信道的信道容量及其最佳输入概率分布。
七、（13分）信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。
八、（10分）设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz ，又设信噪比为10
1. 试计算该信道传达的最大信息率（单位时间）；
2. 若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少？
《信息论基础》答案
一、填空题（本大题共10小空，每小空1分，共20分）
1. 按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2. 一个八进制信源的最大熵为3bit/符号
⎛x
⎡X ⎤ 1
3. 有一信源X ，其概率分布为⎢⎥=1
⎣P ⎦
⎝2x 2 x3⎫
⎪
11⎪，其信源剩余度为94.64%；若44⎭
对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。
4. 若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是若放大器的最高频率为F ，则单位时间内输出的最大信息量是 （b-a ）bit/s.
5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为
1
log32πe ；与其熵相等的非高斯分布信源的功率为≥16w 2
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr (S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“=, ≥, ≤, 〉”或“〈” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。
（2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)
二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1. 当点数和为3时，该消息包含的信息量是多少？ 2. 当点数和为7是，该消息包含的信息量是多少？ 3. 两个点数中没有一个是1的自信息是多少？
解：1.P （“点数和为3”）=P（1,2）+ P（1,2）=1/36+1/36=1/18 则该消息包含的信息量是：I=-logP（“点数和为3”）=log18=4.17bit 2.P（“点数和为7”）=P（1,6）+ P（6,1）+ P（5,2）+ P（2,5）+ P（3,4）+ P （4,3）=1/36 ⨯6=1/6
则该消息包含的信息量是：I=-logP（“点数和为7”）=log6=2.585bit 3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”） =1-P(1,1or1,jori,1)=1-(1/36+5/36+5/36)=25/36
则该消息包含的信息量是：I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit
三、设X 、Y 是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另一个二元随机变量Z ，取Z=YX（一般乘积）。试计算：
1.H （Y ）、H （Z ）； 2.H （XY ）、H （YZ ）； 3.I （X;Y ）、I （Y;Z ）； 解：1. H （Y ）=-
111⎤⎡1
=1bit/符号 P （y ）logP （y ）=-log +log ∑i i ⎢⎥2222⎣⎦i =1
2
Z=YX而且X 和Y 相互独立
（Z 1=1）=P(Y=1)⋅P (X =1) +P (Y =-1) ⋅P (X =-1) = ∴ P
111
⨯2+⨯2= 222111
P （Z 2=-1）=P(Y=1)⋅P (X =-1) +P (Y =-1) ⋅P (X =1) = ⨯2+⨯2=
222
故H(Z)= -
∑P (z)log P (z) =1bit/符号
i =1
i
2
i
2. 从上式可以看出:Y与X 的联合概率分布为:
H(YZ)=H(X)+H(Y)=1+1=2bit/符号
3. X 与Y 相互独立，故H(X|Y)=H(X)=1bit/符号 ∴I （X;Y ）=H(X)-H(X|Y)=1-1=0bit/符号
I(Y;Z)=H(Y)-H(Y|Z)=H(Y)-[H(YZ)-H(Z)]=0 bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
⎛1 2 1P= 2 1 ⎝4
01212
1⎫2⎪⎪0⎪ ⎪⎪1⎪⎪4⎭
4. 绘制状态转移图；
5. 求该马尔科夫信源的稳态分布； 6. 求极限熵；
解：1. 状态转移图如右图 2.由公式p (E j ) =
∑P (E ) P (E
i
i =1
3
j
|E i ) , 可得其三个状态的稳态概率为：
111⎧
P (E ) =P (E ) +P (E ) +P (E 3) ⎧3112⎪P (E ) =2241⎪⎪7
11⎪⎪2⎪⎪P (E 2) =P (E 2) +P (E 3)
⇒⎨P (E 2) =
22⎨
7⎪⎪11
2⎪⎪P (E 3) =P (E 1) +P (E 3)
P (E ) =243⎪⎪7⎩⎪P (E ) +P (E ) +P (E ) =1123⎩
3. 其极限熵:
3112112111
H ∞= -∑P （E i ）（H X |Ei ）=⨯H （，0+⨯H （0）+⨯H （7227227424i =1
3228
=⨯1+⨯1+⨯1.5=bit/符号7777
五、在干扰离散对称信道上传输符号1和0，已知P （0）=1/4,P(1)=3/4,试求：
3
4. 该信道的转移概率矩阵P 5. 信道疑义度H （X|Y）
6. 该信道的信道容量以及其输入概率分布
解：1. 该转移概率矩阵为 P=⎢
⎡0.90.1⎤
⎥
⎣0.10.9⎦
2.根据P （XY ）=P（Y|X）⋅P （X ），可得联合概率
由P （X|Y）=P(X|Y)/P(Y)可得
H(X|Y)=-
（x |y）=0.09+0.12+0.15+0.035=0.4bit/符号 ∑P (xy )log P
i j
i
j
i ，j
3.该信道是对称信道，其容量为：
C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号
⎡01⎤
⎡X ⎤⎢
=11⎥ 这时，输入符号服从等概率分布，即⎢⎥⎥⎣P (X ) ⎦⎢⎣22⎦
⎡0. 60. 30. 10⎤
六、某信道的转移矩阵P =⎢⎥
0. 30. 600. 1⎣⎦
试求：该信道的信道容量及其最佳输入概率分布。
解：该信道是准对称信道，分解为两个互不相交的子信道矩阵
⎡0.60.3⎤
⎢⎥
0.30.6⎣⎦N 1=0.9 N 2=0.1⎡0. 10⎤
这里 ⎢00. ⎥1M =0.9M =0.1⎣⎦12
∴C=logr-H(P的行矢量)
-
∑N
k =1
2
K
log M K =1-H (0.6，0.3，0.1) -0.9⨯log 0.9-0.1⨯log 0.1
=0.174bit/符号
⎡01⎤
⎡X ⎤⎢⎥
这时，输入端符号服从等概率分布，即⎢=11 ⎥
⎣P (X ) ⎦⎢⎥
⎣22⎦
七、信源符号X 有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率。 解：
该信源在编码之前的信源熵为：
=0.526+0.481+0.445+0.423+0.292+0.186 H (S ) =-∑P (xi ) log P （x i ）
i =16
=2.353bit/符号
编码后的平均码长：
L =(0.32+0.22+0.18) ⨯2+0.16⨯3+(0.08+0.04) ⨯4=2.4码元/信源符号
编码后的信息传输率为：
R =
H (S ) 2.353
==0.98bit/码元
2.4L
编码效率为：η=
R H (S ) ==0.98 R max L log r
八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz ，又设信噪比为10
1. 试计算该信道传达的最大信息率（单位时间）；
2. 若功率信噪比降为5dB ，要达到相同的最大信息传输率，信道带宽是多少？ 解：1. SNR =10d B ∴SNR =10
故：该信道传送的最大信息速率为：
C t =W log （1+SNR ）=3⨯103⨯log （11）
=1.04⨯10bit/s4
2. 若SNR=5dB，则
，在相同C t 情况下
1.04⨯10=Wlog（1+SNR）=Wlog4.162
⇒W=5.04⨯10Hz
34