信息论与编码(曹雪虹张宗橙)第二.三章答案

2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：

对应的状态图如右图所示。设各符号稳定概率为：p1，p2，p3 则可得方程组： p1=

111p1+p2+p3 23312p2=p1+p3

232p3=p2

3

p1+p2+p3=1

解得各符号稳态概率为：

p1=

1096，p2=，p3 = 252525

2-2.解：该马尔可夫信源的符号条件概率矩阵为：

状态转移概率矩阵为：

对应的状态图如右图所示。

设各状态的稳态分布概率为W1,W2,W3,W4,则可得方程组为：

W1=0.8W1+0.5W3 W2=0.2W1+0.5W3

W3=0.5W2+0.2W4 W4=0.5W2+0.8W4

W1+W2+W3+W4=1

解得稳定分布的概率为:

W1=

5225，W2=，W3=，W4= 14141414

1

18

1

=4.17bit 18

2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=

故其自信息量为： I(3,5)=-㏒2

（2）“两个1同时出现”事件的概率为：

p(1,1)=

1

36

1

=5.17bit 36

故其自信息量为： I(1,1)=- ㏒2

（3）两个点数的各种组合构成的信源，其概率空间为：

则该信源熵为： H(x1)=6×

11

lb36+15×lb18=4.337bit/事件

1836

（4）两个点数之和构成的信源，其概率空间为：

则该信源的熵为： H(x2)=2×

11536111

lb36+2×lb18+2×lb12+2×lb9+2×lb+lb6

[1**********]

=3.274bit/事件

（5）两个点数中至少有一个是1的概率为： p(1)=

11 36

11

=1.7105bit 36

故其自信息量为：

I(1)= -㏒2

2-7.解：（1）离散无记忆信源的每个符号的自信息量为

3

=1.415bit 81

I(x2)= -㏒2=2bit

41

I(x3)= -㏒2=2bit

41

I(x4)= -㏒2=3bit

8

I(x1)= -㏒2

（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符

号序列的自信息量为： I(x)= -㏒2(

31412516

) () ()=87.81bit

848

平均每个符号携带的信息量为： HL(x)=

I(x)

=1.95bit/符号 45

2-10

解：用x1表示第一次摸出的球为黑色，用x2表示第一次摸出的球为白色，用y1表示第二次摸出的球为黑色，用y2表示第二次摸出的球为白色，则

(1)一次实验包含的不确定度为：

H(X)=-p(x1)lbp(x1)-p(x2)lbp(x2)=-

1122

lb-lb=0.92 bit 3333

(2)第一次实验X摸出的球是黑色，第二次实验Y给出的不确定度:

H(Y|x1)=-p(y1|x1)lb p(y1|x1)-p(y2|x1)lb p(y2|x1)

= -

2255lb-lb 7777

= 0.86 bit

(3)第一次实验X摸出的球是白色，第二次实验Y给出的不确定度:

H(Y|x2)=-p(y1|x2)lb p(y1|x2)-p(y2|x2)lb p(y2|x2)

= -

5599lb-lb 14141414

= 0.94 bit

（4）第二次Y包含的不确定度：

H（Y|X）= -

å

p(xi,yj)lbp(yj|xi)

ij

= p(x1) H(Y|x1)+p(x2)H(Y|x2) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H（

[1**********]

，，）= -lb- 2´lb =1.24 bit [1**********]838

(2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´

11

lb= 5.25 bit 1818

(3)颜色已知的条件熵：

H（number|colour）=H（colour,number）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - = -

å

ij

p(xi,yj)lbp(xi,yj) r(xi,yj)lbr(xi,yj)

ij

å

=H(

711117

,,0,,,0,,) [1**********]

=2.3 bit/符号

（2）由联合概率，可得

p(y1)=p(x1,y1)+p(x2,y1)+p(x3,y1)

=r(x1,y1)+r(x2,y1)+r(x3,y1)

71++0 24241

=

3

=同理可得

P(y2)=p(y3)=

1

,则实验Y的平均信息量： 3

4

H(Y)=H(

111

,,)=1.58 bit/符号 333

（3）在已知实验Y结果的条件下，实验X的平均信息量： H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit/符号=0.72 bit/符号 2-13

解：由X和Y的联合概率，可得

131+= 882

11

同理，p(x=1)= , p(y=0)=p(y=1)=

22

P(x=0)=p(x=0,y=0)+p(x=0,y=1)=

由于Z=XY，由X和Y的联合概率，可得 P(z=0)= P(x=0,y=0)+P(x=1,y=0)+P(x=0,y=1)= P(z=1)=p(x=1,y=1)=

7

8

1 8

1

, P(x=0,z=1)=0 2

P(x=0,z=0)= P(x=0,y=0)+ P(x=0,y=1)=

P(x=0,y=0)P(x=0,y=0) P(x=0,y=0) P(x=0,y=0)

31 , P(x=1,z=1) =P(x=1,y=1)= 88

131

P(y=0,z=0)= P(y=0,z=1)=0 P(y=1,z=0)= P(y=1,z=1)=

288

13

P(x=0,y=0,z=0)= P(x=0,y=0,z=1)=0 P(x=0,y=1,z=0)=

88

3

P(x=0,y=1,z=1)=0 P(x=1,y=0,z=0)= P(x=1,y=1,z=0)=0

8

1

P(x=0,y=0,z=1)=0 P(x=0,y=1,z=1)=0 P(x=1,y=1,z=1)= ,则:

8

11

(1) H(X)=H(,)=1 bit

2211

H(Y)=H(,)=1 bit

2217

H(Z) =H(,)= 0.54 bit

88

P(x=1,z=0)= P(x=1,y=0)=

H(X,Z)=H(

131

,0, ,)=1.41 bit 288

131

,0, ,)=1.41 bit 2881331

H(X,Y,Z) =H(,0, ,0,,0,0,)=1.8 bit

8888

H(Y,Z) =H(

5

1313

(2) H(X,Y)=H(8,8,8, 8)=1.81 bit

H(X|Y)= H(X,Y) – H(Y)=0.81 bit H(Y |X)= H(X,Y) – H(X)=0.81 bit H(X|Z)= H(X,Z) – H(Z)=0.87 bit H(Z|X)= H(X,Z) – H(X)=0.41 bit H(Y|Z)= H(Y,Z) – H(Z)=0.87 bit H(Z|Y)=H(Y,Z)-H(Y)=0.41bit

H(X|Y,Z)=H(X,Y,Z)-H(Y,Z)=0.4bit H(Y|X,Z)=H(X,Y,Z)-H(X,Z)=0.4bit H(Z|X,Y)=H(X,Y,Z)-H(X,Y)=0

(3) I(X;Y)=H(X)-H(X|Y)=0.19bit I(X;Z)=H(X)-H(X|Z)=0.13bit I(Y;Z)=H(X)-H(Y|Z)=0.13bit

I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=0.47bit I(Y;Z|X)=H(Y|X)-H(Y|X,Z)=0.41bit I(X;Z|Y)=H(X|Y)-H(X|Y,Z)=0.41bit 2-14 解：依题意，可得信道传输概率

p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8 联合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8

同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16 概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16 p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16

后验概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7 同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,则

（1） I（x;y=0）=

å

p(xi|y=0)log

i

p(xi|y=0)

）

p(xi)

=p(x=0|y=0)log2

p(x=0|y=0)p(x=1|y=0)

+p(x=1|y=0)log2

p(x=0)p(x=1)

61

61

=(log+log)bit/符号=0.41bit/符号

77

22

6

（2）I(X;Y)=åp(yj)p(xi|yj)log2

ij

p(xi|yj)p(xi)

p(x=0|y=0)p(x=1|y=0)

+p(y=0)p(x=1|y=0)log2

p(x=0)p(x=1)p(x=0|y=1)p(x=1|y=1)

+p(y=0)p(x=0|y=1)log2+p(y=1)p(x=1|y=1)log2

p(x=0)p(x=1)

6127

76719297

=(log2+log2+log2+log2)bit/符号

[1**********]7

2222

=0.31bit/符号

=p(y=0)p(x=0|y=0)log2

2-29 解：由已知起始概率和转移概率，可得：

P(x2=a1)=P(x2=a1|x1=a1)P(x1=a1)+P(x2=a1|x1=a2)P(x1=a2)+P(x2=a1|x1=a2)P(x1=a2)=11?22

21?34

21?34

712

55,P(x2=a3)=2424

同理可得：P(x2=a2)=由起始概率，可得：

111111

log2-log2-log2)bit=1.5bit224444

111111

另外：H(x1|a1)=(-log2-log2-log2)bit=1.5bit

224444

2211

H(x1|a2)=-log2+0-log2)bit=0.918bit

33332211

H(x1|a3)=-log2-log2+0)bit=0.918bit

3333 H(x1)=(-

H(x2|x1)=P(x1=a1)H(x2|a1)+P(x1=a2)H(x2|a2)+P(x1=a3)H(x2|a3)111

=(?1.5?0.918?0.918)bit1.209bit244

H(x3|x2)=P(x2=a1)H(x3|a1)+P(x2=a2)H(x3|a2)+P(x1=a3)H(x3|a3)755=(?1.5?0.918?0.918)bit1.257bit122424

H(x1,x2,x3)=H(x1)+H(x2|x1)+H(x3|x1x2)=H(x1)+H(x2|x1)+H(x3|x2)=(1.5+1.209+1.257)bit=3.996bit3

=1.322bit/符号

HL(x)=

H(x1,x2,x3)

=

3.996

bit/符号3

（2)设各稳定时的概率为w1，w2，w3，则122

w1+w2+w3=w123311

w1+w3=w24311

w1+w2=w343

w1+w2+w3=1解得：w1=8

=(?1.514

833,w2=,w3=,该链的极限平均符号熵为141414

H¥(x)=w1H(xr|a1)+w2H(xr|a2)+w3H(xr|a3)

3

?0.91814

3

?0.918)bit14

1.251bit

(3)H0=log3=1.58bit/符号

1.25

=0.211.417

883333

H1=(-log-log-log)bit=1.4137bit/符号

[1**********]4

H1.25

r1=-y=1-(¥)=1-=0.115

H11.417r0=1-y=1-(H¥/H0)=1-H2=H¥=1.251bit/符号r2=0

2-30

解：依题意，状态转移图如下图所示，其状态转移概率矩阵为

2

P=31

1

3 设状态稳定概率为W1、W2 ，则： 0

2

W+W2=W1 31131 W1=W2 解得：W1= ；W2= 344

W1+W2=1

则：H(X |S1)=-

2211

log2-log2=0.918bit 3333

H(X |S2)=0

信源熵为：H（X）=W1 H(X |S1)+W2 H(X |S2)=(

31

*0.918+*0)bit=0.688bit 44

2-32

pp

1p22pp 1p 解：（1）由状态图，可得状态转移概率矩阵为：P=22pp1p

22

设状态稳定概率为W1,W2,W3，则： （1-p）W1+

p

2p

2

pp

W2+W3=W1 22

1p

W1+ (1-p) W2+W3=W2 解得：W1=W2=W3=，

32

1p

W1+W2+(1-p) W3=W3 即p(0)=p(1)=p(2)=

32

W1+W2+W3=1

(2) H(X|0)=H(X|1)=H(X|2)= - (1-p) log2(1-p) -

pppp

log2-log2 2222

p

= - (1-p) log2(1-p) - plog2

2

pbit 2

H(X)=p(0)H(X|0)+p(1)H(X|1)+p(2)H(X|2)= - (1-p) log2(1-p) - plog2 (3) H(X)= log23=1.58bit

p

ln(1p)1p1dH(X)

0 0，得 (4) 令

ln2(1p)ln2ln2ln2dp

ln

2

，则： 321121

当p=时，H(X)= （- log2-log2）bit =1.58 bit

33333

解得p=

当p=0 时， H(X)=0

当p=1时，H(X)=1

3-1 解（1）由输入概率分布和概率转移，可得： p(x0,y0)=p(y0|x0)p(x0)=

231*= 342

111

同理，可得：p(x0,y1)=； p(x1,y0)=； p(x1,y1)=，则：

1264

117

p(y0)=p(x0,y0)+p(x1,y0)=+=

21212

115+= 4612

3311

因此，H(X)=( - log2- log2) bit =0.811 bit

4444

11111111

H(X，Y)=( - log2- log2 - log2-log2)bit=1.73bit

[1**********]575

H(Y)=( -log2 - log2)bit=0.98bit 12121212

p(y1)=p(x0,y1)+p(x1,y1)=

H(Y|X)=H(X，Y)-H(X)=(1.73-0.811)bit=0.919 bit

H(X|Y )= H(X，Y)-H(X)=(1.73-0.98)bit=0.75bit I(X；Y)=H(X)-H(X|Y)=(0.811-0.75)bit=0.061bit （2）该信道是对称DMC信道，信道容量为 C= log2m -

pijlogpij= log22 +

j1

m

2211

log2 + log2 =0.082bit 3333

1

2

1 2

达到信道容量时输入概率分布为：p(x0)= p(x1)=

3-2 解：(1)由信源的概率分布和转移概率，可得p(x1,y1)=p(y1|x1)p(x1)=

11

， ，p(x1,y3)=0 ，p(x2,y1)=（1-）

2211

p(x2,y2)=（1-），p(x2,y3)=（1-），则：

44

111

p(y1)=p(x1,y1)+p(x2,y1)=+（1-）=，

222

111

同理可得: p(y2)=+；p(y3)=（1-）

444

同理可得：p(x1,y2)=

因此，接收端的平均不确定度为：

11111111

log2-(?)log2(?)-(1-?)log2(1 )22444444

31+?1 =-log2(1+?)log2(1- )(bit)

244

（2）由于噪声产生的不确定度为：

H(Y|X)-=

?211l2-?22

2

1g-21?2

2

11?-l24

2

1 1

-44

2

3¶

=-(bit)22

1log4

由于互信息为：

31+?1抖3-log2(1+?)log2(1-?)]（-）

24422

dI(X;Y)3

=0,可得：? 令，则： d¶5

I（X;Y)=H(Y)-(Y|X)=[

C=

maxI(X;Y)=C(?

p(ai）

3

)=0.161bit 5

骣12çççç0ççç3-6 解：该信道的概率转移矩阵为 P=çççç0ççççç12

4

1

21200

012120

0÷÷÷÷÷÷÷÷0÷÷÷÷ ÷÷1÷÷÷2÷÷÷÷1÷÷÷2÷

可见，该信道为对称DMC信道，因此，该信道的信道容量为： C=log2m+

å

pijlog2pij=log24+

j=1

1111

log2()+log2()=1bit 2222

1 6

3-7解：（1）由发送符号的概率分布和转移概率，可得： p(x1,y1)=p(y1|x1)p(x1)=0.5? 同理可得：

1

3

1

,p(x1,y3)=10

1

p(x2,y3)=,p(x3,y1)=

10

p(x1,y2)=121,p(x2,y1)=,p(x2,y2)=151510

13,p(x3,y2)=,p(x3,y3)=03010

1211

++= 615303

1

11p(x1,y1)1

同理可得：p(y2)=,p(y3)=;p(x1|y1)===

1226p(y1)

3

p(y1)=p(x1,y1)+p(x2,y1)+p(x3,y1)=

1

，p(x3|y1)=5

同理可得：

3

p(x3|y2)=，p(x1|y3)=

5

p(x2|y1)=221，p(x1|y2)=，p(x2|y2)=555

13

，p(x2|y3)=，p(x3|y3)=0105

H（Y)=p(y1)log2p(y1)-p(y2)log2p(y2)-p(y3)log2p(y3)

因此，

111111

=-log2-log2-log2=1.459bit

332266

（2）H（Y|X)=

å

-p(xi;yj)logp(yj|xi）

ij

1113112213log2-log2-log2-log2-log2

[***********]1139log2-log2-log2 -

[1**********]0

=1.175bit

=-（3）当接收为 y2，发出为x2是正确，发出的是x1和x3为错误，由于各自概率为：

p(x1|y2)=

113,p(x2|y2)=,p(x3|y2)= 555

因此，接收端收到一个符号y2的错误概率为：

pi=p(x1|y2)+p(x3|y2)=

13

+=0.8 55

（4）从接收端看的平均错误概率为：

Pe1=[p(x2|y1)+p(x3|y1)]p(y1)+[p(x1|y2)+p(x3|y2)]p(y2)+[p(x1|y3)+p(x2|y3)]p(y3)

=p(x2,y1)+p(x3,y1)+p(x1,y2)+p(x3,y2)+p(x1,y3)+p(x2,y3) =

211311

+++++ =0.733 [1**********]0

_

_

（5）同理可得，从发送端看的平均错误概率为：pe2=pe1=0.733 （6）从转移矩阵来看，

正确发送的概率x1-y1的概率为0.5，有一半失真；x2-y2的概率为0.3，产生失真；x3-y3的概率为0，完全失真。因此，此信道不好

（7）发送端的H(X)=log3=1.585bit

H(X|Y)=

=-

å

ij

-p(xi,yj)log2p(xi|yj)

[**************]3log2-log2-log2-log2-log2-log2-log2-log2

[***********]010105

=1.301bit

2-1.解：该一阶马尔可夫信源，由转移概率构成的转移矩阵为：

对应的状态图如右图所示。设各符号稳定概率为：p1，p2，p3 则可得方程组： p1=

111p1+p2+p3 23312p2=p1+p3

232p3=p2

3

p1+p2+p3=1

解得各符号稳态概率为：

p1=

1096，p2=，p3 = 252525

2-2.解：该马尔可夫信源的符号条件概率矩阵为：

状态转移概率矩阵为：

对应的状态图如右图所示。

设各状态的稳态分布概率为W1,W2,W3,W4,则可得方程组为：

W1=0.8W1+0.5W3 W2=0.2W1+0.5W3

W3=0.5W2+0.2W4 W4=0.5W2+0.8W4

W1+W2+W3+W4=1

解得稳定分布的概率为:

W1=

5225，W2=，W3=，W4= 14141414

1

18

1

=4.17bit 18

2-3.解：（1）“3和5同时出现”事件的概率为： p(3,5)=

故其自信息量为： I(3,5)=-㏒2

（2）“两个1同时出现”事件的概率为：

p(1,1)=

1

36

1

=5.17bit 36

故其自信息量为： I(1,1)=- ㏒2

（3）两个点数的各种组合构成的信源，其概率空间为：

则该信源熵为： H(x1)=6×

11

lb36+15×lb18=4.337bit/事件

1836

（4）两个点数之和构成的信源，其概率空间为：

则该信源的熵为： H(x2)=2×

11536111

lb36+2×lb18+2×lb12+2×lb9+2×lb+lb6

[1**********]

=3.274bit/事件

（5）两个点数中至少有一个是1的概率为： p(1)=

11 36

11

=1.7105bit 36

故其自信息量为：

I(1)= -㏒2

2-7.解：（1）离散无记忆信源的每个符号的自信息量为

3

=1.415bit 81

I(x2)= -㏒2=2bit

41

I(x3)= -㏒2=2bit

41

I(x4)= -㏒2=3bit

8

I(x1)= -㏒2

（2）由于信源发出消息符号序列有12个2，14个0，13个1，6个3，故该消息符

号序列的自信息量为： I(x)= -㏒2(

31412516

) () ()=87.81bit

848

平均每个符号携带的信息量为： HL(x)=

I(x)

=1.95bit/符号 45

2-10

解：用x1表示第一次摸出的球为黑色，用x2表示第一次摸出的球为白色，用y1表示第二次摸出的球为黑色，用y2表示第二次摸出的球为白色，则

(1)一次实验包含的不确定度为：

H(X)=-p(x1)lbp(x1)-p(x2)lbp(x2)=-

1122

lb-lb=0.92 bit 3333

(2)第一次实验X摸出的球是黑色，第二次实验Y给出的不确定度:

H(Y|x1)=-p(y1|x1)lb p(y1|x1)-p(y2|x1)lb p(y2|x1)

= -

2255lb-lb 7777

= 0.86 bit

(3)第一次实验X摸出的球是白色，第二次实验Y给出的不确定度:

H(Y|x2)=-p(y1|x2)lb p(y1|x2)-p(y2|x2)lb p(y2|x2)

= -

5599lb-lb 14141414

= 0.94 bit

（4）第二次Y包含的不确定度：

H（Y|X）= -

å

p(xi,yj)lbp(yj|xi)

ij

= p(x1) H(Y|x1)+p(x2)H(Y|x2) =0.91 bit 2-11 解：（1）仅对颜色感兴趣的不确定度： H(colour)=H（

[1**********]

，，）= -lb- 2´lb =1.24 bit [1**********]838

(2) 对颜色和数字都感兴趣的平均不确定度： H(clour,number)=H(number)= -18´

11

lb= 5.25 bit 1818

(3)颜色已知的条件熵：

H（number|colour）=H（colour,number）- H(colour)=(5.25-1.24) bit=4.01 bit 2-12 解：（1）实验Ｘ和Ｙ的平均信息量： H(X,Y)= - = -

å

ij

p(xi,yj)lbp(xi,yj) r(xi,yj)lbr(xi,yj)

ij

å

=H(

711117

,,0,,,0,,) [1**********]

=2.3 bit/符号

（2）由联合概率，可得

p(y1)=p(x1,y1)+p(x2,y1)+p(x3,y1)

=r(x1,y1)+r(x2,y1)+r(x3,y1)

71++0 24241

=

3

=同理可得

P(y2)=p(y3)=

1

,则实验Y的平均信息量： 3

4

H(Y)=H(

111

,,)=1.58 bit/符号 333

（3）在已知实验Y结果的条件下，实验X的平均信息量： H(X|Y)=H(X,Y)-H(Y)=(2.3-1.58) bit/符号=0.72 bit/符号 2-13

解：由X和Y的联合概率，可得

131+= 882

11

同理，p(x=1)= , p(y=0)=p(y=1)=

22

P(x=0)=p(x=0,y=0)+p(x=0,y=1)=

由于Z=XY，由X和Y的联合概率，可得 P(z=0)= P(x=0,y=0)+P(x=1,y=0)+P(x=0,y=1)= P(z=1)=p(x=1,y=1)=

7

8

1 8

1

, P(x=0,z=1)=0 2

P(x=0,z=0)= P(x=0,y=0)+ P(x=0,y=1)=

P(x=0,y=0)P(x=0,y=0) P(x=0,y=0) P(x=0,y=0)

31 , P(x=1,z=1) =P(x=1,y=1)= 88

131

P(y=0,z=0)= P(y=0,z=1)=0 P(y=1,z=0)= P(y=1,z=1)=

288

13

P(x=0,y=0,z=0)= P(x=0,y=0,z=1)=0 P(x=0,y=1,z=0)=

88

3

P(x=0,y=1,z=1)=0 P(x=1,y=0,z=0)= P(x=1,y=1,z=0)=0

8

1

P(x=0,y=0,z=1)=0 P(x=0,y=1,z=1)=0 P(x=1,y=1,z=1)= ,则:

8

11

(1) H(X)=H(,)=1 bit

2211

H(Y)=H(,)=1 bit

2217

H(Z) =H(,)= 0.54 bit

88

P(x=1,z=0)= P(x=1,y=0)=

H(X,Z)=H(

131

,0, ,)=1.41 bit 288

131

,0, ,)=1.41 bit 2881331

H(X,Y,Z) =H(,0, ,0,,0,0,)=1.8 bit

8888

H(Y,Z) =H(

5

1313

(2) H(X,Y)=H(8,8,8, 8)=1.81 bit

H(X|Y)= H(X,Y) – H(Y)=0.81 bit H(Y |X)= H(X,Y) – H(X)=0.81 bit H(X|Z)= H(X,Z) – H(Z)=0.87 bit H(Z|X)= H(X,Z) – H(X)=0.41 bit H(Y|Z)= H(Y,Z) – H(Z)=0.87 bit H(Z|Y)=H(Y,Z)-H(Y)=0.41bit

H(X|Y,Z)=H(X,Y,Z)-H(Y,Z)=0.4bit H(Y|X,Z)=H(X,Y,Z)-H(X,Z)=0.4bit H(Z|X,Y)=H(X,Y,Z)-H(X,Y)=0

(3) I(X;Y)=H(X)-H(X|Y)=0.19bit I(X;Z)=H(X)-H(X|Z)=0.13bit I(Y;Z)=H(X)-H(Y|Z)=0.13bit

I(X;Y|Z)=H(X|Z)-H(X|Y,Z)=0.47bit I(Y;Z|X)=H(Y|X)-H(Y|X,Z)=0.41bit I(X;Z|Y)=H(X|Y)-H(X|Y,Z)=0.41bit 2-14 解：依题意，可得信道传输概率

p(y=0|x=0)=1-p(y=1|x=0)=3/4, p(y=1|x=1)=1-p(y=0|x=1)=7/8 联合概率：p(x=0,y=0)=p(y=0|x=0)p(x=0)=3/8

同理：p(x=0,y=1)=1/8,p(x=1,y=0)=1/16,p(x=1,y=1)=7/16 概率：p(y=0)=p(x=0,y=0)+p(x=1,y=0)=7/16 p(y=1)=p(x=0,y=1)+p(x=1,y=1)=9/16

后验概率：p(x=0|y=0)=p(x=0,y=0)/p(y=0)=(3/8)/(7/16)=6/7 同理：p(x=1|y=0)=1/7,p(x=0|y=1)=2/9,p(x=1|y=1)=7/9,则

（1） I（x;y=0）=

å

p(xi|y=0)log

i

p(xi|y=0)

）

p(xi)

=p(x=0|y=0)log2

p(x=0|y=0)p(x=1|y=0)

+p(x=1|y=0)log2

p(x=0)p(x=1)

61

61

=(log+log)bit/符号=0.41bit/符号

77

22

6

（2）I(X;Y)=åp(yj)p(xi|yj)log2

ij

p(xi|yj)p(xi)

p(x=0|y=0)p(x=1|y=0)

+p(y=0)p(x=1|y=0)log2

p(x=0)p(x=1)p(x=0|y=1)p(x=1|y=1)

+p(y=0)p(x=0|y=1)log2+p(y=1)p(x=1|y=1)log2

p(x=0)p(x=1)

6127

76719297

=(log2+log2+log2+log2)bit/符号

[1**********]7

2222

=0.31bit/符号

=p(y=0)p(x=0|y=0)log2

2-29 解：由已知起始概率和转移概率，可得：

P(x2=a1)=P(x2=a1|x1=a1)P(x1=a1)+P(x2=a1|x1=a2)P(x1=a2)+P(x2=a1|x1=a2)P(x1=a2)=11?22

21?34

21?34

712

55,P(x2=a3)=2424

同理可得：P(x2=a2)=由起始概率，可得：

111111

log2-log2-log2)bit=1.5bit224444

111111

另外：H(x1|a1)=(-log2-log2-log2)bit=1.5bit

224444

2211

H(x1|a2)=-log2+0-log2)bit=0.918bit

33332211

H(x1|a3)=-log2-log2+0)bit=0.918bit

3333 H(x1)=(-

H(x2|x1)=P(x1=a1)H(x2|a1)+P(x1=a2)H(x2|a2)+P(x1=a3)H(x2|a3)111

=(?1.5?0.918?0.918)bit1.209bit244

H(x3|x2)=P(x2=a1)H(x3|a1)+P(x2=a2)H(x3|a2)+P(x1=a3)H(x3|a3)755=(?1.5?0.918?0.918)bit1.257bit122424

H(x1,x2,x3)=H(x1)+H(x2|x1)+H(x3|x1x2)=H(x1)+H(x2|x1)+H(x3|x2)=(1.5+1.209+1.257)bit=3.996bit3

=1.322bit/符号

HL(x)=

H(x1,x2,x3)

=

3.996

bit/符号3

（2)设各稳定时的概率为w1，w2，w3，则122

w1+w2+w3=w123311

w1+w3=w24311

w1+w2=w343

w1+w2+w3=1解得：w1=8

=(?1.514

833,w2=,w3=,该链的极限平均符号熵为141414

H¥(x)=w1H(xr|a1)+w2H(xr|a2)+w3H(xr|a3)

3

?0.91814

3

?0.918)bit14

1.251bit

(3)H0=log3=1.58bit/符号

1.25

=0.211.417

883333

H1=(-log-log-log)bit=1.4137bit/符号

[1**********]4

H1.25

r1=-y=1-(¥)=1-=0.115

H11.417r0=1-y=1-(H¥/H0)=1-H2=H¥=1.251bit/符号r2=0

2-30

解：依题意，状态转移图如下图所示，其状态转移概率矩阵为

2

P=31

1

3 设状态稳定概率为W1、W2 ，则： 0

2

W+W2=W1 31131 W1=W2 解得：W1= ；W2= 344

W1+W2=1

则：H(X |S1)=-

2211

log2-log2=0.918bit 3333

H(X |S2)=0

信源熵为：H（X）=W1 H(X |S1)+W2 H(X |S2)=(

31

*0.918+*0)bit=0.688bit 44

2-32

pp

1p22pp 1p 解：（1）由状态图，可得状态转移概率矩阵为：P=22pp1p

22

设状态稳定概率为W1,W2,W3，则： （1-p）W1+

p

2p

2

pp

W2+W3=W1 22

1p

W1+ (1-p) W2+W3=W2 解得：W1=W2=W3=，

32

1p

W1+W2+(1-p) W3=W3 即p(0)=p(1)=p(2)=

32

W1+W2+W3=1

(2) H(X|0)=H(X|1)=H(X|2)= - (1-p) log2(1-p) -

pppp

log2-log2 2222

p

= - (1-p) log2(1-p) - plog2

2

pbit 2

H(X)=p(0)H(X|0)+p(1)H(X|1)+p(2)H(X|2)= - (1-p) log2(1-p) - plog2 (3) H(X)= log23=1.58bit

p

ln(1p)1p1dH(X)

0 0，得 (4) 令

ln2(1p)ln2ln2ln2dp

ln

2

，则： 321121

当p=时，H(X)= （- log2-log2）bit =1.58 bit

33333

解得p=

当p=0 时， H(X)=0

当p=1时，H(X)=1

3-1 解（1）由输入概率分布和概率转移，可得： p(x0,y0)=p(y0|x0)p(x0)=

231*= 342

111

同理，可得：p(x0,y1)=； p(x1,y0)=； p(x1,y1)=，则：

1264

117

p(y0)=p(x0,y0)+p(x1,y0)=+=

21212

115+= 4612

3311

因此，H(X)=( - log2- log2) bit =0.811 bit

4444

11111111

H(X，Y)=( - log2- log2 - log2-log2)bit=1.73bit

[1**********]575

H(Y)=( -log2 - log2)bit=0.98bit 12121212

p(y1)=p(x0,y1)+p(x1,y1)=

H(Y|X)=H(X，Y)-H(X)=(1.73-0.811)bit=0.919 bit

H(X|Y )= H(X，Y)-H(X)=(1.73-0.98)bit=0.75bit I(X；Y)=H(X)-H(X|Y)=(0.811-0.75)bit=0.061bit （2）该信道是对称DMC信道，信道容量为 C= log2m -

pijlogpij= log22 +

j1

m

2211

log2 + log2 =0.082bit 3333

1

2

1 2

达到信道容量时输入概率分布为：p(x0)= p(x1)=

3-2 解：(1)由信源的概率分布和转移概率，可得p(x1,y1)=p(y1|x1)p(x1)=

11

， ，p(x1,y3)=0 ，p(x2,y1)=（1-）

2211

p(x2,y2)=（1-），p(x2,y3)=（1-），则：

44

111

p(y1)=p(x1,y1)+p(x2,y1)=+（1-）=，

222

111

同理可得: p(y2)=+；p(y3)=（1-）

444

同理可得：p(x1,y2)=

因此，接收端的平均不确定度为：

11111111

log2-(?)log2(?)-(1-?)log2(1 )22444444

31+?1 =-log2(1+?)log2(1- )(bit)

244

（2）由于噪声产生的不确定度为：

H(Y|X)-=

?211l2-?22

2

1g-21?2

2

11?-l24

2

1 1

-44

2

3¶

=-(bit)22

1log4

由于互信息为：

31+?1抖3-log2(1+?)log2(1-?)]（-）

24422

dI(X;Y)3

=0,可得：? 令，则： d¶5

I（X;Y)=H(Y)-(Y|X)=[

C=

maxI(X;Y)=C(?

p(ai）

3

)=0.161bit 5

骣12çççç0ççç3-6 解：该信道的概率转移矩阵为 P=çççç0ççççç12

4

1

21200

012120

0÷÷÷÷÷÷÷÷0÷÷÷÷ ÷÷1÷÷÷2÷÷÷÷1÷÷÷2÷

可见，该信道为对称DMC信道，因此，该信道的信道容量为： C=log2m+

å

pijlog2pij=log24+

j=1

1111

log2()+log2()=1bit 2222

1 6

3-7解：（1）由发送符号的概率分布和转移概率，可得： p(x1,y1)=p(y1|x1)p(x1)=0.5? 同理可得：

1

3

1

,p(x1,y3)=10

1

p(x2,y3)=,p(x3,y1)=

10

p(x1,y2)=121,p(x2,y1)=,p(x2,y2)=151510

13,p(x3,y2)=,p(x3,y3)=03010

1211

++= 615303

1

11p(x1,y1)1

同理可得：p(y2)=,p(y3)=;p(x1|y1)===

1226p(y1)

3

p(y1)=p(x1,y1)+p(x2,y1)+p(x3,y1)=

1

，p(x3|y1)=5

同理可得：

3

p(x3|y2)=，p(x1|y3)=

5

p(x2|y1)=221，p(x1|y2)=，p(x2|y2)=555

13

，p(x2|y3)=，p(x3|y3)=0105

H（Y)=p(y1)log2p(y1)-p(y2)log2p(y2)-p(y3)log2p(y3)

因此，

111111

=-log2-log2-log2=1.459bit

332266

（2）H（Y|X)=

å

-p(xi;yj)logp(yj|xi）

ij

1113112213log2-log2-log2-log2-log2

[***********]1139log2-log2-log2 -

[1**********]0

=1.175bit

=-（3）当接收为 y2，发出为x2是正确，发出的是x1和x3为错误，由于各自概率为：

p(x1|y2)=

113,p(x2|y2)=,p(x3|y2)= 555

因此，接收端收到一个符号y2的错误概率为：

pi=p(x1|y2)+p(x3|y2)=

13

+=0.8 55

（4）从接收端看的平均错误概率为：

Pe1=[p(x2|y1)+p(x3|y1)]p(y1)+[p(x1|y2)+p(x3|y2)]p(y2)+[p(x1|y3)+p(x2|y3)]p(y3)

=p(x2,y1)+p(x3,y1)+p(x1,y2)+p(x3,y2)+p(x1,y3)+p(x2,y3) =

211311

+++++ =0.733 [1**********]0

_

_

（5）同理可得，从发送端看的平均错误概率为：pe2=pe1=0.733 （6）从转移矩阵来看，

正确发送的概率x1-y1的概率为0.5，有一半失真；x2-y2的概率为0.3，产生失真；x3-y3的概率为0，完全失真。因此，此信道不好

（7）发送端的H(X)=log3=1.585bit

H(X|Y)=

=-

å

ij

-p(xi,yj)log2p(xi|yj)

[**************]3log2-log2-log2-log2-log2-log2-log2-log2

[***********]010105

=1.301bit


相关文章

  • _从PISA编码看高考网上阅卷

    • 从PISA编码看高考网上阅卷* 王 [摘 蕾佟威 要]高考网上阅卷已经取得了长足的进步,但同时也存在分省阅卷标准不统一.主观题分数离散程 度低和对标准答案以外的考生作答处理方式单一等一些尚未完全解决的问题.PISA作为世界范围内有重要影响力 ...查看


  • 初级会计电算化历年真题

    • 初级会计电算化历年真题一 一.单选题. 1.组成报表的最小基本单位是( ) . A.组合单元 B.表体 C.变动单元 D.表单元 [答案]D 2. 设置会计科目编码时,必须是( ) . A.科目全编码 B.明细科目编码 C.一级科目编码 D ...查看


  • 第1章 计算机数值处理

    • 第1章 计算机数值处理 1. ______是计算机的加工对象,以二进制编码方式,存储在计算机内部.______集合中的元素可以采用各种不同的结构. 公式 文字 ASCII码 数据 正确答案为===>>数据 2. 计算机接收数字信 ...查看


  • 第四章习题答案 1

    • 第4章习题 ⎡S ⎤⎡s 1 4-1 对信源⎢⎥=⎢ ⎣P ⎦⎣0. 2 s 20. 19 s 30. 18 s 40. 17 s 50. 15 s 60. 10 s 7⎤ ⎥进行二元编码,编码方案0. 01⎦ 为 (1)计算平均码长L : ...查看


  • 信息论基础及答案

    • <信息论基础>试卷答案 一.填空题(共25分,每空1分) 1.连续信源的绝对熵为 无穷大.(或  pxlgpxdxlimlg)  2.离散无记忆信源在进行无失真变长信源编码时,编码效率最大可以达到 ...查看


  • 第三章-(二)计算机的特点(考点)

    • 第三章-(二)计算机的特点(考点) 1. 运算速度快 2. 计算精度高 3. 存储容量大 4. 具有逻辑判断能力 5. 具有自动执行程序的能力 (三)计算机的分类(考点) 1.根据计算机中信息的表示形式和处理方式: 1) 数字电子计算机 2 ...查看


  • 信息论与编码答案

    • Aaaa 信息论与编码 (第十三讲) 宋 鹏 2014年秋 E-mail:[email protected] 2014-12-31 Department of Electronics and Information, NCUT Son ...查看


  • 认知心理学平时作业答案集(2015)

    • 认知心理学 1:[多选题]把拼图的过程比作知觉的假设检验过程,通过比较几片形状不一样的拼图从而知道某一片拼图是什么,这是: A:自上而下加工 B:自下而上加工 C:概念驱动过程 D:数据驱动过程 E:整体加工 参考答案:BD 2:[论述题] ...查看


  • 会计从业资格考试电算化模拟试题及答案

    • 会计从业资格考试电算化模拟试题及答案 第一部分 实务操作题 (满分:100分时限:60分钟)首先,建立账套,账套信息如下: 账套编码:01:账套名称:广州顺达科技公司:采用默认账套路径:启用会计期:2008年1月:会计期间设置:1月1日至1 ...查看


  • 生活中的数字编码(综合实践教案)

    • 生活中的数字编码 教学目标: 1.了解身份证号码的组成及代表意义,能从中准确获取有效信息. 2.通过观察.比较.猜测来探索数字编码的简单方法.初步学会对身边的事物进行编码,培养抽象能力和概括能力. 3.了解数字编码在生活中的广泛应用,树立关 ...查看


热门内容