用matlab计算信源信息熵,计算离散信源的熵matlab实现

三、实验内容:

1、写出计算自信息量的Matlab 程序

2、写出计算离散信源平均信息量的Matlab 程序。

3、掌握二元离散信源的最大信息量与概率的关系。

4、将程序在计算机上仿真实现,验证程序的正确性并完成习题。

实验一：计算离散信源的熵

一、实验设备:

1、计算机

2、软件：Matlab

二、实验目的:

1、熟悉离散信源的特点；

2、学习仿真离散信源的方法

3、学习离散信源平均信息量的计算方法

4、熟悉 Matlab 编程；

三、实验内容:

1、写出计算自信息量的Matlab 程序

2、写出计算离散信源平均信息量的Matlab 程序。

3、掌握二元离散信源的最大信息量与概率的关系。

4、将程序在计算机上仿真实现，验证程序的正确性并完成习题。

四、实验报告要求

简要总结离散信源的特点及离散信源平均信息量的计算,写出习题的MATLAB实现语句。

信息论基础：

自信息的计算公式 I(a) log21pa Matlab实现：I=log2(1/p) 或I=-log2(p)

熵(平均自信息)的计算公式

q

H(x)

i 1pilog21piq pilog2pii 1

Matlab实现：HX=sum(-x.*log2(x))；或者h=h-x(i)*log2(x(i)); 习题：

1. 甲地天气预报构成的信源空间为：

晴 云 大雨 小雨 X 111 1 ,,, p(x) 848 2

乙地信源空间为：

晴 小雨 Y 1 7 , p(y) 8 8

求此两个信源的熵。求各种天气的自信息量。

案：H(X) 1.75;H(Y) 0.5436