码的目的就是为了优化通信系统。

一般通信系统 的性能指标主要是有效性和可靠性。

所谓优

化，就是使这些指标 达到最佳。

除了经济性外，这些指标正是信息论研究的对象。

按 照不同

的编码目的，编码可主要分为信源编码和信道编码。在本文中对此做一个简单的介 绍。

2.

数字通信系统

通信的任务是由一整套 技术设备和传输媒介所构成的总体

——

通信系统来完成的。

电子

通信根据信道上传输信号的种类可分为模拟通信和数字通信。< /p>

最简单的数字通信系统模型由

信源、

信道 和信宿三个基本部分组成。

实际的数字通信系统模型要比简单的数字通信系统模

型复杂得多。数字通信系统设备多种多样，综合各种数字通信系统，其构成如图

< br>2-l

所示。

图

2-1

数字通信系统模型

信源编码是以提高 通信有效性为目的的编码。

通常通过压缩信源的冗余度来实现。

采用

的一般方法是压缩每个信源符号的平均比特数或信源的码率。

信道，

通俗地说是指以传输媒质为基础的信号通路。

具体地说，

信道是指由有线或无线

电线路提供 的信号通路。

信道的作用是传输信号，

它提供一段频带让信号通 过，

同时又给信

号加以限制和损害。

信道编码是以提高信息传输的可靠性为目的的编码。

通常通过增 加信源的冗余度来实现。

采用的一般方法是增大码率或带宽。与信源编码正好相反。在计 算机科学领域，信道编码

（

channel

< br>code

）被广泛用作表示编码错误监测和纠正的术语，有时候也可以在通信和存 储

领域用作表示数字调制方式。

信道编码用来在数据传输的时候 保护数据，

还可以在出现错误

的时候来恢复数据。

3.

信源编码

一般情况下，

信源编码可分为离散信源编码、

连续信源编码和相关信源编码。

离散信源

编码可做到无失真编码；而连续信源编码则只能做到限失真编码。< /p>

3.1

信源编码的一般模型

图

3-1

信源编码的一般模型如图

3-1

所示。

如果将编码器看作是一个网络，

则它有

2

个输入和

1

个

输出，分别是消息集合

X

、信道基本符号集合

A

和代码集合

C

。

设消息集合共有

N

个元素，信道基本符号共有< /p>

2

种，代码组集合的元素个数为

N

，则

X={

x

1

，

x

2

，

…

，

x

N

}

A={

0

，

1

}

C={

c

1

，

c

2

，

…

，

c

N

}

由信源编码器的数学模型可将信源编码器的作用归纳为

(1)

用信道的基本符号按照规定的编码方法把信源发出的消息变换 成相应的代码组；

(2)

建 立消息集合

X

与代码组集合

C

之间的一一对应关系。

通常称具有上述映射规 则的信源编码器为正规编码器，编出来的码称为非奇异码。

由 于正规编码器一一对应的规则确保了编码过程不会造成信息量的损失，

故等效信源的熵必

定与初始信源的熵相等。

3.2

最佳编码

通常称具有最短的代码组平 均长度或编码效率接近于

1

的信源编码为最佳信源编码，

亦简称

为最佳编码。最佳编码的目的是提高信道传输消息的有效性。< /p>

最佳编码的实质：减小每个符号所占用的时间长度，即让每个码 元所携带的信息量最大。

最佳编码的原则：

< br>①把信源符号集合中出现概率大的符号编成长度较短的代码组，

而把出现

概率小的符号编成长度较长的代码组；

②信源编码器输出的代码组为单义 可译码组，

即序列

中不必使用间隔就能把序列逐个分成代码组< /p>

（因为间隔不携带信息量，

使用了间隔自然降低

< br>了编码效率）

3.3

常见信源编码

3.3.1

香农编码

在信源编码方面，

1951

年香农证明，当信源输出有 冗余的消息时可通过编码改变信源

的输出，使信息传输速率接近信道容量。

1948

年香农就提出能使信源与信道匹配的香农编

码。香农编码编码步骤如下：

(1)

将符号序列

a

i

i=1,2,…,N

n

按概率降序排列

;

n

(2)

确定第

i

个码字的码长

l

i









< br>log

p

(

a

< br>i

)





i=1,2,…,N

；