Skip to main content

信道容量与香农公式

信道容量​

信道容量（Channel Capacity）指的是信道能够无差错传输的最大速率，可以分为离散和连续信道容量两类。

香农公式​

在加性白噪声信道条件下，表示如下：

Y=X+ZY = X+Z

其中，X，Y，Z是连续取值的随机变量，Z是高斯白噪声，方差为N，X的方差为P。 前提：

  • 信道为加性白噪声信道
  • 还未对X的分布进行要求，只是方差为给定值

无论是离散信道还是连续信道，信道容量都是 X，Y之间最大的互信息，也就是：

C=maxp(x)I(X,Y)C = max_{p(x)}I(X,Y)

由于 I(X,Y)=H(Y)−H(Y∣X)=H(Y)−H(X+Z∣X)=H(Y)−H(Z)I(X,Y)=H(Y)-H(Y|X)=H(Y)-H(X+Z|X)=H(Y)-H(Z) （Z和X是相互独立的变量），所以I(X,Y)=H(Y)−12log⁡2(2πeN)I(X,Y)=H(Y)-\frac{1}{2}\log_{2}(2\pi eN)

这里的 12log⁡2(2πeN)\frac{1}{2}\log_{2}(2\pi eN) 来自高斯分布的微熵计算，也就是 p(x) 12πσ2e−x22σ2p(x)~ \frac{1}{\sqrt{ 2\pi\sigma^{2} }} e^{-\frac{x^2}{2\sigma^{2}}}。

因为高斯分布对应最大的微熵，我们可以知道 H(Y)≤12log⁡2(2πe(N+P))H(Y)\leq \frac{1}{2}\log_{2}(2\pi e(N+P))

由此，可以得到：I(X,Y)≤12log⁡2(2πe(1+PN))I(X,Y)\leq\frac{1}{2}\log_{2}\left( 2\pi e\left( 1+\frac{P}{N} \right) \right)

那什么时候取到等号呢？答案是输入信号 X 也是高斯分布时。

此时的 C=12log⁡2(2πe(1+PN))C=\frac{1}{2}\log_{2}\left( 2\pi e\left( 1+\frac{P}{N} \right) \right) 对应的单位是 bits/symbol。

实际我们传输的信号是 t 的函数，如果信号带宽是 B，根据采样定理用 2B 采样率就可以无失真地表达信号，每秒相当于有 2B 个采样点，每个采样点的信道容量为 C=12log⁡2(2πe(1+PN))C=\frac{1}{2}\log_{2}\left( 2\pi e\left( 1+\frac{P}{N} \right) \right) 。

所以得到我们大名鼎鼎的香农公式（单位：bits/second)： $$ C = Blog_2(1+\frac{S}{N}) $$

香农公式的应用​

根据香农公式，我们不难看出增加信道容量的方法有三种。

（1）增加信道功率

增加信道功率 S，可以无限制增加信道容量大小。

（2）减少噪声功率

如果噪声功率 N 趋近于 0，SN→0\frac{S}{N}\rightarrow 0，信道容量也能趋近于无穷大。

（3）增加带宽

增加带宽 B 能够增加信道容量，但不能无限增加信道容量。

lim⁡B→∞C=lim⁡B→∞Blog⁡2(1+Sn0B)=Sn0log⁡2e=1.44Sn0\lim_{ B \to \infty } C = \lim_{ B \to \infty } B\log_{2}\left( 1+\frac{S}{n_{0}B} \right)=\frac{S}{n_{0}}\log_{2}e=\frac{1.44S}{n_{0}}

这里的 n0n_{0} 是噪声的功率谱密度。

与此同时，如果我们给定信道容量 C，信道带宽 B，信噪比SN\frac{S}{N}以及传输时间三者之间可以相互转换，这使得我们可以根据通信系统使用场景的不同来灵活地调整参数。

信道编码定理与香农限​

任何一个通信信道都有确定的容量 C，如果通信系统所要求的传输速率小于容量 C，则存在一种编码方法，当码长 n 充分大并用最大似然译码（MLD），信息的错误概率可以达到任意小。

最大似然译码算法的复杂性随着码长n的增加呈现指数增加，因此当n较大时，最大似然译码是物理上不可实现的。

记住三点：码长足够长、码字足够随机化、采用最大似然译码。

离散AWGN 的香农限计算​

$$ C = Blog2(1+\frac{P{S}}{P_{N}}) $$

这里的信号功率 PS=EbRbP_{S}=E_{b}R_{b}，RbR_{b} 是信息比特的传输速率，满足 Rb≤CR_{b}\leq C。

因此，不难得到：

Rb≤Blog2(1+EbRbN0B)R_{b} \leq Blog_2(1+\frac{E_{b}R_{b}}{N_{0}B})

由上面的式子我们可以得到 EbN0\frac{E_{b}}{N_{0}}的关系

EbN0≥2Rb/B−1Rb/B\frac{E_{b}}{N_{0}}\geq \frac{2^{R_{b}/B-1}}{R_{b} /B}

为了让数据无失真传输，需要尽可能保证大带宽，也就是让 B→∞B\to \infty。

因此，我们可得：

EbN0≥lim⁡B→∞2Rb/B−1Rb/B≥lim⁡x→02x−1x=ln⁡2=−1.59dB\frac{E_{b}}{N_{0}}\geq \lim_{ B \to \infty } \frac{2^{R_{b}/B-1}}{R_{b} /B}\geq \lim_{ x \to 0 } \frac{2^{x}-1}{x}=\ln{2}=-1.59 dB