Теорема Шеннона — Хартли

Теорема Шеннона — Хартли (формула Шеннона^[1]) в теории информации — формула, связывающая пропускную способность канала c аддитивным белым гауссовым шумом с шириной полосы пропускания канала и отношением сигнал-шум^[1][2][3]. Названа в честь Клода Шеннона и Ральфа Хартли. Была доказана Клодом Шенноном в 1948 году^[4].

Утверждение теоремы

Теорема Шеннона — Хартли утверждает, что пропускная способность непрерывного канала ${\displaystyle C}$ c аддитивным белым гауссовым шумом связана с шириной полосы пропускания канала и отношением сигнал-шум по формуле:

${\displaystyle C=\Delta F\log _{2}(1+{\frac {P_{s}}{P_{n}}}),}$

где

${\displaystyle C}$ — пропускная способность канала, бит/с;

${\displaystyle \Delta F}$ — полоса пропускания канала, Гц;

${\displaystyle P_{s}}$ — средняя мощность сигнала в полосе в полосе ${\displaystyle \Delta F}$, Вт;

${\displaystyle P_{n}=N_{0}\Delta F}$ — мощность шума в полосе ${\displaystyle \Delta F}$, Вт, ${\displaystyle N_{0}}$ — спектральная плотность мощности шума;

${\displaystyle {\frac {P_{s}}{P_{n}}}}$ — отношение мощности сигнала к мощности шума.

Клод Шеннон утверждал, что эта формула означает, что с помощью достаточно сложных систем кодирования можно передавать двоичные знаки со скоростью ${\displaystyle C}$ при сколь угодно малой частоте ошибок. Невозможно передавать с большей скоростью при любой системе кодирования без того, чтобы частота ошибок не была бы положительна. Для достижения этой предельной скорости передаваемые сигналы должны быть близки по своим статистическим свойствам к белому шуму. При этом длительность сигнала должна быть достаточно большой^[5].

При этом даже бесконечное увеличение полосы ${\displaystyle \Delta F}$ не приводит к бесконечному росту пропускной способности ${\displaystyle C}$^[1]:

${\displaystyle C_{\infty }=\lim _{\Delta F\to \infty }C=\lim _{\Delta F\to \infty }\Delta F\cdot \log _{2}e\cdot \ln \left(1+{\frac {P_{s}}{N_{0}\Delta F}}\right)=\lim _{F\to \infty }\Delta F\cdot {\frac {P_{s}}{N_{0}\Delta F}}\log _{2}e={\frac {P_{s}}{N_{0}}}\log _{2}e\approx {\frac {P_{s}}{N_{0}}}\cdot 1,443}$ бит/с.

Пропускная способность непрерывного канала с шумом, отличным от гауссова, или с шумом, энергетический спектр которого неравномерен в полосе пропускания канала, оказывается больше вычисленной по формуле Шеннона — Хартли^[6].

Граница Шеннона

Граница Шеннона

Формулу Шеннона — Хартли можно переписать в виде, получив формулу, называемую границей Шеннона^[7]:

${\displaystyle \beta _{E}=(2^{1/\beta _{F}}-1)\beta _{F}}$,

где ${\displaystyle \beta _{E}={\frac {E_{b}}{N_{0}}}={\frac {P_{s}}{P_{n}}}{\frac {\Delta F}{R}}}$ — удельные энергетические затраты, ${\displaystyle E_{b}}$ — энергия сигнала, затрачиваемая на передачу одного бита информации, ${\displaystyle N_{0}}$ — спектральная плотность мощности шума, ${\displaystyle R}$ — скорость создания информации (при равновероятных и независимых символах источника).

${\displaystyle \beta _{F}={\frac {\Delta F}{C}}}$ — удельные затраты полосы частот.

Так как по условию теоремы Шеннона для канала с шумом для безошибочного воспроизведения сообщений необходимо выполнение условия ${\displaystyle R<C}$, то удельные энергетические затраты должны удовлетворять следующему неравенству:

${\displaystyle \beta _{E}>(2^{1/\beta _{F}}-1)\beta _{F},}$

то есть величина ${\displaystyle \beta _{E}}$ должна быть выше границы Шеннона^[7].

При величине ${\displaystyle \beta _{F}\rightarrow \infty }$ минимально возможное значение ${\displaystyle \beta _{E}=\ln(2)=0.693}$, называемое пределом Шеннона^[6]. Таким образом, величина удельных энергетических затрат для канала с АБГШ, даже при ${\displaystyle \beta _{F}\rightarrow \infty }$, должна превосходить значение ${\displaystyle \ln(2)}$^[8].