Скорость передачи информации

Скорость передачи информации — количество информации, передаваемое по каналу связи в единицу времени^[1]. Является отношением средней взаимной информации между входными и выходными символами канала связи к среднему времени, затрачиваемому на передачу одного символа. Максимальная скорость передачи информации называется пропускной способностью канала^[2].

Определение

Скоростью передачи информации по дискретному каналу связи (между входом модулятора передатчика и выходом демодулятора приёмника) называется величина^[1]:

${\displaystyle R={\frac {I(A,B)}{T_{s}}}=H'(A)-H'(A|B),}$

где

${\displaystyle T_{s}=1/\nu }$ — среднее время, затрачиваемое на передачу одного символа, ${\displaystyle \nu }$ — средняя скорость передачи символов.

${\displaystyle I(A,B)=H(A)-H(A|B)}$ — средняя взаимная информация между входными ${\displaystyle A}$ символами канала и выходными ${\displaystyle B}$ символами канала,

${\displaystyle H'(A)={\frac {1}{T_{s}}}H(A)}$ — производительность источника сообщений, ${\displaystyle H(A)}$ — энтропия источника сообщений, которая является средним количеством переданной информации в одном символе источника или степенью неопределенности передачи того или иного символа.

В случае передачи независимых друг от друга символов энтропия источника равна:

${\displaystyle H(A)=-\sum _{i=1}^{M}{p(a_{i})\log _{2}(p(a_{i}))},}$

где

${\displaystyle p(a_{i})}$ — априорная вероятность появления (передачи) символа ${\displaystyle a_{i}}$,

${\displaystyle M}$ — объём канального алфавита (число различных значений символов канального алфавита).

Максимальное значении энтропии ${\displaystyle H(A)}$ равно ${\displaystyle \log _{2}(M)}$ и наблюдается в случае, когда все символы источника равновероятны, то есть ${\displaystyle p(a_{i})=1/M}$. В случае, когда по каналу передаётся только один символ (${\displaystyle p(a_{i})=1}$ и ${\displaystyle p(a_{j})=0}$ для всех ${\displaystyle i\neq j}$) значение ${\displaystyle H(A)}$ равно нулю, что означает полную определённости в выборе передаваемого символа^[1].

Величина

${\displaystyle H'(A|B)={\frac {1}{T_{s}}}H(A|B)}$

называется ненадежностью, отнесённой к единице времени, ${\displaystyle H(A|B)}$ является условной энтропией и называется ненадежностью, то есть средним количеством информации, теряемой при передаче информации и являющейся мерой неопределённости принятого символа^[3][4]. Эта величина зависит от вероятности ошибочного приема символов источника^[5].

В случае передачи информации независимыми символами по дискретному ${\displaystyle M}$-ичному симметричному каналу, то есть для которого алфавиты на входе и выходе канала одинаковы, априорные вероятности входных и выходных символов канала одинаковы и вероятности перехода из входного символа ${\displaystyle a_{i}}$ в выходной символ ${\displaystyle b_{j}}$ определяются как: ${\displaystyle p(b_{j}|a_{i})={\begin{cases}{\frac {p_{\text{ош}}}{M-1}},i\neq j\\1-p_{\text{ош}},i=j\\\end{cases}}}$, ненадежность равна:

${\displaystyle H(A|B)=-(1-p_{\text{ош}})\log _{2}(1-p_{\text{ош}})-p_{\text{ош}}\log _{2}{\frac {p_{\text{ош}}}{M-1}}.}$

где ${\displaystyle p_{\text{ош}}}$ — вероятность ошибочного приёма символа^[6].

Для канала без шума ненадежность ${\displaystyle H(A|B)}$ равна нулю, поэтому скорость передачи информации равна производительности источника: ${\displaystyle R=H'(A)}$.

Отличие скорости передачи информации от скорости создания информации

Отличие скорости передачи информации ${\displaystyle R}$ от скорости ${\displaystyle R_{b}=1/T_{b}=\log _{2}(M)/T_{s}}$ при равномерном кодировании символов источника состоит в том, что ${\displaystyle R}$ является действительной скоростью передачи информации, а ${\displaystyle R_{b}}$ — скоростью создания информации (технической скоростью передачи информации (битов)), где ${\displaystyle T_{b}}$ — длительность бита. В случае отсутствия шума в канале связи (вероятность ошибочного приема символов ${\displaystyle p_{\text{ош}}}$ равна нулю), то есть ${\displaystyle H(A|B)=0}$ и одинаковой априорной вероятности передачи символов, то есть ${\displaystyle p(a_{i})=1/M}$, эти величины являются равными. В случае наличия шума часть информации оказывается принятой неправильно, что эквивалентно тому, что действительная скорость передачи информации уменьшается. В двоичном канале (${\displaystyle M=2}$), в случае когда вероятность ошибочного приёма символов равна ${\displaystyle p_{\text{ош}}=1/2}$, действительная скорость передачи информации равна нулю, так как примерно половина символов окажутся принятыми неправильно, то есть никакой действительной передачи информации не будет происходить, хотя скорость создания информации останется неизменной^[4].