섀넌-하틀리 정리

정보 이론에서 섀넌-하틀리 정리(Shannon–Hartley theorem)는 특정 대역폭의 통신 채널을 통해 잡음이 있는 상태에서 정보를 전송할 수 있는 최대 속도를 알려준다. 이것은 가우스 잡음에 노출된 연속 시간 아날로그 신호 통신 채널의 전형적인 경우에 대한 잡음 채널 부호화 정리의 응용이다. 이 정리는 그러한 통신 링크에 대한 섀넌의 채널 용량을 확립한다. 이는 신호 전력이 제한되고 가우스 잡음 프로세스가 알려진 전력 또는 전력 스펙트럼 밀도로 특성화된다고 가정할 때, 주어진 대역폭과 잡음 간섭이 있는 상태에서 시간 단위당 전송될 수 있는 최대 정보의 오류 없는 양에 대한 한계이다. 이 법칙은 클로드 엘우드 섀넌과 랄프 하틀리의 이름을 따서 명명되었다.

정리의 진술

섀넌-하틀리 정리는 채널 용량 ${\displaystyle C}$를 명시하는데, 이는 평균 수신 신호 전력 ${\displaystyle S}$를 사용하여 가산 백색 가우스 잡음(AWGN) 전력 ${\displaystyle N}$에 노출된 아날로그 통신 채널을 통해 임의로 낮은 비트 오류율로 통신할 수 있는 데이터의 정보율에 대한 이론적인 가장 엄밀한 상한을 의미한다.

${\displaystyle C=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

여기서

• ${\displaystyle C}$는 초당 비트 단위의 채널 용량이며, 오류 정정 코드를 제외한 순 비트 전송률(정보율, 때때로 ${\displaystyle I}$로 표시됨)의 이론적 상한이다.
• ${\displaystyle B}$는 헤르츠 단위의 채널 대역폭 (신호 처리) (대역통과 신호의 경우 대역통과 대역폭)이다.
• ${\displaystyle S}$는 대역폭에 걸쳐 평균 수신 신호 전력이며 (반송파 변조 대역통과 전송의 경우, 종종 C로 표시됨), 와트 (또는 제곱 볼트) 단위로 측정된다.
• ${\displaystyle N}$은 대역폭에 걸쳐 잡음 및 간섭의 평균 전력이며, 와트 (또는 제곱 볼트) 단위로 측정된다.
• ${\displaystyle S/N}$은 수신기에서 통신 신호 대 잡음 및 간섭의 신호 대 잡음비(SNR) 또는 반송파 대 잡음비(CNR)이다 (데시벨 로그 비율이 아닌 선형 전력 비율로 표현됨).

역사적 발전

1920년대 후반, 해리 나이퀴스트와 랄프 하틀리는 특히 전신을 통신 시스템으로 하는 맥락에서 정보 전송과 관련된 몇 가지 기본적인 아이디어를 개발했다. 당시 이 개념들은 개별적으로는 강력한 돌파구였지만, 포괄적인 이론의 일부는 아니었다. 1940년대에 클로드 섀넌은 나이퀴스트와 하틀리의 아이디어를 부분적으로 기반으로 하여 채널 용량 개념을 개발했고, 이어서 정보 및 그 전송에 대한 완전한 이론을 정립했다.

나이퀴스트율

 이 부분의 본문은 나이퀴스트 ISI 기준입니다.

1927년, 나이퀴스트는 전신 채널을 통해 단위 시간당 전달될 수 있는 독립 펄스의 수가 채널의 단측 대역폭의 두 배로 제한된다는 것을 결정했다. 기호 표기법으로,

${\displaystyle f_{p}\leq 2B}$

여기서 ${\displaystyle f_{p}}$는 펄스 주파수(초당 펄스 수)이고 ${\displaystyle B}$는 단측 대역폭(헤르츠)이다. ${\displaystyle 2B}$는 나중에 나이퀴스트율이라고 불리게 되었고, 초당 ${\displaystyle 2B}$ 펄스의 제한된 펄스율로 전송하는 것을 나이퀴스트율로 신호한다고 했다. 나이퀴스트는 그의 논문 "전신 전송 이론의 특정 주제"의 일부로 1928년에 그의 결과를 발표했다.^[1]

하틀리 법칙

1928년 동안, 하틀리는 정보와 그 회선 속도(데이터 신호 속도 R 비트/초라고도 함)를 정량화하는 방법을 공식화했다.^[2] 이 방법은 나중에 하틀리 법칙으로 알려졌으며, 섀넌의 더 정교한 채널 용량 개념의 중요한 전조가 되었다.

하틀리는 통신 채널을 통해 안정적으로 전송되고 수신될 수 있는 구별 가능한 펄스 레벨의 최대 수가 신호 진폭의 동적 범위와 수신기가 진폭 레벨을 구별할 수 있는 정밀도에 의해 제한된다고 주장했다. 특히, 전송된 신호의 진폭이 [−A ... +A] 볼트 범위로 제한되고 수신기의 정밀도가 ±ΔV 볼트인 경우, 고유한 펄스 M의 최대 수는 다음과 같이 주어진다.

${\displaystyle M=1+{A \over \Delta V}}$.

초당 비트/펄스 단위의 정보가 전송될 수 있는 고유 메시지 M의 밑이 2인 로그라고 가정하여, 하틀리^[3]는 회선 속도 R의 측정값을 다음과 같이 구성했다.

${\displaystyle R=f_{p}\log _{2}(M),}$

여기서 ${\displaystyle f_{p}}$는 펄스율이며, 초당 기호 수 또는 보 단위의 기호율이라고도 한다.

하틀리는 위에서 언급한 정량화를 나이퀴스트의 관찰, 즉 단측 대역폭 ${\displaystyle B}$ 헤르츠 채널을 통해 전달될 수 있는 독립 펄스의 수가 초당 ${\displaystyle 2B}$ 펄스라는 관찰과 결합하여 달성 가능한 회선 속도에 대한 그의 정량적 측정값을 도출했다.

하틀리 법칙은 때때로 아날로그 대역폭 ${\displaystyle B}$ (헤르츠)와 오늘날 디지털 대역폭 ${\displaystyle R}$ (비트/초) 간의 비례 관계만으로 인용된다.^[4] 다른 경우에는 초당 ${\displaystyle R}$ 비트의 달성 가능한 회선 속도로서 다음과 같은 더 정량적인 형태로 인용된다.^[5]

${\displaystyle R\leq 2B\log _{2}(M).}$

하틀리는 M의 수가 채널의 잡음 통계에 어떻게 의존해야 하는지, 또는 개별 기호 펄스가 M 레벨로 안정적으로 구별될 수 없을 때에도 통신을 어떻게 신뢰할 수 있게 만들 수 있는지 정확히 알아내지 못했다. 가우스 잡음 통계를 사용하면 시스템 설계자는 낮은 오류율을 달성하기 위해 매우 보수적인 M 값을 선택해야 했다.

오류 없는 용량이라는 개념은 정보의 로그 측정에 대한 하틀리의 관찰과 대역폭 제한의 효과에 대한 나이퀴스트의 관찰을 기반으로 한 클로드 섀넌을 기다렸다.

하틀리의 속도 결과는 초당 ${\displaystyle 2B}$ 기호의 오류 없는 M-진 채널 용량으로 볼 수 있다. 일부 저자들은 이를 용량이라고 부른다. 그러나 이러한 오류 없는 채널은 이상화된 것이며, 시끄러운 채널을 거의 오류 없게 만들기에 충분히 작은 M을 선택한다면, 그 결과는 나중에 나온 하틀리-섀넌 결과인 대역폭 ${\displaystyle B}$의 시끄러운 채널의 섀넌 용량보다 필연적으로 작다.

잡음 채널 부호화 정리와 용량

 이 부분의 본문은 잡음 채널 부호화 정리입니다.

제2차 세계 대전 중 클로드 섀넌의 정보 이론 개발은 잡음이 많은 채널을 통해 얼마나 많은 정보를 안정적으로 전달할 수 있는지 이해하는 데 다음 큰 발전을 가져왔다. 하틀리의 기초 위에, 섀넌의 잡음 채널 부호화 정리 (1948)는 잡음 간섭 및 데이터 손상 수준에 대한 오류 정정 부호 방법의 최대 가능한 효율성을 설명한다.^[6][7] 정리의 증명은 무작위로 구성된 오류 정정 코드가 본질적으로 가능한 최상의 코드만큼 좋다는 것을 보여준다. 이 정리는 그러한 무작위 코드의 통계를 통해 증명된다.

섀넌의 정리는 채널의 통계적 설명으로부터 채널 용량을 계산하는 방법을 보여주고, 용량 ${\displaystyle C}$를 가진 잡음이 있는 채널과 회선 속도 ${\displaystyle R}$로 전송되는 정보가 주어진 경우, 만약

${\displaystyle R<C}$

수신기에서 오류 확률을 임의로 작게 만들 수 있는 코딩 기술이 존재한다는 것을 확립한다. 이는 이론적으로 초당 거의 ${\displaystyle C}$ 비트의 한계까지 거의 오류 없이 정보를 전송할 수 있음을 의미한다.

그 역도 중요하다. 만약

${\displaystyle R>C}$

수신기에서 오류 확률은 속도가 증가함에 따라 무한히 증가하므로 채널 용량을 넘어 유용한 정보를 전송할 수 없다. 이 정리는 속도와 용량이 동일한 드문 상황을 다루지 않는다.

섀넌-하틀리 정리는 가우스 잡음에 노출된 유한 대역폭 연속 시간 채널의 채널 용량이 무엇인지 확립한다. 이는 하틀리의 결과를 섀넌의 채널 용량 정리와 연결하여, 신호 대 잡음비 측면에서 하틀리의 회선 속도 공식에서 M을 지정하는 것과 동일한 형태이지만, 신뢰성 있게 구별 가능한 펄스 레벨을 통해서가 아니라 오류 정정 코딩을 통해 신뢰성을 달성한다.

만약 잡음이 없는 아날로그 채널과 같은 것이 존재한다면, 단위 시간당 무한한 양의 오류 없는 데이터를 전송할 수 있을 것이다 (무한 대역폭 아날로그 채널은 무한 신호 전력이 없으면 무한한 양의 오류 없는 데이터를 전송할 수 없다는 점에 유의하라). 그러나 실제 채널은 유한 대역폭과 0이 아닌 잡음에 의해 부과되는 제한을 받는다.

대역폭과 잡음은 아날로그 채널을 통해 정보를 전송할 수 있는 속도에 영향을 미친다. 대역폭 제한만으로는 최대 정보율에 상한을 두지 않는데, 이는 신호가 각 기호 펄스에서 무한히 많은 다른 전압 레벨을 취할 수 있고, 각 약간 다른 레벨에 다른 의미 또는 비트 시퀀스가 할당될 수 있기 때문이다. 그러나 잡음과 대역폭 제한을 모두 고려하면, 정교한 다단계 인코딩 기술이 사용되더라도 제한된 전력의 신호로 전송할 수 있는 정보의 양에는 한계가 있다.

섀넌-하틀리 정리에서 고려되는 채널에서 잡음과 신호는 덧셈으로 결합된다. 즉, 수신기는 원하는 정보를 인코딩하는 신호와 잡음을 나타내는 연속적인 무작위 변수의 합과 동일한 신호를 측정한다. 이 덧셈은 원래 신호 값에 대한 불확실성을 생성한다. 수신기가 잡음 과정을 생성하는 무작위 과정에 대한 일부 정보를 가지고 있다면, 원칙적으로 잡음 과정의 모든 가능한 상태를 고려하여 원래 신호의 정보를 복구할 수 있다. 섀넌-하틀리 정리의 경우, 잡음은 알려진 분산을 가진 가우스 과정에 의해 생성된다고 가정한다. 가우스 과정의 분산은 그 전력과 동일하므로, 이 분산을 잡음 전력이라고 부르는 것이 일반적이다.

이러한 채널을 가산 백색 가우스 잡음 채널이라고 부르는데, 가우스 잡음이 신호에 추가되기 때문이다. "백색"은 채널 대역폭 내의 모든 주파수에서 동일한 양의 잡음을 의미한다. 이러한 잡음은 무작위 에너지 원과 송신기와 수신기에서 각각 코딩 및 측정 오류로 인해 발생할 수 있다. 독립적인 가우스 무작위 변수의 합은 그 자체로 가우스 무작위 변수이므로, 이러한 오류 원인이 또한 가우스이고 독립적이라고 가정하면 분석이 편리하게 단순화된다.

정리의 함의

섀넌 용량과 하틀리 법칙의 비교

채널 용량을 하틀리 법칙의 정보율과 비교하면, 구별 가능한 유효 레벨 M의 수를 찾을 수 있다.^[8]

${\displaystyle 2B\log _{2}(M)=B\log _{2}\left(1+{\frac {S}{N}}\right)}$

${\displaystyle M={\sqrt {1+{\frac {S}{N}}}}.}$

제곱근은 전력 비율을 전압 비율로 효과적으로 변환하므로, 레벨 수는 신호 제곱평균제곱근 진폭과 잡음 표준 편차의 비율에 대략적으로 비례한다.

섀넌 용량과 하틀리 법칙 사이의 이러한 형태의 유사성은 ${\displaystyle M}$ 펄스 레벨이 어떤 혼동 없이 문자 그대로 전송될 수 있다는 것을 의미한다고 해석해서는 안 된다. 중복 코딩 및 오류 정정을 허용하기 위해 더 많은 레벨이 필요하지만, 코딩으로 접근할 수 있는 순 데이터 속도는 하틀리 법칙에서 그 ${\displaystyle M}$을 사용하는 것과 동일하다.

주파수 의존적 (유색 잡음) 경우

위의 간단한 버전에서는 신호와 잡음이 완전히 상관 관계가 없으며, 이 경우 ${\displaystyle S+N}$은 수신된 신호와 잡음의 총 전력이다. 가산 잡음이 백색이 아니거나 (또는 ${\displaystyle S/N}$이 대역폭 전체에서 주파수에 따라 일정하지 않은 경우) 위 방정식의 일반화는 채널을 많은 좁은 독립적인 가우스 채널로 병렬로 처리하여 얻을 수 있다.

${\displaystyle C=\int _{0}^{B}\log _{2}\left(1+{\frac {S(f)}{N(f)}}\right)df}$

여기서

• ${\displaystyle C}$는 초당 비트 단위의 채널 용량이다.
• ${\displaystyle B}$는 Hz 단위의 채널 대역폭이다.
• ${\displaystyle S(f)}$는 신호 전력 스펙트럼이다.
• ${\displaystyle N(f)}$는 잡음 전력 스펙트럼이다.
• ${\displaystyle f}$는 Hz 단위의 주파수이다.

참고: 이 정리는 가우스 정상 과정 잡음에만 적용된다. 이 공식이 주파수 의존적 잡음을 도입하는 방식은 모든 연속 시간 잡음 과정을 설명할 수는 없다. 예를 들어, 시간의 어느 시점에서든 진폭이 1 또는 -1인 무작위 파동을 추가하는 잡음 과정과 그러한 파동을 원본 신호에 추가하는 채널을 고려해 보자. 이러한 파동의 주파수 구성 요소는 매우 의존적이다. 이러한 잡음은 높은 전력을 가질 수 있지만, 기본 잡음이 각 주파수 대역에서 독립적인 잡음의 합인 경우 필요한 것보다 훨씬 적은 전력으로 연속 신호를 전송하는 것이 상당히 쉽다.

근사치

AWGN 채널 용량과 전력 제한 영역 및 대역폭 제한 영역이 표시되어 있다. 여기서 ${\displaystyle {\frac {S}{N_{0}}}=1}$이며, B와 C는 다른 값에 비례하여 조정될 수 있다.

크거나 작고 일정한 신호 대 잡음비에 대해 용량 공식은 다음과 같이 근사화할 수 있다.

대역폭 제한 경우

SNR이 클 때 (S/N ≫ 1), 로그는 다음과 같이 근사화된다.

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)\approx \log _{2}{\frac {S}{N}}={\frac {\ln 10}{\ln 2}}\cdot \log _{10}{\frac {S}{N}}\approx 3.32\cdot \log _{10}{\frac {S}{N}},}$

이 경우 용량은 전력에 대해 로그적이며 대역폭에 대해 대략 선형적이다 (완전히 선형적이지는 않은데, N이 대역폭에 따라 증가하여 로그적 효과를 주기 때문이다). 이를 대역폭 제한 영역이라고 한다.

${\displaystyle C\approx 0.332\cdot B\cdot \mathrm {SNR\ (in\ dB)} }$

여기서

${\displaystyle \mathrm {SNR\ (in\ dB)} =10\log _{10}{S \over N}.}$

전력 제한 경우

유사하게, SNR이 작을 때 (만약 ${\displaystyle S/N\ll 1}$), 로그에 대한 근사를 적용하면 다음과 같다.

${\displaystyle \log _{2}\left(1+{\frac {S}{N}}\right)={\frac {1}{\ln 2}}\cdot \ln \left(1+{\frac {S}{N}}\right)\approx {\frac {1}{\ln 2}}\cdot {\frac {S}{N}}\approx 1.44\cdot {S \over N};}$

그러면 용량은 전력에 비례한다. 이를 전력 제한 영역이라고 한다.

${\displaystyle C\approx 1.44\cdot B\cdot {S \over N}.}$

이 저 SNR 근사에서, 잡음이 백색이고 스펙트럼 밀도가 헤르츠당 ${\displaystyle N_{0}}$ 와트인 경우, 전체 잡음 전력은 ${\displaystyle N=B\cdot N_{0}}$이므로 용량은 대역폭과 무관하다.

${\displaystyle C\approx 1.44\cdot {S \over N_{0}}}$

예시

1. SNR이 0dB (신호 전력 = 잡음 전력)일 때, 초당 비트 단위의 용량은 헤르츠 단위의 대역폭과 같다.
2. SNR이 20dB이고 사용 가능한 대역폭이 4kHz인 경우(전화 통신에 적합), C = 4000 log₂(1 + 100) = 4000 log₂(101) = 26.63kbit/s이다. S/N = 100 값은 20dB의 SNR과 동일하다는 점에 유의한다.
3. 50kbit/s로 전송해야 하고 10kHz의 대역폭이 사용되는 경우, 필요한 최소 S/N은 50000 = 10000 log₂(1+S/N)이므로 C/B = 5이고 S/N = 2⁵ − 1 = 31이다. 이는 14.91dB의 SNR (10 x log₁₀(31))에 해당한다.
4. 1MHz 대역폭을 가지고 SNR이 -30dB로 수신된 신호의 채널 용량은 얼마인가? 이는 잡음에 깊이 묻힌 신호를 의미한다. -30dB는 S/N = 10^-3을 의미한다. 이는 최대 정보 전송률 10⁶ log₂ (1 + 10^-3) = 1443bit/s로 이어진다. 이러한 값은 GPS의 수신 측위 신호에서 일반적이며, 항법 메시지는 50bit/s(주어진 S/N에 대한 채널 용량 미만)로 전송되고 대역폭은 전송 전에 의사 잡음 곱셈을 통해 약 1MHz로 확산된다.
5. 위에서 언급했듯이, 채널 용량은 채널 대역폭과 SNR의 로그에 비례한다. 이는 채널 용량을 고정된 SNR 요구 사항이 주어졌을 때 채널의 대역폭을 증가시키거나, 고정된 대역폭에서 작동하기 위해 매우 높은 SNR을 필요로 하는 고차 변조를 사용하여 선형적으로 증가시킬 수 있음을 의미한다. 변조율이 증가하면 스펙트럼 효율이 향상되지만, SNR 요구 사항이 증가한다. 따라서 16QAM 또는 64QAM을 채택하면 SNR 요구 사항이 기하급수적으로 증가하지만, 스펙트럼 효율은 향상된다.

같이 보기

• 표본화 정리
• Eb/N0