양자화 (정보 이론)

양자화는 수학 및 디지털 신호 처리에서 큰 집합(종종 연속 집합)의 입력 값을 (셀 수 있는) 더 작은 집합, 종종 유한한 수의 원소를 갖는 출력 값으로 매핑하는 과정이다. 반올림과 절단은 양자화 과정의 전형적인 예시이다. 디지털 형식으로 신호를 표현하는 과정은 일반적으로 반올림을 포함하므로 거의 모든 디지털 신호 처리에서 양자화가 어느 정도 관련되어 있다. 양자화는 또한 본질적으로 모든 손실 압축 알고리즘의 핵심을 형성한다.

신호를 양자화하는 가장 간단한 방법은 원래 아날로그 진폭에 가장 가까운 디지털 진폭 값을 선택하는 것이다. 이 예시는 원래 아날로그 신호(녹색), 양자화된 신호(검은색 점), 양자화된 신호에서 재구성된 신호(노란색) 및 원래 신호와 재구성된 신호 간의 차이(빨간색)를 보여준다. 원래 신호와 재구성된 신호 간의 차이는 양자화 오차이며, 이 간단한 양자화 방식에서는 입력 신호의 확정적 함수이다.

입력 값과 양자화된 값 사이의 차이(예: 반올림 오차)는 양자화 오차, 노이즈 또는 디스토션이라고 한다. 양자화를 수행하는 장치 또는 알고리즘 함수를 양자화기라고 한다. 아날로그-디지털 변환회로는 양자화기의 예시이다.

예시

예를 들어, 실수 ${\displaystyle x}$를 가장 가까운 정수 값으로 반올림하는 것은 매우 기본적인 유형의 양자화기, 즉 균일 양자화기를 형성한다. 양자화 스텝 크기가 어떤 값 ${\displaystyle \Delta }$와 같은 일반적인(mid-tread) 균일 양자화기는 다음과 같이 표현될 수 있다.

${\displaystyle Q(x)=\Delta \cdot \left\lfloor {\frac {x}{\Delta }}+{\frac {1}{2}}\right\rfloor }$,

여기서 기호 ${\displaystyle \lfloor \ \rfloor }$는 바닥 함수를 나타낸다.

대안적으로, 동일한 양자화기는 천장 함수의 관점에서 다음과 같이 표현될 수 있다.

${\displaystyle Q(x)=\Delta \cdot \left\lceil {\frac {x}{\Delta }}-{\frac {1}{2}}\right\rceil }$.

(기호 ${\displaystyle \lceil \ \rceil }$는 천장 함수를 나타낸다).

양자화기의 본질적인 속성은 가능한 입력 값의 집합보다 더 적은 수의 셀 수 있는 출력 값의 집합을 갖는다는 것이다. 출력 값 집합의 멤버는 정수, 유리수 또는 실수 값을 가질 수 있다. 가장 가까운 정수로 간단하게 반올림하는 경우, 스텝 크기 ${\displaystyle \Delta }$는 1과 같다. ${\displaystyle \Delta =1}$이거나 ${\displaystyle \Delta }$가 다른 정수 값과 동일한 경우, 이 양자화기는 실수 값 입력과 정수 값 출력을 갖는다.

양자화 스텝 크기(Δ)가 양자화되는 신호의 변동에 비해 작을 때, 이러한 반올림 연산으로 발생하는 평균 제곱 오차가 대략 ${\displaystyle \Delta ^{2}/12}$가 될 것이라는 것을 비교적 간단하게 보일 수 있다.^{[1][2][3][4][5][6]} 평균 제곱 오차는 양자화 잡음 전력이라고도 한다. 양자화기에 1비트를 추가하면 Δ 값이 절반으로 줄어들어 잡음 전력이 ⁠1/4⁠배 감소한다. 데시벨로 환산하면 잡음 전력 변화는 ${\displaystyle \scriptstyle 10\cdot \log _{10}(1/4)\ \approx \ -6\ \mathrm {dB} .}$이다.

양자화기의 가능한 출력 값 집합은 셀 수 있으므로, 모든 양자화기는 두 가지 별개의 단계로 분해될 수 있으며, 이는 분류 단계(또는 전방 양자화 단계)와 재구성 단계(또는 역 양자화 단계)로 불릴 수 있다. 분류 단계는 입력 값을 정수 양자화 인덱스 ${\displaystyle k}$에 매핑하고 재구성 단계는 인덱스 ${\displaystyle k}$를 입력 값의 출력 근사치인 재구성 값 ${\displaystyle y_{k}}$에 매핑한다. 위에서 설명한 예시 균일 양자화기의 경우, 전방 양자화 단계는 다음과 같이 표현될 수 있다.

${\displaystyle k=\left\lfloor {\frac {x}{\Delta }}+{\frac {1}{2}}\right\rfloor }$,

그리고 이 예시 양자화기의 재구성 단계는 단순히

${\displaystyle y_{k}=k\cdot \Delta }$.

이 분해는 양자화 동작의 설계 및 분석에 유용하며, 양자화된 데이터가 통신 채널을 통해 어떻게 통신될 수 있는지를 보여준다. 즉, 소스 인코더는 전방 양자화 단계를 수행하고 인덱스 정보를 통신 채널을 통해 전송할 수 있으며, 디코더는 재구성 단계를 수행하여 원래 입력 데이터의 출력 근사치를 생성할 수 있다. 일반적으로, 전방 양자화 단계는 입력 데이터를 양자화 인덱스 데이터의 정수 공간에 매핑하는 어떤 함수라도 사용할 수 있으며, 역 양자화 단계는 개념적으로 (또는 문자 그대로) 각 양자화 인덱스를 해당 재구성 값에 매핑하는 테이블 조회 연산일 수 있다. 이 두 단계 분해는 벡터 양자화기뿐만 아니라 스칼라 양자화기에도 동일하게 적용된다.

수학적 속성

양자화는 다대일 매핑이므로 본질적으로 비선형적이고 비가역적인 과정이다 (즉, 동일한 출력 값이 여러 입력 값에 의해 공유되므로, 일반적으로 출력 값만 주어졌을 때 정확한 입력 값을 복구하는 것은 불가능하다).

가능한 입력 값의 집합은 무한히 클 수 있으며, 연속적이고 따라서 셀 수 없는 집합일 수 있다 (예: 모든 실수 또는 특정 범위 내의 모든 실수 집합). 가능한 출력 값의 집합은 유한하거나 가산 무한할 수 있다.^[6] 양자화에 관련된 입력 및 출력 집합은 상당히 일반적인 방식으로 정의될 수 있다. 예를 들어, 벡터 양자화는 다차원(벡터 값) 입력 데이터에 양자화를 적용하는 것이다.^[7]

유형

아날로그와 비교한 4단계 양자화의 2비트 해상도^[8]

8단계의 3비트 해상도

아날로그-디지털 변환회로

아날로그-디지털 변환회로 (ADC)는 샘플링과 양자화라는 두 가지 과정으로 모델링될 수 있다. 샘플링은 시간 가변 전압 신호를 이산 시간 신호, 즉 실수 시퀀스로 변환한다. 양자화는 각 실수를 유한한 이산 값 집합의 근사치로 대체한다. 가장 일반적으로 이러한 이산 값은 고정 소수점 워드로 표현된다. 어떤 양의 양자화 레벨이든 가능하지만, 일반적인 워드 길이는 8비트 (256레벨), 16비트 (65,536레벨), 24비트 (1680만 레벨)이다. 숫자 시퀀스를 양자화하면 양자화 오차 시퀀스가 생성되며, 이는 때때로 확률적 동작으로 인해 양자화 잡음이라고 불리는 가산적인 랜덤 신호로 모델링된다. 양자화기가 사용하는 레벨이 많을수록 양자화 잡음 전력은 낮아진다.

부호율-변형 최적화

부호율-변형 최적화 양자화는 손실 압축 알고리즘의 소스 코딩에서 발생하며, 이 경우 통신 채널 또는 저장 매체가 지원하는 비트레이트 한도 내에서 왜곡을 관리하는 것이 목적이다. 이 맥락에서 양자화 분석은 양자화기 출력을 나타내는 데 사용되는 데이터 양(일반적으로 자릿수 또는 비트 또는 비트레이트로 측정)을 연구하고 양자화 과정에 의해 도입되는 정밀도 손실(왜곡이라고 함)을 연구하는 것을 포함한다.

미드-라이저 및 미드-트레드 균일 양자화기

부호가 있는 입력 데이터에 대한 대부분의 균일 양자화기는 미드-라이저와 미드-트레드 두 가지 유형 중 하나로 분류될 수 있다. 이 용어는 0 값 주변 영역에서 발생하는 일을 기반으로 하며, 양자화기의 입출력 함수를 계단으로 보는 비유를 사용한다. 미드-트레드 양자화기는 0 값 재구성 레벨(계단의 발판에 해당)을 가지는 반면, 미드-라이저 양자화기는 0 값 분류 임계값(계단의 오르내림판에 해당)을 가진다.^[9]

미드-트레드 양자화는 반올림을 포함한다. 미드-트레드 균일 양자화 공식은 이전 섹션에 제공되어 있다.

${\displaystyle Q(x)=\Delta \cdot \left\lfloor {\frac {x}{\Delta }}+{\frac {1}{2}}\right\rfloor }$,

미드-라이저 양자화는 절단을 포함한다. 미드-라이저 균일 양자화기의 입출력 공식은 다음과 같다.

${\displaystyle Q(x)=\Delta \cdot \left(\left\lfloor {\frac {x}{\Delta }}\right\rfloor +{\frac {1}{2}}\right)}$,

여기서 분류 규칙은 다음과 같다.

${\displaystyle k=\left\lfloor {\frac {x}{\Delta }}\right\rfloor }$

그리고 재구성 규칙은

${\displaystyle y_{k}=\Delta \cdot \left(k+{\tfrac {1}{2}}\right)}$.

미드-라이저 균일 양자화기는 0 출력 값을 가지지 않는다는 점에 유의한다. 최소 출력 크기는 스텝 크기의 절반이다. 대조적으로, 미드-트레드 양자화기는 0 출력 레벨을 가진다. 일부 애플리케이션에서는 0 출력 신호 표현이 필수적일 수 있다.

일반적으로, 미드-라이저 또는 미드-트레드 양자화기는 실제로 균일 양자화기가 아닐 수도 있다. 즉, 양자화기 분류 간격의 크기가 모두 동일하지 않거나, 가능한 출력 값 사이의 간격이 모두 동일하지 않을 수 있다. 미드-라이저 양자화기의 구별되는 특징은 분류 임계값 값이 정확히 0이라는 것이고, 미드-트레드 양자화기의 구별되는 특징은 재구성 값 값이 정확히 0이라는 것이다.^[9]

데드존 양자화기

데드존 양자화기는 0을 중심으로 대칭적인 동작을 하는 미드-트레드 양자화기의 일종이다. 이러한 양자화기의 0 출력 값 주변 영역을 데드존 또는 데드밴드라고 한다. 데드존은 때때로 노이즈 게이트 또는 스퀠치 기능과 동일한 목적을 수행할 수 있다. 특히 압축 응용 프로그램의 경우, 데드존은 다른 단계보다 다른 너비를 가질 수 있다. 그렇지 않으면 균일한 양자화기의 경우, 데드존 너비는 다음 전방 양자화 규칙을 사용하여 어떤 값 ${\displaystyle w}$로든 설정할 수 있다.^[10][11][12]

${\displaystyle k=\operatorname {sgn}(x)\cdot \max \left(0,\left\lfloor {\frac {\left|x\right|-w/2}{\Delta }}+1\right\rfloor \right)}$,

여기서 함수 ${\displaystyle \operatorname {sgn} }$( )는 부호함수 (signum 함수라고도 함)이다. 이러한 데드존 양자화기에 대한 일반적인 재구성 규칙은 다음과 같다.

${\displaystyle y_{k}=\operatorname {sgn}(k)\cdot \left({\frac {w}{2}}+\Delta \cdot (|k|-1+r_{k})\right)}$,

여기서 ${\displaystyle r_{k}}$는 스텝 크기의 0에서 1 범위의 재구성 오프셋 값이다. 일반적으로 0을 중심으로 대칭적이고 0에서 최대값을 갖는 일반적인 확률 밀도 함수 (PDF) (예: 가우스, 라플라스 또는 일반화 가우스 PDF)로 입력 데이터를 양자화할 때 ${\displaystyle 0\leq r_{k}\leq {\tfrac {1}{2}}}$이다. ${\displaystyle r_{k}}$는 일반적으로 ${\displaystyle k}$에 따라 달라질 수 있으며 아래에서 설명하는 최적성 조건을 충족하도록 선택할 수 있지만, 종종 단순히 ${\displaystyle {\tfrac {1}{2}}}$와 같은 상수로 설정된다. (이 정의에서 ${\displaystyle y_{0}=0}$은 ${\displaystyle \operatorname {sgn} }$( ) 함수의 정의로 인해 ${\displaystyle r_{0}}$는 효과가 없다.)

매우 일반적으로 사용되는 특별한 경우 (예: 금융 회계 및 초등 수학에서 일반적으로 사용되는 방식)는 모든 ${\displaystyle k}$에 대해 ${\displaystyle w=\Delta }$ 및 ${\displaystyle r_{k}={\tfrac {1}{2}}}$를 설정하는 것이다. 이 경우, 이 양자화기의 중앙 데드존은 다른 모든 단계와 동일한 너비를 가지며, 모든 재구성 값도 동일하게 간격이 떨어져 있으므로 데드존 양자화기는 균일 양자화기이기도 하다.

잡음 및 오차 특성

가산 잡음 모델

양자화 오차 분석에 대한 일반적인 가정은 양자화 오차가 백색 잡음과 유사한 방식으로 신호 처리 시스템에 영향을 미친다는 것이다. 즉, 신호와 상관 관계가 거의 없고 전력 스펙트럼 밀도가 거의 평평하다는 것이다.^{[2][6][13][14]} 가산 잡음 모델은 디지털 필터링 시스템에서 양자화 오차 효과를 분석하는 데 일반적으로 사용되며, 이러한 분석에서 매우 유용할 수 있다. 이는 부드러운 PDF를 가진 고해상도 양자화(신호 강도에 비해 작은 ${\displaystyle \Delta }$)의 경우에 유효한 모델임이 입증되었다.^[2][15]

가산 잡음 동작이 항상 유효한 가정은 아니다. 양자화 오차(여기서 설명하는 양자화기에 대해 정의된)는 신호와 확정적으로 관련되어 있으며 완전히 독립적이지 않다. 따라서 주기적인 신호는 주기적인 양자화 잡음을 생성할 수 있다. 그리고 어떤 경우에는 디지털 신호 처리 시스템에서 극한 주기가 나타나게 할 수도 있다. 양자화 오차를 소스 신호와 효과적으로 독립되도록 하는 한 가지 방법은 디더링된 양자화 (때로는 노이즈 셰이핑과 함께)를 수행하는 것이다. 이는 양자화 전에 신호에 무작위(또는 의사 무작위) 잡음을 추가하는 것을 포함한다.^[6][14]

양자화 오차 모델

일반적인 경우, 원래 신호는 하나의 최하위 비트 (LSB)보다 훨씬 크다. 이 경우 양자화 오차는 신호와 크게 상관 관계가 없으며 대략 균일 분포를 갖는다. 반올림을 사용하여 양자화할 때 양자화 오차는 평균이 0이고 제곱평균제곱근 (RMS) 값은 이 분포의 표준 편차이며, ${\displaystyle \scriptstyle {\frac {1}{\sqrt {12}}}\mathrm {LSB} \ \approx \ 0.289\,\mathrm {LSB} }$로 주어진다. 절단을 사용할 때 오차는 ${\displaystyle \scriptstyle {\frac {1}{2}}\mathrm {LSB} }$의 0이 아닌 평균을 가지며 RMS 값은 ${\displaystyle \scriptstyle {\frac {1}{\sqrt {3}}}\mathrm {LSB} }$이다. 반올림이 절단보다 RMS 오차가 적지만, 그 차이는 ${\displaystyle \scriptstyle {\frac {1}{2}}\mathrm {LSB} }$의 정적 (DC) 항에 의해서만 발생한다. 두 경우 모두 AC 오차의 RMS 값은 정확히 동일하므로, 오차의 DC 항을 무시할 수 있는 상황 (예: AC 결합 시스템)에서는 반올림이 절단에 비해 특별한 이점이 없다. 두 경우 모두, 전체 신호 범위의 백분율로 표시되는 표준 편차는 양자화 비트 수에서 1비트 변화당 2배로 변한다. 따라서 잠재적인 신호-양자화-잡음 전력 비율은 4배 또는 ${\displaystyle \scriptstyle 10\cdot \log _{10}(4)}$로, 비트당 약 6 dB로 변한다.

낮은 진폭에서 양자화 오차는 입력 신호에 따라 달라져 디스토션을 발생시킨다. 이 디스토션은 안티앨리어싱 필터 후에 생성되며, 이러한 디스토션이 샘플링 속도의 1/2을 초과하면 관심 대역으로 다시 에일리어싱된다. 양자화 오차를 입력 신호와 독립적으로 만들기 위해 신호에 잡음을 추가하여 디더링된다. 이는 신호 대 잡음비를 약간 감소시키지만, 디스토션을 완전히 제거할 수 있다.

양자화 잡음 모델

사인파를 64레벨(6비트) 및 256레벨(8비트)로 양자화한 비교. 6비트 양자화로 생성된 가산 잡음은 8비트 양자화로 생성된 잡음보다 12dB 더 크다. 이 예시에서와 같이 스펙트럼 분포가 평평할 때, 12dB 차이는 잡음 바닥에서 측정 가능한 차이로 나타난다.

양자화 잡음은 ADC에서 양자화에 의해 발생하는 양자화 오차의 모델이다. 이는 ADC에 대한 아날로그 입력 전압과 출력 디지털화된 값 사이의 반올림 오차이다. 잡음은 비선형적이며 신호에 따라 달라진다. 여러 가지 다른 방식으로 모델링될 수 있다.

이상적인 ADC에서, 양자화 오차가 −1/2 LSB와 +1/2 LSB 사이에 균일하게 분포되고, 신호가 모든 양자화 레벨을 포함하는 균일 분포를 가질 때, 신호-양자화-잡음 비율 (SQNR)은 다음으로부터 계산될 수 있다.

${\displaystyle \mathrm {SQNR} =20\log _{10}(2^{Q})\approx 6.02\cdot Q\ \mathrm {dB} \,\!}$

여기서 Q는 양자화 비트 수이다.

이를 충족하는 가장 일반적인 테스트 신호는 전체 진폭 삼각파 및 톱니파이다.

예를 들어, 16비트 ADC는 최대 신호-양자화-잡음 비율이 6.02 × 16 = 96.3 dB이다.

입력 신호가 풀 스케일 사인파일 때 신호 분포는 더 이상 균일하지 않으며 해당 방정식은 대신 다음과 같다.

${\displaystyle \mathrm {SQNR} \approx 1.761+6.02\cdot Q\ \mathrm {dB} \,\!}$

여기서 양자화 잡음은 다시 균일하게 분포되어 있다고 가정한다. 입력 신호가 높은 진폭과 넓은 주파수 스펙트럼을 가질 때 이러한 경우가 발생한다.^[16] 이 경우 16비트 ADC는 최대 신호 대 잡음비가 98.09 dB이다. 신호 대 잡음비의 1.761 차이는 신호가 삼각파나 톱니파 대신 풀 스케일 사인파이기 때문에 발생한다.

고해상도 ADC의 복잡한 신호에 대해서는 이것이 정확한 모델이다. 저해상도 ADC, 고해상도 ADC의 저레벨 신호 및 단순 파형의 경우 양자화 잡음이 균일하게 분포되지 않아 이 모델이 부정확하다.^[17] 이 경우 양자화 잡음 분포는 신호의 정확한 진폭에 크게 영향을 받는다.

계산은 전체 스케일 입력에 상대적이다. 작은 신호의 경우 상대적 양자화 왜곡이 매우 클 수 있다. 이 문제를 해결하기 위해 아날로그 컴판딩을 사용할 수 있지만, 이는 왜곡을 유발할 수 있다.

설계

입상 왜곡 및 과부하 왜곡

종종 양자화기의 설계는 제한된 범위의 가능한 출력 값만 지원하고 입력이 지원되는 범위를 초과할 때마다 출력을 이 범위로 제한하기 위해 클리핑을 수행하는 것을 포함한다. 이 클리핑에 의해 도입되는 오차를 과부하 왜곡이라고 한다. 지원되는 범위의 극단적인 한계 내에서 양자화기의 선택 가능한 출력 값 사이의 간격량을 그레인률(granularity)이라고 하며, 이 간격에 의해 도입되는 오차를 입상 왜곡이라고 한다. 양자화기 설계에서 입상 왜곡과 과부하 왜곡 사이의 적절한 균형을 결정하는 것이 일반적이다. 주어진 지원 가능한 출력 값 수에 대해 평균 입상 왜곡을 줄이면 평균 과부하 왜곡이 증가할 수 있고 그 반대도 마찬가지이다. 적절한 균형을 이루기 위해 신호 진폭(또는 동등하게 양자화 스텝 크기 ${\displaystyle \Delta }$)을 제어하는 기술은 자동 이득 제어 (AGC)를 사용하는 것이다. 그러나 일부 양자화기 설계에서는 입상 오차와 과부하 오차의 개념이 적용되지 않을 수 있다 (예: 입력 데이터 범위가 제한적이거나 선택 가능한 출력 값의 가산 무한 집합을 가진 양자화기).^[6]

부호율-변형 양자화기 설계

양자화 동작을 수행하는 스칼라 양자화기는 일반적으로 두 단계로 분해될 수 있다.

분류

입력 신호 범위를 ${\displaystyle M}$개의 겹치지 않는 구간 ${\displaystyle \{I_{k}\}_{k=1}^{M}}$으로 분류하는 과정으로, ${\displaystyle M-1}$개의 결정 경계 값 ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$를 정의하여 ${\displaystyle k=1,2,\ldots ,M}$에 대해 ${\displaystyle I_{k}=[b_{k-1}~,~b_{k})}$가 되도록 하고, 극단적인 한계는 ${\displaystyle b_{0}=-\infty }$와 ${\displaystyle b_{M}=\infty }$로 정의된다. 주어진 구간 범위 ${\displaystyle I_{k}}$에 속하는 모든 입력 ${\displaystyle x}$는 동일한 양자화 인덱스 ${\displaystyle k}$와 연관된다.

재구성

각 구간 ${\displaystyle I_{k}}$는 재구성 값 ${\displaystyle y_{k}}$로 표현되며, 이는 매핑 ${\displaystyle x\in I_{k}\Rightarrow y=y_{k}}$를 구현한다.

이 두 단계가 함께 ${\displaystyle y=Q(x)}$의 수학적 연산을 구성한다.

엔트로피 부호화 기술은 분류 단계를 수행하는 소스 인코더에서 재구성 단계를 수행하는 디코더로 양자화 인덱스를 전달하는 데 적용될 수 있다. 이를 수행하는 한 가지 방법은 각 양자화 인덱스 ${\displaystyle k}$를 이진 코드워드 ${\displaystyle c_{k}}$와 연결하는 것이다. 중요한 고려 사항은 각 코드워드에 사용되는 비트 수이며, 여기서는 ${\displaystyle \mathrm {length} (c_{k})}$로 표시된다. 결과적으로, ${\displaystyle M}$ 레벨 양자화기와 해당 인덱스 값을 통신하기 위한 관련 코드워드 세트의 설계는 비트율 ${\displaystyle R}$과 왜곡 ${\displaystyle D}$와 같은 선택된 설계 제약 조건을 최적으로 만족하는 ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$, ${\displaystyle \{c_{k}\}_{k=1}^{M}}$ 및 ${\displaystyle \{y_{k}\}_{k=1}^{M}}$ 값을 찾는 것을 요구한다.

정보원 ${\displaystyle S}$가 관련 PDF ${\displaystyle f(x)}$를 가진 랜덤 변수 ${\displaystyle X}$를 생성한다고 가정할 때, 랜덤 변수가 특정 양자화 구간 ${\displaystyle I_{k}}$ 내에 속할 확률 ${\displaystyle p_{k}}$는 다음과 같이 주어진다.

${\displaystyle p_{k}=P[x\in I_{k}]=\int _{b_{k-1}}^{b_{k}}f(x)dx}$.

이 양자화기에 대한 평균 양자화 값당 비트 단위의 결과 비트율 ${\displaystyle R}$은 다음과 같이 유도될 수 있다.

${\displaystyle R=\sum _{k=1}^{M}p_{k}\cdot \mathrm {length} (c_{k})=\sum _{k=1}^{M}\mathrm {length} (c_{k})\int _{b_{k-1}}^{b_{k}}f(x)dx}$.

왜곡이 평균 제곱 오차로 측정된다고 가정하면,^[a] 왜곡 D는 다음과 같이 주어진다.

${\displaystyle D=E[(x-Q(x))^{2}]=\int _{-\infty }^{\infty }(x-Q(x))^{2}f(x)dx=\sum _{k=1}^{M}\int _{b_{k-1}}^{b_{k}}(x-y_{k})^{2}f(x)dx}$.

핵심적인 관찰은 비트율 ${\displaystyle R}$은 결정 경계 ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$와 코드워드 길이 ${\displaystyle \{\mathrm {length} (c_{k})\}_{k=1}^{M}}$에 의존하는 반면, 왜곡 ${\displaystyle D}$는 결정 경계 ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$와 재구성 레벨 ${\displaystyle \{y_{k}\}_{k=1}^{M}}$에 의존한다는 것이다.

양자화기에 대한 이 두 가지 성능 지표를 정의한 후, 양자화기 설계 문제에 대한 일반적인 부호율-변형 공식은 다음 두 가지 방법 중 하나로 표현될 수 있다.

1. 최대 왜곡 제약 조건 ${\displaystyle D\leq D_{\max }}$가 주어졌을 때, 비트율 ${\displaystyle R}$을 최소화한다.
2. 최대 비트율 제약 조건 ${\displaystyle R\leq R_{\max }}$가 주어졌을 때, 왜곡 ${\displaystyle D}$를 최소화한다.

이러한 문제에 대한 해답은 종종 비구속 문제 ${\displaystyle \min \left\{D+\lambda \cdot R\right\}}$로 변환하여 표현하고 해결할 수 있으며, 여기서 라그랑주 승수 ${\displaystyle \lambda }$는 비트율과 왜곡 사이의 적절한 균형을 설정하는 음이 아닌 상수이다. 비구속 문제를 해결하는 것은 문제의 동등한 제약 공식에 대한 해답군인 볼록 폐포 위의 한 점을 찾는 것과 동등하다. 그러나 이러한 세 가지 문제 공식 중 어느 하나에 대한 해답, 특히 닫힌 형태의 해답을 찾는 것은 어려울 수 있다. 다차원 반복 최적화 기술이 필요하지 않은 해답은 세 가지 PDF에 대해서만 출판되었다. 즉, 균일,^[18] 지수,^[12] 그리고 라플라스^[12] 분포이다. 반복적인 최적화 접근 방식을 사용하여 다른 경우에 대한 해답을 찾을 수 있다.^[6][19][20]

재구성 값 ${\displaystyle \{y_{k}\}_{k=1}^{M}}$은 왜곡에만 영향을 미치며 비트율에는 영향을 미치지 않는다. 그리고 각 ${\displaystyle y_{k}}$는 아래에 나타낸 바와 같이 전체 왜곡에 개별적인 기여 ${\displaystyle d_{k}}$를 한다는 점에 유의한다.

${\displaystyle D=\sum _{k=1}^{M}d_{k}}$

여기서

${\displaystyle d_{k}=\int _{b_{k-1}}^{b_{k}}(x-y_{k})^{2}f(x)dx}$

이 관찰은 분석을 용이하게 하는 데 사용될 수 있다. ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$ 값 집합이 주어지면, 각 ${\displaystyle y_{k}}$ 값은 왜곡 ${\displaystyle D}$에 대한 기여도를 최소화하도록 개별적으로 최적화될 수 있다.

평균 제곱 오차 왜곡 기준에 대해, 최적의 재구성 값 집합 ${\displaystyle \{y_{k}^{*}\}_{k=1}^{M}}$은 각 구간 ${\displaystyle I_{k}}$ 내의 재구성 값 ${\displaystyle y_{k}}$를 구간 내의 조건부 기댓값 (또는 무게 중심)으로 설정함으로써 주어지는 것으로 쉽게 보일 수 있다.

${\displaystyle y_{k}^{*}={\frac {1}{p_{k}}}\int _{b_{k-1}}^{b_{k}}xf(x)dx}$.

충분히 잘 설계된 엔트로피 부호화 기술을 사용하면 인덱스 ${\displaystyle \{k\}_{k=1}^{M}}$의 실제 정보 내용에 가까운 비트율을 사용할 수 있으며, 효과적으로

${\displaystyle \mathrm {length} (c_{k})\approx -\log _{2}\left(p_{k}\right)}$

따라서

${\displaystyle R=\sum _{k=1}^{M}-p_{k}\cdot \log _{2}\left(p_{k}\right)}$.

이 근사치를 사용하면 엔트로피 코딩 설계 문제를 양자화기 자체의 설계와 분리할 수 있다. 산술 부호화와 같은 현대 엔트로피 코딩 기술은 알려진(또는 적응적으로 추정된) 확률 ${\displaystyle \{p_{k}\}_{k=1}^{M}}$이 주어졌을 때 소스의 실제 엔트로피에 매우 가까운 비트율을 달성할 수 있다.

일부 설계에서, 특정 분류 영역의 수 ${\displaystyle M}$을 최적화하는 대신, 양자화기 설계 문제는 ${\displaystyle M}$ 값의 최적화도 포함할 수 있다. 일부 확률론적 소스 모델의 경우, ${\displaystyle M}$이 무한대에 접근할 때 최상의 성능이 달성될 수 있다.

엔트로피 제약 무시: 로이드-맥스 양자화

위 공식에서 비트율 제약 조건을 ${\displaystyle \lambda }$를 0으로 설정하여 무시하거나, 동등하게 가변 길이 부호 (또는 부호율-변형 의미에서 FLC보다 나은 산술 부호화와 같은 다른 엔트로피 부호화 기술) 대신 고정 길이 부호 (FLC)가 양자화된 데이터를 표현하는 데 사용될 것이라고 가정하면, 최적화 문제는 왜곡 ${\displaystyle D}$만을 최소화하는 것으로 줄어든다.

${\displaystyle M}$ 레벨 양자화기에 의해 생성된 인덱스는 ${\displaystyle R=\lceil \log _{2}M\rceil }$ 비트/심볼을 사용하여 고정 길이 코드로 코딩될 수 있다. 예를 들어, ${\displaystyle M=}$256 레벨일 때, FLC 비트율 ${\displaystyle R}$은 8비트/심볼이다. 이러한 이유로 이러한 양자화기는 때때로 8비트 양자화기라고 불리기도 했다. 그러나 FLC를 사용하면 더 나은 엔트로피 코딩을 사용하여 얻을 수 있는 압축 개선 효과가 사라진다.

${\displaystyle M}$ 레벨을 가진 FLC를 가정하면, 부호율-왜곡 최소화 문제는 왜곡 최소화만으로 줄어들 수 있다. 줄어든 문제는 다음과 같이 명시될 수 있다. PDF ${\displaystyle f(x)}$를 가진 소스 ${\displaystyle X}$가 주어지고 양자화기가 ${\displaystyle M}$개의 분류 영역만 사용해야 한다는 제약 조건이 주어졌을 때, 결과 왜곡을 최소화하기 위해 결정 경계 ${\displaystyle \{b_{k}\}_{k=1}^{M-1}}$와 재구성 레벨 ${\displaystyle \{y_{k}\}_{k=1}^{M}}$을 찾는다.

${\displaystyle D=E[(x-Q(x))^{2}]=\int _{-\infty }^{\infty }(x-Q(x))^{2}f(x)dx=\sum _{k=1}^{M}\int _{b_{k-1}}^{b_{k}}(x-y_{k})^{2}f(x)dx=\sum _{k=1}^{M}d_{k}}$.

위 문제에 대한 최적의 해를 찾는 것은 때때로 MMSQE(최소 평균 제곱 양자화 오차) 해라고 불리는 양자화기를 초래하며, 결과로 얻어지는 PDF 최적화된 (비균일) 양자화기는 로이드-맥스 양자화기라고 불린다. 이는 ${\displaystyle {\partial D/\partial b_{k}}=0}$ 및 ${\displaystyle {\partial D/\partial y_{k}}=0}$에서 발생하는 두 세트의 동시 방정식을 해결하기 위해 독립적으로 반복 방법을 개발한 두 사람의 이름을 따서 명명되었다.^[6][21][22]

${\displaystyle {\partial D \over \partial b_{k}}=0\Rightarrow b_{k}={y_{k}+y_{k+1} \over 2}}$,

이는 각 임계값을 각 재구성 값 쌍 사이의 중간 지점에 배치하며,

${\displaystyle {\partial D \over \partial y_{k}}=0\Rightarrow y_{k}={\int _{b_{k-1}}^{b_{k}}xf(x)dx \over \int _{b_{k-1}}^{b_{k}}f(x)dx}={\frac {1}{p_{k}}}\int _{b_{k-1}}^{b_{k}}xf(x)dx}$

이는 각 재구성 값을 해당 분류 구간의 무게 중심 (조건부 기대 값)에 배치한다.

원래 1957년에 기술된 로이드 방법 I 알고리즘은 벡터 데이터에 적용할 수 있도록 직관적으로 일반화될 수 있다. 이 일반화는 린데-부조-그레이(LBG) 또는 k-평균 분류기 최적화 방법으로 이어진다. 더욱이, 이 기술은 벡터 데이터에 대한 엔트로피 제약도 포함하도록 직관적으로 더욱 일반화될 수 있다.^[23]

균일 양자화와 6 dB/bit 근사치

로이드-맥스 양자화기는 입력 PDF가 ${\displaystyle [y_{1}-\Delta /2,~y_{M}+\Delta /2)}$ 범위에 균일하게 분포되어 있을 때 실제로 균일 양자화기이다. 그러나 균일 분포를 가지지 않는 소스의 경우, 최소 왜곡 양자화기는 균일 양자화기가 아닐 수 있다. 균일 분포 소스에 적용된 균일 양자화기의 분석은 다음과 같이 요약될 수 있다.

대칭 소스 X는 ${\displaystyle x\in [-X_{\max },X_{\max }]}$에 대해 ${\displaystyle f(x)={\tfrac {1}{2X_{\max }}}}$로 모델링될 수 있으며, 다른 곳에서는 0이다. 스텝 크기 ${\displaystyle \Delta ={\tfrac {2X_{\max }}{M}}}$이고 양자화기의 신호 대 양자화 잡음비(SQNR)는 다음과 같다.

${\displaystyle {\rm {SQNR}}=10\log _{10}{\frac {\sigma _{x}^{2}}{\sigma _{q}^{2}}}=10\log _{10}{\frac {(M\Delta )^{2}/12}{\Delta ^{2}/12}}=10\log _{10}M^{2}=20\log _{10}M}$.

${\displaystyle N}$ 비트를 사용하는 고정 길이 코드의 경우, ${\displaystyle M=2^{N}}$이므로 다음과 같다. ${\displaystyle {\rm {SQNR}}=20\log _{10}{2^{N}}=N\cdot (20\log _{10}2)=N\cdot 6.0206\,{\rm {dB}}}$,

또는 대략 비트당 6 dB이다. 예를 들어, ${\displaystyle N}$=8 비트의 경우 ${\displaystyle M}$=256 레벨이며 SQNR = 8×6 = 48 dB이다. ${\displaystyle N}$=16 비트의 경우 ${\displaystyle M}$=65536이며 SQNR = 16×6 = 96 dB이다. 양자화에 사용되는 비트당 6 dB의 SQNR 개선 속성은 잘 알려진 성능 지표이다. 그러나 이를 사용할 때는 주의해야 한다. 이 유도는 균일 소스에 적용된 균일 양자화기에만 해당된다. 다른 소스 PDF 및 다른 양자화기 설계의 경우, SQNR은 PDF 유형, 소스 유형, 양자화기 유형 및 작동 비트율 범위에 따라 6 dB/비트가 예측하는 것과 다소 다를 수 있다.

그러나 많은 소스에 대해 충분히 높은 비트율에서 작동할 때 양자화기 SQNR 함수의 기울기가 6dB/비트로 근사될 수 있다고 가정하는 것이 일반적이다. 점근적으로 높은 비트율에서는 스텝 크기를 절반으로 줄이면 샘플당 비트율이 약 1비트 증가하고 (값이 이전 두 배 크기의 구간의 왼쪽 또는 오른쪽 절반에 있는지 여부를 나타내는 데 1비트가 필요하기 때문에) ${\displaystyle \Delta ^{2}/12}$ 근사치에 따라 평균 제곱 오차가 4배 감소한다 (즉, 6dB).

점근적으로 높은 비트율에서는 6 dB/비트 근사치가 많은 소스 PDF에 대해 엄격한 이론적 분석에 의해 지지된다.^[2][3][5][6] 더욱이, 최적의 스칼라 양자화기(부호율-변형 의미에서)의 구조는 이러한 조건 하에서 균일 양자화기의 구조에 접근한다.^[5][6]

다른 분야에서

 양자 잡음 및 양자 한계 문서를 참고하십시오.

많은 물리량은 실제로 물리적 실체에 의해 양자화된다. 이러한 한계가 적용되는 분야의 예시로는 전자에 의한 일렉트로닉스, 광자에 의한 광학, DNA에 의한 생물학, 플랑크 한계에 의한 물리학, 분자에 의한 화학 등이 있다.

같이 보기

• 데이터 비닝
• 이산화
• 펄스 부호 변조