메탈로그 분포

메탈로그 분포(영어: Metalog distribution)는 실제 사용 편의성을 위해 설계된 유연한 연속 확률 분포이다. 변환과 함께 메탈로그 연속 분포군은 다음과 같은 모든 속성을 포함한다는 점에서 독특하다. 사실상 무제한적인 모양 유연성; 무한, 반유한 및 유한 분포 중에서 선택; 선형 최소 제곱법으로 데이터에 쉽게 피팅; 시뮬레이션을 용이하게 하는 단순하고 닫힌 형태의 분위수함수 (역 CDF) 방정식; 단순하고 닫힌 형태의 PDF; 그리고 새로운 데이터에 대한 닫힌 형태의 베이즈 업데이트. 게다가, 테일러 급수와 마찬가지로 메탈로그 분포는 원하는 모양 유연성의 정도와 다른 응용 프로그램 요구에 따라 원하는 수의 항을 가질 수 있다.

3항 메탈로그 분포

${\displaystyle a_{3}=0}$일 때의 4항 메탈로그 분포

메탈로그 분포가 유용하게 사용될 수 있는 응용 분야는 일반적으로 경험적 데이터, 시뮬레이션 데이터 또는 전문가 의견 조사 분위수를 부드러운 연속 확률 분포에 피팅하는 것을 포함한다. 응용 분야는 광범위하며 경제학, 과학, 공학 및 수많은 다른 분야를 포함한다. 켈린 분포(Keelin distributions)라고도 알려진 메탈로그 분포는 2016년 톰 켈린(Tom Keelin)에 의해 처음 발표되었다.^[1][2]

역사

확률 분포의 역사는 부분적으로 데이터에 피팅할 때 모양과 경계의 유연성을 높이는 방향으로의 발전으로 볼 수 있다. 정규 분포는 1756년에 처음 발표되었고,^[3] 베이즈 정리는 1763년에 발표되었다.^[4] 정규 분포는 고전 통계학 발전의 많은 부분을 위한 토대를 마련했다. 대조적으로, 베이즈 정리는 정보 상태, 신념 기반 확률 표현의 토대를 마련했다. 신념 기반 확률은 어떤 모양도 가질 수 있고 자연적인 경계를 가질 수 있기 때문에, 둘 다 수용할 수 있을 만큼 유연한 확률 분포가 필요했다. 게다가, 많은 경험적 및 실험적 데이터 세트는 정규 분포나 다른 연속 분포에 의해 잘 일치될 수 없는 모양을 보였다. 그래서 유연한 모양과 경계를 가진 연속 확률 분포에 대한 탐색이 시작되었다.

20세기 초, 피어슨^[5] 분포군은 정규, 베타, 균등, 감마, 스튜던트-t, 카이제곱, F 및 다른 다섯 가지^[6]를 포함하며, 모양 유연성에서 큰 진전으로 등장했다. 이어서 존슨^[7][8] 분포가 나왔다. 두 분포군 모두 데이터의 처음 네 가지 모멘트(평균값, 분산, 비대칭도, 첨도)를 부드러운 연속 곡선으로 나타낼 수 있다. 그러나 다섯 번째 또는 더 높은 차수의 모멘트를 일치시킬 수는 없다. 게다가, 주어진 비대칭도와 첨도에 대해 경계를 선택할 수 없다. 예를 들어, 데이터 세트의 처음 네 가지 모멘트를 일치시키면 음의 하한을 가진 분포가 나올 수 있는데, 심지어 해당 양이 음수가 될 수 없다는 것이 알려져 있음에도 불구하고 그렇다. 마지막으로, 그 방정식에는 다루기 어려운 적분과 복잡한 통계 함수가 포함되어 있어 데이터에 피팅하려면 일반적으로 반복적인 방법이 필요하다.

21세기 초, 결정 분석가들은 불확실한 양에 대한 누적 분포 함수 상의 지정된 세 점(예: 전문가가 도출한 ${\displaystyle 0.10,0.50}$ 및 ${\displaystyle 0.90}$ 분위수)을 정확하게 피팅할 수 있는 연속 확률 분포를 개발하기 시작했다. 피어슨 및 존슨 분포군은 일반적으로 이 목적에 부적합했다. 또한, 결정 분석가들은 데이터(예: 선형 최소 제곱법, 또는 동일하게 다중 선형 회귀)로 쉽게 매개변수화할 수 있는 확률 분포를 찾았다. 2011년에 도입된 분위수 매개변수화 분포 (QPD) 클래스는 두 가지 목표를 모두 달성했다. 이러한 이유로 중요한 진전이 되었지만, 이 분포 클래스를 설명하는 데 원래 사용된 QPD인 단순 Q-정규 분포는^[9] 피어슨 및 존슨 분포군보다 모양 유연성이 떨어졌고, 반유한 및 유한 분포를 나타낼 수 없었다. 그 후 켈린(Keelin)^[1]은 QPD 클래스의 또 다른 인스턴스인 메탈로그 분포군을 개발했는데, 이는 피어슨 및 존슨 분포군보다 모양이 더 유연하고, 경계 선택이 가능하며, 선형 최소 제곱법으로 데이터에 피팅할 수 있는 닫힌 형태의 방정식과 몬테카를로 시뮬레이션을 용이하게 하는 닫힌 형태의 분위수함수를 가지고 있다.

정의 및 분위수 함수

메탈로그 분포는 로지스틱 분포의 일반화로, "메탈로그"는 "메타로지스틱"의 줄임말이다. 로지스틱 분위수함수, ${\displaystyle x=Q(y)=\mu +s{\mbox{ }}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}}$에서 시작하여, 켈린은 위치와 스케일을 각각 제어하는 ${\displaystyle \mu }$ 및 ${\displaystyle s}$ 매개변수에 대해 누적 확률 ${\displaystyle y=F(x)}$에서의 멱급수 전개를 대체했다.^[10]

${\displaystyle \mu =a_{1}+a_{4}(y-0.5)+a_{5}(y-0.5)^{2}+a_{7}(y-0.5)^{3}+a_{9}(y-0.5)^{4}+\dots }$

${\displaystyle s=a_{2}+a_{3}(y-0.5)+a_{6}(y-0.5)^{2}+a_{8}(y-0.5)^{3}+a_{10}(y-0.5)^{4}+\dots }$

켈린은 이 대체에 대해 다섯 가지 이유를 제시했다.^[10] 첫째, 결과 분위수 함수는 계수 ${\displaystyle a_{i}}$에 의해 제어되는 상당한 모양 유연성을 가질 것이다. 둘째, 이 계수에 대해 선형인 단순한 닫힌 형태를 가질 것이며, 이는 선형 최소 제곱법에 의해 CDF 데이터로부터 쉽게 결정될 수 있음을 의미한다. 셋째, 결과 분위수 함수는 부드럽고 미분 가능하며 해석적이어서 부드러운 닫힌 형태의 PDF를 사용할 수 있도록 보장한다. 넷째, 결과 닫힌 형태의 역 CDF에 의해 시뮬레이션이 용이해질 것이다. 다섯째, 테일러 급수와 마찬가지로 원하는 모양 유연성의 정도와 다른 응용 프로그램 요구에 따라 원하는 수의 항 ${\displaystyle k}$를 사용할 수 있다.

${\displaystyle a}$-계수의 아래첨자는 ${\displaystyle a_{1}}$과 ${\displaystyle a_{4}}$가 ${\displaystyle \mu }$ 전개에 있고, ${\displaystyle a_{2}}$와 ${\displaystyle a_{3}}$가 ${\displaystyle s}$ 전개에 있으며, 그 이후로 아래첨자가 교대로 나타난다. 이 순서는 결과 메탈로그 분위수 함수에서 처음 두 항이 로지스틱 분포에 정확히 해당하도록 선택되었으며; ${\displaystyle a_{3}\neq 0}$을 가진 세 번째 항을 추가하면 비대칭도를 조정하고; ${\displaystyle a_{4}\neq 0}$을 가진 네 번째 항을 추가하면 주로 첨도를 조정하고; 이후의 0이 아닌 항을 추가하면 더 미묘한 모양 정제가 가능하다.^[10]:p.252

${\displaystyle \mu }$와 ${\displaystyle s}$에 대한 위 대체를 포함하도록 로지스틱 분위수 함수를 다시 작성하면 누적 확률 ${\displaystyle 0<y<1}$에 대한 메탈로그 분위수함수가 얻어진다.

${\displaystyle M_{k}(y)=\left\{{\begin{array}{ll}a_{1}+a_{2}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}&{\mbox{for }}k=2\\a_{1}+a_{2}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}+a_{3}(y-0.5)\ln {\Bigl (}{y \over {1-y}}{\Bigr )}&{\mbox{for }}k=3\\a_{1}+a_{2}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}+a_{3}(y-0.5)\ln {\Bigl (}{y \over {1-y}}{\Bigr )}+a_{4}(y-0.5)&{\mbox{for }}k=4\\M_{k-1}(y)+a_{k}(y-0.5)^{k-1 \over 2}&{\mbox{for odd }}k\geq 5\\M_{k-1}(y)+a_{k}(y-0.5)^{{k \over 2}-1}\ln {\Bigl (}{y \over {1-y}}{\Bigr )}&{\mbox{for even }}k\geq 6\\\end{array}}\right.}$

동등하게, 메탈로그 분위수 함수는 기저 함수로 표현될 수 있다: ${\displaystyle M_{k}(y)=\sum _{i=1}^{k}a_{i}g_{i}(y)}$ 여기서 메탈로그 기저 함수는 ${\displaystyle g_{1}(y)=1,{\mbox{ }}g_{2}(y)=\ln {\Bigl (}{y \over {1-y}}{\Bigr )},}$ 이고 각 후속 ${\displaystyle g_{i}(y)}$는 위 ${\displaystyle M_{k}(y)}$ 방정식에서 ${\displaystyle a_{i}}$에 곱해지는 표현식으로 정의된다. 계수 ${\displaystyle a_{1}}$은 ${\displaystyle y=0.5}$일 때 다른 모든 항이 0이 되므로 중앙값이다. 메탈로그 분위수 함수의 특수 사례는 로지스틱 분포 (${\displaystyle k=2}$)와 연속균등분포 (${\displaystyle k\geq 4,a_{1}=0.5,a_{4}=1,a_{i}=0}$ 그 외)이다.

확률 밀도 함수

${\displaystyle x=M_{k}(y)}$를 ${\displaystyle y}$에 대해 미분하면 분위수 밀도 함수^[11] ${\displaystyle q(y)=dx/dy}$가 된다. 이 양의 역수, ${\displaystyle (q(y))^{-1}=dy/dx=f(Q(y))}$는 p-PDF로 표현된 확률 밀도 함수이다.^[12]

${\displaystyle m_{k}(y)=\left\{{\begin{array}{ll}{y(1-y) \over {a_{2}}}&{\mbox{for }}k=2\\{\Bigl (}{a_{2} \over {y(1-y)}}+a_{3}{\Bigl (}{y-0.5 \over {y(1-y)}}+\ln {y \over {1-y}}{\Bigr )}{\Bigr )}^{-1}&{\mbox{for }}k=3\\{\Bigl (}{a_{2} \over {y(1-y)}}+a_{3}{\Bigl (}{y-0.5 \over {y(1-y)}}+\ln {y \over {1-y}}{\Bigr )}+a_{4}{\Bigr )}^{-1}&{\mbox{for }}k=4\\{\Bigl (}{1 \over {m_{k-1}(y)}}+a_{k}{k-1 \over 2}(y-0.5)^{(k-3)/2}{\Bigr )}^{-1}&{\mbox{for odd }}k\geq 5\\{\Bigl (}{1 \over {m_{k-1}(y)}}+a_{k}{\Bigl (}{(y-0.5)^{k/2-1} \over {y(1-y)}}+({k \over 2}-1)(y-0.5)^{(k/2-2)}\ln {y \over {1-y}}{\Bigr )}{\Bigr )}^{-1}&{\mbox{for even }}k\geq 6,\\\end{array}}\right.}$

이는 기저 함수 측면에서 다음과 같이 표현될 수 있다.

${\displaystyle m_{k}(y)=\left(\sum _{i=1}^{k}a_{i}{{dg_{i}(y)} \over {dy}}\right)^{-1}}$ 여기서 ${\displaystyle 0<y<1}$.

이 PDF는 관심 변수 ${\displaystyle x}$ 대신 누적 확률 ${\displaystyle y}$의 함수로 표현된다는 점에 유의한다. PDF를 플롯하려면 (예: 이 페이지의 그림에 표시된 것처럼), ${\displaystyle y\in (0,1)}$을 매개변수적으로 변경한 다음, 수평 축에 ${\displaystyle x=M_{k}(y)}$를, 수직 축에 ${\displaystyle m_{k}(y)}$를 플롯할 수 있다.

위 방정식과 경계 선택을 가능하게 하는 다음 변환을 기반으로, 메탈로그 분포군은 무한, 반유한, 유한 메탈로그와 그 대칭 백분위수 삼중항(SPT) 특수 사례로 구성된다.

무한, 반유한 및 유한 메탈로그 분포

위에서 정의한 대로 메탈로그 분포는 ${\displaystyle \ln {\Bigl (}{y \over {1-y}}{\Bigr )}}$를 포함하는 모든 항에 대해 ${\displaystyle a_{i}=0}$인 특이한 특수 경우를 제외하고는 무한하다. 그러나 많은 응용 분야에서는 하한 ${\displaystyle b_{l}}$, 상한 ${\displaystyle b_{u}}$, 또는 둘 다를 갖는 유연한 확률 분포가 필요하다. 이 필요를 충족하기 위해 켈린은 변환을 사용하여 반유한 및 유한 메탈로그 분포를 도출했다.^[1] 이러한 변환은 분위수 함수의 일반적인 속성에 의해 결정된다. 즉, 어떤 분위수함수 ${\displaystyle x=Q(y)}$와 증가 함수 ${\displaystyle z(x)}$에 대해, ${\displaystyle x=z^{-1}(Q(y))}$도 분위수함수이다.^[13] 예를 들어, 정규 분포의 분위수함수는 ${\displaystyle x=\mu +\sigma \Phi ^{-1}(y)}$이다. 자연로그 ${\displaystyle z(x)=\ln(x-b_{l})}$는 증가 함수이므로, ${\displaystyle x=b_{l}+e^{\mu +\sigma \Phi ^{-1}(y)}}$는 로그정규 분포의 분위수함수이다. 유사하게, 이 속성을 아래 변환을 사용하여 메탈로그 분위수 함수 ${\displaystyle M_{k}(y)}$에 적용하면 메탈로그 분포군의 반유한 및 유한 멤버가 얻어진다. ${\displaystyle z(x)}$가 메탈로그 분포를 따른다고 가정함으로써, 메탈로그 분포군의 모든 멤버는 켈린과 파울리(Keelin and Powley)의^[9] 분위수 매개변수화 분포 정의를 충족하므로 그 속성을 갖는다.

${\displaystyle {\begin{array}{l|c|c|c|c|c}&&&&&{\mbox{모양}}\\&{\mbox{변환}}&{\mbox{분위수 함수}}&{\mbox{PDF}}&{\mbox{여기서}}&{\mbox{매개변수}}\\\hline {\mbox{메탈로그 (무한)}}&z(x)=x&M_{k}(y)&m_{k}(y)&0<y<1&k-2\\\hline {\mbox{로그 메탈로그}}&z(x)=\ln(x-b_{l})&M_{k}^{\log }(y)=b_{l}+e^{M_{k}(y)}&m_{k}^{\log }(y)=m_{k}(y)e^{-M_{k}(y)}&0<y<1&k-1\\{\mbox{(아래에 경계)}}&&=b_{l}&=0&y=0\\\hline {\mbox{음수-로그 메탈로그}}&z(x)=-\ln(b_{u}-x)&M_{k}^{\operatorname {nlog} }(y)=b_{u}-e^{-M_{k}(y)}&m_{k}^{\operatorname {nlog} }(y)=m_{k}(y)e^{M_{k}(y)}&0<y<1&k-1\\{\mbox{(위에 경계)}}&&=b_{u}&=0&y=1\\\hline {\mbox{로짓 메탈로그}}&z(x)=\ln {\Bigl (}{x-b_{l} \over {b_{u}-x}}{\Bigr )}&M_{k}^{\operatorname {logit} }(y)={b_{l}+b_{u}e^{M_{k}(y)} \over {1+e^{M_{k}(y)}}}&m_{k}^{\operatorname {logit} }(y)=m_{k}(y){{\bigl (}1+e^{M_{k}(y)}{\bigr )}^{2} \over {(b_{u}-b_{l})e^{M_{k}(y)}}}&0<y<1&k\\{\mbox{(경계)}}&&=b_{l}&=0&y=0\\&&=b_{u}&=0&y=1\end{array}}}$

메탈로그 분포군의 모양 매개변수 수는 항의 수 ${\displaystyle k}$에 따라 선형적으로 증가한다는 점에 유의한다. 따라서 위의 메탈로그는 어떤 수의 모양 매개변수도 가질 수 있다. 대조적으로, 피어슨 및 존슨 분포군은 두 개의 모양 매개변수로 제한된다.

SPT 메탈로그 분포

하한 ${\displaystyle 0}$과 상한 ${\displaystyle 100}$을 가진 CDF 데이터 ${\displaystyle (20,0.1),(30,0.5),}$ 및 ${\displaystyle (50,0.9)}$로 매개변수화된 유한 SPT 메탈로그.

대칭 백분위수 삼중항(SPT) 메탈로그 분포는 무한, 반유한 및 유한 메탈로그 분포의 3항(${\displaystyle k=3}$) 특수 사례이다.^[14] 이들은 ${\displaystyle 0<\alpha <0.5}$인 형태의 ${\displaystyle (x_{1},\alpha )}$, ${\displaystyle (x_{2},0.5)}$ 및 ${\displaystyle (x_{3},1-\alpha )}$ 세 개의 CDF 곡선 외부의 ${\displaystyle (x,y)}$ 점으로 매개변수화된다. SPT 메탈로그는 예를 들어, CDF 확률(예: ${\displaystyle 0.1,0.5,0.9}$)에 해당하는 분위수 ${\displaystyle (x_{1},x_{2},x_{3})}$를 전문가로부터 추출하여 3항 메탈로그 분포를 매개변수화할 때 유용하다. 아래에서 언급된 바와 같이, 특정 수학적 속성은 SPT 매개변수화에 의해 단순화된다.

속성

메탈로그 확률 분포군은 다음 속성을 갖는다.

실현 가능성

${\displaystyle M_{k}(y)}$ 형태의 함수 또는 위 변환 중 하나는 PDF가 모든 ${\displaystyle y\in (0,1)}$에 대해 0보다 클 때만 실현 가능한 확률 분포이다.^[9] 이는 계수 집합 ${\displaystyle {\boldsymbol {a}}=(a_{1},...,a_{k})\in \mathbb {R} ^{k}}$에 대한 실현 가능성 제약을 의미한다.

${\displaystyle m_{k}(y)>0}$ 모든 ${\displaystyle y\in (0,1)}$에 대해.

실제 응용에서 실현 가능성은 일반적으로 가정하는 대신 확인해야 한다. ${\displaystyle k=2}$의 경우 ${\displaystyle a_{2}>0}$가 실현 가능성을 보장한다. ${\displaystyle k=3}$ (SPT 메탈로그 포함)의 경우, 실현 가능성 조건은 ${\displaystyle a_{2}>0}$이고 ${\displaystyle {|a_{3}|/a_{2}}<1.66711}$이다.^[14] ${\displaystyle k=4}$의 경우 유사한 닫힌 형태가 도출되었다.^[15] ${\displaystyle k\geq 5}$의 경우 실현 가능성은 일반적으로 그래프 또는 수치적으로 확인한다.

무한 메탈로그와 그 위 변환은 동일한 실현 가능한 계수 집합을 공유한다.^[16] 따라서 주어진 계수 집합에 대해 모든 ${\displaystyle y\in (0,1)}$에 대해 ${\displaystyle m_{k}(y)>0}$임을 확인하는 것으로 사용 중인 변환에 관계없이 충분하다.

볼록성

실현 가능한 메탈로그 계수 집합 ${\displaystyle S_{\boldsymbol {a}}=\{{\boldsymbol {a}}\in \mathbb {R} ^{k}|m_{k}(y)>0}$ 모든 ${\displaystyle y\in (0,1)\}}$에 대해 볼록이다. 볼록 최적화 문제는 볼록 실현 가능 집합을 요구하므로 이 속성은 메탈로그와 관련된 최적화 문제를 단순화할 수 있다. 또한 이 속성은 실현 가능한 메탈로그의 ${\displaystyle {\boldsymbol {a}}}$ 벡터의 모든 볼록 조합이 실현 가능함을 보장하며, 이는 예를 들어 여러 전문가의 의견을 결합하거나^[17] 실현 가능한 메탈로그 사이를 보간할 때 유용하다.^[18] 결과적으로 메탈로그 분포의 모든 확률적 혼합은 그 자체로 메탈로그이다.

데이터에 피팅

1920년부터 2014년까지 오리건 주 칠로퀸의 Sprague 강 합류점 아래 Williamson 강에 대한 최대 연간 강수량(피트)에 대한 10항 로그 메탈로그 분포. 데이터 출처: USGS.

계수 ${\displaystyle {\boldsymbol {a}}}$는 선형 최소 제곱법을 통해 데이터로부터 결정될 수 있다. 메탈로그 CDF를 특성화하기 위한 ${\displaystyle n}$개의 데이터 포인트 ${\displaystyle (x_{i},y_{i})}$와 요소가 기저 함수 ${\displaystyle g_{j}(y_{i})}$로 구성된 ${\displaystyle n\times k}$ 행렬 ${\displaystyle {\boldsymbol {Y}}}$가 주어졌을 때, ${\displaystyle {\boldsymbol {Y}}^{T}{\boldsymbol {Y}}}$가 역행렬을 가질 경우, 계수 ${\displaystyle a_{i}}$의 열 벡터 ${\displaystyle {\boldsymbol {a}}}$는 ${\displaystyle {\boldsymbol {a}}=({\boldsymbol {Y}}^{T}{\boldsymbol {Y}})^{-1}{\boldsymbol {Y}}^{T}{\boldsymbol {z}}}$로 주어지며, 여기서 ${\displaystyle n\geq k}$이고 열 벡터 ${\displaystyle {\boldsymbol {z}}=(z(x_{1}),\ldots ,z(x_{n}))}$이다. 만약 ${\displaystyle n=k}$이면, 이 방정식은 ${\displaystyle {\boldsymbol {a}}={\boldsymbol {Y}}^{-1}{\boldsymbol {z}}}$로 축소되며, 결과 메탈로그 CDF는 모든 데이터 포인트를 정확히 통과한다. SPT 메탈로그의 경우, 세 개의 ${\displaystyle (x_{i},y_{i})}$ 점으로 직접 표현될 수 있다.^[14]

선형 프로그램으로 구현된 다른 피팅 방법은 실현 가능성 제약 조건 하에 CDF와 데이터 간의 절대 거리의 합을 최소화하여 계수를 결정한다.^[19]

${\displaystyle k}$가 2에서 10으로 증가함에 따라 메탈로그가 표준 정규 분포로 수렴하는 방식

9항 반유한 메탈로그 분포(점선, 노란색)에 의해 밀접하게 근사된 베이불 분포 (파란색)

모양 유연성

메탈로그 유연성 정리에 따르면,^[17] 연속 분위수 함수를 가진 어떤 확률 분포도 메탈로그에 의해 임의로 가깝게 근사될 수 있다. 또한, 원본 논문에서 켈린은 30개의 전통적인 원본 분포(정규, 스튜던트-t, 로그정규, 감마, 베타 및 극단값 분포 포함)에서 105개의 CDF 점으로 매개변수화된 10항 메탈로그 분포가 각 원본 분포를 K-S 거리 0.001 이하로 근사함을 보여주었다.^[20] 따라서 메탈로그 모양 유연성은 사실상 무제한이다.

오른쪽의 애니메이션 그림은 표준 정규 분포에 대해 이를 설명하며, 다양한 수의 항을 가진 메탈로그가 표준 정규 CDF의 동일한 105개 점 집합으로 매개변수화된다. 항의 수가 증가함에 따라 메탈로그 PDF는 표준 정규 PDF로 수렴한다. 두 개의 항으로는 메탈로그가 로지스틱 분포로 정규 분포를 근사한다. 항의 수가 증가할 때마다 적합도가 더 가까워진다. 10개의 항으로는 메탈로그 PDF와 표준 정규 PDF가 시각적으로 구별할 수 없을 정도이다.

마찬가지로 ${\displaystyle b_{l}=0}$을 가진 9항 반유한 메탈로그 PDF는 다양한 베이불 분포와 시각적으로 구별할 수 없다. 오른쪽에 표시된 6가지 경우는 베이불 모양 매개변수 0.5, 0.8, 1.0, 1.5, 2 및 4에 해당한다. 각 경우에 메탈로그는 누적 확률 ${\displaystyle y=(0.001,0.02,0.10,0.25,0.5,0.75,0.9,0.98,0.999)}$에 해당하는 베이불 CDF의 9개 ${\displaystyle x}$ 점으로 매개변수화된다.

이러한 수렴은 정규 및 베이불 분포에만 국한되지 않는다. 켈린은 원래 광범위한 분포에 대해 유사한 결과를 보여주었으며^[20] 이후 추가적인 예시를 제공했다.^[17][21]

중앙값

메탈로그 분포군의 모든 분포의 중앙값은 단순한 닫힌 형태를 갖는다. ${\displaystyle y=0.5}$가 중앙값을 정의하고, ${\displaystyle M_{k}(0.5)=a_{1}}$이라는 점에 유의한다(이후의 모든 항은 ${\displaystyle y=0.5}$에 대해 0이기 때문). 따라서 무한 메탈로그, 로그 메탈로그, 음수-로그 메탈로그 및 로짓 메탈로그 분포의 중앙값은 각각 ${\displaystyle a_{1}}$, ${\displaystyle b_{l}+e^{a_{1}}}$, ${\displaystyle b_{u}-e^{-a_{1}}}$ 및 ${\displaystyle {b_{l}+b_{u}e^{a_{1}} \over {1+e^{a_{1}}}}}$이다.

모멘트

무한 메탈로그 분포의 ${\displaystyle m}$차 모멘트, ${\displaystyle E[x^{m}]=\int _{y=0}^{1}{M_{k}(y)}^{m}\,dy}$는 QPD에 대한 더 일반적인 공식의 특수 사례이다.^[9] 무한 메탈로그의 경우, 이러한 적분은 계수 ${\displaystyle a_{i}}$의 ${\displaystyle m}$차 다항식인 닫힌 형태의 모멘트를 평가한다. 4항 무한 메탈로그의 처음 네 가지 중심 모멘트는 다음과 같다.

${\displaystyle {\begin{aligned}{\text{평균값}}={}&a_{1}+{a_{3} \over 2}\\[6pt]{\text{분산}}={}&\pi ^{2}{{a_{2}}^{2} \over 3}+{{a_{3}}^{2} \over {12}}+\pi ^{2}{{a_{3}}^{2} \over {36}}+a_{2}a_{4}+{{a_{4}}^{2} \over {12}}\\[6pt]{\text{비대칭도}}={}&\pi ^{2}{a_{2}}^{2}{a_{3}}+\pi ^{2}{{a_{3}}^{3} \over {24}}+{{{a_{2}}{a_{3}}{a_{4}}} \over {2}}+\pi ^{2}{{{a_{2}}{a_{3}}{a_{4}}} \over {6}}+{{{a_{3}}{a_{4}}^{2}} \over {8}}\\[6pt]{\text{첨도}}={}&7\pi ^{4}{{a_{2}}^{4} \over {15}}+3\pi ^{2}{{{a_{2}}^{2}{a_{3}}^{2}} \over {24}}+7\pi ^{4}{{{a_{2}}^{2}{a_{3}}^{2}} \over {30}}+{{{a_{3}}^{4}} \over {80}}+\pi ^{2}{{a_{3}}^{4} \over {24}}+7\pi ^{4}{{a_{3}}^{4} \over {1200}}+2\pi ^{2}{a_{2}}^{3}{a_{4}}\\[6pt]&{}+{{{a_{2}}{a_{3}}^{2}{a_{4}}} \over {2}}+2\pi ^{2}{{{a_{2}}{a_{3}}^{2}{a_{4}}} \over {3}}+2{{a_{2}}^{2}{a_{4}}^{2}}+\pi ^{2}{{{a_{2}}^{2}{a_{4}}^{2}} \over {6}}+{{{a_{3}}^{2}{a_{4}}^{2}} \over {8}}+\pi ^{2}{{{a_{3}}^{2}{a_{4}}^{2}} \over {40}}+{{{a_{2}}{a_{4}}^{3}} \over {3}}+{{a_{4}}^{4} \over {80}}\end{aligned}}}$

더 적은 항에 대한 모멘트는 이 방정식에 포함된다. 예를 들어, 3항 메탈로그의 모멘트는 ${\displaystyle a_{4}}$를 0으로 설정하여 얻을 수 있다. 더 많은 항을 가진 메탈로그 및 더 높은 차수의 모멘트(${\displaystyle m>4}$)에 대한 모멘트도 사용할 수 있다.^[22] 반유한 및 유한 메탈로그에 대한 모멘트는 닫힌 형태로 사용할 수 없다.

모멘트 매개변수화

3항 무한 메탈로그는 처음 세 중심 모멘트로 닫힌 형태로 매개변수화될 수 있다. ${\displaystyle m,v,}$ 및 ${\displaystyle s}$를 평균, 분산 및 비대칭도라 하고, ${\displaystyle s_{s}}$를 표준화된 비대칭도, ${\displaystyle s_{s}=s/v^{3/2}}$라 하자. 모멘트를 계수로, 계수를 모멘트로 표현하는 동등한 식은 다음과 같다.

${\displaystyle {\begin{array}{ll}m=a_{1}+{a_{3} \over 2}&&a_{1}=m-{a_{3} \over 2}\\[6pt]v=\pi ^{2}{{a_{2}}^{2} \over 3}+{{a_{3}}^{2} \over {12}}+\pi ^{2}{{a_{3}}^{2} \over {36}}&&a_{2}={1 \over {\pi }}{\Bigl [}3{\Bigl (}v-{\Bigl (}{1 \over {12}}+{{\pi }^{2} \over {36}}{\Bigr )}{a_{3}}^{2}{\Bigr )}{\Bigr ]}^{1 \over {2}}\\[6pt]s=\pi ^{2}{a_{2}}^{2}{a_{3}}+\pi ^{2}{{a_{3}}^{3} \over {24}}&&a_{3}=4{\Bigl (}{6v \over {6+\pi ^{2}}}{\Bigr )}^{1 \over {2}}\cos {\Bigl [}{1 \over {3}}{\Bigl (}\cos ^{-1}{\Bigl (}-{s_{s} \over {4}}{\Bigl (}1+{{\pi }^{2} \over {6}}{\Bigr )}^{1 \over {2}}{\Bigr )}+4\pi {\Bigr )}{\Bigr ]}\\[6pt]\end{array}}}$

이 두 식의 동등성은 왼쪽의 모멘트 방정식이 계수 ${\displaystyle a_{1},a_{2},}$ 및 ${\displaystyle a_{3}}$에 대한 3차 다항식을 결정하고, 이를 ${\displaystyle m,v,}$ 및 ${\displaystyle s}$의 함수로 닫힌 형태로 풀 수 있다는 점에서 파생될 수 있다. 더욱이 이 해는 유일하다.^[23] 모멘트 측면에서 실현 가능성 조건은 ${\displaystyle |s_{s}|\leq 2.07093}$이며, 이는 계수 측면에서 다음 실현 가능성 조건과 동등함을 보여줄 수 있다: ${\displaystyle a_{2}>0}$; 및 ${\displaystyle {|a_{3}|/a_{2}}<1.66711}$.^[23]

이 속성은 예를 들어 독립적이고 동일하게 분포되지 않은 확률 변수의 합을 나타내는 데 사용될 수 있다. 누적량에 따르면, 독립 확률 변수의 어떤 집합에 대해 합의 평균, 분산, 비대칭도는 각각의 평균, 분산, 비대칭도의 합과 같다는 것이 알려져 있다. 이 중심 모멘트로 3항 메탈로그를 매개변수화하면 이 세 모멘트를 정확하게 보존하고, 이에 따라 독립 확률 변수의 합 분포의 모양에 대한 합리적인 근사를 제공하는 연속 분포를 얻을 수 있다.

시뮬레이션

메탈로그의 분위수함수가 닫힌 형태로 표현되기 때문에, 몬테카를로 시뮬레이션을 용이하게 한다. 균등하게 분포된 ${\displaystyle y}$의 무작위 샘플을 메탈로그 분위수 함수 (역 CDF)에 대입하면 ${\displaystyle x}$의 무작위 샘플이 닫힌 형태로 생성되어 CDF를 역전시킬 필요가 없다. 시뮬레이션 응용 프로그램에 대해서는 아래를 참조한다.

전문가 의견 도출 및 결합

메탈로그 분포는 모양의 유연성으로 인해 전문가 의견을 도출하고 표현하는 데 매력적인 선택이 될 수 있다.^[24] 또한, 여러 전문가의 의견이 ${\displaystyle k}$항 메탈로그로 표현될 경우, 합의 의견은 닫힌 형태로 ${\displaystyle k}$항 메탈로그로 계산될 수 있으며, 합의 메탈로그의 ${\displaystyle {\boldsymbol {a}}}$-계수는 단순히 개별 전문가의 가중 평균이다.^[17] 이 결과는 합의 분위수 함수가 개별 분위수 함수의 가중 평균인 빈센티제이션에서 비롯된다.

닫힌 형태의 베이즈 업데이트

고전 논문에서 하워드(Howard, 1970)^[25]는 베타-이항 분포를 사용하여 새로운 동전 던지기 데이터에 비추어 동전 던지기에서 "앞면"이 나올 장기 빈도 ${\displaystyle \phi }$에 대한 불확실성을 베이즈 규칙에 따라 닫힌 형태로 업데이트하는 방법을 보여준다. 대조적으로, 업데이트할 관심 불확실성이 이산 사건(동전 던지기 결과와 같은)에 대한 스칼라 확률에 의해 정의되는 것이 아니라 연속 변수에 대한 확률 밀도 함수에 의해 정의되는 경우, 메탈로그 베이즈 업데이트를 사용할 수 있다. 특정 조건 하에서 메탈로그 분위수 매개변수 및 ${\displaystyle {\boldsymbol {a}}}$-계수는 베이즈 규칙에 따라 새로운 데이터에 비추어 닫힌 형태로 업데이트될 수 있다.^[17]

응용

2006-2010년 동안 브리티시컬럼비아의 바빈강에서 잡힌 3,474마리의 스틸헤드 송어의 경험적 무게 데이터(히스토그램) 및 이 데이터에 최소 제곱법으로 적합된 10항 로그 메탈로그 PDF(파란색 곡선).

메탈로그는 모양과 경계의 유연성으로 인해 인간 노력의 거의 모든 분야에서 경험적 또는 기타 데이터를 나타내는 데 사용될 수 있다.

• 천문학. 메탈로그는 소행성 충돌의 위험을 평가하는 데 적용되었다.^[26]
• 사이버 보안. 메탈로그는 사이버 보안 위험 평가에 사용되었다.^[19][27]
• 전문가 의견 도출 및 결합. 캐나다 연방통계청은 미래 캐나다 출산율에 대한 전문가 의견을 18명의 전문가로부터 도출했으며, 여기에는 5항 메탈로그를 기반으로 하는 스프레드시트 기반 실시간 PDF 피드백 사용이 포함되었다. 개별 전문가 의견은 가중치가 부여되고 전반적인 메탈로그 기반 예측으로 결합되었다.^[24]
• 경험적 데이터 탐색 및 시각화. 어류 생물학에서 10항 로그 메탈로그 분포(0에서 아래로 경계)는 2006-2010년 동안 브리티시컬럼비아의 바빈강에서 잡히고 방류된 3,474마리의 스틸헤드 송어의 무게에 적합되었다. 결과 분포의 이봉성은 강에 처음 산란하는 개체와 두 번째 산란하는 개체(후자는 더 무거운 경향이 있음)의 존재에 기인한다.^[28]
• 수문학. 10항 반유한 메탈로그는 연간 강수량의 확률 분포를 모델링하는 데 사용되었다.^[29]
• 유전 생산. 반유한 SPT 메탈로그는 유전 생산 예측과 실제 생산량 간의 편향을 사후적으로 분석하는 데 사용되었다.^[30]
• 포트폴리오 관리. SPT 메탈로그는 신제품 및 제품 포트폴리오의 상업적 가치를 모델링하는 데 사용되었다.^[31]
• 시뮬레이션 입력 분포. 입찰 결정을 지원하기 위해 259개 금융 자산 각각의 미래 가치에 대한 불확실성은 SPT 메탈로그로 표현되었다. 총 포트폴리오 가치의 시뮬레이션은 각 자산에 대한 이산 저, 중앙, 고 값을 기반으로 하는 해당 시뮬레이션보다 더 현실적인 결과를 산출하는 것으로 나타났다.^[32]
• 시뮬레이션 출력 분포. 메탈로그는 시뮬레이션에서 출력 데이터를 피팅하여 해당 출력을 닫힌 형태의 연속 분포(CDF 및 PDF 모두)로 나타내는 데도 사용되었다. 이 방식으로 사용될 때, 이들은 일반적으로 히스토그램보다 더 안정적이고 부드럽다.^[32]
• 로그정규의 합. 메탈로그는 CDF가 닫힌 형태의 표현을 갖지 않는 알려진 분포의 닫힌 형태 표현을 가능하게 한다. 켈린 외(2019)^[18]는 이를 독립적으로 동일하게 분포된 로그정규 분포의 합에 적용하며, 합의 분위수는 많은 수의 시뮬레이션을 통해 결정될 수 있다. 그러한 아홉 분위수는 각 아홉 분위수를 정확히 통과하는 반유한 메탈로그 분포를 매개변수화하는 데 사용된다. 분위수 매개변수는 표에 저장될 수 있으며, 이후 보간하여 중간 값을 얻을 수 있다. 이러한 값은 위의 볼록성 속성에 의해 실현 가능성이 보장된다.

스틸헤드 무게 데이터용 메탈로그 패널

항의 수 선택

주어진 응용 프로그램과 데이터 세트에 대해 메탈로그 항의 수 ${\displaystyle k}$를 선택하는 것은 맥락에 따라 다르며 판단이 필요할 수 있다. 전문가 의견 조사의 경우 3~5항이면 보통 충분하다. 데이터 탐색 및 로그정규의 합과 같은 다른 확률 분포와 일치시키는 경우 8~12항이면 보통 충분하다. 주어진 데이터 세트에 대해 ${\displaystyle k}$의 항 수가 다를 때 해당하는 메탈로그 PDF를 표시하는 메탈로그 패널이 이러한 판단에 도움이 될 수 있다. 예를 들어, 스틸헤드 무게 메탈로그 패널에서^[1] 7항 미만을 사용하면 데이터의 본질적인 이봉성을 가려 데이터에 과소적합된다고 볼 수 있다. 11항 이상을 사용하는 것은 불필요하며 원칙적으로 데이터에 과적합될 수 있다. 16항의 경우는 이 데이터 세트에 대해 실현 불가능하며, 메탈로그 패널의 빈 셀로 표시된다. 정칙화 및 모형 선택 (아카이케 정보 기준 및 베이즈 정보 기준)와 같은 다른 도구도 유용할 수 있다. 예를 들어, 스틸헤드 무게 데이터에 적용했을 때, 2~16항의 메탈로그 분포와 광범위한 고전 분포의 AIC 순위는 11항 로그 메탈로그를 이 데이터에 가장 적합한 것으로 식별한다. 유사한 BIC 순위는 10항 로그 메탈로그를 가장 적합한 것으로 식별한다. 켈린(Keelin, 2016)^[1]은 메탈로그 분포군 내에서 분포 선택에 대한 추가적인 관점을 제공한다.^[33]

관련 분포

메탈로그 분포는 분위수함수로 정의되는 분포군에 속하며, 여기에는 분위수 매개변수화 분포, 튜키 람다 분포, 그 일반화인 GLD,^[34] 고빈다라줄루(Govindarajulu) 분포^[35] 등이 포함된다.^[13] 다음 분포들은 메탈로그 분포군에 포함된다.

• 로지스틱 분포는 ${\displaystyle i>2}$인 모든 ${\displaystyle i}$에 대해 ${\displaystyle a_{i}=0}$인 무한 메탈로그의 특수 사례이다.
• 연속균등분포는 다음의 특수 사례이다: 1) ${\displaystyle k\geq 4}$, ${\displaystyle a_{1}=0.5}$, ${\displaystyle a_{4}=1}$ 및 그 외 ${\displaystyle a_{i}=0}$인 무한 메탈로그; 2) ${\displaystyle k\geq 2}$, ${\displaystyle b_{l}=0}$, ${\displaystyle b_{u}=1}$, ${\displaystyle a_{2}=1}$ 및 그 외 ${\displaystyle a_{i}=0}$인 유한 메탈로그.
• 경제학에서 피스크(Fisk) 분포로도 알려진 로그-로지스틱 분포는 ${\displaystyle b_{l}=0}$ 및 ${\displaystyle i>2}$인 모든 ${\displaystyle i}$에 대해 ${\displaystyle a_{i}=0}$인 로그 메탈로그의 특수 사례이다.
• 로그-균등 분포는 ${\displaystyle k\geq 4}$, ${\displaystyle a_{1}=0.5}$, ${\displaystyle a_{4}=1}$ 및 그 외 ${\displaystyle a_{i}=0}$인 로그 메탈로그의 특수 사례이다.
• 로짓-로지스틱 분포^[36]는 ${\displaystyle i>2}$인 모든 ${\displaystyle i}$에 대해 ${\displaystyle a_{i}=0}$인 로짓 메탈로그의 특수 사례이다.

소프트웨어

메탈로그 분포 작업을 위해 자유롭게 사용할 수 있는 소프트웨어 도구가 있다.

• 엑셀 통합 문서. CDF 데이터를 붙여넣거나 입력하면 메탈로그(경계 선택 가능)가 즉시 표시된다.
  • SPT 메탈로그 통합 문서^[37]는 세 개의 ${\displaystyle (x_{i},y_{i})}$ CDF 데이터로 결정된 2-3항 메탈로그를 계산한다.
  • 메탈로그 통합 문서^[38]는 2-10,000개의 ${\displaystyle (x_{i},y_{i})}$ CDF 데이터로 결정된 2-16항 메탈로그(메탈로그 패널 포함)를 계산한다.
  • ELD (equally likely data) 메탈로그 통합 문서^[39]는 2-10,000개의 ${\displaystyle (x_{i})}$ CDF 데이터로 결정된 2-16항 메탈로그를 계산하며, 여기서 ${\displaystyle y_{i}}$와 메탈로그 패널은 자동으로 계산된다.
• R. rmetalog^[40] (종합 R 아카이브 네트워크, CRAN에서).
• Python. Pymetalog^[41]는 R 패키지를 밀접하게 반영한다. Metalogistic^[42]는 SciPy 플랫폼을 활용한다.
• MakeDistribution.com^[43]는 여러 CDF 데이터 포인트로 매개변수화된 메탈로그 실험을 용이하게 한다. SPT 메탈로그 계산기,^[44] 메탈로그 계산기^[45] 및 ELD 메탈로그 계산기^[46]는 엑셀 통합 문서의 온라인 버전이다.
• SIPmath Modeler Tools^[47]는 시뮬레이션을 위한 엑셀 추가 기능에서 메탈로그 분포를 지원한다.
• 루미나(Lumina)의 Analytica Free 101 소프트웨어^[48]는 어려운 결정을 모델링하고 지원한다.
• BayesFusion의 Metalog Builder^[49]는 메탈로그 분포의 대화형 구축을 허용한다. BayesFusion의 GeNIe^[50] (소프트웨어의 학술 버전은 학술 연구 및 교육에 무료)는 메탈로그 분포를 구현한다.

상업적으로 이용 가능한 패키지 또한 메탈로그 분포의 사용을 지원한다:

• FrontLine Solvers: Analytic Solver, RASON, 및 Solver SDK,^[51] 최적화 소프트웨어. 사용자 데이터를 전체 범위의 (유한 및 무한, 다항) 메탈로그 분포에 자동으로 맞추고, 사용자 선택 적합도 기준에 따라 메탈로그 분포를 고전 분포와 비교하는 옵션을 제공한다.
• Lone Star Analysis: TruNavigator 및 AnalyticsOS 소프트웨어^[52]는 예측 및 처방 분석을 위한 소프트웨어이다.