可辨識性

在 統計學中，可辨識是一個能夠更為準確推斷的模型必須滿足的屬性。 一個模型是可辨識的，如果它在理論上能通過無限的觀測結果學習到的真正該模型背後參數的真實值。 在數學上，這相當於說基於這些觀測結果的不同的參數值必須產生不同的概率分布。 通常情況下，模型只是在某些情況下是可識別的，這些情況的限定條件被稱為識別條件。

一個模型是不可識別的，如果：兩個或兩個以上的參數化是觀察等價的。 在某些情況下，即使一個模型是不可識別的，它仍然可能學習到某些特定模型參數子集的真實值。 在這種情況下，我們稱該模型是部分地可識別的。 在其他情況下，模型可能可以學習到參數空間中一定有限區域的真的參數值，在這種情況下，該模型是集合可識別的。

除了嚴格的理論探索模型的屬性，當使用可識別性分析使用實驗數據集檢驗模型時，可識別性可以在一個更寬泛的範圍內被提及。^[1]

定義

令 ${\displaystyle {\mathcal {P}}=\{P_{\theta }:\theta \in \Theta \}}$ 為一個 統計模型， 其中參數空間 ${\displaystyle \Theta }$ 可以是有限或無限維。 我們說 ${\displaystyle {\mathcal {P}}}$ 是可識別的，如果映射 ${\displaystyle \theta \mapsto P_{\theta }}$ 是 一一映射:^[2]

這個定義意味着不同值的 θ 應當對應於不同的概率分布：如果 θ₁≠θ₂，那麼也有 P_θ1≠P_θ2。^[3] 如果分布是以概率密度的函數(pdf)方式定義的，那麼這兩個概率密度函數只有在它們對於一個非零測度集合表現不同時被認為是不同的（例如兩個函數ƒ₁(x) = 1_{0 ≤ x < 1}和ƒ₂(x) = 1_{0 ≤ x ≤ 1} 不同之處僅在一個單一點 x = 1—一個測度為零的集合--因此不能被視為不同的概率密度函數）。

模型的可辨識性在映射 ${\displaystyle \theta \mapsto P_{\theta }}$的可逆性的意義上等價於能夠在模型無限長的觀察後學習模型的真實的參數值。事實上，如果{X_t} ⊆ S 是模型的觀測序列，那麼根據大數定律，

${\displaystyle {\frac {1}{T}}\sum _{t=1}^{T}\mathbf {1} _{\{X_{t}\in A\}}\ {\xrightarrow {\text{a.s.}}}\ \Pr[X_{t}\in A],}$

對於每個可測量的集合A  ⊆   S （此處1 _{...}是指示函數 ）。 因此，通過無限數量的觀察，我們將能夠在模型中找到真實概率分布P ₀ ，並且由於上述可識別性條件需要映射${\displaystyle \theta \mapsto P_{\theta }}$是可逆的，我們也能夠找到產生給定分布P ₀ 的真實參數值。

例子

例1

令 ${\displaystyle {\mathcal {P}}}$ 是正態位置尺度族:

${\displaystyle {\mathcal {P}}={\Big \{}\ f_{\theta }(x)={\tfrac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}}\ {\Big |}\ \theta =(\mu ,\sigma ):\mu \in \mathbb {R} ,\,\sigma \!>0\ {\Big \}}.}$

那麼

${\displaystyle {\begin{aligned}&f_{\theta _{1}}=f_{\theta _{2}}\\[6pt]\Longleftrightarrow {}&{\frac {1}{{\sqrt {2\pi }}\sigma _{1}}}\exp \left(-{\frac {1}{2\sigma _{1}^{2}}}(x-\mu _{1})^{2}\right)={\frac {1}{{\sqrt {2\pi }}\sigma _{2}}}\exp \left(-{\frac {1}{2\sigma _{2}^{2}}}(x-\mu _{2})^{2}\right)\\[6pt]\Longleftrightarrow {}&{\frac {1}{\sigma _{1}^{2}}}(x-\mu _{1})^{2}+\ln \sigma _{1}={\frac {1}{\sigma _{2}^{2}}}(x-\mu _{2})^{2}+\ln \sigma _{2}\\[6pt]\Longleftrightarrow {}&x^{2}\left({\frac {1}{\sigma _{1}^{2}}}-{\frac {1}{\sigma _{2}^{2}}}\right)-2x\left({\frac {\mu _{1}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}}{\sigma _{2}^{2}}}\right)+\left({\frac {\mu _{1}^{2}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}^{2}}{\sigma _{2}^{2}}}+\ln \sigma _{1}-\ln \sigma _{2}\right)=0\end{aligned}}}$

對於幾乎所有的 x 只有當其所有係數都等於零，該公式為零，唯一可能的情況是|σ₁|=|σ₂|且 μ₁ = μ₂。 由於在尺度參數 σ 是限制大於零的，我們得出結論，該模型是可辨識的：ƒ_θ1 = ƒ_θ2 ⇔ θ₁ = θ₂。

例2

令 ${\displaystyle {\mathcal {P}}}$ 為標準 線性回歸模型：

${\displaystyle y=\beta 'x+\varepsilon ,\quad \mathrm {E} [\,\varepsilon \mid x\,]=0}$

(其中，'表示矩陣轉置)。 參數 β 是可辨識的，若且唯若矩陣 ${\displaystyle \mathrm {E} [xx']}$ 是可逆的。 因此，這是該模型的可辨識條件。

例3

假設 ${\displaystyle {\mathcal {P}}}$ 是經典的變量誤差線性模型：

${\displaystyle {\begin{cases}y=\beta x^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}}}$

其中，(ε,η,x*) 是聯合正態獨立隨機變量，其期望為零，方差未知，只有變量(x,y)是觀察到的。 那麼這個模型是不可識別的，^[4] 只有積βσ2_∗ (其中σ²_∗是差異的潛在回歸量 x*)。這也是一個集合可識別的模式的例子：雖然確切的 β 值無法被學習到，我們可以保證，它一定在 (β_y,1÷β_x-y) 區間中的某處，其中， β_yx 是y關於x 的普通最小二乘法 回歸的係數，並且 β_xy 也是 x 關於 y 的普通最小二乘法回歸的係數。^[5]

如果我們放棄正態假設並且要求 x* 不是正態分布，僅保留獨立的條件 ε ⊥ η ⊥ x*，那麼該模型成為可以識別的。^[4]

軟件

在可部分地觀察的動力系統的參數估計情況下， 似然函數也可以被用於結構性和實際可識別性分析。^[6] 關於 [1] （頁面存檔備份，存於互聯網檔案館）的一個實現可以在MATLAB工具箱 PottersWheel中獲取。

參考

• 可觀測性
• 系統識別

參考文獻