潜在変数

潜在変数（せんざいへんすう、英: latent variable^{[注釈 1]}）は、統計学において、直接は観察されないが（数理モデルを通して）、観測（直接測定）された他の変数から推定される変数を意味する。観測変数（英: observed variable）と対比される。

観測変数を潜在変数の観点から説明することを目的とした数理モデルは、潜在変数モデルと呼ばれる。潜在変数モデルは、心理学、人口統計学、経済学、工学、医学、物理学、機械学習/人工知能、バイオインフォマティクス、ケモメトリックス、自然言語処理、計量経済学、管理、社会科学など、多くの分野で使用されている。

潜在変数は、現実の側面に対応する場合がある。原理的には測定できるが実際には観測できない状況では、変数に意味があるが観測できないという事実から、「隠れた変数」という用語が一般的に使用される。カテゴリ・行動・精神状態・データ構造などの抽象的な概念に対応する潜在変数では、「仮想変数」または「仮想構成」という用語が用いられることがある。

潜在変数を使用することは、データの次元を減らすのに役立つ。多くの観測可能な変数をモデルに集約して、基礎となる概念を表すことができるため、データを理解しやすくなる。この意味で、それらは科学理論と同様の機能を果たす。同時に、潜在変数は、現実世界の観測可能な（サブシンボリックな）データをモデル化された世界のシンボリックなデータにリンクする。

定式化する際は潜在変数を示すシンボルとして ${\displaystyle z}$ がしばしば用いられる^[1]。

例

ワープがある場合とない場合のバークレー成長研究からの男の子の平均身長曲線（黒）の推定。ワーピングは、非線形混合効果モデルを使用して年齢を同期された生物学的年齢にマッピングする潜在変数に基づいている。 ^[2]

心理学

因子分析法によって作成された潜在変数は、一般に「共有」分散、または変数が一緒に「移動」する程度を表す。相関関係のない変数は、共通因子モデルに基づく潜在構造を生成できない。 ^[3]

• 「ビッグファイブの性格特性」は、因子分析を使用して推測される
• 外向性^[4]
• 空間能力
• 知恵 – 知恵を評価するための手段として、知恵に関連するパフォーマンスと潜在変数の測定とがある ^[5]
• スピアマンの g 、または心理測定学の一般的な知性要因^[6]

経済

経済学の分野からの潜在変数の例には、生活の質、ビジネスの信頼、士気、幸福、保守主義が含まれる。これらの変数はすべて、直接測定できない。しかし、これらの潜在変数を他の観測可能な変数にリンクすると、潜在変数の値は、観測可能な変数の測定値から推測することができる。生活の質は、直接測定できない潜在変数であるため、観察可能な変数を使用して生活の質を推測する。生活の質を測定するための観察可能な変数には、富、雇用、環境、心身の健康、教育、レクリエーションと余暇、および社会的帰属が含まれる。

薬

潜在変数の方法論は、医学の多くの分野で使用されています。潜在変数アプローチに自然に役立つ問題のクラスは、時間スケール（参加者の年齢や研究ベースラインからの時間など）が研究対象の特性と同期していない縦断的研究です。このような研究では、研究対象の特性と同期する観察されていない時間スケールを、潜在変数を使用して観察された時間スケールの変換としてモデル化できる。この例として、疾患進行モデリングおよび成長のモデリングなどがある。

潜在変数モデル

潜在変数モデル（英語版）（英: latent variable models）は観測変数と潜在変数の同時分布で表現された確率モデルの総称である^[7]。

潜在変数モデルでは観測変数 ${\displaystyle x}$ の分布 ${\displaystyle p^{*}(x)}$ を潜在変数 ${\displaystyle z}$ とモデルパラメータ ${\displaystyle \theta }$ を用いた同時分布 ${\displaystyle p_{\theta }(x,z)}$ で表現する。このとき同時分布を周辺化すると以下が成立している：

${\displaystyle p_{\theta }(x)=\int p_{\theta }(x,z)dz}$

潜在変数に関して周辺化された尤度 ${\displaystyle p(x|\theta )}$ と見做せるため、これは ${\displaystyle \theta }$ の関数として周辺尤度（英: marginal likelihood）あるいはエビデンス（英: model evidence）と呼ばれる^[8]。

モデルの例には潜在変数を含んだベイジアンネットワークがある。すなわち同時分布の因数分解により条件付き確率モデルの積 ${\displaystyle p_{\theta }(x,z)=p_{\theta }(x|z)p_{\theta }(z)}$ としてモデル化する^[9]。このとき ${\displaystyle p_{\theta }(z)}$ は「${\displaystyle z}$ の事前分布」としばしば呼ばれる（観測値で条件付けられていないため prior）^[10]。

潜在変数モデルのパラメータ推定には課題とそれに対応する手法が存在する。潜在変数はモデル内部に存在する変数であり、その定義から観測値として与えられない。ゆえに同時分布 ${\displaystyle p_{\theta }(x,z)}$ ではなく周辺尤度 ${\displaystyle p_{\theta }(x)}$ を介して最適化することになる。しかし最尤推定をする場合、周辺化で登場する積分が intractable であるため尤度の解析解も効率のいい推定器も得られない^[11]。

ベイジアンネットワークでモデル化するとき各条件付き確率モデルは tractable なものを採用するため同時分布は tractable になる。ゆえにベイズの定理より、intractable である原因は周辺尤度 ${\displaystyle p_{\theta }(x)}$ および事後分布 ${\displaystyle p_{\theta }(z|x)}$ にあることがわかる^[12]：

${\displaystyle p_{\theta }(z|x)={\frac {p_{\theta }(x,z)}{p_{\theta }(x)}}}$

これを解決する手法にはEMアルゴリズム、オートエンコーディング変分ベイズアルゴリズムなどがある。

深層潜在変数モデル

深層潜在変数モデル（英: Deep Latent Variable Models、DLVM）はベイジアンネットワークの条件付け入力をニューラルネットワークで変換する潜在変数モデルの一種である^[13]。その同時分布は以下の式で表現される：

${\displaystyle p_{\theta }(z_{0}=x,z_{1},...,z_{N})=\prod _{i=0}^{N}p_{\theta }(z_{i}|pa(z_{i}))=\prod _{i=0}^{N}p_{\theta }(z_{i};\ \eta =NeuralNet_{\theta }(pa(z_{i})))}$

DLVMでは万能近似能力をもつニューラルネットワークを用いて潜在変数を変換するため、各条件付き確率モデル ${\displaystyle p_{\theta }(z_{i}|pa(z_{i}))}$ に単純な分布を用いても複雑な周辺分布 ${\displaystyle p_{\theta }(x)}$ を表現できる^[14]。

DLVMは潜在変数モデルであるため、パラメータ推定に単純な最尤推定を適用できない。DLVMの学習を可能にする手法の1つに変分オートエンコーダーが存在する。

潜在変数の推測

潜在変数を利用し、潜在変数の存在下で推論を可能にするさまざまなモデルクラスと方法論が存在する。次のようなモデルがある：

• 線形混合効果モデルと非線形混合効果モデル
• 隠れマルコフモデル
• 因子分析

次のような分析や推論がある：

• 主成分分析
• 部分最小二乗回帰
• 潜在意味解析と確率的潜在意味解析
• EMアルゴリズム
• メトロポリス-ヘイスティングスアルゴリズム

ベイズのアルゴリズムと方法

ベイズ統計は、潜在変数を推測するためによく使用される。

• 潜在的ディリクレの割り当て
• 中華料理店プロセスは、潜在的なカテゴリへのオブジェクトの割り当てに関する事前分布を提供するためによく使用される。
• インドのビュッフェプロセスは、オブジェクトへの潜在的なバイナリ機能の割り当てに関する事前分布を提供するためによく使用される。

関連項目