情報幾何学

情報幾何学（じょうほうきかがく、英: information geometry、仏: géométrie de l’information、独: Informationsgeometrie、略称: IG^[1]）とは、確率分布を要素とする統計モデルに関する微分幾何学的研究^[2]のことであり、狭義には双対アフィン接続の微分幾何学^[3]を指す。「数理統計学の微分幾何学化」^[4]や「統計的推論の幾何学的方法論」^[5]や「情報理論における微分幾何を用いた定式化」^[6]と表現されるように、情報幾何学は統計学・情報理論・確率理論（大偏差理論）にまたがる^[7]学際的な分野である。

概要

情報幾何学の理論的な枠組みは統計学の言葉を必要とせず、純粋な微分幾何学の概念のみで定式化できる。

統計多様体の定義にはいくつかの流儀が存在するが現在最も標準的^[8]なのは黒瀬 (1994)^[9] によるものであり、${\displaystyle C^{\infty }}$ 級多様体 ${\displaystyle M}$ と ${\displaystyle M}$ 上の捩れのないアフィン接続 ${\displaystyle \nabla }$ と擬リーマン計量 ${\displaystyle g}$ の組 ${\displaystyle (M,\nabla ,g)}$ で ${\displaystyle (0,3)}$ テンソル場 ${\displaystyle \nabla g}$ が対称なものと定義し、組 ${\displaystyle (\nabla ,g)}$ を統計構造という。${\displaystyle \nabla ^{*}}$ が ${\displaystyle \nabla }$ の ${\displaystyle g}$ に関する双対（アフィン）接続であるとは、任意の ${\displaystyle M}$ 上のベクトル場 ${\displaystyle X,Y,Z}$ に対してライプニッツ則の類似$${\displaystyle Xg(Y,Z)=g(\nabla _{X}Y,Z)+g(Y,\nabla _{X}^{*}Z)}$$が成り立つことであり、組 ${\displaystyle (M,g,\nabla ^{*})}$ を双対統計多様体という。${\displaystyle \nabla }$ が平坦であるならば ${\displaystyle \nabla ^{*}}$ も平坦であるので、組 ${\displaystyle (M,g,\nabla ,\nabla ^{*})}$ を双対平坦空間といい、組 ${\displaystyle (g,\nabla ,\nabla ^{*})}$ を双対構造という。もともと統計多様体は、ラウリッツィン（英語版）によってリーマン多様体 ${\displaystyle (M,g)}$ と甘利・チェンツォフテンソル場と呼ばれる ${\displaystyle (0,3)}$ 対称テンソル場 ${\displaystyle C}$ の組 ${\displaystyle (M,g,C)}$ として定義されていた^[10]が、両者は基本的に等価である^[11]。

${\displaystyle \nabla }$ が平坦であるならば、テンソル場 ${\displaystyle \nabla g}$ が対称であることとある関数 ${\displaystyle \phi }$ が存在して局所的に ${\displaystyle g=\nabla d\phi }$ と表されることは同値であり^[12][13]、これはヘッシアンに他ならないので ${\displaystyle \nabla }$ が平坦な統計多様体は1970年代に志磨裕彦が定義したヘッセ多様体と一致しており、その統計構造をヘッセ構造、関数 ${\displaystyle \phi }$ をヘッセ・ポテンシャルという^[14]。ヘッセ構造はAdS/CFT対応におけるBTZブラックホールに見出されることが知られている^[15][16]。

歴史

情報幾何学のアイデアは、1929年にハロルド・ホテリングが記した草稿^[17][18]に遡ることができる^[19]。ホテリングはフィッシャー情報行列 ${\displaystyle g_{ij}(\xi )=E_{\xi }[\partial _{i}l_{\xi }\partial _{j}l_{\xi }]}$（ただし ${\displaystyle \partial _{i}=\partial /\partial \theta ^{i}}$ と ${\displaystyle l_{\xi }=\log p(x;\xi )}$ は情報幾何学でよく見られる略記である）が統計モデルにリーマン計量（フィッシャー計量）を定めることを考察し^[20]、1945年にクラメール・ラオ（英語版）も独立にそのことを指摘した^[21]。さらに1972年にはニコライ・チェンツォフ（ロシア語版）が、マルコフ埋め込みに関する不変性の下では、リーマン計量が（定数倍を除いて）フィッシャー計量だけに限られ、アフィン接続も（1次元実数パラメータの自由度を除いて）一意に定まることを有限集合上の確率分布の場合について証明した^[22][23]（チェンツォフの定理^[24]）。一方、1975年にブラッドリー・エフロン（英語版）は統計的推論の高次漸近理論において、指数型分布族に埋め込まれた統計モデル（曲指数型分布族）にある種の埋め込み曲率を定義し^[25]、フィリップ・デイヴィッド（英語版）はその曲率がフィッシャー計量に関して非計量的なあるアフィン接続から定まることを指摘し、それをエフロン接続と命名した^[26]。

このような状況に対し1982年に甘利俊一は、パラメトリックな統計モデル ${\displaystyle M=\{p_{\theta }\}}$ に対し$${\displaystyle g(\nabla _{\partial _{i}}^{(\alpha )}\partial _{j},\partial _{k})=\Gamma _{ij,k}^{(\alpha )}=E_{\xi }\left[\left(\partial _{i}\partial _{j}l_{\xi }+{\frac {1-\alpha }{2}}\partial _{i}l_{\xi }\partial _{j}l_{\xi }\right)\left(\partial _{k}l_{\xi }\right)\right]}$$を満たす ${\displaystyle M}$ 上の対称なアフィン接続 ${\displaystyle \nabla ^{(\alpha )}}$ を ${\displaystyle \alpha }$ 接続（${\displaystyle \alpha \in \mathbf {R} }$）と定義して^[27]一般論を展開することに成功した^[28]。実際、有限集合上の確率分布において ${\displaystyle \alpha }$ 接続はチェンツォフの定めたアフィン接続の1係数族と一致しており^[29]、特に ${\displaystyle \alpha =1}$ に対応する e 接続（指数接続）はエフロン接続と一致しており^[30]、${\displaystyle \alpha =0}$ に対応する ${\displaystyle 0}$ 接続はフィッシャー計量に関するレヴィ・チヴィタ接続に他ならなかった^[31]。この一般化を契機として、フィッシャー計量と ${\displaystyle \alpha }$ 接続の成す微分幾何学的構造、特に先述の e 接続と ${\displaystyle \alpha =-1}$ に対応する m 接続（混合接続）が調べられるようになり^[32]、e 接続の平坦性は統計モデルの最適性を、m 接続の平坦性は推定の最適性を曲率テンソルを使って定量評価することを可能にした^[33]。

甘利はさらに、1982年に長岡浩司と共同で情報幾何の双対構造を発表し^[34]、1983年に公文雅之と共同で統計的推論の高次漸近理論の幾何を提唱した^[13][35]。1984年にデイヴィッド・コックスが統計の微分幾何に関するワークショップをロンドンで開催したのを皮切りに^[36]、少しずつ世界的な知名度が上がって研究が活発化するようになった^[37]。江口真透が情報幾何をダイバージェンスを基に構築できることを示したのはその翌年のことであり^[38]、双対平坦空間や正準ダイバージェンスなどの一般論が整備されるにつれて情報幾何学はその地位を確立することに成功した。

情報幾何学の応用は、EMアルゴリズム^[39][40]のような統計的推論のみならず、統計物理学^[41][42]や学習理論^[43]、情報熱力学^[44][45]にまで及んでおり、2018年にはこのような進展を背景にシュプリンガー社から学術誌 Information Geometry が刊行されることが決定した。今後はさらに、量子情報幾何^[46][47]やワッサースタイン幾何^[48]、ルピナー幾何（英語版）などの発展も期待されている。人工知能の分野では、ニューラルネットや神経発火パターンの情報の解釈に応用され始めている。超弦理論と量子情報を結ぶ学術領域では、情報幾何学が応用され始めている。