音声分析

音声分析（おんせいぶんせき、（英: speech analysis）は音声を特徴量へ変換・表現することである^[1]。

概要

音声とはヒトの喉から発せられた振動である。最も単純な表現として音声は波、すなわち振幅の時間変動で表される。一方で波には様々な表現が存在する。例えばフーリエ変換を介して周波数表現でも等価に表現できるし、STFTによりスペクトログラムとしても表現できる。このように波である音声を分析し異なる表現へ変換することを音声分析という。

音声分析により得られる音響特徴量にはスペクトログラム、基本周波数などが挙げられる。これらの音響特徴量は音声認識や音声合成の入力として利用される。

音響特徴量

音響特徴量（おんきょうとくちょうりょう、（英: acoustic feature, speech representation）は音声分析で得られる特徴量である。

音響特徴量は専門家の手による特徴量エンジニアリングで考案されたり、機械学習を利用した表現学習によって得られる。特徴量の良さはその用途により異なる。以下は音響特徴量の例である。

• スペクトル、スペクトログラム
• 基本周波数
• フォルマント
• スペクトル包絡
• ケプストラム
• メル周波数ケプストラム係数
• 線形予測係数
• 非周期性指標
• Acoustic Unit（表現学習）

非周期性指標

非周期性指標（ひしゅうきせいしひょう、（英: aperiodicity）は音響信号の各周波数における非調波成分の割合である^[2]。

有声音であれば声のかすれ具合に相当し^[3]、声区の1つである息もれ声と関連が深い^[4]。有声音の非周期性指標が正しく分析できなかった場合、再合成された音は buzzy になりやすい^[5]。

実用上は信号を粗めのフィルタバンクに掛け、周波数帯ごとの非周期性指標（英: band aperiodicity, BAP）として表現することが多い。

長時間平均スペクトル

長時間平均スペクトル（ちょうじかんへいきんスペクトル、（英: long-term average spectrum, LTAS）は朗読や歌唱のスペクトログラムを時間方向に平均して算出される周波数スペクトルである^[6][7][8]。

LTAS は対象の音声信号が通時的に持っている周波数関連の特性を抽出するのに向いた音響特徴量である。これにより話者性や発声スタイルなどの解析がおこなえる^[9]。一方でシマーやジッターといった短時間の変動や音素遷移などの過渡応答は平均化によって潰れる傾向がある。LTASにはフォルマントを見いだせるケースが多く^[10]、典型的には様々な母音が平均化された結果として 500 Hz 周辺に F1 が観察できる^[11]。

分類

音声分析はアプローチによって様々に分類できる。

短時間分析

短時間分析（たんじかんぶんせき、（英: short-term analysis）は音声を短い音声断片へ区分けして扱う分析の総称である^[12]。フレーム分析（フレームぶんせき、（英: frame analysis）とも。

音声とくに言語音はしばしば準定常性をもつ、すなわち短時間では定常で長時間では変動する^[12]。短時間と長時間の特性を同時に分析するには、長い音声を短時間に区分けして各区画の特性を調べかつその変遷に着目すればよい^[12]。これが短時間分析である。音声の言語音的側面を調べる際は短時間分析が多様される。一例として、短時間フーリエ変換等の時間周波数解析、PSOLAの分析段階が挙げられる。

分析窓

分析窓（ぶんせきまど、（英: analysis window）は音声から短時間区間を切り出す窓関数である^[13]。${\displaystyle w_{a}(t)}$ や ${\displaystyle h(t)}$ で表記される。

音声分析では（多くの場合）${\displaystyle t=0}$ を分析窓中心として静的な分析窓を記述し、これを分析したい区間の中心 ${\displaystyle t}$ までシフトし原音声 ${\displaystyle x(\tau )}$ に掛けることで信号 ${\displaystyle {\tilde {x}}(\tau )}$ を取り出す。これは次の式で表される：

${\displaystyle {\tilde {x}}(\tau )=x(\tau )w_{a}(\tau -t)}$

窓を掛けることにより、窓の台以外の区間では信号 ${\displaystyle {\tilde {x}}(\tau )}$ は ${\displaystyle 0}$ になる。直感的には音声をフェードイン/フェードアウトさせて一部区間のみ音がなるようにしているといえる。

短時間分析では分析区間を動かして変遷を分析するため、区間中心（=分析窓のシフト量）である ${\displaystyle t}$ を変数と見なす。これにより信号 ${\displaystyle {\tilde {x}}(\tau ,t)}$ は次の式で表される^[14]：

${\displaystyle {\tilde {x}}(\tau ,t)=x(\tau )w_{a}(\tau -t)}$

なお、分析窓をパラメトリックにする音声分析も様々存在する（例: PSOLA - ウインドウ長が原音声のピッチに依存^[15]）。

手法

フーリエ変換に基づく周波数解析がしばしば利用される。これによりスペクトルやスペクトログラムが得られ、また更なる分析によってf_oやフォルマントの経時変化が得られる。

また、音声波形について、DCT変換を用いて直接数値化する事も行われている。これを更にパターンに当てはめる事で伝送用に特化させたものが音声圧縮アルゴリズムのCELPであり、この数値の相関性を基にして、特定の人物の音声を合成することも可能である。

以下は特定の特徴量を得るために用いられる分析手法の一例である：

• スペクトル包絡
  • 線形予測符号化（LPC）
  • ケプストラム法
• 非周期性指標
  • D4C

Acoustic Unit Discovery

機械学習によりAcoustic Unit (AU) を得ることをAcoustic Unit Discovery; AUD という。典型的なAUDでは教師なし学習を用い、音声信号に繰り返し現れる単位（= AU）を抽出できるようモデルを学習する。学習方法やモデルによりAUがもつ特性は異なる（例: 音素に似た話者独立な特徴量、話者性を持つフォルマント的な特徴量）。AUは音声合成（unit-to-speech, speech resynthesis）や言語モデル（例: GSLM）に利用される。用途によりAUに求められる特性は異なる。

以下は具体的な手法の一例である。

• 教師なし学習^[16]
  • 再構成ベース: VQ-VAE-WaveNet
  • 自己教師あり学習ベース: CPC, wav2vec 2.0, HuBERT
• ASRモデル