トップQs
タイムライン
チャット
視点
小規模言語モデル
ウィキペディアから
Remove ads
小規模言語モデル（Small Language Model, SLM）は、言語やテキストの生成を含む人間の自然言語処理のために設計された人工知能言語モデルである。大規模言語モデル（LLM）と異なり、小規模言語モデルは規模と範囲がはるかに小さい[1]。
通常、LLMのトレーニングパラメータは数千億であり、一部のモデルでは1兆パラメータを超えることがある。LLMが膨大なサイズである理由は、大量の情報を抱えることで、より良いコンテンツを生成するモデルであることによる。その分、膨大な計算能力が必須であり、個人がコンピュータ1台だけでGPUを利用して大規模言語モデルをトレーニングすることは不可能である。
一方、小規模言語モデルは、通常数百万から数十億の範囲で、はるかに少ないパラメータを使用しする。これにより、単一のコンピュータやモバイルデバイスなどのリソースが限られた環境でトレーニングやホストをより実現可能にしている[2][3][4][5]。小さいため、PCやスマホ内で完結が可能であり、デリケートなデータを扱う分野にも向いている[6]。特定の分野に範囲を絞り込むことによるメリットがあり、小規模なデータセットでトレーニングすることで、「ハルシネーション」を起こしにくくできる[1][7][8]。
Remove ads
関連項目
出典
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads