ジェスチャ認識

ジェスチャ認識（ジェスチャにんしき、英語: Gesture recognition）は、数学アルゴリズムを介して人間のジェスチャを解釈することを目的としたコンピュータサイエンスと言語技術のテーマである^[1]。これは、コンピュータビジョンの専門分野の下位区分。ジェスチャは、あらゆる体の動きや状態から発生する可能性があるが、通常は顔や手から発生する。この分野の現在の焦点には、顔からの感情認識と手のジェスチャ認識が含まれる。ユーザーは、簡単なジェスチャを使用して、デバイスに物理的に触れることなく、デバイスの制御または操作が可能。手話を解釈するためにカメラとコンピュータビジョンアルゴリズムを使用して多くのアプローチがなされてきた。姿勢、歩行、パソコンおよび人間の行動の識別と認識も、ジェスチャ認識技術の対象^[2]。ジェスチャ認識は、人体の言語を理解する（英語版）方法と見なすことができる。したがって、キーボードへの入力の大部分を制限するプリミティブテキストユーザインタフェースやGUI（グラフィカルユーザーインターフェイス）よりも、マシンと人間の間に豊かな架け橋を築くことができる。マウスを使用して、機械的なデバイスなしで自然に相互作用する。

手の位置と動きを検出する単純なジェスチャ認識アルゴリズムによって感知される子供。

概要

ジェスチャ認識は、通常ミドルウェアで処理され、結果はユーザーアプリケーションに送信される。

ジェスチャ認識機能：

• より正確な
• 高い安定性
• デバイスのロックを解除するための時間の節約

ジェスチャ認識の主なアプリケーション：

• 自動車セクター
• 家庭用電化製品セクター
• トランジットセクター
• ゲーム部門
• スマートフォンのロック解除
• 防御^[3]
• ホームオートメーション
• 手話の自動翻訳^[4]

ジェスチャ認識は、コンピュータビジョンと画像処理の手法を使用して実行できる^[5]。

文献には、コンピューターに接続されたカメラによるジェスチャまたはより一般的な人間のポーズ（英語版）や動きのキャプチャに関するコンピュータービジョン分野での進行中の作業が含まれる^[6][7][8][9]。

ジェスチャ認識とペンコンピューティング：ペンコンピューティングは、システムのハードウェアへの影響を軽減し、キーボードやマウスなどの従来のデジタルオブジェクトを超えて、制御に使用できる物理的な世界のオブジェクトの範囲を拡大する。このような実装により、モニターを必要としない新しい範囲のハードウェアが可能になる。このアイデアは、ホログラフィックディスプレイの作成につながる可能性がある。ジェスチャ認識という用語は、グラフィックスタブレットでのインク、マルチタッチジェスチャ、マウスジェスチャ（英語版）認識など、テキスト入力以外の手書き記号をより狭義に指すために使用される。これは、ポインティングデバイスカーソルを使用して記号を描画することによるコンピューターの相互作用^[10][11][12]。（ペンコンピューティングを参照）

ジェスチャータイプ

コンピュータインターフェイスでは、2種類のジェスチャが区別される^[13]。オンラインジェスチャを考慮する。これは、スケーリングや回転などの直接操作と見なすこともできる。対照的に、オフラインジェスチャは通常、インタラクションが終了した後に処理される。たとえば、コンテキストメニューをアクティブにするために円が描かれる。

• オフラインジェスチャ：ユーザーがオブジェクトを操作した後に処理されるジェスチャ。例として、メニューをアクティブにするジェスチャがある。
• オンラインジェスチャ：ダイレクトマニピュレーションジェスチャ。これらは、有形のオブジェクトを拡大縮小または回転するために使用される。

タッチレスインターフェース

タッチレスユーザーインターフェイスは、ジェスチャ制御に関連する新しいタイプのテクノロジー。タッチレスユーザーインターフェイス（TUI）は、キーボード、マウス、または画面に触れることなく、体の動きやジェスチャを介してコンピューターにコマンドを送信するプロセス^[14]。ジェスチャコントロールに加えて、タッチレスインターフェイスは、デバイスに物理的に触れることなくデバイスと対話する機能を提供するため、広く普及している。

タッチレステクノロジーの種類

スマートフォン、ラップトップ、ゲーム、テレビ、音楽機器など、このタイプのインターフェイスを利用するデバイスは多数ある。

タッチレスインターフェイスの1つのタイプは、スマートフォンのBluetooth接続を使用して、企業の訪問者管理システムをアクティブにする。これにより、COVID-19パンデミックの際にインターフェースに直接触れる必要がなくなる^[15]。

入力デバイス

人の動きを追跡し、実行している可能性のあるジェスチャを判別する機能は、さまざまなツールを使用して実現できる。キネティックユーザーインターフェイス（KUI）は、ユーザーがオブジェクトやボディの動きを通じてコンピューティングデバイスと対話できるようにするタイプのユーザーインターフェイス。KUIの例には、タンジブルユーザーインターフェイスや、WiiやMicrosoftのKinectなどのモーション対応ゲームやその他のインタラクティブプロジェクトが含まれる^[16]。

画像/ビデオベースのジェスチャ認識では多くの研究が行われいるが、実装間で使用されるツールと環境にはいくつかの違いがある。

この別の例は、マウスジェスチャ追跡（英語版）。この場合、マウスの動きは、ジェスチャを表すために時間の経過に伴う加速度の変化を調べることができる、人の手によって描かれる記号に関連付けられる^[17][18][19]。このソフトウェアは、人間の震えや不注意な動きも補正する^[20][21][22]。これらのスマート発光キューブのセンサーは、手や指、および近くにある他のオブジェクトを感知するために使用でき、データを処理するために使用できます。ほとんどのアプリケーションは音楽とサウンドの合成^[23]が、他の分野にも適用できる。

関連項目

• 感情認識
• 行動認識（英語版）
• 関節式ボディポーズ推定（英語版）
• 自動車用ヘッドユニット（英語版）
• ボディーランゲージのコンピューター処理（英語版）
• 3Dポーズ推定（英語版）
• ポインティングデバイスジェスチャー（英語版）