UCLA Samueli School of Engineeringのバイオエンジニアは、スマートフォンアプリを介してアメリカ手話を英語の音声にリアルタイムで翻訳できる手袋のようなデバイスを考案しました。このシステムには、5本の指のそれぞれの長さを通る薄くて伸縮性のあるセンサーを備えた手袋が含まれています。
手袋のセンサーは導電性の毛糸でできており、手の動きや指の配置(個々の文字、数字、単語、フレーズを表す)を検出します。次に、デバイスは指の動きを電気信号に変換 し、手首に装着される1ドル硬貨サイズの回路基板に送信します。ボードはこれらの信号をスマートフォンにワイヤレスで送信し、スマートフォンは1秒あたり約1ワードの速度でそれらを話し言葉に変換します。
また、このデバイスには、アメリカ手話の一部である顔の表情をキャプチャするために、テスターの顔(眉の間と口の片側)にフィットする粘着センサーが含まれています。このデバイスは、軽量で安価ですが、長持ちする伸縮性のあるポリマーで作られています。電子センサーも非常に柔軟で安価です。
ウェアラブルデバイスは、アメリカ手話を使用する4人の聴覚障害者でテストされています。着用者は各手のジェスチャーを15回繰り返し、カスタムの機械学習アルゴリズムがこれらのジェスチャーを文字、数字、単語に変換しました。システムは、アルファベットの各文字と0から9までの数字を含む660の記号を認識しました。このデバイスはかさばらず、不快でもありません。手話を使用する人々が、他の誰かの助けを借りずに非署名者と直接通信するのを容易にします。このテクノロジーに基づく商用モデルでは、語彙を追加し、翻訳時間を短縮する必要があります。