モーションキャプチャーで手話表現を３Dアニメーションにする様子
手話を習得するにあたって、学習者が一番苦戦するのが、その手指の動きを覚えることだといいます。「ゲームで学べる手話辞典」では、その点を踏まえ、より学習しやすいような工夫を行っています。
3Dアニメーションも、その点を意識して開発したものです。
実際の手話の動きをモーションキャプチャーで取り込み、手話通訳士の動きをそのまま再現しました。キャラクターが行う手話の動きが、360度に回転可能で、幅広い視点を得られるのが特長です。開発にあたっては、一つ一つの手話の動きや口の形、表情、解説文などをチェックし、調整を行ったので、細かな手話の動きが再現出来たのではないかと思います。
手話通訳士や学習者の方との意見交換のなかから、手の動きを自分の視点で確認できると効果的であることに気がつきました。そこで、360度回転可能な３D アニメーションの機能を使い、カメラの視点を話者の背中側に指定すると、キャラクターの身体が透過して、話者の目線から手の動きを確認できる機能を搭載しました。この機能は、「実践的な学習ができる」とご好評をいただき、特許も取得しています（特許第5564625号）。このような取り組みで、手話の細かな手指の動きを覚える大変さを、多少なりとも軽減できるのではないかと考えています。
本ソフトの最大の特長は、実際の手話の動きを3Dアニメーションで360度、好きな角度から見られること。一からの開発ということで、苦労した点もありました。
現在、約3000語の手話を3Dアニメーションで収録します。これらはモーションキャプチャーで、3Dのモデリングを作成しています。そのひとつひとつの言葉について、スピードや口パクのタイミング、そしてキャラクターの表情まで手話通訳士と一緒に細かにチェックをしました。ここは最もこだわった部分であり、非常に時間と労力を要しましたが、その結果、実際の手話の動きを再現できたと思います。
ビデオ教材などと異なる点として、前述の背面から体が透過する機能のほか、カメラの視点を上下左右への移動、さらにキャラクターが動く速度もお好みで変更できます。これはCG技術を使った強みです。これにより、学習者ひとりひとりの直感に合ったスタイルが見つけられるのではないかと考えています。
