話した言葉が指先から表示されるコミュニケーションアプリ『しゃべり描き®UI』ですが、指先から言葉が表示されるというのはどういうことでしょうか。
実際に見ていただくと言葉そのままの意味なのですが、言葉を発した後に画面を指でなぞると、そのなぞった軌跡に沿うようにして話した言葉が表示されます。「はじめまして」と発言してから指で画面をなぞると、画面にも「はじめまして」と表示されるという具合です。
聴覚障害者の方とのコミュニケーションの助けになるツールとして開発したもので、通常の筆談ボードのように会話に使っていただいても良いですし、お絵描き機能も付いているので地図を描きながらの道案内などにも使えます。
病院で医師が耳の不自由な患者に症状を伝える際にも役に立つ
自分の発した言葉がそのまま画面に反映されるなんて面白いですね。開発のきっかけは何だったのでしょうか。
もともとは耳の不自由なインターン生と、もっとコミュニケーションが取りたいと思って始めたプロジェクトでした。手話ができないので、聴覚障害者の方とコミュニケーションをとるための主な方法は筆談や読唇術（唇の動きを読み発言の内容を把握する手段）でしたが、もっと円滑にコミュニケーションが取れる方法はないのかと頭を悩ませていました。
そんな時、聴覚障害者の方のご家族にお話をお伺いしているうちに、聴覚障害者の方が直面しているある事実を知りました。「手先と唇を同時に見ることはできない」ということです。
例えば、聴覚障害者の方に道を尋ねられたとします。ペンで紙に地図を書きつつ口で説明するのですが、聴覚障害者の方は説明している人の手の動きと唇の動きを同時に見ることはできません。どちらかの情報を捨てざるを得ず、結局内容が理解ができないということが多いようなんです。障害を持つ当人は当たり前のことすぎてそのことに気づいていなかったようなのですが、ご家族はそういったシチュエーションをよく見かけるとのことでした。せっかくの厚意が実を結んでいないという悲しい現実です。
そこで、唇と指先の動きを同時に見ることができないために円滑なコミュニケーションが阻害されているという課題を解決するアイデアとして、「指先に話した言葉を表示させる」という形を考えました。指先から話し手の言葉が表示されるなら、画面を見ているだけで全ての内容を理解することができますから。
