その人それぞれに応じたスイッチを用意しなければならなかったり、その人の身体のことを熟知している人しか設置できなかったりという問題を解消するため、物理的にスイッチを設置しなくても、何もない空間や、顔の一部をスイッチとして設定できるアプリケーション、それが「OAK(Observation and Access with Kinect)(オーク)」です。OAKは従来のスイッチと異なり,簡単に対象者を観察して設置、操作ができます。
OAKはKinect(キネクト)というマイクロソフト社のセンサーを使っています。もともとはテレビゲームのために開発された3次元カメラで、ゲームのプレイヤーがコントローラーなしでプレイすることが可能になる体感型のコントローラーとして使用されていました。例えば、プレイヤーがジャンプすれば、ゲームの中のキャラクターがジャンプするような機能のために使われています。モーションキャプチャーと呼ばれるそのセンサーの機能を障がい者支援のしくみに用いるわけです。
「OAK」には、Kinectのパソコン版、Kinect for Windows を使っています。
まず、OAKの主機能である「エアスイッチ」についてご紹介します。KinectはRGBカメラと赤外線カメラを搭載しており、赤外線カメラの映像は、カメラと対象物の距離を常に測定しています。カメラに近いところは濃くなり、カメラに遠いところは薄い色になります。この赤外線カメラの機能を使って開発されたのが、「距離モードのエアスイッチ」です。たとえば、左腕だけ動かせる人であれば、左腕の稼動範囲にバーチャルなボタンを設置します(下の図で、黄色い四角)。この黄色い四角に触れるように腕を上げれば、スイッチを押したことになるのです。
エアスイッチ設定画面。左が赤外線カメラの映像で、近いと濃い黒で表示され、距離が離れていくにつれ色が薄くなる。右がRGBカメラの映像。
このスイッチの優れているところは、身体の中心からの距離を一定にすることができる点です。物理的に設置したスイッチであれば、身体が傾いたり姿勢が変わったりしたときに、スイッチに届かなくなることがありますが、OAKのスイッチは、画像の一番背の高い部分に表示される垂直線(図でオレンジ色の線)からの距離を一定にしますので、姿勢が変わってもスイッチを再度設置しなおす手間がありません。スイッチのほうが身体に追従してくるのです。
わかりやすく「腕を上げる」という比較的大きな動作で説明しましたが、重度の身体障がいの方は、身体の一部がほんのわずか、数ミリ動かせるだけという方も少なくありません。そのような動きですと、赤外線カメラの色の濃淡では認識できません。そのような場合は「カラーモードのエアスイッチ」をご利用いただけます。RGBカメラの映像で、色の粒(ピクセル)がいくつか変わったらスイッチを押したことになります。指1本がわずか数ミリ動くだけの方でしたら、たとえば「画像の中で30ピクセル変わったらスイッチとする」というふうに、ピクセル数を設定することができます。
スイッチは、最大5つまで設定する事ができます。家電のオン・オフだけでなく、パソコンのキーを割り振ることもできます。たとえば、ひとつのスイッチにパソコンの「→」キーを割り振っておけば、このスイッチに触れるたびにプレゼンテーション用アプリケーションのページをめくることができます。そんなふうに能動的にプレゼンテーションに関われる場面を提供することもできます。