指差しポインティングシステム

文献情報

野田雄希, 水谷晃三, 天井から下方に向けて設置した RGB-D センサによる指差しポインティングの研究, 情報処理学会第 83 回全国大会講演論文集, 5ZB-08,2021 .

研究背景

　人が行う指差しジェスチャをシステムが認識してその方向を推定することで、スクリーン上にポインタを表示する指差しポインティングの研究が行われている。

　既存研究ではユーザの正面または上方のカメラと側方のカメラによってジェスチャを捉えるものや、ユーザごとにセンサを卓上に配置することで使用位置に制限なくジェスチャを捉えることができるものが存在する。これらの手法では複数人同時に使用する上で、センサから見てユーザ同士が重なるオクルージョンが生じたり、機材をユーザごとに配置する必要があったりするなどの問題がある。

方法

　天井に下方に向けて設置したRGB-Dセンサ（Kinect v2）を用いて、指が差しているスクリーン上の位置にポインタを表示するシステム。複数人同時に使用することが可能。本システムでは天井から真下に見下ろす形で指差しジェスチャを捉えることで、オクルージョンの発生を軽減している。天井に下方に向けて設置したRGB-Dセンサで人の指差しジェスチャを捉え、取得した人の頭頂部・指先・指の付け根の各座標をもとに、指が差しているスクリーン上の位置にポインタを表示している。

　また、ユーザとスクリーンの距離が離れるほど実際に指差した位置と意図した指差し位置の誤差が生じやすくなる。そのため、直接方式と移動方向指定方式の2通りのポインタの動かし方を検討した。直接方式ではスクリーンに向かって指差す方向の実際のスクリーン上の座標にポインタを表示する。移動方向指定方式ではスクリーンに対する指の角度からポインタの移動方向、角度の大きさに応じた移動速度を決定しポインタを動かす。