JP2016224686A5 - - Google Patents

Description

本発明は、上記の目的を達成する一手段として、所定の物体を撮像した画像から、前記所定の物体の一部によって示される指示位置を検出する検出手段と、前記画像から、前記所定の物体の状態に関する特徴を抽出する抽出手段と、前記検出手段によって検出された２つ以上の前記指示位置の位置関係の変化に基づいて、所定の操作を認識する第１の認識手段と、前記抽出手段によって抽出された特徴の変化に基づいて、前記所定の操作を認識する第２の認識手段と、前記第１の認識手段及び前記第２の認識手段のうち、前記検出手段によって検出された前記指示位置の数の遷移に応じたいずれかの認識結果を出力する出力手段と、を備える。

本発明によれば、所定の物体の一部が画像取得手段の死角に隠れた影響で入力中の操作を構成する複数の指示位置の少なくとも１つの検出が困難となった場合でも、入力中の操作を継続して認識可能となる。

ステップＳ３０５では、判定部２１４が、ステップＳ３０４において取得された指示位置の座標情報のうち、高さに対応する情報に基づいて、タッチ状態にある指示位置が存在するか否かを判定する。本実施形態では、タッチ閾値と、タッチ閾値よりも高い非タッチ閾値を設け、タッチ閾値よりも低い位置に存在する指示位置をタッチ状態にあると判定する。一旦タッチ状態と判定された指示位置は、非タッチ閾値よりも高い位置に移動した時点で、非タッチ状態と判定される。このように閾値をそれぞれ設けることにより、距離画像センサの検出誤差が原因となって、タッチ中であるはずの指が非タッチ状態であると判定されることで、操作が中断されるという影響を抑えることが可能となる。タッチ状態にある指示位置が存在すると判定した場合（ステップＳ３０５でＹｅｓ）、ステップＳ３０６に進む。タッチ状態にある指示位置が存在しないと判定した場合（ステップＳ３０５でＮｏ）、ステップＳ３１２に進む。

ステップＳ３０６では、選択部２１５が、タッチ状態にある指示位置の数を特定する。特定される数は、操作面をタッチすることによって指示されているタッチ位置の数に相当する。選択部２１５は、特定した数をＲＡＭ２０２に保持する。ステップＳ３０７では、選択部２１５は、特定されたタッチ状態にある指示位置の数が２か否かを判定する。２であると判定した場合（ステップＳ３０７でＹｅｓ）、処理はステップＳ３０８に進み、選択部２１５は、第１の認識処理を選択する。選択部２１５は、第１の認識処理が選択されていることを示す情報をＲＡＭ２０２に保持するとともに、第１認識部２１６に認識処理の実行を指示する信号を通知する。一方、タッチ状態にある指示位置の数が２ではないと判定した場合（ステップＳ３０７でＮｏ）、処理はステップＳ３０９に進む。

ステップＳ３０９では、選択部２１５が、特定されたタッチ状態にある指示位置の数が１か否かを判定する。タッチ状態にある指示位置の数が１であると判定した場合（ステップＳ３０９でＹｅｓ）、処理はステップＳ３１０に進む。一方、タッチ状態にある指示位置の数が１ではないと判定した場合（ステップＳ３０９でＮｏ）、処理はステップＳ３１１に進む。なお、ステップＳ３０９からステップＳ３１１に進む場合は、タッチ状態にある指示位置の数が３以上である場合に相当する。

ステップＳ３１０では、選択部２１５が、特定されたタッチ状態にある指示位置の数が２点以上から１点に遷移したか否かを判定する。選択部２１５は、ＲＡＭ２０２に保持されている指示位置の数の情報を参照して判定を行う。タッチ状態にある指示位置の数が２点以上から１点に遷移したと判定した場合（ステップＳ３１０でＹｅｓ）、処理はステップＳ３１１に進む。一方、タッチ状態にある指示位置の数が２点以上から１点に遷移したのではない、と判定した場合（ステップＳ３１０でＮｏ）、処理を修了する。タッチ状態にある指示位置の数が２点以上から１点に遷移したのではない場合とは、すなわち、０点から１点に遷移した場合である。本実施形態ではこの場合、操作者は、始めから１点の指示位置を使ったシングルタッチ操作を意図している可能性、あるいは、２点目の指示位置がタッチされる前段階の状態である可能性が高いとみなす。従って、マルチタッチ操作の認識処理である図３のフローチャートからは抜ける。ステップＳ３１１では、選択部２１５が、第２の認識処理を選択する。選択部２１５は、第２の認識処理が選択されていることを示す情報をＲＡＭ２０２に保持するとともに、第２認識部２１５に認識処理の実行を指示する信号を通知する。

一方、ステップＳ３０５において、タッチ状態にある指示位置（タッチ位置）が存在しなかった場合、ステップＳ３１２では、判定部２１４が、抽出された手領域に基づいて、手の高さを取得する。本実施形態では、手の高さとして、手領域の重心に当たる画素値に対応する高さ情報を求める。ただし、重心の画素値を採用する方法に限らず、例えば、手首より先の部分の画素値の平均を利用するなどしてもよい。ステップＳ３１３において、判定部２１４は、取得した手の高さが、所定の高さの閾値以上に大きいか否かを判定する。手の高さが所定の高さの閾値より小さいと判定された場合（ステップＳ３１３でＮｏ）、ステップＳ３１５に進む。そして、過去の処理で選択された状態にある認識処理が実行される。一方、手の高さが所定の高さの閾値以上に大きいと判定された場合（ステップＳ３１３でＹｅｓ）、ステップＳ３１４に進む。ステップＳ３１４において、選択部２１５は、認識処理の選択を解除する。本実施形態では、ＲＡＭ２０２に保持されている、選択状態にある認識処理を示す情報を参照し、対応する認識部に選択の解除を通知するとともに、当該情報を削除する。タッチ状態にある２点の指示位置の検出数に基づくジェスチャ認識の選択および解除処理の詳細は後述する。

そして、ステップＳ３１５では、選択された状態にある認識処理が実行される。ステップＳ３０８で第１の認識処理が選択された場合、ステップＳ３１５では、第１認識部２１６が、タッチ状態にある２点の指示位置の位置関係の変化に基づいて、所定のマルチタッチ操作を認識する。ステップＳ３１１で第２の認識処理が選択された場合、ステップＳ３１５では、第２認識部２１７が、特徴抽出部２１３によって抽出された特徴に基づく操作者の手の状態変化に基づいて、所定のマルチタッチ操作を認識する。それぞれの認識処理の詳細は後述する。ステップＳ３１６は、表示制御部２１８が、ステップＳ３１５における第１認識部２１６あるいは第２認識部２１７のいずれかの認識結果に基づいて、表示部であるプロジェクタ１０４に対する出力を制御する。例えば、拡縮操作が認識された場合には、ステップＳ３１５において出力される拡縮倍率に応じて表示されている画像を拡大あるいは縮小させる。また、回転操作が認識された場合には、ステップＳ３１５で出力される回転角度に応じて、表示されている画像を回転させる。

ステップＳ４０７では、２つの指示位置を結ぶベクトルの方向として、ｘ軸周りの回転角度を取得する。ステップＳ４０８では、現在の処理フレームが、第１の認識処理を開始する最初のフレームであるかを判定し、最初のフレームであると判定された場合（ステップＳ４０８でＹｅｓ）、ステップＳ４０９に進む。最初のフレームではない場合（ステップＳ４０８でＮｏ）、ステップＳ４０９に進む。ステップＳ４０９では、ステップＳ４０７で現在のフレームから取得された回転角度を、基準方向の情報としてＲＡＭ２０２に保持する。

本実施形態では、拡縮操作を認識するために、２つの指示位置間の距離の変化に代わる情報として、手領域から抽出した特徴が示す、手の見た目の大きさ（目で見て、手だと認識できる部分の大きさを指す。以下、単に「手の大きさ」という。）の変化を用いる。ここで、図５（ａ）の上段は、ピンチイン操作中の手１０６を、ｘｙ平面に平行に見た様子を表し、図５（ａ）の下段は、上段と同じタイミングでの距離画像中の手１０６の見た目の様子を表す。図５（ａ）より、ピンチイン操作により２点の指示位置の間の距離５０１が小さくなるのに応じて、距離画像中の手の見た目の大きさを表す円６０２の大きさが変化することが分かる。これは、指先がセンサの死角に入り、指示位置自体を検出できなくなった場合でも、別途継続して検出可能な変化である。そこで第２の認識処理は、距離画像中の手領域の大きさが大きくなれば拡大、小さくなれば縮小を示す拡縮操作として認識し、手領域の大きさの変化量に応じた拡縮率を出力する。ただし、２つの指示位置間の距離は略０に近づけることが可能であるのに対し、手の見た目の大きさは、こぶしの大きさ程度が下限となる。そのため、２つの指示位置間の距離変化に基づいて得られる縮小倍率と、手の見た目の大きさ変化に基づいて得られる縮小倍率が一致するとは限らない。

図６のフローチャートを用いて、ステップＳ３１５において第２の認識部２１７が行う第２の認識処理の流れを説明する。第２の認識処理では、まず、ステップＳ６０１において、第２の認識処理を開始する最初のフレームであるかを判定する。最初のフレームであれば（ステップＳ６０１でＹｅｓ）、ステップＳ６０２において、ステップＳ３０３で求めた「手の大きさ」の情報を、基準の大きさの情報としてＲＡＭ２０２に保持する。最初のフレームでなければ（ステップＳ６０１でＮｏ）、ステップＳ６０３において、基準大きさに対する現フレームの「手の大きさ」の比率を取得する。ステップＳ６０４において、取得した比率と、前回の出力時に取得した比率との差分が閾値以上であるかを判定する。差分が閾値以上であれば（ステップＳ６０４でＹｅｓ）、ステップＳ６０５において、ステップＳ６０３で取得した比率を、マルチタッチ操作で指示された表示画像の拡縮倍率として、表示制御部２１８に出力する。

ステップＳ６０６において、現フレームが第２の認識処理を開始する最初のフレームであるかを判定する。最初のフレームであれば（ステップＳ６０６でＹｅｓ）、ステップＳ６０７において、ステップＳ３０３で抽出した「手の方向」を示す情報と、基準方向の情報としてＲＡＭ２０２に保持する。最初のフレームでなければ（ステップＳ６０６でＮｏ）、ステップＳ６０８において、基準方向と、現フレームから取得された「手の方向」の角度差を取得する。そして、ステップＳ６０９において、取得した角度差と、前回の出力時に取得した角度差との差分が閾値以上かを判定する。差分が閾値以上であれば（ステップＳ６０９でＹｅｓ）、ステップＳ６１０において、ステップＳ６０８で取得した角度差を、マルチタッチ操作で指示された表示画像の回転角度として、表示制御部２１８に出力する。

なお、ステップＳ６０４およびＳ６０９の閾値判定を加えることで、微小な手領域の姿勢の変動による不要な拡縮・回転操作認識結果の出力を抑えることが可能になる。基準の大きさおよび基準方向は、一旦設定された場合、第２の認識処理の選択状態が解除されるまでは変更されない。本実施形態では、ステップＳ３１６の処理に基づいて選択が解除される際にＲＡＭ２０２から削除される。また、情報処理装置１００が拡縮操作を認識しない場合は、拡縮操作に対応するステップＳ６０１からステップＳ６０５の処理は省略可能である。同様に、情報処理装置１００が回転操作を認識しない場合は、回転操作に対応するステップＳ６０６からステップＳ６１０の処理は省略可能である。

ステップＳ１１０２では、人体領域抽出部１０１０が、ステップＳ１１０１において抽出された人体領域の姿勢に基づき、人体領域の特徴を抽出する。本実施形態では、拡縮操作を認識するための特徴として人体の上半身の見た目の大きさを、回転操作を認識するための特徴として人体の上半身の方向を抽出する。ステップＳ１１０３では、検出部１０１１が、人体領域のうち手（手首より先）部分を検出する。

一方で、ステップＳ１１０４において、こぶしを握るポーズをとった手が存在しないと判定された場合（ステップＳ１１０４でＮｏ）、処理はステップＳ１１０７に進む。ステップＳ１１０７では、判定部２１４が、抽出された人体領域に基づいて、人体と操作面（壁面スクリーン）との間の距離を取得する。本実施形態では、人体領域から推定された両肘とスクリーンとの平均距離を人体とスクリーンとの距離として求める。そして、ステップＳ１１０８において、判定部２１４は、人体とスクリーンとの距離について閾値判定を行い、距離が閾値以上であれば（ステップＳ１１０８でＹｅｓ）、ステップＳ３１４に進み、選択部２１５によって認識処理の選択が解除される。本実施形態では、ＲＡＭ２０２に保持されている、選択状態にある認識処理を示す情報を参照し、対応する認識部に選択の解除を通知するとともに、当該情報を削除する。人体とスクリーンとの距離が閾値未満であれば（ステップＳ１１０８でＮｏ）、処理はステップＳ１１０６に進む。本実施形態では、以上説明した空間ジェスチャ操作の認識処理が、距離画像センサ１０２から距離画像が入力される毎に繰り返し行われる。

［第２の認識処理］
ここで、第２の実施形態において、ステップＳ３１１で第２の認識処理が選択された場合に、ステップＳ１１０６で実行される認識処理の詳細を説明する。第２の認識処理は、指示位置を２点検出できない場合の補完手段として、指示位置の検出可否に依存せずに、人体領域から抽出することが可能な上半身の特徴が示す上半身の状態の変化に基づいて所定の空間ジェスチャ操作を認識する。第２の実施形態においても、第１の認識処理では認識可能なピンチアウト操作、ピンチイン操作、回転操作による指示のそれぞれが認識可能であり、第２の認識処理では、第１の認識処理とは異なる方法でそれらを認識することが可能である。

また、本実施形態では、人体領域から得られる上半身部分の見た目の方向（以下、「上半身の方向」）に基づいて、回転操作を認識する。ここで、回転操作中の距離画像中の人体の見た目の様子を１２（ｂ）に示す。回転操作中の２つの指示位置を結ぶベクトル１２１１の方向の変化に応じて、距離画像中の「上半身の方向」を表すベクトル５０４も変化することが分かる。これは、こぶしがセンサの死角に入り指示位置を検出できない場合にも、検出可能な特徴の変化である。そこで第２の認識処理では、距離画像から得られる「上半身の方向」の変化に応じて回転操作を認識し、その変化量に応じた回転角度を出力する。本実施形態では、人体領域抽出部１０１０がステップＳ１１０２において、人体領域の胸の位置１２１３を中心とした上半身部分の慣性主軸の方向を「上半身の方向」として算出する。ここでも手の検出と同様、各関節の位置推定による骨格抽出とＲＤＦによるパーツ識別に基づいて、胸の位置の推定を行う。なお、距離画像センサ１０２の設置位置等に応じて、人体の胸の位置からの最短距離が最長となる上半身部分の輪郭点と胸の中心位置とが成す角度を人体の方向として算出することも可能である。

Claims (24)

1. 所定の物体を撮像した画像から、前記所定の物体の一部によって示される指示位置を検出する検出手段と、
   前記画像から、前記所定の物体の状態に関する特徴を抽出する抽出手段と、
   前記検出手段によって検出された２つ以上の前記指示位置の位置関係の変化に基づいて、所定の操作を認識する第１の認識手段と、
   前記抽出手段によって抽出された特徴の変化に基づいて、前記所定の操作を認識する第２の認識手段と、
   前記第１の認識手段及び前記第２の認識手段のうち、前記検出手段によって検出された前記指示位置の数の遷移に応じたいずれかの認識結果を出力する出力手段と、
   を備えることを特徴とする情報処理装置。
2. 前記所定の物体の状態に関する特徴とは、前記画像に写っている前記所定の物体の一部の大きさ、又は前記画像に写っている前記所定の物体の方向を表す特徴を含むことを特徴とする請求項１に記載の情報処理装置。
3. 前記出力手段は、前記検出手段によって検出された前記指示位置の数が２点に遷移したことに基づいて、前記第１の認識手段の認識結果を出力する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記出力手段は、前記検出手段によって検出された指示位置の数が２点から１点に遷移したことに基づいて、前記第２の認識手段の認識結果を出力する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記出力手段は、所定の表示部に表示されている画像に対して、前記第１の認識手段あるいは前記第２の認識手段によって認識された前記所定の操作の操作量に応じた変化量を与える処理を行う
   ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記所定の操作とは、前記表示部によって表示されている画像に関する長さを変化させる指示、及び、前記表示部によって表示されている画像に関する方向を変化させる指示の少なくともいずれかを入力するための操作を含む
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記所定の操作とは、前記表示部によって表示されている画像を拡大あるいは縮小させる指示、及び、前記表示部によって表示されている画像を回転させる指示の少なくともいずれかを入力するためのマルチタッチ操作を含む
   ことを特徴とする請求項５または６に記載の情報処理装置。
8. 前記第２の認識手段は、前記検出手段が検出する前記指示位置の数が１点に遷移したことに基づいて、前記遷移の前に前記第１の認識手段が認識していた操作と同じ操作を引き継いで認識する
   ことを特徴とする請求項６または７に記載の情報処理装置。
9. 前記所定の操作は、前記表示部に表示されている画像の縮小を指示する操作を含み、前記第１の認識手段は、２点の前記指示位置の間の距離に応じて前記縮小を指示する操作を認識し、前記第２の認識手段は、前記第１の認識手段が前記縮小を指示する操作を認識している間に前記検出手段に検出される指示位置数が減った場合に、前記縮小を指示する操作を引き継いで認識する
   ことを特徴とする請求項５乃至８のいずれか１項に記載の情報処理装置。
10. 前記所定の物体を撮像した画像は、距離画像センサによって撮像された距離画像であって、
    前記距離画像センサは、前記所定の物体と、前記所定の物体を用いたタッチ入力の対象となる操作面との間の距離に対応する軸に沿った距離情報が前記距離画像の画素値に反映されるように設置される
    ことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記第１の認識手段は、前記距離画像から検出される前記指示位置と前記操作面の間の距離に応じて、前記所定の物体と前記操作面とのタッチ状態を認識し、前記第２の認識手段は、前記距離画像から検出される前記所定の物体の重心の位置と前記操作面との間の距離に応じて前記所定の物体と前記操作面とのタッチ状態を認識する
    ことを特徴とする請求項１０に記載の情報処理装置。
12. 更に、前記出力手段は、前記検出手段によって検出された指示位置の数が０点に遷移した場合、前記距離画像に基づいて推定される前記所定の物体と操作面との間の距離が所定の条件より小さいことに基づいて前記第２の認識手段による認識結果を出力する出力手段
    ことを特徴とする請求項１０または１１に記載の情報処理装置。
13. 前記出力手段は、前記検出手段によって検出された指示位置の数が３点以上に遷移した場合、前記第２の認識手段の認識結果を出力する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 前記第１の認識手段は、前記検出手段によって検出された２点の前記指示位置の間の距離の変化に基づいて、所定の表示部に表示されている画像を拡大あるいは縮小させる指示を表す操作を認識し、
    前記抽出手段は、前記所定の物体を撮像した画像のうち、前記所定の物体の像に対応する領域に基づいて、前記所定の物体の大きさに関する特徴を抽出し、
    前記第２の認識手段は、前記抽出手段によって抽出される、前記所定の物体の大きさに対応する特徴の変化に基づいて、前記表示部に表示されている画像を拡大あるいは縮小させる指示を表す操作を認識する
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の情報処理装置。
15. 前記第１の認識手段は、前記検出手段によって検出された２つ以上の前記指示位置の相対的な回転に基づいて、所定の表示部によって表示されている画像を回転させる指示を表す操作を認識し、
    前記抽出手段は、前記所定の物体を撮像した画像のうち、前記所定の物体の像に対応する領域の形状に関する情報に基づいて、前記所定の物体の方向に関する特徴を抽出し、
    前記第２の認識手段は、前記抽出手段によって抽出される、前記所定の物体の方向に対応する特徴の変化に基づいて、前記表示部に部に表示されている画像を回転させる指示を表す操作を認識する
    ことを特徴とする請求項１乃至１４のいずれか１項に記載の情報処理装置。
16. 更に、前記検出手段によって検出された前記指示位置の数の遷移に基づいて、前記第１の認識手段と前記第２の認識手段のいずれかを選択する選択手段を備え、
    前記第１の認識手段及び前記第２の認識手段は、前記選択手段に選択されたことに応じて、前記所定の物体を用いて入力された操作の認識を実行することを特徴とする請求項１乃至１５のいずれか１項に記載の情報処理装置。
17. 前記所定の物体は、操作者の片手であって、
    前記抽出手段は、前記操作者の片手を撮像した画像のうち前記片手が撮像された手領域の特徴を抽出し、
    前記検出手段は、前記手領域のうち、１以上の指先の位置を検出することを特徴とする請求項１乃至１６のいずれか１項に記載の情報処理装置。
18. 検出手段により、所定の物体を撮像した画像から、前記所定の物体の一部によって示される指示位置を検出する検出工程と、
    抽出手段により、前記画像から、前記所定の物体の状態に関する特徴を抽出する抽出工程と、
    第１の認識手段により、前記検出工程において検出された２つ以上の前記指示位置の位置関係の変化に基づいて、所定の操作を認識する第１の認識工程と、
    第２の認識手段により、前記抽出工程において抽出された特徴の変化に基づいて、前記所定の操作を認識する第２の認識工程と、
    出力手段により、前記第１の認識手段及び前記第２の認識手段のうち、検出された前記指示位置の数の遷移に応じたいずれかによる認識結果を出力する出力工程と、
    を備えることを特徴とする情報処理装置の制御方法。
19. コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項１８に記載された情報処理装置の制御方法を実行させるプログラム。
20. 請求項１９に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
21. 操作者の手を撮像した画像から、前記手のうち１以上の指先の位置を検出する検出手段と、
    前記画像から、前記指先の位置とは異なる前記手の状態を表す特徴を抽出する抽出手段と、
    前記検出手段によって検出された前記指先の位置の数が２以上の所定の数である場合、検出された前記所定の数の指先の位置の位置関係の変化に基づいて、前記操作者によって入力される所定の操作を認識し、前記検出手段によって検出された前記指先の位置の数が前記所定の数から減少した場合、前記抽出手段によって抽出された特徴の変化に基づいて、前記所定の操作の認識を続ける認識手段
    を備えることを特徴とする情報処理装置。
22. 検出手段により、操作者の手を撮像した画像から、前記手のうち１以上の指先の位置を検出する検出工程と、
    抽出手段により、前記画像から、前記指先の位置とは異なる前記手の状態を表す特徴を抽出する抽出工程と、
    認識手段により、前記検出工程において検出された前記指先の位置の数が２以上の所定の数である場合、検出された前記所定の数の指先の位置の位置関係の変化に基づいて、前記操作者によって入力される所定の操作を認識し、前記検出工程において検出された前記指先の位置の数が前記所定の数から減少した場合、前記抽出手段によって抽出された特徴の変化に基づいて、前記所定の操作の認識を続ける認識工程
    を備えることを特徴とする情報処理装置の制御方法。
23. コンピュータに読み込ませ実行させることによって、前記コンピュータに、請求項２２に記載された情報処理装置の制御方法を実行させるプログラム。
24. 請求項２３に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。