JP5177075B2 - 動作認識装置、動作認識方法、プログラム - Google Patents
動作認識装置、動作認識方法、プログラム Download PDFInfo
- Publication number
- JP5177075B2 JP5177075B2 JP2009120193A JP2009120193A JP5177075B2 JP 5177075 B2 JP5177075 B2 JP 5177075B2 JP 2009120193 A JP2009120193 A JP 2009120193A JP 2009120193 A JP2009120193 A JP 2009120193A JP 5177075 B2 JP5177075 B2 JP 5177075B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- signal
- value
- sensor
- gesture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Details Of Television Systems (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Radiation Pyrometers (AREA)
- Geophysics And Detection Of Objects (AREA)
Description
1つには、撮像装置によりジェスチャを行っている被写体を撮像して得られる画像信号について動き解析の画像信号処理を行うことで、ジェスチャ認識を行おうというものが知られている。
また、1つには、加速度センサなどを実装したリモートコントロール装置を提供し、例えばユーザがこのリモートコントロール装置を持つなどして行った動きに応じて得られる加速度センサの検出信号に基づいてジェスチャ認識を行おうとするものである。
また、例えば人体が発する赤外線を検出する赤外線検出素子を利用して人の動きを検知しようとする技術も知られている。
上記のジェスチャ認識の結果は、例えば、電子機器の操作コマンドに適用できる。つまり、ユーザが特定のジェスチャとしての動きをすることにより、電子機器を遠隔操作することが可能になる。
また、特許文献2には、焦電センサを用いたうえで、人体と小動物との弁別が行えるようにした侵入検知システムの構成が記載されている。
また、特許文献3には、テレビジョン受像器において上下左右の十字状に4つの赤外線検出素子を配置し、これらの赤外線検出素子により得られる検出信号の時間差に基づいて、ユーザの左右方向に沿った手の動きによるジェスチャに応じてはチャンネルの切り替えを行い、上下方向に沿った手の動きによるジェスチャに応じては音量の調節を行うようにした構成が記載されている。
また、特許文献4には、赤外線検出素子の検出信号について、所定周波数以上の信号のみを通過させるフィルタ部を用いることで、人体の特定部位の特定方向の早い動きのみを認識可能とした構成が記載されている。
また、特許文献5には、それぞれ2つの人体検知エリアを有する焦電型赤外線センサを2つ用いて、一軸方向における人体移動方向判別を行う構成が記載されている。
つまり、1つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第1の方向及び第2の方向に対して異なるようにして配置される、第1,第2の一次元センサ手段と、上記第1,第2の一次元センサ手段から出力される第1、第2の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手段と、同じ時間ごとの上記正規化された第1の信号の値に基づくx座標値と、上記正規化された第2の信号の値に基づくy座標値とにより、位相平面上に対して座標をプロットするようにして、上記第1,第2の時系列に応じた信号軌跡を形成する、位相平面写像化処理手段と、上記信号軌跡を形成する座標値を利用して、第1,第2の信号についての相関係数を求める相関係数算出手段と、少なくとも上記相関係数の値が正/負の何れであるのかに基づいて、検出された動きが、上記第1の方向の動作であるか、上記第2の方向の動作であるのかを判定する動作判定手段とを備えることとした。
そのうえで、第1,第2の一次元センサ手段からの信号については、正規化を行った上で、位相平面上に写像することで信号軌跡を形成し、さらに、信号軌跡についての相関係数を求める。
上記信号軌跡の形状は、第1,第2の一次元センサ手段から出力される信号の位相、極性が反映されている。このために、信号軌跡から求められる相関係数の正/負は、検出した動きが第1の方向の動きと第2の方向の動きの何れであるかに対応する。従って、相関係数に基づいて第1の方向の動きと第2の方向の動きとを弁別するようにして判定できる。
<1.実施形態におけるジェスチャ操作の態様例>
<2.写真立て型表示装置の構成例>
<3.一次センサによる移動方向の検出原理>
<4.考え得る一次センサの配置態様例>
<5.実施形態としての一次センサの配置態様例>
<6.ジェスチャ動作判定のための信号処理構成>
[6−1.正規化処理、位相平面写像化処理]
[6−2.水平・垂直方向のジェスチャ動作判定]
[6−3.左右動作方向判定、上下動作方向判定]
[6−4.左右回転動作判定]
<7.ジェスチャ動作判定のためのアルゴリズム>
<8.位相平面写像化処理の変形例>
<9.一次センサの配置態様についての変形例>
本実施形態においては、本願発明のジェスチャ認識装置を、写真立て型表示装置に適用する。本実施形態の写真立て型表示装置は、ユーザが行ったジェスチャ操作としての所定の手の動き・動作(ジェスチャ動作)を認識すると、これを操作コマンドとして受け付け、しかるべき応答動作を実行する。
この場合の写真立て型表示装置1は、例えば幅が20cm〜25cm前後、高さが15cm前後の外形サイズであり、卓上などに置いておくのに適するものとなっている。
上記表示画面部3は、写真立て型表示装置1に採用されたディスプレイデバイスにおける画像パネル部分となる。
1:手を右から左に向かって直線的に移動させる左動作。
2:手を左から右に向かって直線的に移動させる右動作。
3:手を下から上に向かって直線的に移動させる上動作。
4:手を上から下に向かって直線的に移動させる下動作。
そのうえで、本実施形態では、上記4つの基本のジェスチャ動作を認識する構成を適用して、さらに、下記の2つの動作も、ジェスチャ動作として定めることができる。
5:手を左回り(反時計回り)に円周状に回しながら移動させる左回転動作。
6:手を右回り(時計回り)に円周状に回しながら移動させる右回転動作。
先ず、左動作/右動作のそれぞれは、写真立て型表示装置1において表示させている画像の送り/戻しの操作コマンドとして割り当てる。
また、本実施形態の写真立て型表示装置1は、メモリに記憶されている画像を一定時間ごとに順次表示させていくスライドショー表示が可能とされている。上動作/下動作のそれぞれは、このスライドショー表示の開始/停止のための操作コマンドとして割り当てる。
また、本実施形態の写真立て型表示装置1は、例えば写真画像の表示のほか、時計、カレンダーなどを表示させることが可能であり、操作に応じて、これらの表示を切り換えることが可能である。左回転動作/右回転動作は、このような表示切り換えを、所定の送り順、戻し順により切り換えていくための操作コマンドとして割り当てる。
図2は、本実施形態に適用できる写真立て型表示装置1の内部構成例を示している。
この図に示すように、本実施形態の写真立て型表示装置1は制御部(CPU:Central Processing Unit)11、ディスプレイデバイス12、フラッシュメモリ13、SDRAM14、時計部15、操作部16、メモリカードインターフェース17、及びセンサ部5を備えて成るものとしている。
ここでのSDRAM14は、制御部11の主記憶装置となるもので、補助記憶装置がフラッシュメモリ13となる。
本実施形態ではディスプレイデバイス12として液晶ディスプレイを採用するものとするが、例えば有機ELディスプレイデバイスなどをはじめ、他のディスプレイデバイスが採用されてよい。
また、写真立て型表示装置1に対する操作をリモートコントローラにより行えるようにされている場合には、この操作部16には、写真立て型表示装置1とは別体のリモートコントローラと、写真立て型表示装置1側に設けられて、リモートコントローラから送信されたコマンド信号を受信復調して、操作信号として制御部11に渡す受信部も含まれることになる。
ユーザは、例えばデジタルスチルカメラなどで撮影した画像データが保存されているメモリカード20を、写真立て型表示装置1に対して装填し、画像表示のための操作を行う。
この操作に応じては、制御部11は、メモリカードインターフェース17を介して、メモリカード20に記憶されている画像データを読み出し、ディスプレイデバイス12にて画像として表示させるための制御を実行する。
これにより、写真立て型表示装置1の表示画面部3において、ユーザが装填したメモリカード20に保存されている画像データの画像が表示されることになる。
この場合には、先ず、ユーザは、写真立て型表示装置1に対してメモリカード20を装填して、ここに記憶されている画像データを、フラッシュメモリ13に対して転送して記憶させるための操作を実行する。このときには、例えばメモリカード20に記憶されている画像データのうちから、フラッシュメモリ13に記憶させる画像データを選択する操作が行えるようにされている。
この操作に応じて、制御部11は、メモリカード20から選択された画像データを順次読み出し、メモリカードインターフェース17を介してフラッシュメモリ13に対して書き込み命令を実行するとともに、データを転送する。この命令に応じて、フラッシュメモリ13は、転送されてきた画像データを書き込んで、ファイル単位で管理されるようにして保存させる。なお、フラッシュメモリ13においてファイル単位で管理される画像データは、静止画像データとされ、ここではJPEG(Joint Photographic Expert Group)形式による画像ファイルとして管理されるものとする。また、フラッシュメモリ13は、ファイルシステムとして、あくまでも一例であるがFATを採用しているものとする。
先ず、フラッシュメモリ13若しくはメモリカード20に記憶されている画像データのうちから選択した1つの画像データのみを継続して表示させる、1枚表示を行うことができる。
また、フラッシュメモリ13若しくはメモリカード20に記憶されている画像データのうちから選択した複数の画像を、一定時間ごとに変更させていくようにして順次表示していく、スライドショーといわれる表示を行うことができる。また、このスライドショー表示においては、一定時間ごとに1枚ずつ表示させていくことも可能であるし、一定時間ごとに複数枚ずつを表示させていくことも可能である。
さらに、本実施形態の写真立て型表示装置1は、現在時刻を示す時計、またカレンダーなどを表示することも可能とされているが、これらの時計、カレンダーなどとともに、フラッシュメモリ13若しくはメモリカード20に記憶されている画像データを同時に再生表示することも可能である。
また、フラッシュメモリ13若しくはメモリカード20に記憶されている画像データのサムネイル画像を一覧して表示させることも可能とされている。
本実施形態は、センサ部5として、一次元、即ち一軸方向の動きを検出可能なセンサである一次元センサを採用する。
一次元センサとしてはいつくかの方式が知られているが、本実施形態では、2つの赤外線検出素子を備える、いわゆるデュアル型焦電センサを採用する。焦電センサ自体は周知のようにして、焦電効果を応用した赤外線検出を行うことにより、背景温度と対象物(赤外線放射物体)との温度差に応じた信号を出力するセンサである。
図3に示す一次センサ40は、集光器41、焦電センサ部42、アンプ・フィルタ43を有して成るものとされる。
集光器41は、例えばフレネルレンズなどから成り、入射光を焦電センサ部42における2つの赤外線検出素子に対して分離して集光させるように形成されている。
デュアル型焦電センサ部42は、一次元に対応する一軸の検出軸に対応させて配置させた2つの赤外線検出素子を備える。
これら2つの赤外線検出素子のそれぞれは、それぞれの配置位置に対応する空間検出領域における対象物と、背景との温度差を検出し、検出される温度差に応じた信号を出力する。焦電センサ部42では、これら2つの赤外線検出素子からの信号を合成して検出信号として出力する。この検出信号が、一軸方向における移動方向を示している。
アンプ・フィルタ43は、上記検出信号について、例えばノイズ成分除去などのための所定以上の周波数成分のみを通過させるフィルタリング処理、また増幅などを行ってセンサ信号として出力する。
このデュアル型の焦電センサ42は、図示するようにして、2つの赤外線検出素子51A,51Bを備えている。これら赤外線検出素子51A,51Bは、図示するようにして、トランジスタTrのゲート端子と、焦電センサ42の外部ゲート端子Gとの間において、直列に接続されるようにして挿入される。ここで、赤外線検出素子51A,51Bは、その負極同士が直列に接続される。つまり、赤外線検出素子51A,51Bは、互いに反転した極性により直列接続されている。赤外線検出素子51Aの正極はトランジスタのゲート端子に接続され、赤外線検出素子51Bの正極は、外部ゲート端子Gに接続される。
また、赤外線検出素子51A,51Bの直列接続に対しては、並列に抵抗R1が接続される。また、外部ゲート端子GとドレインDとの間にはゲート−ソース間抵抗R2が挿入される。
このデュアル型の焦電センサ42は、図4(a)に示すようにして、2つの赤外線検出素子51A,51Bを備えている。これら赤外線検出素子51A,51Bは、物理的には図4(b)により後述する位置関係により配置されたうえで、集光器41を介して集光された赤外線が入射されるようになっている。
また、これら赤外線検出素子51A,51Bは、図示するようにして、トランジスタTrのゲート端子と、焦電センサ42の外部ゲート端子Gとの間において、直列に接続されるようにして挿入される。ここで、赤外線検出素子51A,51Bは、その負極同士が直列に接続される。つまり、赤外線検出素子51A,51Bは、逆極性により直列接続されている。赤外線検出素子51Aの正極はトランジスタTrのゲート端子に接続され、赤外線検出素子51Bの正極は、外部ゲート端子Gに接続される。
また、赤外線検出素子51A,51Bの直列接続に対しては、抵抗R1が並列に接続される。また、外部ゲート端子Gとドレイン端子Dとの間にはゲート−ソース間抵抗R2が挿入される。
焦電センサ42の検出信号は、ソース端子Sとゲート端子Gとの間のゲート-ソース間電圧Vdとして得られる。
また、動作方向1,2は、互いに逆方向の動きとなるので、動作方向1を正方向とすれば、動作方向2は逆方向となる関係である。
なお、赤外線検出素子は、厳密には、上記のようにして、検出軸Lに沿った対象物の移動に応じては、その動きに応じた背景と対象物の温度差の変化を検出するが、説明の記載を簡単にするために、以降においては、「動きに応じた背景と対象物の温度差の変化の検出」を、赤外線検出素子による「動きの検出」であるとして記載することとする。
この場合の赤外線検出素子51Aの信号Saは、動きの検出を開始したことに応じて、時点t0において正レベルの正弦波が立ち上がり、時点t2にて0の振幅となって動きの検出が終了したことが示されている。
これに対して、赤外線検出素子51Bは赤外線検出素子51Aよりも遅れて動きの検出を開始することになる。図4(a)においては、信号Sbは、時点t1にて検出を開始したものとしている。これにより、時点t1において、負のレベルによる正弦波が発生する状態として示されている。そして、時点t3において動きの検出が終了して0レベルとなっている。
図4(a)により説明したように、赤外線検出素子51Aと赤外線検出素子51Bとは逆極性で接続されている。このために、動きを検出して得られる信号Sa,Sbの波形については互いに反転したものとなっている。
つまり、図5(a)に示される検出信号Vdは、先ず、時点t0〜時点t1において、信号Saと同じ正レベルの半周期分の正弦波となる。また、時点t1〜時点t2において、信号Saと信号Sbを合成したことで、時点t0〜時点t1に対して絶対値がほぼ倍となった負のレベルの半周期分の正弦波となる。そして、時点t2〜時点t3において、信号Sbと同じ正レベルの半周期分の正弦波が現れるものとなる。
このときの赤外線検出素子51A,51Bの各信号Sa,Sbと、検出信号Vdとを、図5(b)に示す。
図5(b)において、信号Saは、時点t1から正レベルの正弦波が立ち上がるものとなっている。信号Sbは、時点t0において負レベルの正弦波が開始されるものとなっている。
そして、検出信号Vdは、先ず、時点t0〜時点t1において、信号Sbと同じ負レベルの半周期分の正弦波となる。また、時点t1〜時点t2において、信号Saと信号Sbを合成したことで、時点t0〜時点t1に対して絶対値がほぼ倍となった正のレベルの半周期分の正弦波となる。そして、時点t2〜時点t3において、信号Saと同じ負レベルの半周期分の正弦波が現れるものとなる。
ここで、本実施形態としては、図1により説明したように、ジェスチャ動作として、左動作、右動作、上動作、下動作、また、右回転動作、左回転動作を認識するものとしている。
ここでは説明を簡単で分かりやすいものとするために、より単純に、上記6つのジェスチャ動作のうち、左動作、右動作、上動作、下動作の4つの動作を検出可能とすることを考えてみる。
このため、一次元センサの検出軸としては、水平(横)方向に対応する検出軸と、垂直(縦)方向に対応する検出軸との2つが必要であり、従って、一次元センサとしても2つが必要であることになる。
図6(a)には、2つの一次元センサ40−1、40−2が示されている。一次元センサ40−1の検出軸はL1であり、一次元センサ40−2の検出軸はL2である。
一次元センサ40−1については、その検出軸L1が、垂直(縦)方向と一致する向きにより配置する。これに対して、一次元センサ40−2については、その検出軸L2が、水平(横)方向と一致する向きにより配置する。つまり、一次元センサ40−1,40−2について、互いの検出軸が直交する位置関係により配置する。
なお、ここでは、一次元センサ40−1の下に一次元センサ40−2を配置している。
これらの空間検出領域60A−1、60B−1は、対応する赤外線検出素子51A−1,51B−1の形状と配置角度に応じて、水平方向に長い長方形の断面となる空間を形成している。また、位置関係としては、対応する赤外線検出素子51A−1,51B−1の配置位置関係に応じて、空間検出領域60A−1のほうが上で、空間検出領域60B−1が下となる位置関係となっている。
これらの空間検出領域60A−2、60B−2は、対応する赤外線検出素子51A−2,51B−2の形状と配置角度に応じて、水平方向が短辺となる長方形の断面による空間を形成している。また、位置関係としては、対応する赤外線検出素子51A−2,51B−2の配置位置関係に応じて、空間検出領域60A−2のほうが左で、空間検出領域60B−2が右となる位置関係となっている。
一例として右動作が行われたとする場合には、一次元センサ40−2側においては、先ず、右動作を行っているユーザの手(対象物)が、空間検出領域60A−2を通過し、次に空間検出領域60A−1を通過する。これに応じて、図5に示したように、赤外線検出素子51A−2,51B−2においては、時間差を有して動きを検出して信号Sa,Sbを出力し、有意の検出信号Vdを出力する。この検出信号Vdにより、対象物が右方向に移動したことが示されていることになる。
これに対して、垂直方向を検出軸とする一次元センサ40−1側においては、空間検出領域60A−1、60A−2を同時に対象物が通過する。このときに赤外線検出素子51A−1,51B−1から出力される信号Sa,Sbは、例えば図5からも分かるように、互いに逆相となる。従って、検出信号Vdとしては、0レベルとなる。つまり、上下方向に沿った移動は無いことを示す。
図7(a)(b)(c)のそれぞれは、本願発明者の実験結果として、図6に示した一次元センサ40−1、40−2の配置のもとで、ジェスチャ動作として右動作を行った場合に得られたセンサ信号S1とセンサ信号S2とを示している。センサ信号S1は、垂直方向が検出軸である一次元センサ40−1から出力され、センサ信号S2は、水平方向が検出軸である一次元センサ40−2から出力される信号であり、その波形は、内部の焦電センサ部42から出力される検出信号Vdに相当する。
一方、垂直方向の検出軸に対応するセンサ信号S1については、本来であれば、ほぼ0レベルが維持されるべきであることになる。しかし、実際に得られるセンサ信号S1は、図7(a)に示されるように振幅が非常に小さい場合もあれば、図7(b)(c)のようにして大きな振幅が得られる場合もある。さらには、センサ信号S2に対するセンサ信号S1の位相として、図7(b)の場合には、ほぼ同位相であるのに対して、図7(c)の場合には、逆相になっている。このようにして、センサ信号S1については振幅、位相ともにその出現の仕方に一定性がない。
このように、ジェスチャ動作としての動きに沿った方向を検出軸とする一次元センサのセンサ信号は安定しているが、これと直交する方向を検出軸とする一次元センサのセンサ信号は不安定になる。
つまり、現実における対象物の移動方向は、赤外線検出素子の検出軸と厳密に一致するものではない。このために、一方の検出軸に沿って対象物を移動させているつもりでも、その移動方向が、上記一方の検出軸に対して角度を持つと、他方の検出軸に対応する赤外線検出素子にて、その角度のずれに応じた信号の振幅が生じてしまう。
例えば、右動作を行っているとして、そのときに上方向にも或る程度移動していると、一次元センサ40−1のセンサ信号としては、上方向への移動を示す振幅が生じ、逆に下方向にも或る程度移動していると、一次元センサ40−1のセンサ信号としては、下方向への移動を示す振幅が生じる。
例えば最も分かりやすい場合として、ジェスチャ動作の方向に対して直交する検出軸に対応するセンサ信号の振幅が、ジェスチャ動作の方向に対応する検出軸に対応するセンサ信号の振幅と同程度にまで大きくなった状態を想定してみる。
正しいジェスチャ認識結果を得るには、センサ信号S1、S2のうちから、真のジェスチャ動作の方向に対応するセンサ信号を選択する必要がある。ここで、例えば単純に振幅レベルの大小関係に基づいて真のジェスチャ動作の方向に対応するセンサ信号を選択するようにして構成したとすると、上記の状態のときには、選択を誤る可能性が非常に高い。また、ジェスチャ動作に応じて出現し得る波形パターンに、より近似した波形を持つセンサ信号を真のジェスチャ動作の方向に対応するものとして選択するようなアルゴリズムによるとしても、位相,振幅ともに不安定であるから、真のジェスチャ動作の方向に対応していないセンサ信号の波形のほうが、より高い近似率となってしまう可能性も低くはない。
このようにして、図6に示す一次元センサ40−1、40−2の配置態様では、信頼性の高いジェスチャ認識結果を得ることが難しい。
そこで、本実施形態としては、一次センサを用いたジェスチャ認識について、これまでよりも高い認識精度が得られるようにすることを目的とする。
本実施形態としては、先ず、図1にて述べたように、上下左右に対応した4つのジェスチャ動作が基本となる。即ち、ジェスチャ操作として認識すべき動作方向としては、先ず、水平(横)方向(第1の方向)と、垂直(縦)方向(第2の方向)であることになる。
つまり、一次元センサ40−1については、その検出軸L1が水平方向・垂直方向に対して45°となる角度により傾けて配置する。ここでは、操作者側(正面方向)から見て右に傾けている。また、一次元センサ40−1の上下の向きについては、赤外線検出素子51A−1が上側で、赤外線検出素子51B−1が下側となる向きで配置している。
また、一次元センサ40−2についても、その検出軸L2が水平方向・垂直方向に対して45°となる角度により傾けて配置する。ただし、傾きの方向は、一次元センサ40−1とは反対の左向きであり、検出軸L2が、一次元センサ40−1の検出軸L1と直交する向きで45°の傾きを与えている。
またここでは、上記の傾き状態において、赤外線検出素子51B−2が上側で、赤外線検出素子51A−2が下側となる向きにより配置している。
これにより、赤外線検出素子51A−1,51B−1は、垂直方向に沿った上動作・下動作のジェスチャ動作に応じて、時間差をもって動きを検出することが可能になる。同様に、水平方向に沿った左動作・右動作のジェスチャ動作に応じても、時間差をもって動きを検出することが可能になる。これにより、赤外線検出素子51A−1,51B−1、水平・垂直方向の何れのジェスチャ動作にも対応して、図5により説明した信号Sa,Sbを出力できることになる。つまり、一次元センサ40−1は、水平・垂直方向の何れのジェスチャ動作にも対応して動きを検出して、安定したセンサ信号S1を出力できる。
同様にして、一次元センサ40−2も、水平・垂直方向の何れのジェスチャ動作にも対応して動きを検出して、安定したセンサ信号S2を出力可能になる。
図8に示した一次元センサ40−1,40−2(赤外線検出素子51A−1,51B−1,51A−2,51B−2)の配置による場合、右動作を検出することによっては、センサ信号S1,S2の何れについても、図5(b)の検出信号Vdに対応する波形が得られる。図9に示すセンサ信号S1,S2は、何れも図5(b)の検出信号Vdに対応する波形となっている。実験によっては、この図9と同等と見ることのできる波形が、センサ信号S1,S2とで安定して得られることが確認されている。
なお、ここにおいて示される波形は、一次元センサ40−1(赤外線検出素子51A−1,51B−1)に対応する空間検出領域60A−1,60B−1の組と、一次元センサ40−2(赤外線検出素子51A−2,51B−2)に対応する空間検出領域60A−2,60B−2の組との物理的な距離差に応じて生じる検出時間差を排除したものとなっている。
空間検出領域が空間上で交差しても、赤外線検出素子側での検出には特に支障はない。従って、実際においても、一次元センサ40−1(赤外線検出素子51A−1,51B−1)に対応する空間検出領域60A−1,60B−1と、一次元センサ40−2(赤外線検出素子51A−2,51B−2)に対応する空間検出領域60A−2,60B−2とが重複するようにして調整し、検出時間差が問題にならなくなるようにすることができる。
図10(b)は、右動作の場合に得られるセンサ信号S1,S2を示している。右動作の場合のセンサ信号S1,S2は、それぞれ、上記図10(a)の波形を反転したものとなる。つまり、センサ信号S1,S2は、図5(b)の検出信号Vdに対応した同相の波形となる。なお、図9の波形は、この図10(b)に対応することになる。
この場合には、センサ信号S1が図5(a)の検出信号Vdに対応する波形で、センサ信号S2が図5(b)の検出信号Vdに対応する波形とされたうえで、互いに逆相となっている。
この場合のセンサ信号S1,S2は、上記図10(c)に対してそれぞれ反転した波形となっている。つまり、センサ信号S1が図5(b)の検出信号Vdに対応する波形で、センサ信号S2が図5(a)の検出信号Vdに対応する波形とされたうえで、互いに逆相となっている。
[6−1.正規化処理、位相平面写像化処理]
そして本実施形態では、図8の一次元センサ40−1,40−2の配置態様としたうえで、以降説明するようにして、センサ信号S1,S2について信号処理を行ってジェスチャ認識を行う構成を採ることとした。
本実施形態においては、このようにして得られたセンサ信号S1,S2について、それぞれ、正規化処理を行う。
この正規化処理として、先ず、センサ信号S1については、ジェスチャ動作に対応する動きを検出したことに応じて振幅が変化したとされる、有意な信号区間(ジェスチャ動作期間)における最大値Vp1を求める。なお、この最大値Vp1は、絶対値として取得する。そのうえで、同じジェスチャ動作期間において得られているセンサ信号S1の振幅値を、上記最大値Vp1により除算する。これにより、センサ信号S1の振幅値は、−1〜1の範囲内で、最大値Vp1との比により示される値となるようにして正規化される。
センサ信号S2についても、同様にして、ジェスチャ動作期間における絶対値による最大値Vp2を求め、同じジェスチャ動作期間において得られているセンサ信号S2の振幅値を、上記最大値Vp2により除算する。これにより、その振幅値は、−1〜1の範囲において最大値Vp2との比により示される値となるようにして正規化される。
そこで、本実施形態では、上記の正規化処理を実行することにより、ピーク値(絶対値)との比に応じた−1〜+1の範囲の値に変換することとしている。これにより、センサ信号S1,S2は、実際の振幅のばらつき要因が排除された正規な値を持つことになる。
図11(a)に示したセンサ信号S1,S2に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果を、図11(b)に示す。
より具体的には、ジェスチャ動作期間に対応して得られるN個の正規化センサ信号NOM_S1,NOM_S2のサンプルデータのうち、それぞれ、i番目のサンプルデータの値をxi,yiとすると、N個のサンプルデータに対応する全ての座標(xi,yi)を求める処理となる。
これにより、模式的には、図11(b)の位相平面上において描かれている曲線は、上記座標のプロットを時間経過に従って行っていた結果、つまり、プロットした点の軌跡として示されることになる。なお、この軌跡としての曲線は、センサ信号S1,S2に基づくものであることに因み、以降、信号軌跡ともいう。
図12は、水平方向のジェスチャ動作である、右動作・左動作に対応した位相平面写像化処理の結果例を示している。
図12(a)には、ジェスチャ動作として、右動作に続けて左動作を行った場合において得られたセンサ信号S1,S2を示している。この図のセンサ信号S1,S2における右動作検出期間は、右動作の検出に応じて有意な振幅が得られたとする波形区間であり、左動作検出期間は、左動作の検出に応じて有意な振幅が得られたとする波形区間である。
また、左動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図12(c)に示す位相平面上の信号軌跡が得られる。
図13(a)には下動作に続けて水平方向のジェスチャ動作である、上動作を行った場合において得られたセンサ信号S1,S2を示している。この図のセンサ信号S1,S2における下動作検出期間は、下動作の検出に応じて有意な振幅が得られたとする波形区間であり、上動作検出期間は、上動作の検出に応じて有意な振幅が得られたとする波形区間である。
また、上動作検出期間に対応する正規化センサ信号NOM_S1、正規化センサ信号NOM_S2により位相平面写像化処理を実行した結果としては、図13(c)に示す位相平面上の信号軌跡が得られる。
相関係数rは、下記のようにして求めることができる。
また、垂直方向のジェスチャ動作に対応するものとして、図13(b)(c)の位相平面に示される下動作、上動作の信号軌跡も共通の特徴を持ちながら、その特徴は、上記図12(b)(c)とは異なるものとなる。
つまり、図13(b)(c)の信号軌跡にあてはめた楕円Eの長軸に対応する直線Lは下動作と上動作の何れについても、右下がりとなるものであり、一次関数y=ax+bにより表される直線としてみた場合には、a<0の直線となる。
このような特徴は、先に図10にて説明した、センサ信号S1,S2の極性、及び相互の位相の関係に応じて現れるものである。
このことからすれば、信号軌跡に対応して得られる直線Lの傾きについて、これが右上がりであれば、水平方向のジェスチャ動作であると認識し、右下がりであれば、垂直方向のジェスチャ動作であると認識すればよいことになる。
一方、図13(b)(c)に示される信号軌跡については、実際には、−0.75〜−0.8程度の値が求められる。
上記のようにして、ジェスチャ動作が水平方向と垂直方向の何れに沿ったものであるのかについては、正規化センサ信号NOM_S1,NOM_S2の間での位相平面上での相関の度合いを示す相関係数rに基づいて判定することができる。
すると、水平方向のジェスチャ動作であると判定したことに応じては、次に左動作・右動作の何れであるのかを認識すべき必要があることになる。また、垂直方向のジェスチャ動作であるとの判定結果に応じては、上動作・下動作の何れであるのかを認識する必要があることになる。
図12(b)に示される右動作に応じた信号軌跡に対応する楕円Eは、その直線Lが右上がりとなる傾きを有した上で、原点に対して第1象限のほうに偏倚している状態であるとみることができる。
これに対して、図12(c)に示される左動作に応じた信号軌跡に対応する楕円Eは、その直線Lが右上がりとなる傾きを有しているのは同様であるが、図12(b)とは逆に、原点に対して第3象限のほうに偏倚している状態であるとみることができる。
このような位相関係により、先ず、下動作に応じて形成される信号軌跡に対応する楕円Eは、図13(b)に示すように、その直線Lが右下がりの傾きを有した上で、原点に対して第2象限のほうに偏倚する状態となる。これに対して、上動作に応じた信号軌跡に対応する楕円Eは、図13(c)に示されるように、その直線Lが右下がりとなる傾きを有したうえで、図13(b)とは逆に、原点に対して第4象限のほうに偏倚している状態となる。
同様に、垂直方向のジェスチャ動作については、信号軌跡としての包括形状(楕円E)が、位相平面において第2象限に偏倚していれば下動作であり、第4象限のほうに偏倚していれば上動作であるということがいえる。
この重心Gは、位相平面上での座標G(gx,gy)として求められる。
図12(b)(c)、図13(b)(c)においては、直線Lとしての楕円Eの長径の中点として示されている。但し、これはあくまでも模式的なものであり、実際に求められる重心Gの座標は、必ずしも直線Lと一致するものではない。
つまり、アルゴリズムとして、水平方向のジェスチャ動作の場合には、重心G(gx,gy)が第1象限に位置するのであれば右動作であると認識し、第3象限に位置するのであれば左動作であると認識することができる。また、垂直方向のジェスチャ動作の場合には、重心G(gx,gy)が第2象限に位置するのであれば下動作であると認識し、第4象限に位置するのであれば上動作と認識することができる。
また、重心位置G(gx,gy)は、水平方向のジェスチャ動作として左動作と右動作の何れであるのかを判断し、垂直方向のジェスチャ動作として上動作とした動作との何れであるのかを判断するための評価値である。つまり、センサ信号S1,S2自体の極性(波形パターン)を評価するためのものとしてみることができる。
つまり、センサ信号S1,S2について、先ず、センサ信号S1,S2の振幅の最大値、最小値を求める。そして、求めた2つの最大値、最小値の時間差について閾値以内であるか否かを判断する。この閾値は、例えば、ジェスチャ動作に応じて一般的、平均的に得られるセンサ信号S1,S2の振幅値を基にして設定する。そして、センサ信号S1,S2の間でのピーク値の時間差により同位相であるか逆位相であるかを判断しようとするものである。また、センサ信号S1,S2の最大値、最小値についての時間的な出現順を判断することで、信号の極性を判断することもできる。
また、本実施形態では、位相平面写像化処理により形成される信号軌跡に基づき、対象物が円周形上の移動軌跡を描くようにして動く回転動作についても認識可能である。これに基づき、本実施形態では、図1にて説明したように、ジェスチャ操作として、上下左右の動作に加えて、右回転動作、左回転動作も含めることとしたものである。
そこで、続いては、本実施形態における回転動作の認識手法について説明する。
この図に示されるセンサ信号S1,S2は、1回の回転動作ごとに得られる波形としては、何れもM字状のピークの絶対値が正極側となる極性とされたうえで、センサ信号S2に対してセンサ信号S1のほうの位相が進むものとなる。
上下左右のジェスチャ動作の場合、センサ信号S1,S2は、同相(0°)若しくは逆相(180°)とみることのできる位相差の関係であったが、回転動作の場合には、図14(a)にも示されるように、センサ信号S1,S2には、180°よりも小さい位相差が生じる。このために、相関係数rの絶対値としては、上下左右のジェスチャ動作の場合よりも小さい値となる。つまり、信号軌跡の形状としてみた場合には、図14(b)のようにして、上下左右のジェスチャ動作の場合よりも円形状に近くなる。つまり、楕円形としてみれば、長径と短径の比率が1に近くなる。
従って、ジェスチャ動作が、回転動作であるのかどうかについての判定として、最も簡単な手法としては、相関係数rの絶対値について、回転動作に応じて得られるとされる程度に一定以下に小さい値であるか否かを判断すればよいことになる。
この信号軌跡の回転方向は、センサ信号S1,S2の位相差により決まる。つまり、図14(a)では、センサ信号S2に対してセンサ信号S1のほうの位相が進んでいるが、これに応じては、信号軌跡の回転方向は右方向となる。
この図のセンサ信号S1,S2は、1回の回転動作ごとに得られる波形としては、何れもM字状のピークの絶対値が負極側となる極性とされている。そのうえで、センサ信号S2に対してセンサ信号S1のほうの位相が遅れたものとなる。つまり、センサ信号S1,S2の位相差の関係としては、図14(a)の場合と逆になっている。
つまり、形成された信号軌跡の回転方向が全体傾向として右回りと左回りの何れの方向であるのかを求める。そして、求められた信号軌跡の回転方向が右回りであれば、ジェスチャ動作は右回転動作であると判定し、信号軌跡の回転方向が左回りであれば、ジェスチャ動作は左回転動作であると判定するものとすればよい。
そこで、本実施形態においては、信号軌跡を形成する座標ごとの外積を算出する。ここで、x軸とy軸から成る2次元平面における外積は、これら2つの軸に直交するz軸方向成分(z成分)のみを持ち、x方向成分及びy方向成分は0となる。この外積のz成分の総和の符号が正・負の何れであるのかにより、信号軌跡の回転方向についての全体傾向を求めることができる。
先ず、図16(a)には、
i番目の正規化センサ信号NOM_S1,NOM_S2のサンプルにより位相平面にプロットされた座標O(xi,yi,0)、
i+1番目の正規化センサ信号NOM_S1,NOM_S2のサンプルにより位相平面にプロットされた座標A(xi+1,yi+1,0)
i-1番目の正規化センサ信号NOM_S1,NOM_S2のサンプルにより位相平面にプロットされた座標B(xi-1,yi-1,0)
が示されている。
そのうえで、これらの座標の二次元平面上における位置関係は、座標O(xi,yi,0)の左側に座標A(xi+1,yi+1,0)が位置し、右側に座標B(xi-1,yi-1)が位置している状態が示されている。
ここで、座標O(xi,yi,0)を始点とする座標A(xi+1,yi+1,0)までの方向及び距離をベクトルaにより表し、座標O(xi,yi,0)を始点とする座標B(xi-1,yi-1,0)までの方向及び距離をベクトルbにより表したとする。すると、これらベクトルa、bの外積を求めると、このときのz成分の値としては、正の値を取るものになる。なお、ベクトルa、bの外積の絶対値については、16(a)により示される、ベクトルa、bに対応する線分を隣り合う辺として形成される平行四辺形の面積Sを表すものとなる。
また、図16(b)には、図16(a)における座標O(xi,yi,0)、A(xi+1,yi+1,0)、B(xi-1,yi-1,0)について、座標A(xi+1,yi+1,0)、B(xi-1,yi-1,0)の位置が入れ替わっている場合を示している。この場合において求められるベクトルa、bの外積の絶対値については、図16(a)と同じになる。つまり、平行四辺形の面積Sを表すものとなる。ただし、z成分の符号については負の値となる。
図16に従った場合、外積のz成分の総和値pの符号が正であれば、信号軌跡の回転方向の全体傾向は左回りであると判定される。つまり、ジェスチャ動作として左回転動作であると判定する。また、外積のz成分の総和値pの符号が負であれば、信号軌跡の回転方向の全体傾向は右回りであると判定される。つまり、ジェスチャ動作として右回転動作であると判定する。
これまでに説明した本実施形態のジェスチャ動作判定を実現するためのアルゴリズム例について説明する。
先ず、図17は、本実施形態の写真立て型表示装置1がジェスチャ判定部18の構成例を、ブロック構成により示している。このジェスチャ判定部18は、図2に示しているように、制御部11がプログラムを実行することにより実現される。この図においては、ジェスチャ判定部18とともに、一次元センサ40−1、40−2から成るセンサ部5も示している。
なお、ここでは図示していないが、ジェスチャ動作判定部18に入力される段階のセンサ信号S1,S2は、所定のサンプリング周波数と量子化ビット数によりサンプリングされたデジタル信号に変換されたものとなっている。
第1正規化処理部34は、図11にて説明したように、センサ信号S1を対象として正規化処理を実行して、−1〜+1の範囲で正規化した正規化センサ信号NOM_S1のサンプルデータ群を得る。
同様に、第2正規化処理部35も、第2センサ信号記録部32により記録されたセンサ信号S2のサンプルデータを取り込んで正規化処理を実行して、−1〜+1の範囲で正規化した正規化センサ信号NOM_S2のサンプルデータ群を得る。
上記正規化センサ信号NOM_S1,NOM_S2のサンプルデータ群は、位相平面写像化処理部36に対して渡される。
相関係数算出部37aは、受け取った信号軌跡のデータ(正規化センサ信号NOM_S1,NOM_S2のサンプルタイミングごとのデータ)を利用して、先に(数1)により説明した演算により、信号軌跡のデータ相関係数rを算出する処理を実行する。
重心算出部37bは、信号軌跡のデータを利用して、例えば先に(数2)により説明した演算により重心の座標G(gx,gy)を算出する。
回転方向算出部37cは、先に図16、(数3)により説明したようにして、信号軌跡のサンプルごとに求めた外積のz成分の総和値pを求める。
なお、制御部11は、このジェスチャ判定部18により出力されるジェスチャ動作の判定結果を操作コマンドとして処理することで、先に例としてあげた写真立て型表示装置1としてのしかるべき動作が得られるように制御を実行する。
この図においては、先ずステップS101により、ジェスチャ動作期間を検出してセンサ信号を記録する処理を実行する。この図に示す処理は、ジェスチャ検出部33,第1センサ信号記録部31,第2センサ信号記録部32が実行する。
図19のステップS201においては、先ず、ジェスチャ検出部33がセンサ信号S1,S2を入力して閾値と比較する。ここでの閾値は、一次元センサ40−1においてジェスチャ動作の可能性のある動きを検出したときに得られるセンサ信号の振幅に基づいて定めることができる。また、ここでは一次元センサ40−1、40−2から入力したセンサ信号S1,S2をそのまま閾値と比較することとしているが、この段階において、正規化したセンサ信号S1,S2を求める(NOM_S1,NOM_S2と同じで良い)ようにして、この正規化されたセンサ信号S1,S2の値と閾値とを比較するように構成してもよい。
これに対してステップS206によりタイマが起動中であるとして肯定の判別結果が得られたのであれば、ステップS208に進む。
次に、ステップS302により、センサ信号Smのサンプルデータにおける最大値Smmaxを取得する。この最大値Smmaxは、図11(a)により説明したセンサ信号S1若しくはセンサ信号S2のいずれかの最大値Vp1,Vp2(絶対値)に対応する。
このための処理としては、例えば、センサ信号におけるi番目のサンプルデータの正規化値をNOM_Sm_i、センサ信号Smにおけるi番目のサンプルデータをSm_iとして、
NOM_Sm_i= Sm_i/SmMAX・・・(式1)
により表される演算を実行する。つまり、先に述べたようにして、センサ信号のサンプルデータの値を、同じセンサ信号Smの最大値(絶対値)により除算する。
ここで否定の判別結果が得られた場合には、未だ、正規化値を取得していないサンプルが残っていることになる。そこで、ステップS306により変数iをインクリメントしてステップS304に戻る。これにより、順次、サンプルデータについて正規化値が得られることになる。
ステップS307において否定の判別結果が得られた場合には、未だ正規化処理を行っていないセンサ信号が残っていることになる。そこで、この場合にはステップS308により変数mについてインクリメントしてステップS302に戻る。これにより、これまでとは別のセンサ信号を対象として正規化処理が開始される。
そして、例えばセンサ信号S1,S2について正規化処理が完了したとされると、ステップS307において肯定の判別結果が得られることになり、ステップS102としてのセンサ信号正規化処理が終了されることになる。
なお、センサ信号S1,S2ごとに、サンプルデータの正規化値NOM_Sm_iを、時系列に従ったサンプル順で配列させた構造のものが、先に述べた正規化センサ信号NOM_S1、正規化センサ信号NOM_S2であるとしてみることができる。
上記ステップS102としての正規化処理を実行した後は、ステップS103として、位相平面写像化処理部36が、ステップS102により得られたセンサ信号S1,S2の正規化値(正規化センサ信号NOM_S1、正規化センサ信号NOM_S2)のデータを利用して、位相平面写像化処理を実行する。これにより、位相平面写像化処理部36は、信号軌跡のデータを取得する。
ステップS105において動作判定部38は、上記ステップS104にて算出された相関係数rを取り込む。そして、この相関係数rが、r>0.5、r<-0.5、-0.5≦r≦0.5のどの範囲に属するのかについて判別する。
但し、判定すべきジェスチャ動作として、回転動作を加える場合には、一定値を定めることとして、相関係数rの絶対値が一定値以下であれば回転動作として判定し、相関係数rの絶対値が一定値以上であれば水平/垂直方向のジェスチャ動作であると判定する。
なお、例えば予め定めた規則、演算などに従って、第2象限、第4象限に位置する重心Gが、第1象限、第3象限のうちで適切とされるほうの象限に位置させるように修正する処理を実行したうえで、その結果に応じて、右動作若しくは左動作の判定結果を出力するというアルゴリズムとすることも考えられる。
また、第2象限及び第4象限以外の象限(第1象限、第3象限)であると判別した場合には、ステップS122により、有意なジェスチャ動作は行われなかったものとして判定する。なお、この場合にも、水平方向のジェスチャ動作判定における場合と同じく、重心Gを、第2象限若しくは第4象限のいずれかに位置するものとなるようにして修正し、下動作・上動作の判定結果を出力するようにしてよい。
ただし、実際においては、回転動作以外の動きを検出したときにも、相関係数rの絶対値が一定以下となる可能性がある。例えば、例えば直線的な動きではあるが、水平方向若しくは垂直方向に対して相当にずれた角度で対象物を移動させたような動きの場合には、直交する検出軸の間でクロストークが生じて相関係数rの絶対値は小さくなる。この結果、相関係数rの絶対値が一定以下となる可能性がある。
ここで、センサ信号の記録サンプル数Nは、ジェスチャ検出部33が検出したジェスチャ動作期間に対応して第1センサ信号記録部31、第2センサ信号記録部32のそれぞれが記録したサンプルデータ数を指す。つまり、記録サンプル数Nは、ジェスチャ検出部33が検出したジェスチャ動作期間であり、これは動きが継続して検出された時間長を示している。
そこで、ステップS116に対応しては、回転動作を行ったときに得られるジェスチャ動作期間としての一般的、平均的な時間長に対応して得られるサンプル数に基づいて閾値を設定することとした。そして、ステップS116の処理として、記録サンプル数Nが閾値以上であると判別すれば、ステップS117により回転動作であるとの判定結果を得る。これに対して、記録サンプル数Nが閾値未満であるとして否定の判別結果を得たのであれば、ステップS122に進み、有意な動作は無かったものとの判定結果を出力する。
先に図11により説明した位相平面写像化処理では、位相平面上に対して、同じサンプルタイミングの正規化センサ信号NOM_S1,正規化センサ信号NOM_S2の値により座標をプロットするものとしていた。つまり、正規化センサ信号NOM_S1,正規化センサ信号NOM_S2についての、N個の記録サンプルにおるi番目のサンプル値を、xi,yiとして、位相平面に対して、順次、座標(xi,yi) (1≦i≦N)をプロットしていく。この場合、プロットする座標の座標値としては、正規化センサ信号NOM_S1,正規化センサ信号NOM_S2の値をそのまま用いているものである。
つまり、正規化センサ信号NOM_S1,正規化センサ信号NOM_S2についての、N個の記録サンプルにおるi番目のサンプル値を、xi,yiとして、正規化処理としては、座標(xi^n,yi^n):(1≦i≦N、nは3以上の奇数)をプロットしていくものである。
ただし、べき乗の指数nについて偶数を用いてしまうと、元のサンプル値xi,yiが負の数の場合には、べき乗した値が正に反転してしまう。そこで、べき乗の指数nについて奇数を用いることとして、元のサンプル値xi,yiの正・負の符号が反転することなく残るようにしている。
<9.一次センサの配置態様についての変形例>
また、本実施形態として、センサ部5を成す一次元センサ40−1、40−2において、一次元の動きを検出する2対の赤外線検出素子51A−1,51B−1、赤外線検出素子51A−2,51B−2の配置態様は、図8に示したものに限定されない。つまり認識・判定すべき二軸の直線的ジェスチャ動作の各移動方向に対して、例えば検出軸に45°の角度を与えることで、上記二軸の直線的ジェスチャ動作の何れについても、対の赤外線検出素子51A−1,51B−1、及び赤外線検出素子51A−2,51B−2が、時間差をもって動きに応じた信号Sa,Sbを出力できるようになっていればよい。
この場合には、図22(a)に示すように、検出軸L1は、一定距離を隔てた2つの平行な検出軸L1a,L1bに分割して設定している。また、これら検出軸L1a,L1bは、水平/垂直方向に対して図8の検出軸L1と同じ角度を設定している。この場合には、検出軸L1aのほうが下側で、検出軸L1bのほうが上側となる位置関係としている。
同様にして、検出軸L2も、水平/垂直方向に対して図8の検出軸L2と同じ角度を設定したうえで、一定距離を隔てた2つの平行な検出軸L2a,L2bに分割して設定している。また、この場合には、検出軸L2bのほうが下側で、検出軸L2aのほうが上側となる位置関係としている。
なお、上記赤外線検出素子51A−1,51B−1、赤外線検出素子51A−2,51B−2の配置に応じて形成される空間検出領域60A−1,60B−1、空間検出領域60A−2,60B−2は、図22(b)に示すものとなる。
また、他方の対となる赤外線検出素子51A−2,51B−2も、水平/垂直の何れの方向の動きについても、時間差をもって動きを検出できる。
また、赤外線検出素子51A−1,51B−1、赤外線検出素子51A−2,51B−2が水平/垂直方向の直線的動きを検出する順序も、図8と同様になっている。
また、ジェスチャ動作判定部18としての信号処理をハードウェアにより構成することも考えられる。
例えば、逆に二軸の直交する直線的ジェスチャ動作を、それぞれ水平/垂直方向に対して45°となる方向に沿ったものとして定めたとすれば、検出軸L1,L2のそれぞれが水平/垂直方向に一致するようにして一次元センサ40−1、40−2を配置させることになる。
本実施形態では、直線的ジェスチャ動作の各軸が交差する角度について、90°以外の角度であっても、対の検出素子において必要な検出時間差が得られていれば、それぞれの軸方向のジェスチャ動作を適正に認識可能である。
Claims (8)
- 1つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第1の方向及び第2の方向に対して異なるようにして配置される、第1,第2の一次元センサ手段と、
上記第1,第2の一次元センサ手段から出力される第1、第2の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手段と、
同じ時間ごとの上記正規化された第1の信号の値に基づくx座標値と、上記正規化された第2の信号の値に基づくy座標値とにより、位相平面上に対して座標をプロットするようにして、上記第1,第2の時系列に応じた信号軌跡を形成する、位相平面写像化処理手段と、
上記信号軌跡を形成する座標値を利用して、第1,第2の信号についての相関係数を求める相関係数算出手段と、
少なくとも上記相関係数の値が正/負の何れであるのかに基づいて、検出された動きが、上記第1の方向の動作であるか、上記第2の方向の動作であるのかを判定する動作判定手段と、
を備える動作認識装置。 - 上記信号軌跡についての位相平面上での重心の座標を算出する重心算出手段をさらに備え、
上記動作判定手段は、
上記第1の方向であるとの判定結果に対応する上記相関係数の場合には、算出された上記重心の座標に基づいて、上記第1の方向における正方向の動作と逆方向の動作の何れであるのかを判定し、
上記第2の方向であるとの判定結果に対応する上記相関係数の場合には、算出された上記重心の座標に基づいて、上記第2の方向における正方向の動作と逆方向の動作の何れであるのかを判定する、
請求項1に記載の動作認識装置。 - 対象物の動作として、対象物を略円周状に動かす回転動作が認識対象として定められているうえで、
上記信号軌跡の座標を時系列に従ってプロットしたときの回転方向であるプロット回転方向を認識するプロット回転方向認識手段をさらに備え、
上記動作判定手段は、
上記相関係数の絶対値が、検出された対象物の動きが上記回転動作であるとの判定結果に対応する一定以下である場合には、上記認識されたプロット回転方向に基づいて、右回転動作と左回転動作の何れであるのかを判定する、
請求項1又は請求項2に記載の動作認識装置。 - 上記プロット回転方向認識手段は、
プロットした座標ごとの外積ののz成分の総和値を求めたうえで、この総和値の正/負に基づいてプロット回転方向を認識する、
請求項3に記載の動作認識装置。 - 上記動作判定手段は、
上記相関係数の絶対値が一定以下であり、かつ、対象物の動きが検出されていたとされる期間としての時間長が一定以上である場合に、検出された対象物の動きが上記回転動作であるとの判定結果を得るようにされている、
請求項3又は請求項4に記載の動作認識装置。 - 上記位相平面写像化処理手段は、
上記正規化された第1の信号の値に基づくx座標値として、この正規化された第1の信号の値を、奇数の指数によりべき乗した値を用い、
上記正規化された第2の信号の値に基づくy座標値として、この正規化された第2の信号の値を、上記奇数の指数によりべき乗した値を用いる、
請求項1乃至請求項5のいずれかに記載の動作認識装置。 - 1つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第1の方向及び第2の方向に対して異なるようにして配置される、第1,第2の一次元センサ部から出力される第1、第2の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手順と、
同じ時間ごとの上記正規化された第1の信号の値に基づくx座標値と、上記正規化された第2の信号の値に基づくy座標値とにより、位相平面上に対して座標をプロットするようにして、上記第1,第2の時系列に応じた信号軌跡を形成する、位相平面写像化処理手順と、
上記信号軌跡を形成する座標値を利用して、第1,第2の信号についての相関係数を求める相関係数算出手順と、
少なくとも上記相関係数の値が正/負の何れであるのかに基づいて、検出された動きが、上記第1の方向の動作であるか、上記第2の方向の動作であるのかを判定する動作判定手順と、
を実行する動作認識方法。 - 動作認識装置に、
1つの検出軸に沿った一次元方向の対象物の動作に応じた動きを検出して、その検出した動きに応じた信号を出力するもので、上記検出軸が、認識対象として定められた直線的な対象物の動作の方向である第1の方向及び第2の方向に対して異なるようにして配置される、第1,第2の一次元センサ部から出力される第1、第2の信号のそれぞれについて、その振幅値を、ピーク値との比により表される値に変換するようにして正規化する処理を実行する正規化処理手順と、
同じ時間ごとの上記正規化された第1の信号の値に基づくx座標値と、上記正規化された第2の信号の値に基づくy座標値とにより、位相平面上に対して座標をプロットするようにして、上記第1,第2の時系列に応じた信号軌跡を形成する、位相平面写像化処理手順と、
上記信号軌跡を形成する座標値を利用して、第1,第2の信号についての相関係数を求める相関係数算出手順と、
少なくとも上記相関係数の値が正/負の何れであるのかに基づいて、検出された動きが、上記第1の方向の動作であるか、上記第2の方向の動作であるのかを判定する動作判定手順と、
を実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009120193A JP5177075B2 (ja) | 2009-02-12 | 2009-05-18 | 動作認識装置、動作認識方法、プログラム |
US12/697,757 US8224619B2 (en) | 2009-02-12 | 2010-02-01 | Gesture recognition apparatus, gesture recognition method and program |
CN2010101183904A CN101807113B (zh) | 2009-02-12 | 2010-02-12 | 手势识别装置和手势识别方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009030136 | 2009-02-12 | ||
JP2009030136 | 2009-02-12 | ||
JP2009120193A JP5177075B2 (ja) | 2009-02-12 | 2009-05-18 | 動作認識装置、動作認識方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010211781A JP2010211781A (ja) | 2010-09-24 |
JP2010211781A5 JP2010211781A5 (ja) | 2012-03-22 |
JP5177075B2 true JP5177075B2 (ja) | 2013-04-03 |
Family
ID=42541117
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009120193A Expired - Fee Related JP5177075B2 (ja) | 2009-02-12 | 2009-05-18 | 動作認識装置、動作認識方法、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8224619B2 (ja) |
JP (1) | JP5177075B2 (ja) |
CN (1) | CN101807113B (ja) |
Families Citing this family (57)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090185080A1 (en) * | 2008-01-18 | 2009-07-23 | Imu Solutions, Inc. | Controlling an electronic device by changing an angular orientation of a remote wireless-controller |
US8730164B2 (en) * | 2010-05-28 | 2014-05-20 | Panasonic Corporation | Gesture recognition apparatus and method of gesture recognition |
CN101968714B (zh) * | 2010-09-30 | 2014-06-04 | 中兴通讯股份有限公司 | 识别在移动终端界面上输入的操作轨迹的方法和*** |
JP5554689B2 (ja) * | 2010-11-22 | 2014-07-23 | 旭化成エレクトロニクス株式会社 | 位置および動作判定方法および入力装置 |
JP5617581B2 (ja) * | 2010-12-08 | 2014-11-05 | オムロン株式会社 | ジェスチャ認識装置、ジェスチャ認識方法、制御プログラム、および、記録媒体 |
JP5527280B2 (ja) * | 2011-05-16 | 2014-06-18 | コニカミノルタ株式会社 | 人体検知装置及び該人体検知装置を備えた画像処理装置 |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
WO2013000099A1 (en) * | 2011-06-29 | 2013-01-03 | Intel Corporation | Techniques for gesture recognition |
US20130033644A1 (en) * | 2011-08-05 | 2013-02-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and method for controlling thereof |
EP4235365A3 (en) | 2011-08-05 | 2023-11-01 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same |
JP2013080413A (ja) * | 2011-10-05 | 2013-05-02 | Sony Corp | 入力装置、入力認識方法 |
EP2766792A4 (en) * | 2011-10-10 | 2016-03-30 | Invisage Technologies Inc | CAPTURE OF EVENTS SPACE AND TIME |
CN102520795B (zh) * | 2011-12-07 | 2014-12-24 | 东蓝数码股份有限公司 | 智能终端上基于陀螺仪的人机交互检测及处理方法 |
CN102566796B (zh) * | 2011-12-07 | 2015-03-11 | 东蓝数码有限公司 | 智能终端上基于线加速度传感器的人机交互检测及处理方法 |
US20130325256A1 (en) * | 2012-05-29 | 2013-12-05 | Delphi Technologies, Inc. | Non-contact gesture recognition system and method |
JP5645885B2 (ja) * | 2012-06-29 | 2014-12-24 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
TWI479430B (zh) * | 2012-10-08 | 2015-04-01 | Pixart Imaging Inc | 以自然影像進行的手勢辨識方法 |
CN107256089B (zh) * | 2012-10-17 | 2020-07-03 | 原相科技股份有限公司 | 以自然影像进行的手势识别方法 |
CN108334204B (zh) | 2012-12-10 | 2021-07-30 | 因维萨热技术公司 | 成像装置 |
CN103023654B (zh) * | 2012-12-10 | 2016-06-29 | 深圳Tcl新技术有限公司 | 智能遥控***识别过程中的去除抖动方法及装置 |
US20140282280A1 (en) * | 2013-03-14 | 2014-09-18 | Samsung Electronics Co., Ltd. | Gesture detection based on time difference of movements |
EP2971853B1 (en) * | 2013-03-15 | 2017-08-23 | Springs Window Fashions LLC | Window covering motorized lift and control system motor and operation |
JP2014182452A (ja) * | 2013-03-18 | 2014-09-29 | Fujitsu Ltd | 情報処理装置及びプログラム |
WO2014165476A1 (en) | 2013-04-01 | 2014-10-09 | Gollakota Shyamnath | Devices, systems, and methods for detecting gestures using wireless communication signals |
US9672627B1 (en) * | 2013-05-09 | 2017-06-06 | Amazon Technologies, Inc. | Multiple camera based motion tracking |
DE102014106661B4 (de) | 2013-05-24 | 2023-11-16 | Avago Technologies International Sales Pte. Ltd. | Schalterbetätigungseinrichtung, mobiles Gerät und Verfahren zum Betätigen eines Schalters durch eine nicht-taktile Translationsgeste |
CN103605460B (zh) * | 2013-08-30 | 2017-01-25 | 华为技术有限公司 | 一种手势识别方法和相关终端 |
DE102013015337A1 (de) * | 2013-09-14 | 2015-03-19 | Daimler Ag | Verfahren zum Betreiben eines Gestenerkennungssystems für einen Kraftwagen |
JP6360736B2 (ja) * | 2013-09-17 | 2018-07-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 空気調和装置 |
CN104516660B (zh) | 2013-09-27 | 2019-03-08 | 联想(北京)有限公司 | 一种信息处理方法、***及电子设备 |
US9665204B2 (en) * | 2013-10-04 | 2017-05-30 | Microchip Technology Incorporated | Continuous circle gesture detection for a sensor system |
WO2015054419A1 (en) * | 2013-10-08 | 2015-04-16 | University Of Washington Through Its Center For Commercialization | Devices, systems, and methods for controlling devices using gestures |
KR102098400B1 (ko) * | 2013-10-28 | 2020-04-08 | 매그나칩 반도체 유한회사 | 제스처 셀 및 이를 포함하는 제스처 센서 |
CN103558927A (zh) * | 2013-11-21 | 2014-02-05 | 广州视声电子实业有限公司 | 一种3d手势控制方法和装置 |
CN104898822B (zh) * | 2014-03-03 | 2018-04-27 | 联想(北京)有限公司 | 一种控制方法及电子设备 |
US9509648B2 (en) * | 2014-04-11 | 2016-11-29 | International Business Machines Corporation | Associating sentiment with objects presented via social media |
CN105446463B (zh) * | 2014-07-09 | 2018-10-30 | 杭州萤石网络有限公司 | 进行手势识别的方法及装置 |
WO2016009644A1 (ja) * | 2014-07-15 | 2016-01-21 | 旭化成株式会社 | 入力デバイス、生体センサ、プログラム、コンピュータ読み取り可能な媒体及びモード設定方法 |
US9692968B2 (en) | 2014-07-31 | 2017-06-27 | Invisage Technologies, Inc. | Multi-mode power-efficient light and gesture sensing in image sensors |
USD822060S1 (en) | 2014-09-04 | 2018-07-03 | Rockwell Collins, Inc. | Avionics display with icon |
DE102014017585B4 (de) * | 2014-11-27 | 2017-08-24 | Pyreos Ltd. | Schalterbetätigungseinrichtung, mobiles Gerät und Verfahren zum Betätigen eines Schalters durch eine nicht-taktile Geste |
JP2016118707A (ja) * | 2014-12-22 | 2016-06-30 | 株式会社リコー | 画像形成装置 |
CN104573653A (zh) * | 2015-01-06 | 2015-04-29 | 上海电机学院 | 一种物体运动状态的识别装置及方法 |
US10357210B2 (en) | 2015-02-04 | 2019-07-23 | Proprius Technologies S.A.R.L. | Determining health change of a user with neuro and neuro-mechanical fingerprints |
US9590986B2 (en) | 2015-02-04 | 2017-03-07 | Aerendir Mobile Inc. | Local user authentication with neuro and neuro-mechanical fingerprints |
US9577992B2 (en) | 2015-02-04 | 2017-02-21 | Aerendir Mobile Inc. | Data encryption/decryption using neuro and neuro-mechanical fingerprints |
US9836896B2 (en) | 2015-02-04 | 2017-12-05 | Proprius Technologies S.A.R.L | Keyless access control with neuro and neuro-mechanical fingerprints |
CN105069409B (zh) * | 2015-07-24 | 2018-05-15 | 上海科勒电子科技有限公司 | 一种基于红外技术的三维手势识别方法及*** |
US10429935B2 (en) * | 2016-02-08 | 2019-10-01 | Comcast Cable Communications, Llc | Tremor correction for gesture recognition |
JP2017150942A (ja) * | 2016-02-24 | 2017-08-31 | アイシン精機株式会社 | 車両用操作検出装置 |
CN107543612A (zh) * | 2016-06-26 | 2018-01-05 | 周尧 | 一种智能手势识别装置 |
CN107015641A (zh) * | 2017-02-28 | 2017-08-04 | 海航生态科技集团有限公司 | 判断左打右打的方法及装置 |
JP7008195B2 (ja) * | 2017-10-27 | 2022-01-25 | パナソニックIpマネジメント株式会社 | 撮影装置 |
US11350060B1 (en) * | 2018-03-05 | 2022-05-31 | Amazon Technologies, Inc. | Using motion sensors for direction detection |
CN111259694B (zh) * | 2018-11-30 | 2021-02-12 | 北京字节跳动网络技术有限公司 | 基于视频的手势移动方向识别方法、装置、终端和介质 |
JP7212531B2 (ja) * | 2019-01-28 | 2023-01-25 | 株式会社東海理化電機製作所 | 動作判別装置、コンピュータプログラム、および記憶媒体 |
JP7265873B2 (ja) * | 2019-01-28 | 2023-04-27 | 株式会社東海理化電機製作所 | 動作判別装置、コンピュータプログラム、および記憶媒体 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2766820B2 (ja) * | 1991-09-20 | 1998-06-18 | セイコープレシジョン株式会社 | 人体移動方向判別装置 |
JP3010610B2 (ja) * | 1992-05-15 | 2000-02-21 | 株式会社明電舎 | 空間フィルタを用いた移動距離測定法 |
JPH0738971A (ja) | 1993-07-22 | 1995-02-07 | Hokuriku Electric Ind Co Ltd | リモコン装置 |
JPH11259206A (ja) * | 1998-03-09 | 1999-09-24 | Fujitsu Ltd | 赤外線検出式入力装置 |
JP3775779B2 (ja) * | 2000-10-30 | 2006-05-17 | 株式会社国際電気通信基礎技術研究所 | 歩行航行装置およびそれを用いたナビゲーションシステム |
JP2004141514A (ja) * | 2002-10-28 | 2004-05-20 | Toshiba Corp | 画像処理装置及び超音波診断装置 |
JP2006277626A (ja) * | 2005-03-30 | 2006-10-12 | Saxa Inc | 焦電型赤外線センサを用いた非接触入力装置 |
JP4151982B2 (ja) * | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
JP5097452B2 (ja) | 2006-06-06 | 2012-12-12 | オプテックス株式会社 | 感度切替型の侵入検知システム |
JP4897411B2 (ja) * | 2006-09-26 | 2012-03-14 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
-
2009
- 2009-05-18 JP JP2009120193A patent/JP5177075B2/ja not_active Expired - Fee Related
-
2010
- 2010-02-01 US US12/697,757 patent/US8224619B2/en not_active Expired - Fee Related
- 2010-02-12 CN CN2010101183904A patent/CN101807113B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN101807113B (zh) | 2012-07-04 |
US20100204953A1 (en) | 2010-08-12 |
CN101807113A (zh) | 2010-08-18 |
JP2010211781A (ja) | 2010-09-24 |
US8224619B2 (en) | 2012-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5177075B2 (ja) | 動作認識装置、動作認識方法、プログラム | |
JP2010211781A5 (ja) | ||
US9542044B2 (en) | Multi-touch positioning method and multi-touch screen | |
US10324563B2 (en) | Identifying a target touch region of a touch-sensitive surface based on an image | |
CN101868775B (zh) | 基于外部边缘检测的追踪触摸板上多个物体的方法 | |
TWI520034B (zh) | 判斷觸控手勢之方法及觸控系統 | |
CN104067209B (zh) | 交互式输入***及方法 | |
US9348466B2 (en) | Touch discrimination using fisheye lens | |
JP7059054B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JPWO2010073329A1 (ja) | コンピュータプログラム、入力装置及び入力方法 | |
CN101520700A (zh) | 一种基于摄像头的三维定位触摸装置及其定位方法 | |
TW201137708A (en) | Imaging device based touch system | |
JP6543790B2 (ja) | 信号処理装置、入力装置、信号処理方法、およびプログラム | |
JP6911870B2 (ja) | 表示制御装置、表示制御方法及びコンピュータプログラム | |
JP6082394B2 (ja) | 高分解能なゴースト除去ジェスチャ | |
JP2016103137A (ja) | ユーザインタフェース装置、画像処理装置及び制御用プログラム | |
JP6926486B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US9971429B2 (en) | Gesture recognition method, apparatus and device, computer program product therefor | |
US8355599B2 (en) | Methods and devices for detecting changes in background of images using multiple binary images thereof and hough transformation | |
CN107168637A (zh) | 一种通过缩放手势进行显示缩放的智能终端 | |
JP2018124918A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20090116544A (ko) | 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치 | |
US10551934B2 (en) | Gesture recognition method, apparatus and device, computer program product therefor | |
TWI448918B (zh) | 光學觸控系統 | |
JP6554820B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121211 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121224 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160118 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |