JP6551941B2

JP6551941B2 - ジェスチャ判定装置

Info

Publication number: JP6551941B2
Application number: JP2016083321A
Authority: JP
Inventors: 佑記名和
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2016-04-19
Filing date: 2016-04-19
Publication date: 2019-07-31
Anticipated expiration: 2036-04-19
Also published as: JP2017194767A

Description

本発明は、ジェスチャ判定装置に関する。

従来の技術として、操作者によって行われたジェスチャを取得するジェスチャ取得手段と、操作者の視線の動きを取得する視線追跡手段と、視線の動きが所定のパターンを満たすかを判定する視線パターン判定手段と、視線の動きが所定のパターンを満たした場合に、入力を受け付ける許可ジェスチャを決定するジェスチャ選択手段と、取得したジェスチャが許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、を備えたジェスチャ認識装置が知られている（例えば、特許文献１参照。）。

このジェスチャ認識装置は、ジェスチャ以外の動作をジェスチャと誤認識することを防止する。

特開２０１５−１５３１９５号公報

しかし従来のジェスチャ認識装置は、所定のパターンの視線の動きを操作者が行わなければならないので、操作負荷が大きい。

従って本発明の目的は、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制するジェスチャ判定装置を提供することにある。

本発明の一態様は、操作者の手を周期的に撮像する撮像部と、撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第１の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、第１の速度しきい値より大きい第２の速度しきい値を設定し、予め定められた期間、第１の速度しきい値を第２の速度しきい値に切り替えて手を払うジェスチャを判定する判定部と、を備えたジェスチャ判定装置を提供する。

本発明によれば、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制することができる。

図１（ａ）は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。図２（ａ）及び図２（ｂ）は、手を払う動作と戻す動作の一例を説明するための概略図である。図３（ａ）は、比較例に係る１つの速度しきい値を用いた払うジェスチャの判定の一例を示すグラフであり、図３（ｂ）は、実施の形態に係るジェスチャ判定装置の第１の速度しきい値と第２の速度しきい値を用いた払うジェスチャの判定の一例を示すグラフである。図４は、実施の形態に係るジェスチャ判定装置の払うジェスチャの判定に関する動作の一例を示すフローチャートである。

（実施の形態の要約）
実施の形態に係るジェスチャ判定装置は、操作者の手を周期的に撮像する撮像部と、撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第１の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、第１の速度しきい値より大きい第２の速度しきい値を設定し、予め定められた期間、第１の速度しきい値を第２の速度しきい値に切り替えて手を払うジェスチャを判定する判定部と、を備えて概略構成されている。

このジェスチャ判定装置は、第１の速度しきい値より大きい第２の速度しきい値によって手を払うジェスチャを判定した後の手を払うジェスチャを判定するので、手を戻す動作が容易に手を払うジェスチャと判定されず、操作負荷を増加させることなく手を戻す動作を払うジェスチャと誤判定することを抑制することができる。

[実施の形態]
（ジェスチャ判定装置１の概要）
図１（ａ）は、実施の形態に係るジェスチャ判定装置が搭載された車両内部の一例を示す概略図であり、図１（ｂ）は、ジェスチャ判定装置の一例を示すブロック図であり、図１（ｃ）は、ジェスチャ判定装置が接続された車両通信システムの一例を示すブロック図である。図２（ａ）及び図２（ｂ）は、手を払う動作と戻す動作の一例を説明するための概略図である。なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）及び図１（ｃ）では、主な信号や情報の流れを矢印で示している。

ジェスチャ判定装置１は、例えば、なされたジェスチャに基づいて車両８に搭載された電子機器の操作を可能とするものである。操作者は、予め定められたジェスチャを行うことでジェスチャに対応する電子機器の機能を操作することができる。この電子機器は、一例として、図１（ｃ）に示すナビゲーション装置８４及び音楽及び映像再生装置８５などである。ジェスチャ判定装置１及び電子機器は、一例として、図１（ｃ）に示すように、車両通信システム８１を構成している。なお本実施の形態では、操作者の手９を検出対象とする。

ジェスチャ判定装置１は、図１（ａ）〜図１（ｃ）、図２（ａ）及び図２（ｂ）に示すように、操作者の手９を周期的に撮像する撮像部としてのカメラ３と、撮像された複数の画像３５に基づいて算出した一方向に手９が移動する際の移動量Ｘが移動量しきい値５０より大きく、かつ移動速度Ｖが第１の速度しきい値５１より大きい場合、手９を払うジェスチャが行われたと判定して手９を払うジェスチャに応じた操作情報Ｓ_２を出力し、判定が行われた後、第１の速度しきい値５１より大きい第２の速度しきい値５２を設定し、予め定められた期間、第１の速度しきい値５１を第２の速度しきい値５２に切り替えて手９を払うジェスチャを判定する判定部としての制御部５と、を備えて概略構成されている。

（カメラ３の構成）
カメラ３は、例えば、ＣＣＤイメージセンサ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子を用いた撮像装置である。

このカメラ３は、一例として、図１（ａ）に示すように、車両８のセンターコンソール８０に配置された表示装置８７の上に配置されている。従って撮像領域３０は、表示装置８７の正面の領域である。カメラ３は、例えば、表示装置８７の正面において行われたジェスチャを撮像する。また、このカメラ３は、例えば、近赤外線を撮像領域３０方向に照射して撮像するように構成されている。

カメラ３は、周期的に撮像領域３０を撮像し、撮像した画像の情報として画像情報Ｓ_１を生成して制御部５に出力する。この撮像領域３０を撮像した画像は、一例として、図２（ａ）及び図２（ｂ）に示す画像３５である。

（制御部５の構成）
図３（ａ）は、比較例に係る１つの速度しきい値を用いた払うジェスチャの判定の一例を示すグラフであり、図３（ｂ）は、実施の形態に係るジェスチャ判定装置の第１の速度しきい値と第２の速度しきい値を用いた払うジェスチャの判定の一例を示すグラフである。図３（ａ）及び図３（ｂ）における斜線は、判定された払うジェスチャによって手９が移動した移動量Ｘを示している。

制御部５は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部５が動作するためのプログラムが格納されている。ＲＡＭは、例えば、一時的に演算結果などを格納する記憶領域として用いられる。

制御部５は、例えば、図１（ｂ）に示すように、移動量しきい値５０と、第１の速度しきい値５１と、第２の速度しきい値５２と、ジェスチャ情報５３と、を有している。

移動量しきい値５０は、払うジェスチャの判定に用いられる手９の移動量Ｘのしきい値である。この移動量Ｘは、図２（ａ）及び図２（ｂ）の斜線の面積に相当する。つまり移動量Ｘは、第１の速度しきい値５１及び第２の速度しきい値５２を超えた速度で移動した距離である。

第１の速度しきい値５１は、手９の移動速度Ｖに関するしきい値である。制御部５は、手９の移動速度Ｖが第１の速度しきい値５１を超えると共に、手９の移動量Ｘが移動量しきい値５０より大きい場合、払うジェスチャが行われたと判定する。

ここで払うジェスチャは、図２（ａ）及び図２（ｂ）に示すように、手９を一方向に移動させた後、修正などを目的に一方向とは逆の方向に再度払うジェスチャを行う場合と、手９を一方向に移動させた後、元の位置に戻す動作を伴うものとがある。以下では、比較例と本実施の形態とで、払うジェスチャを行った後、戻す動作を行った場合の判定の差について説明する。なお図３（ａ）及び図３（ｂ）におけるグラフは、どちらも同じものである。

図３（ａ）に示す比較例のように、速度しきい値が１つであった場合、払う動作が行われた時間ｔ_１〜時間ｔ_４において、速度しきい値１００より大きい移動速度Ｖが時間ｔ_２〜時間ｔ_３の期間に検出され、この期間の移動量Ｘが移動量しきい値５０より大きければ、払うジェスチャが行われたと判定される。

また時間ｔ_５〜時間ｔ_８における手９を戻す動作において、払う動作よりもゆっくり戻したにも関わらず、速度しきい値１００が一定であることから時間ｔ_６〜時間ｔ_７の期間、移動速度Ｖが速度しきい値１００より大きいとされ、さらにこの期間の移動量Ｘが移動量しきい値５０よりも大きいと、逆方向に払うジェスチャと判定され、操作者の意図しない誤判定がなされる。

一方本実施の形態の制御部５は、図３（ｂ）に示すように、払う動作が行われた時間ｔ_１０〜時間ｔ_１３において、第１の速度しきい値５１より大きい移動速度Ｖが時間ｔ_１１〜時間ｔ_１２に検出され、この期間の移動量Ｘが移動量しきい値５０より大きければ、払うジェスチャが行われたと判定される。

制御部５は、少なくとも払う動作において移動速度Ｖが第１の速度しきい値５１以下となる時間ｔ_１２後に、第２の速度しきい値５２を算出する。

そして制御部５は、第１の速度しきい値５１よりも大きい第２の速度しきい値５２を用いて戻す動作を判定するので、図３（ｂ）に示すように、時間ｔ_１４〜時間ｔ_１５に行われた戻す動作の移動速度Ｖが第２の速度しきい値５２を超えず、払うジェスチャと判定されない。しかし戻す動作において払うジェスチャが行われない訳ではないので、第２の速度しきい値５２は、例えば、第１の速度しきい値５２より大きく、直前の払う動作の最大移動速度Ｖ_ｍａｘより小さい値となることが好ましい。

そこで制御部５は、以下の式（１）に示すように、移動速度Ｖの最大値（最大移動速度Ｖ_ｍａｘ）に定数αを乗算して第２の速度しきい値５２を算出する。
第２の速度しきい値５２＝最大移動速度Ｖ_ｍａｘ×α・・・（１）
この定数αは、第２の速度しきい値５２が第１の速度しきい値５１より大きく最大値（最大移動速度Ｖ_ｍａｘ）より小さくなるように定められる。
従って定数αは、以下の式（２）を満たすことが好ましい。
第１の速度しきい値５１＜最大移動速度Ｖ_ｍａｘ×α＜最大移動速度Ｖ_ｍａｘ・・・（２）
つまり定数αは、以下の式（３）の範囲であることが好ましい。
第１の速度しきい値５１／最大移動速度Ｖ_ｍａｘ＜α＜１・・・（３）

第２の速度しきい値５２が最大移動速度Ｖ_ｍａｘより小さいことが好ましいのは、第２の速度しきい値５２が最大移動速度Ｖ_ｍａｘ以上であると、戻す動作を払うジェスチャとして判定させることが困難になることによる。これは、払うジェスチャの後、戻す動作を無視する場合と似ている。戻す動作を無視すると、操作者が意図して行った払う動作の後の払うジェスチャが意図に反して判定されず、操作性が良くない。

また第２の速度しきい値５２が第１の速度しきい値５１以下となると、払うジェスチャの後の戻す動作が払うジェスチャと判定され易くなってしまい、やはり操作性が良くない。

そこで本実施の形態の制御部５は、上述の式（２）に示すように、第２の速度しきい値５２が第１の速度しきい値５１より大きく、直前の払うジェスチャの際の最大移動速度Ｖ_ｍａｘより小さいしきい値となるように第２の速度しきい値５２を設定する。

制御部５は、払うジェスチャが行われると、払うジェスチャの際の最大移動速度Ｖ_ｍａｘに予め定められた定数αを乗算する式（１）によって第２の速度しきい値５２を算出すると共に、式（２）が成り立つかを確認する。制御部５は、式（２）が成り立つ場合、式（１）によって算出された第２の速度しきい値５２を用いて戻す動作が払うジェスチャであるか判定する。

また制御部５は、式（２）が成り立たない場合、式（３）を満たすように定数αを算出する。この式（３）を満たす定数αは、一例として、式（３）の左辺である第１の速度しきい値５１／最大移動速度Ｖ_ｍａｘの値と右辺である１との差の二分の一の値とされる。

なお変形例として制御部５は、払うジェスチャの移動速度Ｖの最大値（最大移動速度Ｖ_ｍａｘ）に基づいて算出した値を第１の速度しきい値５１に加算して第２の速度しきい値５２を算出しても良い。この第２の速度しきい値５２の算出は、一例として、以下の式（４）によって行われる。
第２の速度しきい値５２＝第１の速度しきい値５１＋｛最大移動速度Ｖ_ｍａｘ−（最大移動速度Ｖ_ｍａｘ−第１の速度しきい値５１）×α｝・・・（４）
なおαは、０より大きく、１より小さい数である。

制御部５は、第２の速度しきい値５２を予め定められた期間のみ使用し、予め定められた期間経過後、第２の速度しきい値５２から第１の速度しきい値５１に切り替える。この予め定められた期間は、一例として、２秒である。

ジェスチャ情報５３は、例えば、手９によって行われるジェスチャに関する情報である。この手９によって行われるジェスチャは、例えば、手９を払うジェスチャ、手９によって円を描くように行われるジェスチャなどである。制御部５は、例えば、複数の画像情報Ｓ_１とジェスチャ情報５３に基づいた手９の形などにより、払う動作が行われたと判定し、払うジェスチャを判定する。

手９を払うジェスチャは、一例として、操作対象の電子機器が表示装置８７に表示させている表示画像を移動方向にスクロールさせるジェスチャである。操作対象の電子機器は、例えば、操作情報Ｓ_２に基づいて手９の移動方向に表示画像をスクロールさせる。

（車両通信システム８１の構成）
車両通信システム８１は、一例として、ＣＡＮ（Controller Area Network）などの規格を用いた通信システムである。車両通信システム８１は、例えば、車両ＬＡＮ（Local Area Network）８２を介してジェスチャ判定装置１やナビゲーション装置８４などが通信を行う。

この車両通信システム８１は、一例として、図１（ｃ）に示すように、ジェスチャ判定装置１、車両制御部８３、ナビゲーション装置８４、音楽及び映像再生装置８５、空調装置８６及び表示装置８７などが通信できるように構成されている。車両制御部８３は、例えば、この車両通信システム８１を制御するマイクロコンピュータである。

ジェスチャ判定装置１が操作対象としてナビゲーション装置８４が操作される場合、ジェスチャ判定装置１から出力された操作情報Ｓ_２は、車両ＬＡＮ８２を介してナビゲーション装置８４に入力する。ナビゲーション装置８４は、入力した操作情報Ｓ_２に基づいて動作を行う。

以下に、本実施の形態のジェスチャ判定装置１の払うジェスチャの判定に関する動作の一例について図４のフローチャートに従って説明する。

（動作）
車両８の電源が投入されると、ジェスチャ判定装置１のカメラ３は、撮像した撮像領域３０の画像３５の情報である画像情報Ｓ_１を周期的に制御部５に出力する。制御部５は、取得した画像情報Ｓ_１を時系列的に記憶する。

制御部５は、取得した画像情報Ｓ_１及びジェスチャ情報５３に基づいて手９の移動が検出されたか否かを監視する。制御部５は、ステップ１の「Ｙｅｓ」が成立する、つまり手９の移動が検出された場合（Ｓｔｅｐ１：Ｙｅｓ）、払う動作の移動速度Ｖと移動量Ｘを算出する（Ｓｔｅｐ２）。

制御部５は、算出した移動速度Ｖと第１の速度しきい値５１とを比較すると共に、算出した移動量Ｘと移動量しきい値５０とを比較して払うジェスチャが行われたか否かを判定する。制御部５は、払うジェスチャが行われたと判定すると（Ｓｔｅｐ３：Ｙｅｓ）、ジェスチャに基づく操作情報Ｓ_２を出力すると共に、第２の速度しきい値５２を算出する（Ｓｔｅｐ４）。

制御部５は、算出した第２の速度しきい値５２を用いて戻す動作が払うジェスチャであるか否かを判定する。制御部５は、複数の画像情報Ｓ_１に基づいて戻す動作の移動速度Ｖと移動量Ｘを算出する（Ｓｔｅｐ５）。

制御部５は、算出した移動速度Ｖと第２の速度しきい値５２とを比較すると共に、算出した移動量Ｘと移動量しきい値５０とを比較して戻す動作が払うジェスチャであるか否かを判定する（Ｓｔｅｐ６）。

制御部５は、戻す動作が払うジェスチャであると判定すると（Ｓｔｅｐ７：Ｙｅｓ）、払うジェスチャに基づく操作情報Ｓ_２を出力し（Ｓｔｅｐ８）、ステップ１に処理を進める。なお制御部５は、予め定められた期間が経過した後、第２の速度しきい値５２を第１の速度しきい値５１に切り替える。

ここでステップ３において制御部５は、払うジェスチャが行われていないと判定した場合（Ｓｔｅｐ３：Ｎｏ）、ステップ１に処理を進める。

ステップ７において制御部５は、戻す動作が払うジェスチャではなかった場合（Ｓｔｅｐ７：Ｎｏ）、ステップ１に処理を進める。なお制御部５は、予め定められた期間が経過した後、第２の速度しきい値５２を第１の速度しきい値５１に切り替える。

（実施の形態の効果）
本実施の形態に係るジェスチャ判定装置１は、操作負荷を増加させることなく手９を払うジェスチャの後に行われた手９を戻す動作を払うジェスチャと誤判定することを抑制することができる。具体的には、ジェスチャ判定装置１は、第１の速度しきい値５１より大きい第２の速度しきい値５２によって手９を払うジェスチャを判定した後の戻す動作を判定する。従ってジェスチャ判定装置１は、手９を戻す動作が容易に手９を払うジェスチャと判定されず、操作負荷を増加させることなく手９を戻す動作を払うジェスチャと誤判定することを抑制することができる。

ジェスチャ判定装置１は、第２の速度しきい値５２が第１の速度しきい値５１より大きく、直前の払うジェスチャの最大移動速度Ｖ_ｍａｘよりも小さくなるように設定されるので、戻す動作を払うジェスチャとして行った場合、意図せず判定されないことが抑制される。

ジェスチャ判定装置１は、操作負荷を増加させることなく誤判定が抑制されるので、操作者の意図しない判定が抑制され、操作性が向上する。

なお上述のジェスチャ判定装置１は、表示装置８７の正面のジェスチャを検出するように構成されていたがこれに限定されず、ステアリングやフロアコンソールなどの近傍で行われたジェスチャを検出するように構成されても良いし、タッチパッドなどの入力装置の近傍で行われたジェスチャを検出するように構成されても良い。

上述の実施の形態及び変形例に係るジェスチャ判定装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…ジェスチャ判定装置、３…カメラ、５…制御部、８…車両、９…手、３０…撮像領域、３５…画像、５０…移動量しきい値、５１…第１の速度しきい値、５２…第２の速度しきい値、５３…ジェスチャ情報、８０…センターコンソール、８１…車両通信システム、８２…車両ＬＡＮ、８３…車両制御部、８４…ナビゲーション装置、８５…音楽及び映像再生装置、８６…空調装置、８７…表示装置、１００…速度しきい値

Claims

操作者の手を周期的に撮像する撮像部と、
撮像された複数の画像に基づいて算出した一方向に手が移動する際の移動量が移動量しきい値より大きく、かつ移動速度が第１の速度しきい値より大きい場合、手を払うジェスチャが行われたと判定して前記手を払うジェスチャに応じた操作情報を出力し、判定が行われた後、前記第１の速度しきい値より大きい第２の速度しきい値を設定し、予め定められた期間、前記第１の速度しきい値を前記第２の速度しきい値に切り替えて前記手を払うジェスチャを判定する判定部と、
を備えたジェスチャ判定装置。
前記判定部は、前記移動速度の最大値に定数を乗算して前記第２の速度しきい値を算出し、
前記定数は、前記第２の速度しきい値が前記第１の速度しきい値より大きく前記最大値より小さくなるように定められる、
請求項１に記載のジェスチャ判定装置。
前記判定部は、前記移動速度の最大値に基づいて算出した値を前記第１の速度しきい値に加算して前記第２の速度しきい値を算出する、
請求項１に記載のジェスチャ判定装置。