JP7106031B2

JP7106031B2 - ジェスチャ検出装置及びジェスチャ検出方法

Info

Publication number: JP7106031B2
Application number: JP2022507995A
Authority: JP
Inventors: 太郎熊谷; 乃輔大橋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-03-19
Filing date: 2020-03-19
Publication date: 2022-07-25
Anticipated expiration: 2040-03-19
Also published as: DE112020006530T5; JPWO2021186710A1; WO2021186710A1

Description

本開示は、ジェスチャ検出装置及びジェスチャ検出方法に関する。

近年、撮像装置で撮像された画像から、人の手などの身体部分によって行われたジェスチャを検出するジェスチャ検出装置が提案されている（例えば特許文献１）。

特開２０１７－９１４９６号公報

画像の全領域に対応する撮像領域からジェスチャを検出すると、ユーザが意図していないジェスチャまで検出されてしまうことがある。そのようなジェスチャの誤検出を抑制するために、撮像領域の一部である検出領域のみジェスチャを検出するジェスチャ検出装置が考えられる。

また、検出領域内で一の種類のジェスチャを連続的に仮検出した回数が閾値以上である場合に、当該一の種類のジェスチャを検出し、検出領域外でジェスチャを仮検出した場合に、上記回数をリセットするジェスチャ検出装置が考えられる。このようなジェスチャ検出装置によれば、ジェスチャの誤検出をさらに抑制することができる。

しかしながら、仮検出を行うジェスチャ検出装置において、検出領域の縁部でジェスチャが行われると、撮像装置への振動などにより、ジェスチャを行う身体部分が検出領域から出入りして上記リセットが行われてしまうことがある。その結果、検出領域の縁部で行われているはずのジェスチャを検出できないという問題があった。

そこで、本開示は、上記のような問題点を鑑みてなされたものであり、ジェスチャを適切に検出可能な技術を提供することを目的とする。

本開示に係るジェスチャ検出装置は、画像を取得する取得部と、取得部で取得された画像に基づいて、画像の撮像領域内で身体部分によって行われたジェスチャの種類を仮検出し、当該仮検出の結果に基づいて、撮像領域の一部である検出領域内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上である場合に、一の種類のジェスチャを検出する検出部とを備え、検出部は、検出領域内で一の種類のジェスチャを仮検出した後に、検出領域外であり撮像領域内の領域である残領域内で一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、一の種類のジェスチャの検出領域回数または検出領域時間をリセットしない。

本開示によれば、検出領域内で一の種類のジェスチャを仮検出した後に、残領域内で一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、一の種類のジェスチャの検出領域回数または検出領域時間をリセットしない。このような構成によれば、ジェスチャを適切に検出することができる。

本開示の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

関連装置の動作を説明するための図である。関連装置の動作を説明するための図である。関連装置の動作を説明するための図である。実施の形態１に係るジェスチャ検出装置の構成を示すブロック図である。実施の形態２に係るジェスチャ検出装置の構成を示すブロック図である。実施の形態２に係るジェスチャ検出装置の動作を示すフローチャートである。実施の形態２に係るジェスチャ検出装置の動作を説明するための図である。その他の変形例に係るジェスチャ検出装置のハードウェア構成を示すブロック図である。その他の変形例に係るジェスチャ検出装置のハードウェア構成を示すブロック図である。その他の変形例に係るサーバの構成を示すブロック図である。その他の変形例に係る通信端末の構成を示すブロック図である。

＜関連装置＞
まず、本開示の実施の形態に係るジェスチャ検出装置について説明する前に、これと関連する先行技術ではないジェスチャ検出装置（以下「関連装置」と記す）について説明する。

図１は、関連装置の動作を説明するための図である。関連装置は、カメラなどの撮像装置から画像を取得する。画像の全領域に対応する領域が撮像領域４１として規定され、撮像領域４１の一部が、検出領域４２として規定される。説明の便宜上、以下の説明では、検出領域４２外であり撮像領域４１内である領域を「残領域」と記し、その領域に「４３」の符号を付すこともある。

関連装置は、撮像装置から取得された画像に基づいて、撮像領域４１内で身体部分によって行われたジェスチャの種類を仮検出する。以下、関連装置が検出領域４２内で一の種類のジェスチャを仮検出した回数を、「検出領域回数」と記して説明する。

関連装置は、一の種類のジェスチャの検出領域回数が予め定められた閾値以上である場合に、当該一の種類のジェスチャを検出する。図１の例では、閾値は「３」であり、手によるサムズアップが一の種類のジェスチャとして３回仮検出されている。この場合、関連装置はサムズアップというジェスチャを検出する。

一方、１回目に検出領域４２でジェスチャが仮検出された後に、図２に示すように２回目に検出領域４２ではなく残領域４３でジェスチャが仮検出された場合、関連装置は、サムズアップの検出領域回数を「０」にリセットする。また、１回目に検出領域４２内で仮検出されたジェスチャがサムズアップであり、図３に示すように２回目に検出領域４２内で仮検出されたジェスチャがパーである場合、関連装置は、パーの検出領域回数をカウントして「１」に設定し、サムズアップの検出領域回数を「０」にリセットする。

以上のような関連装置であれば、検出領域４２内で一の種類のジェスチャを連続的に仮検出した場合に、当該一の種類のジェスチャを検出する。これにより、ユーザが意図していなかったジェスチャを検出してしまう誤検出を抑制することが可能となる。

しかしながら、関連装置において検出領域４２の縁部でジェスチャが行われると、画像を撮像する撮像装置への振動などにより、ジェスチャを行う身体部分が検出領域４２から出入りして上記リセットが行われてしまうことがある。その結果、関連装置では、検出領域４２の縁部で行われているはずのジェスチャを検出できないという問題があった。これに対して、以下で説明する本開示の実施の形態に係るジェスチャ検出装置によれば、このような問題を解決することが可能となっている。

＜実施の形態１＞
図４は、本実施の形態１に係るジェスチャ検出装置の構成を示すブロック図である。なお、本実施の形態１に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。図４のジェスチャ検出装置１は、取得部１１と、検出部１２とを備える。なお本実施の形態１では、ジェスチャ検出装置１は車両に搭載されているものとして説明するが、後述するように車両に搭載されていなくてもよい。

取得部１１は、画像を取得する。取得部１１には、例えば、カメラなどの撮像装置、または、このインターフェースなどが用いられる。

検出部１２は、取得部１１で取得された画像に基づいて、画像の撮像領域４１内で身体部分によって行われたジェスチャの種類を仮検出する。そして、検出部１２は、検出領域４２内で一の種類のジェスチャを仮検出した検出領域回数が予め定められた閾値以上である場合に、当該一の種類のジェスチャを検出する。つまり、図１を用いて説明した検出と実質的に同じ検出を行う。

ここで、検出部１２が、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で当該一の種類のジェスチャを仮検出した場合を想定する。この場合、関連装置では、上記一の種類のジェスチャの検出領域回数をリセットした。これに対して、関連装置では、この場合であっても、仮検出について予め定められた条件（以下「緩和条件」と記す）が満たされた場合には、上記一の種類のジェスチャの検出領域回数をリセットしない。ここでいう緩和条件は、検出領域４２外の残領域４３内で一の種類のジェスチャが仮検出されても、検出領域４２内で当該一の種類のジェスチャが仮検出されているとみなすことができる条件である。この緩和条件の例については、実施の形態２などで説明する。

＜実施の形態１のまとめ＞
本実施の形態１に係るジェスチャ検出装置１では、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で当該一の種類のジェスチャを仮検出し、かつ、緩和条件が満たされた場合、当該一の種類のジェスチャの検出領域回数をリセットしない。このような構成によれば、ジェスチャを行う身体部分が検出領域４２から多少出入りしても、検出領域４２の縁部で行われているはずのジェスチャを検出することができるので、ジェスチャを適切に検出することができる。

＜実施の形態１の変形例＞
実施の形態１において、検出領域４２内で一の種類のジェスチャを仮検出した回数である検出領域回数の代わりに、検出領域４２内で一の種類のジェスチャを仮検出した時間である検出領域時間を用いるように検出部１２は構成されてもよい。

つまり、検出部１２は、検出領域４２内で一の種類のジェスチャを仮検出した検出領域時間が予め定められた閾値以上である場合に、当該一の種類のジェスチャを検出してもよい。また、検出部１２は、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で当該一の種類のジェスチャを仮検出し、かつ、緩和条件が満たされた場合、当該一の種類のジェスチャの検出領域時間をリセットしないように構成されてもよい。

このような構成でも、実施の形態１と同様の検出を行うことができる。なお、この変形例は実施の形態２などにおいても同様に適用することができる。

＜実施の形態２＞
図５は、本実施の形態２に係るジェスチャ検出装置の構成を示すブロック図である。なお、本実施の形態２に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じまたは類似する参照符号を付し、異なる構成要素について主に説明する。

図５のジェスチャ検出装置１は、取得部１１と、第１検出部１２ａ及び第２検出部１２ｂを含む検出部１２とを備える。ジェスチャ検出装置１は、撮像部２１と接続され、かつ、制御部２２を介して車載機器２３と接続されている。本実施の形態２では、撮像部２１は車両に搭載されているものとして説明するが、これに限ったものではない。例えば、撮像部２１は、ＦＡ（Factory Automation）の工場、及び、監視装置など、撮像部２１に振動が加わりやすい場所に設けられてもよい。

撮像部２１は、車両室内の画像を撮像する。撮像部２１には、例えば、運転席、助手席、及び、後部座席の画像を撮像可能な広角カメラなどの撮像装置が用いられる。なお、撮像部２１に、このような広角カメラが用いられる場合には、検出領域４２は、撮像領域４１のうち、例えば運転席、助手席、及び、後部座席などに対応する複数の箇所に規定されてもよい。そして、各検出領域４２において検出領域回数がカウントされてもよい。

取得部１１は、撮像部２１で撮像された画像を取得する。この画像は、例えば、車両室内の画像などを含む。

第１検出部１２ａは、取得部１１で取得された画像に基づいて、画像の撮像領域４１内で身体部分によって行われたジェスチャの種類を仮検出する。例えば、第１検出部１２ａは、上記画像から、予め定められた身体部分の骨格を抽出するパターン認識を行い、抽出した骨格の動きから、当該骨格に予め定められた種類のジェスチャを抽出するパターン認識を行う。予め定められた身体部分は、例えば、人の手、腕、頭などを含む。予め定められた複数種類のジェスチャは、例えば、サムズアップ、パー、手の揺動、頭の揺動などを含む。なお、予め定められた身体部分、及び、予め定められた複数種類のジェスチャには、ＡＩ（artificial intelligence）の学習が用いられてもよい。

第２検出部１２ｂは、第１検出部１２ａでの仮検出の結果に基づいて、検出領域４２内で一の種類のジェスチャを仮検出した検出領域回数が予め定められた閾値以上であると判定した場合に、当該一の種類のジェスチャを検出する。

また、第２検出部１２ｂは、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で当該一の種類のジェスチャを仮検出し、かつ、緩和条件が満たされた場合、当該一の種類のジェスチャの検出領域回数をリセットしない。ここで本実施の形態２に係る緩和条件は、検出領域４２内で一の種類のジェスチャの検出領域回数が、予め定められた時間以内に変更されるという条件である。このため、第２検出部１２ｂが、検出領域４２内で一の種類のジェスチャを仮検出して、残領域４３内で当該一の種類のジェスチャを仮検出した後、予め定められた時間以内に検出領域４２内で当該一の種類のジェスチャを仮検出した場合、当該一の種類のジェスチャの検出領域回数をリセットしない。

一方、第２検出部１２ｂは、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で当該一の種類のジェスチャを仮検出し、かつ、緩和条件が満たされなかった場合、当該一の種類のジェスチャの検出領域回数をリセットする。ここで本実施の形態２に係る緩和条件は、上述したように、検出領域４２内で一の種類のジェスチャの検出領域回数が、予め定められた時間以内に変更されるという条件である。このため、第２検出部１２ｂが、検出領域４２内で一の種類のジェスチャを仮検出して、残領域４３内で当該一の種類のジェスチャを仮検出した後、予め定められた時間以内に検出領域４２内で当該一の種類のジェスチャを仮検出しなかった場合、当該一の種類のジェスチャの検出領域回数をリセットする。

制御部２２は、第２検出部１２ｂひいては検出部１２で検出された一の種類のジェスチャに基づいて、車載機器２３を制御する。例えば、車載機器２３が方向指示器を含み、一の種類のジェスチャが手を右に振るジェスチャであった場合には、制御部２２は、右側の方向指示器を点滅させる制御を行う。

＜動作＞
図６は、本実施の形態２に係るジェスチャ検出装置１の動作を示すフローチャートである。

まずステップＳ１にて、取得部１１は画像を取得する。

ステップＳ２にて、第１検出部１２ａは、撮像領域４１内でジェスチャが行われたか否かを判定する。撮像領域４１内でジェスチャが行われたと判定された場合には処理がステップＳ３に進み、撮像領域４１内でジェスチャが行われなかったと判定された場合には処理がステップＳ１０に進む。

ステップＳ３にて、第１検出部１２ａは、撮像領域４１内で行われたジェスチャの種類を仮検出する。

ステップＳ４にて、第２検出部１２ｂは、第１検出部１２ａでジェスチャが仮検出された領域が検出領域４２であるか否かを判定する。ジェスチャが仮検出された領域が検出領域４２である判定された場合には処理がステップＳ５に進む。ジェスチャが仮検出された領域が検出領域４２でないと判定された場合、つまり上記領域が残領域４３であると判定された場合には処理がステップＳ９に進む。

ステップＳ５にて、第２検出部１２ｂは、第１検出部１２ａが前回仮検出したジェスチャの種類と、第１検出部１２ａが今回仮検出したジェスチャの種類とが同じであるか否かを判定する。両者のジェスチャの種類が同じであると判定された場合には処理がステップＳ６に進み、両者のジェスチャの種類が異なると判定された場合には処理がステップＳ１１に進む。

ステップＳ６にて、第２検出部１２ｂは、ステップＳ３で仮検出された一の種類のジェスチャの検出領域回数をカウントしてインクリメントする。

ステップＳ７にて、第２検出部１２ｂは、ステップＳ３で仮検出された一の種類のジェスチャの検出領域回数が、予め定められた閾値以上であるか否かを判定する。検出領域回数が予め定められた閾値以上であると判定された場合には処理がステップＳ８に進み、検出領域回数が予め定められた閾値未満であると判定された場合には処理がステップＳ１に戻る。

ステップＳ８にて、第２検出部１２ｂは、ステップＳ３で仮検出された一の種類のジェスチャを検出し、その検出結果を制御部２２に出力する。その後、処理がステップＳ１に戻る。

ステップＳ４からステップＳ９に進んだ場合、第２検出部１２ｂは、緩和条件が満たされたか否かを判定する。緩和条件が満たされたと判定された場合には、検出領域回数がリセットされずに処理がステップＳ１に戻り、緩和条件が満たされなかったと判定された場合には、処理がステップＳ１０に進む。

ステップＳ２またはステップＳ９からステップＳ１０に進んだ場合、第２検出部１２ｂは、一の種類のジェスチャの検出領域回数を「０」にリセットする。その後、処理がステップＳ１に戻る。

ステップＳ５からステップＳ１１に進んだ場合、第２検出部１２ｂは、ステップＳ３で仮検出された一の種類のジェスチャの検出領域回数をカウントして「１」に設定する。また、ステップＳ３で仮検出された一の種類のジェスチャ以外のジェスチャの検出領域回数を「０」にリセットする。その後、処理がステップＳ１に戻る。

なお、図６のステップの順番は適宜変更されてもよく、例えば、ステップＳ４とステップＳ５との順番は入れ替えてもよい。

ここで、検出領域４２内、残領域４３内、及び、検出領域４２内の順にジェスチャの種類を仮検出した一連の仮検出が行われた場合を想定する。

上記一連の仮検出において、検出領域４２内で１回目に仮検出したジェスチャの種類と、検出領域４２内で２回目に仮検出したジェスチャの種類とが同じである場合、ステップＳ５の処理の後、ステップＳ６の処理が行われることになる。このため、以上のような場合には、第２検出部１２ｂは、１回目及び２回目に仮検出されたジェスチャの検出領域回数をカウントしてインクリメントすることになる。

一方、上記一連の仮検出において、検出領域４２内で１回目に仮検出したジェスチャの種類と、検出領域４２内で２回目に仮検出したジェスチャの種類とが異なる場合、ステップＳ５の処理の後、ステップＳ１１の処理が行われることになる。このため、以上のような場合には、第２検出部１２ｂは、２回目に仮検出されたジェスチャの検出領域回数をカウントして「１」に設定し、１回目に仮検出されたジェスチャの検出領域回数を「０」にリセットすることになる。この結果、図３を用いて説明した動作と実質的に同じ動作を行うことができる。

図７は、本実施の形態２に係るジェスチャ検出装置１の動作を説明するための図である。なお、この図７の例でも、図１の例と同様に、一の種類のジェスチャを検出するための閾値は「３」であるものとする。

図７の例では、１回目及び２回目の仮検出にて検出領域４２内でサムズアップが仮検出されているため、第２検出部１２ｂは、サムズアップの検出領域回数をカウントして「１」から「２」にインクリメントする。３回目の仮検出にて残領域４３内でサムズアップが仮検出されているが、予め定められた時間以内に４回目の仮検出にて検出領域４２内でサムズアップが仮検出されている。この場合、緩和条件が満たされるため、第２検出部１２ｂは、３回目の仮検出にてサムズアップの検出領域回数をリセットせずに、４回目の仮検出にてサムズアップの検出領域回数をカウントして「２」から「３」にインクリメントする。その結果、サムズアップの検出領域回数が閾値以上となるため、第２検出部１２ｂは、サムズアップというジェスチャを検出する。

＜実施の形態２のまとめ＞
本実施の形態２に係るジェスチャ検出装置１では、緩和条件は、検出領域４２内で一の種類のジェスチャの検出領域回数が、予め定められた時間以内に変更されることである。このような構成によれば、ジェスチャを行う身体部分が検出領域４２から多少出入りしても、検出領域４２の縁部で行われているはずのジェスチャを検出することができるので、ジェスチャを適切に検出することができる。なお、このような検出は、撮像部２１に振動が加わりやすい場所に設けられている場合などに特に有効である。また、撮像部２１として、車両のダッシュボード部などの中央部に搭載された近赤外線の広角カメラ及び投光器（ＩＲ－ＬＥＤ）が用いられてもよい。具体的には、１つ以上のＬＥＤが、運転席と助手席の一部とを照射し、広角カメラが、１つ以上のＬＥＤの照射範囲を含む領域を撮像領域４１の画像として撮像してもよい。この場合、広角カメラの撮像領域４１の一部（例えば上記照射範囲）のみがジェスチャの検出領域４２として用いられ、その結果、手が検出領域４２からはみ出しやすくなるので、本実施の形態２に係るジェスチャ検出装置１は特に有効である。

＜実施の形態２の変形例１＞
実施の形態２では、緩和条件は、検出領域４２内で一の種類のジェスチャの検出領域回数が、予め定められた時間以内に変更されることであったが、これに限ったものではない。

例えば、緩和条件は、残領域４３内で一の種類のジェスチャを仮検出した残領域回数または残領域時間が、予め定められた閾値以下であることであってもよい。この場合、残領域４３におけるジェスチャの残領域回数または残領域時間が比較的小さい場合には、検出領域回数のリセットが行われなくなるので、実施の形態２と同様の効果を得ることができる。

また例えば、緩和条件は、一の種類のジェスチャが検出領域４２内で仮検出されてから残領域４３内で仮検出されるまでの身体部分の移動量が、予め定められた閾値以下であることであってもよい。この場合、身体部分が検出領域４２と残領域４３との間の境界付近しか移動しないような場合にはリセットが行われなくなるので、実施の形態２と同様の効果を得ることができる。

＜実施の形態２の変形例２＞
１回目にジェスチャを仮検出した後に２回目にジェスチャを仮検出した一連の仮検出において、身体部分の大きさの変化が、予め定められた閾値以上であった場合を想定する。このような場合に、第２検出部１２ｂは、２回目に仮検出されたジェスチャの検出領域回数をカウントし、１回目に仮検出されたジェスチャの検出領域回数をリセットするように構成されてもよい。

このような構成によれば、ある人の身体部分のジェスチャを仮検出していた後に、別の人の身体部分のジェスチャを仮検出してしまった場合に、ある人の仮検出結果が、別の人の仮検出結果に反映されることを抑制することができる。なお、上記のようなリセットは、ジェスチャが仮検出された領域が検出領域４２であるか否かに関わらずに行われてもよい。

また同様に、１回目にジェスチャを仮検出した後に２回目にジェスチャを仮検出した一連の仮検出において、身体部分の移動量が、予め定められた閾値以上であった場合を想定する。このような場合に、第２検出部１２ｂは、２回目に仮検出されたジェスチャの検出領域回数をカウントし、１回目に仮検出されたジェスチャの検出領域回数をリセットするように構成されてもよい。

このような構成でも、上記と同様に、ある人の仮検出結果が、別の人の仮検出結果に反映されることを抑制することができる。なお、上記のようなリセットは、ジェスチャが仮検出された領域が検出領域４２であるか否かに関わらずに行われてもよい。

＜その他の変形例＞
上述した図４の取得部１１及び検出部１２を、以下「取得部１１等」と記す。取得部１１等は、図８に示す処理回路８１により実現される。すなわち、処理回路８１は、画像を取得する取得部１１と、取得部１１で取得された画像に基づいて、画像の撮像領域４１内で身体部分によって行われたジェスチャの種類を仮検出し、当該仮検出の結果に基づいて、検出領域４２内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上である場合に、一の種類のジェスチャを検出する機能を有し、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、一の種類のジェスチャの検出領域回数または検出領域時間をリセットしない機能を有する検出部１２と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単１回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図９に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、ジェスチャ検出装置１は、処理回路８１により実行されるときに、画像を取得するステップと、取得された画像に基づいて、画像の撮像領域４１内で身体部分によって行われたジェスチャの種類を仮検出し、当該仮検出の結果に基づいて、検出領域４２内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上である場合に、一の種類のジェスチャを検出するステップと、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、一の種類のジェスチャの検出領域回数または検出領域時間をリセットしないステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１１については専用のハードウェアとしての処理回路８１、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明したジェスチャ検出装置１は、ＤＭＳ（Driver Monitoring System）などの車両装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、車両装置及び通信端末の少なくとも１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築されるジェスチャ検出システムにも適用することができる。この場合、以上で説明したジェスチャ検出装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。

図１０は、本変形例に係るサーバ９１の構成を示すブロック図である。図１０のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、車両９２のＤＭＳ装置などの車両装置９３と無線通信を行うことが可能となっている。

取得部である通信部９１ａは、車両装置９３と無線通信を行うことにより、車両装置９３で取得された画像を受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図４の検出部１２と同様の機能を有している。つまり、制御部９１ｂは、通信部９１ａで受信された画像に基づいて、画像の撮像領域４１内で身体部分によって行われたジェスチャの種類を仮検出し、当該仮検出の結果に基づいて、検出領域４２内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上である場合に、一の種類のジェスチャを検出する機能を有し、検出領域４２内で一の種類のジェスチャを仮検出した後に、残領域４３内で一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、一の種類のジェスチャの検出領域回数または検出領域時間をリセットしない機能を有する。そして、通信部９１ａは、制御部９１ｂの検出結果を車両装置９３に送信する。このように構成されたサーバ９１によれば、実施の形態１で説明したジェスチャ検出装置１と同様の効果を得ることができる。

図１１は、本変形例に係る通信端末９６の構成を示すブロック図である。図１１の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、車両９７の車両装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、実施の形態１で説明したジェスチャ検出装置１と同様の効果を得ることができる。

なお、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

上記した説明は、すべての態様において、例示であって、本開示がそれに限定されるものではない。例示されていない無数の変形例が、本開示の範囲から外れることなく想定され得るものと解される。

１ジェスチャ検出装置、１１取得部、１２検出部、１２ａ第１検出部、１２ｂ第２検出部、４１撮像領域、４２検出領域、４３残領域。

Claims

画像を取得する取得部と、
前記取得部で取得された前記画像に基づいて、前記画像の撮像領域内で身体部分によって行われたジェスチャの種類を仮検出し、当該仮検出の結果に基づいて、前記撮像領域の一部である検出領域内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上である場合に、前記一の種類のジェスチャを検出する検出部と
を備え、
前記検出部は、
前記検出領域内で前記一の種類のジェスチャを仮検出した後に、前記検出領域外であり前記撮像領域内の領域である残領域内で前記一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、前記一の種類のジェスチャの前記検出領域回数または前記検出領域時間をリセットしない、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記検出部は、
前記検出領域内で前記一の種類のジェスチャを仮検出した後に、前記残領域内で前記一の種類のジェスチャを仮検出し、かつ、前記予め定められた条件が満たされなかった場合、前記一の種類のジェスチャの前記検出領域回数または前記検出領域時間をリセットする、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記予め定められた条件は、
前記一の種類のジェスチャの前記検出領域回数または前記検出領域時間が、予め定められた時間以内に変更されることを含む、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記予め定められた条件は、
前記残領域内で前記一の種類のジェスチャを仮検出した残領域回数または残領域時間が、予め定められた閾値以下であることを含む、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記予め定められた条件は、
前記一の種類のジェスチャが前記検出領域内で仮検出されてから前記残領域内で仮検出されるまでの前記身体部分の移動量が、予め定められた閾値以下であることを含む、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記検出部は、
１回目にジェスチャを仮検出した後に２回目にジェスチャを仮検出した一連の仮検出において、前記身体部分の大きさの変化が、予め定められた閾値以上である場合に、２回目に仮検出されたジェスチャの前記検出領域回数または前記検出領域時間をカウントする、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記検出部は、
１回目にジェスチャを仮検出した後に２回目にジェスチャを仮検出した一連の仮検出において、前記身体部分の移動量が、予め定められた閾値以上である場合に、２回目に仮検出されたジェスチャの前記検出領域回数または前記検出領域時間をカウントする、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記検出部は、
前記検出領域内、前記残領域内、及び、前記検出領域内の順にジェスチャの種類を仮検出した一連の仮検出において、前記検出領域内で１回目に仮検出したジェスチャの種類と、前記検出領域内で２回目に仮検出したジェスチャの種類とが同じである場合、１回目及び２回目に仮検出されたジェスチャの前記検出領域回数または前記検出領域時間をカウントする、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記検出部は、
前記検出領域内、前記残領域内、及び、前記検出領域内の順にジェスチャの種類を仮検出した一連の仮検出において、前記検出領域内で１回目に仮検出したジェスチャの種類と、前記検出領域内で２回目に仮検出したジェスチャの種類とが異なる場合、２回目に仮検出されたジェスチャの前記検出領域回数または前記検出領域時間をカウントする、ジェスチャ検出装置。
請求項１に記載のジェスチャ検出装置であって、
前記検出部は、
前記取得部で取得された前記画像に基づいて、前記撮像領域内で身体部分によって行われたジェスチャの種類を仮検出する第１検出部と、
前記第１検出部での仮検出の結果に基づいて、前記検出領域内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上であると判定した場合に、前記一の種類のジェスチャを検出する第２検出部と
を含む、ジェスチャ検出装置。
画像を取得し、
取得された前記画像に基づいて、前記画像の撮像領域内で身体部分によって行われたジェスチャの種類を仮検出し、当該仮検出の結果に基づいて、前記撮像領域の一部である検出領域内で一の種類のジェスチャを仮検出した検出領域回数または検出領域時間が予め定められた閾値以上である場合に、前記一の種類のジェスチャを検出し、
前記検出領域内で前記一の種類のジェスチャを仮検出した後に、前記検出領域外であり前記撮像領域内の領域である残領域内で前記一の種類のジェスチャを仮検出し、かつ、仮検出について予め定められた条件が満たされた場合、前記一の種類のジェスチャの前記検出領域回数または前記検出領域時間をリセットしない、ジェスチャ検出方法。