JP6188468B2 - 画像認識装置、ジェスチャ入力装置及びコンピュータプログラム - Google Patents

Description

本発明は、主として、手のジェスチャによる入力を受け付ける情報システムにおいて、ジェスチャ入力の処理を効率化する技術に関するものである。

手のジェスチャによる入力を受け付ける情報システムとしては、ユーザの手を撮影するカメラを設け、カメラで撮影した画像からユーザの手のジェスチャを認識し、認識したジェスチャに応じた処理を行うシステムが知られている（たとえば、特許文献１）。

特開２０１１-２０４０１９号公報

自動車のステアリングホイールを握った運転者の手のジェスチャによる入力の受け付けを行う場合、ステアリングホイール上の手の位置は個々の運転者やその時々の状況によって異なるため、カメラでステアリングホイール周辺の広い範囲を撮影し、カメラの撮影画像の全体を対象として撮影画像中に写り込んだ手の画像領域を特定する処理を行った上で、手のジェスチャを認識する必要がある。

そして、このように手が写り込む画像領域のサイズに比べてサイズの大きなカメラの撮影画像の全体に対して手の画像領域を特定する処理を行う必要があるため、その処理負荷は比較的大きなものとなる。また、カメラの撮影画像中に手の画像と特徴が類似する手ではない被写体の画像領域が生じる可能性が大きくなるため、手の画像領域の誤認識も生じやすくなる。
そこで、本発明は、カメラで撮影したステアリングホイール周辺の画像に含まれる、自動車のステアリングホイールを握った運転者の手の画像認識を、より効率的に精度良く行うことを課題とする。

前記課題達成のために、本発明は、画像に写り込んだ手を認識する、自動車に搭載される画像認識装置に、前記自動車のステアリングホイール周辺のようすを撮影するカメラと、手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段とを備えたものである。

ここで、このような画像認識装置は、当該画像認識装置に、さらに、前記ステアリングホイールの回転角を検出する回転角センサを設け、前記認識対象画像設定手段において、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定するように構成してもよい。
また、これらの画像認識装置において、前記ステアリングリムセンサは、前記ステアリングリムに、当該ステアリングリムの周に沿って配置された、前記手の接近もしくは接触を検出する複数のセンサを含んで構成するようにしてもよい。

また、本発明は併せて、以上の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置として、前記画像認識手段が画像認識した手の形状より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段を備えたジェスチャ入力装置も提供する。

また、本発明は併せて、以上の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置として、前記ステアリングリム上の位置を検出していない状態にあった前記ステアリングリムセンサが前記ステアリングリム上の位置を検出したときに、前記画像認識手段が認識した手を基準として、前記カメラが撮影した画像中の手をトラッキングして画像認識し、画像認識した手の形状もしくは認識した手の形状の推移より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段を備えたジェスチャ入力装置も提供する。

これらの画像認識装置やジェスチャ入力装置によれば、ステアリングリムセンサでユーザのステアリングリムに接近または接触した手の位置を検出し、検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像とし、当該認識対象画像のみを対象として、手の画像認識を行う。

したがって、カメラが撮影した画像全体を対象として手の画像を認識する画像認識処理を行う場合に比べ、手の画像認識を、より少なく処理負荷で効率的に行うことができる。また、ステアリングリムセンサで手の接近または接触を検出した位置が写り込む位置周辺の画像部分、すなわち、手の画像が写り込んでいることが強く見込まれる画像部分のみを対象として手の画像認識を行うことになるので、手の画像の誤認識も抑制される。

以上のように、本発明によればカメラで撮影したステアリングホイール周辺の画像に含まれる、自動車のステアリングホイールを握った運転者の手の画像認識を、より効率的に精度良く行うことができる。

本発明の実施形態に係る情報システムの構成を示すブロック図である。 本発明の実施形態に係るステアリングホイールセンサとカメラの配置を示す図である。 本発明の実施形態に係るカメラの配置を示す図である。 本発明の実施形態に係るジェスチャ入力受付処理を示すフローチャートである。 本発明の実施形態に係るジェスチャ入力受付処理の処理例を示す図である。

以下、本発明の実施形態について説明する。
図１に、本実施形態に係る情報システムの構成を示す。
ここで、情報システムは、自動車に搭載されるシステムであり、当該情報システムは、たとえば、空調制御システムやＡＶシステムやナビゲーションシステムなどの各種用途の情報システムをであってよい。
図示するように、情報システムは、回転角度センサ１、ステアリングリムセンサ２、カメラ３、表示装置４、音声出力装置５、ジェスチャ認識装置６、制御装置７、１つまたは複数の周辺装置８を備えている。
ただし、このような情報システムは、ＣＰＵやメモリを備えたコンピュータを用いて構成されるものであってよく、この場合、ジェスチャ認識装置６や制御装置７は、コンピュータが所定のコンピュータプログラムを実行することにより実現されるものであってよい。

ここで、回転角度センサ１は、自動車のステアリングホイールの中立位置（自動車が直進する位置）からの回転角度を検出するセンサである。
また、ステアリングリムセンサ２は、図２ａに示すような自動車のステアリングホイールに設けられた、手が接触または接近したステアリングリム上の位置を検出するセンサであり、ステアリングリムセンサ２は、図２ｂに示すように、ステアリングリムの表面下に埋め込まれた形態で、当該ステアリングリムの周方向に沿って配置された、ユーザの手の接触や接近を検出する複数のセンサ２１より構成される。ここで、複数のセンサ２１としては、たとえば、静電容量式のタッチセンサを用いることができる。

次に、表示装置４は、たとえば液晶表示装置であり、図３ａに示すように、ダッシュボード上の、左右方向について運転席と助手席の中間の位置に配置される。
また、カメラ３は、可視光を撮影するカメラまたは赤外カメラであり、図３ａに示すように、自動車のメータクラスタ内に配置され、ステアリングホイールの裏側から、ステアリングホイール周辺を撮影した、図３ｂに示すような撮影画像を出力する。
以下、このような情報システムにおいて、ジェスチャ認識装置６が行うジェスチャ入力受付処理について説明する。
図４に、このジェスチャ入力受付処理の手順を示す。
図示するように、この処理では、ステアリングリムセンサ２による手が接近または接触した位置の検出を監視し（ステップ４０２）、ステアリングリムセンサ２による位置の検出が発生したならば（ステップ４０２）、回転角度センサ１が検出している自動車のステアリングホイールの回転角度を参照し、ステアリングリムセンサ２が接近または接触を検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置周辺に検出領域を設定する（ステップ４０４）。

ここで、ステアリングリムセンサ２が検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置は、ステアリングホイールが中立位置にあるときの、ステアリングリムセンサ２が検出したステアリングリム上の位置を、ステアリングホイールの回転軸を中心として、回転角度センサ１が検出している回転角度分、回転させた位置が、カメラの撮影画像中に写り込む位置として求める。
また、検出領域は、たとえば、ステアリングリムセンサ２が接近または接触を検出したステアリングリム上の位置が現在カメラの撮影画像中に写り込む位置を基準位置として、基準位置を中心とする領域として設定する。また、検出領域のサイズは、たとえば、縦横のそれぞれについて、ステアリングを握った標準的な大きさ手がカメラ３の撮影画像に写り込む大きさのｎ倍（ｎはたとえば２）の大きさとする。

すなわち、たとえば、回転角度センサ１が検出している自動車のステアリングホイールの回転角度が０すなわちステアリングホイールが中立位置にあるときに、図５ａに示すようにステアリングリムセンサ２のユーザから見て右上のセンサＡがユーザの手の接近または接触を検知した場合には、図５ｂに示すカメラ３の撮影画像中の位置Ｘが、センサＡが現在カメラの撮影画像中に写り込む位置となるので、位置Ｘを基準位置として、基準位置周辺の領域５０１を検出領域とする。

なお、ステアリングリムセンサ２が同時に複数の位置を検出している場合には、ステアリングリム上の、接近または接触が検出されたステアリングリム上の複数の位置の中央となる位置が、現在カメラの撮影画像中に写り込む位置を基準位置とする。

次に、このようにした検出領域を設定したならば、撮影画像中の検出領域の画像部分を認識対象画像として、認識対象画像内の手の画像認識を行う画像認識処理を行う（ステップ４０６）。
すなわち、図５ｂに示したように検出領域５０１が設定されている場合には、図５ｃに示すように得られるカメラ３の撮影画像の検出領域５０１の画像部分を、認識対象画像として図５ｄに示すように抽出し、抽出した図５ｄの認識対象画像に対して、手を画像認識する画像認識処理を行う。

ここで、認識対象画像に対して行う手の画像認識処理は、カメラ３としてカラーカメラを用いる場合には、たとえば、認識対象画像内の肌色の領域が、手の少なくとも一部の形状を有している場合に、当該手の一部の形状を有している肌色の領域を、手として認識することにより行う。また、当該画像認識処理は、カメラ３として赤外カメラを用いる場合には、たとえば、認識対象画像内の高輝度色の領域が、手の少なくとも一部の形状を有している場合に、当該手の一部の形状を有している高輝度色の領域の領域を、手として認識することにより行う。

そして、ステップ４０６で行った画像認識処理で、認識対象画像内の手の認識が成功したかどうかを判定し（ステップ４０８）、成功しなかった場合、すなわち、手の画像を認識できなかった場合には、手特徴履歴データをクリアし（ステップ４２２）、ステップ４０２からの処理に戻る。なお、手特徴履歴データについては後述する。

一方、ステップ４０６で行った画像認識処理で、認識対象画像内の手の認識が成功した場合には（ステップ４０８）、ステップ４０６で行った画像認識処理で認識した手の形状の特徴（たとえば、何本の指が立っているかや、手が開かれているかなど）を、手特徴履歴データに登録する（ステップ４１０）。

そして、手特徴履歴データを用いてユーザの手のジェスチャを認識するジェスチャ認識処理を行う（ステップ４１２）。
ここで、ジェスチャ認識処理におけるジェスチャの認識は、たとえば、次のように行う。
すなわち、ジェスチャ認識装置６に、予め定めた入力として受け付けるジェスチャのジェスチャパターンとして、そのジェスチャ行っている手の形状の特徴や、手の形状の特徴の変化を予め登録しておく。そして、手特徴履歴データより求まる、最新の手の形状の特徴や、現在までの手の形状の特徴の変化などが、いずれかのジェスチャパターンとマッチしている場合に、マッチしたジェスチャパターンのジェスチャを認識する。

次に、このようにしてジェスチャ認識処理を行ったならば（ステップ４１２）、ジェスチャの認識が成功したかどうかを判定し（ステップ４１４）、成功した場合には、認識したジェスチャに対して予め定められている入力コードを制御装置７に出力し（ステップ４１６）、手特徴履歴データをクリアし（ステップ４１８）、ステップ４２０に進む。一方、ジェスチャの認識が成功しなかった場合には（ステップ４１４）、そのままステップ４２０に進む。

そして、ステップ４２０に進んだならば、前回のステップ４０６において認識した手に基づいて、カメラ３の撮影画像中の手を追跡して認識するトラッキングを行うために、以降のステップ４０６において画像認識処理の対象とする認識対象画像を切り出すために用いる上述の検出領域を更新し、ステップ４０６からの処理に戻ることにより行う。

ここで、ステップ４２０における検出領域の更新は、以下のように行う。
すなわち、ステップ４０６で認識した認識対象画像中の手の位置や当該位置の現在までの変化や、現在までの検出領域の位置の変化や、回転角センサが検出したステアリングホールの回転角の変化から、現在カメラが撮影している撮影画像中でユーザの手が写り込んでいる領域を推定し、推定した領域に検出領域を変更する。
ただし、ステップ４２０の検出領域の更新はこれを行なわずに、ステップ４２０に進む代わりにステップ４０６に戻るようにしてもよい。または、ステップ４２０を行わずに、ステップ４２０の検出領域の更新はこれを行なわずに、ステップ４２０に進む代わりにステップ４０４に戻って、その時点で、回転角度センサ１が検出している自動車のステアリングホイールの回転角度と、ステアリングリムセンサ２が検出している位置より検出領域を再設定することにより、検出領域の更新を行うようにしてもよい。

以上、ジェスチャ認識装置６が行うジェスチャ入力受付処理について説明した。
さて、図１に戻り、情報システムがＡＶシステムを構成するものであれば、周辺装置８は、放送受信機や、ＣＤ/ＤＶＤなどの記録ディスクを再生するディスクドライブや、スピーカを備えた音声出力装置５などである。そして、制御装置７は、表示装置４に適当なＧＵＩ画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置６からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、放送受信機やディスクドライブの動作を制御する処理や、放送受信機で受信した音声やディスクドライブ装着された記録ディスクに記録されている音声を音声出力装置５に出力する処理や、放送受信機で受信した映像や、ディスクドライブ装着された記録ディスクに記録されている映像を表示装置４に出力する処理などを行う。

また、情報システムがナビゲーションシステムを構成するものであれば、周辺装置８は、地図データを記憶した記憶装置や、ＧＰＳ受信機や、自動車の車速や角速度を検出するセンサ２１などである。そして、制御装置７は、表示装置４に適当なＧＵＩ画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置６からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、現在位置の算出や、目的地の設定や、目的地までのルートの設定や、地図上に現在位置や目的地やルートを表したナビゲーション画像の表示装置４への表示や、ナビゲーション画像のスクロール表示などの処理を行う。
また、情報システムが空調制御システムを構成するものであれば、周辺装置８は、エアコンディショナーである。そして、制御装置７は、表示装置４に適当なＧＵＩ画面を表示しつつ、上述のジェスチャ入力受付処理によってジェスチャ認識装置６からジェスチャの認識の結果として入力する入力コードをユーザ操作を表す値として受け付け、エアコンディショナーの温度や風量や吹き出し口を変更するなどの処理を行う。

以上、本発明の実施形態について説明した。
以上のように、本実施形態によれば、ステアリングリムセンサ２で手の接近または接触を検出した位置が写り込む位置周辺の画像部分、すなわち、手の画像が写り込んでいることが強く見込まれる画像部分のみを対象として手の画像認識を行うことになるので、カメラ３が撮影した画像全体に対して手の画像の認識処理を行う場合に比べ、より低負荷に効率的な手の画像の認識を行うことができると共に、手の画像の誤認識も抑制することができる。

なお、以上の実施形態は、ステアリングホイールが中立位置にあるとき、すなわち、自動車が旋回動作をしていない期間のみ、情報システムにおいてジェスチャ入力を受け付けるようにしてもよく、この場合には、回転角センサは省略してよい。
また、以上の実施形態におけるステアリングリムセンサ２の検出位置に基づいて設定した、カメラ３の撮影画像中の検出領域の画像部分を対象認識画像とする技術は、ユーザ識別などにも適用することができる。すなわち、この場合には、対象認識画像に対して、対象認識画像に含まれる手の画像の個人的な特徴を認識する画像認識処理を行って、画像認識処理で認識した特徴より、運転者であるユーザが誰であるのかを識別するようにすればよい。

１…回転角度センサ、２…ステアリングリムセンサ、３…カメラ、４…表示装置、５…音声出力装置、６…ジェスチャ認識装置、７…制御装置、８…周辺装置、２１…センサ。

Claims (7)

1. 画像に写り込んだ手を認識する、自動車に搭載される画像認識装置であって、
   前記自動車のステアリングホイール周辺のようすを撮影するカメラと、
   前記ステアリングホイールのステアリングリム上の異なる複数の位置の各々について、当該位置への手の接近もしくは接触を検知することにより、手が接近もしくは接触した前記ステアリングリム上の位置を検出するステアリングリムセンサと、
   前記ステアリングリムセンサが検出した前記ステアリングリム上の位置に応じて、認識対象画像に設定する前記カメラが撮影した画像中の画像部分を、当該カメラが撮影した画像中の前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分に限定する認識対象画像設定手段と、
   前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段とを有することを特徴とする画像認識装置。
2. 画像に写り込んだ手を認識する、自動車に搭載される画像認識装置であって、
   前記自動車のステアリングホイール周辺のようすを撮影するカメラと、
   手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、
   前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、
   前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段と、
   前記ステアリングホイールの回転角を検出する回転角センサとを有し、
   前記認識対象画像設定手段は、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定することを特徴とする画像認識装置。
3. 請求項１または２記載の画像認識装置であって、
   前記ステアリングリムセンサは、前記ステアリングリムに、当該ステアリングリムの周に沿って配置された、前記手の接近もしくは接触を検出する複数のセンサを含んで構成されることを特徴とする画像認識装置。
4. 請求項１、２または３記載の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置であって、
   前記画像認識手段が画像認識した手の形状より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段とを有することを特徴とするジェスチャ入力装置。
5. 請求項１、２または３記載の画像認識装置を備えた、手のジェスチャによるジェスチャ入力を受け付けるジェスチャ入力装置であって、
   前記ステアリングリム上の位置を検出していない状態にあった前記ステアリングリムセンサが前記ステアリングリム上の位置を検出したときに、前記画像認識手段が認識した手を基準として、前記カメラが撮影した画像中の手をトラッキングして画像認識し、画像認識した手の形状もしくは認識した手の形状の推移より、当該手のジェスチャを識別し、識別したジェスチャに応じたユーザ操作を受け付けるジェスチャ入力受付手段とを有することを特徴とするジェスチャ入力装置。
6. 自動車のステアリングホイール周辺のようすを撮影するカメラと、前記ステアリングホイールのステアリングリム上の異なる複数の位置の各々について、当該位置への手の接近もしくは接触を検知することにより、手が接近もしくは接触した前記ステアリングリム上の位置を検出するステアリングリムセンサとを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
   当該コンピュータを、
   前記ステアリングリムセンサが検出した前記ステアリングリム上の位置に応じて、認識対象画像に設定する前記カメラが撮影した画像中の画像部分を、当該カメラが撮影した画像中の前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分に限定する認識対象画像設定手段と、
   前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段として機能させることを特徴とするコンピュータプログラム。
7. 自動車のステアリングホイール周辺のようすを撮影するカメラと、手が接近もしくは接触した、前記ステアリングホイールのステアリングリム上の位置を検出するステアリングリムセンサと、前記ステアリングホイールの回転角を検出する回転角センサとを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
   当該コンピュータプログラムは、前記コンピュータを、
   前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置周辺の領域の画像部分を認識対象画像に設定する認識対象画像設定手段と、
   前記認識対象画像設定手段が設定した認識対象画像を対象として手の画像認識を行う画像認識手段として機能させるコンピュータプログラムであって、
   前記認識対象画像設定手段は、前記回転角センサが検出した回転角と、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置とに基づいて、前記カメラが撮影した画像中の、前記ステアリングリムセンサが検出した前記ステアリングリム上の位置が写り込む位置を算定することを特徴とするコンピュータプログラム。