JP6342874B2 - 画像認識装置 - Google Patents

Description

本発明は、撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置に関する。

例えば、車両上に搭載された様々な車載機器を運転者が操作する場合には、通常は、各々の車載機器を操作するために様々な箇所に設けられた専用のボタンを操作する必要がある。しかし、操作の度に目的のボタンが存在する位置を探して、その位置に指を位置合わせしなければならないので、この操作のために運転者は視線を前方から一時的にずらしたり、自分の手や指の動きに格別な注意を払う必要があり、安全運転の妨げになる。

そこで、従来より運転者のボタン操作を不要にするための技術が開発されている。例えば、車両の室内に設けられたカメラによって運転者の挙動を画像認識し、所定の挙動を検出すると、その挙動に応じて車両に搭載された装置が動作する操作入力装置が知られている（特許文献１）。

特開２０１３−２１８３９１号公報

特許文献１のようにカメラで撮影した画像を認識して人間の挙動を検出する場合に、一般的なカメラでは二次元画像しか撮影できないので、奥行き方向の位置や挙動を検出することができず、操作パターン（ジェスチャー）の自由度を上げることができないし、検出が不要な時に挙動を検出してしまう可能性もある。

近年では、撮影対象の３次元認識が可能なＴＯＦ（Time Of Flight）距離画像センサ（以下、ＴＯＦカメラと称する）が市販されている。また、ＴＯＦカメラの他にも、撮影対象の３次元認識が可能なカメラが存在する。ＴＯＦカメラは、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出できるので、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。

一方、特許文献１のような操作入力装置においては、事前に定めた特定の二次元または三次元空間（以下、挙動検出空間と称する）でのみ運転者の挙動を検出し、車載機器の動作に反映することが想定される。例えば、通常の運転状態のように、運転者の手がステアリングホイール（ハンドル）の近傍にある状況でのみ、運転者の手や指の挙動に応じて車載機器を操作するように制御すれば、運転者が無意識に手を動かしたような状況では車載機器が作動することはなくなる。

しかし、特許文献１のような操作入力装置では、運転者の手や指の挙動だけを監視しているので、認識可能な操作パターンの種類を増やすことが難しく、認識精度を上げることも難しい。例えば、運転者の微妙な手や指の形状の違いを区別しようとすると、装置が手や指の形状を間違って認識する場合があり、運転者が意図しているジェスチャーの操作パターンと、装置が実際に認識する操作パターンとの相違により誤動作が生じる可能性が想定される。

したがって、例えば運転者の手の他に他の部位の挙動も同時に検出することが考えられる。しかしながら、人間の様々な部位の挙動検出を可能にするためには、撮影するカメラの画角を大きくしたり、車両に設置するカメラの台数を増やす必要がある。しかし、カメラの画角を大きくすると、形状や位置の検出精度が低下して認識精度が下がることになる。また、車両に設置するカメラの台数を増やす場合には装置のコストが大幅に上昇するのは避けられない。

また、ＴＯＦカメラが計測する距離には誤差が発生することがある。特に、高温の環境下においては光源からの照射角度が温度により変化して誤差が増大する傾向がある。したがって、温度変化の激しい車室内などにＴＯＦカメラを設置する場合にはＴＯＦカメラが計測する距離や三次元座標の誤差の影響が懸念される。

ＴＯＦカメラが計測する距離の誤差が大きくなると、挙動検出空間が、拡大、縮小、または変位してしまう。その結果、挙動検出空間の外側に運転者の手が存在する場合であっても、無意識のうちに行われる手の挙動に反応し、車載機器が動作してしまう可能性がある。つまり、運転者が意図していない操作が勝手に行われてしまう。このような誤動作は、運転者の想定外の動作であるため運転者の思考に混乱を招き運転に支障を来す可能性がある。

本発明は、上述した事情に鑑みてなされたものであり、その目的は、装置コストの増大を抑制しつつ、認識可能なジェスチャーの操作パターンの種類を増やすこと、および操作検出精度を向上することが可能な画像認識装置を提供することにある。

前述した目的を達成するために、本発明に係る画像認識装置は、下記（１）〜（５）を特徴としている。
（１） 撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、
人間の挙動を認識する空間として、
第１の挙動検出空間と、
前記距離画像センサと前記第１の挙動検出空間とを結ぶ線上に少なくとも一部分が位置し、且つ前記第１の挙動検出空間とは重複しない第２の挙動検出空間と、
が事前に決定され、
前記第１の挙動検出空間と前記第２の挙動検出空間とは、前記距離画像センサと前記第１の挙動検出空間とを結ぶ線上において互いに離隔した位置に割り当てられ、
前記第１の挙動検出空間及び前記第２の挙動検出空間の少なくとも一方において人間の挙動を認識した結果を出力に反映する、
画像認識装置。

上記（１）の構成の画像認識装置によれば、装置コストの増大を抑制しつつ、認識可能なジェスチャーの操作パターンの種類を増やすこと、および操作検出精度を向上することが可能になる。すなわち、第１の挙動検出空間および第２の挙動検出空間のそれぞれにおいて人間の挙動を認識することにより、操作パターンの種類を増やすことができる。また、第１の挙動検出空間および第２の挙動検出空間が、距離画像センサから視て同じ線上に配置されるので、距離画像センサが撮像する際の画角を大きくすることなく、両方の挙動検出空間を同時に監視できる。したがって、撮影した各認識対象物に対応する画像データの画素数が増え、認識精度が向上する。

（２） 前記第１の挙動検出空間は、人間の顔の表情を認識可能な領域に割り当てられ、
前記第２の挙動検出空間は、人間の手又は指の動きを認識可能な領域に割り当てられている、
上記（１）に記載の画像認識装置。

上記（２）の構成の画像認識装置によれば、第１の挙動検出空間の画像を処理することにより、人間の顔の表情に関する挙動を検出でき、同時に第２の挙動検出空間の画像を処理することにより、人間の手又は指の動きに関する挙動を検出できる。

（３） 前記第１の挙動検出空間及び前記第２の挙動検出空間それぞれにおいて人間の挙動を認識し、認識された人間の挙動の組合せに応じてその人間が為した操作を識別する、
上記（１）に記載の画像認識装置。

上記（３）の構成の画像認識装置によれば、第１の挙動検出空間における挙動と、第２の挙動検出空間における挙動との組み合わせを利用するので、これら全体の挙動に対応する操作の種類をより高精度で認識可能になる。すなわち、運転者が特定のジェスチャー以外で特別な複数の挙動を同時に行う確率は非常に低いので、各挙動検出空間における微妙な変化を認識しなくても、特定のジェスチャーか否かを容易に区別できる。

（４） 前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第１の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、前記第１の挙動検出空間および前記第２の挙動検出空間を特定するパラメータ、または前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離を、前記比率に基づく補正量により補正する計測値補正部、を更に備えた、
上記（１）に記載の画像認識装置。

上記（４）の構成の画像認識装置によれば、例えばＴＯＦカメラを利用する場合のように、距離画像センサが計測した距離等の結果に大きな誤差が含まれている場合であっても、誤差を自動的に修正できるので、第１の挙動検出空間及び第２の挙動検出空間以外の領域で検出した挙動により誤動作が生じるのを防止できる。

（５） 前記第１の挙動検出空間および前記第２の挙動検出空間の少なくとも一方が、車室内の特定の固定部位を基準として、前記固定部位に隣接する領域、もしくは前記固定部位の周辺の領域に割り当てられている、
上記（１）または（２）に記載の画像認識装置。

上記（５）の構成の画像認識装置によれば、第１の挙動検出空間や第２の挙動検出空間を、車室内の特定の固定部位を基準として定めているので、運転者が通常の運転姿勢である場合のような、特定の条件に限り運転者のジェスチャーを認識可能になる。したがって、運転者が無意識のうちに行った挙動を、特定のジェスチャーとして装置が誤認識するのを避けることができる。

本発明の画像認識装置によれば、装置コストの増大を抑制しつつ、認識可能なジェスチャーの操作パターンの種類を増やすこと、および操作検出精度を向上することが可能になる。すなわち、前記第１の挙動検出空間および第２の挙動検出空間のそれぞれにおいて人間の挙動を認識することにより、操作パターンの種類を増やすことができる。また、前記第１の挙動検出空間および第２の挙動検出空間が、前記距離画像センサから視て同じ線上に配置されるので、前記距離画像センサが撮像する際の画角を大きくすることなく、両方の挙動検出空間を同時に監視できる。したがって、撮影した各認識対象物に対応する画像データの画素数が増え、認識精度が向上する。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の実施形態の画像認識装置を搭載した車両の車室内を車両の右側面側から視た各部の位置関係の例を示す側面図である。 図２は、本発明の実施形態の画像認識装置を含む車載システムの構成例を示すブロック図である。 図３は、本発明の実施形態の画像認識装置を搭載した車両の車室内の構成例を示す正面図である。 図４は、本発明の実施形態の画像認識装置の動作例を示すフローチャートである。 図５（Ａ）および図５（Ｂ）は、それぞれ運転者の手の挙動に基づくジェスチャーの具体例を示す正面図である。 図６は、変形例の画像認識装置を搭載した車両の車室内の構成例を示す正面図である。

本発明に関する具体的な実施形態について、各図を参照しながら以下に説明する。

＜画像認識装置を使用する環境の具体例＞
＜車室内の構成例＞
車両の室内における運転席近傍の主要な構成要素の配置例を図３に示す。本発明の画像認識装置は、例えば図３に示したような車両に搭載した状態で使用される。

図３に示すように車両の室内には、運転席シート３４および助手席シート３５が設けてあり、運転席シート３４の前方にステアリングホイール３１が配置されている。また、前方のダッシュボード３３の中央付近には矩形の表示画面を有するディスプレイユニット３２が設置されている。このディスプレイユニット３２は、カーナビゲーション装置やカーオーディオ装置の表示部として利用することができる。

また、ディスプレイユニット３２を使用しない表示装置として、ヘッドアップディスプレイ（ＨＵＤ）の本体がダッシュボード３３の下方に格納されている。このヘッドアップディスプレイを使用する際には、表示光を反射する透明なコンバイナ（反射板）がダッシュボード３３の内側から上昇してダッシュボード３３上に現れ、運転者が視認できる位置に位置決めされる。

運転席シート３４の左前方の運転者が操作可能な位置に、可動構造の操作レバー３６が配置されている。この操作レバー３６は、車両のトランスミッションの変速モードを切り替えるために利用される。

また、ステアリングホイール３１よりも少し前方のダッシュボード３３上にＴＯＦカメラ２１が固定した状態で設置されている。このＴＯＦカメラ２１は、撮影対象の３次元認識が可能なＴＯＦ（Time Of Flight）距離画像センサである。すなわち、ＴＯＦカメラ２１は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。

＜位置関係の具体例＞
本発明の実施形態の画像認識装置を搭載した車両の車室内を車両の右側面側から視た各部の位置関係の例を図１に示す。

図３に示したＴＯＦカメラ２１は、ステアリングホイール３１と対向する位置に設置してあり、ステアリングホイール３１の全体と、ステアリングホイール３１を操作する運転者の手との両方が同時に映る範囲を撮影できるように撮影方向および画角を事前に調整してある。

より具体的には、図１に示すように、ＴＯＦカメラ２１の撮影範囲２５Ａの中に、運転者３０の顔３０ｆと、手３０ｈと、ステアリングホイール３１等の車両上の特定の固定部位が含まれるように位置決めしてある。

また、本実施形態では、運転者のジェスチャーを検出するための三次元の挙動検出空間として、２つの挙動検出空間ＡｒＦ、ＡｒＨが事前に定めてある。挙動検出空間ＡｒＦは、運転者３０の顔３０ｆの挙動を認識するための空間であり、図１に示すように運転者３０が通常の運転姿勢である場合における顔３０ｆの位置を含む領域に割り当てられている。挙動検出空間ＡｒＨは、運転者３０の手３０ｈの挙動を認識するための空間であり、図１に示すように運転者３０が通常の運転姿勢である場合における手３０ｈの位置を含む領域に割り当てられている。挙動検出空間ＡｒＦおよびＡｒＨの各々は、大きさが固定された直方体形状の三次元空間である。

実際の車両においては、運転者３０の運転姿勢や位置を調整できるので、調整された実際の運転姿勢や位置に合わせて各挙動検出空間ＡｒＦ、ＡｒＨを自動的に調整している。例えば、顔３０ｆを検出するための挙動検出空間ＡｒＦについては、運転席シート３４のヘッドレスト３４ｈの実際の位置を算出した後で、この位置を基準として所定距離離れた領域に割り当てている。また、手３０ｈを検出するための挙動検出空間ＡｒＨについては、ステアリングホイール３１の実際の姿勢（ティルト角度など）や位置を算出した後で、この位置を基準として所定距離離れた領域に割り当てている。

また、図１に示すように、ＴＯＦカメラ２１の同じ撮影方向の軸Ａｚに沿って、奥行き方向（Ｚ方向）に互いにずれた位置に２つの挙動検出空間ＡｒＨおよびＡｒＦがそれぞれ割り当ててある。ＴＯＦカメラ２１側から視ると、２つの挙動検出空間ＡｒＨおよびＡｒＦは一部分のみが重なり、それぞれの空間内の手や顔が同時に撮影できる状態になっている。

この場合、同じ軸Ａｚ上に２つの挙動検出空間ＡｒＨおよびＡｒＦが配置されているので、撮影範囲２５Ａに相当するＴＯＦカメラ２１の画角を格別に広げなくても、１台のＴＯＦカメラ２１だけで２つの挙動検出空間ＡｒＨおよびＡｒＦの両方の撮影対象を同時に撮影できる。画角を小さくすることにより、画像認識精度が向上する。また、複数のＴＯＦカメラ２１を設置する必要がないためコストの上昇を抑制できる。

また、複数の挙動検出空間ＡｒＨおよびＡｒＦのそれぞれについて挙動の認識を行うことにより、利用可能なジェスチャーの種類を増やすことが可能になる。また、ジェスチャーの認識精度を上げることが可能であるし、ユーザにとって使いやすいジェスチャーを採用することも可能になる。

＜車載システムの構成例＞
本発明の実施形態における画像認識装置１０を含む車載システムの構成例を図２に示す。図２の車載システムは、図１および図３に示した車両に搭載されている。

図２に示す画像認識装置１０は、運転者の所定のジェスチャー、すなわち身振り、手振りのような挙動から車載機器に対する操作の指示を自動的に認識し、該当する車載機器を制御することができる。

実際には、ＴＯＦカメラ２１により運転者の手、指、顔や、ステアリングホイール３１などを撮影し、この撮影により得られる三次元画像から、手、指、顔等の挙動をジェスチャーとして認識する。したがって、運転者は特別なボタン等を操作しなくてもジェスチャーにより車載機器を操作することができる。そのため、運転者が車載機器を操作する際に、目的のボタンを探したり、操作のためにステアリングホイール３１から手を離したりする必要がなくなり、安全運転の向上に役立つ機能を提供できる。

但し、本実施形態では、画像認識装置１０が手、指、顔等の挙動を検出するのは、これらが事前に定めた挙動検出空間ＡｒＨ、ＡｒＦ等の内側に存在する場合のみに限定してある。これにより、例えば運転者が無意識のうちに動かした手の動きを特定のジェスチャーとして誤認識するのを防止し、車載機器が想定外の動作をするのを避けることができる。

図２に示すように、ＴＯＦカメラ２１は光源部２１ａおよび受光部２１ｂを備えている。光源部２１ａは、パルス状の光を撮影対象物に照射することができる。受光部２１ｂは、ＣＭＯＳなどで構成される二次元イメージセンサを備えている。また、受光部２１ｂが検出した二次元画像を構成する画素毎に、光源部２１ａの光が手などの撮影対象物にあたり受光部２１ｂに戻るまでの時間（Time Of Flight）に応じた距離情報を検出する回路がＴＯＦカメラ２１に内蔵されている。したがって、ＴＯＦカメラ２１は三次元画像を撮影できる。

ＴＯＦカメラ２１が撮影した三次元画像の情報は、画像認識装置１０の入力に印加される。図２に示すように、画像認識装置１０は画像認識処理部１１およびジェスチャー監視制御部１２を備えている。

画像認識処理部１１は、ＴＯＦカメラ２１から出力される画像情報に対する情報処理を高速で実行し、事前に登録した特定形状のパターンを認識したり、認識したパターンの三次元座標上の位置、寸法、色、動き、形状変化などを計測する機能を有している。

ジェスチャー監視制御部１２は、運転者の手が事前に定めた挙動検出空間の内側に存在するか否かを識別する。また、運転者の手が事前に定めた挙動検出空間の内側に存在する場合には、画像認識処理部１１の認識結果に基づき運転者の手、指、顔等の挙動を監視して、事前に登録したジェスチャーのパターンと一致するか否かを識別する。特定のジェスチャーと一致する挙動を検知した場合には、事前に定めた制御を実施する。

上位ＥＣＵ（電子制御ユニット）２２は、ステアリングホイール３１の位置や姿勢を表す情報や、運転席シート３４の位置や姿勢を表す情報や、車両のイグニッションオンオフを示す情報などをジェスチャー監視制御部１２に与えることができる。

図２に示した車載システムにおいては、画像認識装置１０の出力にＨＵＤユニット２３、カーナビゲーション装置２４、およびカーオーディオ装置２６が接続されている。画像認識装置１０は、運転者のジェスチャーに基づいて、ＨＵＤユニット２３、カーナビゲーション装置２４、およびカーオーディオ装置２６のそれぞれを制御することができる。

例えば、特定のジェスチャーによりＨＵＤユニット２３の動作を起動する時には、ＨＵＤユニット２３に含まれる図示しない透明なコンバイナが、図３に示したダッシュボード３３の下方から上昇してダッシュボード３３上に現れ、運転者が視認可能な状態になる。その状態で、ＨＵＤユニット２３から投射された表示光がコンバイナで反射され、運転者の目の位置で視認可能な虚像が結像される。また、特定のジェスチャーによりＨＵＤユニット２３の動作を終了する時には、前記コンバイナが下降してダッシュボード３３の下方に収納される。

また、カーナビゲーション装置２４を操作するための様々なボタンや、カーオーディオ装置２６を操作するための様々なボタンと同様の機能を、画像認識装置１０が認識可能な各種のジェスチャーに割り当てることが可能である。

＜ジェスチャーの具体例＞
運転者の手の挙動に基づくジェスチャーの具体例を図５（Ａ）および図５（Ｂ）にそれぞれ示す。

例えば、ＨＵＤユニット２３の動作を起動するためのジェスチャーの操作を行う場合には、運転者３０は左手ＬＨおよび右手ＲＨを図５（Ａ）に示すようにステアリングホイール３１に触れた状態のまま、左手ＬＨを下から上に向かってなぞるように移動する。また、この時の左手ＬＨおよび右手ＲＨの位置は、挙動検出空間ＡｒＨの領域内に位置するように合わせる。この操作をＴＯＦカメラ２１の撮影した画像に基づき画像認識装置１０が特定のジェスチャーとして認識し、画像認識装置１０はＨＵＤユニット２３に起動のための制御信号を送る。

また、ＨＵＤユニット２３の動作を終了するためのジェスチャーの操作を行う場合には、運転者３０は左手ＬＨおよび右手ＲＨを図５（Ｂ）に示すようにステアリングホイール３１に触れた状態のまま、左手ＬＨを上から下に向かってなぞるように移動する。また、この時の左手ＬＨおよび右手ＲＨの位置は、挙動検出空間ＡｒＨの領域内に位置するように合わせる。この操作をＴＯＦカメラ２１の撮影した画像に基づき画像認識装置１０が特定のジェスチャーとして認識し、画像認識装置１０はＨＵＤユニット２３に動作終了のための制御信号を送る。

なお、通常の運転操作とジェスチャーとの区別を容易にするために、図５（Ａ）、図５（Ｂ）よりももっと複雑な操作を行うようにしてもよい。例えば、特定の指の曲げ伸ばし等により特別な手の形状を表現したり、なぞる操作を複数回繰り返すようなジェスチャーパターンを採用してもよい。

また、本実施形態では画像認識装置１０が挙動検出空間ＡｒＦ内の顔３０ｆの表情も認識できるので、手の挙動と顔の挙動とを組み合わせたジェスチャーを採用することも考えられる。例えば、図５（Ａ）に示したような手の挙動が検出され、且つ挙動検出空間ＡｒＦ内の顔３０ｆにおいて、目の視線の方向が前方を向いている場合に限り、ＨＵＤユニット２３を起動するためのジェスチャーとして認識する。また、図５（Ｂ）に示したような手の挙動が検出され、且つ挙動検出空間ＡｒＦ内の顔３０ｆにおいて、目の視線の方向が前方を向いている場合に限り、ＨＵＤユニット２３の動作を終了するためのジェスチャーとして認識する。

挙動検出空間ＡｒＦ内の挙動と、挙動検出空間ＡｒＨ内の挙動とをそれぞれ独立した機器の制御に割り当ててもよい。例えば、図５（Ａ）、図５（Ｂ）のような挙動検出空間ＡｒＨ内の手の挙動は、ＨＵＤユニット２３の操作のためのジェスチャーとして割り当て、挙動検出空間ＡｒＦ内の顔の挙動はカーナビゲーション装置２４、カーオーディオ装置２６、あるいはエアコンのような機器を操作するためのジェスチャーとして割り当てることが考えられる。

＜計測誤差の説明＞
図２に示した画像認識装置１０は、ＴＯＦカメラ２１の撮影により得られる三次元画像を認識するので、認識対象の手や顔の位置が事前に定めた挙動検出空間ＡｒＦ、ＡｒＨの範囲内に存在するか否かを識別できる。

しかし、ＴＯＦカメラ２１から認識対象までの計測距離に比較的大きな誤差が発生する場合がある。実際には、高温の環境下で、光源部２１ａからの光の照射角度や画角が大きく変動するため、撮影方向（奥行き方向Ｚ）の計測距離や、他の軸方向（Ｘ、Ｙ）の座標位置にも誤差が発生する。車両においては、車室内の環境温度が大きく変動する可能性があるため、ＴＯＦカメラ２１の計測誤差は無視できない程度に大きくなる。

ＴＯＦカメラ２１の計測した距離に大きな誤差が発生すると、三次元画像に基づいて認識される認識対象の手の位置が実際の位置に対して大きくずれてしまう。そして、実際の手の位置が挙動検出空間ＡｒＨ、ＡｒＦの範囲外にある時であっても、画像認識装置１０が手や顔の挙動に反応してジェスチャーを検出する可能性がある。つまり、運転者がジェスチャーを行う意図がない状況で画像認識装置１０がジェスチャーを誤検出してしまうので、ＨＵＤユニット２３等の車載機器が運転者の想定外の動作を行うことになる。このような誤動作を防止するために、後述するように画像認識装置１０は三次元画像に基づいて認識される認識対象の位置を自動的に補正する機能を搭載している。

＜画像認識装置１０の動作＞
＜処理手順の概要＞
本発明の実施形態における画像認識装置１０の主要な動作例を図４に示す。すなわち、図２に示した画像認識装置１０のジェスチャー監視制御部１２に内蔵されるコンピュータ（図示せず）または画像認識処理部１１が、図４に示した手順に従って運転者のジェスチャーに対応するための制御を実施する。

図１に示した手順には、ＴＯＦカメラ２１の出力する三次元画像に基づいて認識される認識対象の手の位置を補正するための処理が含まれている。具体的には、ステアリングホイール３１の位置を基準として、補正のための比率Ｒ１を求め、認識された手や顔の位置を補正する。

ステアリングホイール３１は、基本的には車体に固定されているので、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離は既知として扱うことができる。そこで、この距離を事前に実測して距離参照値Ｌｒｅｆとして画像認識装置１０上の定数テーブルＴＢ１に登録しておく。

但し、実際の車両においてステアリングホイール３１はティルト角度や操舵軸の長さを変更するための姿勢調整機能を搭載している場合が多く、ＴＯＦカメラ２１からステアリングホイール３１上の特定位置までの距離も可変である。そこで、ステアリングホイール３１の複数の姿勢のそれぞれの状態で実測した複数の距離参照値Ｌｒｅｆを定数テーブルＴＢ１に登録しておき、ステアリングホイール３１の実際の姿勢に応じて最適な距離参照値Ｌｒｅｆを選択的に使用する。

ＴＯＦカメラ２１が撮影した三次元画像に基づいて認識されるステアリングホイール３１上の特定位置の三次元座標に基づいて、ＴＯＦカメラ２１から前記特定位置までの距離計測値Ｌ１を算出できる。ここで、計測誤差が発生していると、距離参照値Ｌｒｅｆと距離計測値Ｌ１との間に差異が現れる。そこで、これらの比率Ｒ１を算出し、これを距離の誤差を補正するための補正係数として使用する。
Ｒ１＝Ｌ１／Ｌｒｅｆ ・・・（１）

つまり、ＴＯＦカメラ２１の位置からこれが撮影した三次元画像に基づいて認識される監視対象の手の位置までの距離計測値Ｌ２は、ＴＯＦカメラ２１の特性により生じる距離の計測誤差を含んでいるので、この計測誤差を減らすために前記比率Ｒ１を用いて距離計測値Ｌ２等を補正する。

補正後の距離計測値等を用いて、監視対象の手や顔の位置と挙動検出空間ＡｒＨ、ＡｒＦの各範囲の閾値とを比較することにより、手や顔の位置が各挙動検出空間の範囲内か否かを正しく識別できる。

また、各挙動検出空間ＡｒＦ、ＡｒＨが予め固定されている場合には、運転者の実際の運転姿勢の調整などに伴って、各挙動検出空間ＡｒＦ、ＡｒＨが所望の空間からずれる可能性がある。例えば、運転席シート３４の前後方向の位置調整を行うと、運転時の実際の顔３０ｆの位置が前後に移動して、挙動検出空間ＡｒＦ内で顔を検出できなくなる可能性がある。

そこで、挙動検出空間ＡｒＦを決める場合には、車両上に固定されている運転席シート３４のヘッドレスト３４ｈの位置を基準として、その周囲の近傍の空間として挙動検出空間ＡｒＦの位置を決定する。但し、運転席シート３４の移動や姿勢調整に伴ってヘッドレスト３４ｈの位置が変化するので、運転席シート３４の位置や姿勢の情報を取得してヘッドレスト３４ｈの位置を算出し、その結果を挙動検出空間ＡｒＦの位置に反映する。

また、挙動検出空間ＡｒＨを決める場合には、車両上に固定されているステアリングホイール３１の位置を基準として、その周囲の近傍の空間として挙動検出空間ＡｒＨの位置を決定する。但し、ステアリングホイール３１のティルト角度等の姿勢調整に伴ってステアリングホイール３１の位置や高さが変化するので、ステアリングホイール３１の姿勢の情報を取得して実際のステアリングホイール３１の位置を特定し、その結果を挙動検出空間ＡｒＨの位置に反映する。

＜処理手順の詳細＞
車両のイグニッションがオンになると、ジェスチャー監視制御部１２が実行する処理は図１のステップＳ１１からＳ１２に進む。ステップＳ１２では、ジェスチャー監視制御部１２は上位ＥＣＵ２２から、ステアリングホイール３１のティルト角度（高さの違いに相当）や、運転席シート３４の位置および姿勢などの情報を取得する。

次のステップＳ１３では、ジェスチャー監視制御部１２は、Ｓ１２で取得したステアリングホイール３１の姿勢の情報に基づいて、ステアリングホイール３１の実際の各部の位置を特定し、この位置を基準として挙動検出空間ＡｒＨの位置を決定する。また、Ｓ１２で取得した運転席シート３４の位置および姿勢の情報に基づいて、ヘッドレスト３４ｈの実際の位置を算出し、この位置を基準として挙動検出空間ＡｒＦの位置を決定する。なお、ステアリングホイール３１やヘッドレスト３４ｈの各部の位置を特定するために必要な姿勢と各部の位置との関係や、各部の相対距離を表す定数については、定数テーブルＴＢ１から取得する。

例えば、ヘッドレスト３４ｈの位置に対して、標準的な人の頭の寸法の半分程度の距離だけ離れた位置の前方に隣接するように挙動検出空間ＡｒＦの前後方向（Ｚ方向）の位置を決定する。また、挙動検出空間ＡｒＦの横方向（Ｘ）および縦方向（Ｙ）の位置については、ヘッドレスト３４ｈのほぼ中央の位置と一致するように決定する。

ステップＳ１４では、ジェスチャー監視制御部１２は、Ｓ１２で取得した姿勢の情報をパラメータとして、これに対応付けられた１つの距離参照値Ｌｒｅｆを定数テーブルＴＢ１から取得する。つまり、ＴＯＦカメラ２１の位置から固定されたステアリングホイール３１上の特定位置までの実際の距離を表す値を距離参照値Ｌｒｅｆとして取得する。

次のステップＳ１５で、ジェスチャー監視制御部１２はＴＯＦカメラ２１が撮影を開始するように制御する。この後で、ＴＯＦカメラ２１の撮影により得られる三次元画像のデータが画像のフレーム毎に順次に画像認識処理部１１およびジェスチャー監視制御部１２に入力される。

ステップＳ１６では、画像認識処理部１１が入力される三次元画像のデータを処理して所定の画像認識を実行する。すなわち、入力された三次元画像から抽出される様々な特徴量と、事前に登録してあるステアリングホイール３１の形状、手の形状、指の形状などの参照データとを比較することにより、ステアリングホイール３１、手、指、顔などのそれぞれの認識対象物を認識する。

ステップＳ１７では、ジェスチャー監視制御部１２は、Ｓ１６における画像認識処理部１１の認識結果に基づき、基準位置として事前に定めたステアリングホイール３１上の特定位置の位置座標を特定し、ＴＯＦカメラ２１から前記特定位置までの距離計測値Ｌ１を算出する。なお、前記「特定位置」については、例えば突起などの特別な形状、着色やマークなどの特徴的な目印を利用することにより容易に特定できる。

ステップＳ１８では、ジェスチャー監視制御部１２は、Ｓ１４で取得した距離参照値ＬｒｅｆとＳ１７で算出した距離計測値Ｌ１とに基づき、前記第（１）式の比率Ｒ１を算出する。

例えば、ＴＯＦカメラ２１からステアリングホイール３１までの実際の距離が３０ｃｍである場合には、距離参照値Ｌｒｅｆが３０ｃｍになる。また、画像認識により得られた距離計測値Ｌ１が５０ｃｍの場合には、距離参照値Ｌｒｅｆと異なるので誤差が含まれていることになる。そこで、比率Ｒ１（５０／３０）を補正値として利用すれば、距離計測値Ｌ１と距離参照値Ｌｒｅｆの誤差がなくなるように補正することができる。

ステップＳ１９では、ジェスチャー監視制御部１２は、画像認識処理部１１の認識結果に基づき、手の位置座標を取得し、ＴＯＦカメラ２１の位置から手の位置までの奥行き方向（Ｚ方向）の距離を表す距離計測値Ｌ２を算出する。また、画像認識処理部１１の認識結果に基づき、顔の位置座標を取得し、ＴＯＦカメラ２１の位置から顔の位置までの奥行き方向（Ｚ方向）の距離を表す距離計測値Ｌ３を算出する。

ステップＳ２０では、ジェスチャー監視制御部１２は、Ｓ１９で取得した手の位置までの距離計測値Ｌ２をＳ１８で得た比率Ｒ１を用いて補正し、補正後の距離計測値Ｌ２１を取得する。また、Ｓ１９で取得した顔の位置までの距離計測値Ｌ３をＳ１９で得た比率Ｒ１を用いて補正し、補正後の距離計測値Ｌ３１を取得する。更に、距離以外の各座標の位置についても比率Ｒ１を用いて補正する。
Ｌ２１＝Ｌ２／Ｒ１ ・・・（２）
Ｌ３１＝Ｌ３／Ｒ１ ・・・（３）

ステップＳ２１では、ジェスチャー監視制御部１２は、補正後の距離計測値Ｌ２１を含む運転者の手の位置の三次元座標を、挙動検出空間ＡｒＨの範囲を特定する閾値と比較して、手が挙動検出空間ＡｒＨの範囲内か否かを識別する。ここで、手の位置が挙動検出空間ＡｒＨの範囲内であれば次のＳ２２に進み、範囲外であればＳ２３に進む。

ステップＳ２２では、ジェスチャー監視制御部１２は、画像認識処理部１１の画像認識結果に基づき、例えば図５（Ａ）、図５（Ｂ）に示したような挙動検出空間ＡｒＨ内の運転者の手や指の挙動を監視する。

ステップＳ２３では、ジェスチャー監視制御部１２は、補正後の距離計測値Ｌ３１を含む運転者の顔の位置の三次元座標を、挙動検出空間ＡｒＦの範囲を特定する閾値と比較して、顔が挙動検出空間ＡｒＦの範囲内か否かを識別する。ここで、顔の位置が挙動検出空間ＡｒＦの範囲内であれば次のＳ２４に進み、範囲外であればＳ２５に進む。

ステップＳ２４では、ジェスチャー監視制御部１２は、画像認識処理部１１の画像認識結果に基づき、挙動検出空間ＡｒＦ内の運転者の顔の表情などの挙動を監視する。例えば、左右の目の視線の方向、口の形状、顔の向き、頭部の傾きなどを監視する。

ステップＳ２５では、ジェスチャー監視制御部１２は、Ｓ２２で検出した手や指の挙動パターン、およびＳ２４で検出した顔の表情等の挙動パターンを事前に登録してあるジェスチャーの基準パターンと対比して、これらが一致するか否かを識別する。

Ｓ２５における比較の結果、ジェスチャー監視制御部１２が登録済みのジェスチャーを検出した場合には、Ｓ２６からＳ２７に進む。そして、該当するジェスチャーに対応付けられた制御を実行するように、ジェスチャー監視制御部１２がＳ２７で車載機器に対して制御信号を出力する。

例えば、図５（Ａ）に示した手のジェスチャーを検出し、且つ顔の視線の方向が前方であることを検出した場合には、ジェスチャー監視制御部１２がＨＵＤユニット２３に対して動作を起動するための信号を出力する。また、図５（Ｂ）に示したジェスチャーを検出し、且つ顔の視線の方向が前方であることを検出した場合には、ジェスチャー監視制御部１２がＨＵＤユニット２３に対して動作を終了するための信号を出力する。

＜変形例の説明＞
変形例の画像認識装置１０Ｂを搭載した車両の車室内の構成例を図６に示す。図６に示した変形例においては、前述の挙動検出空間ＡｒＦ、ＡｒＨの代わりに、挙動検出空間ＡｒＬ、ＡｒＤを用いる場合を想定している。

図６に示した挙動検出空間ＡｒＬは、操作レバー３６の位置を基準として、操作レバー３６のノブの箇所を囲むような直方体形状の領域として割り当ててある。また、挙動検出空間ＡｒＤは、ディスプレイユニット３２の位置を基準として、ディスプレイユニット３２の画面と対向するように隣接する直方体形状の領域として割り当ててある。

また、図６に示した例では、ＴＯＦカメラ２１Ｂが車室内の天井部に設置してあり、撮影方向を下方に向けてある。つまり、車室内の天井から下方に位置する挙動検出空間ＡｒＤおよびＡｒＬの付近を同時に撮影できるようにＴＯＦカメラ２１Ｂの撮影範囲２５Ｂおよび向きを調整してある。

ここで、操作レバー３６の位置やディスプレイユニット３２の位置は変化しないので、ＴＯＦカメラ２１から操作レバー３６やディスプレイユニット３２までの距離を前述の距離参照値Ｌｒｅｆと同様の定数として定数テーブルＴＢ１に登録しておき、比率Ｒ１を算出するための基準値として利用できる。

したがって、図６に示した画像認識装置１０Ｂにおいては、運転者３０による次のようなジェスチャーを認識できる。
（１）運転者３０が手を操作レバー３６に近づけた場合の手や指の形状や動きのパターン
（２）運転者３０が手をディスプレイユニット３２の画面に近づけた時の手や指の形状や動きのパターン

＜画像認識装置１０の利点＞
図１に示した画像認識装置１０においては、ＴＯＦカメラ２１の撮影方向を示す同一の軸Ａｚの延長線上に複数の挙動検出空間ＡｒＨ、ＡｒＦを設けてある。したがって、ＴＯＦカメラ２１の画角を大きくすることなしに、複数の挙動検出空間ＡｒＨ、ＡｒＦの両方の認識対象物を同時に撮影できる。そのため、認識精度の低下を防止できる。また、複数のカメラを搭載する必要がないため、コストの上昇を抑制できる。

また、複数の挙動検出空間ＡｒＨ、ＡｒＦのそれぞれについて人間の挙動を検出できるので、認識可能なジェスチャーの種類を増やすことが可能である。また、複数の挙動の組み合わせを１つのジェスチャーとして割り当てることも可能になるので、自由度の高いジェスチャーを実現可能であり、例えば直感的に操作できる使いやすいユーザインタフェースを提供できる。

なお、上述の画像認識装置１０においては撮影対象の３次元認識が可能な距離画像センサとしてＴＯＦカメラ２１を採用しているが、これ以外の距離画像センサを利用してもよい。また、挙動検出空間の数については可能であれば３以上に増やしてもよい。

ここで、上述した本発明に係る画像認識装置の実施形態の特徴をそれぞれ以下［１］〜［５］に簡潔に纏めて列記する。
上述の画像認識装置１０に関する特徴的な事項について、以下に纏めて列挙する。
［１］ 撮影対象の３次元認識が可能な距離画像センサ（ＴＯＦカメラ２１）から入力される信号に基づいて人間の挙動を認識する画像認識装置（１０）であって、
人間の挙動を認識する空間として、
第１の挙動検出空間（ＡｒＦまたはＡｒＨ）と、
前記距離画像センサと前記第１の挙動検出空間とを結ぶ線上に少なくとも一部分が位置し、且つ前記第１の挙動検出空間とは重複しない第２の挙動検出空間（ＡｒＨまたはＡｒＦ）と、
が事前に決定され、
前記第１の挙動検出空間及び前記第２の挙動検出空間の少なくとも一方において人間の挙動を認識した結果を出力に反映する（Ｓ２６、Ｓ２７）、
画像認識装置。

［２］ 前記第１の挙動検出空間は、人間の顔の表情を認識可能な領域（ＡｒＦ）に割り当てられ、
前記第２の挙動検出空間は、人間の手又は指の動きを認識可能な領域（ＡｒＨ）に割り当てられている、
上記［１］に記載の画像認識装置。

［３］ 前記第１の挙動検出空間及び前記第２の挙動検出空間それぞれにおいて人間の挙動を認識し（Ｓ２２、Ｓ２４）、認識された人間の挙動の組合せに応じてその人間が為した操作を識別する（Ｓ２５、Ｓ２６）、
上記［１］に記載の画像認識装置。

［４］ 前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第１の計測距離（距離計測値Ｌ１）と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離（距離参照値Ｌｒｅｆ）との比率（Ｒ１）を算出し、前記第１の挙動検出空間および前記第２の挙動検出空間を特定するパラメータ、または前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離（距離計測値Ｌ２）を、前記比率に基づく補正量により補正する計測値補正部（Ｓ２０）、を更に備えた、
上記［１］に記載の画像認識装置。

［５］ 前記第１の挙動検出空間および前記第２の挙動検出空間の少なくとも一方が、車室内の特定の固定部位（ステアリングホイール３１、ヘッドレスト３４ｈ、操作レバー３６、ディスプレイユニット３２）を基準として、前記固定部位に隣接する領域、もしくは前記固定部位の周辺の領域に割り当てられている、
上記［１］または［２］に記載の画像認識装置。

１０ 画像認識装置
１１ 画像認識処理部
１２ ジェスチャー監視制御部
２１ ＴＯＦカメラ
２１ａ 光源部
２１ｂ 受光部
２２ 上位ＥＣＵ
２３ ＨＵＤユニット
２４ カーナビゲーション装置
２５Ａ，２５Ｂ 撮影範囲
２６ カーオーディオ装置
３０ 運転者
３０ｆ 顔
３０ｈ 手
３１ ステアリングホイール
３２ ディスプレイユニット
３３ ダッシュボード
３４ 運転席シート
３４ｈ ヘッドレスト
３５ 助手席シート
３６ 操作レバー
ＬＨ 左手
ＲＨ 右手
ＴＢ１ 定数テーブル
Ａｚ 撮影方向の軸
ＡｒＨ，ＡｒＦ，ＡｒＬ，ＡｒＤ 挙動検出空間
Ｌｒｅｆ 距離参照値
Ｌ１，Ｌ２，Ｌ３ 距離計測値
Ｒ１ 比率

Claims (5)

1. 撮影対象の３次元認識が可能な距離画像センサから入力される信号に基づいて人間の挙動を認識する画像認識装置であって、
   人間の挙動を認識する空間として、
   第１の挙動検出空間と、
   前記距離画像センサと前記第１の挙動検出空間とを結ぶ線上に少なくとも一部分が位置し、且つ前記第１の挙動検出空間とは重複しない第２の挙動検出空間と、
   が事前に決定され、
   前記第１の挙動検出空間と前記第２の挙動検出空間とは、前記距離画像センサと前記第１の挙動検出空間とを結ぶ線上において互いに離隔した位置に割り当てられ、
   前記第１の挙動検出空間及び前記第２の挙動検出空間の少なくとも一方において人間の挙動を認識した結果を出力に反映する、
   画像認識装置。
2. 前記第１の挙動検出空間は、人間の顔の表情を認識可能な領域に割り当てられ、
   前記第２の挙動検出空間は、人間の手又は指の動きを認識可能な領域に割り当てられている、
   請求項１に記載の画像認識装置。
3. 前記第１の挙動検出空間及び前記第２の挙動検出空間それぞれにおいて人間の挙動を認識し、認識された人間の挙動の組合せに応じてその人間が為した操作を識別する、
   請求項１に記載の画像認識装置。
4. 前記距離画像センサから入力される信号に基づき認識される事前に定めた特定の撮影対象までの第１の計測距離と、前記距離画像センサから前記特定の撮影対象までの距離を事前に実測して得られた参照距離との比率を算出し、前記第１の挙動検出空間および前記第２の挙動検出空間を特定するパラメータ、または前記距離画像センサから入力される信号に基づき認識される挙動監視対象の任意の点までの第２の計測距離を、前記比率に基づく補正量により補正する計測値補正部、を更に備えた、
   請求項１に記載の画像認識装置。
5. 前記第１の挙動検出空間および前記第２の挙動検出空間の少なくとも一方が、車室内の特定の固定部位を基準として、前記固定部位に隣接する領域、もしくは前記固定部位の周辺の領域に割り当てられている、
   請求項１または請求項２に記載の画像認識装置。

Images