JP2006213146A - 運転者の顔向き判定装置 - Google Patents

Abstract

【課題】 顔以外の部位までの距離を顔までの距離とする誤判定を抑制して適切なサイズの顔画像を取得して顔向き判定を行うことが可能な運転者の顔向き判定装置を提供する。
【解決手段】 顔向きカメラ１とは車室内の異なる位置に配置され、異なる方向から運転者７の画像を取得する第２のカメラ（例えば、ルームミラー内蔵カメラ２）を備え、第２のカメラ２で取得した画像から画像処理部３２で画像処理により、運転者７の顔位置を求め、距離判定部３４により、運転者７の顔と顔向きカメラ１との距離を算出して、それに基づいてカメラ調整部３５が顔向きカメラ１のズーム比を調整することにより、適切なサイズの運転者７の顔画像を顔向きカメラ１で取得できるようにする。
【選択図】 図２

Description

本発明は、車両に搭載されて運転者の顔画像をカメラにより取得し、その顔向きを判定してわき見運転の検出等を行う運転者の顔向き判定装置に関する。

車両の運転者のわき見運転を検出する装置として、運転者の顔画像を取得し、画像処理によって、その顔向きを判定する装置が知られている。この種の装置では、例えばステアリングコラムや計器パネルに配置されたカメラにより顔画像を取得しているが、運転者の体格やその操作姿勢の違いにより、運転者の顔とカメラとの距離関係が変動するため、取得された顔画像中の顔のサイズも異なってくる。また、投影関係が変化することにより立体である顔を平面に投影された顔画像自体の形状にも相違が生ずる。

そこで、カメラで距離が異なる場合でも同一の運転者の顔画像を取得することが考えられる。特許文献１の技術は、いわゆるカメラ付携帯電話に関するものであるが、被写体との距離を測定し、その距離情報に基づいてレンズの焦点距離を変更することで被写体を最適なサイズで撮影するものである。
特開２００２−２７３０６号公報

ところで、このようにカメラと被写体である運転者の顔との距離に基づいて制御を行おうとすると、カメラから運転者の顔までの距離を直接測定するか間接的に推定する必要がある。しかしながら、車室内で運転者の顔位置を直接検出することは困難であり、例えば、この顔画像を取得するカメラに併設して距離センサを設けた場合、ステアリング操作等で運転者の顔以外の部位までの距離を測定し、誤検出する可能性がある。また、取得した画像を基にして判定を行う手法もあるが、この場合も顔以外の画像を顔と誤判定する場合や顔向きによる誤判定の可能性もある。

そこで本発明は、車両に搭載される顔向き判定装置において、このような誤判定を抑制して適切なサイズの顔画像を取得して顔向き判定を行うことが可能な運転者の顔向き判定装置を提供することを課題とする。

上記課題を解決するため、本発明に係る運転者の顔向き判定装置は、（１）車室内に配置され、運転者の顔画像を取得する第１のカメラと、（２）この第１のカメラとは車室内の別の位置に配置され、異なる角度方向から運転者の画像を取得する第２のカメラと、（３）この第２のカメラの取得画像から画像処理によって運転者の顔と第１のカメラ間の距離を判定する距離判定手段と、（４）距離判定手段の結果に基づいて第１のカメラで取得する顔画像中の顔サイズを調整する調整手段と、（５）調整後の顔画像を用いて顔向きを判定する判定手段と、を備えていることを特徴とする。

第１のカメラと第２のカメラは、運転者画像を別の角度から取得する。第１のカメラは、運転者の顔画像を略正面から取得できる位置、例えば、ステアリングコラム上や計器パネル内に配置される。これに対して、第２のカメラは、例えば、ルームミラーに内蔵されており、運転者画像を前方の車両中央方向から取得する。このとき、運転者だけでなく、周辺の第１のカメラとの位置関係が既知である物体（以下、参照物体と称する。）画像を同時に取得しておくとよい。こうして第２のカメラで取得した画像中における運転者の顔位置や参照物体がある場合には、さらに参照物体との位置関係から距離判定手段は、画像処理により運転者の顔と第１のカメラとの距離を求める。調整手段は、この距離関係を基にして第１のカメラで取得する画像もしくは取得した画像における顔画像のサイズが所定のサイズとなるように調整する。判定手段は、所定のサイズの顔画像を基にして運転者の顔向きを判定する。

この調整手段は、第１のカメラのズーム比を調整するか、第１のカメラで取得した画像の縮小比を変更することで調整を行うとよい。前者は光学的なズーム比を変更するものであり、後者はいわゆる圧縮比の変更である。

本発明によれば、運転者の略正面に配置される第１のカメラとは異なる方向から第２のカメラによって運転者の画像を取得して、第１のカメラと運転者の顔との距離を判定しているので、運転者の顔と第１のカメラとの間に運転者のステアリング操作等により障害物（運転者の手・腕等）が存在するような場合でも運転者の顔と第１のカメラとの距離を精度よく判定することができ、この情報を基にして適切なサイズの顔画像を取得することができる。

この顔画像の調整を第１のカメラのズーム比を調整することで行えば、適切なサイズの顔画像を含む画像が容易に取得できる。一方、第１のカメラで取得した画像の縮小比を変更することで調整を行えば、焦点距離固定のカメラを用いることができる利点がある。この場合には、判定時に用いられる画像の解像度に比べて高精細のカメラを利用する必要がある。

以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。

図１は、本発明の一実施形態である顔向き判定装置の構成を示す概略図であり、図２はそのブロック構成図である。ここでは、右ハンドル車を例に説明する。ステアリングコラム４上には、顔向きカメラ（第１のカメラ）１が配置され、車室内の前方中央にあるルームミラー５にはルームミラー内蔵カメラ（第２のカメラ）２が配置されている。両カメラ１、２は、それぞれ正面と左斜め前方という異なる方向から運転席６に着席している運転者７へと向けられている。

顔向きカメラ１とルームミラー内蔵カメラ２で取得した画像は、それぞれのＡ／Ｄ変換器１１、２１により所定の画素数を有するデジタル信号へと変換されてＥＣＵ（Electric Control Unit）３へと入力される。このＥＣＵ３は、ＣＰＵ、ＲＯＭ、ＲＡＭによって構成され、内蔵されたプログラムに基づいて所定の画像処理を行う。ＥＣＵ３には、顔向きカメラ１の取得画像を処理する第１画像処理部３１と、ルームミラー内蔵カメラ２の取得画像を処理する第２画像処理部３２と、第１画像処理部３１の処理結果から運転者の顔向き判定を行う顔向き判定部３３と、第２画像処理部３２の処理結果から運転者の顔と顔向きカメラ１との距離を判定する距離判定部３４と、距離判定部３４の判定結果に基づいて顔向きカメラ１のズーム比を調整するカメラ調整部３５と、顔向き判定部３３の処理結果に基づいて警報装置８に警報指示を行う警報部３６と、を備えている。警報装置８は、例えば、スピーカーからの音声や計器パネル、ディスプレイ装置等への表示により運転者に警報を発するものである。

次に、本実施形態の動作について具体的に説明する。車両の電源がオンにされると、顔向きカメラ１により運転者７の正面画像（図３参照）が取得され、ルームミラー内蔵カメラ２により運転者７の左斜め前方からの画像（図４参照）が取得される。これらの取得画像は、例えばテレビフレームレート（約３３ｍｓ）で取得され、Ａ／Ｄ変換器１１、２１によりデジタル信号へと変換され、ＥＣＵ３のそれぞれの画像処理部３１、３２へと転送される。

画像処理部３２へと送られるルームミラー内蔵カメラ２の取得画像中には、運転者７と顔向きカメラ１とが同時に撮像されていると好ましいが、顔向きカメラ１自体は映り込んでいなくても図４に示されるように顔向きカメラ１との位置関係が既知であるステアリングコラム４やステアリングホイール４１が同時に撮像されているとよい。以下、当該画像中に顔向きカメラ１が映り込んでいる場合には、その画像中での顔向きカメラ１の位置を、顔向きカメラ１が映り込んでおらずその他の顔向きカメラ１との位置関係が既知である物体が映り込んでいる場合には、その既知物体の画像中での位置をそれぞれ参照物位置と称する。

第２の画像処理部３２では、取得した画像中から画像処理により運転者の顔位置と、参照物位置を求める。この位置検出は、エッジ検出やパターン認識を組み合わせることにより行われる。そして、距離判定部３４は、これらの位置情報と既知の参照物位置と顔向きカメラ１との位置関係等を基にして顔向きカメラ１から運転者７の顔までの距離を求める。カメラ調整部３５は、求めた距離情報に応じて顔向きカメラ１のズーム比を調整する等して運転者７の顔画像が取得画像中で適切なサイズとなるよう調整する。

このようにズーム比を制御することで、適切なサイズの運転者７の顔画像を含む画像が第１の画像処理部３１へと送られる。画像処理部３１では、取得画像中からエッジ検出等の既知の手法を組み合わせることで、図５に示される顔の中心位置（鼻先を通る線）Ａと両端位置Ｂ、Ｃ位置を検出する。

顔向き判定部３３は、顔両端位置Ｂ、Ｃと顔中心位置Ａから顔向き角度を計算する。具体的には、ＡＢ間の距離をＬ_ｒ、ＡＣ間の距離をＬ_ｌ、Ｌ_ｌ＋Ｌ_ｒをＬとすると、顔向き角度θ（右方向を向いている場合が正となる。）は、顔が図６に示される円筒形モデルであると仮定すると、次式により表せる。

警報部３６は、求めた顔向き角度θを判定し、その角度の絶対値が所定の閾値以上の状態が所定時間以上継続している場合には、わき見状態と判定する。ここで、操舵中は、顔向きカメラ１からみて、運転者７の顔がステアリングホイール４１や運転者７自身の腕等により遮られる頻度が高くなることや、操舵中は進路方向等正面以外の方向確認のために正面以外を向く可能性が高いことなどからわき見状態の判定は行わないようにするとよい。そして、わき見状態と判定した場合には、警報装置８に対し、運転者に警報を発するよう指示する。警報装置８は指示に従い、スピーカーから音声を発したり、計器パネルやディスプレイ等に警報を表示することで運転者に対して進行方向を向くよう指示する。

本実施形態によれば、顔向きカメラ１で取得する画像中の顔画像のサイズが適切な大きさになるよう予め調整し、調整後の画像を基にして顔向き判定処理を行っているので、顔向き角度の判定精度を適切なレベルに維持することができる。このため、運転者の体格や運転姿勢の違いによる顔サイズの違いによる顔向き角度の判定精度の変動を抑制して、正確な判定を行うことができる。

また、ルームミラー内蔵カメラを用いて取得した画像を画像処理することにより運転者と顔向きカメラとの位置関係（距離）を求めるので、顔向きカメラ１に併設した距離センサにより測定を行う場合に比較して、運転者の操作等にかかわらず距離を正確に測定できる。運転者の着座位置はシート位置を検出することによっても可能ではあるが、この場合には、運転者の運転姿勢による変化は検出できない。これに対して、本実施形態によれば、運転者の姿勢や体格の違いによる影響を受けることなく、その顔位置を正確に判定できる利点がある。

以上の説明では、第２のカメラをルームミラー内蔵カメラとしたが、これに限られるものではなく、車室内の天井（車室中央や運転者の直上あるいは運転者席のドア側等）や運転席側のドアに配置してもよい。第２のカメラは、運転者の認証に用いられるものを共用してもよい。

以上の説明では、第１のカメラの光学的なズーム比を変更する例を説明したが、第１のカメラで取得した画像の解像度が顔向き判定における画像処理で必要な解像度を十分に上回るような場合には、解像度を変換する際の対象領域を変更することで、判定処理用の画像処理に供する画像における顔画像のサイズを適切なレベルに調整するとよい。これは、いわゆるデジタルズームと呼ばれる手法が適用できる。

ここでは、わき見運転の判定結果に基づいて警報処理を行う例を説明したが、このほかにも衝突回避プログラムや運転支援プログラムにおいて判定結果を利用することが可能である。

本発明の一実施形態である顔向き判定装置の構成を示す概略図である。 図１の装置のブロック構成図である。 図１の装置の顔向きカメラによる取得画像の例を示す模式図である。 図１の装置のルームミラー内蔵カメラによる取得画像の例を示す模式図である。 顔画像を用いた顔向き判定を説明する図である。 顔画像を用いた顔向き角度計算の原理を説明する図である。

符号の説明

１…顔向きカメラ、２…ルームミラー内蔵カメラ、３…ＥＣＵ、４…ステアリングコラム、５…ルームミラー、６…運転席、７…運転者、８…警報装置、１１、２１…Ａ／Ｄ変換器、３１…第１画像処理部、３２…第２画像処理部、３３…顔向き判定部、３４…距離判定部、３５…カメラ調整部、３６…警報部、４１…ステアリングホイール。

Claims (3)

1. 車室内に配置され、運転者の顔画像を取得する第１のカメラと、
   前記第１のカメラとは車室内の別の位置に配置され、異なる角度方向から運転者の画像を取得する第２のカメラと、
   前記第２のカメラの取得画像から画像処理によって運転者の顔と前記第１のカメラ間の距離を判定する距離判定手段と、
   前記距離判定手段の結果に基づいて前記第１のカメラで取得する顔画像中の顔サイズを調整する調整手段と、
   調整後の顔画像を用いて顔向きを判定する判定手段と、
   を備えていることを特徴とする運転者の顔向き判定装置。
2. 前記調整手段は、前記第１のカメラのズーム比を調整することで調整を行うことを特徴とする請求項１記載の顔向き判定装置。
3. 前記調整手段は、前記第１のカメラで取得した画像の縮小比を変更することで調整を行うことを特徴とする請求項１記載の顔向き判定装置。

Images