JP6669182B2 - 乗員監視装置 - Google Patents

Description

本発明は、車両内に設置されたカメラで乗員を監視する乗員監視装置に関し、特に、乗員の所定部位の空間上の位置を測定する技術に関する。

車両において、運転者の顔の位置に応じて所定の制御を行うために、顔の空間上の位置を検出したいというニーズがある。たとえば、運転者が覚醒していて正面を向いた姿勢にある場合と、運転者が居眠りをしていて俯いた姿勢にある場合とでは、基準位置（たとえばカメラの位置）から顔までの距離が異なる。そこで、この距離を顔位置として検出することで、運転者が覚醒状態にあるか居眠り状態にあるかを判別することができる。また、ＨＵＤ（Head-UP Display）システムを搭載した車両にあっては、運転者の顔位置（特に目の位置）を検出することで、運転席の前方に目の位置に合わせた最適の映像を表示することができる。

運転者の顔を検出する手段としては、ドライバモニタが知られている。ドライバモニタは、カメラで撮像した運転者の顔画像に基づいて運転者の状態を監視し、運転者が居眠りや脇見運転をしている場合は、警報などの所定の制御を行う装置である。ドライバモニタで得られた顔画像からは、顔の向きや視線の方向に関する情報は得られるが、顔の空間上の位置（基準位置からの距離）に関する情報は得られない。

顔の空間上の位置を測定する方法には、２台のカメラ（ステレオカメラ）を用いる方法、被写体にパターン光を照射する方法、超音波センサを用いる方法などがある。ステレオカメラを用いる場合は、複数のカメラが必要となってコストが高くなる。パターン光を用いる場合は、カメラは１台で済むが、専用の光学系が必要となる。超音波センサを用いる場合は、部品が増えてコストが高くなることに加え、被写体のどの部位までの距離を検出しているかの特定が難しいため、ドライバモニタによる検出結果と整合しにくいという問題がある。

特許文献１には、車両のステアリングホイールにカメラを設置し、このカメラで撮像した運転者の画像を、ステアリングホイールの操舵角に基づいて正立画像に修正する運転者監視システムが示されている。特許文献２には、車両のインストルメントパネルに設置された２台のカメラを用いて、運転者の顔の向きを検出する顔向き検出装置が示されている。しかしながら、これらの文献は、カメラによる顔位置の測定に関してなんら言及しておらず、上述した問題点の解決に資するものではない。

特開２００７−７２７７４号公報 特開２００７−２５７３３３号公報

本発明の課題は、１台のカメラによって、乗員の所定部位の空間上の位置を測定することが可能な乗員監視装置を提供することにある。

本発明に係る乗員監視装置は、車両の乗員を撮像するカメラと、このカメラで撮像された乗員の画像に対して所定の処理を行う画像処理部と、この画像処理部で処理された画像に基づいて、乗員の所定部位の空間上の位置を算出する位置算出部とを備えている。カメラは、車両のステアリングホイールにおける、回転軸から離れた場所に設置されていて、ステアリングホイールと共に回転する。画像処理部は、ステアリングホイールの回転に伴ってカメラが２つの異なる位置で撮像した、２つの画像に対して所定の処理を行う。位置算出部は、画像処理部で処理された２つの画像に基づいて、乗員の所定部位の空間上の位置を算出する。

このような乗員監視装置によると、ステアリングホイールにおける回転軸から離れた場所に、乗員を撮像するカメラを設置しているので、ステアリングホイールと共に回転するカメラにより、２つの異なる位置で撮像した２つの撮像画像を得ることができる。そして、これらの撮像画像に対して、画像処理部で所定の処理を行い、処理された２つの画像に基づいて、乗員の所定部位の空間上の位置を算出することができる。このため、カメラを複数設けたり、専用の光学系を設けたりする必要がなく、構成が簡単で安価な乗員監視装置が得られる。

本発明において、画像処理部は、カメラで撮像された画像から乗員の顔を検出する顔検出部を有し、位置算出部は、カメラから顔の特定部分までの距離を、当該顔の空間上の位置として算出してもよい。

本発明において、前記２つの画像は、たとえば、カメラが第１回転角だけ回転したときの第１位置で撮像した第１撮像画像、およびカメラが第２回転角だけ回転したときの第２位置で撮像した第２撮像画像である。この場合、画像処理部は、第１撮像画像を所定量回転させた第１回転画像、および第２撮像画像を所定量回転させた第２回転画像を生成する。位置算出部は、第１位置と第２位置との間の直線距離である基線長と、第１回転画像および第２回転画像から得られる視差と、カメラの焦点距離とに基づいて、所定部位の空間上の位置を算出する。

具体的には、所定部位の空間上の位置は、たとえば次のようにして算出することができる。ステアリングホイールの回転軸からカメラまでの距離をＬ、第１回転角をθ_１、第２回転角をθ_２、基線長をＢ、視差をδ、焦点距離をｆとし、所定部位の空間上の位置を、カメラから当該所定部位までの距離Ｄとしたとき、画像処理部は、１撮像画像を、第１方向へ｜θ_２−θ_１｜／２の角度だけ回転させて、第１回転画像を生成し、第２撮像画像を、第１方向と逆の第２方向へ｜θ_２−θ_１｜／２の角度だけ回転させて、第２回転画像を生成する。位置算出部は、基線長を、Ｂ＝２・Ｌ・ｓｉｎ（｜θ_２−θ_１｜／２）により算出し、所定部位の空間上の位置を、Ｄ＝Ｂ・（ｆ／δ）により算出する。

本発明において、カメラの回転角を検出する回転角検出部を設け、この回転角検出部が、カメラから取得した第１撮像画像および第２撮像画像に基づいて、第１回転角および第２回転角を検出するようにしてもよい。

あるいは、回転角検出部は、カメラの姿勢を検出する姿勢センサの出力に基づいて、第１回転角および第２回転角を検出するようにしてもよい。

あるいは、回転角検出部は、ステアリングホイールの操舵角を検出する操舵角センサの出力に基づいて、第１回転角および第２回転角を検出するようにしてもよい。

本発明において、位置算出部は、カメラが２つの異なる位置の間で、所定時間内に所定角度以上回転した場合に、２つの画像に基づいて所定部位の空間上の位置を算出するようにしてもよい。

本発明によれば、１台のカメラによって、乗員の所定部位の空間上の位置を検出することが可能な乗員監視装置を提供することができる。

本発明の第１実施形態による乗員監視装置のブロック図である。 カメラが設置されたステアリングホイールの平面図である。 カメラによる運転者の監視を説明する図である。 ステアリングホイールの回転に伴うカメラの位置の変化を示した図である。 カメラが撮像した画像を示す図である。 第１回転画像と第２回転画像を示す図である。 撮像画像における目の領域を示す図である。 基線長を算出する原理を説明する図である。 ステレオ視による距離演算の原理図である。 乗員監視装置の動作を示したフローチャートである。 本発明の第２実施形態による乗員監視装置のブロック図である。 本発明の第３実施形態による乗員監視装置のブロック図である。 本発明の第４実施形態による乗員監視装置のブロック図である。

本発明による乗員監視装置の第１実施形態につき、図面を参照しながら説明する。まず、乗員監視装置の構成を、図１を参照しながら説明する。図１において、乗員監視装置１００は、車両に搭載されており、カメラ１、画像処理部２、位置算出部３、運転者状態判定部４、制御部５、および記憶部６を備えている。

カメラ１は、図２に示すように、車両のステアリングホイール５１に設置されており、ステアリングホイール５１と共に回転する。カメラ１が設置されている場所は、ステアリングホイール５１の回転軸５２から離れている。このため、ステアリングホイール５１が回転すると、カメラ１は回転軸５２を中心に矢印方向へ回転する。図１に示すように、カメラ１には、ＣＭＯＳイメージセンサのような撮像素子１１と、レンズなどを含む光学部品１２とが備わっている。

図３に示すように、カメラ１は、車両５０の運転席のシート５３に着座している乗員４０（運転者）の顔４１を撮像する。破線は、カメラ１の撮像範囲を示している。Ｄは、カメラ１から顔４１までの距離を表している。後述するように、距離Ｄが求まれば、顔４１の空間上の位置を特定することができる。車両５０は、たとえば自動四輪車である。

画像処理部２は、画像メモリ２１、顔検出部２２、第１画像回転部２３、第２画像回転部２４、および回転角検出部２５を備えている。画像メモリ２１は、カメラ１が撮像した画像を一時的に保存する。顔検出部２２は、カメラ１が撮像した画像から運転者の顔を検出するとともに、顔における特徴点（たとえば目）を抽出する。顔の検出方法や特徴点の抽出方法はよく知られているので、これらの詳細説明は省略する。

第１画像回転部２３および第２画像回転部２４は、カメラ１が撮像した撮像画像Ｇ１、Ｇ２（後述）を画像メモリ２１から読み出して、これらを回転させる処理を行う。回転角検出部２５は、画像メモリ２１から取得したカメラ１の撮像画像に基づいて、カメラ１の回転角θ_１、θ_２（後述）を検出する。回転角検出部２５で検出された回転角θ_１、θ_２は、第１画像回転部２３および第２画像回転部２４へ与えられ、各画像回転部２３、２４は、これらの回転角θ_１、θ_２に基づいて、撮像画像Ｇ１、Ｇ２を所定量回転させる。この画像回転の詳細については後述する。

位置算出部３は、第１画像回転部２３および第２画像回転部２４で生成された回転画像Ｈ１、Ｈ２（後述）と、顔検出部２２で検出された顔の情報（顔領域や特徴点など）に基づき、図３におけるカメラ１から顔４１までの距離Ｄ、すなわち顔４１の空間上の位置を算出する。この詳細についても後述する。位置算出部３の出力は、ＣＡＮ（Controller Area Network）を介して、車両に搭載されている図示しないＥＣＵ（Electronic Control Unit）へ送られる。

運転者状態判定部４は、顔検出部２２から取得した顔の情報に基づいて、瞼の動きや視線の方向などを検出し、その結果に応じて運転者４０の状態を判定する。たとえば、瞼が一定時間以上閉じた状態にある場合は、運転者４０が居眠りをしていると判定し、視線が横を向いている場合は、運転者４０が脇見運転をしていると判定する。運転者状態判定部４の出力は、ＣＡＮを介してＥＣＵへ送られる。

制御部５は、ＣＰＵなどから構成されており、乗員監視装置１００の動作を統轄的に制御する。このため、制御部５は、乗員監視装置１００の各部と信号線で接続され（図示省略）、各部との間で通信を行う。また、制御部５は、ＣＡＮを介してＥＣＵとも通信を行う。

記憶部６は、半導体メモリから構成されており、制御部５を動作させるためのプログラムや、制御に必要なパラメータなどが格納されている。また、記憶部６には、各種のデータが一時的に格納される記憶エリアが設けられている。

なお、顔検出部２２、第１画像回転部２３、第２画像回転部２４、回転角検出部２５、位置算出部３、および運転者状態判定部４のそれぞれの機能は、実際にはソフトウェアによって実現されるが、図１では便宜上、ブロック図で示している。

次に、上述した乗員監視装置１００において顔の空間上の位置を測定する原理について説明する。

図４は、ステアリングホイール５１の回転に伴う、カメラ１の位置の変化を示した図である。図４において、（ａ）はステアリングホイール５１が基準位置にある状態、（ｂ）はステアリングホイール５１が基準位置から角度θ_１だけ回転した状態、（ｃ）はステアリングホイール５１がさらに回転して、基準位置から角度θ_２まで回転した状態を示している。（ｂ）のカメラ１の位置は、本発明における「第１位置」に相当し、（ｃ）のカメラ１の位置は、本発明における「第２位置」に相当する。

図５は、図４の（ａ）〜（ｃ）の各状態において、カメラ１により撮像した画像の一例を示している。ここでは便宜上、顔の画像のみを示しており、背景画像は省略してある。

図５（ａ）は、図４（ａ）に対応していて、カメラ１が基準位置にある場合の撮像画像である。この画像は、傾きのない正立画像となっている。図５（ｂ）は、図４（ｂ）に対応していて、ステアリングホイール５１がθ_１回転したことに伴い、カメラ１での撮像画像Ｇ１も基準位置からθ_１回転したものとなっている。角度θ_１は、本発明における「第１回転角」に相当し、撮像画像Ｇ１は、本発明における「第１撮像画像」に相当する。図５（ｃ）は、図４（ｃ）に対応していて、ステアリングホイール５１がθ_２まで回転したことに伴い、カメラ１での撮像画像Ｇ２も基準位置からθ_２まで回転したものとなっている。角度θ_２は、本発明における「第２回転角」に相当し、撮像画像Ｇ２は、本発明における「第２撮像画像」に相当する。

図５からわかるように、ステアリングホイール５１と共に回転するカメラ１が、異なる位置（回転角度）で撮像した画像は、傾きが異なったものとなり、また、画面上での位置も異なったものとなる。

本発明では、カメラ１が２つの異なる位置で撮像した２つの画像を用いて、図３で示した距離Ｄを算出する。カメラ１は１台であるが、カメラ１を移動（回転）させることで、異なる位置における２つの画像が得られる。このため、２台のカメラを用いてステレオ視により距離測定を行う場合と同様の原理（詳細は後述）に基づいて、距離Ｄの測定が可能となる。このように、１台のカメラを移動させて、擬似的なステレオ視を作り出すことにより距離測定を行う方式を、モーションステレオ方式と呼ぶ。

以下、モーションステレオ方式を用いた本発明の距離測定手順について説明する。まず、上述したように、カメラ１が２つの異なる位置で撮像した２つの画像を取得する。ここでは、２つの画像として、カメラ１が図４（ｂ）の回転角θ_１の位置で撮像した図５（ｂ）の撮像画像Ｇ１と、図４（ｃ）の回転角θ_２の位置で撮像した図５（ｃ）の撮像画像Ｇ２を用いる。

次に、取得した２つの撮像画像Ｇ１、Ｇ２を、それぞれ所定量だけ回転させる。詳しくは、撮像画像Ｇ１については、図６（ａ）に示すように、時計回り方向へ｜θ_２−θ_１｜／２だけ回転させて、実線で示す回転画像Ｈ１を生成する。また、撮像画像Ｇ２については、図６（ｂ）に示すように、反時計回り方向へ｜θ_２−θ_１｜／２だけ回転させて、実線で示す回転画像Ｈ２を生成する。回転画像Ｈ１は、本発明における「第１回転画像」に相当し、回転画像Ｈ２は、本発明における「第２回転画像」に相当する。時計回り方向は、本発明における「第１方向」に相当し、反時計回り方向は、本発明における「第２方向」に相当する。

回転画像Ｈ１は、撮像画像Ｇ１を画像Ｇ１、Ｇ２の中間の角度まで回転させた画像であり、回転画像Ｈ２も、撮像画像Ｇ２を画像Ｇ１、Ｇ２の中間の角度まで回転させた画像である。したがって、両回転画像Ｈ１、Ｈ２の画面上での傾きは等しくなる。このように、撮像画像Ｇ１、Ｇ２を｜θ_２−θ_１｜／２の角度だけ逆方向へ回転させることで、通常のステレオカメラで撮像した場合と同様の、姿勢が同じ２つの画像Ｈ１、Ｈ２を得ることができる。

なお、ここでは、撮像画像Ｇ１、Ｇ２をそのまま回転させて、回転画像Ｈ１、Ｈ２を生成したが、図７に示すように、撮像画像Ｇ１からたとえば目の領域Ｚを切り出し、この領域のみを回転させて回転画像を生成してもよい。撮像画像Ｇ２についても同様である。

次に、上記のようにして得られた回転画像Ｈ１、Ｈ２を用いて、ステレオ視による距離演算を行うが、そのためには、まず２つのカメラ位置間の直線距離である「基線長」を求める必要がある。これを図８により説明する。

図８において、Ｏはステアリングホイール５１の回転軸５２（図２）の位置、Ｘ１は図４（ｂ）におけるカメラ１の位置、Ｘ２は図４（ｃ）におけるカメラ１の位置、Ｌは回転軸５２からカメラ位置Ｘ１、Ｘ２までの距離である。Ｂはカメラ位置Ｘ１、Ｘ２間の直線距離であり、これが基線長となる。基線長Ｂは、図８より幾何学的に、次式で算出される。
Ｂ＝２・Ｌ・ｓｉｎ（｜θ_２−θ_１｜／２） ・・・ （１）
ここで、Ｌは既知であるから、θ_１とθ_２の値を取得できれば、基線長Ｂを求めることができる。θ_１とθ_２は、図５（ｂ）、（ｃ）の撮像画像Ｇ１、Ｇ２から検出することができる。

こうして基線長Ｂが求まると、次は、一般的なステレオ視による距離測定方法に従い、カメラ１から被写体までの距離を演算する。この距離演算の詳細を、図９を参照しながら説明する。

図９は、ステレオ視による距離演算の原理図を示している。ここでの演算は、三角測量の原理に基づいている。図９において、撮像素子１１ａおよびレンズ１２ａを有する第１カメラ１ａと、撮像素子１１ｂおよびレンズ１２ｂを有する第２カメラ１ｂとで、ステレオカメラが構成されている。第１カメラ１ａは、図８のＸ１にあるカメラ１に対応し、第２カメラ１ｂは、図８のＸ２にあるカメラ１に対応している。なお、図８のカメラ位置Ｘ１、Ｘ２は、図９では各カメラ１ａ、１ｂの光学中心（レンズ１２ａ、１２ｂの中心）として表されている。この光学中心Ｘ１、Ｘ２間の距離Ｂが基線長である。

各カメラ１ａ、１ｂで撮像された被写体Ｙの画像は、撮像素子１１ａ、１１ｂの撮像面上に形成される。ここで、被写体Ｙの特定部分の画像に着目した場合、第１カメラ１ａでは当該画像が撮像面のＰ１の位置に形成され、第２カメラ１ｂでは当該画像が撮像面のＰ２の位置に形成される。Ｐ２の位置は、第１カメラ１ａにおけるＰ１に対応するＰ１’の位置からδだけずれており、このずれ量δを「視差」と呼ぶ。カメラ１ａ、１ｂの焦点距離をｆ、カメラ１ａ、１ｂから被写体Ｙまでの距離をＤとしたとき、幾何学的にｆ／δ＝Ｄ／Ｂが成立する。したがって、距離Ｄは次式で算出される。
Ｄ＝Ｂ・ｆ／δ ・・・ （２）

上記（２）式において、基線長Ｂは前述の（１）式から算出することができ、焦点距離ｆは既知であるから、視差δを求めることによって、距離Ｄを算出することができる。視差δは、公知のステレオマッチングの手法を用いて求めることができる。たとえば、第１カメラ１ａの撮像画像における特定領域の輝度分布と同じ輝度分布の領域を、第２カメラ１ｂの撮像画像から探索し、双方の領域のずれ量を視差として求める。

図９の原理に基づき、本発明では、図６に示した回転画像Ｈ１、Ｈ２から両画像の視差δを検出する。この場合、前述したように、２つの回転画像Ｈ１、Ｈ２は傾き（姿勢）が同じであるため、両者間のステレオマッチングを容易に行うことができる。そして、マッチングを行う領域を、顔４１の特定部分（たとえば目）の領域とすることで、当該特定部分の視差δを用いて、前記（２）式により、カメラ１と顔４１の特定部分との間の距離Ｄを算出することができる。ここで、カメラ１の空間上の位置は、ステアリング５１の回転角に応じて定まる。したがって、上記の距離Ｄを以って、カメラ１から顔４１までの距離とすることで、顔４１の空間上の位置を特定することが可能となる。

図１０は、乗員監視装置１００の動作を示したフローチャートである。このフローチャートの各ステップは、制御部５の制御の下で、記憶部６に格納されているプログラムに従って実行される。

ステップＳ１では、カメラ１により撮像を行う。カメラ１が撮像した画像は、画像メモリ２１に保存される。ステップＳ２では、回転角検出部２５が、ステアリングホイール５１と共に回転するカメラ１の回転角を、カメラ１の撮像画像Ｇ１、Ｇ２（図５）から検出する。ステップＳ３では、顔検出部２２が、カメラ１の撮像画像から顔を検出する。ステップＳ４では、顔検出部２２が、検出した顔における特徴点（目など）を抽出する。ステップＳ５では、ステップＳ２〜Ｓ４で取得した回転角、顔画像、特徴点などのデータを記憶部６に保存する。この場合、顔画像や特徴点は、回転角と紐付けされて記憶される。

ステップＳ６では、ステップＳ５で保存したデータを用いてモーションステレオ方式による距離測定が可能か否かを、制御部５が判定する。モーションステレオ方式で被写体までの距離を測定するには、カメラ１が撮像を行った２つの位置が、一定以上離れていることが必要である。また、モーションステレオ方式では、２回の撮像の間に被写体が動かないことが前提となるので、２回の撮像の時間間隔が長いと、被写体が動いて正確な距離測定ができなくなるおそれがある。そこで、ステップＳ６では、カメラ１が２つの異なる位置の間で、所定時間内（たとえば５秒以内）に所定角度以上（たとえば１０°以上）回転した場合に、モーションステレオ方式による距離測定が可能と判定し、所定時間内に所定角度以上回転しなかった場合は、モーションステレオ方式による距離測定が不可能と判定する。

ステップＳ６での判定の結果、距離測定が可能であれば（ステップＳ６：ＹＥＳ）、ステップＳ７へ進む。ステップＳ７では、画像回転部２３、２４により、最新の画像とそれよりＮ秒前（Ｎ≦５）の画像を、｜θ_２−θ_１｜／２の角度だけ回転させる処理を行う（｜θ_２−θ_１｜≧１０°）。たとえば、図５（ｂ）の撮像画像Ｇ１は、最新画像よりＮ秒前の画像であり、第１画像回転部２３により、図６（ａ）のように、時計回り方向へ｜θ_２−θ_１｜／２だけ回転させられる。また、図５（ｃ）の撮像画像Ｇ２は、最新の画像であり、第２画像回転部２４により、図６（ｂ）のように、反時計回り方向へ｜θ_２−θ_１｜／２だけ回転させられる。

ステップＳ８では、位置算出部３が、記憶部６から取得した回転角θ_１、θ_２に基づいて、前記の（１）式により基線長Ｂを算出する。ステップＳ９では、位置算出部３が、画像回転部２３、２４で生成された各回転画像Ｈ１、Ｈ２（図６）に基づいて、視差δを算出する。ステップＳ１０では、ステップＳ８で算出した基線長Ｂと、ステップＳ９で算出した視差δと、カメラ１の焦点距離ｆ（既知）とを用いて、前記の（２）式により、カメラ１から顔４１までの距離Ｄを算出する。ステップＳ１１では、ステップＳ１０で算出した距離データを、ＣＡＮを介してＥＣＵへ出力する。ＥＣＵは、この距離データに基づいて、たとえば冒頭に述べたＨＵＤの制御などを実行する。

なお、ステップＳ６での判定の結果、モーションステレオ方式による距離測定が不可能であれば（ステップＳ６：ＮＯ）、ステップＳ１２へ進む。ステップＳ１２では、撮像画像における顔の大きさの変化に基づき、顔までの距離Ｄを補正する。詳しくは、モーションステレオ方式による距離測定が可能な場合に（ステップＳ６：ＹＥＳ）、ステップＳ１０において、算出した距離Ｄとともに、顔における任意の２箇所の特徴点間の画像上の距離（ピクセル数）を記憶しておく。２箇所の特徴点は、たとえば左右の目のそれぞれの中心である。そして、ステップＳ１２では、今回の特徴点間の距離の前回からの変化分に応じて、ステップＳ１０で算出された前回の距離を補正する。具体的には、前回のステップＳ１０において、特徴点間の距離（ピクセル数）がｍで、顔までの距離がＤｘと算出された場合、今回のステップＳ１２において、特徴点間の距離（ピクセル数）がｎであれば、今回の顔までの距離Ｄｙは、Ｄｙ＝Ｄｘ・（ｍ／ｎ）により算出され、これが顔までの距離の補正値となる。一例として、ｍ＝１００ピクセル、Ｄｘ＝４０ｃｍ、ｎ＝９５ピクセルとした場合、距離の補正値は、Ｄｙ＝４０ｃｍ×（１００／９５）＝４２．１ｃｍとなる。カメラ１から顔が遠ざかって画像上の顔が小さくなると、これに応じて特徴点間の画像上の距離も小さくなり（ｎ＜ｍ）、カメラ１から顔までの距離の算出値が増加する（Ｄｙ＞Ｄｘ）ことがわかる。

上述した実施形態によると、ステアリングホイール５１における、回転軸５２から離れた場所にカメラ１を設置しているので、ステアリングホイール５１と共に回転するカメラ１により、２つの異なる位置で撮像した２つの撮像画像Ｇ１、Ｇ２を得ることができる。そして、これらの撮像画像Ｇ１、Ｇ２を回転させた回転画像Ｈ１、Ｈ２を生成し、これらの回転画像Ｈ１、Ｈ２から得られる視差δを用いて、カメラ１から顔４１の特定部分（本例では目）までの距離Ｄを算出することができる。このため、カメラを複数設けたり、専用の光学系を設けたりする必要がなく、簡単な構成によって顔の空間上の位置を測定できる乗員監視装置が得られる。

図１１は、本発明の第２実施形態による乗員監視装置２００を示している。図１１では、図１と同一部分に同一符号を付してある。

図１の乗員監視装置１００では、回転角検出部２５が、画像メモリ２１から取得したカメラ１の撮像画像（顔の画像以外に背景の画像も含む）に基づいて、カメラ１の回転角θ_１、θ_２を検出した。これに対して、図１１の乗員監視装置２００では、回転角検出部２５が、顔検出部２２で検出された顔の画像に基づいて、カメラ１の回転角θ_１、θ_２を検出する。また、画像回転部２３、２４は、顔検出部２２で検出された顔の画像に対して回転処理を行って、回転画像Ｈ１、Ｈ２を生成する。この場合、回転画像Ｈ１、Ｈ２には顔の情報が反映されているので、位置算出部３は、顔検出部２２から顔の情報を取得する必要がない。

図１１の乗員監視装置２００においても、図１の場合と同様の原理に基づいて、カメラ１から顔４１までの距離Ｄを算出することができる。

図１２は、本発明の第３実施形態による乗員監視装置３００を示している。図１２では、図１と同一部分に同一符号を付してある。

図１の乗員監視装置１００では、回転角検出部２５が、カメラ１で撮像された画像に基づいて、カメラ１の回転角θ_１、θ_２を検出した。これに対して、図１２の乗員監視装置３００では、回転角検出部２５が、カメラ１に設けられた姿勢センサ１３の出力に基づいて、カメラ１の回転角θ_１、θ_２を検出する。姿勢センサ１３としては、ジャイロセンサなどを用いることができる。

図１３は、本発明の第４実施形態による乗員監視装置４００を示している。図１３では、図１と同一部分に同一符号を付してある。

図１２の乗員監視装置３００では、回転角検出部２５が、姿勢センサ１３の出力に基づいて、カメラ１の回転角θ_１、θ_２を検出した。これに対して、図１３の乗員監視装置４００では、回転角検出部２５が、ステアリングホイール５１の操舵角を検出する操舵角センサ３０の出力に基づいて、カメラ１の回転角θ_１、θ_２を検出する。操舵角センサ３０としては、ロータリエンコーダなどを用いることができる。

図１２および図１３の乗員監視装置３００、４００においても、図１の場合と同様の原理に基づいて、カメラ１から顔４１までの距離Ｄを算出することができる。

なお、図１２および図１３において、図１１のように、画像回転部２３、２４が、顔検出部２２から取得した顔の画像に対して回転処理を行って、回転画像Ｈ１、Ｈ２を生成してもよい。

本発明では、上述した実施形態以外にも、以下のような種々の実施形態を採用することができる。

上述した実施形態では、カメラ１を、ステアリングホイール５１における図２の位置に設置した例を挙げたが、カメラ１は、ステアリングホイール５１上の、回転軸５２から離れた位置に設置すればよく、図２の位置に限定されない。

上述した実施形態では、撮像画像Ｇ１を時計回り方向に｜θ_２−θ_１｜／２の角度だけ回転させ、撮像画像Ｇ２を反時計回り方向に｜θ_２−θ_１｜／２の角度だけ回転させた例を挙げたが（図６）、本発明はこれに限定されない。たとえば、撮像画像Ｇ１を、時計回り方向に｜θ_２−θ_１｜回転させて、撮像画像Ｇ２と同じ傾きの画像にしてもよい。あるいは、撮像画像Ｇ２を、反時計回り方向に｜θ_２−θ_１｜回転させて、撮像画像Ｇ１と同じ傾きの画像にしてもよい。

上述した実施形態では、カメラ１から顔４１までの距離Ｄを算出するにあたって、顔４１の特定部分として目を例に挙げたが、特定部分は目に限らず、鼻、口、耳、眉などであってもよい。また、特定部分は、目、鼻、口、耳、眉などの顔の特徴点に限らず、特徴点以外の任意点であってもよい。さらに、本発明において距離測定の対象となる部位は、顔に限らず、頭や首などの他の部位であってもよい。

上述した実施形態では、カメラ１から顔４１までの距離Ｄを、顔４１の空間上の位置としたが、空間上の位置は、距離に限らず座標値で表してもよい。

上述した実施形態では、乗員監視装置１００〜４００に運転者状態判定部４が設けられている例を挙げたが、運転者状態判定部４は、乗員監視装置１００〜４００の外部に設けてもよい。

１ カメラ
２ 画像処理部
３ 位置算出部
１３ 姿勢センサ
２２ 顔検出部
２５ 回転角検出部
３０ 操舵センサ
４０ 乗員
４１ 顔
５０ 車両
５１ ステアリングホイール
５２ 回転軸
１００、２００、３００、４００ 乗員監視装置
Ｂ 基線長
δ 視差
ｆ 焦点距離
Ｌ ステアリングホイールの回転軸からカメラまでの距離
Ｄ カメラから被写体までの距離
θ_１ 第１回転角
θ_２ 第２回転角
Ｇ１ 第１撮像画像
Ｇ２ 第２撮像画像
Ｈ１ 第１回転画像
Ｈ２ 第２回転画像

Claims (8)

1. 車両の乗員を撮像するカメラと、
   前記カメラで撮像された乗員の画像に対して所定の処理を行う画像処理部と、
   前記画像処理部で処理された画像に基づいて、前記乗員の所定部位の空間上の位置を算出する位置算出部と、を備え、
   前記カメラは、前記車両のステアリングホイールにおける、回転軸から離れた場所に設置されていて、前記ステアリングホイールと共に回転し、
   前記画像処理部は、前記ステアリングホイールの回転に伴って前記カメラが２つの異なる位置で撮像した、２つの画像に対して所定の処理を行い、
   前記位置算出部は、前記画像処理部で処理された２つの画像に基づいて、前記所定部位の空間上の位置を算出する、ことを特徴とする乗員監視装置。
2. 請求項１に記載の乗員監視装置において、
   前記画像処理部は、前記カメラで撮像された画像から乗員の顔を検出する顔検出部を有し、
   前記位置算出部は、前記カメラから前記顔の特定部分までの距離を、当該顔の空間上の位置として算出する、ことを特徴とする乗員監視装置。
3. 請求項１または請求項２に記載の乗員監視装置において、
   前記２つの画像は、前記カメラが第１回転角だけ回転したときの第１位置で撮像した第１撮像画像、および前記カメラが第２回転角だけ回転したときの第２位置で撮像した第２撮像画像であり、
   前記画像処理部は、前記第１撮像画像を所定量回転させた第１回転画像、および前記第２撮像画像を所定量回転させた第２回転画像を生成し、
   前記位置算出部は、前記第１位置と前記第２位置との間の直線距離である基線長と、前記第１回転画像および前記第２回転画像から得られる視差と、前記カメラの焦点距離とに基づいて、前記所定部位の空間上の位置を算出する、ことを特徴とする乗員監視装置。
4. 請求項３に記載の乗員監視装置において、
   前記ステアリングホイールの回転軸から前記カメラまでの距離をＬ、前記第１回転角をθ_１、前記第２回転角をθ_２、前記基線長をＢ、前記視差をδ、前記焦点距離をｆとし、前記所定部位の空間上の位置を、前記カメラから当該所定部位までの距離Ｄとしたとき、
   前記画像処理部は、
   前記第１撮像画像を、第１方向へ｜θ_２−θ_１｜／２の角度だけ回転させて、前記第１回転画像を生成し、
   前記第２撮像画像を、前記第１方向と逆の第２方向へ｜θ_２−θ_１｜／２の角度だけ回転させて、前記第２回転画像を生成し、
   前記位置算出部は、
   前記基線長を、Ｂ＝２・Ｌ・ｓｉｎ（｜θ_２−θ_１｜／２）により算出し、
   前記所定部位の空間上の位置を、Ｄ＝Ｂ・（ｆ／δ）により算出する、ことを特徴とする乗員監視装置。
5. 請求項３または請求項４に記載の乗員監視装置において、
   前記カメラの回転角を検出する回転角検出部を備え、
   前記回転角検出部は、前記カメラから取得した前記第１撮像画像および前記第２撮像画像に基づいて、前記第１回転角および前記第２回転角を検出する、ことを特徴とする乗員監視装置。
6. 請求項３または請求項４に記載の乗員監視装置において、
   前記カメラの回転角を検出する回転角検出部を備え、
   前記回転角検出部は、前記カメラの姿勢を検出する姿勢センサの出力に基づいて、前記第１回転角および前記第２回転角を検出する、ことを特徴とする乗員監視装置。
7. 請求項３または請求項４に記載の乗員監視装置において、
   前記カメラの回転角を検出する回転角検出部を備え、
   前記回転角検出部は、前記ステアリングホイールの操舵角を検出する操舵角センサの出力に基づいて、前記第１回転角および前記第２回転角を検出する、ことを特徴とする乗員監視装置。
8. 請求項１ないし請求項７のいずれかに記載の乗員監視装置において、
   前記位置算出部は、
   前記カメラが、前記２つの異なる位置の間で、所定時間内に所定角度以上回転した場合に、前記２つの画像に基づいて前記所定部位の空間上の位置を算出する、ことを特徴とする乗員監視装置。

Images