JP4840638B2 - 車両の乗員監視装置 - Google Patents

Description

本発明は、所定位置近傍に存在することが想定される対象物の画像情報を取得する画像入力装置に関する。また、所定位置として車両の座席に着座した乗員の顔を対象物として認識する車両の乗員監視装置に関する。

所定位置近傍に存在することが想定される対象物の画像情報を取得する画像入力装置の一例として、撮影モード切替機能を有したカメラがある。例えば、個人用のカメラで人物を被写体とし、スナップ写真などを撮影する際、対象物となる人物は、概ねカメラの前方２〜５ｍ程度の位置に存在すると想定できる。また、現金自動支払機などに備えられた警備用、本人認証用のカメラの場合も、現金自動支払機を操作する人物、特に顔部分の存在位置が想定できる。同様に、車両において、運転者や助手席の着座者の顔の向き、視線の動きなどをモニタし、運転状況の変化を検知する乗員監視装置においても、乗員や、乗員の顔の位置が想定できる。

このように、様々な場面において、所定位置近傍に存在することが想定される対象物の画像情報が取得され、その画像情報が活用されている。上記個人用のカメラにおいても、人物の顔部分を認識することによって色補正、赤目防止などが可能であり、人物の顔を認識する技術は非常に有益なものである。

従って、人物の顔を認識する技術は、今日まで、種々提案されてきている。例えば、下記に示す特許文献１には、主としてヒューマノイド（Humanoid）型ロボットや、エンタテイメントロボット等において人物の顔を認識する技術が提案されている。これは、これらのロボットから見る人物の顔が傾いたり、向きが違っていたりするような場合であっても、高効率に顔を検出することを目的としたものである。この技術では、初めに、平均的な顔画像を示す所定サイズのテンプレート画像と、入力画像との相関を求める。そして、この平均的なテンプレート画像と入力画像との相関が低かった場合には、画面の垂直軸に対して所定の角度回転させたテンプレート画像を使用して相関を求める。このように、一つのテンプレート画像を回転させて相関を求める（マッチングする）ことにより、対象が正面顔でない場合でも、正面顔のテンプレートを用いてマッチングを可能とする。その結果、マッチング処理の速度が向上する、というものである。

特開２００４−１３３６３７号公報（第９−１１段落）

上記技術により、ある程度、テンプレートマッチングの速度向上が可能であるが、認識対象が回転以外の変化をした場合には、この速度向上効果が発揮されない。例えば、認識対象が、撮影手段（例えばカメラ）に対して前後方向に動いた場合、テンプレート画像の大きさと、認識対象の大きさとにズレが生じる。テンプレートマッチングの性格上、大きさにズレが生じた場合には、高い相関値を出すことはできない。これに対処する方法として、複数の大きさに対応したテンプレート画像を準備することができるが、処理時間を増大させる。処理時間を増大させないために、並行して複数の大きさに対応したテンプレート画像とのマッチングを行うと、装置の規模（電子回路の規模や、演算装置の数等）が増大する。

本願発明はこのような課題に鑑みてなされたもので、認識対象となる対象物の画像情報を所定の条件の下に安定させて取得するための画像入力装置を提供することを目的とする。

上記目的を達成するための本発明に係る画像入力装置の特徴構成は、
所定位置近傍に存在する対象物の画像情報を取得するものであって、
前記対象物を撮影する撮影手段と、前記対象物の存在位置の変位を検出する変位検出手段と、
この変位検出手段の検出結果に基づいて、撮影方向及び撮影倍率の何れか一方又は双方を制御する制御手段と、を備える点にある。

この特徴構成によれば、制御手段が、対象物の存在位置の変位を検出した結果に基づいて、撮影方向や撮影倍率を制御する。即ち、撮影方向の制御としては、撮影手段による撮影方向の変更（パン、チルト、スイング）や、撮影された画像のシフトなどを行うことができる。また、撮影倍率の制御としては、撮影手段のレンズなど、光学系を変更することによる光学ズームや、撮影された画像を用いてのデジタルズームなどを行うことができる。その結果、認識対象となる対象物の画像情報を一定の条件の下に安定させることができ、この画像情報を利用した画像処理、例えば画像認識などを円滑に行うことができる。

また、前記変位検出手段が、前記対象物と前記撮影手段との距離を検出する距離検出手段であり、前記制御手段が、この距離検出手段の検出結果に基づいて、前記撮影倍率を制御するものであると好ましい。

上述したように、対象物が所定位置近傍に存在することが想定される場合、この対象物の挙動を監視することができる。上記構成によれば、この監視を距離検出手段によって行う。そして、距離検出手段の検出結果に基づいて、撮影倍率を制御するので、対象物の画像情報を一定の条件の下に安定させることができる。

ここで、前記制御手段が、前記撮影倍率を、前記画像情報において前記対象物が所定の大きさとなるように定めると好適である。

このようにすれば、距離検出手段の検出結果に基づいて、制御手段が撮影倍率を制御するので、対象物の画像情報を一定の条件、即ち同程度の大きさの範囲内に安定させることができる。
上述した背景技術において、この検出結果に基づいてテンプレート画像を変更することもできるが、このためには複数の大きさに対応するテンプレート画像を記憶しておく必要がある。あるいは、検出結果に基づいて、テンプレート画像の大きさを変更する画像処理が必要となる。これらは、画像処理手段（装置、回路等）の大規模化や処理時間の増大の原因となる。
しかし、上記構成のように、撮影倍率を制御すれば、画像処理手段が扱う画像情報を安定化させることができる。また、画像処理と撮影倍率の制御とをいわゆるパイプライン処理することも可能である。

さらに、上記のような画像入力装置を、車両の座席に着座した乗員の顔を前記対象物として認識する車両の乗員監視装置に備えると好適である。

車両を運転する乗員は、運転に際して所定の運転席に着座する。従って、対象物としての乗員は所定位置近傍に存在することが想定される。そして、この乗員の存在位置の変位、即ち挙動は運転中において、大きく変動することはない。従って、上述したような変位検出手段を用いることで、検出可能な変位の範疇に収まる。従って、例えば乗員の表情、顔の向き等、運転状況を監視するために、一定の箇所の画像情報を安定的に得ることが可能となる。その結果、画像処理手段の規模を抑え、高速な処理が可能で、精度のよい車両の乗員監視装置を得ることができる。

以下、本発明の実施形態について車両の乗員監視装置を例に図面に基づいて説明する。図１は、本発明の実施形態に係る車両に着座する乗員と、この乗員を撮影するカメラとの位置関係を説明する斜視図である。図１に示すように、乗員は車両内の運転席に着座し、運転姿勢を採っている。カメラ２は、本例ではルームミラー７に設置され、乗員の顔を含む頭部１をほぼ正面より撮影可能である。尚、乗員の頭部１をほぼ正面より撮影できれば、カメラ２の設置場所はここには限られない。運転席に備えられたサンバイザー部分や、その上部の天井部でもよい。各種メータ類が備えられるメータパネル部や、オーディオ類が備えられるダッシュボード部でもよい。

乗員は、通常の運転姿勢において、運転席に着座し、前方を向いて車両を操作する。周囲の目視確認などで、多少姿勢を変更することがあっても、その頭部１は所定位置近傍に存在すると考えてよい。即ち、概ね運転席のヘッドレスト６付近に存在すると考えてよい。

図２は、図１のカメラ２から乗員を撮影した画像の一例を示す図である。図中、太枠Ｗに囲まれた範囲が撮影画像Ｐを示している。図２に示したように、比較的広範囲が映った撮影画像Ｐを用いて、乗員の顔を認識しようとすると、まず、この撮影画像Ｐの中から「頭部（１）」を抽出する必要がある。このとき、撮影画像Ｐに含まれるヘッドレスト６や窓８の形状を誤って「頭部」と判定するおそれもある。従って、撮影画像Ｐのように、広角の画像を用いると、処理時間の増大や、誤検出といった問題が懸念される。

そこで、このような問題を回避するため、撮影枠のほぼいっぱいに乗員の顔を捉えるようにする。人間の頭部の大きさは、個人差があるが著しく異なるものではない。従って、所定範囲の大きさを有して所定位置近傍に存在すると想定される被写体（対象物）である乗員の頭部１を安定して撮影枠のほぼいっぱいに捉えるようにする。

図３は、撮影枠のほぼいっぱいに対象物（乗員の顔）を撮影した画像の例を示す図である。図３に示した標準撮影画像Ｐ０には、ほぼ撮影枠の中心に乗員の頭部１が撮影されている。本実施形態のように取得した画像情報をデジタル的に画像処理するようなシステムの場合には、一般的にカメラ２としてデジタルカメラが用いられる。そして、一般にデジタルカメラは、撮影画像の縦横比が３対４の横長である。従って、乗員の姿勢が左右に多少変位しても、変位した乗員の頭部１Ａ及び１Ｂは、標準撮影画像Ｐ０の範囲に収まる。

しかし、乗員の姿勢の変位は、上記のみではない。上下方向への変位や、前後方向への変位もある。そこで、本発明では、対象物となる乗員の頭部１の存在位置の変位を検出する変位検出手段を備え、この変位検出手段の検出結果に基づいて、撮影方向及び撮影倍率の何れか一方又は双方を制御している。

図４は、このような画像入力装置を用いた車両の乗員監視装置のシステム構成を示す概略ブロック図である。図に示すように、画像入力部（画像入力装置）１０は、カメラ２（撮影手段）と、変位検出手段としての距離センサ３（距離検出手段）と、制御部４（制御手段）とを備えている。距離センサ３は、赤外線等を利用した光学式距離センサや、超音波を利用したソナー式距離センサなど、よく知られたものを適宜用いることができる。本実施形態では、説明を容易にするために、変位検出手段として、光学式の距離センサ３を用いる場合を例として説明する。距離センサ３を用いると、被写体としての乗員の頭部１の前後方向の変位を検出することができる。尚、検知対象域を広角にして配置したり変位検出手段を複数用いたりすれば、前後方向以外に、上下方向や左右方向の変位も検出できる。

カメラ２は、距離センサ３などの変位検出手段の検出結果に基づいて、制御部４で制御され、対象物としての乗員の頭部１を一定の大きさに保って撮影する。カメラ２には、図に示すように撮影画像制御手段５０として、ズーム機構５１や回転機構５２を備えている。ズーム機構５１は、カメラ２が有する光学系を変更することにより、焦点距離を変更し、被写体（乗員の頭部１）を撮影する倍率を変更するものである。

回転機構５２は、カメラ２が有する光学系（あるいはカメラ２全体）の方向をパン、チルト、スイングといった各方向に回転させるものである。ここで、パン、チルト、スイングは一般に用いられている用語と同様の意味で用いている。パン（pan）はカメラ２を水平に保ったまま垂直軸を中心に左右に回転するものである。チルト（tilt）はレンズの中心を軸として回転するものである。スイング（swing）は水平軸を中心に上下方向に回転するものである。

このように、変位検出手段によって検出された対象物の変位に応じて、制御部４がカメラ２の撮影方向（パン、チルト、スイング）及び撮影倍率（ズーム）の何れか一つ以上を変更する。つまり、回転機構５２及びズーム機構５１の何れか一つ以上を働かせて撮影画像Ｐ（画像情報）における乗員の頭部１が所定の大きさとなるようにする。

この制御について、距離センサ３による検出結果に基づいて、撮影倍率を変更する場合を例にして以下に説明する。図５は、乗員の頭部１と距離センサ３との関係を示す説明図である。距離センサ３は、図５に示す検出範囲Ｓにおいて、対象物との距離を精度良く検出できるように調整されている。対象物は、所定位置近傍に存在するので、このようにある程度の検出範囲を絞って検出精度を高く設定することも可能である。

図５に示すように、検出範囲Ｓの中で、乗員の頭部１が標準位置にある場合、その距離は標準距離Ｌ０として検出されている。乗員の頭部１が前後方向に変位した場合、例えば、前方位置対象物１Ｃとなった場合には、その距離は接近距離Ｌ１として検出される。後方位置対象物１Ｄとなった場合には、その距離は離間距離Ｌ２として検出される。

このように対象物との距離が検出されると、制御部４はこの距離に基づいて撮影倍率を制御する。つまり対象物が所定の大きさとなるように撮影倍率を定める。図６は、図５の各位置における撮影倍率の制御を説明する図である。撮影倍率は、乗員の頭部１が標準距離Ｌ０に存在する場合を基準として定められ、
撮影倍率＝検出距離／標準距離Ｌ０ ・・・〔式１〕
で示される。

図６上段に示すように、乗員の頭部１が標準の位置よりも前方に存在する場合は、
撮影倍率＝接近距離Ｌ１／標準距離Ｌ０ ・・・〔式２〕
で、定められ、
接近距離Ｌ１＜標準距離Ｌ０ ・・・〔式３〕
であるので、撮影倍率は１よりも小さくなる。即ち、乗員の頭部１が前方に出て、撮影画像Ｐ中に大きく写ることになるので、縮小ズームされる。逆に、乗員の頭部１が標準の位置よりも後方に存在する場合は、図６下段に示すように、撮影倍率は１よりも大きくなる。これは式２において、接近距離Ｌ１に代えて、離間距離Ｌ２が代入されることから明らかである。

このように、簡易な線形計算によって、安定した画像情報を得ることができる。上記計算例では、説明を容易にするために、カメラ２と距離センサ３とがほぼ同位置にあると仮定して説明している。カメラ２と距離センサ３とが同位置に設置されていない場合であっても、式１〜３よりは複雑ではあるものの、線形計算によって簡易に計算できる。

例えば、図７に示すように、カメラ２と距離センサ３とが所定の設置距離Ｌ３離れて配置されている場合について説明する。この場合、標準の位置にある対象物（乗員の頭部１）と、カメラ２との距離ｆ０は、標準距離Ｌ０と設置距離Ｌ３とを加算した値となる。また、前方位置対象物１Ｃとカメラ２との距離ｆ１は、接近距離Ｌ１と設置距離Ｌ３とを加算した値となる。
図６（ａ）と同様に乗員の頭部１が標準の位置よりも前方に存在する場合は、
撮影倍率＝（Ｌ１＋Ｌ３）／（Ｌ０＋Ｌ３） ・・・〔式４〕
で、定められ、式３より、撮影倍率は１よりも小さくなる。即ち、縮小ズームされることとなる。このように、この場合も簡易な線形計算によって、安定した画像情報を得ることができる。

さらに、カメラ２と距離センサ３とが対象物との前後方向だけでなく、横方向や上下方向にずれた位置に配置された場合も同様である。カメラ２と距離センサ３との配置関係は設計値又はこれらの設置時の実測値により既知である。従って、良く知られた三角測量等の線形計算によって、同様に算出すればよい。

このように安定して得られた画像情報（撮影画像Ｐ０、Ｐ１、Ｐ２）は、図４に示すように、画像入力部１０より画像処理部２０へ送られ、ここで認識処理が行われる。認識結果は、判断部３０で判断され、乗員の顔の向きや、表情などに応じて種々の判断（推定）がなされる。例えば、乗員の顔の向きにより脇見運転を推定したり、瞳や瞼の動きなどにより居眠りを推定したりすることも可能である。そして、この判断に応じて、乗員に報知・警告を発したり、車両の走行速度を制御したりするなど、種々の後処理を施すことも可能となる。

尚、図４に示した車両の乗員監視装置４０における各部は、機能としての分担を示すものであり、必ずしも物理的に独立したものを示すものではない。例えば、制御部４と画像処理部２０と判断部３０とは、一つのプロセッサや一つの半導体ＩＣや一群の電子回路など、共通したハードウェアであってもよい。そして、このハードウェア上で実行されるプログラムなどのソフトウェアによって各機能を分担するものであれば充分である。

カメラ２におけるズーム機構５１、回転機構５２についても同様である。ズーム機構５１は、光学的なズームに限らず、電子ズーム（デジタルズーム）を用いる方法によってもよい。回転機構５２についても、より広角画像を撮影して、その中より所定領域を切り出しているような場合には、その切り出し位置を変えてもよい。このようにデジタル信号処理による手法を用いる場合には、図８に示すように、カメラ２には撮影画像制御手段５０を備えなくてもよい。つまり、別途、撮影画像補正部５を設け、これを撮影画像制御手段としてもよい。また、この撮影画像補正部５を画像処理部２０の中に設けてもよい。さらに上記と同様に制御部４や判断部３０と同一のハードウェアを兼用してもよい。これら各部は、上述したように必ずしも物理的に独立したものである必要はなく、各機能を分担するものであれば充分である。

以上、説明したように本発明によって、認識対象となる対象物の画像情報を所定の条件の下に安定させて取得するための画像入力装置を提供することができる。また、この画像入力装置を利用して、所定位置として車両の座席に着座した乗員の顔を対象物として認識する車両の乗員監視装置を得ることができる。
さらに、本発明の画像入力装置は、現金自動支払機、自動預払機、年齢制限付き自動販売機（たばこ、酒等）等など、種々の自動化機器において、人物の顔を認識する場合の入力装置に利用できる。

本発明の実施形態に係る車両に着座する乗員と、この乗員を撮影するカメラとの位置関係を説明する斜視図 図１のカメラから乗員を撮影した画像の一例を示す図 図１のカメラから撮影枠のほぼいっぱいに対象物（乗員の顔）を撮影した画像の例を示す図 本発明の実施形態に係る画像入力装置及びこれを用いた車両の乗員監視装置のシステム構成例を示す概略ブロック図 本発明に係る対象物（乗員の頭部）と距離センサとの関係を示す説明図 図５の各位置における撮影倍率の制御を説明する図 カメラと距離センサとが離れて配置されている場合の撮影倍率の制御を説明する図 本発明の実施形態に係る画像入力装置及びこれを用いた車両の乗員監視装置の他のシステム構成例を示す概略ブロック図

符号の説明

１ 頭部（対象物）
２ カメラ（撮影手段）
３ 距離センサ（変位検出手段）
４ 制御部（制御手段）
１０ 画像入力装置
５０ 撮影画像制御手段

Claims (4)

1. 所定位置近傍に存在する対象物の画像情報を取得する画像入力装置を備えた車両の乗員監視装置であって、
   前記対象物を撮影する撮影手段と、
   前記対象物と前記撮影手段との距離を検出する光学式センサ又はソナー式距離センサと、
   この光学式センサ又はソナー式距離センサの検出結果に基づいて、前記画像情報における前記対象物の大きさが一定となるように撮影倍率を制御する制御手段と、を備える画像入力装置を備え、
   前記撮影手段と、前記光学式センサ又はソナー式距離センサとが所定の設置距離だけ離れて配置され、且つ、前記光学式センサ又はソナー式距離センサが前記撮影手段よりも前記対象物に近い位置に配置され、前記光学式センサ又はソナー式距離センサの検出範囲の中で前記対象物が標準位置にある際の前記光学式センサ又はソナー式距離センサと前記対象物との距離を標準距離とし、前記検出範囲の中で前記対象物が前記標準位置よりも前方にある際の前記光学式センサ又はソナー式距離センサと前記対象物との距離であって、前記光学式センサ又はソナー式距離センサの前記検出結果である距離を接近距離とした場合に、
   前記制御手段は、前記対象物が前記標準位置よりも前方に存在する際には、前記接近距離と前記設置距離との和を、前記標準距離と前記設置距離との和で除した値を、前記撮影倍率として定め、
   車両の座席に着座した乗員の顔を前記対象物として画像認識処理をする車両の乗員監視装置。
2. 前記制御手段は、前記乗員の顔全体が前記撮影手段の撮影枠におさまる最大寸法になるまで前記撮影倍率を変更する請求項１に記載の車両の乗員監視装置。
3. 前記制御手段は、前記撮影手段を垂直軸を中心に左右に回転させて撮影方向を変更する請求項２に記載の車両の乗員監視装置。
4. 前記制御手段は、前記撮影手段を水平軸を中心に上下に回転させて撮影方向を変更する請求項２又は３に記載の車両の乗員監視装置。

Images