WO2017056401A1 - 制御装置、制御方法及びプログラム - Google Patents

Abstract

制御装置は、入力部と制御部とを有する。上記入力部には、自車両に設けられたカメラの撮像画像が入力される。上記制御部は、上記入力された撮像画像から、上記自車両の前方に存在する他車両に設けられたミラーを検出し、当該検出されたミラーの鏡像画像から人物を検出し、当該検出された人物の画像から当該人物の状態を認識する。さらに制御部は、当該認識された人物の状態に応じて、上記自車両または上記他車両の事故を未然に防ぐための警告処理または上記自車両の制御処理を実行する。

Description

制御装置、制御方法及びプログラム

　本技術は、車両の事故を未然に防ぐための処理を実行可能な制御装置、当該制御装置における制御方法及びプログラムに関する。

　従来から、車両の事故を未然に防止するための処理を実行する技術が知られている。下記特許文献１には、他車両のサイドミラーを検出し、当該サイドミラーの鏡像から他車両の運転者の頭部が検出される場合に自車両が他車両の死角領域外に存在し、他車両の運転者の頭部が検出されない場合に自車両が他車両の死角領域に存在すると判断し、死角領域に存在する場合にそれを自車両の乗員に報知することが記載されている。

特開２００９－２１１３０９号公報

　しかしながら、上記特許文献１に記載の技術では、単にサイドミラーの鏡像から人物の頭部が検出されるか否かしか把握していないため、自車両が他車両の死角領域外に存在していても、他車両の運転者が実際に自車両を認識しているかどうかは分からない。したがって、特許文献１に記載の技術では、他車両の運転者が自車両を認識していなかった場合には、自車両と他車両との間で事故が発生する可能性がある。

　以上のような事情に鑑み、本技術の目的は、他車両の乗員の状態を認識してその状態に応じた処理を実行することで自車両または他車両の事故を未然に防ぐことが可能な制御装置、当該制御装置における制御方法及びプログラムを提供することにある。

　本技術の一形態に係る制御装置は、入力部と制御部とを有する。上記入力部には、自車両に設けられたカメラの撮像画像が入力される。上記制御部は、上記入力された撮像画像から、上記自車両の前方に存在する他車両に設けられたミラーを検出し、当該検出されたミラーの鏡像画像から人物を検出し、当該検出された人物の画像から当該人物の状態を認識する。さらに制御部は、当該認識された人物の状態に応じて、上記自車両または上記他車両の事故を未然に防ぐための警告処理または上記自車両の制御処理を実行する。

　これにより制御装置は、他車両の乗員の状態を認識してその状態に応じた処理を実行することで自車両または他車両の事故を未然に防ぐことができる。

　上記制御部は、上記鏡像画像のうち上記検出された人物の画像から当該人物の体の部位を認識し、上記鏡像画像のうち当該人物以外の画像から上記他車両の構成部品を認識し、当該認識された体の部位と構成部品との関係を基に、上記検出された人物の状態を認識してもよい。

　これにより制御装置は、鏡像画像から人物の体の部位と他車両の構成部品（例えばハンドル、座席、シートベルト等）を認識し、それら体の部位と構成部品との関係を基に、人物の状態を認識することができる。

　上記制御部は、上記入力された撮像画像のうち上記ミラー以外の画像から上記他車両の状態を認識し、上記認識された人物の状態と他車両の状態とを基に、上記人物の行動を推定してもよい。

　これにより制御装置は、他車両の状態（例えば方向指示器、速度、車体の向き等）を認識して、それを人物の状態と統合することで、人物が取るであろう行動を推定することができる。

　上記制御部は、上記認識された体の部位と構成部品との関係を基に、上記検出された人物が運転者であるか否かを判定してもよい。

　これにより制御装置は、鏡像画像から複数の人物が検出された場合に、それらの人物から運転者を特定し、当該運転者の状態を認識することができる。

　車両種別毎の運転席の位置に関する運転席情報を記憶する記憶部をさらに有してもよい。この場合上記制御部は、上記撮像画像から上記他車両の車両種別を認識し、当該認識された車両種別と上記記憶された運転席情報とを基に、上記他車両の運転者の位置を推定してもよい。

　これにより制御装置は、鏡像画像から複数の人物が検出された場合でも、他車両の車両種別と運転席情報とを基に他車両の運転車の位置を推定することができる。

　上記制御部は、上記撮像画像から、上記他車両が上記自車両とは異なる車線に存在することが検出された場合に、当該他車両に設けられたアウターリアビューミラーを検出し、上記他車両が上記自車両と同じ車線に存在することが検出された場合に、当該他車両に設けられたインナーリアビューミラーを検出してもよい。

　これにより制御装置は、前方の他車両が自車両と同じ車線か異なる車線のいずれに存在するかに応じて、他車両において注目するミラーを切り替えることで、他車両の人物の状態を適切に認識することができる。アウターリアビューミラーとは、フェンダーミラーやドアミラー（サイドミラー）等の車外に設置されたミラーであり、インナーリアビューミラーとは車内に設置されたミラーである。

　上記制御部は、夜間に検出された上記ミラーに赤外光を照射するように、上記自車両に設けられた赤外光発光部を制御してもよい。

　これにより制御装置は、夜間においてはミラーに赤外光を照射させることで、鏡像画像をロバストに取得し、夜間においても当該鏡像画像から人物の状態を認識することができる。制御部は、夜間か否か（昼夜）を撮像画像の明度から判断してもよいし、現在時刻から判断してもよい。

　上記制御部は、上記自車両に設けられた偏光カメラを介して入力された、上記他車両の窓ガラスによる反射成分が除去された上記撮像画像を基に上記人物の状態を認識してもよい。

　これにより制御装置は、窓ガラスの反射によるノイズが除去された撮像画像を基に、他車両の人物の状態を高精度に認識することができる。具体的には、上記偏光カメラは、他車両のアウターリアビューミラーの鏡像画像から他車両のフロントドアガラスの反射成分を除去することができ、他車両のインナーリアビューミラーから他車両のリアガラスの反射成分を除去することができる。

　上記制御部は、上記撮像画像から、上記他車両が停止状態にあることを検出し、かつ、上記鏡像画像内のドアの画像と上記人物の手の画像との関係から、上記人物が上記ドアに手をかけたことを検出した場合に、上記自車両の運転者に上記他車両から上記人物が降車することを警告し、または、上記他車両の運転者に上記自車両の接近を警告する警告処理を実行してもよい。

　これにより制御装置は、他車両が停車中に他車両から人物が降りるのを検知し、それに伴う危険を警告することができる。

　上記制御部は、上記検出された運転者の瞼が第１の時間以上閉じている状態が所定頻度以上生じ、かつ、上記運転者の頭部が所定角度以上うつむいている状態が第２の時間以上継続したことを検出した場合に、上記自車両の運転者に上記他車両の運転者が居眠りをしていることを警告し、または、上記他車両の運転者に警報する警告処理を実行してもよい。

　これにより制御装置は、他車両の運転者の瞼及び頭部の状態を基に当該運転者の居眠りを検知し、それに応じた警告処理を実行することができる。

　上記制御部は、上記検出された運転者の視線方向を推定し、当該推定された視線方向が上記ミラーの方向に合致しない場合に、上記他車両の運転者が上記自車両を認識していないことを警告する警告処理を実行してもよい。

　これにより制御装置は、ミラーから検出された運転者の視線方向を基に、当該運転者が自車両を認識していないと判断される場合に、自車両の運転者に注意を喚起することができる。他車両の運転者がミラーの方向を見ていることが鏡像画像から認識できる場合には、他車両の運転者はミラーの鏡像画像を介して自車両の方向を見ていると推定できる。

　上記制御部は、上記鏡像画像から、上記検出された運転者の手及び上記他車両の方向指示器点灯用レバーを認識し、上記方向指示器点灯用レバーに上記運転者の手がかかっていることを検出した場合に、上記自車両の運転者に上記他車両の運転者が進路変更することを警告する警告処理を実行してもよい。

　これにより制御装置は、鏡像画像から他車両の運転者が方向指示器点灯用レバーに手をかけたことを検出して、他車両の進路変更の可能性を自車両の運転者に報知することができる。

　上記制御部は、上記認識された他車両の運転者の状態を示す画像を生成し、当該生成された画像を、上記自車両のフロントガラス上であって、上記自車両の運転者が当該フロントガラス越しに視認できる上記他車両の運転席に対応する位置に重畳して表示するように、上記自車両の表示制御部を制御してもよい。

　これにより制御装置は、自車両の運転者からは直接視認できない他車両の運転者の状態を自車両のフロントガラス上にＡＲ（Augmented Reality）表示させることで、自車両の運転者に他車両の運転者の状態を直感的に把握させることができる。

　本技術の他の形態に係る制御方法は、
　自車両に設けられたカメラから入力された撮像画像から、上記自車両の前方に存在する他車両に設けられたミラーを検出すること、
　上記検出されたミラーの鏡像画像から人物を検出すること、
　上記検出された人物の画像から当該人物の状態を認識すること、及び、
　上記認識された人物の状態に応じて、上記自車両または上記他車両の事故を未然に防ぐための警告処理または上記自車両の制御処理を実行することを含む。

　本技術のまた別の形態に係るプログラムは、制御装置に、
　自車両に設けられたカメラから入力された撮像画像から、上記自車両の前方に存在する他車両に設けられたミラーを検出するステップと、
　上記検出されたミラーの鏡像画像から人物を検出するステップと、
　上記検出された人物の画像から当該人物の状態を認識するステップと、
　上記認識された人物の状態に応じて、上記自車両または上記他車両の事故を未然に防ぐための警告処理または上記自車両の制御処理を実行するステップと
　を実行させる。

　以上のように、本技術によれば、他車両の乗員の状態を認識してその状態に応じた処理を実行することで自車両または他車両の事故を未然に防ぐことができる。しかし、この効果は本開示を限定するものではない。

本技術の一実施形態に係る制御装置を含む自動車の構成を示したブロック図である。 上記制御装置の大まかな動作の流れを示したフローチャートである。 上記制御装置による、前方車の位置に応じた検出ミラーの切り替え処理を説明するための図である。 上記制御装置によるミラー内認識処理の詳細な流れを示したフローチャートである。 上記制御装置によって検出されるアウターリアビューミラーの鏡像画像の例を示した図である。 上記制御装置によって検出されるインナーリアビューミラーの鏡像画像の例を示した図である。 上記制御装置による姿勢推定処理に用いられる人体の関節点モデルの例を示した図である。 上記制御装置による姿勢推定処理に用いられる人体の３Ｄモデルの例を示した図である。 上記制御装置による頭部・眼球方向推定処理の様子を示した図である。 上記制御装置による前方車の運転者の行動に応じた警告表示の例を示した図である。 上記制御装置による前方車の運転者の行動に応じた警告表示の例を示した図である。 前方車の運転者が方向指示器点灯用レバーに手をかけた状態を示した図である。 本技術の他の実施形態に係る制御装置を含む自動車の構成を示したブロック図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

［自動車及び制御装置の構成］
　図１は、本技術の一実施形態に係る制御装置を含む自動車の構成を示したブロック図である。

　同図に示すように、自動車１は、制御装置１００、前方カメラ５１、前方偏光カメラ５２、ＩＲ投影機５３、警報装置５４、車体制御部５５及び表示器５６を有する。

　また、図示しないが、自動車１は、運転装置（座席、ハンドル、シートベルト等）、操舵装置（パワーステアリング等）、制動装置、車体加速装置、後写鏡、ヘッドランプ、テールランプ、方向指示器等、一般的な自動車に備えられている構成部品を有する。

　本実施形態では、制御装置１００は、上記前方カメラ５１及び前方偏光カメラ５２によって撮像された画像から、自動車１（自車両）の前方視野に存在する他車両（以下、前方車）に設けられたリアビューミラー（後写鏡）を認識し、当該ミラーの鏡像画像から検出された人物の状態を認識することが可能である。

　リアビューミラーとしては、車外のフロントドアに設けられるサイドミラー（ドアミラー）またはボンネット前方端に設けられるフェンダーミラー等のアウターリアビューミラーと、車内前方に設けられるインナーリアビューミラーが存在する。

　制御装置１００は、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等のコンピュータに必要なハードウェアを有し、制御回路または制御ユニットとして自動車１の内部に組み込まれる。ＣＰＵがＲＯＭに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る制御方法が実行される。

　制御装置１００の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ（Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また制御装置１００は、自動車１の制御部の一部として構成されてもよい。

　前方カメラ５１は、例えば自動車１のルーフ部やフロントバンパー部等に設置される。前方カメラ５１は、例えばＣＭＯＳやＣＣＤ等のイメージセンサで構成され、自動車１の前方視野のＲＧＢ－ＩＲの映像を所定のフレームレートで撮影する。

　また前方カメラ５１がステレオカメラとして構成される場合には、上記ＲＧＢ－ＩＲの映像に加えて、深度（距離）情報も取得する。前方カメラ５１によって取得された映像は、自動車１の前方車及びそのリアビューミラーの認識のために上記制御装置１００へ入力される。

　前方偏光カメラ５２も、例えば自動車１のルーフ部やフロントバンパー部等に設置される。前方偏光カメラ５２は、自動車１の前方に存在する他車両の映像から、当該他車両の窓ガラスによる反射成分を取り除き、透過成分のみ取り出すことで、当該他車両の映像のノイズを除去する。

　具体的には、前方偏光カメラ５２は、前方車のアウターリアビューミラーの撮像画像から、前方車のフロントドアガラス（ドアミラーの場合）の反射成分や、前方車のフロントガラス（フェンダーミラーの場合）の反射成分を取り除く。また前方偏光カメラ５２は、前方車のインナーリアビューミラーの撮像画像から、前方車のリアガラスの反射成分を取り除く。当該前方偏光カメラ５２によって反射成分が除去された撮像画像は、上記前方車及びそのリアビューミラーの認識のために上記制御装置１００へ入力される。

　上記前方カメラ５１による撮像画像と前方偏光カメラ５２による撮像画像は、制御装置１００による処理においていずれか一方が用いられてもよいし、両方が用いられてもよい。

　制御装置１００は、前方車認識部１０、ミラー内認識部２０、統合判断部３０の各制御ブロックを有する。また制御装置１００は、昼夜判断部４１、ＩＲ発光制御部４２、及び運転者位置データベース４３を有する。これら各制御ブロックは、それぞれ制御回路として構成されていてもよいし、ソフトウェアモジュールとして構成されていてもよい。

　前方車認識部１０は、上記前方カメラ５１または前方偏光カメラ５２によって撮像された画像から、自動車１（自車両）の前方車を認識する。前方車認識部１０は、前方車位置検出部１１、方向指示器検出部１２、前方車速度推定部１３、認識ミラー種判断部１４、及びミラー検出部１５を有する。

　前方車位置検出部１１は、上記前方カメラ５１または前方偏光カメラ５２から入力された撮像画像から、前方車が存在する位置を検出する。具体的には、前方車位置検出部１１は、前方車が撮像画像中のどの位置に存在するかを検出し、また、前方車が自動車１（自車両）と同一の車線に存在するか否かを判断する。

　方向指示器検出部１２は、上記前方車位置検出部１１によって検出された前方車の画像から、前方車の方向指示器を検出し、その点灯状態を検出する。

　前方車速度推定部１３は、上記前方車位置検出部１１によって検出された前方車の動き及び自動車１のスピードメーターが示す自動車１の速度等から、前方車の速度を推定する。

　これら方向指示器検出部１２及び前方車速度推定部１３によって検出された情報は、上記統合判断部３０へ出力され、前方車の運転者の行動の推定に用いられる。

　認識ミラー種判断部１４は、上記前方車位置検出部１１によって検出された前方車の位置（自動車１と同一車線上に存在するか否か）によって、前方車のリアビューミラーのうち検出すべきリアビューミラーの種別を判断する。

　ミラー検出部１５は、上記検出ミラー種判断部１４によって判断された種別のミラーを、上記前方車位置検出部１１によって検出された前方車の画像中から検出する。検出された前方車のミラーの画像は、上記ミラー内認識部２０へ出力される。

　ミラー内認識部２０は、上記前方車認識部１０によって検出された前方車のミラーの鏡像画像から、人物の状態を認識する。ミラー内認識部２０は、ミラー画像補正部２１、画像領域分割部２２、運転者位置推定部２３、上半身姿勢推定部２４、頭部・眼球方向推定部２５、手部詳細推定部２６、及びハンドル・ドア位置推定部２７を有する。

　ミラー画像補正部２１は、上記ミラー検出部１５によって検出された前方車のリアビューミラーの鏡像画像（以下、単にミラー画像と称する）を取得し、それ以降の認識処理のために、当該ミラー画像の歪み等を補正する。これは、リアビューミラーには凸面鏡が用いられることが多いためである。

　補正されたミラー画像は、画像領域分割部２２へ出力される。また当該補正後のミラー画像は、自動車１の運転者からは通常視認できない高解像度のミラー画像として表示器５６へ出力される場合もある。

　画像領域分割部２２は、上記補正されたミラー画像を、人体の画像領域とそれ以外（前方車内の構成部品）の画像領域とに分割する。

　運転者位置推定部２３は、上記画像領域分割部２２により分割された人体の画像の位置と、運転者位置データベース４３に記憶された車種毎の運転者の位置データとを基に、前方車の運転者の位置を推定する。

　ここで、運転者位置データベース４３は、運転者の位置（右ハンドル／左ハンドル）を示す情報を車種毎に記憶している。運転者位置推定部２３は、上記前方車認識部１０において撮像画像から画像解析（文字認識を含む）によって別途推定された車種に対応する運転者の位置を、運転者位置データベース４３から特定し、上記分割された画像において、上記特定された運転者の位置に存在する人物を運転者であると推定する。

　ただし、運転者位置推定部２３は、上記ミラー画像から人物が１体しか検出されなかった場合には、その人物を運転者と特定する。

　上半身姿勢推定部２４は、上記分割された人体の画像から、上記運転者の上半身の姿勢を推定する。上半身姿勢推定部２４は、当該人体の画像から、頭部領域と手部領域とを認識し、頭部領域についての処理を頭部・眼球方向推定部２５へ、手部領域についての処理を手部詳細推定部２６へそれぞれ指示する。

　頭部・眼球方向推定部２５は、人体の画像のうち頭部が向いている方向、顔の表情、及び眼球（視線）が向いている方向を推定（検出）する（図９参照）。これらの推定（検出）手法としては、公知の手法（例えば、頭部の方向については画像内における目、鼻、口等の頭部の部位の角度及び位置関係等、視線の方向については目の輪郭に対する黒目（動点）の位置関係等）が用いられる。

　手部詳細推定部２６は、人体の画像のうち手の動き、特にハンドルを握っている動きを推定（検出）する。

　制御装置１００は、上記上半身姿勢推定部２４（頭部・眼球方向推定部２５及び手部詳細推定部２６）による推定処理のために、人体の関節点位置を示す関節モデルデータ（図７参照）や人体の３Ｄモデルデータ（人体の各部位の形状やサイズ、各部位の位置関係等：図８参照）等のデータを記憶している。

　特に本実施形態では、制御装置１００は、人物が前方車内の座席に座っており、上記ミラー画像には人物の上半身が写っているという限定的な条件において人物の上半身の姿勢を推定するための各種データを記憶している。図７及び図８では、人が立って両手を水平に上げた状態の全身のモデルが例として示されているが、人体の３Ｄモデルデータ及び人体の関節モデルデータは、運転者が運転席に座っている状態、車に乗り込もうとしている（座ろうとしている）状態、車から降りようとしている状態等、様々な状態に応じて変形され、推定に用いられる。上半身姿勢推定部２４は、ミラー画像から検出した人体の各部位を上記関節モデルや人体の３Ｄモデルにフィッティングすることで、ミラー画像内の運転者の姿勢を推定（検出）しても良いし、フィッティングすることなく直接関節や骨格、体表等の位置や向きを推定しても良い。この際、上半身姿勢推定部２４は、前方カメラ５１とは別のセンサを用いても良いし、複数のセンサを使用しても良い。例えば、深度（距離）情報を取得できるカメラセンサを用いることで、人体の認識を高精度に行うことができる。

　これら上半身姿勢推定部２４、頭部・眼球方向推定部２５及び手部詳細推定部２６によって推定された情報は、上記統合判断部３０へ出力され、前方車の運転者の行動の推定に用いられる。

　また、上半身姿勢推定部２４は、ミラー画像から検出された人物についてそれぞれ体の姿勢推定処理を実行すると、上記運転者位置推定部２３に代わって、当該推定された姿勢に基づいて、または、当該姿勢と上記ハンドル・ドア位置推定部２７で検出された各種部品との関係を基に、運転者の位置を推定してもよい。具体的には、上半身姿勢推定部２４は、例えばハンドル操作やアクセル・ブレーキ操作をしていると推定される人物の位置を運転者の位置として推定してもよい。

　ハンドル・ドア位置推定部２７は、上記分割された人体以外の画像をパターンマッチング等により解析して、ハンドル、（フロント）ドア、方向指示器点灯用レバー、シートベルト等の運転席近傍の各種部品の位置を推定する。この各種部品の位置に関する情報も、上記統合判断部３０へ出力され、前方車の運転者の行動の推定に用いられる。

　統合判断部３０は、上記前方車認識部１０が認識した前方車の情報と、上記ミラー内認識部２０が認識した人物の状態に関する情報とを統合して、前方車の運転者の行動やそれに応じた危険度を判断する。統合判断部３０は、運転者行動推定部３１及び危険度判断部３２を有する。

　運転者行動推定部３１は、上記前方車認識部１０及びミラー内認識部２０によって認識され出力された情報を統合して、前方車の運転者の行動または状態を推定する。具体的には、運転者行動推定部３１は、学習や実験等に基づいて、前方車認識部１０及びミラー内認識部２０から入力されたデータから、運転者の様々な行動の発生確率を算出し、その中で発生確率が最も高い行動が、運転者の行動として推定される。運転者の行動の発生確率の算出方法は、学習や実験等によりミラー内認識部から入力されるデータと同等の学習用データと学習用の行動データとに基づいて、予め定めておいてもよい。推定された行動情報は危険度判断部３２へ出力される。また、当該行動情報は、例えば文字情報または画像情報として表示器５６に出力されてもよい。

　危険度判断部３２は、上記運転者行動推定部３１によって推定された行動情報を基に、自動車１（自車両）または前方車が直面しているまたは直面するであろう状況の危険度を判断する。具体的には、危険度判断部３２は、学習や実験等に基づいて、運転者行動推定部３１によって推定された運転者の行動を示すデータから、様々な危険事象の発生確率を算出し、その中で発生確率が最も高い危険事象の発生確率を危険度として判断する。危険事象の発生確率の算出方法は、学習や実験等により運転者の行動を示すデータと同等の学習用データと学習用の危険事象データとに基づいて、予め定めておいてもよい。危険度判断部３２は、危険度が高いと判断した場合には警報装置５４へ警報を指示し、または車体制御部５５へ自動車１の車体の自動制御を指示する。これら行動推定処理及び危険度判断処理の詳細については後述する。

　警報装置５４は、例えば自動車１（自車両）の運転者または前方車の運転者に危険を報知するための音声出力部である。警報装置５４から出力される警報は、自動車１の運転者に対しては所定の言葉によるメッセージやブザー等であり、前方車の運転者に対してはクラクション（ホーン）の警笛等である。警報がメッセージの場合、自動車１内のカーナビゲーション装置の音声案内用出力部が警報装置５４として機能してもよい。

　車体制御部５５は、例えば自動車１の操舵装置、制動装置、車体加速装置等と接続されており、上記判断された危険度に応じて、例えば減速や進路変更等、前方車との衝突等の危険を回避するための自動車１の自動車体制御処理を実行する。

　表示器５６は、例えば自動車１のカーナビゲーション装置のディスプレイや、自動車１のフロントガラスの少なくとも一部をヘッドアップディスプレイとして機能させるプロジェクション装置等である。表示器５６は、上述したように、運転車行動推定部３１によって推定された前方車の運転者の行動を示す情報（文字または画像）や、上記ミラー画像補正部２１によって補正されたミラー画像を、自動車１の運転者向けに表示する。当該表示器５６と制御装置１００との間に、当該表示器５０における画像表示を制御する表示制御部が設けられてもよい。

　上記警報装置５４と表示器５６は、自動車１の運転者へ危険を警告するために同時に作動してもよいし、いずれか一方のみが作動してもよい。

　昼夜判断部４１は、上記前方カメラ５１から入力された撮像画像の明度を基に、現在が昼間であるか夜間であるかを判断する。昼夜判断部４１は、当該撮像画像の明度に加えて、またはそれに代えて、現在時刻を用いて昼夜を判断してもよい。

　ＩＲ発光制御部４２は、上記昼夜判断部４１において現在が夜間であると判断された場合に、夜間でも前方車の画像及び上記ミラー画像をロバストに取得してミラー画像内の人体等を認識するために、上記検出された前方車に向けて赤外光を投射するようにＩＲ投影機５３を制御する。上記ミラー検出部１５によって前方車のリアビューミラーが検出された場合には、ＩＲ発光制御部４２は、当該検出されたリアビューミラーのみに集中して赤外光を投射するようにＩＲ投影機５３を制御してもよい。

［制御装置の動作］
　次に、以上のように構成された制御装置１００の動作について説明する。当該動作は、制御装置１００が有するハードウェアとソフトウェアとの協働により実行される。

（制御装置の動作概要）
　図２は、制御装置１００の動作の概要を示したフローチャートである。

　同図に示すように、まず、制御装置１００の前方車認識部１０は、前方カメラ５１または前方偏光カメラ５２から、前方の撮像画像を取得する（ステップ６１）。

　続いて前方車認識部１０は、上記撮像画像から、前方車の情報を認識する（ステップ６２）。

　具体的には、前方車認識部１０は、前方車位置検出部１１によって撮像画像から前方車の位置を認識し、方向指示器検出部１２によって前方車の方向指示器の状態を認識し、前方車速度推定部１３によって前方車の速度を認識する。そして前方車認識部１０は、これら認識された情報を上記統合判断部３０へ出力する。

　続いて前方車認識部１０は、認識ミラー種判断部１４によって前方車のリアビューミラーのうち検出すべきリアビューミラーの種別を判断する（ステップ６３）。

　図３は、当該認識すべきミラー種別の判断処理を説明するための図である。

　同図Ａに示すように、認識ミラー種判断部１４は、撮像画像から、前方車Ｆが自車両１とは異なる車線（自車両１の斜め前方）に存在することが検出された場合には、前方車のリアビューミラーのうち、アウターリアビューミラー（ドアミラーまたはフェンダーミラー）を認識対象と判断する。

　一方、同図Ｂに示すように、認識ミラー種判断部１４は、撮像画像から、前方車Ｆが自車両１と同一の車線（自車両１の直線上）に存在することが検出された場合には、前方車のリアビューミラーのうち、インナーリアビューミラーを認識対象と判断する。

　続いて前方車認識部１０は、ミラー検出部１５により、前方車の画像から上記認識対象と判断されたリアビューミラーを検出する（ステップ６４）。

　続いて前方車認識部１０は、ミラー検出部１５が上記リアビューミラーの検出に成功したか否かを判断する（ステップ６５）。検出に成功した場合（Ｙｅｓ）、前方車認識部１０は、撮像画像のうち検出されたミラー画像の領域を抽出してミラー内認識部２０へ出力する。

　続いて、ミラー内認識部２０は、上記ミラー画像からミラー内の人体情報を認識する（ステップ６６）。以下、このミラー内の人体情報の認識処理の詳細について説明する。

（ミラー内認識処理の詳細）
　図４は、上記ミラー内認識処理の詳細な流れを示したフローチャートである。

　同図に示すように、まず、ミラー内認識部２０は、上記ミラー画像補正部２１により、それ以降の認識処理のために、当該ミラー画像の歪み等を補正する（ステップ７１）。

　続いてミラー内認識部２０は、上記画像領域分割部２２により、上記補正されたミラー画像を、人体の画像領域とそれ以外（前方車内の構成部品）の画像領域とに分割する（ステップ７２）。

　続いてミラー内認識部２０は、運転者位置推定部２３により、上記分割された人体の画像の位置と、運転者位置データベース４３に記憶された車種毎の運転者の位置データとを基に、前方車の運転者の位置を推定する（ステップ７３）。

　続いてミラー内認識部２０は、上半身姿勢推定部２４（頭部・眼球方向推定部２５及び手部詳細推定部２６）により、上記分割された人体の画像から、上記運転者の上半身の姿勢を推定する（ステップ７４）。

　上述したように、上半身姿勢推定部２４は、人体の画像から検出された人体の各部位を、人体の関節モデルや３Ｄモデル（図７及び図８参照）にフィッティングすることで運転者の姿勢をトラッキングする。

　また、頭部・眼球方向推定部２５は、図９に示すように、運転者の画像のうち、目、鼻、口の位置関係、それらの形状、並びに目の輪郭に対する黒目の位置関係等により、運転者の頭部が向いている方向、顔の表情、視線の方向を推定する。

　また、手部詳細推定部２６は、運転者の画像のうち、頭部、上半身、腕及び手の関節の状態並びにそれらの３Ｄ形状を基に、運転者がハンドルを握っている動きや、それ以外の車内構成部品（例えば方向指示器点灯用レバー、シートベルト、フロントドア等）に手をかけている状態等を検出する。

　続いてミラー内認識部２０は、ハンドル・ドア位置推定部２７により、ミラー画像のうち人体以外の画像から、ハンドル、フロントドア、方向指示器点灯用レバー、シートベルト等の運転席近傍の各種車内構成部品の位置を推定する（ステップ７５）。

　そしてミラー内認識部２０は、上記の処理により推定した人体及び車内構成部品に関する各情報を統合判断部３０へ出力する（ステップ７６）。

　図５は、上記ミラー検出部１５によって検出された前方車のアウターリアビューミラー（ドアミラー）のミラー画像の例を示した図である。

　図５は自動車１から見て斜め右前方に存在する前方車のドアミラーのミラー画像を示しており、そのうち図５Ａは前方車の運転席（ハンドル）が車内左側にある場合のミラー画像、図５Ｂは前方車の運転席が車内右側にある場合のミラー画像を示している。

　図５に示すように、認識対象が前方車Ｆのドアミラー７０の場合、ミラー画像Ｉからは、運転席が当該認識対象のドアミラー７０側にあってもその反対側にあっても、運転者の上半身（頭部及び腕を含む）並びに運転席の画像が認識可能である。特に、運転者の頭部はそのほとんどの領域が視認可能であるため、ミラー内認識部２０は、上記頭部・眼球方向推定部２５による頭部や視線の向きに関する情報を取得可能である。

　また同図Ｂに示すように、運転席が認識対象のドアミラー側にある場合には運転者の手及びハンドルまで視認可能である。したがってこの場合ミラー内認識部２０は、上記手部詳細推定部２５により運転者の手及びハンドルを認識することで、運転者の運転状態に関する情報を認識可能である。

　一方、同図Ａに示すように、運転席が認識対象のドアミラーとは反対側にある場合には、運転者の手及びハンドルが視認できない場合もある。この場合、上半身姿勢推定部２４は、例えば運転者の頭部及び上半身と腕との間の角度、肘の関節の角度等から、運転者がハンドルを握っているか否かに関する情報を推定することができる。

　また図６は、ミラー検出部１５によって検出された前方車のインナーリアビューミラーのミラー画像の例を示した図である。

　同図に示すように、認識対象が前方車Ｆのインナーリアビューミラー８０の場合、ミラー画像Ｉからは運転者の頭部及び運転席（ヘッドレスト）しか視認できない場合が多い。したがってこの場合ミラー内認識部２０は、上記ドアミラーが認識対象である場合とは異なり、上半身姿勢推定部２４及び手部詳細推定部２６の各処理は行わず、頭部・眼球方向推定部２５による推定処理のみを実行する。

　図２に戻り、ミラー内認識部２０がミラー画像内の人体情報の認識処理に成功した場合（ステップ６７）、統合判断部３０は、前方車認識部１０から出力された前方車情報や、ミラー内認識部２０から出力された人物（運転者）の顔・目・手等の情報を統合し、運転者行動を推定し、当該行動に応じた危険度を推定する（ステップ６８）。具体的には、統合判断部３０は、上記前方車情報や運転者の顔・目・手等の情報と、学習（実験）により予め定められた手法を用いて、運転者の様々な行動の発生確率を算出し、その中で発生確率が最も高い行動を運転者の行動として推定し、当該推定された行動について、学習（実験）により予めで定められた手法を用いて、様々な危険事象の発生確率を算出し、その中で発生確率が最も高い危険事象の発生確率を上記危険度として推定する。上記学習（実験）で定められた手法データは、運転者の各行動が成立する条件（運転者がある行動を行っている場合、その前提として運転者がとる行動や運転者の状態、及び前提となる自動車１内の構成部品の状態等）が規定されたものであってもよい。

　そして、統合判断部３０は、上記推定した情報に基づいて、警報装置５４及び表示器５６の少なくとも一方を用いた警告処理、または、車体制御部５５による自動車１の自動車体制御処理を実行させる（ステップ６９）。

　以下、統合判断部３０による運転者行動の推定処理及び危険度判断処理、並びに、それに応じた警告処理または車体制御処理の詳細について、具体例を挙げて説明する。

（具体例１）
　統合判断部３０は、前方車が停車中に、ドアを開けて降りようとしている運転者を検知することができる。この場合の認識対象のミラーは、アウターリアビューミラーである。

　この行動を検知する場合、統合判断部３０は、少なくとも、上記前方車認識部１０から出力される前方車の推定速度が０（停止状態）であること、及び、上記ミラー内認識部２０から出力される情報から、前方車の運転者がフロントドアに手をかけたことが推定されることを判定条件として推定する。

　運転車がフロントドアに手をかけたことは、例えば、アウターリアビューミラーのミラー画像から上記ハンドル・ドア位置推定部２７がフロントドアの位置を認識し、手部詳細推定部２６が運転者の手の方向がフロントドアの方向を向いていることを認識することで判定される。

　さらに、統合判断部３０は、例えば、方向指示器が両方点滅していること（ハザードランプ点滅状態）、運転者がフロントドアガラスから外を見たこと、運転者がシートベルトを外したことのうち少なくとも１つを追加の判定条件としてもよい。

　運転者がフロントドアガラスから外を見たことは、例えば、ミラー画像からフロントドアガラスの位置を認識し、運転者の視線方向がフロントドアガラスの方向を向いていることを認識することで判断される。

　また、運転者がシートベルトを外したことは、例えば、運転者の上半身（胸部）に斜め所定角度かつ所定幅の帯状物（シートベルト）が存在するか否か、または、当該シートベルトに運転者が手をかけ、さらに外した動作を認識することで判断される。

　この降車行動を検知した場合の警告処理として、統合判断部３０は、例えば、自動車１の運転者に向けて、警報装置５４から「車から人が降りてきます」といった音声メッセージを出力したり、表示器５６に同様のメッセージを示す文字情報を表示したりすることで前方車の運転者の降車を警報してもよい。

　また、統合判断部３０は、当該警報に加え、またはそれに代えて、前方車に、「車が迫ってきます」といった音声メッセージやクラクション（ホーン）音を出力することで後方車（自動車１）の接近を警報してもよい。

　さらに統合判断部３０は、危険事象として、前方車のフロントドアが開いた場合に自動車１が前方車または運転者に衝突する可能性がある位置を自動車１が走行しているか否かを判断する。衝突の可能性がある（危険事象である）と判断した場合には、統合判断部３０は、前方車または運転者を避けるように、車体制御部５５により、左または右方向へ自動車１の操舵装置の舵角を自動制御してもよい。一方、降車行動を検知しても衝突の可能性が無い（危険事象ではない）と判断した場合には、統合判断部３０は、例えばその旨を表示部５６に表示するにとどめてもよい。

（具体例２）
　統合判断部３０は、前方車の運転者の居眠り運転を検知することができる。

　この居眠り運転を検知する場合、統合判断部３０は、以下のうち少なくとも１つの行動を判定条件として推定する。
１）運転者の瞼が所定時間以上閉じている状態が所定頻度以上生じたこと。
２）運転者が所定角度以上うつむいている状態が所定時間以上継続したこと。
３）運転者が眠い表情をしていること。
４）ハンドルから運転者の手がずり落ちたこと。
５）運転者がハンドルを操作継続していないこと。
６）アクセルが弱まってきていること。
７）車体がふらついていること。

　この場合の認識対象のミラーは、典型的にはアウターリアビューミラーであるが、上記のうち１）～３）の条件についてはインナーリアビューミラーを認識対象とした場合でも判定可能である。

　上記１）～７）のうち、１）及び２）が判定条件とされてもよい。上記１）～６）の条件は上記ミラー内認識部２０による推定結果から判断され、上記７）の条件は上記前方車認識部１０による推定結果から判断される。

　具体的には、上記１）の条件は、上記頭部・眼球方向推定部２５により、黒目が検出されない状態の継続時間及び回数がカウントされることで判定される。上記２）の条件は、上半身姿勢推定部２４による、運転者の上半身姿勢（首の関節の曲がり具合）と頭部方向の推定結果により判定される。また上記３）の条件の判定には上記頭部・眼球方向推定部２５による運転者の表情認識技術が用いられる。上記４）及び５）の条件は、上記手部詳細推定部２６による運転者の手の動きのトラッキング結果によって判定される。また上記６）の条件は、運転者の足の姿勢推定では判断が難しい場合には、前方車の車体の減速パターンから判定される。上記７）の条件は、上記前方車位置検出部１１により検出される前方車の位置の変化情報によって判定される。

　統合判断部３０は、上記頭部・眼球方向や上半身姿勢の行動推定により、例えば上記１）及び２）の条件を検知した場合、危険事象として、運転者が居眠り運転をしている可能性が高いと判断する。この居眠り運転を検知した場合の警告処理として、統合判断部３０は、例えば、自動車１の運転者に向けて、警報装置５４から前方車の運転者が居眠りしていることを伝える音声メッセージを出力したり、表示器５６に同様のメッセージを示す文字情報を表示したりすることで警報してもよい。

　また統合判断部３０は、前方車の運転者へ向けて、警報装置５４から、ブザーやクラクション（ホーン）音を出力することで警報してもよい。

（具体例３）
　統合判断部３０は、前方車が自動車１（自車両）を認識しているか否かを推定することができる。この場合の認識対象のミラーは、アウターリアビューミラーであってもよいしインナーリアビューミラーであってもよい。

　この行動を検知する場合、統合判断部３０は、上記頭部・眼球方向推定部２５の推定結果を基に、前方車の運転者の視線の方向を推定し、当該推定された方向が、上記ミラーの方向に合致する場合には他車両の運転者が自動車１を認識しており、合致しない場合には他車両の運転者が自動車１を認識していないと判断する。

　これは、前方車の運転者がミラーの方向を見ていることがミラー画像から認識できる場合には、前方車の運転者はミラーの鏡像画像を介して自動車１の方向を見ていると推定できるからである。

　この際、統合判断部３０は、前方車の運転者が自動車１の方向を見た回数が多いほど、またその時間が長いほど、さらには見たのが最近であればあるほど、自動車１の認識度が高くなるように判別関数を設定してもよい。

　そして、統合判断部３０は、前方車の運転者が自動車１の方向を見ている時間または頻度が所定の閾値以下であると推定された場合、危険事象と判断する。この場合の警告処理として、統合判断部３０は、上記判別関数により判別された認識度が所定の閾値以下である場合には、上記警報装置５４から、自動車１の運転者に向けて、「前方車は自車を認識しておりません」といった音声メッセージを出力することで警報する。

　また統合判断部３０は、表示器５６に、同様のメッセージを示す文字情報を表示することで警報してもよい。この場合、表示器５６は、カーナビゲーション装置のディスプレイであってもよい。また、図１０に示すように、統合判断部３０は、自動車１のフロントガラス１１０を表示器として用いて、当該フロントガラス上に、上記メッセージを、自動車１の運転者がフロントガラス１１０越しに視認している前方車Ｆの位置にＡＲとして重畳表示することで、自動車１を認識していない前方車の位置を示してもよい。

（具体例４）
　統合判断部３０は、前方車の運転者が飲酒運転をしていることを推定することができる。この場合の認識対象ミラーは、アウターリアビューミラーでもインナーリアビューミラーでもよい。

　統合判断部３０は、前方車の運転者が飲酒運転しているか否かを、飲酒運転判定器の判定結果がＹｅｓであるかＮｏであるかによって判定してもよい。この飲酒運転判定器は、例えば、上記頭部・眼球方向推定部２５が、前方車の運転者の顔の動作や表情、顔色等を機械学習することによって作成され、当該学習データと、運転者の顔の動作や表情、顔色といった行動推定の結果に基づいて、危険事象として、運転者が飲酒運転しているか否かが判定される。また、当該飲酒運転判定器は、上記前方車認識部１０によって検出される前方車のふらつき度合等も考慮してもよい。

　上記飲酒運転判定器によって前方車の運転者が飲酒運転していると判定された場合、統合判断部３０は、その旨を警報装置５４により音声メッセージとして出力することで自動車１の運転者へ警告してもよい。また統合判断部３０は、その旨のメッセージを示す文字情報をカーナビゲーション装置のディスプレイに表示してもよいし、上記図１０で示した例と同様に、フロントガラス１１０上に、上記メッセージを示す文字情報を、ＡＲとして前方車の位置に重畳表示してもよい。

（具体例５）
　統合判断部３０は、前方車の運転者がわき見運転をしていることを検知することができる。この場合の認識対象ミラーは、アウターリアビューミラーでもインナーリアビューミラーでもよい。

　このわき見運転の判定条件として、統合判断部３０は、上記頭部・眼球方向推定部２５の行動推定によって前方車の運転者が前方（フロントガラスの略垂直方向）以外の方向を見ているか否かを推定し、危険事象として、当該前方以外の方向を所定時間以上見ている回数及びその頻度が閾値を超えたか否かを判定する。

　この際、統合判断部３０は、運転者の視線方向がインナーリアビューミラー、アウターリアビューミラー及びカーナビゲーション装置のディスプレイを向いている場合には、その行為は原則として上記閾値判定から除外するが、その時間または回数が所定の閾値を超えた場合にはわき見としてみなして上記除外を解除する。

　また統合判断部３０は、この判定と併せて、上記前方車認識部１０による検出結果を基に、前方車の車体がふらついているか、他の車両に接近しているか、車線からはみ出しそうか等の事象も考慮する。

　上記危険事象としてわき見運転を検知した場合、統合判断部３０は、警報装置５４により、自動車１の運転者に向けて、その旨の音声メッセージを出力することで警報してもよい。また統合判断部３０は、その旨のメッセージを示す文字情報をカーナビゲーション装置のディスプレイに表示してもよいし、上記図１０で示した例と同様に、フロントガラス１１０上に、上記メッセージを示す文字情報を、ＡＲとして前方車の位置に重畳表示してもよい。

　さらに、統合判断部３０は、図１１に示すように、上記頭部・眼球方向推定部２５による推定結果を基に判断される、前方車の運転者の挙動を示す画像１１５を生成し、それを自動車１のフロントガラス１１０上の前方車Ｆの運転席の位置にＡＲとして重畳表示させてもよい。この際、わき見をしている前方車の運転者の視線方向に存在する物体（例えば携帯電話、本等）が検出できた場合には、統合判断部１３０は、その画像も生成して上記画像１１５と併せて重畳表示させてもよい。

　このように、前方車の運転者の状態・行動を示す画像が生成されて、フロントガラス１１０上の前方車の運転席の位置に重畳表示されるのは、わき見運転の場合に限られない。

　すなわち、ミラー内認識部２０は、前方車の運転者の姿勢を推定する際に人体の３Ｄモデルを用いていることから、本来は自動車１の運転者からは見えないはずの前方車の運転者の後ろからの映像も作り出すことができる。

　そして、統合判断部３０は、自動車１の運転者から前方車の運転者がどのように見えるかを認識することができるため、上記図１１のように前方車Ｆの運転者の画像１１５を前方車Ｆの運転席の位置に重畳表示することができる。

　例えば、自動車１の運転者に、「前方車の運転者がわき見をしています」というメッセージを音声または文字情報で出力することも可能であるが、その場合には前方車の運転者がどのくらいわき見をしているのかは分かりづらく、実際の映像として見えた方が分かりやすい。

　また、前方車の運転者が飲酒運転をしていると判定された場合でも、自動車１の運転者にとっては、「前方車の運転者の酔っている度合いが７０％です」と音声又は文字で警報されるよりも、前方車の運転者が酔っている動作を直接映像として見た方が分かりやすいこともある。また、前方車の運転者が酔っているかどうかだけではなく、注意力が散漫になっているか・気性が荒くなっているか等の細かい副次的な要素についても、上記ミラー内認識部２０により前方車の運転者の体の動きを認識しそれをＡＲ表示として自動車１の運転者に見せることで、運転者が直感的に把握できることが多いと考えられる。

（具体例６）
　統合判断部３０は、前方車が進路変更しようとしているかを予測することができる。この場合の認識対象ミラーはアウターリアビューミラーである。

　この進路変更直前の状態を検知する場合、統合判断部３０は、以下のうち少なくとも１つの行動を判定条件として推定する。
１）前方車の運転者の視線がアウターリアビューミラーを向いていること。
２）前方車の運転者が目視で隣の車線を見たこと。
３）前方車の運転者が車線の後ろの方を振り返って見たこと。
４）前方車が減速してきたこと。
５）前方車の運転者がハンドルを切り始めたこと。
６）前方車の運転者が方向指示器点灯用レバーに手をかけたこと。
７）前方車が方向指示器を点灯したこと。

　統合判断部３０は、上記１）～７）の条件のうち、６）を判定条件としてもよい。
図１１は、運転者が方向指示器点灯用レバー１２０に手Ｈをかけた状態を示した図である。この６）の動作は、方向指示器を点灯させる予備動作であり、人によっては方向指示器を点灯させるよりもかなり前から手をかけている場合もあるため、統合判断部３０は、この動作を検出することで進路変更を高確率に検出できる。

　統合判断部３０は、上記判定条件により、危険事象として、前方車が進路変更の直前状態にあると判断し、かつ前方車が方向指示器を点灯していなかった場合は、「前方車は進路変更しそうです」との音声メッセージを警報装置５４から出力させたり、そのメッセージを示す文字情報をフロントガラス１１０上やカーナビゲーション装置のディスプレイに表示させたりすることで警報する。

［効果］
　以上説明したように、本実施形態によれば、制御装置１００は、他車両の乗員の状態を認識してその状態に応じた処理を実行することで自車両または他車両の事故を未然に防ぐことができる。具体的には、制御装置１００によって以下のことが実現される。

・自車両の運転者は、前方車の運転者が自車両を見落としていることを把握でき、事故防止につながる。
・自車両の運転者は、停止している前方車の車内から人がドアを開けて出て来ることが未然に把握でき、事故防止につながる。
・自車両の運転者は、前方車の車内から人が窓を開けて顔や手を出そうとしていることを把握でき、注意して走行することができる。
・自車両の運転者は、前方車の運転者がわき見／飲酒／居眠り運転をしているかどうかを把握でき、その前方車に気を付けながら運転することで、事故防止につながる。
・前方車の運転者が居眠り運転をしていることが検知された場合に、それを前方車の運転者にクラクション等で知らせることで、事故防止につながる。
・自車両の運転者は、前方車の方向指示器等で表しきれない前方車の運転者の詳細動作を把握でき、事故防止につながる（車線変更か右左折かＵターンかは方向指示器だけでは判断つかないが、例えば前方車の運転者が後ろまでしっかり振り返って見ていることが検知できればＵターンである可能性が高いと判断される）。
・自車両の運転者は、前方車が方向指示器の点灯を忘れていても、次の運転動作を予測できる。

［変形例］
　本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。

　上述の実施形態では、制御装置１００は、インナーリアビューミラーとアウターリアビューミラーのいずれを認識対象とするかを、前方車の位置によって切り替えていた。しかし、認識対象はアウターリアビューミラーのみとされてもよいし、インナーリアビューミラーのみとされてもよい。図１３は、認識対象がインナーリアビューミラーのみである場合の制御装置１００を含む自動車１の構成を示したブロック図である。同図に示すように、上記図１のブロック図と比較して、図１３の制御装置１００は、上半身姿勢推定部２４及び手部詳細２６を有していない。これは、インナーリアビューミラーのミラー画像からは前方車の運転者の上半身の姿勢及び手の詳細を認識することは困難であるからである。

　上述の実施形態では、制御装置１００は、前方車の運転者の位置を推定して当該運転者の状態及び行動を認識したが、制御装置１００は、運転者以外の前方車の乗員の状態及び行動を認識してそれに応じた警告処理または車体の自動制御処理を実行してもよい。

　上述の実施形態では、制御装置１００が、前方車の運転者の状態及び行動に応じて、自動車１または前方車の運転者に危険を警告する例を示したが、制御装置１００は、自動車１及び前方車（ミラーの認識対象の前方車）以外の他車両に警告してもよい。

　上述の実施形態では、自動車（四輪車）のアウターリアビューミラーまたはインナーリアビューミラーについて本技術が適用された場合が示されたが、二輪車のリアビューミラーについて本技術が適用されても構わない。その場合、自車両は二輪車であってもよいし四輪車であってもよい。自車両が二輪車である場合、表示器は、自車両の運転者のヘルメットと一体的に構成された透過型のヘッドマウントディスプレイ等のウェアラブルディスプレイであってもよい。

［その他］
　なお、本技術は以下のような構成もとることができる。
（１）
　自車両に設けられたカメラの撮像画像が入力される入力部と、
　前記入力された撮像画像から、前記自車両の前方に存在する他車両に設けられたミラーを検出し、当該検出されたミラーの鏡像画像から人物を検出し、当該検出された人物の画像から当該人物の状態を認識し、当該認識された人物の状態に応じて、前記自車両または前記他車両の事故を未然に防ぐための警告処理または前記自車両の制御処理を実行する制御部と、
　を具備する制御装置。
（２）
　上記（１）に記載の制御装置であって、
　前記制御部は、前記鏡像画像のうち前記検出された人物の画像から当該人物の体の部位を認識し、前記鏡像画像のうち当該人物以外の画像から前記他車両の構成部品を認識し、当該認識された体の部位と構成部品との関係を基に、前記検出された人物の状態を認識する
　制御装置。
（３）
　上記（１）または（２）に記載の制御装置であって、
　前記制御部は、前記入力された撮像画像のうち前記ミラー以外の画像から前記他車両の状態を認識し、前記認識された人物の状態と他車両の状態とを基に、前記人物の行動を推定する
　制御装置。
（４）
　上記（２）に記載の制御装置であって、
　前記制御部は、前記認識された体の部位と構成部品との関係を基に、前記検出された人物が運転者であるか否かを判定する
　制御装置。
（５）
　上記（１）～（４）のいずれかに記載の制御装置であって、
　車両種別毎の運転席の位置に関する運転席情報を記憶する記憶部をさらに具備し、
　前記制御部は、前記撮像画像から前記他車両の車両種別を認識し、当該認識された車両種別と前記記憶された運転席情報とを基に、前記他車両の運転者の位置を推定する
　制御装置。
（６）
　上記（１）～（５）のいずれかに記載の制御装置であって、
　前記制御部は、前記撮像画像から、前記他車両が前記自車両とは異なる車線に存在することが検出された場合に、当該他車両に設けられたアウターリアビューミラーを検出し、前記他車両が前記自車両と同じ車線に存在することが検出された場合に、当該他車両に設けられたインナーリアビューミラーを検出する
　制御装置。
（７）
　上記（１）～（６）のいずれかに記載の制御装置であって、
　前記制御部は、夜間に検出された前記ミラーに赤外光を照射するように、前記自車両に設けられた赤外光発光部を制御する
　制御装置。
（８）
　上記（１）～（７）のいずれかに記載の制御装置であって、
　前記制御部は、前記自車両に設けられた偏光カメラを介して入力された、前記他車両の窓ガラスによる反射成分が除去された前記撮像画像を基に前記人物の状態を認識する
　制御装置。
（９）
　上記１に記載の制御装置であって、
　前記制御部は、前記撮像画像から、前記他車両が停止状態にあることを検出し、かつ、前記鏡像画像内のドアの画像と前記人物の手の画像との関係から、前記人物が前記ドアに手をかけたことを検出した場合に、前記自車両の運転者に前記他車両から前記人物が降車することを警告し、または、前記他車両の運転者に前記自車両の接近を警告する警告処理を実行する
　制御装置。
（１０）
　上記（４）に記載の制御装置であって、
　前記制御部は、前記検出された運転者の瞼が第１の時間以上閉じている状態が所定頻度以上生じ、かつ、前記運転者の頭部が所定角度以上うつむいている状態が第２の時間以上継続したことを検出した場合に、前記自車両の運転者に前記他車両の運転者が居眠りをしていることを警告し、または、前記他車両の運転者に警報する警告処理を実行する
　制御装置。
（１１）
　上記（４）に記載の制御装置であって、
　前記制御部は、前記検出された運転者の視線方向を推定し、当該推定された視線方向が前記ミラーの方向に合致しない場合に、前記他車両の運転者が前記自車両を認識していないことを警告する警告処理を実行する
　制御装置。
（１２）
　上記（４）に記載の制御装置であって、
　前記制御部は、前記鏡像画像から、前記検出された運転者の手及び前記他車両の方向指示器点灯用レバーを認識し、前記方向指示器点灯用レバーに前記運転者の手がかかっていることを検出した場合に、前記自車両の運転者に前記他車両の運転者が進路変更することを警告する警告処理を実行する
　制御装置。
（１３）
　上記（４）に記載の制御装置であって、
　前記制御部は、前記認識された他車両の運転者の状態を示す画像を生成し、当該生成された画像を、前記自車両のフロントガラス上であって、前記自車両の運転者が当該フロントガラス越しに視認できる前記他車両の運転席に対応する位置に重畳して表示するように、前記自車両の表示制御部を制御する
　制御装置。

　１…自動車（自車両）
　１０…前方車認識部
　２０…ミラー内認識部
　３０…統合判断部
　４１…昼夜判断部
　４２…ＩＲ発光制御部
　４３…運転者位置データベース
　５１…前方カメラ
　５２…前方偏光カメラ
　５３…ＩＲ投影機
　５４…警報装置
　５５…車体制御部
　５６…表示器
　７０…ドアミラー
　８０…インナーリアビューミラー
　１００…制御装置
　１１０…フロントガラス
　１１５…運転者画像
　１２０…方向指示器点灯用レバー
　Ｆ…前方車
　Ｉ…ミラー画像

Claims (15)

1. 　自車両に設けられたカメラの撮像画像が入力される入力部と、
   　前記入力された撮像画像から、前記自車両の前方に存在する他車両に設けられたミラーを検出し、当該検出されたミラーの鏡像画像から人物を検出し、当該検出された人物の画像から当該人物の状態を認識し、当該認識された人物の状態に応じて、前記自車両または前記他車両の事故を未然に防ぐための警告処理または前記自車両の制御処理を実行する制御部と、
   　を具備する制御装置。
2. 　請求項１に記載の制御装置であって、
   　前記制御部は、前記鏡像画像のうち前記検出された人物の画像から当該人物の体の部位を認識し、前記鏡像画像のうち当該人物以外の画像から前記他車両の構成部品を認識し、当該認識された体の部位と構成部品との関係を基に、前記検出された人物の状態を認識する
   　制御装置。
3. 　請求項１に記載の制御装置であって、
   　前記制御部は、前記入力された撮像画像のうち前記ミラー以外の画像から前記他車両の状態を認識し、前記認識された人物の状態と他車両の状態とを基に、前記人物の行動を推定する
   　制御装置。
4. 　請求項２に記載の制御装置であって、
   　前記制御部は、前記認識された体の部位と構成部品との関係を基に、前記検出された人物が運転者であるか否かを判定する
   　制御装置。
5. 　請求項１に記載の制御装置であって、
   　車両種別毎の運転席の位置に関する運転席情報を記憶する記憶部をさらに具備し、
   　前記制御部は、前記撮像画像から前記他車両の車両種別を認識し、当該認識された車両種別と前記記憶された運転席情報とを基に、前記他車両の運転者の位置を推定する
   　制御装置。
6. 　請求項１に記載の制御装置であって、
   　前記制御部は、前記撮像画像から、前記他車両が前記自車両とは異なる車線に存在することが検出された場合に、当該他車両に設けられたアウターリアビューミラーを検出し、前記他車両が前記自車両と同じ車線に存在することが検出された場合に、当該他車両に設けられたインナーリアビューミラーを検出する
   　制御装置。
7. 　請求項１に記載の制御装置であって、
   　前記制御部は、夜間に検出された前記ミラーに赤外光を照射するように、前記自車両に設けられた赤外光発光部を制御する
   　制御装置。
8. 　請求項１に記載の制御装置であって、
   　前記制御部は、前記自車両に設けられた偏光カメラを介して入力された、前記他車両の窓ガラスによる反射成分が除去された前記撮像画像を基に前記人物の状態を認識する
   　制御装置。
9. 　請求項１に記載の制御装置であって、
   　前記制御部は、前記撮像画像から、前記他車両が停止状態にあることを検出し、かつ、前記鏡像画像内のドアの画像と前記人物の手の画像との関係から、前記人物が前記ドアに手をかけたことを検出した場合に、前記自車両の運転者に前記他車両から前記人物が降車することを警告し、または、前記他車両の運転者に前記自車両の接近を警告する警告処理を実行する
   　制御装置。
10. 　請求項４に記載の制御装置であって、
    　前記制御部は、前記検出された運転者の瞼が第１の時間以上閉じている状態が所定頻度以上生じ、かつ、前記運転者の頭部が所定角度以上うつむいている状態が第２の時間以上継続したことを検出した場合に、前記自車両の運転者に前記他車両の運転者が居眠りをしていることを警告し、または、前記他車両の運転者に警報する警告処理を実行する
    　制御装置。
11. 　請求項４に記載の制御装置であって、
    　前記制御部は、前記検出された運転者の視線方向を推定し、当該推定された視線方向が前記ミラーの方向に合致しない場合に、前記他車両の運転者が前記自車両を認識していないことを警告する警告処理を実行する
    　制御装置。
12. 　請求項４に記載の制御装置であって、
    　前記制御部は、前記鏡像画像から、前記検出された運転者の手及び前記他車両の方向指示器点灯用レバーを認識し、前記方向指示器点灯用レバーに前記運転者の手がかかっていることを検出した場合に、前記自車両の運転者に前記他車両の運転者が進路変更することを警告する警告処理を実行する
    　制御装置。
13. 　請求項４に記載の制御装置であって、
    　前記制御部は、前記認識された他車両の運転者の状態を示す画像を生成し、当該生成された画像を、前記自車両のフロントガラス上であって、前記自車両の運転者が当該フロントガラス越しに視認できる前記他車両の運転席に対応する位置に重畳して表示するように、前記自車両の表示制御部を制御する
    　制御装置。
14. 　自車両に設けられたカメラから入力された撮像画像から、前記自車両の前方に存在する他車両に設けられたミラーを検出し、
    　前記検出されたミラーの鏡像画像から人物を検出し、
    　前記検出された人物の画像から当該人物の状態を認識し、
    　前記認識された人物の状態に応じて、前記自車両または前記他車両の事故を未然に防ぐための警告処理または前記自車両の制御処理を実行する
    　制御方法。
15. 　制御装置に、
    　自車両に設けられたカメラから入力された撮像画像から、前記自車両の前方に存在する他車両に設けられたミラーを検出するステップと、
    　前記検出されたミラーの鏡像画像から人物を検出するステップと、
    　前記検出された人物の画像から当該人物の状態を認識するステップと、
    　前記認識された人物の状態に応じて、前記自車両または前記他車両の事故を未然に防ぐための警告処理または前記自車両の制御処理を実行するステップと
    　を実行させるプログラム。

Images