JP6793193B2 - 物体検出表示装置、移動体及び物体検出表示方法 - Google Patents

Description

関連出願の相互参照

本出願は、２０１６年６月２９日に出願された日本国特許出願２０１６−１２８７２７号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。

本開示は、物体検出表示装置、移動体及び物体検出表示方法に関する。

近年、車両を含む移動体の走行安全性の向上のため、カメラによる画像認識およびレーダなどの種々の装置が移動体に搭載されつつある。これらのシステムは、例えば前方にある障害物を識別して、運転者への警告、自動制御等に使用される。

物体から放射される遠赤外線を用いて撮像を行う遠赤外線カメラは、太陽光が届かない夜間でも撮像可能なので、夜間の運転支援のために使用することができる。例えば、歩行者から放射される遠赤外線による画像の形状をパターン化し、パターンマッチングにより遠赤外線により撮像した画像内から歩行者を抽出するシステムが提案されている（例えば、特許文献１参照）。

特開２００７−５８８０５号公報

本発明の一実施形態に係る物体検出表示装置は、移動体に搭載される。物体検出表示装置は、遠赤外線カメラと、表示装置と、プロセッサとを含む。プロセッサは、遠赤外線カメラにより出力される画像である第１画像のみから、移動体のヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出する。プロセッサは、第１画像のみから表示対象物体の種別を複数種別から判定する。プロセッサは、第１画像上での表示対象物体の像の位置及び種別に基づいて、前記表示装置に表示対象物体に対応する画像要素を表示させる。

本発明の一実施形態に係る移動体は、物体検出表示装置を含む。物体検出表示装置は、遠赤外線カメラと、表示装置と、プロセッサとを有する。プロセッサは、遠赤外線カメラにより出力される第１画像のみから、ヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出する。プロセッサは、第１画像から表示対象物体の種別を複数種別から判定する。プロセッサは、第１画像上での表示対象物体の像の位置に基づいて、表示装置に表示対象物体に対応する画像要素を表示させる。

本発明の一実施形態に係る物体検出表示方法は、遠赤外線により撮像された第１画像を取得することを含む。物体検出表示方法は、第１画像のみから、移動体のヘッドライトからの光が到達する距離である第１距離以上離れた表示対象物体の像を検出することを含む。物体検出表示方法は、表示対象物体の種別を複数種別から判定することを含む。物体検出表示方法は、第１画像上での表示対象物体の像の位置及び種別に基づいて、表示対象物体に対応する画像要素を表示させることを含む。

図１は、第１実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図２は、車両に搭載した物体検出表示装置の構成要素の配置と画像表示の例を示す図である。 図３は、車両のヘッドライトの光到達距離（第１距離）および遠赤外線による物体の検出可能な距離を示す図である。 図４は、第１実施形態における装置本体の制御部の処理手順の一例を示すフローチャートである。 図５は、運転者の視点で、夜間にフロントウィンドシールドを通して見る前方の光景の一例を示す図である。 図６は、遠赤外線カメラにより取得可能な前方の光景の一例を示す図である。 図７は、物体像の大きさによる距離判別方法を説明する図である。 図８は、表示画像上に表示されるアイコンを例示する図である。 図９は、フロントウィンドシールドを通して見える前方の光景に重畳して表示されるアイコンの虚像を示す図である。 図１０は、ハイビームモードおよびロービームモードにおけるアイコンの表示領域を示す図である。 図１１は、前方の道路がカーブしているときのアイコンの表示領域を示す図である。 図１２は、第２実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図１３は、第３実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図１４は、第４実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図１５は、第４実施形態における装置本体の制御部の処理手順の一例を示すフローチャートである。 図１６は、遠赤外線画像（第１画像）の一例を示す図である。 図１７は、可視光画像（第２画像）の一例を示す図である。 図１８は、フロントウィンドシールドへのアイコンの投影を説明する図である。 図１９は、第５実施形態に係る物体検出表示装置の概略構成を示すブロック図である。 図２０は、第５実施形態に係る物体検出表示装置において、可視光カメラの画像が装置本体を経由する例を示すブロック図である。

遠赤外線カメラを備えた移動体において、夜間であってもヘッドライトの光が十分到達可能な領域に物体があるとき、表示装置が遠赤外線カメラによる画像を表示しなくとも、運転者は道路上の物体を肉眼で認識することが可能である。その場合は、表示装置によって特別に加工された画像よりも、肉眼で直接視認した実物の方が、運転者にとって自然に感じられる。したがって、遠赤外線画像の必要性は高くは無い。ヘッドライト等の照明が十分到達しない領域に物体があるとき、遠赤外線カメラで撮影した画像は、肉眼では見えない物体あるいは見えにくい物体を可視化するので非常に有用である。本開示に係る物体検出表示装置は、ヘッドライトの光が十分に到達しない領域に位置する物体について、選択的に遠赤外線カメラによる表示を行うものである。

以下、本開示の実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。

（第１実施形態）
図１に示すように、本開示の物体検出表示装置１は車両に搭載され、遠赤外線カメラ１０、装置本体２０、表示装置３０を含んで構成される。車両は、移動体に含まれる。本開示の「車両」は、道路上を走行する車両を含み、特に、乗用車、トラック、バス、二輪車、及びトロリーバス等を含む。また、「車両」は、道路上を走行するブルドーザー、クレーン車、ショベルカー等の工事用車両及びトラクターなどの農業用車両等も含む。図１のヘッドライト制御装置４０は、車両のヘッドライトを制御する制御装置である。

図２に例示するように、遠赤外線カメラ１０は、車両２の前方に光軸を向けて車両２の前方に固定することができる。遠赤外線カメラ１０は、ヘッドライト５とほぼ同じ高さであって、車両２のフロントバンパーの中央に付近に固定することができる。遠赤外線カメラ１０の設置位置はこれに限られず、車両２のボンネット等に固定されてよい。装置本体２０は、車両２のダッシュボード内に埋め込まれ、遠赤外線カメラ１０と通信ケーブル等を介して電気的に接続されてよい。装置本体２０は、ダッシュボード内に限らず、車室内または他の場所に配置してもよい。表示装置３０は、ヘッドアップディスプレイとすることができる。表示装置３０は、ダッシュボード内に内蔵され、車両２のフロントウィンドシールド５０に向けて画像を投影してよい。画像は、運転者３の視野内に視認可能に投影される。表示装置３０は、装置本体２０と通信ケーブル等を介して電気的に接続されている。以下に、各構成要素の詳細を説明する。

図１において、遠赤外線カメラ１０は、遠赤外線による画像を撮像するカメラである。遠赤外線は、温度に応じて物体から放出される波長約４μｍから１ｍｍの電磁波である。遠赤外線カメラ１０は、例えば８μｍから１４μｍ程度の波長帯域の光を検出するカメラが使用できる。遠赤外線カメラ１０の波長帯域はこれに限られず、この帯域以外の他の帯域、または、この帯域を含む他の帯域の光を撮像してよい。遠赤外線カメラ１０を構成するレンズなどの光学部材としては、例えば、ゲルマニウム、シリコン、硫化亜鉛等が使用される。光学部材の材料としては、使用する遠赤外線の波長に応じて、他の材料を使用してよい。遠赤外線カメラ１０の撮像素子としては、マイクロボロメータ型の検出器を使用することができる。遠赤外線カメラ１０の撮像素子としては、熱電素子及び焦電素子などの他の熱型赤外センサ、又は、量子型赤外線撮像素子等を用いることができる。

遠赤外線カメラ１０は、所定のフレームレートで遠赤外線画像を撮像する。本願では、物体から放出される遠赤外線を遠赤外線カメラ１０により結像させて得た画像を、遠赤外線画像とよぶ。遠赤外線画像を第１画像とも呼ぶ。遠赤外線カメラ１０のフレームレートは３０ｆｐｓ（frame per second）または、６０ｆｐｓとすることができるが、１０ｆｐｓ程度としてもよい。フレームレートは、設計に応じて適宜定めることができる。また、遠赤外線カメラ１０は、車両２の速度に応じてフレームレートを変化させてもよい。

装置本体２０は、遠赤外線カメラ１０からの入力を受けて、物体を検出し表示装置３０で表示する表示画像を生成する。装置本体２０は、入力部２１、制御部２２、メモリ２３、出力部２４及び位置センサ２５を含む。

入力部２１は、遠赤外線カメラ１０から装置本体２０へ第１画像を入力する入力インタフェースである。入力部２１は、車両２のヘッドライト制御装置４０からヘッドライト５の状態を示すヘッドライト信号を受信する入力インタフェースでもある。

入力部２１は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタには、IEC60603に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

入力部２１は、遠赤外線カメラ１０が撮像した第１画像、及び、ヘッドライト制御装置４０から入力されたヘッドライト信号を制御部２２に引き渡すことができる。

制御部２２は、一つまたは複数のプロセッサを含む。制御部２２もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する一つまたは複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部２２は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

制御部２２は、遠赤外線カメラ１０の起動及び終了を制御してよい。例えば、制御部２２は、ヘッドライト制御装置４０から、ヘッドライト５の点灯を示すヘッドライト信号を受信したとき、遠赤外線カメラ１０の出力を用いた物体検出表示処理を起動してよい。

制御部２２は、物体検出部２６、物体の種別を判別する第１判別部２７、距離を判別する第２判別部２８及び表示処理部２９の各機能ブロックを有する。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。それぞれの機能ブロックが行える動作を、制御部２２は実行できる。各機能ブロックが行う動作は、制御部２２が行う動作として言い換えることができる。制御部２２が各機能ブロックのいずれかを使役して行う処理は、制御部２２が自ら実行してよい。

物体検出部２６は、遠赤外線カメラ１０で撮像された第１画像から、物体の像を検出する。物体の像を物体像ともよぶ。物体像の検出は、エッジ検出法及び領域分割法等、種々の方法を用いることができる。例えば、物体検出部２６は、前方に物体が存在しない場合の遠赤外線画像を記憶する。物体検出部２６は、物体の像を含む第１画像が入力されると、物体が存在しない場合の遠赤外線画像と差分をとる。さらに、物体検出部２６は差分として得られた画像を二値化し、二値化した画像から画素数の少ないかたまりをノイズとして除去し、残った画素の集まりを物体像と認識することができる。物体検出部２６は、遠赤外線カメラ１０で撮像された第１画像に対して、歪み補正、明度調整、コントラスト調整等の任意の処理を行った後、物体検出を行うようにしてよい。

第１判別部２７は、物体検出部２６で検出された物体像から物体の種別を判定する。物体検出部２６は、例えば、自動車、歩行者、自転車等の物体像の画像のパターンを有しており、パターンマッチング処理によって、物体の種別を判定することができる。第１判別部２７は、画像のパターンを、メモリ２３に格納しているものから必要に応じて取得してよい。例えば、二本の足を有する上下方向に長いパターンは、歩行者と判断されうる。なお、第１判別部２７は、物体検出部２６と一体であってもよい。すなわち、物体検出部２６での物体の検出を、予め定めた物体像の画像のパターンに一致するか否かに基づいて行うことができる。その場合は、物体検出部２６で物体を検出するとともに、物体の種別まで決定される。

第２判別部２８は、検出した物体までの距離を判別する。本実施形態では、第２判別部２８は、第１判別部２７で判別した物体の種別と、第１画像中の当該物体の像の大きさに基づいて距離を判別する。例えば、物体が乗用車の場合、例えば、日本の乗用車の車幅は１７０ｃｍから１８０ｃｍ程度が多いことから、検出された車両２の第１画像上での車幅の大きさから、距離を推定することができる。類似して、検出した物体が歩行者の場合、第１画像上での上下方向の長さに基づいて距離を推定することができる。

表示処理部２９は、物体検出部２６で検出された物体について、第２判別部２８で判別した距離に従って、表示装置３０に表示するか否かを決定する。表示処理部２９は、第２判別部２８で判別した物体までの距離が、ヘッドライト５の光の到達距離よりも短い場合、表示装置３０に物体の存在を示す表示をしない。本願において、ヘッドライト５の光の到達距離を光到達距離とよぶ。光到達距離を第１距離ともよぶ。また、車両２から物体までの距離を第２距離とよぶ。表示処理部２９は、第２判別部２８で判別した第２距離が、第１距離以上離れている場合は、物体を表示対象物体と判別し、物体に対応する画像要素を表示装置３０に表示させる。画像要素とは、物体を簡略化して示す図形、マーク、または、シンボルなどを意味する。表示処理部２９は、第１画像から表示対象物体の像を抽出し、これを画像要素として表示装置３０に表示させることもできる。表示対象物体とは、その物体に対応する画像要素を表示装置３０により表示する対象となる物体である。

表示処理部２９は、表示装置３０に物体に対応する画像要素を表示するとき、第１判別部２７で決定した物体の種別に基づいて、画像要素を選択する。画像要素はアイコンとしてよい。表示処理部２９は、物体検出部２６で検出した表示対象物体の像の位置に対応する位置に、アイコンの画像が表示されるように、表示装置３０に出力する画像を生成してよい。アイコンの画像のデータは、メモリ２３に記憶しておくことができる。表示処理部２９は、メモリ２３よりアイコン画像のデータを適宜読み出すことができる。

メモリ２３は、物体検出表示装置１の実行する処理に必要となる画像データ等のデータを保存する記憶装置である。メモリ２３には、遠赤外線カメラ１０が撮像した画像が一時的に格納され得る。メモリ２３には、第１判別部２７が物体の種別を判別するために用いるパターンが格納され得る。メモリ２３には、表示処理部２９が表示対象物体を表示装置３０に表示させる画像信号を生成する際に用いるアイコン画像が格納され得る。メモリ２３は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）等の揮発性メモリ、及び、およびフラッシュメモリ等の不揮発性メモリなどを用いることができる。

出力部２４は、装置本体２０から表示装置３０へ画像信号を出力する出力インタフェースである。出力部２４は、物理コネクタ、及び無線通信機が採用できる。図１に示す本実施形態において、出力部２４は入力部２１と分かれているが、これに限られない。入力部２１および出力部２４は１つの通信部であってよい。通信部は、物理コネクタ、及び無線通信機が採用できる。

位置センサ２５は、車両２の運転者３の頭部の位置を検出するためのセンサである。運転者３は、物体検出表示装置１の使用者である。位置センサ２５としては、車両２の車室内部に設置したカメラを用いることができる。位置センサ２５により測定される頭部の位置情報は、表示装置３０において表示されるアイコンの位置を、運転者３の視野内の表示対象物体のあるべき位置に自動的に位置合わせするために使用できる。位置センサ２５は、必須の構成ではなく、位置センサ２５を用いなくとも予め運転者３の運転時の頭の位置に応じて、表示装置３０の画像の投影位置を調整することが可能である。

表示装置３０は、ヘッドアップディスプレイを使用することができる。ヘッドアップディスプレイとしての表示装置３０は、制御部３１、表示素子３２および光学系３３を含んで構成される。

制御部３１は、表示装置３０全体を制御する。例えば、制御部３１は、装置本体２０から出力される画像信号を受けて、表示素子３２に表示される画像、または、表示素子３２の光源の発光強度等を制御する。制御部３１は、アプリケーションソフトウェアを実行可能なプロセッサまたはマイクロコンピュータ等により構成されうる。制御部３１は、表示素子３２を動作させるためのプログラム等が格納される記憶デバイスを備えてよい。記憶デバイスは、例えば半導体メモリ等で構成されうる。記憶デバイスは、制御部３１のワークメモリとして機能してよい。光学系３３を構成するミラー等の光学素子の向きが調整可能な場合、制御部３１は光学系３３の調整可能な光学素子を制御することにより光学系３３を制御する。制御部３１は、装置本体２０の位置センサ２５にて取得される運転者３の頭部の位置情報に基づいて、光学系３３を制御して、画像の投影位置を調整することができる。

表示素子３２は、光学系３３により投影する画像を表示する。表示素子３２は、例えば、ＬＣＤ（Liquid Crystal Display）等の透過型液晶デバイス、ＬＣＯＳ（Liquid Crystal On Silicon）等の反射型液晶デバイスまたは有機ＥＬディスプレイ（ＯＬＥＤ：Organic Electro-Luminescence Display）等の自発光型の表示素子を備えてよい。また、表示素子３２は、デジタルミラーデバイス（ＤＭＤ：Digital Mirror Device）またはＭＥＭＳ（Micro Electro Mechanical System）ミラー等のミラーデバイスを備えてよい。以下では、ＬＣＤ等を表示素子３２に使用した場合について説明する。

表示素子３２は、装置本体２０の出力部２４から、表示処理部２９で生成された画像信号を受信する。画像信号には、表示されるべきアイコンとその表示位置の情報が含まれる。表示素子３２は、ダッシュボードの内部に設置しうる。表示素子３２の設置位置は、ダッシュボードの内部に限られず、例えば、ダッシュボードの上または車両２のバックミラーの近くに配置することもできる。

光学系３３は、ダッシュボード内に配置した凹面鏡及びフロントウィンドシールド５０を含み得る。フロントウィンドシールド５０の運転者３側に向いた面は、可視光領域の光を部分的に反射してよい。光学系３３は、表示素子３２に表示された画像を凹面鏡及びフロントウィンドシールド５０で反射し、運転者３の視野内に表示素子３２に表示される画像の虚像を視認可能に投影する。表示素子３２からの光を反射するため、フロントウィンドシールド５０の表面には、加工またはコーティングが施されていてよい。光学系３３は、表示素子３２に表示される画像の虚像を、フロントウィンドシールド５０を通して見える前方の光景に重畳して、運転者３の視野内に投影する。以下、適宜前方の光景を前景ともいう。光学系３３は、凹面鏡およびフロントウィンドシールド５０の組合せに限られず、レンズまたは他の光学素子を含んでよい。虚像を投影するためにフロントウィンドシールド５０に代えて、コンバイナを使用することもできる。コンバイナとは、フロントウィンドシールドとは独立したヘッドアップディスプレイの画像を反射させるためのハーフミラーである。

ヘッドライト制御装置４０は、ヘッドライト５を制御する車両２に内蔵される制御装置である。ヘッドライト制御装置４０は、装置本体２０の入力部２１に対して、ヘッドライト５の点灯または消灯状態を示す信号、および、ヘッドライト５の点灯時におけるモードの選択情報を示す信号をヘッドライト信号として送信する。モードの選択情報はヘッドライト５がハイビームモード及びロービームモードを含むモードの何れのモードかを示す。ヘッドライト信号は、ヘッドライト５のスイッチが操作されたときなど、ヘッドライト５の状態に変更が加わったときに送信されてよい。ヘッドライト信号は、所定の間隔で常時送信されてもよい。

ここで、図３を参照して、車両２のヘッドライト５の光到達距離（第１距離）および遠赤外線カメラ１０による物体の検出可能な距離について説明する。ヘッドライトは、前照灯とも称する。ヘッドライトのハイビームモードは、「走行用前照灯」とも呼ばれる。日本の道路運送車両の保安基準によれば、ハイビームモードは、夜間に前方１００ｍの距離にある障害物を確認できる性能を有するものである。また、ロービームモードは、「すれ違い用前照灯」とも呼ばれる。ロービームモードは、上記保安基準によれば、他の交通を妨げず夜間に前方４０ｍの距離にある障害物を確認できる性能を有するものである。

一般的な車両では、ロービームモードにおいては、光到達距離は約６０ｍである。以下において、ロービームモードでの光到達距離をロービーム到達距離ｌ₁とよぶ。また、ハイビームモードでの光到達距離は、約１２０ｍである。以下において、ハイビームモードでの光到達距離をハイビーム到達距離ｌ₂とよぶ。ロービーム到達距離ｌ₁およびハイビーム到達距離ｌ₂は、それぞれ、ロービームモードおよびハイビームモードでの第１距離である。夜間において、車両のヘッドライトがロービームモードのとき、車両から物体までの距離（第２距離）が６０ｍ以内であれば、ヘッドライトの光によって物体を視認することができる。しかし、第２距離が６０ｍを超えると、物体を視認することは困難である。また、夜間において、車両のヘッドライトがハイビームモードのとき、第２距離が１２０ｍ以内であれば、ヘッドライトの光によって物体を視認することができる。しかし、第２距離が１２０ｍを超えると、物体を視認することは困難である。

本願における第１距離は、上述のようにヘッドライト５のモードの選択情報に応じて、予め定まる距離とすることができる。別法として、第１距離は、車両２から実際に観察されるヘッドライト５の光が到達している上限の距離としてよい。ヘッドライト５の光は、車両２からの距離にともない徐々に低下する。よって、第１距離は、車両２から観察される物体からのヘッドライト５の反射光の強度に閾値を設け、反射光の強度が閾値より小さくなる距離として定めてもよい。閾値は、夜間において運転者３が物体を視認し難くなる程度の光の強度に設定しうる。

遠赤外線カメラ１０により物体を検知可能な距離ｌ₃は、約２００ｍである。したがって、遠赤外線カメラ１０は、ヘッドライト５がロービームモードのとき、車両２から６０ｍ−２００ｍの距離に位置する物体を検出するのに有効である。また、遠赤外線カメラ１０は、ヘッドライト５がハイビームモードのとき、１２０ｍ−２００の距離に位置する物体を検出するのに有効である。

以下に、物体検出表示装置１を用いて、運転者３の視野内へ、表示対象物体に対応する画像要素を表示する物体検出表示方法の例について、図４のフローチャートを用いて説明する。

装置本体２０の制御部２２は、ヘッドライト制御装置４０からヘッドライト５が点灯状態であることを示すヘッドライト信号を受信すると、遠赤外線カメラ１０、装置本体２０の各部、及び、表示装置３０が起動される（ステップＳ１０１）。

制御部２２は、ヘッドライト制御装置４０から、ヘッドライト５がハイビームモード及びロービームモードの何れであるかを示す選択情報を含むヘッドライト信号を受信する（ステップＳ１０２）。制御部２２は、受信した選択情報が示すヘッドライト５のモードに応じて、以下の処理を行う。

制御部２２は、遠赤外線カメラ１０から、第１画像を取得する（ステップＳ１０３）。制御部２２は、取得した第１画像に基づいて、物体検出部２６、第１判別部２７、第２判別部２８、表示処理部２９の各部で順次以下の処理を行う。

物体検出部２６は、第１画像から物体像を、画像上の位置情報と共に検出する（ステップＳ１０４）。

太陽光の届かない夜間において、ヘッドライト５以外の光が無いか、または、ヘッドライト５以外の光が乏しい場合、運転者３の視界には、図５に示すように、フロントウィンドシールド５０を通した前景が視認される。図５において、車内のミラー５１と表示装置３０の投影部３４も併せて表示している。投影部３４は、ダッシュボード内の表示素子３２からの光がダッシュボードの上側に射出される窓部であり、光学系３３の光路の一部に設けられる。運転者３の視認する前景において、路面５２が車両２の前方の光到達距離である第１距離まで見ることができる。第１距離は、ヘッドライト５がロービームモードのとき約６０ｍ、ヘッドライト５がハイビームモードのとき約１２０ｍである。第１距離以上離れた場所は、光が届かないため暗くなっている。この領域を照明非到達領域５３とよぶ。

遠赤外線カメラ１０は、図６に一例を示すように、暗い環境下で人の眼では視認できない物体を撮像することができる。遠赤外線カメラ１０の撮像する画像は、撮像される物体の温度に応じて輝度が異なる。例えば、昼の間に路面温度が上昇し、夜になっても周辺の温度よりも路面温度が高ければ、路面５２が明るく表示される。また、遠赤外線カメラ１０は、約２００ｍ前方の物体まで検出することが可能なので、ヘッドライト５の光のみでは視認できなかった物体像Ｏ₁，Ｏ₂を検出することが可能になる。図６において、物体像Ｏ₁は自動車の像である。図６において、物体像Ｏ₂は歩行者の像である。物体検出部２６は、遠赤外線カメラ１０から出力された第１画像から、物体像Ｏ₁，Ｏ₂を検出することができる。

第１判別部２７は、物体検出部２６で検出した物体像Ｏ₁，Ｏ₂の種別を判別する（ステップＳ１０５）。例えば、図６の第１画像において、第１判別部２７は、物体像Ｏ₁を自動車、物体像Ｏ₂を歩行者と判別する。

第２判別部２８は、物体検出部２６で検出し、第１判別部２７で種別を判別した物体像Ｏ₁，Ｏ₂に対応する実空間の物体までの距離（第２距離）を判別する（ステップＳ１０６）。図７は、第１画像の例を模式的に示している。第２判別部２８は、自動車と認識された物体像Ｏ₁の幅ｗ₁を画素単位で測る。第２判別部２８は、物体像Ｏ₁の幅ｗ₁と典型的な自動車の車幅とから、物体像Ｏ₁に対応する第２距離を判別する。なお、距離の判別に用いるのは、自動車の幅に限られず、人の高さを用いることもできる。物体が自転車の場合は、自転車の全長またはタイヤの直径等を用いることもできる。第２判別部２８は、物体像Ｏ₁，Ｏ₂の位置する部分の道路の像の幅から距離を推定してもよい。

表示処理部２９は、第２判別部２８で判別した第２距離に従って、表示装置３０に物体像Ｏ₁，Ｏ₂に対応する画像要素を表示するか否かを決定する（ステップＳ１０７）。ヘッドライト５のモードがロービームモードのとき、表示処理部２９は、ヘッドライト５の第１距離を、ロービームモードでヘッドライト５の光が到達する距離であるロービーム到達距離ｌ₁に設定する。ロービーム到達距離ｌ₁は例えば６０ｍである。また、ヘッドライト５のモードがハイビームモードのときは、表示処理部２９は、ヘッドライト５の第１距離をハイビームモードでヘッドライト５の光が到達する距離であるハイビーム到達距離ｌ₂に設定する。ハイビーム到達距離ｌ₂は、例えば１２０ｍである。表示処理部２９は、このヘッドライト５の第１距離以上物体像Ｏ₁，Ｏ₂に対応する物体が離れていると判断される場合、その物体を表示対象物体とする。

ステップＳ１０７において、物体が表示対象物体であると判断されたとき、表示処理部２９は、第１判別部２７で判別した物体の種別に基づいて、画像要素であるアイコンを選択する。図８は、アイコンの例を示している。アイコンは、自動車のアイコン６１、人のアイコン６２、動物のアイコン６３、自転車のアイコン６４等を含んでよい。また、アイコンはこれらのアイコン６１−６４に限られず、種々のアイコンを用いることができる。

表示処理部２９は、物体像Ｏ₁，Ｏ₂の第１画像上の位置情報から、運転者３の視野内における表示対象物体の表示すべき位置を特定する。表示処理部２９は、この位置にアイコンを表示するための、表示素子３２上の表示位置情報を算出する。運転者３の視野内における表示対象物体の表示すべき位置とは、明るい環境下であれば当該表示対象物体が見える位置である。表示処理部２９は、選択したアイコンと、表示素子３２上の位置情報とを、出力部２４を介して表示装置３０に出力する。これにより、アイコンは、表示素子３２上の適切な位置に表示され、運転者３の視野内の表示すべき位置に投影される（ステップＳ１０８）。

図９は、表示装置３０により投影部３４から車両２のフロントウィンドシールド５０に投影され、運転者３が視認する画像を模式的に示している。照明非到達領域５３内の、明るい環境下であれば車両２が視認されるべき位置に車両アイコン５４が表示され、歩行者が視認されるべき位置に人アイコン５５が表示されている。

表示装置３０がフロントウィンドシールド５０にアイコンを投影する領域は、ヘッドライト５がロービームモード及びハイビームモードの何れであるかによって異なる。図１０に示すように車両２が道路を直進しているとき、ヘッドライト５がロービームモードであれば、運転者３は車両２の比較的近くの前景までしか視認できない。このため、ロービームモードの時に画像が投影される領域である第１投影領域５６は図示のように設定される。ヘッドライト５がハイビームモードのとき、運転者３はより遠くの前景まで視認することが可能である。このため、ハイビームモードの時に画像が投影される領域である第２投影領域５７は、第１投影領域５６よりも狭くなる。

ステップＳ１０７において、物体が表示対象物体でないと判断されたとき、表示処理部２９は、ステップＳ１０８の表示指示を行わない。なお、物体検出部２６において検出された物体が複数ある場合は、第２判別部２８においてそれぞれ距離を判別し、各物体についてそれぞれ表示対象物体であるか否かの判定を行い、表示対象物体のみを表示する。

表示処理部２９が、表示装置３０に対してアイコンの表示を指示した後、または、ステップＳ１０７において表示を行わないと判断した後、システムを終了する指示を受けた場合を除き（ステップＳ１０９）、制御部２２の処理は再びＳ１０２に戻る。以下、制御部２２は、ステップＳ１０２からＳ１０９の処理を繰り返す。システムを終了する指示を受けた場合とは、例えば、ヘッドライト５の消灯状態を示すヘッドライト信号を受信したとき、装置本体２０の電源が切られた場合などである。

以上説明したように、本実施形態によれば、遠赤外線カメラ１０により出力される第１画像を用いることで、人の肉眼では視認できない暗い場所の物体を、アイコンとして視認することが可能になる。ヘッドライト５の光が到達しない領域にのみ、選択的に第１画像に基づく表示がなされ、ヘッドライト５の光が到達する領域では、赤外線画像に基づくアイコンの表示をしないので表示が解りやすい。車両２から物体までの第２距離が、ヘッドライト５の光が到達する第１距離よりも短いとき、表示装置３０は、当該物体に対応するアイコンを表示しない。このため、運転者３の視野内で視認可能な物体とアイコンとが混在して見難くなることはない。さらに、第１画像上での表示対象物体の像の位置に基づいて、前記表示対象物体に対応する画像要素を表示するので、運転者３は表示対象物体の有るべき位置に、アイコンを視認することができる。また、表示対象物体を表示するのにアイコンを用いたので、表示がより単純で解りやすい。

本実施形態では、ヘッドライト制御装置４０から、ヘッドライト５のハイビームモード及びロービームモードの選択情報を取得するので、ヘッドライト５のモードに応じた適切な表示領域にアイコンを表示することが可能になる。

本実施形態では、表示装置３０として、表示素子３２に表示された表示画像の虚像を使用者の視野内へ視認可能に投影するヘッドアップディスプレイを用いているので、運転者３が肉眼で視認する前景と、アイコンとを重畳して表示することが可能になる。このため、別途表示面を有する表示装置を用いる場合に比べ、運転中に視線を前方から動かす必要がない。よって、運転者３にかかる負担が小さく、表示対象物体に対応するアイコンをより自然に視認することができる。

（第１’実施形態）
表示装置３０は、表示素子３２に表示される画像の虚像を投影するヘッドアップディスプレイである。このため、表示装置３０から画像を投影できるフロントウィンドシールド５０上の領域は、投影部３４から投影された光が、フロントウィンドシールド５０に反射して運転者３の眼球に入射する条件を満たす範囲に限られる。フロントウィンドシールド５０での反射が正反射のとき、このような領域はフロントウィンドシールド５０の上の限られた領域となる。

そこで、本実施形態では、光学系３３の光学素子の一部、特にフロントウィンドシールド５０は、表示素子３２から射出された光の少なくとも一部が、使用者の眼球方向に向けて正反射とは異なる角度で反射させる反射角度制御部材を用いて構成しうる。反射角度制御部材を用いることによって、投影部３４から出射した光がフロントウィンドシールド５０で反射して、運転者３の眼球方向へ向かうように設定することができ、フロントウィンドシールド５０での画像表示に使用できる領域を拡大することが可能になる。

反射角度制御部材は、例えば、メタサーフェスを用いることができる。メタサーフェスは、反射波の位相を制御して、入射した光を任意の方向に反射させることが可能である。

図１１は、走行中の道路がカーブしている場合のフロントウィンドシールド５０を通して視認される前景を示している。フロントウィンドシールド５０の一部または全部に反射角度制御部材を使用することによって、物体検出表示装置１は、道路のカーブに応じて第１投影領域５６及び第２投影領域５７を移動させることが可能になる。このように、道路の屈曲、上り坂及び下り坂などの多様な走行環境に合わせて、適切な位置にアイコンを表示することが可能になる。

（第２実施形態）
図１２に示す第２実施形態に係る物体検出表示装置１０１では、第１実施形態に係る物体検出表示装置１において、遠赤外線カメラ１０に代えて、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２を設けたものである。図１２において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に１００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１２に含まれない構成要素について言及するときは、第１実施形態と同じ参照符号を用いて説明する。

物体検出表示装置１０１は、第１遠赤外線カメラ１１１、第２遠赤外線カメラ１１２、装置本体１２０、及び、表示装置１３０を備える。装置本体１２０は、入力部１２１、制御部１２２、メモリ１２３、出力部１２４及び位置センサ１２５を備える。制御部１２２は、物体検出部１２６、第１判別部１２７、第２判別部１２８、表示処理部１２９の各機能ブロックを有する。表示装置１３０は、制御部１３１、表示素子１３２及び光学系１３３を備える。

第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、互いに視差を有し、互いに協働する遠赤外線カメラによるステレオカメラである。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、協働して２つの方向から物体を撮像することが可能である。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、１つの筐体に搭載されていてよい。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、互いに独立し、且つ互いに離れて位置していてよい。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、光軸を互いに平行になるように前方に向けて車両２に取り付けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２の光軸は平行に限られない。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２の光軸が平行でない場合は、制御部１２２で画像処理により光軸方向のずれを補正することができる。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、光軸に交わる方向において離れて位置している。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、車両２の車幅方向に沿って並んで配置され得る。例えば、第１遠赤外線カメラ１１１は、前方を向いたときに第２遠赤外線カメラ１１２の左側に位置する。第２遠赤外線カメラ１１２は、前方を向いたときに第１遠赤外線カメラ１１１の右側に位置する。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、フロントバンパー、フェンダーグリル、サイドフェンダー、及びボンネットのいずれかに固定されていてよい。

第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２は、視差を有する画像を出力する。第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２の出力するそれぞれの画像内の物体像の座標の違いに基づいて、三角測量の原理で距離を測定することが可能である。したがって、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２よりなるステレオカメラは、距離を測定するセンサでもある。物体検出表示装置１０１は、この第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２から取得した距離が、ヘッドライト５の光到達距離（第１距離）以上の場合に、当該物体を表示対象物体とする。物体検出表示装置１０１は、表示対象物体に対応するアイコンを表示装置１３０に表示させる。以下にその手順を説明する。

制御部１２２は、入力部１２１を介して、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２から、それぞれ物体から放出される遠赤外線を結像させて得た画像である第１遠赤外線画像及び第２遠赤外線画像を取得する。物体検出部１２６は、第１遠赤外線画像及び第２遠赤外線画像の双方または何れか一方から物体を検出する。第１判別部１２７は、物体検出部１２６で物体を検出した第１遠赤外線画像及び第２遠赤外線画像の双方または何れか一方の物体の種別を判別する。

第２判別部１２８は、第１実施形態とは異なり、第１遠赤外線画像及び第２遠赤外線画像に含まれる物体像の視差から、車両２からそれぞれの物体までの距離（第２距離）を算出する。距離判別のため、装置本体１２０は専用の演算素子を搭載してよい。第２判別部１２８が行う距離判別処理は、第１判別部１２７の行う物体種別判別処理よりも先に実行してよい。第２判別部１２８が行う距離判別処理は、第１判別部１２７の行う物体種別判別処理よりも後に実行してよい。

表示処理部１２９は、第２判別部１２８で算出された距離を用いて、第１遠赤外線画像及び第２遠赤外線画像に含まれる物体が表示対象物体であるか否かを判定する。表示対象物体が決定した後、表示処理部１２９は、第１遠赤外線画像または第２遠赤外線画像の一方または双方に基づいて、表示画像を生成し表示装置１３０に出力することができる。

本実施形態では、その他の点については、図４のフローチャートに示した手順とほぼ類似の手順により、物体の検出及び画像表示をすることができる。その他の構成、作用は第１実施形態と類似であるので、説明を省略する。

本実施形態によれば、第１実施形態の物体検出表示装置１の有する効果に加え、第１遠赤外線カメラ１１１及び第２遠赤外線カメラ１１２を用いることによって、第２判別部１２８による距離判別の精度が向上する。

（第３実施形態）
図１３に示す第３実施形態に係る物体検出表示装置２０１では、第１実施形態に係る物体検出表示装置１に、距離センサ２１３を加えたものである。図１３において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に２００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１３に含まれない構成要素に言及するときは、第１実施形態と同じ参照符号を用いて説明する。

物体検出表示装置２０１は、遠赤外線カメラ２１０、距離センサ２１３、装置本体２２０、及び、表示装置２３０を備える。装置本体２２０は、入力部２２１、制御部２２２、メモリ２２３、出力部２２４及び位置センサ２２５を備える。制御部２２２は、物体検出部２２６、第１判別部２２７、第２判別部２２８、表示処理部２２９の各機能ブロックを有する。表示装置２３０は、制御部２３１、表示素子２３２及び光学系２３３を備える。

距離センサ２１３は、車両２から車両２の前方の物体までの距離（第２距離）を測定するセンサである。距離を測定するセンサとしては、ミリ波レーダ、レーザーレーダ、超音波センサ、又はそれらの組合せが含まれる。これらのセンサは、遠赤外線カメラ１０と類似して車両２の種々の位置に搭載することができる。自動車用レーダでは、狭いビーム幅の電磁波を水平方向に高速に走査して、検出対象の物体の水平方向の位置を判別することができる。または、方向の異なる電磁波を順次切り替えて水平方向の位置を判別することができる。ミリ波レーダは、ミリ波帯の電波を使用するセンサであり、霧、降雨、降雪等の時にも使用可能である。

距離センサ２１３は、距離情報を、入力部２２１を介して制御部２２２に出力する。第２判別部２２８は、遠赤外線カメラ２１０で取得した第１画像内の物体像に対応する実空間の物体までの距離（第２距離）を、距離センサ２１３から得られる距離情報に基づいて決定する。

本実施形態では、その他の点については、図４のフローチャートに示した手順とほぼ類似の手順により、物体の検出及び画像表示をすることができる。その他の構成、作用は第１実施形態と類似であるので、説明を省略する。

本実施形態によれば、第１実施形態の効果に加え、距離センサ２１３を用いることにより、第２判別部２２８による距離判別の精度が向上する。第２実施形態と比較して、遠赤外線カメラを２台設ける必要が無く、且つ、画像処理に係る処理負荷を軽減することができる。

（第４実施形態）
図１４に示す第４実施形態に係る物体検出表示装置３０１では、第１実施形態に係る物体検出表示装置１に、可視光カメラ３１４を加えたものである。本願では、可視光波長領域の光に感度を有するカメラを可視光カメラとよび、可視光カメラで撮像して得られる画像を可視光画像とよぶ。可視光画像は、第２画像とも呼ぶ。図１４において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に３００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１４に含まれない構成要素は、第１実施形態と同じ参照符号を用いて説明する。

物体検出表示装置３０１は、遠赤外線カメラ３１０、可視光カメラ３１４、装置本体３２０、及び、表示装置３３０を備える。装置本体３２０は、入力部３２１、制御部３２２、メモリ３２３、出力部３２４及び位置センサ３２５を備える。制御部３２２は、物体検出部３２６、第１判別部３２７、第２判別部３２８、表示処理部３２９の各機能ブロックを有する。表示装置３３０は、制御部３３１、表示素子３３２及び光学系３３３を備える。

可視光カメラ３１４は、可視光領域の波長の光により画像を撮像するカメラである。可視光カメラ３１４は、撮像素子を含む。撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。可視光カメラ３１４は、撮像素子に画像を結像させるための光学系を含む。光学系は、１枚以上のレンズで構成することができる。可視光カメラ３１４はカラーカメラでもモノクロカメラでもよい。

可視光カメラ３１４は、遠赤外線カメラ３１０の光軸と光軸が平行になるように隣接して並んで配置することができる。可視光カメラ３１４は、車両２の遠赤外線カメラ３１０と類似の位置に類似の方法で固定してよい。可視光カメラ３１４は、遠赤外線カメラ３１０とは離して個別に車両２に固定されてよい。可視光カメラ３１４は、遠赤外線カメラ３１０と少なくとも部分的に同じ領域を撮像する。可視光カメラ３１４は、遠赤外線カメラ３１０と同じタイミング、同じフレームレートで画像を撮像してよい。可視光カメラ３１４と遠赤外線カメラ３１０の撮像は同期していなくともよい。

可視光カメラ３１４は、撮像した第２画像を、入力部３２１を介して制御部３２２に出力する。制御部３２２の物体検出部３２６は、第１画像に加え第２画像からも物体像を検出する。第２判別部３２８は、第１画像から物体検出部３２６で検出されたそれぞれの物体について、第２画像の対応する位置からも所定値以上の輝度の物体像が検出されるか判定する。第２画像の対応する位置から物体像が検出された場合、第２判別部３２８は、当該物体はヘッドライト５の光到達距離（第１距離）以内に位置すると判断する。第１画像から物体検出部３２６で検出されたそれぞれの物体について、第２画像の対応する位置からは物体像が検出されない場合、第２判別部３２８は、当該物体がヘッドライト５の光到達距離（第１距離）以上離れた位置に位置すると判断する。第１画像から検出された物体像と対応する位置に検出された第２画像の物体像の輝度が所定の値以下のとき、第２判別部３２８は、当該物体がヘッドライト５の第１距離以上離れた位置に位置すると判断する。

以下に、物体検出表示装置３０１を用いて運転者３の視野内への表示対象物体に対応する画像要素を表示する物体検出表示方法の例について、図１５のフローチャートを用いて説明する。

図１５において、ステップＳ２０１は、第１実施形態における図４のステップＳ１０１と類似である。本実施形態において、制御部３２２は、第１実施形態のステップＳ１０２のように、ヘッドライト５のモードの選択情報を取得する必要はない。制御部３２２は、第１実施形態のステップＳ１０３と同一に、第１画像を取得する（ステップＳ２０２）。制御部３２２は、入力部３２１を介して可視光カメラ３１４から第２画像を取得する（ステップＳ２０３）。物体検出部３２６は、第１画像から物体像を検出することにより物体を検出する（ステップＳ２０４）。

図１６および図１７は、説明のために、それぞれ第１画像の例及び第２画像の例を模式的に示したものである。図１６の第１画像において、物体像Ｏ₁及び物体像Ｏ₂が撮像される。この例において、ヘッドライト５はロービームモードであると想定する。物体像Ｏ₁は車両２から４０ｍ前方に位置する物体に対応すると想定する。さらに、物体像Ｏ₂は車両２から８０ｍ前方に位置する物体に対応すると想定する。

図１７の第２画像では、ヘッドライト５の第１距離以上離れた距離に位置する物体の物体像Ｏ₁₂は撮像されない。これに対して、ヘッドライト５の第１距離よりも短い距離離れた位置に位置する物体の物体像Ｏ₁₁は撮像される。したがって、第１画像から検出された物体像Ｏ₁，Ｏ₂に対応する物体像Ｏ₁₁，Ｏ₁₂が第２画像に含まれているか否かを判断することにより、物体像Ｏ₁，Ｏ₂に対応する物体が、第１距離以上離れているか否かを判定できる（ステップＳ２０５）。このようにして、第２判別部３２８は、第１画像から検出された物体像Ｏ₁，Ｏ₂に対応する物体像Ｏ₁₁，Ｏ₁₂が、第２画像に含まれていなければ、その物体を表示対象物体であると判別する。また、第１画像から検出された物体像Ｏ₁，Ｏ₂に対応する第２画像の物体像Ｏ₁₁，Ｏ₁₂の輝度が所定の値以下であるとき、第２判別部３２８は、その物体を表示対象物体であると判別してよい。第２判別部３２８は、第１画像から検出された物体像に対応する物体像が、第２画像に含まれ且つ所定の輝度以上を有していれば、表示対象物体ではないと判別する。図１６及び図１７の例では、物体像Ｏ₂に対応する物体が表示対象物体であると判断される。

次に、第１判別部３２７は、表示対象物体の像であると判断された物体像Ｏ₂について、物体の種別を判断する（ステップＳ２０６）。図１６及び図１７の例では、表示対象物体は歩行者である。なお、第１判別部３２７による物体種別の判別は、ステップＳ２０５の後ではなく、ステップＳ２０４とステップＳ２０５との間で行ってもよい。

表示処理部３２９は、ステップＳ２０６において、第１判別部３２７が判別した表示対象物体の種別に対応するアイコンを選択し、表示装置３３０に表示させる（ステップＳ２０７）。このとき、図１８に示すように運転者３の視認できる前景の中に、人アイコン５５が虚像として表示される。

ステップＳ２０５において、第１画像から検出された物体像Ｏ₁，Ｏ₂に対応する物体像Ｏ₁₁，Ｏ₁₂が、第２画像にある場合、および、ステップＳ２０７が終了した後、処理はステップＳ２０８に進む。ステップＳ２０８において、システムを終了する指示を受けた場合を除き、制御部３２２の処理は再びＳ２０２に戻る。以下、制御部３２２は、ステップＳ２０２からＳ２０８の処理を繰り返す。

以上説明したように本実施形態によれば、第１実施形態と類似の効果が得られる。さらに、ヘッドライト制御装置３４０から、ヘッドライトのモードの選択情報を取得しなくとも、物体検出表示装置３０１は、光到達距離（第１距離）以上離れた表示対象物体を検出して、運転者３の視野内に視認可能に投影することが可能になる。

（第５実施形態）
図１９に示す第５実施形態に係る物体検出表示装置４０１は、第１実施形態に係る物体検出表示装置１において、表示装置３０に代えて、フラットパネルディスプレイの表示部４３５を有する表示装置４３０を採用したものである。図１９において、第１実施形態と同一または対応する構成要素には、図１で示した第１実施形態の参照符号に４００を加えた参照符号を付している。第１実施形態の同一または対応する各構成要素と、構成または作用において特段の差異がない場合は、説明を省略する。図１９に含まれない構成要素に言及するときは、第１実施形態と同じ参照符号を用いて説明する。

物体検出表示装置４０１は、遠赤外線カメラ４１０、装置本体４２０、及び、表示装置４３０を備える。装置本体４２０は、入力部４２１、制御部４２２、メモリ４２３、及び、出力部４２４を備える。制御部４２２は、物体検出部４２６、第１判別部４２７、第２判別部４２８、表示処理部４２９の各機能ブロックを有する。表示装置４３０は、制御部４３１及び表示部４３５を備える。表示装置４３０は、車両２に設けられた可視光カメラ４５０から入力された画像を表示可能である。

表示装置４３０の表示部４３５は、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）、電界放出ディスプレイ（ＦＥＤ：Field Emission Display）、電気泳動ディスプレイ、ツイストボールディスプレイ等の種々のフラットパネルディスプレイを採用しうる。表示部４３５は、車両２のダッシュボード内またはダッシュボード上に、画像を表示する表示面を運転者３側に向けて配置することができる。表示装置４３０は、可視光カメラ４５０から入力される車両２の前景を表示する。表示装置４３０は、車両２において他の用途に使用される表示装置と共用することができる。

可視光カメラ４５０は、可視光領域の波長の光により画像を撮像するカメラである。可視光カメラ４５０は、第４実施形態の可視光カメラ３１４と類似に構成され、車両２の類似の位置に配置されうる。可視光カメラ４５０は、第４実施形態の可視光カメラ３１４とは異なり、装置本体４２０に第２画像を出力するのではなく、表示装置４３０に直接第２画像を出力する。

表示装置４３０の制御部４３１は、装置本体４２０の表示処理部４２９で生成され、出力部４２４から出力される表示対象物体のアイコン、及び、表示位置の情報を受信する。制御部４３１は、表示装置４３０に表示される可視光カメラ４５０の画像に、アイコンを重畳して表示させる。

本実施形態では、表示装置４３０による表示方法が異なることを除き、第１実施形態の図４のフローチャートに示した手順とほぼ類似の手順により、物体の検出及び画像表示をすることができる。その他の構成、作用は第１実施形態と同様であるので、説明を省略する。

本実施形態によれば、フラットパネルディスプレイ上に表示される前景の画像上に、表示対象物体を示すアイコンを表示することが可能になる。また、表示装置４３０を車両２内に設けられたナビゲーションシステムなどの他のシステムの表示装置と兼用することができる。

第５実施形態において、表示装置４３０は、可視光カメラ４５０の画像を直接受け取るものとした。しかし、図２０に示すように、可視光カメラ４５０の画像は、装置本体４２０を経由して表示装置４３０に出力されてもよい。その場合、物体検出表示装置４０１は、表示処理部４２９において表示するアイコンと車両２の前景の画像とを合成し、表示装置４３０で表示される画像を生成し、表示装置４３０に出力してよい。

上述の各実施形態は代表的な例として説明した。上述の各実施形態は、本発明の趣旨及び範囲内で、多くの変更及び変更ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。フローチャートに示した手順は、可能な範囲で入れ替えることができる。フローチャートに示した手順は、可能な範囲で並列に実行することができる。

第２実施形態から第４実施形態において、画像の表示に第５実施形態と類似にフラットパネルディスプレイを用いてもよい。表示画像を視認するのは、運転者に限られない。表示装置にヘッドアップディスプレイを使用する場合、助手席または後部座席の使用者が画像を視認できるようにしてよい。表示装置に表示するアイコンは、表示対象物体までの距離（第２距離）に応じて異なる大きさのものを用意してよい。表示装置は、ヘッドアップディスプレイ及びフラットパネルディスプレイに限られず、種々のタイプの表示装置をしようしうる。表示装置は、ＣＲＴ（Cathode Ray Tube）またはヘッドマウントディスプレイを使用しうる。

ヘッドライトの点灯及び消灯、及び、ハイビームモード及びロービームモードの選択情報は、ヘッドライト制御装置から取得するのではなく、ヘッドライトのスイッチの操作に連動して取得できるようにしてよい。あるいは、これらの情報は、手動で入力してもよい。ヘッドライトのモードは、ハイビームモードおよびロービームモードの２種類に限られず、ヘッドライトの向きまたは明るさを変えた種々のモードとすることができる。

１，１０１，２０１，３０１，４０１，５０１ 物体検出表示装置
２ 車両
３ 運転者
５ ヘッドライト
１０，２１０，３１０，４１０ 遠赤外線カメラ
２０，１２０，２２０，３２０，４２０ 装置本体
２１，１２１，２２１，３２１，４２１ 入力部
２２，１２２，２２２，３２２，４２２ 制御部（プロセッサ）
２３，１２３，２２３，３２３，４２３ メモリ
２４，１２４，２２４，３２４，４２４ 出力部
２５，１２５，２２５，３２５ 位置センサ
２６，１２６，２２６，３２６，４２６ 物体検出部
２７，１２７，２２７，３２７，４２７ 第１判別部
２８，１２８，２２８，３２８，４２８ 第２判別部
２９，１２９，２２９，３２９，４２９ 表示処理部
３０，１３０，２３０，３３０，４３０ 表示装置
３１，１３１，２３１，３３１，４３１ 制御部
３２，１３２，２３２，３３２，４３２ 表示素子
３３，１３３，２３３，３３３ 光学系
３４ 投影部
４０，１４０，２４０，３４０，４４０ ヘッドライト制御装置
５０ フロントウィンドシールド
５１ バックミラー
５２ 路面
５３ 照明非到達領域
５４ 車両アイコン（画像要素）
５５ 人アイコン（画像要素）
５６ 第１投影領域
５７ 第２投影領域
６１，６２，６３，６４ アイコン
１１１ 第１遠赤外線カメラ
１１２ 第２遠赤外線カメラ
２１３ 距離センサ
３１４，４５０ 可視光カメラ
４３５ 表示部
Ｏ，Ｏ₁，Ｏ₂ 物体像
ｌ₁ ロービーム到達距離
ｌ₂ ハイビーム到達距離
ｌ₃ 遠赤外線検出距離
ｗ₁ 幅

Claims (12)

1. 移動体に搭載され、
   遠赤外線カメラと、
   表示装置と、
   前記遠赤外線カメラにより出力される第１画像のみから、
   前記移動体のヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出し、
   前記第１画像のみから前記表示対象物体の種別を複数種別から判定し、
   前記第１画像上での前記表示対象物体の像の位置及び種別に基づいて、前記表示装置に前記表示対象物体に対応する画像要素を表示させるプロセッサと
   を備える物体検出表示装置。
2. 前記プロセッサは、前記第１画像上での前記表示対象物体の種別に基づいて前記表示対象物体までの距離を推定する請求項１に記載の物体検出装置。
3. 前記プロセッサは、前記表示装置に表示する前記画像要素を前記種別に応じたアイコンとして表示させる請求項１または２に記載の物体検出表示装置。
4. 前記プロセッサは、前記第１画像から物体の像を検出し、前記移動体から前記物体までの第２距離が前記第１距離以上のときは、前記物体の像を前記表示対象物体の像として検出し、前記移動体から前記物体までの第２距離が前記第１距離よりも短いときは、前記表示装置に前記物体に対応する画像要素を表示させない請求項１から３の何れか一項に記載の物体検出表示装置。
5. 前記第１画像に含まれる物体までの第２距離を測定するセンサをさらに備え、前記プロセッサは前記移動体から前記物体までの前記第２距離を前記センサから取得して、該取得した第２距離が前記第１距離よりも長い場合に、前記物体を表示対象物体とする請求項１から４の何れか一項に記載の物体検出表示装置。
6. 前記プロセッサは、前記移動体から前記第１画像に含まれる物体までの第２距離を前記物体の像の大きさに基づいて判定し、該判定した距離が前記第１距離よりも長い場合に、前記物体を表示対象物体とする請求項１から４の何れか一項に記載の物体検出表示装置。
7. 前記プロセッサは、前記ヘッドライトにおける前記第１距離の異なる複数のモードのうち、選択されたモードの選択情報を取得し、該選択情報に応じて定まる前記第１距離に基づいて前記表示対象物体を検出する請求項１から６の何れか一項に記載の物体検出表示装置。
8. 前記表示装置は、表示素子と、該表示素子に表示された画像の虚像を使用者の視野内へ視認可能に投影する光学系とを備えるヘッドアップディスプレイを含む請求項１から７の何れか一項に記載の物体検出表示装置。
9. 前記プロセッサは、前記第１画像上での前記表示対象物体の像の位置に基づいて、前記使用者の前記視野内における前記表示対象物体の位置を特定し、前記画像要素を、前記表示素子上の前記表示対象物体が投影される位置に表示する請求項８に記載の物体検出表示装置。
10. 前記光学系は、前記表示素子から射出された光の少なくとも一部を、使用者の視野内に向けて正反射とは異なる角度で反射させる反射角度制御部材を備える請求項８または９に記載の物体検出表示装置。
11. 遠赤外線カメラ、表示装置、及び、前記遠赤外線カメラにより出力される第１画像のみから、ヘッドライトからの光が到達する第１距離以上離れた表示対象物体の像を検出し、前記像に対して前記表示対象物体の種別を複数種別から判定し、前記第１画像上での前記表示対象物体の像の位置及び種別に基づいて、前記表示装置に前記表示対象物体に対応する画像要素を表示させるプロセッサを含む物体検出表示装置を備える移動体。
12. 遠赤外線により撮像された第１画像を取得し、
    前記第１画像のみから、移動体のヘッドライトからの光が到達する距離である第１距離以上離れた表示対象物体の像を検出し、
    前記表示対象物体の種別を複数種別から判定し、
    前記第１画像上での前記表示対象物体の像の位置及び種別に基づいて、前記表示対象物体に対応する画像要素を表示させる
    物体検出表示方法。

Images