JP2004254044A

JP2004254044A - 運転支援方法、表示システム及び報知システム

Info

Publication number: JP2004254044A
Application number: JP2003041728A
Authority: JP
Inventors: Masaru Kakizaki; 勝柿崎; Koji Nakamura; 耕治中村; Nobuaki Kawahara; 伸章川原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-02-19
Filing date: 2003-02-19
Publication date: 2004-09-09

Abstract

【課題】夜間等の前方が見づらい環境においても、運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく車両前方の状況を迅速且つ的確に把握して、安全に走行できるようにすることを目的とする。
【解決手段】車両前部に赤外線ライト１１を備えると共に車室内に赤外線カメラ１２が配置されている。画像処理回路１３は、赤外線カメラ１２が撮影した赤外線画像の中から、予め設定された所定領域の画像のみを切り出して液晶パネル１５に表示させる。この所定領域は、運転者にとって視認性の悪い領域（例えばヘッドライトの当たらない路側領域等）であり、この領域の画像が液晶パネル１５に表示されることにより、フロントガラス８に虚像として表示される。この虚像は、運転者から見える実際の風景に重畳するように表示されるため、運転者は低照度環境等であっても車両前方の状況を的確に把握できる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、自動車等の車両を運転する運転者に対し車両前方状況に関する情報を表示して運転を支援する運転支援方法と、この運転支援方法を実現する表示システム及び報知システムに関する。
【０００２】
【従来の技術】
近年、視認性に優れ運転者の負担の少ない画像ＨＭＩ（ＨｕｍａｎＭａｃｈｉｎｅＩｎｔｅｒｆａｃｅ）への要求が高まっている。特に、前方視界補助情報や死角情報等の車両を安全に走行させるための情報のニーズが高まっており、これらをより効果的に運転者へ伝達するための画像ＨＭＩが求められる。
【０００３】
自動車を夜間走行する場合、運転者はヘッドライトの灯りや街灯の明かり等を頼りに低照度環境の中で運転の判断をしているため、昼間の運転に比べて歩行者等の発見が遅れ、危険性が大きくなる。そのため、夜間に自動車事故に遭遇すると死亡事故につながる可能性も高くなる。
【０００４】
夜間の低照度環境等、肉眼での視認性の悪い環境をカバーするための技術として、例えば図２８に示すように、前方対象物１０１から発する遠赤外線をレンズ１０２で集光して赤外線センサー部１０３により電気信号に変換し、これを可視画像として表示できるよう信号処理部１０４にて信号処理して表示部１０５へ表示させる技術が知られている（例えば、特許文献１参照。）。
【０００５】
これによって、運転者が目視で見づらい車両前方の景色であっても、表示部１０５を見ることによって認識することができる。
また、例えば図２９に示すように、可視光カメラ１１１が可視光風景を撮影してその画像データを可視光画像フレームメモリ１１２に記録すると共に、赤外線カメラ１１３が赤外線風景を撮影してその画像データを赤外線画像フレームメモリ１１４に記録し、ＣＰＵ１１５が、赤外線画像から運転者の視認困難な部位に相当する領域を切り出して可視光画像における対応する領域に合成し、その合成画像を重畳画像フレームメモリ１１６に記録して、これを表示モニタ１１８に表示させる技術も知られている（例えば、特許文献２参照。）。
【０００６】
即ち、上記特許文献２に記載の技術は、運転者にとって視認できる部分は可視光により撮影した風景を表示し、肉眼で視認困難な視界部位には赤外線により撮影した風景を合成して表示することによって、運転者が表示モニタ１１８の表示画像を見ることにより車両前方の風景全体を把握できるようにするものである。
【０００７】
【特許文献１】
特開平０５−１３７０３０号公報
【特許文献２】
特開平１１−３０８６０９号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の技術により車両前方の情報を運転者に提供すると、運転者はこれら情報（前方風景）を認識するために視線を表示モニタに向ける必要がある。表示モニタが例えばインストルメントパネルに配置されている場合は、走行中に運転者が前方から目を背けるため、危険が伴う。また例えば、表示モニタがフロントガラスと運転者との間に配置されている場合、インストルメントパネル配置の場合よりは運転者が前方から大きく目を背ける必要はなくなるものの、走行中の前方の景色が見づらくなる（表示モニタが邪魔になる）ため、やはり危険が伴う。
【０００９】
しかも、走行中に運転者から見える実際の車両前方景色と、表示モニタに表示された画像（車両前方の風景画像）とを瞬時に対応させることが困難であり、例えば表示モニタにて前方に障害物があることを認識してから運転者が実際にその認識に基づく対応をとる（例えば障害物の実際の位置を肉眼で確認してから回避措置をとる）までの間のタイムロスが大きくなりかねない。
【００１０】
更に、表示モニタには歩行者や障害物だけでなく、街路樹や建造物などの周囲の様子まで全て表示されるため、仮に表示モニタに障害物が映されたとしてもそれが障害物であることを瞬時に認識できず、対応が遅れてしまうおそれもある。
本発明は上記課題に鑑みなされたものであり、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく、車両前方の状況を迅速且つ的確に把握して、安全に走行できるようにすることを目的とする。
【００１１】
【課題を解決するための手段及び発明の効果】
上記課題を解決するためになされた請求項１記載の運転支援方法は、可視光線以外の電磁波による画像を撮影する撮影手段により車両前方の風景を撮影し、該撮影した画像である不可視光画像のうち少なくとも、運転者の肉眼では見えにくい視認困難領域の画像を、運転者から見える実際の景色と重なり合うようにフロントガラス面に虚像表示する。
【００１２】
撮影手段は、人間の肉眼では視認できない可視光線以外の電磁波（例えば赤外線等）による画像を撮影するものであるため、車両前方の景色が肉眼で見えにくい場合であっても、撮影手段により撮影すれば、その撮影画像により車両前方の景色全体を把握することができる。
【００１３】
そして本発明（請求項１）では、撮影手段による不可視光画像を、従来のように表示モニタ等に表示するのではなく、虚像表示、つまりフロントガラス面に虚像を形成することにより実現している。しかも、単にフロントガラス面の任意の位置に虚像表示するのではなく、運転者から見える実際の景色（虚像表示の対象となる実際の対象物）と虚像とが重なり合うように表示する。
【００１４】
そのため、請求項１記載の発明によれば、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく、車両前方の状況を迅速且つ的確に把握して、安全に走行することができる。しかも、運転者から見える実際の景色と虚像とが重なり合っているため、運転者は瞬時に虚像を理解でき、車両前方状況に応じた適切な運転ができるようになる。
【００１５】
尚、虚像表示する画像は、視認困難領域のみでもいいし、撮影手段にて撮影した画像（不可視光画像）の全てでもよく、少なくとも視認困難領域を含む任意の領域を適宜決めればよい。
ここで、視認困難領域は、運転者の個人差や車両の違い、或いはその時々の車両周囲環境等に応じて適宜設定することができるが、例えば請求項２に記載のように、当該車両のヘッドライトを点灯した際にその照射光による当該車両への反射輝度が所定輝度以下となる領域（以下「ヘッドライトが当たらない領域」ともいう）にするとよい。
【００１６】
このようにすれば、夜間の走行中にヘッドライトが当たらない領域に対応した不可視光画像がフロントガラス面に虚像表示されるため、肉眼では見え難い場所の景色を視認することができる。
ヘッドライトが当たらない領域の設定は、例えば車両毎あるいは車種毎に実験的に得られた領域を予めデフォルト設定してもいいし、不可視光画像の各画素の輝度に基づいて設定することにより走行中の車両前方状況にリアルタイムに対応可能となるようにしてもよい。また例えば、ヘッドライトのハイビーム照射時とロウビーム照射時それぞれに対応した領域を設定するようにしてもよい。
【００１７】
また、視認困難領域は、例えば運転者等が任意に設定できるようにしてもよいし、また例えば、運転中にリアルタイムに視認困難な領域を解析して設定されるようにしてもよいが、例えば請求項３記載のように、予め設定された所定領域であってもよい。
【００１８】
このようにすれば、視認困難な領域をリアルタイムに解析する必要や、運転者等による設定操作の必要もなく、設定された所定領域に基づく簡単な処理のみで人間の肉眼で見え難い領域に不可視光画像を虚像表示することができる。
尚この場合も、所定領域は適宜設定することができ、例えば路側を含む所定範囲内としてもいいし、また例えば、想定される複数の領域を予め用意しておいて運転者がその中から選択的に設定できるようにしてもよい。
【００１９】
一方、車両の運転中は、走行中の道路の交通状況や周囲の環境等によって、運転者が視認困難と感じる領域も変化する。例えば、街灯のない道路を自車のみで夜間走行しているときに視認困難と感じる領域と、街灯があってしかも自車の前後及び対向車線にも車両が走行しているときに視認困難と感じる領域とは、当然異なるものとなる。
【００２０】
そこで、視認困難領域は、上記のように予め設定しておくのではなく、例えば請求項４に記載のように、不可視光画像の中で輝度が所定の第１輝度閾値以下の画素からなる領域としてもよい。
第１輝度閾値は、運転者の個人差等に応じて適宜決めることもできるが、例えばその閾値より大きいと肉眼でも比較的よく見えるというような値に設定することができる。逆に言えば、その閾値より低い輝度だと肉眼では見え難くなるような値とすることができる
また例えば、請求項５に記載のように、撮影手段が、可視光線を集光して撮影を行う可視光撮影機能も備えると共に、該可視光撮影機能による撮影と不可視光画像の撮影とを交互に行うよう構成されており、連続して撮影された、可視光撮影機能による撮影画像である可視光画像及び不可視光画像に対し、可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する不可視光画像内の領域を、視認困難領域としてもよい。
【００２１】
つまり、請求項４のように不可視光画像を構成する各画素の輝度に基づくものではなく、可視光画像を構成する各画素の輝度に基づいて視認困難領域を決めるのである。
このように、請求項４又は請求項５記載の運転支援方法によれば、運転者から実際に見える景色が明るければ（つまり第１又は第２輝度閾値以下の領域が少なければ）その分虚像表示される領域も小さくなるし、逆に実際の景色が暗ければ（つまり第１又は第２輝度閾値以下の領域が大きいと）その分虚像表示される領域も大きくなる。そのため、運転者の視認困難な領域を特定して運転中の周囲環境等にリアルタイムに対応した適切な虚像表示がなされるようになる。
【００２２】
フロントガラス面への虚像表示は、例えば常時行うようにしてもよいが、日中の明るいときは運転者からの視認性は通常は良好であるため、虚像表示の必要性が低い。視認性良好のときにも虚像表示すると、それが逆に視界の妨げとなってしまう可能性もある。
【００２３】
そのため、例えば請求項６に記載のように、当該車両のヘッドライトが点灯しているときにフロントガラス面への虚像表示を行うようにするとよい。このようにすれば、必要以上の虚像表示をなくすことができ、運転者は安全且つ快適に運転することができる。
【００２４】
次に、請求項７記載の発明は、運転者に対し注意を喚起する運転支援方法であって、車両に搭載された複数の光源からの光を、二つ以上の光源から同時に光が照射されることのないよう順次車両前方へ照射して該照射毎に該光源による光を撮影可能な撮影手段によって車両前方の風景を撮影する。そして、撮影手段による各光源毎の撮影画像（各光源からの照射毎の撮影画像）を相互比較して、各撮影画像相互間で異なる部分があった場合に、その異なる部分を対象物の影と判断して車両前方に対象物があることを運転者に報知する。
【００２５】
つまり、各光源からの光が順次照射される毎に一つの撮影手段が撮影を行い、各撮影結果を比較することによって対象物の影を見出すものである。例えば車両前方の対象物に対して異なる位置から光を照射すると、照射する光毎に対象物の影は異なる。そのため、複数の光源から個々に光を照射して、各照射毎に撮影手段が撮影を行うと、各照射毎に影の部分が異なる撮影画像が得られる。
【００２６】
このように、異なる部分（影の部分）があった場合に運転者へ報知することによって、仮に運転者が視覚で見落とした場合であっても運転者は対象物の存在を迅速に認識することができ、例えば対象物として道路上に障害物があってそれを視認できなくても、報知により迅速に対処できる。
【００２７】
また、単に異なる部分があったことをもってその部分を影と判断するのではなく、例えば請求項８に記載のように、各光源毎の撮影画像相互間で異なる部分の輝度の差が所定の第３輝度閾値より高い場合に、その異なる部分が対象物の影であると判断するようにしてもよい。
【００２８】
即ち、対象物に光を照射した場合、光の当たっている部分に比べて影の部分が暗くなるため、各光源毎の撮影画像を比較して画像データ（画素）の著しく異なる領域を対象物の影と判定するのである。そのため、第３輝度閾値は、影の部分とそうでない部分とを明確に区別できるような値に設定すればよい。これにより、対象物の影をより確実に検出することが可能となる。
【００２９】
更に、単に対象物があったという事実のみを報知するのではなく、例えば請求項９に記載のように対象物の実際の位置を報知するようにしてもよい。即ち、対象物の影の位置に基づいて当該車両に対する対象物の実際の位置である実位置を導出して、報知の際は少なくともその導出した実位置を報知するのである。このようにすれば、運転者は対象物の存在に加えて自車に対する実位置まで知ることができるため、対象物に対して迅速且つ適切に対処することができる。
【００３０】
請求項１０記載の発明は、車両に搭載され、車両前方の状況を表示して運転者の運転を支援するための表示システムであって、ヘッドライトとは別に搭載された不可視光放射手段が可視光線以外の電磁波を車両前方に放射して、車両前方の風景を撮影するために設置された撮影手段が可視光線以外の電磁波による画像を撮影する。
【００３１】
そして、画像処理手段が、撮影手段により撮影した画像である不可視光画像のうち少なくとも運転者の肉眼では見えにくい視認困難領域の画像を抽出し、該画像を表示手段によってフロントガラス面に虚像表示する。表示手段は、画像表示面から表示光を出射することにより画像処理手段が抽出した画像をフロントガラス面に虚像表示して運転者が視認できるよう構成されたものである。また、撮影手段及び表示手段は、虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うような相対位置関係となるよう、それぞれ設置される。
【００３２】
つまり、請求項１記載の運転支援方法が実現されたシステムである。そのため、本発明（請求項１０）記載の表示システムによれば、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス越しに実際に見ている車両前方の景色から視線をそらすことなく、車両前方の状況を迅速且つ的確に把握して、安全に走行することができる。しかも、運転者から見える実際の景色と虚像とが重なり合っているため、運転者は瞬時に虚像を理解でき、車両前方状況に応じた適切な運転ができるようになる。
【００３３】
尚、表示手段を構成する画像表示面への表示は、例えば画像処理手段が抽出した画像をそのまま表示してもいいし何らかの処理を加えて表示してもいい。また、画像表示面の表示光は、直接フロントガラス面に出射されるようにしてもいいし、反射鏡やレンズ等による反射や屈折等を経てフロントガラス面に当たるようにしてもよく、画像表示面の表示方法や、画像表示面からの出射光がフロントガラス面まで到達する過程は任意に決めればよく、結果的に所望の画像がフロントガラス面に虚像表示されればよい。
【００３４】
視認困難領域は、例えば請求項１１に記載のように、当該車両のヘッドライトが当たらない領域にしてもよいし、例えば請求項１２に記載のように、予め設定された所定領域であってもよい。前者の場合、夜間の走行中にヘッドライトが当たらない領域の不可視光画像がフロントガラス面に虚像表示されるため、肉眼では見え難い場所の景色を視認することができ、後者の場合、視認困難な領域をリアルタイムに解析する必要はなく、簡単な処理で人間の肉眼で見え難い領域に不可視光画像を虚像表示することができる。
【００３５】
また、視認困難領域は、例えば請求項１３に記載のように、不可視光画像において画素の輝度が第１輝度閾値以下の領域にしてもよい。即ち、請求項１３記載の表示システムは、画像処理手段が、不可視光画像を構成する各画素の輝度と予め設定した第１輝度閾値とを比較する第１輝度比較部と、該第１輝度比較部により第１輝度閾値以下と判断された画素からなる領域を視認困難領域として該領域の画像を抽出する画像抽出部とを備えたものである。
【００３６】
つまり、請求項４記載の運転支援方法が実現されたシステムである。そのため、請求項４記載の発明と同様の作用・効果が得られる。
視認困難領域以外の領域については、言い換えれば運転者が肉眼で比較的良好に視認できる領域であるため、虚像表示を全く行わないようにしてもよいが、例えば請求項１４に記載のように、画像抽出部が、不可視光画像における視認困難領域以外の画像についてもその画像を構成する各画素の輝度を第１輝度閾値以下の所定の輝度に変換して、視認困難領域の画像と共に抽出するようにしてもよい。
【００３７】
また、表示手段によるフロントガラス面への虚像表示は、例えば請求項１５に記載のように、当該車両のヘッドライトが点灯しているときに行うようにするとよい。このようにすれば、必要以上の虚像表示をなくすことができ、運転者が安全且つ快適に運転することができる。
【００３８】
更に、不可視光放射手段は、例えば請求項１６に記載のように、ヘッドライト光の照射範囲よりも広い範囲又は遠方に可視光線以外の電磁波を放射できるよう構成されているとよい。一般にヘッドライトは、運転者の視界を良好にすることを主目的とする一方で周囲に悪影響を及ぼさないように照射するようにされているが、可視光線以外の電磁波は人間の目には見えないため、ヘッドライトより広範囲或いは遠方に放射しても差し支えない。
【００３９】
そのため、不可視光放射手段からの電磁波を上記のようにヘッドライトより広範囲又は遠方に放射するようにすれば、肉眼では見えないより広い範囲（或いは遠い範囲）まで車両前方の状況を認識することができ、より安全な運転が可能となる。
【００４０】
次に、請求項１７記載の表示システムは、車両前方の風景を撮影するために設置され、可視光線による画像である可視光画像及び可視光線以外の電磁波による画像である不可視光画像を共に撮影可能な撮影手段と、該撮影手段へ入射する可視光線を遮断する可視光フィルタと、該撮影手段へ入射する電磁波（可視光線以外）を遮断する電磁波フィルタと、可視光フィルタ及び電磁波フィルタの切り替えを行うフィルタ切替手段と、を備えたものである。
【００４１】
そして、切替撮影制御手段が、
電磁波フィルタにより可視光線以外の電磁波を遮断して撮影手段により可視光画像を撮影する可視光撮影動作、及び可視光フィルタにより可視光線を遮断して撮影手段により不可視光画像を撮影する不可視光撮影動作が交互に行われるようフィルタ切替手段と撮影手段とを同期制御し、画像処理手段が、切替撮影制御手段の動作により順次得られる可視光画像及び不可視光画像に対し、可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する不可視光画像内の領域の画像を抽出する。
【００４２】
そして表示手段により、画像処理手段が抽出した画像をフロントガラス面に虚像表示する。この表示手段は、請求項１０で説明した表示手段と同じ構成のものである。また、撮影手段及び表示手段の相対位置関係も請求項１０と同様であり、虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うよう、それぞれ設置される。
【００４３】
つまり、可視光線による画像と可視光線以外の電磁波による画像を共に撮影可能な一つの撮影手段により、電磁波フィルタを通過してきた可視光線による画像撮影と、可視光フィルタを通過してきた上記電磁波による画像撮影とを交互に行うのである。
【００４４】
そのため、例えば上記電磁波による画像を撮影する手段と可視光線による画像を撮影する手段とを別々に設ける場合に比べ、一つの撮影手段で可視光画像及び不可視光画像とを撮影することができるため、撮影手段のコスト削減や配置スペースの使用効率向上が可能となる。
【００４５】
また、可視光画像の輝度に基づいて視認困難領域が決まるため、不可視光画像に基づく視認困難領域の決定に比べてより人間の視覚に合った領域決定がなされることになり、運転中の周囲環境等に応じたより適切な虚像表示が可能となる。
なお、ヘッドライトからの出射光には、一般に可視光線以外の電磁波成分（例えば赤外線）も含まれているため、上記請求項１７記載の表示システムにおいては、ヘッドライトからの照射光のみで可視光画像及び不可視光画像とを撮影することが可能ではあるが、人間の肉眼で見にくい部位をできるかぎり正確に撮影するためには、例えば請求項１８に記載のように、ヘッドライトとは別に可視光線以外の電磁波を当該車両の前方に放射する不可視光放射手段を備えてもよい。
【００４６】
このようにすれば、ヘッドライトのみを用いた場合に比べ、より確実に車両前方の状況を知ることができる。更に、例えばこの不可視光放射手段からの放射電磁波の放射範囲をヘッドライトの照射範囲より広く或いは遠くに設定すれば、より広範囲で車両前方の状況を認識することができ、安全性のより向上した表示システムの提供が可能となる。
【００４７】
請求項１９に記載の表示システムは、車両前方の風景を撮影するために設置され、可視光線による画像である可視光画像及び可視光線以外の電磁波による画像である不可視光画像を共に撮影可能な撮影手段と、ヘッドライトから車両前方へ照射される照射光のうち可視光線を遮断する可視光フィルタと、ヘッドライトから車両前方へ照射される照射光のうち可視光線以外の電磁波を遮断する電磁波フィルタと、可視光フィルタ及び前記電磁波フィルタの切り替えを行うフィルタ切替手段と、を備えたものである。
【００４８】
そして、切替撮影制御手段が、電磁波フィルタによりヘッドライトからの電磁波を遮断して撮影手段により可視光画像を撮影する可視光撮影動作、及び可視光フィルタによりヘッドライトからの可視光線を遮断して撮影手段により不可視光画像を撮影する不可視光撮影動作が交互に行われるよう、フィルタ切替手段と撮影手段とを同期制御する。可視光画像及び不可視光画像が順次得られたときの画像処理手段の動作、及び画像処理手段により抽出された画像の表示手段による虚像表示については、上記請求項１７と同じである。
【００４９】
つまり、上記請求項１７記載の表示システムでは可視光フィルタ及び電磁波フィルタがそれぞれ撮影手段へ入射する可視光線及び上記電磁波を遮断するものであったのに対し、本発明（請求項１９）では、可視光フィルタ及び電磁波フィルタがそれぞれ、ヘッドライトからの可視光線及び電磁波を遮断するよう構成されている。
【００５０】
そのため、ヘッドライト以外に別途可視光線以外の電磁波を放射する手段を設けることなく、ヘッドライトからの照射（放射）のみで可視光画像と不可視光画像とを撮影することができ、光源のコスト削減や配置スペースの使用効率向上が可能となる。また、請求項１７と同様、一つの撮影手段で可視光画像及び不可視光画像とを撮影することができるため、撮影手段のコスト削減や配置スペースの使用効率向上も可能となる。
【００５１】
尚、請求項１７〜１９に記載の各発明においても、請求項１４に記載の発明のように、視認困難領域以外の画像の輝度を第２輝度閾値以下に変換して虚像表示するようにしてもよい。つまり、画像処理手段によって抽出された視認困難領域の画像と共に、それ以外の領域の画像も併せて虚像表示してもよい。
【００５２】
次に、請求項２０記載の発明は、車両に搭載され、運転者に対し注意を喚起するための報知システムであって、当該車両前方を照射する複数の光源と、各光源毎に設けられ、光源から車両前方への照射光を遮断する遮断手段と、各光源による照射光を集光して撮影（換言すれば、各光源から光を照射したときの車両前方の風景を撮影）する撮影手段と、を備えたものである。
【００５３】
そして、一光源撮影制御手段が、いずれか一つの光源による照射光のみを車両前方に照射して他の全ての光源からの照射光をそれぞれ対応する遮断手段によって遮断する一光源照射動作を各光源毎に順次行うと共に、該各一光源照射動作の実行毎に撮影手段による撮影が行われるよう、各遮断手段と撮影手段とを同期制御し、対象物判定手段が、一光源撮影制御手段により得られた各一光源照射動作毎の撮影画像を相互比較して異なる部分があった場合に、該異なる部分を対象物の影と判断し、対象物判定手段により対象物の影が判断されたときに、報知手段が、対象物があることを運転者に報知する。
【００５４】
即ち、請求項７記載の運転支援方法が実現された報知システムであり、請求項７と同様、仮に運転者が視覚で見落とした場合であっても運転者は対象物の存在を迅速に認識することができ、例えば対象物として道路上に障害物があってそれを視認できなくても、報知により迅速に対処できる
請求項２１に記載の発明は、請求項８記載の運転支援方法が実現された報知システムであり、対象物判定手段が、各撮影画像相互間で異なる部分の輝度の差が所定の第３輝度閾値より高い場合に、その異なる部分が対象物の影であると判断するようにしてもよい。つまり、各光源毎の撮影画像を比較して画像データ（画素）の著しく異なる領域を対象物の影と判定するのである。第３輝度閾値は、影の部分とそうでない部分とを明確に区別できるような値に設定すればよい。これにより、対象物の影をより確実に検出することが可能となる。
【００５５】
請求項２２に記載の発明は、請求項９記載の運転支援方法が実現された報知システムであり、位置導出手段が、撮影画像中における対象物の影の位置に基づいて当該車両に対する対象物の実際の位置である実位置を導出し、報知手段は少なくともその導出された実位置を報知するものであるとよい。報知システムをこのように構成すれば、運転者は対象物の存在に加えて自車に対する相対位置まで知ることができるため、対象物に対して迅速且つ適切に対処することができる。
【００５６】
実位置としては、例えば自車から対象物までの距離であってもいいし、自車に対する大まかな位置表現（例えば「左前方」、「道路中央」など）であってもよく、適宜決めればよい。
そして、位置導出手段による実位置の導出は、例えば撮影画像中の影の座標から数値演算等により算出する方法が考えられるが、例えば請求項２３に記載のようにしてもよい。即ち、撮影画像中における対象物の影の位置（例えば座標）と実位置との対応関係を示す位置導出パラメータを記憶した記憶手段を備え、位置導出手段は、記憶手段に記憶された位置導出パラメータに従って実位置を導出するのである。
【００５７】
このようにすれば、実位置導出のために複雑な数値演算等を行う必要なく、撮影画像中の影の位置から実位置を簡単に得ることができ、位置導出手段を簡単な構成で実現できる。
また、報知手段による具体的報知方法としては種々考えられるが、例えば請求項２４に記載のように音声により報知を行うようにしてもよい。このようにすれば、運転者が視覚によって情報を見落としても聴覚により気づくことができるため、より確実に情報を伝達できる信頼性の高い報知システムの実現が可能となる。
【００５８】
また例えば請求項２５のように、報知手段は、画像表示面から表示光を出射することにより該画像表示面上の画像をフロントガラス面に虚像表示する表示手段を備え、対象物判定手段により対象物の影が判断されたとき、表示手段によるフロントガラス面への虚像表示により報知を行うようにしてもよい。
【００５９】
表示手段による虚像表示としては、例えば請求項２６に記載のように、対象物があることを示す警告マークをフロントガラス面へ虚像表示するようにしてもいいし、また、対象物の実位置を報知する際には、例えば請求項２７に記載のように、位置導出手段により導出された実位置をフロントガラス面へ虚像表示するようにしてもいい。このようにすれば、運転者は対象物の存在を視覚的に認識でき、対象物に対する迅速な対処が可能となる。
【００６０】
そして、上記のように虚像表示により対象物の存在を報知する場合、より好ましくは、例えば請求項２８に記載のように、虚像表示に対応した実際の対象物を運転者が見たときに該対象物と重畳するよう、虚像表示を行うようにするとよい。このようにすれば、単にフロントガラス面の任意の位置に虚像表示するよりも、運転者は対象物の存在とその位置まで即座に認識することができるため、対象物に対するより迅速な対処が可能となる。
【００６１】
ここで、対象物判定手段により対象物の影と判断されたもの全てに対して報知を行うようにすると、例えば道路上ではなく歩道を通行中の歩行者や街路樹、或いは街灯などまでが対象物と判断されて報知されてしまうことも考えられる。そこで、例えば請求項２９に記載のように、撮影画像中における対象物の影の位置に基づいて対象物の影が走行中の道路上に位置しているか否かを判定する道路上判定手段を備え、報知手段は、該道路上判定手段により対象物の影が道路上に位置していると判定された場合に報知を行うようにするとよい。
【００６２】
つまり、道路以外の対象物は車両の走行に直接的な影響を与えないため、道路上の対象物のみ報知するものである。そのため、運転者にとって本当に必要な対象物情報のみが報知されることになり、対象物報知により運転者に与える負担（道路上にあるものなのか否かの判断にかかる負担）や煩わしさを抑えることができる。
【００６３】
【発明の実施の形態】
以下に、本発明の好適な実施形態を図面に基づいて説明する。
［第１実施形態］
図１は、本実施形態の表示システムの概略構成を示す説明図である。本実施形態の表示システムは、車両に搭載され、例えば夜間等の運転者の視認困難な環境において車両の前方状況を表示し運転者の運転を支援するためのものであり、図１に示す如く、主として赤外線ライト１１、赤外線カメラ１２、画像処理回路１３及び液晶パネル１５により構成される。
【００６４】
赤外線ライト１１は、車両前方の広範囲（ヘッドライト１の照射範囲より広い範囲）に赤外線を放射するよう車両前部に配置されている。赤外線カメラ１２は、赤外線による画像を撮影するための周知のものであり、運転者の視点６から車両前方をみたときの視野全体を撮影できるよう、フロントガラス８の上部中央に配置されている。
【００６５】
図３は、赤外線カメラ１２による撮影画像の一例を示しており、この撮影画像は運転者が運転席から正面をみたときの視野と略同一である。従って赤外線ライト１１は、少なくとも図３に示した撮影画像の領域には十分に赤外線を照射できるものを使用している。
【００６６】
画像処理回路１３は、赤外線カメラ１２で撮影した画像（本発明の不可視光画像に相当；以下「赤外線画像」という）から後述する赤外線画像切り出し処理によって所定領域の画像のみを切り出してその画像データを液晶パネル１５へ出力するものであり、その具体的構成を図２に示す。
【００６７】
画像処理回路１３は、ハンドル２の前方にあるヘッドライトスイッチ１４をＯＮすることにより起動するもので、図２に示す如く、赤外線カメラ用フレームメモリ２１、切り出し領域設定メモリ２２、ＣＰＵ２３及び重ね合わせ用フレームメモリ２４により構成されている。つまり、本実施形態の表示システムはヘッドライト１の点灯時に動作するものである。
【００６８】
ヘッドライトスイッチ１４のＯＮにより画像処理回路１３が起動すると、赤外線カメラ１２にて撮影された赤外線画像（画素データ）が赤外線カメラ用フレームメモリ２１に記録される。この記録は起動中随時行われる。
一方、切り出し領域設定メモリ２２には、赤外線画像の中から切り出すべき領域が予めデフォルト設定されており、ＣＰＵ２３は、赤外線カメラ用フレームメモリ２１に記録された赤外線画像からこの切り出し領域設定メモリ２２の設定内容に相当する領域（切り出し領域）の画像のみを切り出して重ね合わせ用フレームメモリ２４に記録する。
【００６９】
この切り出し領域は本発明の視認困難領域に相当するものであり、本実施形態では図３に示す領域Ｂに設定している。図３において、領域Ａはヘッドライト１の光が当たる領域であり、それ以外の領域はヘッドライト１の当たらない領域、つまりヘッドライト１を点灯した際にその照射光による当該車両への反射輝度が所定輝度以下となる領域である。
【００７０】
この領域Ａ以外の範囲のうち、路側を含み車両に比較的近い範囲であって視覚による見落としがあると危険な状況になる可能性の高い領域である領域Ｂを、切り出し領域として切り出し、重ね合わせ用フレームメモリ２４に記録して、後述するようにフロントガラス８の表面に虚像として表示するようにしている。
【００７１】
尚、この切り出し領域（領域Ｂ）は、例えば車両毎あるいは車種毎に実験的に得られた領域を設定することができるが、それ以外にも、例えば赤外線画像の各画素の輝度をみて輝度が所定値以下の領域（つまり肉眼で視認困難な領域）とすることにより走行中の車両前方状況にリアルタイムに対応可能となるようにしてもよい。また例えば、ヘッドライト１のハイビーム照射時とロウビーム照射時とで異なる領域となるようにしてもよい。更に例えば、想定される複数の切り出し領域を予め切り出し領域設定メモリ２２に設定しておき、運転者がその中から運転時の周囲環境等に応じた適切な切り出し領域を選択的に設定できるようにしてもよい。
【００７２】
そして、重ね合わせ用フレームメモリ２４に記録された領域Ｂの画像データは、液晶パネル１５へ出力される。液晶パネル１５は、図１に示すように車室内のインストルメントパネル３の上部に配置されており、表示画面上に表示された画像の表示光がフロントガラス８面で反射して運転者の視点６に入るようにされている。つまり運転者は、液晶パネル１５に表示された画像を、フロントガラス８面に表示される虚像として見ることになる。
【００７３】
本実施形態では、重ね合わせ用フレームメモリ２４に記録された領域Ｂの画像が液晶パネル１５に表示され、その表示光がフロントガラス８面に虚像表示される。そのため、運転者は領域Ｂの画像（風景）をフロントガラス８上の虚像として見ることができる。液晶パネル１５と赤外線カメラ１２の相対位置関係及び液晶パネル１５の画面表示は、この虚像表示された領域Ｂの画像が、運転者からみた実際の領域Ｂに相当する風景に重なり合うようにされている。
【００７４】
赤外線カメラ１２と液晶パネル１５の具体的配置方法としては、まず赤外線カメラ１２の位置を決め、赤外線カメラ１２が車両前方を撮影できるよう、つまり図３に示した範囲を撮影できるよう配置する。次に、運転者から見える実際の車両前方の風景と、フロントガラス８に虚像表示される赤外線画像とが重なり合うよう、液晶パネル１５の位置を調整し、重なり合ったところで液晶パネル１５を固定する。
【００７５】
次に、ＣＰＵ２３が実行する、赤外線カメラ用フレームメモリ２１から切り出し領域（領域Ｂ）の画像のみを切り出して重ね合わせ用フレームメモリ２４に記録する赤外線画像切り出し処理について、図４に基づいて説明する。図４は、本実施形態の赤外線画像切り出し処理を示すフローチャートである。この赤外線画像切り出し処理は、図示しない車両のイグニションスイッチのＯＮ後、継続して行われるものである。
【００７６】
この処理が開始されると、まずステップ（以下「Ｓ」と略す）１１０にて、切り出し領域設定メモリ２２内に設定された切り出し領域（領域Ｂ）を読み出し、続くＳ１２０にてヘッドライト１が点灯（つまりヘッドライトスイッチ１４がＯＮ）しているか否かを判断する。ヘッドライト１の消灯中はこのＳ１２０の判断処理が繰り返されることになるが、ヘッドライト１が点灯すると、Ｓ１３０以下の処理に進む。
【００７７】
ここで、本実施形態では、赤外線画像の各画素が図５に示すようなアドレスにて配列されている。即ち、画素列（Ｘ軸）ｍが１〜Ｌ列、画素行（Ｙ軸）ｎが１〜Ｋ行である。つまり、トータル（Ｌ＊Ｋ）個の画素にて赤外線画像が構成されている。
【００７８】
そして、Ｓ１３０以下の処理においては、この画素一つずつに対して処理を行っていく。具体的には、各画素行ｎに対してＳ１４０〜Ｓ１９０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ１４０〜Ｓ１９０の処理においては、各画素列ｍに対してＳ１５０〜Ｓ１８０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返す。つまり、図５に示した撮影画像において、最上行（ｎ＝１）から各行毎に１列目の画素〜Ｌ列目の画素、という順番で最終画素（Ｌ，Ｋ）まで、各画素毎に順次Ｓ１５０〜Ｓ１８０の処理を行うのである。
【００７９】
Ｓ１５０では、赤外線カメラ用フレームメモリ２１に記録された赤外線画像のうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ１６０にて、その読み込んだ画素（ｍ，ｎ）が切り出し領域（領域Ｂ）に当てはまるか否かを判断し、当てはまらない場合はＳ１８０に進んで、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に黒表示のデータを書き込む。黒表示とは即ち、液晶パネル１５に何も表示しない状態をいい、その画素については虚像表示はされないことになる。
【００８０】
一方、Ｓ１６０にて領域Ｂに当てはまると判断された場合はＳ１７０に進み、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に赤外線画像における画素（ｍ，ｎ）のデータを書き込む。この一連の処理が全ての画素について行われると（Ｓ２００）、再びＳ１２０に戻って上記同様の処理を繰り返すことになる。
【００８１】
この結果、重ね合わせ用フレームメモリ２４には、赤外線画像のうち領域Ｂに相当する画像のみが記録され、これが液晶パネル１５に表示されて、運転者がフロントガラス８面の虚像として見ることになる。具体的には、例えば図６のように領域Ｂの画像のみ（本例では道路を横断しようとしている歩行者）が重ね合わせ用フレームメモリ２４に記録され、フロントガラス８に虚像表示される。
【００８２】
以上詳述した通り、本実施形態の表示システムは、赤外線カメラ１２にて撮影した赤外線画像の中から、予め設定した切り出し領域（領域Ｂ）の画像のみを切り出して虚像表示する。この切り出し領域は、ヘッドライトが当たらない領域における所定領域であり、しかもその虚像表示は、フロントガラス８面に表示された領域Ｂの虚像が、運転者からみた実際の領域Ｂに相当する風景に重なり合うようにされている。
【００８３】
従って、本実施形態の表示システムによれば、夜間等の前方が見づらい環境においても、運転中の運転者がフロントガラス８越しに実際に見ている車両前方の景色から視線をそらすことなく肉眼で見え難い場所の景色を視認でき、車両前方の状況を迅速且つ的確に把握して、安全に走行することができる。しかも、運転者から見える実際の景色と虚像とが重なり合っているため、運転者は瞬時に虚像を理解でき、車両前方状況に応じた適切な運転ができるようになる。
【００８４】
また、切り出し領域を予め切り出し領域設定メモリ２２に設定しているため、例えば走行中に視認困難な領域をリアルタイムに解析して切り出す必要や、運転者等による切り出し領域の詳細設定等の煩わしい操作も必要もなく、設定された所定領域に基づく簡単な処理のみで人間の肉眼で見え難い領域に切り出し領域の画像を虚像表示することができる。
【００８５】
尚、本実施形態では、ＣＰＵ２３がヘッドライトスイッチ１４からの信号（ＯＮ／ＯＦＦの信号）を直接取り込むようにしたが、これに限らず例えば電子制御装置（ＥＣＵ）１７から取り込むようにしてもよい。また、ヘッドライト１の点灯中に虚像表示するようにしたが、これに限らず例えば本表示システム専用の起動スイッチを設けてこのスイッチにより起動させるようにしてもよいし、また例えば、照度センサを設けて車両周囲の照度を計測し、所定の照度より低くなったときに自動的に起動するようにしてもよい。
【００８６】
また、本実施形態では赤外線カメラ１２によって、運転者の肉眼では視認困難な風景を撮影するようにしたが、赤外線に限らず、例えば超音波レーダやミリ波レーダを用いるなど、可視光線以外の電磁波であって運転者に見えない風景画像を撮影可能なあらゆる光源及びその撮影機器を適用することができる。
【００８７】
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、赤外線カメラ１２は本発明（請求項１）の撮影手段に相当し、赤外線ライト１１は本発明の不可視光放射手段に相当し、ＣＰＵ２３は本発明（請求項１０）の画像処理手段に相当し、液晶パネル１５は本発明の表示手段に相当する。また、図４の赤外線画像切り出し処理において、Ｓ１６０〜Ｓ１８０の処理はいずれも本発明（請求項１０）の画像処理手段が実行する処理に相当する。
【００８８】
［第２実施形態］
上記第１実施形態では、フロントガラス８面に虚像表示する画像、即ち赤外線画像における切り出し領域（領域Ｂ）を、予め切り出し領域設定メモリ２２に設定しておくようにしたが、本実施形態では、そのように予め固定しておくのではなく、走行中の車両前方の視界状況に応じて切り出す領域を決めるようにしたものである。
【００８９】
図７は本実施形態の表示システムの概略構成を示す説明図であり、図８は本実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。図７，８に示す如く、本実施形態の表示システムは、ヘッドライトスイッチとは別に当該表示システム専用のシステム起動スイッチ３０を設けてこのスイッチ３０によりシステムを起動させるようにしていること、及び、画像処理回路３１に輝度閾値設定メモリ３３を設けてＣＰＵ３４がその設定内容に基づいて切り出し領域を設定することを除いて、基本的には図１，２に示した第１実施形態の表示システムと同じであり、赤外線カメラ１２及び液晶パネル１５の配置方法も第１実施形態と同様である。そのため、図１，２と同じ構成要素には同じ符号を付し、その説明を省略する。
【００９０】
また、本実施形態の赤外線ライト１１は、ヘッドライト１の照射範囲より遠方に赤外線を放射できるよう配置されている。そのため、ヘッドライト１の照射範囲より遠方の風景を撮影することができる。
輝度閾値設定メモリ３３には、赤外線カメラ用フレームメモリ２１に記録された赤外線画像のうち運転者の肉眼で視認困難な領域と視認できる領域とを判別するための輝度閾値Ｚが予め設定されている。ＣＰＵ３４は、赤外線画像を構成する各画素の輝度がこの輝度閾値Ｚより高いものについては全て輝度Ｚに変換し、輝度閾値Ｚ以下のものについてはそのままの輝度にて、重ね合わせ用フレームメモリ２４に記録する。
【００９１】
輝度閾値Ｚは、運転者にとって視認困難と感じる明るさと視認良好と感じる明るさとの境目の明るさ（例えば実験的に求められた適切な明るさ）に対応する赤外線画像の輝度に設定されている。尚、運転者の個人差を考慮して、運転者自身が任意に輝度閾値Ｚを設定できるようにしてもよい。
【００９２】
図９に、ＣＰＵ３４が実行する輝度判定・データ書き込み処理を示す。この輝度判定・データ書き込み処理は、システム起動スイッチ３０のＯＮ期間中、継続して行われるものである。
この処理が開始されると、まずＳ２１０にて、輝度閾値設定メモリ３３から輝度閾値Ｚを読み出して、続くＳ２２０以降の処理に進む。本実施形態でも、赤外線画像の各画素が図５に示すようなアドレスにて配列されており、このＳ２２０からＳ２９０に至る一連の処理は、図４で説明した第１実施形態の赤外線画像切り出し処理と同様、画素一つずつに対して処理を行っていく。つまり、各画素行ｎに対してＳ２３０〜Ｓ２８０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ２３０〜Ｓ２８０の処理においては、各画素列ｍに対してＳ２４０〜Ｓ２７０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返すことになる。
【００９３】
Ｓ２４０では、赤外線カメラ用フレームメモリ２１に記録された赤外線画像のうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ２５０にて、その読み込んだ画素（ｍ，ｎ）の輝度値が輝度閾値Ｚ以下か否かを判断し、輝度閾値Ｚより大きい場合はＳ２７０に進んで、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に輝度値Ｚのデータを書き込む。
【００９４】
一方、Ｓ２５０にて輝度閾値Ｚ以下と判断された場合はＳ２６０に進み、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に赤外線画像における画素（ｍ，ｎ）のデータを書き込む。この一連の処理が全ての画素について行われると（Ｓ２９０）、再びＳ２２０に戻って上記同様の処理を繰り返すことになる。
【００９５】
この結果、重ね合わせ用フレームメモリ２４には、赤外線画像のうち輝度閾値Ｚ以下の画素からなる領域（視認困難領域）についてはそのままの輝度で、それ以外の輝度閾値Ｚより大きい画素からなる領域については全て輝度をＺに変換して記録される。そしてこれが液晶パネル１５に表示され、運転者がフロントガラス８面の虚像として見ることになる。
【００９６】
これにより、運転者にとって視認困難な領域は虚像表示によって前方風景を認識できるようになる。また、視認良好な領域については、輝度をＺに統一しているが、もともと実際の風景が見やすい領域であるため、その領域に輝度値Ｚの画像を虚像表示しても運転者にはほとんどその虚像が認識されない。そのため、輝度閾値Ｚより大きい領域については、輝度値Ｚに統一するのではなく第１実施形態のように黒表示としてもよいし、輝度値Ｚ以下の任意の輝度に統一してもよい。
【００９７】
従って、本実施形態によれば、肉眼では視認困難な領域を虚像にて認識できるため、第１実施形態と同様の作用効果を得ることができる。しかも、本実施形態では、運転者から実際に見える景色が明るければ（つまり輝度閾値Ｚ以下の領域が少なければ）その分虚像表示される領域も小さくなるし、逆に実際の景色が暗ければ（つまり輝度閾値Ｚ以下の領域が大きいと）その分虚像表示される領域も大きくなることになり、第１実施形態のように予め領域を設定する場合に比べ、運転者の視認困難な領域を特定して運転中の周囲環境等にリアルタイムに対応した適切な虚像表示がなされるようになる。
【００９８】
また、輝度閾値Ｚより大きい輝度値の画素領域については全て輝度値Ｚに変換して輝度を落としているため、仮に虚像の位置と実際の位置とがずれてしまっても、赤外線画像をそのまま虚像表示する場合に比べて前方風景が見づらくなることはない。
【００９９】
更に、本実施形態では、赤外線ライト１１からの赤外線をヘッドライト１の照射光より遠方に放射するようにしているため、肉眼では見えないより遠い範囲まで車両前方の状況を認識することができ、より安全な運転が可能となる。
尚、本実施形態ではシステム起動スイッチ３０のＯＮによりシステム起動（虚像表示）されるようにしたが、これに限らず、例えば第１実施形態のようにヘッドライトスイッチＯＮにより起動するようにしてもいいし、また例えば、照度センサを設けて車両周囲の照度を計測し、所定の照度より低くなったときに自動的に起動するようにしてもよい。
【０１００】
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、輝度閾値Ｚは本発明の第１輝度閾値に相当し、ＣＰＵ３４は本発明の第１輝度比較部及び画像抽出部に相当する。また本実施形態の赤外線ライト１１は特に請求項１６の不可視光放射手段に相当するものである。また、図９の輝度判定・データ書き込み処理において、Ｓ２５０の処理は本発明の第１輝度比較部が実行する処理に相当し、Ｓ２６０及びＳ２７０の処理はいずれも本発明の画像抽出部が実行する処理に相当する。
【０１０１】
［第３実施形態］
上記第１及び第２実施形態はいずれも、ヘッドライト１とは別に赤外線ライト１１を配置する構成をとっていたが、本実施形態は、ヘッドライト１のみの照射で赤外線画像を撮影すると共に可視光線による画像（可視光画像）を撮影し、可視光画像の輝度に基づいて赤外線画像の中からフロントガラス８面へ虚像表示すべき領域を決定するものである。
【０１０２】
図１０は、本実施形態の表示システムの概略構成を示す説明図である。図示の如く、本実施形態の表示システムは、可視光画像と赤外線画像を共に撮影可能な可視光線・赤外線両用カメラ（以下単に「両用カメラ」という）４３がフロントガラス８の上部中央に配置され、ヘッドライト１にはフィルタ切替器４２が取り付けられている。
【０１０３】
両用カメラ４３が、運転者の視点６から車両前方をみたときの視野全体を撮影できるようフロントガラス８の上部中央に配置されていること、及び、液晶パネル１５と両用カメラ４３の相対位置関係、液晶パネル１５の画面表示が、虚像表示された画像が運転者からみた実際の風景に重なり合うようにされていることは、上記第１及び第２実施形態における赤外線カメラ１２、液晶パネル１５及びフロントガラス８の場合と全く同様である。
【０１０４】
尚、図１０は車両の側面から見た図であるためヘッドライト１及びフィルタ切替器４２はそれぞれ一つしか記載されていないが、当然ながら、実際にはヘッドライト１は車両前部の左右両側に配置され、その各々にフィルタ切替器４２が取り付けられている。
【０１０５】
そして、これら両用カメラ４３による撮影とフィルタ切替器４２の動作は、後述するように画像処理回路４０内のＣＰＵ４８からの指令に従ってカメラ・フィルタ切替制御装置４１により同期制御される。尚、液晶パネル１５については上記第１及び第２実施形態と同様である。
【０１０６】
フィルタ切替器４２は、図１１に示す如く、全体が円盤状の形状となっているもので、このうち約半分（半円部分）に赤外線透過フィルタ５２が、残り半分の半円部分に赤外線カットフィルタ５３が、それぞれ形成されたフィルタ円盤として構成されている。そして、このフィルタ円盤は回転型アクチュエータ５１により回転される。
【０１０７】
回転型アクチュエータ５１は、例えばステッピングモータを用いて回転位置制御できるものでもいいし、また例えば、一般的なＤＣモータを用いてエンコーダ等により位置制御可能な構成のものでもよく、後述するフィルタ切替器４２と両用カメラ４３との同期制御が確実に行える種々のものを使用できる。
【０１０８】
このフィルタ切替器４２とヘッドライト１との相対位置関係は、概略的に図１２のようになっており、回転型アクチュエータ５１の動作によって、ヘッドライトからの照射光は、赤外線透過フィルタ５２又は赤外線カットフィルタ５３のいずれか（重複する場合もあり）を通過して車両前方に照射されることになる。
【０１０９】
本実施形態では、赤外線カットフィルタ５３で赤外線をカットした時の両用カメラ４３による撮影画像（つまり可視光画像）と、赤外線透過フィルタ５２で赤外線のみを透過させた時の両用カメラ４３による撮影画像（つまり赤外線画像）とを交互に取得し、可視光画像の輝度に基づいて、赤外線画像のうち虚像表示すべき画像領域を決定する。
【０１１０】
より具体的には、図１３に示すように、両用カメラ４３が撮影した画像のうち可視光画像についてはフレームメモリＡ４６に、赤外線画像についてはフレームメモリＢ４７に、それぞれ記録される。一方、輝度閾値設定メモリ３３は、図８で説明した第２実施形態の輝度閾値設定メモリ３３と同じものであって輝度閾値Ｚが設定されている。そして、ＣＰＵ４８はフレームメモリＡ４６の可視光画像を構成する各画素の輝度がこの輝度閾値Ｚより高いものについては全て黒表示とし、輝度閾値Ｚ以下のものについては、その対応する赤外線画像上の画素をそのままの輝度にて重ね合わせ用フレームメモリ２４に記録する。
【０１１１】
図１４に、ＣＰＵ４８が実行する撮影制御処理を示す。この撮影制御処理は、図示は省略したものの例えば第１実施形態のようにヘッドライトスイッチのＯＮにより開始されるようにしてもいいし、また例えば第２実施形態のように専用のシステム起動スイッチのＯＮにより開始されるようにしてもよい。
【０１１２】
この処理が開始されると、まずＳ３１０にて、輝度閾値設定メモリ３３から輝度閾値Ｚを読み出して、続くＳ３２０以降の処理に進む。Ｓ３２０では、フィルタ切替器４２の赤外線カットフィルタ５３をＯＮにして赤外線が車両前方に照射されないようにし、続くＳ３３０にて両用カメラ４３による撮影（つまり可視光画像の撮影）を行い、その画像データをフレームメモリＡ４６に記録する。
【０１１３】
次にＳ３４０では、フィルタ切替器４２の赤外線透過フィルタ５２をＯＮにして赤外線のみが車両前方に照射されるようにし、続くＳ３５０にて両用カメラ４３による撮影（つまり赤外線画像の撮影）を行い、その画像データをフレームメモリＢ４７に記録する。
【０１１４】
尚、Ｓ３２０及びＳ３３０によるフィルタ切替器４２の動作及び可視光画像の撮影は本発明の可視光撮影動作であり、Ｓ３４０及びＳ３５０によるフィルタ切替器４２の動作及び赤外線画像の撮影は本発明の不可視光撮影動作である。
そして、このように可視光画像及び赤外線画像がそれぞれ対応するフレームメモリＡ４６及びフレームメモリＢ４７に記録されると、Ｓ３６０に移行して輝度判定・データ書込処理が実行される。この輝度判定・データ書込処理の詳細は図１５に示す通りであり、図示の如く、上記第１又は第２実施形態と同様、画素一つずつに対して処理が行われる。つまり、各画素行ｎに対してＳ４２０〜Ｓ４７０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ４２０〜Ｓ４７０の処理においては、各画素列ｍに対してＳ４３０〜Ｓ４６０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返すことになる。
【０１１５】
Ｓ４３０では、フレームメモリＡ４６に記録された可視光画像のうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ４４０にて、その読み込んだ画素（ｍ，ｎ）の輝度値が輝度閾値Ｚ以下か否かを判断し、輝度閾値Ｚより大きい場合はＳ４６０に進んで、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に黒表示のデータを書き込む。
【０１１６】
一方、Ｓ４４０にて輝度閾値Ｚ以下と判断された場合はＳ４５０に進み、重ね合わせ用フレームメモリ２４における画素（ｍ，ｎ）に赤外線画像における画素（ｍ，ｎ）のデータを書き込む。この一連の処理が全ての画素について行われると（Ｓ４８０）、再びＳ３２０（図１４）に戻って上記同様の処理を繰り返すことになる。
【０１１７】
この結果、重ね合わせ用フレームメモリ２４には、赤外線画像のうち、可視光画像における輝度閾値Ｚ以下の画素からなる領域（視認困難領域）に対応する領域の画像についてはそのままの赤外線画像の輝度で、それ以外の領域については全て黒表示として記録される。つまり、可視光では見えづらい部分を赤外線で補間したような画像が重ね合わせ用フレームメモリ２４に記憶されることになる。そしてこれが表示手段である液晶パネル１５に表示され、運転者がフロントガラス８面の虚像として見ることになる。尚、回転型アクチュエータ５１の動作速度（回転周波数）は、運転者の目にちらつきを感じさせない程度の速度域（例えば６０Ｈｚ以上）で適宜決めればよい。
【０１１８】
以上詳述したように、本実施形態の表示システムは、フィルタ切替器４２により車両前方に可視光線を照射する場合と赤外線のみを放射する場合とを交互に切り替え、それぞれにおいて両用カメラ４３で撮影している。そのため、ヘッドライト１以外に別途赤外線ライト等を設けることなく、ヘッドライト１からの照射（放射）のみで可視光画像と不可視光画像とを撮影することができ、光源のコスト削減や車両前部における光源配置スペースの使用効率向上が可能となる。
【０１１９】
また、画像撮影についても、一つの両用カメラ４３で可視光画像及び赤外線画像を撮影することができるため、撮影手段としてのカメラのコスト削減や配置スペースの使用効率向上も可能となる。
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、両用カメラ４３は本発明（請求項１９）の撮影手段に相当し、赤外線透過フィルタ５２は本発明の可視光フィルタに相当し、赤外線カットフィルタ５３は本発明の電磁波フィルタに相当し、回転型アクチュエータ５１は本発明のフィルタ切替手段に相当し、ＣＰＵ４８は本発明の切替撮影制御手段及び画像処理手段に相当し、輝度閾値Ｚは本発明の第２輝度閾値に相当する。
また、図１４の撮影制御処理におけるＳ３２０〜Ｓ３６０の処理はいずれも本発明の切替撮影制御手段が実行する処理に相当し、図１５の輝度判定・データ書き込み処理におけるＳ４４０〜Ｓ４６０の処理はいずれも本発明の画像処理手段が実行する処理に相当する。また、図１５の輝度判定・データ書き込み処理におけるＳ４４０の処理で肯定判定される領域は本発明（請求項５）の視認困難領域に相当するものである。
【０１２０】
尚、上記実施形態では、フィルタ切替器４２を構成する各フィルタ５２，５３がいずれも半円形状のものとしたが、これに限らず例えば図２７に示すフィルタ切替器８０のように、いずれも円形状のフィルタとしてもよい。つまり、円形状の赤外線透過フィルタ８１及び赤外線カットフィルタ８２を形成し、ヘッドライト１からの照射光がこれら各フィルタ８２を通るようにするのである。このようにしても上記実施形態と同様の効果が得られる。但し、半円形状の場合に比べるとフィルタを通過する光量が低くなるため、フィルタはできるたけ面積の広いものがよい。
【０１２１】
また、フィルタを駆動するアクチュエータとして本実施形態では回転型アクチュエータ５１を用いるようにしたが、回転型に限らず例えばシャッタ等のリニアに動作するアクチュエータを用いて駆動するようにしてもよく、赤外線のカットと赤外線のみの透過とを交互に且つ運転者の目にちらつきを感じさせない程度の速度で駆動できるものであればどのようなアクチュエータでもよい。
【０１２２】
また、可視光画像で輝度が輝度閾値Ｚより大きい領域については全て黒表示とするようにしたが、黒表示に限定されるわけではなく、例えば第２実施形態と同じように、輝度閾値Ｚ以下の任意の輝度に変換するようにしてもよい。
［第４実施形態］
本実施形態は、運転者に対して注意を喚起する（詳しくは道路上に障害物があることを認識させる）ための障害物報知システムであり、図１６に示す如く、主としてヘッドライト１、光遮断機５６，５７、カメラ５８，画像処理・制御回路５５、液晶パネル１５及びスピーカ５９により構成される。液晶パネル１５は上記各実施形態と全く同様のものである。
【０１２３】
カメラ５８は、可視光線による画像を撮影するための例えばＣＣＤカメラ等の一般的なカメラであり、画像処理・制御回路５５の制御をうけて車両前方の風景を撮影する。尚、運転者の視点６から車両前方をみたときの視野全体を撮影できるよう、フロントガラス８の上部中央に配置されている（図１７参照）。
【０１２４】
光遮断機５６，５７はそれぞれ、詳細には図１７に示すように、左右に配置されたヘッドライト１（１ａ，１ｂ）に取り付けられたものであり、その具体的構成は図１８の通りである。即ち、円盤状の約半分が半円形状にくり抜かれて透過孔７３が形成された光遮断板７２が、回転型アクチュエータ７１にて回転駆動されるものである。
【０１２５】
そして、画像処理・制御回路５５が、後述するように各光遮断機５６，５７の動作及びカメラ５８による撮影を同期制御している。図１７は、右ヘッドライト１ａからの照射光は光遮断機５６の透過孔７３から車両前方へ照射されており、一方の左ヘッドライト１ｂからの照射光は光遮断機５７の光遮断板７２によって遮断されている状態を示している。
【０１２６】
この状態（図１７）でカメラ５８による撮影を行った後は、各光遮断機５６，５７を駆動して図１９に示す状態になる。即ち、図１９の状態は、右ヘッドライト１ａからの照射光は光遮断機５６の光遮断板７２によって遮断されており、一方の左ヘッドライト１ｂからの照射光は光遮断機５７の透過孔７３から車両前方へ照射されている状態を示している。この状態になったときも、カメラ５８により撮影を行う。
【０１２７】
つまり、右ヘッドライト１ａの照射光だけが車両前方に照射されている時の運転席からの風景と、左ヘッドライト１ｂの照射光だけが車両前方に照射されている時の運転席からの風景とを交互に撮影するのである。そして、各ヘッドライト１ａ，１ｂによる撮影が順次行われる毎に、その両画像を比較して後述の撮影制御処理により道路上に障害物があるか否かを検出する。
【０１２８】
こういった各光遮断機５６，５７とカメラ５８との同期制御は、画像処理・制御回路５５により行われる。図２０は、画像処理・制御回路５５の概略構成を示す説明図である。この画像処理・制御回路５５も、上記各実施形態と同様、ヘッドライトスイッチのＯＮにより動作するようにしてもいいし、専用の起動スイッチにより起動するようにしてもよく、動作開始タイミングは適宜決めることができる。
【０１２９】
画像処理・制御回路５５は、大きく分けて画像処理回路６０と、この画像処理回路６０からの指令を受けてカメラ５８及び各光遮断機５６，５７を制御するカメラ・遮断機制御回路６６とで構成されている。カメラ５８にて撮影された風景画像のうち、左ヘッドライト１ｂによる照射光が車両前方へ照射されている時の撮影画像はフレームメモリＡ６１へ記録され、右ヘッドライト１ａによる照射光が車両前方へ照射されている時の撮影画像はフレームメモリＢ６２へ記録される。
【０１３０】
ＣＰＵ６５はこれら両撮影画像を比較して、画像データの異なる部分の輝度の差が輝度閾値設定メモリ６４に設定されている輝度閾値Ｄより大きい場合を、障害物（対象物）の影と判断する。そして、撮影画面上における影の位置から、位置変換パラメータメモリ６３に記憶された位置変換パラメータに基づいて障害物の実際の位置を導出する。
【０１３１】
障害物位置の導出後は、障害物が存在していること及びその位置をスピーカ５９から音声で警告すると共に、障害物が存在していることを示す警告マークを液晶パネル１５に表示してフロントガラス８面に虚像表示させる。
次に、ＣＰＵ６５が実行する撮影制御処理について、図２１に基づいて説明する。ＣＰＵ６５は、所定の条件（例えばヘッドライトスイッチのＯＮなど）が成立するとこの処理を開始する。
【０１３２】
この処理が開始されると、まずＳ５１０にて、輝度閾値設定メモリ６４から輝度閾値Ｄを読み出す。そして、Ｓ５２０に移行してタイマーがゼロになったか否かを判断する。ここでタイマーとは、光遮断機５６，５７の交互動作及びその動作毎のカメラ５８の撮影を、一定の間隔を開けて実行するために設けているものである。
【０１３３】
即ち、上記第１〜第３実施形態の場合は、フロントガラス８に風景画像を虚像表示するため、切れ目のない連続的な画像表示（虚像表示）が必要であった。しかし、本実施形態の場合、風景画像の虚像を表示するのではなく、道路上に障害物があるか否かを判断してあった場合にその旨を運転者に報知するものである。そのため、必ずしも切れ目のない連続的な撮影・障害物検知が必要というわけではなく、運転者が障害物を認識したときにそれを回避できる程度の時間間隔（例えば数十ｍｓｅｃ．毎の画像取り込み・処理）で障害物判定・報知を行えば十分である。よって、本実施形態ではタイマーを設け、一連の処理（Ｓ５３０〜Ｓ５９０）が終了した後は一定時間（タイマーの設定時間）間隔をおいて再びＳ５３０以降の処理を行うようにしている。
【０１３４】
タイマーがゼロになるまではＳ５２０の処理を繰り返すことになるが、タイマーがゼロになるとＳ５３０に進む。Ｓ５３０では、右ヘッドライト１ａに取り付けられた光遮断機５６をＯＮして左ヘッドライト１ｂに取り付けられた光遮断機５７をＯＦＦすることにより、左ヘッドライト１ｂからの照射光のみが車両前方に照射されるようにする。そしてＳ５４０に進み、この状態でカメラ５８による撮影を行い、その撮影画像をフレームメモリＡに記録する。
【０１３５】
このときのフレームメモリＡに記録された撮影画像例を図２３（ａ）に示す。図２３（ａ）のうち左側の画像Ａが、フレームメモリＡに記録された撮影画像であり、道路のほぼ中央部に障害物があってその影が障害物の右後方にのびている様子を示している。
【０１３６】
続くＳ５５０では、左ヘッドライト１ｂに取り付けられた光遮断機５７をＯＮして右ヘッドライト１ａに取り付けられた光遮断機５６をＯＦＦすることにより、右ヘッドライト１ａからの照射光のみが車両前方に照射されるようにする。そしてＳ５６０に進み、この状態でカメラ５８による撮影を行い、その撮影画像をフレームメモリＢに記録する。
【０１３７】
このときのフレームメモリＢに記録された撮影画像例を図２３（ａ）に示す。図２３（ａ）のうち右側の画像Ｂが、フレームメモリＢに記録された撮影画像であり、道路のほぼ中央部に障害物があってその影が障害物の左後方にのびている様子を示している。そして、図２３（ａ）に例示した二つの撮影画像は、影の部分を除いて両者はほぼ一致している。
【０１３８】
そして、Ｓ５７０に進んで二つの光遮断機５６，５７を共にＯＦＦにし、両ヘッドライト１ａ，１ｂからの照射光が共に車両前方へ照射されるようにする。そしてＳ５９０に進み、障害物報知処理を実行する。
Ｓ５９０の障害物報知処理の詳細は図２２に示す通りであり、まずＳ６００にて物***置座標（Ｘ，Ｙ）を原点（０，０）に設定する。ここで、物***置座標（Ｘ，Ｙ）とは、障害物の根本（正確には障害物の影の根本）の座標を示すものであり、本処理開始時は原点に設定し、以後の処理で障害物の影が判断される毎にこの座標を更新していくことになる。また、本実施形態における撮影画像の画素構成（座標配列）は、図５で説明した画素配列と全く同様である（図２３参照）。
【０１３９】
Ｓ６００で物***置座標を原点に設定した後は、Ｓ６１０以降の処理に進む。この中でＳ６１０〜Ｓ６８０の処理については、画素一つずつに対して処理を行っていく。具体的には、各画素行ｎに対してＳ６２０〜Ｓ６７０の処理をｎ＝１からｎ＝Ｋとなるまで繰り返す。また、Ｓ６２０〜Ｓ６７０の処理においては、各画素列ｍに対してＳ６３０〜Ｓ６６０の処理をｍ＝１からｍ＝Ｌとなるまで繰り返す。つまり、図２３（ａ）に示した各撮影画像において、最上行（ｎ＝１）から各行毎に１列目の画素〜Ｌ列目の画素、という順番で最終画素（Ｌ，Ｋ）まで、各画素毎に順次Ｓ６３０〜Ｓ６６０の処理を行うのである。
【０１４０】
Ｓ６３０では、フレームメモリＡ６１に記録された画像Ａのうち対応する画素（ｍ、ｎ）と、フレームメモリＢ６２に記録された画像Ｂのうち対応する画素（ｍ、ｎ）を読み込む。そして、続くＳ６４０にて、その読み込んだ各画像Ａ，Ｂの各画素（ｍ，ｎ）の差分を求め、その差分の絶対値を画面Ｃにおける画素（ｍ，ｎ）の輝度として設定する。図２３（ｂ）に画像Ｃの例を示す。画像Ｃは画像Ａと画像Ｂの各画素の差分の絶対値をとったものであり、図２３（ａ）の画像Ａと画像Ｂとで異なる部分は障害物の影の部分のみであるため、結果として画像Ｃはこの影の部分のみが抽出された画像となる。尚、この画像Ｃは撮影画像の全画素についてＳ６３０〜Ｓ６６０の処理を行った結果生成されるものとして例示したものである。
【０１４１】
Ｓ６５０では、画像Ｃにおける画素（ｍ，ｎ）の輝度値が輝度閾値設定メモリ６４に設定されている輝度閾値Ｄより高いか否かを判断し、低い場合は影ではないものとしてＳ６７０に移行するが、高い場合は、影であると判断してＳ６６０に進み、物***置座標（Ｘ，Ｙ）に座標（ｍ，ｎ）を上書きする。
【０１４２】
このように全ての画素について上記処理を行うことにより、最終的には物***置座標（Ｘ，Ｙ）には障害物の影の付け根の座標（ｍ，ｎ）（図２３（ｂ）参照）が上書きされた状態となる。
そして、Ｓ６９０に移行し、得られた物***置座標（ここでは障害物の影の付け根座標（ｍ，ｎ））を位置変換パラメータと照らし合わせて、実際の位置を導出する。図２４に、本実施形態の位置変換パラメータを示す。この位置変換パラメータは、撮影画像中の全ての画素に対応した物***置座標（Ｘ，Ｙ）に対して実際の位置に関する情報が対応づけられて登録されたものである。
【０１４３】
即ち、例えば物***置座標が（１，１）の場合（つまり画面の最左上）、位置変換パラメータに照らし合わせることにより、実際の位置は自車からの距離（但しＹ軸成分のみ）がＺ１［ｍ］で道路外に位置していることが読みとれる。また例えば、物***置座標が（Ｘ，１００）の場合、位置変換パラメータに照らし合わせることにより、実際のＹ軸方向距離は２５０ｍであることがわかる。このように、物***置座標（Ｘ，Ｙ）から実際の障害物の位置がすぐに導き出せるようになっているのである。
【０１４４】
尚、本例では位置情報としてＹ軸方向の距離と、道路上であるか否かの情報をパラメータとして登録したが、これに限定されないことはいうまでもなく、例えばＸ，Ｙ両成分を加味したより正確な距離を導出できるようにしてもよい。また、道路上か否かについては、走行する道路の幅や車線数などによって異なるため、図２４のように固定化したパラメータとするのではなく、例えばナビゲーションシステム等によって走行中の道路幅・形状等を割り出し、その結果を元に道路外か否かを判断できるようにしてもよい。
【０１４５】
Ｓ６９０で位置変換パラメータと照らし合わせることにより障害物の位置を導出したら、Ｓ７００に進み、障害物が道路外にあるか否かを判断する。そして、道路外であれば、そのままこの処理を終了して図２１の本処理に戻り、Ｓ５９０にてタイマーをセットした後再びＳ５２０に戻る。一方、Ｓ７００で道路内と判断された場合は、Ｓ７１０に進み、障害物マークをフロントガラス面に虚像表示すると共に、障害物が発見されたこと及び自車に対する位置情報をスピーカ５９にて警告（音声出力）する。
【０１４６】
図２５に、障害物マークの虚像表示例及び警告の音声出力例を示す。図示の如く、運転者から実際の障害物（ここでは歩行者）をみたときにその障害物に重なり合うように警告マークが虚像表示される。また、運転席右下部のスピーカ５９からは、障害物までの距離が音声出力される。尚、本例では警告マークのみを虚像表示する場合を示したが、警告マークに加えて障害物までの距離も虚像表示するようにしてもよい。或いは、警告マークの代わりに距離の虚像表示のみとしてもよい。さらに、音声警告または虚像表示のいずれか一方のみにしてもよい。更にまた、例えば「右側前方に障害物あり・・・」というような、だいたいの位置のみを警告するようにしてもよい。
【０１４７】
従って、本実施形態の障害物報知システムによれば、仮に運転者が視覚で見落とした場合であっても運転者は障害物の存在を迅速に認識・対処できる。また、虚像表示と音声警告を共に用いており、しかも音声によって障害物までの距離をも報知するようにしているため、障害物に対してより迅速且つ適切に対処することができる。
【０１４８】
また、本実施形態では、位置変換パラメータによって障害物の実際の位置を導出するようにしているため、複雑な数値演算等を行う必要なく、撮影画像中の影の位置から実位置を簡単に得ることができ、本障害物報知システムを簡単な構成で実現できる。
【０１４９】
更に、本実施形態では、単に障害物の存在或いは障害物までの距離を報知するのみでなく、道路外にあるか否かの情報まで報知するようにしている。そのため、例えば距離のみが報知されるようなシステムに比べ、より正確な情報が運転者に与えられることになり、障害物報知により運転者に与える負担（道路上にあるものなのか否かの判断にかかる負担）や煩わしさを抑えることができる。
【０１５０】
更にまた、本実施形態では、障害物報知を連続的に実行するのではなく、タイマーを用いて一定間隔毎で実行するようにしているため、連続的に常時行う場合に比べて左右ヘッドライト１ａ，１ｂからの照射光が同時に照射される時間が長くなり、視界を良好に保てる。
【０１５１】
尚、本実施形態の光遮断機５６，５７は、透過孔７３の形状を半円形としたが、これに限らず例えば図２７で説明したフィルタ切替器８０と同じように円形の透過孔としてもよく、その形状は、ヘッドライト光を十分に照射できる範囲内で自由に決めることができる。
【０１５２】
本実施形態では左右のヘッドライト光を交互に照射させてそれぞれの影のでき方の違いをみて障害物を判断するようにしたが、ヘッドライト以外の他の光源を複数用いて同様に障害物の判断を行うようにしてもよい。また、光源の数も本例のように二つに限らず、３つ以上として各々の撮影画像を比較するようにしてもよい。
【０１５３】
ここで、本実施形態の構成要素と本発明の構成要素の対応関係を明らかにする。本実施形態において、光遮断機５６，５７は本発明の遮断手段に相当し、カメラ５８は本発明（請求項２０）の撮影手段に相当し、右ヘッドライト１ａ及び左ヘッドライト１ｂはいずれも本発明の光源に相当し、ＣＰＵ６５は本発明の一光源撮影制御手段、対象物判定手段、位置導出手段及び道路上判定手段に相当し、位置変換パラメータメモリ６３は本発明の記憶手段に相当し、位置変換パラメータは本発明の位置導出パラメータに相当し、液晶パネル１５及びスピーカ５９は本発明の報知手段に相当し、このうち特に液晶パネル１５は本発明の表示手段にも相当するものである。また、図２４の位置変換パラメータにおいて物***置座標（Ｘ，Ｙ）に対応づけてそれぞれ登録されているＹ軸方向距離及び位置（道路外又は道路内）が本発明の実位置に相当するものである。
【０１５４】
また、図２１の撮影制御手段において、Ｓ５３０〜Ｓ５６０の各処理はいずれも本発明の一光源撮影制御手段が実行する処理に相当する。また、図２２の障害物報知処理において、Ｓ６４０及びＳ６５０の処理はいずれも本発明の対象物判定手段が実行する処理に相当し、Ｓ６９０の処理は本発明の位置導出手段が実行する処理に相当し、Ｓ７００の処理は本発明の道路上判定手段が実行する処理に相当する。
【０１５５】
以上、本発明の実施の形態について詳述したが、本発明の実施の形態は、上記各実施形態に何ら限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採り得ることはいうまでもない。
例えば、上記第３実施形態では、図１２に示すようにフィルタ切替器４２をヘッドライト１に取り付けるようにしたが、ヘッドライト１への取り付けに代えて、例えば図２６に示すように、両用カメラ４３に取り付けるようにしてもよい。
【０１５６】
即ち、ヘッドライト１の照射光（詳しくはその反射光）を含む車両前方からの光に対し、赤外線カットフィルタ５３にて赤外線をカットした光のみを両用カメラ４３に取り込んで撮影することにより可視光画像を撮影し、一方、赤外線透過フィルタ５２にて赤外線のみを両用カメラ４３に取り込んで撮影することにより赤外線画像を撮影するのである。つまり、フィルタ切替器４２の位置を両用カメラ４３側にもってきただけで他は第３実施形態と同じである。このようにしても、第３実施形態と同様の作用・効果を得ることができる。
【０１５７】
尚、この場合、ヘッドライト１とは別に赤外線ライトを配置して赤外線を車両前方に放射するようにしてもよい。つまり第１又は第２実施形態と同様の赤外線ライト１１を配置してもよい。このようにすれば、ヘッドライト▲１▼のみの場合よりも赤外線画像をより鮮明に撮影することができ、より確実に車両前方の状況を知ることができる。
【０１５８】
また、上記各実施形態では、虚像表示のための表示手段として液晶パネル１５を採用したが、これに限らず、表示光を出射してそれがフロントガラス８に反射することによって運転者が虚像として見ることができる構成の表示手段であれば何でもよい。また、この表示手段からの出射光が上記各実施形態のように直接フロントガラス８に当たるようにする方法以外にも、例えば反射鏡等を介したり、或いはレンズ等による屈折等を介してフロントガラス８に当たるようにしてもよく、結果として運転者が虚像を見ることができる限りその具体的構成は限定されない。
【図面の簡単な説明】
【図１】第１実施形態の表示システムの概略構成を示す説明図である。
【図２】第１実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。
【図３】切り出し領域（領域Ｂ）の一例を示す説明図である。
【図４】第１実施形態の赤外線画像切り出し処理を示すフローチャートである。
【図５】撮影画像の画素（ｍ，ｎ）を表す説明図である。
【図６】第１実施形態の撮影画像における切り出し領域（領域Ｂ）の具体例を示す説明図である。
【図７】第２実施形態の表示システムの概略構成を示す説明図である。
【図８】第２実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。
【図９】第２実施形態の輝度判定・データ書き込み処理を示すフローチャートである。
【図１０】第３実施形態の表示システムの概略構成を示す説明図である。
【図１１】フィルタ切替器の構成を示す説明図である。
【図１２】第３実施形態の、可視光線・赤外線両用カメラとフィルタ切替器とが同期制御されることを説明するためのシステム構成図である。
【図１３】第３実施形態の表示システムにおける画像処理回路の構成を示すブロック図である。
【図１４】第３実施形態の撮影制御処理を示すフローチャートである。
【図１５】図１４の撮影制御処理における輝度判定・データ書き込み処理を示すフローチャートである。
【図１６】第４実施形態の障害物報知システムの概略構成を示す説明図である。
【図１７】第４実施系他の障害物報知システムにおける、ヘッドライト，光遮断機及びカメラの設置例を表す説明図である。
【図１８】光遮断機の構成を示す説明図である。
【図１９】第４実施形態の、カメラと光遮断機とが同期制御されることを説明するためのシステム構成図である。
【図２０】第４実施形態の画像処理・制御回路の構成を表すブロック図である。
【図２１】第４実施形態の撮影制御処理を示すフローチャートである。
【図２２】図２１の撮影制御処理における障害物報知処理を示すフローチャートである。
【図２３】第４実施形態における、障害物までの距離を得る原理を説明する図であり、（ａ）は、左・右各ヘッドライト点灯時の撮影画像を示し、（ｂ）は、各撮影画像から障害物の影のみを抽出した画像を示す。
【図２４】第４実施形態の位置変換パラメータを示す説明図である。
【図２５】第４実施形態の、検出した障害物を運転者に報知する具体例を示す説明図である。
【図２６】図１２のシステム構成図の変形例を示す図である。
【図２７】第３実施形態のフィルタ切替器（図１１）の変形例を示す説明図である。
【図２８】従来の表示システムの概略構成を示す説明図である。
【図２９】従来の表示システムの概略構成を示すブロック図である。
【符号の説明】
１・・・ヘッドライト、１ａ・・・右ヘッドライト、１ｂ・・・左ヘッドライト、２・・・ハンドル、３・・・インストルメントパネル、６・・・視点、８・・・フロントガラス、１１・・・赤外線ライト、１２・・・赤外線カメラ、１３，３１，６０・・・画像処理回路、１４・・・ヘッドライトスイッチ、１５・・・液晶パネル、２１・・・赤外線カメラ用フレームメモリ、２２・・・切り出し領域設定メモリ、２４・・・合わせ用フレームメモリ、３０・・・システム起動スイッチ、３３，６４・・・輝度閾値設定メモリ、４１・・・カメラ・フィルタ切替制御装置、４２，８０・・・フィルタ切替器、４３・・・両用カメラ、５１，７１・・・回転型アクチュエータ、５２，８１・・・赤外線透過フィルタ、５３，８２・・・赤外線カットフィルタ、５５・・・画像処理・制御回路、５６，５７・・・光遮断機、５８・・・カメラ、５９・・・スピーカ、６３・・・位置変換パラメータメモリ、６６・・・カメラ・遮断機制御回路、７２・・・光遮断板、７３・・・透過孔

Claims

車両前方の状況を表示して運転者の運転を支援する方法であって、
可視光線以外の電磁波による画像を撮影する撮影手段により車両前方の風景を撮影し、該撮影した画像である不可視光画像のうち少なくとも、運転者の肉眼では見えにくい視認困難領域の画像を、運転者から見える実際の景色と重なり合うようにフロントガラス面に虚像表示する
ことを特徴とする運転支援方法。
前記視認困難領域は、当該車両のヘッドライトを点灯した際にその照射光による当該車両への反射輝度が所定輝度以下となる領域である
ことを特徴とする請求項１記載の運転支援方法。
前記視認困難領域は予め設定された所定領域であることを特徴とする請求項１又は２記載の運転支援方法。
前記視認困難領域は、前記不可視光画像の中で輝度が所定の第１輝度閾値以下の画素からなる領域である
ことを特徴とする請求項１記載の運転支援方法。
前記撮影手段は、可視光線を集光して撮影を行う可視光撮影機能も備えると共に、該可視光撮影機能による撮影と前記不可視光画像の撮影とを交互に行うよう構成されており、
連続して撮影された、前記可視光撮影機能による撮影画像である可視光画像及び前記不可視光画像に対し、前記可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する前記不可視光画像内の領域を、前記視認困難領域とする
ことを特徴とする請求項１記載の運転支援方法。
前記フロントガラス面への虚像表示は、当該車両のヘッドライトが点灯しているときに行う
ことを特徴とする請求項１〜５いずれかに記載の運転支援方法。
運転者に対し注意を喚起する運転支援方法であって、
車両に搭載された複数の光源からの光を、二つ以上の前記光源から同時に光が照射されることのないよう順次車両前方へ照射して該照射毎に該光源による光を撮影可能な撮影手段によって車両前方の風景を撮影し、
該撮影手段による前記各光源毎の撮影画像を相互比較して、該各撮影画像相互間で異なる部分があった場合に、該異なる部分を対象物の影と判断して車両前方に該対象物があることを運転者に報知する
ことを特徴とする運転支援方法。
前記各光源毎の撮影画像相互間で異なる部分の輝度の差が所定の第３輝度閾値より高い場合に、該異なる部分が前記対象物の影であると判断する
ことを特徴とする請求項７記載の運転支援方法。
前記対象物の影の位置に基づいて当該車両に対する該対象物の実際の位置である実位置を導出し、前記報知の際、少なくとも前記導出した実位置を報知する
ことを特徴とする請求項７又は８記載の運転支援方法。
車両に搭載され、車両前方の状況を表示して運転者の運転を支援するための表示システムであって、
ヘッドライトとは別に搭載され、可視光線以外の電磁波を車両前方に放射する不可視光放射手段と、
車両前方の風景を撮影するために設置され、前記可視光線以外の電磁波による画像を撮影する撮影手段と、
該撮影手段により撮影した画像である不可視光画像から少なくとも、運転者の肉眼では見えにくい視認困難領域の画像を抽出する画像処理手段と、
画像表示面から表示光を出射することにより前記画像処理手段が抽出した画像を前記フロントガラス面に虚像表示する表示手段と、
を備え、
前記撮影手段及び前記表示手段は、前記虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うような相対位置関係となるよう、それぞれ設置される
ことを特徴とする表示システム。
前記視認困難領域は、前記ヘッドライトを点灯した際にその照射光による当該車両への反射輝度が所定輝度以下となる領域である
ことを特徴とする請求項１０記載の表示システム。
前記視認困難領域は予め設定された所定領域であることを特徴とする請求項１０又は１１記載の表示システム。
前記画像処理手段は、
前記不可視光画像を構成する各画素の輝度と予め設定した第１輝度閾値とを比較する第１輝度比較部と、
該第１輝度比較部により前記第１輝度閾値以下と判断された画素からなる領域を前記視認困難領域として、該視認困難領域の画像を抽出する画像抽出部と、
を備えていることを特徴とする請求項１０記載の表示システム。
前記画像抽出部は、
前記不可視光画像における前記視認困難領域以外の画像についても、該画像を構成する各画素の輝度を前記第１輝度閾値以下の所定の輝度に変換して、前記視認困難領域の画像と共に抽出する
ことを特徴とする請求項１３記載の表示システム。
前記表示手段による前記フロントガラス面への虚像表示は、当該車両のヘッドライトが点灯しているときに行われる
ことを特徴とする請求項１０〜１４いずれかに記載の表示システム。
前記不可視光放射手段は、前記ヘッドライト光の照射範囲よりも広い範囲又は遠方に前記電磁波を放射できるよう構成されている
ことを特徴とする請求項１０〜１５いずれかに記載の表示システム。
車両に搭載され、車両前方の状況を表示して運転者の運転を支援するための表示システムであって、
車両前方の風景を撮影するために設置され、可視光線による画像である可視光画像及び可視光線以外の電磁波による画像である不可視光画像を共に撮影可能な撮影手段と、
該撮影手段へ入射する可視光線を遮断する可視光フィルタと、
該撮影手段へ入射する前記電磁波を遮断する電磁波フィルタと、
前記可視光フィルタ及び前記電磁波フィルタの切り替えを行うフィルタ切替手段と、
前記電磁波フィルタにより前記電磁波を遮断して前記撮影手段により前記可視光画像を撮影する可視光撮影動作、及び前記可視光フィルタにより可視光線を遮断して前記撮影手段により前記不可視光画像を撮影する不可視光撮影動作が交互に行われるよう、前記フィルタ切替手段と前記撮影手段とを同期制御する切替撮影制御手段と、
前記切替撮影制御手段の動作により順次得られる前記可視光画像及び前記不可視光画像に対し、前記可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する前記不可視光画像内の領域の画像を抽出する画像処理手段と、
画像表示面から表示光を出射することにより前記画像処理手段が抽出した画像を前記フロントガラス面に虚像表示する表示手段と、
を備え、
前記撮影手段及び前記表示手段は、前記虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うような相対位置関係となるよう、それぞれ設置される
ことを特徴とする表示システム。
ヘッドライトとは別に、前記電磁波を当該車両の前方に放射する不可視光放射手段を備えている
ことを特徴とする請求項１７記載の表示システム。
車両に搭載され、車両前方の状況を表示して運転者の運転を支援するための表示システムであって、
車両前方の風景を撮影するために設置され、可視光線による画像である可視光画像及び可視光線以外の電磁波による画像である不可視光画像を共に撮影可能な撮影手段と、
ヘッドライトから車両前方へ照射される照射光のうち可視光線を遮断する可視光フィルタと、
ヘッドライトから車両前方へ照射される照射光のうち前記電磁波を遮断する電磁波フィルタと、
前記可視光フィルタ及び前記電磁波フィルタの切り替えを行うフィルタ切替手段と、
前記電磁波フィルタにより前記ヘッドライトからの前記電磁波を遮断して前記撮影手段により前記可視光画像を撮影する可視光撮影動作、及び前記可視光フィルタにより前記ヘッドライトからの可視光線を遮断して前記撮影手段により前記不可視光画像を撮影する不可視光撮影動作が交互に行われるよう、前記フィルタ切替手段と前記撮影手段とを同期制御する切替撮影制御手段と、
前記切替撮影制御手段の動作により順次得られる前記可視光画像及び前記不可視光画像に対し、前記可視光画像の中で輝度が所定の第２輝度閾値以下の画素からなる領域に対応する前記不可視光画像内の領域の画像を抽出する画像処理手段と、
画像表示面から表示光を出射することにより前記画像処理手段が抽出した画像を前記フロントガラス面に虚像表示する表示手段と、
を備え、
前記撮影手段及び前記表示手段は、前記虚像表示された画像が運転者から見える実際の景色における該画像に対応する領域と重なり合うような相対位置関係となるよう、それぞれ設置される
ことを特徴とする表示システム。
車両に搭載され、運転者に対し注意を喚起するための報知システムであって、
当該車両前方を照射する複数の光源と、
該各光源毎に設けられ、該光源から車両前方への照射光を遮断する遮断手段と、
前記各光源による照射光を集光して撮影する撮影手段と、
いずれか一つの光源による照射光のみを車両前方に照射して他の全ての光源からの照射光をそれぞれ対応する前記遮断手段によって遮断する一光源照射動作を各光源毎に順次行うと共に、該各一光源照射動作の実行毎に前記撮影手段による撮影が行われるよう、前記各遮断手段と前記撮影手段とを同期制御する一光源撮影制御手段と、
該一光源撮影制御手段により得られた前記各一光源照射動作毎の撮影画像を相互比較して、該各撮影画像相互間で異なる部分があった場合に、該異なる部分を対象物の影と判断する対象物判定手段と、
該対象物判定手段により前記対象物の影が判断されたときに該対象物があることを運転者に報知する報知手段と、
を備えたことを特徴とする報知システム。
前記対象物判定手段は、前記異なる部分の輝度の差が所定の第３輝度閾値より高いか否かを判断し、高い場合に前記対象物の影と判断する
ことを特徴とする請求項２０記載の報知システム。
更に、前記撮影画像中における前記対象物の影の位置に基づいて当該車両に対する前記対象物の実際の位置である実位置を導出する位置導出手段を備え、
前記報知手段は、少なくとも、前記位置導出手段により導出された前記実位置を報知する
ことを特徴とする請求項２０又は２１記載の報知システム。
前記撮影画像中における前記対象物の影の位置と前記実位置との対応関係を示す位置導出パラメータを記憶した記憶手段を備えており、前記位置導出手段は、前記記憶手段に記憶された位置導出パラメータに従って前記実位置を導出する
ことを特徴とする請求項２２記載の報知システム。
前記報知手段は、音声により前記報知を行うことを特徴とする請求項２０〜２３いずれかに記載の報知システム。
前記報知手段は、画像表示面から表示光を出射することにより該画像表示面上の画像をフロントガラス面に虚像表示する表示手段を備え、前記対象物判定手段により前記対象物の影が判断されたとき、前記報知を、前記表示手段による前記フロントガラス面への虚像表示により行う
ことを特徴とする請求項２０又は２１記載の報知システム。
前記報知手段は、前記対象物判定手段により前記対象物の影が判断されたとき、該対象物があることを示す警告マークを前記フロントガラス面へ虚像表示することにより前記報知を行う
ことを特徴とする請求項２５記載の報知システム。
前記報知手段は、画像表示面から表示光を出射することにより該画像表示面上の画像をフロントガラス面に虚像表示する表示手段を備え、前記対象物判定手段により前記対象物の影が判断されたとき、前記位置導出手段により導出された前記実位置を前記表示手段が前記フロントガラス面へ虚像表示させることにより前記報知を行う
ことを特徴とする請求項２２又は２３記載の報知システム。
前記表示手段は、前記虚像表示を、該虚像表示に対応した対象物を運転者が見たときに該対象物と重畳するように行う
ことを特徴とする請求項２５〜２７いずれかに記載の報知システム。
前記撮影画像中における前記対象物の影の位置に基づいて前記対象物の影が走行中の道路上に位置しているか否かを判定する道路上判定手段を備え、
前記報知手段は、前記道路上判定手段により前記対象物の影が前記道路上に位置していると判定された場合に、前記報知を行う
ことを特徴とする請求項２０〜２８いずれかに記載の報知システム。