JP3968867B2

JP3968867B2 - 表示処理装置

Info

Publication number: JP3968867B2
Application number: JP11557298A
Authority: JP
Inventors: 朗白鳥
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1998-04-24
Filing date: 1998-04-24
Publication date: 2007-08-29
Anticipated expiration: 2018-04-24
Also published as: JPH11308609A

Description

【０００１】
【発明の属する技術分野】
本発明は、車外風景を肉眼で視認することに支障を来す状況でドライバの視覚を補助する機能を備えた表示処理装置に関する。
【０００２】
【従来の技術】
ドライバにとって車外からの視覚情報は運転操作上きわめて重要である。しかしながら、夜間の低照度環境や対向車のライトのような強力な光源の存在によって眩惑されるような環境で運転しなければならない場合も多い。このような肉眼での視認性が悪い環境では注意深いドライバにとっても自車に接近する歩行者などの対象物の発見が遅れがちである。
【０００３】
このようなドライバ側の生理学的な問題をカバーするための技術として、例えば、特開平５−１３７０３０号公報には、照明の届かない低照度環境の風景を、赤外線を検出して結像させる走査部を用いて表示部に映し出す装置（従来例１）が開示されている。また特開平６−２７０７５１号公報には、対向車のヘッドライトなどによる眩惑領域内に歩行者などの対象物が存在すると警報を発する装置（従来例２）が開示されている。さらに、特開平８−２６３７８４号公報には、赤外線カメラなどの温度検出手段で検出した車両前方の温度分布をビデオカメラなどの撮像手段による画像に合成する装置（従来例３）が開示されている。
【０００４】
【発明が解決しようとする課題】
ところが、これらの従来のドライバの視覚を補助するための表示処理装置では、次のような問題点があった。
【０００５】
上記の従来例１及び従来例３の装置では、歩行者などの対象物の近傍だけでなく、表示手段上の全面に赤外線画像を単独であるいは合成して表示する。一方、歩行者などの対象物を明確に判別するためには、ある程度高解像度の検出手段と表示手段が必要となる。しかるに、従来例１及び従来例３の装置では、表示手段に表示される赤外線画像には建物や植込み、空や雲まで映し出されることになるため、そのような高解像度の画像をドライバに表示する場合、次のような問題点があった。
【０００６】
◇ドライバにとって、複雑な視覚情報を運転中に一瞥して把握することは困難である。
【０００７】
◇肉眼による低視界の風景と映し出されている鮮明な画像との差異が大きすぎ、表示画面内の対象物の存在位置を、実視野内で照合することが困難である。
【０００８】
◇表示手段に動画像で表示する場合、ドライバが無意識に画面に見入るために車両周囲にまんべんなく気を配ることが疎かになりやすい。
【０００９】
また従来例２の装置では、装置側の眩惑領域の設定に周囲照度やドライバの個人差を考慮していないために、実際にはドライバが眩惑を起こしていないのに警報が発せられ、煩わしさを感じさせる問題点があった。
【００１０】
さらに、従来例１に開示されている装置の応用として、眩惑時に前方の風景を赤外線カメラで撮影して表示手段に表示させる装置が考えられる。しかしながら、対向車のヘッドライトのような強力な光源の存在で眩惑されると、自車のヘッドライトの照射範囲に存在していて本来ならば視認できる近距離の対象物がドライバにとって見えない状態となり、ドライバにとって表示手段に表示されている対象物を肉眼では視認できない理由を瞬時に理解することができず、眩惑が解消したときには対象物が自車の直近まで接近していて慌てることになる事態が起こり得る問題点がある。
【００１１】
本発明はこのような従来の問題点を解決するためになされたものであり、車外風景を肉眼で視認することに支障を来す状況でドライバの視覚を確実に補助して、ドライバに複雑な視覚情報を運転中に一瞥して把握させることができる表示処理装置を提供することを目的とする。
【００１２】
本発明はまた、ドライバの生理学的な個性に応じてその視覚補助作用を調整できる表示処理装置を提供することを目的とする。
【００１６】
【課題を解決するための手段】
請求項１の発明の表示処理装置は、可視光による第１の風景画像を得る第１の撮影手段と、前記可視光以外の光線又は電磁波による第２の風景画像を得る第２の撮影手段と、ドライバにとって視認困難な視界部位に該当する前記第１の風景画像上の部位を合成領域として決定する領域決定手段と、前記第２の風景画像から前記合成領域に該当する部位を切出し、前記第１の風景画像の対応する部位に合成して合成画像を得る画像合成手段と、前記合成画像を表示する表示手段とを備えたものである。
【００１７】
請求項１の発明の表示処理装置では、第１の撮影手段が可視光による第１の風景画像を得、第２の撮影手段が可視光以外の光線又は電磁波による第２の風景画像を得、領域決定手段がドライバにとって視認困難な視界部位に該当する第１の風景画像上の部位を合成領域として決定する。これを受けて、画像合成手段が第２の風景画像から合成領域に該当する部位を切出して第１の風景画像の対応する部位に合成して合成画像を得、表示手段に表示させる。
【００１８】
これによって、表示手段にはドライバにとって視認できる部分は通常の可視光による風景を表示し、かつ肉眼では視認困難な視界部位には可視光以外の光線又は電磁波による風景を合成して表示することができ、ドライバにとって表示手段の表示画像を一瞥して前方風景の全体を把握できるようになる。
【００１９】
請求項２の発明は、請求項１の表示処理装置において、前記領域決定手段が、高輝度の光源により眩惑を起こす視界部位を前記ドライバにとって視認困難な視界部位と決定するようにしたものであり、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００２０】
請求項３の発明は、請求項１の表示処理装置において、前記領域決定手段が、低照度環境で対象物の写っている視界部位を前記ドライバにとって視認困難な視界部位と決定するようにしたものであり、照明灯に映し出されないような低照度の領域に存在しているためにドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００２１】
請求項４の発明の表示処理装置は、可視光による第１の風景画像を得る第１の撮影手段と、前記可視光以外の光線又は電磁波による第２の風景画像を得る第２の撮影手段と、前記第１の風景画像上の所定の輝度閾値を上回る部位を合成領域として決定する領域決定手段と、前記第２の風景画像から前記合成領域に該当する部位を切出し、前記第１の風景画像の対応する部位に合成して合成画像を得る画像合成手段と、前記合成画像を表示する表示手段とを備えたものである。
【００２２】
請求項４の発明の表示処理装置では、第１の撮影手段が可視光による第１の風景画像を得、第２の撮影手段が可視光以外の光線又は電磁波による第２の風景画像を得、領域決定手段が第１の風景画像上の所定の輝度閾値を上回る部位を合成領域として決定する。これを受けて、画像合成手段が第２の風景画像から合成領域に該当する部位を切出して第１の風景画像の対応する部位に合成して合成画像を得、表示手段に表示させる。
【００２３】
これによって、高輝度の光源により眩惑を起こす視界部位が合成領域となるように輝度閾値を設定すれば、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００２４】
請求項５の発明は、請求項４の表示処理装置において、前記領域決定手段が、前記第１の風景画像上の前記所定の輝度閾値を上回る部位に対して、縦横に所定率だけ拡大した領域を合成領域として決定するようにしたものであり、対向車のヘッドライトのような高輝度の光源の見かけの大きさで決まる不快グレア領域とその周囲に位置して光源からの光がドライバの眼球内で散乱するために眩しさを感じる減能グレア領域を合成領域として第２の風景画像から切出して第１の風景画像の該当する部位に合成することができ、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００２５】
請求項６の発明は、請求項４又は５の表示処理装置において、さらに、前記表示手段の画面輝度を可変設定する画面輝度設定手段と、前記領域決定手段の用いる前記所定の輝度閾値を、前記画面輝度設定手段の設定した画面輝度に対応して可変設定する輝度閾値設定手段とを備えたものである。
【００２６】
請求項７の発明は、請求項６の表示処理装置において、前記輝度閾値設定手段は、前記画面輝度設定手段が前記画面輝度を小さく設定するときには、前記輝度閾値を低く設定するようにしたものである。
【００２７】
請求項６及び７の発明の表示処理装置では、ドライバの眩惑を感じる個人差に対応した画像合成が可能となる。
【００２８】
請求項８の発明は、請求項５の表示処理装置において、さらに、前記表示手段の画面輝度を可変設定する画面輝度設定手段と、前記領域決定手段が用いる前記縦横の領域拡大率を、前記画面輝度設定手段の設定した画面輝度に対応して可変設定する拡大率設定手段とを備えたものである。
【００２９】
請求項９の発明は、請求項８の表示処理装置において、前記拡大率設定手段は、前記画面輝度設定手段が前記画面輝度を小さく設定するときには、前記領域拡大率を大きく設定するようにしたものである。
【００３０】
請求項８及び９の発明の表示処理装置では、不快グレア領域と減能グレア領域を含め、ドライバの眩惑を感じる個人差に対応した画像合成が可能となる。
【００３１】
請求項１０の発明は、請求項４又は５の表示処理装置において、さらに、前記領域決定手段の用いる前記所定の輝度閾値を、当該車両の照明灯の点／消灯状態に応じて可変設定する輝度閾値設定手段を備えたものである。
【００３２】
請求項１１の発明は、請求項１０の表示処理装置において、前記輝度閾値設定手段は、当該車両のヘッドライト点灯時の方が消灯時よりも前記輝度閾値を低く設定するようにしたものである。
【００３３】
請求項１０及び１１の発明の表示処理装置では、照明灯の照射による風景の明るさに対応した画像合成が可能となる。
【００３４】
請求項１２の発明は、請求項５の表示処理装置において、さらに、前記領域決定手段が用いる前記縦横の領域拡大率を、当該車両の照明灯の点／消灯状態に応じて可変設定する拡大率設定手段を備えたものである。
【００３５】
請求項１３の発明は、請求項１２の表示処理装置において、前記拡大率設定手段は、当該車両のヘッドライト点灯時の方が消灯時よりも前記領域拡大率を大きく設定するようにしたものである。
【００３６】
請求項１２及び１３の発明の表示処理装置では、不快グレア領域と減能グレア領域を含め、照明灯の照射による風景の明るさに対応した画像合成が可能となる。
【００３７】
請求項１４の発明の表示処理装置は、可視光による第１の風景画像を得る第１の撮影手段と、前記可視光以外の光線又は電磁波による第２の風景画像を得る第２の撮影手段と、前記第２の風景画像上で歩行者の存在位置を判別する目標物判別手段と、前記第２の風景画像上で前記歩行者の存在位置を含む部位を切出し、前記第１の風景画像の対応する部位に合成して合成画像を得る画像合成手段と、前記合成画像を表示する表示手段とを備えたものである。
【００３８】
請求項１４の発明の表示処理装置では、第１の撮影手段が可視光による第１の風景画像を得、第２の撮影手段が可視光以外の光線又は電磁波による第２の風景画像を得、目標物判別手段が第２の風景画像上で歩行者の存在位置を判別する。これを受けて、画像合成手段が第２の風景画像上で歩行者の存在位置を含む部位を切出して第１の風景画像の対応する部位に合成して合成画像を得、表示手段に表示させる。
【００３９】
これによって、対向車のヘッドライトのような高輝度の光源によって眩惑され、あるいは低照度環境のためにドライバの肉眼では見にくいあるいは見えない位置に存在する歩行者を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００４０】
請求項１５の発明は、請求項１４の表示処理装置において、前記画像合成手段が前記歩行者の存在位置を含む部位として、前記歩行者の身体を包含するのと同程度の領域を切出すようにしたものである。
【００４１】
請求項１６の発明は、請求項１５の表示処理装置において、前記画像合成手段は、前記歩行者の存在位置を含む部位として、前記歩行者までの距離が遠方になるほど、前記領域の大きさを小さく切出すようにしたものである。
【００４２】
請求項１７の発明は、請求項１５の表示処理装置において、前記画像合成手段は、前記前記歩行者の存在位置を含む部位として、画面上縦方向の歩行者の存在位置、前記第２の撮影手段の設置高、撮影方向の俯角、歩行者の身長から前記領域の大きさを決定して切り出すようにしたものである。
【００４３】
請求項１５〜１７の発明の表示処理装置では、歩行者が近ければ切出し領域が大きく、歩行者が遠ければ切出し領域が小さくなり、歩行者より離れている部位の可視光による目標物を不用意に塗りつぶすことがなく、実視野と表示手段の表示画面上との位置関係の照合がドライバにとって理解しやすくなる。
【００４４】
請求項１８の発明は、請求項１４〜１７の表示処理装置において、前記画像合成手段が、前記第２の風景画像上の前記歩行者の存在位置を含む部位を切出して白黒反転させ、前記第１の風景画像の対応する部位に合成して合成画像を得るようにしたものであり、表示手段の合成画像上での歩行者の画像と周囲の画像とのコントラストが小さくなってドライバにとって見やすくなる。
【００４５】
請求項１９の発明は、請求項１〜１８の表示処理装置において、前記第２の撮影手段を赤外線撮影手段としたものであり、赤外線撮影によって可視光撮影では捉えられない領域の映像を確実に撮影して第２の風景画像を得ることができ、表示手段にはドライバにとって視認できる部分は通常の可視光による画像を表示し、かつ肉眼では視認困難な視界部位あるいは対象物の存在する部位には赤外線による画像を合成して表示することができ、ドライバにとって表示手段の表示画像を一瞥して前方風景の全体を把握し、あるいは対象物の発見ができるようになる。
【００４７】
【発明の効果】
請求項１の発明によれば、可視光以外の光線又は電磁波による第２の風景画像からドライバにとって視認困難な視界部位に該当する部位を切出して第１の風景画像の対応する部位に合成し、合成画像にして表示するので、表示手段に対してドライバにとって視認できる部分は通常の可視光による風景を表示し、かつ肉眼では視認困難な視界部位には可視光以外の光線又は電磁波による風景を合成して表示させることができ、ドライバにとって表示手段の表示画像を一瞥して前方風景の全体が把握できるようになる。
【００４８】
請求項２の発明によれば、高輝度の光源により眩惑を起こす視界部位をドライバにとって視認困難な視界部位と決定し、第２の風景画像から該当する部位を切出して第１の風景画像の対応する部位に合成し、合成画像にして表示するので、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００４９】
請求項３の発明によれば、低照度環境で対象物の写っている視界部位をドライバにとって視認困難な視界部位と決定し、第２の風景画像から該当する部位を切出して第１の風景画像の対応する部位に合成し、合成画像にして表示するので、照明灯に映し出されないような低照度の領域に存在しているためにドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００５０】
請求項４の発明によれば、可視光による第１の風景画像上の所定の輝度閾値を上回る部位を合成領域として、可視光以外による第２の風景画像からこの合成領域に該当する部位を切出して第１の風景画像の対応する部位に合成し、合成画像を表示するので、高輝度の光源により眩惑を起こす視界部位が合成領域となるように輝度閾値を設定すれば、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００５１】
請求項５の発明によれば、対向車のヘッドライトのような高輝度の光源の見かけの大きさで決まる不快グレア領域とその周囲に位置して光源からの光がドライバの眼球内で散乱するために眩しさを感じる減能グレア領域を合成領域として可視光以外による第２の風景画像から切出し、可視光による第１の風景画像の該当する部位に合成することができ、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００５２】
請求項６及び７の発明によれば、可視光以外による第２の風景画像から合成領域を切り出すための輝度閾値を、表示手段の画面輝度の設定に応じて可変設定するので、ドライバの眩惑を感じる個人差に対応した画像合成が可能となる。
【００５３】
請求項８及び９の発明によれば、対向車のヘッドライトのような高輝度の光源の見かけの大きさで決まる不快グレア領域とその周囲に位置して光源からの光がドライバの眼球内で散乱するために眩しさを感じる減能グレア領域を合成領域とし、この合成領域を切出すための輝度閾値を、表示手段の画面輝度の設定に応じて可変設定するので、ドライバの眩惑を感じる個人差に対応した画像合成が可能である。
【００５４】
請求項１０及び１１の発明によれば、可視光以外による第２の風景画像から合成領域を切出すための輝度閾値を、照明灯の点／消灯状態に応じて可変設定するので、照明灯の照射による風景の明るさに対応した画像合成が可能である。
【００５５】
請求項１２及び１３の発明によれば、対向車のヘッドライトのような高輝度の光源の見かけの大きさで決まる不快グレア領域とその周囲に位置して光源からの光がドライバの眼球内で散乱するために眩しさを感じる減能グレア領域を合成領域とし、この合成領域を切出すための輝度閾値を、照明灯の点／消灯状態に応じて可変設定するので、照明灯の照射による風景の明るさに対応した画像合成が可能である。
【００５６】
請求項１４の発明によれば、可視光以外の光線又は電磁波による第２の風景画像上で歩行者の存在位置を判別し、この第２の風景画像上で歩行者の存在位置を含む部位を切出して可視光による第１の風景画像の対応する部位に合成し、合成画像を表示するので、対向車のヘッドライトのような高輝度の光源によって眩惑され、あるいは低照度環境のためにドライバの肉眼では見にくいあるいは見えない位置に存在する歩行者を表示手段に表示されている合成画像上で容易に発見できるようになる。
【００５７】
請求項１５〜１７の発明によれば、画像合成手段が歩行者の存在位置を含む部位として歩行者の身体を包含するのと同程度の領域を切出すようにしたので、歩行者が近ければ切出し領域が大きく、歩行者が遠ければ切出し領域が小さくなり、歩行者より離れている部位の可視光による目標物を不用意に塗りつぶすことがなく、実視野と表示手段の表示画面上との位置関係の照合がドライバにとって理解しやすくなる。
【００５８】
請求項１８の発明によれば、第２の風景画像上の歩行者の存在位置を含む部位を切出して白黒反転させ、第１の風景画像の対応する部位に合成し、合成画像を表示するので、表示手段の合成画像上での歩行者の画像と周囲の画像とのコントラストが小さくなってドライバにとって見やすくなる。
【００５９】
請求項１９の発明によれば、可視光以外による第２の風景画像を得るための第２の撮影手段として赤外線撮影手段を用いたので、特に実視野では見にくかったり見えなかったりする歩行者を確実に捉えて表示することができる。
【００６０】
【発明の実施の形態】
以下、本発明の実施の形態を図に基づいて詳説する。図１は本発明の第１の実施の形態の表示処理装置の機能構成を示している。この実施の形態の表示処理装置は、通常の可視光による第１の風景画像を得るための第１の撮影手段として、ＣＣＤカメラのような通常の可視光カメラ１、この可視光カメラ１の撮影した第１の風景画像を記憶しておく可視光画像フレームメモリ２、可視光以外の光線又は電磁波による第２の風景画像を撮影するための第２の撮影手段としての赤外線カメラ３、この赤外線カメラ３の撮影した第２の風景画像を記憶しておく赤外線画像フレームメモリ４を備えている。可視光以外による第２の風景画像を得る第２の撮影手段には、赤外線カメラの他に、例えば、電波レーダ、超音波レーダなどを採用することもできる。可視光カメラ１の視野は赤外線カメラ３の視野を包含する設定が好ましく、また画角、画素数を統一することによって後の画像合成処理が単純化され、高速処理化が可能となる。なお、これらは以下の他の実施の形態すべてにも同じく適用できるものである。
【００６１】
この実施の形態の表示処理装置はさらに、可視光画像フレームメモリ２に記憶されている可視光による第１の風景画像と赤外線画像フレームメモリ４に記憶されている可視光以外の赤外線による第２の風景画像とに対して後述する所定の画像合成処理を行うＣＰＵ５、このＣＰＵ５の合成処理画像を記憶する重畳画像フレームメモリ６、この重畳画像フレームメモリ６に記憶されている合成画像を表示する液晶やＣＲＴのような画像表示手段としての表示モニタ７、この表示モニタ７に対して画面輝度を設定するためのモニタ輝度設定スイッチ８を備えている。このモニタ輝度設定スイッチ８はドライバが表示モニタ７の画面輝度を見て自分に合った輝度に可変設定するためのものであり、その輝度設定信号は表示モニタ７と共にＣＰＵ５にも入力する構成である。
【００６２】
次に、上記構成の表示処理装置の動作を説明する。図２のフローチャートに示すように、この表示処理装置の電源投入でスタートすれば、可視光カメラ１、赤外線カメラ３、表示モニタ７は起動する。そして可視光カメラ１は設定された視野、画角の可視光による第１の風景画像を撮影して可視光画像フレームメモリ２に１フレームずつ順次記憶していく。同時に、赤外線カメラ３も設定された視野、画角の赤外線による第２の風景画像を撮影して赤外線画像フレームメモリ４に１フレームずつ順次記憶していく。
【００６３】
そしてＣＰＵ５はドライバが表示モニタ７の画面輝度を見ながら調整したモニタ輝度設定値をモニタ輝度設定スイッチ８から読取る（ステップＳ１）。そして赤外線画像フレームメモリ４から赤外線による第２の風景画像（図４（ｄ）の画像）を取込み（ステップＳ２）、可視光画像フレームメモリ２から可視光による第１の風景画像（図４（ａ）の画像）を取込む（ステップＳ３）。
【００６４】
続いて、可視光による第１の風景画像を輝度に対する所定の閾値をもって２値化し、図４（ｂ）に示す２値化画像を得る（ステップＳ４）。ここで用いる閾値は、モニタ輝度設定スイッチ８から得たモニタ輝度設定値に基づいて調整する。例えば、昼間に用いられる輝度では、対向車のヘッドライトのような強力な光源の輪郭部分が検出される程度の輝度とし、夜間に用いられる輝度では、対向車のヘッドライトのような強力な光源の周囲以外の間接反射光がカットされる程度の輝度とする。
【００６５】
次には図４（ｃ）に示すように、輝度に対する所定の閾値Ｂをもって２値化した第１の風景画像の高輝度領域２０を拡大処理して重畳領域２１を決定する（ステップＳ５）。ここでは、拡大率は閾値に応じて異なったものを用い、昼間の時間帯での輝度閾値Ｂdayによる高輝度領域に対し、夜間の時間帯での輝度閾値Ｂnightによる高輝度領域を縦横共に２倍の大きさに拡大する設定にしている。つまり、輝度閾値をＢ、拡大率をＫとすると、次の１次式に基づいて拡大率Ｋを得る。
【００６６】
Ｋ＝Ｋday・（３−（Ｂ／Ｂnight））
ただし、Ｋnight／Ｋday＝２；Ｂnight／Ｂday＝１／２である。また、輝度閾値Ｂ、拡大率Ｋとして、昼間であればＢday，Ｋdayを用い、夜間であればＢnight，Ｋnightを用いる。
【００６７】
さらに、表示モニタ７の画面輝度の設定は昼間は周囲が明るいために高くし、夜間は周囲が暗いので低くされる（これは照明灯の点灯／消灯に連動して自動的に切替わる設定になっているのが通常である）ので、画面設定輝度が高い場合には昼間と判断し、画面設定輝度が低い場合には夜間と判断して、上記のＢ，Ｋを切替え設定する。
【００６８】
この高輝度領域の拡大処理の詳細は図３のフローチャートに示すとおりである。この処理に入ると、所定の閾値Ｂによる２値化画像の各画素行ｍに対して、ステップＳ１２〜Ｓ１４の処理を最大画素行Ｒまで繰返す（ステップＳ１１〜Ｓ１５）。またこの処理の後、所定の閾値Ｂによる２値化画像の各画素列ｎに対しても、ステップＳ１７〜Ｓ１９の処理を最大画素列Ｃまで繰返す（ステップＳ１６〜Ｓ１１０）。
【００６９】
さてステップＳ１２では、図６（ａ）に示すように１〜Ｒのうちのｍ番目の画素行の２値化データを読込み、閾値Ｂを超えている画素（つまり、高輝度画素）の始端Ｐmstart・終端Ｐmendを調査する（ステップＳ１２，Ｓ１３）。続いて図６（ｂ）に示すように画素行ｍの高輝度画素領域Ｐmstart〜Ｐmendを横方向に拡大率Ｋだけ拡大して拡大領域Ｐ'mstart〜Ｐ'mendを得る（ステップＳ１４）。そしてこの処理を画素行１〜Ｒそれぞれに対して繰返す（ステップＳ１１〜Ｓ１５）。
【００７０】
ここで、

である。
【００７１】
横方向の拡大処理を終えると、次に、ステップＳ１６〜Ｓ１１０の縦方向の拡大処理に入る。ここでは、図６（ｂ）に示すように１〜Ｃのうちのｎ番目の画素列の中の高輝度領域の始端Ｑnstart・終端Ｑnendを調査し（ステップＳ１７，Ｓ１８）、同図（ｃ）に示すように画素列ｎの高輝度領域Ｑnstart〜Ｑnendを縦方向に拡大率Ｋだけ拡大して拡大領域Ｑ'nstart〜Ｑ'nendを得る（ステップＳ１９）。そしてこの処理を画素列１〜Ｃそれぞれに対して繰返す（ステップＳ１６〜Ｓ１１０）。
【００７２】
ここで、

である。
【００７３】
これによって、図２のフローチャートにおけるステップＳ５の拡大処理を行い、可視光による第１の風景画像における図４（ｂ）に示した高輝度領域２０を拡大して同図（ｃ）に示した重畳領域２１に決定することになる。
【００７４】
次に図４（ｄ）に示すように、この高輝度拡大領域に対応する領域を赤外線による第２の風景画像上から重畳領域２２として切出して、図４（ａ）に示した２値化前の可視光による第１の風景画像の同じ領域上に重畳合成し、重畳画像フレームメモリ６に保存し（ステップＳ６）、これを表示モニタ７に表示させる（ステップＳ７）。図５は表示モニタ７の表示された重畳合成画像を示している。なお、この重畳合成処理では、赤外線画像の切出した重畳領域は不透明にして、背面になる第１の風景画像が透けて見えないようにしている。
【００７５】
この実施の形態では、可視光カメラ１も赤外線カメラ３も動画撮影カメラであり、第１、第２の風景画像は動画像であるので、以上のステップＳ２〜Ｓ７の処理を画像フレームごとに繰返すことによって表示モニタ７に重畳合成画像を動画像として表示させる。
【００７６】
こうして、第１の実施の形態の表示処理装置では、所定の閾値Ｂによって２値化した可視光による第１の風景画像から対向車のヘッドライトのような高輝度の光源の見かけの大きさで決まる不快グレア領域を高輝度領域２０と決定し、さらに所定の拡大率Ｋを掛けることによってこの高輝度領域２０の周囲に位置して光源からの光がドライバの眼球内で散乱するために眩しさを感じる減能グレア領域まで重畳合成領域を拡大し、この重畳合成領域２１に対応する領域２２を第２の風景画像から切出して２値化前の可視光による第１の風景画像の該当する部位に合成することにより、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示手段に表示されている合成画像上で容易に発見できるようになる。これによって、特に対向車のヘッドライトに入ってしまって歩行者がドライバの視野から消滅する現象が発生するような場合にもその歩行者の存在を表示モニタ７で一瞥して認識できるようになる。
【００７７】
また表示モニタ７の輝度設定に応じて所定の輝度閾値Ｂを可変設定するようにしたので、ドライバの眩しさを感じる個人差に合わせて重畳領域を調整することができ、ドライバが自ら感じる眩惑範囲と表示モニタ７上での表示範囲との相違による違和感を低減することができる。
【００７８】
なお、上記の実施の形態における高輝度領域の決定のための輝度閾値の設定は特に限定されるわけではなく、実験を繰返すことによってふさわしい値に設定することができる。また輝度閾値を可変とせず、特に本発明の表示処理装置の使用が必要となる状況、夜間のような低照度環境で使用するのにふさわしい値に固定することもできる。そしてその場合には図１において示したモニタ輝度設定スイッチ８は不要となり、構成が単純になる。また輝度閾値を固定とする場合には、その輝度閾値を上記の実施の形態の場合よりも若干低めに設定すれば、通常の不快グレア領域よりもやや広めの領域を高輝度領域２０として決定することができるようになり、拡大率を設定して高輝度領域を拡大処理しなくても十分実用に供することができ、構成がより単純化できる。
【００７９】
次に、本発明の第２の実施の形態の表示処理装置を図７及び図８に基づいて説明する。第２の実施の形態の表示処理装置の特徴は、ＣＰＵ５が可視光による第１の風景画像に対して高輝度領域を決定するための所定の閾値をヘッドライト操作スイッチ９によるヘッドライトの点／消灯操作状態に応じて可変設定するようにした点にある。なお、図７において、図１に示した第１の実施の形態と共通する部分には同一の符号を付して示し、詳しい説明は省略する。
【００８０】
この第２の実施の形態の表示処理装置では、図８のフローチャートに示すように、ＣＰＵ５がまず、ヘッドライト操作スイッチ９の操作状態からヘッドライトの点灯状況を読取る（ステップＳ１′）。そして、図２に示した第１の実施の形態と同様に、赤外線画像フレームメモリ４から赤外線による第２の風景画像を取込み、可視光画像フレームメモリ２から可視光による第１の風景画像を取込む（ステップＳ２，Ｓ３）。
【００８１】
続いて、可視光による第１の風景画像を輝度に対する所定の閾値をもって２値化して２値化画像を得る（ステップＳ４）。ここで用いる閾値は、ヘッドライト操作スイッチ９から得たヘッドライト点灯状況に基づいて調整する。例えば、自車のヘッドライトが消灯されている状態では昼間走行と見なし、対向車のヘッドライトのような強力な光源の輪郭部分が検出される程度の輝度とし、ヘッドライトが点灯されている状態では夜間走行と見なし、対向車のヘッドライトのような強力な光源の周囲以外の間接反射光がカットされる程度の輝度とする。
【００８２】
次に第１の実施の形態と同様にして、所定の閾値をもって２値化した第１の風景画像の高輝度領域を拡大処理して重畳領域を決定し（ステップＳ５）、この高輝度拡大領域に対応する領域を赤外線による第２の風景画像上から重畳領域として切出し、２値化前の可視光による第１の風景画像の同じ領域上に重畳合成し（ステップＳ６）、これを表示モニタ７に表示させる（ステップＳ７）。
【００８３】
この実施の形態でも、可視光カメラ１も赤外線カメラ３も動画撮影カメラであり、第１、第２の風景画像は動画像であるので、以上のステップＳ２〜Ｓ７の処理を画像フレームごとに繰返すことによって表示モニタ７に重畳合成画像を動画像として表示させる。
【００８４】
こうして、第２の実施の形態の表示処理装置でも第１の実施の形態と同様、図４及び図６に示した画像処理ができ、所定の閾値Ｂによって２値化した可視光による第１の風景画像から対向車のヘッドライトのような高輝度の光源の見かけの大きさで決まる不快グレア領域を高輝度領域２０と決定し、さらに所定の拡大率Ｋを掛けることによってこの高輝度領域２０の周囲に位置して光源からの光がドライバの眼球内で散乱するために眩しさを感じる減能グレア領域まで重畳合成領域２１を拡大し、この重畳合成領域２１に対応する領域２２を第２の風景画像から切出して２値化前の第１の風景画像の該当する部位に合成することにより、対向車のヘッドライトのような高輝度の光源によって眩惑され、ドライバの肉眼では見にくいあるいは見えないような対象物を表示モニタ７に表示されている合成画像上で容易に発見できるようになる。これによって、特に対向車のヘッドライトに入ってしまって歩行者がドライバの視野から消滅する現象が発生するような場合にもその歩行者の存在を表示モニタ７で一瞥して認識できるようになる。
【００８５】
またヘッドライトの点／消灯状態に応じて所定の輝度閾値Ｂを可変設定するようにしたので、運転時の周囲の明るさに合わせて重畳領域を調整することができ、ドライバが自ら感じる眩惑範囲と表示モニタ７上での表示範囲との相違による違和感を低減することができる。
【００８６】
なお、上記の実施の形態における高輝度領域の決定のための輝度閾値の設定は特に限定されるわけではなく、実験を繰返すことによってふさわしい値に設定することができる。また拡大率についても装置機能を単純化するためには省略することができる。そしてその場合に、輝度閾値を若干低めに設定すれば、通常の不快グレア領域よりもやや広めの領域を高輝度領域２０として決定することができるようになり、十分実用できる。
【００８７】
次に、本発明の第３の実施の形態の表示処理装置を図９〜図１４に基づいて説明する。第３の実施の形態の表示処理装置はＣＰＵ５０が実行する画像処理に特徴を有している。まず、図９に基づいて機能構成について説明する。図１に示した第１の実施の形態と同様に、この第３の実施の形態の表示処理装置は、可視光による第１の風景画像を得るための可視光カメラ１、この可視光カメラ１の撮影した第１の風景画像を記憶しておく可視光画像フレームメモリ２、可視光以外の光線又は電磁波による第２の風景画像を撮影するための第２の撮影手段としての赤外線カメラ３、この赤外線カメラ３の撮影した第２の風景画像を記憶しておく赤外線画像フレームメモリ４、後述する所定の画像処理を行うＣＰＵ５０、このＣＰＵ５０の合成処理画像を記憶する重畳画像フレームメモリ６、この重畳画像フレームメモリ６に記憶されている合成画像を表示する表示モニタ７を備えている。
【００８８】
第１及び第２の実施の形態ではＣＰＵ５が、画像の切出しと重畳合成処理の対象となるドライバの視認困難な視界部位として眩惑領域を用い、第１の風景画像上の眩惑領域に対して可視光以外による第２風景画像から対応する領域の画像を切出して第１の風景画像の眩惑領域に重畳する処理を行ったが、この第３の実施の形態のＣＰＵ５０は、画像の切出しと重畳合成処理の対象となるドライバの視認困難な視界部位として低視界（可視光ではドライバが眩惑を起こす高輝度環境、あるいはドライバが周囲の情景と歩行者とを識別できないような低輝度、低コントラストの環境のいずれをも問わない）において歩行者が検出された領域を用い、可視光以外による第２の風景画像上で歩行者の存在している領域を判別してその歩行者の存在している所定の領域の画像を切出し、可視光による第１の風景画像の対応する部位に重畳合成する処理を行うことを特徴とする。
【００８９】
以下、このＣＰＵ５０の実行する画像処理について、図１０のフローチャート及び図１１〜図１４の説明図を用いて説明する。この表示処理装置の電源投入でスタートすれば、可視光カメラ１、赤外線カメラ３、表示モニタ７は起動する。そして可視光カメラ１は設定された視野、画角の可視光による、図１３（ａ）に示すような第１の風景画像を撮影して可視光画像フレームメモリ２に１フレームずつ順次記憶していく。同時に、赤外線カメラ３も設定された視野、画角の赤外線による、図１３（ｂ）に示すような第２の風景画像を撮影して赤外線画像フレームメモリ４に１フレームずつ順次記憶していく。
【００９０】
そしてＣＰＵ５０は赤外線画像フレームメモリ４から図１３（ｂ）に示す赤外線による第２の風景画像を取込み（ステップＳ２１）、可視光画像フレームメモリ２から図１３（ａ）に示す可視光による第１の風景画像を取込む（ステップＳ２２）。
【００９１】
続いて、赤外線による第２の風景画像から歩行者の有無を判別する（ステップＳ２３）。この歩行者の検出には赤外線を放射しやすい頭部の画像の存在を目安とする。つまり、赤外線による第２の風景画像内から重心位置、縦横比、充足率、実面積などの条件を満たす部位の存在を調べる。具体的には特開平０９−１２８５４８号公報に開示されている方法を採用する。これによって、歩行者の存在位置を画面上の２次元座標上で画面全体の幅と高さに対する割合で求める。なお、ここで、実際の表示処理では赤外線画像や可視光画像を表示モニタ７に表示し、その表示画面上で処理する訳ではなく、実際にはＣＰＵ５０が赤外線画像フレームメモリ４の画像フレームデータに対して実行する。
【００９２】
こうして歩行者の存在を検出すれば、続いて図１３（ｃ）に示すように、その歩行者の像を含む所定の領域を切出し領域として決定する（ステップＳ２４）。この赤外線による第２の風景画像に対する切出し領域の決定は、次のようにして行う。
【００９３】
図１１を参照して、画像の水平画角中心から歩行者の頭部までの実距離ｆｅと、画面上での歩行者の身長ｅｂは、カメラの設置高Ｈcamと俯角θ、歩行者の身長Ｈped、カメラからの水平距離Ｌとの間で、それぞれ次の数１〜数３の式で示す関係が存在する。
【００９４】
【数１】

【数２】

【数３】

ここで、歩行者の身長Ｈpedとして成人の平均身長を代表値として当てはめると、上記のｆｅとｅｂとの関係式を得ることができる。一方、図１２を参照して、赤外線による第２の風景画像３１上での歩行者の頭部の検出位置により、画面上にてｆｅに該当する値を得ることができる。これにより、Ｌに応じたｅｂの値を求めることができる。
【００９５】
こうして求めた歩行者の頭部に該当する位置（＝ｅ）と、領域の高さ方向の大きさ（＝ｅｂ）をもとにして画面上で歩行者を包含する図形を当てはめ、切出し領域３２とするのである。
【００９６】
この実施の形態で歩行者を包含する図形としては、（ａ）上部の辺の位置を垂直座標ｅとし、（ｂ）水平方向の中心線を水平座標とし、（ｃ）垂直方向の大きさをｅｂとし、（ｄ）水平方向の大きさをｅｂ／２とする長方形を用いる。
【００９７】
次に、赤外線による第２の風景画像から決定した切出し領域３２の切出しと、切出した領域３２の可視光による第１の風景画像への重畳合成を行う（ステップＳ２５）。この領域切出しの処理では、赤外線画像を画素ごとに走査し、その画素の座標がステップＳ２４で決定した切出し領域３２に含まれているか否かを調べ、含まれている場合には赤外線画像の該当する画素を可視光による第１の風景画像の該当する画素上にコピーする処理を全画面に対して繰返す。
【００９８】
ＣＰＵ５０は上記の重畳合成処理が済んだ重畳合成画像をいったん重畳画像フレームメモリ６に書出し、これを表示モニタ７が表示する（ステップＳ２６）。最終的に表示モニタ７に表示される重畳合成画像は、図１４に示すものとなる。なお、この重畳合成処理では、赤外線画像から切出した切出し領域３２の画像は不透明にして、背面になる第１の風景画像が透けて見えないようにしている。これによって歩行者の画像が鮮明になる。
【００９９】
この第３の実施の形態では、可視光カメラ１も赤外線カメラ３も動画撮影カメラであり、第１、第２の風景画像は動画像であるので、以上のステップＳ２１〜Ｓ２６の処理を画像フレームごとに繰返すことによって表示モニタ７に重畳合成画像を動画像として表示させる。
【０１００】
こうして第３の実施の形態の表示処理装置によれば、対向車のヘッドライトのような高輝度の光源によって眩惑され、あるいは低輝度、低コントラストの環境のためにドライバの肉眼では見にくいあるいは見えない位置に存在する歩行者を表示モニタ７に表示されている合成画像上で容易に発見できるようになる。
【０１０１】
しかも、歩行者を検出した場合にその歩行者を含む限定された領域の画像だけを赤外線のような可視光以外による第２の風景画像から切出して、可視光による第１の風景画像の該当する部位に重畳合成して表示するので、表示画像の大部分はドライバが肉眼で見ている風景と一致し、歩行者の存在する部分だけが強調されるような表示になり、実視野と表示モニタの表示画面上との位置関係の照合がしやすい。
【０１０２】
また歩行者の画像上での大きさに応じて、つまり、歩行者が自車から遠方に存在するか近くに存在するかに応じて切出し領域も広狭変化し、表示モニタ７の表示画面上での歩行者の画像が遠ければ小さく、近ければ大きく表示されることになり、ドライバの肉眼で視認できる実風景に照らして、どの程度接近していると離れているかを容易に把握できる。
【０１０３】
また画像上で歩行者の身体を包含するのと同程度の領域を切出し領域と決定するのに、赤外線画像上にて縦方向の歩行者の存在位置、カメラの設置高、撮影方向の俯角、歩行者の身長から求めるようにしたので、撮影手段以外の距離計測手段を必要とせず、装置構成の簡素化が図れる。
【０１０４】
なお、上記の第３の実施の形態において、切出し領域として歩行者を包含する長方形領域を用いたが、これに限定されず、歩行者の頭部を頂点とし歩行者のほぼ全身を含むだ円形領域とすることができる。
【０１０５】
また比較的近距離に存在する歩行者を目標物とする場合、頭部に該当する大きさを調べ、頭部と体全体との比率、つまり、図１２におけるα：βの値を固定値として、領域３２の高さ方向の大きさｅｂを簡易的に決定して切出し領域を決定することもできる。
【０１０６】
次に、本発明の第４の実施の形態の表示処理装置を図１５〜図１７に基づいて説明する。第４の実施の形態の特徴は、ＣＰＵ５０が歩行者の存在を検出してその歩行者を含む所定の領域を切出し領域として決定すれば、第２の風景画像からの切出し画像を白黒反転処理してから可視光による第１の風景画像に重畳合成処理する点にある。
【０１０７】
この第４の実施の形態の表示処理装置の機能構成は、第３の実施の形態と同様に図９に示したものである。そしてＣＰＵ５０が実行する処理が、図１５のフローチャートに示すようになる。
【０１０８】
すなわち、図１０に示した第３の実施の形態のフローチャートと同様に、赤外線画像フレームメモリ４から赤外線による第２の風景画像を取込み（ステップＳ２１）、可視光画像フレームメモリ２から可視光による第１の風景画像を取込む（ステップＳ２２）。続いて、赤外線による第２の風景画像から歩行者の有無を判別し（ステップＳ２３）、その歩行者の像を含む所定の領域を切出し領域として決定する（ステップＳ２４）。
【０１０９】
次に、赤外線による第２の風景画像から決定した切出し領域の切出し、さらにその白黒反転処理を行い、白黒反転後の画像を可視光による第１の風景画像の該当する部位に重畳合成する（ステップＳ２５′）。このステップＳ２５′での画像の切出しと白黒反転と重畳処理では、赤外線による第２の風景画像を２次元的に１画素ごとに走査し、その画素の座標がステップＳ２４で決定した切出し領域に含まれているか否かを調べる。そして含まれている場合には、赤外線画像の該当する画素について、図１６に示すように明度の反転処理を行い、これを可視光による第１の風景画像の該当する座標の画素上にコピーする処理を全画面に対して繰返す。
【０１１０】
ＣＰＵ５０は上記の重畳合成処理が済んだ重畳合成画像をいったん重畳画像フレームメモリ６に書出し、これを表示モニタ７に表示させる（ステップＳ２６）。最終的に表示モニタ７に表示される重畳合成画像は、図１７に示すものとなる。
【０１１１】
この第４の実施の形態でも、可視光カメラ１も赤外線カメラ３も動画撮影カメラであり、第１、第２の風景画像は動画像であるので、以上のステップＳ２１〜Ｓ２６の処理を画像フレームごとに繰返すことによって表示モニタ７に重畳合成画像を動画像として表示させる。
【０１１２】
こうして第４の実施の形態の表示処理装置によれば、第３の実施の形態と同様の効果を奏し、さらに、赤外線による第２の風景画像の中の歩行者の画像を白黒反転させて可視光による第１の風景画像の該当する部位に重畳合成するので、自ら発光することがない歩行者が赤外線画像上で周囲よりも明るく映る違和感を低減することができる。
【０１１３】
なお、上記の第４の実施の形態においても、切出し領域として歩行者を包含する長方形領域を用いたが、これに限定されず、歩行者の頭部を頂点とし歩行者のほぼ全身を含むだ円形領域とすることができる。また比較的近距離に存在する歩行者を目標物とする場合、頭部に該当する大きさを調べ、頭部と体全体との比率、つまり、図１２におけるα：βの値を固定値として、領域３２の高さ方向の大きさを簡易的に決定して切出し領域を決定することもできる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の機能構成を示すブロック図。
【図２】上記の実施の形態による重畳画像の表示処理のフローチャート。
【図３】上記の実施の形態による高輝度領域の拡大処理のフローチャート。
【図４】上記の実施の形態による画像処理の説明図。
【図５】上記の実施の形態による表示画像の説明図。
【図６】上記の実施の形態による高輝度領域の拡大処理の説明図。
【図７】本発明の第２の実施の形態の機能構成を示すブロック図。
【図８】上記の実施の形態による重畳画像の表示処理のフローチャート。
【図９】本発明の第３の実施の形態の機能構成を示すブロック図。
【図１０】上記の実施の形態による重畳画像の表示処理のフローチャート。
【図１１】上記の実施の形態による歩行者の切出し領域を決定するための計算処理の説明図。
【図１２】上記の実施の形態による歩行者の切出し領域を決定するための計算処理の説明図。
【図１３】上記の実施の形態による画像処理の説明図。
【図１４】上記の実施の形態による表示画像の説明図。
【図１５】本発明の第４の実施の形態の重畳画像の表示処理のフローチャート。
【図１６】上記の実施の形態による切出し領域の白黒反転処理の説明図。
【図１７】上記の実施の形態による表示画像の説明図。
【符号の説明】
１可視光カメラ
２可視光画像フレームメモリ
３赤外線カメラ
４赤外線画像フレームメモリ
５ＣＰＵ
６重畳画像フレームメモリ
７表示モニタ
８モニタ輝度設定スイッチ
９ヘッドライト操作スイッチ
２０高輝度領域
２１重畳領域
２２重畳領域
３１第２の風景画像
３２切出し領域

Claims

可視光による第１の風景画像を得る第１の撮影手段と、
前記可視光以外の光線又は電磁波による第２の風景画像を得る第２の撮影手段と、
ドライバにとって視認困難な視界部位に該当する前記第１の風景画像上の部位を合成領域として決定する領域決定手段と、
前記第２の風景画像から前記合成領域に該当する部位を切出し、前記第１の風景画像の対応する部位に合成して合成画像を得る画像合成手段と、
前記合成画像を表示する表示手段とを備えて成る表示処理装置。
前記領域決定手段は、高輝度の光源により眩惑を起こす視界部位を前記ドライバにとって視認困難な視界部位と決定することを特徴とする請求項１に記載の表示処理装置。
前記領域決定手段は、低照度環境で対象物の写っている視界部位を前記ドライバにとって視認困難な視界部位と決定することを特徴とする請求項１に記載の表示処理装置。
可視光による第１の風景画像を得る第１の撮影手段と、
前記可視光以外の光線又は電磁波による第２の風景画像を得る第２の撮影手段と、
前記第１の風景画像上の所定の輝度閾値を上回る部位を合成領域として決定する領域決定手段と、
前記第２の風景画像から前記合成領域に該当する部位を切出し、前記第１の風景画像の対応する部位に合成して合成画像を得る画像合成手段と、
前記合成画像を表示する表示手段とを備えて成る表示処理装置。
前記領域決定手段は、前記第１の風景画像上の前記所定の輝度閾値を上回る部位に対して、縦横に所定率だけ拡大した領域を合成領域として決定することを特徴とする請求項４に記載の表示処理装置。
前記表示手段の画面輝度を可変設定する画面輝度設定手段と、
前記領域決定手段の用いる前記所定の輝度閾値を、前記画面輝度設定手段の設定した画面輝度に対応して可変設定する輝度閾値設定手段とを備えて成る請求項４又は５に記載の表示処理装置。
前記輝度閾値設定手段は、前記画面輝度設定手段が前記画面輝度を小さく設定するときには、前記輝度閾値を低く設定することを特徴とする請求項６に記載の表示処理装置。
前記表示手段の画面輝度を可変設定する画面輝度設定手段と、
前記領域決定手段が用いる前記縦横の領域拡大率を、前記画面輝度設定手段の設定した画面輝度に対応して可変設定する拡大率設定手段とを備えて成る請求項５に記載の表示処理装置。
前記拡大率設定手段は、前記画面輝度設定手段が前記画面輝度を小さく設定するときには、前記領域拡大率を大きく設定することを特徴とする請求項８に記載の表示処理装置。
前記領域決定手段の用いる前記所定の輝度閾値を、当該車両の照明灯の点／消灯状態に応じて可変設定する輝度閾値設定手段を備えて成る請求項４又は５に記載の表示処理装置。
前記輝度閾値設定手段は、当該車両のヘッドライト点灯時の方が消灯時よりも前記輝度閾値を低く設定することを特徴とする請求項１０に記載の表示処理装置。
前記領域決定手段が用いる前記縦横の領域拡大率を、当該車両の照明灯の点／消灯状態に応じて可変設定する拡大率設定手段を備えて成る請求項５に記載の表示処理装置。
前記拡大率設定手段は、当該車両のヘッドライト点灯時の方が消灯時よりも前記領域拡大率を大きく設定することを特徴とする請求項１２に記載の表示処理装置。
可視光による第１の風景画像を得る第１の撮影手段と、
前記可視光以外の光線又は電磁波による第２の風景画像を得る第２の撮影手段と、
前記第２の風景画像上で歩行者の存在位置を判別する目標物判別手段と、
前記第２の風景画像上で前記歩行者の存在位置を含む部位を切出し、前記第１の風景画像の対応する部位に合成して合成画像を得る画像合成手段と、
前記合成画像を表示する表示手段とを備えて成る表示処理装置。
前記画像合成手段は、前記歩行者の存在位置を含む部位として、前記歩行者の身体を包含するのと同程度の領域を切出すことを特徴とする請求項１４に記載の表示処理装置。
前記画像合成手段は、前記歩行者の存在位置を含む部位として、前記歩行者までの距離が遠方になるほど、前記領域の大きさを小さく切出すことを特徴とする請求項１５に記載の表示処理装置。
前記画像合成手段は、前記前記歩行者の存在位置を含む部位として、画面上縦方向の歩行者の存在位置、前記第２の撮影手段の設置高、撮影方向の俯角、歩行者の身長から前記領域の大きさを決定して切り出すことを特徴とする請求項１５に記載の表示処理装置。
前記画像合成手段は、前記第２の風景画像上の前記歩行者の存在位置を含む部位を切出して白黒反転させ、前記第１の風景画像の対応する部位に合成して合成画像を得ることを特徴とする請求項１４〜１７のいずれかに記載の表示処理装置。
前記第２の撮影手段が赤外線撮影手段であることを特徴とする請求項１〜１８のいずれかに記載の表示処理装置。