JP4103179B2 - 環境認識装置 - Google Patents
環境認識装置 Download PDFInfo
- Publication number
- JP4103179B2 JP4103179B2 JP18425698A JP18425698A JP4103179B2 JP 4103179 B2 JP4103179 B2 JP 4103179B2 JP 18425698 A JP18425698 A JP 18425698A JP 18425698 A JP18425698 A JP 18425698A JP 4103179 B2 JP4103179 B2 JP 4103179B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- camera
- visible light
- reflectance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Radiation Pyrometers (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
本発明は、赤外線カメラと可視光線カメラとを用いて、周囲環境を明確に認識できるようにした環境認識装置に関するものである。
【0002】
例えば、船舶、列車、自動車等の乗り物にあっては、安全確保のために、前方の状況つまり前方の環境状態を明確に認識することが望まれ、このためカメラによって撮像された前方環境状態を運転者に目視し易い位置に表示することが行われている。カメラを、可視光線を用いて撮像する可視光線カメラとした場合は、夜間や、雨、霧、雪等の悪天候のときに、照明のない道路や対向車のグレアによって、歩行者の存在認識や前方走行路の状況変化等の認識が不十分となり易い。
【0003】
また、カメラとして、赤外線を用いて撮像する赤外線カメラを用いることが特開平2−158900号公報に開示されている。この赤外線カメラを用いた場合は、夜間時や悪天候のときでも、前方物体を撮像することが可能となり、可視光線カメラで撮像する場合よりも有利となる。
【0004】
【発明が解決しようとする課題】
赤外線カメラで撮像した場合、歩行者や対向車のように高い熱放射物体を検出することは可能であっても、例えば路面に描かれた走行区分線(白線)のような低い熱放射物体との区別が十分つけにくいものとなり、赤外線カメラにより撮像した画像のみでは周囲環境を十分認識することが難しいものとなる。
【0005】
本発明は以上のような事情を勘案してなされたもので、その目的は、夜間時や悪天候のときでも、周囲環境にある特に安全上問題となる物体の存在をより明確に認識できるようにした環境認識装置を提供することにある。
【0006】
【課題を解決するための手段】
前記目的を達成するため、本発明にあっては次のような解決手法を採択してある。すなわち、特許請求の範囲における請求項1に記載のように、
周囲の環境状態を赤外線を用いて撮像する赤外線カメラと、
前記赤外線カメラとほぼ同一位置での環境状態を可視光線を用いて撮像する可視光線カメラと、
可視光域の周辺光を計測する周辺光計測手段と、
前記可視光線カメラからの反射光を計測する反射光計測手段と、
前記周辺光計測手段と反射光計測手段からの出力に基づいて、可視光域での反射率を算出する反射率算出手段と、
前記反射率算出手段により算出された反射率に基づいて、赤外線域での反射率を推定する赤外線反射率推定手段と、
赤外線域の周辺光を計測する赤外線用周辺光計測手段と、
前記赤外線反射率推定手段により推定された赤外線反射率と前記赤外線用周辺光計測手段により計測された赤外線域の周辺光とに基づいて、赤外線域での反射量を推定する赤外線反射量推定手段と、
前記赤外線カメラにより計測された赤外線放射量と前記赤外線反射量推定手段により推定された赤外線反射量とに基づいて、物体の放射量を推定する物体放射量推定手段と、
前記物体放射量推定手段により推定された物体放射量を画像に変換する画像変換手段と、
前記画像変換手段により変換された画像を表示する画像表示手段と、
を備えたものとしてある。上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項2以下に記載のとおりである。
【0007】
【発明の効果】
請求項1によれば、夜間時や悪天候時であっても、赤外線カメラによって高い熱放射物体である人間や車を撮像つまり明確に補足することができ、しかも可視光線カメラによって得られた画像を差し引くことにより、安全上特に問題となる人間や車をそれ以外のものと十分コントラストを付けて表示することができ、安全上必要な物体を明確に表示つまり認識させる上で好ましいものとなる。特に、高い熱放射体である特定物体を、より明確に認識、表示させることができる。
【0008】
請求項2によれば、自動車において、前方の状況を明確に認識する上で好ましいものとなる。
【0009】
請求項3によれば、赤外線カメラにより得られる画像に対して、赤外線カメラでは十分に補足できないが可視光線カメラによっては明確に補足される画像を足し合わせて、全体として両カメラの利点を生かした画像を表示させることができる。
請求項4、請求項5によれば、表示される画像をコントラストがより強調されたものとして、表示された画像の認識度合いを高める上で好ましいものとなる。
【0010】
請求項6によれば、可視光線カメラでは明確に撮像つまり補足されるが、赤外線カメラでは十分撮像つまり補足されにくい特定物体を明確に表示させる上で好ましいものとなる。
請求項7によれば、レーザレーダで測定される所定距離にある特定物体を、明確に表示させる上で好ましいものとなる。
請求項8によれば、外部環境に応じて撮像された画像が変化され易い特定物体を明確に表示させる上で好ましいものとなる。
【0011】
【発明の実施の形態】
図1において、自動車1の前端部に、自動車前方の環境状況を撮像するためのカメラヘッド2が装備されている。このカメラヘッド2は、後述するように、赤外線カメラと可視光線カメラとを有している。カメラヘッド2は、その撮像方向(カメラ位置)がカメラコントロ−ラ3により制御されて、各カメラにより撮像された画像が、合成/画像処理用のコントロ−ラ4を得て、HUD(ヘッドアップディスプレイ装置)7に入力される。HUD7は、運転席の直前方にあるウィンドウ6に設けた画像表示部としての表示部7aを制御する。
【0012】
図2は、カメラヘッド2(カメラ)と表示部7aとの好ましい設定例を示す。この図2において、車体の前後方向中心線が符合OBLで示され、このOBLと平行でかつ運転者の中心(視線の上での中心)を通る視線中心線が符合ILで示される。カメラヘッド2と表示部7aとはそれぞれ視線中心線IL上にその中心が位置するように設定されている。そして、カメラヘッド2の視野角は視線中心線ILを中心に左右同じ大きさに設定されている。このような設定により、カメラヘッド2により検出されて表示部7aに表示される表示画像と運転者が実際に前方物体を目視したときの方向感覚とを一致させることができる。
【0013】
図3は、図2の変形例を示す。すなわち、運転者の左右の視野は、通常運転席側方向視野角よりも助手席側方向視野角の方が大きくなるので、この運転者の左右の視野角の相違に対応して、カメラヘッド2の左右の視野角の大きさが設定されている。このように設定した場合、カメラヘッド2の視野角と運転者の視野角とが一致されることになるが、表示部7aの中心を視野線ILと一致させたままでは、左右の方向感覚が、表示部7aに表示された画像と運転者が実際に前方物体を目視したときとで相違してしまうことになる。このような相違を解消するため、表示部7aの中心を視野角の大きい助手席側へオフセットさせて、当該表示部7aを配置してある。
【0014】
図4は、カメラヘッド2の具体例が示される。この図4において、11はカメラハウジングであり、その内部には、可視光線は反射するが赤外線は通過させるミラー12と、赤外線を用いて撮像する赤外線カメラ13と、可視光線を用いて撮像する可視光線カメラ14とが装備されている。前方からの光が、可視光線および赤外線を共に透過する保護フィルタ15を通過した後、可視光線のみがミラー12で略90度偏向されて可視光線カメラ14へ入力される一方、ミラー12を通過した赤外線が赤外線カメラ12に入力される。可視光線カメラ14は、3軸方向に位置調整可能な雲台16に搭載されていて、赤外線カメラ13との光軸合わせの微調整が可能とされている。
【0015】
図5は、図4の変形例を示すものである。この図5の例では、ミラーとして、12A、12Bの2種類用いられている。前方に位置するミラー12Aは、可視光線を反射するが赤外線を通過するものとなっており、ミラー12Aで略90度反射された可視光線が可視光線カメラ14に入力される。また、後方に位置するミラー12Bは、赤外線を反射するもので、ミラー12Aを通過した赤外線がミラー12Aと同一方向へ略90度反射されて、赤外線カメラ13に入力される。なお、可視光線カメラ14は3軸方向に位置調整可能な雲台16Aに搭載され、赤外線カメラ13は3軸方向に位置調整可能な雲台16Bに搭載され、この両方の雲台16A、16Bを調整することによって、両カメラ13と14との光軸合わせが行われる。
【0016】
図6は、HUD7の好ましい設定例であり、特に前方車両等からの外乱光に邪魔されずに、HUD7によって運転者の直前方のウィンドウ6に表示される画像を、運転者が明確に視認できるようにしてある。すなわち、運転者の直前方のウィンドウ6内面には高反射被膜からなる表示部7aが設けられると共に、表示部7aの直前方位置において液晶、ECなどの遮光素子17が挟み込まれている。この遮光素子17に対する通電を制御することにより、遮光素子17による遮光のレベルが調整可能とされている。遮光レベル調整のために、表示部7a付近のウィンドウ6には外乱光の強さを検出する光センサ18が設けられ、光りセンサ18での検出信号が、遮光素子17用のコントロ−ラ19に入力される。コントロ−ラ19は、光センサ18で検出される外乱光が強いほど、遮光素子17の遮光レベルが強くなるように、遮光素子17に対する通電を制御する。
【0017】
図7は、赤外線カメラ13で撮像された画像と可視光線カメラ14で撮像された画像とを合成して表示部7aにより表示させる画像処理回路の一例を示すものであり、図1におけるコントロ−ラ4の内容に相当する。この図7において、可視光線カメラ14からの撮像信号が、画像反転装置21により反転された後、位置合わせ装置22によって赤外線カメラ13で撮像された画像との位置合わせの処理が行われて、この位置合わせ処理後の画像が、映像合成装置23へ入力される。この映像合成装置23には、赤外線カメラ13により撮像された画像も入力されて、両カメラ13と14とで撮像された画像が当該合成装置23によって後述するように合成されることになる。
【0018】
合成装置23からの合成映像と、位置合わせ装置22からの信号と、赤外線カメラ13からの撮像画像とが、認識処理装置24に入力される。認識処理装置24では、合成装置23での合成映像が運転者が認識し易いように後述するように処理されるが、この認識処理装置24から合成装置23に対して合成レベル信号が出力されて、合成装置23は、入力される合成レベル信号に応じたレベルでもって、両カメラ13、14での撮像画像を合成する。合成装置23からの合成映像と、認識処理装置24からの認識結果とが映像加工装置25に入力されて、この加工装置25での加工後の映像(運転者に目視可能な状態での映像に加工)が、HUD7に出力される(表示部7aに表示される)。
【0019】
図8は、本発明の制御内容を図式的に示すもので、図7における合成装置23と認識処理装置24の機能内容に相当する。まず、可視光線カメラ14によって撮像された画像がG1で示されるが、ヘッドライト31aを点灯させた対向車31(図8では、点灯状態にあるヘッドライトのみ符合31aを付してある)と、対向車31の脇に居る歩行者32と、走行路の区分線となる白線33とが撮像される。ただし、夜間であって歩行者32の付近が暗いために、ヘッドライト31aと白線33とが明確に撮像されているが(実線で示す)、対向車31のボディ輪郭や、歩行者32はほとんど識別できないものとなっている(非常に暗い状態で、破線で示す)。なお、歩行者32よりも対向車31のボディ輪郭の方が多少明瞭となっている。
【0020】
赤外線カメラ13によって撮像された画像が、G2として示される。この画像G2では、高熱放射体である歩行者32と対向車31のボディ輪郭とは明瞭に撮像されるが、低熱放射体である白線33は全く撮像されていないものとなっている。画像G3は、歩行者32を特に強調して表示するもので、このため、画像G2から画像G1を差し引いた画像に対して(減算処理装置35による差し引き処理)、特に歩行者32を特定する処理(認識処理装置24)を行って、歩行者32のみを特定物体として表示されたものとなっている(このために、可視光線カメラ14からの反射光に基づいて後述するように反射率を推定する反射率推定34の処理が行われる)。
【0021】
画像G4は、各画像G1とG2とG3とを合成して得た画像となっている(加算処理装置36による加算処理)。より具体的には、画像G1から物体放射量が所定量以上の領域のもの(歩行者32と対向車31が対応)を差し引いた画像(白線33が相当)を、画像G2に加算する。そして、加算された画像に、画像G3をさらに加算して、画像G4が得られる。これにより画像G4は、歩行者32が特に強調されて極めて明瞭に表示され、対向車31もヘッドライト31aが点灯された状態でかなり明瞭に表示され、さらに白線33も明瞭に表示されたものとなる。
【0022】
ここで、画像G3をHUD7に表示させることもできる。また、画像G2から画像G1を差し引いた画像をHUD7に表示させることもできる(高熱放射体となる対向車31と歩行者32のみが強調された画像の表示)。さらに、画像G2に対して、画像G1でのみ明瞭に表示されている部分(領域で、白線33が相当する)を加算した画像をHUD7に表示させることもできる(画像G4において、対向車31のヘッドライト31aが消灯状態に近い状態となるがそのボディ輪郭がより明瞭になるー画像G2での対向車31の画像と同じ状態)。
【0023】
図9は、可視光線の物体からの反射率に基づいて物体放射量(物体の有する固有の赤外線放射量で、この物体放射量を知ることにより物体の識別が可能)を推定して、物体放射量から特定の物体をHUD7に表示させる手法を示す。すなわち、計測手段41により計測された可視光域の周辺光と、可視光線カメラ14により計測される反射光とに基づいて、可視光域での反射率が算出手段42により算出される。算出された可視光域での反射率に基づいて、赤外線域での反射率が推定手段43により推定される。
【0024】
一方、計測手段44により計測された赤外線域の周辺光と、推定手段43により推定された反射率とに基づいて、赤外線域での反射量が推定手段45により推定される。赤外線カメラ13により計測される放射量と推定手段45での推定放射量とに基づいて、物体放射量が推定手段46により推定される。そして、推定手段46により推定された物体放射量に基づいて、画像変換手段47により画像変換されて(物体放射量特有の特定物体への画像変換)、この画像変換された画像がHUD7に表示される。
【0025】
図10〜図12、および以下の式1〜式18を参照しつつ、図9での物体放射量を得るための具体的な推定手法の一例について説明する。まず、図10は、物体(被写体)からの可視光線の反射状況を示すものであり、周辺光が物体で反射されたときの反射光は、物体の表面特性(反射率と反射角度)に依存する。一方、図11は、物体(被写体)からの赤外線の反射状況を示すものであり、周辺光が物体で反射されたときの反射量と、物体とのものからの放射量とが加算された値が赤外線カメラ13により検出されることになる。ただし、赤外線の場合でも、周辺光が物体で反射さされたときの反射量は物体の表面特性(反射率と反射角度)に依存するということは、可視光線と同じである。
【0026】
図12は、可視光線の反射率を算出するときの前提となる光学系を示すものであり、この図12において、物体の反射率をR、面積をAとし、物体を光束FOで照明し、FナンバーFN のレンズを距離lだけ離して置いてある。像の倍率をmとすれば、像はレンズからmlの位置に結像し、面積はm2 Aとなる。このとき、撮像面に入射する光束F[lm]は、式1に示すようになる。
【0027】
【数1】
【0028】
物体から反射されて単位立体角に発散する光束Fd は、式2に示すようになる。
【0029】
【数2】
【0030】
レンズ絞り2rを通る光束は全て撮像面に達するから、Fd に絞りの張る立体角を掛けて、レンズ透過率を乗ずる(式3)。
【0031】
【数3】
【0032】
レンズの焦点距離をfとすると、前述したレンズのFナンバー、レンズ倍率に対して、式4の関係が成立する。
【0033】
【数4】
【0034】
さらに、下記の式5〜式8の関係が成立する。
【0035】
【数5】
【0036】
【数6】
【0037】
【数7】
【0038】
【数8】
【0039】
普通の撮像では、レンズから被写体までの距離lは、撮像面までの距離よりも十分長いので、mよりもlが十分大きいとして、式9が成立する。
【0040】
【数9】
【0041】
計測可能な周辺光の照度をES とすると、推定反射率RS は、式10に示すものとなる。
【0042】
【数10】
【0043】
式10におけるEに関しては、実際のカメラ出力がNTSCであるので、カメラの状態量(ゲイン、オフセット、ガンマ補正値)から算出することになる。
【0044】
上記推定反射率RS に基づいて、赤外線域での反射率を推定するが、その前提として、物体が選択放射体でないものとする(ほとんどの物体は選択放射体でなく、特に歩行者や自動車ボディ等の金属は選択放射体ではない)。これにより、赤外線域での反射率Rl は、可視光線域での反射率RS の関数として式11のように示される。
【0045】
【数11】
【0046】
計測可能な赤外線域の周辺放射量をIS とすると、赤外線カメラ13に入射される物体からの反射成分IR は、式12に示すようになる。
【0047】
【数12】
【0048】
赤外線カメラ13の出力値IからIR を減算すれば、物体固有の放射量IO が求められる(式13)。
【0049】
【数13】
【0050】
画像全体に以上の処理を行うと、物体固有放射量IO 画像が作成される。このIO 画像を領域分割することで、材質(表面)の違いによる物体の識別ができることになる。温度、放射率が既知の物体については、IO 画像に対する形状認識を行わずに抽出することが可能である。物体からの放射量は、温度と波長のみに依存し、プランクの式を利用することにより求められる。波長λ1 からλ2 に感度のある赤外線カメラ13で撮像した場合、プランクの式は、式14に示すように示される。
【0051】
【数14】
【0052】
2個の波長に対するMの比はλとTとの積であることを利用すると、式15が成立する。
【0053】
【数15】
【0054】
式15中に示されている次式16は、λTの積のみの関数であり、数値表で与えられる。
【0055】
【数16】
【0056】
式16での分母は、式17に示されるステファン・ボルツマンの式により求められる。
【0057】
【数17】
【0058】
ここで、赤外線域での反射率RI は、最終的に式18で示されることになる(RI という特性を持った領域が抽出可能)。
【0059】
【数18】
【0060】
【0061】
図13、図14は、温度環境にかかわらず赤外線カメラ13により適切に撮像できるようにした場合を示す。すなわち、通常赤外線カメラ13は、そのカメラセンサ部分は所定温度となるように温度管理されるが、レンズ部分は常温で設計されているので、このレンズ部分の温度変化に起因して撮像が良好に行われない場合を生じることが考えられる。このような事態を防止するために、レンズ部分を保温器51で覆う一方、レンズ部分の温度を検出する温度センサ52を設けて、温度制御装置53によって、温度センサ52で検出される温度が所定の一定温度となるように保温器51を制御するようにしてある。
【0062】
図15以下は、赤外線カメラ13により得られる赤外線画像が、コントラストが低い、画像のエッジがなだらか(境界が不鮮明)、ノイズが多いという欠点を補うための種々の解決手法を示すものであり、例えば次の (1)〜 (5)の解決手法がある。
【0063】
(1)赤外線画像の濃度分布に基づいて提示(表示)濃度を変化させること(シーンに影響されない画像変換が可能になる)。
(2)赤外線エッジ強度に基づいてエッジ強調量を変化させること(白線などの低コントラスト物体のみの輪郭強調が可能になり、錯視の効果を狙って交通信号情報以上のコントラスト向上が可能になる)。
(3)可視光線画像の処理結果に基づいて特定物体を選択的に表示させること(白線などの低コントラスト物体を安定して表示可能となり、信号、標識などの色情報が表示可能となる)。
【0064】
(4)レーザレーダからの距離情報に基づいて特定物体を選択的に表示させること(停止車両など低コントラスト物体の安定したコントラスト向上が可能になる)。
(5)カメラ以外の外部環境を検出するセンサからの情報に基づいて特定物体を選択的に表示させること(例えば、濡れた路面でも白線の濃度を明るくする処理が可能になる)。
【0065】
まず、図15〜図17は、上記 (1)の解決手法を示すもので、赤外線画像の濃度分布に基づいて、表示部7aへの提示画像を変化させるようにしたものである。すなわち、図15に示される原画像の濃度ヒストグラムを図16に示すように平坦化した後、ガンマ変換あるいは対数変換して図17に示すように、運転者(人間)の目の特性にあった画像を提示(表示)するようにしてある。
【0066】
図18〜図22は、前記 (2)の解決手法を示すものである。すなわち、図18に示す赤外線画像の原画像から、図19に示すような2次微分画像を得る。そして、図18、図19に示す画像同士を加算して、図20に示すような合成画像を得るようにしてある。2次微分を行うフィルタの設定例が、図21あるいは図22に示される。
【0067】
図23〜図25は、前記 (2)の解決手法を示すもので、図18〜図20の変形例ともなるもので、濃度の低い部分を2次微分する場合に、濃度が低いほどより強調された2次微分画像を得るようにしてある(所定以下の濃度をN倍してある−Nは1よりも大)。
【0068】
図26〜図29は、上記図23〜図25の変形例となるもので、濃度が低いほど強調度合いをより高めるようにしてある。すなわち、濃度が低いときはN倍に強調し、濃度がより低いときはM倍に強調するようにしてある(M>N)。この場合、図29に示すように、強調のための補正値(上記M、Nに相当)を、2次微分値の大きさに基づいて連続可変式に変更することもできる。
【0069】
図30は、前記解決手法の (3)の例を示すものである。すなわち、赤外線画像G11では、歩行者が撮像されているが、白線と信号表示のコントラストがはっきりしないものとなる。一方、可視光線画像G12では、上記白線と信号表示のコントラストがはっきりしたものとなるが、歩行者が撮像されていないものとなっている。この可視光線画像G12を、RGBデコーダ61による処理を行った後、物体認識部62でもってコントラストが明瞭な白線と信号表示という特定物体を選択して、この選択された特定物体を合成処理部63によって赤外線画像G11に合成させる。そして、合成された画像を、目視できるように表示処理部64で処理した画像が、画像G13として示される。
【0070】
図31は、前記 (4)の解決手法の一例を示すものである。すなわち、赤外線画像G21のままでは、前方車両が不鮮明であり、白線も不鮮明となる。図31では、レーザレーダ71からの出力を受ける位置変換部72によって、前方物体としての前方車両までの距離が検出される。一方、領域抽出部73によって、赤外線画像G21のうち位置変換部72によって検出される距離内にある特定物体が抽出される。そして抽出された特定物体(実施形態では前方車両と前方車両までにある白線)が強調されて、表示処理部74を経て処理画像G22として表示される。
【0071】
図32、図35は、前記 (5)の解決手法の一例を示すものである。すなわち、図32に示すように、白線は、路面が乾燥しているときは画像G32で示すように背景が暗く、白線が明るく表示されるが、雨天時では路面が濡れるために、背景が明るく、白線が暗くなるように反転されて、白線が認識しずらいものとなる。このため、外部環境検出手段としての外界センサ81(実施形態では降雨センサ)からの出力を受ける乾湿判定部82が、路面の濡れ具合を判定して、路面が濡れていると判定されたときは、赤外線画像G31が反転処理部83によって反転処理されて、赤外線画像G31における背景が暗く、赤外線画像G31における白線が明るくなるように反転処理される。反転処理された画像は、表示処理部84を経て、処理画像G32として表示される。路面が濡れていると判定されたときの赤外線画像G21の濃度と、処理画像G32の表示濃度との関係が図33に示される。
【0072】
以上実施形態について説明したが、本発明はこれに限らず、例えば次のような場合をも含むものである。カメラにより撮像される環境としては、例えば自動車の後方や側方、さらには自動車以外の船舶や列車等の乗り物にカメラを搭載したものでもよく、さらにはカメラは所定の一定位置に設置されて、この一定位置の周辺環境を撮像するものであってもよい。センサ等の各種部材は、その機能の上位表現に手段の名称を付して表現することができる。また、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。さらに、本発明は、環境認識方法として表現することも可能である。
【図面の簡単な説明】
【図1】自動車に本発明が適用された場合のカメラ、表示部の配置例を示す図。
【図2】カメラと表示部と運転者位置との好ましい設定例を示す図。
【図3】カメラと表示部と運転者位置との好ましい他の設定例を示す図。
【図4】カメラヘッドの一例を示す簡略系統図。
【図5】カメラヘッドの他の例を示す簡略系統図。
【図6】ウィンドウに設けた表示部の好ましい設定例を示す説明図。
【図7】赤外線画像可視光線画像とに基づいて、表示部へ表示する表示画像を得るための全体制御系統図。
【図8】赤外線画像と可視光線画像とに基づいて画像処理される内容を示す系統図。
【図9】物体放射量を推定するための系統図。
【図10】可視光線の反射状況を示す説明図。
【図11】赤外線の反射状況を示す説明図。
【図12】可視光線カメラのレンズ系を示す図。
【図13】赤外線カメラのレンズを所定温度に維持するための一例を示す簡略側面図。
【図14】図13のレンズを正面から見たときの図。
【図15】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図16】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図17】赤外線画像の濃度に基づいて画像処理する一例を示す図。
【図18】赤外線画像を2次微分に基づいて画像処理する一例を示す図。
【図19】赤外線画像を2次微分に基づいて画像処理する一例を示す図。
【図20】赤外線画像を2次微分に基づいて画像処理する一例を示す図。
【図21】2次微分フィルタの設定例を示す図。
【図22】2次微分フィルタの他の設定例を示す図。
【図23】赤外線画像を2次微分に基づいて画像処理する別の例を示す図。
【図24】赤外線画像を2次微分に基づいて画像処理する別の例を示す図。
【図25】赤外線画像を2次微分に基づいて画像処理する別の例を示す図。
【図26】赤外線画像を2次微分に基づいて画像処理するさらに別の例を示す図。
【図27】赤外線画像を2次微分に基づいて画像処理するさらに別の例を示す図。
【図28】赤外線画像を2次微分に基づいて画像処理するさらに別の例を示す図。
【図29】図26〜図28の例での2次微分の補正値の設定例を示す図。
【図30】赤外線画像を可視光線画像に基づいて補正する例を示す図。
【図31】赤外線画像をレーザレーダを用いて補正する例を示す図。
【図32】赤外線画像を外界センサを用いて補正する例を示す図。
【図33】図32の補正の内容を示す図。
【符号の説明】
1自動車
2カメラヘッド
4画像合成用コントロ−ラ
7HUD(ヘッドアップディスプレイ装置)
7a表示部
13赤外線カメラ
14可視光線カメラ
Claims (8)
- 周囲の環境状態を赤外線を用いて撮像する赤外線カメラと、
前記赤外線カメラとほぼ同一位置での環境状態を可視光線を用いて撮像する可視光線カメラと、
可視光域の周辺光を計測する周辺光計測手段と、
前記可視光線カメラからの反射光を計測する反射光計測手段と、
前記周辺光計測手段と反射光計測手段からの出力に基づいて、可視光域での反射率を算出する反射率算出手段と、
前記反射率算出手段により算出された反射率に基づいて、赤外線域での反射率を推定する赤外線反射率推定手段と、
赤外線域の周辺光を計測する赤外線用周辺光計測手段と、
前記赤外線反射率推定手段により推定された赤外線反射率と前記赤外線用周辺光計測手段により計測された赤外線域の周辺光とに基づいて、赤外線域での反射量を推定する赤外線反射量推定手段と、
前記赤外線カメラにより計測された赤外線放射量と前記赤外線反射量推定手段により推定された赤外線反射量とに基づいて、物体の放射量を推定する物体放射量推定手段と、
前記物体放射量推定手段により推定された物体放射量を画像に変換する画像変換手段と、
前記画像変換手段により変換された画像を表示する画像表示手段と、
を備えていることを特徴とする環境認識装置。 - 請求項1において、
前記赤外線カメラと可視光線カメラと画像表示手段とがそれぞれ車両に搭載されており、
前記赤外線カメラと可視光線カメラとがそれぞれ車両前方の環境状態を撮像するように設定され、
前記画像表示手段が、運転者により目視可能な位置に設けられている、
ことを特徴とする環境認識装置。 - 請求項1において、
可視光画像から物体放射量が所定量以上の領域を差引いた画像を、前記物体放射量に基づく画像に足し合わせてなる画像が前記画像表示手段に表示される、ことを特徴とする環境認識装置。 - 請求項1において、
赤外線映像の濃度分布に基づいて前記画像表示手段に表示される画像の濃度を変化させてコントラストを向上させるようにされている、ことを特徴とする環境認識装置。 - 請求項1において、
赤外線映像のエッジ強度に基づいて前記画像表示手段に表示される画像のエッジを強調させるようにされている、ことを特徴とする環境認識装置。 - 請求項1において、
前記可視光線カメラで撮像された画像の処理結果に基づいて特定物体を選択して、該選択された特定物体が前記画像表示手段に表示される、ことを特徴とする環境認識装置。 - 請求項1において、
レーザレーダからの距離表示に基づいて特定物体を選択して、該選択された特定物体が前記画像表示手段に表示される、ことを特徴とする環境認識装置。 - 請求項1において、
前記各カメラ以外であって外部環境を検出する外部環境検出手段からの情報に基づいて特定物体を選択して、該選択された特定物体が前記画像表示手段に表示される、ことを特徴とする環境認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18425698A JP4103179B2 (ja) | 1998-06-30 | 1998-06-30 | 環境認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP18425698A JP4103179B2 (ja) | 1998-06-30 | 1998-06-30 | 環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000019259A JP2000019259A (ja) | 2000-01-21 |
JP4103179B2 true JP4103179B2 (ja) | 2008-06-18 |
Family
ID=16150136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP18425698A Expired - Fee Related JP4103179B2 (ja) | 1998-06-30 | 1998-06-30 | 環境認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4103179B2 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4414054B2 (ja) | 2000-03-27 | 2010-02-10 | 本田技研工業株式会社 | 物体認識装置 |
US7075079B2 (en) * | 2001-06-27 | 2006-07-11 | Wood Roland A | Sensor for dual wavelength bands |
JP3867542B2 (ja) * | 2001-10-09 | 2007-01-10 | 日産自動車株式会社 | 白線検出装置 |
DE10301468B4 (de) | 2002-01-18 | 2010-08-05 | Honda Giken Kogyo K.K. | Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs |
JP3939626B2 (ja) * | 2002-10-10 | 2007-07-04 | 本田技研工業株式会社 | 車両周辺監視装置 |
DE10202163A1 (de) * | 2002-01-22 | 2003-07-31 | Bosch Gmbh Robert | Verfahren und Vorrichtung zur Bildverarbeitung sowie Nachtsichtsystem für Kraftfahrzeuge |
DE10203421C1 (de) * | 2002-01-28 | 2003-04-30 | Daimler Chrysler Ag | Automobiles Infrarot-Nachtsichtgerät und automobiles Display |
JP2003302470A (ja) * | 2002-04-05 | 2003-10-24 | Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai | 歩行者検出装置および歩行者検出方法 |
US6759949B2 (en) * | 2002-05-23 | 2004-07-06 | Visteon Global Technologies, Inc. | Image enhancement in far infrared camera |
JP2004030212A (ja) * | 2002-06-25 | 2004-01-29 | Toyota Central Res & Dev Lab Inc | 車両用情報提供装置 |
JP3988657B2 (ja) * | 2003-02-27 | 2007-10-10 | 日産自動車株式会社 | 対象物検出装置 |
JP2004325165A (ja) * | 2003-04-23 | 2004-11-18 | Mitsubishi Electric Corp | 異物探知装置および方法、並びに地雷探知装置 |
JP2005025692A (ja) * | 2003-07-04 | 2005-01-27 | Suzuki Motor Corp | 車両用情報提供装置 |
DE10348109A1 (de) * | 2003-10-16 | 2005-05-19 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung |
JP2005184523A (ja) * | 2003-12-19 | 2005-07-07 | Matsushita Electric Ind Co Ltd | 車載監視カメラ装置 |
JP2006060425A (ja) * | 2004-08-18 | 2006-03-02 | Olympus Corp | 画像生成方法および装置 |
JP2006178538A (ja) * | 2004-12-20 | 2006-07-06 | Nissan Motor Co Ltd | 道路領域検出装置 |
DE102005006290A1 (de) * | 2005-02-11 | 2006-08-24 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds |
KR100777428B1 (ko) | 2005-07-26 | 2007-11-20 | 한국원자력연구원 | 화상처리 장치 및 방법 |
JP4501855B2 (ja) * | 2005-12-22 | 2010-07-14 | ソニー株式会社 | 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム |
JP4814655B2 (ja) * | 2006-03-02 | 2011-11-16 | 富士通株式会社 | 路面状態判定装置および路面状態判定方法 |
JP4740769B2 (ja) * | 2006-03-02 | 2011-08-03 | 日本放送協会 | 画像歪補正装置 |
JP4932293B2 (ja) * | 2006-03-23 | 2012-05-16 | 本田技研工業株式会社 | 障害物認識装置 |
JP5119675B2 (ja) * | 2007-02-13 | 2013-01-16 | トヨタ自動車株式会社 | 車両周辺監視装置 |
JP4757221B2 (ja) * | 2007-03-30 | 2011-08-24 | 富士フイルム株式会社 | 撮像装置及び方法 |
EP2517170A2 (en) | 2009-12-24 | 2012-10-31 | BAE Systems PLC | Image enhancement |
JP5243486B2 (ja) * | 2010-06-01 | 2013-07-24 | 日本電信電話株式会社 | ケーブル位置検出装置、ケーブル位置検出方法及びケーブル位置検出プログラム |
WO2012071858A1 (zh) * | 2010-12-02 | 2012-06-07 | Liu Ansheng | 一种行车安全装置 |
EP2711912A4 (en) * | 2011-09-28 | 2015-04-22 | Honda Motor Co Ltd | BIOMETRIC DEVICE |
JP5888117B2 (ja) * | 2012-05-25 | 2016-03-16 | コニカミノルタ株式会社 | 物体検出装置 |
WO2017073248A1 (ja) * | 2015-10-27 | 2017-05-04 | 株式会社小糸製作所 | 車両用灯具 |
JP6867023B2 (ja) * | 2017-06-16 | 2021-04-28 | ディーピーティー株式会社 | 移動体用映像表示装置およびその方法 |
JP2018139328A (ja) * | 2018-06-05 | 2018-09-06 | キヤノン株式会社 | 固体撮像装置および撮像システム |
JP7472007B2 (ja) | 2020-12-14 | 2024-04-22 | 株式会社小糸製作所 | 画像投影システムおよび画像投影方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6228614A (ja) * | 1985-07-31 | 1987-02-06 | Komatsu Ltd | 車両の画像ホ−ミング方法 |
JPS63246638A (ja) * | 1987-04-01 | 1988-10-13 | Tokyo Gas Co Ltd | 流体の漏洩の広域監視方法 |
JPH04315950A (ja) * | 1991-04-15 | 1992-11-06 | Toshiba Corp | 画像処理装置 |
JPH06273255A (ja) * | 1993-03-22 | 1994-09-30 | Mitsubishi Heavy Ind Ltd | 漏油検知方法及び装置 |
JP4019182B2 (ja) * | 1995-07-19 | 2007-12-12 | 本田技研工業株式会社 | 視覚装置 |
JP2850890B2 (ja) * | 1996-12-02 | 1999-01-27 | 日本電気株式会社 | 複合センサ型車両感知器 |
-
1998
- 1998-06-30 JP JP18425698A patent/JP4103179B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000019259A (ja) | 2000-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4103179B2 (ja) | 環境認識装置 | |
US10384610B2 (en) | Rearview vision system for vehicle | |
US9445011B2 (en) | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation | |
US8842176B2 (en) | Automatic vehicle exterior light control | |
US6498620B2 (en) | Vision system for a vehicle including an image capture device and a display system having a long focal length | |
EP0830267B1 (en) | Rearview vision system for vehicle including panoramic view | |
EP1683668B1 (en) | Variable transmissivity window system | |
JP4491453B2 (ja) | 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置 | |
JP4253437B2 (ja) | 運動物体前方たとえば自動車前方の光の状態を求める方法および装置 | |
US20180015879A1 (en) | Side-view mirror camera system for vehicle | |
JP4622740B2 (ja) | 車両用表示制御装置 | |
CN104163133A (zh) | 使用后视镜位置的后视摄像机*** | |
JP2005195601A (ja) | 自動車のための運転条件を検出するシステムおよび方法 | |
JP2005126068A (ja) | 適応画像化暗視装置 | |
JP2007091186A (ja) | 車両周囲状況の撮影表示方法および撮影表示システム | |
JPH08253059A (ja) | 車両用運転支援システム | |
JP2005033680A (ja) | 車両用画像処理装置 | |
WO2019177036A1 (ja) | 車両用映像システム | |
US20210256278A1 (en) | Method for Detecting Light Conditions in a Vehicle | |
JP6750449B2 (ja) | 撮像装置 | |
JPH10230805A (ja) | 自動車用運転支援装置 | |
US11778316B2 (en) | Imaging apparatus | |
JP2006157634A (ja) | 車載撮像システム | |
Bertozzi et al. | Camera-based automotive systems | |
Mühlenberg et al. | Driver assistance systems based on image sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080304 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080317 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080122 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |