JP2004104646A

JP2004104646A - 車載用画像処理装置

Info

Publication number: JP2004104646A
Application number: JP2002266482A
Authority: JP
Inventors: Tatsuhiko Moji; 門司　竜彦
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-09-12
Filing date: 2002-09-12
Publication date: 2004-04-02
Anticipated expiration: 2022-09-12
Also published as: JP3909691B2; EP1400916A3; US20040091133A1; EP1400916A2

Abstract

【課題】走行レーンなどの検出性能が高い小型の車載用画像処理装置を実現する。
【解決手段】撮像デバイス３におけるマトリクス配列の画素列に対して、水平方向の１画素列毎に可視光に感度をもつ領域と不可視光に感度をもつ領域を交互に設定し、上下の隣り合う可視光領域と不可視光領域の画像信号を選択的に使用して物体を認識する処理を行うことにより、白線画像を認識して走行レーンを検出する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周辺を撮像して得た画像信号を処理して走行レーンなどを検出する車載用画像処理装置に関する。
【０００２】
【従来の技術】
【特許文献１】
特開２００１−０５７６７６号公報
【特許文献２】
特開２０００−２３０８０５号公報
【特許文献３】
特開平１１−１３６７０３号公報
特許文献１に記載された装置は、撮像素子の前方に設けた赤外光の透過量を可変する赤外光フィルタにより、透過量を切り替えて車両の周辺を撮像する構成である。これによれば、明るい場所では人の目で見た色合いに近い色合いで撮像し、暗い場所では、暗視性を高めて撮像することが可能であり、この撮像した画像から路上の白線を認識し、走行レーンを検出することができる。
また、特許文献２に記載された装置は、異なる偏向成分を持つ画像の差分により、レーンマーカ像を認識し、走行レーンを検出する構成である。
また、特許文献３に記載された装置は、特定波長を透過する領域と遮断する領域が均一に分布した光学フィルタを通して撮像した画像の減算処理により、背景画像を除去して立体物を抽出する構成である。
【０００３】
【発明が解決しようとする課題】
このような従来装置によれば、特許文献１に記載された装置は、路上の白線を認識して走行レーンを検出する手法であるので、路上の白線が汚れている環境では走行レーンの検出性能が低下する。
また、特許文献２に記載された装置では、赤外光の透過量の異なる画像を得るために、プリズムなどを使用して入射光を分光して撮像する２つの撮像素子を用いており、撮像部の小型化の障害となる。
また、特許文献３に記載された装置では、赤外光の反射のあるなしで立体物を抽出する方法であり、車両の周辺の走行レーンなど検出するために如何に利用するかについての技術的な示唆がない。
【０００４】
本発明の１つの目的は、車両の周辺の白線や反射板（走行レーン）などの物体の検出性能が高い小型の車載用画像処理装置を提供することにある。
本発明の他の目的は、夜間における白線，反射板，交通信号灯（交通信号機），先行車，対向車などを高い精度で識別することができる車載用画像処理装置を提供することにある。
本発明の更に他の目的は、前述したような目的を比較的に簡単な構成で達成することができる車載用画像処理装置を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、車両の周辺を撮像デバイスで撮像して得た画像信号に基づいて該車両の周辺の物体を認識する車載用画像処理装置において、前記撮像デバイスは、可視光に対して感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域を交互に備え、この撮像デバイスの可視光に感度をもつ画素列領域から得られる可視光領域画像信号と不可視光に感度をもつ画素列領域から得られる不可視光領域画像信号を使用して物体を認識する画像処理部を設けたことを特徴とする。
【０００６】
【発明の実施の形態】
本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施の形態における車載用画像処理装置の機能ブロック図である。
図１において、１は撮像レンズ、２は不可視光である赤外光を透過する領域と遮断する領域をもった櫛型構造の赤外光フィルタ、３は撮像デバイス、４は画像処理部、５は表示用モニタ、６は赤外光投光器（赤外灯）、７はヘッドライト、８はステアリング制御器、９は車間距離制御器、１０はライト操作スイッチ、１１はヘッドライト制御回路である。
【０００７】
撮像レンズ１は、被写体からの光を集光し、赤外光フィルタ２を介して撮像デバイス３の受光面に結像する。
【０００８】
赤外光フィルタ２は、後述するように、赤外光を透過する領域と遮断する領域をもつ櫛型構造のフィルタである。
【０００９】
撮像デバイス３は、モノクロ用のＣＣＤであり、受光面にマトリクス配列された感光素子であるフォトダイオード群（画素列）と、これらの画素列にトランスファゲートを介して隣接形成された垂直電荷転送路群と、垂直電荷転送路群の終端部分に形成された水平電荷転送路群とを備える。そして、フィールド周期より短い露光期間に画素列に蓄積された総ての画素電荷を露光期間終了と同時に電荷転送ゲートを介して垂直電荷転送路群へ転送し、更に垂直電荷転送路群に設けられている転送電極群に印加される走査読出制御信号に同期して１列分ずつ水平電荷転送路ヘ転送させつつ画素配列順に各画素電荷を読み出して画像信号として出力する構成である。
【００１０】
画像処理部４は、前記撮像デバイス３を制御するタイミングジェネレータ４１と、撮像デバイス３から画像信号を入力するＡＤ変換器４２と、画像処理ロジックＩＣ４３と、前記表示用モニタ５に表示用の映像信号を出力するＤＡ変換器４４と、画像信号や画像処理データを格納するＲＡＭ４５と、各種の制御処理を実行するＣＰＵ４６と、画像処理および制御処理のプログラムを格納したＲＯＭ４７と、前記ステアリング制御器８や車間距離制御器９と通信する通信回路（ＣＡＮ）４８と、前記ライト操作スイッチ１０からの点灯／消灯のヘッドライト指示信号の入力や前記赤外光投光器（赤外灯）６およびヘッドライト制御回路１１を制御する入出力回路（Ｉ／Ｏ）４９を備える。
【００１１】
この画像処理部４における前記ＡＤ変換器４２は、撮像デバイス３から出力されるアナログ信号形態の画像信号をデジタル信号形態に変換して画像処理ロジックＩＣ４３に転送する。このＡＤ変換器４２は、入力した画像信号に対してγ補正などの信号処理を行う機能を付加しても良い。
【００１２】
画像処理ロジックＩＣ４３は、ＡＤ変換器４２から転送されてきた画像信号をＲＡＭ４５に格納して保存し、ＲＡＭ４５に保存されている画像信号に対して、ＲＯＭ４７に格納されている画像処理プログラムに従って差分抽出処理やエッジ抽出処理などを実行し、その処理結果をＲＡＭ４５に格納して保存し、ＲＡＭ４５に保存されている前記処理結果に対して画像認識処理を実行して走行レーンなどの検出処理を実行し、この検出結果をＤＡ変換器４４を介してアナログ信号形態の映像信号（ＮＴＳＣ方式の映像信号）に変換して表示用モニタ５に表示させる。
【００１３】
ＣＰＵ４６は、ＲＯＭ４７に格納されている制御処理プログラムに従って、前記タイミングジェネレータ４１を介して撮像デバイス３のシャッタ速度を制御し、前記画像処理ロジックＩＣ４３における画像処理および検出処理を制御し、通信回路４８を介してステアリング制御器８および車間距離制御器９と通信し、入出力回路４９を介してライト操作スイッチ１０からの点灯／消灯，長配光／短配光などのヘッドライト指示信号を入力し、前記検出結果およびヘッドライト指示信号を参照して、ステアリング制御器８および車間距離制御器９における制御処理で参照する物体および走行レーン検出情報を提供し、赤外光投光器６とヘッドライト７の点灯／消灯，長配光／短配光などの制御処理を実行する。
【００１４】
赤外光投光器６は、対向車の運転手を眩惑することがない不可視光である赤外光を発生して長配光で自車両の前方を遠方領域（遠距離）まで照射するように設置し、画像処理部４の入出力回路４９に制御されて点灯または消灯する。
【００１５】
ヘッドライト７は、自車両の前方を遠方領域まで照射する長配光と対向車両の運転者を眩惑しないような近距離照射の短配光に切り替え可能に構成し、画像処理部４の入出力回路４９とライト操作スイッチ１０からの指示信号に従ってヘッドライト制御回路１１によって点灯／消灯および長配光／短配光に切り替え制御する。ここで、ヘッドライト制御回路１１は、ライト操作スイッチ１０からの指示信号を優先的に扱って切り替え制御を実行する。
【００１６】
ステアリング制御器８は、自車両が走行レーン内を走行するように操舵車輪の向きを制御する制御器である。
【００１７】
車間距離制御器９は、自車両が先行車に近付き過ぎないように警報したり、走行速度を制限する制御器である。
【００１８】
図２は、櫛型構造の赤外光フィルタ２と撮像デバイス３における画素列の相対関係を示す模式図である。
【００１９】
撮像デバイス３は、各画素に相当するフォトダイオード群を水平方向に配列して構成した画素列３１ａ〜３１ｈを垂直方向に並べたアレイ構成である。そして、赤外光フィルタ２は、前記各画素列３１ａ〜３１ｈに対応させて奇数列目の画素列３１ａ，３１ｃ…には赤外光を遮断する赤外光遮断領域２１ａ，２１ｃ…を重ね合わせ、偶数列目の画素列３１ｂ，３１ｄ…には赤外光を透過させる赤外光透過領域２１ｂ，２１ｄ…を重ね合わせるように横方向（水平方向）に伸びる歯を形成した櫛型構造を呈している。撮像デバイス３の各画素群の１つ１つに集光目的でマイクロレンズを形成する構成では、このマイクロレンズ上に前述した配列となるように赤外光フィルタを形成することもできる。このように赤外光フィルタ２を重ね合わせた撮像デバイス３は、赤外光遮断領域２１ａ，２１ｃ…を重ね合わせた画素列３１ａ，３１ｃ…から可視光領域画像信号を出力し、赤外光透過領域２１ｂ，２１ｄ…を重ね合わせた偶数列目の画素列３１ｂ，３１ｄ…から不可視光領域画像信号を出力する。
【００２０】
図３は、このような赤外光フィルタ２を通して路上の走行レーンを示す白線を撮像して得た画像信号に基づく映像の模式図である。赤外光フィルタ２の赤外光遮断領域２１ａ，２１ｃ…を重ね合わせた画素列３１ａ，３１ｃ，３１ｅ…から得られる可視光領域画像信号に基づく映像領域を当該画素列の参照符号で示し、赤外光透過領域２１ｂ，２１ｄ…を重ね合わせた画素列３１ｂ，３１ｄ…から得られる不可視光領域画像信号に基づく映像領域を当該画素列の参照符号で示す。
【００２１】
（ａ）は、理想的な映像であり、赤外光透過領域３１ｄ，赤外光遮断領域３１ｅの両領域において白線画像１０１が鮮明な映像である。
（ｂ）は、昼間に櫛型構造の赤外光フィルタ２を通して撮像して得た画像信号に基づく映像である。赤外光フィルタ２の赤外光透過領域３１ｄではボケたような白線画像１０１ａの映像となっている。
（ｃ）は、夜間に赤外光投光器６およびヘッドライト７を消灯した状態で撮像して得た画像信号に基づく映像である。白線画像を認識することができない映像である。
（ｄ）は、夜間にヘッドライト７を短配光で点灯した状態で撮像して得た画像信号に基づく映像である。白線画像１０１は、ヘッドライト７の短配光で照射された近距離領域のみが認識可能な映像である。
（ｅ）は、夜間にヘッドライト７を長配光で点灯した状態で撮像して得た画像信号に基づく映像である。白線画像１０１は、ヘッドライト７の長配光で照射された遠距離領域まで認識可能な映像である。
（ｆ）は、夜間に赤外光投光器６を点灯して照射した長配光の赤外光とヘッドライト７を短配光で点灯して照射した状態で撮像して得た画像信号に基づく映像である。長配光の赤外光の照射によって更に遠距離領域まで白線画像１０１を認識することができる映像である。
【００２２】
このように路上の走行レーンを表示する白線は、認識可能なように撮像することができる距離が昼夜および赤外光投光器６とヘッドライト７の点灯状態の違いによって違ってくる。
【００２３】
このように赤外光フィルタ２を通して撮像デバイス３で撮像して得た画像信号における白線画像を認識して走行レーンを検出する方法を図４を参照して説明する。
【００２４】
近年、撮像デバイス３の高画素密度化が進んで分解能が向上している。従って、マトリクス配列の画素群における１列置き毎の画素列からの画像信号においても画像認識に十分な分解能が得られることから、例えば、昼間において、櫛型構造の赤外光フィルタ２を通して撮像して得た画像信号における映像｛図４（ａ）参照｝では、赤外光フィルタ２の赤外光遮断領域２１ｅ，２１ｇ…に対応するの画素列３１ｅ，３１ｇ…から得られる可視光領域画像信号に基づいて白線を画像認識することができる｛図４（ｂ）参照｝（白線推定方法）。
【００２５】
この白線画像認識における白線推定方法の具体例を図６を参照して説明する。路面に描かれた白線を撮像して得た画像は、（ａ）に示すように、手前の近距離領域（画面の下部領域）では太く、遠距離領域（画面の上部領域）では細くなる。このような画像において、任意の画素列の画像信号の横方向に画像の明るさ（濃度値）の変化の度合いを検出する処理（画像信号の２値化処理）を行うと、各画素列の画像信号における濃度値は、（ｂ）のようになる。ここで、濃度値の低いところから高くなるところを立上がりエッジと定義し、高いところから低くなるところを立下がりエッジと定義すると、白線は、左から立上がりエッジと立下がりエッジのペアで構成される。そこで、左側の白線は、これらのペアのエッジの立下がりエッジで抽出してハフ（Ｈｏｕｇｈ）変換することにより求め、また、右側の白線は、これらのペアのエッジの立上がりエッジで抽出してハフ変換することにより求めることにより、（ｃ）で示すように白線画像１０１ｂを得ることができる。
【００２６】
この白線推定方法では、昼間に撮像して得た画像信号によれば、前方の十分な遠距離までの白線画像を認識して走行レーンを検出することが可能である。しかしながら、夜間になると、撮像して得られる画像信号に基づく画像によれば、認識可能な白線画像１０１はヘッドライト７の照射範囲に限られるので｛図４（ｃ）参照｝、白線画像１０１の認識結果に基づいて十分に遠距離までの走行レーンを検出することができなくなる。そこで、このような環境では、赤外光投光器６を点灯し、ヘッドライト７の配光による照射範囲よりも更に遠距離の領域については、赤外光投光器６により赤外光照射された範囲について、赤外光透過領域の画素列３１ｄ，３１ｆから得られる画像信号に基づく画像を交えて白線画像１０１，１０１ａの認識処理を実行する｛図４（ｄ）参照｝。このときには、赤外透過領域における白線画像１０１ａはボケているようになることから、エッジ抽出処理においては、次のような処理を実行する。すなわち、白線画像１０１ａがボケているために該白線画像１０１ａの両サイド間の距離（白線画像の幅）が大きく（広く）なる。そこで、エッジ抽出処理においては、白線画像１０１ａの両サイドのエッジ座標の中間点を求め、その中間点から左右に１画素ずらした点を白線画像の両エッジとする補正を行って、白線の画像認識処理を行う（白線合成推定方法）。ここで、遠距離の白線画像の幅は、映像上は、近距離の白線画像の幅に比べて極端に狭くなる。
【００２７】
この白線合成推定方法の具体例を図７を参照して説明する。路面に描かれた白線を撮像して得た画像信号に基づく画像は、（ａ）に示すように、手前の近距離領域（画面の下部領域）では太く、遠距離領域（画面の上部領域）では細くなる。更に、赤外光透過領域画像信号では、濃度値が高くなり、赤外光遮光領域に比べてコントラストが悪い画像となる。このような画像信号に対して、横方向に画像の明るさ（濃度値）の変化の度合いを検出する処理（画像信号の２値化処理）を行うと、赤外光透過領域に該当する不可視光領域画像信号においては（ｂ）にＡで示し、赤外光遮断領域に該当する可視光領域画像信号においてはＢで示すようになる。
【００２８】
そこで、左側の白線は、これらのペアのエッジの立下がりエッジで抽出してハフ変換することにより求め、また、右側の白線は、これらのペアのエッジの立上がりエッジで抽出してハフ変換することにより求めることにより、（ｃ）で示すように白線画像１０１ｂを得ることができる。エッジ抽出において、赤外光透過領域の不可視光画像信号の領域におけるエッジは、実際には、若干ずれる。従って、不可視光（赤外光透過）領域画像信号の領域におけるエッジ抽出では、水平方向の補正を加える。この補正量は、画面の下部領域では大きく、上部領域では小さくする。このように補正してエッジを抽出することにより、実際の境界位置との誤差が小さくなってハフ変換の精度が向上する。
【００２９】
次に、白線と路面のコントラストが悪い環境を撮像して得た画像信号に基づいて走行レーンを検出する方法について図５を参照して説明する。
【００３０】
白線と路面のコントラストが悪い環境、言い換えると、白線上の汚れや劣化により白さが低下した白線を撮像して得た画像信号に基づく画像｛図５（ａ）参照｝では、画像信号から白線画像を認識することが困難となり、従来の白線認識方法では、走行レーンを検出することができなくなる。このような場合には、多くの道路において走行レーンに沿って設置されている反射板などの反射体画像１０２を認識し、その位置を参照することによって走行レーンを推測する処理を実行する｛図５（ｂ）｝。
【００３１】
基本的な考え方は、赤外光投光器６を点灯して赤外光を照射し、反射板から反射してくる赤外光を撮像デバイス３で撮像する｛図５（ｃ）｝。ここで、赤外光フィルタ２の赤外光透過領域と遮断領域の上下に隣り合う画素列の画像信号の映像は、略同じものと言えることから、この上下に隣り合う画素列の画像信号（映像）の差分を求めると、赤外光が強い部分は、この差分量が大きくなる。そこで、この差分量が大きいところを反射板（反射体画像１０２）の位置として認識して走行レーンを推測する。
【００３２】
図５（ｄ）は、撮像して得た画像信号に基づく画像における反射体画像１０２の部分を拡大して示している。図５（ｃ）の画像では、赤外光透過領域と遮断領域を大きく表示しているが、実際には、画素列毎に各領域が入れ替わって位置しており、反射体画像１０２は複数画素列分の画像信号による画像となる。この反射体画像１０２に画素を割り付けると図５（ｅ）のようになる。この画像において、上から走査して現在の画素に対して、次式の算出を行う。
（現在の画素の差分値）＝（現在の画素の信号値）−（１つ下の画素の信号値）
【００３３】
反射体画像１０２上の現在の画素の差分値の符号は、赤外光透過領域上は、赤外光遮断領域よりも透過した赤外光分の光量が多くなるために正（＋）となり、赤外光遮断領域では、逆に負（−）となる。
【００３４】
図５（ｆ）は、このようにして算出した結果を示している。このような画素の差分画像上では、赤外光の反射が強い部分では、水平方向に（＋）が並んだ領域と（−）が並んだ領域が垂直方向に交互に発生する。このような領域は、反射板（反射体画像１０２）であると認識することができ、このようにして認識した反射板の位置に基づいて走行レーンを推定することができる（白線差分推定方法）。
【００３５】
この白線差分推定方法の具体例について図８を参照して説明する。正常であれば（ａ）のように白線画像１０１と反射対画像１０２が鮮明な画像となる路上環境において、白線が汚れたり摩滅していると、（ｂ）に示すように画像信号に基づいて白線画像を認識することができない。しかしながら、走行レーンに沿って反射板が設置されていると、この反射体画像１０２を認識して反射板の位置を求め、この反射板の位置に基づいてハフ変換により白線画像を推定することができる。しかし、白線差分推定方法は、前述した白線推定方法および白線合成推定方法に比べて情報量が少なく、遠方の反射板は走行レーンに沿ったものではないことが多く、遠方の反射板の情報を参照すると、誤推定の原因となることが多い。そこで、この白線差分推定方法では、近距離領域（画面の下部領域）の情報を重視し、画面の下方から２〜３つの情報を使用して直線近似することにより、（ｃ）に示すように白線画像１０１ｃを推定することが望ましい。
【００３６】
ここで、このような画像認識処理方法の切り替えと赤外光投光器６およびヘッドライト７の点灯状態を切り替える制御処理を図９を参照して説明する。この制御処理は、主として、画像処理部４におけるＣＰＵ４６が実行する。
【００３７】
ステップ１００１
昼夜の判定を行って制御処理を分岐する。この判定は、運転者がライト操作スイッチ１０を操作してヘッドライト７の点灯を指示する指示信号を発生させているときには夜間と判定し、ヘッドライト点灯の指示信号が発生していないときには、撮像して得た画像信号（画像の明るさなど）や撮像制御信号を解析して夜間か昼間かを判定するようにして行う。
【００３８】
ここで、撮像して得た画像信号や撮像制御信号に基づいて昼夜を判定する判定方法を図１０〜図１２を参照して説明する。
【００３９】
図１０において、横軸は、撮像対象物の明るさの物理量（例えば、ｃｄ／ｍ^２）を示し、縦軸は、この撮像対象物を撮像デバイス３で電子シャッタ値（シャッタ速度）を変化させて撮像して取り込んだ画像信号の値（濃度値）の一例を示している。ここで、電子シャッタ値とは、撮像デバイス３におけるＣＣＤにおいて電荷を蓄積する時間のことである。ここでは、１０段階のシャッタ速度の特性を示しており、左側から順に、１／６０，１／１２０，１／１８０，１／２５０，１／５００，１／１０００，１／２０００，１／４０００，１／１００００，１／３００００の特性曲線である。
【００４０】
このような特性の撮像デバイス３は、夜間に遅いシャッタ速度で撮像しているときに対向車のヘッドライトの光が入光すると、明る過ぎるために、濃度値が飽和（明飽和）してしまう。また、道路照明がある領域からない領域に移動すると、ヘッドライト７の照射範囲外では暗くなり過ぎて（暗飽和）、必要な濃度値が得られなくなる。ＣＰＵ４６は、画像信号の濃度値を参照して、適正範囲の濃度値の画像信号が得られるようなシャッタ速度となるようにタイミングジェネレータ４１に指示する。
【００４１】
図１１は、ＣＰＵ４６が実行する電子シャッタ速度の変更制御処理方法を示している。
【００４２】
ステップ２００１
撮像して得た画像信号の各画素について、以下の処理が終了したかどうかを判定して処理を分岐する。
ステップ２００２
未終了であれば、現在の対象となる画素の濃度値を判定して処理を分岐する。
ステップ２００３
濃度値が２５０以上であれば明飽和している領域とみなし、明飽和画素数カウンタをアップする。
ステップ２００４
明飽和画素数のカウント値が全画素数の半分の数以上かどうかを判定して処理を分岐する。
ステップ２００５
明飽和画素数カウンタのカウント値が全画素数の半分の数以上であれば、電子シャッタ速度が全く整合していない（遅すぎる）とみなして電子シャッタ速度を２段階アップ（速く）する。
【００４３】
ステップ２００６
濃度値が２５０未満のときには、更に、２０以下かどうかを判定して処理を分岐する。
ステップ２００７
濃度値が２０以下のときには暗飽和している領域とみなし、暗飽和画素数カウンタをアップする。
ステップ２００８
暗飽和画素数カウンタのカウント値が全画素数の半分の数以上かどうかを判定して処理を分岐する。
ステップ２００９
暗飽和画素数カウンタのカウント値が全画素数の半分の数以上であれば、電子シャッタ速度が全く整合していない（速すぎる）とみなして電子シャッタ速度を２段階ダウン（遅く）する。
ステップ２０１０
飽和領域が少なく、全画素の処理が終了すると、その画面の濃度値の平均値を算出し、平均濃度値が１６０以上かどうか判定して処理を分岐する。
【００４４】
ステップ２０１１
平均濃度値が１６０以上のときには、電子シャッタ速度を１段階アップ（速く）する。
ステップ２０１２
平均濃度値が８０以下かどうか判定して処理を分岐する。
ステップ２０１３
平均濃度値が８０以下のときには、電子シャッタ速度を１段階ダウン（遅く）する。
【００４５】
このように電子シャッタ速度を制御することにより、程好い明るさの画像信号を得ることができる。すなわち、このように制御された電子シャッタ速度で得られる画像信号の濃度値の平均値は、ある範囲内のものとなり、このような画像信号を得ることができる電子シャッタ速度は、昼間は速く、夜間は遅くなる。
【００４６】
このことから、この電子シャッタ速度（電子シャッタ値）を参照して昼夜を判定することができる。この判定方法を図１２を参照して説明する。
【００４７】
ステップ３００１
電子シャッタ値が５以上かどうかを判定して処理を分岐する。
ステップ３００２
シャッタ値が５以上のときには昼間と判定して相応する制御処理を実行する。
ステップ３００３
シャッタ値が４以下かどうかを判定して処理を分岐する。
ステップ３００４
シャッタ値が４以下のときには夜間と判定して相応する制御処理を実行する。
何れにも該当しないときには前回の判定に基づく制御処理結果を維持する。
【００４８】
ステップ１００２（図９参照）
昼間と判定したときには、前回の画像認識処理による白線認識距離が４０ｍ以上かどうかを判定して処理を分岐する。ここで、４０ｍの技術的な意義は、ヘッドライト７の短配光における照射での到達距離である。また、この距離の判定は、画像の垂直方向の位置に関連付けて行うことができる。
ステップ１００３
白線認識距離が４０ｍ未満の場合には、赤外光投光器６を点灯する。
ステップ１００４
白線認識距離が６０ｍ以上かどうかを判定して処理を分岐する。
ステップ１００５
白線認識距離が６０ｍ以上の場合には、赤外光投光器６を消灯する。白線認識距離が４０以上で６０ｍ未満のときには、赤外光投光器６の点灯状態を変更しない（前回の制御状態を維持する）。
【００４９】
ステップ１００６
赤外光投光器６の点灯状態を判定して処理を分岐する。
ステップ１００７
赤外光投光器６が消灯しているときには、白線推定方法の画像認識処理を実行して走行レーンを検出する。この処理を実行しているときは、４０ｍ以上の白線の画像認識が安定して継続している状態である。
ステップ１００８
赤外光投光器６が点灯しているときには、白線差分推定方法の画像処理を実行する。この処理を実行しているときは、白線の状態が悪いことから、反射板（反射体画像）を参照して推定により走行レーンの検出を実行している状態である。
ステップ１００９
ステップ１１１０における判定で夜間の場合には、ヘッドライト７を短配光（短距離の照射領域）で点灯させる。
ステップ１０１０
前回の認識処理による白線認識距離が４０ｍ以上かどうかを判定して処理を分岐する。
【００５０】
ステップ１０１１
白線認識距離が４０ｍ未満の場合には、赤外光投光器６を点灯する。
ステップ１０１２
白線差分推定方法の画像認識処理を実行する。
ステップ１０１３
白線認識距離が４０ｍ以上の場合には、６０ｍ以上かどうかを判定して処理を分岐する。
ステップ１０１４
白線認識距離が４０ｍ以上で６０ｍ未満の場合には、赤外光投光器６を点灯する。
ステップ１０１５
前方に他の車両が走行しているかどうかを判定する。ここで、前方を走行する他の車両とは、同一方向に走行する先行車と対向車を含めたものである。
【００５１】
ステップ１０１６
前方に他の走行車両がないときには、ヘッドライト７を長配光（遠距離の照射）で点灯して自車の運転者が遠くまで道路を視認することができるようにする。
ステップ１０１７
前方に走行車両があるときには、それらの運転者の眩惑を避けるために、ヘッドライト７を短配光（短距離の照射）の点灯とする。
【００５２】
ここで、先行車と対向車と反射板と交通信号灯の判別方法を説明する。
これらの判別は、自ら発光するもの（発光体）と光を反射するもの（反射体）の識別と、その組み合せにより行う。対向車と交通信号灯は、発光するもの（発光体）であり、対向車はヘッドライト７が白色光で発光しており、交通信号灯は特定色光で発光している。すなわち、赤外光遮断領域の可視光領域画像信号で特に明るい個所（画像）が発光体であり、その近傍に、赤外光投光器６の発光時には明るく、発光しないときには暗い個所がないところが、対向車あるいは交通信号灯と特定することができる。
【００５３】
反射板は、光の反射のみである。従って、赤外光投光器６の発光時と発光しないときの連続した画像信号を比較することで判別することができる。すなわち、発光時には明るくなり、発光しないときには暗くなる個所が反射板１０２の位置であると特定することができる。
【００５４】
先行車は、発光するもの（テールランプ）と反射するもの（リフレクタ）が近接している構成である。従って、赤外光遮断領域の可視光領域画像信号で特に明るい個所が発光体（テールランプ）であり、その近傍に、赤外光投光器６の発光時には明るく、発光しないときには暗くなる個所（リフレクタ）があるところを先行車の位置と特定することができる。
【００５５】
ステップ１０１８
白線認識距離が６０ｍ以上の場合には、赤外光投光器６を消灯する。
ステップ１０１９
赤外光投光器６の点灯状態を判定して処理を分岐する。
ステップ１０２０
赤外光投光器６が消灯しているときには、白線推定方法の処理を実行する。この処理を実行しているときは、４０ｍ以上の白線の認識を安定して実行することができる状態である。
【００５６】
ステップ１０２１
赤外光投光器６が点灯しているときには、白線合成推定方法の処理を実行する。この処理を実行しているときは、遠くの白線を赤外光を利用した撮像により認識し、遠くの白線情報を利用して推定を実行している状態である。
ステップ１０２２
白線認識状態を判定する。赤外光投光器６を点灯している状態で白線認識距離が４０ｍ未満かどうかを判定して処理を分岐する。
ステップ１０２３
赤外光投光器６を点灯している状態での白線認識距離が４０ｍ未満となっている状態では、白線の状態は悪く、更に反射板がなかったり、反射板の汚れがひどい状態であると推定し、このような環境状態では、走行レーンを正確に検出することが困難であることから、このような状態における走行レーン検出情報は、ステアリング制御器８や車間距離制御器９において使用しないように制限する。
【００５７】
画像処理部４は、赤外光投光器６およびヘッドライト７の点灯を制御しつつ画像認識処理によって白線，反射板，交通信号灯（交通信号機），先行車，対向車などを識別して走行レーンを検出する処理を実行するが、この間、赤外光投光器６の点灯状態に応じて可視光領域画像信号と可視光領域画像信号を選択的に使用してモニタ５に表示する映像信号を生成する。
【００５８】
この実施の形態において、不可視光として赤外光（赤外光投光器）を使用したが、紫外光（紫外光投光器）を使用するように変形することもできる。このような構成では、赤外光フィルタ２を紫外光フィルタに変更する。
【００５９】
また、赤外光フィルタ２の櫛状の歯が伸びる領域を横方向（水平方向）から縦方向（垂直方向）に変形することもできる。このような構成では、白線差分推定法において反射体画像認識のために算出する画素信号の差分値は、左右に隣り合う画素の画像信号の差分となる。
また、撮像デバイス３は、赤外光（不可視光）に対して感度をもつ画素列は、垂直方向の上部領域を下部領域よりも密に設定することにより、夜間には遠方の画像情報量を多く取得することができるように構成すると良い。
【００６０】
【発明の効果】
本発明は、車両の周辺を撮像する撮像デバイスは、可視光に対して感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域を交互に備えた構成とし、この撮像デバイスの可視光に感度をもつ画素列領域から得られる可視光領域画像信号と不可視光に感度をもつ画素列領域から得られる不可視光領域画像信号を使用して物体を認識する画像処理部を設けたことにより、車両の周辺の白線や反射板（走行レーン）などの物体の検出性能が高い小型の車載用画像処理装置を提供することができる。
また、画像処理部は、可視光領域画像信号と不可視光領域画像信号の差分情報に基づいて高反射物体と低反射物体と発光体を識別することにより該識別結果に基づいて先行車と対向車と反射板と交通信号灯を識別する高い精度で識別することができる。
そして、このような識別は、前述撮像デバイスの構成と画像信号処理によって実現するようにしているので、前述したような効果を比較的に簡単な構成で得ることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態における車載用画像処理装置の機能ブロック図である。
【図２】図１に示した車載用画像処理装置における櫛型構造の赤外光フィルタと撮像デバイスにおける画素列の相対関係を示す模式図である。
【図３】図１に示した撮像デバイスで路上の走行レーンを示す白線を撮像して得た画像信号に基づく映像の模式図である。
【図４】図１に示した撮像デバイスで撮像して得た画像信号における白線画像を認識して走行レーンを検出する方法を説明する模式図である。
【図５】図１に示した撮像デバイスで白線と路面のコントラストが悪い環境を撮像して得た画像信号に基づいて走行レーンを検出する方法を説明する模式図である。
【図６】白線推定方法による白線画像認識を説明する模式図である。
【図７】白線合成推定方法による白線画像認識を説明する模式図である。
【図８】白線差分推定方法による白線画像認識を説明する模式図である。
【図９】図１に示した車載用画像処理装置における画像処理部のＣＰＵが実行する画像認識処理方法の切り替えと赤外光投光器およびヘッドライトの点灯状態を切り替える制御処理のフローチャート出ある。
【図１０】撮像対象物の明るさと撮像デバイスの電子シャッタ値（シャッタ速度）と画像信号の値（濃度値）の関係を示す特性図である。
【図１１】図１に示した車載用画像処理装置における画像処理部のＣＰＵが実行する電子シャッタ速度の変更制御処理方法を示すフローチャートである。
【図１２】図１に示した車載用画像処理装置における画像処理部のＣＰＵが実行する昼夜判定方法を示すフローチャートである。
【符号の説明】
１…撮像レンズ、２…赤外光フィルタ、３…撮像デバイス、４…画像処理部、５…モニタ、６…赤外光投光器、７…ヘッドライト、８…ステアリング制御器、９…車間距離制御器、１１…ヘッドライト制御回路。

Claims

車両の周辺を撮像デバイスで撮像して得た画像信号に基づいて該車両の周辺の物体を認識する車載用画像処理装置において、
前記撮像デバイスは、可視光に対して感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域を交互に備え、この撮像デバイスの可視光に感度をもつ画素列領域から得られる可視光領域画像信号と不可視光に感度をもつ画素列領域から得られる不可視光領域画像信号を使用して物体を認識する画像処理部を設けたことを特徴とする車載用画像処理装置。
請求項１において、前記不可視光として赤外光を用いることを特徴とする車載用画像認識装置。
請求項１において、前記不可視光として紫外光を用いることを特徴とする車載用画像認識装置。
請求項１において、前記撮像デバイスは、可視光に感度をもつ画素列領域を可視光に感度をもつ感光素子によって構成し、不可視光に感度をもつ画素列領域を不可視光に感度をもつ感光素子によって構成したことを特徴とする車載用画像認識装置。
請求項１において、前記撮像デバイスは、可視光に感度をもつ画素列領域を可視光を透過するフィルタを感光素子列の前に設置することによって設定し、不可視光に感度をもつ画素列領域を不可視光を透過するフィルタを感光素子列の前に設置することによって設定したことを特徴とする車載用画像認識装置。
請求項１において、前記撮像デバイスの可視光に感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域は、それぞれ、水平方向の画素列によって構成し、各画素列領域を垂直方向に交互に配置したことを特徴とする車載用画像処理装置。
請求項６において、前記撮像デバイスは、遠距離領域を撮像する画素列領域における不可視光に対して感度をもつ画素列の密度を、近距離領域を撮像する画素列領域における不可視光に対して感度をもつ画素列の密度よりも密に設定したことを特徴とする車載用画像処理装置。
請求項１において、前記撮像デバイスの可視光に感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域は、それぞれ、垂直方向の画素列によって構成し、各画素列領域を水平方向に交互に配置したことを特徴とする車載用画像処理装置。
請求項１において、前記撮像デバイスの可視光に感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域は、それぞれ、垂直方向の画素列によって構成し、各画素列領域を水平方向に交互に配置したことを特徴とする車載用画像処理装置。
請求項１において、前記画像処理部は、垂直方法または水平方向に隣接する画素列領域から得られる可視光領域画像信号と不可視光領域画像信号の差分情報に基づいて高反射物体と低反射物体を識別することを特徴とする車載用画像処理装置。
請求項１０において、前記画像処理部は、高反射物体と低反射物体と発光体の識別結果に基づいて、先行車と対向車と反射板と交通信号灯を識別することを特徴とする車載用画像処理装置。
請求項１１において、前記画像処理部は、可視光領域画像信号に基づいて不可視光投光器の点灯を制御する不可視光投光器点灯制御を実行することを特徴とする車載用画像処理装置。
請求項１において、前記画像処理部は、検出した物体に基づいて走行レーンを検出することを特徴とする車載用画像認識装置。
請求項１において、前記画像処理部は、可視光領域画像信号と可視光領域画像信号を不可視光投光器の点灯状態に応じて選択的に使用してモニタに表示する映像信号を生成することを特徴とする車載用画像処理装置。