JP2004104646A - 車載用画像処理装置 - Google Patents
車載用画像処理装置 Download PDFInfo
- Publication number
- JP2004104646A JP2004104646A JP2002266482A JP2002266482A JP2004104646A JP 2004104646 A JP2004104646 A JP 2004104646A JP 2002266482 A JP2002266482 A JP 2002266482A JP 2002266482 A JP2002266482 A JP 2002266482A JP 2004104646 A JP2004104646 A JP 2004104646A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- light
- image processing
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 claims abstract description 92
- 238000003384 imaging method Methods 0.000 claims abstract description 68
- 230000035945 sensitivity Effects 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 abstract description 12
- 239000011159 matrix material Substances 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 58
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 230000000903 blocking effect Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 10
- 229920006395 saturated elastomer Polymers 0.000 description 9
- 238000000605 extraction Methods 0.000 description 5
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/141—Control of illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Image Input (AREA)
- Facsimile Heads (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【解決手段】撮像デバイス3におけるマトリクス配列の画素列に対して、水平方向の1画素列毎に可視光に感度をもつ領域と不可視光に感度をもつ領域を交互に設定し、上下の隣り合う可視光領域と不可視光領域の画像信号を選択的に使用して物体を認識する処理を行うことにより、白線画像を認識して走行レーンを検出する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、車両の周辺を撮像して得た画像信号を処理して走行レーンなどを検出する車載用画像処理装置に関する。
【0002】
【従来の技術】
【特許文献1】
特開2001−057676号公報
【特許文献2】
特開2000−230805号公報
【特許文献3】
特開平11−136703号公報
特許文献1に記載された装置は、撮像素子の前方に設けた赤外光の透過量を可変する赤外光フィルタにより、透過量を切り替えて車両の周辺を撮像する構成である。これによれば、明るい場所では人の目で見た色合いに近い色合いで撮像し、暗い場所では、暗視性を高めて撮像することが可能であり、この撮像した画像から路上の白線を認識し、走行レーンを検出することができる。
また、特許文献2に記載された装置は、異なる偏向成分を持つ画像の差分により、レーンマーカ像を認識し、走行レーンを検出する構成である。
また、特許文献3に記載された装置は、特定波長を透過する領域と遮断する領域が均一に分布した光学フィルタを通して撮像した画像の減算処理により、背景画像を除去して立体物を抽出する構成である。
【0003】
【発明が解決しようとする課題】
このような従来装置によれば、特許文献1に記載された装置は、路上の白線を認識して走行レーンを検出する手法であるので、路上の白線が汚れている環境では走行レーンの検出性能が低下する。
また、特許文献2に記載された装置では、赤外光の透過量の異なる画像を得るために、プリズムなどを使用して入射光を分光して撮像する2つの撮像素子を用いており、撮像部の小型化の障害となる。
また、特許文献3に記載された装置では、赤外光の反射のあるなしで立体物を抽出する方法であり、車両の周辺の走行レーンなど検出するために如何に利用するかについての技術的な示唆がない。
【0004】
本発明の1つの目的は、車両の周辺の白線や反射板(走行レーン)などの物体の検出性能が高い小型の車載用画像処理装置を提供することにある。
本発明の他の目的は、夜間における白線,反射板,交通信号灯(交通信号機),先行車,対向車などを高い精度で識別することができる車載用画像処理装置を提供することにある。
本発明の更に他の目的は、前述したような目的を比較的に簡単な構成で達成することができる車載用画像処理装置を提供することにある。
【0005】
【課題を解決するための手段】
本発明は、車両の周辺を撮像デバイスで撮像して得た画像信号に基づいて該車両の周辺の物体を認識する車載用画像処理装置において、前記撮像デバイスは、可視光に対して感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域を交互に備え、この撮像デバイスの可視光に感度をもつ画素列領域から得られる可視光領域画像信号と不可視光に感度をもつ画素列領域から得られる不可視光領域画像信号を使用して物体を認識する画像処理部を設けたことを特徴とする。
【0006】
【発明の実施の形態】
本発明の実施の形態を図面を参照して説明する。
図1は、本発明の一実施の形態における車載用画像処理装置の機能ブロック図である。
図1において、1は撮像レンズ、2は不可視光である赤外光を透過する領域と遮断する領域をもった櫛型構造の赤外光フィルタ、3は撮像デバイス、4は画像処理部、5は表示用モニタ、6は赤外光投光器(赤外灯)、7はヘッドライト、8はステアリング制御器、9は車間距離制御器、10はライト操作スイッチ、11はヘッドライト制御回路である。
【0007】
撮像レンズ1は、被写体からの光を集光し、赤外光フィルタ2を介して撮像デバイス3の受光面に結像する。
【0008】
赤外光フィルタ2は、後述するように、赤外光を透過する領域と遮断する領域をもつ櫛型構造のフィルタである。
【0009】
撮像デバイス3は、モノクロ用のCCDであり、受光面にマトリクス配列された感光素子であるフォトダイオード群(画素列)と、これらの画素列にトランスファゲートを介して隣接形成された垂直電荷転送路群と、垂直電荷転送路群の終端部分に形成された水平電荷転送路群とを備える。そして、フィールド周期より短い露光期間に画素列に蓄積された総ての画素電荷を露光期間終了と同時に電荷転送ゲートを介して垂直電荷転送路群へ転送し、更に垂直電荷転送路群に設けられている転送電極群に印加される走査読出制御信号に同期して1列分ずつ水平電荷転送路ヘ転送させつつ画素配列順に各画素電荷を読み出して画像信号として出力する構成である。
【0010】
画像処理部4は、前記撮像デバイス3を制御するタイミングジェネレータ41と、撮像デバイス3から画像信号を入力するAD変換器42と、画像処理ロジックIC43と、前記表示用モニタ5に表示用の映像信号を出力するDA変換器44と、画像信号や画像処理データを格納するRAM45と、各種の制御処理を実行するCPU46と、画像処理および制御処理のプログラムを格納したROM47と、前記ステアリング制御器8や車間距離制御器9と通信する通信回路(CAN)48と、前記ライト操作スイッチ10からの点灯/消灯のヘッドライト指示信号の入力や前記赤外光投光器(赤外灯)6およびヘッドライト制御回路11を制御する入出力回路(I/O)49を備える。
【0011】
この画像処理部4における前記AD変換器42は、撮像デバイス3から出力されるアナログ信号形態の画像信号をデジタル信号形態に変換して画像処理ロジックIC43に転送する。このAD変換器42は、入力した画像信号に対してγ補正などの信号処理を行う機能を付加しても良い。
【0012】
画像処理ロジックIC43は、AD変換器42から転送されてきた画像信号をRAM45に格納して保存し、RAM45に保存されている画像信号に対して、ROM47に格納されている画像処理プログラムに従って差分抽出処理やエッジ抽出処理などを実行し、その処理結果をRAM45に格納して保存し、RAM45に保存されている前記処理結果に対して画像認識処理を実行して走行レーンなどの検出処理を実行し、この検出結果をDA変換器44を介してアナログ信号形態の映像信号(NTSC方式の映像信号)に変換して表示用モニタ5に表示させる。
【0013】
CPU46は、ROM47に格納されている制御処理プログラムに従って、前記タイミングジェネレータ41を介して撮像デバイス3のシャッタ速度を制御し、前記画像処理ロジックIC43における画像処理および検出処理を制御し、通信回路48を介してステアリング制御器8および車間距離制御器9と通信し、入出力回路49を介してライト操作スイッチ10からの点灯/消灯,長配光/短配光などのヘッドライト指示信号を入力し、前記検出結果およびヘッドライト指示信号を参照して、ステアリング制御器8および車間距離制御器9における制御処理で参照する物体および走行レーン検出情報を提供し、赤外光投光器6とヘッドライト7の点灯/消灯,長配光/短配光などの制御処理を実行する。
【0014】
赤外光投光器6は、対向車の運転手を眩惑することがない不可視光である赤外光を発生して長配光で自車両の前方を遠方領域(遠距離)まで照射するように設置し、画像処理部4の入出力回路49に制御されて点灯または消灯する。
【0015】
ヘッドライト7は、自車両の前方を遠方領域まで照射する長配光と対向車両の運転者を眩惑しないような近距離照射の短配光に切り替え可能に構成し、画像処理部4の入出力回路49とライト操作スイッチ10からの指示信号に従ってヘッドライト制御回路11によって点灯/消灯および長配光/短配光に切り替え制御する。ここで、ヘッドライト制御回路11は、ライト操作スイッチ10からの指示信号を優先的に扱って切り替え制御を実行する。
【0016】
ステアリング制御器8は、自車両が走行レーン内を走行するように操舵車輪の向きを制御する制御器である。
【0017】
車間距離制御器9は、自車両が先行車に近付き過ぎないように警報したり、走行速度を制限する制御器である。
【0018】
図2は、櫛型構造の赤外光フィルタ2と撮像デバイス3における画素列の相対関係を示す模式図である。
【0019】
撮像デバイス3は、各画素に相当するフォトダイオード群を水平方向に配列して構成した画素列31a〜31hを垂直方向に並べたアレイ構成である。そして、赤外光フィルタ2は、前記各画素列31a〜31hに対応させて奇数列目の画素列31a,31c…には赤外光を遮断する赤外光遮断領域21a,21c…を重ね合わせ、偶数列目の画素列31b,31d…には赤外光を透過させる赤外光透過領域21b,21d…を重ね合わせるように横方向(水平方向)に伸びる歯を形成した櫛型構造を呈している。撮像デバイス3の各画素群の1つ1つに集光目的でマイクロレンズを形成する構成では、このマイクロレンズ上に前述した配列となるように赤外光フィルタを形成することもできる。このように赤外光フィルタ2を重ね合わせた撮像デバイス3は、赤外光遮断領域21a,21c…を重ね合わせた画素列31a,31c…から可視光領域画像信号を出力し、赤外光透過領域21b,21d…を重ね合わせた偶数列目の画素列31b,31d…から不可視光領域画像信号を出力する。
【0020】
図3は、このような赤外光フィルタ2を通して路上の走行レーンを示す白線を撮像して得た画像信号に基づく映像の模式図である。赤外光フィルタ2の赤外光遮断領域21a,21c…を重ね合わせた画素列31a,31c,31e…から得られる可視光領域画像信号に基づく映像領域を当該画素列の参照符号で示し、赤外光透過領域21b,21d…を重ね合わせた画素列31b,31d…から得られる不可視光領域画像信号に基づく映像領域を当該画素列の参照符号で示す。
【0021】
(a)は、理想的な映像であり、赤外光透過領域31d,赤外光遮断領域31eの両領域において白線画像101が鮮明な映像である。
(b)は、昼間に櫛型構造の赤外光フィルタ2を通して撮像して得た画像信号に基づく映像である。赤外光フィルタ2の赤外光透過領域31dではボケたような白線画像101aの映像となっている。
(c)は、夜間に赤外光投光器6およびヘッドライト7を消灯した状態で撮像して得た画像信号に基づく映像である。白線画像を認識することができない映像である。
(d)は、夜間にヘッドライト7を短配光で点灯した状態で撮像して得た画像信号に基づく映像である。白線画像101は、ヘッドライト7の短配光で照射された近距離領域のみが認識可能な映像である。
(e)は、夜間にヘッドライト7を長配光で点灯した状態で撮像して得た画像信号に基づく映像である。白線画像101は、ヘッドライト7の長配光で照射された遠距離領域まで認識可能な映像である。
(f)は、夜間に赤外光投光器6を点灯して照射した長配光の赤外光とヘッドライト7を短配光で点灯して照射した状態で撮像して得た画像信号に基づく映像である。長配光の赤外光の照射によって更に遠距離領域まで白線画像101を認識することができる映像である。
【0022】
このように路上の走行レーンを表示する白線は、認識可能なように撮像することができる距離が昼夜および赤外光投光器6とヘッドライト7の点灯状態の違いによって違ってくる。
【0023】
このように赤外光フィルタ2を通して撮像デバイス3で撮像して得た画像信号における白線画像を認識して走行レーンを検出する方法を図4を参照して説明する。
【0024】
近年、撮像デバイス3の高画素密度化が進んで分解能が向上している。従って、マトリクス配列の画素群における1列置き毎の画素列からの画像信号においても画像認識に十分な分解能が得られることから、例えば、昼間において、櫛型構造の赤外光フィルタ2を通して撮像して得た画像信号における映像{図4(a)参照}では、赤外光フィルタ2の赤外光遮断領域21e,21g…に対応するの画素列31e,31g…から得られる可視光領域画像信号に基づいて白線を画像認識することができる{図4(b)参照}(白線推定方法)。
【0025】
この白線画像認識における白線推定方法の具体例を図6を参照して説明する。路面に描かれた白線を撮像して得た画像は、(a)に示すように、手前の近距離領域(画面の下部領域)では太く、遠距離領域(画面の上部領域)では細くなる。このような画像において、任意の画素列の画像信号の横方向に画像の明るさ(濃度値)の変化の度合いを検出する処理(画像信号の2値化処理)を行うと、各画素列の画像信号における濃度値は、(b)のようになる。ここで、濃度値の低いところから高くなるところを立上がりエッジと定義し、高いところから低くなるところを立下がりエッジと定義すると、白線は、左から立上がりエッジと立下がりエッジのペアで構成される。そこで、左側の白線は、これらのペアのエッジの立下がりエッジで抽出してハフ(Hough)変換することにより求め、また、右側の白線は、これらのペアのエッジの立上がりエッジで抽出してハフ変換することにより求めることにより、(c)で示すように白線画像101bを得ることができる。
【0026】
この白線推定方法では、昼間に撮像して得た画像信号によれば、前方の十分な遠距離までの白線画像を認識して走行レーンを検出することが可能である。しかしながら、夜間になると、撮像して得られる画像信号に基づく画像によれば、認識可能な白線画像101はヘッドライト7の照射範囲に限られるので{図4(c)参照}、白線画像101の認識結果に基づいて十分に遠距離までの走行レーンを検出することができなくなる。そこで、このような環境では、赤外光投光器6を点灯し、ヘッドライト7の配光による照射範囲よりも更に遠距離の領域については、赤外光投光器6により赤外光照射された範囲について、赤外光透過領域の画素列31d,31fから得られる画像信号に基づく画像を交えて白線画像101,101aの認識処理を実行する{図4(d)参照}。このときには、赤外透過領域における白線画像101aはボケているようになることから、エッジ抽出処理においては、次のような処理を実行する。すなわち、白線画像101aがボケているために該白線画像101aの両サイド間の距離(白線画像の幅)が大きく(広く)なる。そこで、エッジ抽出処理においては、白線画像101aの両サイドのエッジ座標の中間点を求め、その中間点から左右に1画素ずらした点を白線画像の両エッジとする補正を行って、白線の画像認識処理を行う(白線合成推定方法)。ここで、遠距離の白線画像の幅は、映像上は、近距離の白線画像の幅に比べて極端に狭くなる。
【0027】
この白線合成推定方法の具体例を図7を参照して説明する。路面に描かれた白線を撮像して得た画像信号に基づく画像は、(a)に示すように、手前の近距離領域(画面の下部領域)では太く、遠距離領域(画面の上部領域)では細くなる。更に、赤外光透過領域画像信号では、濃度値が高くなり、赤外光遮光領域に比べてコントラストが悪い画像となる。このような画像信号に対して、横方向に画像の明るさ(濃度値)の変化の度合いを検出する処理(画像信号の2値化処理)を行うと、赤外光透過領域に該当する不可視光領域画像信号においては(b)にAで示し、赤外光遮断領域に該当する可視光領域画像信号においてはBで示すようになる。
【0028】
そこで、左側の白線は、これらのペアのエッジの立下がりエッジで抽出してハフ変換することにより求め、また、右側の白線は、これらのペアのエッジの立上がりエッジで抽出してハフ変換することにより求めることにより、(c)で示すように白線画像101bを得ることができる。エッジ抽出において、赤外光透過領域の不可視光画像信号の領域におけるエッジは、実際には、若干ずれる。従って、不可視光(赤外光透過)領域画像信号の領域におけるエッジ抽出では、水平方向の補正を加える。この補正量は、画面の下部領域では大きく、上部領域では小さくする。このように補正してエッジを抽出することにより、実際の境界位置との誤差が小さくなってハフ変換の精度が向上する。
【0029】
次に、白線と路面のコントラストが悪い環境を撮像して得た画像信号に基づいて走行レーンを検出する方法について図5を参照して説明する。
【0030】
白線と路面のコントラストが悪い環境、言い換えると、白線上の汚れや劣化により白さが低下した白線を撮像して得た画像信号に基づく画像{図5(a)参照}では、画像信号から白線画像を認識することが困難となり、従来の白線認識方法では、走行レーンを検出することができなくなる。このような場合には、多くの道路において走行レーンに沿って設置されている反射板などの反射体画像102を認識し、その位置を参照することによって走行レーンを推測する処理を実行する{図5(b)}。
【0031】
基本的な考え方は、赤外光投光器6を点灯して赤外光を照射し、反射板から反射してくる赤外光を撮像デバイス3で撮像する{図5(c)}。ここで、赤外光フィルタ2の赤外光透過領域と遮断領域の上下に隣り合う画素列の画像信号の映像は、略同じものと言えることから、この上下に隣り合う画素列の画像信号(映像)の差分を求めると、赤外光が強い部分は、この差分量が大きくなる。そこで、この差分量が大きいところを反射板(反射体画像102)の位置として認識して走行レーンを推測する。
【0032】
図5(d)は、撮像して得た画像信号に基づく画像における反射体画像102の部分を拡大して示している。図5(c)の画像では、赤外光透過領域と遮断領域を大きく表示しているが、実際には、画素列毎に各領域が入れ替わって位置しており、反射体画像102は複数画素列分の画像信号による画像となる。この反射体画像102に画素を割り付けると図5(e)のようになる。この画像において、上から走査して現在の画素に対して、次式の算出を行う。
(現在の画素の差分値)=(現在の画素の信号値)−(1つ下の画素の信号値)
【0033】
反射体画像102上の現在の画素の差分値の符号は、赤外光透過領域上は、赤外光遮断領域よりも透過した赤外光分の光量が多くなるために正(+)となり、赤外光遮断領域では、逆に負(−)となる。
【0034】
図5(f)は、このようにして算出した結果を示している。このような画素の差分画像上では、赤外光の反射が強い部分では、水平方向に(+)が並んだ領域と(−)が並んだ領域が垂直方向に交互に発生する。このような領域は、反射板(反射体画像102)であると認識することができ、このようにして認識した反射板の位置に基づいて走行レーンを推定することができる(白線差分推定方法)。
【0035】
この白線差分推定方法の具体例について図8を参照して説明する。正常であれば(a)のように白線画像101と反射対画像102が鮮明な画像となる路上環境において、白線が汚れたり摩滅していると、(b)に示すように画像信号に基づいて白線画像を認識することができない。しかしながら、走行レーンに沿って反射板が設置されていると、この反射体画像102を認識して反射板の位置を求め、この反射板の位置に基づいてハフ変換により白線画像を推定することができる。しかし、白線差分推定方法は、前述した白線推定方法および白線合成推定方法に比べて情報量が少なく、遠方の反射板は走行レーンに沿ったものではないことが多く、遠方の反射板の情報を参照すると、誤推定の原因となることが多い。そこで、この白線差分推定方法では、近距離領域(画面の下部領域)の情報を重視し、画面の下方から2〜3つの情報を使用して直線近似することにより、(c)に示すように白線画像101cを推定することが望ましい。
【0036】
ここで、このような画像認識処理方法の切り替えと赤外光投光器6およびヘッドライト7の点灯状態を切り替える制御処理を図9を参照して説明する。この制御処理は、主として、画像処理部4におけるCPU46が実行する。
【0037】
ステップ1001
昼夜の判定を行って制御処理を分岐する。この判定は、運転者がライト操作スイッチ10を操作してヘッドライト7の点灯を指示する指示信号を発生させているときには夜間と判定し、ヘッドライト点灯の指示信号が発生していないときには、撮像して得た画像信号(画像の明るさなど)や撮像制御信号を解析して夜間か昼間かを判定するようにして行う。
【0038】
ここで、撮像して得た画像信号や撮像制御信号に基づいて昼夜を判定する判定方法を図10〜図12を参照して説明する。
【0039】
図10において、横軸は、撮像対象物の明るさの物理量(例えば、cd/m2)を示し、縦軸は、この撮像対象物を撮像デバイス3で電子シャッタ値(シャッタ速度)を変化させて撮像して取り込んだ画像信号の値(濃度値)の一例を示している。ここで、電子シャッタ値とは、撮像デバイス3におけるCCDにおいて電荷を蓄積する時間のことである。ここでは、10段階のシャッタ速度の特性を示しており、左側から順に、1/60,1/120,1/180,1/250,1/500,1/1000,1/2000,1/4000,1/10000,1/30000の特性曲線である。
【0040】
このような特性の撮像デバイス3は、夜間に遅いシャッタ速度で撮像しているときに対向車のヘッドライトの光が入光すると、明る過ぎるために、濃度値が飽和(明飽和)してしまう。また、道路照明がある領域からない領域に移動すると、ヘッドライト7の照射範囲外では暗くなり過ぎて(暗飽和)、必要な濃度値が得られなくなる。CPU46は、画像信号の濃度値を参照して、適正範囲の濃度値の画像信号が得られるようなシャッタ速度となるようにタイミングジェネレータ41に指示する。
【0041】
図11は、CPU46が実行する電子シャッタ速度の変更制御処理方法を示している。
【0042】
ステップ2001
撮像して得た画像信号の各画素について、以下の処理が終了したかどうかを判定して処理を分岐する。
ステップ2002
未終了であれば、現在の対象となる画素の濃度値を判定して処理を分岐する。
ステップ2003
濃度値が250以上であれば明飽和している領域とみなし、明飽和画素数カウンタをアップする。
ステップ2004
明飽和画素数のカウント値が全画素数の半分の数以上かどうかを判定して処理を分岐する。
ステップ2005
明飽和画素数カウンタのカウント値が全画素数の半分の数以上であれば、電子シャッタ速度が全く整合していない(遅すぎる)とみなして電子シャッタ速度を2段階アップ(速く)する。
【0043】
ステップ2006
濃度値が250未満のときには、更に、20以下かどうかを判定して処理を分岐する。
ステップ2007
濃度値が20以下のときには暗飽和している領域とみなし、暗飽和画素数カウンタをアップする。
ステップ2008
暗飽和画素数カウンタのカウント値が全画素数の半分の数以上かどうかを判定して処理を分岐する。
ステップ2009
暗飽和画素数カウンタのカウント値が全画素数の半分の数以上であれば、電子シャッタ速度が全く整合していない(速すぎる)とみなして電子シャッタ速度を2段階ダウン(遅く)する。
ステップ2010
飽和領域が少なく、全画素の処理が終了すると、その画面の濃度値の平均値を算出し、平均濃度値が160以上かどうか判定して処理を分岐する。
【0044】
ステップ2011
平均濃度値が160以上のときには、電子シャッタ速度を1段階アップ(速く)する。
ステップ2012
平均濃度値が80以下かどうか判定して処理を分岐する。
ステップ2013
平均濃度値が80以下のときには、電子シャッタ速度を1段階ダウン(遅く)する。
【0045】
このように電子シャッタ速度を制御することにより、程好い明るさの画像信号を得ることができる。すなわち、このように制御された電子シャッタ速度で得られる画像信号の濃度値の平均値は、ある範囲内のものとなり、このような画像信号を得ることができる電子シャッタ速度は、昼間は速く、夜間は遅くなる。
【0046】
このことから、この電子シャッタ速度(電子シャッタ値)を参照して昼夜を判定することができる。この判定方法を図12を参照して説明する。
【0047】
ステップ3001
電子シャッタ値が5以上かどうかを判定して処理を分岐する。
ステップ3002
シャッタ値が5以上のときには昼間と判定して相応する制御処理を実行する。
ステップ3003
シャッタ値が4以下かどうかを判定して処理を分岐する。
ステップ3004
シャッタ値が4以下のときには夜間と判定して相応する制御処理を実行する。
何れにも該当しないときには前回の判定に基づく制御処理結果を維持する。
【0048】
ステップ1002(図9参照)
昼間と判定したときには、前回の画像認識処理による白線認識距離が40m以上かどうかを判定して処理を分岐する。ここで、40mの技術的な意義は、ヘッドライト7の短配光における照射での到達距離である。また、この距離の判定は、画像の垂直方向の位置に関連付けて行うことができる。
ステップ1003
白線認識距離が40m未満の場合には、赤外光投光器6を点灯する。
ステップ1004
白線認識距離が60m以上かどうかを判定して処理を分岐する。
ステップ1005
白線認識距離が60m以上の場合には、赤外光投光器6を消灯する。白線認識距離が40以上で60m未満のときには、赤外光投光器6の点灯状態を変更しない(前回の制御状態を維持する)。
【0049】
ステップ1006
赤外光投光器6の点灯状態を判定して処理を分岐する。
ステップ1007
赤外光投光器6が消灯しているときには、白線推定方法の画像認識処理を実行して走行レーンを検出する。この処理を実行しているときは、40m以上の白線の画像認識が安定して継続している状態である。
ステップ1008
赤外光投光器6が点灯しているときには、白線差分推定方法の画像処理を実行する。この処理を実行しているときは、白線の状態が悪いことから、反射板(反射体画像)を参照して推定により走行レーンの検出を実行している状態である。
ステップ1009
ステップ1110における判定で夜間の場合には、ヘッドライト7を短配光(短距離の照射領域)で点灯させる。
ステップ1010
前回の認識処理による白線認識距離が40m以上かどうかを判定して処理を分岐する。
【0050】
ステップ1011
白線認識距離が40m未満の場合には、赤外光投光器6を点灯する。
ステップ1012
白線差分推定方法の画像認識処理を実行する。
ステップ1013
白線認識距離が40m以上の場合には、60m以上かどうかを判定して処理を分岐する。
ステップ1014
白線認識距離が40m以上で60m未満の場合には、赤外光投光器6を点灯する。
ステップ1015
前方に他の車両が走行しているかどうかを判定する。ここで、前方を走行する他の車両とは、同一方向に走行する先行車と対向車を含めたものである。
【0051】
ステップ1016
前方に他の走行車両がないときには、ヘッドライト7を長配光(遠距離の照射)で点灯して自車の運転者が遠くまで道路を視認することができるようにする。
ステップ1017
前方に走行車両があるときには、それらの運転者の眩惑を避けるために、ヘッドライト7を短配光(短距離の照射)の点灯とする。
【0052】
ここで、先行車と対向車と反射板と交通信号灯の判別方法を説明する。
これらの判別は、自ら発光するもの(発光体)と光を反射するもの(反射体)の識別と、その組み合せにより行う。対向車と交通信号灯は、発光するもの(発光体)であり、対向車はヘッドライト7が白色光で発光しており、交通信号灯は特定色光で発光している。すなわち、赤外光遮断領域の可視光領域画像信号で特に明るい個所(画像)が発光体であり、その近傍に、赤外光投光器6の発光時には明るく、発光しないときには暗い個所がないところが、対向車あるいは交通信号灯と特定することができる。
【0053】
反射板は、光の反射のみである。従って、赤外光投光器6の発光時と発光しないときの連続した画像信号を比較することで判別することができる。すなわち、発光時には明るくなり、発光しないときには暗くなる個所が反射板102の位置であると特定することができる。
【0054】
先行車は、発光するもの(テールランプ)と反射するもの(リフレクタ)が近接している構成である。従って、赤外光遮断領域の可視光領域画像信号で特に明るい個所が発光体(テールランプ)であり、その近傍に、赤外光投光器6の発光時には明るく、発光しないときには暗くなる個所(リフレクタ)があるところを先行車の位置と特定することができる。
【0055】
ステップ1018
白線認識距離が60m以上の場合には、赤外光投光器6を消灯する。
ステップ1019
赤外光投光器6の点灯状態を判定して処理を分岐する。
ステップ1020
赤外光投光器6が消灯しているときには、白線推定方法の処理を実行する。この処理を実行しているときは、40m以上の白線の認識を安定して実行することができる状態である。
【0056】
ステップ1021
赤外光投光器6が点灯しているときには、白線合成推定方法の処理を実行する。この処理を実行しているときは、遠くの白線を赤外光を利用した撮像により認識し、遠くの白線情報を利用して推定を実行している状態である。
ステップ1022
白線認識状態を判定する。赤外光投光器6を点灯している状態で白線認識距離が40m未満かどうかを判定して処理を分岐する。
ステップ1023
赤外光投光器6を点灯している状態での白線認識距離が40m未満となっている状態では、白線の状態は悪く、更に反射板がなかったり、反射板の汚れがひどい状態であると推定し、このような環境状態では、走行レーンを正確に検出することが困難であることから、このような状態における走行レーン検出情報は、ステアリング制御器8や車間距離制御器9において使用しないように制限する。
【0057】
画像処理部4は、赤外光投光器6およびヘッドライト7の点灯を制御しつつ画像認識処理によって白線,反射板,交通信号灯(交通信号機),先行車,対向車などを識別して走行レーンを検出する処理を実行するが、この間、赤外光投光器6の点灯状態に応じて可視光領域画像信号と可視光領域画像信号を選択的に使用してモニタ5に表示する映像信号を生成する。
【0058】
この実施の形態において、不可視光として赤外光(赤外光投光器)を使用したが、紫外光(紫外光投光器)を使用するように変形することもできる。このような構成では、赤外光フィルタ2を紫外光フィルタに変更する。
【0059】
また、赤外光フィルタ2の櫛状の歯が伸びる領域を横方向(水平方向)から縦方向(垂直方向)に変形することもできる。このような構成では、白線差分推定法において反射体画像認識のために算出する画素信号の差分値は、左右に隣り合う画素の画像信号の差分となる。
また、撮像デバイス3は、赤外光(不可視光)に対して感度をもつ画素列は、垂直方向の上部領域を下部領域よりも密に設定することにより、夜間には遠方の画像情報量を多く取得することができるように構成すると良い。
【0060】
【発明の効果】
本発明は、車両の周辺を撮像する撮像デバイスは、可視光に対して感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域を交互に備えた構成とし、この撮像デバイスの可視光に感度をもつ画素列領域から得られる可視光領域画像信号と不可視光に感度をもつ画素列領域から得られる不可視光領域画像信号を使用して物体を認識する画像処理部を設けたことにより、車両の周辺の白線や反射板(走行レーン)などの物体の検出性能が高い小型の車載用画像処理装置を提供することができる。
また、画像処理部は、可視光領域画像信号と不可視光領域画像信号の差分情報に基づいて高反射物体と低反射物体と発光体を識別することにより該識別結果に基づいて先行車と対向車と反射板と交通信号灯を識別する高い精度で識別することができる。
そして、このような識別は、前述撮像デバイスの構成と画像信号処理によって実現するようにしているので、前述したような効果を比較的に簡単な構成で得ることができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態における車載用画像処理装置の機能ブロック図である。
【図2】図1に示した車載用画像処理装置における櫛型構造の赤外光フィルタと撮像デバイスにおける画素列の相対関係を示す模式図である。
【図3】図1に示した撮像デバイスで路上の走行レーンを示す白線を撮像して得た画像信号に基づく映像の模式図である。
【図4】図1に示した撮像デバイスで撮像して得た画像信号における白線画像を認識して走行レーンを検出する方法を説明する模式図である。
【図5】図1に示した撮像デバイスで白線と路面のコントラストが悪い環境を撮像して得た画像信号に基づいて走行レーンを検出する方法を説明する模式図である。
【図6】白線推定方法による白線画像認識を説明する模式図である。
【図7】白線合成推定方法による白線画像認識を説明する模式図である。
【図8】白線差分推定方法による白線画像認識を説明する模式図である。
【図9】図1に示した車載用画像処理装置における画像処理部のCPUが実行する画像認識処理方法の切り替えと赤外光投光器およびヘッドライトの点灯状態を切り替える制御処理のフローチャート出ある。
【図10】撮像対象物の明るさと撮像デバイスの電子シャッタ値(シャッタ速度)と画像信号の値(濃度値)の関係を示す特性図である。
【図11】図1に示した車載用画像処理装置における画像処理部のCPUが実行する電子シャッタ速度の変更制御処理方法を示すフローチャートである。
【図12】図1に示した車載用画像処理装置における画像処理部のCPUが実行する昼夜判定方法を示すフローチャートである。
【符号の説明】
1…撮像レンズ、2…赤外光フィルタ、3…撮像デバイス、4…画像処理部、5…モニタ、6…赤外光投光器、7…ヘッドライト、8…ステアリング制御器、9…車間距離制御器、11…ヘッドライト制御回路。
Claims (14)
- 車両の周辺を撮像デバイスで撮像して得た画像信号に基づいて該車両の周辺の物体を認識する車載用画像処理装置において、
前記撮像デバイスは、可視光に対して感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域を交互に備え、この撮像デバイスの可視光に感度をもつ画素列領域から得られる可視光領域画像信号と不可視光に感度をもつ画素列領域から得られる不可視光領域画像信号を使用して物体を認識する画像処理部を設けたことを特徴とする車載用画像処理装置。 - 請求項1において、前記不可視光として赤外光を用いることを特徴とする車載用画像認識装置。
- 請求項1において、前記不可視光として紫外光を用いることを特徴とする車載用画像認識装置。
- 請求項1において、前記撮像デバイスは、可視光に感度をもつ画素列領域を可視光に感度をもつ感光素子によって構成し、不可視光に感度をもつ画素列領域を不可視光に感度をもつ感光素子によって構成したことを特徴とする車載用画像認識装置。
- 請求項1において、前記撮像デバイスは、可視光に感度をもつ画素列領域を可視光を透過するフィルタを感光素子列の前に設置することによって設定し、不可視光に感度をもつ画素列領域を不可視光を透過するフィルタを感光素子列の前に設置することによって設定したことを特徴とする車載用画像認識装置。
- 請求項1において、前記撮像デバイスの可視光に感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域は、それぞれ、水平方向の画素列によって構成し、各画素列領域を垂直方向に交互に配置したことを特徴とする車載用画像処理装置。
- 請求項6において、前記撮像デバイスは、遠距離領域を撮像する画素列領域における不可視光に対して感度をもつ画素列の密度を、近距離領域を撮像する画素列領域における不可視光に対して感度をもつ画素列の密度よりも密に設定したことを特徴とする車載用画像処理装置。
- 請求項1において、前記撮像デバイスの可視光に感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域は、それぞれ、垂直方向の画素列によって構成し、各画素列領域を水平方向に交互に配置したことを特徴とする車載用画像処理装置。
- 請求項1において、前記撮像デバイスの可視光に感度をもつ画素列領域と不可視光に対して感度をもつ画素列領域は、それぞれ、垂直方向の画素列によって構成し、各画素列領域を水平方向に交互に配置したことを特徴とする車載用画像処理装置。
- 請求項1において、前記画像処理部は、垂直方法または水平方向に隣接する画素列領域から得られる可視光領域画像信号と不可視光領域画像信号の差分情報に基づいて高反射物体と低反射物体を識別することを特徴とする車載用画像処理装置。
- 請求項10において、前記画像処理部は、高反射物体と低反射物体と発光体の識別結果に基づいて、先行車と対向車と反射板と交通信号灯を識別することを特徴とする車載用画像処理装置。
- 請求項11において、前記画像処理部は、可視光領域画像信号に基づいて不可視光投光器の点灯を制御する不可視光投光器点灯制御を実行することを特徴とする車載用画像処理装置。
- 請求項1において、前記画像処理部は、検出した物体に基づいて走行レーンを検出することを特徴とする車載用画像認識装置。
- 請求項1において、前記画像処理部は、可視光領域画像信号と可視光領域画像信号を不可視光投光器の点灯状態に応じて選択的に使用してモニタに表示する映像信号を生成することを特徴とする車載用画像処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002266482A JP3909691B2 (ja) | 2002-09-12 | 2002-09-12 | 車載用画像処理装置 |
US10/657,142 US20040091133A1 (en) | 2002-09-12 | 2003-09-09 | On board image processing apparatus |
EP03020441A EP1400916A3 (en) | 2002-09-12 | 2003-09-11 | On board image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002266482A JP3909691B2 (ja) | 2002-09-12 | 2002-09-12 | 車載用画像処理装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006314963A Division JP2007124676A (ja) | 2006-11-22 | 2006-11-22 | 車載用画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004104646A true JP2004104646A (ja) | 2004-04-02 |
JP3909691B2 JP3909691B2 (ja) | 2007-04-25 |
Family
ID=31944494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002266482A Expired - Fee Related JP3909691B2 (ja) | 2002-09-12 | 2002-09-12 | 車載用画像処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20040091133A1 (ja) |
EP (1) | EP1400916A3 (ja) |
JP (1) | JP3909691B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
JP2007124676A (ja) * | 2006-11-22 | 2007-05-17 | Hitachi Ltd | 車載用画像処理装置 |
WO2008053521A1 (en) * | 2006-10-31 | 2008-05-08 | Fujitsu Limited | Light source control device, light source control method, and light source control program |
JP2008299538A (ja) * | 2007-05-30 | 2008-12-11 | Toyota Motor Corp | 車両用撮像システム、及び車両用制御装置 |
WO2009044544A1 (ja) * | 2007-10-01 | 2009-04-09 | Panasonic Corporation | 撮像装置 |
JP2009141813A (ja) * | 2007-12-07 | 2009-06-25 | Panasonic Corp | 撮像装置、カメラ、車両及び撮像方法 |
JP2010097410A (ja) * | 2008-10-16 | 2010-04-30 | Toyota Motor Corp | 車両検出装置 |
JP2013190416A (ja) * | 2012-02-13 | 2013-09-26 | Ricoh Co Ltd | 付着物検出装置及びこれを用いた車載機器制御装置 |
WO2017043067A1 (ja) * | 2015-09-11 | 2017-03-16 | 富士フイルム株式会社 | 走行支援装置及び走行支援装置による走行支援方法 |
JP2019049475A (ja) * | 2017-09-11 | 2019-03-28 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
JP2019067345A (ja) * | 2017-10-05 | 2019-04-25 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102004045585A1 (de) * | 2004-09-17 | 2006-04-06 | Vehico Gmbh | Einrichtung und Verfahren zur Gewinnung von Meßwerten zur Ermittlung von fahrdynamischen Größen von Fahrzeugen |
JP4603421B2 (ja) * | 2005-05-27 | 2010-12-22 | 本田技研工業株式会社 | 車両、画像処理システム、画像処理方法、及び画像処理プログラム |
JP4853160B2 (ja) * | 2006-08-02 | 2012-01-11 | 株式会社デンソー | 車両検出装置及びヘッドランプ制御装置 |
DE102008022856A1 (de) * | 2008-05-08 | 2009-11-12 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zum Ermitteln des Fahrbahnverlaufs im Bereich vor einem Fahrzeug |
US20090284361A1 (en) * | 2008-05-19 | 2009-11-19 | John Boddie | Driver scoring system with lane changing detection and warning system |
JP5462609B2 (ja) * | 2009-12-09 | 2014-04-02 | 富士重工業株式会社 | 停止線認識装置 |
US10046716B2 (en) * | 2011-02-10 | 2018-08-14 | Denso Corporation | In-vehicle camera and vehicle control system |
JP6176028B2 (ja) * | 2013-09-26 | 2017-08-09 | 株式会社デンソー | 車両制御システム、画像センサ |
US9690997B2 (en) | 2011-06-06 | 2017-06-27 | Denso Corporation | Recognition object detecting apparatus |
DE102011081397A1 (de) * | 2011-08-23 | 2013-02-28 | Robert Bosch Gmbh | Verfahren zur Schätzung eines Straßenverlaufs und Verfahren zur Steuerung einer Lichtaussendung zumindest eines Scheinwerfers eines Fahrzeugs |
US9677897B2 (en) | 2013-11-13 | 2017-06-13 | Elwha Llc | Dead reckoning system for vehicles |
US9412028B2 (en) | 2013-11-13 | 2016-08-09 | Elwha Llc | Wheel slip or spin notification |
JP6362442B2 (ja) * | 2014-06-13 | 2018-07-25 | 富士通株式会社 | 車線境界線抽出装置、車線境界線抽出方法、及びプログラム |
EP3298773A4 (en) * | 2015-05-19 | 2018-05-16 | Magic Leap, Inc. | Semi-global shutter imager |
DE102016105579A1 (de) * | 2016-03-24 | 2017-09-28 | Connaught Electronics Ltd. | Optisches Filter für eine Kamera eines Kraftfahrzeugs, Kamera für ein Fahrerassistenzsystem, Fahrerassistenzsystem sowie Kraftfahrzug mit einem Fahrerassistensystem |
JP6541119B2 (ja) * | 2016-12-05 | 2019-07-10 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US10582136B2 (en) * | 2018-03-22 | 2020-03-03 | GM Global Technology Operations LLC | Camera apparatus and operating method thereof |
DE102022205949A1 (de) | 2022-06-13 | 2023-12-14 | Zf Friedrichshafen Ag | Sensorvorrichtung, insbesondere für Fahrzeugkameras |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4608599A (en) * | 1983-07-28 | 1986-08-26 | Matsushita Electric Industrial Co., Ltd. | Infrared image pickup image |
FR2661268B1 (fr) * | 1990-04-20 | 1992-08-14 | Renault | Dispositif de visualisation d'obstacles, notamment pour vehicule autmobile. |
FR2687000A1 (fr) * | 1992-01-31 | 1993-08-06 | Renault | Procede et dispositif de detection de vehicules et de marquages au sol. |
US5796094A (en) * | 1993-02-26 | 1998-08-18 | Donnelly Corporation | Vehicle headlight control using imaging sensor |
DE19507957C1 (de) * | 1995-03-07 | 1996-09-12 | Daimler Benz Ag | Fahrzeug mit optischer Abtasteinrichtung für einen seitlichen Fahrbahnbereich |
US6107618A (en) * | 1997-07-14 | 2000-08-22 | California Institute Of Technology | Integrated infrared and visible image sensors |
JP3516856B2 (ja) * | 1998-01-30 | 2004-04-05 | 富士重工業株式会社 | 車外監視装置 |
DE19945588A1 (de) * | 1999-09-23 | 2001-04-19 | Bayerische Motoren Werke Ag | Sensoranordnung |
AU2003295318A1 (en) * | 2002-06-14 | 2004-04-19 | Honda Giken Kogyo Kabushiki Kaisha | Pedestrian detection and tracking with night vision |
US7263209B2 (en) * | 2003-06-13 | 2007-08-28 | Sarnoff Corporation | Vehicular vision system |
-
2002
- 2002-09-12 JP JP2002266482A patent/JP3909691B2/ja not_active Expired - Fee Related
-
2003
- 2003-09-09 US US10/657,142 patent/US20040091133A1/en not_active Abandoned
- 2003-09-11 EP EP03020441A patent/EP1400916A3/en not_active Withdrawn
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005115820A1 (de) * | 2004-05-25 | 2005-12-08 | Siemens Aktiengesellschaft | Überwachungseinheit nebst assistenzsystem für kraftfahrzeuge |
US10387735B2 (en) | 2004-05-25 | 2019-08-20 | Continental Automotive Gmbh | Monitoring unit for a motor vehicle, having partial color encoding |
US10055654B2 (en) | 2004-05-25 | 2018-08-21 | Continental Automotive Gmbh | Monitoring unit for a motor vehicle, having partial color encoding |
US9704048B2 (en) | 2004-05-25 | 2017-07-11 | Continental Automotive Gmbh | Imaging system for a motor vehicle, having partial color encoding |
US9524439B2 (en) | 2004-05-25 | 2016-12-20 | Continental Automotive Gmbh | Monitoring unit and assistance system for motor vehicles |
JPWO2008053521A1 (ja) * | 2006-10-31 | 2010-02-25 | 富士通株式会社 | 光源制御装置、光源制御方法および光源制御プログラム |
WO2008053521A1 (en) * | 2006-10-31 | 2008-05-08 | Fujitsu Limited | Light source control device, light source control method, and light source control program |
JP4985651B2 (ja) * | 2006-10-31 | 2012-07-25 | 富士通株式会社 | 光源制御装置、光源制御方法および光源制御プログラム |
JP2007124676A (ja) * | 2006-11-22 | 2007-05-17 | Hitachi Ltd | 車載用画像処理装置 |
US8659406B2 (en) | 2007-05-30 | 2014-02-25 | Toyota Jidosha Kabushiki Kaisha | Vehicle imaging system and vehicle control apparatus |
JP2008299538A (ja) * | 2007-05-30 | 2008-12-11 | Toyota Motor Corp | 車両用撮像システム、及び車両用制御装置 |
WO2009044544A1 (ja) * | 2007-10-01 | 2009-04-09 | Panasonic Corporation | 撮像装置 |
JP4571179B2 (ja) * | 2007-12-07 | 2010-10-27 | パナソニック株式会社 | 撮像装置 |
JP2009141813A (ja) * | 2007-12-07 | 2009-06-25 | Panasonic Corp | 撮像装置、カメラ、車両及び撮像方法 |
JP2010097410A (ja) * | 2008-10-16 | 2010-04-30 | Toyota Motor Corp | 車両検出装置 |
JP2013190416A (ja) * | 2012-02-13 | 2013-09-26 | Ricoh Co Ltd | 付着物検出装置及びこれを用いた車載機器制御装置 |
JPWO2017043067A1 (ja) * | 2015-09-11 | 2018-05-24 | 富士フイルム株式会社 | 走行支援装置及び走行支援装置による走行支援方法 |
JP6291144B2 (ja) * | 2015-09-11 | 2018-03-14 | 富士フイルム株式会社 | 走行支援装置及び走行支援装置による走行支援方法 |
WO2017043067A1 (ja) * | 2015-09-11 | 2017-03-16 | 富士フイルム株式会社 | 走行支援装置及び走行支援装置による走行支援方法 |
US10671859B2 (en) | 2015-09-11 | 2020-06-02 | Fujifilm Corporation | Travel assistance device and travel assistance method using travel assistance device |
JP2019049475A (ja) * | 2017-09-11 | 2019-03-28 | ソニー株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
US11216677B2 (en) | 2017-09-11 | 2022-01-04 | Sony Corporation | Signal processing apparatus, signal processing method, program, and moving body |
JP2019067345A (ja) * | 2017-10-05 | 2019-04-25 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
US10591928B2 (en) | 2017-10-05 | 2020-03-17 | Honda Motor Co., Ltd. | Vehicle control device, vehicle control method, and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP3909691B2 (ja) | 2007-04-25 |
EP1400916A3 (en) | 2007-01-03 |
US20040091133A1 (en) | 2004-05-13 |
EP1400916A2 (en) | 2004-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3909691B2 (ja) | 車載用画像処理装置 | |
JP4253271B2 (ja) | 画像処理システム及び車両制御システム | |
JP4253275B2 (ja) | 車両制御システム | |
JP5680573B2 (ja) | 車両の走行環境認識装置 | |
JP5846872B2 (ja) | 画像処理装置 | |
JP5617999B2 (ja) | 車載周辺物認識装置及びこれを用いる運転支援装置 | |
JP4415996B2 (ja) | 車載用画像認識装置及び配光制御装置、並びに配光制御方法 | |
JP6034923B1 (ja) | 車外環境認識装置 | |
JP6236039B2 (ja) | 車外環境認識装置 | |
JP6420650B2 (ja) | 車外環境認識装置 | |
JP2012240530A (ja) | 画像処理装置 | |
JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
JP2010116036A (ja) | 車両用前照灯装置 | |
JP2007124676A (ja) | 車載用画像処理装置 | |
JP4917961B2 (ja) | 車載用車両灯検出装置および車両用照明装置 | |
KR20080004833A (ko) | 주간 및 야간 주행 차량을 조도상황에 따라 검출하는 방법및 장치 | |
CN110536814B (zh) | 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法 | |
JP5839253B2 (ja) | 物体検出装置及びこれを備えた車載機器制御装置 | |
JP6853890B2 (ja) | 物体検出システム | |
JP2013025568A (ja) | 接近障害物検出装置及びプログラム | |
JP2010020557A (ja) | 画像処理装置及び画像処理方法 | |
CN111971527B (zh) | 摄像装置 | |
US10217006B2 (en) | Method and device for detecting objects in the dark using a vehicle camera and a vehicle lighting system | |
JP2014232026A (ja) | 付着物検出装置、移動体機器制御システム及び移動体 | |
US20230022313A1 (en) | Object detection system for a motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050908 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050920 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3909691 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100202 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110202 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120202 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130202 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140202 Year of fee payment: 7 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |