JP4760089B2 - 車載画像処理装置、および画像処理方法 - Google Patents
車載画像処理装置、および画像処理方法 Download PDFInfo
- Publication number
- JP4760089B2 JP4760089B2 JP2005098588A JP2005098588A JP4760089B2 JP 4760089 B2 JP4760089 B2 JP 4760089B2 JP 2005098588 A JP2005098588 A JP 2005098588A JP 2005098588 A JP2005098588 A JP 2005098588A JP 4760089 B2 JP4760089 B2 JP 4760089B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- image processing
- accumulated
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 65
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000012937 correction Methods 0.000 claims description 90
- 238000009825 accumulation Methods 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 description 52
- 230000006399 behavior Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
図1は、第1の実施の形態における車載画像処理装置の一実施の形態の構成を示すブロック図である。車載画像処理装置100は、車両に搭載され、自車両前方の画像を撮像するカメラ101と、カメラ101で撮像した画像を蓄積する画像メモリ102と、後述する画像処理を実行して、画像のノイズを除去する制御装置103と、画像を表示するモニタ104と、自車両の車速を検出する車速センサ105とを備えている。
(1)カメラ101で連続撮像した画像を重畳して得た蓄積画像に基づいてFPN補正データを抽出し、撮像画像に対してFPN補正を行うこととした。これによって、画像を撮像しながらFPN補正データを得ることができ、リアルタイムでの補正データの抽出が可能である。
(2)このようにリアルタイムに算出したFPN補正データに基づいて、FPN補正を実行することとしたため、温度変化や経時変化の影響を受けやすいFPNに対し、常に最新のFPN補正データを用いて補正を行なうことができるため、ノイズの小さい高画質の映像を出力することができる。
(3)カメラ101で連続撮像して得た蓄積画像に基づいてFPN補正データを算出するため、FPN補正データを算出するための特別な機器を搭載する必要がなく、コスト的に有利となる。
(4)車両の走行が検出された場合に、蓄積画像の蓄積を開始して、車両のイグニションスイッチがオフされるまで蓄積を継続することとした。これによって、走行を開始してからの経過時間が長くなるほど、蓄積画像の元となる画像のサンプル数が増えるため、十分にぼけた画像を得ることができ、算出するFPN補正データの精度を向上することができる。
第1の実施の形態では、車両が走行を開始した後に、カメラ101で一定時間Δt間隔で連続的に車両前方を撮像した画像を車両が停止するまで蓄積して蓄積画像を得ることとした。これに対して、第2の実施の形態では、車載画像処理装置を搭載した車両の挙動、例えばコーナーリングに伴って発生するヨーイングを監視する。そして、自車両にヨーイングが発生した場合には、連続して撮像した撮像画像の横方向の変化が大きくなるため、短い蓄積時間で十分にぼけた画像を得ることができることを考慮して、そのときに検出されるヨーレートに基づいて、蓄積画像を得るための最適な撮像画像の蓄積時間を算出する。
θ=Δθ・ΔT・・・(1)
M=(θ/φ)・N=(Δθ・ΔT/φ)・N・・・(2)
(1)自車両にヨーイングが発生したときのみ、画像の蓄積を行うこととした。これによって、車両にヨーイングが発生した場合には、連続して撮像した撮像画像の横方向の変化が大きくなることから、短い蓄積時間で十分にぼけた画像を得ることができる。
(2)式(2)により算出される自車両のヨーイングにともなって蓄積画像2bに蓄積される画素数Mが、ヨーレートΔθの値に対応してあらかじめ設定した所定値(≧1)に近似するように、蓄積時間ΔTを決定することとした。これによって、蓄積画像2bの蓄積時に発生している車両挙動に応じた、最適な蓄積時間ΔTを算出することができる。
(3)画像メモリ203に算出した蓄積時間分の画像しか蓄積しないため、蓄積する蓄積画像のサイズを小さくすることができ、さらに画像処理対象の画像サイズが小さくなることから、処理速度を向上することができる。
第3の実施の形態では、車両のワイパーを動作させた状態で撮像した画像からワイパーが映っている領域のみを抽出し、抽出した領域を重畳して蓄積画像を得る。そして、この蓄積画像に対して、後述する画像処理を実行することによって、蓄積画像からFPN補正データを抽出し、FPN補正を行ってノイズを除去する。
x=(1/Z)×r・・・(3)
そして、式(3)を時間tで微分すると、次式(4)により物体の画像上の移動速度が得られる。
dx/dt=(1/Z)×dr/dt・・・(4)
v1=27/10=2.7・・・(5)
v2=1/0.1=10・・・(6)
(1)カメラ101で連続撮像した各画像からワイパーが映っている領域のみを抽出し、この領域を重畳して得た蓄積画像に基づいてFPN補正データを抽出し、撮像画像に対してFPN補正を行うこととした。これによって、画像を撮像しながらFPN補正データを得ることができ、リアルタイムでの補正データの抽出が可能である。
第4の実施の形態では、第1〜第3の実施の形態で算出したFPN補正データを使用して、カメラ101で連続して撮像される画像における各画素のオフセット、およびゲインのはらつきを補正する。なお、図2、3、および9に示す、蓄積画像の具体例、および横ライン2c、9b内の水平方向の各画素位置における輝度出力値を示すグラフの具体例については、第1〜第3の実施の形態と同様のため説明を省略する。
y=ax+b・・・(7)
輝度出力値=ゲイン×輝度+オフセット・・・(8)
なお、以下のように変形することもできる。
(1)上述した第1〜4の実施の形態では、横ライン2cまたは9bにおける水平方向の画素位置に対する輝度出力値の特性に対して、HPFを適用し、横ライン2cまたは9b内の空間高周波成分を抽出する例について説明した。しかし、横ライン2cまたは9bにおける水平方向の画素位置に対する輝度出力値の特性に対して、ローパスフィルタ(LPF)を適用して、横ライン2cまたは9b内の空間低周波成分を抽出し、横ライン2cまたは9bにおける水平方向の画素位置に対する輝度出力値の特性と、抽出した横ライン2cまたは9b内の空間低周波成分との差分をとることによって、横ライン2cまたは9b内の空間高周波成分を抽出してもよい。
101 カメラ
102 画像メモリ
103 制御装置
104 モニタ
105 車速センサ
106 ワイパー制御装置
107 カウンタメモリ
108 履歴メモリ
Claims (6)
- 撮像手段に起因して前記撮像手段で撮像した画像に発生する固定パターンノイズを除去するための車載画像処理装置であって、
車速を検出する車速検出手段と、
前記車速検出手段で検出した車速に基づいて車両の走行開始を判断した後、前記撮像手段で撮像した複数の画像を重畳して蓄積する蓄積手段と、
前記固定パターンノイズを除去するための補正データとして、前記蓄積手段に蓄積した蓄積画像に含まれる空間高周波成分を抽出する抽出手段と、
前記抽出手段で抽出した前記補正データに基づいて、前記撮像手段で撮像した画像から前記固定パターンノイズを除去する画像補正手段とを備えることを特徴とする車載画像処理装置。 - 請求項1に記載の車載画像処理装置において、
車両のヨーレートを検出するヨーレート検出手段と、
前記ヨーレート検出手段で検出した前記車両のヨーレートと、前記撮像手段の画角および画素数とに基づいて、前記撮像手段で撮像した画像を前記蓄積手段に蓄積する蓄積時間を決定する蓄積時間設定手段とをさらに備え、
前記蓄積手段は、前記蓄積時間設定手段で設定された蓄積時間の間、前記撮像手段で車両の走行中に撮像した画像を重畳して蓄積することを特徴とする車載画像処理装置。 - 請求項1に記載の車載画像処理装置において、
前記撮像手段で撮像した画像内からワイパーが存在する領域(ワイパー領域)を抽出するワイパー領域抽出手段をさらに備え、
前記蓄積手段は、前記ワイパー領域抽出手段で複数の画像から抽出した前記ワイパー領域の画像を重畳することを特徴とする車載画像処理装置。 - 請求項3に記載の車載画像処理装置において、
前記ワイパー領域抽出手段は、
前記撮像手段で撮像した画像を画像処理して、画像の速度情報を算出する速度情報算出手段を含み、
前記速度情報算出手段で算出した画像の速度情報に基づいて、所定値以上の移動速度が算出された画像上の領域を前記ワイパー領域として抽出することを特徴とする車載画像処理装置。 - 請求項1〜4のいずれか一項に記載の車載画像処理装置において、
前記抽出手段で前記補正データとして抽出した前記空間高周波成分の中から、前記蓄積画像における輝度出力値が最も高い前記空間高周波成分(高輝度時空間高周波成分)、および前記蓄積画像における輝度出力値が最も低い前記空間高周波成分(低輝度時の空間高周波成分)を抽出し、抽出した前記高輝度時空間高周波成分、および前記低輝度時の空間高周波成分のそれぞれの輝度と輝度出力値とをパラメータとする2点を通る直線を引き、該直線の傾きと切片とを求めることで、画像のゲイン補正値とオフセット補正値とを算出し、算出した前記ゲイン補正値と前記オフセット補正値とを用いて、前記撮像手段で撮像した画像のゲイン、およびオフセットを補正して画像の均一性を向上させるゲイン・オフセット補正手段をさらに備えることを特徴とする車載画像処理装置。 - 撮像手段に起因して前記撮像手段で撮像した画像に発生する固定パターンノイズを除去するための画像処理方法であって、
車速を検出し、
検出した車速に基づいて車両の走行開始を判断した後、前記撮像手段で撮像した複数の画像を重畳して蓄積し、
蓄積した蓄積画像に含まれる空間高周波成分を前記固定パターンノイズを除去するための補正データとして抽出し、
抽出した前記補正データに基づいて、前記撮像手段で撮像した画像から前記固定パターンノイズを除去することを特徴とする画像処理方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005098588A JP4760089B2 (ja) | 2004-10-14 | 2005-03-30 | 車載画像処理装置、および画像処理方法 |
EP05805100.4A EP1680916B1 (en) | 2004-10-14 | 2005-10-13 | Image processing device and method |
EP12003566.2A EP2501124B1 (en) | 2004-10-14 | 2005-10-13 | Image processing device and method |
US10/581,708 US7865029B2 (en) | 2004-10-14 | 2005-10-13 | Image processing device and method |
PCT/IB2005/003056 WO2006040662A2 (en) | 2004-10-14 | 2005-10-13 | Image processing device and method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004300568 | 2004-10-14 | ||
JP2004300568 | 2004-10-14 | ||
JP2005098588A JP4760089B2 (ja) | 2004-10-14 | 2005-03-30 | 車載画像処理装置、および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006140982A JP2006140982A (ja) | 2006-06-01 |
JP4760089B2 true JP4760089B2 (ja) | 2011-08-31 |
Family
ID=36147037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005098588A Expired - Fee Related JP4760089B2 (ja) | 2004-10-14 | 2005-03-30 | 車載画像処理装置、および画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US7865029B2 (ja) |
EP (2) | EP1680916B1 (ja) |
JP (1) | JP4760089B2 (ja) |
WO (1) | WO2006040662A2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006019726A1 (de) * | 2006-04-27 | 2007-10-31 | Siemens Ag | Bildsensor, digitale Kamera und Fahrzeug |
US20090016571A1 (en) * | 2007-03-30 | 2009-01-15 | Louis Tijerina | Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images |
JP4900283B2 (ja) * | 2008-02-29 | 2012-03-21 | 日本電気株式会社 | 赤外線撮像装置および固定パターンノイズ補正方法 |
WO2010026695A1 (ja) * | 2008-09-03 | 2010-03-11 | 三菱電機株式会社 | 車両用撮影システム |
JP5113881B2 (ja) | 2010-06-03 | 2013-01-09 | 株式会社デンソー | 車両周辺監視装置 |
FR2982552B1 (fr) * | 2011-11-10 | 2014-06-27 | Denso Corp | Dispositif de surveillance perimetrique de vehicule |
JP2013258596A (ja) | 2012-06-13 | 2013-12-26 | Denso Corp | 撮像装置 |
US9460497B2 (en) * | 2012-09-21 | 2016-10-04 | Htc Corporation | Image enhancement methods and systems using the same |
WO2014076915A1 (ja) * | 2012-11-15 | 2014-05-22 | 日本電気株式会社 | 画像補正装置及び画像補正方法 |
JP6268304B2 (ja) | 2014-09-29 | 2018-01-24 | 富士フイルム株式会社 | 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム |
US11611692B2 (en) | 2020-11-09 | 2023-03-21 | Rockwell Collins, Inc. | Fixed pattern noise reduction and high spatial frequency filtering using vari-focus lenses in low contrast scenes |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2983407B2 (ja) * | 1993-03-31 | 1999-11-29 | 三菱電機株式会社 | 画像追尾装置 |
US8041483B2 (en) * | 1994-05-23 | 2011-10-18 | Automotive Technologies International, Inc. | Exterior airbag deployment techniques |
US7209221B2 (en) * | 1994-05-23 | 2007-04-24 | Automotive Technologies International, Inc. | Method for obtaining and displaying information about objects in a vehicular blind spot |
US7630806B2 (en) * | 1994-05-23 | 2009-12-08 | Automotive Technologies International, Inc. | System and method for detecting and protecting pedestrians |
US5909244A (en) * | 1996-04-15 | 1999-06-01 | Massachusetts Institute Of Technology | Real time adaptive digital image processing for dynamic range remapping of imagery including low-light-level visible imagery |
US5721427A (en) | 1996-12-19 | 1998-02-24 | Hughes Electronics | Scene-based nonuniformity correction processor incorporating motion triggering |
US6061092A (en) * | 1997-12-05 | 2000-05-09 | Intel Corporation | Method and apparatus for dark frame cancellation for CMOS sensor-based tethered video peripherals |
US20020050518A1 (en) * | 1997-12-08 | 2002-05-02 | Roustaei Alexander R. | Sensor array |
JP2000125206A (ja) * | 1998-10-16 | 2000-04-28 | Nec Corp | 固定パターンノイズ補正装置及びその補正方法 |
JP3376991B2 (ja) * | 2000-05-30 | 2003-02-17 | 日本電気株式会社 | 赤外線撮像方法及び赤外線撮像装置 |
US6901173B2 (en) * | 2001-04-25 | 2005-05-31 | Lockheed Martin Corporation | Scene-based non-uniformity correction for detector arrays |
JP2002344816A (ja) | 2001-05-18 | 2002-11-29 | Auto Network Gijutsu Kenkyusho:Kk | 撮像表示装置 |
JP2003063459A (ja) * | 2001-08-29 | 2003-03-05 | Matsushita Electric Ind Co Ltd | 車両用ドライブレコーダ装置 |
JP3855796B2 (ja) * | 2002-02-25 | 2006-12-13 | 三菱電機株式会社 | 映像補正装置 |
US7505604B2 (en) * | 2002-05-20 | 2009-03-17 | Simmonds Precision Prodcuts, Inc. | Method for detection and recognition of fog presence within an aircraft compartment using video images |
DE10239994B4 (de) | 2002-08-27 | 2006-12-14 | Robert Bosch Gmbh | Verfahren zur Korrektur von Ungleichmäßigkeiten eines Bildsensorsystems |
JP2004300568A (ja) | 2003-03-20 | 2004-10-28 | Tanaka Kikinzoku Kogyo Kk | 管楽器用の銅合金 |
JP4171347B2 (ja) * | 2003-05-19 | 2008-10-22 | 日本放送協会 | 撮影カメラ特定装置及び撮影カメラ特定方法 |
JP2005098588A (ja) | 2003-09-24 | 2005-04-14 | Mitsubishi Electric Corp | 空気調和装置 |
-
2005
- 2005-03-30 JP JP2005098588A patent/JP4760089B2/ja not_active Expired - Fee Related
- 2005-10-13 WO PCT/IB2005/003056 patent/WO2006040662A2/en active Application Filing
- 2005-10-13 EP EP05805100.4A patent/EP1680916B1/en active Active
- 2005-10-13 EP EP12003566.2A patent/EP2501124B1/en active Active
- 2005-10-13 US US10/581,708 patent/US7865029B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006140982A (ja) | 2006-06-01 |
EP2501124A3 (en) | 2016-12-21 |
EP2501124B1 (en) | 2019-09-04 |
US7865029B2 (en) | 2011-01-04 |
EP1680916B1 (en) | 2014-06-04 |
EP2501124A2 (en) | 2012-09-19 |
EP1680916A2 (en) | 2006-07-19 |
WO2006040662A2 (en) | 2006-04-20 |
US20070110331A1 (en) | 2007-05-17 |
WO2006040662A3 (en) | 2006-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4760089B2 (ja) | 車載画像処理装置、および画像処理方法 | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
JP4622001B2 (ja) | 道路区画線検出装置および道路区画線検出方法 | |
JP6755161B2 (ja) | 付着物検出装置および付着物検出方法 | |
JP2017138736A (ja) | 画像処理装置及び水滴除去システム | |
JP6832105B2 (ja) | 水滴検出装置、水滴検出方法および水滴検出プログラム | |
JP4211043B2 (ja) | 雨滴検出装置 | |
JP4257627B2 (ja) | 雨滴検出装置 | |
JP2015148887A (ja) | 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム | |
JP2012252501A (ja) | 走行路認識装置及び走行路認識用プログラム | |
JP4039425B2 (ja) | 画像処理装置、および方法 | |
CN112784671A (zh) | 障碍物检测装置及障碍物检测方法 | |
JP4321410B2 (ja) | 物体検出装置、および方法 | |
JP2020166758A (ja) | 画像処理装置および画像処理方法 | |
JP2006285910A (ja) | 車載物体検出装置、および物体検出方法 | |
JP4069916B2 (ja) | 物体検出装置、および方法 | |
JP2008257399A (ja) | 画像処理装置 | |
JP2006107314A (ja) | 画像処理装置、および画像処理方法 | |
JP2020095630A (ja) | 画像処理装置および画像処理方法 | |
JP2020095620A (ja) | 画像処理装置および画像処理方法 | |
JP2006317328A (ja) | 車載物体検出装置、および物体検出方法 | |
JP2020108130A (ja) | 付着物検出装置、および付着物検出方法 | |
JP4120638B2 (ja) | 画像処理装置、および方法 | |
US11182626B2 (en) | Attached object detection apparatus | |
JP6206334B2 (ja) | 検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110523 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4760089 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |