JP5921983B2 - 車載撮像装置 - Google Patents
車載撮像装置 Download PDFInfo
- Publication number
- JP5921983B2 JP5921983B2 JP2012172850A JP2012172850A JP5921983B2 JP 5921983 B2 JP5921983 B2 JP 5921983B2 JP 2012172850 A JP2012172850 A JP 2012172850A JP 2012172850 A JP2012172850 A JP 2012172850A JP 5921983 B2 JP5921983 B2 JP 5921983B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- detection
- unit
- specific
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K2207/00—Other aspects
- G06K2207/1012—Special detection of object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
撮像部1は、被写体からの入射光を集めるためのレンズと、レンズが集めた光を光電変換し映像信号として出力する撮像素子と、電子シャッタ制御部及び利得制御部を有する。輝度信号処理部2は、撮像部1が撮影した映像の輝度信号に関する処理を実施し、色信号処理部3は、撮像部1が撮影した映像の色信号に関する処理を実施する。
検出領域設定部5は、第1ホワイトバランス制御部4aからの映像信号に対して、検出対象となる道路標示物の位置と形状に応じた「検出領域」を設定する。ここでは検出対象の道路標示物として、道路内の「車線」を例に取り上げて説明する。
S101では、検出領域設定部5と色信号判定部6において、検出領域と特定色の設定を行う。例えば、図2の車線30を検出するための検出領域20を設定し、車線30の特定色である白色を設定する。
S102では、撮影画面(1フレーム)内の画素を順次選択し、その色信号を調べる。
S104では、色信号判定部6は選択した画素の色データが特定色(白色)に近いか否か(色度値の差が所定の範囲内か否か)を判定する。Yesの場合はS105へ進む。Noの場合はS102に戻り次の画素を選択する。
S106では、画面内の全画素について判定が終了したかどうかを判定する。Yesの場合はS107へ進む。Noの場合はS102に戻り次の画素を選択する。
S108では、算出した色度値の平均値と前記特定色の色度値との差分値を算出する。
図4は、検出領域設定部5の設定する検出領域の変形例を示す図である。ここでは道路の両側に存在する道路標示物である車線31,32を検出するために、2つの検出領域21,22を設定した場合である。このように検出領域を複数個設定しても良い。
実施例1(図1)との相違点は車速判定部12を追加し、これにより検出領域設定部5と色信号判定部6を制御する構成としたことである。本実施例は検出対象物として複数種類(ここでは2種類)を対象とすることが可能で、車速判定部12の車速情報に基づき、1つの検出対象物を選択する機能を有する。
S201では、車速判定部12から車速情報を取得し、車速Vが所定の速度V0以上か否かを判定する。
車速Vが所定の速度V0未満の場合は、S203において検出領域設定部5と色信号判定部6は「横断歩道又は停止線」を検出対象とするために検出領域B、特定色bに設定する。以後の工程は、図3と同様である。
実施例1(図1)との相違点は、検出領域設定部と色信号判定部をそれぞれ複数個(ここでは5個)設け、検出領域選択部13を追加したことである。これら複数個の検出領域設定部A〜E(5a〜5e)と複数個の色信号判定部A〜E(6a〜6e)により、複数の検出領域A〜Eと、これに対応する複数の特定色a〜eを同時に設定し、複数の検出対象物を並行して検出する機能を有する。個々の検出領域設定部と色信号判定部の動作は実施例1(図1)と同様であり、検出領域A〜Eごとにそれぞれ特定色a〜eを用いた判定を行う。
S303では、各検出領域設定部5a〜5eは選択した画素が検出領域A〜E内か否かを判定する。選択した画素が少なくとも1つの検出領域に含まれればYesとする。
S305では、当該画素を上記検出領域の近似色画素としてその色度値を記憶保存する。
S308では、ゲイン制御部7は、選択した検出領域において近似色画素として保存した全ての色度値の平均値を算出する。
S310では、領域毎の差分値をゼロとするための色ゲインの補正量の平均を求め、画面全体の画素に対してゲイン調整を施す。
実施例1(図1)との相違点は、認識部10が認識した検出対象物の認識結果を検出領域設定部5、色信号判定部6、ゲイン制御部7へフィードバックする点である。すなわち、検出領域設定部5は認識部10が認識した検出対象物の位置と形状に合わせて検出領域を設定する。色信号判定部6とゲイン制御部7は、認識部10が認識した検出対象物の色を特定色として設定する。ここで認識部10が認識する検出対象物は、例えば前記した道路標示物である車線、横断歩道、停止線であり、あるいは道路標識であっても良い。このように本実施例では、設定する検出領域と特定色は、実際に得られた被写体の認識結果に基づいて決定する。これより、道路状況や撮影環境(照明光)が変化して被写体の位置や色が本来の位置や色からずれた場合でも、判定精度を維持することができる。
S402では、認識部10から特定の被写体の認識結果を取得し、検出領域設定部5と色信号判定部6は認識結果に従い検出領域と特定色を設定する。以後の工程は、図3と同様である。
本実施例でも認識部10の認識結果を利用しているが、実施例4(図11)との相違点は、認識部10が認識した検出対象物の認識結果を検出領域設定部5のみにフィードバックする点である。色信号判定部6とゲイン制御部7では、認識結果によらずに検出対象物の特定色を設定する。ここに検出対象物は、例えば前記した車線、横断歩道、停止線、道路標識などであり、これに対応する特定色として例えば白色、黄色などを設定する。このように本実施例では、設定する検出領域は実際に得られた被写体の認識結果に基づいているが、設定する特定色は、被写体の本来の色を設定する点に特徴がある。
S502では、認識部10は出力部9からの映像信号を受けて特定の被写体(車線)を認識する。
図15は、図13の車載撮像装置の変形例を示すブロック構成図である。図13との相違点は、複数(ここでは2個)の色信号判定部A,B(6a,6b)と、特定色選択部14を設けた点である。検出領域設定部5は1つの検出対象物(例えば車線)に対する検出領域を設定する。これに対し色信号判定部A,B(6a,6b)は、互いに異なる特定色を設定する。例えば、車線に対する特定色a,bとして、白色と黄色とを設定する。そして、それぞれの特定色に対する近似色画素の判定を並行して行う。特定色選択部14は、各色信号判定部A,Bにおいて近似色画素と判定された画素数を比較し、画素数の多い方の特定色(aまたはb)を選択してゲイン制御部7に伝える。ゲイン制御部7は、選択された特定色に対する色ゲインの補正量を求め、これによりゲイン乗算部8に対しゲイン調整を行わせる。これにより、例えば車線の色が白色の場合と黄色の場合が混在した道路においても、検出される色に連動してゲイン調整を行うことができる。
S607では、特定色に近いとされた近似色画素については、特定色ごとに当該画素の色度値を記憶保存する。
S610では、ゲイン制御部7は、選択した特定色に対応する保存した全ての色度値の平均値を算出する。以後の工程は、図14と同様である。
Claims (4)
- 車両に搭載した撮像部により被写体を撮影する車載撮像装置において、
前記撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、
前記検出対象物に対応する特定色を設定し、前記検出領域に含まれる画素についてその色データが前記特定色の近傍にあるか否かを判定する色信号判定部と、
該色信号判定部により前記特定色の近傍にあると判定された画素(以下、近似色画素)の色データを前記検出領域内で平均し、該近似色画素の色データの平均値と前記特定色の色データとの差分値に基づき前記映像信号の色ゲインを調整するゲイン制御部と、
前記車両の車速を判定する車速判定部と、を備え、
前記検出領域設定部は、前記車速に応じて複数種類の検出対象物から1つを選択してこれに対応する検出領域を設定し、
前記色信号判定部は、前記車速に応じて複数種類の検出対象物から1つを選択してこれに対応する特定色を設定することを特徴とする車載撮像装置。 - 車両に搭載した撮像部により被写体を撮影する車載撮像装置において、
前記撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、
前記検出対象物に対応する特定色を設定し、前記検出領域に含まれる画素についてその色データが前記特定色の近傍にあるか否かを判定する色信号判定部と、
該色信号判定部により前記特定色の近傍にあると判定された画素(以下、近似色画素)の色データを前記検出領域内で平均し、該近似色画素の色データの平均値と前記特定色の色データとの差分値に基づき前記映像信号の色ゲインを調整するゲイン制御部と、
前記検出領域設定部として、互いに異なる複数の検出領域を設定する複数の検出領域設定部と、
前記色信号判定部として、前記複数の検出領域設定部が設定した各検出領域に対応する特定色を設定し、該各検出領域に含まれる画素についてその色データが各特定色の近傍にあるか否かを判定する複数の色信号判定部と、
前記複数の検出領域の中から、前記複数の色信号判定部により近似色画素と判定された画素数が所定値以上含まれる検出領域を選択する検出領域選択部と、を備え、
前記ゲイン制御部は、前記検出領域選択部により選択された検出領域における近似色画素の色データと該検出領域に対応する特定色の色データに基づき前記映像信号の色ゲインを調整することを特徴とする車載撮像装置。 - 車両に搭載した撮像部により被写体を撮影する車載撮像装置において、
前記撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、
前記検出対象物に対応する特定色を設定し、前記検出領域に含まれる画素についてその色データが前記特定色の近傍にあるか否かを判定する色信号判定部と、
該色信号判定部により前記特定色の近傍にあると判定された画素(以下、近似色画素)の色データを前記検出領域内で平均し、該近似色画素の色データの平均値と前記特定色の色データとの差分値に基づき前記映像信号の色ゲインを調整するゲイン制御部と、
前記映像信号から前記検出対象物を認識する認識部と、
前記色信号判定部として、前記検出対象物に対して互いに異なる複数の特定色を設定し、前記検出領域に含まれる画素についてその色データが各特定色の近傍にあるか否かを判定する複数の色信号判定部と、
前記複数の特定色の中から、前記複数の色信号判定部により近似色画素と判定された画素数が最大となる特定色を選択する特定色選択部と、を備え、
前記検出領域設定部は、前記認識部の認識結果に基づき前記検出対象物に対する前記検出領域を設定するとともに、
前記ゲイン制御部は、前記特定色選択部により選択された特定色に対応する近似色画素の色データと該特定色の色データに基づき前記映像信号の色ゲインを調整することを特徴とする車載撮像装置。 - 請求項1または2記載の車載撮像装置において、
前記映像信号から前記検出対象物を認識する認識部を備え、
前記検出領域設定部は、前記認識部の認識結果に基づき前記検出対象物に対する前記検出領域を設定し、
前記色信号判定部は、前記認識部の認識結果に基づき前記検出対象物に対する前記特定色を設定することを特徴とする車載撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172850A JP5921983B2 (ja) | 2012-08-03 | 2012-08-03 | 車載撮像装置 |
PCT/JP2013/067578 WO2014021032A1 (ja) | 2012-08-03 | 2013-06-26 | 車載撮像装置 |
US14/419,025 US9723282B2 (en) | 2012-08-03 | 2013-06-26 | In-vehicle imaging device |
EP13825969.2A EP2882187B1 (en) | 2012-08-03 | 2013-06-26 | In-vehicle imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012172850A JP5921983B2 (ja) | 2012-08-03 | 2012-08-03 | 車載撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014032540A JP2014032540A (ja) | 2014-02-20 |
JP5921983B2 true JP5921983B2 (ja) | 2016-05-24 |
Family
ID=50027722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012172850A Active JP5921983B2 (ja) | 2012-08-03 | 2012-08-03 | 車載撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9723282B2 (ja) |
EP (1) | EP2882187B1 (ja) |
JP (1) | JP5921983B2 (ja) |
WO (1) | WO2014021032A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6185418B2 (ja) * | 2014-03-27 | 2017-08-23 | トヨタ自動車株式会社 | 走路境界区画線検出装置 |
JP5908946B2 (ja) * | 2014-06-18 | 2016-04-26 | 富士重工業株式会社 | 画像処理装置 |
JP6426433B2 (ja) * | 2014-10-27 | 2018-11-21 | 株式会社日立製作所 | 画像処理装置、画像処理方法、poi情報作成システム、警告システム、及び誘導システム |
JP6456682B2 (ja) * | 2014-12-25 | 2019-01-23 | 株式会社Soken | 走行区画線認識装置 |
JP6389119B2 (ja) * | 2014-12-25 | 2018-09-12 | 株式会社デンソー | 車線境界線認識装置 |
JP6620733B2 (ja) * | 2016-12-13 | 2019-12-18 | 株式会社デンソー | 認識装置 |
JP2018164199A (ja) | 2017-03-27 | 2018-10-18 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、および画像処理方法 |
JP6677222B2 (ja) | 2017-06-21 | 2020-04-08 | カシオ計算機株式会社 | 検出装置、画像処理装置、検出方法、及び画像処理方法 |
JP6896658B2 (ja) | 2018-01-30 | 2021-06-30 | フォルシアクラリオン・エレクトロニクス株式会社 | ホワイトバランス調整装置及びホワイトバランス調整方法 |
EP3704668A4 (en) * | 2018-12-17 | 2021-04-07 | SZ DJI Technology Co., Ltd. | IMAGE PROCESSING METHOD AND APPARATUS |
CN111340687A (zh) * | 2020-02-21 | 2020-06-26 | 北京字节跳动网络技术有限公司 | 一种图像的处理方法、装置及电子设备 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04137988A (ja) * | 1990-09-28 | 1992-05-12 | Toshiba Corp | 車載カメラ用ホワイトバランス装置 |
JPH08297023A (ja) * | 1995-04-26 | 1996-11-12 | Hitachi Ltd | 画像処理による走行路面の監視装置 |
JP2002374539A (ja) * | 2001-06-15 | 2002-12-26 | Olympus Optical Co Ltd | ホワイトバランス補正可能なカメラ |
JP4541609B2 (ja) * | 2001-09-06 | 2010-09-08 | 富士重工業株式会社 | 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置 |
JP3766909B2 (ja) * | 2001-11-30 | 2006-04-19 | 株式会社日立製作所 | 走行環境認識方法および装置 |
US7423779B2 (en) * | 2004-03-30 | 2008-09-09 | Omnivision Technologies, Inc. | Method and apparatus for automatic white balance |
JP4849818B2 (ja) * | 2005-04-14 | 2012-01-11 | イーストマン コダック カンパニー | ホワイトバランス調整装置及び色識別装置 |
JP4414369B2 (ja) | 2005-06-03 | 2010-02-10 | 本田技研工業株式会社 | 車両及び路面標示認識装置 |
JP4556133B2 (ja) * | 2005-07-19 | 2010-10-06 | 本田技研工業株式会社 | 車両 |
JP2010044445A (ja) * | 2008-08-08 | 2010-02-25 | Honda Motor Co Ltd | 車両環境認識装置 |
JP4797049B2 (ja) * | 2008-08-11 | 2011-10-19 | 日立オートモティブシステムズ株式会社 | 道路標示認識装置 |
WO2011007484A1 (ja) * | 2009-07-17 | 2011-01-20 | パナソニック株式会社 | 運転支援装置、運転支援方法及びプログラム |
CN104976564B (zh) * | 2010-04-13 | 2017-11-14 | 株式会社小糸制作所 | 光学单元和车辆监视装置 |
JP5338762B2 (ja) * | 2010-07-14 | 2013-11-13 | 株式会社豊田中央研究所 | ホワイトバランス係数算出装置及びプログラム |
KR101225626B1 (ko) | 2010-07-19 | 2013-01-24 | 포항공과대학교 산학협력단 | 차선 인식 시스템 및 방법 |
JP5600814B2 (ja) * | 2011-12-28 | 2014-10-01 | 富士フイルム株式会社 | 画像処理装置及び方法並びに撮像装置 |
CN104011780A (zh) * | 2011-12-28 | 2014-08-27 | 丰田自动车株式会社 | 障碍物判定装置 |
-
2012
- 2012-08-03 JP JP2012172850A patent/JP5921983B2/ja active Active
-
2013
- 2013-06-26 EP EP13825969.2A patent/EP2882187B1/en not_active Not-in-force
- 2013-06-26 US US14/419,025 patent/US9723282B2/en active Active
- 2013-06-26 WO PCT/JP2013/067578 patent/WO2014021032A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2014021032A1 (ja) | 2014-02-06 |
EP2882187B1 (en) | 2019-03-27 |
US20150195500A1 (en) | 2015-07-09 |
US9723282B2 (en) | 2017-08-01 |
EP2882187A4 (en) | 2016-02-24 |
JP2014032540A (ja) | 2014-02-20 |
EP2882187A1 (en) | 2015-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5921983B2 (ja) | 車載撮像装置 | |
JP4248558B2 (ja) | 道路区画線検出装置 | |
US8077199B2 (en) | Target position identifying apparatus | |
CA2609526C (en) | Vehicle and road sign recognition device | |
JP5668951B2 (ja) | 画像入力装置 | |
US20070230800A1 (en) | Visibility range measuring apparatus for vehicle and vehicle drive assist system | |
JP5171723B2 (ja) | 障害物検知装置、および当該装置を搭載した車両 | |
US9542608B2 (en) | Image processing apparatus | |
JP5732145B2 (ja) | 画像処理装置 | |
US9118838B2 (en) | Exposure controller for on-vehicle camera | |
JP4556133B2 (ja) | 車両 | |
JP5759907B2 (ja) | 車載撮像装置 | |
JP2011118509A (ja) | 道路認識装置 | |
US20140055572A1 (en) | Image processing apparatus for a vehicle | |
JP2008110715A (ja) | 車両用オートライトシステム | |
JPWO2012066999A1 (ja) | 車載カメラの変位量検出装置 | |
JP2014106739A (ja) | 車載画像処理装置 | |
JP4539400B2 (ja) | ステレオカメラの補正方法、ステレオカメラ補正装置 | |
KR102629639B1 (ko) | 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법 | |
JP6266022B2 (ja) | 画像処理装置、警報装置、および画像処理方法 | |
WO2020121758A1 (ja) | 撮像部制御装置 | |
WO2017188245A1 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4053280B2 (ja) | 画像処理装置および画像処理方法 | |
JP4052299B2 (ja) | カメラ式車両感知器における露光制御方法及び装置 | |
KR102588013B1 (ko) | 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20141027 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5921983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |