JP5921983B2 - 車載撮像装置 - Google Patents

車載撮像装置 Download PDF

Info

Publication number
JP5921983B2
JP5921983B2 JP2012172850A JP2012172850A JP5921983B2 JP 5921983 B2 JP5921983 B2 JP 5921983B2 JP 2012172850 A JP2012172850 A JP 2012172850A JP 2012172850 A JP2012172850 A JP 2012172850A JP 5921983 B2 JP5921983 B2 JP 5921983B2
Authority
JP
Japan
Prior art keywords
color
detection
unit
specific
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012172850A
Other languages
English (en)
Other versions
JP2014032540A (ja
Inventor
勉 薄井
勉 薄井
齋 寛知
寛知 齋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2012172850A priority Critical patent/JP5921983B2/ja
Priority to PCT/JP2013/067578 priority patent/WO2014021032A1/ja
Priority to US14/419,025 priority patent/US9723282B2/en
Priority to EP13825969.2A priority patent/EP2882187B1/en
Publication of JP2014032540A publication Critical patent/JP2014032540A/ja
Application granted granted Critical
Publication of JP5921983B2 publication Critical patent/JP5921983B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2207/00Other aspects
    • G06K2207/1012Special detection of object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Description

本発明は、車載撮像装置に関する。
車載撮像装置は、車両に搭載した撮像手段により道路などの被写体を撮影し、撮影画像を処理して所望の対象物を認識して運転者等に表示するものである。これに関連する技術として、特許文献1には、「道路の照射状態が部分的に異なる場合でも、レーンマーク等の路面標示を精度良く検出する」ことを目的とし、「色の特徴量が近似する領域を抽出し、抽出された領域における画素データのカラー成分間のレベルのバランスに応じて、カラー成分間のレベルの乖離度合を縮小させるように、抽出された領域内の各画素データを補正するホワイトバランス処理を施す」ことが記載されている。
特開2006−338555号公報
車載撮像装置の主な機能として、例えば、被写体として道路標示物である車線を認識する機能がある。車線を正しく認識するためには、車線の色(例えば白色)を正しく再現することが必要である。車線以外の被写体の場合には、認識対象となる特定の被写体の色を正しく再現することが必要である。被写体の色を正しく再現するために、ホワイトバランス処理が施される。
上記特許文献1に記載の技術は、領域抽出手段3による所定の閾値以上あるいは未満であるかどうかの判定結果と、路面範囲特定手段4によりカラー画像上で予め特定された路面範囲A4により求めた範囲を検出対象範囲として設定している(図3参照)。その場合、A4の路面範囲に含まれる特定の被写体(レーンマーク等)以外に、例えば他車両やブレーキランプ、信号器、街頭照明などが存在すると、それらの影響を受けることから特定の被写体に適したホワイトバランス処理を行えるとは言い難い。
本発明の目的は、特定の被写体に適したホワイトバランス処理を行うことのできる車載撮像装置を提供することである。
上記目的を解決するために、特許請求の範囲に記載の構成を採用する。一例を挙げれば、本発明の車載撮像装置は、撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、検出対象物に対応する特定色を設定し、検出領域に含まれる画素についてその色データが特定色の近傍にあるか否かを判定する色信号判定部と、色信号判定部により特定色の近傍にあると判定された画素(以下、近似色画素)の色データを検出領域内で平均し、近似色画素の色データの平均値と特定色の色データとの差分値に基づき映像信号の色ゲインを調整するゲイン制御部と、を備える。
本発明によれば、特定の被写体の色を正しく再現することで、特定の被写体の認識性能を向上させる効果がある。
本発明による車載撮像装置の第1の実施例を示すブロック構成図。 検出領域設定部5の設定する検出領域の例を示す図。 第2ホワイトバランス処理部4bにおけるフローチャートを示す図。 検出領域設定部5の設定する検出領域の変形例を示す図。 検出領域制御部5の設定する検出領域の変形例を示す図。 本発明による車載撮像装置の第2の実施例を示すブロック構成図。 実施例2におけるフローチャートを示す図。 本発明による車載撮像装置の第3の実施例を示すブロック構成図。 複数の検出領域設定部A〜Eの設定する複数の検出領域の例を示す図。 実施例3におけるフローチャートを示す図。 本発明による車載撮像装置の第4の実施例を示すブロック構成図。 実施例4におけるフローチャートを示す図。 本発明による車載撮像装置の第5の実施例を示すブロック構成図。 実施例5におけるフローチャートを示す図。 図13の車載撮像装置の変形例を示すブロック構成図。 図15におけるフローチャートを示す図。
以下、本発明のいくつかの実施形態を図面を用いて説明する。
図1は、本発明による車載撮像装置の第1の実施例を示すブロック構成図である。
撮像部1は、被写体からの入射光を集めるためのレンズと、レンズが集めた光を光電変換し映像信号として出力する撮像素子と、電子シャッタ制御部及び利得制御部を有する。輝度信号処理部2は、撮像部1が撮影した映像の輝度信号に関する処理を実施し、色信号処理部3は、撮像部1が撮影した映像の色信号に関する処理を実施する。
第1ホワイトバランス制御部4aは、色信号処理後の画面全体の映像信号(色信号)を用いてホワイトバランスの制御を行う。一方第2ホワイトバランス制御部4b(破線で囲まれた部分)は、以下に説明するように画面内の一部領域(検出領域)の映像信号(色信号)を用いてホワイトバランスの制御を行う。なお、色信号処理部3と第1ホワイトバランス制御部4aとは統合させても良い。
第2ホワイトバランス制御部4bは次の構成となっている。
検出領域設定部5は、第1ホワイトバランス制御部4aからの映像信号に対して、検出対象となる道路標示物の位置と形状に応じた「検出領域」を設定する。ここでは検出対象の道路標示物として、道路内の「車線」を例に取り上げて説明する。
色信号判定部6は、検出領域設定部5で設定された検出領域内の各画素の色信号が、検出対象物である「車線」の本来の色(以下、「特定色」と呼ぶ)の近傍にあるか否かを判定する。具体的に言えば、各画素の色データ(以下、色度ともいう)と「車線」の特定色である「白色」の色データとの差が所定の範囲内か否かの判定を行う。判定の結果、特定色の近傍にあると判定された画素を「近似色画素」と呼ぶことにする。そして、近似色画素と判定された画素についてはその色データ(色度)を記憶保存する。
ゲイン制御部7は、色信号判定部7で保存した前記検出領域内に存在する全ての近似色画素の色度の平均値を算出する。そして、平均色度と前記特定色の色度との差分値を算出し、差分値をゼロとするための色ゲインの補正量を求める。
ゲイン乗算部8は、第1ホワイトバランス制御部4aからの映像信号に対し、ゲイン制御部7で求めたゲイン補正量を掛ける。すなわち、画面全体の画素に対して前記色ゲイン補正量により調整する。ゲイン乗算部8によるゲイン調整は、映像信号のR,G,B信号に対するゲイン調整、あるいはR,G,B信号を色差信号に変換したR−Y、B−Y信号に対するゲイン調整のいずれでもよい。ゲイン調整の結果、映像信号のうちで特定色の近傍(近似色画素)と判定された色信号は、ほぼ「車線」の特定色(白色)の色信号となるように補正される。
輝度信号処理部2からの輝度信号と、ゲイン乗算部8によりゲイン調整された色信号は、出力部9で合成され、RGB信号やYUV信号といった信号形式に適宜変換されて認識部10やモニタ11へ出力される。認識部10では、入力した画像から検出対象物である道路標示物(ここでは車線)を認識し、モニタ11では、入力した画像を表示する。
図2は、検出領域設定部5の設定する検出領域の例を示す図である。モニタ11には車両の前方、あるいは後方の撮影画像が表示される。ここでは道路標示物である車線30を検出対象とし、車線30を検出するための検出領域20(破線で示す)を設定した場合を示す。すなわち検出領域20は、画面内の車線30の位置と傾きに沿って設定する。
図3は、第2ホワイトバランス処理部4bにおけるフローチャートを示す図である。
S101では、検出領域設定部5と色信号判定部6において、検出領域と特定色の設定を行う。例えば、図2の車線30を検出するための検出領域20を設定し、車線30の特定色である白色を設定する。
S102では、撮影画面(1フレーム)内の画素を順次選択し、その色信号を調べる。
S103では、検出領域設定部5は選択した画素が検出領域内か否かを判定する。Yesの場合はS104へ進む。Noの場合はS102に戻り次の画素を選択する。
S104では、色信号判定部6は選択した画素の色データが特定色(白色)に近いか否か(色度値の差が所定の範囲内か否か)を判定する。Yesの場合はS105へ進む。Noの場合はS102に戻り次の画素を選択する。
S105では、当該画素を近似色画素としてその色度値を記憶保存する。
S106では、画面内の全画素について判定が終了したかどうかを判定する。Yesの場合はS107へ進む。Noの場合はS102に戻り次の画素を選択する。
S107では、ゲイン制御部7は近似色画素として保存した検出領域内の全ての色度値の平均値を算出する。
S108では、算出した色度値の平均値と前記特定色の色度値との差分値を算出する。
S109では、差分値をゼロとするための色ゲインの補正量を求め、ゲイン乗算部8により画面全体の画素に対してゲイン調整を施す。なお、ゲイン調整を画面全体の画素に対して施すことにより、検出対象物(車線)の一部が設定した検出領域の外に存在する場合でもその色ゲインを調整することができる。
このように第2ホワイトバランス処理のフローによれば、色信号判定処理は全画素のうち検出領域の範囲内の画素に対してのみが実施され(S103〜S104)、色信号判定処理で特定色に近い近似色画素と判定された色信号のみのデータをもとに色ゲイン調整を行う(S107〜S109)。その結果、検出領域内で特定色の近傍と判定された映像信号は、確実に特定色(白色)に収束するように補正されるので、特定の検出対象物(車線)の色を正しく再現することができる。すなわち、検出対象物に合わせて検出領域を設定することで、領域内には検出対象物以外のノイズ源(例えば他車両、ブレーキランプ、信号器、街頭照明など)が存在することが少なくなり、それらの影響を軽減することができる。
以下、実施例1の変形例を説明する。
図4は、検出領域設定部5の設定する検出領域の変形例を示す図である。ここでは道路の両側に存在する道路標示物である車線31,32を検出するために、2つの検出領域21,22を設定した場合である。このように検出領域を複数個設定しても良い。
図5は、検出領域制御部5の設定する検出領域の変形例を示す図である。ここでは検出対象として道路標示物である横断歩道33aもしくは停止線33bを取り上げ、これらに沿った検出領域23を設定した場合である。この場合の検出領域23の形状は、横断歩道や停止線に沿うように画面水平方向に伸びた矩形状としている。
図6は、本発明による車載撮像装置の第2の実施例を示すブロック構成図である。
実施例1(図1)との相違点は車速判定部12を追加し、これにより検出領域設定部5と色信号判定部6を制御する構成としたことである。本実施例は検出対象物として複数種類(ここでは2種類)を対象とすることが可能で、車速判定部12の車速情報に基づき、1つの検出対象物を選択する機能を有する。
すなわち検出領域設定部5は、検出対象物に応じて2つの検出領域A,Bから一方を選択して設定可能で、色信号判定部6は検出対象物に応じて2つの特定色a,bから一方を選択して設定可能である。例えば検出領域A、特定色aとして、図2、図4の車線30,31,32に対応する検出領域20,21,22とその特定色(白色)を設定する。また検出領域B、特定色bとして、図5の横断歩道33a又は停止線33bに対応する検出領域23とその特定色(白色)を設定する。
車速判定部12からの車速情報に基づき、車速Vが所定の速度V0以上の場合には、検出対象物として「車線」を選択し、これに対応する検出領域A、特定色aに切り替える。その理由は、走行方向に平行な「車線」の画像は、走行速度に依らず画面内でほぼ静止しているのに対し、走行方向に直交する「横断歩道又は停止線」の画像は、高速走行時には画面内を高速に移動するため、精度良く検出することが困難となるからである。車速Vが所定の速度V0未満の場合には、「車線」と「横断歩道又は停止線」はいずれも検出可能であるが、ここでは検出領域B、特定色bに切り替え、「横断歩道又は停止線」を選択することにする。
図7は、実施例2におけるフローチャートを示す図である。実施例1(図3)との相違点は、S101の工程をS201〜S203に変更した点であり、他は同様である。
S201では、車速判定部12から車速情報を取得し、車速Vが所定の速度V0以上か否かを判定する。
車速Vが所定の速度V0以上の場合は、S202において検出領域設定部5と色信号判定部6は「車線」を検出対象とするために検出領域A、特定色aに設定する。
車速Vが所定の速度V0未満の場合は、S203において検出領域設定部5と色信号判定部6は「横断歩道又は停止線」を検出対象とするために検出領域B、特定色bに設定する。以後の工程は、図3と同様である。
本実施例によれば、車速情報に応じて検出対象物を切り替えることができるので、実用的で使い勝手の良い車載撮像装置となる。なお、車速判定部12の代わりに、ギア位置の情報によっても同様の機能を実現できる。更には、操舵角の情報を取得し、検出領域の位置を画面内で移動させて設定することも可能である。
図8は、本発明による車載撮像装置の第3の実施例を示すブロック構成図である。
実施例1(図1)との相違点は、検出領域設定部と色信号判定部をそれぞれ複数個(ここでは5個)設け、検出領域選択部13を追加したことである。これら複数個の検出領域設定部A〜E(5a〜5e)と複数個の色信号判定部A〜E(6a〜6e)により、複数の検出領域A〜Eと、これに対応する複数の特定色a〜eを同時に設定し、複数の検出対象物を並行して検出する機能を有する。個々の検出領域設定部と色信号判定部の動作は実施例1(図1)と同様であり、検出領域A〜Eごとにそれぞれ特定色a〜eを用いた判定を行う。
ただしゲイン制御では、検出領域A〜Eごとに近似色画素と判定された画素数を考慮した制御を行う。検出領域選択部13は、各検出領域について近似色画素と判定された画素数が所定値以上含まれるか否かを判定し、所定値以上含まれる検出領域を選択してゲイン制御部7に伝える。ゲイン制御部7は、選択された検出領域における色ゲインの補正量を求め、これによりゲイン乗算部8に対しゲイン調整を行わせる。
図9は、複数の検出領域設定部A〜E(5a〜5e)の設定する複数の検出領域の例を示す図である。ここでは、検出対象物を車線とする検出領域20a〜20dと、検出対象物を横断歩道もしくは停止線とする検出領域20eを設定した場合を示す。このうち、検出領域20aと20bはいずれも道路左側の車線に対応するものであるが、その位置と傾きをずらして設定している。検出領域20cと20dについても同様である。このように同一の検出対象物(車線)に対して複数の検出領域を設定することで、検出対象物の画面内位置や傾きがずれた場合でも、いずれかの検出領域で確実に検出することができる。なお、検出対象物が検出されなかった(あるいは所定数より少なかった)領域については検出領域選択部13により非選択とされるので、誤検出による影響を回避することができる。
図10は、実施例3におけるフローチャートを示す図である。実施例1(図3)との相違点は、複数の検出領域・特定色を設定し、それぞれの検出領域・特定色による判定を並行して行うことである。以下、変更点を中心に説明する。
S301では、検出領域設定部5a〜5eと色信号判定部6a〜6eにおいて、それぞれ複数の検出領域A〜Eと特定色a〜eの設定を行う。例えば、図9の検出領域20a〜20eとそれに対応する特定色a〜eとして白色を設定する。
S303では、各検出領域設定部5a〜5eは選択した画素が検出領域A〜E内か否かを判定する。選択した画素が少なくとも1つの検出領域に含まれればYesとする。
S304では、S303でYesとされた検出領域に対応する色信号判定部6a〜6eは、選択した画素の色度が対応する特定色の色度に近いか否かを判定する。選択した画素が少なくとも1つの特定色の色度に近ければYesとする。
S305では、当該画素を上記検出領域の近似色画素としてその色度値を記憶保存する。
S307では、検出領域選択部13は、複数の検出領域のうちで近似色画素と判定された画素数が所定値以上含まれる検出領域を選択する。
S308では、ゲイン制御部7は、選択した検出領域において近似色画素として保存した全ての色度値の平均値を算出する。
S309では、選択領域毎に算出した色度値の平均値と前記特定色の色度値との差分値を算出する。
S310では、領域毎の差分値をゼロとするための色ゲインの補正量の平均を求め、画面全体の画素に対してゲイン調整を施す。
本実施例によれば、同一の検出対象物に対して複数の検出領域を設定することができ、検出対象物の画面内位置がずれた場合でも、検出対象物をいずれかの検出領域で確実に検出することができる。
図11は、本発明による車載撮像装置の第4の実施例を示すブロック構成図である。
実施例1(図1)との相違点は、認識部10が認識した検出対象物の認識結果を検出領域設定部5、色信号判定部6、ゲイン制御部7へフィードバックする点である。すなわち、検出領域設定部5は認識部10が認識した検出対象物の位置と形状に合わせて検出領域を設定する。色信号判定部6とゲイン制御部7は、認識部10が認識した検出対象物の色を特定色として設定する。ここで認識部10が認識する検出対象物は、例えば前記した道路標示物である車線、横断歩道、停止線であり、あるいは道路標識であっても良い。このように本実施例では、設定する検出領域と特定色は、実際に得られた被写体の認識結果に基づいて決定する。これより、道路状況や撮影環境(照明光)が変化して被写体の位置や色が本来の位置や色からずれた場合でも、判定精度を維持することができる。
図12は、実施例4におけるフローチャートを示す図である。実施例1(図3)との相違点は、S101の工程をS401〜S402に変更した点であり、他は同様である。
S401では、認識部10は出力部9からの映像信号を受けて特定の被写体(検出対象物)を認識する。
S402では、認識部10から特定の被写体の認識結果を取得し、検出領域設定部5と色信号判定部6は認識結果に従い検出領域と特定色を設定する。以後の工程は、図3と同様である。
本実施例によれば、実際に得られた被写体の認識結果に基づいて領域判定と色信号判定を行うので、道路状況や撮影環境が変化した状態でも判定精度を維持し、特定の被写体の色を実際に撮影された色に近いもので表示できる効果がある。
図13は、本発明による車載撮像装置の第5の実施例を示すブロック構成図である。
本実施例でも認識部10の認識結果を利用しているが、実施例4(図11)との相違点は、認識部10が認識した検出対象物の認識結果を検出領域設定部5のみにフィードバックする点である。色信号判定部6とゲイン制御部7では、認識結果によらずに検出対象物の特定色を設定する。ここに検出対象物は、例えば前記した車線、横断歩道、停止線、道路標識などであり、これに対応する特定色として例えば白色、黄色などを設定する。このように本実施例では、設定する検出領域は実際に得られた被写体の認識結果に基づいているが、設定する特定色は、被写体の本来の色を設定する点に特徴がある。
図14は、実施例5におけるフローチャートを示す図である。実施例4(図12)との相違点は、S401〜S402の工程をS501〜S503に変更した点であり、他は同様である。
S501では、色信号判定部6において特定色の設定を行う。例えば検出対象物が車線であれば特定色として白色を設定する。
S502では、認識部10は出力部9からの映像信号を受けて特定の被写体(車線)を認識する。
S503では、認識部10から特定の被写体(車線)の認識結果を取得し、検出領域設定部5は認識結果に従い検出領域を設定する。以後の工程は、図12と同様である。
本実施例によれば、実際に得られた被写体の認識結果に基づいて領域判定するので被写体の検出精度が向上し、一方色ゲイン調整では特定の被写体の色を本来の色に正しく再現することができる。
以下、実施例5の変形例を説明する。
図15は、図13の車載撮像装置の変形例を示すブロック構成図である。図13との相違点は、複数(ここでは2個)の色信号判定部A,B(6a,6b)と、特定色選択部14を設けた点である。検出領域設定部5は1つの検出対象物(例えば車線)に対する検出領域を設定する。これに対し色信号判定部A,B(6a,6b)は、互いに異なる特定色を設定する。例えば、車線に対する特定色a,bとして、白色と黄色とを設定する。そして、それぞれの特定色に対する近似色画素の判定を並行して行う。特定色選択部14は、各色信号判定部A,Bにおいて近似色画素と判定された画素数を比較し、画素数の多い方の特定色(aまたはb)を選択してゲイン制御部7に伝える。ゲイン制御部7は、選択された特定色に対する色ゲインの補正量を求め、これによりゲイン乗算部8に対しゲイン調整を行わせる。これにより、例えば車線の色が白色の場合と黄色の場合が混在した道路においても、検出される色に連動してゲイン調整を行うことができる。
図16は、図15(変形例)におけるフローチャートを示す図である。図14との相違点は、S601,S606,S607,S609,S610の工程である。
S601では、色信号判定部A,B(6a,6b)において、互いに異なる特定色a,bの設定を行う。例えば特定色aを白色、特定色bを黄色に設定する。
S606では、色信号判定部A,Bは選択した画素の色度がそれぞれの特定色(aまたはb)の色度に近いか否かを判定する。いずれかの特定色に近ければYesとする。
S607では、特定色に近いとされた近似色画素については、特定色ごとに当該画素の色度値を記憶保存する。
S609では、特定色選択部14は、各特定色について近似色画素と判定された画素数を比較し、画素数の多い方の特定色(aまたはb)を選択する。
S610では、ゲイン制御部7は、選択した特定色に対応する保存した全ての色度値の平均値を算出する。以後の工程は、図14と同様である。
本変形例では2つの特定色を設定したが、2個以上の複数の特定色を設定しても良い。本変形例によれば、複数の特定色のうち近似色画素数が多い方(最大)の特定色を選択して色ゲイン調整を行うので、検出する被写体が複数の色を含む場合や道路状況によって被写体の色が切り替わるような場合でも、これに良く適応して被写体の色を再現することができる。
1:撮像部、2:輝度信号処理部、3:色信号処理部、4a:第1ホワイトバランス制御部、4b:第2ホワイトバランス制御部、5:検出領域設定部、6:色信号判定部、7:ゲイン制御部、8:ゲイン乗算部、9:出力部、10:認識部、11:モニタ、12:車速判定部、13:検出領域選択部、14:特定色選択部、20〜23:検出領域、30〜33:検出対象物。

Claims (4)

  1. 車両に搭載した撮像部により被写体を撮影する車載撮像装置において、
    前記撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、
    前記検出対象物に対応する特定色を設定し、前記検出領域に含まれる画素についてその色データが前記特定色の近傍にあるか否かを判定する色信号判定部と、
    該色信号判定部により前記特定色の近傍にあると判定された画素(以下、近似色画素)の色データを前記検出領域内で平均し、該近似色画素の色データの平均値と前記特定色の色データとの差分値に基づき前記映像信号の色ゲインを調整するゲイン制御部と、
    前記車両の車速を判定する車速判定部と、を備え、
    前記検出領域設定部は、前記車速に応じて複数種類の検出対象物から1つを選択してこれに対応する検出領域を設定し、
    前記色信号判定部は、前記車速に応じて複数種類の検出対象物から1つを選択してこれに対応する特定色を設定することを特徴とする車載撮像装置。
  2. 車両に搭載した撮像部により被写体を撮影する車載撮像装置において、
    前記撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、
    前記検出対象物に対応する特定色を設定し、前記検出領域に含まれる画素についてその色データが前記特定色の近傍にあるか否かを判定する色信号判定部と、
    該色信号判定部により前記特定色の近傍にあると判定された画素(以下、近似色画素)の色データを前記検出領域内で平均し、該近似色画素の色データの平均値と前記特定色の色データとの差分値に基づき前記映像信号の色ゲインを調整するゲイン制御部と、
    前記検出領域設定部として、互いに異なる複数の検出領域を設定する複数の検出領域設定部と、
    前記色信号判定部として、前記複数の検出領域設定部が設定した各検出領域に対応する特定色を設定し、該各検出領域に含まれる画素についてその色データが各特定色の近傍にあるか否かを判定する複数の色信号判定部と、
    前記複数の検出領域の中から、前記複数の色信号判定部により近似色画素と判定された画素数が所定値以上含まれる検出領域を選択する検出領域選択部と、を備え、
    前記ゲイン制御部は、前記検出領域選択部により選択された検出領域における近似色画素の色データと該検出領域に対応する特定色の色データに基づき前記映像信号の色ゲインを調整することを特徴とする車載撮像装置。
  3. 車両に搭載した撮像部により被写体を撮影する車載撮像装置において、
    前記撮像部からの映像信号に対し、撮影画面内に所定の検出対象物に対応する検出領域を設定する検出領域設定部と、
    前記検出対象物に対応する特定色を設定し、前記検出領域に含まれる画素についてその色データが前記特定色の近傍にあるか否かを判定する色信号判定部と、
    該色信号判定部により前記特定色の近傍にあると判定された画素(以下、近似色画素)の色データを前記検出領域内で平均し、該近似色画素の色データの平均値と前記特定色の色データとの差分値に基づき前記映像信号の色ゲインを調整するゲイン制御部と、
    前記映像信号から前記検出対象物を認識する認識部と、
    前記色信号判定部として、前記検出対象物に対して互いに異なる複数の特定色を設定し、前記検出領域に含まれる画素についてその色データが各特定色の近傍にあるか否かを判定する複数の色信号判定部と、
    前記複数の特定色の中から、前記複数の色信号判定部により近似色画素と判定された画素数が最大となる特定色を選択する特定色選択部と、を備え、
    前記検出領域設定部は、前記認識部の認識結果に基づき前記検出対象物に対する前記検出領域を設定するとともに、
    前記ゲイン制御部は、前記特定色選択部により選択された特定色に対応する近似色画素の色データと該特定色の色データに基づき前記映像信号の色ゲインを調整することを特徴とする車載撮像装置。
  4. 請求項1または2記載の車載撮像装置において、
    前記映像信号から前記検出対象物を認識する認識部を備え、
    前記検出領域設定部は、前記認識部の認識結果に基づき前記検出対象物に対する前記検出領域を設定し、
    前記色信号判定部は、前記認識部の認識結果に基づき前記検出対象物に対する前記特定色を設定することを特徴とする車載撮像装置。
JP2012172850A 2012-08-03 2012-08-03 車載撮像装置 Active JP5921983B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012172850A JP5921983B2 (ja) 2012-08-03 2012-08-03 車載撮像装置
PCT/JP2013/067578 WO2014021032A1 (ja) 2012-08-03 2013-06-26 車載撮像装置
US14/419,025 US9723282B2 (en) 2012-08-03 2013-06-26 In-vehicle imaging device
EP13825969.2A EP2882187B1 (en) 2012-08-03 2013-06-26 In-vehicle imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012172850A JP5921983B2 (ja) 2012-08-03 2012-08-03 車載撮像装置

Publications (2)

Publication Number Publication Date
JP2014032540A JP2014032540A (ja) 2014-02-20
JP5921983B2 true JP5921983B2 (ja) 2016-05-24

Family

ID=50027722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012172850A Active JP5921983B2 (ja) 2012-08-03 2012-08-03 車載撮像装置

Country Status (4)

Country Link
US (1) US9723282B2 (ja)
EP (1) EP2882187B1 (ja)
JP (1) JP5921983B2 (ja)
WO (1) WO2014021032A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6185418B2 (ja) * 2014-03-27 2017-08-23 トヨタ自動車株式会社 走路境界区画線検出装置
JP5908946B2 (ja) * 2014-06-18 2016-04-26 富士重工業株式会社 画像処理装置
JP6426433B2 (ja) * 2014-10-27 2018-11-21 株式会社日立製作所 画像処理装置、画像処理方法、poi情報作成システム、警告システム、及び誘導システム
JP6456682B2 (ja) * 2014-12-25 2019-01-23 株式会社Soken 走行区画線認識装置
JP6389119B2 (ja) * 2014-12-25 2018-09-12 株式会社デンソー 車線境界線認識装置
JP6620733B2 (ja) * 2016-12-13 2019-12-18 株式会社デンソー 認識装置
JP2018164199A (ja) 2017-03-27 2018-10-18 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、および画像処理方法
JP6677222B2 (ja) 2017-06-21 2020-04-08 カシオ計算機株式会社 検出装置、画像処理装置、検出方法、及び画像処理方法
JP6896658B2 (ja) 2018-01-30 2021-06-30 フォルシアクラリオン・エレクトロニクス株式会社 ホワイトバランス調整装置及びホワイトバランス調整方法
EP3704668A4 (en) * 2018-12-17 2021-04-07 SZ DJI Technology Co., Ltd. IMAGE PROCESSING METHOD AND APPARATUS
CN111340687A (zh) * 2020-02-21 2020-06-26 北京字节跳动网络技术有限公司 一种图像的处理方法、装置及电子设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04137988A (ja) * 1990-09-28 1992-05-12 Toshiba Corp 車載カメラ用ホワイトバランス装置
JPH08297023A (ja) * 1995-04-26 1996-11-12 Hitachi Ltd 画像処理による走行路面の監視装置
JP2002374539A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
JP4541609B2 (ja) * 2001-09-06 2010-09-08 富士重工業株式会社 停止線認識装置、及び、その停止線認識装置を用いた車両用運転支援装置
JP3766909B2 (ja) * 2001-11-30 2006-04-19 株式会社日立製作所 走行環境認識方法および装置
US7423779B2 (en) * 2004-03-30 2008-09-09 Omnivision Technologies, Inc. Method and apparatus for automatic white balance
JP4849818B2 (ja) * 2005-04-14 2012-01-11 イーストマン コダック カンパニー ホワイトバランス調整装置及び色識別装置
JP4414369B2 (ja) 2005-06-03 2010-02-10 本田技研工業株式会社 車両及び路面標示認識装置
JP4556133B2 (ja) * 2005-07-19 2010-10-06 本田技研工業株式会社 車両
JP2010044445A (ja) * 2008-08-08 2010-02-25 Honda Motor Co Ltd 車両環境認識装置
JP4797049B2 (ja) * 2008-08-11 2011-10-19 日立オートモティブシステムズ株式会社 道路標示認識装置
WO2011007484A1 (ja) * 2009-07-17 2011-01-20 パナソニック株式会社 運転支援装置、運転支援方法及びプログラム
CN104976564B (zh) * 2010-04-13 2017-11-14 株式会社小糸制作所 光学单元和车辆监视装置
JP5338762B2 (ja) * 2010-07-14 2013-11-13 株式会社豊田中央研究所 ホワイトバランス係数算出装置及びプログラム
KR101225626B1 (ko) 2010-07-19 2013-01-24 포항공과대학교 산학협력단 차선 인식 시스템 및 방법
JP5600814B2 (ja) * 2011-12-28 2014-10-01 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
CN104011780A (zh) * 2011-12-28 2014-08-27 丰田自动车株式会社 障碍物判定装置

Also Published As

Publication number Publication date
WO2014021032A1 (ja) 2014-02-06
EP2882187B1 (en) 2019-03-27
US20150195500A1 (en) 2015-07-09
US9723282B2 (en) 2017-08-01
EP2882187A4 (en) 2016-02-24
JP2014032540A (ja) 2014-02-20
EP2882187A1 (en) 2015-06-10

Similar Documents

Publication Publication Date Title
JP5921983B2 (ja) 車載撮像装置
JP4248558B2 (ja) 道路区画線検出装置
US8077199B2 (en) Target position identifying apparatus
CA2609526C (en) Vehicle and road sign recognition device
JP5668951B2 (ja) 画像入力装置
US20070230800A1 (en) Visibility range measuring apparatus for vehicle and vehicle drive assist system
JP5171723B2 (ja) 障害物検知装置、および当該装置を搭載した車両
US9542608B2 (en) Image processing apparatus
JP5732145B2 (ja) 画像処理装置
US9118838B2 (en) Exposure controller for on-vehicle camera
JP4556133B2 (ja) 車両
JP5759907B2 (ja) 車載撮像装置
JP2011118509A (ja) 道路認識装置
US20140055572A1 (en) Image processing apparatus for a vehicle
JP2008110715A (ja) 車両用オートライトシステム
JPWO2012066999A1 (ja) 車載カメラの変位量検出装置
JP2014106739A (ja) 車載画像処理装置
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
KR102629639B1 (ko) 차량용 듀얼 카메라 장착 위치 결정 장치 및 방법
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
WO2020121758A1 (ja) 撮像部制御装置
WO2017188245A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4053280B2 (ja) 画像処理装置および画像処理方法
JP4052299B2 (ja) カメラ式車両感知器における露光制御方法及び装置
KR102588013B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 적응형 크루즈 컨트롤 시스템의 성능 평가 장치와 그 제어 방법

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160413

R150 Certificate of patent or registration of utility model

Ref document number: 5921983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250