JP6533050B2 - 車載カメラシステム - Google Patents

車載カメラシステム Download PDF

Info

Publication number
JP6533050B2
JP6533050B2 JP2014230608A JP2014230608A JP6533050B2 JP 6533050 B2 JP6533050 B2 JP 6533050B2 JP 2014230608 A JP2014230608 A JP 2014230608A JP 2014230608 A JP2014230608 A JP 2014230608A JP 6533050 B2 JP6533050 B2 JP 6533050B2
Authority
JP
Japan
Prior art keywords
white balance
balance correction
exposure
image
types
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014230608A
Other languages
English (en)
Other versions
JP2016096417A (ja
JP2016096417A5 (ja
Inventor
勉 薄井
勉 薄井
憲彦 中野
憲彦 中野
崇英 小島
崇英 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2014230608A priority Critical patent/JP6533050B2/ja
Priority to PCT/JP2015/076861 priority patent/WO2016076016A1/ja
Priority to US15/525,406 priority patent/US10356376B2/en
Priority to EP15859559.5A priority patent/EP3220637B1/en
Publication of JP2016096417A publication Critical patent/JP2016096417A/ja
Publication of JP2016096417A5 publication Critical patent/JP2016096417A5/ja
Application granted granted Critical
Publication of JP6533050B2 publication Critical patent/JP6533050B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/093Digital circuits for control of exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/01Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Processing Of Color Television Signals (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車載カメラシステムに関する。
フレーム単位又は画素単位で露光時間を制御して、ダイナミックレンジの広い画像(ハイダイナミックレンジ画像)を得る技術が知られている。これは、露光時間が相対的に長い長時間露光撮影と露光時間が相対的に短い短時間露光撮影とを行い、長時間露光撮影で得られた長時間露光画像及び短時間露光撮影で得られた短時間露光画像との合成により、ハイダイナミックレンジ画像を生成するものである。
さらに、長時間露光画像と短時間露光画像とを合成する前に、長時間露光画像及び短時間露光画像に対してそれぞれ適切なホワイトバランスの補正処理を行う技術も提案されている(例えば、特許文献1参照)。
特開2003−189315号公報
ところで、車両に設けられて、車両の周囲を撮影する車載カメラシステムが普及している。車載カメラシステムにおいても、ハイダイナミックレンジ画像を取得することは重要であり、長時間露光画像及び短時間露光画像が取得される。
しかし、車載カメラシステムの使用環境は、画像を撮影するときの照明環境が種々変化するという特徴がある。
照明環境としては、例えば、太陽光を光源とする日中屋外、太陽光の無い夜間屋外及び太陽光は受けないが単一光源で照明された場所などがある。ここで、日中屋外は太陽光の影響を強く受ける。夜間屋外は、太陽光は無いが、ヘッドライトにより照らされた反射光の他に、信号灯や街灯、電飾等の自発光光源がある。単一光源で照明される場所としては、例えば、ナトリウムランプで照らされたトンネルや蛍光灯などで照らされた屋内駐車場などがある。
一方、車載カメラシステムで得られた画像に基づいて、運転者や車両に対して有益な情報を与える技術が開発されている。そのような技術としては、例えば、車載カメラシステムで撮影された画像に基づいて車線を区切る白線や標識、他車や歩行者を検知する機能や、画像を記録するドライブレコーダとしての機能や、画像をフロントガラスに投影するヘッドアップディスプレイ機能などがある。
そして、画像に基づいたこれらの機能を精度よく動作させるためには、撮影された画像に対するホワイトバランスの補正処理を適切に行う必要がある。
本発明は上記事情に鑑みなされたものであって、種々変化する照明環境であっても、得られた2種類以上の露光画像に対して、照明環境に応じた適切なホワイトバランスの補正処理を行う車載カメラシステムを提供することを目的とする。
本発明は、車両に設けられた、少なくとも2種類の露光時間で撮影を行う車載カメラと、前記少なくとも2種類の露光時間でそれぞれ撮影して得られた2種類以上の露光画像にホワイトバランスの補正処理を施すとともに、前記ホワイトバランスの補正処理がそれぞれ施された前記2種類以上の露光画像に基づいてハイダイナミックレンジ画像を生成する信号処理装置と、前記車両が置かれている照明環境を取得し、取得された前記照明環境に応じて、前記信号処理装置による前記2種類以上の露光画像に対するホワイトバランスの補正処理を切り替える処理切替装置と、を備えた車載カメラシステムである。
本発明に係る車載カメラシステムによれば、種々変化する照明環境であっても、得られた2種類以上の露光画像に対してそれぞれ、照明環境に応じた適切なホワイトバランスの補正処理を行うことができる。
本発明の一実施形態に係る車載カメラシステムの構成を示すブロック図である。 図1に示した実施形態の車載カメラシステムの作用(処理)を示すフローチャートである。
以下、本発明に係る車載カメラシステムの具体的な実施の形態について、図面を参照して説明する。
<車載カメラシステムの構成>
図1は、本発明の一実施形態に係る車載カメラシステム100の構成を示すブロック図である。図1中の実線は画像信号(映像信号)の流れであり、破線は制御信号の流れである。図示の車載カメラシステム100は図示しない車両に設けられていて、車載カメラ10と、信号処理部20(信号処理装置の一例)と、システム制御部40(処理切替装置の一例)と、出力インターフェース(I/F)部30とを備えている。
車載カメラ10は、主に、車両の前方の路面を含む範囲を被写体としている。車載カメラ10は、カラーの撮像素子12と、撮像素子12に被写体の像を結像させるレンズ11とを備えている。
撮像素子12は、後述のシステム制御部40によって、露光時間が相対的に短い短時間露光撮影と露光時間が相対的に長い長時間露光撮影とを行うように制御されている。したがって、撮像素子12からは、短時間露光撮影で撮影された短時間露光画像と長時間露光撮影で撮影された長時間露光画像とが交互に出力される。短時間露光撮影の露光時間は、例えば1/3000[秒]、長時間露光撮影の露光時間は、例えば1/30[秒]であるが、これらの露光時間に限定されない。
信号処理部20は、撮像素子12から出力された長時間露光画像及び短時間露光画像に対して種々の信号処理を施す。信号処理部20は、ホワイトバランス処理部25を備えている。ホワイトバランス処理部25は、長時間露光画像及び短時間露光画像に対してぞれぞれ、パラメータに基づいて、ホワイトバランスの補正処理を施す。
ホワイトバランスの補正処理のパラメータは、システム制御部40のホワイトバランス(WB)制御部45によって設定される。したがって、ホワイトバランス処理部25は、ホワイトバランス制御部45で設定されたパラメータにしたがってホワイトバランスの補正処理を行う。
また、信号処理部20は、ホワイトバランスの補正処理が施された後の短時間露光画像とホワイトバランスの補正処理が施された後の長時間露光画像とに基づいて、短時間露光画像や長時間露光画像よりもダイナミックレンジが広いハイダイナミックレンジ画像を生成する。ハイダイナミックレンジ画像を生成する処理としては、公知の種々の方法を適用することができる。
システム制御部40には、車両の置かれている位置を表す位置情報と現在時刻を表す時刻情報とが入力されている。この位置情報及び時刻情報は、車載カメラシステム100の外部の構成である、車両に備えられたナビゲーションシステム200の位置/時刻情報取得部210から入力されている。また、ナビゲーションシステム200は、地図情報を保持した地図情報保持部220を備えていて、地図情報保持部220から出力された地図情報も、システム制御部40に入力されている。
システム制御部40は、入力された位置情報と地図情報とに基づいて、車両の置かれている場所を特定する。また、システム制御部40は、特定した場所を表す場所情報と、入力された時刻情報とに基づいて、車両が置かれている照明環境を取得する。
システム制御部40が特定する場所としては、具体的には例えば、屋外(道路、駐車場等。トンネルを除く。)及びトンネルである。
システム制御部40は、位置情報と時刻情報とに基づいて、その位置における現在時刻での昼夜の区分を取得(特定)する。昼夜の区分は、位置及び時刻に対応してデータベース化されてシステム制御部40に備えられている。ここで、昼に区分されるのは、太陽が出ている環境すなわち日中を表し、夜に区分されるのは、太陽が出ていない環境すなわち日中以外の夜間を表す。
システム制御部40は、上述した場所情報及び時刻情報すなわち昼夜の区分に基づいて、(1)日中屋外の照明環境、(2)夜間屋外の照明環境及び(3)単一光源の照明環境のうちいずれかの照明環境を取得する。
ここで、(1)日中屋外の照明環境は、昼に区分された屋外での照明環境であり、太陽光を光源とする照明環境である。(2)夜間屋外の照明環境は、夜に区分された屋外での照明環境であり、太陽光は無く、信号灯や街灯、電飾等の自発光光源や、主としてヘッドライトで照らされた被写体の反射光などを光源とする照明環境である。(3)単一光源の照明環境は、昼夜を問わず、ナトリウムランプ等の単一の光源(単一波長の場合が多い)で照明されたトンネル内での照明環境である。
システム制御部40は、取得された照明環境に応じて、ホワイトバランス処理部25で行われるホワイトバランスの補正処理のためのパラメータを設定することで、長時間露光画像に対するホワイトバランスの補正処理及び短時間露光画像に対するホワイトバランスの補正処理を切り替えるホワイトバランス(WB)制御部45を備えている。
ホワイトバランスの補正処理のためのパラメータは、公知の種々の方法で求めることができ、ホワイトバランス制御部45は、具体的には、以下の(A)、(B)及び(C)のうちいずれかのホワイトバランスの補正処理に対応したパラメータを設定する。
(A)短時間露光画像に対するホワイトバランスの補正処理と長時間露光画像に対するホワイトバランスの補正処理とをそれぞれ、オートホワイトバランス(AWB)の補正処理とする
(B)短時間露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理とし、長時間露光画像に対するホワイトバランスの補正処理を、オートホワイトバランスの補正処理とする
(C)短時間露光画像に対するホワイトバランスの補正処理と長時間露光画像に対するホワイトバランスの補正処理とを、予めパラメータが設定された固定のホワイトバランスの補正処理とする
ホワイトバランス制御部45は、場所情報及び昼夜の区分を上記(1)に特定したときは、上記(A)のホワイトバランスの補正処理(長時間露光画像及び短時間露光画像に対してそれぞれ個別AWB設定47)に切り替える。場所情報及び昼夜の区分を上記(2)に特定したときは、上記(B)のホワイトバランスの補正処理(長時間露光画像に対して個別AWB設定47、短時間露光画像に対して固定WB設定46)に切り替える。場所情報及び昼夜の区分を上記(3)に特定したときは、上記(C)のホワイトバランスの補正処理(長時間露光画像及び短時間露光画像に対してそれぞれ固定WB設定46)に切り替える。
そして、システム制御部40は、設定されたホワイトバランスの補正処理に対応したパラメータを信号処理部20に出力する。信号処理部20のホワイトバランス処理部25は、長時間露光画像及び短時間露光画像のそれぞれに対して、システム制御部40から入力されたパラメータに基づいたホワイトバランスの補正処理を行う。
出力インターフェース部30は、信号処理部20から出力されたハイダイナミックレンジ画像を、外部の装置、例えば、車載カメラシステム100で撮影された画像に基づいて車線を区切る白線や標識、他車や歩行者を検知する機能を有する装置や、画像を記録するドライブレコーダや、画像をフロントガラスに投影するヘッドアップディスプレイに出力する。
<車載カメラシステムの作用>
図2は、図1に示した実施形態の車載カメラシステム100のシステム制御部40の作用(処理)を示すフローチャートである。この車載カメラシステム100の処理について、以下に説明する。
まず、車載カメラ10は、システム制御部40の制御により、上述した短時間露光撮影と長時間露光撮影とを連続して交互に行う。撮影して得られた短時間露光画像及び長時間露光画像は信号処理部20に出力される。システム制御部40は、車載カメラ10による撮影が行われたタイミングに対応した車両の位置情報及び時刻情報並びに地図情報を、ナビゲーションシステム200から取得する。
信号処理部20は、各露光画像(短時間露光画像、長時間露光画像)の画像信号から赤(R)の成分の信号、緑(G)の成分の信号、青(B)の成分の信号の比率を算出し、得られたRGBの比をシステム制御部40に出力する。RGBの比はホワイトバランスの補正処理のパラメータを設定する前提となる。
システム制御部40は、RGBの比が入力された短時間露光画像及び長時間露光画像が車載カメラ10で撮影されたときのタイミングに対応して取得した位置情報及び時刻情報並びに地図情報に基づいて場所情報を特定するとともに、昼夜の区分を特定する。
そして、システム制御部40は、図2に示すように、特定された場所情報に基づいて、場所がトンネルか否かを判定する(ステップ(S)1)。場所がトンネルの場合(S1にてYes)は、システム制御部40は、短時間露光画像及び長時間露光画像に対してそれぞれ(C)のホワイトバランスの補正処理(図1において、固定WB設定46)に対応したパラメータを信号処理部20に出力する(S2)。
これにより、信号処理部20のホワイトバランス処理部25は、短時間露光画像及び長時間露光画像に対して、それぞれ固定WB設定46に対応したホワイトバランスの補正処理を行う。
ここで、トンネルの内部は、例えばナトリウムランプという単一光源で照明された照明環境であるが、ナトリウムランプは、単一波長の光を出射する光源であるため、如何なるパラメータでホワイトバランスの補正処理を行ったとしても、RGBの成分を1:1:1に補正することはできない。
そこで、トンネルで得られた短時間露光画像及び長時間露光画像に対しては、例えば太陽光を光源とする照明環境(例えば、5000ケルビンの色温度)で撮影された画像であると仮定する。太陽光を光源とする照明環境で撮影された画像に対して一般的に行うべきホワイトバランスの補正処理のためのパラメータを予め実験的に求めておき、これをシステム制御部40の固定WB設定46に記憶させておく。
トンネルで得られた短時間露光画像及び長時間露光画像に対して、その記憶されているパラメータによるホワイトバランスの補正処理(固定WB設定46)を行うと、運転者が肉眼で見た色味に近い色の画像を得ることができる。これにより、RGBの成分を強制的に1:1:1に補正するオートホワイトバランスの補正処理を行った場合に予測し得ない結果が生じるのを防止することができる。
つまり、トンネルで得られた画像に対して適切なホワイトバランスの補正処理を施すことができる。
なお、トンネル内で得られた画像に対しては、例えば車線を区切る白線であっても、ナトリウムランプの照射によって橙色の線として、出力インターフェース部30を通じて外部の装置に出力されるが、この場合は、外部の装置で色相を除去してグレースケールの画像に変換するなどの処理で対応すればよい。
上述したホワイトバランスの補正処理が施された短時間露光画像と長時間露光画像とは、信号処理部20により合成されてハイダイナミックレンジ画像となり、出力インターフェース部30を介して外部の装置に出力される。
S1の判定において、場所がトンネルでない場合(S1にてNo)は、システム制御部40は、昼夜の区分を判定する(S3)。そして、昼夜の区分が日中であると判定したとき(S3にてYes)は、システム制御部40は、短時間露光画像及び長時間露光画像に対してそれぞれ(A)のホワイトバランスの補正処理(図1において、個別AWB設定47)に対応したパラメータを信号処理部20に出力する(S4)。
これにより、信号処理部20のホワイトバランス処理部25は、短時間露光画像及び長時間露光画像に対して、それぞれ個別AWB設定47に対応したホワイトバランスの補正処理を行う。
ここで、日中の屋外(トンネル内を除く)で得られた短時間露光画像及び長時間露光画像は、太陽光を光源とする照明環境で得られた画像である。太陽光を光源とする照明環境であっても、日向での照明環境と日影での照明環境とでは色温度が異なる。そして、短時間露光画像に対して、日向での照明環境に対応したオートホワイトバランスの補正処理を行い、長時間露光画像に対して、日影での照明環境に対応したオートホワイトバランスの補正処理を行うと、合成後のハイダイナミックレンジ画像のホワイトバランスは良好なものとなる。
本実施形態のシステム制御部40は、個別AWB設定47に対応したパラメータを信号処理部20に出力(S4)して、ホワイトバランス処理部25が、短時間露光画像及び長時間露光画像に対して、それぞれ個別AWB設定47に対応したホワイトバランスの補正処理を行うことで、運転者の肉眼で見たままの状態に近い色味のハイダイナミックレンジ画像を得ることができる。
上述したホワイトバランスの補正処理が施された短時間露光画像と長時間露光画像とは、信号処理部20により合成されてハイダイナミックレンジ画像となり、出力インターフェース部30を介して外部の装置に出力される。
S3の判定において、昼夜の区分が日中でないと判定したとき(S3にてNo)は、システム制御部40は、(B)のホワイトバランスの補正処理(図1において、短時間露光画像に対して固定WB設定46、長時間露光画像に対して個別AWB設定47)に対応したパラメータを信号処理部20に出力する(S5)。
これにより、信号処理部20のホワイトバランス処理部25は、短時間露光画像に対して固定WB設定46に対応したホワイトバランスの補正処理を行い、長時間露光画像に対して個別AWB設定47に対応したホワイトバランスの補正処理を行う。
ここで、夜間の屋外(トンネル内を除く)で得られた短時間露光画像は、主として信号灯や街灯、電飾等の自発光光源が写ったものであるが、例えば緑色で点灯している信号灯が主として写っている短時間露光画像では、オートホワイトバランスの補正処理を施すと、緑色が白色に変換されるおそれがある。赤色や黄色で点灯している信号灯についても同様である。
本実施形態では、システム制御部40が、短時間露光画像に対して固定WB設定46のホワイトバランスの補正処理を施すことで、このような信号灯等の発光色が見た目と異なる色になるのを防止することができる。
一方、夜間の屋外(トンネル内を除く)で得られた長時間露光画像は、主としてヘッドライトで照らされた白線等被写体の反射光が写ったものである。白線は前述した外部の装置によって、例えば、走行車線維持等の機能のために用いられることもある。本実施形態におけるシステム制御部40は、この長時間露光画像に対して、オートホワイトバランスの補正処理を施すため、白線等の検出精度を高めることができる。
上述したホワイトバランスの補正処理が施された短時間露光画像と長時間露光画像とは、信号処理部20により合成されてハイダイナミックレンジ画像となり、出力インターフェース部30を介して外部の装置に出力される。
以上、詳細に説明したように、本実施形態の車載カメラシステム100によれば、種々変化する照明環境で得られた長時間露光画像と短時間露光画像とに対して、複数種類のホワイトバランスの補正処理のうちから選択された、その照明環境の状況に応じた適切なホワイトバランスの補正処理を施すことができる。
なお、本実施形態の車載カメラシステム100は、(3)単一光源の照明環境として、ナトリウムランプ等の単一の光源(単一波長の場合が多い)で照明されたトンネル内での照明環境を例示したものであるが、昼夜を問わず単一光源の照明環境の場所としては、例えば屋内(地下を含む)の駐車場も含めることができる。
本実施形態の車載カメラシステム100は、長時間露光画像及び短時間露光画像という2種類の露光画像に基づいて、ハイダイナミックレンジ画像を生成する。この場合、ハイダイナミックレンジ画像は、長時間露光画像に基づいて画像中の低照度領域の階調が高められ、かつ短時間露光画像に基づいて画像中の高照度領域の階調が高められた画像となる。
しかし、本発明に係る車載カメラシステムは、露光時間が互いに異なる3種類以上の露光画像に基づいて、ハイダイナミックレンジ画像を生成するものであってもよい。この場合、ハイダイナミックレンジ画像は、長時間露光画像に基づいて画像中の低照度領域の階調が高められ、かつ短時間露光画像に基づいて画像中の高照度領域の階調が高められ、さらに中時間露光画像(長時間露光画像よりも短い露光時間で、かつ短時間露光画像よりも長い露光時間で露光された画像)に基づいて画像中の中照度領域の階調が高められた画像となる。
このように3種類以上の露光時間の露光画像でハイダイナミックレンジ画像を生成する場合、各露光画像に対するホワイトバランスの補正処理の適用については、以下のように適用することができる。
すなわち、3種類以上の露光画像のうち特定の露光時間画像を含めた相対的に露光時間の長い2種類以上の露光画像を、本実施形態における長時間露光画像と同様に適用し、3種類以上の露光画像のうち上記特定の露光時間画像を含まない相対的に露光時間の短い1種類以上の露光画像を、本実施形態における短時間露光画像と同様に適用する。
または、3種類以上の露光画像のうち特定の露光時間画像を含まない相対的に露光時間の長い1種類以上の露光画像を、本実施形態における長時間露光画像と同様に適用し、3種類以上の露光画像のうち上記特定の露光時間画像を含めた相対的に露光時間の短い2種類以上の露光画像を、本実施形態における短時間露光画像と同様に適用する。
または、3種類以上の露光画像のうち特定の露光時間画像については、本実施形態における長時間露光画像及び短時間露光画像とは異なる補正処理を適用してもよい。
具体的には、ホワイトバランス制御部45が設定するパラメータに対応した上述のホワイトバランスの補正処理(A)、(B)及び(C)を、一例として以下のように行うことができる。
(A)短時間露光画像に対するホワイトバランスの補正処理と、長時間露光画像に対するホワイトバランスの補正処理と、これら短時間露光画像及び長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理とをそれぞれ、オートホワイトバランスの補正処理とする
(B)短時間露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理とし、長時間露光画像に対するホワイトバランスの補正処理を、オートホワイトバランス(AWB)の補正処理とし、これら短時間露光画像及び長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理又はオートホワイトバランス(AWB)の補正処理とする
(C)短時間露光画像に対するホワイトバランスの補正処理と、長時間露光画像に対するホワイトバランスの補正処理と、これら短時間露光画像及び長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理とを、予めパラメータが設定された固定のホワイトバランスの補正処理とする
10 車載カメラ
20 信号処理部(信号処理装置の一例)
25 ホワイトバランス処理部
40 システム制御部(処理切替装置の一例)
45 ホワイトバランス(WB)制御部
100 車載カメラシステム
200 ナビゲーションシステム

Claims (4)

  1. 車両に設けられた、少なくとも2種類の露光時間で撮影を行う車載カメラと、
    前記少なくとも2種類の露光時間でそれぞれ撮影して得られた2種類以上の露光画像にホワイトバランスの補正処理を施すとともに、前記ホワイトバランスの補正処理がそれぞれ施された前記2種類以上の露光画像に基づいてハイダイナミックレンジ画像を生成する信号処理装置と、
    前記車両が置かれている照明環境を取得し、取得された前記照明環境に応じて、前記信号処理装置による前記2種類以上の露光画像に対するホワイトバランスの補正処理を切り替える処理切替装置と、を備え、
    前記信号処理装置は、前記ホワイトバランスの補正処理として、下記(A)、(B)及び(C)の処理を備え、
    (A)前記2種類以上の露光画像のうち相対的に露光時間の短い短時間露光画像に対するホワイトバランスの補正処理と前記2種類以上の露光画像のうち相対的に露光時間の長い長時間露光画像に対するホワイトバランスの補正処理とをそれぞれ、オートホワイトバランスの補正処理とする
    (B)前記2種類以上の露光画像のうち相対的に露光時間の短い短時間露光画像に対するホワイトバランスの補正処理を、予めパラメータが設定された固定のホワイトバランスの補正処理とし、前記2種類以上の露光画像のうち相対的に露光時間の長い長時間露光画像に対するホワイトバランスの補正処理を、オートホワイトバランスの補正処理とする
    (C)前記2種類以上の露光画像のうち相対的に露光時間の短い短時間露光画像に対するホワイトバランスの補正処理と前記2種類以上の露光画像のうち相対的に露光時間の長い長時間露光画像に対するホワイトバランスの補正処理とを、予めパラメータが設定された固定のホワイトバランスの補正処理とする
    前記処理切替装置は、前記車両が置かれている照明環境として、(1)日中屋外の照明環境、(2)夜間屋外の照明環境及び(3)単一光源の照明環境のうちいずれか1つに特定し、前記(1)を特定したときは前記信号処理装置による前記ホワイトバランスの補正処理を前記(A)のホワイトバランスの補正処理に切り替え、前記(2)を特定したときは前記信号処理装置による前記ホワイトバランスの補正処理を前記(B)のホワイトバランスの補正処理に切り替え、前記(3)を特定したときは前記信号処理装置による前記ホワイトバランスの補正処理を前記(C)のホワイトバランスの補正処理に切り替える車載カメラシステム。
  2. 前記2種類以上の露光画像が、露光時間が互いに異なる3種類以上の露光画像であるときは、前記短時間露光画像及び前記長時間露光画像を除いた他の露光画像に対するホワイトバランスの補正処理として、前記(A)のホワイトバランスの補正処理については、オートホワイトバランスの補正処理とし、前記(B)のホワイトバランスの補正処理については、予めパラメータが設定された固定のホワイトバランスの補正処理又はオートホワイトバランス(AWB)の補正処理とし、前記(C)のホワイトバランスの補正処理については、予めパラメータが設定された固定のホワイトバランスの補正処理とする請求項1に記載の車載カメラシステム。
  3. 前記処理切替装置は、前記車両の置かれている場所を表す場所情報と時刻を表す時刻情報とに基づいて、前記照明環境を取得する請求項1又は2に記載の車載カメラシステム。
  4. 前記処理切替装置は、前記車両に備えられたナビゲーションシステムから出力された位置情報と地図情報とに基づいて前記場所情報を取得する請求項3に記載の車載カメラシステム。
JP2014230608A 2014-11-13 2014-11-13 車載カメラシステム Active JP6533050B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014230608A JP6533050B2 (ja) 2014-11-13 2014-11-13 車載カメラシステム
PCT/JP2015/076861 WO2016076016A1 (ja) 2014-11-13 2015-09-24 車載カメラシステム
US15/525,406 US10356376B2 (en) 2014-11-13 2015-09-24 Vehicle-mounted camera system
EP15859559.5A EP3220637B1 (en) 2014-11-13 2015-09-24 Vehicle-mounted camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014230608A JP6533050B2 (ja) 2014-11-13 2014-11-13 車載カメラシステム

Publications (3)

Publication Number Publication Date
JP2016096417A JP2016096417A (ja) 2016-05-26
JP2016096417A5 JP2016096417A5 (ja) 2017-11-30
JP6533050B2 true JP6533050B2 (ja) 2019-06-19

Family

ID=55954109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014230608A Active JP6533050B2 (ja) 2014-11-13 2014-11-13 車載カメラシステム

Country Status (4)

Country Link
US (1) US10356376B2 (ja)
EP (1) EP3220637B1 (ja)
JP (1) JP6533050B2 (ja)
WO (1) WO2016076016A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3424403B1 (en) * 2016-03-03 2024-04-24 Sony Group Corporation Medical image processing device, system, method, and program
CA3033242A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
JP6740866B2 (ja) 2016-11-07 2020-08-19 株式会社デンソー 画像出力装置
US11410436B2 (en) 2018-03-29 2022-08-09 Robert Bosch Gmbh Method and system for vision-based vehicle interior environment sensing guided by vehicle prior information
EP3585047B1 (de) * 2018-06-20 2021-03-24 ZKW Group GmbH Verfahren und vorrichtung zur erstellung von hochkontrastbildern
TWI751717B (zh) 2020-09-22 2022-01-01 環鴻科技股份有限公司 提升影像辨識率的前處理方法及系統

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5170069A (en) * 1986-05-21 1992-12-08 Canon Kabushiki Kaisha Image pickup apparatus
US5872433A (en) * 1986-05-21 1999-02-16 Canon Kabushiki Kaisha Image pickup apparatus including interruption means for causing recordation of an electrical image signal in response to operation of a second trigger before completion of a predetermined step by a first trigger
US6952233B2 (en) * 1992-07-23 2005-10-04 Canon Kabushiki Kaisha Video camera having a material element for controlling light transmission
JPH06205249A (ja) * 1992-10-22 1994-07-22 Konica Corp ビデオカメラ
JP2000050238A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP2003174619A (ja) * 2001-12-07 2003-06-20 Konica Corp 電子機器
JP2003189315A (ja) 2001-12-18 2003-07-04 Hitachi Ltd 撮像装置
US7543327B1 (en) * 2003-11-21 2009-06-02 Arecont Vision Llc Video surveillance system based on high resolution network cameras capable of concurrent transmission of multiple image formats at video rates
JP4424088B2 (ja) * 2004-06-25 2010-03-03 株式会社日立製作所 撮像装置
US7881496B2 (en) * 2004-09-30 2011-02-01 Donnelly Corporation Vision system for vehicle
FR2899696B1 (fr) * 2006-04-06 2008-06-20 Dxo Labs Sa Procede de traitement d'un phenomene d'eclairement relatif sur une image numerique et systeme de traitement associe
JP5181294B2 (ja) 2008-03-31 2013-04-10 富士フイルム株式会社 撮像システム、撮像方法、およびプログラム
JP2010035120A (ja) * 2008-07-29 2010-02-12 Advas Co Ltd ビデオカメラ撮像装置
JP5375457B2 (ja) * 2008-09-03 2013-12-25 株式会社リコー 撮像装置及び撮像方法
JP5366584B2 (ja) * 2009-02-16 2013-12-11 キヤノン株式会社 撮像装置、画像処理方法およびプログラム
JP5680896B2 (ja) * 2010-07-30 2015-03-04 矢崎エナジーシステム株式会社 ドライブレコーダ
JP5699482B2 (ja) * 2010-08-24 2015-04-08 セイコーエプソン株式会社 画像処理装置、画像処理方法及び撮像装置
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US8947555B2 (en) * 2011-04-18 2015-02-03 Qualcomm Incorporated White balance optimization with high dynamic range images
JP5911340B2 (ja) * 2012-03-14 2016-04-27 キヤノン株式会社 撮像装置およびその制御方法
US9654738B1 (en) * 2013-08-07 2017-05-16 Waymo Llc Using multiple exposures to improve image processing for autonomous vehicles

Also Published As

Publication number Publication date
US10356376B2 (en) 2019-07-16
JP2016096417A (ja) 2016-05-26
US20170339385A1 (en) 2017-11-23
EP3220637A4 (en) 2018-05-23
EP3220637A1 (en) 2017-09-20
EP3220637B1 (en) 2020-09-02
WO2016076016A1 (ja) 2016-05-19

Similar Documents

Publication Publication Date Title
JP6533050B2 (ja) 車載カメラシステム
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP6026670B2 (ja) 車両灯体制御装置
JP4491453B2 (ja) 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
JP6325000B2 (ja) 車載画像認識装置
JP5187651B2 (ja) 自動車におけるカメラシステムのための露光制御方法
JP2012226513A (ja) 検知装置、及び検知方法
JP2009017157A (ja) 画像処理装置および方法、並びに、プログラム
CN112776706A (zh) 一种车辆大灯控制方法和装置
US20230017893A1 (en) Imaging system
JP5712821B2 (ja) 撮影表示制御システム
CN113126252B (zh) 微光成像***
KR100961675B1 (ko) 발광 다이오드를 이용하는 교통 신호등
JP4782491B2 (ja) 撮像装置
JP6478138B2 (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
CN105745670B (zh) 用于为机动车辆形成夜间影像的***和方法
JP2013009041A (ja) 車両用撮影表示制御システム
JP6866212B2 (ja) 表示制御装置、表示制御方法及びカメラモニタリングシステム
GB2586802A (en) System and method for identifying light emitter flicker
CN112565618B (zh) 曝光控制装置
US20220329723A1 (en) Method and system for mitigating image flicker from strobed lighting systems
JP7176208B2 (ja) システムおよび撮像装置
GB2586804A (en) Method and system for mitigating image flicker from strobed lighting systems
JP2021044667A (ja) 露光制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171012

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20171012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190523

R150 Certificate of patent or registration of utility model

Ref document number: 6533050

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150