JP2013192003A

JP2013192003A - Exposure control device for imaging unit

Info

Publication number: JP2013192003A
Application number: JP2012056241A
Authority: JP
Inventors: Akira Nakagawa; 亮中川
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2012-03-13
Filing date: 2012-03-13
Publication date: 2013-09-26
Anticipated expiration: 2032-03-13
Also published as: JP5898535B2

Abstract

PROBLEM TO BE SOLVED: To correctly recognize the colors of an object that emit light of variety of luminance, by exerting control such that an amount of exposure of an imaging unit mounted in a vehicle is equal to an optimum amount of exposure in accordance with a running environment.SOLUTION: If the maximum luminance of an R component does not exceed a threshold Hr1 after the recognition of a red signal, an exposure time is lengthened until the ratio of a G component to the R component reaches the maximum ratio at which red can be recognized (S13). If the maximum luminance of the R component does not exceed a threshold Hr2 after the recognition of a yellow signal, an exposure time is lengthened until the ratio of the R component to the G component reaches the ratio at which yellow can be recognized (S17). If the maximum luminance of the G component does not exceed a threshold Hgr after the recognition of a green signal, exposure time is lengthened until the ratio of the R component to the G component and a B component reaches the maximum ratio at which green can be recognized (S20). On the other hand, if they exceed their respective thresholds, exposure time is shortened (S14, S18, and S21). Thus, the colors of an object that emits light of a variety of luminance can be correctly recognized.

Description

本発明は、車両に搭載されて車外環境をカラー撮像する撮像ユニットの露光量を制御する撮像ユニットの露光制御装置に関する。 The present invention relates to an exposure control device for an image pickup unit that is mounted on a vehicle and controls an exposure amount of an image pickup unit that performs color imaging of an environment outside the vehicle.

近年、自動車等の車両においては、カメラにより前方の走行環境を撮像して画像認識処理し、前方障害物に対して警報制御を行う技術や、認識した走行環境から先行車を検出し、先行車に対して追従制御や警報制御を行う技術が開発され、実用化されている。 2. Description of the Related Art In recent years, in vehicles such as automobiles, a front running environment is imaged by a camera, image recognition processing is performed, a warning control is performed on a front obstacle, and a preceding vehicle is detected from the recognized running environment. In response to this, techniques for tracking control and alarm control have been developed and put into practical use.

この場合、画像から認識される走行環境には、様々なシーンがあり、例えば車両のテールランプやブレーキランプ、信号灯が点灯された信号機等、光源を有する物体が含まれる。これらの光源からの光が明るすぎると、周囲に拡散されて撮像画像中で輝度値が飽和し、画像認識が困難となる虞がある。 In this case, there are various scenes in the driving environment recognized from the image, for example, an object having a light source such as a tail lamp, a brake lamp, a traffic light with a signal light turned on, or the like is included. If the light from these light sources is too bright, it is diffused to the surroundings and the brightness value is saturated in the captured image, which may make image recognition difficult.

このため、例えば、特許文献１には、撮像手段により撮像された画像中から物体に設けられた光源を検出し、物体の光源が撮像された画像領域を含む画像中の所定の画像領域における輝度値の分布形状に基づいて撮像手段の露光量と撮像手段から出力される画素の輝度値の少なくとも一方の調整を行うことにより、撮像画像中で物体の光源の光が拡散しないようにする技術が開示されている。 For this reason, for example, in Patent Document 1, a light source provided in an object is detected from an image captured by an imaging unit, and luminance in a predetermined image region in an image including an image region in which the light source of the object is captured is detected. A technique for preventing light from an object light source from diffusing in a captured image by adjusting at least one of an exposure amount of an imaging unit and a luminance value of a pixel output from the imaging unit based on a distribution shape of values. It is disclosed.

特開２００９−１７７３１１号公報JP 2009-177411 A

特許文献１に開示される技術では、物体の大きさを正確に認識するために、撮像手段の露光量を絞って光が拡散するのを防止するようにしている。しかしながら、露光量を絞っていくと、画像中の光の拡散を抑えて物体の大きさを認識可能となるが、発光色の色味を明確に認識することができるとは限らない。 In the technique disclosed in Patent Document 1, in order to accurately recognize the size of an object, the exposure amount of the imaging unit is reduced to prevent light from diffusing. However, if the exposure amount is reduced, it becomes possible to recognize the size of the object by suppressing the diffusion of light in the image, but it is not always possible to clearly recognize the color of the emission color.

特に、交差点等における信号機を認識してドライバに対する警報、車両の停止制御やブレーキ制御等を行う場合、一義的に露光量を絞るのでは、信号灯の発光色を識別することは困難である。また、同じ信号機であっても、機器毎の相違や周囲の環境条件の相違により、必ずしも同じ明るさであると限らず、信号灯の発光色を正確に認識するには、走行環境に応じて最適な露光量に制御する必要がある。 In particular, when recognizing a traffic signal at an intersection or the like and performing warning for a driver, vehicle stop control, brake control, or the like, it is difficult to identify the light emission color of the signal lamp because the exposure amount is uniquely reduced. Also, even with the same traffic light, the brightness is not always the same due to differences between devices and ambient environmental conditions. Optimum according to the driving environment to accurately recognize the color of the signal light It is necessary to control the exposure amount.

本発明は上記事情に鑑みてなされたもので、車両に搭載される撮像ユニットの露光量を走行環境に応じて最適な露光量に制御し、様々な明るさで発光する物体の色味を正確に認識可能とすることのできる撮像ユニットの露光制御装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and controls the exposure amount of an imaging unit mounted on a vehicle to an optimal exposure amount according to the driving environment, so that the color of an object that emits light with various brightnesses can be accurately determined. It is an object of the present invention to provide an exposure control apparatus for an imaging unit that can be recognized.

本発明による撮像ユニットの露光制御装置は、車両に搭載されて車外環境をカラー撮像する撮像ユニットの露光量を制御する撮像ユニットの露光制御装置であって、前記撮像ユニットで撮像した画像中から所定の明るさの発光色で発光する発光部を有する物体を検出する発光物体検出部と、前記発光部に対して現在認識している発光色の成分の最大輝度が色相毎に設定した閾値を超えているか否かを判断する最大輝度判断部と、現在認識している発光色の成分の最大輝度が前記閾値を超えていると判断された場合には、前記撮像ユニットの露光量を減少させ、現在認識している発光色の成分の最大輝度が前記閾値を超えていないと判断された場合には、前記発光部の色成分の比率が前記発光部の色相を適正に認識可能な最大比率となるまで前記撮像ユニットの露光量を増加させる露光調整部とを備えるものである。 An exposure control apparatus for an imaging unit according to the present invention is an exposure control apparatus for an imaging unit that controls the exposure amount of an imaging unit that is mounted on a vehicle and performs color imaging of an environment outside the vehicle. A light-emitting object detection unit that detects an object having a light-emitting unit that emits light of a brightness of brightness, and the maximum luminance of the component of the light-emitting color currently recognized for the light-emitting unit exceeds a threshold set for each hue A maximum brightness determination unit that determines whether or not the maximum brightness of the currently recognized emission color component exceeds the threshold, the exposure amount of the imaging unit is decreased, When it is determined that the maximum luminance of the currently recognized emission color component does not exceed the threshold, the ratio of the color components of the light emitting unit is the maximum ratio at which the hue of the light emitting unit can be properly recognized. Before Those comprising an exposure adjusting unit to increase the exposure amount of the imaging unit.

本発明によれば、車両に搭載される撮像ユニットの露光量を走行環境に応じて最適な露光量に制御し、様々な明るさで発光する物体の色味を正確に認識可能とすることができる。 According to the present invention, it is possible to control the exposure amount of an imaging unit mounted on a vehicle to an optimal exposure amount according to the driving environment, and to accurately recognize the color of an object that emits light with various brightnesses. it can.

画像認識システムの構成図Configuration diagram of image recognition system シャッタ速度制御に係る機能ブロック図Functional block diagram for shutter speed control 画像上の信号機の領域を示す説明図Explanatory drawing showing the area of traffic lights on the image 信号機に対する露光制御のメインルーチンを示すフローチャートFlow chart showing main routine of exposure control for traffic light 信号灯の色に応じた露光制御のサブルーチンを示すフローチャートFlowchart showing a subroutine of exposure control according to the color of the signal lamp

以下、図面を参照して本発明の実施の形態を説明する。
図１に示す画像認識システム１は、例えば自動車等の車両に搭載され、カメラ２で撮像した車外の状況から外部環境を認識するものであり、カメラ２の撮像画像を処理する画像処理エンジン３と、画像処理エンジン３で処理した画像情報に基づいて外部環境を認識するマイクロコンピュータを主とする認識コントローラ４とを備えている。この画像認識システム１は、外部環境の認識結果に基づいてドライバに対する各種運転支援を行う運転支援システムの一機能を担い、例えば、危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、全車速域における追従機能付きのクルーズ制御、自車両の車線内でのふらつきや車線からの逸脱を監視してドライバに警報する警報制御等がドライバに対する運転支援として実行される。 Embodiments of the present invention will be described below with reference to the drawings.
An image recognition system 1 shown in FIG. 1 is mounted on a vehicle such as an automobile, for example, and recognizes an external environment from a situation outside the vehicle imaged by a camera 2, and an image processing engine 3 that processes a captured image of the camera 2. And a recognition controller 4 mainly including a microcomputer for recognizing an external environment based on image information processed by the image processing engine 3. The image recognition system 1 is responsible for one function of a driving support system that performs various driving support for a driver based on a recognition result of an external environment, for example, for predicting a danger to avoid a collision or reduce a collision damage. Pre-crash brake control, cruise control with a follow-up function in the entire vehicle speed range, warning control for monitoring the wobbling in the lane of the vehicle and deviation from the lane, and alerting the driver are executed as driving assistance for the driver.

本実施の形態においては、車外の状況を撮像するカメラ２は、同一物体を異なる視点から撮像するステレオカメラであり、以下、適宜、カメラ２をステレオカメラ２と記載する、尚、本実施の形態では、２台のカメラを用いてステレオ撮像した画像を処理する例について説明するが、単数のカメラであっても良い。 In the present embodiment, the camera 2 that captures the situation outside the vehicle is a stereo camera that captures the same object from different viewpoints. Hereinafter, the camera 2 is appropriately described as the stereo camera 2. In the following, an example of processing an image captured in stereo using two cameras will be described, but a single camera may be used.

画像認識システム１は、ステレオカメラ２で撮像した画像を処理して対象物の３次元位置を測距し、３次元位置情報を用いて各種認識処理を行う。具体的には、ステレオカメラ２は、互いの光軸が平行となるように配置された左右２台のカメラ２ａ，２ｂから構成され、これらの２台のカメラ２ａ，２ｂが所定の基線長（光軸間隔）で機械的に固定されている。各カメラ２ａ，２ｂは、ＣＣＤやＣＭＯＳイメージセンサ等の撮像素子を有するカラー撮像用の撮像ユニットであり、画像処理エンジン３及び認識コントローラ４と共にステレオカメラユニットとして一体化され、例えば車室内上部のフロントウィンドウ内側に設置されている。 The image recognition system 1 processes the image picked up by the stereo camera 2 to measure the three-dimensional position of the object, and performs various recognition processes using the three-dimensional position information. Specifically, the stereo camera 2 includes two left and right cameras 2a and 2b arranged so that their optical axes are parallel to each other, and these two cameras 2a and 2b have a predetermined baseline length ( It is mechanically fixed at the optical axis interval). Each of the cameras 2a and 2b is a color image pickup unit having an image pickup device such as a CCD or a CMOS image sensor, and is integrated as a stereo camera unit together with the image processing engine 3 and the recognition controller 4, for example, at the front of the upper part of the vehicle interior It is installed inside the window.

尚、カメラ２ａ，２ｂは、シャッタースピード可変で互いに同期が取られ、一方のカメラ（左カメラ）２ａは、ステレオ処理の際の基準画像を撮像するメインカメラ、他方のカメラ（右カメラ）２ｂは、ステレオ処理の際の比較画像を撮像するサブカメラとして用いられる。 The cameras 2a and 2b are synchronized with each other with variable shutter speed. One camera (left camera) 2a is a main camera that captures a reference image during stereo processing, and the other camera (right camera) 2b is It is used as a sub camera that captures a comparative image in stereo processing.

画像処理エンジン３は、ステレオカメラ２で撮像された左右１対の画像を読み込み、２つの画像の対応点を探索するステレオマッチングにより同一物体に対する視差を検出し、この視差に基づく三角測量の原理により測距を行う。認識コントローラ４は、画像処理エンジン３で測距された物体の３次元位置を用いて各種認識処理を行い、認識結果を車両制御装置（図示せず）に出力する。 The image processing engine 3 reads a pair of left and right images captured by the stereo camera 2, detects parallax with respect to the same object by stereo matching that searches for corresponding points of the two images, and uses the principle of triangulation based on this parallax. Measure distance. The recognition controller 4 performs various recognition processes using the three-dimensional position of the object measured by the image processing engine 3 and outputs the recognition result to a vehicle control device (not shown).

詳細には、画像処理エンジン３は、左右のカメラ２ａ，２ｂの撮像信号をそれぞれ前処理する前処理部１０ａ，１０ｂ、前処理された左右の撮像画像を記憶する入力画像メモリ１５、入力画像メモリ１５に記憶された撮像画像に対して各種補正処理を行う画像補正部２０、画像補正部２０からの出力に対してステレオマッチング処理を行い、距離情報を画像化した距離画像を生成するステレオ処理部３０、ステレオ処理部３０で生成した距離画像と左右のカメラ２ａ，２ｂで撮像された画像（前処理及び補正処理後の左右元画像）とを記憶する出力画像メモリ４０を備えている。 Specifically, the image processing engine 3 includes preprocessing units 10a and 10b that preprocess the imaging signals of the left and right cameras 2a and 2b, an input image memory 15 that stores the preprocessed left and right captured images, and an input image memory. 15, an image correction unit 20 that performs various correction processes on the captured image stored in 15, and a stereo processing unit that performs a stereo matching process on the output from the image correction unit 20 and generates a distance image in which distance information is imaged 30, an output image memory 40 is provided for storing the distance image generated by the stereo processing unit 30 and the images (left and right original images after preprocessing and correction processing) captured by the left and right cameras 2a and 2b.

本実施の形態においては、各カメラ２ａ，２ｂは、撮像素子からのアナログ撮像信号を増幅するアンプや、アナログ撮像信号を所定のビット数のデジタル信号に変換するＡ／Ｄコンバータ等の各種回路を内蔵した撮像ユニットとして構成されている。従って、前処理部１０ａ，１０ｂは、カメラ２ａ，２ｂに対する電子シャッター制御、アンプのゲイン・オフセットの制御及び調整、ＬＵＴテーブルによるγ補正等を含む輝度補正、シェーディング補正等を行う。また、前処理部１０ａ，１０ｂは、入力画像メモリ１５にデータを書き出す際のアドレス制御を行い、入力画像メモリ１５の所定のアドレスに、左右のカメラ画像（デジタル画像）が記憶される。 In the present embodiment, each of the cameras 2a and 2b includes various circuits such as an amplifier that amplifies an analog image pickup signal from the image pickup device and an A / D converter that converts the analog image pickup signal into a digital signal having a predetermined number of bits. It is configured as a built-in imaging unit. Accordingly, the pre-processing units 10a and 10b perform electronic shutter control for the cameras 2a and 2b, control and adjustment of amplifier gain / offset, luminance correction including γ correction by the LUT table, shading correction, and the like. The preprocessing units 10 a and 10 b perform address control when data is written to the input image memory 15, and left and right camera images (digital images) are stored at predetermined addresses in the input image memory 15.

画像補正部２０は、画像処理座標の設定、画像サイズ調整、アドレス制御等における各種パラメータを設定するパラメータ設定部２１、左右の撮像画像に対応して、レンズ歪を含む光学的な位置ズレを補正する補正処理を行うアフィン補正部２２ａ，２２ｂ、ノイズ除去処理等を行うフィルタ補正部２３ａ，２３ｂを備えている。 The image correction unit 20 corrects optical positional deviation including lens distortion in accordance with the parameter setting unit 21 for setting various parameters in image processing coordinate setting, image size adjustment, address control, and the left and right captured images. Affine correction units 22a and 22b that perform correction processing and filter correction units 23a and 23b that perform noise removal processing and the like.

アフィン補正部２２ａ，２２ｂは、入力画像メモリ１５から読み込んだ画像データに対して、各カメラ２ａ，２ｂのレンズの歪み、各カメラ２ａ，２ｂの取り付け位置のズレや焦点距離のバラツキ、更には、各カメラの撮像面のズレ等に起因する光学的な位置ズレを補正する処理を実行する。光学的な位置ズレの補正は、各カメラ２ａ，２ｂで撮像した画像における回転ズレ、並進ズレ等をアフィン変換補正テーブルを用いて幾何学的に補正すると共に、レンズ歪み等の非線形な歪みを非線形補正テーブルによって補正するものであり、これにより、各カメラ２ａ，２ｂの光学的位置が等価的に精密調整される。 The affine correction units 22a and 22b are distorted with respect to the image data read from the input image memory 15, the distortion of the lenses of the cameras 2a and 2b, the displacement of the mounting positions of the cameras 2a and 2b, the variation of the focal length, Processing for correcting an optical positional shift caused by a shift of the imaging surface of each camera or the like is executed. Optical positional deviation correction is performed by geometrically correcting rotational deviations, translational deviations, etc. in images captured by the cameras 2a, 2b using an affine transformation correction table, and nonlinear distortions such as lens distortions are nonlinear. The correction is made by a correction table, whereby the optical positions of the cameras 2a and 2b are equivalently precisely adjusted.

フィルタ補正部２３ａ，２３ｂは、入力画像メモリに記憶された左右のデジタル画像（諧調画像）に含まれるノイズを、３×３フィルタ等の空間フィルタを用いて除去する。このノイズ除去処理は、アフィン補正部２２ａ，２２ｂでレンズ歪補正を含む幾何補正を施された画像データに対しては、対応するフィルタ値を切換えて適用する。 The filter correction units 23a and 23b remove noise included in the left and right digital images (tone image) stored in the input image memory using a spatial filter such as a 3 × 3 filter. This noise removal processing is applied by switching the corresponding filter value to the image data subjected to geometric correction including lens distortion correction by the affine correction units 22a and 22b.

以上の画像補正部２０から出力される左右の画像データは、ステレオ処理部３０に入力される。ステレオ処理部３０は、ステレオカメラ２で撮像した自車両外部の周辺環境の画像対（基準画像及び比較画像）から対応する位置のズレ量（視差）をステレオマッチング処理により求め、このズレ量に基づく距離画像を出力画像メモリ４０に保存する。 The left and right image data output from the image correction unit 20 is input to the stereo processing unit 30. The stereo processing unit 30 obtains a shift amount (parallax) of a corresponding position from a pair of images of the surrounding environment outside the host vehicle (reference image and comparison image) captured by the stereo camera 2 by stereo matching processing, and based on this shift amount. The distance image is stored in the output image memory 40.

ステレオマッチング処理としては、基準画像内の或る１つの点の周囲に小領域（ブロック或いはウィンドウとも称され、以下ではブロックと記載）を設定し、比較画像内の或る点の周囲に同じ大きさのブロックを設けて対応点を探索する周知の領域探索法を採用することができる。この領域探索法による対応点の探索処理では、比較画像上でブロックをずらしながら基準画像のブロックとの相関演算を行い、相関値が最も大きいブロックの座標のズレ量を算出する。このズレ量は、画像座標系の対応する位置の輝度値に置き換えられ、画像形態の距離画像として保存される。 In stereo matching processing, a small area (also referred to as a block or window, hereinafter referred to as a block) is set around a certain point in the reference image, and the same size is set around a certain point in the comparison image. A well-known region search method in which a corresponding block is provided to search for corresponding points can be employed. In the corresponding point search process by this region search method, the correlation calculation with the block of the reference image is performed while shifting the block on the comparison image, and the shift amount of the coordinates of the block having the largest correlation value is calculated. This shift amount is replaced with a luminance value at a corresponding position in the image coordinate system, and is stored as a distance image in an image form.

認識コントローラ４は、画像処理エンジン３で生成した距離画像が有する距離情報を用いて、実空間での距離を得ると共に各種認識処理を行う。すなわち、画像処理エンジン３からの距離情報に対して、所定の閾値内にあるデータをグループ化するグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。 The recognition controller 4 uses the distance information included in the distance image generated by the image processing engine 3 to obtain a distance in real space and perform various recognition processes. That is, a grouping process for grouping data within a predetermined threshold is performed on the distance information from the image processing engine 3, and three-dimensional road shape data, sidewall data, and three-dimensional object data stored in advance are stored. Compared with frames (windows) etc., white line data, side walls data such as guardrails and curbs that exist along the road are extracted, and solid objects are two-wheeled vehicles, ordinary vehicles, large vehicles, pedestrians, utility poles, etc. It is classified into other three-dimensional objects and extracted.

認識した各データは、自車両を原点とし、自車両の前後方向及び幅方向を軸とする座標系におけるそれぞれの位置が演算される。特に、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出した幅の中心位置を用いて、その車両の存在する中心位置が演算される。 For each recognized data, the respective positions in the coordinate system with the own vehicle as the origin and the longitudinal direction and the width direction of the own vehicle as axes are calculated. In particular, in the vehicle data of two-wheeled vehicles, ordinary vehicles, and large vehicles, the length in the front-rear direction is estimated in advance, for example, 3 m, 4.5 m, 10 m, etc., and the width direction is the center position of the detected width. Is used to calculate the center position of the vehicle.

更に、立体物データにおいては、自車両からの距離の各軸方向の変化から自車両に対する相対速度が演算され、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度が演算される。こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。 Further, in the three-dimensional object data, the relative speed with respect to the own vehicle is calculated from the change in the axial direction of the distance from the own vehicle, and each three-dimensional object is calculated by calculating the relative speed in consideration of the speed of the own vehicle. The speed in each axis direction is calculated. Each information obtained in this way, that is, white line data, side walls data such as guardrails and curbs along the road, and three-dimensional object data (type, distance from own vehicle, center position coordinates, speed, etc.) Therefore, a moving object such as a pedestrian or a light vehicle around the own vehicle and other vehicles traveling on a road connected to the road on which the own vehicle travels is recognized.

このような認識コントローラ４からの白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等は、図示しない車両制御用の制御コントローラに入力される。制御コントローラは、認識コントローラ４からの情報と自車両の車速やヨーレート等の車両情報とに基づいて走行環境を認識し、プリクラッシュブレーキ制御、追従機能付きクルーズ制御、ふらつき及び車線逸脱に対する警報制御等のドライバに対する運転支援制御を指令する。 Such white line data from the recognition controller 4, guardrails existing along the road, side wall data such as curbs, three-dimensional object data, and the like are input to a control controller for vehicle control (not shown). The control controller recognizes the driving environment based on information from the recognition controller 4 and vehicle information such as the vehicle speed and yaw rate of the host vehicle, pre-crash brake control, cruise control with tracking function, warning control for wobbling and lane departure, etc. Command the driver assistance control for the driver.

ここで、カメラ２の撮像画像から認識される車外環境には様々なシーンがあり、例えば車両のテールランプやブレーキランプ、信号灯が点灯された信号機等、光源を有する物体が含まれる。これらの光源からの光が明るすぎると、周囲に拡散されて撮像画像中で輝度値が飽和し、物体の大きさを認識できない場合がある。このため、従来では、撮像画像中で光源からの光が拡散しないようにカメラの露光量を絞ることで、物体の大きさを正確に認識するようにしているが、光源の色味を明確に認識することは困難である。 Here, there are various scenes in the environment outside the vehicle recognized from the captured image of the camera 2, for example, an object having a light source such as a taillight, a brake lamp, or a traffic light with a signal light turned on. If the light from these light sources is too bright, it may be diffused around and the brightness value will be saturated in the captured image, and the size of the object may not be recognized. For this reason, conventionally, the size of the object is accurately recognized by reducing the amount of exposure of the camera so that the light from the light source does not diffuse in the captured image. It is difficult to recognize.

このため、認識コントローラ４は、画像処理エンジン３からの画像情報に基づく認識処理に加え、光源の色味が明確に認識可能な露光量となるように、前処理部１０ａ，１０ｂにカメラ２のシャッタ速度の調整値を送信し、撮像画像の露光量を調整する。このような認識コントローラ４の露光制御に係る機能は、図２に示すように、発光物体検出部５１、最大輝度判断部５２、露光調整部５３によって代表される。認識コントローラ４は、これらの各機能部により、カメラ２の撮像画像中に、信号機等の所定の明るさの発光色で発光する発光部を有する物体を検出した場合、カメラ２のシャッタ速度を制御して撮像画像の露光量を適正化し、発光色の色味を正確に認識可能とする。 Therefore, in addition to the recognition process based on the image information from the image processing engine 3, the recognition controller 4 causes the preprocessing units 10a and 10b to set the exposure amount of the camera 2 so that the color of the light source can be clearly recognized. An adjustment value of the shutter speed is transmitted to adjust the exposure amount of the captured image. Such a function related to exposure control of the recognition controller 4 is represented by a light emitting object detection unit 51, a maximum luminance determination unit 52, and an exposure adjustment unit 53, as shown in FIG. The recognition controller 4 controls the shutter speed of the camera 2 when detecting an object having a light emitting unit that emits light of a predetermined brightness such as a traffic light in the captured image of the camera 2 by using each of these function units. Thus, the exposure amount of the captured image is optimized so that the color of the emitted color can be accurately recognized.

詳細には、発光物体検出部５１は、ステレオカメラ２で撮像した画像中から先行車両の左右のテールランプやブレーキランプ、自車両前方に設置された信号機等の所定の明るさの発光色で発光する発光部を有する物体を検出する。例えば、赤、黄、緑の発光色で発光する信号灯を発光部として有する信号機の場合、図３に示すように、撮像画像上に、信号機ＳＧを包囲するように設定された枠線Ｆｗの領域を設け、形状や高さ、輝度分布等から信号機ＳＧの信号灯ＳＬを発光部として検出する。 Specifically, the light emitting object detection unit 51 emits light from the image captured by the stereo camera 2 with a light emission color of a predetermined brightness such as the left and right tail lamps and brake lamps of the preceding vehicle, and a traffic light installed in front of the host vehicle. An object having a light emitting unit is detected. For example, in the case of a traffic signal having a signal lamp that emits light of red, yellow, and green as a light emitting unit, as shown in FIG. 3, an area of a frame line Fw set so as to surround the traffic signal SG on the captured image The signal lamp SL of the traffic light SG is detected as a light emitting unit from the shape, height, luminance distribution, and the like.

最大輝度判断部５２は、検出された発光部の画像領域に対して現在認識している発光色の成分の最大輝度が色相毎に設定した閾値を超えているか否かを判断する。この閾値は、画像領域の色を表現する色空間における色味(色相）に対応する色成分が飽和（サチュレーション）を生じる状態若しくはそれに近い状態であることを表しており、カラー撮像素子の分光特性（フィルタ特性）や感度特性等を考慮して、予めシミュレーション或いは実験により決定されている。 The maximum luminance determination unit 52 determines whether or not the maximum luminance of the component of the luminescent color currently recognized for the detected image area of the light emitting unit exceeds a threshold set for each hue. This threshold value indicates that the color component corresponding to the color (hue) in the color space expressing the color of the image area is in a state where saturation (saturation) occurs or is close thereto, and the spectral characteristics of the color image sensor It is determined in advance by simulation or experiment in consideration of (filter characteristics), sensitivity characteristics, and the like.

露光調整部５３は、最大輝度判断部５２の判断結果に応じてカメラ２のシャッタ速度を制御し、発光部の発光色に応じた最適露光に制御する。すなわち、現在認識している発光色の成分の最大輝度が上述の閾値を超えていると判断された場合には、カメラ２のシャッタ速度を速くして撮像画像の露光量を減少させ、現在認識している発光色の成分の最大輝度が閾値を超えていないと判断された場合には、発光部の色成分を比較し、各成分の比率が発光部の色相を適正に認識可能な最大比率となるまでカメラ２のシャッタ速度を遅くして露光量を増加させる。 The exposure adjustment unit 53 controls the shutter speed of the camera 2 according to the determination result of the maximum luminance determination unit 52, and controls the optimum exposure according to the emission color of the light emitting unit. That is, when it is determined that the maximum luminance of the currently recognized emission color component exceeds the above threshold, the shutter speed of the camera 2 is increased to reduce the exposure amount of the captured image, and the current recognition is performed. If it is determined that the maximum luminance of the light emitting color component does not exceed the threshold, the color components of the light emitting parts are compared, and the ratio of each component is the maximum ratio at which the hue of the light emitting part can be properly recognized The shutter speed of the camera 2 is decreased until the exposure amount is increased.

尚、本実施の形態においては、露光量調整としてカメラ２のシャッタ速度を切り換えるが、カメラ２がアイリス機構を備えている場合には、アイリス値、撮像素子からの信号を増幅するアンプのゲインを変更して露光量を調整するようにしても良い。但し、アイリス値を変更する場合には、応答性を考慮してシャッタ速度を切り換えるタイミングよりも早期に切り換える必要があるため、調整マップ等を用いて徐々に切り換える。 In the present embodiment, the shutter speed of the camera 2 is switched as the exposure adjustment, but when the camera 2 has an iris mechanism, the iris value and the gain of the amplifier that amplifies the signal from the image sensor are set. The exposure amount may be adjusted by changing. However, when changing the iris value, it is necessary to switch the shutter speed earlier than the timing of switching the shutter speed in consideration of responsiveness, so that the iris value is gradually switched using an adjustment map or the like.

以上の露光制御に係る処理は、図４，５のフローチャートに示すプログラム処理によって実行される。以下、露光制御のプログラム処理について説明する。 The above processing related to exposure control is executed by the program processing shown in the flowcharts of FIGS. The exposure control program process will be described below.

図４は信号機に対する露光制御のメインルーチンを示し、未だ信号機を確定できていない段階での処理を示している。この露光制御のメインルーチンは、最初のステップＳ１において、カメラ２の撮像画像中に信号機の候補となる物体が撮像されているか否かを、所定の地上高さで一定値以上の輝度値を有する領域の有無に基づいて判断する。その結果、信号機の候補が撮像されていない場合には、ステップＳ２〜Ｓ６で露光時間を調整して信号機の候補を再探索する。 FIG. 4 shows a main routine of exposure control for the traffic light, and shows processing at a stage where the traffic light has not yet been determined. The main routine of this exposure control has a luminance value equal to or higher than a certain value at a predetermined ground height as to whether or not an object that is a candidate for a traffic light is captured in the captured image of the camera 2 in the first step S1. Judgment is based on the presence or absence of an area. As a result, when the candidate for the traffic signal is not captured, the exposure time is adjusted in steps S2 to S6 to search again for the candidate for the traffic signal.

このステップＳ２〜Ｓ６の処理では、先ず、ステップＳ２において、撮像画像中に輝度が飽和しているサチュレーション領域があるか否かを調べる。ステップＳ２は、換言すれば、明るすぎて色味が判断できない状態であるか否かを調べるステップである。そして、ステップＳ２においてサチュレーション領域がある場合には、ステップＳ３で現在のシャッタ速度を一段階だけ早い速度に変更して露光時間を短くし、信号機候補の再探索を行う。 In the processing of steps S2 to S6, first, in step S2, it is checked whether or not there is a saturation region in which the luminance is saturated in the captured image. In other words, step S2 is a step for checking whether or not the color is too bright to be judged. If there is a saturation area in step S2, the current shutter speed is changed to a speed that is one step faster in step S3, the exposure time is shortened, and the signal candidate is searched again.

一方、ステップＳ２においてサチュレーション領域がない場合には、ステップＳ２からステップＳ４へ進み、露光時間の上限閾値（シャッタ速度が最も遅い値）を超えていないか否かを調べる。このステップＳ４は、ステップＳ２とは逆に、暗すぎて色味が判断できない状態であるか否かを調べるステップである。そして、ステップＳ４において、露光時間の上限閾値を超えていない場合、ステップＳ５で現在のシャッタ速度を一段階だけ遅い速度に変更して露光時間を長くして信号機候補の再探索を行い。露光時間の上限閾値を超えている場合には、ステップＳ６でシャッタ速度を基準値に戻して信号機候補の再探索を行う。 On the other hand, if there is no saturation area in step S2, the process proceeds from step S2 to step S4, and it is checked whether or not the upper limit threshold of exposure time (the shutter speed is the slowest value) is exceeded. In contrast to step S2, step S4 is a step for examining whether the color is too dark to be judged. If the upper limit threshold of exposure time is not exceeded in step S4, the current shutter speed is changed to a slower speed by one step in step S5, the exposure time is lengthened, and signal candidates are searched again. If the upper limit threshold of the exposure time is exceeded, the shutter speed is returned to the reference value in step S6, and the signal candidate is searched again.

その後、シャッタ速度の変更を伴う信号機候補の再探索により信号機の候補が撮像されていると判断されると、ステップＳ１からステップＳ７へ進み、各信号灯の色に応じて最適露光量を決定する。この最適露光量は、図５に示す露光制御のサブルーチンによって決定される。次に、図５の露光制御のサブルーチンについて説明する。 Thereafter, when it is determined that a candidate for a traffic light is being imaged by re-searching for a traffic light candidate accompanied by a change in shutter speed, the process proceeds from step S1 to step S7, and an optimum exposure amount is determined according to the color of each signal lamp. The optimum exposure amount is determined by an exposure control subroutine shown in FIG. Next, the exposure control subroutine of FIG. 5 will be described.

図５の露光制御のサブルーチンでは、最初のステップＳ１１において、信号機の候補となる物体の発光色が赤の信号灯の点灯（赤信号）による色と認識されているか否かを調べる。そして、赤信号であると認識される場合、ステップＳ１１からステップＳ１２へ進み、過去数フレーム分の画像中の信号機候補の領域を表す赤色成分（Ｒ成分）と緑色成分（Ｇ成分）と青色成分（Ｂ成分）とのうち、Ｒ成分の最大輝度が閾値Ｈr1を超えているか否かを判断する。 In the exposure control subroutine of FIG. 5, in the first step S11, it is checked whether or not the light emission color of the object that is a candidate for the traffic light is recognized as a color caused by lighting of a red signal lamp (red signal). If the signal is recognized as a red signal, the process proceeds from step S11 to step S12, and a red component (R component), a green component (G component), and a blue component that represent signal candidate regions in the image for the past several frames. It is determined whether or not the maximum luminance of the R component out of (B component) exceeds the threshold value Hr1.

閾値Ｈr1は、Ｒ成分がサチュレーションを生じる状態若しくはそれに近い状態であることを表す上限値（最大輝度）である。本実施の形態においては、ＬＥＤを用いた信号機等のように所定の周波数で点滅する光源を考慮して、過去の数フレーム分の画像を用いて最大輝度が閾値Ｈr1を超えているかを判断することにより、本当に赤信号を認識できているか（赤みが強すぎて誤認識していないか）を調べる。 The threshold value Hr1 is an upper limit value (maximum luminance) indicating that the R component is in a state where saturation occurs or a state close thereto. In the present embodiment, in consideration of a light source flashing at a predetermined frequency such as a traffic light using an LED, it is determined whether the maximum luminance exceeds the threshold value Hr1 using images for several past frames. It is checked whether the red signal is really recognized (whether the red light is too strong and misrecognized).

そして、ステップＳ１２において、Ｒ成分の最大輝度が閾値Ｈr1を超えていない場合には、露光時間を長くできる可能性があるため、ステップＳ１３で最大輝度があった画素のＧ成分とＲ成分とを比較し、赤と認識できる最大の比率まで露光時間を長くする（シャッタ速度を遅くする）。また、Ｒ成分の最大輝度が閾値Ｈr1を超えている場合には、ステップＳ１２からステップＳ１４へ進んで露光時間を短くし（シャッタ速度を速くし）、サチュレーション状態になることを回避する。 In step S12, if the maximum luminance of the R component does not exceed the threshold value Hr1, the exposure time may be increased. Therefore, the G component and R component of the pixel having the maximum luminance in step S13 are obtained. In comparison, the exposure time is increased to the maximum ratio that can be recognized as red (the shutter speed is decreased). If the maximum luminance of the R component exceeds the threshold value Hr1, the process proceeds from step S12 to step S14, the exposure time is shortened (shutter speed is increased), and the saturation state is avoided.

一方、ステップＳ１１において、赤信号が認識されていない場合には、ステップＳ１１からステップＳ１５へ進んで、黄色の信号灯の点灯（黄信号）による色と認識されているか否かを調べる。そして、黄信号と認識されていない場合には、ステップＳ１５からステップＳ１９以降へ進み、黄信号と認識されている場合、ステップＳ１５からステップＳ１６へ進んで、過去数フレーム分の画像中の信号機候補の領域のＲ成分の最大輝度が閾値Ｈr2を超えているか否かを判断する。 On the other hand, if the red signal is not recognized in step S11, the process proceeds from step S11 to step S15, and it is checked whether or not the color is recognized by the lighting of the yellow signal lamp (yellow signal). If the signal is not recognized as a yellow signal, the process proceeds from step S15 to step S19 and the subsequent steps. If the signal is recognized as a yellow signal, the process proceeds from step S15 to step S16, and signal candidates in the past several frames of the image are displayed. It is determined whether or not the maximum luminance of the R component in the region exceeds the threshold value Hr2.

閾値Ｈr2は、黄色の色相に対応するＲ成分とＧ成分との比率において、サチュレーションを生じることなく黄色を識別可能なＲ成分の上限値（最大輝度）である。ステップＳ１６においても、ステップＳ１２と同様に所定の周波数で点滅する光源を考慮して過去の数フレーム分の画像を用い、この過去の数フレーム分の画像における最大輝度が閾値Ｈr2を超えているかを判断することにより、赤みが強すぎて黄信号を誤認識していないか調べる。 The threshold value Hr2 is the upper limit value (maximum luminance) of the R component that can identify yellow without causing saturation in the ratio between the R component and G component corresponding to the yellow hue. Also in step S16, in the same manner as in step S12, considering the light source blinking at a predetermined frequency, images for several past frames are used, and whether the maximum luminance in the images for the past several frames exceeds the threshold value Hr2. Judgment is made to check whether the red light is too strong and the yellow signal is erroneously recognized.

そして、ステップＳ１６において、Ｒ成分の最大輝度が閾値Ｈr2を超えていない場合、ステップＳ１７で最大輝度であった画素のＲ成分とＧ成分とを比較し、Ｒ成分とＧ成分との比が明確に黄色と認識できる比率となるまで、露光時間を短くする（シャッタ速度を速くする）。これは、認識している信号の色が本当に黄色なのか、それとも露光時間が長すぎて赤色を黄色と誤認識しているのかを識別するためである。一方、Ｒ成分の最大輝度が閾値Ｈr2を超えている場合には、ステップＳ１６からステップＳ１８へ進んで露光時間を短くし（シャッタ速度を速くし）、サチュレーション状態になることを回避する。 In step S16, if the maximum luminance of the R component does not exceed the threshold value Hr2, the R component and G component of the pixel having the maximum luminance in step S17 are compared, and the ratio between the R component and the G component is clear. The exposure time is shortened (shutter speed is increased) until the ratio is recognized as yellow. This is to identify whether the color of the recognized signal is really yellow, or whether the exposure time is too long and red is erroneously recognized as yellow. On the other hand, if the maximum luminance of the R component exceeds the threshold value Hr2, the process proceeds from step S16 to step S18, the exposure time is shortened (shutter speed is increased), and the saturation state is avoided.

次に、ステップＳ１５において黄信号が認識されておらず、ステップＳ１５からステップＳ１９以降へ進んだ場合について説明する。この場合は、緑色の信号と認識されているため、ステップＳ１９では、過去数フレーム分の画像中の信号機候補の領域のＧ成分の最大輝度が閾値Ｈgrを超えていないか否かを調べる。 Next, the case where the yellow signal is not recognized in step S15 and the process proceeds from step S15 to step S19 will be described. In this case, since it is recognized as a green signal, in step S19, it is checked whether or not the maximum luminance of the G component in the signal candidate region in the past several frames of images exceeds the threshold value Hgr.

閾値Ｈgrは、サチュレーションを生じることなく緑色を認識可能な上限値（最大輝度）である。ステップＳ１９においても、ステップＳ１２，Ｓ１６と同様に所定の周波数で点滅する光源を考慮して過去の数フレーム分の画像を用い、最大輝度が閾値Ｈgrを超えているかを判断することにより、本当に緑色の信号を認識できているかを調べる。 The threshold value Hgr is an upper limit value (maximum luminance) at which green can be recognized without causing saturation. Also in step S19, as in steps S12 and S16, considering the light source flashing at a predetermined frequency, images for several past frames are used and it is determined whether the maximum luminance exceeds the threshold value Hgr. Check if the signal is recognized.

そして、Ｇ成分の最大輝度が閾値Ｈgrを超えていない場合には、露光時間を長くできる可能性があるため、ステップＳ１９からステップＳ２０へ進んで、最大輝度であった画素のＲ成分とＧ成分及びＢ成分を比較し、緑色と認識可能な最大の比率まで露光時間を長くする（シャッタ速度を遅くする）。また、Ｇ成分の最大輝度が閾値Ｈgrを超えている場合には、ステップＳ１９からステップＳ２１へ進んで露光時間を短くし（シャッタ速度を速くし）、サチュレーション状態になることを回避する。 If the maximum luminance of the G component does not exceed the threshold value Hgr, there is a possibility that the exposure time can be increased. Therefore, the process proceeds from step S19 to step S20, and the R component and G component of the pixel having the maximum luminance are obtained. And the B component are compared, and the exposure time is increased (the shutter speed is decreased) to the maximum ratio that can be recognized as green. If the maximum luminance of the G component exceeds the threshold value Hgr, the process proceeds from step S19 to step S21, the exposure time is shortened (shutter speed is increased), and the saturation state is avoided.

このように本実施の形態においては、カメラ２の撮像画像中に信号機等の所定の明るさの発光色で発光する発光部を有する物体を検出した場合、認識している発光色の成分の最大輝度が閾値を超えている場合には、露光量を絞ってサチュレーション状態になることを回避し、認識している発光色の成分の最大輝度が閾値を超えていない場合、発光部の色成分の比率が色相を適正に認識可能な最大比率となるまで露光量を増加させる。これにより、走行環境に応じて最適な露光量に制御し、様々な明るさで発光する物体の色味を正確に認識可能とすることができる。 As described above, in the present embodiment, when an object having a light emitting unit that emits light of a predetermined brightness, such as a traffic light, is detected in the captured image of the camera 2, the maximum component of the recognized light emission color is detected. If the luminance exceeds the threshold, the exposure amount is reduced to avoid a saturation state, and if the maximum luminance of the recognized emission color component does not exceed the threshold, the color component of the light emitting unit The exposure amount is increased until the ratio reaches the maximum ratio at which the hue can be properly recognized. Thereby, it can control to the optimal exposure amount according to a driving | running | working environment, and can recognize correctly the color of the object light-emitted with various brightness.

１画像認識システム
２カメラ
３画像処理エンジン
４認識コントローラ
５１発光物体検出部
５２最大輝度判断部
５３露光調整部
Ｈgr,Ｈr1,Ｈr2 閾値
ＳＧ信号機
ＳＬ信号灯 DESCRIPTION OF SYMBOLS 1 Image recognition system 2 Camera 3 Image processing engine 4 Recognition controller 51 Luminous object detection part 52 Maximum brightness judgment part 53 Exposure adjustment part Hgr, Hr1, Hr2 Threshold value SG Traffic light SL Signal lamp

Claims

車両に搭載されて車外環境をカラー撮像する撮像ユニットの露光量を制御する撮像ユニットの露光制御装置であって、
前記撮像ユニットで撮像した画像中から所定の明るさの発光色で発光する発光部を有する物体を検出する発光物体検出部と、
前記発光部に対して現在認識している発光色の成分の最大輝度が色相毎に設定した閾値を超えているか否かを判断する最大輝度判断部と、
現在認識している発光色の成分の最大輝度が前記閾値を超えていると判断された場合には、前記撮像ユニットの露光量を減少させ、現在認識している発光色の成分の最大輝度が前記閾値を超えていないと判断された場合には、前記発光部の色成分の比率が前記発光部の色相を適正に認識可能な最大比率となるまで前記撮像ユニットの露光量を増加させる露光調整部と
を備えることを特徴とする撮像ユニットの露光制御装置。 An exposure control device for an imaging unit that controls an exposure amount of an imaging unit that is mounted on a vehicle and performs color imaging of an environment outside the vehicle,
A light-emitting object detection unit that detects an object having a light-emitting unit that emits light of a predetermined brightness from the image captured by the imaging unit;
A maximum luminance determination unit for determining whether or not the maximum luminance of the component of the emission color currently recognized for the light emitting unit exceeds a threshold set for each hue;
If it is determined that the maximum luminance of the currently recognized emission color component exceeds the threshold, the exposure amount of the imaging unit is decreased, and the maximum luminance of the currently recognized emission color component is When it is determined that the threshold value is not exceeded, the exposure adjustment is performed to increase the exposure amount of the imaging unit until the ratio of the color components of the light emitting unit reaches a maximum ratio at which the hue of the light emitting unit can be properly recognized. An exposure control apparatus for an imaging unit, comprising:

最大輝度判断部は、過去の所定フレーム数の画像から前記最大輝度を得ることを特徴とする請求項１記載の撮像ユニットの露光制御装置。 2. The exposure control apparatus for an imaging unit according to claim 1, wherein the maximum brightness determination unit obtains the maximum brightness from an image of a predetermined number of frames in the past.

前記発光部は、赤、黄、緑の発光色で発光する信号機の信号灯であることを特徴とする請求項１又は２記載の撮像ユニットの露光制御装置。 3. The exposure control device for an image pickup unit according to claim 1, wherein the light emitting unit is a signal lamp of a traffic light that emits light in red, yellow, and green light emission colors.