JP2014109853A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP2014109853A JP2014109853A JP2012263120A JP2012263120A JP2014109853A JP 2014109853 A JP2014109853 A JP 2014109853A JP 2012263120 A JP2012263120 A JP 2012263120A JP 2012263120 A JP2012263120 A JP 2012263120A JP 2014109853 A JP2014109853 A JP 2014109853A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- correction coefficient
- image
- gradation value
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両に搭載されたカメラによる撮像画像を用いて、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that monitors an object existing around a vehicle using an image captured by a camera mounted on the vehicle.
従来より、車両に搭載されたカラーカメラによる撮像画像から、前走車の警報ランプ((制動ランプ、方向指示ランプ)を検知して、自車両と前方車両との車間距離及び相対速度を算出し、この車間距離と相対速度の変化状態から前方車両に追突するまでの時間を予測して、運転者に対する警報を実行するようにした装置が提案されている(例えば、特許文献1参照)。 Conventionally, an alarm lamp (braking lamp, direction indicator lamp) of the preceding vehicle is detected from an image captured by a color camera mounted on the vehicle, and the inter-vehicle distance and relative speed between the host vehicle and the preceding vehicle are calculated. There has been proposed a device that predicts a time until a vehicle collides with a preceding vehicle from a change state of the inter-vehicle distance and relative speed, and issues a warning to the driver (for example, see Patent Document 1).
車両に搭載されるカメラは、暗い対象物(例えば、夜間に歩道に所在する歩行者等)から、明るい対象物(前走車の制動ランプ等)までの広範囲の明るさの対象物を撮像して、その画像部分を抽出可能とするために、広いダイナミックレンジを有していることが望ましい。 A camera mounted on a vehicle captures a wide range of brightness objects from dark objects (for example, pedestrians on the sidewalk at night) to bright objects (brake lamps on the preceding vehicle, etc.). In order to extract the image portion, it is desirable to have a wide dynamic range.
しかし、一般的なカメラにおいては、単一のフォトダイオードを受光素子として電荷を蓄積するため、フォトダイオードの容量を超える放射照度の光を受光すると、出力信号が飽和してそれ以上の輝度差を認識することができなくなる。そのため、単一のフォトダイオードで表現することができるダイナミックレンジには限界がある。 However, in a general camera, a single photodiode is used as the light receiving element to store the charge, so when receiving light with an irradiance exceeding the capacity of the photodiode, the output signal saturates and the brightness difference is further increased. It becomes impossible to recognize. Therefore, there is a limit to the dynamic range that can be expressed by a single photodiode.
そこで、1画素に対して容量が異なるフォトダイオードを複数個配置して、この複数個のフォトダイオードの信号を合算してダイナミックレンジを拡大する方法(従来方法1)や、露光時間を変えた複数の撮像画像を合成してダイナミックレンジを拡大する方法(従来方法2)が提案されている。 Therefore, a method of arranging a plurality of photodiodes having different capacities for one pixel and adding the signals of the plurality of photodiodes to expand the dynamic range (conventional method 1), or a plurality of methods with different exposure times. A method of expanding the dynamic range by combining the captured images (conventional method 2) has been proposed.
しかしながら、従来方法1による場合は、1画素に複数のフォトダイオードを配置するために、フォトダイオードのサイズを小さくしたときは撮像画像の感度が低下し、フォトダイオードのサイズを変えないときには配置可能な画素の数が減少して解像度が低下する。また、従来方法2による場合には、異なる時間で露光した画像を使用することにより、合成画像がぼけて画質が劣化する。そのため、これらの従来方法によりダイナミックレンジを拡大した画像を用いたときには、対象物を精度良く検知することが困難であった。
However, in the case of the
本発明は、上記背景に鑑みてなされたものであり、ダイナミックレンジを拡大した撮像画像により、車両周辺に存在する対象物を精度良く検知することができる車両周辺監視装置を提供することを目的とする。 The present invention has been made in view of the above background, and an object of the present invention is to provide a vehicle periphery monitoring device that can accurately detect an object existing around a vehicle using a captured image with an expanded dynamic range. To do.
本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光素子と、カラーフィルタを介さずに受光する複数の第1透明受光画素と、カラーフィルタを介さずに該第1透明受光画素よりも低い透過率で受光する複数の第2透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各第1透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第1透明画素と、前記各第2透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第2透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各画素に対し、第1透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第2透明画素について周囲の第1透明画素の階調値に基づく高感度階調値を割り当て、また、第2透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第1透明画素について周囲に配置された第2透明画素の階調値に基づく低感度階調値を割り当てて、
前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、各画素ごとに合成した各画素の広レンジ階調値を算出し、各画素の広レンジ階調値を広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と、
前記広ダイナミックレンジ画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部とを備えたことを特徴とする(第1発明)。
The present invention has been made to achieve the above object, and the vehicle periphery monitoring device of the present invention comprises:
A plurality of color light receiving elements mounted on a vehicle and receiving light via a color filter, a plurality of first transparent light receiving pixels receiving light without passing through a color filter, and a first transparent light receiving pixel without passing through a color filter A camera that captures an image with an image sensor in which a plurality of second transparent light-receiving pixels that receive light with low transmittance are disposed;
A plurality of color pixels that are imaged by the camera and are individually assigned gradation values corresponding to the light receiving levels of the color light receiving pixels, and gradation values corresponding to the light receiving levels of the first transparent light receiving pixels Acquisition of an original image in which a plurality of individually assigned first transparent pixels and a plurality of second transparent pixels to which gradation values corresponding to light reception levels of the respective second transparent light receiving pixels are individually assigned are arranged An original image acquisition unit,
For each pixel of the original image, a high sensitivity gradation value based on its own gradation value is assigned to the first transparent pixel, and based on the gradation values of the surrounding first transparent pixels for the color pixel and the second transparent pixel. A high-sensitivity gradation value is assigned, a high-sensitivity gradation value based on its own gradation value is assigned to the second transparent pixel, and the steps of the second transparent pixel arranged around the color pixel and the first transparent pixel are assigned. Assign a low sensitivity gradation value based on the key value,
A wide range gradation value of each pixel obtained by combining the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image for each pixel is calculated. Assigning a value as a gradation value of a pixel at a corresponding arrangement position of a wide dynamic range image, an image generation unit for generating a wide dynamic range image;
An object detection unit that detects an object existing around the vehicle by using the wide dynamic range image (first invention).
第1発明によれば、前記カメラにより撮像された前記原画像においては、第1透明画素により低輝度の対象物の画像情報を得ることができると共に、第2透明画素により高輝度の対象物の画像情報を得ることができる。そして、前記画像生成部により、前記原画像の各画素に対して割り当てた、第1透明画素の階調値に基づく高感度階調値と第2透明画素の階調値に基づく低感度階調値とを、各画素ごとに合成した広レンジ階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、感度幅が広い広ダイナミックレンジ画像を生成することができる。 According to the first invention, in the original image captured by the camera, the image information of the low-luminance object can be obtained by the first transparent pixel, and the high-luminance object can be obtained by the second transparent pixel. Image information can be obtained. Then, a high sensitivity gradation value based on the gradation value of the first transparent pixel and a low sensitivity gradation based on the gradation value of the second transparent pixel assigned to each pixel of the original image by the image generation unit. A wide dynamic range image with a wide sensitivity range can be generated by assigning a wide range gradation value obtained by combining the values for each pixel as a gradation value of a pixel at a corresponding arrangement position of the wide dynamic range image. it can.
そして、前記広ダイナミックレンジ画像は、生成に際して、受光素子のサイズの減少による感度低下や受光素子の個数の減少による解像度の低下を伴うものではなく、また、受光素子の露光時間を異ならせる処理も不要であるため、解像度の低下を抑えて、撮像可能な明るさの幅が広い広ダイナミックレンジ画像を生成することができる。そのため、前記対象物検知部は、前記画像生成部により生成された広ダイナミックレンジ画像を用いることにより、車両周辺に監視する広範囲の輝度の対象物を精度良く検知することができる。 The generation of the wide dynamic range image is not accompanied by a decrease in sensitivity due to a decrease in the size of the light receiving element or a decrease in resolution due to a decrease in the number of light receiving elements, and a process for varying the exposure time of the light receiving element. Since this is unnecessary, it is possible to generate a wide dynamic range image with a wide range of brightness that can be captured while suppressing a decrease in resolution. Therefore, the object detection unit can accurately detect an object having a wide range of luminance monitored around the vehicle by using the wide dynamic range image generated by the image generation unit.
また、第1発明において、
前記カラーフィルタは3原色カラーフィルタであって、前記カラー受光画素は、3原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像の各第1透明画素及び各第2透明画素に対して、周囲に配置されたカラー画素の階調値に基づく3原色の各階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく3原色の階調値を割り当てて、前記原画像の各画素に割り当てた3原色の階調値に基づくグレーの参照階調値を算出し、各画素に対して、対応する前記高感度階調値と前記参照階調値との相違度に応じた第1高感度補正係数と、対応する前記低感度階調値と前記参照階調値との相違度に応じた第1低感度補正係数とを算出する第1補正係数算出部を備え、
前記画像生成部は、前記原画像の各画素について、割り当てられた前記高感度階調値と前記低感度階調値とを、対応する前記第1高感度補正係数及び前記第1低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする(第2発明)。
In the first invention,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
To each first transparent pixel and each second transparent pixel of the original image, each gradation value of three primary colors based on the gradation values of the color pixels arranged around is assigned, and to each color pixel of the original image On the other hand, the gradation values of the three primary colors based on the gradation values of the own image or the gradation values of other color pixels arranged in the surroundings are assigned to the gradation values of the three primary colors assigned to the pixels of the original image. A gray reference gradation value is calculated, and a first high sensitivity correction coefficient corresponding to a difference between the corresponding high sensitivity gradation value and the reference gradation value is calculated for each pixel, and the corresponding low A first correction coefficient calculation unit that calculates a first low sensitivity correction coefficient according to the difference between the sensitivity gradation value and the reference gradation value;
The image generation unit assigns the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image to the corresponding first high sensitivity correction coefficient and the first low sensitivity correction coefficient. The wide range gradation value of each pixel is calculated by combining them using (2nd invention).
第2発明によれば、前記第1高感度補正係数と前記第1低感度補正係数を用いることによって、前記原画像の各画素に割り当てられた前記参照階調値と前記高感度階調値及び前記低感度階調値との相違度に応じて、各画素の前記広レンジ階調値を算出して前記広ダイナミックレンジ画像を生成することができる。 According to the second invention, by using the first high sensitivity correction coefficient and the first low sensitivity correction coefficient, the reference gradation value assigned to each pixel of the original image, the high sensitivity gradation value, and The wide dynamic range image can be generated by calculating the wide range gradation value of each pixel according to the degree of difference from the low sensitivity gradation value.
また、第1発明において、
前記カラーフィルタは3原色カラーフィルタであって、前記カラー受光画素は、3原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、補正係数算出領域として設定し、該補正係数算出領域内の各第1透明画素及び第2透明画素に対して、周囲に配置されたカラー画素の階調値に基づく3原色の各階調値を割り当てると共に、前記補正係数算出領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく3原色の階調値を割り当てて、前記補正係数算出領域内の各画素に割り当てた3原色の階調値に基づくグレーの参照階調値を算出し、前記補正係数算出領域内の各画素に割り当てられた前記高感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第2高感度補正係数と、前記補正係数算出領域内の各画素に割り当てられた前記低感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第2低感度補正係数とを算出する第2補正係数算出部とを備え、
前記画像生成部は、前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、前記第2高感度補正係数及び前記第2低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする(第3発明)。
In the first invention,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
In the original image, an area including an image part of a road or an image part of a lane marking line laid on the road is set as a correction coefficient calculation area, and each first transparent pixel and second pixel in the correction coefficient calculation area are set. The gradation values of the three primary colors based on the gradation values of the surrounding color pixels are assigned to the transparent pixels, and each color pixel in the correction coefficient calculation area is arranged in its own gradation value or the surrounding area. A gray reference gradation value is calculated based on the gradation values of the three primary colors assigned to each pixel in the correction coefficient calculation area by assigning gradation values of the three primary colors based on the gradation values of the other color pixels. The second high sensitivity according to the difference between the average value of the high sensitivity gradation value assigned to each pixel in the correction coefficient calculation area and the average value of the reference gradation value calculated for each pixel. Correction coefficient and the correction coefficient calculation area A second low-sensitivity correction coefficient corresponding to the degree of difference between the average value of the low-sensitivity gradation values assigned to each pixel and the average value of the reference gradation value calculated for each pixel is calculated. 2 correction coefficient calculation unit,
The image generation unit combines the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image using the second high sensitivity correction coefficient and the second low sensitivity correction coefficient. Thus, the wide range gradation value of each pixel is calculated (third invention).
第3発明によれば、前記第2補正係数算出部は、無彩色である可能性が高い道路の画像部分又は車線区分線の画像部分を対象として、前記原画像の全ての画素について共通に用いる前記第2高感度補正係数と前記第2低感度補正係数を算出する。そして、前記画像生成部は、前記第2高感度補正係数と前記第2低感度補正係数を用いることにより、画素ごとの高感度階調値と低感度階調値の相違度のばらつきによる画質の劣化を抑制して、前記広ダイナミックレンジ画像を生成することができる。 According to the third invention, the second correction coefficient calculation unit is used in common for all the pixels of the original image, targeting the image portion of the road or the image portion of the lane marking that is highly likely to be achromatic. The second high sensitivity correction coefficient and the second low sensitivity correction coefficient are calculated. The image generation unit uses the second high-sensitivity correction coefficient and the second low-sensitivity correction coefficient to improve image quality due to variation in the degree of difference between the high-sensitivity gradation value and the low-sensitivity gradation value for each pixel. The wide dynamic range image can be generated while suppressing deterioration.
また、第3発明において、
前記第2補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた高感度階調値が第1所定値以上である画素の割合が第1閾値以下である補正係数算出領域を対象として、前記第1高感度補正係数を算出することを特徴とする(第4発明)。
In the third invention,
The second correction coefficient calculation unit sets a plurality of correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels having an assigned high sensitivity gradation value equal to or greater than a first predetermined value is the first. The first high-sensitivity correction coefficient is calculated for a correction coefficient calculation area that is one threshold value or less (fourth invention).
第4発明によれば、高感度階調値が前記第1所定値以上である画素(高感度階調値が飽和しているような画素)の割合が前記第1閾値以下である前記補正係数算出領域を対象とすることによって、有効な感度差の情報に基づく適切な前記第2高感度補正係数を算出することができる。 According to the fourth aspect of the present invention, the correction coefficient in which a ratio of pixels having high sensitivity gradation values equal to or higher than the first predetermined value (pixels where high sensitivity gradation values are saturated) is equal to or less than the first threshold value. By targeting the calculation region, it is possible to calculate an appropriate second high sensitivity correction coefficient based on information on effective sensitivity difference.
また、第3発明又は第4発明において、
前記第2補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた低感度階調値が第2所定値以下である画素の割合が第2閾値以下である補正係数算出領域を対象として、前記第2低感度補正係数を算出することを特徴とする(第5発明)。
In the third invention or the fourth invention,
The second correction coefficient calculation unit sets a plurality of the correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels whose assigned low sensitivity gradation value is equal to or less than a second predetermined value is the first. The second low-sensitivity correction coefficient is calculated for a correction coefficient calculation area that is equal to or less than two thresholds (fifth invention).
第5発明によれば、低感度階調値が前記第2所定値以下である画素(低感度階調値が黒潰れしているような画素)の割合が前記第2閾値以下である前記補正係数算出領域を対象とすることによって、有効な感度差の情報に基づく適切な前記第2低感度補正係数を算出することができる。 According to the fifth invention, the correction in which the ratio of pixels having low sensitivity gradation values equal to or less than the second predetermined value (pixels whose low sensitivity gradation values are crushed in black) is equal to or less than the second threshold value. By targeting the coefficient calculation area, it is possible to calculate an appropriate second low sensitivity correction coefficient based on information on effective sensitivity difference.
本発明の車両周辺監視装置の実施形態について、図1〜図8を参照して説明する。図1を参照して、本実施形態の車両周辺監視装置は、車両1に搭載されたカメラ2と、カメラ2に接続された画像コントローラ3とにより構成されている。
An embodiment of a vehicle periphery monitoring device of the present invention will be described with reference to FIGS. With reference to FIG. 1, the vehicle periphery monitoring device according to the present embodiment includes a
カメラ2は、車両1の前方を撮像範囲として車両1に搭載されている。カメラ2は、フィルタ21が組み込まれた撮像素子22(CCD、CMOS等)により、車両1の前方を撮像し、撮像データを画像コントローラ3に出力する。撮像素子22は、m×n個の複数の受光素子を2次元に配列して構成されている。
The
図2(a)を参照して、フィルタ21は、R(赤)G(緑)B(青)の3原色のカラーフィルタのいずれかを、撮像素子22のm×n個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、RGB以外の他の種類のカラーフィルタ(CyMgYの補色系フィルタ等)を用いてもよい。
Referring to FIG. 2A, the
そして、カメラ2は、Rフィルタが装着されたR受光画素(図中R11,R15,…で示している。本発明のカラー受光画素に相当する)、Gフィルタが装着されたG受光画素(図中G22,G24,…で示している。本発明のカラー受光画素に相当する)、Bフィルタが装着されたB受光画素(図中B13,B31,…で示している。本発明のカラー受光画素に相当する)、及びフィルタ21が装着されていないW受光画素(図中W12,W32,…で示している。本発明の第1透明受光画素に相当する)とV受光画素(図中V21,V41,…で示している。本発明の第2透明受光画素に相当する)による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ3に出力する。
The
ここで、W受光画素の透過率(光透過率)は例えば90%以上に設定され、V受光画素の透過率はW受光画素及びR,G,B受光画素よりも低い例えば20%以下に設定されている。 Here, the transmittance (light transmittance) of the W light receiving pixel is set to, for example, 90% or more, and the transmittance of the V light receiving pixel is set to, for example, 20% or less, which is lower than the W light receiving pixel and the R, G, B light receiving pixels. Has been.
画像コントローラ3は、図示しないCPU,メモリ,入出力回路等により構成された制御回路30と、画像メモリ40と、CAN(Controller Area Network)ドライバ50とを有している。
The
制御回路30は、メモリに保持された画像処理用プログラムをCPUで実行することにより、原画像取得部31、カラー画像生成部33と高感度画像生成部34と低感度画像生成部35と広ダイナミックレンジ画像生成部36とを有する画像生成部32、第1補正係数算出部37、第2補正係数算出部38、及び対象物検知部39として機能する。なお、原画像取得部31、画像生成部32、第1補正係数算出部37、第2補正係数算出部38、及び対象物検知部39の一部又は全部をハードウェアにより構成してもよい。
The
原画像取得部31は、カメラ2に制御信号を出力して車両1の前方の画像を撮像させ、カメラ2から出力される撮像データにより、原画像41のデータを取得して画像メモリ40に保持する。
The original
原画像41は、図2(b)に示したように、図2(a)に示した撮像素子22による各受光画素(R受光画素、G受光画素、B受光画素、W受光画素、V受光画素)の階調値を、対応する配列位置の画素(配列位置が同じ画素)の階調値として個別に割り当てたものになっている。図2(b)においては、各画素の階調値をS(大文字)+小文字r,g,b,w,vのいずれか+i,j(i=1,2,…,m、j=1,2,…,n)で示している。
As shown in FIG. 2B, the
ここで、rは図2(a)のR受光画素に対応した配列位置の画素(以下、R画素という。本発明のカラー画素に相当する)の階調値を示し、gは図2(a)のG受光画素に対応した配列位置の画素(以下、G画素という。本発明のカラー画素に相当する)の階調値を示し、bは図2(a)のB受光画素に対応した配列位置の画素(以下、B画素という。本発明のカラー画素に相当する)の階調値を示している。 Here, r indicates a gradation value of a pixel at an arrangement position corresponding to the R light receiving pixel in FIG. 2A (hereinafter referred to as an R pixel, which corresponds to a color pixel of the present invention), and g indicates a value in FIG. ) Indicates a gradation value of a pixel at an array position corresponding to the G light receiving pixel (hereinafter referred to as G pixel, which corresponds to the color pixel of the present invention), and b indicates an array corresponding to the B light receiving pixel in FIG. The gradation value of the pixel at the position (hereinafter referred to as B pixel, which corresponds to the color pixel of the present invention) is shown.
また、wは図2(a)のW受光画素に対応した配列位置の画素(以下、W画素という。本発明の第1透明画素に相当する)の階調値を示し、vは図2(a)のV受光画素に対応した配列位置の画素(以下、V画素という。本発明の第2透明画素に相当する)の階調値を示している。 In addition, w represents a gradation value of a pixel at an array position corresponding to the W light receiving pixel in FIG. 2A (hereinafter referred to as a W pixel, which corresponds to the first transparent pixel of the present invention), and v represents a value in FIG. The gradation value of the pixel (henceforth V pixel. It corresponds to the 2nd transparent pixel of this invention) of the arrangement position corresponding to V light receiving pixel of a) is shown.
次に、画像生成部32のカラー画像生成部33は、原画像41からカラー画像42を生成してそのデータを画像メモリ40に保持する。高感度画像生成部34は、原画像41から高感度画像43を生成してそのデータを画像メモリ40に保持する。低感度画像生成部35は、原画像41から低感度画像44を生成してそのデータを画像メモリ40に保持する。
Next, the color
また、画像生成部32の広ダイナミックレンジ画像生成部36は、カラー画像42、高感度画像43、及び低感度画像44から、広ダイナミックレンジ画像45を生成してそのデータを画像メモリ40に保持する。カラー画像42、高感度画像43、低感度画像44、及び広ダイナミックレンジ画像45の各生成処理の詳細については、後述する。
The wide dynamic range
対象物検知部39は、カラー画像42、高感度画像43、及び広ダイナミックレンジ画像45を用いて、車両1が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ6に対して各種の制御信号を送信する。
The
車両コントローラ6は、図示しないCPU,メモリ,入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両1の制御用プログラムをCPUで実行することによって、操舵装置71の作動を制御する操舵制御部61、制動装置72の作動を制御する制動制御部62、及びディスプレイ73の表示を制御するディスプレイ表示制御部63として機能する。画像コントローラ3と車両コントローラ6は、CANドライバ50,64を介して相互に通信を行う。
The
次に、図3に示したフローチャートに従って、制御回路30による各種画像の生成と、各種画像からの対象物検知の処理について説明する。
Next, the generation of various images by the
図3のSTEP1は原画像取得部31による処理である。原画像取得部31は、カメラ2から出力される撮像データにより、原画像41(図2(b)参照)を取得して画像メモリ40に保持する。
『1.カラー画像の生成処理』
続くSTEP2はカラー画像生成部33による処理である。カラー画像生成部33は、原画像41の各画素に割り当てるカラーの階調値を算出して、図4(a)に示したカラー画像42を生成する。図4(a)のカラー画像42では、各画素の階調値をCi,j(i=1,2…,m、j=1,2,…,n)で表している。
“1. Color image generation process
The
Ci,jは、以下のように、R値(Ci,jr、Rの階調値)、G値(Ci,jg、Gの階調値)、及びB値(Ci,jb、Bの階調値)という三つの階調値の要素を有している。
Ci,j={Ci,jr、Ci,jg、Ci,jb}
C i, j is an R value (C i, j r, gradation value of R), G value (C i, j g, gradation value of G), and B value (C i, j ) as follows . j b and B gradation values).
C i, j = {C i, j r, C i, j g, C i, j b}
[1−1.Ci,jに対するG値の割り当て]
カラー画像生成部33は、原画像41のG画素(階調値がSgi,jである画素)については、自身の階調値をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のG値とする。
[1-1. Assignment of G value to C i, j ]
For the G pixel (the pixel whose gradation value is Sgi , j ) of the
原画像41のR画素(階調値がSri,jである画素)、及びB画素(階調値がSbi,jである画素)については、図2(b)に示した配列パターンから、斜め上下に隣接する画素がG画素になっている。そこで、カラー画像生成部33は、対象とするR,B画素の斜め上下に隣接するG画素の階調値(Sgi+1,j+1,Sgi-1,j-1,Sgi-1,j+1,Sgi+1,j-1)について、以下の式(1)〜式(4)により、カラー画像42の対応する位置の画素に割り当てるG値(Ci,jg)を算出する。
The R pixel (the pixel whose gradation value is Sri , j ) and the B pixel (the pixel whose gradation value is Sbi , j ) of the
原画像41のW画素(階調値がSwi,jである画素)については、図2(b)に示した配列パターンから、上下に隣接する画素がG画素になっている。そこで、カラー画像生成部33は、対象とするW画素の上下に隣接するG画素の階調値(Sgi-1,j,Sgi+1,j)について、以下の式(5)により、カラー画像42の対応する配置位置の画素に割り当てるG値(Ci,jg)を算出する。
For the W pixel of the original image 41 (the pixel whose gradation value is Sw i, j ), the vertically adjacent pixels are G pixels from the arrangement pattern shown in FIG. Therefore, the color
原画像41のV画素(階調値がSvi,jである画素)については、図2(b)に示した配列パターンから、左右に隣接する画素がG画素になっている。そこで、カラー画像生成部33は、対象とするV画素の左右に隣接するG画素の階調値(Sgi,j-1,Sgi,j+1)について、以下の式(6)により、カラー画像42の対応する配置位置の画素に割り当てるG値(Ci,jg)を算出する。
For V pixels (pixels whose gradation value is Sv i, j ) of the
[1-2.Ci,jに対するR値の割り当て]
次に、カラー画像生成部33は、カラー画像42の各画素に割り当てるR値(Ci,jr)を算出する。原画像41のR画素(階調値がSri,jである画素)については、自身の階調値をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のR値とする。
[1-2. R value assignment for C i, j ]
Next, the color
原画像41のB画素(階調値がSbi,jである画素)については、図2(b)に示した配列パターンから、上下左右の2個目の画素がR画素になっている。そこで、カラー画像生成部33は、対象とするB画素の上下左右の2個目のR画素の階調値(Sri+2,j,Sri-2,j,Sri,j+2,Sri,j-2)について、以下の式(7)〜式(10)により、カラー画像42の対応する配置位置の画素に割り当てるR値(Ci,jr)を算出する。
With respect to the B pixel of the original image 41 (the pixel whose gradation value is Sb i, j ), the second pixel in the upper, lower, left, and right directions is an R pixel from the arrangement pattern shown in FIG. Therefore, the color
原画像41のG画素(階調値がSgi,jである画素)については、図2(b)に示した配列パターンから、右上と左下又は左上と右下に隣接する画素が、R画素になっている。そこで、カラー画像生成部33は、原画像41の対象とするG画素の斜め上下に隣接するR画素の階調値(Sri+1,j+1,Sri-1,j-1,Sri-1,j+1,Sri+1,j-1)について、以下の式(11)〜式(12)により、カラー画像42の対応する位置の画素に割り当てるR値(Ci,jr)を算出する。
For the G pixel of the original image 41 (the pixel whose gradation value is Sgi , j ), the pixels adjacent to the upper right and lower left or the upper left and lower right are R pixels from the arrangement pattern shown in FIG. It has become. Therefore, the color
原画像41のW画素(階調値がSwi,jである画素)については、図2(b)に示した配列パターンから、左右に隣接するいずれかの画素がR画素になっている。そこで、カラー画像生成部33は、以下の式(13)〜式(14)により、原画像41の対象とするW画素について、カラー画像42の対応する配置位置の画素に割り当てるR値(Ci,jr)を算出する。
For the W pixel of the original image 41 (the pixel whose gradation value is Sw i, j ), one of the pixels adjacent to the left and right is an R pixel from the arrangement pattern shown in FIG. Therefore, the color
原画像41のV画素(階調値がSvi,jである画素)については、図2(b)に示した配列パターンから、上下に隣接するいずれかの画素がR画素になっている。そこで、カラー画像生成部33は、以下の式(15)〜式(16)により、原画像41の対象とするV画素について、カラー画像42の対応する配置位置の画素に割り当てるR値(Ci,jr)を算出する。
For the V pixel of the original image 41 (the pixel whose gradation value is Sv i, j ), one of the pixels adjacent in the vertical direction is an R pixel from the arrangement pattern shown in FIG. Therefore, the color
[1-3.Ci,jに対するB値の割り当て]
次に、カラー画像生成部33は、カラー画像42の各画素に割り当てるB値(Ci,jb)を算出する。原画像41のB画素(階調値がSbi,jである画素)については、自身の階調値をカラー画像42の対応する配置位置の画素(配置位置が同じ画素)のB値とする。
[1-3. Assignment of B value to C i, j ]
Next, the color
原画像41のR画素(階調値がSri,jである画素)については、図2(b)に示した配列パターンから、上下左右の2個目の画素がB画素になっている。そこで、カラー画像生成部33は、対象とするB画素の上下左右の2個目のB画素の階調値(Sbi+2,j,Sbi-2,j,Sbi,j+2,Sbi,j-2)について、以下の式(17)〜式(20)により、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
With respect to the R pixel of the original image 41 (the pixel whose gradation value is Sri , j ), the second pixel in the upper, lower, left and right directions is a B pixel from the arrangement pattern shown in FIG. Therefore, the color
原画像41のG画素(階調値がSgi,jである画素)については、図2(b)に示した配列パターンから、右上と左下又は左上と右下に隣接する画素が、B画素になっている。そこで、カラー画像生成部33は、原画像41の対象とするG画素の斜め上下に隣接するB画素の階調値(Sbi+1,j+1,Sbi-1,j-1,Sbi-1,j+1,Sbi+1,j-1)について、以下の式(21)〜式(22)により、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
For the G pixel of the original image 41 (the pixel whose gradation value is Sgi , j ), the pixels adjacent to the upper right and lower left or the upper left and lower right are B pixels from the arrangement pattern shown in FIG. It has become. Therefore, the color
原画像41のW画素(階調値がSwi,jである画素)については、図2(b)に示した配列パターンから、左右に隣接するいずれかの画素がB画素になっている。そこで、カラー画像生成部33は、以下の式(23)〜式(24)により、原画像41の対象とするW画素について、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
For the W pixel of the original image 41 (the pixel whose gradation value is Sw i, j ), one of the pixels adjacent to the left and right is a B pixel from the arrangement pattern shown in FIG. Therefore, the color
原画像41のV画素(階調値がSvi,jである画素)については、図2(b)に示した配列パターンから、上下に隣接するいずれかの画素がB画素になっている。そこで、カラー画像生成部33は、以下の式(25)〜式(26)により、原画像41の対象とするV画素について、カラー画像42の対応する配置位置の画素に割り当てるB値(Ci,jb)を算出する。
For the V pixel of the original image 41 (the pixel whose gradation value is Sv i, j ), one of the pixels adjacent in the vertical direction is a B pixel from the arrangement pattern shown in FIG. Therefore, the color
以上の処理により、カラー画像生成部33は、カラー画像42の各画素に割り当てるR値(Ci,jr),G値(Ci,jg),B値(Ci,jb)を算出する。
Through the above processing, the color
ここで、カラー画像42の各画素Ci,jの輝度の階調値(参照階調値)Yi,jは、以下の式(27)により算出される。
Here, the luminance gradation value (reference gradation value) Y i, j of each pixel C i, j of the
但し、Yi,j:参照階調値、Ci,jr:カラー画像42の各画素Ci,jのR値、Ci,jg:カラー画像42の各画素Ci,jのG値、Ci,jb:カラー画像42の各画素Ci,jのB値、0.3,0.59,0.11:重み付け係数,実験等により決定したものであり、他の値を用いてもよい。
However, Y i, j: the reference grayscale value, C i, j r: each pixel C i, R value of j of the
『2.高感度画像の生成処理』
図3の続くSTEP3は高感度画像生成部34による処理である。高感度画像生成部34は、原画像41の各画素に割り当てる高感度のグレーの階調値を算出して、図4(b)に示した高感度画像43を生成する。
“2. High-sensitivity image generation process ”
[2-1.W画素に対する階調値Hi,jの割り当て]
高感度画像生成部34は、原画像41のW画素(階調値がSwi,jである画素)については、自身の階調値(Swi,j)を、高感度画像43の対応する配置位置の画素(配置位置が同じ画素)の階調値(Hi,j)に割り当てる。
[2-1. Assignment of gradation value H i, j to W pixel]
High-sensitivity
[2-2.R,G,B画素に対する階調値Hi,jの割り当て]
原画像41のR画素及びB画素については、図2(b)に示した配列パターンから、R画素及びB画素の左右に隣接する画素がW画素になっている。そこで、高感度画像生成部34は、以下の式(28)により、高感度画像43の対応する配置位置の画素に割り当てる階調値(Hi,j)を算出する。
[2-2. Allocation of gradation values H i, j to R, G, B pixels]
Regarding the R pixel and the B pixel of the
原画像41のG画素については、図2(b)に示した配列パターンから、G画素の上下に隣接する画素がW画素になっている。そこで、高感度画像生成部34は、以下の式(29)により、高感度画像43の対応する配置位置の画素に割り当てる階調値(Hi,j)を算出する。
Regarding the G pixel of the
[2-3.V画素に対する階調値Hi,jの割り当て]
原画像41のV画素(階調値がSvi,jである画素)については、図2(b)に示した配列パターンから、斜め上下に隣接する画素がW画素になっている。そこで、高感度画像生成部34は、対象とするV画素の斜め上下に隣接するW画素の階調値(Swi+1,j+1,Swi-1,j-1,Swi-1,j+1,Swi+1,j-1)について、以下の式(30)〜式(33)により、高感度画像43の対応する位置の画素に割り当てる階調値(Hi,j)を算出する。
[2-3. Allocation of gradation value H i, j to V pixel]
For V pixels (pixels whose gradation value is Sv i, j ) of the
以上の2-1〜2-3の処理により、高感度画像生成部34は、高感度画像43の全ての画素に階調値を割り当てて、図4(b)に示したように、原画像41の各画素に対応した画素に階調値(Hi,j)を割り当てた高感度画像43を生成する。
Through the above processes 2-1 to 2-3, the high-sensitivity
『3.低感度画像の生成処理』
図3の続くSTEP4は低感度画像生成部35による処理である。低感度画像生成部35は、原画像41の各画素に割り当てる低感度のグレーの階調値を算出して、図5(a)に示した低感度画像44を生成する。
“3. Low-sensitivity image generation process ”
[3-1.V画素に対する階調値Li,jの割り当て]
低感度画像生成部35は、原画像41のV画素(階調値がSvi,jである画素)については、自身の階調値(Svi,j)を、低感度画像44の対応する配置位置の画素(配置位置が同じ画素)の階調値(Li,j)に割り当てる。
[3-1. Allocation of gradation value L i, j to V pixel]
The low-sensitivity image generating unit 35 corresponds to the low-
[3-2.R,G,B画素に対する階調値Li,jの割り当て]
原画像41のG画素については、図2(b)に示した配列パターンから、G画素の左右に隣接する画素がV画素になっている。そこで、低感度画像生成部35は、以下の式(34)により、低感度画像44の対応する配置位置の画素に割り当てる階調値(Li,j)を算出する。
[3-2. Allocation of gradation value L i, j to R, G, B pixels]
Regarding the G pixel of the
原画像41のR画素及びB画素については、図2(b)に示した配列パターンから、R画素及びB画素の上下に隣接する画素がV画素になっている。そこで、低感度画像生成部35は、以下の式(35)により、低感度画像44の対応する配置位置の画素に割り当てる階調値(Li,j)を算出する。
Regarding the R pixel and the B pixel of the
[3-3.W画素に対する階調値Li,jの割り当て]
原画像41のW画素(階調値がSwi,jである画素)については、図2(b)に示した配列パターンから、斜め上下に隣接する画素がV画素になっている。そこで、低感度画像生成部35は、対象とするW画素の斜め上下に隣接するV画素の階調値(Svi+1,j+1,Svi-1,j-1,Svi-1,j+1,Svi+1,j-1)について、以下の式(36)〜式(39)により、低感度画像44の対応する位置の画素に割り当てる階調値(Li,j)を算出する。
[3-3. Assignment of gradation value L i, j to W pixel]
For the W pixel of the original image 41 (the pixel whose gradation value is Sw i, j ), the pixels vertically adjacent to each other are V pixels from the arrangement pattern shown in FIG. Therefore, the low-sensitivity image generation unit 35 determines the gradation values (Sv i + 1, j + 1 , Sv i−1, j−1 , Sv i−1) of the V pixels adjacent to the target W pixel diagonally up and down. , j + 1 , Sv i + 1, j-1 ), the gradation value (L i, j ) assigned to the pixel at the corresponding position of the low-
以上の3-1〜3-3の処理により、低感度画像生成部35は、低感度画像44の全ての画素に階調値を割り当てて、図5(a)に示したように、原画像41の各画素に対応した画素に階調値(Li,j)を割り当てた低感度画像44を生成する。
Through the above processes 3-1 to 3-3, the low-sensitivity image generation unit 35 assigns gradation values to all the pixels of the low-
『4.広ダイナミックレンジ画像の生成処理』
図3の続くSTEP5は、広ダイナミックレンジ画像生成部36による処理である。広ダイナミックレンジ画像生成部36は、高感度画像43と低感度画像44の対応する配置位置の画素(配置位置が同じ画素)間で、階調値の合成を行って広ダイナミックレンジ画像45を生成する。
“4. Wide dynamic range image generation process ”
The
ここで、第1補正係数算出部37は、以下の式(40)により、階調値の合成に用いる第1高感度補正係数a1i,j(i,jは対応する画素の配置位置を示す)を、カラー画像42と高感度画像43の対応する各画素ごとに算出する。
Here, the first correction
但し、a1i,j:各画素用の第1高感度補正係数、Hi,j:高感度画像43の各画素の階調値、Yi,j:カラー画像42の各画素の輝度階調値(上記式(27)により算出)。
Where a1 i, j : first high sensitivity correction coefficient for each pixel, H i, j : gradation value of each pixel of
また、第1補正係数算出部37は、以下の式(41)により、階調値の合成に用いる第1低感度補正係数b1i,j(i,jは対応する画素の配置位置を示す)を、カラー画像42と低感度画像44の対応する各画素ごとに算出する。
Further, the first correction
但し、b1i,j:各画素用の第1低感度補正係数、Li,j:低感度画像44の各画素の階調値、Yi,j:カラー画像42の各画素の輝度階調値(上記式(27)により算出)。
Where b1 i, j is the first low-sensitivity correction coefficient for each pixel, L i, j is the gradation value of each pixel of the low-
広ダイナミックレンジ画像生成部36は、第1高感度補正係数a1i,jと第1低感度補正係数b1i,jを用いて、カラー画像42と高感度画像43と低感度画像44の対応する画素の階調値を合成するが、RGB受光画素とW受光画素とV受光画素の感度差にはばらつきがある。また、階調値にはランダムノイズが含まれるため、単純に合成するとSN比(Signal/Noise比)の不連続性の影響により、生成される画像が不自然なものになる。
The wide dynamic range
そこで、広ダイナミックレンジ画像生成部36は、以下の式(42)の重み付け関数を用いて合成を行う。
Therefore, the wide dynamic range
但し、w(x):シグモイド関数、g:ゲイン。なお、上記式(42)は重み付け関数の一例であり、他の重み付け関数を用いてもよい。 Where w (x): sigmoid function, g: gain. The equation (42) is an example of a weighting function, and other weighting functions may be used.
広ダイナミックレンジ画像生成部36は、高感度画像43の階調値(Hi,j)を最大階調値(分解能が8bitであれば255、10bitであれば1023)に対して規格化した規格化階調値(hi,j)と、低感度画像44の階調値(Li,j)を最大階調値に対して規格化した規格化階調値(li,j)と、カラー画像42から上記式(27)により算出した参照階調値(Yi,j)を最大階調値に対して規格化した規格化階調値(yi,j)を求める。
The wide dynamic range
なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Hi,j=200,Li,j=50,Yi,j=65で、最大階調値が255であるときには、hi,j=200/255,li,j=50/255,yi,j=65/255となる。 Note that normalizing the gradation value with respect to the maximum gradation value means dividing the gradation value by the maximum gradation value. For example, H i, j = 200, L i, j = 50, When Y i, j = 65 and the maximum gradation value is 255, h i, j = 200/255, l i, j = 50/255, y i, j = 65/255.
そして、広ダイナミックレンジ画像生成部36は、先ず、以下の式(43)により、規格化階調値yi,jとhi,jについて合成した階調値hdri,jを算出する。
Then, the wide dynamic range
次に、広ダイナミックレンジ画像生成部36は、以下の式(44)により、上記式(43)により算出した階調値hdri,jと規格化階調値li,jについて合成した階調値shdri,jを算出する。
Next, the wide dynamic range
さらに、広ダイナミックレンジ画像生成部36は、低階調のコントラストを保つために、以下の式(45)によって、上記式(44)で算出した階調値shdri,jにγ変換処理を行う。
Further, the wide dynamic range
但し、HDRi,j:広ダイナミックレンジ画像の画素の階調値、Mb:広ダイナミックレンジ画像の画素の最大階調値。 Where HDR i, j is the gradation value of the pixel of the wide dynamic range image, and Mb is the maximum gradation value of the pixel of the wide dynamic range image.
以上の式(43)〜式(45)により各画素について算出した階調値HDRi,j(本発明の広レンジ階調値に相当する)を、対応する広ダイナミックレンジ画像45の画素の階調値(Di,j)として割り当てることによって、広ダイナミックレンジ画像生成部36は、図5(b)に示したように、原画像41の各画素に対応した画素に、階調値(Di,j)を割り当てた広ダイナミックレンジ画像45を生成することができる。
The gradation value HDR i, j (corresponding to the wide range gradation value of the present invention) calculated for each pixel by the above equations (43) to (45) is used as the pixel level of the corresponding wide
『5.対象物検知処理』
図3のSTEP6〜STEP8、及びSTEP20は、対象物検知部39による処理である。対象物検知部39は、検知対象物の種別又はカメラ2の撮像条件に応じて、カラー画像42から対象物を検知する処理と、高感度画像43から対象物を検知する処理と、広ダイナミックレンジ画像45から対象物を検知する処理とを切替える。
“5. Object detection processing
[5-1.高感度画像による対象物検知]
対象物検知部39は、STEP6で、高感度画像43から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像43を用いることによって、車両1の周辺に存在する歩行者を精度良く検知することができる。
[5-1. Object detection using high-sensitivity images]
The
対象物検知部39は、歩行者を検知したときに、車両1との接触可能性の有無を判断する。そして、車両1との接触可能性有りと判断したときには、車両コントローラ6に対して接触回避措置の実施を指示する制御信号を送信する。
The
この制御信号の受信に応じて、車両コントローラ6のディスプレイ表示制御部63は、ディスプレイ73に警報表示を行う。また、制動制御部62は、必要に応じて、制動装置72を作動させて接触を回避する処理を行う。
In response to the reception of this control signal, the display
続くSTEP7で、対象物検知部39は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両1に備えられたヘッドライト(図示しない)の点灯/消灯の状態から判断する。また、車両1に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。
In subsequent STEP 7, the
[5-2.広ダイナミックレンジ画像による対象物検知]
夜間であったときには、STEP20に分岐し、対象物検知部39は、広ダイナミックレンジ画像45から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。
[5-2. Object detection by wide dynamic range image]
When it is nighttime, the process branches to STEP 20, and the
そして、暗い物体としては、車両1のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両1のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両1のヘッドライトに照射されている歩行者等が挙げられる。そこで、夜間においては、広ダイナミックレンジ画像45を用いることによって、他車両、歩行者を検知することができる。
And as a dark object, a distant other vehicle outside the headlight irradiation area of the
対象物検知部39は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ6に対して、接触回避措置の実施を指示する制御信号を送信する。また、信号機を検知したときには、対象物検知部39は、必要に応じて車両コントローラ6に車両1の制動を指示する制御信号を送信し、この制御信号の受信に応じて、制動制御部62が制動装置72を作動させて車両1を制動する。
When the
[5-3.カラー画像による対象物検知]
STEP7で夜間でなかったときにはSTEP8に進み、対象物検知部39は、カラー画像42から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。
[5-3. Object detection by color image]
When it is not nighttime in STEP7, the process proceeds to STEP8, and the
そこで、対象物検知部39は、カラー画像42からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部39は、レーンマークの色(白線、黄線等)からレーンマークの属性を判断する。また、対象物検知部39は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。
Therefore, the
そして、対象物検知部39は、レーンマークの検知位置から車両1を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ6に送信し、この制御信号の受信に応じて、操舵制御部61が操舵装置71の作動を制御する。
And the target
また、対象物検知部39は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ6に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部39は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ6に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部63はディスプレイ73に警報表示を行う。また、必要に応じて、制動制御部62は、制動装置72を作動させて車両1を制動する。
Moreover, the target
『6.高感度補正係数及び低感度補正係数の他の算出例』
上述した実施形態では、各画素に対応した第1高感度補正係数a1i,j及び第1低感度補正係数b1i,jを算出したが、第2補正係数算出部38により、各画素に共通に使用する第2高感度補正係数a2及び第2低感度補正係数b2を算出するようにしてもよい。以下、図6及び図7に示したフローチャートに従って、第2補正係数算出部38による第2高感度補正係数a2及び第2低感度補正係数b2の算出処理について説明する。
“6. Other calculation examples of high sensitivity correction coefficient and low sensitivity correction coefficient
In the above-described embodiment, the first high sensitivity correction coefficient a1 i, j and the first low sensitivity correction coefficient b1 i, j corresponding to each pixel are calculated. The second high-sensitivity correction coefficient a2 and the second low-sensitivity correction coefficient b2 used in the above may be calculated. Hereinafter, the calculation process of the second high sensitivity correction coefficient a2 and the second low sensitivity correction coefficient b2 by the second correction coefficient calculation unit 38 will be described according to the flowcharts shown in FIGS.
図6のSTEP30で、第2補正係数算出部38は、図8に示したように、カラー画像42,高感度画像43,及び低感度画像44の道路の画像部分91について複数の路面ブロック95(95a,95b,95c,…、本発明の補正係数算出領域に相当する)を設定し、また、車線区分線の画像部分92について複数の区分線ブロック96(96a,96b,96c,…、本発明の補正係数算出領域に相当する)を設定する。
In
そして、次のSTEP31で、第2補正係数算出部38は、各路面ブロック95と区分線ブロック96について、W画素,R・G・B画素、及びV画素の飽和率と黒潰れ率を算出する。
Then, in the
ここで、飽和率は、各ブロックの総画素数に対する階調値が最大値(分解能が8bitであれば255、本発明の第1所定値に相当する)になっている画素の個数の割合である。また、黒潰れ率は、各ブロックの総画素数に対する階調値が最小値(0、本発明の第2所定値に相当する)になっている画素の割合である。なお、最大値及び最小値ではなく、最大値及び最小値の付近に設定した階調値により、飽和率及び黒潰れ率を算出してもよい。 Here, the saturation rate is a ratio of the number of pixels in which the gradation value with respect to the total number of pixels of each block is the maximum value (255 if the resolution is 8 bits, which corresponds to the first predetermined value of the present invention). is there. Further, the blackout ratio is a ratio of pixels in which the gradation value with respect to the total number of pixels of each block is a minimum value (0, corresponding to the second predetermined value of the present invention). Note that the saturation rate and the black crushing rate may be calculated based on gradation values set in the vicinity of the maximum value and the minimum value instead of the maximum value and the minimum value.
続くSTEP32で、第2補正係数算出部38は、W画素,R・G・B画素,及びV画素のいずれについても、飽和率が第1閾値以下、且つ、黒潰れ率が第2閾値以下であるブロック(有効なブロック)があるか否かを判断する。そして、有効なブロックがあるときはSTEP33に進み、有効なブロックがないときにはSTEP30に分岐する。
In
STEP33で、第2補正係数算出部38は、有効な各ブロック(路面ブロック及び区分線ブロック)について、カラー画像42の各画素のR・G・B階調値から、上記式(27)により参照階調値Yi,jを算出する。次のSTEP34で、第2補正係数算出部38は、有効な路面ブロックがあるか否かを判断する。
In
そして、有効な路面ブロックがあるときはSTEP35に進み、第2補正係数算出部38は、有効な各路面ブロックについて、高感度画像43の各画素の階調値(Hi,j)の平均階調値Rbwと、低感度画像44の各画素の階調値(Li,j)の平均階調値Rbvと、カラー画像42の各画素の参照階調値(Yi,j)の平均階調値Rbyとを算出する。また、有効な路面ブロックがないときにはSTEP36に分岐する。
When there is an effective road surface block, the process proceeds to STEP 35, and the second correction coefficient calculation unit 38 calculates the average rank of the gradation values (H i, j ) of each pixel of the high-
STEP36で、第2補正係数算出部38は、有効な区分線ブロックがあるか否かを判断する。そして、有効な区分線ブロックがあるときはSTEP37に進み、第2補正係数算出部38は、有効な各区分線ブロックについて、高感度画像43の各画素の階調値(Hi,j)の平均階調値Lbwと、低感度画像44の各画素の階調値(Li,j)の平均階調値Lbvと、カラー画像42の各画素の参照階調値(Yi,j)の平均階調値Lbyとを算出する。また、有効な区分線ブロックがないときには図7のSTEP38に分岐する。
In
図7のSTEP38で、第2補正係数算出部38は、有効な路面ブロックと区分線ブロックがあるか否かを判断する。そして、有効な路面ブロックと区分線ブロックがあるときはSTEP39に進み、有効な路面ブロックと区分線ブロックのいずれかのみしかないときにはSTEP50に分岐する。 In STEP 38 of FIG. 7, the second correction coefficient calculation unit 38 determines whether there are valid road surface blocks and lane marking blocks. If there is an effective road surface block and a dividing line block, the process proceeds to STEP 39, and if there is only one of the effective road surface block and the dividing line block, the process branches to STEP 50.
STEP39で、第2補正係数算出部38は、以下の式(46)〜式(48)により、有効な全ての路面ブロックのRbw,Rbv,Rbyのそれぞれの平均値であるRbwave,Rbvave,Rbyaveを算出する。
In
但し、p:有効な路面ブロックの個数。 Where p: the number of effective road surface blocks.
但し、p:有効な路面ブロックの個数。 Where p: the number of effective road surface blocks.
但し、p:有効な路面ブロックの個数。 Where p: the number of effective road surface blocks.
また、次のSTEP40で、第2補正係数算出部38は、以下の式(49)〜式(51)により、有効な全ての区分線ブロックのLbw,Lbv,Lbyの各平均値であるLbwave,Lbvave,Lbyaveを算出する。
In the
但し、q:有効な区分線ブロックの個数。 Where q: the number of valid lane marking blocks.
但し、q:有効な区分線ブロックの個数。 Where q: the number of valid lane marking blocks.
但し、q:有効な区分線ブロックの個数。 Where q: the number of valid lane marking blocks.
続くSTEP41で、第2補正係数算出部38は、以下の式(52)〜式(55)により、路面ブロックにおけるW受光画素とR・G・B受光画素との感度差を表す係数aRb、路面ブロックにおけるR・G・B受光画素とV受光画素との感度差を表す係数bRb、区分線ブロックにおけるW受光画素とR・G・B受光画素との感度差を表す係数aLb、及び区分線ブロックにおけるR・G・B受光画素とV受光画素との感度差を表す係数bLbとを算出する。
In
そして、第2補正係数算出部38は、以下の式(56)と式(57)により、W受光画素とR・G・B受光画素との感度差を表す第2高感度補正係数a2と、R・G・B受光画素とV受光画素との感度差を表す第2低感度補正係数b2を算出し、STEP42に進んで処理を終了する。 Then, the second correction coefficient calculation unit 38 obtains a second high-sensitivity correction coefficient a2 that represents the sensitivity difference between the W light-receiving pixel and the R / G / B light-receiving pixel according to the following expressions (56) and (57): A second low-sensitivity correction coefficient b2 representing the sensitivity difference between the R, G, B light receiving pixels and the V light receiving pixels is calculated, and the process proceeds to STEP 42 and the process is terminated.
但し、c1,c2:路面ブロックと区分線ブロックに対する重み付け係数。 However, c1, c2: Weighting coefficients for road surface blocks and lane marking blocks.
但し、d1,d2:路面ブロックと区分線ブロックに対する重み付け係数。 However, d1, d2: Weighting coefficients for road surface blocks and lane marking blocks.
また、STEP50で、第2補正係数算出部38は、有効な路面ブロックがあるか否かを判断する。そして、有効な路面ブロックがあるとき(この場合は、有効な区分線ブロックがない)は、STEP51に進み、有効な路面ブロックがないとき(この場合は、有効な区分線ブロックのみがある)にはSTEP60に分岐する。
In
STEP51で、第2補正係数算出部38は、上記式(46)〜式(48)により、有効な全ての路面ブロックのRbw,Rbv,Rbyの各平均値であるRbwave,Rbvave,Rbyaveを算出する。そして、上記式(52)によりaRbを算出して、aRbを第2高感度補正係数a2とする。また、上記式(53)によりbRbを算出して、bRbを第2低感度補正係数b2とし、STEP42に進んで処理を終了する。 In STEP 51, the second correction coefficient calculation unit 38 calculates Rbw ave , Rbv ave , Rby ave that are average values of Rbw, Rbv, Rby of all effective road surface blocks by the above formulas (46) to (48). Is calculated. Then, aRb is calculated by the above equation (52), and aRb is set as the second high sensitivity correction coefficient a2. Further, bRb is calculated by the above equation (53), bRb is set as the second low sensitivity correction coefficient b2, and the process proceeds to STEP42 and the process is terminated.
また、STEP60で、第2補正係数算出部38は、上記式(49)〜式(51)により、有効な全ての区分線ブロックのLbw,Lbv,Lbyの各平均値であるLbwave,Lbvave,Lbyaveを算出する。そして、上記式(54)によりaLbを算出して、aLbを第2高感度補正係数a2とする。また、上記式(55)によりbLbを算出して、bLbを第2低感度補正係数b2として、STEP42に進んで処理を終了する。 Further, in STEP 60, the second correction coefficient calculation unit 38 obtains Lbw ave and Lbv ave that are average values of Lbw, Lbv, and Lby of all valid lane marking blocks by the above formulas (49) to (51). , Lby ave is calculated. Then, aLb is calculated by the above equation (54), and aLb is set as the second high sensitivity correction coefficient a2. Further, bLb is calculated by the above equation (55), bLb is set as the second low sensitivity correction coefficient b2, and the process proceeds to STEP 42 and the process is terminated.
第2補正係数算出部38は、このようにして算出した第2高感度補正係数a2と第2低感度補正係数b2を、上記式(43)〜式(44)の第1高感度補正係数a1i,jと第1低感度補正係数b1i,jに、それぞれ置き換えることによって、広ダイナミックレンジ画像の各画素に割り当てる階調値を算出する。 The second correction coefficient calculation unit 38 uses the second high sensitivity correction coefficient a2 and the second low sensitivity correction coefficient b2 calculated in this way as the first high sensitivity correction coefficient a1 in the above equations (43) to (44). By replacing i, j and the first low-sensitivity correction coefficient b1 i, j respectively, the gradation value assigned to each pixel of the wide dynamic range image is calculated.
なお、図6のSTEP32で、有効な路面ブロックと区分線ブロックがいずれもなかったときには、第2補正係数算出部38は、上述した各画素についての第1高感度補正係数a1i,jと第1低感度補正係数b1i,jを用いるか、或いは、予めD65光源又は擬似太陽光源をテストターゲットに照射して算出しておいた高感度補正係数と低感度補正係数を使用する。
Note that when there is neither an effective road surface block nor a lane marking block in
また、上記式(43)〜式(44)では、W画素(高感度画素)とR・G・B画素の階調値の合成を行った後に、V画素(低感度画素)の階調値との合成を行ったが、第2補正係数算出部38は、図6のSTEP31で、各ブロックのW画素とV画素の飽和率を求めて、STEP32で飽和率と黒潰れ率が低いブロックを有効ブロックとして選択している。
In the above formulas (43) to (44), the tone values of the V pixel (low sensitivity pixel) are synthesized after the tone values of the W pixel (high sensitivity pixel) and the R / G / B pixel are synthesized. The second correction coefficient calculation unit 38 obtains the saturation rate of the W pixel and the V pixel of each block in
そこで、W画素の飽和率と黒潰れ率が共に判定閾値未満であるブロック(W画素で処理可能なブロック)の個数をw_numberとし、V画素の飽和率と黒潰れ率が共に判定閾値未満であるブロック(V画素で処理可能なブロック)の個数をv_numberとすると、
w_number ≧ v_number
であるときは、カメラ2の露出がアンダー気味でV画素の階調値にノイズが多く含まれていると考えられる。そこで、上記式(43)〜式(44)のように、W画素とR・G・B画素の階調値の合成を行った後に、V画素の階調値との合成を行うことが好ましい。
Therefore, the number of blocks (blocks that can be processed with W pixels) in which both the W pixel saturation rate and the black crushing rate are less than the determination threshold is w_number, and both the V pixel saturation rate and the black crushing rate are less than the determination threshold. If the number of blocks (blocks that can be processed with V pixels) is v_number,
w_number ≧ v_number
In this case, it is considered that the exposure of the
それに対して、
w_number < v_number
であるときには、カメラ2の露出がオーバー気味でW画素のコントラストが失われている可能性がある。そこで、上記式(43)〜式(44)とは逆に、R・G・B画素とV画素の階調値の合成を行った後に、W画素の階調値との合成を行うことが好ましい。
On the other hand,
w_number <v_number
In such a case, there is a possibility that the
なお、本実施形態では、原画像41から、カラー画像42、高感度画像43、及び低感度画像44を生成して、各画像間の対応する画素について、階調値を合成することにより広ダイナミックレンジ画像45を生成したが、カラー画像42、高感度画像43、及び低感度画像44を生成せずに、原画像41の各画素に高感度の階調値(Hi,j)と低感度の階調値(Li,j)とR・G・Bの階調値(Ci,jr,Ci,jg,Ci,jb)を割当てて、これらの階調値から直接的に広ダイナミックレンジ画像を生成するようにしてもよい。
In the present embodiment, a
また、本実施形態においては、第1高感度補正係数a1i,j及び第1低感度補正係数b1i,jと、第2高感度補正係数a2及び第2低感度補正係数b2を用いて、高感度階調値(Hi,j)と低感度階調値(Li,j)を合成する例を示したが、他の手法による重み付け等を行って高感度階調値(Hi,j)と低感度階調値(Li,j)を合成して、広ダイナミックレンジ画像を生成してもよい。 In the present embodiment, the first high sensitivity correction coefficient a1 i, j and the first low sensitivity correction coefficient b1 i, j , the second high sensitivity correction coefficient a2 and the second low sensitivity correction coefficient b2 are used. Although an example in which the high sensitivity gradation value (H i, j ) and the low sensitivity gradation value (L i, j ) are combined has been shown, the high sensitivity gradation value (H i, j ) is weighted by other methods . j ) and the low sensitivity gradation value (L i, j ) may be combined to generate a wide dynamic range image.
1…車両、2…カメラ、3…画像コントローラ、6…車両コントローラ、21…フィルタ、22…撮像素子、30…制御回路、31…原画像取得部、32…画像生成部、33…カラー画像生成部、34…高感度画像生成部、35…低感度画像生成部、36…広ダイナミックレンジ画像生成部、37…第1補正係数算出部、38…第2補正係数算出部、39…対象物検知部、41…原画像、42…カラー画像、43…高感度画像、44…低感度画像、45…広ダイナミックレンジ画像。
DESCRIPTION OF
Claims (5)
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各第1透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第1透明画素と、前記各第2透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第2透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各画素に対し、第1透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第2透明画素について周囲の第1透明画素の階調値に基づく高感度階調値を割り当て、また、第2透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第1透明画素について周囲に配置された第2透明画素の階調値に基づく低感度階調値を割り当てて、
前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、各画素ごとに合成した各画素の広レンジ階調値を算出し、各画素の広レンジ階調値を広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と、
前記広ダイナミックレンジ画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部と
を備えたことを特徴とする車両周辺監視装置。 A plurality of color light receiving pixels mounted on a vehicle and receiving light via a color filter, a plurality of first transparent light receiving pixels receiving light without passing through a color filter, and a first transparent light receiving pixel without passing through a color filter A camera that captures an image with an image sensor in which a plurality of second transparent light-receiving pixels that receive light with low transmittance are disposed;
A plurality of color pixels that are imaged by the camera and are individually assigned gradation values corresponding to the light receiving levels of the color light receiving pixels, and gradation values corresponding to the light receiving levels of the first transparent light receiving pixels Acquisition of an original image in which a plurality of individually assigned first transparent pixels and a plurality of second transparent pixels to which gradation values corresponding to light reception levels of the respective second transparent light receiving pixels are individually assigned are arranged An original image acquisition unit,
For each pixel of the original image, a high sensitivity gradation value based on its own gradation value is assigned to the first transparent pixel, and based on the gradation values of the surrounding first transparent pixels for the color pixel and the second transparent pixel. A high-sensitivity gradation value is assigned, a high-sensitivity gradation value based on its own gradation value is assigned to the second transparent pixel, and the steps of the second transparent pixel arranged around the color pixel and the first transparent pixel are assigned. Assign a low sensitivity gradation value based on the key value,
A wide range gradation value of each pixel obtained by combining the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image for each pixel is calculated. Assigning a value as a gradation value of a pixel at a corresponding arrangement position of a wide dynamic range image, an image generation unit for generating a wide dynamic range image;
A vehicle periphery monitoring device, comprising: an object detection unit that detects an object existing around the vehicle using the wide dynamic range image.
前記カラーフィルタは3原色カラーフィルタであって、前記カラー受光画素は、3原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像の各第1透明画素及び各第2透明画素に対して、周囲に配置されたカラー画素の階調値に基づく3原色の各階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく3原色の階調値を割り当てて、前記原画像の各画素に割り当てた3原色の階調値に基づくグレーの参照階調値を算出し、各画素に対して、対応する前記高感度階調値と前記参照階調値との相違度に応じた第1高感度補正係数と、対応する前記低感度階調値と前記参照階調値との相違度に応じた第1低感度補正係数とを算出する第1補正係数算出部を備え、
前記画像生成部は、前記原画像の各画素について、割り当てられた前記高感度階調値と前記低感度階調値とを、対応する前記第1高感度補正係数及び前記第1低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 1,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
To each first transparent pixel and each second transparent pixel of the original image, each gradation value of three primary colors based on the gradation values of the color pixels arranged around is assigned, and to each color pixel of the original image On the other hand, the gradation values of the three primary colors based on the gradation values of the own image or the gradation values of other color pixels arranged in the surroundings are assigned to the gradation values of the three primary colors assigned to the pixels of the original image. A gray reference gradation value is calculated, and a first high sensitivity correction coefficient corresponding to a difference between the corresponding high sensitivity gradation value and the reference gradation value is calculated for each pixel, and the corresponding low A first correction coefficient calculation unit that calculates a first low sensitivity correction coefficient according to the difference between the sensitivity gradation value and the reference gradation value;
The image generation unit assigns the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image to the corresponding first high sensitivity correction coefficient and the first low sensitivity correction coefficient. A vehicle periphery monitoring device that calculates the wide-range gradation value of each pixel by combining them.
前記カラーフィルタは3原色カラーフィルタであって、前記カラー受光画素は、3原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、補正係数算出領域として設定し、該補正係数算出領域内の各第1透明画素及び第2透明画素に対して、周囲に配置されたカラー画素の階調値に基づく3原色の各階調値を割り当てると共に、前記補正係数算出領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく3原色の階調値を割り当てて、前記補正係数算出領域内の各画素に割り当てた3原色の階調値に基づくグレーの参照階調値を算出し、前記補正係数算出領域内の各画素に割り当てられた前記高感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第2高感度補正係数と、前記補正係数算出領域内の各画素に割り当てられた前記低感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第2低感度補正係数とを算出する第2補正係数算出部とを備え、
前記画像生成部は、前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、前記第2高感度補正係数及び前記第2低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 1,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
In the original image, an area including an image part of a road or an image part of a lane marking line laid on the road is set as a correction coefficient calculation area, and each first transparent pixel and second pixel in the correction coefficient calculation area are set. The gradation values of the three primary colors based on the gradation values of the surrounding color pixels are assigned to the transparent pixels, and each color pixel in the correction coefficient calculation area is arranged in its own gradation value or the surrounding area. A gray reference gradation value is calculated based on the gradation values of the three primary colors assigned to each pixel in the correction coefficient calculation area by assigning gradation values of the three primary colors based on the gradation values of the other color pixels. The second high sensitivity according to the difference between the average value of the high sensitivity gradation value assigned to each pixel in the correction coefficient calculation area and the average value of the reference gradation value calculated for each pixel. Correction coefficient and the correction coefficient calculation area A second low-sensitivity correction coefficient corresponding to the degree of difference between the average value of the low-sensitivity gradation values assigned to each pixel and the average value of the reference gradation value calculated for each pixel is calculated. 2 correction coefficient calculation unit,
The image generation unit combines the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image using the second high sensitivity correction coefficient and the second low sensitivity correction coefficient. Thus, the vehicle periphery monitoring device calculates the wide range gradation value of each pixel.
前記第2補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた高感度階調値が第1所定値以上である画素の割合が第1閾値以下である補正係数算出領域を対象として、前記第2高感度補正係数を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 3,
The second correction coefficient calculation unit sets a plurality of correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels having an assigned high sensitivity gradation value equal to or greater than a first predetermined value is the first. The vehicle periphery monitoring device, wherein the second high sensitivity correction coefficient is calculated for a correction coefficient calculation area that is equal to or less than one threshold.
前記第2補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた低感度階調値が第2所定値以下である画素の割合が第2閾値以下である補正係数算出領域を対象として、前記第2低感度補正係数を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 3 or claim 4,
The second correction coefficient calculation unit sets a plurality of the correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels whose assigned low sensitivity gradation value is equal to or less than a second predetermined value is the first. 2. The vehicle periphery monitoring device, wherein the second low sensitivity correction coefficient is calculated for a correction coefficient calculation area that is equal to or less than two thresholds.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012263120A JP5703279B2 (en) | 2012-11-30 | 2012-11-30 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012263120A JP5703279B2 (en) | 2012-11-30 | 2012-11-30 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014109853A true JP2014109853A (en) | 2014-06-12 |
JP5703279B2 JP5703279B2 (en) | 2015-04-15 |
Family
ID=51030463
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012263120A Expired - Fee Related JP5703279B2 (en) | 2012-11-30 | 2012-11-30 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5703279B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10783619B2 (en) | 2016-10-26 | 2020-09-22 | Denso Corporation | Image generating apparatus for combining plural images based on different shutter times |
US20210331691A1 (en) * | 2020-04-28 | 2021-10-28 | Mando Corporation | Driver assistance system and driver assistance method |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199117A (en) * | 2001-12-25 | 2003-07-11 | Sony Corp | Image pickup device and signal processing method for solid-state imaging element |
JP2007258686A (en) * | 2006-02-23 | 2007-10-04 | Fujifilm Corp | Solid-state image pick-up device and image pick-up device |
JP2011243817A (en) * | 2010-05-20 | 2011-12-01 | Sony Corp | Solid state imaging device and electronic apparatus |
WO2013088821A1 (en) * | 2011-12-16 | 2013-06-20 | 本田技研工業株式会社 | Image processing device |
WO2013108493A1 (en) * | 2012-01-17 | 2013-07-25 | 本田技研工業株式会社 | Image processing device |
-
2012
- 2012-11-30 JP JP2012263120A patent/JP5703279B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003199117A (en) * | 2001-12-25 | 2003-07-11 | Sony Corp | Image pickup device and signal processing method for solid-state imaging element |
JP2007258686A (en) * | 2006-02-23 | 2007-10-04 | Fujifilm Corp | Solid-state image pick-up device and image pick-up device |
JP2011243817A (en) * | 2010-05-20 | 2011-12-01 | Sony Corp | Solid state imaging device and electronic apparatus |
WO2013088821A1 (en) * | 2011-12-16 | 2013-06-20 | 本田技研工業株式会社 | Image processing device |
WO2013108493A1 (en) * | 2012-01-17 | 2013-07-25 | 本田技研工業株式会社 | Image processing device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10783619B2 (en) | 2016-10-26 | 2020-09-22 | Denso Corporation | Image generating apparatus for combining plural images based on different shutter times |
US20210331691A1 (en) * | 2020-04-28 | 2021-10-28 | Mando Corporation | Driver assistance system and driver assistance method |
US11634120B2 (en) * | 2020-04-28 | 2023-04-25 | Hl Mando Corporation | Driver assistance system and driver assistance method |
Also Published As
Publication number | Publication date |
---|---|
JP5703279B2 (en) | 2015-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5732145B2 (en) | Image processing device | |
JP5595606B2 (en) | Image processing device | |
US9626570B2 (en) | Vehicle control system and image sensor | |
JP5115792B2 (en) | Image processing apparatus and method, and program | |
US9639764B2 (en) | Image recognition system for vehicle for traffic sign board recognition | |
JP4191759B2 (en) | Auto light system for vehicles | |
JP5071198B2 (en) | Signal recognition device, signal recognition method, and signal recognition program | |
WO2012172922A1 (en) | Vehicle-mounted camera device | |
JP6420650B2 (en) | Outside environment recognition device | |
US11710291B2 (en) | Image recognition device and image recognition method | |
JP5697646B2 (en) | Vehicle periphery monitoring device | |
JP5703279B2 (en) | Vehicle periphery monitoring device | |
JP5746116B2 (en) | Vehicle monitoring device | |
CN111435972A (en) | Image processing method and device | |
JP5904825B2 (en) | Image processing device | |
JP2013187572A (en) | Image processing apparatus | |
US8797401B2 (en) | Control device for a camera arrangement, camera arrangement for a vehicle and method for controlling a camera in a vehicle | |
JP2014529951A (en) | Method and apparatus for adapting the filter characteristics of a correction color filter and for operating an image sensor | |
JP2013187573A (en) | Vehicle periphery monitoring apparatus | |
JP2006005621A (en) | Imaging device | |
JP2020162034A (en) | Imaging apparatus and image processing method | |
JP2006005624A (en) | Imaging device | |
JP2011251600A (en) | Device for detecting brake operation | |
JP2006005623A (en) | Imaging device | |
JP2006005622A (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140624 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5703279 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |