JP2014109853A - Vehicle periphery monitoring device - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide a vehicle periphery monitoring device that can accurately detect an object existing around a vehicle by a picked-up image in which a dynamic range is expanded.SOLUTION: A camera 2 performs imaging by an image pick-up device 22 in which an R.G.B light receiving pixel for receiving light through a color filter 21, a first transparent light receiving pixel for receiving light without the color filter, and a plurality of second transparent light receiving pixels for receiving light at a transmittance lower than that of the first transparent light receiving pixel are arranged. An image generation unit 32 synthesizes gradation values of respective pixels corresponding to a high sensitivity image 43 and a low sensitivity image 44 generated from an original image 41, and generates a wide dynamic range image 45. An object detection unit 39 detects an object by using the wide dynamic range image 45.

Description

本発明は、車両に搭載されたカメラによる撮像画像を用いて、車両周辺に存在する対象物を監視する車両周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that monitors an object existing around a vehicle using an image captured by a camera mounted on the vehicle.

従来より、車両に搭載されたカラーカメラによる撮像画像から、前走車の警報ランプ（（制動ランプ、方向指示ランプ）を検知して、自車両と前方車両との車間距離及び相対速度を算出し、この車間距離と相対速度の変化状態から前方車両に追突するまでの時間を予測して、運転者に対する警報を実行するようにした装置が提案されている（例えば、特許文献１参照）。   Conventionally, an alarm lamp (braking lamp, direction indicator lamp) of the preceding vehicle is detected from an image captured by a color camera mounted on the vehicle, and the inter-vehicle distance and relative speed between the host vehicle and the preceding vehicle are calculated. There has been proposed a device that predicts a time until a vehicle collides with a preceding vehicle from a change state of the inter-vehicle distance and relative speed, and issues a warning to the driver (for example, see Patent Document 1).

特公平６−１０８３９号公報Japanese Patent Publication No. 6-10839

車両に搭載されるカメラは、暗い対象物（例えば、夜間に歩道に所在する歩行者等）から、明るい対象物（前走車の制動ランプ等）までの広範囲の明るさの対象物を撮像して、その画像部分を抽出可能とするために、広いダイナミックレンジを有していることが望ましい。   A camera mounted on a vehicle captures a wide range of brightness objects from dark objects (for example, pedestrians on the sidewalk at night) to bright objects (brake lamps on the preceding vehicle, etc.). In order to extract the image portion, it is desirable to have a wide dynamic range.

しかし、一般的なカメラにおいては、単一のフォトダイオードを受光素子として電荷を蓄積するため、フォトダイオードの容量を超える放射照度の光を受光すると、出力信号が飽和してそれ以上の輝度差を認識することができなくなる。そのため、単一のフォトダイオードで表現することができるダイナミックレンジには限界がある。   However, in a general camera, a single photodiode is used as the light receiving element to store the charge, so when receiving light with an irradiance exceeding the capacity of the photodiode, the output signal saturates and the brightness difference is further increased. It becomes impossible to recognize. Therefore, there is a limit to the dynamic range that can be expressed by a single photodiode.

そこで、１画素に対して容量が異なるフォトダイオードを複数個配置して、この複数個のフォトダイオードの信号を合算してダイナミックレンジを拡大する方法（従来方法１）や、露光時間を変えた複数の撮像画像を合成してダイナミックレンジを拡大する方法（従来方法２）が提案されている。   Therefore, a method of arranging a plurality of photodiodes having different capacities for one pixel and adding the signals of the plurality of photodiodes to expand the dynamic range (conventional method 1), or a plurality of methods with different exposure times. A method of expanding the dynamic range by combining the captured images (conventional method 2) has been proposed.

しかしながら、従来方法１による場合は、１画素に複数のフォトダイオードを配置するために、フォトダイオードのサイズを小さくしたときは撮像画像の感度が低下し、フォトダイオードのサイズを変えないときには配置可能な画素の数が減少して解像度が低下する。また、従来方法２による場合には、異なる時間で露光した画像を使用することにより、合成画像がぼけて画質が劣化する。そのため、これらの従来方法によりダイナミックレンジを拡大した画像を用いたときには、対象物を精度良く検知することが困難であった。   However, in the case of the conventional method 1, since a plurality of photodiodes are arranged in one pixel, the sensitivity of the captured image is lowered when the size of the photodiode is reduced, and can be arranged when the size of the photodiode is not changed. The number of pixels decreases and the resolution decreases. In the case of the conventional method 2, by using images exposed at different times, the composite image is blurred and the image quality is deteriorated. For this reason, when using an image whose dynamic range has been expanded by these conventional methods, it has been difficult to accurately detect an object.

本発明は、上記背景に鑑みてなされたものであり、ダイナミックレンジを拡大した撮像画像により、車両周辺に存在する対象物を精度良く検知することができる車両周辺監視装置を提供することを目的とする。   The present invention has been made in view of the above background, and an object of the present invention is to provide a vehicle periphery monitoring device that can accurately detect an object existing around a vehicle using a captured image with an expanded dynamic range. To do.

本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、
車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光素子と、カラーフィルタを介さずに受光する複数の第１透明受光画素と、カラーフィルタを介さずに該第１透明受光画素よりも低い透過率で受光する複数の第２透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各第１透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第１透明画素と、前記各第２透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第２透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各画素に対し、第１透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第２透明画素について周囲の第１透明画素の階調値に基づく高感度階調値を割り当て、また、第２透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第１透明画素について周囲に配置された第２透明画素の階調値に基づく低感度階調値を割り当てて、
前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、各画素ごとに合成した各画素の広レンジ階調値を算出し、各画素の広レンジ階調値を広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と、
前記広ダイナミックレンジ画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部とを備えたことを特徴とする（第１発明）。 The present invention has been made to achieve the above object, and the vehicle periphery monitoring device of the present invention comprises:
A plurality of color light receiving elements mounted on a vehicle and receiving light via a color filter, a plurality of first transparent light receiving pixels receiving light without passing through a color filter, and a first transparent light receiving pixel without passing through a color filter A camera that captures an image with an image sensor in which a plurality of second transparent light-receiving pixels that receive light with low transmittance are disposed;
A plurality of color pixels that are imaged by the camera and are individually assigned gradation values corresponding to the light receiving levels of the color light receiving pixels, and gradation values corresponding to the light receiving levels of the first transparent light receiving pixels Acquisition of an original image in which a plurality of individually assigned first transparent pixels and a plurality of second transparent pixels to which gradation values corresponding to light reception levels of the respective second transparent light receiving pixels are individually assigned are arranged An original image acquisition unit,
For each pixel of the original image, a high sensitivity gradation value based on its own gradation value is assigned to the first transparent pixel, and based on the gradation values of the surrounding first transparent pixels for the color pixel and the second transparent pixel. A high-sensitivity gradation value is assigned, a high-sensitivity gradation value based on its own gradation value is assigned to the second transparent pixel, and the steps of the second transparent pixel arranged around the color pixel and the first transparent pixel are assigned. Assign a low sensitivity gradation value based on the key value,
A wide range gradation value of each pixel obtained by combining the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image for each pixel is calculated. Assigning a value as a gradation value of a pixel at a corresponding arrangement position of a wide dynamic range image, an image generation unit for generating a wide dynamic range image;
An object detection unit that detects an object existing around the vehicle by using the wide dynamic range image (first invention).

第１発明によれば、前記カメラにより撮像された前記原画像においては、第１透明画素により低輝度の対象物の画像情報を得ることができると共に、第２透明画素により高輝度の対象物の画像情報を得ることができる。そして、前記画像生成部により、前記原画像の各画素に対して割り当てた、第１透明画素の階調値に基づく高感度階調値と第２透明画素の階調値に基づく低感度階調値とを、各画素ごとに合成した広レンジ階調値を、広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、感度幅が広い広ダイナミックレンジ画像を生成することができる。   According to the first invention, in the original image captured by the camera, the image information of the low-luminance object can be obtained by the first transparent pixel, and the high-luminance object can be obtained by the second transparent pixel. Image information can be obtained. Then, a high sensitivity gradation value based on the gradation value of the first transparent pixel and a low sensitivity gradation based on the gradation value of the second transparent pixel assigned to each pixel of the original image by the image generation unit. A wide dynamic range image with a wide sensitivity range can be generated by assigning a wide range gradation value obtained by combining the values for each pixel as a gradation value of a pixel at a corresponding arrangement position of the wide dynamic range image. it can.

そして、前記広ダイナミックレンジ画像は、生成に際して、受光素子のサイズの減少による感度低下や受光素子の個数の減少による解像度の低下を伴うものではなく、また、受光素子の露光時間を異ならせる処理も不要であるため、解像度の低下を抑えて、撮像可能な明るさの幅が広い広ダイナミックレンジ画像を生成することができる。そのため、前記対象物検知部は、前記画像生成部により生成された広ダイナミックレンジ画像を用いることにより、車両周辺に監視する広範囲の輝度の対象物を精度良く検知することができる。   The generation of the wide dynamic range image is not accompanied by a decrease in sensitivity due to a decrease in the size of the light receiving element or a decrease in resolution due to a decrease in the number of light receiving elements, and a process for varying the exposure time of the light receiving element. Since this is unnecessary, it is possible to generate a wide dynamic range image with a wide range of brightness that can be captured while suppressing a decrease in resolution. Therefore, the object detection unit can accurately detect an object having a wide range of luminance monitored around the vehicle by using the wide dynamic range image generated by the image generation unit.

また、第１発明において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像の各第１透明画素及び各第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記原画像の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、各画素に対して、対応する前記高感度階調値と前記参照階調値との相違度に応じた第１高感度補正係数と、対応する前記低感度階調値と前記参照階調値との相違度に応じた第１低感度補正係数とを算出する第１補正係数算出部を備え、
前記画像生成部は、前記原画像の各画素について、割り当てられた前記高感度階調値と前記低感度階調値とを、対応する前記第１高感度補正係数及び前記第１低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする（第２発明）。 In the first invention,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
To each first transparent pixel and each second transparent pixel of the original image, each gradation value of three primary colors based on the gradation values of the color pixels arranged around is assigned, and to each color pixel of the original image On the other hand, the gradation values of the three primary colors based on the gradation values of the own image or the gradation values of other color pixels arranged in the surroundings are assigned to the gradation values of the three primary colors assigned to the pixels of the original image. A gray reference gradation value is calculated, and a first high sensitivity correction coefficient corresponding to a difference between the corresponding high sensitivity gradation value and the reference gradation value is calculated for each pixel, and the corresponding low A first correction coefficient calculation unit that calculates a first low sensitivity correction coefficient according to the difference between the sensitivity gradation value and the reference gradation value;
The image generation unit assigns the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image to the corresponding first high sensitivity correction coefficient and the first low sensitivity correction coefficient. The wide range gradation value of each pixel is calculated by combining them using (2nd invention).

第２発明によれば、前記第１高感度補正係数と前記第１低感度補正係数を用いることによって、前記原画像の各画素に割り当てられた前記参照階調値と前記高感度階調値及び前記低感度階調値との相違度に応じて、各画素の前記広レンジ階調値を算出して前記広ダイナミックレンジ画像を生成することができる。   According to the second invention, by using the first high sensitivity correction coefficient and the first low sensitivity correction coefficient, the reference gradation value assigned to each pixel of the original image, the high sensitivity gradation value, and The wide dynamic range image can be generated by calculating the wide range gradation value of each pixel according to the degree of difference from the low sensitivity gradation value.

また、第１発明において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、補正係数算出領域として設定し、該補正係数算出領域内の各第１透明画素及び第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記補正係数算出領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記補正係数算出領域内の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、前記補正係数算出領域内の各画素に割り当てられた前記高感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２高感度補正係数と、前記補正係数算出領域内の各画素に割り当てられた前記低感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２低感度補正係数とを算出する第２補正係数算出部とを備え、
前記画像生成部は、前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、前記第２高感度補正係数及び前記第２低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする（第３発明）。 In the first invention,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
In the original image, an area including an image part of a road or an image part of a lane marking line laid on the road is set as a correction coefficient calculation area, and each first transparent pixel and second pixel in the correction coefficient calculation area are set. The gradation values of the three primary colors based on the gradation values of the surrounding color pixels are assigned to the transparent pixels, and each color pixel in the correction coefficient calculation area is arranged in its own gradation value or the surrounding area. A gray reference gradation value is calculated based on the gradation values of the three primary colors assigned to each pixel in the correction coefficient calculation area by assigning gradation values of the three primary colors based on the gradation values of the other color pixels. The second high sensitivity according to the difference between the average value of the high sensitivity gradation value assigned to each pixel in the correction coefficient calculation area and the average value of the reference gradation value calculated for each pixel. Correction coefficient and the correction coefficient calculation area A second low-sensitivity correction coefficient corresponding to the degree of difference between the average value of the low-sensitivity gradation values assigned to each pixel and the average value of the reference gradation value calculated for each pixel is calculated. 2 correction coefficient calculation unit,
The image generation unit combines the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image using the second high sensitivity correction coefficient and the second low sensitivity correction coefficient. Thus, the wide range gradation value of each pixel is calculated (third invention).

第３発明によれば、前記第２補正係数算出部は、無彩色である可能性が高い道路の画像部分又は車線区分線の画像部分を対象として、前記原画像の全ての画素について共通に用いる前記第２高感度補正係数と前記第２低感度補正係数を算出する。そして、前記画像生成部は、前記第２高感度補正係数と前記第２低感度補正係数を用いることにより、画素ごとの高感度階調値と低感度階調値の相違度のばらつきによる画質の劣化を抑制して、前記広ダイナミックレンジ画像を生成することができる。   According to the third invention, the second correction coefficient calculation unit is used in common for all the pixels of the original image, targeting the image portion of the road or the image portion of the lane marking that is highly likely to be achromatic. The second high sensitivity correction coefficient and the second low sensitivity correction coefficient are calculated. The image generation unit uses the second high-sensitivity correction coefficient and the second low-sensitivity correction coefficient to improve image quality due to variation in the degree of difference between the high-sensitivity gradation value and the low-sensitivity gradation value for each pixel. The wide dynamic range image can be generated while suppressing deterioration.

また、第３発明において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた高感度階調値が第１所定値以上である画素の割合が第１閾値以下である補正係数算出領域を対象として、前記第１高感度補正係数を算出することを特徴とする（第４発明）。 In the third invention,
The second correction coefficient calculation unit sets a plurality of correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels having an assigned high sensitivity gradation value equal to or greater than a first predetermined value is the first. The first high-sensitivity correction coefficient is calculated for a correction coefficient calculation area that is one threshold value or less (fourth invention).

第４発明によれば、高感度階調値が前記第１所定値以上である画素（高感度階調値が飽和しているような画素）の割合が前記第１閾値以下である前記補正係数算出領域を対象とすることによって、有効な感度差の情報に基づく適切な前記第２高感度補正係数を算出することができる。   According to the fourth aspect of the present invention, the correction coefficient in which a ratio of pixels having high sensitivity gradation values equal to or higher than the first predetermined value (pixels where high sensitivity gradation values are saturated) is equal to or less than the first threshold value. By targeting the calculation region, it is possible to calculate an appropriate second high sensitivity correction coefficient based on information on effective sensitivity difference.

また、第３発明又は第４発明において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた低感度階調値が第２所定値以下である画素の割合が第２閾値以下である補正係数算出領域を対象として、前記第２低感度補正係数を算出することを特徴とする（第５発明）。 In the third invention or the fourth invention,
The second correction coefficient calculation unit sets a plurality of the correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels whose assigned low sensitivity gradation value is equal to or less than a second predetermined value is the first. The second low-sensitivity correction coefficient is calculated for a correction coefficient calculation area that is equal to or less than two thresholds (fifth invention).

第５発明によれば、低感度階調値が前記第２所定値以下である画素（低感度階調値が黒潰れしているような画素）の割合が前記第２閾値以下である前記補正係数算出領域を対象とすることによって、有効な感度差の情報に基づく適切な前記第２低感度補正係数を算出することができる。   According to the fifth invention, the correction in which the ratio of pixels having low sensitivity gradation values equal to or less than the second predetermined value (pixels whose low sensitivity gradation values are crushed in black) is equal to or less than the second threshold value. By targeting the coefficient calculation area, it is possible to calculate an appropriate second low sensitivity correction coefficient based on information on effective sensitivity difference.

車両周辺監視装置の構成図。The block diagram of a vehicle periphery monitoring apparatus. 撮像素子のフィルタ及びカメラによる撮像画像の説明図。Explanatory drawing of the image picked up by the filter of an image sensor, and a camera. 車両周辺監視装置の作動フローチャート。The operation | movement flowchart of a vehicle periphery monitoring apparatus. カラー画像及び高感度画像の説明図。Explanatory drawing of a color image and a highly sensitive image. 低感度画像及び広ダイナミックレンジ画像の説明図。Explanatory drawing of a low sensitivity image and a wide dynamic range image. 第２補正係数算出部の第１のフローチャート。The 1st flowchart of the 2nd correction coefficient calculation part. 第２補正係数算出部の第２のフローチャート。The 2nd flowchart of the 2nd correction coefficient calculation part. 補正係数算出領域の説明図。Explanatory drawing of a correction coefficient calculation area | region.

本発明の車両周辺監視装置の実施形態について、図１〜図８を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置は、車両１に搭載されたカメラ２と、カメラ２に接続された画像コントローラ３とにより構成されている。   An embodiment of a vehicle periphery monitoring device of the present invention will be described with reference to FIGS. With reference to FIG. 1, the vehicle periphery monitoring device according to the present embodiment includes a camera 2 mounted on a vehicle 1 and an image controller 3 connected to the camera 2.

カメラ２は、車両１の前方を撮像範囲として車両１に搭載されている。カメラ２は、フィルタ２１が組み込まれた撮像素子２２（ＣＣＤ、ＣＭＯＳ等）により、車両１の前方を撮像し、撮像データを画像コントローラ３に出力する。撮像素子２２は、ｍ×ｎ個の複数の受光素子を２次元に配列して構成されている。   The camera 2 is mounted on the vehicle 1 with the front of the vehicle 1 as an imaging range. The camera 2 captures an image of the front of the vehicle 1 with an image sensor 22 (CCD, CMOS, etc.) in which a filter 21 is incorporated, and outputs the image data to the image controller 3. The imaging element 22 is configured by arranging a plurality of m × n light receiving elements in two dimensions.

図２（ａ）を参照して、フィルタ２１は、Ｒ（赤）Ｇ（緑）Ｂ（青）の３原色のカラーフィルタのいずれかを、撮像素子２２のｍ×ｎ個の各受光画素の受光経路に配置して、取り付けられている。なお、カラーフィルタとして、ＲＧＢ以外の他の種類のカラーフィルタ（ＣyＭgＹの補色系フィルタ等）を用いてもよい。   Referring to FIG. 2A, the filter 21 uses one of R (red), G (green), and B (blue) color filters for each of the m × n light receiving pixels of the image sensor 22. Arranged in the light receiving path. As the color filter, other types of color filters (such as CyMgY complementary color filter) other than RGB may be used.

そして、カメラ２は、Ｒフィルタが装着されたＲ受光画素（図中Ｒ₁₁，Ｒ₁₅，…で示している。本発明のカラー受光画素に相当する）、Ｇフィルタが装着されたＧ受光画素（図中Ｇ₂₂，Ｇ₂₄，…で示している。本発明のカラー受光画素に相当する）、Ｂフィルタが装着されたＢ受光画素（図中Ｂ₁₃，Ｂ₃₁，…で示している。本発明のカラー受光画素に相当する）、及びフィルタ２１が装着されていないＷ受光画素（図中Ｗ₁₂，Ｗ₃₂，…で示している。本発明の第１透明受光画素に相当する）とＶ受光画素（図中Ｖ₂₁，Ｖ₄₁，…で示している。本発明の第２透明受光画素に相当する）による所定時間あたりの受光レベルに応じた階調値のデータを、撮像データとして画像コントローラ３に出力する。 The camera 2 has an R light receiving pixel (indicated by R ₁₁ , R ₁₅ ,..., Which corresponds to the color light receiving pixel of the present invention) to which the R filter is attached, and a G light receiving pixel to which the G filter is attached. (Indicated by G ₂₂ , G ₂₄ ,... Corresponding to the color light receiving pixel of the present invention) and B light receiving pixels (B ₁₃ , B ₃₁ ,. (Corresponding to the color light receiving pixel of the present invention), and a W light receiving pixel (indicated by W ₁₂ , W ₃₂ ,..., Which corresponds to the first transparent light receiving pixel of the present invention) to which the filter 21 is not attached. The gradation value data corresponding to the light reception level per predetermined time by the V light receiving pixels (indicated by V ₂₁ , V ₄₁ ,... Corresponding to the second transparent light receiving pixel of the present invention) is used as imaging data. Output to the image controller 3.

ここで、Ｗ受光画素の透過率（光透過率）は例えば９０％以上に設定され、Ｖ受光画素の透過率はＷ受光画素及びＲ，Ｇ，Ｂ受光画素よりも低い例えば２０％以下に設定されている。   Here, the transmittance (light transmittance) of the W light receiving pixel is set to, for example, 90% or more, and the transmittance of the V light receiving pixel is set to, for example, 20% or less, which is lower than the W light receiving pixel and the R, G, B light receiving pixels. Has been.

画像コントローラ３は、図示しないＣＰＵ，メモリ，入出力回路等により構成された制御回路３０と、画像メモリ４０と、ＣＡＮ（Controller Area Network）ドライバ５０とを有している。   The image controller 3 includes a control circuit 30 including a CPU, a memory, an input / output circuit, and the like (not shown), an image memory 40, and a CAN (Controller Area Network) driver 50.

制御回路３０は、メモリに保持された画像処理用プログラムをＣＰＵで実行することにより、原画像取得部３１、カラー画像生成部３３と高感度画像生成部３４と低感度画像生成部３５と広ダイナミックレンジ画像生成部３６とを有する画像生成部３２、第１補正係数算出部３７、第２補正係数算出部３８、及び対象物検知部３９として機能する。なお、原画像取得部３１、画像生成部３２、第１補正係数算出部３７、第２補正係数算出部３８、及び対象物検知部３９の一部又は全部をハードウェアにより構成してもよい。   The control circuit 30 executes the image processing program stored in the memory with the CPU, whereby the original image acquisition unit 31, the color image generation unit 33, the high sensitivity image generation unit 34, the low sensitivity image generation unit 35, and the wide dynamics. It functions as an image generation unit 32 having a range image generation unit 36, a first correction coefficient calculation unit 37, a second correction coefficient calculation unit 38, and an object detection unit 39. Note that some or all of the original image acquisition unit 31, the image generation unit 32, the first correction coefficient calculation unit 37, the second correction coefficient calculation unit 38, and the object detection unit 39 may be configured by hardware.

原画像取得部３１は、カメラ２に制御信号を出力して車両１の前方の画像を撮像させ、カメラ２から出力される撮像データにより、原画像４１のデータを取得して画像メモリ４０に保持する。   The original image acquisition unit 31 outputs a control signal to the camera 2 to capture an image in front of the vehicle 1, acquires the data of the original image 41 from the imaging data output from the camera 2, and holds it in the image memory 40. To do.

原画像４１は、図２（ｂ）に示したように、図２（ａ）に示した撮像素子２２による各受光画素（Ｒ受光画素、Ｇ受光画素、Ｂ受光画素、Ｗ受光画素、Ｖ受光画素）の階調値を、対応する配列位置の画素（配列位置が同じ画素）の階調値として個別に割り当てたものになっている。図２（ｂ）においては、各画素の階調値をＳ（大文字）＋小文字ｒ，ｇ，ｂ，ｗ，ｖのいずれか＋i,j（i=1,2,…,m、j=1,2,…,n）で示している。   As shown in FIG. 2B, the original image 41 is obtained by each light receiving pixel (R light receiving pixel, G light receiving pixel, B light receiving pixel, W light receiving pixel, V light receiving pixel) by the image sensor 22 shown in FIG. The gradation value of the pixel) is individually assigned as the gradation value of the pixel at the corresponding array position (pixels having the same array position). In FIG. 2B, the gradation value of each pixel is set to S (uppercase) + any one of lowercase letters r, g, b, w, v + i, j (i = 1, 2,..., M, j = 1 , 2, ..., n).

ここで、ｒは図２（ａ）のＲ受光画素に対応した配列位置の画素（以下、Ｒ画素という。本発明のカラー画素に相当する）の階調値を示し、ｇは図２（ａ）のＧ受光画素に対応した配列位置の画素（以下、Ｇ画素という。本発明のカラー画素に相当する）の階調値を示し、ｂは図２（ａ）のＢ受光画素に対応した配列位置の画素（以下、Ｂ画素という。本発明のカラー画素に相当する）の階調値を示している。   Here, r indicates a gradation value of a pixel at an arrangement position corresponding to the R light receiving pixel in FIG. 2A (hereinafter referred to as an R pixel, which corresponds to a color pixel of the present invention), and g indicates a value in FIG. ) Indicates a gradation value of a pixel at an array position corresponding to the G light receiving pixel (hereinafter referred to as G pixel, which corresponds to the color pixel of the present invention), and b indicates an array corresponding to the B light receiving pixel in FIG. The gradation value of the pixel at the position (hereinafter referred to as B pixel, which corresponds to the color pixel of the present invention) is shown.

また、ｗは図２（ａ）のＷ受光画素に対応した配列位置の画素（以下、Ｗ画素という。本発明の第１透明画素に相当する）の階調値を示し、ｖは図２（ａ）のＶ受光画素に対応した配列位置の画素（以下、Ｖ画素という。本発明の第２透明画素に相当する）の階調値を示している。   In addition, w represents a gradation value of a pixel at an array position corresponding to the W light receiving pixel in FIG. 2A (hereinafter referred to as a W pixel, which corresponds to the first transparent pixel of the present invention), and v represents a value in FIG. The gradation value of the pixel (henceforth V pixel. It corresponds to the 2nd transparent pixel of this invention) of the arrangement position corresponding to V light receiving pixel of a) is shown.

次に、画像生成部３２のカラー画像生成部３３は、原画像４１からカラー画像４２を生成してそのデータを画像メモリ４０に保持する。高感度画像生成部３４は、原画像４１から高感度画像４３を生成してそのデータを画像メモリ４０に保持する。低感度画像生成部３５は、原画像４１から低感度画像４４を生成してそのデータを画像メモリ４０に保持する。   Next, the color image generation unit 33 of the image generation unit 32 generates a color image 42 from the original image 41 and holds the data in the image memory 40. The high sensitivity image generation unit 34 generates a high sensitivity image 43 from the original image 41 and holds the data in the image memory 40. The low sensitivity image generation unit 35 generates a low sensitivity image 44 from the original image 41 and stores the data in the image memory 40.

また、画像生成部３２の広ダイナミックレンジ画像生成部３６は、カラー画像４２、高感度画像４３、及び低感度画像４４から、広ダイナミックレンジ画像４５を生成してそのデータを画像メモリ４０に保持する。カラー画像４２、高感度画像４３、低感度画像４４、及び広ダイナミックレンジ画像４５の各生成処理の詳細については、後述する。   The wide dynamic range image generation unit 36 of the image generation unit 32 generates a wide dynamic range image 45 from the color image 42, the high sensitivity image 43, and the low sensitivity image 44 and holds the data in the image memory 40. . Details of the generation processing of the color image 42, the high sensitivity image 43, the low sensitivity image 44, and the wide dynamic range image 45 will be described later.

対象物検知部３９は、カラー画像４２、高感度画像４３、及び広ダイナミックレンジ画像４５を用いて、車両１が走行中の道路に敷設されたレーンマーク、他車両、信号機、歩行者等を検知し、検知結果に応じて車両コントローラ６に対して各種の制御信号を送信する。   The object detection unit 39 uses the color image 42, the high sensitivity image 43, and the wide dynamic range image 45 to detect lane marks, other vehicles, traffic lights, pedestrians, etc. laid on the road on which the vehicle 1 is traveling. Then, various control signals are transmitted to the vehicle controller 6 according to the detection result.

車両コントローラ６は、図示しないＣＰＵ，メモリ，入出力回路等により構成された電子回路ユニットであり、メモリに保持された車両１の制御用プログラムをＣＰＵで実行することによって、操舵装置７１の作動を制御する操舵制御部６１、制動装置７２の作動を制御する制動制御部６２、及びディスプレイ７３の表示を制御するディスプレイ表示制御部６３として機能する。画像コントローラ３と車両コントローラ６は、ＣＡＮドライバ５０，６４を介して相互に通信を行う。   The vehicle controller 6 is an electronic circuit unit including a CPU, a memory, an input / output circuit, and the like (not shown), and the operation of the steering device 71 is performed by the CPU executing a control program for the vehicle 1 held in the memory. It functions as a steering control unit 61 that controls, a braking control unit 62 that controls the operation of the braking device 72, and a display display control unit 63 that controls the display on the display 73. The image controller 3 and the vehicle controller 6 communicate with each other via the CAN drivers 50 and 64.

次に、図３に示したフローチャートに従って、制御回路３０による各種画像の生成と、各種画像からの対象物検知の処理について説明する。   Next, the generation of various images by the control circuit 30 and the processing for detecting an object from the various images will be described with reference to the flowchart shown in FIG.

図３のＳＴＥＰ１は原画像取得部３１による処理である。原画像取得部３１は、カメラ２から出力される撮像データにより、原画像４１（図２（ｂ）参照）を取得して画像メモリ４０に保持する。   STEP 1 in FIG. 3 is processing by the original image acquisition unit 31. The original image acquisition unit 31 acquires the original image 41 (see FIG. 2B) from the imaging data output from the camera 2 and holds it in the image memory 40.

『１．カラー画像の生成処理』
続くＳＴＥＰ２はカラー画像生成部３３による処理である。カラー画像生成部３３は、原画像４１の各画素に割り当てるカラーの階調値を算出して、図４（ａ）に示したカラー画像４２を生成する。図４（ａ）のカラー画像４２では、各画素の階調値をＣ_i,j（ｉ＝１，２…，ｍ、ｊ＝１，２，…，ｎ）で表している。 “1. Color image generation process
The subsequent STEP 2 is processing by the color image generation unit 33. The color image generation unit 33 calculates a color gradation value to be assigned to each pixel of the original image 41 to generate the color image 42 shown in FIG. In the color image 42 of FIG. 4A, the gradation value of each pixel is represented by C _{i, j} (i = 1, 2,..., M, j = 1, 2,..., N).

Ｃ_i,jは、以下のように、Ｒ値（Ｃ_i,jr、Ｒの階調値）、Ｇ値（Ｃ_i,jg、Ｇの階調値）、及びＢ値（Ｃ_i,jb、Ｂの階調値）という三つの階調値の要素を有している。
Ｃ_i,j＝｛Ｃ_i,jr、Ｃ_i,jg、Ｃ_i,jb｝ C _{i, j} is an R value (C _{i, j} r, gradation value of R), G value (C _{i, j} g, gradation value of G), and B value (C _{i, j} ) as follows _{. j} b and B gradation values).
C _{i, j} = {C _{i, j} r, C _{i, j} g, C _{i, j} b}

［１−１．Ｃ_i,jに対するＧ値の割り当て］
カラー画像生成部３３は、原画像４１のＧ画素（階調値がＳg_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＧ値とする。 [1-1. Assignment of G value to C _{i, j} ]
For the G pixel (the pixel whose gradation value is Sgi _{, j} ) of the original image 41, the color image generation unit 33 sets its own gradation value to the pixel at the corresponding arrangement position of the color image 42 (the arrangement position is the same). Pixel) G value.

原画像４１のＲ画素（階調値がＳr_i,jである画素）、及びＢ画素（階調値がＳb_i,jである画素）については、図２（ｂ）に示した配列パターンから、斜め上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＲ，Ｂ画素の斜め上下に隣接するＧ画素の階調値（Ｓg_i+1,j+1，Ｓg_i-1,j-1，Ｓg_i-1,j+1，Ｓg_i+1,j-1）について、以下の式（１）〜式（４）により、カラー画像４２の対応する位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。 The R pixel (the pixel whose gradation value is Sri _{, j} ) and the B pixel (the pixel whose gradation value is Sbi _{, j} ) of the original image 41 are obtained from the arrangement pattern shown in FIG. In addition, pixels that are diagonally adjacent to each other are G pixels. Therefore, the color image generation unit 33 determines the gradation values (Sg _{i + 1, j + 1} , Sg _{i−1, j−1} , Sg _{i−) of} the G pixels adjacent obliquely above and below the target R and B pixels. _1, G _{+ 1} (Sg _{i + 1, j-1} ), the G value (C _{i, j} g) assigned to the pixel at the corresponding position in the color image 42 by the following formulas (1) to (4). Is calculated.

原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示した配列パターンから、上下に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＷ画素の上下に隣接するＧ画素の階調値（Ｓg_i-1,j，Ｓg_i+1,j）について、以下の式（５）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。 For the W pixel of the original image 41 (the pixel whose gradation value is Sw _{i, j} ), the vertically adjacent pixels are G pixels from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 uses the following equation (5) for the gradation values (Sg _{i−1, j} , Sg _{i + 1, j} ) of the G pixels adjacent above and below the target W pixel. The G value (C _{i, j} g) assigned to the pixel at the corresponding arrangement position of the color image 42 is calculated.

原画像４１のＶ画素（階調値がＳv_i,jである画素）については、図２（ｂ）に示した配列パターンから、左右に隣接する画素がＧ画素になっている。そこで、カラー画像生成部３３は、対象とするＶ画素の左右に隣接するＧ画素の階調値（Ｓg_i,j-1，Ｓg_i,j+1）について、以下の式（６）により、カラー画像４２の対応する配置位置の画素に割り当てるＧ値（Ｃ_i,jg）を算出する。 For V pixels (pixels whose gradation value is Sv _{i, j} ) of the original image 41, the pixels adjacent to the left and right are G pixels from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 uses the following expression (6) for the gradation values (Sg _{i, j−1} , Sg _{i, j + 1} ) of the G pixels adjacent to the left and right of the target V pixel. The G value (C _{i, j} g) assigned to the pixel at the corresponding arrangement position of the color image 42 is calculated.

［１-2．Ｃ_i,jに対するＲ値の割り当て］
次に、カラー画像生成部３３は、カラー画像４２の各画素に割り当てるＲ値（Ｃ_i,jr）を算出する。原画像４１のＲ画素（階調値がＳr_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＲ値とする。 [1-2. R value assignment for C _{i, j} ]
Next, the color image generation unit 33 calculates an R value (C _{i, j} r) to be assigned to each pixel of the color image 42. For the R pixel of the original image 41 (the pixel whose gradation value is Sri _{, j} ), its own gradation value is set as the R value of the pixel at the corresponding arrangement position of the color image 42 (the pixel with the same arrangement position). .

原画像４１のＢ画素（階調値がＳb_i,jである画素）については、図２（ｂ）に示した配列パターンから、上下左右の２個目の画素がＲ画素になっている。そこで、カラー画像生成部３３は、対象とするＢ画素の上下左右の２個目のＲ画素の階調値（Ｓr_i+2,j，Ｓr_i-2,j，Ｓr_i,j+2，Ｓr_i,j-2）について、以下の式（７）〜式（１０）により、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。 With respect to the B pixel of the original image 41 (the pixel whose gradation value is Sb _{i, j} ), the second pixel in the upper, lower, left, and right directions is an R pixel from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 performs gradation values (Sri _{+ 2, j} , Sri _{-2, j} , Sri _{, j + 2} ,. For Sri _{, j-2} ), the R value (Ci _{, jr} ) to be assigned to the pixel at the corresponding arrangement position of the color image 42 is calculated by the following equations (7) to (10).

原画像４１のＧ画素（階調値がＳg_i,jである画素）については、図２（ｂ）に示した配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｒ画素になっている。そこで、カラー画像生成部３３は、原画像４１の対象とするＧ画素の斜め上下に隣接するＲ画素の階調値（Ｓr_i+1,j+1，Ｓr_i-1,j-1，Ｓr_i-1,j+1，Ｓr_i+1,j-1）について、以下の式（１１）〜式（１２）により、カラー画像４２の対応する位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。 For the G pixel of the original image 41 (the pixel whose gradation value is Sgi _{, j} ), the pixels adjacent to the upper right and lower left or the upper left and lower right are R pixels from the arrangement pattern shown in FIG. It has become. Therefore, the color image generation unit 33 determines the gradation values (Sr _{i + 1, j + 1} , Sr _{i−1, j−1} , Sr) of the R pixels adjacent to the G pixel as the target of the original image 41 diagonally up and down. _{For i−1, j + 1} , Sri _{+ 1, j−1} ), the R value (C _{i, j)} assigned to the pixel at the corresponding position in the color image 42 by the following equations (11) to (12). r) is calculated.

原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示した配列パターンから、左右に隣接するいずれかの画素がＲ画素になっている。そこで、カラー画像生成部３３は、以下の式（１３）〜式（１４）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。 For the W pixel of the original image 41 (the pixel whose gradation value is Sw _{i, j} ), one of the pixels adjacent to the left and right is an R pixel from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 uses the following formulas (13) to (14) to assign the R value (C _i) assigned to the pixel at the corresponding arrangement position of the color image 42 for the W pixel that is the target of the original image 41. _{, j} r).

原画像４１のＶ画素（階調値がＳv_i,jである画素）については、図２（ｂ）に示した配列パターンから、上下に隣接するいずれかの画素がＲ画素になっている。そこで、カラー画像生成部３３は、以下の式（１５）〜式（１６）により、原画像４１の対象とするＶ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＲ値（Ｃ_i,jr）を算出する。 For the V pixel of the original image 41 (the pixel whose gradation value is Sv _{i, j} ), one of the pixels adjacent in the vertical direction is an R pixel from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 uses the following formulas (15) to (16) to assign the R value (C _i) assigned to the pixel at the corresponding arrangement position of the color image 42 for the V pixel that is the target of the original image 41. _{, j} r).

［１-3．Ｃ_i,jに対するＢ値の割り当て］
次に、カラー画像生成部３３は、カラー画像４２の各画素に割り当てるＢ値（Ｃ_i,jb）を算出する。原画像４１のＢ画素（階調値がＳb_i,jである画素）については、自身の階調値をカラー画像４２の対応する配置位置の画素（配置位置が同じ画素）のＢ値とする。 [1-3. Assignment of B value to C _{i, j} ]
Next, the color image generation unit 33 calculates a B value (C _{i, j} b) assigned to each pixel of the color image 42. For the B pixel of the original image 41 (the pixel whose gradation value is Sb _{i, j} ), its own gradation value is the B value of the pixel at the corresponding arrangement position of the color image 42 (the pixel with the same arrangement position). .

原画像４１のＲ画素（階調値がＳr_i,jである画素）については、図２（ｂ）に示した配列パターンから、上下左右の２個目の画素がＢ画素になっている。そこで、カラー画像生成部３３は、対象とするＢ画素の上下左右の２個目のＢ画素の階調値（Ｓb_i+2,j，Ｓb_i-2,j，Ｓb_i,j+2，Ｓb_i,j-2）について、以下の式（１７）〜式（２０）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。 With respect to the R pixel of the original image 41 (the pixel whose gradation value is Sri _{, j} ), the second pixel in the upper, lower, left and right directions is a B pixel from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 performs gradation values (Sb _{i + 2, j} , Sb _{i-2, j} , Sb _{i, j + 2} , _second , upper, lower, left, and right of the target B pixel). For Sb _{i, j-2} ), a B value (C _{i, j} b) assigned to the pixel at the corresponding arrangement position of the color image 42 is calculated by the following equations (17) to (20).

原画像４１のＧ画素（階調値がＳg_i,jである画素）については、図２（ｂ）に示した配列パターンから、右上と左下又は左上と右下に隣接する画素が、Ｂ画素になっている。そこで、カラー画像生成部３３は、原画像４１の対象とするＧ画素の斜め上下に隣接するＢ画素の階調値（Ｓb_i+1,j+1，Ｓb_i-1,j-1，Ｓb_i-1,j+1，Ｓb_i+1,j-1）について、以下の式（２１）〜式（２２）により、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。 For the G pixel of the original image 41 (the pixel whose gradation value is Sgi _{, j} ), the pixels adjacent to the upper right and lower left or the upper left and lower right are B pixels from the arrangement pattern shown in FIG. It has become. Therefore, the color image generation unit 33 determines the gradation values (Sb _{i + 1, j + 1} , Sb _{i−1, j−1} , Sb) of the B pixels that are diagonally adjacent to the G pixel as the target of the original image 41. _{i−1, j + 1} , Sb _{i + 1, j−1} ), B values (C _i, C) assigned to the pixels at the corresponding arrangement position of the color image 42 by the following equations (21) to (22) _{. j} b) is calculated.

原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示した配列パターンから、左右に隣接するいずれかの画素がＢ画素になっている。そこで、カラー画像生成部３３は、以下の式（２３）〜式（２４）により、原画像４１の対象とするＷ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。 For the W pixel of the original image 41 (the pixel whose gradation value is Sw _{i, j} ), one of the pixels adjacent to the left and right is a B pixel from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 uses the following formulas (23) to (24) to assign the B value (C _i) assigned to the pixel at the corresponding arrangement position of the color image 42 for the W pixel that is the target of the original image 41. _{, j} b).

原画像４１のＶ画素（階調値がＳv_i,jである画素）については、図２（ｂ）に示した配列パターンから、上下に隣接するいずれかの画素がＢ画素になっている。そこで、カラー画像生成部３３は、以下の式（２５）〜式（２６）により、原画像４１の対象とするＶ画素について、カラー画像４２の対応する配置位置の画素に割り当てるＢ値（Ｃ_i,jb）を算出する。 For the V pixel of the original image 41 (the pixel whose gradation value is Sv _{i, j} ), one of the pixels adjacent in the vertical direction is a B pixel from the arrangement pattern shown in FIG. Therefore, the color image generation unit 33 uses the following formulas (25) to (26) to assign the B value (C _i) assigned to the pixel at the corresponding arrangement position of the color image 42 for the V pixel as the target of the original image 41. _{, j} b).

以上の処理により、カラー画像生成部３３は、カラー画像４２の各画素に割り当てるＲ値（Ｃ_i,jr），Ｇ値（Ｃ_i,jg），Ｂ値（Ｃ_i,jb）を算出する。 Through the above processing, the color image generation unit 33 uses the R value (C _{i, j} r), G value (C _{i, j} g), and B value (C _{i, j} b) assigned to each pixel of the color image 42. calculate.

ここで、カラー画像４２の各画素Ｃ_i,jの輝度の階調値（参照階調値）Ｙ_i,jは、以下の式（２７）により算出される。 Here, the luminance gradation value (reference gradation value) Y _{i, j} of each pixel C _{i, j} of the color image 42 is calculated by the following equation (27).

但し、Ｙ_i,j：参照階調値、Ｃ_i,jr：カラー画像４２の各画素Ｃ_i,jのＲ値、Ｃ_i,jg：カラー画像４２の各画素Ｃ_i,jのＧ値、Ｃ_i,jb：カラー画像４２の各画素Ｃ_i,jのＢ値、０．３，０．５９，０．１１：重み付け係数，実験等により決定したものであり、他の値を用いてもよい。 However, Y _{i, j:} the reference grayscale value, C _{i, j} r: each pixel C _i, R value of _j of the color image 42, C _{i, j} g: each pixel C _i of the color image _{42, j} of G Value, C _{i, j} b: B value of each pixel C _{i, j} of the color image 42, 0.3, 0.59, 0.11: Weight coefficient, determined by experiment, etc. It may be used.

『２．高感度画像の生成処理』
図３の続くＳＴＥＰ３は高感度画像生成部３４による処理である。高感度画像生成部３４は、原画像４１の各画素に割り当てる高感度のグレーの階調値を算出して、図４（ｂ）に示した高感度画像４３を生成する。 “2. High-sensitivity image generation process ”
Step 3 following FIG. 3 is processing by the high-sensitivity image generation unit 34. The high-sensitivity image generation unit 34 calculates a high-sensitivity gray gradation value to be assigned to each pixel of the original image 41, and generates a high-sensitivity image 43 shown in FIG.

［２-1．Ｗ画素に対する階調値Ｈ_i,jの割り当て］
高感度画像生成部３４は、原画像４１のＷ画素（階調値がＳw_i,jである画素）については、自身の階調値（Ｓw_i,j）を、高感度画像４３の対応する配置位置の画素（配置位置が同じ画素）の階調値（Ｈ_i,j）に割り当てる。 [2-1. Assignment of gradation value H _{i, j} to W pixel]
High-sensitivity image generation unit 34, for W pixels of an original image 41 (pixel gradation value of Sw _{i, j),} the gradation value of itself (Sw _{i, j),} the corresponding high-sensitivity image 43 Assigned to the gradation value (H _{i, j} ) of the pixel at the arrangement position (pixels having the same arrangement position).

［２-2．Ｒ，Ｇ，Ｂ画素に対する階調値Ｈ_i,jの割り当て］
原画像４１のＲ画素及びＢ画素については、図２（ｂ）に示した配列パターンから、Ｒ画素及びＢ画素の左右に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３４は、以下の式（２８）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ_i,j）を算出する。 [2-2. Allocation of gradation values H _{i, j to} R, G, B pixels]
Regarding the R pixel and the B pixel of the original image 41, the pixels adjacent to the left and right of the R pixel and the B pixel are W pixels from the arrangement pattern shown in FIG. Therefore, the high-sensitivity image generation unit 34 calculates a gradation value (H _{i, j} ) to be assigned to the pixel at the corresponding arrangement position of the high-sensitivity image 43 by the following equation (28).

原画像４１のＧ画素については、図２（ｂ）に示した配列パターンから、Ｇ画素の上下に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３４は、以下の式（２９）により、高感度画像４３の対応する配置位置の画素に割り当てる階調値（Ｈ_i,j）を算出する。 Regarding the G pixel of the original image 41, the pixels adjacent to the top and bottom of the G pixel are W pixels from the arrangement pattern shown in FIG. Therefore, the high-sensitivity image generation unit 34 calculates a gradation value (Hi _{, j} ) to be assigned to the pixel at the corresponding arrangement position of the high-sensitivity image 43 by the following equation (29).

［２-3．Ｖ画素に対する階調値Ｈ_i,jの割り当て］
原画像４１のＶ画素（階調値がＳv_i,jである画素）については、図２（ｂ）に示した配列パターンから、斜め上下に隣接する画素がＷ画素になっている。そこで、高感度画像生成部３４は、対象とするＶ画素の斜め上下に隣接するＷ画素の階調値（Ｓw_i+1,j+1，Ｓw_i-1,j-1，Ｓw_i-1,j+1，Ｓw_i+1,j-1）について、以下の式（３０）〜式（３３）により、高感度画像４３の対応する位置の画素に割り当てる階調値（Ｈ_i,j）を算出する。 [2-3. Allocation of gradation value H _{i, j} to V pixel]
For V pixels (pixels whose gradation value is Sv _{i, j} ) of the original image 41, pixels that are diagonally adjacent vertically are W pixels from the array pattern shown in FIG. Therefore, the high-sensitivity image generation unit 34 determines the gradation values (Swi _{+ 1, j + 1} , Swi _{-1, j-1} , Swi _{-1) of} W pixels that are obliquely above and below the target V pixel. _{, j + 1} , Swi _{+ 1, j-1} ), the gradation value (Hi _{, j} ) assigned to the pixel at the corresponding position in the high-sensitivity image 43 by the following equations (30) to (33). Is calculated.

以上の２-1〜２-3の処理により、高感度画像生成部３４は、高感度画像４３の全ての画素に階調値を割り当てて、図４（ｂ）に示したように、原画像４１の各画素に対応した画素に階調値（Ｈ_i,j）を割り当てた高感度画像４３を生成する。 Through the above processes 2-1 to 2-3, the high-sensitivity image generation unit 34 assigns gradation values to all the pixels of the high-sensitivity image 43, and as shown in FIG. A high-sensitivity image 43 is generated by assigning gradation values (H _{i, j} ) to the pixels corresponding to the 41 pixels.

『３．低感度画像の生成処理』
図３の続くＳＴＥＰ４は低感度画像生成部３５による処理である。低感度画像生成部３５は、原画像４１の各画素に割り当てる低感度のグレーの階調値を算出して、図５（ａ）に示した低感度画像４４を生成する。 “3. Low-sensitivity image generation process ”
Step 4 following FIG. 3 is processing by the low-sensitivity image generation unit 35. The low-sensitivity image generation unit 35 calculates a low-sensitivity gray gradation value to be assigned to each pixel of the original image 41, and generates a low-sensitivity image 44 shown in FIG.

［３-1．Ｖ画素に対する階調値Ｌ_i,jの割り当て］
低感度画像生成部３５は、原画像４１のＶ画素（階調値がＳv_i,jである画素）については、自身の階調値（Ｓv_i,j）を、低感度画像４４の対応する配置位置の画素（配置位置が同じ画素）の階調値（Ｌ_i,j）に割り当てる。 [3-1. Allocation of gradation value L _{i, j} to V pixel]
The low-sensitivity image generating unit 35 corresponds to the low-sensitivity image 44 with its own gradation value (Sv _{i, j} ) for the V pixel (pixel whose gradation value is Sv _{i, j} ) of the original image 41. Assigned to the gradation value (L _{i, j} ) of the pixel at the arrangement position (pixels having the same arrangement position).

［３-2．Ｒ，Ｇ，Ｂ画素に対する階調値Ｌ_i,jの割り当て］
原画像４１のＧ画素については、図２（ｂ）に示した配列パターンから、Ｇ画素の左右に隣接する画素がＶ画素になっている。そこで、低感度画像生成部３５は、以下の式（３４）により、低感度画像４４の対応する配置位置の画素に割り当てる階調値（Ｌ_i,j）を算出する。 [3-2. Allocation of gradation value L _{i, j to} R, G, B pixels]
Regarding the G pixel of the original image 41, the pixels adjacent to the left and right of the G pixel are V pixels from the arrangement pattern shown in FIG. Therefore, the low-sensitivity image generation unit 35 calculates a gradation value (L _{i, j} ) to be assigned to the pixel at the corresponding arrangement position of the low-sensitivity image 44 by the following equation (34).

原画像４１のＲ画素及びＢ画素については、図２（ｂ）に示した配列パターンから、Ｒ画素及びＢ画素の上下に隣接する画素がＶ画素になっている。そこで、低感度画像生成部３５は、以下の式（３５）により、低感度画像４４の対応する配置位置の画素に割り当てる階調値（Ｌ_i,j）を算出する。 Regarding the R pixel and the B pixel of the original image 41, the pixels adjacent to the top and bottom of the R pixel and the B pixel are V pixels from the arrangement pattern shown in FIG. Therefore, the low-sensitivity image generation unit 35 calculates a gradation value (L _{i, j} ) to be assigned to the pixel at the corresponding arrangement position of the low-sensitivity image 44 by the following equation (35).

［３-3．Ｗ画素に対する階調値Ｌ_i,jの割り当て］
原画像４１のＷ画素（階調値がＳw_i,jである画素）については、図２（ｂ）に示した配列パターンから、斜め上下に隣接する画素がＶ画素になっている。そこで、低感度画像生成部３５は、対象とするＷ画素の斜め上下に隣接するＶ画素の階調値（Ｓv_i+1,j+1，Ｓv_i-1,j-1，Ｓv_i-1,j+1，Ｓv_i+1,j-1）について、以下の式（３６）〜式（３９）により、低感度画像４４の対応する位置の画素に割り当てる階調値（Ｌ_i,j）を算出する。 [3-3. Assignment of gradation value L _{i, j} to W pixel]
For the W pixel of the original image 41 (the pixel whose gradation value is Sw _{i, j} ), the pixels vertically adjacent to each other are V pixels from the arrangement pattern shown in FIG. Therefore, the low-sensitivity image generation unit 35 determines the gradation values (Sv _{i + 1, j + 1} , Sv _{i−1, j−1} , Sv _{i−1) of} the V pixels adjacent to the target W pixel diagonally up and down. _{, j + 1} , Sv _{i + 1, j-1} ), the gradation value (L _{i, j} ) assigned to the pixel at the corresponding position of the low-sensitivity image 44 by the following equations (36) to (39). Is calculated.

以上の３-1〜３-3の処理により、低感度画像生成部３５は、低感度画像４４の全ての画素に階調値を割り当てて、図５（ａ）に示したように、原画像４１の各画素に対応した画素に階調値（Ｌ_i,j)を割り当てた低感度画像４４を生成する。 Through the above processes 3-1 to 3-3, the low-sensitivity image generation unit 35 assigns gradation values to all the pixels of the low-sensitivity image 44, and as shown in FIG. A low-sensitivity image 44 in which gradation values (L _{i, j} ) are assigned to the pixels corresponding to the 41 pixels is generated.

『４．広ダイナミックレンジ画像の生成処理』
図３の続くＳＴＥＰ５は、広ダイナミックレンジ画像生成部３６による処理である。広ダイナミックレンジ画像生成部３６は、高感度画像４３と低感度画像４４の対応する配置位置の画素（配置位置が同じ画素）間で、階調値の合成を行って広ダイナミックレンジ画像４５を生成する。 “4. Wide dynamic range image generation process ”
The subsequent STEP 5 in FIG. 3 is processing by the wide dynamic range image generation unit 36. The wide dynamic range image generation unit 36 generates a wide dynamic range image 45 by synthesizing tone values between pixels at corresponding arrangement positions of the high sensitivity image 43 and the low sensitivity image 44 (pixels having the same arrangement position). To do.

ここで、第１補正係数算出部３７は、以下の式（４０）により、階調値の合成に用いる第１高感度補正係数ａ1_i,j（ｉ，ｊは対応する画素の配置位置を示す）を、カラー画像４２と高感度画像４３の対応する各画素ごとに算出する。 Here, the first correction coefficient calculation unit 37 uses the following equation (40) to calculate the first high sensitivity correction coefficient a1 _{i, j} (i, j used for synthesizing the gradation values). ) Is calculated for each corresponding pixel of the color image 42 and the high-sensitivity image 43.

但し、a1_i,j:各画素用の第１高感度補正係数、Ｈ_i,j：高感度画像４３の各画素の階調値、Ｙ_i,j：カラー画像４２の各画素の輝度階調値（上記式（２７）により算出）。 Where a1 _{i, j} : first high sensitivity correction coefficient for each pixel, H _{i, j} : gradation value of each pixel of high sensitivity image 43, Y _{i, j} : luminance gradation of each pixel of color image 42 Value (calculated by the above formula (27)).

また、第１補正係数算出部３７は、以下の式（４１）により、階調値の合成に用いる第１低感度補正係数ｂ1_i,j（ｉ，ｊは対応する画素の配置位置を示す）を、カラー画像４２と低感度画像４４の対応する各画素ごとに算出する。 Further, the first correction coefficient calculation unit 37 calculates the first low sensitivity correction coefficient b1 _{i, j} used for the synthesis of the gradation value (i, j indicates the arrangement position of the corresponding pixel) by the following equation (41). Is calculated for each corresponding pixel of the color image 42 and the low-sensitivity image 44.

但し、ｂ1_i,j:各画素用の第１低感度補正係数、Ｌ_i,j：低感度画像４４の各画素の階調値、Ｙ_i,j：カラー画像４２の各画素の輝度階調値（上記式（２７）により算出）。 Where b1 _{i, j} is the first low-sensitivity correction coefficient for each pixel, L _{i, j is} the gradation value of each pixel of the low-sensitivity image 44, and Y _{i, j is} the luminance gradation of each pixel of the color image 42. Value (calculated by the above formula (27)).

広ダイナミックレンジ画像生成部３６は、第１高感度補正係数ａ1_i,jと第１低感度補正係数ｂ1_i,jを用いて、カラー画像４２と高感度画像４３と低感度画像４４の対応する画素の階調値を合成するが、ＲＧＢ受光画素とＷ受光画素とＶ受光画素の感度差にはばらつきがある。また、階調値にはランダムノイズが含まれるため、単純に合成するとＳＮ比（Signal/Noise比）の不連続性の影響により、生成される画像が不自然なものになる。 The wide dynamic range image generation unit 36 uses the first high sensitivity correction coefficient a1 _{i, j} and the first low sensitivity correction coefficient b1 _{i, j} to correspond to the color image 42, the high sensitivity image 43, and the low sensitivity image 44. The gradation values of the pixels are synthesized, but there are variations in the sensitivity difference among the RGB light receiving pixels, the W light receiving pixels, and the V light receiving pixels. In addition, since random noise is included in the gradation value, if it is simply synthesized, the generated image becomes unnatural due to the influence of the discontinuity of the SN ratio (Signal / Noise ratio).

そこで、広ダイナミックレンジ画像生成部３６は、以下の式（４２）の重み付け関数を用いて合成を行う。   Therefore, the wide dynamic range image generation unit 36 performs synthesis using a weighting function of the following equation (42).

但し、ｗ(x)：シグモイド関数、ｇ：ゲイン。なお、上記式（４２）は重み付け関数の一例であり、他の重み付け関数を用いてもよい。   Where w (x): sigmoid function, g: gain. The equation (42) is an example of a weighting function, and other weighting functions may be used.

広ダイナミックレンジ画像生成部３６は、高感度画像４３の階調値（Ｈ_i,j）を最大階調値（分解能が８bitであれば２５５、１０bitであれば１０２３）に対して規格化した規格化階調値（ｈ_i,j）と、低感度画像４４の階調値（Ｌ_i,j）を最大階調値に対して規格化した規格化階調値（ｌ_i,j）と、カラー画像４２から上記式（２７）により算出した参照階調値（Ｙ_i,j）を最大階調値に対して規格化した規格化階調値（ｙ_i,j）を求める。 The wide dynamic range image generation unit 36 standardizes the gradation value (Hi _{, j} ) of the high sensitivity image 43 with respect to the maximum gradation value (255 if the resolution is 8 bits, 1023 if the resolution is 8 bits). Normalized gradation value (h _{i, j} ), normalized gradation value (l _{i, j} ) obtained by normalizing the gradation value (L _{i, j} ) of the low-sensitivity image 44 with respect to the maximum gradation value, A normalized gradation value (y _{i, j} ) obtained by normalizing the reference gradation value (Y _{i, j} ) calculated from the color image 42 by the above equation (27) with respect to the maximum gradation value is obtained.

なお、階調値を最大階調値に対して規格化するとは、階調値を最大階調値で除することを意味し、例えば、Ｈ_i,j＝２００，Ｌ_i,j＝５０，Ｙ_i,j＝６５で、最大階調値が２５５であるときには、ｈ_i,j＝２００／２５５，ｌ_i,j＝５０／２５５，ｙ_i,j＝６５／２５５となる。 Note that normalizing the gradation value with respect to the maximum gradation value means dividing the gradation value by the maximum gradation value. For example, H _{i, j} = 200, L _{i, j} = 50, When Y _{i, j} = 65 and the maximum gradation value is 255, h _{i, j} = 200/255, l _{i, j} = 50/255, y _{i, j} = 65/255.

そして、広ダイナミックレンジ画像生成部３６は、先ず、以下の式（４３）により、規格化階調値ｙ_i,jとｈ_i,jについて合成した階調値ｈｄｒ_i,jを算出する。 Then, the wide dynamic range image generation unit 36 first calculates a gradation value hdri _{i, j obtained} by combining the normalized gradation values y _{i, j} and h _{i, j} using the following equation (43).

次に、広ダイナミックレンジ画像生成部３６は、以下の式（４４）により、上記式（４３）により算出した階調値ｈｄｒ_i,jと規格化階調値ｌ_i,jについて合成した階調値ｓｈｄｒ_i,jを算出する。 Next, the wide dynamic range image generation unit 36 uses the following equation (44) to combine the gradation value hdr _{i, j} calculated by the above equation (43) and the normalized gradation value l _{i, j.} The value shdr _{i, j} is calculated.

さらに、広ダイナミックレンジ画像生成部３６は、低階調のコントラストを保つために、以下の式（４５）によって、上記式（４４）で算出した階調値ｓｈｄｒ_i,jにγ変換処理を行う。 Further, the wide dynamic range image generation unit 36 performs γ conversion processing on the gradation value shdr _{i, j} calculated by the above equation (44) by the following equation (45) in order to maintain the low gradation contrast. .

但し、ＨＤＲ_i,j：広ダイナミックレンジ画像の画素の階調値、Ｍb：広ダイナミックレンジ画像の画素の最大階調値。 Where HDR _{i, j is} the gradation value of the pixel of the wide dynamic range image, and Mb is the maximum gradation value of the pixel of the wide dynamic range image.

以上の式（４３）〜式（４５）により各画素について算出した階調値ＨＤＲ_i,j（本発明の広レンジ階調値に相当する）を、対応する広ダイナミックレンジ画像４５の画素の階調値（Ｄ_i,j）として割り当てることによって、広ダイナミックレンジ画像生成部３６は、図５（ｂ）に示したように、原画像４１の各画素に対応した画素に、階調値（Ｄ_i,j）を割り当てた広ダイナミックレンジ画像４５を生成することができる。 The gradation value HDR _{i, j} (corresponding to the wide range gradation value of the present invention) calculated for each pixel by the above equations (43) to (45) is used as the pixel level of the corresponding wide dynamic range image 45. By assigning as a tone value (D _{i, j} ), the wide dynamic range image generation unit 36 assigns a gradation value (D) to the pixel corresponding to each pixel of the original image 41 as shown in FIG. A wide dynamic range image 45 to which _{i, j} ) is assigned can be generated.

『５．対象物検知処理』
図３のＳＴＥＰ６〜ＳＴＥＰ８、及びＳＴＥＰ２０は、対象物検知部３９による処理である。対象物検知部３９は、検知対象物の種別又はカメラ２の撮像条件に応じて、カラー画像４２から対象物を検知する処理と、高感度画像４３から対象物を検知する処理と、広ダイナミックレンジ画像４５から対象物を検知する処理とを切替える。 “5. Object detection processing
STEP 6 to STEP 8 and STEP 20 in FIG. 3 are processes by the object detection unit 39. The object detection unit 39 includes a process for detecting an object from the color image 42, a process for detecting an object from the high-sensitivity image 43, and a wide dynamic range according to the type of the detection object or the imaging conditions of the camera 2. The process of detecting the object from the image 45 is switched.

［５-1．高感度画像による対象物検知］
対象物検知部３９は、ＳＴＥＰ６で、高感度画像４３から歩行者を検知する。歩行者は低輝度である場合が多いため、高感度画像４３を用いることによって、車両１の周辺に存在する歩行者を精度良く検知することができる。 [5-1. Object detection using high-sensitivity images]
The object detection unit 39 detects a pedestrian from the high sensitivity image 43 in STEP6. Since pedestrians often have low luminance, by using the high-sensitivity image 43, pedestrians existing around the vehicle 1 can be detected with high accuracy.

対象物検知部３９は、歩行者を検知したときに、車両１との接触可能性の有無を判断する。そして、車両１との接触可能性有りと判断したときには、車両コントローラ６に対して接触回避措置の実施を指示する制御信号を送信する。   The object detection unit 39 determines whether or not there is a possibility of contact with the vehicle 1 when detecting a pedestrian. When it is determined that there is a possibility of contact with the vehicle 1, a control signal instructing the vehicle controller 6 to perform the contact avoidance measure is transmitted.

この制御信号の受信に応じて、車両コントローラ６のディスプレイ表示制御部６３は、ディスプレイ７３に警報表示を行う。また、制動制御部６２は、必要に応じて、制動装置７２を作動させて接触を回避する処理を行う。   In response to the reception of this control signal, the display display control unit 63 of the vehicle controller 6 displays an alarm on the display 73. Moreover, the braking control part 62 performs the process which operates the braking device 72 and avoids a contact as needed.

続くＳＴＥＰ７で、対象物検知部３９は、夜間であるか否かを判断する。なお、夜間であるか否かは、例えば、車両１に備えられたヘッドライト（図示しない）の点灯／消灯の状態から判断する。また、車両１に照度センサを備え、照度センサによる検出照度から夜間であるか否かを判断してもよい。   In subsequent STEP 7, the object detection unit 39 determines whether it is nighttime. Whether or not it is nighttime is determined, for example, from the on / off state of a headlight (not shown) provided in the vehicle 1. Further, the vehicle 1 may be provided with an illuminance sensor, and it may be determined whether it is nighttime from the illuminance detected by the illuminance sensor.

［５-2．広ダイナミックレンジ画像による対象物検知］
夜間であったときには、ＳＴＥＰ２０に分岐し、対象物検知部３９は、広ダイナミックレンジ画像４５から、他車両、歩行者を検知する。ここで、夜間においては、暗い物体から明るい物体まで、広い範囲の輝度の物体を検知する必要がある。 [5-2. Object detection by wide dynamic range image]
When it is nighttime, the process branches to STEP 20, and the object detection unit 39 detects other vehicles and pedestrians from the wide dynamic range image 45. Here, at night, it is necessary to detect an object with a wide range of luminance from a dark object to a bright object.

そして、暗い物体としては、車両１のヘッドライトの照射領域外の遠方の他車両や、割込み車両、飛出し車両、或いは、車両１のヘッドライトの照射領域外の歩道上の歩行者や、横断中の歩行者等が挙げられる。また、明るい物体としては、前走車のテールランプやストップランプ、対向車のヘッドライト、車両１のヘッドライトに照射されている歩行者等が挙げられる。そこで、夜間においては、広ダイナミックレンジ画像４５を用いることによって、他車両、歩行者を検知することができる。   And as a dark object, a distant other vehicle outside the headlight irradiation area of the vehicle 1, an interrupting vehicle, a jumping-out vehicle, a pedestrian on a sidewalk outside the headlight irradiation area of the vehicle 1, or a crossing Inside pedestrians and the like. Further, examples of the bright object include a tail lamp and a stop lamp of a preceding vehicle, a headlight of an oncoming vehicle, and a pedestrian irradiated on the headlight of the vehicle 1. Therefore, at night, other vehicles and pedestrians can be detected by using the wide dynamic range image 45.

対象物検知部３９は、接触可能性がある歩行者又は他車両を検知したときには、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する制御信号を送信する。また、信号機を検知したときには、対象物検知部３９は、必要に応じて車両コントローラ６に車両１の制動を指示する制御信号を送信し、この制御信号の受信に応じて、制動制御部６２が制動装置７２を作動させて車両１を制動する。   When the object detection unit 39 detects a pedestrian or other vehicle with a possibility of contact, as described above, the object detection unit 39 transmits a control signal instructing execution of the contact avoidance measure to the vehicle controller 6. When the traffic light is detected, the object detection unit 39 transmits a control signal instructing braking of the vehicle 1 to the vehicle controller 6 as necessary, and the braking control unit 62 responds to reception of this control signal. The braking device 72 is operated to brake the vehicle 1.

［５-3．カラー画像による対象物検知］
ＳＴＥＰ７で夜間でなかったときにはＳＴＥＰ８に進み、対象物検知部３９は、カラー画像４２から道路に敷設されたレーンマーク、他車両、及び信号機を検知する。ここで、昼間の天空照度が十分に高いときには、レーンマーク、他車両、及び信号機を検知するために、高い感度は必要なく、色情報を高コントラストで取得する必要がある。 [5-3. Object detection by color image]
When it is not nighttime in STEP7, the process proceeds to STEP8, and the object detection unit 39 detects a lane mark, another vehicle, and a traffic light laid on the road from the color image 42. Here, when daytime sky illuminance is sufficiently high, in order to detect lane marks, other vehicles, and traffic lights, high sensitivity is not necessary, and color information must be acquired with high contrast.

そこで、対象物検知部３９は、カラー画像４２からレーンマーク、他車両、及び信号機を検知する。その際、対象物検知部３９は、レーンマークの色（白線、黄線等）からレーンマークの属性を判断する。また、対象物検知部３９は、前走車のブレーキランプから前走車の減速を判断し、追突可能性の有無を判断する。   Therefore, the object detection unit 39 detects lane marks, other vehicles, and traffic lights from the color image 42. At that time, the object detection unit 39 determines the attribute of the lane mark from the color of the lane mark (white line, yellow line, etc.). Further, the object detection unit 39 determines the deceleration of the preceding vehicle from the brake lamp of the preceding vehicle, and determines whether there is a possibility of a rear-end collision.

そして、対象物検知部３９は、レーンマークの検知位置から車両１を車線内に維持して走行させるレーンキープ制御のための制御信号を車両コントローラ６に送信し、この制御信号の受信に応じて、操舵制御部６１が操舵装置７１の作動を制御する。   And the target object detection part 39 transmits the control signal for the lane keep control which makes the vehicle 1 drive | work in the lane from the detection position of a lane mark, and responds to reception of this control signal. The steering control unit 61 controls the operation of the steering device 71.

また、対象物検知部３９は、接触可能性がある他車両を検知したときに、上述したように、車両コントローラ６に対して、接触回避措置の実施を指示する信号を送信する。さらに、対象物検知部３９は、前方信号機の赤点灯を検知したときに、運転者による制動操作がなされていないときには、警報信号を車両コントローラ６に送信し、この警報信号の受信に応じて、ディスプレイ表示制御部６３はディスプレイ７３に警報表示を行う。また、必要に応じて、制動制御部６２は、制動装置７２を作動させて車両１を制動する。   Moreover, the target object detection part 39 transmits the signal which instruct | indicates implementation of a contact avoidance measure with respect to the vehicle controller 6, as mentioned above, when other vehicles with possibility of contact are detected. Furthermore, the object detection unit 39 transmits a warning signal to the vehicle controller 6 when the driver does not perform a braking operation when detecting the red lighting of the front traffic light, and in response to receiving this warning signal, The display display control unit 63 displays an alarm on the display 73. Further, as necessary, the braking control unit 62 operates the braking device 72 to brake the vehicle 1.

『６．高感度補正係数及び低感度補正係数の他の算出例』
上述した実施形態では、各画素に対応した第１高感度補正係数ａ1_i,j及び第１低感度補正係数ｂ1_i,jを算出したが、第２補正係数算出部３８により、各画素に共通に使用する第２高感度補正係数ａ2及び第２低感度補正係数ｂ2を算出するようにしてもよい。以下、図６及び図７に示したフローチャートに従って、第２補正係数算出部３８による第２高感度補正係数ａ2及び第２低感度補正係数ｂ2の算出処理について説明する。 “6. Other calculation examples of high sensitivity correction coefficient and low sensitivity correction coefficient
In the above-described embodiment, the first high sensitivity correction coefficient a1 _{i, j} and the first low sensitivity correction coefficient b1 _{i, j corresponding} to each pixel are calculated. The second high-sensitivity correction coefficient a2 and the second low-sensitivity correction coefficient b2 used in the above may be calculated. Hereinafter, the calculation process of the second high sensitivity correction coefficient a2 and the second low sensitivity correction coefficient b2 by the second correction coefficient calculation unit 38 will be described according to the flowcharts shown in FIGS.

図６のＳＴＥＰ３０で、第２補正係数算出部３８は、図８に示したように、カラー画像４２，高感度画像４３，及び低感度画像４４の道路の画像部分９１について複数の路面ブロック９５（９５ａ，９５ｂ，９５ｃ，…、本発明の補正係数算出領域に相当する）を設定し、また、車線区分線の画像部分９２について複数の区分線ブロック９６（９６ａ，９６ｂ，９６ｃ，…、本発明の補正係数算出領域に相当する）を設定する。   In STEP 30 of FIG. 6, the second correction coefficient calculation unit 38, as shown in FIG. 8, uses a plurality of road surface blocks 95 (for the road image portion 91 of the color image 42, the high sensitivity image 43, and the low sensitivity image 44. 95a, 95b, 95c,... Corresponding to the correction coefficient calculation region of the present invention), and a plurality of lane marking blocks 96 (96a, 96b, 96c,. Corresponding to the correction coefficient calculation area).

そして、次のＳＴＥＰ３１で、第２補正係数算出部３８は、各路面ブロック９５と区分線ブロック９６について、Ｗ画素，Ｒ・Ｇ・Ｂ画素、及びＶ画素の飽和率と黒潰れ率を算出する。   Then, in the next STEP 31, the second correction coefficient calculation unit 38 calculates the saturation rate and black crushing rate of the W pixel, the R / G / B pixel, and the V pixel for each road block 95 and the lane marking block 96. .

ここで、飽和率は、各ブロックの総画素数に対する階調値が最大値（分解能が８bitであれば２５５、本発明の第１所定値に相当する）になっている画素の個数の割合である。また、黒潰れ率は、各ブロックの総画素数に対する階調値が最小値（０、本発明の第２所定値に相当する）になっている画素の割合である。なお、最大値及び最小値ではなく、最大値及び最小値の付近に設定した階調値により、飽和率及び黒潰れ率を算出してもよい。   Here, the saturation rate is a ratio of the number of pixels in which the gradation value with respect to the total number of pixels of each block is the maximum value (255 if the resolution is 8 bits, which corresponds to the first predetermined value of the present invention). is there. Further, the blackout ratio is a ratio of pixels in which the gradation value with respect to the total number of pixels of each block is a minimum value (0, corresponding to the second predetermined value of the present invention). Note that the saturation rate and the black crushing rate may be calculated based on gradation values set in the vicinity of the maximum value and the minimum value instead of the maximum value and the minimum value.

続くＳＴＥＰ３２で、第２補正係数算出部３８は、Ｗ画素，Ｒ・Ｇ・Ｂ画素，及びＶ画素のいずれについても、飽和率が第１閾値以下、且つ、黒潰れ率が第２閾値以下であるブロック（有効なブロック）があるか否かを判断する。そして、有効なブロックがあるときはＳＴＥＰ３３に進み、有効なブロックがないときにはＳＴＥＰ３０に分岐する。   In subsequent STEP 32, the second correction coefficient calculation unit 38 determines that the saturation rate is equal to or less than the first threshold value and the black crushing rate is equal to or less than the second threshold value for all of the W pixel, the R, G, B pixel, and the V pixel. It is determined whether there is a certain block (valid block). If there is a valid block, the process proceeds to STEP 33. If there is no valid block, the process branches to STEP 30.

ＳＴＥＰ３３で、第２補正係数算出部３８は、有効な各ブロック（路面ブロック及び区分線ブロック）について、カラー画像４２の各画素のＲ・Ｇ・Ｂ階調値から、上記式（２７）により参照階調値Ｙ_i,jを算出する。次のＳＴＥＰ３４で、第２補正係数算出部３８は、有効な路面ブロックがあるか否かを判断する。 In STEP 33, the second correction coefficient calculation unit 38 refers to each effective block (road surface block and lane marking block) from the R, G, and B gradation values of each pixel of the color image 42 by the above equation (27). The gradation value Y _{i, j} is calculated. In the next STEP 34, the second correction coefficient calculation unit 38 determines whether there is an effective road surface block.

そして、有効な路面ブロックがあるときはＳＴＥＰ３５に進み、第２補正係数算出部３８は、有効な各路面ブロックについて、高感度画像４３の各画素の階調値（Ｈ_i,j）の平均階調値Ｒbwと、低感度画像４４の各画素の階調値（Ｌ_i,j）の平均階調値Ｒbvと、カラー画像４２の各画素の参照階調値（Ｙ_i,j）の平均階調値Ｒbyとを算出する。また、有効な路面ブロックがないときにはＳＴＥＰ３６に分岐する。 When there is an effective road surface block, the process proceeds to STEP 35, and the second correction coefficient calculation unit 38 calculates the average rank of the gradation values (H _{i, j} ) of each pixel of the high-sensitivity image 43 for each effective road surface block. The average gradation value Rbw, the average gradation value Rbv of the gradation value (L _{i, j} ) of each pixel of the low-sensitivity image 44, and the average gradation of the reference gradation value (Y _{i, j} ) of each pixel of the color image 42 The adjustment value Rby is calculated. If there is no effective road surface block, the process branches to STEP36.

ＳＴＥＰ３６で、第２補正係数算出部３８は、有効な区分線ブロックがあるか否かを判断する。そして、有効な区分線ブロックがあるときはＳＴＥＰ３７に進み、第２補正係数算出部３８は、有効な各区分線ブロックについて、高感度画像４３の各画素の階調値（Ｈ_i,j）の平均階調値Ｌbwと、低感度画像４４の各画素の階調値（Ｌ_i,j)の平均階調値Ｌbvと、カラー画像４２の各画素の参照階調値（Ｙ_i,j)の平均階調値Ｌbyとを算出する。また、有効な区分線ブロックがないときには図７のＳＴＥＰ３８に分岐する。 In STEP 36, the second correction coefficient calculation unit 38 determines whether there is a valid lane marking block. When there is an effective lane marking block, the process proceeds to STEP 37, where the second correction coefficient calculation unit 38 sets the gradation value (Hi _{, j} ) of each pixel of the high-sensitivity image 43 for each valid lane marking block. The average gradation value Lbw, the average gradation value Lbv of the gradation value (L _{i, j} ) of each pixel of the low-sensitivity image 44, and the reference gradation value (Y _{i, j} ) of each pixel of the color image 42 An average gradation value Lby is calculated. Further, if there is no valid dividing line block, the process branches to STEP 38 in FIG.

図７のＳＴＥＰ３８で、第２補正係数算出部３８は、有効な路面ブロックと区分線ブロックがあるか否かを判断する。そして、有効な路面ブロックと区分線ブロックがあるときはＳＴＥＰ３９に進み、有効な路面ブロックと区分線ブロックのいずれかのみしかないときにはＳＴＥＰ５０に分岐する。   In STEP 38 of FIG. 7, the second correction coefficient calculation unit 38 determines whether there are valid road surface blocks and lane marking blocks. If there is an effective road surface block and a dividing line block, the process proceeds to STEP 39, and if there is only one of the effective road surface block and the dividing line block, the process branches to STEP 50.

ＳＴＥＰ３９で、第２補正係数算出部３８は、以下の式（４６）〜式（４８）により、有効な全ての路面ブロックのＲｂｗ，Ｒｂｖ，Ｒｂｙのそれぞれの平均値であるＲｂｗ_ave，Ｒｂｖ_ave，Ｒｂｙ_aveを算出する。 In STEP 39, the second correction coefficient calculation unit 38 calculates Rbw _ave , Rbv _ave , Rbw _ave , Rbv _ave , which are average values of Rbw, Rbv, Rby of all effective road surface blocks by the following formulas (46) to (48). Rby _ave is calculated.

但し、ｐ：有効な路面ブロックの個数。   Where p: the number of effective road surface blocks.

但し、ｐ：有効な路面ブロックの個数。   Where p: the number of effective road surface blocks.

但し、ｐ：有効な路面ブロックの個数。   Where p: the number of effective road surface blocks.

また、次のＳＴＥＰ４０で、第２補正係数算出部３８は、以下の式（４９）〜式（５１）により、有効な全ての区分線ブロックのＬｂｗ，Ｌｂｖ，Ｌｂｙの各平均値であるＬｂｗ_ave，Ｌｂｖ_ave，Ｌｂｙ_aveを算出する。 In the next STEP 40, the second correction coefficient calculation unit 38 calculates Lbw _ave that is an average value of Lbw, Lbv, and Lby of all valid lane marking blocks according to the following equations (49) to (51). , Lbv _ave , Lby _ave are calculated.

但し、ｑ：有効な区分線ブロックの個数。   Where q: the number of valid lane marking blocks.

但し、ｑ：有効な区分線ブロックの個数。   Where q: the number of valid lane marking blocks.

但し、ｑ：有効な区分線ブロックの個数。   Where q: the number of valid lane marking blocks.

続くＳＴＥＰ４１で、第２補正係数算出部３８は、以下の式（５２）〜式（５５）により、路面ブロックにおけるＷ受光画素とＲ・Ｇ・Ｂ受光画素との感度差を表す係数ａＲｂ、路面ブロックにおけるＲ・Ｇ・Ｂ受光画素とＶ受光画素との感度差を表す係数ｂＲｂ、区分線ブロックにおけるＷ受光画素とＲ・Ｇ・Ｂ受光画素との感度差を表す係数ａＬｂ、及び区分線ブロックにおけるＲ・Ｇ・Ｂ受光画素とＶ受光画素との感度差を表す係数ｂＬｂとを算出する。   In subsequent STEP 41, the second correction coefficient calculation unit 38 calculates a coefficient aRb representing a sensitivity difference between the W light receiving pixel and the R / G / B light receiving pixel in the road surface block by the following equations (52) to (55): A coefficient bRb representing the sensitivity difference between the R, G, B light receiving pixels and the V light receiving pixel in the block, a coefficient aLb representing the sensitivity difference between the W light receiving pixel and the R, G, B light receiving pixels in the section line block, and the section line block The coefficient bLb representing the difference in sensitivity between the R, G, B light receiving pixels and the V light receiving pixels is calculated.

そして、第２補正係数算出部３８は、以下の式（５６）と式（５７）により、Ｗ受光画素とＲ・Ｇ・Ｂ受光画素との感度差を表す第２高感度補正係数ａ2と、Ｒ・Ｇ・Ｂ受光画素とＶ受光画素との感度差を表す第２低感度補正係数ｂ2を算出し、ＳＴＥＰ４２に進んで処理を終了する。   Then, the second correction coefficient calculation unit 38 obtains a second high-sensitivity correction coefficient a2 that represents the sensitivity difference between the W light-receiving pixel and the R / G / B light-receiving pixel according to the following expressions (56) and (57): A second low-sensitivity correction coefficient b2 representing the sensitivity difference between the R, G, B light receiving pixels and the V light receiving pixels is calculated, and the process proceeds to STEP 42 and the process is terminated.

但し、ｃ１，ｃ２：路面ブロックと区分線ブロックに対する重み付け係数。   However, c1, c2: Weighting coefficients for road surface blocks and lane marking blocks.

但し、ｄ１，ｄ２：路面ブロックと区分線ブロックに対する重み付け係数。   However, d1, d2: Weighting coefficients for road surface blocks and lane marking blocks.

また、ＳＴＥＰ５０で、第２補正係数算出部３８は、有効な路面ブロックがあるか否かを判断する。そして、有効な路面ブロックがあるとき（この場合は、有効な区分線ブロックがない）は、ＳＴＥＰ５１に進み、有効な路面ブロックがないとき（この場合は、有効な区分線ブロックのみがある）にはＳＴＥＰ６０に分岐する。   In STEP 50, the second correction coefficient calculation unit 38 determines whether there is an effective road surface block. When there is an effective road surface block (in this case, there is no effective division line block), the process proceeds to STEP 51, and when there is no effective road surface block (in this case, there is only an effective division line block). Branches to STEP60.

ＳＴＥＰ５１で、第２補正係数算出部３８は、上記式（４６）〜式（４８）により、有効な全ての路面ブロックのＲｂｗ，Ｒｂｖ，Ｒｂｙの各平均値であるＲｂｗ_ave，Ｒｂｖ_ave，Ｒｂｙ_aveを算出する。そして、上記式（５２）によりａＲｂを算出して、ａＲｂを第２高感度補正係数ａ2とする。また、上記式（５３）によりｂＲｂを算出して、ｂＲｂを第２低感度補正係数ｂ2とし、ＳＴＥＰ４２に進んで処理を終了する。 In STEP 51, the second correction coefficient calculation unit 38 calculates Rbw _ave , Rbv _ave , Rby _ave that are average values of Rbw, Rbv, Rby of all effective road surface blocks by the above formulas (46) to (48). Is calculated. Then, aRb is calculated by the above equation (52), and aRb is set as the second high sensitivity correction coefficient a2. Further, bRb is calculated by the above equation (53), bRb is set as the second low sensitivity correction coefficient b2, and the process proceeds to STEP42 and the process is terminated.

また、ＳＴＥＰ６０で、第２補正係数算出部３８は、上記式（４９）〜式（５１）により、有効な全ての区分線ブロックのＬｂｗ，Ｌｂｖ，Ｌｂｙの各平均値であるＬｂｗ_ave，Ｌｂｖ_ave，Ｌｂｙ_aveを算出する。そして、上記式（５４）によりａＬｂを算出して、ａＬｂを第２高感度補正係数ａ2とする。また、上記式（５５）によりｂＬｂを算出して、ｂＬｂを第２低感度補正係数ｂ2として、ＳＴＥＰ４２に進んで処理を終了する。 Further, in STEP 60, the second correction coefficient calculation unit 38 obtains Lbw _ave and Lbv _ave that are average values of Lbw, Lbv, and Lby of all valid lane marking blocks by the above formulas (49) to (51). , Lby _ave is calculated. Then, aLb is calculated by the above equation (54), and aLb is set as the second high sensitivity correction coefficient a2. Further, bLb is calculated by the above equation (55), bLb is set as the second low sensitivity correction coefficient b2, and the process proceeds to STEP 42 and the process is terminated.

第２補正係数算出部３８は、このようにして算出した第２高感度補正係数ａ2と第２低感度補正係数ｂ2を、上記式（４３）〜式（４４）の第１高感度補正係数ａ1_i,jと第１低感度補正係数ｂ1_i,jに、それぞれ置き換えることによって、広ダイナミックレンジ画像の各画素に割り当てる階調値を算出する。 The second correction coefficient calculation unit 38 uses the second high sensitivity correction coefficient a2 and the second low sensitivity correction coefficient b2 calculated in this way as the first high sensitivity correction coefficient a1 in the above equations (43) to (44). _By replacing _{i, j} and the first low-sensitivity correction coefficient b1 _{i, j} respectively, the gradation value assigned to each pixel of the wide dynamic range image is calculated.

なお、図６のＳＴＥＰ３２で、有効な路面ブロックと区分線ブロックがいずれもなかったときには、第２補正係数算出部３８は、上述した各画素についての第１高感度補正係数ａ1_i,jと第１低感度補正係数ｂ1_i,jを用いるか、或いは、予めＤ６５光源又は擬似太陽光源をテストターゲットに照射して算出しておいた高感度補正係数と低感度補正係数を使用する。 Note that when there is neither an effective road surface block nor a lane marking block in STEP 32 of FIG. 6, the second correction coefficient calculation unit 38 determines the first high sensitivity correction coefficient a1 _{i, j} and the first correction coefficient for each pixel described above. (1) The low sensitivity correction coefficient b1 _{i, j} is used, or the high sensitivity correction coefficient and the low sensitivity correction coefficient calculated by irradiating the test target with a D65 light source or a pseudo solar light source in advance are used.

また、上記式（４３）〜式（４４）では、Ｗ画素（高感度画素）とＲ・Ｇ・Ｂ画素の階調値の合成を行った後に、Ｖ画素（低感度画素）の階調値との合成を行ったが、第２補正係数算出部３８は、図６のＳＴＥＰ３１で、各ブロックのＷ画素とＶ画素の飽和率を求めて、ＳＴＥＰ３２で飽和率と黒潰れ率が低いブロックを有効ブロックとして選択している。   In the above formulas (43) to (44), the tone values of the V pixel (low sensitivity pixel) are synthesized after the tone values of the W pixel (high sensitivity pixel) and the R / G / B pixel are synthesized. The second correction coefficient calculation unit 38 obtains the saturation rate of the W pixel and the V pixel of each block in STEP 31 of FIG. 6, and in STEP 32, selects the block having a low saturation rate and black crushing rate. Selected as a valid block.

そこで、Ｗ画素の飽和率と黒潰れ率が共に判定閾値未満であるブロック（Ｗ画素で処理可能なブロック）の個数をｗ_numberとし、Ｖ画素の飽和率と黒潰れ率が共に判定閾値未満であるブロック（Ｖ画素で処理可能なブロック）の個数をｖ_numberとすると、
ｗ_number ≧ ｖ_number
であるときは、カメラ２の露出がアンダー気味でＶ画素の階調値にノイズが多く含まれていると考えられる。そこで、上記式（４３）〜式（４４）のように、Ｗ画素とＲ・Ｇ・Ｂ画素の階調値の合成を行った後に、Ｖ画素の階調値との合成を行うことが好ましい。 Therefore, the number of blocks (blocks that can be processed with W pixels) in which both the W pixel saturation rate and the black crushing rate are less than the determination threshold is w_number, and both the V pixel saturation rate and the black crushing rate are less than the determination threshold. If the number of blocks (blocks that can be processed with V pixels) is v_number,
w_number ≧ v_number
In this case, it is considered that the exposure of the camera 2 is underexposed and a lot of noise is included in the gradation value of the V pixel. Therefore, it is preferable to combine the gradation values of the W pixel and the R, G, and B pixels and then combine the gradation values of the V pixel after the expressions (43) to (44). .

それに対して、
ｗ_number ＜ ｖ_number
であるときには、カメラ２の露出がオーバー気味でＷ画素のコントラストが失われている可能性がある。そこで、上記式（４３）〜式（４４）とは逆に、Ｒ・Ｇ・Ｂ画素とＶ画素の階調値の合成を行った後に、Ｗ画素の階調値との合成を行うことが好ましい。 On the other hand,
w_number <v_number
In such a case, there is a possibility that the camera 2 is overexposed and the contrast of the W pixel is lost. Therefore, contrary to the above formulas (43) to (44), the tone values of the R, G, and B pixels and the V pixel are synthesized, and then the tone values of the W pixel are synthesized. preferable.

なお、本実施形態では、原画像４１から、カラー画像４２、高感度画像４３、及び低感度画像４４を生成して、各画像間の対応する画素について、階調値を合成することにより広ダイナミックレンジ画像４５を生成したが、カラー画像４２、高感度画像４３、及び低感度画像４４を生成せずに、原画像４１の各画素に高感度の階調値（Ｈ_i,j）と低感度の階調値（Ｌ_i,j）とＲ・Ｇ・Ｂの階調値（Ｃ_i,jr，Ｃ_i,jg，Ｃ_i,jb）を割当てて、これらの階調値から直接的に広ダイナミックレンジ画像を生成するようにしてもよい。 In the present embodiment, a color image 42, a high-sensitivity image 43, and a low-sensitivity image 44 are generated from the original image 41, and the gradation values are synthesized for the corresponding pixels between the images, thereby wide dynamics. The range image 45 is generated, but the color image 42, the high-sensitivity image 43, and the low-sensitivity image 44 are not generated, and a high-sensitivity gradation value (Hi _{, j} ) and low-sensitivity are applied to each pixel of the original image 41. The tone value (L _{i, j} ) and the R, G, B tone value (C _{i, j} r, C _{i, j} g, C _{i, j} b) are assigned and directly derived from these tone values. For example, a wide dynamic range image may be generated.

また、本実施形態においては、第１高感度補正係数ａ1_i,j及び第１低感度補正係数ｂ1_i,jと、第２高感度補正係数ａ2及び第２低感度補正係数ｂ2を用いて、高感度階調値（Ｈ_i,j）と低感度階調値（Ｌ_i,j）を合成する例を示したが、他の手法による重み付け等を行って高感度階調値（Ｈ_i,j）と低感度階調値（Ｌ_i,j）を合成して、広ダイナミックレンジ画像を生成してもよい。 In the present embodiment, the first high sensitivity correction coefficient a1 _{i, j} and the first low sensitivity correction coefficient b1 _{i, j} , the second high sensitivity correction coefficient a2 and the second low sensitivity correction coefficient b2 are used. Although an example in which the high sensitivity gradation value (H _{i, j} ) and the low sensitivity gradation value (L _{i, j} ) are combined has been shown, the high sensitivity gradation value (H _{i, j} ) is weighted by other methods _{. j} ) and the low sensitivity gradation value (L _{i, j} ) may be combined to generate a wide dynamic range image.

１…車両、２…カメラ、３…画像コントローラ、６…車両コントローラ、２１…フィルタ、２２…撮像素子、３０…制御回路、３１…原画像取得部、３２…画像生成部、３３…カラー画像生成部、３４…高感度画像生成部、３５…低感度画像生成部、３６…広ダイナミックレンジ画像生成部、３７…第１補正係数算出部、３８…第２補正係数算出部、３９…対象物検知部、４１…原画像、４２…カラー画像、４３…高感度画像、４４…低感度画像、４５…広ダイナミックレンジ画像。   DESCRIPTION OF SYMBOLS 1 ... Vehicle, 2 ... Camera, 3 ... Image controller, 6 ... Vehicle controller, 21 ... Filter, 22 ... Image sensor, 30 ... Control circuit, 31 ... Original image acquisition part, 32 ... Image generation part, 33 ... Color image generation 34, high sensitivity image generation unit, 35 ... low sensitivity image generation unit, 36 ... wide dynamic range image generation unit, 37 ... first correction coefficient calculation unit, 38 ... second correction coefficient calculation unit, 39 ... object detection Part 41 ... original image 42 ... color image 43 ... high sensitivity image 44 ... low sensitivity image 45 ... wide dynamic range image

Claims (5)

車両に搭載されて、カラーフィルタを介して受光する複数のカラー受光画素と、カラーフィルタを介さずに受光する複数の第１透明受光画素と、カラーフィルタを介さずに該第１透明受光画素よりも低い透過率で受光する複数の第２透明受光画素とが配置された撮像素子により撮像するカメラと、
前記カメラにより撮像された、前記各カラー受光画素の受光レベルに応じた階調値が個別に割り当てられた複数のカラー画素と、前記各第１透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第１透明画素と、前記各第２透明受光画素の受光レベルに応じた階調値が個別に割り当てられた複数の第２透明画素とが配置された原画像を取得する原画像取得部と、
前記原画像の各画素に対し、第１透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第２透明画素について周囲の第１透明画素の階調値に基づく高感度階調値を割り当て、また、第２透明画素について自身の階調値に基づく高感度階調値を割り当てると共に、カラー画素及び第１透明画素について周囲に配置された第２透明画素の階調値に基づく低感度階調値を割り当てて、
前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、各画素ごとに合成した各画素の広レンジ階調値を算出し、各画素の広レンジ階調値を広ダイナミックレンジ画像の対応する配置位置の画素の階調値として割り当てることにより、広ダイナミックレンジ画像を生成する画像生成部と、
前記広ダイナミックレンジ画像を用いて、前記車両の周辺に存在する対象物を検知する対象物検知部と
を備えたことを特徴とする車両周辺監視装置。 A plurality of color light receiving pixels mounted on a vehicle and receiving light via a color filter, a plurality of first transparent light receiving pixels receiving light without passing through a color filter, and a first transparent light receiving pixel without passing through a color filter A camera that captures an image with an image sensor in which a plurality of second transparent light-receiving pixels that receive light with low transmittance are disposed;
A plurality of color pixels that are imaged by the camera and are individually assigned gradation values corresponding to the light receiving levels of the color light receiving pixels, and gradation values corresponding to the light receiving levels of the first transparent light receiving pixels Acquisition of an original image in which a plurality of individually assigned first transparent pixels and a plurality of second transparent pixels to which gradation values corresponding to light reception levels of the respective second transparent light receiving pixels are individually assigned are arranged An original image acquisition unit,
For each pixel of the original image, a high sensitivity gradation value based on its own gradation value is assigned to the first transparent pixel, and based on the gradation values of the surrounding first transparent pixels for the color pixel and the second transparent pixel. A high-sensitivity gradation value is assigned, a high-sensitivity gradation value based on its own gradation value is assigned to the second transparent pixel, and the steps of the second transparent pixel arranged around the color pixel and the first transparent pixel are assigned. Assign a low sensitivity gradation value based on the key value,
A wide range gradation value of each pixel obtained by combining the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image for each pixel is calculated. Assigning a value as a gradation value of a pixel at a corresponding arrangement position of a wide dynamic range image, an image generation unit for generating a wide dynamic range image;
A vehicle periphery monitoring device, comprising: an object detection unit that detects an object existing around the vehicle using the wide dynamic range image. 請求項１に記載の車両周辺監視装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像の各第１透明画素及び各第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記原画像の各カラー画素に対して、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記原画像の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、各画素に対して、対応する前記高感度階調値と前記参照階調値との相違度に応じた第１高感度補正係数と、対応する前記低感度階調値と前記参照階調値との相違度に応じた第１低感度補正係数とを算出する第１補正係数算出部を備え、
前記画像生成部は、前記原画像の各画素について、割り当てられた前記高感度階調値と前記低感度階調値とを、対応する前記第１高感度補正係数及び前記第１低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 1,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
To each first transparent pixel and each second transparent pixel of the original image, each gradation value of three primary colors based on the gradation values of the color pixels arranged around is assigned, and to each color pixel of the original image On the other hand, the gradation values of the three primary colors based on the gradation values of the own image or the gradation values of other color pixels arranged in the surroundings are assigned to the gradation values of the three primary colors assigned to the pixels of the original image. A gray reference gradation value is calculated, and a first high sensitivity correction coefficient corresponding to a difference between the corresponding high sensitivity gradation value and the reference gradation value is calculated for each pixel, and the corresponding low A first correction coefficient calculation unit that calculates a first low sensitivity correction coefficient according to the difference between the sensitivity gradation value and the reference gradation value;
The image generation unit assigns the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image to the corresponding first high sensitivity correction coefficient and the first low sensitivity correction coefficient. A vehicle periphery monitoring device that calculates the wide-range gradation value of each pixel by combining them. 請求項１に記載の車両周辺監視装置において、
前記カラーフィルタは３原色カラーフィルタであって、前記カラー受光画素は、３原色のうちのいずれかの色のフィルタを介して受光し、
前記原画像において、道路の画像部分又は道路に敷設されている車線区分線の画像部分を含む領域を、補正係数算出領域として設定し、該補正係数算出領域内の各第１透明画素及び第２透明画素に対して、周囲に配置されたカラー画素の階調値に基づく３原色の各階調値を割り当てると共に、前記補正係数算出領域内の各カラー画素について、自身の階調値又は周囲に配置された他のカラー画素の階調値に基づく３原色の階調値を割り当てて、前記補正係数算出領域内の各画素に割り当てた３原色の階調値に基づくグレーの参照階調値を算出し、前記補正係数算出領域内の各画素に割り当てられた前記高感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２高感度補正係数と、前記補正係数算出領域内の各画素に割り当てられた前記低感度階調値の平均値と各画素について算出された前記参照階調値の平均値との相違度に応じた第２低感度補正係数とを算出する第２補正係数算出部とを備え、
前記画像生成部は、前記原画像の各画素に割り当てた前記高感度階調値と前記低感度階調値とを、前記第２高感度補正係数及び前記第２低感度補正係数を用いて合成することにより、各画素の前記広レンジ階調値を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 1,
The color filter is a three primary color filter, and the color light receiving pixel receives light through a filter of any one of the three primary colors,
In the original image, an area including an image part of a road or an image part of a lane marking line laid on the road is set as a correction coefficient calculation area, and each first transparent pixel and second pixel in the correction coefficient calculation area are set. The gradation values of the three primary colors based on the gradation values of the surrounding color pixels are assigned to the transparent pixels, and each color pixel in the correction coefficient calculation area is arranged in its own gradation value or the surrounding area. A gray reference gradation value is calculated based on the gradation values of the three primary colors assigned to each pixel in the correction coefficient calculation area by assigning gradation values of the three primary colors based on the gradation values of the other color pixels. The second high sensitivity according to the difference between the average value of the high sensitivity gradation value assigned to each pixel in the correction coefficient calculation area and the average value of the reference gradation value calculated for each pixel. Correction coefficient and the correction coefficient calculation area A second low-sensitivity correction coefficient corresponding to the degree of difference between the average value of the low-sensitivity gradation values assigned to each pixel and the average value of the reference gradation value calculated for each pixel is calculated. 2 correction coefficient calculation unit,
The image generation unit combines the high sensitivity gradation value and the low sensitivity gradation value assigned to each pixel of the original image using the second high sensitivity correction coefficient and the second low sensitivity correction coefficient. Thus, the vehicle periphery monitoring device calculates the wide range gradation value of each pixel. 請求項３に記載の車両周辺監視装置において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた高感度階調値が第１所定値以上である画素の割合が第１閾値以下である補正係数算出領域を対象として、前記第２高感度補正係数を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 3,
The second correction coefficient calculation unit sets a plurality of correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels having an assigned high sensitivity gradation value equal to or greater than a first predetermined value is the first. The vehicle periphery monitoring device, wherein the second high sensitivity correction coefficient is calculated for a correction coefficient calculation area that is equal to or less than one threshold. 請求項３又は請求項４に記載の車両周辺監視装置において、
前記第２補正係数算出部は、前記補正係数算出領域を複数設定し、該複数の補正係数算出領域のうち、割当てられた低感度階調値が第２所定値以下である画素の割合が第２閾値以下である補正係数算出領域を対象として、前記第２低感度補正係数を算出することを特徴とする車両周辺監視装置。 In the vehicle periphery monitoring device according to claim 3 or claim 4,
The second correction coefficient calculation unit sets a plurality of the correction coefficient calculation areas, and among the plurality of correction coefficient calculation areas, a ratio of pixels whose assigned low sensitivity gradation value is equal to or less than a second predetermined value is the first. 2. The vehicle periphery monitoring device, wherein the second low sensitivity correction coefficient is calculated for a correction coefficient calculation area that is equal to or less than two thresholds.

Images