JP2000285224A - On-vehicle picture storage device and on-vehicle picture recognition device - Google Patents
On-vehicle picture storage device and on-vehicle picture recognition deviceInfo
- Publication number
- JP2000285224A JP2000285224A JP11088813A JP8881399A JP2000285224A JP 2000285224 A JP2000285224 A JP 2000285224A JP 11088813 A JP11088813 A JP 11088813A JP 8881399 A JP8881399 A JP 8881399A JP 2000285224 A JP2000285224 A JP 2000285224A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- image processing
- imaging
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車両の走行制御装
置、追突事故を防止するための警報装置などに用いられ
る車載画像蓄積装置及び車載画像認識装置に関するもの
である。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an in-vehicle image storage device and an in-vehicle image recognition device used for a vehicle travel control device, a warning device for preventing a rear-end collision, and the like.
【０００２】[0002]
【従来の技術】車両に搭載され、該車両（自車）のまわ
りの情景（路面、他車、障害物等）を撮像してこれに対
応する画像情報を生成し、該画像情報に基づいて自車の
走行制御のための情報あるいは他車との衝突・接触等の
防止のための情報を得るようにした車載カメラ装置（車
載画像認識装置）は従来より知られている。2. Description of the Related Art Mounted on a vehicle, an image of a scene (road surface, another vehicle, an obstacle, etc.) around the vehicle (own vehicle) is taken, and image information corresponding to the image is generated, and based on the image information. 2. Description of the Related Art An in-vehicle camera device (in-vehicle image recognition device) that obtains information for controlling the traveling of a vehicle or information for preventing collision or contact with another vehicle has been known.
【０００３】図７に、かかる従来の車載カメラ装置の一
例を示す（例えば、特開平１０−１１５８０号公報参
照）。図７に示すように、この従来の車載カメラ装置
は、自車のまわりの情景を撮像してこれに対応する画像
情報を得る撮像部７０と、撮像部７０から出力された画
像情報に所定の処理を施して所望の制御情報を得る処理
部７１と、それぞれ処理部７１から出力された制御情報
に基づいて自車の走行を制御する車両運動制御装置７３
および他車との衝突・接触の危険性等を警告する警報装
置７２とで構成されている。より具体的には、かかる車
載カメラ装置では、例えば、処理部７１で、撮像部７０
から受け取った画像情報からエッジを抽出してエッジ画
像を作成し、該エッジ画像に基づいて車線等を検出し、
他車との位置関係等を計測し、該位置関係に基づいて自
車の走行制御を行い、あるいは車線逸脱警報を発するよ
うにしている。FIG. 7 shows an example of such a conventional vehicle-mounted camera device (for example, see Japanese Patent Application Laid-Open No. H10-11580). As shown in FIG. 7, the conventional on-vehicle camera device includes an imaging unit 70 that captures an image of a scene around the own vehicle and obtains image information corresponding thereto, and a predetermined image information output from the imaging unit 70. A processing unit 71 that performs processing to obtain desired control information, and a vehicle motion control device 73 that controls the traveling of the own vehicle based on the control information output from the processing unit 71, respectively.
And an alarm device 72 for warning the danger of collision and contact with other vehicles. More specifically, in such an in-vehicle camera device, for example,
Extract an edge from the image information received from to create an edge image, based on the edge image to detect lanes and the like,
A positional relationship with another vehicle is measured, and the traveling control of the own vehicle is performed based on the positional relationship, or a lane departure warning is issued.
【０００４】[0004]
【発明が解決しようとする課題】ところで、例えば図７
に示すような従来の車載カメラ装置では、撮像部７０で
生成された画像情報がそのまま処理部７１に入力される
ので、天候、時間、照明状態（固定照明、可動照明）等
の撮像条件の変動により、撮像部７０で撮像された画像
が暗い場合は、車線あるいはレーンマーカー等の検出対
象物が明瞭に検出されない状態が続くことがあるといっ
た問題がある。However, for example, FIG.
In the conventional in-vehicle camera device shown in FIG. 1, the image information generated by the imaging unit 70 is directly input to the processing unit 71. Therefore, fluctuations in imaging conditions such as weather, time, and lighting conditions (fixed lighting, movable lighting), etc. Accordingly, when the image captured by the imaging unit 70 is dark, there is a problem that a state in which a detection target such as a lane or a lane marker is not clearly detected may continue.
【０００５】本発明は、上記従来の問題を解決するため
になされたものであって、自車のまわりの情景の画像か
ら所定の又は任意の検出対象物を検出し、その検出結果
に基づいて自車の制御情報等を得る際に、撮像条件のい
かんにかかわらず、例えば自車のまわりの情景ないしは
撮像された画像が暗い場合でも、車線等の所望の検出対
象物を明瞭かつ確実に検出することができる手段を提供
することを解決すべき課題とする。SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned conventional problems, and detects a predetermined or arbitrary object to be detected from an image of a scene around a host vehicle, and based on the detection result, When obtaining control information of the vehicle, regardless of the imaging conditions, for example, even if the scene around the vehicle or the captured image is dark, a desired detection target such as a lane can be detected clearly and reliably. It is an object of the present invention to provide means capable of performing the above.
【０００６】[0006]
【課題を解決するための手段】上記課題を解決するため
になされた本発明の第１の態様にかかる車載画像蓄積装
置は、（ａ）車両周囲の画像の各画素をストアする画像
蓄積手段と、（ｂ）各画素ごとにその強度係数（明度係
数、輝度係数等、画素特性に関する係数）を算出する一
方、該強度係数を（伝達すべき情報として）含む蓄積時
間信号を生成する蓄積時間制御手段とが設けられ、
（ｃ）画像蓄積手段が、蓄積時間制御手段から出力され
た蓄積時間信号に基づいて、各画素の強度に対してそれ
ぞれ、対応する強度係数を掛けた上で、該画素を再スト
アするようになっていることを特徴とするものである。According to a first aspect of the present invention, there is provided an in-vehicle image storage device, comprising: (a) image storage means for storing each pixel of an image around a vehicle; (B) accumulation time control for calculating an intensity coefficient (a coefficient relating to pixel characteristics such as a lightness coefficient and a luminance coefficient) for each pixel and generating an accumulation time signal including the intensity coefficient (as information to be transmitted); Means are provided,
(C) The image storage unit multiplies the intensity of each pixel by a corresponding intensity coefficient based on the storage time signal output from the storage time control unit, and then restores the pixel. It is characterized by having become.
【０００７】この車載画像蓄積装置においては、各画素
について強度係数を、各画素の強度の差が強調されるよ
う好ましく設定すれば、画像蓄積手段においてそれぞれ
強度係数によって強度が調整されて再ストアされた各画
素は、強度差が強調され、明るく鮮明な画像が得られ
る。したがって、撮像条件、例えば自車のまわりの明る
さ等のいかんにかかわらず、検出対象物を明瞭かつ確実
に検出することができる。In this in-vehicle image storage device, if the intensity coefficient is preferably set for each pixel so that the difference in intensity between the pixels is emphasized, the image storage means adjusts the intensity according to the intensity coefficient and restores the image. In each pixel, the intensity difference is emphasized, and a bright and clear image is obtained. Therefore, the detection target can be detected clearly and reliably regardless of the imaging conditions, such as the brightness around the own vehicle.
【０００８】本発明の第２の態様にかかる車載画像認識
装置は、（ａ）車両周囲の画像の各画素を画像データと
してストアする画像蓄積手段と、（ｂ）画像蓄積手段か
ら出力された画像データに対して画像処理を施して画像
処理データを生成する画像処理手段と、（ｃ）画像処理
手段から出力された画像処理データに基づいて、各画素
ごとにその強度係数（明度係数、輝度係数等、画素特性
に関する係数）を算出する一方、該強度係数を（伝達す
べき情報として）含む蓄積時間信号を生成する蓄積時間
制御手段と、（ｄ）画像処理手段から出力された画像処
理データを使用して対象物を検出する画像認識手段とが
設けられ、（ｅ）画像蓄積手段が、蓄積時間制御手段か
ら出力された蓄積時間信号に基づいて、各画素の強度に
対してそれぞれ、対応する強度係数を掛けた上で、該画
素を再ストアするようになっていることを特徴とするも
のである。ここで、蓄積時間制御手段は、画像処理手段
から出力された画像処理データでなく、画像認識手段の
対象物検出結果に基づいて、各画素ごとにその強度係数
を算出する一方、該強度係数を含む蓄積時間信号を生成
するようになっていてもよい。また、画像蓄積手段は、
車両周囲の所定の場所を撮像する撮像手段から出力され
た画像の各画素を、画像データとしてストアするように
なっているのが好ましい。According to a second aspect of the present invention, there is provided an on-vehicle image recognizing apparatus comprising: (a) an image storing means for storing each pixel of an image around a vehicle as image data; and (b) an image output from the image storing means. Image processing means for performing image processing on the data to generate image processing data; and (c) an intensity coefficient (brightness coefficient, brightness coefficient) for each pixel based on the image processing data output from the image processing means. And a storage time control unit that generates a storage time signal including the intensity coefficient (as information to be transmitted), and (d) image processing data output from the image processing unit. Image recognition means for detecting a target object by using the image recognition means. (E) The image storage means determines the intensity of each pixel based on the storage time signal output from the storage time control means. After having multiplied by the intensity coefficient of response, and is characterized in that is adapted to re-store the pixel. Here, the accumulation time control unit calculates the intensity coefficient for each pixel based on the target object detection result of the image recognition unit instead of the image processing data output from the image processing unit, and calculates the intensity coefficient. An accumulation time signal including the accumulation time signal may be generated. Also, the image storage means is
It is preferable that each pixel of the image output from the imaging means for imaging a predetermined place around the vehicle is stored as image data.
【０００９】この車載画像認識装置においては、画像処
理手段の画像処理結果ないしは画像認識手段の対象物検
出結果に応じて、各画素について強度係数を、各画素の
強度の差が強調されるよう好ましく設定すれば、画像蓄
積手段においてそれぞれ強度係数によって強度が調整さ
れて再ストアされた各画素は、その強度差が強調され、
明るく鮮明な画像が得られる。したがって、撮像条件、
例えば自車のまわりの明るさ等のいかんにかかわらず、
検出対象物を明瞭かつ確実に検出することができる。In this on-vehicle image recognition device, it is preferable that the intensity coefficient is set for each pixel according to the image processing result of the image processing unit or the object detection result of the image recognition unit so that the difference between the intensities of the pixels is emphasized. If set, each pixel whose intensity has been adjusted by the intensity coefficient in the image storage means and restored again has its intensity difference emphasized,
A bright and clear image can be obtained. Therefore, imaging conditions,
For example, regardless of the brightness around the car,
An object to be detected can be detected clearly and reliably.
【００１０】本発明の第３の態様にかかる車載画像認識
装置は、（ａ）車両周囲の所定の場所を撮像して画像デ
ータを生成する撮像手段と、（ｂ）撮像手段から出力さ
れた画像データに対して画像処理を施す画像処理手段
と、（ｃ）画像処理手段の画像処理結果に基づいて、撮
像手段の露光時間を決定する一方、該露光時間を（伝達
すべき情報として）含む露光時間信号を生成する露光時
間制御手段と、（ｄ）画像処理手段の画像処理結果を使
用して、車両周囲の対象物を検出する画像認識手段とが
設けられ、（ｅ）撮像手段が、露光時間制御手段から出
力された露光時間信号に基づいて、露光時間を変えるよ
うになっていることを特徴とするものである。ここで、
露光時間制御手段は、画像処理手段の画像処理結果でな
く、画像認識手段の対象物検出結果（認識結果）に基づ
いて、撮像手段の露光時間を決定する一方、該露光時間
を含む露光時間信号を生成するようになっていてもよ
い。A vehicle-mounted image recognizing device according to a third aspect of the present invention comprises: (a) an image pickup means for picking up an image of a predetermined place around a vehicle to generate image data; and (b) an image output from the image pickup means. An image processing means for performing image processing on the data; and (c) an exposure method which determines the exposure time of the imaging means based on the image processing result of the image processing means, and includes the exposure time (as information to be transmitted). Exposure time control means for generating a time signal; and (d) image recognition means for detecting an object around the vehicle using the image processing result of the image processing means. The exposure time is changed based on the exposure time signal output from the time control means. here,
The exposure time control means determines the exposure time of the imaging means based on the object detection result (recognition result) of the image recognition means instead of the image processing result of the image processing means, and an exposure time signal including the exposure time. May be generated.
【００１１】この車載画像認識装置においては、画像処
理手段の画像処理結果ないしは画像認識手段の対象物検
出結果に応じて、露光時間を、各画像が適切な強度をも
つように好ましく設定すれば、撮像手段において撮像さ
れる画像が十分な明るさあるいはコントラストを備えた
ものとなる。したがって、撮像条件、例えば自車のまわ
りの明るさ等のいかんにかかわらず、検出対象物を明瞭
かつ確実に検出することができる。In this vehicle-mounted image recognition device, if the exposure time is preferably set so that each image has an appropriate intensity according to the image processing result of the image processing means or the object detection result of the image recognition means, The image picked up by the image pickup means has a sufficient brightness or contrast. Therefore, the detection target can be detected clearly and reliably regardless of the imaging conditions, such as the brightness around the own vehicle.
【００１２】本発明の第４の態様にかかる車載画像認識
装置は、（ａ）車両周囲の所定の場所を撮像して画像デ
ータを生成する撮像手段と、（ｂ）撮像手段から出力さ
れた画像データに対して画像処理を施す画像処理手段
と、（ｃ）画像処理手段の画像処理結果に基づいて、撮
像手段のシャッター時間を決定する一方、該シャッター
時間を（伝達すべき情報として）含むシャッター時間信
号を生成する電子シャッター制御手段と、（ｄ）画像処
理手段の画像処理結果を使用して、車両周囲の対象物を
検出する画像認識手段とが設けられ、（ｅ）撮像手段
が、電子シャッター制御手段から出力されたシャッター
時間信号に基づいて、シャッター時間を変えるようにな
っていることを特徴とするものである。ここで、電子シ
ャッター制御手段は、画像処理手段の画像処理結果でな
く、画像認識手段の対象物検出結果（認識結果）に基づ
いて、撮像手段のシャッター時間を決定する一方、該シ
ャッター時間を含むシャッター時間信号を生成するよう
になっていてもよい。According to a fourth aspect of the present invention, there is provided an on-vehicle image recognizing device, comprising: (a) an image pickup means for picking up an image of a predetermined place around a vehicle to generate image data; and (b) an image output from the image pickup means. An image processing means for performing image processing on the data; and (c) a shutter including the shutter time (as information to be transmitted) while determining the shutter time of the imaging means based on the image processing result of the image processing means. Electronic shutter control means for generating a time signal; and (d) image recognition means for detecting an object around the vehicle using the image processing result of the image processing means. The shutter time is changed based on a shutter time signal output from the shutter control means. Here, the electronic shutter control means determines the shutter time of the image pickup means based on the result of object detection (recognition result) of the image recognition means instead of the image processing result of the image processing means, and includes the shutter time. A shutter time signal may be generated.
【００１３】この車載画像認識装置においては、画像処
理手段の画像処理結果ないしは画像認識手段の対象物検
出結果に応じて、電子シャッターの速さを、各画像が適
切な強度をもつように好ましく設定すれば、撮像手段に
おいて撮像される画像が十分な明るさあるいはコントラ
ストを備えたものとなる。したがって、撮像条件、例え
ば自車のまわりの明るさ等のいかんにかかわらず、検出
対象物を明瞭かつ確実に検出することができる。In this on-vehicle image recognition apparatus, the speed of the electronic shutter is preferably set according to the image processing result of the image processing means or the object detection result of the image recognition means so that each image has an appropriate intensity. Then, the image captured by the image capturing means has sufficient brightness or contrast. Therefore, the detection target can be detected clearly and reliably regardless of the imaging conditions, such as the brightness around the own vehicle.
【００１４】本発明の第５の態様にかかる車載画像認識
装置は、（ａ）車両周囲の所定の場所を撮像して画像デ
ータを生成する撮像手段と、（ｂ）撮像手段から出力さ
れた画像データに対して画像処理を施す画像処理手段
と、（ｃ）画像処理手段の画像処理結果に基づいて、撮
像手段のγ補正値を決定する一方、該γ補正値を（伝達
すべき情報として）含むγ補正信号を生成するγ補正制
御手段と、（ｄ）画像処理手段の画像処理結果を使用し
て、車両周囲の対象物を検出する画像認識手段とが設け
られ、（ｅ）撮像手段が、γ補正制御手段から出力され
たγ補正信号に基づいて、γ補正値を変えるようになっ
ているを特徴とするものである。ここで、γ補正制御手
段は、画像処理手段の画像処理結果でなく、画像認識手
段の対象物検出結果（認識結果）に基づいて、撮像手段
のγ補正値を決定する一方、該γ補正値を含むγ補正信
号を生成するようになっていてもよい。[0014] A vehicle-mounted image recognition apparatus according to a fifth aspect of the present invention comprises: (a) imaging means for imaging a predetermined location around the vehicle to generate image data; and (b) an image output from the imaging means. Image processing means for performing image processing on the data; and (c) determining the γ correction value of the imaging means based on the image processing result of the image processing means, and using the γ correction value (as information to be transmitted) And (d) image recognition means for detecting an object around the vehicle using the image processing result of the image processing means, and (e) imaging means. Γ correction value is changed based on the γ correction signal output from the γ correction control means. Here, the γ correction control means determines the γ correction value of the imaging means based on the object detection result (recognition result) of the image recognition means instead of the image processing result of the image processing means. May be generated.
【００１５】この車載画像認識装置においては、画像処
理手段の画像処理結果ないしは画像認識手段の対象物検
出結果に応じて、γ補正値を、各画像が適切な強度をも
つように好ましく設定すれば、撮像手段において撮像さ
れる画像が十分な明るさあるいはコントラストを備えた
ものとなる。したがって、撮像条件、例えば自車のまわ
りの明るさ等のいかんにかかわらず、検出対象物を明瞭
かつ確実に検出することができる。In this vehicle-mounted image recognition device, the γ correction value is preferably set so that each image has an appropriate intensity according to the image processing result of the image processing means or the object detection result of the image recognition means. Thus, the image captured by the image capturing means has sufficient brightness or contrast. Therefore, the detection target can be detected clearly and reliably regardless of the imaging conditions, such as the brightness around the own vehicle.
【００１６】本発明の第６の態様にかかる車載画像認識
装置は、（ａ）車両周囲の所定の場所を撮像して画像デ
ータを生成する撮像手段と、（ｂ）撮像手段から出力さ
れた画像データに対して画像処理を施す画像処理手段
と、（ｃ）画像処理手段の画像処理結果に基づいて、撮
像手段のゲインを決定する一方、該ゲインを（伝達すべ
き情報として）含むゲイン信号を生成するゲイン制御手
段と、（ｄ）画像処理手段の画像処理結果を使用して、
車両周囲の対象物を検出する画像認識手段とが設けら
れ、（ｅ）撮像手段が、ゲイン制御手段から出力された
ゲイン信号に基づいて、ゲインの値を変えるようになっ
ているを特徴とするものである。ここで、ゲイン制御手
段は、画像処理手段の画像処理結果でなく、画像認識手
段の対象物検出結果（認識結果）に基づいて、撮像手段
のゲインを決定する一方、該ゲインを含むゲイン信号を
生成するようになっていてもよい。A vehicle-mounted image recognition apparatus according to a sixth aspect of the present invention comprises: (a) imaging means for imaging a predetermined location around a vehicle to generate image data; and (b) an image output from the imaging means. Image processing means for performing image processing on the data; and (c) determining a gain of the imaging means based on an image processing result of the image processing means, and a gain signal including the gain (as information to be transmitted). Using the generated gain control means and (d) the image processing result of the image processing means,
Image recognition means for detecting an object around the vehicle; and (e) the imaging means changes a gain value based on a gain signal output from the gain control means. Things. Here, the gain control means determines the gain of the imaging means based on the object detection result (recognition result) of the image recognition means instead of the image processing result of the image processing means, and outputs a gain signal including the gain. It may be generated.
【００１７】この車載画像認識装置においては、画像処
理手段の画像処理結果ないしは画像認識手段の対象物検
出結果に応じて、ゲインを、各画像が適切な強度をもつ
ように好ましく設定すれば、撮像手段において撮像され
る画像が十分な明るさあるいはコントラストを備えたも
のとなる。したがって、撮像条件、例えば自車のまわり
の明るさ等のいかんにかかわらず、検出対象物を明瞭か
つ確実に検出することができる。In this in-vehicle image recognition apparatus, if the gain is preferably set so that each image has an appropriate intensity according to the image processing result of the image processing means or the object detection result of the image recognition means, the image pickup The image picked up by the means has sufficient brightness or contrast. Therefore, the detection target can be detected clearly and reliably regardless of the imaging conditions, such as the brightness around the own vehicle.
【００１８】[0018]
【発明の実施の形態】以下、添付の図面を参照しつつ本
発明の実施の形態を具体的に説明する。 実施の形態１．図１に、本発明の実施の形態１にかかる
車載画像蓄積装置の構成を示す。図１に示すように、こ
の車載画像蓄積装置には、ストア（蓄積）している画像
の各画素の強度（明るさ、輝度等の画素特性）にそれぞ
れ異なる強度係数を掛けて再ストアする画像蓄積手段１
０と、画像蓄積手段１０の各画素ごとに上記強度係数を
算出する蓄積時間制御手段１１とが設けられている。Embodiments of the present invention will be specifically described below with reference to the accompanying drawings. Embodiment 1 FIG. FIG. 1 shows a configuration of the vehicle-mounted image storage device according to the first embodiment of the present invention. As shown in FIG. 1, the in-vehicle image storage device stores an image to be stored again by multiplying the intensity (pixel characteristics such as brightness and luminance) of each pixel of the stored image by a different intensity coefficient. Storage means 1
0 and an accumulation time control means 11 for calculating the intensity coefficient for each pixel of the image accumulation means 10 are provided.
【００１９】この図１に示す画像蓄積手段１０は、蓄積
時間制御手段１１から受け取った信号（強度係数を伝達
内容とする蓄積時間信号）にしたがって（基づいて）、
各走査線ごとに各画素の強度に強度係数ｍlを掛けた上
で、該画素を再ストアする。また、蓄積時間制御手段１
１では、各走査線の各画素をｍl倍する信号を予めスト
アしておき、上記画像蓄積手段１０に出力する。The image accumulating means 10 shown in FIG. 1 is based on (based on) a signal (an accumulating time signal whose transmission is an intensity coefficient) received from the accumulating time control means 11.
After having multiplied by the strength coefficient m l the intensity of each pixel for each scan line, to re-store the pixel. In addition, storage time control means 1
In step 1, a signal for multiplying each pixel of each scanning line by m 1 is stored in advance and output to the image storage means 10.
【００２０】かくして、実施の形態１にかかる車載画像
認識装置においては、画像の各画素についての強度係数
を、各画素の強度の差が強調されるよう好ましく設定す
れば、画像蓄積手段１０においてそれぞれ強度係数によ
って強度が調整されて再ストアされた各画素は、その強
度差が強調される。このため、例えば自車のまわりが暗
いとき、あるいは撮像された画像が暗い場合でも、車
線、レーンマーカー等の検出対象物を明瞭かつ確実に検
出することができる。つまり、撮像条件、例えば自車の
周囲の明るさの状態等によらず検出対象物を検出するこ
とができる。Thus, in the in-vehicle image recognition apparatus according to the first embodiment, if the intensity coefficient for each pixel of the image is preferably set so that the difference in the intensity of each pixel is emphasized, the image storage means 10 Each pixel whose intensity has been adjusted and restored by the intensity coefficient has its intensity difference emphasized. For this reason, for example, even when the surroundings of the own vehicle are dark or the captured image is dark, a detection target such as a lane or a lane marker can be detected clearly and reliably. That is, the detection target can be detected regardless of the imaging conditions, for example, the state of the brightness around the own vehicle.
【００２１】実施の形態２．図２に、本発明の実施の形
態２にかかる車載画像認識装置の構成を示す。図２に示
すように、この車載画像認識装置には、ストアしている
画像の各画素の強度にそれぞれ異なる強度係数を掛けて
再ストアする画像蓄積手段２０と、画像蓄積手段２０に
ストアされている画像データを受け取ってこれに画像処
理を施す画像処理手段２１とが設けられている。さら
に、画像処理手段２１の画像処理結果に基づいて画像蓄
積手段２０の各画素ごとの強度係数を算出する蓄積時間
制御手段２２と、画像処理手段２１の画像処理結果を使
用して自車の周囲の検出対象物を検出する画像認識手段
２３とが設けられている。Embodiment 2 FIG. FIG. 2 shows the configuration of the vehicle-mounted image recognition device according to the second embodiment of the present invention. As shown in FIG. 2, the in-vehicle image recognition apparatus includes an image storage unit 20 that multiplies the intensity of each pixel of a stored image by a different intensity coefficient and re-stores the image, and stores the image in the image storage unit 20. And image processing means 21 for receiving image data and performing image processing on the received image data. Further, an accumulation time control unit 22 for calculating an intensity coefficient for each pixel of the image accumulation unit 20 based on an image processing result of the image processing unit 21, and a surrounding area of the own vehicle using the image processing result of the image processing unit 21. And an image recognizing means 23 for detecting an object to be detected.
【００２２】この図２に示す車載画像認識手段において
は、画像蓄積手段２０は、蓄積手段制御手段２２からの
信号（強度係数を伝達内容とする蓄積時間信号）にした
がって（基づいて）、各走査線ごとに各画素の強度に強
度係数ｍlを掛けた上で、該画素を再ストアする。画像
処理手段２１は、画像蓄積手段２０から受け取った画像
データにしたがって、エッジ等を検出する。そして、蓄
積時間制御手段２２では、画像処理手段２１で検出され
たエッジを使用し、各走査線ごとの最大エッジ強度Imax
と最小エッジ強度Iminとの差ΔI'と、所定（任意）のし
きい値ΔI1とが次の式１及び式２を満たす場合は、上記
差ΔI'に基づいて、ｍ1（＝ΔI1／ΔI'）を算出して、
各走査線の各画素の強度をｍl（＝ΔI1／ΔI'）倍する
信号を画像蓄積手段２０に出力する。 Imax−Imin＝ΔI'……………………………………………………式１ ΔI'<ΔI1 ……………………………………………………………式２In the in-vehicle image recognizing means shown in FIG. 2, the image accumulating means 20 performs each scanning in accordance with (based on) a signal from the accumulating means controlling means 22 (an accumulating time signal in which an intensity coefficient is transmitted). after having multiplied by the strength coefficient m l the intensity of each pixel line by line, to re-store the pixel. The image processing unit 21 detects an edge or the like according to the image data received from the image storage unit 20. Then, the accumulation time control unit 22 uses the edge detected by the image processing unit 21 and uses the maximum edge intensity Imax for each scanning line.
Minimum edge intensity Imin and the difference [Delta] I 'and, if the threshold value [Delta] I 1 given (arbitrary) satisfies the equations 1 and 2 follows, the difference [Delta] I' based on the, m 1 (= [Delta] I 1 / ΔI ′)
A signal for multiplying the intensity of each pixel of each scanning line by m l (= ΔI 1 / ΔI ′) is output to the image storage means 20. Imax−Imin = ΔI ′ ······················ Equation 1 ΔI ′ <ΔI 1 ……………………………………………… ............ Equation 2
【００２３】画像認識手段２３は、前記画像処理手段２
１で処理された画像データに基づいて検出対象物を検出
する。なお、予め検出対象物の位置および大きさが分か
っている場合は、画像認識手段２３の検出結果（認識結
果）に基づいて、蓄積時間制御手段２２の出力を試行錯
誤的に変えるようにしてもよい。The image recognizing means 23 comprises the image processing means 2
The detection target is detected based on the image data processed in step 1. If the position and size of the detection target are known in advance, the output of the accumulation time control unit 22 may be changed by trial and error based on the detection result (recognition result) of the image recognition unit 23. Good.
【００２４】かくして、実施の形態２にかかる車載画像
認識装置においては、画像処理手段２１の画像処理結果
に応じて各画素についての強度係数を、各画素の強度の
差が強調されるよう好ましく設定すれば、画像蓄積手段
２０においてそれぞれ強度係数によって強度が調整され
て再ストアされた各画素は、その強度差が強調される。
このため、例えば自車のまわりが暗いとき、あるいは撮
像された画像が暗い場合でも、車線、レーンマーカー等
の検出対象物を明瞭かつ確実に検出することができる。
つまり、撮像条件、例えば自車の周囲の明るさ状態等に
よらず検出対象物を検出することができる。Thus, in the in-vehicle image recognition apparatus according to the second embodiment, the intensity coefficient for each pixel is preferably set according to the image processing result of the image processing means 21 so that the difference in the intensity of each pixel is emphasized. Then, each pixel whose intensity is adjusted by the intensity coefficient in the image storage means 20 and restored is emphasized in the intensity difference.
For this reason, for example, even when the surroundings of the own vehicle are dark or the captured image is dark, a detection target such as a lane or a lane marker can be detected clearly and reliably.
That is, the detection target can be detected regardless of the imaging conditions, for example, the brightness state around the own vehicle.
【００２５】実施の形態３．図３に、本発明の実施の形
態３にかかる車載画像認識装置の構成を示す。図３に示
すように、この車載画像認識装置には、自車の周囲の所
定（特定）の場所を撮像する一方、後述する露光時間制
御手段３２から受け取った露光時間信号にしたがって露
光時間を変化させる撮像手段３０と、該撮像手段３０か
ら受け取った画像データに対して画像処理を施す画像処
理手段３１とが設けられている。さらに、画像処理手段
３１の画像処理結果に基づいて撮像手段３０の露光時間
を決定する露光時間制御手段３２と、画像処理手段３１
の画像処理結果を使用して車両周囲の検出対象物を検出
する画像認識手段３３とが設けられている。Embodiment 3 FIG. 3 shows the configuration of the vehicle-mounted image recognition device according to the third embodiment of the present invention. As shown in FIG. 3, the in-vehicle image recognition apparatus captures an image of a predetermined (specific) location around the own vehicle, and changes the exposure time according to an exposure time signal received from an exposure time control unit 32 described later. An image pickup means 30 for performing image processing on image data received from the image pickup means 30 is provided. Further, an exposure time control unit 32 for determining an exposure time of the imaging unit 30 based on an image processing result of the image processing unit 31, and an image processing unit 31
And an image recognizing means 33 for detecting an object to be detected around the vehicle using the image processing result of (1).
【００２６】この図３に示す車載画像認識装置におい
て、撮像手段３０は、自車の周囲を撮像する固体撮像素
子または電子管であり、露光時間制御手段３２から受け
取った信号にしたがって（基づいて）、固体撮像素子ま
たは電子管の露光時間を変化させる。そして、画像処理
手段３１は、撮像手段３０から受け取った画像データに
したがって、エッジ等を検出する。また、露光時間制御
手段３２では、画像処理手段３１で検出されたエッジの
うち、所定の場所の最大エッジ強度Imaxと最小エッジ強
度Iminとの差ΔI'と、所定（任意）のしきい値ΔI2と
が、次の式３および式４を満たす場合は、上記差ΔI'に
基づいてΔI2／ΔI'を算出し、固体撮像素子または電子
管の露光時間ｔｒをΔI2／ΔI'倍に伸ばす信号を撮像手
段３０に出力する。 Imax−Imin＝ΔI'……………………………………………………式３ ΔI'<ΔI2 ……………………………………………………………式４ また、画像認識手段３３は、画像処理手段３１で処理さ
れた画像データに基づいて検出対象物を検出する。な
お、予め検出対象物の位置および大きさが分かっている
場合は、画像認識手段３３の検出結果（認識結果）に基
づいて、露光時間制御手段３２の出力を試行錯誤的に変
えるようにしてもよい。In the on-vehicle image recognition apparatus shown in FIG. 3, the image pickup means 30 is a solid-state image pickup device or an electron tube for picking up an image of the surroundings of the vehicle, and according to (based on) a signal received from the exposure time control means 32. The exposure time of the solid-state imaging device or the electron tube is changed. Then, the image processing unit 31 detects an edge or the like according to the image data received from the imaging unit 30. In the exposure time control means 32, among the edges detected by the image processing means 31, a difference ΔI ′ between a maximum edge strength Imax and a minimum edge strength Imin at a predetermined location and a predetermined (arbitrary) threshold ΔI 2 satisfies the following equations 3 and 4, ΔI 2 / ΔI ′ is calculated based on the difference ΔI ′, and the exposure time tr of the solid-state imaging device or the electron tube is extended by ΔI 2 / ΔI ′. The signal is output to the imaging unit 30. Imax−Imin = ΔI ′ ························· Equation 3 ΔI ′ <ΔI 2 …………………………………………… ... Expression 4 Further, the image recognizing unit 33 detects the detection target based on the image data processed by the image processing unit 31. If the position and size of the detection target are known in advance, the output of the exposure time control unit 32 may be changed by trial and error based on the detection result (recognition result) of the image recognition unit 33. Good.
【００２７】かくして、実施の形態３にかかる車載画像
認識装置においては、画像処理手段３１の画像処理結果
に応じて露光時間を、各画像が適切な強度をもつように
好ましく設定すれば、撮像手段３０において撮像される
画像が十分な明るさあるいはコントラストを備えたもの
となる。このため、例えば自車の周囲が暗いとき、ある
いは撮像された画像が暗い場合でも、車線、レーンマー
カー等の検出対象物を明瞭かつ確実に検出することがで
きる。つまり、撮像条件、例えば自車の周囲の明るさ状
態等によらず検出対象物を検出することができる。Thus, in the in-vehicle image recognition device according to the third embodiment, if the exposure time is preferably set according to the image processing result of the image processing means 31 so that each image has an appropriate intensity, the imaging means The image captured at 30 has sufficient brightness or contrast. For this reason, for example, even when the surroundings of the own vehicle are dark or the captured image is dark, a detection target such as a lane or a lane marker can be detected clearly and reliably. That is, the detection target can be detected regardless of the imaging conditions, for example, the brightness state around the own vehicle.
【００２８】実施の形態４．図４に、本発明の実施の形
態４にかかる車載画像認識装置の構成を示す。図４に示
すように、この車載画像認識装置には、自車の周囲の所
定（特定）の場所を撮像する一方、後述する電子シャッ
ター制御手段４２から受け取ったシャッター時間信号に
したがってシャッター時間を変える撮像手段４０と、撮
像手段４０から出力された映像信号を受け取って、これ
に画像処理を施す画像処理手段４１とが設けられてい
る。さらに、画像処理手段４１の画像処理結果に基づい
て撮像手段４０のシャッター時間を決定する電子シャッ
ター制御手段４２と、画像処理手段４１の画像処理結果
を使用して自車の周囲の検出対象物を検出する画像認識
手段４３とが設けられている。Embodiment 4 FIG. 4 shows a configuration of an in-vehicle image recognition device according to the fourth embodiment of the present invention. As shown in FIG. 4, the in-vehicle image recognition apparatus captures an image of a predetermined (specific) location around the own vehicle, and changes the shutter time according to a shutter time signal received from an electronic shutter control unit 42 described later. An imaging unit 40 and an image processing unit 41 that receives a video signal output from the imaging unit 40 and performs image processing on the video signal are provided. Further, an electronic shutter control unit 42 that determines a shutter time of the imaging unit 40 based on an image processing result of the image processing unit 41, and a detection target around the own vehicle is determined using the image processing result of the image processing unit 41. Image recognition means 43 for detecting is provided.
【００２９】この図４に示す車載画像認識装置におい
て、撮像手段４０は、自車の周囲を撮像する固体撮像素
子または電子管であり、電子シャター制御手段４２から
受け取った信号にしたがって（基づいて）、固体撮像素
子または電子管の電子シャター時間を変化させる。そし
て、画像処理手段４１は、撮像手段４０から受け取った
画像データにしたがって、エッジ等を検出する。電子シ
ャター制御手段４２では、画像処理手段４１で検出され
たエッジのうち、所定の場所の最大エッジ強度Imaxと最
小エッジ強度Iminとの差ΔI'と、所定（任意）のしきい
値ΔI3とが、次の式５および式６を満たす場合は、上記
差ΔI'に基づいてΔI'／ΔI3を算出し、固体撮像素子ま
たは電子管の電子シャター時間ｔｓをΔI'／ΔI3倍にす
る信号を撮像手段４０に出力する。 Imax−Imin＝ΔI'……………………………………………………式５ ΔI'<ΔI3 ……………………………………………………………式６ また、画像認識手段４３は、画像処理手段４１で処理さ
れた画像データに基づいて検出対象物を検出する。な
お、予め検出対象物の位置および大きさが分かっている
場合は、画像認識手段４３の検出結果（認識結果）に基
づいて、電子シャター制御手段４２の出力を試行錯誤的
に変えるようにしてもよい。In the in-vehicle image recognition apparatus shown in FIG. 4, the image pickup means 40 is a solid-state image pickup device or an electron tube for picking up an image of the surroundings of the vehicle, and in accordance with (based on) a signal received from the electronic shutter control means 42, The electronic shutter time of the solid-state imaging device or the electron tube is changed. Then, the image processing unit 41 detects an edge or the like according to the image data received from the imaging unit 40. In the electronic Shatter control unit 42, among the detected edges in the image processing unit 41, a difference [Delta] I 'between the maximum edge intensity of the predetermined location Imax and the minimum edge intensity Imin, a threshold [Delta] I 3 given (arbitrary) However, when the following Expressions 5 and 6 are satisfied, ΔI ′ / ΔI 3 is calculated based on the difference ΔI ′, and a signal for increasing the electronic shutter time ts of the solid-state imaging device or the electron tube by ΔI ′ / ΔI 3 times. Is output to the imaging means 40. Imax−Imin = ΔI ′ ·························· Equation 5 ΔI ′ <ΔI 3 …………………………………………… ... Equation 6 The image recognizing unit 43 detects the detection target based on the image data processed by the image processing unit 41. If the position and size of the detection target are known in advance, the output of the electronic shutter control unit 42 may be changed by trial and error based on the detection result (recognition result) of the image recognition unit 43. Good.
【００３０】かくして、実施の形態４にかかる車載画像
認識装置においては、画像処理手段４１の画像処理結果
に応じて電子シャッターの速さを、各画像が適切な強度
をもつように好ましく設定すれば、撮像手段４０におい
て撮像される画像が十分な明るさあるいはコントラスト
を備えたものとなる。このため、例えば自車の周囲が暗
いとき、あるいは撮像された画像が暗い場合でも、車
線、レーンマーカー等の検出対象物を明瞭かつ確実に検
出することができる。つまり、撮像条件、例えば自車の
周囲の明るさ状態等によらず検出対象物を検出すること
ができる。Thus, in the in-vehicle image recognition apparatus according to the fourth embodiment, the speed of the electronic shutter is preferably set according to the image processing result of the image processing means 41 so that each image has an appropriate intensity. Thus, the image captured by the image capturing means 40 has sufficient brightness or contrast. For this reason, for example, even when the surroundings of the own vehicle are dark or the captured image is dark, a detection target such as a lane or a lane marker can be detected clearly and reliably. That is, the detection target can be detected regardless of the imaging conditions, for example, the brightness state around the own vehicle.
【００３１】実施の形態５．図５に、本発明の実施の形
態５にかかる車載画像認識装置の構成を示す。図５に示
すように、この車載画像認識装置には、自車の周囲の所
定（特定）の場所を撮像する一方、後述するγ補正手段
５２から受け取ったγ補正信号にしたがってγを変える
撮像手段５０と、撮像手段５０から受け取った画像デー
タに画像処理を施す画像処理手段５１とが設けられてい
る。さらに、画像処理手段５１の画像処理結果に基づい
て撮像手段５０のγを決定するγ補正手段５２と、画像
処理手段５１の画像処理結果を使用して自車の周囲の物
体またはパターンを検出する画像認識手段５３とが設け
られている。Embodiment 5 FIG. 5 shows a configuration of an in-vehicle image recognition device according to the fifth embodiment of the present invention. As shown in FIG. 5, the in-vehicle image recognition device captures an image of a predetermined (specific) location around the own vehicle, and changes γ in accordance with a γ correction signal received from a γ correction unit 52 described later. An image processing unit 51 for performing image processing on image data received from the imaging unit 50 is provided. Further, a γ correction unit 52 that determines γ of the imaging unit 50 based on an image processing result of the image processing unit 51, and detects an object or a pattern around the own vehicle using the image processing result of the image processing unit 51. Image recognition means 53 is provided.
【００３２】この図５に示す車載画像認識装置におい
て、撮像手段５０は、自車の周囲を撮像する固体撮像素
子または電子管であり、γ補正手段５２から受け取った
信号にしたがって（基づいて）、固体撮像素子または電
子管のγ補正値を変化させる。画像処理手段５１は、撮
像手段５０から受け取った画像データにしたがって、エ
ッジと輝度分布とを検出する。γ補正手段５２では、画
像処理手段５１で求められた輝度分布から、最大輝度bm
axと最小輝度bminとの差Δb'と、所定（任意）のしきい
値Δbと、bmaxの許容下限値bpとが、次の式７〜式９を
満たす場合は、γ補正値を所定の値γｐに設定する。 bmax−bmin＝Δb'……………………………………………………式７ Δb'>Δb………………………………………………………………式８ bmax>bp ………………………………………………………………式９ また、最大輝度bmaxと最小輝度bminとの差Δb'と、所定
（任意）のしきい値Δbと、bminの許容上限値bmとが、
次の式１０〜式１２を満たす場合は、γ補正値を所定の
値γ0に設定する。 bmax−bmin＝Δb'……………………………………………………式１０ Δb'>Δb………………………………………………………………式１１ bmin<bm………………………………………………………………式１２ また、画像認識手段５３は、画像処理手段５１で処理さ
れたエッジデータに基づいて検出対象物を検出する。な
お、予め検出対象物の位置および大きさが分かっている
場合は、画像認識手段５３の検出結果に基づいて、γ補
正手段５２の出力を試行錯誤的に変えるようにしてもよ
い。In the in-vehicle image recognition apparatus shown in FIG. 5, the image pickup means 50 is a solid-state image pickup device or an electron tube for picking up an image around the own vehicle. The gamma correction value of the image sensor or the electron tube is changed. The image processing unit 51 detects an edge and a luminance distribution according to the image data received from the imaging unit 50. The γ correction unit 52 calculates the maximum luminance bm from the luminance distribution obtained by the image processing unit 51.
If the difference Δb ′ between ax and the minimum luminance bmin, a predetermined (arbitrary) threshold value Δb, and the permissible lower limit value bp of bmax satisfy the following Expressions 7 to 9, the γ correction value is set to a predetermined value. Set to the value γp. bmax−bmin = Δb ′ ························································· Equation 7 Δb '> Δb …………………………………… Equation 8 bmax> bp ............................................ Equation 9 Also, the difference Δb between the maximum luminance bmax and the minimum luminance bmin. ', A predetermined (arbitrary) threshold value Δb, and an allowable upper limit value bm of bmin,
If it meets the following equation 10 to equation 12, it sets the gamma correction value to a predetermined value gamma 0. bmax−bmin = Δb ′ ······································································ 10 ... Equation 11 bmin <bm............. A detection target is detected based on the processed edge data. If the position and size of the detection target are known in advance, the output of the γ correction unit 52 may be changed by trial and error based on the detection result of the image recognition unit 53.
【００３３】かくして、実施の形態５にかかる車載画像
認識装置においては、画像処理手段５１の画像処理結果
に応じてγ補正値を、各画像が適切な強度をもつように
好ましく設定すれば、撮像手段５０において撮像される
画像が十分な明るさあるいはコントラストを備えたもの
となる。このため、例えば自車の周囲が暗いとき、ある
いは撮像された画像が暗い場合でも、車線、レーンマー
カー等の検出対象物を明瞭かつ確実に検出することがで
きる。つまり、撮像条件、例えば自車の周囲の明るさ状
態等によらず検出対象物を検出することができる。Thus, in the in-vehicle image recognition apparatus according to the fifth embodiment, if the γ correction value is preferably set according to the image processing result of the image processing means 51 so that each image has an appropriate intensity, the image pickup The image captured by the means 50 has sufficient brightness or contrast. For this reason, for example, even when the surroundings of the own vehicle are dark or the captured image is dark, a detection target such as a lane or a lane marker can be detected clearly and reliably. That is, the detection target can be detected irrespective of the imaging conditions, for example, the brightness state around the own vehicle.
【００３４】実施の形態６．図６に、本発明の実施の形
態６にかかる車載画像認識装置の構成を示す。図６に示
すように、この車載画像認識装置には、自車の周囲の所
定（特定）の場所を撮像する一方、後述するゲイン制御
手段６２から受け取ったゲイン信号にしたがってゲイン
を変える撮像手段６０と、撮像手段６０から受け取った
映像信号に対して画像処理を施す画像処理手段６１とが
設けられている。さらに、画像処理手段６１の画像処理
結果に基づいて撮像手段６０のゲインを決定するゲイン
制御手段６２と、画像処理手段６１の画像処理結果を使
用して自車の周囲の物体またはパターンを検出する画像
認識手段６３とが設けられている。Embodiment 6 FIG. FIG. 6 shows a configuration of an in-vehicle image recognition device according to the sixth embodiment of the present invention. As shown in FIG. 6, the in-vehicle image recognition device captures an image of a predetermined (specific) location around the own vehicle, and changes the gain in accordance with a gain signal received from a gain control unit 62 described later. And an image processing means 61 for performing image processing on the video signal received from the imaging means 60. Further, a gain control unit 62 that determines the gain of the image pickup unit 60 based on the image processing result of the image processing unit 61, and detects an object or a pattern around the own vehicle using the image processing result of the image processing unit 61. Image recognition means 63 is provided.
【００３５】この図６に示す車載画像認識装置におい
て、撮像手段６０は、自車の周囲を撮像する固体撮像素
子または電子管であり、ゲイン制御手段６２から受け取
った信号にしたがって（基づいて）、固体撮像素子また
は電子管のゲインを変える。画像処理手段６１は、撮像
手段６０から受け取った画像データにしたがって、エッ
ジ等を検出する。ゲイン制御手段６２では、画像処理手
段６１で検出されたエッジのうち、所定の場所の最大エ
ッジ強度Imaxと最小エッジ強度Iminとの差ΔI'と、所定
（任意）のしきい値ΔI4とが、次の式１３および式１４
を満たす場合は、上記差ΔI'に基づいてΔI4／ΔI'を算
出して、固体撮像素子または電子管のゲインをΔI4／Δ
I'倍する信号を撮像手段６０に出力する。 Imax−Imin＝ΔI'……………………………………………………式１３ ΔI'<ΔI4 ……………………………………………………………式１４ また、画像認識手段６３は、画像処理手段６１で処理さ
れた画像データに基づいて検出対象物を検出する。な
お、予め検出対象物の位置および大きさが分かっている
場合は、画像認識手段６３の検出結果に基づいて、ゲイ
ン制御手段６２の出力を試行錯誤的に変えるようにして
もよい。In the in-vehicle image recognition apparatus shown in FIG. 6, the image pickup means 60 is a solid-state image pickup device or an electron tube for picking up an image around the own vehicle. Change the gain of the image sensor or electron tube. The image processing unit 61 detects edges and the like according to the image data received from the imaging unit 60. The gain control unit 62 calculates a difference ΔI ′ between the maximum edge intensity Imax and the minimum edge intensity Imin at a predetermined location among the edges detected by the image processing unit 61 and a predetermined (arbitrary) threshold value ΔI 4. Equations 13 and 14 below
If the above condition is satisfied, ΔI 4 / ΔI ′ is calculated based on the difference ΔI ′, and the gain of the solid-state imaging device or the electron tube is changed to ΔI 4 / Δ
The signal to be multiplied by I ′ is output to the imaging unit 60. Imax−Imin = ΔI ′ ···························· Equation 13 ΔI ′ <ΔI 4 …………………………………………… Expression 14 The image recognizing unit 63 detects the detection target based on the image data processed by the image processing unit 61. If the position and size of the detection target are known in advance, the output of the gain control unit 62 may be changed by trial and error based on the detection result of the image recognition unit 63.
【００３６】かくして、実施の形態６にかかる車載画像
認識装置においては、画像処理手段６１の画像処理結果
に応じてゲインを、各画像が適切な強度をもつように好
ましく設定すれば、撮像手段６０において撮像される画
像が十分な明るさあるいはコントラストを備えたものと
なる。このため、例えば自車の周囲が暗いとき、あるい
は撮像された画像が暗い場合でも、車線、レーンマーカ
ー等の検出対象物を明瞭かつ確実に検出することができ
る。つまり、撮像条件、例えば自車の周囲の明るさ状態
等によらず検出対象物を検出することができる。Thus, in the in-vehicle image recognition apparatus according to the sixth embodiment, if the gain is preferably set according to the image processing result of the image processing means 61 so that each image has an appropriate intensity, the imaging means 60 The image picked up in is provided with sufficient brightness or contrast. For this reason, for example, even when the surroundings of the own vehicle are dark or the captured image is dark, a detection target such as a lane or a lane marker can be detected clearly and reliably. That is, the detection target can be detected regardless of the imaging conditions, for example, the brightness state around the own vehicle.
【図１】 本発明の実施の形態１にかかる車載画像蓄積
装置の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a vehicle-mounted image storage device according to a first embodiment of the present invention;
【図２】 本発明の実施の形態２にかかる車載画像認識
装置の構成を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration of a vehicle-mounted image recognition device according to a second embodiment of the present invention;
【図３】 本発明の実施の形態３にかかる車載画像認識
装置の構成を示すブロック図である。FIG. 3 is a block diagram illustrating a configuration of a vehicle-mounted image recognition device according to a third embodiment of the present invention;
【図４】 本発明の実施の形態４にかかる車載画像認識
装置の構成を示すブロック図である。FIG. 4 is a block diagram illustrating a configuration of a vehicle-mounted image recognition device according to a fourth embodiment of the present invention;
【図５】 本発明の実施の形態５にかかる車載画像認識
装置の構成を示すブロック図である。FIG. 5 is a block diagram illustrating a configuration of a vehicle-mounted image recognition device according to a fifth embodiment of the present invention;
【図６】 本発明の実施の形態６にかかる車載画像認識
装置の構成を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration of a vehicle-mounted image recognition device according to a sixth embodiment of the present invention;
【図７】 従来の車載画像認識装置の構成を示すブロッ
ク図である。FIG. 7 is a block diagram illustrating a configuration of a conventional in-vehicle image recognition device.
１０…画像蓄積手段、１１…蓄積時間制御手段、２０…
画像蓄積手段、２１…画像処理手段、２２…蓄積時間制
御手段、２３…画像認識手段、３０…撮像手段、３１…
画像処理手段、３２…露光時間制御手段、３３…画像認
識手段、４０…撮像手段、４１…画像処理手段、４２…
電子シャッター制御手段、４３…画像認識手段、５０…
撮像手段、５１…画像処理手段、５２…γ補正手段、５
３…画像認識手段、６０…撮像手段、６１…画像処理手
段、６２…ゲイン制御手段、６３…画像認識手段、７０
…撮像部、７１…処理部、７２…警報装置、７３…車両
運動制御装置。10 image storage means, 11 storage time control means, 20
Image storage means, 21 image processing means, 22 storage time control means, 23 image recognition means, 30 image pickup means, 31
Image processing means 32 Exposure time control means 33 Image recognition means 40 Imaging means 41 Image processing means 42
Electronic shutter control means, 43 ... image recognition means, 50 ...
Imaging means, 51: image processing means, 52: γ correction means, 5
3 image recognition means, 60 image pickup means, 61 image processing means, 62 gain control means, 63 image recognition means, 70
... Imaging unit, 71 ... Processing unit, 72 ... Alarm device, 73 ... Vehicle motion control device.
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｇ０８Ｇ 1/16 Ｃ // Ｇ０８Ｇ 1/16 Ｂ６０Ｒ 21/00 ６２４Ｃ ６２８Ｚ (72)発明者 増田 悟 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B057 AA06 CE01 CE17 CH11 5C022 AA04 AB00 AB02 AB17 5C054 ED03 ED13 EJ04 FC03 FC12 FC14 GB01 HA30 5H180 AA01 CC04 CC24 LL01 LL04 LL06 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 7/18 H04N 7/18 K G08G 1/16 C // G08G 1/16 B60R 21/00 624C 628Z ( 72) Inventor Satoru Masuda 1006 Kazuma Kadoma, Kadoma City, Osaka Prefecture F-term in Matsushita Electric Industrial Co., Ltd. (reference) LL06
Claims (13)
像蓄積手段と、 上記各画素ごとにその強度係数を算出する一方、該強度
係数を含む蓄積時間信号を生成する蓄積時間制御手段と
が設けられ、 上記画像蓄積手段が、上記蓄積時間制御手段から出力さ
れた蓄積時間信号に基づいて、上記各画素の強度に対し
てそれぞれ、対応する強度係数を掛けた上で、該画素を
再ストアするようになっている車載画像蓄積装置。An image storage means for storing each pixel of an image around a vehicle, and an accumulation time control means for calculating an intensity coefficient for each pixel and generating an accumulation time signal including the intensity coefficient. Wherein the image storage means multiplies the intensity of each pixel by a corresponding intensity coefficient based on the storage time signal output from the storage time control means, and restores the pixel. An in-vehicle image storage device adapted to be used.
してストアする画像蓄積手段と、 上記画像蓄積手段から出力された画像データに対して画
像処理を施して画像処理データを生成する画像処理手段
と、 上記画像処理手段から出力された画像処理データに基づ
いて、上記各画素ごとにその強度係数を算出する一方、
該強度係数を含む蓄積時間信号を生成する蓄積時間制御
手段と、 上記画像処理手段から出力された画像処理データを使用
して対象物を検出する画像認識手段とが設けられ、 上記画像蓄積手段が、上記蓄積時間制御手段から出力さ
れた蓄積時間信号に基づいて、上記各画素の強度に対し
てそれぞれ、対応する強度係数を掛けた上で、該画素を
再ストアするようになっている車載画像認識装置。2. An image storage means for storing each pixel of an image around a vehicle as image data, and an image processing means for performing image processing on image data output from the image storage means to generate image processing data. And, based on the image processing data output from the image processing means, calculate the intensity coefficient for each of the pixels,
An accumulation time control unit that generates an accumulation time signal including the intensity coefficient; and an image recognition unit that detects an object using image processing data output from the image processing unit. On the basis of the accumulation time signal output from the accumulation time control means, the intensity of each pixel is multiplied by a corresponding intensity coefficient, and then the pixel is restored. Recognition device.
場所を撮像する撮像手段から出力された画像の各画素を
画像データとしてストアするようになっている請求項２
に記載の車載画像認識装置。3. The image storage means stores each pixel of an image output from an imaging means for imaging a predetermined location around a vehicle as image data.
2. An in-vehicle image recognition device according to claim 1.
してストアする画像蓄積手段と、 上記画像蓄積手段から出力された画像データに対して画
像処理を施して画像処理データを生成する画像処理手段
と、 上記画像処理手段から出力された画像処理データを使用
して対象物を検出する画像認識手段と、 上記画像認識手段の対象物検出結果に基づいて、上記画
像の各画素ごとにその強度係数を算出する一方、該強度
係数を含む蓄積時間信号を生成する蓄積時間制御手段と
が設けられ、 上記画像蓄積手段が、上記蓄積時間制御手段から出力さ
れた蓄積時間信号に基づいて、上記各画素の強度に対し
てそれぞれ、対応する強度係数を掛けた上で、該画素を
再ストアするようになっている車載画像認識装置。4. Image storage means for storing each pixel of an image around a vehicle as image data, and image processing means for performing image processing on image data output from the image storage means to generate image processing data. And image recognition means for detecting an object using the image processing data output from the image processing means; and an intensity coefficient for each pixel of the image based on the object detection result of the image recognition means. And an accumulation time control unit for generating an accumulation time signal including the intensity coefficient, wherein the image accumulation unit is configured to generate the accumulation time signal based on the accumulation time signal output from the accumulation time control unit. The in-vehicle image recognition device is adapted to multiply the respective intensities by the corresponding intensity coefficients and restore the pixels.
場所を撮像する撮像手段から出力された画像の各画素を
画像データとしてストアするようになっている請求項４
に記載の車載画像認識装置。5. The image storage means stores each pixel of an image output from an image pickup means for picking up an image of a predetermined place around a vehicle as image data.
2. An in-vehicle image recognition device according to claim 1.
ータを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果に基づいて、上記撮像
手段の露光時間を決定する一方、該露光時間を含む露光
時間信号を生成する露光時間制御手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段とが設けられ、 上記撮像手段が、上記露光時間制御手段から出力された
露光時間信号に基づいて、露光時間を変えるようになっ
ている車載画像認識装置。6. An image pickup means for picking up an image of a predetermined place around a vehicle to generate image data; an image processing means for performing image processing on image data output from the image pickup means; An exposure time control unit that determines an exposure time of the imaging unit based on a result of the image processing, and generates an exposure time signal including the exposure time; and An image recognizing means for detecting an object, wherein the imaging means changes an exposure time based on an exposure time signal output from the exposure time control means.
ータを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段と、 上記画像認識手段の対象物検出結果に基づいて、上記撮
像手段の露光時間を決定する一方、該露光時間を含む露
光時間信号を生成する露光時間制御手段とが設けられ、 上記撮像手段が、上記露光時間制御手段から出力された
露光時間信号に基づいて、露光時間を変えるようになっ
ている車載画像認識装置。7. An image capturing means for capturing an image of a predetermined place around a vehicle to generate image data, an image processing means for performing image processing on image data output from the image capturing means, An image recognition unit that detects an object around the vehicle using the image processing result; and determining an exposure time of the imaging unit based on the result of the object detection by the image recognition unit. An in-vehicle image recognition device, comprising: an exposure time control unit that generates an exposure time signal; wherein the imaging unit changes the exposure time based on the exposure time signal output from the exposure time control unit.
ータを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果に基づいて、上記撮像
手段のシャッター時間を決定する一方、該シャッター時
間を含むシャッター時間信号を生成する電子シャッター
制御手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段とが設けられ、 上記撮像手段が、上記電子シャッター制御手段から出力
されたシャッター時間信号に基づいて、シャッター時間
を変えるようになっている車載画像認識装置。8. An image pickup means for picking up an image of a predetermined place around the vehicle to generate image data, an image processing means for performing image processing on the image data output from the image pickup means, Electronic shutter control means for determining a shutter time of the image pickup means based on the image processing result, and generating a shutter time signal including the shutter time; and And an image recognizing means for detecting the target object. The in-vehicle image recognizing device, wherein the imaging means changes a shutter time based on a shutter time signal output from the electronic shutter control means.
ータを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段と、 上記画像認識手段の対象物検出結果に基づいて、上記撮
像手段のシャッター時間を決定する一方、該シャッター
時間を含むシャッター時間信号を生成する電子シャッタ
ー制御手段とが設けられ、 上記撮像手段が、上記電子シャッター制御手段から出力
されたシャッター時間信号に基づいて、シャッター時間
を変えるようになっている車載画像認識装置。9. An image capturing means for capturing an image of a predetermined place around a vehicle to generate image data, an image processing means for performing image processing on image data output from the image capturing means, Image recognition means for detecting an object around the vehicle using the image processing result; and determining the shutter time of the imaging means based on the object detection result of the image recognition means, including the shutter time. Electronic shutter control means for generating a shutter time signal, wherein the imaging means changes the shutter time based on the shutter time signal output from the electronic shutter control means.
データを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果に基づいて、上記撮像
手段のγ補正値を決定する一方、該γ補正値を含むγ補
正信号を生成するγ補正制御手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段とが設けられ、 上記撮像手段が、上記γ補正制御手段から出力されたγ
補正信号に基づいて、γ補正値を変えるようになってい
る車載画像認識装置。10. Image capturing means for capturing an image of a predetermined place around a vehicle to generate image data, image processing means for performing image processing on image data output from the image capturing means, Based on the image processing result, while determining the γ correction value of the imaging unit, using a γ correction control unit that generates a γ correction signal including the γ correction value, using the image processing result of the image processing unit, Image recognition means for detecting an object around the vehicle, wherein the imaging means outputs the γ output from the γ correction control means.
An in-vehicle image recognition device configured to change a γ correction value based on a correction signal.
データを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段と、 上記画像認識手段の対象物検出結果に基づいて、上記撮
像手段のγ補正値を決定する一方、該γ補正値を含むγ
補正信号を生成するγ補正制御手段とが設けられ、 上記撮像手段が、上記γ補正制御手段から出力されたγ
補正信号に基づいて、γ補正値を変えるようになってい
る車載画像認識装置。11. An image pickup means for picking up an image of a predetermined place around a vehicle to generate image data, an image processing means for performing image processing on the image data output from the image pickup means, Image recognition means for detecting an object around the vehicle using the image processing result; and determining the gamma correction value of the imaging means based on the object detection result of the image recognition means. Including γ
Γ correction control means for generating a correction signal is provided, and the imaging means outputs γ output from the γ correction control means.
An in-vehicle image recognition device configured to change a γ correction value based on a correction signal.
データを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果に基づいて、上記撮像
手段のゲインを決定する一方、該ゲインを含むゲイン信
号を生成するゲイン制御手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段とが設けられ、 上記撮像手段が、上記ゲイン制御手段から出力されたゲ
イン信号に基づいて、ゲインの値を変えるようになって
いる車載画像認識装置。12. Image capturing means for capturing an image of a predetermined place around a vehicle to generate image data, image processing means for performing image processing on image data output from the image capturing means, Based on the image processing result, the gain of the imaging unit is determined, and a gain control unit that generates a gain signal including the gain is used. An in-vehicle image recognizing device, further comprising: image recognizing means for detecting, wherein the imaging means changes a gain value based on a gain signal output from the gain control means.
データを生成する撮像手段と、 上記撮像手段から出力された画像データに対して画像処
理を施す画像処理手段と、 上記画像処理手段の画像処理結果を使用して、車両周囲
の対象物を検出する画像認識手段と上記画像認識手段の
対象物検出結果に基づいて、上記撮像手段のゲインを決
定する一方、該ゲインを含むゲイン信号を生成するゲイ
ン制御手段とが設けられ、 上記撮像手段が、上記ゲイン制御手段から出力されたゲ
イン信号に基づいて、ゲインの値を変えるようになって
いる車載画像認識装置。13. An image pickup means for picking up an image of a predetermined place around a vehicle to generate image data; an image processing means for performing image processing on image data output from the image pickup means; Using the image processing result, the image recognition means for detecting an object around the vehicle and the gain of the imaging means are determined based on the object detection result of the image recognition means, and a gain signal including the gain is determined. A vehicle-mounted image recognition device, comprising: a gain control unit that generates the gain value; and the imaging unit changes a gain value based on a gain signal output from the gain control unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11088813A JP2000285224A (en) | 1999-03-30 | 1999-03-30 | On-vehicle picture storage device and on-vehicle picture recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11088813A JP2000285224A (en) | 1999-03-30 | 1999-03-30 | On-vehicle picture storage device and on-vehicle picture recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000285224A true JP2000285224A (en) | 2000-10-13 |
Family
ID=13953352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11088813A Withdrawn JP2000285224A (en) | 1999-03-30 | 1999-03-30 | On-vehicle picture storage device and on-vehicle picture recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000285224A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007183872A (en) * | 2006-01-10 | 2007-07-19 | Matsushita Electric Ind Co Ltd | Dynamic camera color correction device and video retrieving device using the same |
| JP2007251258A (en) * | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | Image recognizing device |
| JP2011077772A (en) * | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | Apparatus for assisting checking of surroundings |
| JP6642776B1 (en) * | 2018-12-18 | 2020-02-12 | 三菱電機株式会社 | Inspection device and inspection method |
-
1999
- 1999-03-30 JP JP11088813A patent/JP2000285224A/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007183872A (en) * | 2006-01-10 | 2007-07-19 | Matsushita Electric Ind Co Ltd | Dynamic camera color correction device and video retrieving device using the same |
| JP4708192B2 (en) * | 2006-01-10 | 2011-06-22 | パナソニック株式会社 | Dynamic camera color correction device and video search device using the same |
| JP2007251258A (en) * | 2006-03-13 | 2007-09-27 | Fujitsu Ten Ltd | Image recognizing device |
| JP2011077772A (en) * | 2009-09-30 | 2011-04-14 | Hitachi Automotive Systems Ltd | Apparatus for assisting checking of surroundings |
| JP6642776B1 (en) * | 2018-12-18 | 2020-02-12 | 三菱電機株式会社 | Inspection device and inspection method |
| WO2020129140A1 (en) * | 2018-12-18 | 2020-06-25 | 三菱電機株式会社 | Testing device, testing system and testing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7105754B2 (en) | IMAGING DEVICE AND METHOD OF CONTROLLING IMAGING DEVICE | |
| JP5136314B2 (en) | Lane recognition device | |
| JP4248558B2 (en) | Road marking line detection device | |
| US11082626B2 (en) | Image processing device, imaging device, and image processing method | |
| EP2471691B1 (en) | Obstacle detection device, obstacle detection system provided therewith, and obstacle detection method | |
| US20070263090A1 (en) | Method and Apparatus for Automatic Exposure of an In-Vehicle Camera | |
| JP2007172035A (en) | Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method | |
| US8208022B2 (en) | Apparatus and method for removing blooming of camera image | |
| CN109792492B (en) | Image pickup control device and method, and recording medium having program recorded thereon | |
| US11172173B2 (en) | Image processing device, image processing method, program, and imaging device | |
| WO2017175492A1 (en) | Image processing device, image processing method, computer program and electronic apparatus | |
| JP2002120675A (en) | Vehicle surroundings monitoring support system | |
| JP2008098858A (en) | Vehicle periphery monitoring device | |
| US11025828B2 (en) | Imaging control apparatus, imaging control method, and electronic device | |
| JP2006339994A (en) | Onboard camera controller | |
| JP2000285224A (en) | On-vehicle picture storage device and on-vehicle picture recognition device | |
| JP2005033680A (en) | Image processing apparatus for vehicle | |
| JP4539400B2 (en) | Stereo camera correction method and stereo camera correction device | |
| JPH05189694A (en) | Vehicle detector | |
| WO2020049806A1 (en) | Image processing device and image processing method | |
| JP4187853B2 (en) | Vehicle distance detection device | |
| JP4316710B2 (en) | Outside monitoring device | |
| KR20200128464A (en) | Method of operation thereof camera system of autonomous vehicle | |
| KR20200128457A (en) | Camera system of autonomous vehicle and method of operation thereof | |
| CN113170057A (en) | Image pickup unit control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051101 |
|
| A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20080131 |