JP2009077279A - Image recognizing apparatus, on-vehicle image recognizing apparatus, and on-vehicle image recognition method - Google Patents
Image recognizing apparatus, on-vehicle image recognizing apparatus, and on-vehicle image recognition method Download PDFInfo
- Publication number
- JP2009077279A JP2009077279A JP2007245764A JP2007245764A JP2009077279A JP 2009077279 A JP2009077279 A JP 2009077279A JP 2007245764 A JP2007245764 A JP 2007245764A JP 2007245764 A JP2007245764 A JP 2007245764A JP 2009077279 A JP2009077279 A JP 2009077279A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixels
- vehicle
- incident light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000012937 correction Methods 0.000 claims abstract description 71
- 230000000903 blocking effect Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 34
- 230000003287 optical effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置、車載用画像認識装置および車載用画像認識方法に関し、特に、周辺環境が暗い画像のFPNを正確に補正することが可能な画像認識装置、車載用画像認識装置および車載用画像認識方法に関する。 The present invention relates to an image recognition apparatus, an in-vehicle image recognition apparatus, and an in-vehicle image recognition method for recognizing an object based on an image photographed in accordance with incident light on an image pickup element including pixels. The present invention relates to an image recognition apparatus, an in-vehicle image recognition apparatus, and an in-vehicle image recognition method capable of accurately correcting an FPN of an image having a dark surrounding environment.
従来から、車両のルームミラー付近に設置されるカメラで車両の前方を撮影し、そのカメラ画像を画像処理することによって路面上の白線や前方車両を認識する車載用画像認識装置が知られている。このカメラは、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を利用して撮像対象の画像を電気信号に変換することによって動画を撮影する。 2. Description of the Related Art Conventionally, an in-vehicle image recognition apparatus that recognizes a white line on a road surface or a vehicle ahead is known by photographing the front of the vehicle with a camera installed in the vicinity of a vehicle rearview mirror and processing the camera image. . This camera shoots a moving image by converting an image to be imaged into an electrical signal using an imaging element such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD).
このような撮像素子の画素は、個体間のバラツキや経年劣化によって、FPN(Fixed Pattern Noise、固定パターンノイズ)の影響を受ける。例えば、図4に示すように、画像の画素の真の画素値と、その画素を撮像素子で撮影した場合に出力される出力画素値とは、直線501に描かれるように、本来一致しなければならない。なお、画素の画素値が大きいほど明るい画素である。
The pixels of such an image sensor are affected by FPN (Fixed Pattern Noise) due to variations among individuals and deterioration over time. For example, as shown in FIG. 4, the true pixel value of the pixel of the image and the output pixel value that is output when the pixel is captured by the image sensor must be essentially the same as depicted in a
しかし、曲線502および曲線503に例示するように、撮像素子の画素は、個体間のバラツキがあって、撮像素子の画素ごとに真の画素値と、出力画素値との関係を表す特性曲線が異なることが現状である。例えば、曲線502は、直線501よりも下方に位置するため、実際の出力画素値は、本来出力されなければならない画素値よりも低い、すなわち画素が暗く表示されることとなる。
However, as illustrated in the
一方、曲線503は、直線501よりも上方に位置するため、実際の出力画素値は、本来出力されなければならない画素値よりも高い、すなわち画素が明るく表示されることとなる。撮像素子の画素の真の画素値と、出力画素値との関係を表す特性曲線は、経年劣化によって、曲線503のようになる傾向がある。
On the other hand, since the
ここで、特に、真の画素値が所定値a以下の場合に曲線503の直線501からの乖離が大きいと、暗い画像である場合にFPNにより大きな影響を受けた輝点画素が発生することとなる。例えば、夜間やトンネルなどの周辺環境が暗い場合に、対象物を認識するためにカメラの感度を上げなければならない。しかし、このような場合に、カメラが撮影した画像は、このFPNの影響を受け、画像に輝点画素が混入しやすくなる。このため、認識すべき対象物が認識できなかったり、誤認識してしまったりという不都合があった。
Here, in particular, when the true pixel value is equal to or smaller than the predetermined value a, if the deviation of the
かかる不都合を解消するため、例えば、特許文献1に開示されるように、均一光照射に応じた全画素の画素値の平均値を算出し、この平均値と、各画素の画素値との差分量をFPN成分としてメモリに記憶し、撮影された画像の各画素の画素値を差分量で補正することによって、撮影された画像のFPNを除去する撮像装置が提案されている。 In order to eliminate such inconvenience, for example, as disclosed in Patent Document 1, an average value of pixel values of all pixels corresponding to uniform light irradiation is calculated, and a difference between the average value and the pixel value of each pixel is calculated. There has been proposed an image pickup apparatus that removes FPN of a photographed image by storing the amount as an FPN component in a memory and correcting the pixel value of each pixel of the photographed image with a difference amount.
また、特許文献2に開示されるように、カメラに光が入射していない状態における撮像素子の各画素の信号レベルをノイズレベルとして記憶し、撮影された画像の各画素の信号レベルをノイズレベルで補正することによって、FPNを除去する撮像表示装置が提案されている。 Further, as disclosed in Patent Document 2, the signal level of each pixel of the image sensor in a state where light is not incident on the camera is stored as a noise level, and the signal level of each pixel of the captured image is stored as a noise level. There has been proposed an imaging display device that removes FPN by correcting with.
さらに、特許文献3に開示されるように、白基準面読み取り時の各画素の画像信号レベルを複数回取得し、このうち最も白側の画像信号レベルを記憶し、この最も白側の画像信号レベルに基づいて撮像素子の画素ごとの出力バラツキを補正する画像読取装置が提案されている。 Further, as disclosed in Patent Document 3, the image signal level of each pixel at the time of reading the white reference plane is acquired a plurality of times, and the image signal level on the most white side is stored, and the image signal level on the most white side is stored. An image reading apparatus that corrects output variation for each pixel of the image sensor based on the level has been proposed.
しかしながら、上記特許文献1に代表される従来技術では、均一光照射に応じた各画素の画素値と、全画素の画素値の平均値との差分量をFPN成分とするため、均一光が照射されなかった場合に、正確なFPN補正をおこなうことが困難であった。 However, in the conventional technique represented by the above-mentioned Patent Document 1, the difference amount between the pixel value of each pixel corresponding to the uniform light irradiation and the average value of the pixel values of all the pixels is used as the FPN component. If not, it was difficult to perform accurate FPN correction.
また、上記特許文献2に代表される従来技術では、カメラに光が入射していない状態でのノイズレベルを取得し、撮影された画像の各画素の信号レベルをこのノイズレベルで補正することによってFPNを除去するものの、前述のノイズレベルをいかなる撮影状態の画像のノイズ補正にも無差別に使用するため、正確なFPN補正をおこない得ないおそれがあった。 Further, in the conventional technique represented by the above-mentioned Patent Document 2, the noise level in a state where light is not incident on the camera is acquired, and the signal level of each pixel of the photographed image is corrected by this noise level. Although the FPN is removed, the above-described noise level is used indiscriminately for noise correction of an image in any photographing state, so that there is a possibility that accurate FPN correction cannot be performed.
また、上記特許文献3に代表される従来技術では、白基準面に対する撮像素子の画素ごとの出力バラツキを補正することを目的とするため、暗い画像における撮像素子の画素ごとの出力バラツキを補正することは不可能であった。 In addition, the conventional technique represented by Patent Document 3 described above corrects the output variation for each pixel of the image sensor with respect to the white reference plane, and thus corrects the output variation for each pixel of the image sensor in a dark image. It was impossible.
また、上記特許文献1〜3の従来技術を組み合わせたとしても、特に周辺環境が暗い画像のFPNを正確に補正することができないおそれがあった。本発明は、上記問題点(課題)を解消するためになされたものであって、特に周辺環境が暗い画像のFPNを正確に補正することを目的とする。 Further, even when the conventional techniques of Patent Documents 1 to 3 are combined, there is a possibility that the FPN of an image having a dark surrounding environment cannot be corrected accurately. The present invention has been made to solve the above problems (problems), and has an object to accurately correct the FPN of an image having a dark surrounding environment.
上述した問題を解決し、目的を達成するため、本発明は、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する画像認識装置であって、自装置への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段とを有することを特徴とする。 In order to solve the above-described problems and achieve the object, the present invention is an image recognition device for recognizing an object based on an image photographed in accordance with incident light on an image sensor constituted by pixels. The incident light blocking means for blocking the incident light to the image sensor triggered by power-on to the own device, and the incident light to the image sensor by the incident light blocking means being blocked by the incident light A correction value calculation storage means for calculating a noise correction value and storing it in a memory, and when an image is taken with incident light incident on the image sensor, the sum of pixel values of all pixels of the image is less than a predetermined threshold value. When the image brightness determination means for determining the brightness of the image depending on whether or not the image brightness and darkness determination means determine that the sum of the pixel values of all the pixels of the image is less than a predetermined threshold, the imaging Each pixel of the element The noise of each pixel of the corresponding said image, and having a pixel value correcting means for correcting the correction value of the noise of each of the pixels that are allowed to the memory stored by the correction value calculation storing means.
また、本発明は、車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置であって、前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段とを有することを特徴とする。 In addition, the present invention is an in-vehicle image recognition device that recognizes an object based on an image that is mounted on a vehicle and is photographed in accordance with incident light on an image sensor that includes pixels. When the power is turned on, incident light blocking means for blocking incident light to the image sensor, and a correction value for noise of each pixel in a state where the incident light to the image sensor is blocked by the incident light blocking means Correction value calculation storage means for calculating and storing in memory, and whether or not the sum of pixel values of all pixels of the image is less than a predetermined threshold when incident light is incident on the image sensor and an image is taken When the image brightness determination means for determining the brightness of the image and the image brightness determination means determine that the sum of the pixel values of all the pixels of the image is less than a predetermined threshold, each pixel of the image sensor Corresponding to The noise of each pixel of the image, and having a pixel value correcting means for correcting the correction value of the noise of each of the pixels that are allowed to the memory stored by the correction value calculation storing means.
また、本発明は、上記発明において、前記補正値算出記憶手段は、前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させることを特徴とする。 Further, in the present invention according to the invention described above, the correction value calculation storage unit calculates an average of pixel values of all pixels of the image sensor in a state where the incident light to the image sensor is blocked by the incident light blocking unit. The difference between the average and the pixel value of each pixel of the image sensor is stored in memory as a noise correction value for each pixel.
また、本発明は、上記発明において、前記画像明暗判定手段は、車載装置から取得される情報に基づいて前記画像の明暗を判定することを特徴とする。 Moreover, the present invention is characterized in that, in the above invention, the image brightness / darkness determination means determines the brightness / darkness of the image based on information acquired from the in-vehicle device.
また、本発明は、上記発明において、前記画素値補正手段は、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正することを特徴とする。 Further, the present invention is the above invention, wherein the pixel value correction unit stores each of the pixel values of each pixel of the image corresponding to each pixel of the image sensor in the memory stored by the correction value calculation storage unit. It is characterized in that the noise of each pixel of the image corresponding to each pixel of the image sensor is corrected by subtracting the correction value of the pixel noise.
また、本発明は、車両に搭載され、画素により構成される撮像素子への入射光に応じて撮影された画像に基づいて対象物を画像認識する車載用画像認識装置による車載用画像認識方法であって、前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断ステップと、前記入射光遮断ステップによって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させる補正値算出記憶ステップと、前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定ステップと、前記画像明暗判定ステップによって前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶ステップによってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正する画素値補正ステップとを含んだことを特徴とする。 The present invention also relates to an in-vehicle image recognition method by an in-vehicle image recognition device that recognizes an object based on an image that is mounted on a vehicle and is photographed in accordance with light incident on an image sensor configured by pixels. Then, when the power to the vehicle is turned on, the incident light blocking step for blocking incident light to the image sensor, and the imaging in a state where the incident light to the image sensor is blocked by the incident light blocking step A correction value calculating and storing step of calculating an average of pixel values of all pixels of the element, and storing a difference between the average and a pixel value of each pixel of the imaging element as a correction value of noise of each pixel; When the incident light is incident on the image sensor and an image is taken, an image light / dark determination step for determining light / dark of the image depending on whether the sum of pixel values of all pixels of the image is less than a predetermined threshold value, image When it is determined by the dark determination step that the sum of the pixel values of all the pixels of the image is less than a predetermined threshold, the correction value is calculated from the pixel values of the pixels of the image corresponding to the pixels of the image sensor. A pixel value correcting step of correcting noise of each pixel of the image corresponding to each pixel of the image pickup device by subtracting the noise correction value of each pixel stored in the memory by the storing step. And
本発明によれば、自装置への電源投入または車両への電源投入を契機として撮像素子への入射光を遮断して算出された該撮像素子の各画素の画素値の補正値に基づき、撮像素子へ入射光が入射されて撮影された画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定し、該画像の全画素の画素値の合計が所定閾値未満である場合に該画像が暗いと判定し、該撮像素子の各画素に対応する該画像の各画素の画素値を各画素の画素値の補正値で補正するので、周辺環境が暗い画像のFPNを正確に補正することが可能になるという効果を奏する。また、周辺環境が暗いために全体的に暗い画像のみを対象としてFPNを補正することが可能になるという効果を奏する。 According to the present invention, imaging is performed based on the correction value of the pixel value of each pixel of the image sensor calculated by blocking incident light to the image sensor triggered by power-on to the apparatus or power-on to the vehicle. The brightness of the image is determined based on whether or not the sum of the pixel values of all the pixels of the image photographed when incident light is incident on the element is less than a predetermined threshold, and the sum of the pixel values of all the pixels of the image is predetermined. When it is less than the threshold value, the image is determined to be dark, and the pixel value of each pixel of the image corresponding to each pixel of the image sensor is corrected with the correction value of the pixel value of each pixel. It is possible to correct the FPN accurately. Further, since the surrounding environment is dark, there is an effect that it is possible to correct the FPN only for a dark image as a whole.
また、本発明によれば、撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素の画素値の補正値とするので、周辺環境が暗い画像において突出して明るい輝点画素の画素値を補正することが可能になるという効果を奏する。 Further, according to the present invention, the average of the pixel values of all the pixels of the image sensor in a state where the incident light to the image sensor is blocked, and the average and the pixel value of each pixel of the image sensor Since the difference is used as the correction value of the pixel value of each pixel, there is an effect that it is possible to correct the pixel value of a bright bright pixel that protrudes in an image having a dark surrounding environment.
また、本発明によれば、車載装置から取得される情報に基づいて画像が暗いと判定するので、車両に既存の装置を利用して画像の明暗判定を行うことが可能になるという効果を奏する。 In addition, according to the present invention, since it is determined that the image is dark based on information acquired from the in-vehicle device, it is possible to perform image light / dark determination using an existing device in the vehicle. .
また、本発明によれば、撮像素子の各画素に対応する該画像の各画素の画素値から各画素の画素値の補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素の画素値を補正するので、減算のみという少ない計算量でFPNを補正することが可能になるという効果を奏する。 In addition, according to the present invention, each of the images corresponding to each pixel of the image sensor is obtained by subtracting the correction value of the pixel value of each pixel from the pixel value of each pixel of the image corresponding to each pixel of the image sensor. Since the pixel value of the pixel is corrected, there is an effect that the FPN can be corrected with a small calculation amount of only subtraction.
以下に添付図面を参照し、本発明の画像認識装置、車載用画像認識装置および車載用画像認識方法にかかる実施例を詳細に説明する。車載用画像認識装置は、自車両周辺の認識対象の測距をおこない、識別をおこなう装置である。なお、以下の実施例は、車載用の画像処理装置および画像処理方法について説明することとするが、これに限定されるものではなく、本発明は、一般的な画像処理装置および画像処理方法に広く適用可能である。 Exemplary embodiments of an image recognition device, an in-vehicle image recognition device, and an in-vehicle image recognition method according to the present invention will be described below in detail with reference to the accompanying drawings. The in-vehicle image recognition device is a device that performs distance measurement of a recognition target around the host vehicle and performs identification. In the following embodiments, an in-vehicle image processing apparatus and an image processing method will be described. However, the present invention is not limited to this, and the present invention is applied to a general image processing apparatus and an image processing method. Widely applicable.
先ず、実施例にかかる車載用画像認識装置の構成について説明する。図1は、実施例にかかる車載用画像認識装置の構成を示す機能ブロック図である。同図に示すように、実施例にかかる車載用画像認識装置10は、車両1において、CAN(Controller Area Network)などの車載有線ネットワーク100を介して、車載用画像認識装置10へカーナビゲーション情報、日付情報、時刻情報などを受け渡すカーナビゲーション装置20と、車両1の周囲の照度を検知した結果を車載用画像認識装置10へ受け渡す照度検知装置40と、車両1が備える車幅灯やヘッドライトの点灯状況を車載用画像認識装置10へ通知する車幅灯・ヘッドライト装置50とが接続されている。
First, the configuration of the in-vehicle image recognition apparatus according to the embodiment will be described. FIG. 1 is a functional block diagram illustrating a configuration of an in-vehicle image recognition apparatus according to an embodiment. As illustrated in FIG. 1, an in-vehicle
また、車載用画像認識装置10は、ディスプレイ装置などの表示手段である表示部13が接続されている。さらに、車載用画像認識装置10は、撮像装置であるイメージセンサ部14が接続されている。このイメージセンサ部14は、CMOSセンサ14aと、絞り機構部14bと、光学レンズ14cとを含んで構成される。イメージセンサ部14のCMOSセンサ14aは、光学レンズ14cおよび絞り機構部14bを介して、撮影対象物の像を取得して画像に変換し、車載用画像認識装置10へと受け渡す。また、車載用画像認識装置10は、記憶部12を含む。記憶部12は、画像バッファ12aと、ノイズ補正量記憶エリア12bとを含む。
The on-vehicle
車載用画像認識装置10は、制御部11と、記憶部12とを有する。制御部11は、車載用画像認識装置10の全体制御をつかさどるマイクロ・コンピュータなどの制御手段であり、特に、実施例に密接に関係する構成要素としては、画像取得処理部11aと、ノイズ学習処理部11bと、画像明暗判定部11cと、ノイズ補正処理部11dと、画像表示制御部11eとを有する。
The in-vehicle
画像取得処理部11aは、イメージセンサ部14から入力されるカメラ出力に基づき画像を取得し、記憶部12の画像バッファ12aに展開する。
The image acquisition processing unit 11 a acquires an image based on the camera output input from the
ノイズ学習処理部11bは、車両1の電源投入(IG ONまたはACC ON)にされたとき、または、車載用画像認識装置10の電源がオンにされたときを契機として、先ず、イメージセンサ部14の絞り機構部14bを制御して全閉にし、光学レンズ14cを介して入射してくる光量を遮断する。
The noise learning processing unit 11b first starts when the vehicle 1 is turned on (IG ON or ACC ON) or when the vehicle-mounted
そして、CMOSセンサ14aの全画素の画素値の平均を算出し、CMOSセンサ14aの各画素の画素値と、該平均との差分をそれぞれ算出する。画素ごとの差分が、該各画素のFPN補正量である。ノイズ学習処理部11bは、各画素のFPN補正量を、該画素ごとにノイズ補正量記憶エリア12bに格納する。
Then, the average of the pixel values of all the pixels of the
画像明暗判定部11cは、イメージセンサ部14の絞り機構部14bを適切に制御することによって画像取得処理部11aによって取得され、画像バッファ12aに展開されている画像の全画素の画素値の合計を算出する。
The image
そして、ノイズ補正処理部11dは、画像明暗判定部11cによって、画像バッファ12aに展開されている画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、ノイズ補正量記憶エリア12bに格納される画素ごとのFPN補正量を読み出して、画像バッファ12aに展開されている画像の各画素の画素値を補正する。
The noise
具体的には、ノイズ補正処理部11dは、画像バッファ12aに展開されている画像の各画素の画素値から画素ごとのFPN補正量を差し引くことによって、FPNを補正する。これによって、CMOSセンサ14aの画素の個体間のバラツキや経年劣化によるFPNによって輝点画素が発生することを抑制することが可能になる。ノイズ補正処理部11dによってFPNが補正された画像データは、画像表示制御部11eへと受け渡される。
Specifically, the noise
画像表示制御部11eは、ノイズ補正処理部11dによってFPNが補正された画像を表示部13に表示することとなる。なお、画像明暗判定部11cによって、画像バッファ12aに展開されている画像の全画素の画素値の合計が所定閾値未満であると判定されなかった場合には、画像表示制御部11eは、画像取得処理部11aによって、イメージセンサ部14を介して取得され、記憶部12の画像バッファ12aに展開されている画像を、FPN補正なしに表示部13に表示する。
The image
次に、図1に示した車載用画像認識装置10で実行されるFPN補正処理手順について説明する。図2は、図1に示した車載用画像認識装置10で実行されるFPN補正処理手順を示すフローチャートである。同図に示すように、先ず、車載用画像認識装置10の制御部11は、車両1のイグニション・スイッチのオンを検知する(ステップS101)。
Next, the FPN correction processing procedure executed by the in-vehicle
続いて、ノイズ学習処理部11bは、絞り機構部14bを制御して、レンズの絞りを全て閉じる(ステップS102)。続いて、ノイズ学習処理部11bは、CMOSセンサ14aの全画素の画素値を算出する(ステップS103)。
Subsequently, the noise learning processing unit 11b controls the
続いて、ノイズ学習処理部11bは、CMOSセンサ14aの各画素の画素値からCMOSセンサ14aの全画素の画素値の平均値を差し引くことによって、画素値のバラツキ量を算出し、この差を画素ごとのFPN補正量として決定する(ステップS104)。
Subsequently, the noise learning processing unit 11b calculates a variation amount of the pixel value by subtracting the average value of the pixel values of all the pixels of the
続いて、ノイズ学習処理部11bは、ステップS104で決定された画素ごとのFPN補正量を、ノイズ補正量記憶エリア12bに格納することによって学習する(ステップS105)。続いて、ノイズ学習処理部11bは、絞り機構部14bを制御して、レンズの絞りを適切に開く(ステップS106)。
Subsequently, the noise learning processing unit 11b learns by storing the FPN correction amount for each pixel determined in step S104 in the noise correction
そして、画像取得処理部11aは、入力画像を取得する(ステップS107)。続いて、画像明暗判定部11cは、車両1の周辺環境が、夜間もしくはトンネルなどの暗い環境であるか否かを判定する(ステップS108)。この判定は、上記したように、取得画像の全画素の画素値の合計が所定閾値未満であるか否かを判定することによっておこなう。
Then, the image acquisition processing unit 11a acquires an input image (step S107). Subsequently, the image
なお、カーナビゲーション装置20から取得される時刻情報(周辺環境が暗い時刻であるか否か)または位置情報(トンネルなどの周辺環境が暗い位置であるか否か)、照度検知装置40から取得される車両1の周辺の照度、車幅灯・ヘッドライト装置50から取得される車幅灯・ヘッドライト装置の点灯状況などに応じて、周辺環境の明暗を判定することとしてもよい。
The time information (whether the surrounding environment is a dark time) or the position information (whether the surrounding environment such as a tunnel is a dark position) acquired from the
車両1の周辺環境が暗い環境であると判定された場合に(ステップS108肯定)、入力画像に学習したFPN補正量を適用して、FPNを補正する(ステップS109)。一方、車両1の周辺環境が暗い環境であると判定されなかった場合には(ステップS108否定)、FPN補正処理は終了する。 When it is determined that the surrounding environment of the vehicle 1 is a dark environment (Yes at Step S108), the learned FPN correction amount is applied to the input image to correct the FPN (Step S109). On the other hand, when it is not determined that the surrounding environment of the vehicle 1 is a dark environment (No at Step S108), the FPN correction process ends.
次に、図3−1および図3−2を参照して、実施例の効果について説明する。図3−1は、実施例を適用しない場合の、周辺環境が暗い場合のFPN補正処理前の画像例を示す図である。同図に示すように、暗い環境では、FPNによる輝点画素が画像に混入するため、画像認識率の低下を招き、誤認識率が高い。また、取得される画像自体も、輝点画素によって不鮮明となる。 Next, effects of the embodiment will be described with reference to FIGS. 3-1 and 3-2. FIG. 3A is a diagram illustrating an example of an image before FPN correction processing when the surrounding environment is dark when the embodiment is not applied. As shown in the figure, in a dark environment, bright pixel due to FPN is mixed in an image, so that the image recognition rate is lowered and the erroneous recognition rate is high. Also, the acquired image itself is unclear due to the bright spot pixels.
一方、図3−2は、実施例を適用した場合の、周辺環境が暗い場合のFPN補正処理後の画像例を示す図である。同図に示すように、暗い環境でも、FPNによる輝点画素が画像に混入せず、画像認識率が向上し、誤認識率の低下を図ることが可能になる。また、取得される画像自体も、輝点画素がなく鮮明となる。 On the other hand, FIG. 3-2 is a diagram illustrating an example of an image after the FPN correction process when the surrounding environment is dark when the embodiment is applied. As shown in the figure, even in a dark environment, bright spot pixels due to FPN are not mixed in the image, the image recognition rate is improved, and the erroneous recognition rate can be reduced. Also, the acquired image itself is clear with no bright spot pixels.
また、実施例では、イグニション・スイッチのオンの直後の度にFPN補正量の学習をおこなうため、CMOSセンサ14aの経年劣化にも追従して対応することが可能になる。
In the embodiment, since the FPN correction amount is learned every time the ignition switch is turned on, it is possible to follow the aging degradation of the
以上、本発明の実施例を説明したが、本発明は、これに限られるものではなく、特許請求の範囲に記載した技術的思想の範囲内で、更に種々の異なる実施例で実施されてもよいものである。また、実施例に記載した効果は、これに限定されるものではない。 As mentioned above, although the Example of this invention was described, this invention is not limited to this, In the range of the technical idea described in the claim, even if it implements in a various different Example, it is. It ’s good. Moreover, the effect described in the Example is not limited to this.
また、上記実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記実施例で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。 In addition, among the processes described in the above embodiment, all or part of the processes described as being automatically performed can be manually performed, or the processes described as being manually performed can be performed. All or a part can be automatically performed by a known method. In addition, the processing procedure, control procedure, specific name, information including various data and parameters shown in the above embodiment can be arbitrarily changed unless otherwise specified.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示のように構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Each component of each illustrated device is functionally conceptual and does not necessarily need to be physically configured as illustrated. In other words, the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPU(Central Processing Unit)(またはMPU(Micro Processing Unit)、MCU(Micro Controller Unit)などのマイクロ・コンピュータ)および当該CPU(またはMPU、MCUなどのマイクロ・コンピュータ)にて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現されてもよい。 Furthermore, each or all of the processing functions performed in each device are entirely or partially a CPU (Central Processing Unit) (or a microcomputer such as an MPU (Micro Processing Unit) or MCU (Micro Controller Unit)) and It may be realized by a program that is analyzed and executed by the CPU (or a microcomputer such as MPU or MCU), or may be realized as hardware by wired logic.
本発明は、車載用画像認識装置において、周辺環境が暗い画像のFPNを正確に補正したい場合に有用である。 INDUSTRIAL APPLICABILITY The present invention is useful in an in-vehicle image recognition apparatus when it is desired to accurately correct FPN of an image having a dark surrounding environment.
1 車両
10 車載用画像認識装置
11 制御部
11a 画像取得処理部
11b ノイズ学習処理部
11c 画像明暗判定部
11d ノイズ補正処理部
11e 画像表示制御部
12 記憶部
12a 画像バッファ
12b ノイズ補正量記憶エリア
13 表示部
14 イメージセンサ部
14a CMOSセンサ
14b 絞り機構部
14c 光学レンズ
20 カーナビゲーション装置
40 照度検知装置
50 車幅灯・ヘッドライト装置
100 車載有線ネットワーク
DESCRIPTION OF SYMBOLS 1
Claims (6)
自装置への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、
前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、
前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段と
を有することを特徴とする画像認識装置。 An image recognition device for recognizing an object based on an image photographed in accordance with light incident on an image pickup element composed of pixels,
Incident light blocking means for blocking incident light to the imaging element, triggered by power-on to the device,
Correction value calculation storage means for calculating and storing in memory a correction value of noise of each pixel in a state where incident light to the image sensor is blocked by the incident light blocking means;
When an incident light is incident on the image sensor and an image is taken, an image light / dark determination unit that determines light / dark of the image depending on whether the sum of pixel values of all pixels of the image is less than a predetermined threshold value;
When the image brightness determination unit determines that the sum of the pixel values of all the pixels of the image is less than a predetermined threshold, the noise of each pixel of the image corresponding to each pixel of the image sensor is corrected. An image recognition apparatus comprising: a pixel value correcting unit that corrects a noise correction value of each pixel stored in a memory by a value calculation storage unit.
前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断手段と、
前記入射光遮断手段によって前記撮像素子への入射光が遮断された状態において各前記画素のノイズの補正値を算出してメモリ記憶させる補正値算出記憶手段と、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定手段と、
前記画像明暗判定手段によって、前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素のノイズを、前記補正値算出記憶手段によってメモリ記憶させられた各前記画素のノイズの補正値で補正する画素値補正手段と
を有することを特徴とする車載用画像認識装置。 An on-vehicle image recognition device that recognizes an object based on an image that is mounted on a vehicle and is imaged according to incident light on an image sensor configured by pixels,
Incidence light blocking means for blocking incident light to the image sensor upon powering on the vehicle,
Correction value calculation storage means for calculating and storing in memory a correction value of noise of each of the pixels in a state where incident light to the image sensor is blocked by the incident light blocking means;
When the incident light is incident on the image pickup device and an image is taken, an image light / dark determination unit that determines light / dark of the image depending on whether the sum of pixel values of all pixels of the image is less than a predetermined threshold value;
When the image brightness determination means determines that the sum of the pixel values of all the pixels of the image is less than a predetermined threshold, the noise of each pixel of the image corresponding to each pixel of the image sensor is corrected. An in-vehicle image recognition apparatus comprising: a pixel value correction unit that corrects the noise correction value of each pixel stored in the memory by the value calculation storage unit.
前記車両への電源投入を契機として、前記撮像素子への入射光を遮断する入射光遮断ステップと、
前記入射光遮断ステップによって前記撮像素子への入射光が遮断された状態における該撮像素子の全画素の画素値の平均を算出し、該平均と、該撮像素子の各画素の画素値との差分を該各画素のノイズの補正値としてメモリ記憶させる補正値算出記憶ステップと、
前記撮像素子へ入射光が入射されて画像が撮影されると、該画像の全画素の画素値の合計が所定閾値未満であるか否かによって該画像の明暗を判定する画像明暗判定ステップと、
前記画像明暗判定ステップによって前記画像の全画素の画素値の合計が所定閾値未満であると判定された場合に、該撮像素子の各画素に対応する該画像の各画素の画素値から、前記補正値算出記憶ステップによってメモリ記憶させられた各前記画素のノイズの補正値を差し引くことによって該撮像素子の各画素に対応する該画像の各画素のノイズを補正する画素値補正ステップと
を含んだことを特徴とする車載用画像認識方法。 An in-vehicle image recognition method by an in-vehicle image recognition device that recognizes an object based on an image that is mounted on a vehicle and is imaged according to incident light on an image sensor configured by pixels,
Incident light blocking step for blocking incident light to the image sensor with power on to the vehicle,
The average of the pixel values of all the pixels of the image sensor in a state where the incident light to the image sensor is blocked by the incident light blocking step, and the difference between the average and the pixel value of each pixel of the image sensor A correction value calculation storage step for storing in memory as a noise correction value for each pixel;
When an incident light is incident on the image sensor and an image is taken, an image light / dark determination step for determining light / dark of the image depending on whether the sum of pixel values of all pixels of the image is less than a predetermined threshold value;
When the image brightness determination step determines that the sum of the pixel values of all the pixels of the image is less than a predetermined threshold, the correction is performed from the pixel values of the pixels of the image corresponding to the pixels of the image sensor. A pixel value correcting step for correcting noise of each pixel of the image corresponding to each pixel of the image sensor by subtracting the noise correction value of each pixel stored in the memory by the value calculating and storing step. A vehicle-mounted image recognition method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007245764A JP2009077279A (en) | 2007-09-21 | 2007-09-21 | Image recognizing apparatus, on-vehicle image recognizing apparatus, and on-vehicle image recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007245764A JP2009077279A (en) | 2007-09-21 | 2007-09-21 | Image recognizing apparatus, on-vehicle image recognizing apparatus, and on-vehicle image recognition method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009077279A true JP2009077279A (en) | 2009-04-09 |
Family
ID=40611810
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007245764A Pending JP2009077279A (en) | 2007-09-21 | 2007-09-21 | Image recognizing apparatus, on-vehicle image recognizing apparatus, and on-vehicle image recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009077279A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019022096A (en) * | 2017-07-18 | 2019-02-07 | オリンパス株式会社 | Endoscope, control device, correction method, and program |
JP2020511712A (en) * | 2017-03-10 | 2020-04-16 | フィンガープリント カーズ アクティエボラーグ | Suppression of degraded data in fingerprint images |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001153723A (en) * | 1999-11-30 | 2001-06-08 | Nec Corp | Infrared image pickup device and signal processing method used for same |
JP2005167842A (en) * | 2003-12-04 | 2005-06-23 | Denso Corp | Exposure control apparatus for on-vehicle monitoring camera |
JP2007081513A (en) * | 2005-09-12 | 2007-03-29 | Matsushita Electric Ind Co Ltd | Blot defect detecting method for solid-state imaging element |
JP2007082097A (en) * | 2005-09-16 | 2007-03-29 | Sanyo Electric Co Ltd | Noise reducer |
-
2007
- 2007-09-21 JP JP2007245764A patent/JP2009077279A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001153723A (en) * | 1999-11-30 | 2001-06-08 | Nec Corp | Infrared image pickup device and signal processing method used for same |
JP2005167842A (en) * | 2003-12-04 | 2005-06-23 | Denso Corp | Exposure control apparatus for on-vehicle monitoring camera |
JP2007081513A (en) * | 2005-09-12 | 2007-03-29 | Matsushita Electric Ind Co Ltd | Blot defect detecting method for solid-state imaging element |
JP2007082097A (en) * | 2005-09-16 | 2007-03-29 | Sanyo Electric Co Ltd | Noise reducer |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020511712A (en) * | 2017-03-10 | 2020-04-16 | フィンガープリント カーズ アクティエボラーグ | Suppression of degraded data in fingerprint images |
JP2019022096A (en) * | 2017-07-18 | 2019-02-07 | オリンパス株式会社 | Endoscope, control device, correction method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4248558B2 (en) | Road marking line detection device | |
JP5437855B2 (en) | Obstacle detection device, obstacle detection system including the same, and obstacle detection method | |
KR101327032B1 (en) | Apparatus and method for removing reflected light of camera image | |
JP2007030734A (en) | Method for determining roadway | |
US20140085473A1 (en) | In-vehicle camera apparatus | |
JP6969488B2 (en) | Image display device | |
JP4556133B2 (en) | vehicle | |
US10699386B2 (en) | Techniques for scene-based nonuniformity correction in shutterless FIR cameras | |
US20210243338A1 (en) | Techniques for correcting oversaturated pixels in shutterless fir cameras | |
JP2008098858A (en) | Vehicle periphery monitoring device | |
US11354795B2 (en) | Deposit detection device and deposit detection method | |
CN104228667B (en) | Judge the method and its device of mist presence or absence | |
JP6267493B2 (en) | Arrow signal light detector | |
JP2021114762A (en) | Low-light imaging system | |
JP2005073296A (en) | Exposure control apparatus for on-vehicle camera | |
JP2009077279A (en) | Image recognizing apparatus, on-vehicle image recognizing apparatus, and on-vehicle image recognition method | |
US8310546B2 (en) | Image processing apparatus adapted to recognize object in acquired image | |
US20170364765A1 (en) | Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method | |
JP2007189595A (en) | On-vehicle camera device | |
KR101615381B1 (en) | Image acquisition method and digital camera system | |
JP2017059905A (en) | Imaging device | |
KR20120055824A (en) | Image acquiring method of vehicle camera system | |
TW201711441A (en) | Photographic device capable of restraining an accidental operation by a simple process when automatically calibrating the low resolution of a photographed picture | |
JP7213732B2 (en) | image display device | |
JP6314667B2 (en) | Imaging apparatus, image correction program, and image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110725 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120703 |