JP2008160561A - Imaging system and imaging apparatus - Google Patents
Imaging system and imaging apparatus Download PDFInfo
- Publication number
- JP2008160561A JP2008160561A JP2006348085A JP2006348085A JP2008160561A JP 2008160561 A JP2008160561 A JP 2008160561A JP 2006348085 A JP2006348085 A JP 2006348085A JP 2006348085 A JP2006348085 A JP 2006348085A JP 2008160561 A JP2008160561 A JP 2008160561A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- pixel
- image data
- pixel value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像して得られる画像の画質が温度上昇に伴って低下することを防止できる撮像システム及び撮像装置に関する。 The present invention relates to an imaging system and an imaging apparatus that can prevent the image quality of an image obtained by imaging from being lowered as the temperature rises.
従来、CCD又はCMOS等の撮像素子を用いて動画又は静止画等の撮像を行う撮像装置が普及している。また、近年においては、車両のバンパー近傍又はドアミラー内等に小型の撮像装置を搭載し、撮像装置が撮像して取得した車両周辺の画像を車両内の運転席近傍に配設されたディスプレイに表示することによって、運転者の運転を補助するシステムが実用化されている。このシステムでは、例えば車両が幅の狭い道路を走行する場合又は駐車場に車両を駐車する場合等に、車両の運転席から死角となる部分を撮像装置により撮像してディスプレイに表示することができる。 2. Description of the Related Art Conventionally, imaging apparatuses that capture an image such as a moving image or a still image using an imaging element such as a CCD or a CMOS have been widely used. In recent years, a small imaging device is mounted near the bumper of a vehicle or in a door mirror, etc., and an image around the vehicle acquired by the imaging device is displayed on a display arranged in the vicinity of the driver's seat in the vehicle. Thus, a system for assisting the driving of the driver has been put into practical use. In this system, for example, when the vehicle travels on a narrow road or when the vehicle is parked in a parking lot, a portion that becomes a blind spot from the driver's seat of the vehicle can be imaged by the imaging device and displayed on the display. .
撮像素子は、受光した光に応じた電荷を蓄積するフォトダイオードなどの受光素子がマトリクス状に並設されたものであり、各受光素子が蓄積した電荷の量をA/D変換により取得することによって画像データを取得することができる。しかし、受光素子にて蓄積される電荷の量は周囲の温度変化に応じて増減するため、温度変化により撮像した画像データの明度及び色彩等が変化するという問題がある。特に、温度が上昇した場合に画像データの黒レベルが上昇し、黒色部分が灰色などの若干明るい色に変化するという問題があった。この問題に対して従来の撮像装置では、撮像素子の撮像面に並設された複数の受光素子のうち、中央の略矩形の範囲内に並設された画素による画素領域を有効画素領域とし、有効画素領域の周辺には受光素子を遮光膜で覆って遮光したオプティカルブラック領域を設け、オプティカルブラック領域の受光素子の出力を黒レベルの基準値として有効画素領域の出力を補正することが行われている。 The image sensor is a light-receiving element such as a photodiode that accumulates charges according to received light, arranged in a matrix, and acquires the amount of charge accumulated by each light-receiving element by A / D conversion. With this, image data can be acquired. However, since the amount of electric charge accumulated in the light receiving element increases or decreases according to the ambient temperature change, there is a problem that the brightness, color, and the like of the image data captured due to the temperature change change. In particular, when the temperature rises, there is a problem that the black level of the image data rises and the black portion changes to a slightly bright color such as gray. With respect to this problem, in a conventional imaging device, among a plurality of light receiving elements arranged in parallel on the imaging surface of the imaging element, a pixel area formed by pixels arranged in a substantially rectangular range at the center is set as an effective pixel area, An optical black area is provided around the effective pixel area by covering the light receiving element with a light shielding film and shielding the light, and the output of the effective pixel area is corrected using the output of the light receiving element in the optical black area as a black level reference value. ing.
特許文献1においては、映像信号の輝度成分を検出して、黒レベルが高い場合には黒伸張動作を強め、逆に黒レベルが低い場合には黒伸張動作を抑圧し、また、白レベルが高い場合にはコントラストを下げ、逆に白レベルが低い場合にはコントラストを上げることにより、テレビ受像機の映像信号の輝度バランスを補正する自動映像信号補正回路が提案されている。この自動映像信号補正回路をテレビ受像機に搭載することによって、最適な輝度バランスに補正された映像をテレビ受像機が表示することができる。
しかしながら、従来の撮像装置においては、温度が過度に上昇した場合に、オプティカルブラック領域を利用して補正できる限度を超えて画像データの黒レベルが上昇する虞が合った。また、低価格の撮像素子では、オプティカルブラック領域を設けておらず上述の補正を行うことができないか、又は、補正が十分でない場合がある。 However, in the conventional imaging apparatus, when the temperature rises excessively, there is a possibility that the black level of the image data increases beyond the limit that can be corrected using the optical black region. In addition, in an inexpensive image sensor, there is a case where the optical black region is not provided and the above correction cannot be performed, or the correction is not sufficient.
また、特許文献1に記載の自動映像信号補正回路は、映像信号として全体的に明るい輝度信号が入力された場合には暗い部分及び中間輝度部分を暗く補正し、全体的に暗い輝度信号が入力された場合にはこれと逆の補正を行って、見やすい映像をテレビジョン装置に表示することを目的としている。よって、上述のような撮像素子の温度変化に伴って画像データの明度及び色彩等の変化するという問題を解決するものではない。。
The automatic video signal correction circuit described in
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、撮像装置が撮像した画像データを画像処理装置が取得し、複数のレンズなどで構成された光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、光学系の集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて画像処理装置が補正する構成とすることにより、撮像素子にオプティカルブラック領域が設けられていない場合であっても、撮像して得られた画像データのみで黒レベルの補正を行うことができる撮像システムを提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to obtain image data captured by an image capturing apparatus using an image processing apparatus and an optical system including a plurality of lenses. The pixel value acquired in the effective pixel area consisting of the pixels provided in the light collection range to the image sensor is changed to the pixel value acquired in the invalid pixel area consisting of the pixels provided outside the light collection range of the optical system. By adopting a configuration in which the image processing apparatus corrects accordingly, the black level can be corrected only by image data obtained by imaging even when the optical black region is not provided in the imaging device. To provide an imaging system.
また本発明の他の目的とするところは、画素値の最暗値と無効画素領域から取得した画素値との差分を求め、この差分を打ち消すように有効画素領域から取得した画素値の補正を行う構成とすることにより、画像データの黒レベルの補正を簡単に行うことができる撮像システムを提供することにある。 Another object of the present invention is to obtain a difference between the darkest pixel value and the pixel value acquired from the invalid pixel area, and to correct the pixel value acquired from the effective pixel area so as to cancel the difference. An object of the present invention is to provide an imaging system capable of easily correcting the black level of image data by adopting a configuration to perform the above.
また本発明の他の目的とするところは、撮像装置が光学系へ入射する光を遮光する遮光手段を有する場合に、この遮光手段により遮光された撮像素子の領域を無効画素領域として利用する構成とすることにより、無効画素領域による画素値を確実に取得して補正を行うことができる撮像システムを提供することにある。 Another object of the present invention is to use an area of the image sensor that is shielded by the light shielding means as an invalid pixel area when the imaging apparatus has a light shielding means for shielding light incident on the optical system. Accordingly, an object of the present invention is to provide an imaging system that can reliably acquire and correct pixel values of invalid pixel areas.
また本発明の他の目的とするところは、複数のレンズなどで構成された光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、光学系の集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて画像処理装置が補正する構成とすることにより、撮像素子にオプティカルブラック領域が設けられていない場合であっても、撮像して得られた画像データのみで黒レベルの補正を行うことができる撮像装置を提供することにある。 Another object of the present invention is to provide a pixel value acquired in an effective pixel region composed of pixels provided in a light collection range from an optical system including a plurality of lenses to an image sensor. In the case where the optical black area is not provided in the image sensor by adopting a configuration in which the image processing device corrects the pixel value acquired in the invalid pixel area including the pixels provided outside the light collection range of the system. Even if it exists, it is providing the imaging device which can correct | amend a black level only with the image data obtained by imaging.
第1発明に係る撮像システムは、複数の画素が並設された撮像素子、及び該撮像素子へ光を集光する光学系を有する撮像装置と、該撮像装置の前記撮像素子が撮像して取得した画像データに画像処理を施す画像処理装置とを備える撮像システムにおいて、前記撮像素子は、前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、前記光学系の集光範囲外に設けられた画素よりなる無効画素領域とを有し、前記画像処理装置は、前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を有することを特徴とする。 An image pickup system according to a first aspect of the present invention is an image pickup device having an image pickup element in which a plurality of pixels are arranged in parallel, an optical system that collects light on the image pickup element, and the image pickup element of the image pickup device picks up an image. In the imaging system including the image processing apparatus that performs image processing on the image data, the imaging element includes an effective pixel area including pixels provided in the light collection range of the optical system, and a light collection range of the optical system. An invalid pixel area formed of pixels provided outside, and the image processing device includes a pixel in the effective pixel area according to a pixel value of image data obtained by capturing an image in the pixel in the invalid pixel area. It has a correction means which corrects the pixel value of the image data acquired by imaging at 1.
本発明においては、撮像装置に搭載された撮像素子の撮像領域を、レンズなどで構成された光学系による集光範囲内の画素よりなる有効画素領域と、集光範囲外の画素よりなる無効画素領域とに分類する。例えば、無効画素領域として、所謂ケラレにより撮像素子の周縁部分に生じる光の入射しない領域を利用することができる。無効画素領域は光が入射しない領域であり、撮像素子中で最も暗い画素値が取得できるため、無効画素領域で取得された画素値を画像データ中の黒色の部分と推定することができる。よって、画像処理装置は、有効画素領域及び無効画素領域の両領域から画素値を取得し、無効画素領域の画素値を黒色として有効画素領域の画素値を補正することができる。補正を行うために撮像素子にオプティカルブラック領域を設ける必要がなく、撮像装置が撮像して取得した画像データのみから画像処理装置が補正を行うことができる。 In the present invention, the imaging area of the imaging device mounted on the imaging device is divided into an effective pixel area made up of pixels within a light collection range and an invalid pixel made up of pixels outside the light collection range. Categorize into areas. For example, as the ineffective pixel region, a region where light incident on the peripheral portion of the image sensor due to so-called vignetting can be used. The invalid pixel region is a region where no light is incident, and since the darkest pixel value in the image sensor can be acquired, the pixel value acquired in the invalid pixel region can be estimated as a black portion in the image data. Therefore, the image processing apparatus can acquire pixel values from both the effective pixel area and the invalid pixel area, and can correct the pixel value of the effective pixel area by setting the pixel value of the invalid pixel area to black. There is no need to provide an optical black area in the image sensor to perform the correction, and the image processing apparatus can perform correction only from image data acquired by the imaging apparatus.
また、第2発明に係る撮像システムは、前記補正手段が、画素値の最暗値と前記無効画素領域に係る画素値との差分を基に、該差分を打ち消すように前記有効画素領域に係る画素値を補正するようにしてあることを特徴とする。 Further, in the imaging system according to the second invention, the correction unit relates to the effective pixel region so as to cancel the difference based on the difference between the darkest pixel value and the pixel value related to the invalid pixel region. The pixel value is corrected.
本発明においては、画素値の最暗値、即ち黒レベルの基準となる値と、撮像素子の無効画素領域から取得した画素値とを比較し、差分を算出する。算出された差分が温度上昇に伴う黒レベルの上昇分であり、この上昇分を打ち消すように有効画素領域から取得した画素値を補正する。画素値の補正は、算出された差分に応じて決定される算出式に有効画素領域から取得した画素値を代入することによって行うことができ、画素毎に行うことができるため、処理が簡単である。 In the present invention, the darkest value of the pixel value, that is, the value serving as a reference for the black level is compared with the pixel value acquired from the invalid pixel area of the image sensor, and the difference is calculated. The calculated difference is an increase in the black level accompanying the temperature increase, and the pixel value acquired from the effective pixel region is corrected so as to cancel the increase. The correction of the pixel value can be performed by substituting the pixel value acquired from the effective pixel region into the calculation formula determined according to the calculated difference, and can be performed for each pixel, so the process is simple. is there.
また、第3発明に係る撮像システムは、前記撮像装置が、前記光学系へ入射する光を遮光する遮光手段を有し、前記無効画素領域は、前記遮光手段により遮光された領域であることを特徴とする。 In the imaging system according to a third aspect of the present invention, the imaging apparatus includes a light shielding unit that shields light incident on the optical system, and the invalid pixel region is a region shielded by the light shielding unit. Features.
本発明においては、撮像装置に光学系へ入射する光を遮光する遮光手段、例えばレンズの一部を覆うカバーなどの部材を設ける。これらの部材は、例えば車両に搭載する撮像装置において余分な光を遮断するための設けられるものであり、ケラレにより撮像素子の周縁部分に生じる光の入射しない領域を利用することができない場合であっても、これらの部材により遮光される領域を無効画素領域として利用することができるため、上述の補正を行うことができる。 In the present invention, the imaging apparatus is provided with a light shielding means for shielding light incident on the optical system, for example, a member such as a cover that covers a part of the lens. These members are provided, for example, in an imaging apparatus mounted on a vehicle to block excess light, and it is a case where it is not possible to use an area where light does not enter due to vignetting in the peripheral portion of the imaging element. However, since the area shielded by these members can be used as the invalid pixel area, the above-described correction can be performed.
また、第4発明に係る撮像装置は、複数の画素が並設された撮像素子と、該撮像素子へ光を集光する光学系とを備える撮像装置において、前記撮像素子は、前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、前記光学系の集光範囲外に設けられた画素よりなる無効画素領域とを有し、前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を備えることを特徴とする。 According to a fourth aspect of the present invention, there is provided an imaging apparatus comprising: an imaging element in which a plurality of pixels are arranged in parallel; and an optical system that collects light on the imaging element. It has an effective pixel area consisting of pixels provided within the condensing range, and an invalid pixel area consisting of pixels provided outside the condensing range of the optical system, and images are taken by the pixels in the invalid pixel area. The image processing apparatus includes a correcting unit that corrects the pixel value of the image data acquired by imaging with the pixels in the effective pixel area according to the pixel value of the acquired image data.
本発明においては、撮像素子の撮像領域を、レンズなどで構成された光学系による集光範囲内の画素よりなる有効画素領域と、集光範囲外の画素よりなる無効画素領域とに分類する。無効画素領域は光が入射しない領域であり、撮像素子中で最も暗い画素値が取得できるため、無効画素領域で取得された画素値を画像データ中の黒色の部分と推定することができる。よって、有効画素領域及び無効画素領域の両領域から画素値を取得し、無効画素領域の画素値を黒色として有効画素領域の画素値を補正することができるため、撮像素子にオプティカルブラック領域を設けることなく補正を行うことができる。 In the present invention, the image pickup area of the image pickup device is classified into an effective pixel area made up of pixels within a light collection range and an invalid pixel area made up of pixels outside the light collection range. The invalid pixel region is a region where no light is incident, and since the darkest pixel value in the image sensor can be acquired, the pixel value acquired in the invalid pixel region can be estimated as a black portion in the image data. Therefore, the pixel value is obtained from both the effective pixel region and the invalid pixel region, and the pixel value of the effective pixel region can be corrected by setting the pixel value of the invalid pixel region to black. Therefore, an optical black region is provided in the image sensor. Correction can be performed without any problem.
第1発明による場合は、光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて画像処理装置が補正する構成とすることにより、撮像して得られた画像データのみで黒レベルの補正を行うことができ、撮像素子にオプティカルブラック領域を設ける必要がないため、撮像装置を低コスト化することができ、安価な撮像システムであっても温度変化に伴う画質の悪化を低減することができる。
In the case of the first aspect of the invention, the pixel value acquired in the effective pixel area composed of the pixels provided in the light condensing range from the optical system to the image sensor is used as the invalid pixel area composed of the pixels provided outside the light condensing range With the configuration in which the image processing apparatus corrects the pixel value according to the pixel value acquired in
また、第2発明による場合は、画素値の最暗値と無効画素領域から取得した画素値との差分を算出し、この差分を打ち消すように有効画素領域から取得した画素値の補正を行う構成とすることにより、温度上昇に伴う黒レベルの上昇を打ち消すことができるため、安価な撮像システムであっても温度変化に伴う画質の悪化を確実に低減することができる。 In the case of the second invention, the difference between the darkest pixel value and the pixel value acquired from the invalid pixel area is calculated, and the pixel value acquired from the effective pixel area is corrected so as to cancel the difference. By doing so, it is possible to cancel the increase in the black level due to the temperature rise, and it is possible to reliably reduce the deterioration of the image quality due to the temperature change even in an inexpensive imaging system.
また、第3発明による場合は、撮像装置に光学系へ入射する光を遮光する遮光手段を設け、遮光手段により遮光された撮像素子の領域を無効画素領域として利用する構成とすることにより、撮像素子に無効画素領域を確実に設けることができ、無効画素領域による画素値を確実に取得して補正を行うことができるため、安価な撮像システムであっても温度変化に伴う画質の悪化をより確実に低減することができる。 According to the third aspect of the invention, the image pickup apparatus is provided with a light blocking unit that blocks light incident on the optical system, and an image pickup device area shielded by the light blocking unit is used as an invalid pixel area. An invalid pixel area can be reliably provided in the element, and a pixel value by the invalid pixel area can be reliably acquired and corrected, so that even an inexpensive imaging system can further degrade image quality due to temperature changes. It can be surely reduced.
また、第4発明による場合は、光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて補正する構成とすることにより、撮像して得られた画像データのみで黒レベルの補正を行うことができ、撮像素子にオプティカルブラック領域を設ける必要がないため、撮像装置を低コスト化することができ、温度変化に伴う画質の悪化を低減することができる。 Further, in the case of the fourth invention, the pixel value acquired in the effective pixel area composed of the pixels provided in the condensing range from the optical system to the image sensor is invalidated from the pixels provided outside the condensing range. By adopting a configuration in which correction is performed according to the pixel value acquired in the pixel area, the black level can be corrected only by image data obtained by imaging, and there is no need to provide an optical black area in the imaging element. Therefore, the cost of the imaging apparatus can be reduced, and deterioration in image quality due to temperature change can be reduced.
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図1は、本発明に係る撮像システムの構成を示す模式図である。図において1は車両であり、車両1には、後部のバンパー又はナンバープレート等の近傍に、車両1の後方を撮像する小型の撮像装置50が搭載してあり、車両1の運転席近傍、例えばダッシュボードなどには液晶ディスプレイ20が配設してある。撮像装置50が撮像して取得した画像に係る画像データは、車両1の内部に搭載されたECU(Electronic Control Unit)10に与えられ、ECU10にて種々の画像処理が施された後に液晶ディスプレイ20に与えられて、液晶ディスプレイ20に画像が表示されるようにしてある。撮像装置50及びECU10と、ECU10及び液晶ディスプレイ20とは、それぞれネットワークケーブルなどにより接続してある。
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof. FIG. 1 is a schematic diagram showing a configuration of an imaging system according to the present invention. In the figure,
図2は、本発明に係る撮像システムの撮像装置50の構成を示すブロック図であり、撮像装置50により撮像された画像に係る画像データの流れを実線で示し、制御信号又はその他のデータの流れを破線の矢印で示してある。撮像装置50は、画角の広い広角レンズ又は魚眼レンズ等のレンズなどの一又は複数の光学素子で構成された光学系51と、光学系51により集光された光を検知することにより1秒間に30回程度の頻度で撮像を行い、光に応じたアナログの電気信号を出力するCCD又はCMOS等の撮像素子52とを備えている。撮像素子52が出力するアナログの電気信号は利得制御部53へ与えられ、利得制御部53は、後述のDSP55の測光計算部57から与えられる情報に基づいて、撮像素子52から与えられた電気信号を適宜の増幅率で増幅して出力するようにしてある。利得制御部53にて増幅された電気信号は、A/D変換部54へ与えられ、A/D変換部54は与えられたアナログの電気信号をデジタルの電気信号(画像データ)に変換して出力するようにしてある。
FIG. 2 is a block diagram illustrating the configuration of the
A/D変換部54が出力したデジタルの電気信号は、DSP55へ与えられる。DSP55は、デジタル信号処理部56及び測光計算部57等を有している。デジタル信号処理部56は、A/D変換部54から与えられたデジタルの電気信号に対して、画素補間、ホワイトバランス調整、彩度調整及びノイズ除去等の種々の信号処理を行うものであり、信号処理後のデータをエンコーダ59へ与えるようにしてある。測光計算部57は、デジタル信号処理部56により信号処理されたデジタルの電気信号を基に、撮像素子52により撮像された画像の所定領域、例えば画像の中心領域などの輝度と、画像全体の輝度とを計算し、撮像素子52により撮像される画像の輝度が予め定められた輝度範囲内となるように利得制御部53及び露光制御部58へ制御情報を与えるようにしてある。露光制御部58は、測光計算部57から与えられる制御情報に基づいて、撮像素子52の露光時間を制御するようにしてある。
The digital electric signal output from the A /
エンコーダ59は、DSP55のデジタル信号処理部56から与えられたデジタルの電気信号を、NTSC(National Television Standards Committee)方式の信号に符号化して出力するものである。なお、NTSC方式とは、テレビジョン装置に出力するための映像信号に係る方式であり、エンコーダ59により符号化されたデジタルの電気信号は、車両1のECU10へ与えられるようにしてある。
The
図3は、本発明に係る撮像システムのECU10の構成を示すブロック図である。ECU10は、撮像装置50から与えられた画像データに対して黒レベルの補正を行う画像処理を主として行うものであり、更には画像データに対して拡大、縮小又は視点変換等の種々の画像処理を行うことができ、画像処理後の画像データを液晶ディスプレイ20へ与えて表示を行わせるようにしてある。ECU10は、各種の演算及びECU10内の各部の制御等を行うためのCPU11と、CPU11の動作に必要なプログラム及びデータ等を記憶するROM12及びRAM13と、ユーザからの操作を受け付ける操作部14と、撮像装置50を接続するための画像入力用I/F(インタフェース)15と、上述の画像処理を行う画像処理部16と、画像データを記憶するための画像メモリ17と、液晶ディスプレイ20を接続するための画像出力用I/F18とを備えている。
FIG. 3 is a block diagram showing a configuration of the
ROM12は、マスクROM、EEPROM又はフラッシュメモリ等の不揮発性のメモリ素子により構成してあり、CPU11にて実行されるプログラム及び実行に必要なデータ等が予め記憶してある。CPU11は、ECU10の電源投入後にROM12からプログラム及びデータを読み出して実行し、処理を開始するようにしてある。RAM13は、SRAM又はDRAM等の書き換え可能なメモリ素子により構成してあり、CPU11が演算処理又は制御処理等を行う際に生じる一時的なデータを記憶するようにしてある。操作部14は、複数のボタン又はスイッチ等により構成されており、ユーザがボタン又はスイッチ等を操作することにより撮像システムに指示を与えて所望の処理を行わせることができるようにしてある。操作部14はユーザの操作を受け付けた場合に、受け付けた操作内容をCPU11へ通知するようにしてある。
The
画像入力用I/F15は、ネットワークケーブルなどの通信線を接続するためのコネクタを有しており、撮像装置50を通信線を介して接続することができるようにしてある。撮像装置50は撮像して取得した画像データを通信線を介してECU10へ送信し、ECU10の画像入力用I/F15にて受信された画像データは画像メモリ17に記憶されるようにしてある。画像処理部16は、CPU11から与えられる命令に応じて、画像データに対する黒レベルの補正処理(詳細は後述する)を行うと共に、画像データに拡大、縮小又は視点変換等の種々の画像処理を行うものである。画像処理部16は、撮像装置50から送信されて画像メモリ17に記憶された画像データを読み出し、画像処理を行って処理後の画像データを画像メモリ17に記憶するようにしてある。画像メモリ17は、撮像装置50から送信された画像データを記憶すると共に、画像処理部16にて画像処理された画像データを記憶するものであり、大容量のSRAM又はDRAM等で構成してある。画像出力用I/F18は、通信線を接続するためのコネクタを有しており、液晶ディスプレイ20を通信線を介して接続することができるようにしてある。CPU11は、画像処理部16にて画像処理された画像データを画像メモリ17から読み出して画像出力用I/F18へ与え、通信線を介して画像データを液晶ディスプレイ20へ送信し、液晶ディスプレイに画像の表示を行わせるようにしてある。
The image input I /
図4は、黒レベルの補正処理を説明するための模式図であり、(a)に黒レベルの上昇が発生していない状態、即ち正常状態を図示し、(b)に黒レベルの上昇が発生した状態、即ち黒レベルの補正処理を行う必要がある状態を図示してある。(a)及び(b)にそれぞれ示したグラフは、横軸に画像データを構成する各画素の並びを示してあり、縦軸に各画素の輝度値(画素値)を示してある。また、図示の例では、輝度が最暗の画素から最明の画素までの複数の画素が徐々に輝度を増すように並べられている場合を示してある。 FIG. 4 is a schematic diagram for explaining the black level correction processing. FIG. 4A shows a state where the black level does not increase, that is, a normal state, and FIG. 4B shows the black level increase. The state where it occurs, that is, the state where black level correction processing needs to be performed is shown. In the graphs shown in (a) and (b), the horizontal axis shows the arrangement of each pixel constituting the image data, and the vertical axis shows the luminance value (pixel value) of each pixel. In the illustrated example, a plurality of pixels from the darkest pixel to the brightest pixel are arranged so as to gradually increase the luminance.
図4(a)に示すように、撮像装置50の撮像素子52又はこの近傍の温度が高温ではなく、撮像素子52の暗電流が増加することなく正常に動作している場合、撮像により取得した画像データ中の最暗の画素の輝度値(黒レベル)は”0(最暗値)”であり、最明の画素の輝度値はLmaxである。例えば、各画素の輝度が8ビットの情報量を有している場合、Lmax=255であり、各画素の輝度は256階調で表すことができる。
As shown in FIG. 4A, when the
これに対して、図4(b)の実線に示すように、撮像素子52又はこの近傍の温度が上昇し、撮像素子52の暗電流が増加した場合には、黒レベルが暗電流の影響でLaまで上昇する。このため、最暗の画素が若干明るく、例えば灰色などで液晶ディスプレイ20には表示され、また、最明の画素の輝度値は(a)の場合と同様にLmaxであるため、各画素の輝度の階調数が減少する。よって、液晶ディスプレイ20に表示される画像の画質が暗電流の影響で低下するという問題が発生する。
On the other hand, as shown by the solid line in FIG. 4B, when the temperature of the
本発明に係る撮像システムでは、図4(b)の実線に示すように、暗電流の増加により黒レベルが上昇した場合、図4(b)の破線に示すように、この上昇分を打ち消すように各画素の輝度値を補正するようにしてある。このとき、撮像装置50により撮像された画像データの各画素の輝度値をL’とし、補正後の各画素の輝度値をLとすると、以下の(1)式により補正を行うことができる。
In the imaging system according to the present invention, as shown by the solid line in FIG. 4B, when the black level increases due to the increase in dark current, the increase is canceled as shown by the broken line in FIG. In addition, the brightness value of each pixel is corrected. At this time, if the luminance value of each pixel of the image data captured by the
(1)式において、Lmaxは撮像システムのハードウェア及びソフトウェア等の構成に依存する定数であるため、画像データからLaを取得することによって、黒レベルの補正を行うことができる。Laは、暗電流の影響で上昇した最暗の画素の輝度値であるため、取得した画像データから最暗の画素を特定できれば(1)式による黒レベルの補正処理を行うことができる。なお、図4及び以上の説明においては、輝度値の最暗値を0とし、最明値を例えば255としているが、これとは反対に最暗値を例えば255とし、最明値を0としてもよく、この場合であっても上述と同じ理論により黒レベルの補正を行うことが可能である。 In Expression (1), Lmax is a constant that depends on the configuration of the hardware and software of the imaging system. Therefore, the black level can be corrected by acquiring La from the image data. Since La is the luminance value of the darkest pixel that has increased due to the influence of the dark current, if the darkest pixel can be identified from the acquired image data, the black level correction process according to the equation (1) can be performed. 4 and the above description, the darkest value of the luminance value is set to 0 and the brightest value is set to, for example, 255. On the contrary, the darkest value is set to, for example, 255 and the brightest value is set to 0. Even in this case, the black level can be corrected by the same theory as described above.
図5は、本発明に係る撮像システムの撮像装置50の外観を示す模式的斜視図である。撮像装置50は、略直方体形をなす筐体61と、筐体61の一面に突出して設けられた円筒状の鏡筒62とを備えている。筐体61内には、撮像素子52及びDSP55等が搭載された回路基板が収容してある。鏡筒62は、複数のレンズ65(図5には最外の1つのみ図示してある)を光軸をそろえて保持しており、これらの複数のレンズ65及び鏡筒62により光学系51を構成している。鏡筒62の突出端には開口63が形成してあり、開口63から入射した光を複数のレンズ65により撮像素子52に集光するようにしてある。開口63の縁部分には瞼状の遮光マスク64が設けてあり、入射する光の一部を遮光するようにしてある。遮光マスク64を設けることにより、入射する光の全体的な光量を抑えることができるため、撮像して取得した画像中に輝度が極端に高い部分、所謂白飛びの部分が生じることを防止することができる。
FIG. 5 is a schematic perspective view showing the appearance of the
図6は、撮像素子52への集光範囲を説明するための模式図である。撮像装置50の撮像素子52は縦横の比が略3:4の略長方形であるが、光学系51を構成する複数のレンズ65は略円形であるため、光学系51により撮像素子52に集光される光の集光領域70は略円形となり、集光領域70と撮像素子52の撮像面とが重なる領域が、外界を撮像することができる領域(以下、有効画素領域71という)である。これに対して、集光領域70と重ならない撮像素子52の4つの角部分近傍は、外部からの光が入射せず外界を撮像することができないため、所謂ケラレにより生じる無効な領域(以下、無効画素領域72という)である。また、撮像装置50は、図5に示すように鏡筒62に遮光マスク64が設けてあるため、遮光マスク64により遮光されて撮像素子52へ光が入射しない領域(以下、無効画素領域73という)が生じる。
FIG. 6 is a schematic diagram for explaining the light collection range on the
有効画素領域71及び無効画素領域72、73の形状及び大きさ等は、撮像装置50のレンズ65、遮光マスク64及び撮像素子52等の構成、配置又は形状等により決定されるものである。また、無効画素領域72、73には光が入射しないため、撮像素子52が撮像して取得した画像データにおいて、無効画素領域72、73に対応する画素が最暗の画素である。よって、無効画素領域72、72に対応する画素の画素値を上述の(1)式のLaとすることができ、黒レベルの補正処理を行うことができる。
The shapes and sizes of the
図7は、本発明に係る撮像システムのECU10が行う黒レベルの補正処理の手順を示すフローチャートである。黒レベルの補正処理では、まず、撮像装置50により車両1の外界の撮像を行って画像データを取得し(ステップS1)、取得した画像データから無効画素領域72、73に対応する画素を抽出して(ステップS2)、画素値(輝度値)を取得する。次いで、この画素値を基にLaを取得する(ステップS3)。このとき、無効画素領域72、73に複数の画素が含まれている場合、複数の画素値のうちの最暗のものをLaとすることができる。
FIG. 7 is a flowchart showing a procedure of black level correction processing performed by the
Laを取得した後、ステップS1にて取得した画像データから有効画素領域71に対応する画素を抽出して(ステップS4)、画素値を取得し、ステップS3にて取得したLa及び上述の(1)式を用いて画素値の補正を行う(ステップS5)。補正の終了後、画像データの有効画素領域71の全画素について補正の処理を終了したか否かを調べ(ステップS6)、全画素について処理が終了していない場合には(S6:NO)、ステップS4に戻り、ステップS4及びS5の処理を繰り返し行う。全画素について処理が終了した場合(S6:YES)、補正後の画像データを液晶ディスプレイ20に与えて画像を表示し(ステップS7)、補正処理を終了する。なお、ECU10は、撮像装置50にて撮像を行う毎に、取得した画像データに対してこの補正処理を行うようにしてある。
After acquiring La, a pixel corresponding to the
以上の構成の撮像システムにおいては、例えばケラレにより光学系51から撮像素子52への集光範囲外となる領域を無効画素領域72として黒レベルの基準とすることによって、撮像素子52にオプティカルブラック領域が設けられていない場合であっても、黒レベルを補正して高画質の画像を液晶ディスプレイ20に表示することができる。また、撮像装置50に遮光マスク64を設けた場合には、遮光マスク64によって遮光された領域を無効画素領域73として利用することができる。無効画素領域72、72の画素値を黒レベルの増加分(La)として(1)式を用いることにより、各画素の画素値を簡単に補正することができる。
In the imaging system having the above configuration, for example, an area outside the condensing range from the
なお、本実施の形態においては、車両1の後部に撮像装置50を搭載する構成としたが、これに限るものではなく、車両の前部又は左右側部等に撮像装置50を搭載する構成としてもよい。また、図5に示した撮像装置50の外観は一例であり、これに限るものではない。また、黒レベルの補正処理を(1)式により行う構成としたが、これに限るものではなく、その他の演算式を用いてもよく、補正前の画素値及び補正後の画素値を対応付けて記憶した補正テーブルなどを用いてもよい。また、撮像システムは、ネットワークケーブルで接続された撮像装置50、ECU10及び液晶ディスプレイ20を備える構成としたが、これに限るものではなく、以下の変形例に示すような他の構成であってもよい。
In the present embodiment, the
(変形例)
図8は、本発明の変形例に係る撮像システムの液晶ディスプレイ20aの構成を示すブロック図である。図3に示した撮像システムは、撮像装置50が撮像して取得した画像データに対してECU10が黒レベルの補正処理を行って液晶ディスプレイ20へ与える構成であるが、変形例に係る撮像システムは、撮像装置50が撮像して取得した画像データが液晶ディスプレイ20aに直接与えられ、液晶ディスプレイ20aが黒レベルの補正処理を行って画像を表示する構成である。即ち、液晶ディスプレイ20aは、図3に示したECU10及び液晶ディスプレイ20の機能を兼ね備える構成である。
(Modification)
FIG. 8 is a block diagram showing a configuration of the liquid crystal display 20a of the imaging system according to the modification of the present invention. The imaging system shown in FIG. 3 has a configuration in which the
よって、液晶ディスプレイ20aは、ECU10と略同じ機能を有するCPU11、ROM12、RAM13、操作部14、画像入力用I/F15、画像処理部16及び画像メモリ17を備えており、また、表示用のデバイスである液晶パネル22及びこれを駆動する液晶駆動部21を備えている。画像処理部16にて黒レベルの補正処理が行われた画像データは画像メモリ17に記憶され、この画像データをCPU11が画像メモリ17から読み出して液晶駆動部21へ与えることにより、液晶パネル22に画像を表示するようにしてある。このように、液晶ディスプレイ20aが黒レベルの補正処理を行う構成であっても、ECU10が補正処理を行って液晶ディスプレイ20に画像データを与える場合と同様の効果を得ることができる。
Therefore, the liquid crystal display 20a includes a
また、撮像装置50がECU10の機能を兼ね備えて、撮像して取得した画像の黒レベル処理を行った後で液晶ディスプレイ20に画像データを与える構成とすることもできる。この場合には、図示は省略するが、撮像装置50のDSP55に、図3又は図8に示す画像処理部16と略同じ機能を有する画像処理部を設け、この画像処理部が上述の黒レベルの補正処理を行う構成とすればよい。又は、DSP55のデジタル信号処理部56が上述の黒レベルの補正処理を行う構成としてもよい。
Further, the
1 車両
10 ECU(画像処理装置)
11 CPU
12 ROM
13 RAM
14 操作部
15 画像入力用I/F
16 画像処理部(補正手段)
17 画像メモリ
18 画像出力用I/F
20 液晶ディスプレイ
20a 液晶ディスプレイ(画像処理装置)
21 液晶駆動部
22 液晶パネル
50 撮像装置
51 光学系
52 撮像素子
53 利得制御部
54 A/D変換部
55 DSP
56 デジタル信号処理部
57 測光計算部
58 露光制御部
59 エンコーダ
61 筐体
62 鏡筒
63 開口
64 遮光マスク(遮光手段)
65 レンズ
71 有効画素領域
72、73 無効画素領域
1
11 CPU
12 ROM
13 RAM
14 Operation unit 15 I / F for image input
16 Image processing unit (correction means)
17 Image memory 18 I / F for image output
20 Liquid crystal display 20a Liquid crystal display (image processing device)
DESCRIPTION OF
56 Digital
65
Claims (4)
前記撮像素子は、
前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、
前記光学系の集光範囲外に設けられた画素よりなる無効画素領域と
を有し、
前記画像処理装置は、前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を有すること
を特徴とする撮像システム。 An image pickup device having an image pickup device in which a plurality of pixels are arranged in parallel, and an optical system for condensing light on the image pickup device, and an image that performs image processing on image data acquired by the image pickup device of the image pickup device In an imaging system comprising a processing device,
The image sensor is
An effective pixel region composed of pixels provided in the light collection range of the optical system;
An ineffective pixel area consisting of pixels provided outside the light collection range of the optical system,
The image processing apparatus corrects a pixel value of image data acquired by capturing an image in a pixel in the effective pixel region according to a pixel value of image data acquired by capturing in the pixel of the invalid pixel region. An imaging system comprising: means.
前記無効画素領域は、前記遮光手段により遮光された領域である請求項1又は請求項2に記載の撮像システム。 The imaging apparatus includes a light shielding unit that shields light incident on the optical system,
The imaging system according to claim 1, wherein the invalid pixel area is an area shielded by the light shielding unit.
前記撮像素子は、
前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、
前記光学系の集光範囲外に設けられた画素よりなる無効画素領域と
を有し、
前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を備えること
を特徴とする撮像装置。 In an imaging device including an imaging device in which a plurality of pixels are arranged in parallel and an optical system that focuses light onto the imaging device,
The image sensor is
An effective pixel region composed of pixels provided in the light collection range of the optical system;
An ineffective pixel area consisting of pixels provided outside the light collection range of the optical system,
A correction unit that corrects a pixel value of image data acquired and acquired by pixels in the effective pixel area according to a pixel value of image data acquired and acquired by pixels of the invalid pixel area; An imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006348085A JP2008160561A (en) | 2006-12-25 | 2006-12-25 | Imaging system and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006348085A JP2008160561A (en) | 2006-12-25 | 2006-12-25 | Imaging system and imaging apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008160561A true JP2008160561A (en) | 2008-07-10 |
Family
ID=39660961
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006348085A Pending JP2008160561A (en) | 2006-12-25 | 2006-12-25 | Imaging system and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008160561A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011064949A1 (en) * | 2009-11-26 | 2011-06-03 | パナソニック株式会社 | Image pickup apparatus and exposure control method |
JP2011123876A (en) * | 2009-11-12 | 2011-06-23 | Semiconductor Energy Lab Co Ltd | Semiconductor device |
US9158183B2 (en) | 2011-12-15 | 2015-10-13 | Fujitsu Limited | Stereoscopic image generating device and stereoscopic image generating method |
WO2016185699A1 (en) * | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | Infrared imaging device |
WO2016185700A1 (en) * | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | Infrared imaging device and signal correction method using infrared imaging device |
JP7472780B2 (en) | 2020-12-23 | 2024-04-23 | 株式会社デンソー | Image Processing Device |
-
2006
- 2006-12-25 JP JP2006348085A patent/JP2008160561A/en active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011123876A (en) * | 2009-11-12 | 2011-06-23 | Semiconductor Energy Lab Co Ltd | Semiconductor device |
JP2015029354A (en) * | 2009-11-12 | 2015-02-12 | 株式会社半導体エネルギー研究所 | Semiconductor device |
WO2011064949A1 (en) * | 2009-11-26 | 2011-06-03 | パナソニック株式会社 | Image pickup apparatus and exposure control method |
US9158183B2 (en) | 2011-12-15 | 2015-10-13 | Fujitsu Limited | Stereoscopic image generating device and stereoscopic image generating method |
WO2016185699A1 (en) * | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | Infrared imaging device |
WO2016185700A1 (en) * | 2015-05-21 | 2016-11-24 | 富士フイルム株式会社 | Infrared imaging device and signal correction method using infrared imaging device |
JP6275333B2 (en) * | 2015-05-21 | 2018-02-07 | 富士フイルム株式会社 | Infrared imaging device and signal correction method using infrared imaging device |
US10419696B2 (en) | 2015-05-21 | 2019-09-17 | Fujifilm Corporation | Infrared imaging device and signal correction method using infrared imaging device |
JP7472780B2 (en) | 2020-12-23 | 2024-04-23 | 株式会社デンソー | Image Processing Device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10979654B2 (en) | Image signal processing method and system | |
JP5616442B2 (en) | Imaging apparatus and image processing method | |
JP4210021B2 (en) | Image signal processing apparatus and image signal processing method | |
US10630920B2 (en) | Image processing apparatus | |
US20120033080A1 (en) | Monitoring apparatus | |
JP4682181B2 (en) | Imaging apparatus and electronic information device | |
JP2008160561A (en) | Imaging system and imaging apparatus | |
US20100245590A1 (en) | Camera sensor system self-calibration | |
JP2012222374A (en) | On-vehicle camera system | |
JP2007174032A (en) | Imaging device | |
JP2012010282A (en) | Imaging device, exposure control method, and exposure control program | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP4260003B2 (en) | Electronic camera | |
JP2009055415A (en) | Camera | |
WO2017130281A1 (en) | Image processing device, image processing method, and program | |
JP2003324748A (en) | Television camera | |
JP4993275B2 (en) | Image processing device | |
JP4514138B2 (en) | Method for driving solid-state imaging device and digital camera | |
WO2018020687A1 (en) | Image processing device, image processing method and program | |
JP2006157341A (en) | Smear correcting method and signal processor for solid-state imaging device, and imaging apparatus | |
JP2014011635A (en) | Image pickup device and control method and program thereof | |
JP2009171493A (en) | Nonsmooth connection correcting method, nonsmooth connection correcting apparatus, and digital camera | |
JP5509937B2 (en) | Imaging device | |
JP4964830B2 (en) | Omnidirectional imaging apparatus and omnidirectional image imaging control method | |
JP2008028486A (en) | Imaging apparatus, and clamp method thereof |