JP2008160561A - Imaging system and imaging apparatus - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To provide an imaging system and an imaging apparatus capable of performing black level correction using only image data obtained by imaging, even when an optical black region is not provided to an imager or correction by optical black is inadequate. <P>SOLUTION: An imaging region of an imager mounted on an imaging apparatus 50 is divided into an effective pixel region consisting of picture elements within a light concentrating range by an optical system composed of a lens or the like and an ineffective pixel region consisting of picture elements outside the light concentrating range. A pixel value of each picture element in the effective pixel region is corrected with a pixel value of each picture element in the ineffective region as a reference value of the black level. The ineffective pixel region uses a region without incident light due to any obstacle or a region without incident light due to a shading mask provided by covering a lens, or the like. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、撮像して得られる画像の画質が温度上昇に伴って低下することを防止できる撮像システム及び撮像装置に関する。   The present invention relates to an imaging system and an imaging apparatus that can prevent the image quality of an image obtained by imaging from being lowered as the temperature rises.

従来、ＣＣＤ又はＣＭＯＳ等の撮像素子を用いて動画又は静止画等の撮像を行う撮像装置が普及している。また、近年においては、車両のバンパー近傍又はドアミラー内等に小型の撮像装置を搭載し、撮像装置が撮像して取得した車両周辺の画像を車両内の運転席近傍に配設されたディスプレイに表示することによって、運転者の運転を補助するシステムが実用化されている。このシステムでは、例えば車両が幅の狭い道路を走行する場合又は駐車場に車両を駐車する場合等に、車両の運転席から死角となる部分を撮像装置により撮像してディスプレイに表示することができる。   2. Description of the Related Art Conventionally, imaging apparatuses that capture an image such as a moving image or a still image using an imaging element such as a CCD or a CMOS have been widely used. In recent years, a small imaging device is mounted near the bumper of a vehicle or in a door mirror, etc., and an image around the vehicle acquired by the imaging device is displayed on a display arranged in the vicinity of the driver's seat in the vehicle. Thus, a system for assisting the driving of the driver has been put into practical use. In this system, for example, when the vehicle travels on a narrow road or when the vehicle is parked in a parking lot, a portion that becomes a blind spot from the driver's seat of the vehicle can be imaged by the imaging device and displayed on the display. .

撮像素子は、受光した光に応じた電荷を蓄積するフォトダイオードなどの受光素子がマトリクス状に並設されたものであり、各受光素子が蓄積した電荷の量をＡ／Ｄ変換により取得することによって画像データを取得することができる。しかし、受光素子にて蓄積される電荷の量は周囲の温度変化に応じて増減するため、温度変化により撮像した画像データの明度及び色彩等が変化するという問題がある。特に、温度が上昇した場合に画像データの黒レベルが上昇し、黒色部分が灰色などの若干明るい色に変化するという問題があった。この問題に対して従来の撮像装置では、撮像素子の撮像面に並設された複数の受光素子のうち、中央の略矩形の範囲内に並設された画素による画素領域を有効画素領域とし、有効画素領域の周辺には受光素子を遮光膜で覆って遮光したオプティカルブラック領域を設け、オプティカルブラック領域の受光素子の出力を黒レベルの基準値として有効画素領域の出力を補正することが行われている。   The image sensor is a light-receiving element such as a photodiode that accumulates charges according to received light, arranged in a matrix, and acquires the amount of charge accumulated by each light-receiving element by A / D conversion. With this, image data can be acquired. However, since the amount of electric charge accumulated in the light receiving element increases or decreases according to the ambient temperature change, there is a problem that the brightness, color, and the like of the image data captured due to the temperature change change. In particular, when the temperature rises, there is a problem that the black level of the image data rises and the black portion changes to a slightly bright color such as gray. With respect to this problem, in a conventional imaging device, among a plurality of light receiving elements arranged in parallel on the imaging surface of the imaging element, a pixel area formed by pixels arranged in a substantially rectangular range at the center is set as an effective pixel area, An optical black area is provided around the effective pixel area by covering the light receiving element with a light shielding film and shielding the light, and the output of the effective pixel area is corrected using the output of the light receiving element in the optical black area as a black level reference value. ing.

特許文献１においては、映像信号の輝度成分を検出して、黒レベルが高い場合には黒伸張動作を強め、逆に黒レベルが低い場合には黒伸張動作を抑圧し、また、白レベルが高い場合にはコントラストを下げ、逆に白レベルが低い場合にはコントラストを上げることにより、テレビ受像機の映像信号の輝度バランスを補正する自動映像信号補正回路が提案されている。この自動映像信号補正回路をテレビ受像機に搭載することによって、最適な輝度バランスに補正された映像をテレビ受像機が表示することができる。
特開平８−２７５０８５号公報 In Patent Document 1, a luminance component of a video signal is detected. When the black level is high, the black stretching operation is strengthened. Conversely, when the black level is low, the black stretching operation is suppressed, and the white level is reduced. There has been proposed an automatic video signal correction circuit that corrects the luminance balance of the video signal of the television receiver by lowering the contrast when it is high and increasing the contrast when the white level is low. By mounting this automatic video signal correction circuit on a television receiver, the television receiver can display an image corrected to an optimum luminance balance.
JP-A-8-275085

しかしながら、従来の撮像装置においては、温度が過度に上昇した場合に、オプティカルブラック領域を利用して補正できる限度を超えて画像データの黒レベルが上昇する虞が合った。また、低価格の撮像素子では、オプティカルブラック領域を設けておらず上述の補正を行うことができないか、又は、補正が十分でない場合がある。   However, in the conventional imaging apparatus, when the temperature rises excessively, there is a possibility that the black level of the image data increases beyond the limit that can be corrected using the optical black region. In addition, in an inexpensive image sensor, there is a case where the optical black region is not provided and the above correction cannot be performed, or the correction is not sufficient.

また、特許文献１に記載の自動映像信号補正回路は、映像信号として全体的に明るい輝度信号が入力された場合には暗い部分及び中間輝度部分を暗く補正し、全体的に暗い輝度信号が入力された場合にはこれと逆の補正を行って、見やすい映像をテレビジョン装置に表示することを目的としている。よって、上述のような撮像素子の温度変化に伴って画像データの明度及び色彩等の変化するという問題を解決するものではない。。   The automatic video signal correction circuit described in Patent Document 1 corrects dark portions and intermediate luminance portions to dark when an overall bright luminance signal is input as a video signal, and inputs an overall dark luminance signal. In such a case, the reverse correction is performed to display an easy-to-view video on the television device. Therefore, it does not solve the problem that the brightness, color, and the like of the image data change as the temperature of the image sensor changes as described above. .

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、撮像装置が撮像した画像データを画像処理装置が取得し、複数のレンズなどで構成された光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、光学系の集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて画像処理装置が補正する構成とすることにより、撮像素子にオプティカルブラック領域が設けられていない場合であっても、撮像して得られた画像データのみで黒レベルの補正を行うことができる撮像システムを提供することにある。   The present invention has been made in view of such circumstances, and an object of the present invention is to obtain image data captured by an image capturing apparatus using an image processing apparatus and an optical system including a plurality of lenses. The pixel value acquired in the effective pixel area consisting of the pixels provided in the light collection range to the image sensor is changed to the pixel value acquired in the invalid pixel area consisting of the pixels provided outside the light collection range of the optical system. By adopting a configuration in which the image processing apparatus corrects accordingly, the black level can be corrected only by image data obtained by imaging even when the optical black region is not provided in the imaging device. To provide an imaging system.

また本発明の他の目的とするところは、画素値の最暗値と無効画素領域から取得した画素値との差分を求め、この差分を打ち消すように有効画素領域から取得した画素値の補正を行う構成とすることにより、画像データの黒レベルの補正を簡単に行うことができる撮像システムを提供することにある。   Another object of the present invention is to obtain a difference between the darkest pixel value and the pixel value acquired from the invalid pixel area, and to correct the pixel value acquired from the effective pixel area so as to cancel the difference. An object of the present invention is to provide an imaging system capable of easily correcting the black level of image data by adopting a configuration to perform the above.

また本発明の他の目的とするところは、撮像装置が光学系へ入射する光を遮光する遮光手段を有する場合に、この遮光手段により遮光された撮像素子の領域を無効画素領域として利用する構成とすることにより、無効画素領域による画素値を確実に取得して補正を行うことができる撮像システムを提供することにある。   Another object of the present invention is to use an area of the image sensor that is shielded by the light shielding means as an invalid pixel area when the imaging apparatus has a light shielding means for shielding light incident on the optical system. Accordingly, an object of the present invention is to provide an imaging system that can reliably acquire and correct pixel values of invalid pixel areas.

また本発明の他の目的とするところは、複数のレンズなどで構成された光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、光学系の集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて画像処理装置が補正する構成とすることにより、撮像素子にオプティカルブラック領域が設けられていない場合であっても、撮像して得られた画像データのみで黒レベルの補正を行うことができる撮像装置を提供することにある。   Another object of the present invention is to provide a pixel value acquired in an effective pixel region composed of pixels provided in a light collection range from an optical system including a plurality of lenses to an image sensor. In the case where the optical black area is not provided in the image sensor by adopting a configuration in which the image processing device corrects the pixel value acquired in the invalid pixel area including the pixels provided outside the light collection range of the system. Even if it exists, it is providing the imaging device which can correct | amend a black level only with the image data obtained by imaging.

第１発明に係る撮像システムは、複数の画素が並設された撮像素子、及び該撮像素子へ光を集光する光学系を有する撮像装置と、該撮像装置の前記撮像素子が撮像して取得した画像データに画像処理を施す画像処理装置とを備える撮像システムにおいて、前記撮像素子は、前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、前記光学系の集光範囲外に設けられた画素よりなる無効画素領域とを有し、前記画像処理装置は、前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を有することを特徴とする。   An image pickup system according to a first aspect of the present invention is an image pickup device having an image pickup element in which a plurality of pixels are arranged in parallel, an optical system that collects light on the image pickup element, and the image pickup element of the image pickup device picks up an image. In the imaging system including the image processing apparatus that performs image processing on the image data, the imaging element includes an effective pixel area including pixels provided in the light collection range of the optical system, and a light collection range of the optical system. An invalid pixel area formed of pixels provided outside, and the image processing device includes a pixel in the effective pixel area according to a pixel value of image data obtained by capturing an image in the pixel in the invalid pixel area. It has a correction means which corrects the pixel value of the image data acquired by imaging at 1.

本発明においては、撮像装置に搭載された撮像素子の撮像領域を、レンズなどで構成された光学系による集光範囲内の画素よりなる有効画素領域と、集光範囲外の画素よりなる無効画素領域とに分類する。例えば、無効画素領域として、所謂ケラレにより撮像素子の周縁部分に生じる光の入射しない領域を利用することができる。無効画素領域は光が入射しない領域であり、撮像素子中で最も暗い画素値が取得できるため、無効画素領域で取得された画素値を画像データ中の黒色の部分と推定することができる。よって、画像処理装置は、有効画素領域及び無効画素領域の両領域から画素値を取得し、無効画素領域の画素値を黒色として有効画素領域の画素値を補正することができる。補正を行うために撮像素子にオプティカルブラック領域を設ける必要がなく、撮像装置が撮像して取得した画像データのみから画像処理装置が補正を行うことができる。   In the present invention, the imaging area of the imaging device mounted on the imaging device is divided into an effective pixel area made up of pixels within a light collection range and an invalid pixel made up of pixels outside the light collection range. Categorize into areas. For example, as the ineffective pixel region, a region where light incident on the peripheral portion of the image sensor due to so-called vignetting can be used. The invalid pixel region is a region where no light is incident, and since the darkest pixel value in the image sensor can be acquired, the pixel value acquired in the invalid pixel region can be estimated as a black portion in the image data. Therefore, the image processing apparatus can acquire pixel values from both the effective pixel area and the invalid pixel area, and can correct the pixel value of the effective pixel area by setting the pixel value of the invalid pixel area to black. There is no need to provide an optical black area in the image sensor to perform the correction, and the image processing apparatus can perform correction only from image data acquired by the imaging apparatus.

また、第２発明に係る撮像システムは、前記補正手段が、画素値の最暗値と前記無効画素領域に係る画素値との差分を基に、該差分を打ち消すように前記有効画素領域に係る画素値を補正するようにしてあることを特徴とする。   Further, in the imaging system according to the second invention, the correction unit relates to the effective pixel region so as to cancel the difference based on the difference between the darkest pixel value and the pixel value related to the invalid pixel region. The pixel value is corrected.

本発明においては、画素値の最暗値、即ち黒レベルの基準となる値と、撮像素子の無効画素領域から取得した画素値とを比較し、差分を算出する。算出された差分が温度上昇に伴う黒レベルの上昇分であり、この上昇分を打ち消すように有効画素領域から取得した画素値を補正する。画素値の補正は、算出された差分に応じて決定される算出式に有効画素領域から取得した画素値を代入することによって行うことができ、画素毎に行うことができるため、処理が簡単である。   In the present invention, the darkest value of the pixel value, that is, the value serving as a reference for the black level is compared with the pixel value acquired from the invalid pixel area of the image sensor, and the difference is calculated. The calculated difference is an increase in the black level accompanying the temperature increase, and the pixel value acquired from the effective pixel region is corrected so as to cancel the increase. The correction of the pixel value can be performed by substituting the pixel value acquired from the effective pixel region into the calculation formula determined according to the calculated difference, and can be performed for each pixel, so the process is simple. is there.

また、第３発明に係る撮像システムは、前記撮像装置が、前記光学系へ入射する光を遮光する遮光手段を有し、前記無効画素領域は、前記遮光手段により遮光された領域であることを特徴とする。   In the imaging system according to a third aspect of the present invention, the imaging apparatus includes a light shielding unit that shields light incident on the optical system, and the invalid pixel region is a region shielded by the light shielding unit. Features.

本発明においては、撮像装置に光学系へ入射する光を遮光する遮光手段、例えばレンズの一部を覆うカバーなどの部材を設ける。これらの部材は、例えば車両に搭載する撮像装置において余分な光を遮断するための設けられるものであり、ケラレにより撮像素子の周縁部分に生じる光の入射しない領域を利用することができない場合であっても、これらの部材により遮光される領域を無効画素領域として利用することができるため、上述の補正を行うことができる。   In the present invention, the imaging apparatus is provided with a light shielding means for shielding light incident on the optical system, for example, a member such as a cover that covers a part of the lens. These members are provided, for example, in an imaging apparatus mounted on a vehicle to block excess light, and it is a case where it is not possible to use an area where light does not enter due to vignetting in the peripheral portion of the imaging element. However, since the area shielded by these members can be used as the invalid pixel area, the above-described correction can be performed.

また、第４発明に係る撮像装置は、複数の画素が並設された撮像素子と、該撮像素子へ光を集光する光学系とを備える撮像装置において、前記撮像素子は、前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、前記光学系の集光範囲外に設けられた画素よりなる無効画素領域とを有し、前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を備えることを特徴とする。   According to a fourth aspect of the present invention, there is provided an imaging apparatus comprising: an imaging element in which a plurality of pixels are arranged in parallel; and an optical system that collects light on the imaging element. It has an effective pixel area consisting of pixels provided within the condensing range, and an invalid pixel area consisting of pixels provided outside the condensing range of the optical system, and images are taken by the pixels in the invalid pixel area. The image processing apparatus includes a correcting unit that corrects the pixel value of the image data acquired by imaging with the pixels in the effective pixel area according to the pixel value of the acquired image data.

本発明においては、撮像素子の撮像領域を、レンズなどで構成された光学系による集光範囲内の画素よりなる有効画素領域と、集光範囲外の画素よりなる無効画素領域とに分類する。無効画素領域は光が入射しない領域であり、撮像素子中で最も暗い画素値が取得できるため、無効画素領域で取得された画素値を画像データ中の黒色の部分と推定することができる。よって、有効画素領域及び無効画素領域の両領域から画素値を取得し、無効画素領域の画素値を黒色として有効画素領域の画素値を補正することができるため、撮像素子にオプティカルブラック領域を設けることなく補正を行うことができる。   In the present invention, the image pickup area of the image pickup device is classified into an effective pixel area made up of pixels within a light collection range and an invalid pixel area made up of pixels outside the light collection range. The invalid pixel region is a region where no light is incident, and since the darkest pixel value in the image sensor can be acquired, the pixel value acquired in the invalid pixel region can be estimated as a black portion in the image data. Therefore, the pixel value is obtained from both the effective pixel region and the invalid pixel region, and the pixel value of the effective pixel region can be corrected by setting the pixel value of the invalid pixel region to black. Therefore, an optical black region is provided in the image sensor. Correction can be performed without any problem.

第１発明による場合は、光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて画像処理装置が補正する構成とすることにより、撮像して得られた画像データのみで黒レベルの補正を行うことができ、撮像素子にオプティカルブラック領域を設ける必要がないため、撮像装置を低コスト化することができ、安価な撮像システムであっても温度変化に伴う画質の悪化を低減することができる。   In the case of the first aspect of the invention, the pixel value acquired in the effective pixel area composed of the pixels provided in the light condensing range from the optical system to the image sensor is used as the invalid pixel area composed of the pixels provided outside the light condensing range With the configuration in which the image processing apparatus corrects the pixel value according to the pixel value acquired in step 1, the black level can be corrected using only the image data obtained by imaging, and it is necessary to provide an optical black area in the image sensor. Therefore, it is possible to reduce the cost of the imaging apparatus, and it is possible to reduce deterioration in image quality due to temperature change even with an inexpensive imaging system.

また、第２発明による場合は、画素値の最暗値と無効画素領域から取得した画素値との差分を算出し、この差分を打ち消すように有効画素領域から取得した画素値の補正を行う構成とすることにより、温度上昇に伴う黒レベルの上昇を打ち消すことができるため、安価な撮像システムであっても温度変化に伴う画質の悪化を確実に低減することができる。   In the case of the second invention, the difference between the darkest pixel value and the pixel value acquired from the invalid pixel area is calculated, and the pixel value acquired from the effective pixel area is corrected so as to cancel the difference. By doing so, it is possible to cancel the increase in the black level due to the temperature rise, and it is possible to reliably reduce the deterioration of the image quality due to the temperature change even in an inexpensive imaging system.

また、第３発明による場合は、撮像装置に光学系へ入射する光を遮光する遮光手段を設け、遮光手段により遮光された撮像素子の領域を無効画素領域として利用する構成とすることにより、撮像素子に無効画素領域を確実に設けることができ、無効画素領域による画素値を確実に取得して補正を行うことができるため、安価な撮像システムであっても温度変化に伴う画質の悪化をより確実に低減することができる。   According to the third aspect of the invention, the image pickup apparatus is provided with a light blocking unit that blocks light incident on the optical system, and an image pickup device area shielded by the light blocking unit is used as an invalid pixel area. An invalid pixel area can be reliably provided in the element, and a pixel value by the invalid pixel area can be reliably acquired and corrected, so that even an inexpensive imaging system can further degrade image quality due to temperature changes. It can be surely reduced.

また、第４発明による場合は、光学系から撮像素子への集光範囲内に設けられた画素よりなる有効画素領域にて取得した画素値を、集光範囲外に設けられた画素よりなる無効画素領域にて取得した画素値に応じて補正する構成とすることにより、撮像して得られた画像データのみで黒レベルの補正を行うことができ、撮像素子にオプティカルブラック領域を設ける必要がないため、撮像装置を低コスト化することができ、温度変化に伴う画質の悪化を低減することができる。   Further, in the case of the fourth invention, the pixel value acquired in the effective pixel area composed of the pixels provided in the condensing range from the optical system to the image sensor is invalidated from the pixels provided outside the condensing range. By adopting a configuration in which correction is performed according to the pixel value acquired in the pixel area, the black level can be corrected only by image data obtained by imaging, and there is no need to provide an optical black area in the imaging element. Therefore, the cost of the imaging apparatus can be reduced, and deterioration in image quality due to temperature change can be reduced.

以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る撮像システムの構成を示す模式図である。図において１は車両であり、車両１には、後部のバンパー又はナンバープレート等の近傍に、車両１の後方を撮像する小型の撮像装置５０が搭載してあり、車両１の運転席近傍、例えばダッシュボードなどには液晶ディスプレイ２０が配設してある。撮像装置５０が撮像して取得した画像に係る画像データは、車両１の内部に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１０に与えられ、ＥＣＵ１０にて種々の画像処理が施された後に液晶ディスプレイ２０に与えられて、液晶ディスプレイ２０に画像が表示されるようにしてある。撮像装置５０及びＥＣＵ１０と、ＥＣＵ１０及び液晶ディスプレイ２０とは、それぞれネットワークケーブルなどにより接続してある。   Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof. FIG. 1 is a schematic diagram showing a configuration of an imaging system according to the present invention. In the figure, reference numeral 1 denotes a vehicle. The vehicle 1 is mounted with a small imaging device 50 that images the rear of the vehicle 1 in the vicinity of a rear bumper, a license plate, or the like. A liquid crystal display 20 is disposed on a dashboard or the like. Image data relating to an image captured and acquired by the imaging device 50 is given to an ECU (Electronic Control Unit) 10 mounted in the vehicle 1, and after various image processing is performed by the ECU 10, the liquid crystal display 20. Thus, an image is displayed on the liquid crystal display 20. The imaging device 50 and the ECU 10 are connected to the ECU 10 and the liquid crystal display 20 by a network cable or the like, respectively.

図２は、本発明に係る撮像システムの撮像装置５０の構成を示すブロック図であり、撮像装置５０により撮像された画像に係る画像データの流れを実線で示し、制御信号又はその他のデータの流れを破線の矢印で示してある。撮像装置５０は、画角の広い広角レンズ又は魚眼レンズ等のレンズなどの一又は複数の光学素子で構成された光学系５１と、光学系５１により集光された光を検知することにより１秒間に３０回程度の頻度で撮像を行い、光に応じたアナログの電気信号を出力するＣＣＤ又はＣＭＯＳ等の撮像素子５２とを備えている。撮像素子５２が出力するアナログの電気信号は利得制御部５３へ与えられ、利得制御部５３は、後述のＤＳＰ５５の測光計算部５７から与えられる情報に基づいて、撮像素子５２から与えられた電気信号を適宜の増幅率で増幅して出力するようにしてある。利得制御部５３にて増幅された電気信号は、Ａ／Ｄ変換部５４へ与えられ、Ａ／Ｄ変換部５４は与えられたアナログの電気信号をデジタルの電気信号（画像データ）に変換して出力するようにしてある。   FIG. 2 is a block diagram illustrating the configuration of the imaging device 50 of the imaging system according to the present invention. The flow of image data relating to the image captured by the imaging device 50 is indicated by a solid line, and the flow of control signals or other data is illustrated. Is indicated by a dashed arrow. The imaging device 50 detects an optical system 51 including one or a plurality of optical elements such as a wide-angle lens having a wide angle of view or a fisheye lens, and light collected by the optical system 51 in one second. An imaging device 52 such as a CCD or a CMOS that captures images with a frequency of about 30 times and outputs an analog electrical signal corresponding to the light is provided. An analog electric signal output from the image pickup device 52 is supplied to the gain control unit 53, and the gain control unit 53 receives the electric signal supplied from the image pickup device 52 based on information supplied from a photometry calculation unit 57 of the DSP 55 described later. Are amplified at an appropriate amplification factor and output. The electric signal amplified by the gain control unit 53 is given to the A / D conversion unit 54. The A / D conversion unit 54 converts the given analog electric signal into a digital electric signal (image data). It is designed to output.

Ａ／Ｄ変換部５４が出力したデジタルの電気信号は、ＤＳＰ５５へ与えられる。ＤＳＰ５５は、デジタル信号処理部５６及び測光計算部５７等を有している。デジタル信号処理部５６は、Ａ／Ｄ変換部５４から与えられたデジタルの電気信号に対して、画素補間、ホワイトバランス調整、彩度調整及びノイズ除去等の種々の信号処理を行うものであり、信号処理後のデータをエンコーダ５９へ与えるようにしてある。測光計算部５７は、デジタル信号処理部５６により信号処理されたデジタルの電気信号を基に、撮像素子５２により撮像された画像の所定領域、例えば画像の中心領域などの輝度と、画像全体の輝度とを計算し、撮像素子５２により撮像される画像の輝度が予め定められた輝度範囲内となるように利得制御部５３及び露光制御部５８へ制御情報を与えるようにしてある。露光制御部５８は、測光計算部５７から与えられる制御情報に基づいて、撮像素子５２の露光時間を制御するようにしてある。   The digital electric signal output from the A / D converter 54 is given to the DSP 55. The DSP 55 includes a digital signal processing unit 56, a photometric calculation unit 57, and the like. The digital signal processing unit 56 performs various signal processing such as pixel interpolation, white balance adjustment, saturation adjustment, and noise removal on the digital electrical signal given from the A / D conversion unit 54, The data after the signal processing is supplied to the encoder 59. The photometry calculation unit 57, based on the digital electrical signal signal-processed by the digital signal processing unit 56, the brightness of a predetermined area of the image captured by the image sensor 52, for example, the central area of the image, and the brightness of the entire image And the control information is given to the gain control unit 53 and the exposure control unit 58 so that the luminance of the image captured by the image sensor 52 is within a predetermined luminance range. The exposure control unit 58 controls the exposure time of the image sensor 52 based on the control information given from the photometry calculation unit 57.

エンコーダ５９は、ＤＳＰ５５のデジタル信号処理部５６から与えられたデジタルの電気信号を、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式の信号に符号化して出力するものである。なお、ＮＴＳＣ方式とは、テレビジョン装置に出力するための映像信号に係る方式であり、エンコーダ５９により符号化されたデジタルの電気信号は、車両１のＥＣＵ１０へ与えられるようにしてある。   The encoder 59 encodes a digital electric signal given from the digital signal processing unit 56 of the DSP 55 into a signal of NTSC (National Television Standards Committee) system and outputs the signal. The NTSC system is a system related to a video signal to be output to a television apparatus, and a digital electrical signal encoded by the encoder 59 is provided to the ECU 10 of the vehicle 1.

図３は、本発明に係る撮像システムのＥＣＵ１０の構成を示すブロック図である。ＥＣＵ１０は、撮像装置５０から与えられた画像データに対して黒レベルの補正を行う画像処理を主として行うものであり、更には画像データに対して拡大、縮小又は視点変換等の種々の画像処理を行うことができ、画像処理後の画像データを液晶ディスプレイ２０へ与えて表示を行わせるようにしてある。ＥＣＵ１０は、各種の演算及びＥＣＵ１０内の各部の制御等を行うためのＣＰＵ１１と、ＣＰＵ１１の動作に必要なプログラム及びデータ等を記憶するＲＯＭ１２及びＲＡＭ１３と、ユーザからの操作を受け付ける操作部１４と、撮像装置５０を接続するための画像入力用Ｉ／Ｆ（インタフェース）１５と、上述の画像処理を行う画像処理部１６と、画像データを記憶するための画像メモリ１７と、液晶ディスプレイ２０を接続するための画像出力用Ｉ／Ｆ１８とを備えている。   FIG. 3 is a block diagram showing a configuration of the ECU 10 of the imaging system according to the present invention. The ECU 10 mainly performs image processing for correcting the black level on the image data given from the imaging device 50, and further performs various image processing such as enlargement, reduction, or viewpoint conversion on the image data. The image data after image processing can be provided to the liquid crystal display 20 for display. The ECU 10 includes a CPU 11 for performing various calculations and controlling each unit in the ECU 10, a ROM 12 and a RAM 13 for storing programs and data necessary for the operation of the CPU 11, an operation unit 14 for receiving operations from a user, An image input I / F (interface) 15 for connecting the imaging device 50, an image processing unit 16 for performing the above-described image processing, an image memory 17 for storing image data, and a liquid crystal display 20 are connected. Image output I / F 18 for this purpose.

ＲＯＭ１２は、マスクＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリ等の不揮発性のメモリ素子により構成してあり、ＣＰＵ１１にて実行されるプログラム及び実行に必要なデータ等が予め記憶してある。ＣＰＵ１１は、ＥＣＵ１０の電源投入後にＲＯＭ１２からプログラム及びデータを読み出して実行し、処理を開始するようにしてある。ＲＡＭ１３は、ＳＲＡＭ又はＤＲＡＭ等の書き換え可能なメモリ素子により構成してあり、ＣＰＵ１１が演算処理又は制御処理等を行う際に生じる一時的なデータを記憶するようにしてある。操作部１４は、複数のボタン又はスイッチ等により構成されており、ユーザがボタン又はスイッチ等を操作することにより撮像システムに指示を与えて所望の処理を行わせることができるようにしてある。操作部１４はユーザの操作を受け付けた場合に、受け付けた操作内容をＣＰＵ１１へ通知するようにしてある。   The ROM 12 is configured by a non-volatile memory element such as a mask ROM, EEPROM, or flash memory, and stores a program executed by the CPU 11, data necessary for execution, and the like in advance. The CPU 11 reads out and executes a program and data from the ROM 12 after the ECU 10 is turned on, and starts processing. The RAM 13 is composed of a rewritable memory element such as SRAM or DRAM, and stores temporary data generated when the CPU 11 performs arithmetic processing or control processing. The operation unit 14 includes a plurality of buttons, switches, and the like. A user operates the buttons, switches, and the like to give instructions to the imaging system to perform desired processing. When the operation unit 14 receives a user operation, the operation unit 14 notifies the CPU 11 of the received operation content.

画像入力用Ｉ／Ｆ１５は、ネットワークケーブルなどの通信線を接続するためのコネクタを有しており、撮像装置５０を通信線を介して接続することができるようにしてある。撮像装置５０は撮像して取得した画像データを通信線を介してＥＣＵ１０へ送信し、ＥＣＵ１０の画像入力用Ｉ／Ｆ１５にて受信された画像データは画像メモリ１７に記憶されるようにしてある。画像処理部１６は、ＣＰＵ１１から与えられる命令に応じて、画像データに対する黒レベルの補正処理（詳細は後述する）を行うと共に、画像データに拡大、縮小又は視点変換等の種々の画像処理を行うものである。画像処理部１６は、撮像装置５０から送信されて画像メモリ１７に記憶された画像データを読み出し、画像処理を行って処理後の画像データを画像メモリ１７に記憶するようにしてある。画像メモリ１７は、撮像装置５０から送信された画像データを記憶すると共に、画像処理部１６にて画像処理された画像データを記憶するものであり、大容量のＳＲＡＭ又はＤＲＡＭ等で構成してある。画像出力用Ｉ／Ｆ１８は、通信線を接続するためのコネクタを有しており、液晶ディスプレイ２０を通信線を介して接続することができるようにしてある。ＣＰＵ１１は、画像処理部１６にて画像処理された画像データを画像メモリ１７から読み出して画像出力用Ｉ／Ｆ１８へ与え、通信線を介して画像データを液晶ディスプレイ２０へ送信し、液晶ディスプレイに画像の表示を行わせるようにしてある。   The image input I / F 15 has a connector for connecting a communication line such as a network cable so that the imaging apparatus 50 can be connected via the communication line. The imaging device 50 transmits image data acquired by imaging to the ECU 10 via a communication line, and the image data received by the image input I / F 15 of the ECU 10 is stored in the image memory 17. The image processing unit 16 performs black level correction processing (details will be described later) on the image data in accordance with a command given from the CPU 11 and performs various image processing such as enlargement, reduction, or viewpoint conversion on the image data. Is. The image processing unit 16 reads image data transmitted from the imaging device 50 and stored in the image memory 17, performs image processing, and stores the processed image data in the image memory 17. The image memory 17 stores the image data transmitted from the imaging device 50 and also stores the image data image-processed by the image processing unit 16 and is configured by a large capacity SRAM or DRAM. . The image output I / F 18 has a connector for connecting a communication line so that the liquid crystal display 20 can be connected via the communication line. The CPU 11 reads out the image data image-processed by the image processing unit 16 from the image memory 17 and gives it to the I / F 18 for image output, transmits the image data to the liquid crystal display 20 via the communication line, and displays the image data on the liquid crystal display. Is displayed.

図４は、黒レベルの補正処理を説明するための模式図であり、（ａ）に黒レベルの上昇が発生していない状態、即ち正常状態を図示し、（ｂ）に黒レベルの上昇が発生した状態、即ち黒レベルの補正処理を行う必要がある状態を図示してある。（ａ）及び（ｂ）にそれぞれ示したグラフは、横軸に画像データを構成する各画素の並びを示してあり、縦軸に各画素の輝度値（画素値）を示してある。また、図示の例では、輝度が最暗の画素から最明の画素までの複数の画素が徐々に輝度を増すように並べられている場合を示してある。   FIG. 4 is a schematic diagram for explaining the black level correction processing. FIG. 4A shows a state where the black level does not increase, that is, a normal state, and FIG. 4B shows the black level increase. The state where it occurs, that is, the state where black level correction processing needs to be performed is shown. In the graphs shown in (a) and (b), the horizontal axis shows the arrangement of each pixel constituting the image data, and the vertical axis shows the luminance value (pixel value) of each pixel. In the illustrated example, a plurality of pixels from the darkest pixel to the brightest pixel are arranged so as to gradually increase the luminance.

図４（ａ）に示すように、撮像装置５０の撮像素子５２又はこの近傍の温度が高温ではなく、撮像素子５２の暗電流が増加することなく正常に動作している場合、撮像により取得した画像データ中の最暗の画素の輝度値（黒レベル）は”０（最暗値）”であり、最明の画素の輝度値はＬｍａｘである。例えば、各画素の輝度が８ビットの情報量を有している場合、Ｌｍａｘ＝２５５であり、各画素の輝度は２５６階調で表すことができる。   As shown in FIG. 4A, when the image pickup device 52 of the image pickup device 50 or the temperature in the vicinity thereof is not high, and the image pickup device 52 is operating normally without increasing the dark current, it is acquired by image pickup. The brightness value (black level) of the darkest pixel in the image data is “0 (darkest value)”, and the brightness value of the brightest pixel is Lmax. For example, when the luminance of each pixel has an 8-bit information amount, Lmax = 255, and the luminance of each pixel can be expressed by 256 gradations.

これに対して、図４（ｂ）の実線に示すように、撮像素子５２又はこの近傍の温度が上昇し、撮像素子５２の暗電流が増加した場合には、黒レベルが暗電流の影響でＬａまで上昇する。このため、最暗の画素が若干明るく、例えば灰色などで液晶ディスプレイ２０には表示され、また、最明の画素の輝度値は（ａ）の場合と同様にＬｍａｘであるため、各画素の輝度の階調数が減少する。よって、液晶ディスプレイ２０に表示される画像の画質が暗電流の影響で低下するという問題が発生する。   On the other hand, as shown by the solid line in FIG. 4B, when the temperature of the image sensor 52 or in the vicinity thereof increases and the dark current of the image sensor 52 increases, the black level is affected by the dark current. Ascend to La. For this reason, the darkest pixel is slightly bright, for example, displayed on the liquid crystal display 20 in gray or the like, and the brightness value of the brightest pixel is Lmax as in the case (a). The number of gradations decreases. Therefore, there arises a problem that the image quality of the image displayed on the liquid crystal display 20 is lowered due to the influence of the dark current.

本発明に係る撮像システムでは、図４（ｂ）の実線に示すように、暗電流の増加により黒レベルが上昇した場合、図４（ｂ）の破線に示すように、この上昇分を打ち消すように各画素の輝度値を補正するようにしてある。このとき、撮像装置５０により撮像された画像データの各画素の輝度値をＬ’とし、補正後の各画素の輝度値をＬとすると、以下の（１）式により補正を行うことができる。   In the imaging system according to the present invention, as shown by the solid line in FIG. 4B, when the black level increases due to the increase in dark current, the increase is canceled as shown by the broken line in FIG. In addition, the brightness value of each pixel is corrected. At this time, if the luminance value of each pixel of the image data captured by the imaging device 50 is L ′ and the luminance value of each pixel after correction is L, correction can be performed by the following equation (1).

（１）式において、Ｌｍａｘは撮像システムのハードウェア及びソフトウェア等の構成に依存する定数であるため、画像データからＬａを取得することによって、黒レベルの補正を行うことができる。Ｌａは、暗電流の影響で上昇した最暗の画素の輝度値であるため、取得した画像データから最暗の画素を特定できれば（１）式による黒レベルの補正処理を行うことができる。なお、図４及び以上の説明においては、輝度値の最暗値を０とし、最明値を例えば２５５としているが、これとは反対に最暗値を例えば２５５とし、最明値を０としてもよく、この場合であっても上述と同じ理論により黒レベルの補正を行うことが可能である。   In Expression (1), Lmax is a constant that depends on the configuration of the hardware and software of the imaging system. Therefore, the black level can be corrected by acquiring La from the image data. Since La is the luminance value of the darkest pixel that has increased due to the influence of the dark current, if the darkest pixel can be identified from the acquired image data, the black level correction process according to the equation (1) can be performed. 4 and the above description, the darkest value of the luminance value is set to 0 and the brightest value is set to, for example, 255. On the contrary, the darkest value is set to, for example, 255 and the brightest value is set to 0. Even in this case, the black level can be corrected by the same theory as described above.

図５は、本発明に係る撮像システムの撮像装置５０の外観を示す模式的斜視図である。撮像装置５０は、略直方体形をなす筐体６１と、筐体６１の一面に突出して設けられた円筒状の鏡筒６２とを備えている。筐体６１内には、撮像素子５２及びＤＳＰ５５等が搭載された回路基板が収容してある。鏡筒６２は、複数のレンズ６５（図５には最外の１つのみ図示してある）を光軸をそろえて保持しており、これらの複数のレンズ６５及び鏡筒６２により光学系５１を構成している。鏡筒６２の突出端には開口６３が形成してあり、開口６３から入射した光を複数のレンズ６５により撮像素子５２に集光するようにしてある。開口６３の縁部分には瞼状の遮光マスク６４が設けてあり、入射する光の一部を遮光するようにしてある。遮光マスク６４を設けることにより、入射する光の全体的な光量を抑えることができるため、撮像して取得した画像中に輝度が極端に高い部分、所謂白飛びの部分が生じることを防止することができる。   FIG. 5 is a schematic perspective view showing the appearance of the imaging device 50 of the imaging system according to the present invention. The imaging device 50 includes a casing 61 that has a substantially rectangular parallelepiped shape, and a cylindrical barrel 62 that protrudes from one surface of the casing 61. The housing 61 accommodates a circuit board on which the image sensor 52, the DSP 55, and the like are mounted. The lens barrel 62 holds a plurality of lenses 65 (only the outermost one is shown in FIG. 5) with the optical axis aligned, and the optical system 51 is constituted by the plurality of lenses 65 and the lens barrel 62. Is configured. An opening 63 is formed at the protruding end of the lens barrel 62, and light incident from the opening 63 is condensed on the image sensor 52 by a plurality of lenses 65. A flange-shaped light shielding mask 64 is provided at the edge of the opening 63 so as to shield a part of incident light. By providing the light-shielding mask 64, it is possible to suppress the total amount of incident light, and thus preventing an extremely high brightness portion, a so-called whiteout portion, from occurring in an image acquired by capturing. Can do.

図６は、撮像素子５２への集光範囲を説明するための模式図である。撮像装置５０の撮像素子５２は縦横の比が略３：４の略長方形であるが、光学系５１を構成する複数のレンズ６５は略円形であるため、光学系５１により撮像素子５２に集光される光の集光領域７０は略円形となり、集光領域７０と撮像素子５２の撮像面とが重なる領域が、外界を撮像することができる領域（以下、有効画素領域７１という）である。これに対して、集光領域７０と重ならない撮像素子５２の４つの角部分近傍は、外部からの光が入射せず外界を撮像することができないため、所謂ケラレにより生じる無効な領域（以下、無効画素領域７２という）である。また、撮像装置５０は、図５に示すように鏡筒６２に遮光マスク６４が設けてあるため、遮光マスク６４により遮光されて撮像素子５２へ光が入射しない領域（以下、無効画素領域７３という）が生じる。   FIG. 6 is a schematic diagram for explaining the light collection range on the image sensor 52. The image pickup device 52 of the image pickup apparatus 50 is substantially rectangular with an aspect ratio of about 3: 4. However, since the plurality of lenses 65 constituting the optical system 51 are substantially circular, the optical system 51 collects light on the image pickup device 52. The light condensing area 70 is substantially circular, and the area where the light condensing area 70 and the imaging surface of the image sensor 52 overlap is an area where the outside can be imaged (hereinafter referred to as an effective pixel area 71). On the other hand, in the vicinity of the four corners of the image sensor 52 that does not overlap with the light condensing region 70, light from the outside does not enter and the outside world cannot be imaged. This is referred to as an invalid pixel region 72). Further, since the imaging device 50 is provided with a light shielding mask 64 in the lens barrel 62 as shown in FIG. 5, an area that is shielded by the light shielding mask 64 and does not enter the imaging element 52 (hereinafter referred to as an invalid pixel area 73). ) Occurs.

有効画素領域７１及び無効画素領域７２、７３の形状及び大きさ等は、撮像装置５０のレンズ６５、遮光マスク６４及び撮像素子５２等の構成、配置又は形状等により決定されるものである。また、無効画素領域７２、７３には光が入射しないため、撮像素子５２が撮像して取得した画像データにおいて、無効画素領域７２、７３に対応する画素が最暗の画素である。よって、無効画素領域７２、７２に対応する画素の画素値を上述の（１）式のＬａとすることができ、黒レベルの補正処理を行うことができる。   The shapes and sizes of the effective pixel region 71 and the invalid pixel regions 72 and 73 are determined by the configuration, arrangement, or shape of the lens 65, the light shielding mask 64, the image sensor 52, and the like of the imaging device 50. In addition, since light does not enter the invalid pixel areas 72 and 73, the pixels corresponding to the invalid pixel areas 72 and 73 are the darkest pixels in the image data captured and acquired by the image sensor 52. Therefore, the pixel values of the pixels corresponding to the invalid pixel regions 72 and 72 can be set to La in the above-described equation (1), and black level correction processing can be performed.

図７は、本発明に係る撮像システムのＥＣＵ１０が行う黒レベルの補正処理の手順を示すフローチャートである。黒レベルの補正処理では、まず、撮像装置５０により車両１の外界の撮像を行って画像データを取得し（ステップＳ１）、取得した画像データから無効画素領域７２、７３に対応する画素を抽出して（ステップＳ２）、画素値（輝度値）を取得する。次いで、この画素値を基にＬａを取得する（ステップＳ３）。このとき、無効画素領域７２、７３に複数の画素が含まれている場合、複数の画素値のうちの最暗のものをＬａとすることができる。   FIG. 7 is a flowchart showing a procedure of black level correction processing performed by the ECU 10 of the imaging system according to the present invention. In the black level correction process, first, the imaging device 50 captures the outside of the vehicle 1 to acquire image data (step S1), and the pixels corresponding to the invalid pixel areas 72 and 73 are extracted from the acquired image data. (Step S2), a pixel value (luminance value) is acquired. Next, La is acquired based on this pixel value (step S3). At this time, when the invalid pixel areas 72 and 73 include a plurality of pixels, the darkest one of the plurality of pixel values can be set to La.

Ｌａを取得した後、ステップＳ１にて取得した画像データから有効画素領域７１に対応する画素を抽出して（ステップＳ４）、画素値を取得し、ステップＳ３にて取得したＬａ及び上述の（１）式を用いて画素値の補正を行う（ステップＳ５）。補正の終了後、画像データの有効画素領域７１の全画素について補正の処理を終了したか否かを調べ（ステップＳ６）、全画素について処理が終了していない場合には（Ｓ６：ＮＯ）、ステップＳ４に戻り、ステップＳ４及びＳ５の処理を繰り返し行う。全画素について処理が終了した場合（Ｓ６：ＹＥＳ）、補正後の画像データを液晶ディスプレイ２０に与えて画像を表示し（ステップＳ７）、補正処理を終了する。なお、ＥＣＵ１０は、撮像装置５０にて撮像を行う毎に、取得した画像データに対してこの補正処理を行うようにしてある。   After acquiring La, a pixel corresponding to the effective pixel area 71 is extracted from the image data acquired in step S1 (step S4), a pixel value is acquired, and La acquired in step S3 and the above-described (1 ) Is used to correct the pixel value (step S5). After completion of the correction, it is checked whether or not the correction process has been completed for all the pixels in the effective pixel area 71 of the image data (step S6). If the process has not been completed for all the pixels (S6: NO), Returning to step S4, the processes of steps S4 and S5 are repeated. When the process is completed for all pixels (S6: YES), the corrected image data is given to the liquid crystal display 20 to display an image (step S7), and the correction process is terminated. The ECU 10 performs this correction process on the acquired image data every time the imaging device 50 performs imaging.

以上の構成の撮像システムにおいては、例えばケラレにより光学系５１から撮像素子５２への集光範囲外となる領域を無効画素領域７２として黒レベルの基準とすることによって、撮像素子５２にオプティカルブラック領域が設けられていない場合であっても、黒レベルを補正して高画質の画像を液晶ディスプレイ２０に表示することができる。また、撮像装置５０に遮光マスク６４を設けた場合には、遮光マスク６４によって遮光された領域を無効画素領域７３として利用することができる。無効画素領域７２、７２の画素値を黒レベルの増加分（Ｌａ）として（１）式を用いることにより、各画素の画素値を簡単に補正することができる。   In the imaging system having the above configuration, for example, an area outside the condensing range from the optical system 51 to the imaging element 52 due to vignetting is used as an invalid pixel area 72 as a black level reference, so that the optical black area is set in the imaging element 52. Even when no image is provided, it is possible to correct the black level and display a high-quality image on the liquid crystal display 20. In addition, when the light shielding mask 64 is provided in the imaging device 50, an area shielded by the light shielding mask 64 can be used as the invalid pixel area 73. The pixel value of each pixel can be easily corrected by using the equation (1) with the pixel values of the invalid pixel regions 72 and 72 as the black level increase (La).

なお、本実施の形態においては、車両１の後部に撮像装置５０を搭載する構成としたが、これに限るものではなく、車両の前部又は左右側部等に撮像装置５０を搭載する構成としてもよい。また、図５に示した撮像装置５０の外観は一例であり、これに限るものではない。また、黒レベルの補正処理を（１）式により行う構成としたが、これに限るものではなく、その他の演算式を用いてもよく、補正前の画素値及び補正後の画素値を対応付けて記憶した補正テーブルなどを用いてもよい。また、撮像システムは、ネットワークケーブルで接続された撮像装置５０、ＥＣＵ１０及び液晶ディスプレイ２０を備える構成としたが、これに限るものではなく、以下の変形例に示すような他の構成であってもよい。   In the present embodiment, the imaging device 50 is mounted on the rear portion of the vehicle 1. However, the configuration is not limited to this, and the imaging device 50 is mounted on the front portion or the left and right side portions of the vehicle. Also good. Further, the appearance of the imaging apparatus 50 shown in FIG. 5 is an example, and the present invention is not limited to this. Further, although the black level correction processing is performed by the equation (1), the present invention is not limited to this, and other arithmetic expressions may be used, and the pixel value before correction and the pixel value after correction are associated with each other. A correction table stored in the above may be used. In addition, the imaging system is configured to include the imaging device 50, the ECU 10, and the liquid crystal display 20 that are connected by a network cable. However, the configuration is not limited thereto, and other configurations as illustrated in the following modification examples may be used. Good.

（変形例）
図８は、本発明の変形例に係る撮像システムの液晶ディスプレイ２０ａの構成を示すブロック図である。図３に示した撮像システムは、撮像装置５０が撮像して取得した画像データに対してＥＣＵ１０が黒レベルの補正処理を行って液晶ディスプレイ２０へ与える構成であるが、変形例に係る撮像システムは、撮像装置５０が撮像して取得した画像データが液晶ディスプレイ２０ａに直接与えられ、液晶ディスプレイ２０ａが黒レベルの補正処理を行って画像を表示する構成である。即ち、液晶ディスプレイ２０ａは、図３に示したＥＣＵ１０及び液晶ディスプレイ２０の機能を兼ね備える構成である。 (Modification)
FIG. 8 is a block diagram showing a configuration of the liquid crystal display 20a of the imaging system according to the modification of the present invention. The imaging system shown in FIG. 3 has a configuration in which the ECU 10 performs black level correction processing on the image data obtained by imaging by the imaging device 50 and gives the image data to the liquid crystal display 20. However, the imaging system according to the modification is The image data acquired by the imaging device 50 is directly applied to the liquid crystal display 20a, and the liquid crystal display 20a performs black level correction processing to display an image. That is, the liquid crystal display 20a is configured to have the functions of the ECU 10 and the liquid crystal display 20 shown in FIG.

よって、液晶ディスプレイ２０ａは、ＥＣＵ１０と略同じ機能を有するＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、操作部１４、画像入力用Ｉ／Ｆ１５、画像処理部１６及び画像メモリ１７を備えており、また、表示用のデバイスである液晶パネル２２及びこれを駆動する液晶駆動部２１を備えている。画像処理部１６にて黒レベルの補正処理が行われた画像データは画像メモリ１７に記憶され、この画像データをＣＰＵ１１が画像メモリ１７から読み出して液晶駆動部２１へ与えることにより、液晶パネル２２に画像を表示するようにしてある。このように、液晶ディスプレイ２０ａが黒レベルの補正処理を行う構成であっても、ＥＣＵ１０が補正処理を行って液晶ディスプレイ２０に画像データを与える場合と同様の効果を得ることができる。   Therefore, the liquid crystal display 20a includes a CPU 11, a ROM 12, a RAM 13, an operation unit 14, an image input I / F 15, an image processing unit 16, and an image memory 17 having substantially the same functions as the ECU 10, and a display device. A liquid crystal panel 22 and a liquid crystal drive unit 21 for driving the same. The image data on which the black level correction processing has been performed by the image processing unit 16 is stored in the image memory 17, and the CPU 11 reads the image data from the image memory 17 and gives it to the liquid crystal driving unit 21, whereby An image is displayed. Thus, even when the liquid crystal display 20a is configured to perform black level correction processing, the same effect as when the ECU 10 performs correction processing and gives image data to the liquid crystal display 20 can be obtained.

また、撮像装置５０がＥＣＵ１０の機能を兼ね備えて、撮像して取得した画像の黒レベル処理を行った後で液晶ディスプレイ２０に画像データを与える構成とすることもできる。この場合には、図示は省略するが、撮像装置５０のＤＳＰ５５に、図３又は図８に示す画像処理部１６と略同じ機能を有する画像処理部を設け、この画像処理部が上述の黒レベルの補正処理を行う構成とすればよい。又は、ＤＳＰ５５のデジタル信号処理部５６が上述の黒レベルの補正処理を行う構成としてもよい。   Further, the imaging device 50 may also have a function of the ECU 10 to provide image data to the liquid crystal display 20 after performing black level processing of an image acquired by imaging. In this case, although not shown, the DSP 55 of the imaging device 50 is provided with an image processing unit having substantially the same function as the image processing unit 16 shown in FIG. 3 or FIG. The correction process may be performed. Alternatively, the digital signal processing unit 56 of the DSP 55 may perform the above black level correction processing.

本発明に係る撮像システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the imaging system which concerns on this invention. 本発明に係る撮像システムの撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of the imaging device of the imaging system which concerns on this invention. 本発明に係る撮像システムのＥＣＵの構成を示すブロック図である。It is a block diagram which shows the structure of ECU of the imaging system which concerns on this invention. 黒レベルの補正処理を説明するための模式図である。It is a schematic diagram for demonstrating the correction process of a black level. 本発明に係る撮像システムの撮像装置の外観を示す模式的斜視図である。1 is a schematic perspective view illustrating an appearance of an imaging device of an imaging system according to the present invention. 撮像素子への集光範囲を説明するための模式図である。It is a schematic diagram for demonstrating the condensing range to an image pick-up element. 本発明に係る撮像システムのＥＣＵが行う黒レベルの補正処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the correction process of the black level which ECU of the imaging system which concerns on this invention performs. 本発明の変形例に係る撮像システムの液晶ディスプレイの構成を示すブロック図である。It is a block diagram which shows the structure of the liquid crystal display of the imaging system which concerns on the modification of this invention.

符号の説明Explanation of symbols

１ 車両
１０ ＥＣＵ（画像処理装置）
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 操作部
１５ 画像入力用Ｉ／Ｆ
１６ 画像処理部（補正手段）
１７ 画像メモリ
１８ 画像出力用Ｉ／Ｆ
２０ 液晶ディスプレイ
２０ａ 液晶ディスプレイ（画像処理装置）
２１ 液晶駆動部
２２ 液晶パネル
５０ 撮像装置
５１ 光学系
５２ 撮像素子
５３ 利得制御部
５４ Ａ／Ｄ変換部
５５ ＤＳＰ
５６ デジタル信号処理部
５７ 測光計算部
５８ 露光制御部
５９ エンコーダ
６１ 筐体
６２ 鏡筒
６３ 開口
６４ 遮光マスク（遮光手段）
６５ レンズ
７１ 有効画素領域
７２、７３ 無効画素領域 1 vehicle 10 ECU (image processing device)
11 CPU
12 ROM
13 RAM
14 Operation unit 15 I / F for image input
16 Image processing unit (correction means)
17 Image memory 18 I / F for image output
20 Liquid crystal display 20a Liquid crystal display (image processing device)
DESCRIPTION OF SYMBOLS 21 Liquid crystal drive part 22 Liquid crystal panel 50 Imaging device 51 Optical system 52 Image pick-up element 53 Gain control part 54 A / D conversion part 55 DSP
56 Digital Signal Processing Unit 57 Photometry Calculation Unit 58 Exposure Control Unit 59 Encoder 61 Case 62 Lens Tube 63 Opening 64 Light-shielding Mask (Light-shielding Means)
65 Lens 71 Effective pixel area 72, 73 Invalid pixel area

Claims (4)

複数の画素が並設された撮像素子、及び該撮像素子へ光を集光する光学系を有する撮像装置と、該撮像装置の前記撮像素子が撮像して取得した画像データに画像処理を施す画像処理装置とを備える撮像システムにおいて、
前記撮像素子は、
前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、
前記光学系の集光範囲外に設けられた画素よりなる無効画素領域と
を有し、
前記画像処理装置は、前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を有すること
を特徴とする撮像システム。 An image pickup device having an image pickup device in which a plurality of pixels are arranged in parallel, and an optical system for condensing light on the image pickup device, and an image that performs image processing on image data acquired by the image pickup device of the image pickup device In an imaging system comprising a processing device,
The image sensor is
An effective pixel region composed of pixels provided in the light collection range of the optical system;
An ineffective pixel area consisting of pixels provided outside the light collection range of the optical system,
The image processing apparatus corrects a pixel value of image data acquired by capturing an image in a pixel in the effective pixel region according to a pixel value of image data acquired by capturing in the pixel of the invalid pixel region. An imaging system comprising: means. 前記補正手段は、画素値の最暗値と前記無効画素領域に係る画素値との差分を基に、該差分を打ち消すように前記有効画素領域に係る画素値を補正するようにしてある請求項１に記載の撮像システム。   The correction means corrects the pixel value related to the effective pixel region so as to cancel the difference based on the difference between the darkest pixel value and the pixel value related to the invalid pixel region. The imaging system according to 1. 前記撮像装置は、前記光学系へ入射する光を遮光する遮光手段を有し、
前記無効画素領域は、前記遮光手段により遮光された領域である請求項１又は請求項２に記載の撮像システム。 The imaging apparatus includes a light shielding unit that shields light incident on the optical system,
The imaging system according to claim 1, wherein the invalid pixel area is an area shielded by the light shielding unit. 複数の画素が並設された撮像素子と、該撮像素子へ光を集光する光学系とを備える撮像装置において、
前記撮像素子は、
前記光学系の集光範囲内に設けられた画素よりなる有効画素領域と、
前記光学系の集光範囲外に設けられた画素よりなる無効画素領域と
を有し、
前記無効画素領域の画素にて撮像して取得した画像データの画素値に応じて、前記有効画素領域の画素にて撮像して取得した画像データの画素値を補正する補正手段を備えること
を特徴とする撮像装置。 In an imaging device including an imaging device in which a plurality of pixels are arranged in parallel and an optical system that focuses light onto the imaging device,
The image sensor is
An effective pixel region composed of pixels provided in the light collection range of the optical system;
An ineffective pixel area consisting of pixels provided outside the light collection range of the optical system,
A correction unit that corrects a pixel value of image data acquired and acquired by pixels in the effective pixel area according to a pixel value of image data acquired and acquired by pixels of the invalid pixel area; An imaging device.

Images