JP2019012934A

JP2019012934A - Imaging device

Info

Publication number: JP2019012934A
Application number: JP2017128766A
Authority: JP
Inventors: 茶谷　毅仙; Takehisa Chatani; 毅仙茶谷
Original assignee: Aiphone Co Ltd
Current assignee: Aiphone Co Ltd
Priority date: 2017-06-30
Filing date: 2017-06-30
Publication date: 2019-01-24
Anticipated expiration: 2037-06-30
Also published as: JP6995510B2

Abstract

To provide an imaging device that can reduce time required for luminance convergence, and, even when illuminance of a subject changes, quickly follow a change.SOLUTION: An imaging device comprises a video signal control unit 10 that acquires current brightness information from a picked-up image output from an image sensor 1 and adjusts exposure through feedback control, and the video signal control unit 10 includes: a PGA control unit 2 that amplifies RGB signals of an image frame output from the image sensor 1; a luminance statistic acquisition unit 3 that acquires the brightness information from the output signals; a ratio calculation unit 4a that calculates a ratio between the acquired brightness information and a preset luminance target value; a correction amount calculation unit 4b that predicts an amount of displacement to the luminance target value from the calculated ratio, and derives correction amounts of a shutter speed of imaging means and the gain value of amplification means; and an exposure control unit 4c that adjusts exposure through feedback control with the derived shutter speed and gain value.SELECTED DRAWING: Figure 1

Description

本発明は、イメージセンサを使用した撮像装置に関し、特に自動露出制御機能を備えた撮像装置に関する。 The present invention relates to an image pickup apparatus using an image sensor, and more particularly to an image pickup apparatus having an automatic exposure control function.

イメージセンサを使用した撮像装置は、近年デジタルスチルカメラや携帯端末等に内蔵されて広く利用されている。このような撮像装置には、自動露出制御機能があり、撮像する環境の明るさが変化しても常に同じ明るさでモニタに表示されるように信号増幅器のゲインや露出時間（シャッタ速度）が目標値に近づくよう自動調整している。
通常、このような調整は、イメージセンサから出力される画像フレームの輝度を読み取り、目標輝度との差を計算して、その結果を基にシャッタ速度とゲインとを調整することで明るさが一定になるように調整した（例えば、特許文献１参照）。 In recent years, an imaging device using an image sensor has been widely used by being incorporated in a digital still camera, a portable terminal, or the like. Such an imaging apparatus has an automatic exposure control function, and the gain of the signal amplifier and the exposure time (shutter speed) are set so that the monitor always displays the same brightness even if the brightness of the environment in which the image is captured changes. Automatic adjustment is made to approach the target value.
Normally, such adjustment is performed by reading the brightness of the image frame output from the image sensor, calculating the difference from the target brightness, and adjusting the shutter speed and gain based on the result to keep the brightness constant. (For example, refer patent document 1).

特開２００７−３３６５４１号公報JP 2007-336541 A

従来の撮像装置は、上述したように映像出力値と目標値とを比較して差を求め、差情報を基に逐次ゲイン及びシャッタ速度を補正しながら、輝度収束を図っていた。そのため、輝度が収束するまでに例えば３秒と時間を要する場合があった。 As described above, the conventional imaging apparatus compares the video output value and the target value to obtain a difference, and attempts to converge the luminance while sequentially correcting the gain and the shutter speed based on the difference information. For this reason, it may take 3 seconds, for example, before the luminance converges.

そこで、本発明はこのような問題点に鑑み、輝度収束までの時間を短縮し、被写体照度に変動が発生した場合でも、高速に追従することが可能な撮像装置を提供することを目的としている。 SUMMARY OF THE INVENTION In view of the above problems, the present invention has an object to provide an imaging device that can shorten the time until luminance convergence and can follow up at high speed even when the subject illuminance fluctuates. .

上記課題を解決する為に、請求項１の発明は、撮像手段が出力する撮像画像の現在の明るさ情報を入手してフィードバック制御により露出調整する映像信号制御部を有する撮像装置であって、映像信号制御部は、撮像手段が出力する画像フレームのＲＧＢ信号を増幅する増幅手段と、増幅手段の出力信号から明るさ情報を入手する輝度情報取得部と、輝度情報取得部が取得した明るさ情報と予め設定された輝度目標値との比率を算出する比率算出部と、算出した比率から輝度目標値までの変位量を予測して、撮像手段のシャッタ速度、及び増幅手段のゲイン値の補正量を導出する補正量算出部と、導出したシャッタ速度及びゲイン値によりフィードバック制御して露出調整を実施する露出制御部とを有することを特徴とする。
この構成によれば、輝度目標値までの比率を基にフィードバック制御するため、加減算により目標値に近づける従来のフィードバック制御に比べて、被写体照度に変動が発生した場合でも高速に輝度目標値に到達できる。 In order to solve the above-mentioned problem, the invention of claim 1 is an imaging apparatus having a video signal control unit that obtains current brightness information of a captured image output by an imaging unit and adjusts exposure by feedback control. The video signal control unit includes an amplification unit that amplifies the RGB signal of the image frame output from the imaging unit, a luminance information acquisition unit that acquires brightness information from the output signal of the amplification unit, and the brightness acquired by the luminance information acquisition unit. A ratio calculation unit that calculates a ratio between information and a preset brightness target value, and predicts a displacement amount from the calculated ratio to the brightness target value, thereby correcting the shutter speed of the imaging unit and the gain value of the amplification unit It has a correction amount calculation unit for deriving an amount, and an exposure control unit for performing exposure adjustment by feedback control using the derived shutter speed and gain value.
According to this configuration, since the feedback control is performed based on the ratio up to the luminance target value, the luminance target value is reached at a higher speed even when the subject illuminance fluctuates, compared to the conventional feedback control that approximates the target value by addition / subtraction. it can.

請求項２の発明は、請求項１に記載の構成において、露出制御部は、導出したシャッタ速度及びゲイン値の補正量により、フィードバック補正が可能な最初の少なくとも１枚の画像フレームは補正せず通過させ、その後撮像手段が出力する画像フレームに対してフィードバック補正を実施するタイミング制御部を有することを特徴とする。
この構成によれば、フィードバック補正が可能な最初の画像フレームは通過させることで、輝度目標の明るさを追い越して制御される事態を防止でき、結果ハンチングを防止できる。 According to a second aspect of the present invention, in the configuration according to the first aspect, the exposure control unit does not correct at least one first image frame that can be feedback-corrected based on the derived shutter speed and gain value correction amount. It is characterized by having a timing control unit for performing feedback correction on an image frame that is passed and then output by the imaging means.
According to this configuration, by passing the first image frame that can be feedback-corrected, it is possible to prevent a situation in which the brightness is controlled in excess of the brightness target brightness and to prevent hunting as a result.

本発明によれば、輝度目標値までの比率を基にフィードバック制御するため、加減算により目標値に近づける従来のフィードバック制御に比べて、被写体照度に変動が発生した場合でも高速に輝度目標値に到達できる。 According to the present invention, since the feedback control is performed based on the ratio up to the luminance target value, the luminance target value is reached at a higher speed even when the subject illuminance fluctuates, compared to the conventional feedback control that approximates the target value by addition / subtraction it can.

本発明に係る撮像装置の一例を示す映像信号制御部のブロック図を示している。1 is a block diagram of a video signal control unit illustrating an example of an imaging apparatus according to the present invention. FIG.

以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図１は本発明に係る撮像装置の一例を示し、１はイメージセンサ、１０は映像信号制御部１０であり映像信号制御部はブロック図で示している。
イメージセンサ１は、レンズ（図示せず）を介して入光する光により撮像して画像フレームを出力する撮像手段であり、映像信号制御部１０は、イメージセンサ１が出力する画像フレームの信号を増幅するＰＧＡ（Programmable Gain Amplifier）制御部２、画像フレームデータから輝度情報（現在の輝度情報）を取得する輝度統計量取得部３、輝度統計量取得部３が取得した輝度情報と目標値との比率を演算し、演算結果からイメージセンサ１に対して露出制御信号を出力し、ＰＧＡ制御部２に対して増幅率制御信号を出力する自動露出制御部４を有している。ＰＧＡ制御部２の出力信号が映像を表示するモニタ等に出力される。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments embodying the present invention will be described below in detail with reference to the drawings. FIG. 1 shows an example of an image pickup apparatus according to the present invention, where 1 is an image sensor, 10 is a video signal control unit 10, and the video signal control unit is shown in a block diagram.
The image sensor 1 is an imaging unit that captures an image with light incident through a lens (not shown) and outputs an image frame. The video signal control unit 10 outputs a signal of an image frame output from the image sensor 1. PGA (Programmable Gain Amplifier) control unit 2 to be amplified, luminance statistic acquisition unit 3 for acquiring luminance information (current luminance information) from image frame data, luminance information acquired by luminance statistic acquisition unit 3 and target value An automatic exposure control unit 4 that calculates the ratio, outputs an exposure control signal to the image sensor 1 from the calculation result, and outputs an amplification factor control signal to the PGA control unit 2 is provided. An output signal of the PGA control unit 2 is output to a monitor or the like that displays an image.

尚、この映像信号制御部１０はＩＳＰ（Image Signal Processor）により構成され、インストールされたファームウェアにより所定の動作が実施される。 The video signal control unit 10 is configured by an ISP (Image Signal Processor), and a predetermined operation is performed by installed firmware.

イメージセンサ１は、一定間隔で撮像した画像フレームを出力し、自動露出制御部４が送信した制御量に基づき、電子シャッタ速度（シャッタ速度）を調整して露出が制御される。 The image sensor 1 outputs image frames picked up at regular intervals, and the exposure is controlled by adjusting the electronic shutter speed (shutter speed) based on the control amount transmitted by the automatic exposure control unit 4.

ＰＧＡ制御部２は、イメージセンサ１が出力した画像フレームに対して自動露出制御部４から指定されたゲインに応じた増幅度で順次ＲＧＢ信号の増幅を実施する。 The PGA control unit 2 sequentially amplifies the RGB signals with an amplification degree corresponding to the gain designated by the automatic exposure control unit 4 on the image frame output from the image sensor 1.

輝度統計量取得部３は、ＰＧＡ制御部２が出力した画像フレームに対して個々のピクセルの輝度データ（画像フレームを格子状に複数のブロックに分解した個々のブロックの輝度データ）から輝度のヒストグラムを作成して重心を求め、その重心に位置する輝度を代表輝度情報として出力する。 The luminance statistic acquisition unit 3 is a luminance histogram from luminance data of individual pixels (luminance data of individual blocks obtained by decomposing the image frame into a plurality of blocks in a grid pattern) for the image frame output by the PGA control unit 2. To obtain the center of gravity and output the luminance located at the center of gravity as representative luminance information.

自動露出制御部４はファームウェアを内蔵しており、比率算出部４ａ、補正量算出部４ｂ、露出制御部４ｃ、タイミング制御部４ｄを備えている。
比率算出部４ａは、輝度統計量取得部３が取得した明るさ情報と予め設定された輝度目標値との比率を算出し、算出された比率から補正量算出部４ｂが輝度目標値までの変位量を予測して、イメージセンサ１のシャッタ速度、及びＰＧＡ制御部２のゲイン値の補正量を導出する。
そして露出制御部４ｃが、導出したシャッタ速度補正量をイメージセンサ１に出力し、ＰＧＡ制御部２へゲイン値の補正量を出力してフィードバック制御により露出調整を実施する。 The automatic exposure control unit 4 incorporates firmware, and includes a ratio calculation unit 4a, a correction amount calculation unit 4b, an exposure control unit 4c, and a timing control unit 4d.
The ratio calculation unit 4a calculates the ratio between the brightness information acquired by the luminance statistic acquisition unit 3 and a preset luminance target value, and the correction amount calculation unit 4b shifts from the calculated ratio to the luminance target value. By predicting the amount, the shutter speed of the image sensor 1 and the correction amount of the gain value of the PGA control unit 2 are derived.
The exposure control unit 4c outputs the derived shutter speed correction amount to the image sensor 1, outputs the gain value correction amount to the PGA control unit 2, and performs exposure adjustment by feedback control.

また自動露出制御部４は、ハンチング防止制御も合わせて実施する。具体的に、イメージセンサ１から出力された画像フレームの情報を基にシャッタ速度及びゲイン値の補正値を算出し、フィードバック制御を開始するまでに少なくとも３フレームが必要とされている。即ち、最初の画像フレームを第１フレームとすると最初にフィードバック制御が実施される画像フレームは、最短で第４フレームとなる。
ところが、輝度統計量取得部３が得た現在の明るさ情報と目標値の比率を導出する事で、目標量までに制御しなければならない補正ゲイン量の予測を立てるため、第４フレームを目標量に補正するフィードバック制御を実施すると、大きなゲイン制御を伴う場合があり、その際ハンチングが発生する場合があった。 The automatic exposure control unit 4 also performs hunting prevention control. Specifically, at least three frames are required before the correction value of the shutter speed and the gain value is calculated based on the information of the image frame output from the image sensor 1 and the feedback control is started. That is, when the first image frame is the first frame, the image frame for which feedback control is first performed is the fourth frame at the shortest.
However, by deriving the ratio between the current brightness information obtained by the luminance statistic acquisition unit 3 and the target value, the fourth frame is set as the target in order to predict the correction gain amount that must be controlled by the target amount. When feedback control for correcting the amount is performed, a large gain control may be involved, and hunting may occur at that time.

そこで、タイミング制御部４ｄが次のような制御を実施する。フィードバック補正が可能な最初の１枚の画像フレームは補正せず通過させ、その次の画像フレームである第５フレームに対してフィードバック補正指令を出し、露出制御部４ｃの制御に基づきシャッタ速度及びゲイン値の補正が成される。
この結果、輝度目標の明るさを追い越して制御される事が無くなり、ハンチングを回避出来る。 Therefore, the timing control unit 4d performs the following control. The first image frame capable of feedback correction is passed without correction, a feedback correction command is issued to the fifth frame which is the next image frame, and the shutter speed and gain are controlled based on the control of the exposure control unit 4c. Value correction is made.
As a result, it is no longer controlled beyond the brightness of the brightness target, and hunting can be avoided.

このように、輝度目標値までの比率を基にフィードバック制御するため、加減算により目標値に近づける従来のフィードバック制御に比べて、被写体照度に変動が発生した場合でも例えば１秒と高速に輝度目標値に到達できる。
また、フィードバック補正が可能な最初の画像フレームは通過させることで、輝度目標の明るさを追い越して制御される事態を防止でき、結果ハンチングを防止できる。 Thus, since the feedback control is performed based on the ratio up to the luminance target value, the luminance target value is increased at a high speed of, for example, 1 second, even when the subject illuminance fluctuates, compared to the conventional feedback control that approximates the target value by addition / subtraction. Can be reached.
In addition, by passing the first image frame that can be feedback-corrected, it is possible to prevent a situation in which the brightness is overtaken by the brightness target and to prevent hunting as a result.

尚、上記実施形態では、現在の画像フレームの輝度情報を得るために、輝度の重心を求めて代表輝度情報として使用しているが、画像フレームの個々のピクセルの輝度データから平均輝度を求めて代表輝度としても良い。
また、１フレームを通過させることで、現在の輝度を求めた画像フレームから４フレーム目に対してフィードバック制御を実施しているが、２フレームを通過させて５フレーム目をフィードバック制御しても良い。 In the above embodiment, in order to obtain the luminance information of the current image frame, the center of luminance is obtained and used as the representative luminance information. However, the average luminance is obtained from the luminance data of each pixel of the image frame. The representative brightness may be used.
In addition, feedback control is performed on the fourth frame from the image frame for which the current luminance is obtained by passing one frame, but feedback control may be performed on the fifth frame by passing two frames. .

１・・イメージセンサ（撮像手段）、２・・ＰＧＡ制御部（利得増幅手段）、３・・輝度統計量取得部（輝度情報取得部）、４・・自動露出制御部、４ａ・・比率算出部、４ｂ・・補正量算出部、４ｃ・・露出制御部、４ｄ・・タイミング制御部、１０・・映像信号制御部。 1 .. Image sensor (imaging means) 2. PGA control unit (gain amplifying means) 3. Brightness statistics acquisition unit (brightness information acquisition unit) 4. Automatic exposure control unit 4a ... Ratio calculation , 4b... Correction amount calculation unit, 4c... Exposure control unit, 4d .. timing control unit, 10..

Claims

撮像手段が出力する撮像画像の現在の明るさ情報を入手してフィードバック制御により露出調整する映像信号制御部を有する撮像装置であって、
前記映像信号制御部は、前記撮像手段が出力する画像フレームのＲＧＢ信号を増幅する増幅手段と、
前記増幅手段の出力信号から明るさ情報を入手する輝度情報取得部と、
前記輝度情報取得部が取得した明るさ情報と予め設定された輝度目標値との比率を算出する比率算出部と、
算出した前記比率から前記輝度目標値までの変位量を予測して、前記撮像手段のシャッタ速度、及び前記増幅手段のゲイン値の補正量を導出する補正量算出部と、
導出した前記シャッタ速度及び前記ゲイン値によりフィードバック制御して露出調整を実施する露出制御部とを有することを特徴とする撮像装置。 An imaging apparatus having a video signal control unit that obtains current brightness information of a captured image output by an imaging unit and adjusts exposure by feedback control,
The video signal control unit includes an amplifying unit that amplifies an RGB signal of an image frame output by the imaging unit;
A luminance information acquisition unit for acquiring brightness information from the output signal of the amplification means;
A ratio calculation unit that calculates a ratio between the brightness information acquired by the luminance information acquisition unit and a preset luminance target value;
A correction amount calculation unit that predicts a displacement amount from the calculated ratio to the luminance target value and derives a correction amount of the shutter speed of the imaging unit and the gain value of the amplification unit;
An image pickup apparatus comprising: an exposure control unit configured to perform exposure adjustment by feedback control using the derived shutter speed and gain value.

前記露出制御部は、導出した前記シャッタ速度及び前記ゲイン値の補正量により、フィードバック補正が可能な最初の少なくとも１枚の画像フレームは補正せず通過させ、その後前記撮像手段が出力する画像フレームに対してフィードバック補正を実施するタイミング制御部を有することを特徴とする請求項１記載の撮像装置。 The exposure control unit passes the first at least one image frame that can be feedback-corrected without correction based on the derived shutter speed and gain value correction amount, and then passes the image frame to the image frame output by the imaging unit. The imaging apparatus according to claim 1, further comprising a timing control unit that performs feedback correction.