JP2019012934A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2019012934A JP2019012934A JP2017128766A JP2017128766A JP2019012934A JP 2019012934 A JP2019012934 A JP 2019012934A JP 2017128766 A JP2017128766 A JP 2017128766A JP 2017128766 A JP2017128766 A JP 2017128766A JP 2019012934 A JP2019012934 A JP 2019012934A
- Authority
- JP
- Japan
- Prior art keywords
- control unit
- unit
- luminance
- image frame
- shutter speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、イメージセンサを使用した撮像装置に関し、特に自動露出制御機能を備えた撮像装置に関する。 The present invention relates to an image pickup apparatus using an image sensor, and more particularly to an image pickup apparatus having an automatic exposure control function.
イメージセンサを使用した撮像装置は、近年デジタルスチルカメラや携帯端末等に内蔵されて広く利用されている。このような撮像装置には、自動露出制御機能があり、撮像する環境の明るさが変化しても常に同じ明るさでモニタに表示されるように信号増幅器のゲインや露出時間(シャッタ速度)が目標値に近づくよう自動調整している。
通常、このような調整は、イメージセンサから出力される画像フレームの輝度を読み取り、目標輝度との差を計算して、その結果を基にシャッタ速度とゲインとを調整することで明るさが一定になるように調整した(例えば、特許文献1参照)。
In recent years, an imaging device using an image sensor has been widely used by being incorporated in a digital still camera, a portable terminal, or the like. Such an imaging apparatus has an automatic exposure control function, and the gain of the signal amplifier and the exposure time (shutter speed) are set so that the monitor always displays the same brightness even if the brightness of the environment in which the image is captured changes. Automatic adjustment is made to approach the target value.
Normally, such adjustment is performed by reading the brightness of the image frame output from the image sensor, calculating the difference from the target brightness, and adjusting the shutter speed and gain based on the result to keep the brightness constant. (For example, refer patent document 1).
従来の撮像装置は、上述したように映像出力値と目標値とを比較して差を求め、差情報を基に逐次ゲイン及びシャッタ速度を補正しながら、輝度収束を図っていた。そのため、輝度が収束するまでに例えば3秒と時間を要する場合があった。 As described above, the conventional imaging apparatus compares the video output value and the target value to obtain a difference, and attempts to converge the luminance while sequentially correcting the gain and the shutter speed based on the difference information. For this reason, it may take 3 seconds, for example, before the luminance converges.
そこで、本発明はこのような問題点に鑑み、輝度収束までの時間を短縮し、被写体照度に変動が発生した場合でも、高速に追従することが可能な撮像装置を提供することを目的としている。 SUMMARY OF THE INVENTION In view of the above problems, the present invention has an object to provide an imaging device that can shorten the time until luminance convergence and can follow up at high speed even when the subject illuminance fluctuates. .
上記課題を解決する為に、請求項1の発明は、撮像手段が出力する撮像画像の現在の明るさ情報を入手してフィードバック制御により露出調整する映像信号制御部を有する撮像装置であって、映像信号制御部は、撮像手段が出力する画像フレームのRGB信号を増幅する増幅手段と、増幅手段の出力信号から明るさ情報を入手する輝度情報取得部と、輝度情報取得部が取得した明るさ情報と予め設定された輝度目標値との比率を算出する比率算出部と、算出した比率から輝度目標値までの変位量を予測して、撮像手段のシャッタ速度、及び増幅手段のゲイン値の補正量を導出する補正量算出部と、導出したシャッタ速度及びゲイン値によりフィードバック制御して露出調整を実施する露出制御部とを有することを特徴とする。
この構成によれば、輝度目標値までの比率を基にフィードバック制御するため、加減算により目標値に近づける従来のフィードバック制御に比べて、被写体照度に変動が発生した場合でも高速に輝度目標値に到達できる。
In order to solve the above-mentioned problem, the invention of claim 1 is an imaging apparatus having a video signal control unit that obtains current brightness information of a captured image output by an imaging unit and adjusts exposure by feedback control. The video signal control unit includes an amplification unit that amplifies the RGB signal of the image frame output from the imaging unit, a luminance information acquisition unit that acquires brightness information from the output signal of the amplification unit, and the brightness acquired by the luminance information acquisition unit. A ratio calculation unit that calculates a ratio between information and a preset brightness target value, and predicts a displacement amount from the calculated ratio to the brightness target value, thereby correcting the shutter speed of the imaging unit and the gain value of the amplification unit It has a correction amount calculation unit for deriving an amount, and an exposure control unit for performing exposure adjustment by feedback control using the derived shutter speed and gain value.
According to this configuration, since the feedback control is performed based on the ratio up to the luminance target value, the luminance target value is reached at a higher speed even when the subject illuminance fluctuates, compared to the conventional feedback control that approximates the target value by addition / subtraction. it can.
請求項2の発明は、請求項1に記載の構成において、露出制御部は、導出したシャッタ速度及びゲイン値の補正量により、フィードバック補正が可能な最初の少なくとも1枚の画像フレームは補正せず通過させ、その後撮像手段が出力する画像フレームに対してフィードバック補正を実施するタイミング制御部を有することを特徴とする。
この構成によれば、フィードバック補正が可能な最初の画像フレームは通過させることで、輝度目標の明るさを追い越して制御される事態を防止でき、結果ハンチングを防止できる。
According to a second aspect of the present invention, in the configuration according to the first aspect, the exposure control unit does not correct at least one first image frame that can be feedback-corrected based on the derived shutter speed and gain value correction amount. It is characterized by having a timing control unit for performing feedback correction on an image frame that is passed and then output by the imaging means.
According to this configuration, by passing the first image frame that can be feedback-corrected, it is possible to prevent a situation in which the brightness is controlled in excess of the brightness target brightness and to prevent hunting as a result.
本発明によれば、輝度目標値までの比率を基にフィードバック制御するため、加減算により目標値に近づける従来のフィードバック制御に比べて、被写体照度に変動が発生した場合でも高速に輝度目標値に到達できる。 According to the present invention, since the feedback control is performed based on the ratio up to the luminance target value, the luminance target value is reached at a higher speed even when the subject illuminance fluctuates, compared to the conventional feedback control that approximates the target value by addition / subtraction it can.
以下、本発明を具体化した実施の形態を、図面を参照して詳細に説明する。図1は本発明に係る撮像装置の一例を示し、1はイメージセンサ、10は映像信号制御部10であり映像信号制御部はブロック図で示している。
イメージセンサ1は、レンズ(図示せず)を介して入光する光により撮像して画像フレームを出力する撮像手段であり、映像信号制御部10は、イメージセンサ1が出力する画像フレームの信号を増幅するPGA(Programmable Gain Amplifier)制御部2、画像フレームデータから輝度情報(現在の輝度情報)を取得する輝度統計量取得部3、輝度統計量取得部3が取得した輝度情報と目標値との比率を演算し、演算結果からイメージセンサ1に対して露出制御信号を出力し、PGA制御部2に対して増幅率制御信号を出力する自動露出制御部4を有している。PGA制御部2の出力信号が映像を表示するモニタ等に出力される。
DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments embodying the present invention will be described below in detail with reference to the drawings. FIG. 1 shows an example of an image pickup apparatus according to the present invention, where 1 is an image sensor, 10 is a video
The image sensor 1 is an imaging unit that captures an image with light incident through a lens (not shown) and outputs an image frame. The video
尚、この映像信号制御部10はISP(Image Signal Processor)により構成され、インストールされたファームウェアにより所定の動作が実施される。
The video
イメージセンサ1は、一定間隔で撮像した画像フレームを出力し、自動露出制御部4が送信した制御量に基づき、電子シャッタ速度(シャッタ速度)を調整して露出が制御される。 The image sensor 1 outputs image frames picked up at regular intervals, and the exposure is controlled by adjusting the electronic shutter speed (shutter speed) based on the control amount transmitted by the automatic exposure control unit 4.
PGA制御部2は、イメージセンサ1が出力した画像フレームに対して自動露出制御部4から指定されたゲインに応じた増幅度で順次RGB信号の増幅を実施する。
The
輝度統計量取得部3は、PGA制御部2が出力した画像フレームに対して個々のピクセルの輝度データ(画像フレームを格子状に複数のブロックに分解した個々のブロックの輝度データ)から輝度のヒストグラムを作成して重心を求め、その重心に位置する輝度を代表輝度情報として出力する。
The luminance
自動露出制御部4はファームウェアを内蔵しており、比率算出部4a、補正量算出部4b、露出制御部4c、タイミング制御部4dを備えている。
比率算出部4aは、輝度統計量取得部3が取得した明るさ情報と予め設定された輝度目標値との比率を算出し、算出された比率から補正量算出部4bが輝度目標値までの変位量を予測して、イメージセンサ1のシャッタ速度、及びPGA制御部2のゲイン値の補正量を導出する。
そして露出制御部4cが、導出したシャッタ速度補正量をイメージセンサ1に出力し、PGA制御部2へゲイン値の補正量を出力してフィードバック制御により露出調整を実施する。
The automatic exposure control unit 4 incorporates firmware, and includes a
The
The
また自動露出制御部4は、ハンチング防止制御も合わせて実施する。具体的に、イメージセンサ1から出力された画像フレームの情報を基にシャッタ速度及びゲイン値の補正値を算出し、フィードバック制御を開始するまでに少なくとも3フレームが必要とされている。即ち、最初の画像フレームを第1フレームとすると最初にフィードバック制御が実施される画像フレームは、最短で第4フレームとなる。
ところが、輝度統計量取得部3が得た現在の明るさ情報と目標値の比率を導出する事で、目標量までに制御しなければならない補正ゲイン量の予測を立てるため、第4フレームを目標量に補正するフィードバック制御を実施すると、大きなゲイン制御を伴う場合があり、その際ハンチングが発生する場合があった。
The automatic exposure control unit 4 also performs hunting prevention control. Specifically, at least three frames are required before the correction value of the shutter speed and the gain value is calculated based on the information of the image frame output from the image sensor 1 and the feedback control is started. That is, when the first image frame is the first frame, the image frame for which feedback control is first performed is the fourth frame at the shortest.
However, by deriving the ratio between the current brightness information obtained by the luminance
そこで、タイミング制御部4dが次のような制御を実施する。フィードバック補正が可能な最初の1枚の画像フレームは補正せず通過させ、その次の画像フレームである第5フレームに対してフィードバック補正指令を出し、露出制御部4cの制御に基づきシャッタ速度及びゲイン値の補正が成される。
この結果、輝度目標の明るさを追い越して制御される事が無くなり、ハンチングを回避出来る。
Therefore, the
As a result, it is no longer controlled beyond the brightness of the brightness target, and hunting can be avoided.
このように、輝度目標値までの比率を基にフィードバック制御するため、加減算により目標値に近づける従来のフィードバック制御に比べて、被写体照度に変動が発生した場合でも例えば1秒と高速に輝度目標値に到達できる。
また、フィードバック補正が可能な最初の画像フレームは通過させることで、輝度目標の明るさを追い越して制御される事態を防止でき、結果ハンチングを防止できる。
Thus, since the feedback control is performed based on the ratio up to the luminance target value, the luminance target value is increased at a high speed of, for example, 1 second, even when the subject illuminance fluctuates, compared to the conventional feedback control that approximates the target value by addition / subtraction. Can be reached.
In addition, by passing the first image frame that can be feedback-corrected, it is possible to prevent a situation in which the brightness is overtaken by the brightness target and to prevent hunting as a result.
尚、上記実施形態では、現在の画像フレームの輝度情報を得るために、輝度の重心を求めて代表輝度情報として使用しているが、画像フレームの個々のピクセルの輝度データから平均輝度を求めて代表輝度としても良い。
また、1フレームを通過させることで、現在の輝度を求めた画像フレームから4フレーム目に対してフィードバック制御を実施しているが、2フレームを通過させて5フレーム目をフィードバック制御しても良い。
In the above embodiment, in order to obtain the luminance information of the current image frame, the center of luminance is obtained and used as the representative luminance information. However, the average luminance is obtained from the luminance data of each pixel of the image frame. The representative brightness may be used.
In addition, feedback control is performed on the fourth frame from the image frame for which the current luminance is obtained by passing one frame, but feedback control may be performed on the fifth frame by passing two frames. .
1・・イメージセンサ(撮像手段)、2・・PGA制御部(利得増幅手段)、3・・輝度統計量取得部(輝度情報取得部)、4・・自動露出制御部、4a・・比率算出部、4b・・補正量算出部、4c・・露出制御部、4d・・タイミング制御部、10・・映像信号制御部。
1 .. Image sensor (imaging means) 2. PGA control unit (gain amplifying means) 3. Brightness statistics acquisition unit (brightness information acquisition unit) 4. Automatic
Claims (2)
前記映像信号制御部は、前記撮像手段が出力する画像フレームのRGB信号を増幅する増幅手段と、
前記増幅手段の出力信号から明るさ情報を入手する輝度情報取得部と、
前記輝度情報取得部が取得した明るさ情報と予め設定された輝度目標値との比率を算出する比率算出部と、
算出した前記比率から前記輝度目標値までの変位量を予測して、前記撮像手段のシャッタ速度、及び前記増幅手段のゲイン値の補正量を導出する補正量算出部と、
導出した前記シャッタ速度及び前記ゲイン値によりフィードバック制御して露出調整を実施する露出制御部とを有することを特徴とする撮像装置。 An imaging apparatus having a video signal control unit that obtains current brightness information of a captured image output by an imaging unit and adjusts exposure by feedback control,
The video signal control unit includes an amplifying unit that amplifies an RGB signal of an image frame output by the imaging unit;
A luminance information acquisition unit for acquiring brightness information from the output signal of the amplification means;
A ratio calculation unit that calculates a ratio between the brightness information acquired by the luminance information acquisition unit and a preset luminance target value;
A correction amount calculation unit that predicts a displacement amount from the calculated ratio to the luminance target value and derives a correction amount of the shutter speed of the imaging unit and the gain value of the amplification unit;
An image pickup apparatus comprising: an exposure control unit configured to perform exposure adjustment by feedback control using the derived shutter speed and gain value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128766A JP6995510B2 (en) | 2017-06-30 | 2017-06-30 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017128766A JP6995510B2 (en) | 2017-06-30 | 2017-06-30 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019012934A true JP2019012934A (en) | 2019-01-24 |
JP6995510B2 JP6995510B2 (en) | 2022-01-14 |
Family
ID=65227045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017128766A Active JP6995510B2 (en) | 2017-06-30 | 2017-06-30 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6995510B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113556478A (en) * | 2020-04-23 | 2021-10-26 | 苏州佳世达光电有限公司 | Mouth scanning machine and camera gain adjusting method thereof |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836288B1 (en) * | 1999-02-09 | 2004-12-28 | Linvatec Corporation | Automatic exposure control system and method |
JP2005148309A (en) * | 2003-11-13 | 2005-06-09 | Denso Corp | Exposure controller for white line detection camera |
JP2017112462A (en) * | 2015-12-15 | 2017-06-22 | キヤノン株式会社 | Imaging device and control method, program therefor and storage medium |
-
2017
- 2017-06-30 JP JP2017128766A patent/JP6995510B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6836288B1 (en) * | 1999-02-09 | 2004-12-28 | Linvatec Corporation | Automatic exposure control system and method |
JP2005148309A (en) * | 2003-11-13 | 2005-06-09 | Denso Corp | Exposure controller for white line detection camera |
JP2017112462A (en) * | 2015-12-15 | 2017-06-22 | キヤノン株式会社 | Imaging device and control method, program therefor and storage medium |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113556478A (en) * | 2020-04-23 | 2021-10-26 | 苏州佳世达光电有限公司 | Mouth scanning machine and camera gain adjusting method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP6995510B2 (en) | 2022-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20140078358A1 (en) | Solid-state imaging apparatus and driving method of solid-state imaging apparatus | |
JPWO2012057277A1 (en) | Imaging device and dark current correction method thereof | |
JP2015149691A (en) | Image correction device, image correction method, and imaging apparatus | |
JP5268454B2 (en) | Imaging device | |
JP2015144327A (en) | imaging device | |
WO2013127849A1 (en) | Exposure controller | |
US11863873B2 (en) | Image capturing apparatus, method of controlling image capturing apparatus, and storage medium | |
JP2009124638A (en) | Image signal processing circuit | |
US20140267885A1 (en) | Image capturing apparatus and method of controlling the same | |
JP2013157790A (en) | Image pickup apparatus, control method therefor, and control program | |
JP6995510B2 (en) | Imaging device | |
US20170213322A1 (en) | Image processing device, image processing method, and storage medium | |
JP7185556B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM, STORAGE MEDIUM | |
JP2010183460A (en) | Image capturing apparatus and method of controlling the same | |
US10425602B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP4136776B2 (en) | Correction apparatus, imaging apparatus, correction method, computer-readable storage medium, and program | |
JP2010183461A (en) | Image capturing apparatus and method of controlling the same | |
JP2007028496A (en) | Image processing apparatus, image processing method, program and storage medium | |
JP5341536B2 (en) | Imaging device | |
JP6659163B2 (en) | Flash band determination device, control method thereof, and program | |
JP6704611B2 (en) | Imaging device and imaging method | |
JP4136775B2 (en) | Correction apparatus, imaging apparatus, correction method, computer-readable storage medium, and program | |
JP2006050031A (en) | Photographing apparatus | |
JP2009105501A (en) | Image pickup apparatus, method of correcting optical black level and program | |
JP3938097B2 (en) | Correction apparatus, imaging apparatus, correction method, computer-readable storage medium, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210406 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6995510 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |