JP2020170985A - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP2020170985A JP2020170985A JP2019072708A JP2019072708A JP2020170985A JP 2020170985 A JP2020170985 A JP 2020170985A JP 2019072708 A JP2019072708 A JP 2019072708A JP 2019072708 A JP2019072708 A JP 2019072708A JP 2020170985 A JP2020170985 A JP 2020170985A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance information
- time
- divisions
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 description 67
- 238000009825 accumulation Methods 0.000 description 41
- 230000035508 accumulation Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000009792 diffusion process Methods 0.000 description 13
- 230000007613 environmental effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an image pickup apparatus and a control method thereof.
デジタルカメラなどの撮像装置を用いて、非常に明るい環境下で撮影する場合に、撮像光学系の透過率を下げることで、撮像素子に入射する光量を低下させて撮影する撮影方法が知られている。この撮影方法は、明るい環境下であっても、撮像素子の飽和を防ぎながら、絞りを開いて被写界深度の浅い被写体表現を実現すること、又は長秒露光を行って、例えば滝等の被写体の動いた軌跡を表現することを目的とする。この撮影方法には、従来は、NDフィルタ等の光学フィルタが用いられていた。 When shooting in a very bright environment using an image pickup device such as a digital camera, a shooting method is known in which the amount of light incident on the image sensor is reduced by lowering the transmittance of the image pickup optical system. There is. In this shooting method, even in a bright environment, the aperture is opened to realize a subject expression with a shallow depth of field while preventing saturation of the image sensor, or long-second exposure is performed, for example, a waterfall or the like. The purpose is to express the trajectory of the movement of the subject. Conventionally, an optical filter such as an ND filter has been used for this photographing method.
特許文献1は、光電変換部で変換された電荷を蓄積部に複数回転送し、複数回転送された電荷をまとめて蓄積することで、露光時間、露光量などの条件を変化させる撮像装置を開示している。
特許文献1が開示する撮像装置を適用し、露光を分割して短時間の蓄積を断続的に行うことで、光学フィルタを用いずに光量調整すること(電子ND)が可能となる。また、動画撮影においては、1フレーム期間において、短い蓄積期間を1フレーム期間に均等に分散させ、複数回まとめて蓄積することで、光学フィルタを用いずに光量調整を可能としつつ、パラパラ感の無い自然な動画を得ることができる。
By applying the image pickup apparatus disclosed in
特許文献1が開示する装置を利用した電子NDによる撮影では、一回の露光を分割して行うので、露光ごとにメモリへ情報転送する際に、キャリアが消失してしまう。したがって、露光比率から求められる理想的な輝度情報に対して、誤差が発生する。なお、輝度情報とは、輝度を信号情報に変換した情報である。上記の輝度情報の誤差は、被写体輝度が低い場合、または露光の分割数が多い場合に大きくなる。また、上記電子NDによる撮影では、また、光量低下後の画像しか得られないので、被写体の輝度情報の変化と、上記の輝度情報の誤差とを区別できず、輝度情報の誤差を検出することが困難である。本発明は、露光を分割した撮影で得られる画像を、輝度情報に関して高精度に補正することが可能な撮像装置の提供を目的とする。
In the photographing by the electronic ND using the apparatus disclosed in
本発明の一実施形態の撮像装置は、第1の分割数で時分割した露光による撮像で第1の画像を取得し、第2の分割数で時分割した露光による撮像で第2の画像を取得する撮像手段と、前記第1の画像と前記第2の画像との輝度情報の差に応じて、前記撮像手段による撮像で得られる前記第1の画像を補正する制御を行う制御手段と、を備える。 The image pickup apparatus of one embodiment of the present invention acquires a first image by imaging by time-divided exposure by the first division number, and acquires a second image by imaging by time-division exposure by the second division number. A control means that controls to correct the first image obtained by imaging by the imaging means according to the difference in brightness information between the first image and the second image to be acquired. To be equipped.
本発明の撮像装置によれば、露光を分割した撮影で得られる画像を、輝度情報に関して高精度に補正することが可能となる。 According to the image pickup apparatus of the present invention, it is possible to correct an image obtained by shooting with divided exposures with high accuracy in terms of luminance information.
(第1実施形態)
図1は、本実施形態の撮像装置の外観を示す図である。
図1に示す撮像装置は、デジタルカメラである。図1(A)は、撮像装置の正面を示す。図1(B)は、撮像装置の背面を示す。本体部151は、撮像装置の本体であり、内部に撮像素子、シャッタ装置、記録媒体等を収納している。撮像光学系152は、内部に絞り、レンズを有している。可動式の表示部153は、撮影情報や画像等の各種情報を表示する。表示部153は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。
(First Embodiment)
FIG. 1 is a diagram showing the appearance of the image pickup apparatus of the present embodiment.
The imaging device shown in FIG. 1 is a digital camera. FIG. 1A shows the front surface of the imaging device. FIG. 1B shows the back surface of the imaging device. The
スイッチST154は、主に静止画の撮影を行うために使用する操作部材である。スイッチMV155は、動画撮影を開始および停止するために用いられる操作部材である。撮影モード選択レバー156は、撮影モードを選択するために用いられる操作部材である。メニュー釦157は、撮像装置の機能設定を行う動作モード(機能設定モード)へ移行するために用いられる操作部材である。アップダウンスイッチ158、159は、各種の設定値を変更するために用いられる操作部材である。ダイアル160は、各種の設定値を変更するために用いられる操作部材である。再生ボタン161は、本体部151に収納されている記録媒体に記録されている映像を表示部153上で再生する動作モード(再生モード)へ移行するために用いられる操作部材である。
The switch ST154 is an operating member mainly used for taking a still image. The switch MV155 is an operating member used to start and stop moving image recording. The shooting
図2は、撮像装置の機能ブロック図の一例である。
撮像装置は、撮像光学系152乃至無線I/F198を有する。撮像光学系152は、被写体の光学像を撮像素子184に結像させる。撮像素子184は、撮像光学系152を介して結像された被写体の光学像を電気的な映像信号に光電変換する。光軸180は、撮像光学系152の光軸である。絞り181は、撮像光学系152を通る光の量を調節する。絞り制御部182は、絞り181を制御する。光学フィルタ183は、撮像素子184に入射する光の波長、および撮像素子184に伝達する空間周波数を制限する。撮像素子184は、Ultra High Definition Televisionの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。デジタル信号処理部187は、撮像素子184から出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部189は、撮像素子184、デジタル信号処理部187に各種タイミング信号を出力する。
FIG. 2 is an example of a functional block diagram of the imaging device.
The image pickup apparatus has an image pickup
システム制御CPU178は、各種演算と撮像装置全体を制御する。映像メモリ190は、画像データ(映像データ)を一時的に記憶する。表示I/F191は、映像を表示部153に表示するためのインタフェースである。記録媒体193は、映像データや付加データ等を記録するための記憶手段である。記録媒体193は、例えば着脱可能な半導体メモリ等である。記録I/F192は、記録媒体193にデータを記録、または記録媒体193からのデータの読み出しを行うためのインタフェースである。外部I/F196は、外部コンピュータ197等と通信するためのインタフェースである。プリントI/F194は、映像をプリンタ195に出力するためのインタフェースである。無線I/F198は、ネットワーク199と通信するためのインタフェースである。スイッチ入力部179は、スイッチST154、スイッチMV155等の複数の操作部材を含む。
The
図3は、撮像素子の構成の一例を示す図である。
撮像素子184は、2次元に配列された光電変換部(フォトダイオード)を有する複数の画素(画素部)を備える。図3では、撮像素子184が有する複数の画素部のうち、1行1列目(1,1)の画素部と最終行であるm行1列目(m、1)の画素部が示される。1行1列目(1,1)の画素部と、m行1列目(m、1)の画素部の構成は同じなので、構成要素は同じ番号で付番している。
FIG. 3 is a diagram showing an example of the configuration of the image sensor.
The
1つの画素部は、フォトダイオード500、第1の転送トランジスタ501A、第1の信号保持部507A、第2の転送トランジスタ502A、第3の転送トランジスタ501B、第2の信号保持部507B、第4の転送トランジスタ502Bを有する。すなわち、画素部は、図3に示す例では、1つのフォトダイオード500に対して複数(例えば2つ)の信号保持部507A、507Bを有している。信号保持部を有する撮像素子184の基本構造は、特許文献1にて開示されているので説明は省略する。
One pixel unit includes a
また、画素部は、第5の転送トランジスタ503と、フローティングディフュージョン領域508と、リセットトランジスタ504と、増幅トランジスタ505と、選択トランジスタ506とを有する。
Further, the pixel unit includes a
第1の転送トランジスタ501Aは、転送パルスφTX1Aで制御される。第2の転送トランジスタ502Aは、転送パルスφTX2Aで制御される。第3の転送トランジスタ501Bは、転送パルスφTX1Bで制御される。また、第4の転送トランジスタ502Bは、転送パルスφTX2Bで制御される。また、リセットトランジスタ504は、リセットパルスφRESで制御される。選択トランジスタ506は、選択パルスφSELで制御される。また、第5の転送トランジスタ503は、転送パルスφTX3で制御される。各制御パルスは、不図示の垂直走査回路から送出される。また、520、521は電源線を示し、523は信号出力線を示す。
The
図4は、撮像素子における蓄積および読み出しを説明する図である。
図4を参照して、撮像素子が有する全ての画素部から画像信号を読み出す全画素読み出しモードでの動作を説明する。撮像素子の蓄積は、フォトダイオード500で発生した電荷を信号保持部507A、507Bに転送することである。また、画像信号の読み出しは、信号保持部507A、507Bに保持された電荷をフローティングディフュージョン領域508を介して撮像素子184の外部に出力することである。
FIG. 4 is a diagram illustrating storage and readout in the image sensor.
With reference to FIG. 4, the operation in the all-pixel reading mode of reading the image signal from all the pixel portions of the image sensor will be described. The accumulation of the image sensor is to transfer the electric charge generated by the
図4において、横軸は、時間経過を示す。横軸方向は、全ての画素信号が連続的に取り込まれる様子を示す。また、縦軸は、垂直走査の順番を示す。図中では便宜的に8行が示されるが、実際の撮像素子は、数千行を有するので、最終行をm行としている。縦軸方向は、1行目からm行目まで1行ごとに順次走査されている様子を示す。図中の斜めの実線で囲われている時間Tfは、一行ごとの電荷の蓄積時間を示している。破線は、蓄積された電荷の読み出しを示している。 In FIG. 4, the horizontal axis indicates the passage of time. The horizontal axis direction indicates that all pixel signals are continuously captured. The vertical axis indicates the order of vertical scanning. Eight lines are shown in the figure for convenience, but since the actual image sensor has several thousand lines, the last line is m line. The vertical axis direction indicates that the first row to the mth row are sequentially scanned line by line. The time Tf surrounded by the diagonal solid line in the figure indicates the charge accumulation time for each line. The dashed line shows the reading of the accumulated charge.
図5は、撮像素子からの画素数の間引き動作を説明する図である。
間引き動作は、撮像素子から画素数を間引いて画像信号を読み出す動作である。一般に、再生された動画に一種のコマ送り的なパラパラ感があると品位が大きく失われてしまう。動画にパラパラ感が出ないようにするためには、一連の撮影において、1フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが30フレーム/秒の場合に、1/30秒といった蓄積時間が適切となる。数千行の画素を有する撮像素子において、画像を蓄積し、全ての行で読み出しを実行する場合、読み出しにかかる時間を少なくするために、画素数を間引いて読み出すことが行われる。
FIG. 5 is a diagram illustrating an operation of thinning out the number of pixels from the image sensor.
The thinning operation is an operation of reading out an image signal by thinning out the number of pixels from the image sensor. In general, if the played video has a kind of frame-by-frame para-para feeling, the quality will be greatly lost. In order to prevent the moving image from appearing fluttering, it is necessary to set an accumulation time close to one frame period in a series of shooting. That is, when the frame rate is 30 frames / second, an accumulation time of 1/30 second is appropriate. In an image sensor having several thousand rows of pixels, when an image is accumulated and reading is performed in all the rows, the number of pixels is thinned out and read in order to reduce the time required for reading.
図5において、横軸は、時間経過を示し、縦軸は、垂直走査の順番を示す。飛び越し走査の行数は、一撮影周期中に動作が完了するように設定されている。図5に示す例では、ハッチングを施していない行が動画読み出し行、ハッチングを施した行が間引き行である。読み出し行と、間引き行の関係を、フレームレートによって変化させてもよい。 In FIG. 5, the horizontal axis indicates the passage of time, and the vertical axis indicates the order of vertical scanning. The number of lines of the skip scan is set so that the operation is completed in one shooting cycle. In the example shown in FIG. 5, the unhatched line is the moving image reading line, and the hatched line is the thinned line. The relationship between the read line and the thinned line may be changed depending on the frame rate.
例えば、読み出し行から取得される画像信号に係る画像を、本画像(第1の画像)とする。本画像は、表示または記録のために出力される画像である。本画像が取得される行をna行とする。すなわち、全てのna行を合わせた領域(第1の領域)に含まれる画素部から本画像が取得される。また、例えば、間引き行から取得される画像信号に係る画像を、参照画像(第2の画像)とする。参照画像は、輝度情報の差を検知するために用いられる画像である。参照画像が取得される行をnb行とする。すなわち、全てのnb行を合わせた領域(第2の領域)に含まれる画素部から参照画像が取得される。 For example, the image related to the image signal acquired from the read line is referred to as the main image (first image). This image is an image output for display or recording. The line from which this image is acquired is defined as the na line. That is, the present image is acquired from the pixel portion included in the region (first region) in which all na rows are combined. Further, for example, an image related to an image signal acquired from the thinning line is used as a reference image (second image). The reference image is an image used for detecting the difference in luminance information. The line from which the reference image is acquired is defined as the nb line. That is, the reference image is acquired from the pixel portion included in the region (second region) in which all the nb rows are combined.
図6は、撮像素子の第1の駆動シーケンスを示すタイミングチャートの一例である。
シャッタ速度1/30秒の設定で動画撮影を行うことを想定する。撮像装置は、1フレーム中での蓄積(露光)を第1の分割数(図6では8)で分割(時分割)し、第1の分割数で時分割された露光に係る各々の分割露光時間で蓄積を行う。撮像装置は、1フレームで蓄積を8回加算することで、本画像に係る画像信号を得る。この例では、第1の分割数は、後述する第2の分割数より大きい値に初期設定される。
FIG. 6 is an example of a timing chart showing the first drive sequence of the image sensor.
It is assumed that moving images are taken with a shutter speed of 1/30 second. The imaging device divides the accumulation (exposure) in one frame by the first number of divisions (8 in FIG. 6) (time division), and each division exposure related to the time-division exposure by the first number of divisions. Accumulate in time. The image pickup apparatus obtains an image signal related to this image by adding the accumulation eight times in one frame. In this example, the number of first divisions is initially set to a value larger than the number of second divisions described later.
撮像素子184は、図5に示すように、垂直方向に複数行の画素列がある。図6には、図5に示す第na行に関する制御動作のタイミングが示される。この制御動作と同様の制御動作が水平同期信号φHにより垂直方向に走査されることで、撮像素子184の全画素の蓄積動作が行われる。
As shown in FIG. 5, the
垂直同期信号φVの立ち上がり時刻t1は、1撮影周期(撮影期間)すなわち1フレームが開始される時刻を示す。1フレームが開始されるt1から画像信号が読み出されるt6までの時間である1/30秒が、1撮影周期に相当する。撮影条件としては、1/30秒の1撮影周期中に行われる1/960秒の露光を8回蓄積、加算することにより、NDフィルタを使用した場合と等価な1/120秒相当の露光量が得られる。1撮影周期中において、タイミング発生部189及びシステム制御CPU178によって、撮像素子184が制御される。
The rising time t1 of the vertical synchronization signal φV indicates one shooting cycle (shooting period), that is, the time when one frame starts. 1/30 second, which is the time from t1 at which one frame is started to t6 at which the image signal is read, corresponds to one shooting cycle. As a shooting condition, by accumulating and adding 1/960 second exposure performed during one 1/30 second shooting cycle 8 times, the exposure amount equivalent to 1/120 second equivalent to the case of using the ND filter Is obtained. During one shooting cycle, the
時刻t1において、垂直同期信号φVがハイレベルになり、同時に水平同期信号φH
がハイレベルになる。時刻t2において、第na行の転送パルスφTX2A(na)が、ハイレベルとなると、第na行の第2の転送トランジスタ502Aがオンとなる。このとき、既に全行のリセットパルスφRES(na)がハイレベルになり、リセットトランジスタ504がオン状態になっているので、第na行のフローティングディフュージョン領域508、第1の信号保持部507Aがリセットされる。なお、時刻t2には、第na行の選択パルスφSEL(na)は、ローレベルになっている。
At time t1, the vertical sync signal φV becomes high level, and at the same time, the horizontal sync signal φH
Becomes a high level. At time t2, when the transfer pulse φTX2A (na) in the nath row reaches a high level, the
時刻t31において、第na行の転送パルスφTX3(na)がローレベルとなると、第3の転送トランジスタ503がオフとなり、第1行のフォトダイオード500のリセットが解除されて、フォトダイオード500で電荷の蓄積が開始される。以下の説明では、信号電荷を単に電荷と記述する。
At time t31, when the transfer pulse φTX3 (na) in the nath row becomes low level, the
時刻t41において、第na行の転送パルスφTX1(na)がハイレベルとなると、第1の転送トランジスタ501Aがオンとなり、フォトダイオード500に蓄積された電荷が、第na行の電荷を保持する信号保持部507Aに転送される。時刻t51において、第1行の転送パルスφTX1A(na)がローレベルとなると、第3の転送トランジスタ501Aがオフとなり、フォトダイオード500に蓄積された電荷の信号保持部507Aへの転送が終了する。同時に、第na行の転送パルスφTX3(na)がハイレベルとなり、第3の転送トランジスタ503がオンとなり、第na行のフォトダイオード500がリセットされて、フォトダイオード500での電荷の蓄積が終了する。
At time t41, when the transfer pulse φTX1 (na) in the nath row becomes high level, the
時刻t31から時刻t51が、1撮影周期における1回の蓄積時間1/960秒に相当し、右上がり斜線部領域の蓄積時間602−1として図示される。上記のような蓄積動作が離散的に8回行われる。各々の蓄積動作に対応する蓄積時間(分割露光時間)が、右上がり斜線部領域の蓄積時間602−1〜602−8として図示される。なお、蓄積時間602−2〜602−8における制御動作は、蓄積時間602−1における制御動作と同様であるので、説明を省略する。 The time t31 to the time t51 correspond to one accumulation time of 1/960 seconds in one shooting cycle, and are shown as the accumulation time 602-1 of the upward-sloping shaded area. The accumulation operation as described above is performed discretely eight times. The accumulation time (divided exposure time) corresponding to each accumulation operation is shown as the accumulation time 602-1 to 602-8 in the upward-sloping shaded area. Since the control operation during the accumulation time 602 to 602-8 is the same as the control operation during the accumulation time 602-1, the description thereof will be omitted.
時刻t6において、第na行のリセットパルスφRES(1)がローレベルとなると、第na行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第na行の転送パルスφTX2A(na)と、第na行の選択パルスφSEL(na)がハイレベルとなると、第na行の転送トランジスタ502Aと選択トランジスタ506がオンとなって、第na行の画像信号の読み出しが可能となる。さらに、フローティングディフュージョン領域508の電位の変化に応じた出力が、増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出され、不図示の読み出し回路に供給されて、第na行の画像信号として外部に出力される。時刻t6において、垂直同期信号φVがハイレベルになり、次の撮影周期が開始される。
At time t6, when the reset pulse φRES (1) in the nath row becomes low level, the
図7は、撮像素子の第2の駆動シーケンスを示すタイミングチャートの一例である。
撮像装置は、露光を第2の分割数(図7では1)で分割して、分割後の分割露光時間で蓄積を行い、1フレームでの蓄積により、参照画像に係る画像信号を得る。参照画像は、本画像との輝度情報の差を検出するために用いられる。
FIG. 7 is an example of a timing chart showing a second drive sequence of the image sensor.
The image pickup apparatus divides the exposure by a second number of divisions (1 in FIG. 7), accumulates the exposure at the divided exposure time after the division, and obtains an image signal related to the reference image by accumulating in one frame. The reference image is used to detect the difference in luminance information from this image.
図7中のφSEL(nb)の立ち上がり時刻t1+Δtは、図6に示すt1で撮影周期(1フレーム)が開始される時刻に、任意の時間増分が足された時刻を示す。図7に示す各時刻は、この時間増分が足された状態を示すために、すべての時刻に対して、+Δtを記載している。時間増分が足される理由は、動画撮影では、1撮影周期で1行目からm行目まで取得された画像を、順番に読み込んで行くためである。フレームが開始されるt1+Δtから画像信号が読み出されるt6+Δtまでの時間である1/30秒が1撮影周期に相当する。 The rising time t1 + Δt of φSEL (nb) in FIG. 7 indicates the time when an arbitrary time increment is added to the time when the shooting cycle (1 frame) is started at t1 shown in FIG. For each time shown in FIG. 7, + Δt is described for all the times to indicate the state in which this time increment is added. The reason why the time increment is added is that in the moving image shooting, the images acquired from the first line to the mth line in one shooting cycle are read in order. 1/30 second, which is the time from t1 + Δt when the frame is started to t6 + Δt when the image signal is read out, corresponds to one shooting cycle.
撮像装置は、例えば、1/30秒の1撮影周期中に行われる1/120秒の1回の蓄積により、NDフィルタを使用した場合と等価な1/120秒相当の露光量を得る。1撮影周期中において、タイミング発生部189及びシステム制御CPU178によって撮像素子184が制御される。時刻t1において、垂直同期信号φVがハイレベルになり、同時に水平同期信号φHがハイレベルになる。時刻t2+Δtにおいて、第1行の転送パルスφTX2(nb)がハイレベルとなると、第m行の第2の転送トランジスタ502Aがオンとなる。このとき、既に全行のリセットパルスφRES(nb)がハイレベルになり、リセットトランジスタ504がオン状態になっているので、第nb行のフローティングディフュージョン領域508、第1の信号保持部507Aがリセットされる。なお、時刻t2+Δtには、第nb行の選択パルスφSEL(nb)は、ローレベルになっている。
The image pickup apparatus obtains an exposure amount equivalent to 1/120 second, which is equivalent to the case where the ND filter is used, by, for example, one accumulation of 1/120 second performed in one shooting cycle of 1/30 second. During one shooting cycle, the
時刻t3+Δtにおいて、第nb行の転送パルスφTX3(nb)がローレベルとなると、第3の転送トランジスタ503がオフとなり、第nb行のフォトダイオード500のリセットが解除されて、フォトダイオード500で電荷の蓄積が開始される。
At time t3 + Δt, when the transfer pulse φTX3 (nb) in the nb line becomes low level, the
時刻t4+Δtにおいて、第nb行の転送パルスφTX1(nb)がハイレベルとなると、第1の転送トランジスタ501Aがオンとなり、フォトダイオード500に蓄積された電荷が、第m行の電荷を保持する信号保持部507Aに転送される。時刻t5+Δtにおいて、第nb行の転送パルスφTX1(nb)がローレベルとなると、第3の転送トランジスタ501Aがオフとなり、フォトダイオード500に蓄積された電荷の信号保持部507Aへの転送が終了する。同時に、第nb行の転送パルスφTX3(nb)がハイレベルとなり、第3の転送トランジスタ503がオンとなり、第nb行のフォトダイオード500がリセットされ、フォトダイオード500での電荷の蓄積が終了する。
At time t4 + Δt, when the transfer pulse φTX1 (nb) in the nb row becomes high level, the
時刻t3+Δtから時刻t5+Δtが、1撮影周期における1回の蓄積時間1/120秒に相当し、右上がり斜線部領域の蓄積時間602として図示される。時刻t6+Δtにおいて、第nb行のリセットパルスφRES(nb)がローレベルとなると、第nb行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第nb行の転送パルスφTX2A(nb)と、第nb行の選択パルスφSEL(nb)がハイレベルとなると、第nb行の転送トランジスタ502Aと選択トランジスタ506がオンとなって、第nb行の画像信号の読み出しが可能となる。さらに、フローティングディフュージョン領域508の電位の変化に応じた出力が、増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出され、不図示の読み出し回路に供給されて、第nb行の画像信号として外部に出力される。時刻t6+Δtにおいて、垂直同期信号φVがハイレベルになり、次の撮影周期が開始される。
The time t3 + Δt to the time t5 + Δt correspond to one
図8は、輝度情報の差を検出する構成の一例を説明する図である。
デジタル信号処理部187は、第1信号処理部187aと第2信号処理部187bとを有する。第1信号処理部187aは、本画像を生成する。第2信号処理部187bは、参照画像を生成する。また、システム制御CPU178は、出力画像生成部178bと画像比較処理部178とを有する。出力画像生成部178bは、本画像の映像としての出力処理を実行する。画像比較処理部178は、本画像と参照画像とを比較する。タイミング発生部189は、第1分割数制御部189aと第2分割数制御部189bとを有する。第1分割数制御部189aは、第1の分割数すなわち本画像を取得する際の露光の分割数を制御する。第2分割数制御部189bは、第2の分割数すなわち参照画像を取得する際の露光の分割数を制御する。
FIG. 8 is a diagram illustrating an example of a configuration for detecting a difference in luminance information.
The digital
タイミング発生部189により、露光の分割数の制御が行われ、撮像素子184により、結像された被写体の光学像が電気的な映像信号に変換される。変換された映像信号は、デジタル信号処理部187に入力される。本画像を生成する第1信号処理部187aに、第1の分割数で分割した露光によって得られる画像信号が入力される。また、参照画像を生成する第1信号処理部187bに、第2の分割数で分割した露光によって得られる画像信号が入力される。入力された映像信号に対して、デジタル信号処理部187が、各種の補正を行い、映像出力および輝度情報の差の検出に使用される本画像と、輝度情報の差の検出に使用される参照画像とが生成される。生成された本画像と参照画像は、システム制御CPU178に入力される。システム制御CPU178内の画像比較処理部178aが、本画像と参照画像とを比較し、輝度情報の差を算出する。
The
輝度情報の差(輝度情報差)が基準(所定範囲)を超えている場合、画像比較処理部178aが、輝度情報の差を補正するための制御情報をタイミング発生部189に送信する。タイミング発生部189は、画像比較処理部178aから受信した制御情報に基づいて、第1の分割数を変更し、変更された第1の分割数を撮像素子184へ反映させる。具体的には、タイミング発生部189は、第1の分割数を小さくすることによって、次回の撮影周期以降(撮影期間以降)に得られる本画像の輝度情報を補正する。これにより、輝度情報差を所定範囲内とすることができる。露光の分割数が変更された後に撮像素子184から出力された信号に対して、第1信号処理部187aが各種の画像処理を施し、本画像を生成する。生成された本画像は、システム制御CPU178に入力され、出力画像生成部178bにより、映像としての出力処理が行われる。
When the difference in luminance information (difference in luminance information) exceeds the reference (predetermined range), the image
図9は、撮像装置の動作処理の例を説明するフローチャートである。
図9に示す動作処理は、システム制御CPU178とタイミング発生部189の制御によって実現される。
FIG. 9 is a flowchart illustrating an example of operation processing of the image pickup apparatus.
The operation processing shown in FIG. 9 is realized by the control of the
S101において、処理が開始する。S102において、システム制御CPU178が、本画像の平均輝度情報aを算出する。また、S103において、システム制御CPU178が、参照画像の平均輝度情報bを算出する。S104において、システム制御CPU178が、本画像の平均輝度情報aと参照画像の平均輝度情報bとの差分|a−b|を求め、輝度情報差Eを算出する。続いて、S105において、システム制御CPU178が、輝度情報差Eが閾値Cを超えているかを判断する。輝度情報差Eが閾値Cを超えていない場合は、処理がS107に進む。S107において、処理が終了する。輝度情報差Eが閾値Cを超えている場合は、処理がS106に進む。
In S101, the process starts. In S102, the
S106において、システム制御CPU178が、タイミング発生部189を制御して、次回の撮影周期以降における露光の分割数を小さくする。これにより、画像比較による露光の分割数のフィードバックが行われ、次回の撮影周期以降において取得される本画像が、分割数が少ない画像に近づくように補正される。例えば、動画撮影の場合には、画像比較時には、既に次回の撮影周期の画像蓄積が開始されるので、次々回の撮影周期について、露光の分割数のフィードバックが行われる。
In S106, the
図10は、撮影時の露光の分割数と輝度情報との関係を示す図である。
図10(A)と図10(B)とでは、撮影されている被写体の明るさが異なる。K1、K2は、露光の分割数が1の時の平均輝度情報を示す。一点鎖線K1L、K2Lは、露光の分割を行っても輝度情報が変化しない理想線を示す。+dK1から−dK1の範囲、及び+dK2から−dK2の値の範囲は、輝度情報の変化の許容範囲を示す。図10(A)に対応する被写体の明るさは、図10(B)に対応する被写体より明るく、平均輝度情報K1とK2とは、以下の関係にある。
K1>K2
FIG. 10 is a diagram showing the relationship between the number of divided exposures at the time of shooting and the luminance information.
The brightness of the subject being photographed differs between FIG. 10 (A) and FIG. 10 (B). K1 and K2 indicate average luminance information when the number of exposure divisions is 1. The alternate long and short dash lines K1L and K2L indicate ideal lines in which the luminance information does not change even if the exposure is divided. The range from + dK1 to −dK1 and the range from + dK2 to −dK2 indicate the permissible range of change in luminance information. The brightness of the subject corresponding to FIG. 10A is brighter than that of the subject corresponding to FIG. 10B, and the average luminance information K1 and K2 have the following relationship.
K1> K2
図10(A),(B)における実線は、露光の分割を行った場合、分割数が大きいほど、輝度が下がっていることを示す。これは、分割された露光ごとにメモリへ情報転送する際にキャリアが消失するので、露光比率から求められる理想的な輝度情報に対して誤差が発生するためである。図10(A)と図10(B)とを比較すると、被写体輝度が低いほうが、露光の分割による輝度情報の変化が大きいことがわかる。露光により蓄積されるキャリアに対して転送で消失するキャリアの割合が大きくなるからである。生成される画像が輝度情報の低下後であるので、被写体の輝度情報の変化と露光の分割による輝度情報の変化を区別できないという問題がある。 The solid lines in FIGS. 10A and 10B indicate that when the exposure is divided, the larger the number of divisions, the lower the brightness. This is because the carrier disappears when the information is transferred to the memory for each divided exposure, so that an error occurs with respect to the ideal luminance information obtained from the exposure ratio. Comparing FIG. 10A and FIG. 10B, it can be seen that the lower the subject luminance, the greater the change in the luminance information due to the division of exposure. This is because the ratio of carriers that are lost by transfer to the carriers that are accumulated by exposure is large. Since the generated image is after the decrease in the luminance information, there is a problem that the change in the luminance information of the subject and the change in the luminance information due to the division of exposure cannot be distinguished.
図11は、本実施形態における露光の分割数の制御による効果を説明する図である。
図11(A)は、第1の分割数で分割された露光で取得される本画像を示す。図11(B)は、第2の分割数で分割された露光で取得される参照画像を示す。図11(C)は、補正後の本画像を示す。図11(A)乃至図11(C)では、画像を表現する斜線の間隔が、輝度情報の大きさに対応している。図11(A)の本画像と、図11(B)の参照画像とを比較することにより、被写体の輝度変化と区別して、露光の分割による輝度情報の変化を検出することができる。そして、輝度情報の検出結果から、輝度情報の変化が許容範囲に収まる適切な分割数を決定し、図11(C)に示す画像を出力することができる。
FIG. 11 is a diagram illustrating the effect of controlling the number of exposure divisions in the present embodiment.
FIG. 11A shows the present image acquired by the exposure divided by the first number of divisions. FIG. 11B shows a reference image acquired by the exposure divided by the second number of divisions. FIG. 11C shows the corrected image. In FIGS. 11A to 11C, the intervals between the diagonal lines representing the image correspond to the magnitude of the luminance information. By comparing the main image of FIG. 11 (A) with the reference image of FIG. 11 (B), it is possible to detect the change in the luminance information due to the division of the exposure, distinguishing it from the change in the luminance of the subject. Then, from the detection result of the luminance information, an appropriate number of divisions within which the change in the luminance information falls within the allowable range can be determined, and the image shown in FIG. 11C can be output.
図12は、撮影時の露光の分割数と輝度情報との関係の具体例を示す図である。
前述した図11に対応する第1の分割数は、66、第2の分割数は、1であるものとする。図12に示すグラフからは、露光の分割数が、約32より小さければ許容範囲内となる。分割数が約66である場合、輝度情報はK3aとなるので、許容範囲から外れていることがわかる。撮像装置が、露光の分割数を下げる制御を行い、例えば第1の分割数を24とすれば、輝度情報がK3bとなり、輝度情報の変化が許容範囲内となる。
FIG. 12 is a diagram showing a specific example of the relationship between the number of divided exposures at the time of shooting and the luminance information.
It is assumed that the number of first divisions corresponding to FIG. 11 described above is 66 and the number of second divisions is 1. From the graph shown in FIG. 12, if the number of exposure divisions is smaller than about 32, it is within the permissible range. When the number of divisions is about 66, the luminance information is K3a, so it can be seen that it is out of the permissible range. If the image pickup apparatus controls to reduce the number of divisions of the exposure, for example, if the first number of divisions is 24, the luminance information becomes K3b, and the change of the luminance information is within the permissible range.
撮像装置が、露光の分割数を、輝度情報の変化が許容範囲内にある限り、出来るだけ大きい分割数に変更するのが好ましい。露光の分割数が少なくなると、動体表現が不自然になるが、輝度情報の変化が許容範囲内にある限り、分割数を多くすることで、動体の表現の不自然化を抑えつつ、高精度に輝度情報を補正できる。 It is preferable that the image pickup apparatus changes the number of divisions of the exposure to the maximum number of divisions as long as the change of the luminance information is within the allowable range. When the number of exposure divisions is small, the moving object expression becomes unnatural, but as long as the change in luminance information is within the permissible range, by increasing the number of divisions, the unnatural expression of the moving object is suppressed and high accuracy is achieved. Brightness information can be corrected.
以上のことから、本実施形態の撮像装置によれば、輝度情報の変化が許容範囲に収まらない場合は、適切な分割数を求めて、画像の補正を行うことができる。また、撮像装置は、輝度情報の変化が許容範囲内である場合は、分割数を下げる制御は行わない。したがって、本実施形態によれば、分割数を必要以上に下げてしまわず、動体の表現が不自然になってしまうことを抑制できる。また、本実施形態では、撮像に使用する撮像素子からの情報を基に輝度情報の変化を求めるので、輝度情報を測定するための輝度センサ等を別途設ける必要がなく、カメラ構成が複雑化しない。なお、図3に示すように、撮像素子が備える1つの画素部が2つの信号保持部を有しているが、第1実施形態は、1つの信号保持部で実現可能である。もちろん、2つの信号保持部を利用し、本画像に係る電荷と参照画像に係る電荷とを異なる信号保持部に蓄積するようにしてもよい。 From the above, according to the image pickup apparatus of the present embodiment, when the change in the luminance information does not fall within the permissible range, it is possible to obtain an appropriate number of divisions and correct the image. Further, the image pickup apparatus does not control to reduce the number of divisions when the change of the luminance information is within the allowable range. Therefore, according to the present embodiment, it is possible to prevent the number of divisions from being reduced more than necessary and to prevent the expression of the moving object from becoming unnatural. Further, in the present embodiment, since the change in the luminance information is obtained based on the information from the image sensor used for imaging, it is not necessary to separately provide a luminance sensor or the like for measuring the luminance information, and the camera configuration is not complicated. .. As shown in FIG. 3, one pixel unit included in the image pickup device has two signal holding units, but the first embodiment can be realized by one signal holding unit. Of course, two signal holding units may be used to store the charges related to the present image and the charges related to the reference image in different signal holding units.
本実施形態では、露光の分割数を変更し、画像の輝度情報を補正しているが、撮像装置は、露光の分割によって得られる各々の分割露光時間を変更し、1撮影周期中の総露光量を減少させ、画像の輝度情報を補正するようにしてもよい。撮像装置は、例えば、図6における蓄積時間602−1〜602−8を減少させることで、1撮影周期の総露光量を変更する。 In the present embodiment, the number of divided exposures is changed to correct the luminance information of the image, but the imaging device changes each divided exposure time obtained by dividing the exposure, and the total exposure during one shooting cycle. The amount may be reduced to correct the luminance information of the image. The image pickup apparatus changes the total exposure amount in one imaging cycle by, for example, reducing the accumulation time 602 to 602-8 in FIG.
(第2実施形態)
次に、第2実施形態について説明する。第1実施形態と同様の部分については、同じ番号を付すことで説明を省略する。第2実施形態の撮像装置が第1実施形態の撮像装置と異なる点は、撮像装置が、画素部内の複数(例えば2つ)の信号保持部に、異なる露光の分割数で得られた電荷を蓄積する点である。図3を参照して説明したように、1つの画素部内には、第1信号保持部507Aと第2信号保持部507Bが設けられている。この2つの信号保持部を適用して、1撮影期間内で、本画像と参照画像とを取得することができる。第1信号保持部507Aが、本画像を保存する第1の保存部として機能する。また、第2信号保持部507Bが、参照画像を保存する第2の保存部として機能する。2つの信号保持部を利用して、異なる分割数で分割された露光で得られた2つの画像を取得することで、画素ごとの輝度情報の比較が可能となる。
(Second Embodiment)
Next, the second embodiment will be described. The same parts as those in the first embodiment are designated by the same numbers, and the description thereof will be omitted. The image pickup apparatus of the second embodiment is different from the image pickup apparatus of the first embodiment in that the image pickup apparatus applies charges obtained by different exposure divisions to a plurality of (for example, two) signal holding portions in the pixel portion. It is a point to accumulate. As described with reference to FIG. 3, a first
図13は、撮像素子の駆動シーケンスを示すタイミングチャートである。
シャッタ速度1/30秒の設定で動画撮影を行うことを想定する。撮像装置は、1フレーム中での蓄積を加算することにより、画像信号を得る。
FIG. 13 is a timing chart showing the drive sequence of the image sensor.
It is assumed that moving images are taken with a shutter speed of 1/30 second. The image pickup apparatus obtains an image signal by adding the accumulations in one frame.
撮像素子184は、図5に示すように、垂直方向に複数行の画素列がある。図13には、図5に示す第na行に関する制御動作のタイミングが示される。この制御動作と同様の制御動作が水平同期信号φHにより垂直方向に走査されることで、撮像素子184の全画素の蓄積動作が行われる。
垂直同期信号φVの立ち上がり時刻t1は、1撮影周期(1フレーム)の開始される時刻を示す。また、1フレームが開始されるt1から画像信号が読み出されるt9までの時間である1/30秒が、1撮影周期に相当する。第1信号保持部507Aで生成される画像に対応する露光の分割数は8である。撮像装置は、1/30秒の1撮影周期中に行われる1/960秒の露光を8回蓄積、加算することにより、NDフィルタを使用した場合と等価な1/120秒相当の露光量を得ることができる。第2信号保持部507Bで生成される画像に係る露光の分割数は1であり、1フレーム中に1/120秒の1度の連続した蓄積が行われる。
As shown in FIG. 5, the
The rising time t1 of the vertical synchronization signal φV indicates the start time of one shooting cycle (one frame). Further, 1/30 second, which is the time from t1 at which one frame is started to t9 at which the image signal is read, corresponds to one shooting cycle. The number of exposure divisions corresponding to the image generated by the first
時刻t1において、垂直同期信号φVがハイレベルになり、同時に水平同期信号φHがハイレベルになる。時刻t2において、第na行の転送パルスφTX2A(na)及びφTX2B(na)がハイレベルとなると、第na行の第2の転送トランジスタ502A及び、502Bがオンとなる。このとき既に全行のリセットパルスφRES(na)がハイレベルになり、リセットトランジスタ504がオン状態になっている。したがって、第na行のフローティングディフュージョン領域508、第1の信号保持部507A及び第2の信号保持部507Bがリセットされる。なお、時刻t2には、第na行の選択パルスφSEL(na)はローレベルになっている。
At time t1, the vertical synchronization signal φV becomes high level, and at the same time, the horizontal synchronization signal φH becomes high level. At time t2, when the transfer pulses φTX2A (na) and φTX2B (na) in the nath row become high levels, the
時刻t31において、第na行の転送パルスφTX3(na)がローレベルとなると、第3の転送トランジスタ503がオフとなり、第1行のフォトダイオード500のリセットが解除されて、フォトダイオード500で電荷の蓄積が開始される。時刻t41において、第na行の転送パルスφTX1A(na)がハイレベルとなると、第1の転送トランジスタ501Aがオンとなり、フォトダイオード500に蓄積された電荷が、第na行の電荷を保持する第1信号保持部507Aに転送される。
At time t31, when the transfer pulse φTX3 (na) in the nath row becomes low level, the
時刻t51において、第1行の転送パルスφTX1A(na)がローレベルとなると、第3の転送トランジスタ501Aがオフとなり、フォトダイオード500に蓄積された電荷の第1信号保持部507Aへの転送が終了する。同時に、第na行の転送パルスφTX3(na)がハイレベルとなり、第3の転送トランジスタ503がオンとなり、第na行のフォトダイオード500がリセットされて、フォトダイオード500での電荷の蓄積が終了する。
At time t51, when the transfer pulse φTX1A (na) in the first row becomes low level, the
時刻t31から時刻t51が、1撮影周期における1回の蓄積時間1/960秒に相当し、右上がり斜線部領域の蓄積時間602−1として図示される。上記のような蓄積動作が離散的に8回行われる。各々の蓄積動作に対応する蓄積時間(分割露光時間)が、右上がり斜線部領域の蓄積時間602−1〜602−8として図示される。なお、蓄積時間602−2〜602−8における制御動作は、蓄積時間602−1における制御動作と同様であるので、説明を省略する。 The time t31 to the time t51 correspond to one accumulation time of 1/960 seconds in one shooting cycle, and are shown as the accumulation time 602-1 of the upward-sloping shaded area. The accumulation operation as described above is performed discretely eight times. The accumulation time (divided exposure time) corresponding to each accumulation operation is shown as the accumulation time 602-1 to 602-8 in the upward-sloping shaded area. Since the control operation during the accumulation time 602 to 602-8 is the same as the control operation during the accumulation time 602-1, the description thereof will be omitted.
時刻t6において、第na行のリセットパルスφRES(1)がローレベルとなると、第na行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第na行の転送パルスφTX2A(na)と第na行の選択パルスφSEL(na)がハイレベルとなると、第na行の転送トランジスタ502Aと第na行の選択トランジスタ506がオンとなって、第na行の画像信号の読み出しが可能となる。
At time t6, when the reset pulse φRES (1) in the nath row becomes low level, the
第1信号保持部507Aにおいて、フローティングディフュージョン領域508の電位の変化に応じた信号が、増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出される。信号出力線523に読み出された信号が、不図示の読み出し回路に供給されて、本画像に係る画像情報として外部に出力される。時刻t7において、第na行の転送パルスφTX3(na)がローレベルとなると、第3の転送トランジスタ503がオフとなり、第1行のフォトダイオード500のリセットが解除されて、フォトダイオード500で電荷の蓄積が開始される。時刻t7から時刻t9が、1撮影周期における1回の蓄積時間1/120秒に相当し、右上がり斜線部領域の蓄積時間603−1として図示される。
In the first
時刻t8において、第na行の転送パルスφTX1B(na)がハイレベルとなると、第1の転送トランジスタ501Bがオンとなり、フォトダイオード500に蓄積された電荷が、第na行の電荷を保持する第2信号保持部507Bに転送される。時刻t9において、第1行の転送パルスφTX1B(na)がローレベルとなると、第3の転送トランジスタ501Bがオフとなり、フォトダイオード500に蓄積された電荷の第2信号保持部507Bへの転送が終了する。同時に、第na行の転送パルスφTX3(na)がハイレベルとなり、第3の転送トランジスタ503がオンとなり、第na行のフォトダイオード500がリセットされて、フォトダイオード500での電荷の蓄積が終了する。
At time t8, when the transfer pulse φTX1B (na) in the nath row becomes high level, the
時刻t10において、第na行のリセットパルスφRES(1)がローレベルとなると、第na行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第na行の転送パルスφTX2B(na)と第na行の選択パルスφSEL(na)がハイレベルとなると、第na行の転送トランジスタ502Bと第na行の選択トランジスタ506とがオンとなって、第na行の画像信号の読み出しが可能となる。
At time t10, when the reset pulse φRES (1) in the nath row becomes low level, the
第2信号保持部507Bにおいて、フローティングディフュージョン領域508の電位の変化に応じた信号が、増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出される。信号出力線523に読み出された信号が、不図示の読み出し回路に供給されて、参照画像に係る画像情報として外部に出力される。時刻t10において、垂直同期信号φVがハイレベルになり、次の撮影周期が開始される。
In the second
図14は、輝度情報の差を検出する構成の一例を説明する図である。
図8を参照して説明した第1実施形態との差異を中心に説明する。
第1信号処理部187によって生成された本画像と、第2信号処理部187bによって生成された参照画像とが、システム制御CPU178が有する画像比較処理部178aに入力される。画像比較処理部178aが、本画像と参照画像とを比較し、輝度情報の差を算出する。輝度情報の差(輝度情報差)が基準(所定範囲)を超えている場合、画像比較処理部178aが、輝度情報の差を補正するための制御情報を出力画像生成部178bに送信する。出力画像生成部178bは、画像比較処理部178aから受信した制御情報に基づいて、本画像の輝度情報を補正する。これにより、今回の撮影周期で取得された本画像が、分割数が少ない画像に近づくように補正される。
FIG. 14 is a diagram illustrating an example of a configuration for detecting a difference in luminance information.
The difference from the first embodiment described with reference to FIG. 8 will be mainly described.
The main image generated by the first
図15は、第2実施形態の効果を説明する図である。
図15(A)は、第1信号処理部187aによって生成された本画像を示す。図15(B)は、第2信号処理部187bによって生成された参照画像を示す。図15(C)は、補正後の本画像を示す。図15(A)乃至図15(C)では、画像を表現する斜線の間隔が、輝度情報の大きさに対応している。
FIG. 15 is a diagram illustrating the effect of the second embodiment.
FIG. 15A shows the present image generated by the first
図15(A),(B)に示す各画像内の(na)、(ma)、(nb)、(mb)は、画素の位置を示す。画素の位置関係は、(na)と(nb)、(ma)と(mb)がそれぞれ同じ位置関係である。 (Na), (ma), (nb), and (mb) in each image shown in FIGS. 15 (A) and 15 (B) indicate pixel positions. As for the positional relationship of the pixels, (na) and (nb) and (ma) and (mb) have the same positional relationship.
露光の分割数が多いとキャリア損失の影響で輝度情報が減少してしまう。したがって、上記画像のそれぞれの画素の輝度情報X(na)、X(nb)、X(ma)、X(mb)を比較すると、以下のような関係になる。
X(na)<X(nb) ・・・式(1)
X(ma)<X(mb) ・・・式(2)
If the number of exposure divisions is large, the luminance information is reduced due to the influence of carrier loss. Therefore, when the luminance information X (na), X (nb), X (ma), and X (mb) of each pixel of the above image are compared, the relationship is as follows.
X (na) <X (nb) ... Equation (1)
X (ma) <X (mb) ・ ・ ・ Equation (2)
また、仮に、露光を分割せずに生成された画像を(K)とし、それぞれ対応する画素を(nK)、(mK)とし、それぞれの画素の輝度情報X(nK)、X(mK)を理想の輝度情報とすと、以下の式(3)、式(4)に示す関係が成り立つ。
露光の分割によるキャリア損失の影響が少ない画素X(nb)、X(mb)が理想輝度情報X(nK)、X(mK)に近くなることがわかる。
X(na)<X(nb)≒X(nK) ・・・式(3)
X(ma)<X(mb)≒X(mK) ・・・式(4)
Further, suppose that the image generated without dividing the exposure is (K), the corresponding pixels are (nK) and (mK), and the luminance information X (nK) and X (mK) of the respective pixels are used. Assuming the ideal luminance information, the relationships shown in the following equations (3) and (4) are established.
It can be seen that the pixels X (nb) and X (mb), which are less affected by the carrier loss due to the division of exposure, are close to the ideal luminance information X (nK) and X (mK).
X (na) <X (nb) ≒ X (nK) ... Equation (3)
X (ma) <X (mb) ≒ X (mK) ・ ・ ・ Equation (4)
第2実施形態では、画像比較処理部178aが、図15(A)に示す本画像と、図15(B)に示す参照画像とで、それぞれ対応する画素毎に輝度情報を比較し、輝度情報の差を算出する。画像比較処理部178aは、算出された輝度情報の差に基づいて、輝度情報の差を補正するための制御情報を生成する。出力画像生成部178bが、生成された制御情報に基づいて、本画像の輝度情報の倍率を変化させ、適正な輝度情報へ補正した画像を出力する。これにより、本画像を分割数が少ない画像に近づくように補正することができる。
In the second embodiment, the image
図16は、画素nと画素mの輝度情報の例を示す図である。
図16(A)に示すように、(na)画素の輝度情報が100、(nb)画素の輝度情報が200、(nK)画素の輝度情報が205である場合を想定する。(na)画素の輝度情報を約2.0倍にすれば、適正な輝度情報205に近くなるように画像の補正を行うことができる。また、例えば、図16(B)に示すように、(ma)画素の輝度情報が、50、(nb)画素の輝度情報が、60、(mK)画素の輝度情報が、65である場合を想定する。輝度情報の倍率を約1.2倍にすれば、適正な輝度情報65に近くなるように画像の補正を行うことができる。上述した例では、撮像装置は、本画像と参照画像の画素ごとに輝度情報を比較し、輝度情報の差に対して輝度情報の倍率を補正する。撮像装置が、本画像と参照画像の行ごとに輝度情報を比較、輝度情報の差を算出し、輝度情報の差に応じて、撮像素子184において電荷の増幅を行い、画像の輝度情報を補正してもよい。第2実施形態によれば、露光の分割数を変更することなく、画像の補正を行うことができる。したがって、分割数を必要以上に下げてしまうことがなく、動体の表現が不自然になってしまうことを抑制できる。
FIG. 16 is a diagram showing an example of luminance information of pixel n and pixel m.
As shown in FIG. 16A, it is assumed that the luminance information of the (na) pixel is 100, the luminance information of the (nb) pixel is 200, and the luminance information of the (nK) pixel is 205. By multiplying the luminance information of the (na) pixel by about 2.0 times, the image can be corrected so as to be close to the
(第3実施形態)
次に、第3実施形態について説明する。画像を生成するための露光の分割に関する構成は、第1実施形態と同様である。第3実施形態の撮像装置は、撮像素子の画面外領域を、参照画像を取得する第2の領域として用いる。画面外領域は、撮影モードに応じて表示または記録のために画像信号が出力されるか否かを変更可能な領域である。具体的には、動画撮影モードでは表示または記録のために画像信号が出力されない領域を画面外領域とする。
(Third Embodiment)
Next, the third embodiment will be described. The configuration relating to the division of exposure for generating an image is the same as that of the first embodiment. The image pickup apparatus of the third embodiment uses the off-screen region of the image pickup device as a second region for acquiring a reference image. The off-screen area is an area in which it is possible to change whether or not an image signal is output for display or recording according to the shooting mode. Specifically, in the moving image shooting mode, the area where the image signal is not output for display or recording is defined as the off-screen area.
図17は、静止画撮影モードで生成された画像の画像サイズと、動画撮影モードで生成された画像の画像サイズとを示す図である。
実線で囲んだ範囲が、撮像素子184で撮像可能な領域であるとともに、静止画撮影モードで生成される静止画の領域(静止画領域)である。実線内部の右上がり斜線部で示した範囲が、動画撮影モードで生成される動画の領域(動画領域)である。図17に示す例では、静止画領域では、画面比率4:3である。動画領域では、画面比率16:9である。したがって、動画撮影モードでは、静止画撮影モードに対して、表示または記録のために画像信号が出力される領域が、縦方向に縮み、画面に表示されない画面外領域が発生する。画面外領域においても、撮像光学系を通して被写体光は入射している。
FIG. 17 is a diagram showing an image size of an image generated in the still image shooting mode and an image size of an image generated in the moving image shooting mode.
The range surrounded by the solid line is a region that can be imaged by the
図18は、動画撮影モードでの、画面内領域と画面外領域の一例を示す図である。
図18では、画面内領域(a)で生成される画像を本画像とする。この例では、画面内領域(a)は、動画撮影モードにおいて、表示または記録のために画像信号が出力される領域である。また、画面外領域(b1)と画面外領域(b2)とを有する画面外領域で生成される画像を参照画像とする。画面内領域(a)と画面外領域とは、互いに近接する領域同士で比較することが望ましい。近接した領域であれば、入射する被写体像はほぼ同じとなるからである。画面領域(a)内のna1と,画面外領域(b1)内のnb1とが、近接する領域である。したがって、撮像装置は、na1を本画像の中の参照画像と比較する領域とし、nb1を参照画像の中の本画像と比較する領域とする。
FIG. 18 is a diagram showing an example of an in-screen area and an out-of-screen area in the moving image shooting mode.
In FIG. 18, the image generated in the in-screen area (a) is used as the main image. In this example, the in-screen area (a) is an area in which an image signal is output for display or recording in the moving image shooting mode. Further, an image generated in the off-screen area having the off-screen area (b1) and the off-screen area (b2) is used as a reference image. It is desirable to compare the in-screen area (a) and the out-of-screen area with each other in close proximity to each other. This is because the incident subject images are almost the same in close regions. The na1 in the screen area (a) and the nb1 in the off-screen area (b1) are adjacent areas. Therefore, the image pickup apparatus sets na1 as a region to be compared with the reference image in the main image, and nb1 as a region to be compared with the main image in the reference image.
図19および図20は、撮影時の環境温度に応じた、露光の分割数と輝度情報との関係の一例を示す図である。
図19(A)は、環境温度T1で撮影した場合の、露光の分割数と輝度情報との関係を示す。また、図19(B)および図20は、環境温度T2で撮影した場合の、露光の分割数と輝度情報との関係を示す。
19 and 20 are diagrams showing an example of the relationship between the number of exposure divisions and the luminance information according to the environmental temperature at the time of shooting.
FIG. 19A shows the relationship between the number of exposure divisions and the luminance information when the image is taken at the ambient temperature T1. Further, FIGS. 19B and 20 show the relationship between the number of exposure divisions and the luminance information when the image is taken at the ambient temperature T2.
図19および図20に示すK1、K2は、分割数が1の時の平均輝度情報を示す。一点鎖線K1L、K2Lは、分割による露光を行っても輝度情報が変化しない理想線を示している。+dK1から−dK1の範囲、+dK2から−dK2の範囲は、輝度情報の変化の許容範囲を示す。 K1 and K2 shown in FIGS. 19 and 20 show average luminance information when the number of divisions is 1. The alternate long and short dash lines K1L and K2L indicate ideal lines whose luminance information does not change even when exposure is performed by division. The range from + dK1 to −dK1 and the range from + dK2 to −dK2 indicate the allowable range of change in the luminance information.
実線は、分割による露光を行った場合、分割数が大きいほど、輝度が下がっている事を示している。これは、分割された露光ごとにメモリへ情報転送する際にキャリアが消失するため、露光比率から求められる理想的な輝度情報低下に対して差が発生するためである。 The solid line indicates that when the exposure is performed by division, the larger the number of divisions, the lower the brightness. This is because the carriers disappear when the information is transferred to the memory for each divided exposure, so that a difference occurs with respect to the ideal decrease in luminance information obtained from the exposure ratio.
図19(A)と図19(B)とを比較すると、環境温度の変化により、輝度情報の低下量が変化している。露光の分割数が大きいほど、温度環境の変化による輝度情報の低下量が大きいことがわかる。露光の分割数が少ない場合には、輝度情報が環境温度の変化の影響を受け難い。したがって、露光の分割数を小さくすることで、輝度情報の低下を許容範囲内に補正することが可能である。 Comparing FIG. 19 (A) and FIG. 19 (B), the amount of decrease in the luminance information changes due to the change in the environmental temperature. It can be seen that the larger the number of exposure divisions, the greater the amount of decrease in luminance information due to changes in the temperature environment. When the number of exposure divisions is small, the luminance information is not easily affected by changes in the environmental temperature. Therefore, by reducing the number of exposure divisions, it is possible to correct the decrease in the luminance information within an allowable range.
本画像を取得するための第1の分割数が54、参照画像を取得するための第2の分割数が1である場合を想定する。図20に示すグラフからは、露光の分割数が約23より小さい場合は、許容範囲内となり、露光の分割数が約54である場合は、輝度情報はK3aとなって、許容範囲から外れる。輝度情報が許容範囲から外れると、撮像装置が、露光の分割数を下げる制御を行う。撮像装置が、例えば、第1の分割数を12に変更することで、輝度情報がK3bとなり、許容範囲内となる。 It is assumed that the number of first divisions for acquiring the present image is 54 and the number of second divisions for acquiring the reference image is 1. From the graph shown in FIG. 20, when the number of exposure divisions is smaller than about 23, it is within the permissible range, and when the number of exposure divisions is about 54, the luminance information is K3a, which is out of the permissible range. When the luminance information is out of the permissible range, the imaging device controls to reduce the number of exposure divisions. When the image pickup apparatus changes the first number of divisions to 12, for example, the luminance information becomes K3b, which is within the permissible range.
本実施形態の撮像装置によれば、環境温度に応じて、露光の分割数を制御することで、環境温度が変化した場合においても、適切な分割数を求めて画像の補正を行うことができる。撮像装置が、例えば、長秒露光等の露光時間に応じて、露光の分割数を制御してもよいし、電磁ノイズの変化に応じて、露光の分割数を制御するようにしてもよい。 According to the image pickup apparatus of the present embodiment, by controlling the number of exposure divisions according to the environmental temperature, it is possible to obtain an appropriate number of divisions and correct the image even when the environmental temperature changes. .. The image pickup apparatus may control the number of exposure divisions according to the exposure time such as long-second exposure, or may control the number of exposure divisions according to the change in electromagnetic noise.
なお、輝度情報と所定の分割数における誤差量に関するテーブルデータを記録媒体193に記憶しておき、通常時は、撮像装置がテーブルデータを参照して画像の補正を行うようにしてもよい。そして、環境変化が発生した場合、または発生が予測される場合は、撮像装置は、本画像と参照画像との輝度度情報を比較して、本画像を補正するようにしてもよい。
It should be noted that the table data relating to the brightness information and the amount of error in the predetermined number of divisions may be stored in the
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
178 システム制御CPU
189 タイミング発生部
178 system control CPU
189 Timing generator
Claims (11)
前記第1の画像と前記第2の画像との輝度情報の差に応じて、前記撮像手段による撮像で得られる前記第1の画像を補正する制御を行う制御手段と、を備える
ことを特徴とする撮像装置。 An imaging means that acquires a first image by time-division exposure with a first number of divisions and a second image by time-division exposure with a second number of divisions.
It is characterized by including a control means that controls to correct the first image obtained by imaging by the imaging means according to the difference in luminance information between the first image and the second image. Imaging device.
ことを特徴とする請求項1に記載の撮像装置。 The imaging device according to claim 1, wherein the control means controls to correct the first image when the difference in the luminance information exceeds a predetermined range.
ことを特徴とする請求項1または請求項2に記載の撮像装置。 The imaging according to claim 1 or 2, wherein the control means corrects the first image acquired after the next shooting period by changing the number of the first divisions. apparatus.
ことを特徴とする請求項3に記載の撮像装置。 The imaging device according to claim 3, wherein the control means reduces the number of the first divisions.
ことを特徴とする請求項4に記載の撮像装置。 The control means is characterized in that the first image acquired after the next shooting period is corrected by changing the divided exposure time related to the time-divisioned exposure according to the first divided number. The imaging device according to claim 4.
前記制御手段は、前記輝度情報の差に応じて、今回の撮影期間において取得される前記第1の画像を補正する
ことを特徴とする請求項1または請求項2に記載の撮像装置。 The imaging means acquires the first image and the second image within one shooting period, and obtains the first image and the second image.
The imaging device according to claim 1 or 2, wherein the control means corrects the first image acquired in the current photographing period according to the difference in the luminance information.
各々の前記画素部は、前記第1の画像を保存する第1の保存部と、前記第2の画像を保存する第2の保存部とを有する
ことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 The imaging means includes a plurality of pixel units having a photoelectric conversion unit.
Any of claims 1 to 6, wherein each of the pixel units has a first storage unit for storing the first image and a second storage unit for storing the second image. The image pickup apparatus according to item 1.
ことを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 The imaging device according to any one of claims 1 to 7, wherein the control means corrects the luminance information of the first image.
光電変換部を有する複数の画素部を備え、
第1の領域の前記画素部から前記第1の画像を取得し、
第2の領域の前記画素部から前記第2の画像を取得する
ことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 The imaging means
A plurality of pixel units having a photoelectric conversion unit are provided.
The first image is acquired from the pixel portion of the first region, and the first image is acquired.
The image pickup apparatus according to any one of claims 1 to 5, wherein the second image is acquired from the pixel portion of the second region.
ことを特徴とする請求項9に記載の撮像装置。 The imaging device according to claim 9, wherein the second region is a region in which it is possible to change whether or not an image signal is output for display or recording according to a shooting mode.
前記第1の画像と前記第2の画像との輝度情報の差に応じて、前記撮像手段による撮像で得られる前記第1の画像を補正する制御を行う工程とを有する
ことを特徴とする撮像装置の制御方法。 A step in which the imaging means acquires a first image by time-division exposure based on the first number of divisions, and acquires a second image by time-division exposure based on the second number of divisions.
Imaging characterized by having a step of performing control for correcting the first image obtained by imaging by the imaging means according to a difference in luminance information between the first image and the second image. How to control the device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019072708A JP7234015B2 (en) | 2019-04-05 | 2019-04-05 | Imaging device and its control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019072708A JP7234015B2 (en) | 2019-04-05 | 2019-04-05 | Imaging device and its control method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020170985A true JP2020170985A (en) | 2020-10-15 |
JP7234015B2 JP7234015B2 (en) | 2023-03-07 |
Family
ID=72745405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019072708A Active JP7234015B2 (en) | 2019-04-05 | 2019-04-05 | Imaging device and its control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7234015B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024001579A1 (en) * | 2022-06-29 | 2024-01-04 | 荣耀终端有限公司 | Exposure control method and apparatus, and terminal device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016092473A (en) * | 2014-10-30 | 2016-05-23 | オリンパス株式会社 | Imaging apparatus, control method of the same and program |
JP2016213775A (en) * | 2015-05-13 | 2016-12-15 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
-
2019
- 2019-04-05 JP JP2019072708A patent/JP7234015B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016092473A (en) * | 2014-10-30 | 2016-05-23 | オリンパス株式会社 | Imaging apparatus, control method of the same and program |
JP2016213775A (en) * | 2015-05-13 | 2016-12-15 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024001579A1 (en) * | 2022-06-29 | 2024-01-04 | 荣耀终端有限公司 | Exposure control method and apparatus, and terminal device |
Also Published As
Publication number | Publication date |
---|---|
JP7234015B2 (en) | 2023-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8390692B2 (en) | Image pick up apparatus and image pick up method capable of reading signal charge for image display by newly performing exposure while reading signal charge for still image by simultaneous exposure of all pixels | |
US9210333B2 (en) | Image capturing apparatus for generating composite image and control method thereof | |
JP5835996B2 (en) | Imaging device | |
US10757348B2 (en) | Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program | |
KR101045892B1 (en) | Image control device and control method | |
US10313588B2 (en) | Image capturing system and control method of image capturing system | |
US10027919B2 (en) | Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method | |
JP2014154982A (en) | Image pickup device and control method therefor | |
JP2007214892A (en) | Imaging apparatus | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP7234015B2 (en) | Imaging device and its control method | |
JP7258465B2 (en) | Imaging device and its control method | |
JP6108854B2 (en) | Imaging apparatus and control method thereof | |
JP2011166515A (en) | Imaging apparatus | |
JP2019041170A (en) | Imaging apparatus and control method of the same | |
CN111917947B (en) | Image pickup apparatus, control method thereof, and machine-readable medium | |
JP7252730B2 (en) | IMAGING CONTROL DEVICE AND IMAGE SENSOR DRIVING METHOD | |
JP2014057189A (en) | Imaging device | |
JP2009225341A (en) | Solid imaging apparatus, and driving method thereof | |
JP2009212603A (en) | Imaging apparatus and its control method | |
JP5061697B2 (en) | Imaging apparatus and imaging method | |
JP2022018906A (en) | Imaging apparatus and method for controlling the same | |
JP2023124784A (en) | Imaging apparatus, control method for the same, program, and storage medium | |
JP2020080531A (en) | Imaging apparatus | |
JP2012085013A (en) | Solid state image pickup device and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7234015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |