JP2020170985A - Imaging apparatus and control method thereof - Google Patents
Imaging apparatus and control method thereof Download PDFInfo
- Publication number
- JP2020170985A JP2020170985A JP2019072708A JP2019072708A JP2020170985A JP 2020170985 A JP2020170985 A JP 2020170985A JP 2019072708 A JP2019072708 A JP 2019072708A JP 2019072708 A JP2019072708 A JP 2019072708A JP 2020170985 A JP2020170985 A JP 2020170985A
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance information
- time
- divisions
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title description 9
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 abstract description 3
- 238000012546 transfer Methods 0.000 description 67
- 238000009825 accumulation Methods 0.000 description 41
- 230000035508 accumulation Effects 0.000 description 41
- 238000012545 processing Methods 0.000 description 34
- 230000003287 optical effect Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000009792 diffusion process Methods 0.000 description 13
- 230000007613 environmental effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置およびその制御方法に関する。 The present invention relates to an image pickup apparatus and a control method thereof.
デジタルカメラなどの撮像装置を用いて、非常に明るい環境下で撮影する場合に、撮像光学系の透過率を下げることで、撮像素子に入射する光量を低下させて撮影する撮影方法が知られている。この撮影方法は、明るい環境下であっても、撮像素子の飽和を防ぎながら、絞りを開いて被写界深度の浅い被写体表現を実現すること、又は長秒露光を行って、例えば滝等の被写体の動いた軌跡を表現することを目的とする。この撮影方法には、従来は、ＮＤフィルタ等の光学フィルタが用いられていた。 When shooting in a very bright environment using an image pickup device such as a digital camera, a shooting method is known in which the amount of light incident on the image sensor is reduced by lowering the transmittance of the image pickup optical system. There is. In this shooting method, even in a bright environment, the aperture is opened to realize a subject expression with a shallow depth of field while preventing saturation of the image sensor, or long-second exposure is performed, for example, a waterfall or the like. The purpose is to express the trajectory of the movement of the subject. Conventionally, an optical filter such as an ND filter has been used for this photographing method.
特許文献１は、光電変換部で変換された電荷を蓄積部に複数回転送し、複数回転送された電荷をまとめて蓄積することで、露光時間、露光量などの条件を変化させる撮像装置を開示している。
特許文献１が開示する撮像装置を適用し、露光を分割して短時間の蓄積を断続的に行うことで、光学フィルタを用いずに光量調整すること（電子ＮＤ）が可能となる。また、動画撮影においては、１フレーム期間において、短い蓄積期間を１フレーム期間に均等に分散させ、複数回まとめて蓄積することで、光学フィルタを用いずに光量調整を可能としつつ、パラパラ感の無い自然な動画を得ることができる。
By applying the image pickup apparatus disclosed in
特許文献１が開示する装置を利用した電子ＮＤによる撮影では、一回の露光を分割して行うので、露光ごとにメモリへ情報転送する際に、キャリアが消失してしまう。したがって、露光比率から求められる理想的な輝度情報に対して、誤差が発生する。なお、輝度情報とは、輝度を信号情報に変換した情報である。上記の輝度情報の誤差は、被写体輝度が低い場合、または露光の分割数が多い場合に大きくなる。また、上記電子ＮＤによる撮影では、また、光量低下後の画像しか得られないので、被写体の輝度情報の変化と、上記の輝度情報の誤差とを区別できず、輝度情報の誤差を検出することが困難である。本発明は、露光を分割した撮影で得られる画像を、輝度情報に関して高精度に補正することが可能な撮像装置の提供を目的とする。
In the photographing by the electronic ND using the apparatus disclosed in
本発明の一実施形態の撮像装置は、第１の分割数で時分割した露光による撮像で第１の画像を取得し、第２の分割数で時分割した露光による撮像で第２の画像を取得する撮像手段と、前記第１の画像と前記第２の画像との輝度情報の差に応じて、前記撮像手段による撮像で得られる前記第１の画像を補正する制御を行う制御手段と、を備える。 The image pickup apparatus of one embodiment of the present invention acquires a first image by imaging by time-divided exposure by the first division number, and acquires a second image by imaging by time-division exposure by the second division number. A control means that controls to correct the first image obtained by imaging by the imaging means according to the difference in brightness information between the first image and the second image to be acquired. To be equipped.
本発明の撮像装置によれば、露光を分割した撮影で得られる画像を、輝度情報に関して高精度に補正することが可能となる。 According to the image pickup apparatus of the present invention, it is possible to correct an image obtained by shooting with divided exposures with high accuracy in terms of luminance information.
（第１実施形態）
図１は、本実施形態の撮像装置の外観を示す図である。
図１に示す撮像装置は、デジタルカメラである。図１（Ａ）は、撮像装置の正面を示す。図１（Ｂ）は、撮像装置の背面を示す。本体部１５１は、撮像装置の本体であり、内部に撮像素子、シャッタ装置、記録媒体等を収納している。撮像光学系１５２は、内部に絞り、レンズを有している。可動式の表示部１５３は、撮影情報や画像等の各種情報を表示する。表示部１５３は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。
(First Embodiment)
FIG. 1 is a diagram showing the appearance of the image pickup apparatus of the present embodiment.
The imaging device shown in FIG. 1 is a digital camera. FIG. 1A shows the front surface of the imaging device. FIG. 1B shows the back surface of the imaging device. The
スイッチＳＴ１５４は、主に静止画の撮影を行うために使用する操作部材である。スイッチＭＶ１５５は、動画撮影を開始および停止するために用いられる操作部材である。撮影モード選択レバー１５６は、撮影モードを選択するために用いられる操作部材である。メニュー釦１５７は、撮像装置の機能設定を行う動作モード（機能設定モード）へ移行するために用いられる操作部材である。アップダウンスイッチ１５８、１５９は、各種の設定値を変更するために用いられる操作部材である。ダイアル１６０は、各種の設定値を変更するために用いられる操作部材である。再生ボタン１６１は、本体部１５１に収納されている記録媒体に記録されている映像を表示部１５３上で再生する動作モード（再生モード）へ移行するために用いられる操作部材である。
The switch ST154 is an operating member mainly used for taking a still image. The switch MV155 is an operating member used to start and stop moving image recording. The shooting
図２は、撮像装置の機能ブロック図の一例である。
撮像装置は、撮像光学系１５２乃至無線Ｉ／Ｆ１９８を有する。撮像光学系１５２は、被写体の光学像を撮像素子１８４に結像させる。撮像素子１８４は、撮像光学系１５２を介して結像された被写体の光学像を電気的な映像信号に光電変換する。光軸１８０は、撮像光学系１５２の光軸である。絞り１８１は、撮像光学系１５２を通る光の量を調節する。絞り制御部１８２は、絞り１８１を制御する。光学フィルタ１８３は、撮像素子１８４に入射する光の波長、および撮像素子１８４に伝達する空間周波数を制限する。撮像素子１８４は、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。デジタル信号処理部１８７は、撮像素子１８４から出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部１８９は、撮像素子１８４、デジタル信号処理部１８７に各種タイミング信号を出力する。
FIG. 2 is an example of a functional block diagram of the imaging device.
The image pickup apparatus has an image pickup
システム制御ＣＰＵ１７８は、各種演算と撮像装置全体を制御する。映像メモリ１９０は、画像データ（映像データ）を一時的に記憶する。表示Ｉ／Ｆ１９１は、映像を表示部１５３に表示するためのインタフェースである。記録媒体１９３は、映像データや付加データ等を記録するための記憶手段である。記録媒体１９３は、例えば着脱可能な半導体メモリ等である。記録Ｉ／Ｆ１９２は、記録媒体１９３にデータを記録、または記録媒体１９３からのデータの読み出しを行うためのインタフェースである。外部Ｉ／Ｆ１９６は、外部コンピュータ１９７等と通信するためのインタフェースである。プリントＩ／Ｆ１９４は、映像をプリンタ１９５に出力するためのインタフェースである。無線Ｉ／Ｆ１９８は、ネットワーク１９９と通信するためのインタフェースである。スイッチ入力部１７９は、スイッチＳＴ１５４、スイッチＭＶ１５５等の複数の操作部材を含む。
The
図３は、撮像素子の構成の一例を示す図である。
撮像素子１８４は、２次元に配列された光電変換部（フォトダイオード）を有する複数の画素（画素部）を備える。図３では、撮像素子１８４が有する複数の画素部のうち、１行１列目（１，１）の画素部と最終行であるｍ行１列目（ｍ、１）の画素部が示される。１行１列目（１，１）の画素部と、ｍ行１列目（ｍ、１）の画素部の構成は同じなので、構成要素は同じ番号で付番している。
FIG. 3 is a diagram showing an example of the configuration of the image sensor.
The
１つの画素部は、フォトダイオード５００、第１の転送トランジスタ５０１Ａ、第１の信号保持部５０７Ａ、第２の転送トランジスタ５０２Ａ、第３の転送トランジスタ５０１Ｂ、第２の信号保持部５０７Ｂ、第４の転送トランジスタ５０２Ｂを有する。すなわち、画素部は、図３に示す例では、１つのフォトダイオード５００に対して複数（例えば２つ）の信号保持部５０７Ａ、５０７Ｂを有している。信号保持部を有する撮像素子１８４の基本構造は、特許文献１にて開示されているので説明は省略する。
One pixel unit includes a
また、画素部は、第５の転送トランジスタ５０３と、フローティングディフュージョン領域５０８と、リセットトランジスタ５０４と、増幅トランジスタ５０５と、選択トランジスタ５０６とを有する。
Further, the pixel unit includes a
第１の転送トランジスタ５０１Ａは、転送パルスφＴＸ１Ａで制御される。第２の転送トランジスタ５０２Ａは、転送パルスφＴＸ２Ａで制御される。第３の転送トランジスタ５０１Ｂは、転送パルスφＴＸ１Ｂで制御される。また、第４の転送トランジスタ５０２Ｂは、転送パルスφＴＸ２Ｂで制御される。また、リセットトランジスタ５０４は、リセットパルスφＲＥＳで制御される。選択トランジスタ５０６は、選択パルスφＳＥＬで制御される。また、第５の転送トランジスタ５０３は、転送パルスφＴＸ３で制御される。各制御パルスは、不図示の垂直走査回路から送出される。また、５２０、５２１は電源線を示し、５２３は信号出力線を示す。
The
図４は、撮像素子における蓄積および読み出しを説明する図である。
図４を参照して、撮像素子が有する全ての画素部から画像信号を読み出す全画素読み出しモードでの動作を説明する。撮像素子の蓄積は、フォトダイオード５００で発生した電荷を信号保持部５０７Ａ、５０７Ｂに転送することである。また、画像信号の読み出しは、信号保持部５０７Ａ、５０７Ｂに保持された電荷をフローティングディフュージョン領域５０８を介して撮像素子１８４の外部に出力することである。
FIG. 4 is a diagram illustrating storage and readout in the image sensor.
With reference to FIG. 4, the operation in the all-pixel reading mode of reading the image signal from all the pixel portions of the image sensor will be described. The accumulation of the image sensor is to transfer the electric charge generated by the
図４において、横軸は、時間経過を示す。横軸方向は、全ての画素信号が連続的に取り込まれる様子を示す。また、縦軸は、垂直走査の順番を示す。図中では便宜的に８行が示されるが、実際の撮像素子は、数千行を有するので、最終行をｍ行としている。縦軸方向は、１行目からｍ行目まで１行ごとに順次走査されている様子を示す。図中の斜めの実線で囲われている時間Ｔｆは、一行ごとの電荷の蓄積時間を示している。破線は、蓄積された電荷の読み出しを示している。 In FIG. 4, the horizontal axis indicates the passage of time. The horizontal axis direction indicates that all pixel signals are continuously captured. The vertical axis indicates the order of vertical scanning. Eight lines are shown in the figure for convenience, but since the actual image sensor has several thousand lines, the last line is m line. The vertical axis direction indicates that the first row to the mth row are sequentially scanned line by line. The time Tf surrounded by the diagonal solid line in the figure indicates the charge accumulation time for each line. The dashed line shows the reading of the accumulated charge.
図５は、撮像素子からの画素数の間引き動作を説明する図である。
間引き動作は、撮像素子から画素数を間引いて画像信号を読み出す動作である。一般に、再生された動画に一種のコマ送り的なパラパラ感があると品位が大きく失われてしまう。動画にパラパラ感が出ないようにするためには、一連の撮影において、１フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが３０フレーム／秒の場合に、１／３０秒といった蓄積時間が適切となる。数千行の画素を有する撮像素子において、画像を蓄積し、全ての行で読み出しを実行する場合、読み出しにかかる時間を少なくするために、画素数を間引いて読み出すことが行われる。
FIG. 5 is a diagram illustrating an operation of thinning out the number of pixels from the image sensor.
The thinning operation is an operation of reading out an image signal by thinning out the number of pixels from the image sensor. In general, if the played video has a kind of frame-by-frame para-para feeling, the quality will be greatly lost. In order to prevent the moving image from appearing fluttering, it is necessary to set an accumulation time close to one frame period in a series of shooting. That is, when the frame rate is 30 frames / second, an accumulation time of 1/30 second is appropriate. In an image sensor having several thousand rows of pixels, when an image is accumulated and reading is performed in all the rows, the number of pixels is thinned out and read in order to reduce the time required for reading.
図５において、横軸は、時間経過を示し、縦軸は、垂直走査の順番を示す。飛び越し走査の行数は、一撮影周期中に動作が完了するように設定されている。図５に示す例では、ハッチングを施していない行が動画読み出し行、ハッチングを施した行が間引き行である。読み出し行と、間引き行の関係を、フレームレートによって変化させてもよい。 In FIG. 5, the horizontal axis indicates the passage of time, and the vertical axis indicates the order of vertical scanning. The number of lines of the skip scan is set so that the operation is completed in one shooting cycle. In the example shown in FIG. 5, the unhatched line is the moving image reading line, and the hatched line is the thinned line. The relationship between the read line and the thinned line may be changed depending on the frame rate.
例えば、読み出し行から取得される画像信号に係る画像を、本画像（第１の画像）とする。本画像は、表示または記録のために出力される画像である。本画像が取得される行をｎａ行とする。すなわち、全てのｎａ行を合わせた領域（第１の領域）に含まれる画素部から本画像が取得される。また、例えば、間引き行から取得される画像信号に係る画像を、参照画像（第２の画像）とする。参照画像は、輝度情報の差を検知するために用いられる画像である。参照画像が取得される行をｎｂ行とする。すなわち、全てのｎｂ行を合わせた領域（第２の領域）に含まれる画素部から参照画像が取得される。 For example, the image related to the image signal acquired from the read line is referred to as the main image (first image). This image is an image output for display or recording. The line from which this image is acquired is defined as the na line. That is, the present image is acquired from the pixel portion included in the region (first region) in which all na rows are combined. Further, for example, an image related to an image signal acquired from the thinning line is used as a reference image (second image). The reference image is an image used for detecting the difference in luminance information. The line from which the reference image is acquired is defined as the nb line. That is, the reference image is acquired from the pixel portion included in the region (second region) in which all the nb rows are combined.
図６は、撮像素子の第１の駆動シーケンスを示すタイミングチャートの一例である。
シャッタ速度１／３０秒の設定で動画撮影を行うことを想定する。撮像装置は、１フレーム中での蓄積（露光）を第１の分割数（図６では８）で分割（時分割）し、第１の分割数で時分割された露光に係る各々の分割露光時間で蓄積を行う。撮像装置は、１フレームで蓄積を８回加算することで、本画像に係る画像信号を得る。この例では、第１の分割数は、後述する第２の分割数より大きい値に初期設定される。
FIG. 6 is an example of a timing chart showing the first drive sequence of the image sensor.
It is assumed that moving images are taken with a shutter speed of 1/30 second. The imaging device divides the accumulation (exposure) in one frame by the first number of divisions (8 in FIG. 6) (time division), and each division exposure related to the time-division exposure by the first number of divisions. Accumulate in time. The image pickup apparatus obtains an image signal related to this image by adding the accumulation eight times in one frame. In this example, the number of first divisions is initially set to a value larger than the number of second divisions described later.
撮像素子１８４は、図５に示すように、垂直方向に複数行の画素列がある。図６には、図５に示す第ｎａ行に関する制御動作のタイミングが示される。この制御動作と同様の制御動作が水平同期信号φＨにより垂直方向に走査されることで、撮像素子１８４の全画素の蓄積動作が行われる。
As shown in FIG. 5, the
垂直同期信号φＶの立ち上がり時刻ｔ１は、１撮影周期（撮影期間）すなわち１フレームが開始される時刻を示す。１フレームが開始されるｔ１から画像信号が読み出されるｔ６までの時間である１／３０秒が、１撮影周期に相当する。撮影条件としては、１／３０秒の１撮影周期中に行われる１／９６０秒の露光を８回蓄積、加算することにより、ＮＤフィルタを使用した場合と等価な１／１２０秒相当の露光量が得られる。１撮影周期中において、タイミング発生部１８９及びシステム制御ＣＰＵ１７８によって、撮像素子１８４が制御される。
The rising time t1 of the vertical synchronization signal φV indicates one shooting cycle (shooting period), that is, the time when one frame starts. 1/30 second, which is the time from t1 at which one frame is started to t6 at which the image signal is read, corresponds to one shooting cycle. As a shooting condition, by accumulating and adding 1/960 second exposure performed during one 1/30 second shooting cycle 8 times, the exposure amount equivalent to 1/120 second equivalent to the case of using the ND filter Is obtained. During one shooting cycle, the
時刻ｔ１において、垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨ
がハイレベルになる。時刻ｔ２において、第ｎａ行の転送パルスφＴＸ２Ａ（ｎａ）が、ハイレベルとなると、第ｎａ行の第２の転送トランジスタ５０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（ｎａ）がハイレベルになり、リセットトランジスタ５０４がオン状態になっているので、第ｎａ行のフローティングディフュージョン領域５０８、第１の信号保持部５０７Ａがリセットされる。なお、時刻ｔ２には、第ｎａ行の選択パルスφＳＥＬ（ｎａ）は、ローレベルになっている。
At time t1, the vertical sync signal φV becomes high level, and at the same time, the horizontal sync signal φH
Becomes a high level. At time t2, when the transfer pulse φTX2A (na) in the nath row reaches a high level, the
時刻ｔ３１において、第ｎａ行の転送パルスφＴＸ３（ｎａ）がローレベルとなると、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されて、フォトダイオード５００で電荷の蓄積が開始される。以下の説明では、信号電荷を単に電荷と記述する。
At time t31, when the transfer pulse φTX3 (na) in the nath row becomes low level, the
時刻ｔ４１において、第ｎａ行の転送パルスφＴＸ１（ｎａ）がハイレベルとなると、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された電荷が、第ｎａ行の電荷を保持する信号保持部５０７Ａに転送される。時刻ｔ５１において、第１行の転送パルスφＴＸ１Ａ（ｎａ）がローレベルとなると、第３の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された電荷の信号保持部５０７Ａへの転送が終了する。同時に、第ｎａ行の転送パルスφＴＸ３（ｎａ）がハイレベルとなり、第３の転送トランジスタ５０３がオンとなり、第ｎａ行のフォトダイオード５００がリセットされて、フォトダイオード５００での電荷の蓄積が終了する。
At time t41, when the transfer pulse φTX1 (na) in the nath row becomes high level, the
時刻ｔ３１から時刻ｔ５１が、１撮影周期における１回の蓄積時間１／９６０秒に相当し、右上がり斜線部領域の蓄積時間６０２−１として図示される。上記のような蓄積動作が離散的に８回行われる。各々の蓄積動作に対応する蓄積時間（分割露光時間）が、右上がり斜線部領域の蓄積時間６０２−１〜６０２−８として図示される。なお、蓄積時間６０２−２〜６０２−８における制御動作は、蓄積時間６０２−１における制御動作と同様であるので、説明を省略する。 The time t31 to the time t51 correspond to one accumulation time of 1/960 seconds in one shooting cycle, and are shown as the accumulation time 602-1 of the upward-sloping shaded area. The accumulation operation as described above is performed discretely eight times. The accumulation time (divided exposure time) corresponding to each accumulation operation is shown as the accumulation time 602-1 to 602-8 in the upward-sloping shaded area. Since the control operation during the accumulation time 602 to 602-8 is the same as the control operation during the accumulation time 602-1, the description thereof will be omitted.
時刻ｔ６において、第ｎａ行のリセットパルスφＲＥＳ（１）がローレベルとなると、第ｎａ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｎａ行の転送パルスφＴＸ２Ａ（ｎａ）と、第ｎａ行の選択パルスφＳＥＬ（ｎａ）がハイレベルとなると、第ｎａ行の転送トランジスタ５０２Ａと選択トランジスタ５０６がオンとなって、第ｎａ行の画像信号の読み出しが可能となる。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出され、不図示の読み出し回路に供給されて、第ｎａ行の画像信号として外部に出力される。時刻ｔ６において、垂直同期信号φＶがハイレベルになり、次の撮影周期が開始される。
At time t6, when the reset pulse φRES (1) in the nath row becomes low level, the
図７は、撮像素子の第２の駆動シーケンスを示すタイミングチャートの一例である。
撮像装置は、露光を第２の分割数（図７では１）で分割して、分割後の分割露光時間で蓄積を行い、１フレームでの蓄積により、参照画像に係る画像信号を得る。参照画像は、本画像との輝度情報の差を検出するために用いられる。
FIG. 7 is an example of a timing chart showing a second drive sequence of the image sensor.
The image pickup apparatus divides the exposure by a second number of divisions (1 in FIG. 7), accumulates the exposure at the divided exposure time after the division, and obtains an image signal related to the reference image by accumulating in one frame. The reference image is used to detect the difference in luminance information from this image.
図７中のφＳＥＬ（ｎｂ）の立ち上がり時刻ｔ１＋Δｔは、図６に示すｔ１で撮影周期（１フレーム）が開始される時刻に、任意の時間増分が足された時刻を示す。図７に示す各時刻は、この時間増分が足された状態を示すために、すべての時刻に対して、＋Δｔを記載している。時間増分が足される理由は、動画撮影では、１撮影周期で１行目からｍ行目まで取得された画像を、順番に読み込んで行くためである。フレームが開始されるｔ１＋Δｔから画像信号が読み出されるｔ６＋Δｔまでの時間である１／３０秒が１撮影周期に相当する。 The rising time t1 + Δt of φSEL (nb) in FIG. 7 indicates the time when an arbitrary time increment is added to the time when the shooting cycle (1 frame) is started at t1 shown in FIG. For each time shown in FIG. 7, + Δt is described for all the times to indicate the state in which this time increment is added. The reason why the time increment is added is that in the moving image shooting, the images acquired from the first line to the mth line in one shooting cycle are read in order. 1/30 second, which is the time from t1 + Δt when the frame is started to t6 + Δt when the image signal is read out, corresponds to one shooting cycle.
撮像装置は、例えば、１／３０秒の１撮影周期中に行われる１／１２０秒の１回の蓄積により、ＮＤフィルタを使用した場合と等価な１／１２０秒相当の露光量を得る。１撮影周期中において、タイミング発生部１８９及びシステム制御ＣＰＵ１７８によって撮像素子１８４が制御される。時刻ｔ１において、垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨがハイレベルになる。時刻ｔ２＋Δｔにおいて、第１行の転送パルスφＴＸ２（ｎｂ）がハイレベルとなると、第ｍ行の第２の転送トランジスタ５０２Ａがオンとなる。このとき、既に全行のリセットパルスφＲＥＳ（ｎｂ）がハイレベルになり、リセットトランジスタ５０４がオン状態になっているので、第ｎｂ行のフローティングディフュージョン領域５０８、第１の信号保持部５０７Ａがリセットされる。なお、時刻ｔ２＋Δｔには、第ｎｂ行の選択パルスφＳＥＬ（ｎｂ）は、ローレベルになっている。
The image pickup apparatus obtains an exposure amount equivalent to 1/120 second, which is equivalent to the case where the ND filter is used, by, for example, one accumulation of 1/120 second performed in one shooting cycle of 1/30 second. During one shooting cycle, the
時刻ｔ３＋Δｔにおいて、第ｎｂ行の転送パルスφＴＸ３（ｎｂ）がローレベルとなると、第３の転送トランジスタ５０３がオフとなり、第ｎｂ行のフォトダイオード５００のリセットが解除されて、フォトダイオード５００で電荷の蓄積が開始される。
At time t3 + Δt, when the transfer pulse φTX3 (nb) in the nb line becomes low level, the
時刻ｔ４＋Δｔにおいて、第ｎｂ行の転送パルスφＴＸ１（ｎｂ）がハイレベルとなると、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された電荷が、第ｍ行の電荷を保持する信号保持部５０７Ａに転送される。時刻ｔ５＋Δｔにおいて、第ｎｂ行の転送パルスφＴＸ１（ｎｂ）がローレベルとなると、第３の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された電荷の信号保持部５０７Ａへの転送が終了する。同時に、第ｎｂ行の転送パルスφＴＸ３（ｎｂ）がハイレベルとなり、第３の転送トランジスタ５０３がオンとなり、第ｎｂ行のフォトダイオード５００がリセットされ、フォトダイオード５００での電荷の蓄積が終了する。
At time t4 + Δt, when the transfer pulse φTX1 (nb) in the nb row becomes high level, the
時刻ｔ３＋Δｔから時刻ｔ５＋Δｔが、１撮影周期における１回の蓄積時間１／１２０秒に相当し、右上がり斜線部領域の蓄積時間６０２として図示される。時刻ｔ６＋Δｔにおいて、第ｎｂ行のリセットパルスφＲＥＳ（ｎｂ）がローレベルとなると、第ｎｂ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｎｂ行の転送パルスφＴＸ２Ａ（ｎｂ）と、第ｎｂ行の選択パルスφＳＥＬ（ｎｂ）がハイレベルとなると、第ｎｂ行の転送トランジスタ５０２Ａと選択トランジスタ５０６がオンとなって、第ｎｂ行の画像信号の読み出しが可能となる。さらに、フローティングディフュージョン領域５０８の電位の変化に応じた出力が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出され、不図示の読み出し回路に供給されて、第ｎｂ行の画像信号として外部に出力される。時刻ｔ６＋Δｔにおいて、垂直同期信号φＶがハイレベルになり、次の撮影周期が開始される。
The time t3 + Δt to the time t5 + Δt correspond to one
図８は、輝度情報の差を検出する構成の一例を説明する図である。
デジタル信号処理部１８７は、第１信号処理部１８７ａと第２信号処理部１８７ｂとを有する。第１信号処理部１８７ａは、本画像を生成する。第２信号処理部１８７ｂは、参照画像を生成する。また、システム制御ＣＰＵ１７８は、出力画像生成部１７８ｂと画像比較処理部１７８とを有する。出力画像生成部１７８ｂは、本画像の映像としての出力処理を実行する。画像比較処理部１７８は、本画像と参照画像とを比較する。タイミング発生部１８９は、第１分割数制御部１８９ａと第２分割数制御部１８９ｂとを有する。第１分割数制御部１８９ａは、第１の分割数すなわち本画像を取得する際の露光の分割数を制御する。第２分割数制御部１８９ｂは、第２の分割数すなわち参照画像を取得する際の露光の分割数を制御する。
FIG. 8 is a diagram illustrating an example of a configuration for detecting a difference in luminance information.
The digital
タイミング発生部１８９により、露光の分割数の制御が行われ、撮像素子１８４により、結像された被写体の光学像が電気的な映像信号に変換される。変換された映像信号は、デジタル信号処理部１８７に入力される。本画像を生成する第１信号処理部１８７ａに、第１の分割数で分割した露光によって得られる画像信号が入力される。また、参照画像を生成する第１信号処理部１８７ｂに、第２の分割数で分割した露光によって得られる画像信号が入力される。入力された映像信号に対して、デジタル信号処理部１８７が、各種の補正を行い、映像出力および輝度情報の差の検出に使用される本画像と、輝度情報の差の検出に使用される参照画像とが生成される。生成された本画像と参照画像は、システム制御ＣＰＵ１７８に入力される。システム制御ＣＰＵ１７８内の画像比較処理部１７８ａが、本画像と参照画像とを比較し、輝度情報の差を算出する。
The
輝度情報の差（輝度情報差）が基準（所定範囲）を超えている場合、画像比較処理部１７８ａが、輝度情報の差を補正するための制御情報をタイミング発生部１８９に送信する。タイミング発生部１８９は、画像比較処理部１７８ａから受信した制御情報に基づいて、第１の分割数を変更し、変更された第１の分割数を撮像素子１８４へ反映させる。具体的には、タイミング発生部１８９は、第１の分割数を小さくすることによって、次回の撮影周期以降（撮影期間以降）に得られる本画像の輝度情報を補正する。これにより、輝度情報差を所定範囲内とすることができる。露光の分割数が変更された後に撮像素子１８４から出力された信号に対して、第１信号処理部１８７ａが各種の画像処理を施し、本画像を生成する。生成された本画像は、システム制御ＣＰＵ１７８に入力され、出力画像生成部１７８ｂにより、映像としての出力処理が行われる。
When the difference in luminance information (difference in luminance information) exceeds the reference (predetermined range), the image
図９は、撮像装置の動作処理の例を説明するフローチャートである。
図９に示す動作処理は、システム制御ＣＰＵ１７８とタイミング発生部１８９の制御によって実現される。
FIG. 9 is a flowchart illustrating an example of operation processing of the image pickup apparatus.
The operation processing shown in FIG. 9 is realized by the control of the
Ｓ１０１において、処理が開始する。Ｓ１０２において、システム制御ＣＰＵ１７８が、本画像の平均輝度情報ａを算出する。また、Ｓ１０３において、システム制御ＣＰＵ１７８が、参照画像の平均輝度情報ｂを算出する。Ｓ１０４において、システム制御ＣＰＵ１７８が、本画像の平均輝度情報ａと参照画像の平均輝度情報ｂとの差分｜ａ−ｂ｜を求め、輝度情報差Ｅを算出する。続いて、Ｓ１０５において、システム制御ＣＰＵ１７８が、輝度情報差Ｅが閾値Ｃを超えているかを判断する。輝度情報差Ｅが閾値Ｃを超えていない場合は、処理がＳ１０７に進む。Ｓ１０７において、処理が終了する。輝度情報差Ｅが閾値Ｃを超えている場合は、処理がＳ１０６に進む。
In S101, the process starts. In S102, the
Ｓ１０６において、システム制御ＣＰＵ１７８が、タイミング発生部１８９を制御して、次回の撮影周期以降における露光の分割数を小さくする。これにより、画像比較による露光の分割数のフィードバックが行われ、次回の撮影周期以降において取得される本画像が、分割数が少ない画像に近づくように補正される。例えば、動画撮影の場合には、画像比較時には、既に次回の撮影周期の画像蓄積が開始されるので、次々回の撮影周期について、露光の分割数のフィードバックが行われる。
In S106, the
図１０は、撮影時の露光の分割数と輝度情報との関係を示す図である。
図１０（Ａ）と図１０（Ｂ）とでは、撮影されている被写体の明るさが異なる。Ｋ１、Ｋ２は、露光の分割数が１の時の平均輝度情報を示す。一点鎖線Ｋ１Ｌ、Ｋ２Ｌは、露光の分割を行っても輝度情報が変化しない理想線を示す。＋ｄＫ１から−ｄＫ１の範囲、及び＋ｄＫ２から−ｄＫ２の値の範囲は、輝度情報の変化の許容範囲を示す。図１０（Ａ）に対応する被写体の明るさは、図１０（Ｂ）に対応する被写体より明るく、平均輝度情報Ｋ１とＫ２とは、以下の関係にある。
Ｋ１＞Ｋ２
FIG. 10 is a diagram showing the relationship between the number of divided exposures at the time of shooting and the luminance information.
The brightness of the subject being photographed differs between FIG. 10 (A) and FIG. 10 (B). K1 and K2 indicate average luminance information when the number of exposure divisions is 1. The alternate long and short dash lines K1L and K2L indicate ideal lines in which the luminance information does not change even if the exposure is divided. The range from + dK1 to −dK1 and the range from + dK2 to −dK2 indicate the permissible range of change in luminance information. The brightness of the subject corresponding to FIG. 10A is brighter than that of the subject corresponding to FIG. 10B, and the average luminance information K1 and K2 have the following relationship.
K1> K2
図１０（Ａ），（Ｂ）における実線は、露光の分割を行った場合、分割数が大きいほど、輝度が下がっていることを示す。これは、分割された露光ごとにメモリへ情報転送する際にキャリアが消失するので、露光比率から求められる理想的な輝度情報に対して誤差が発生するためである。図１０（Ａ）と図１０（Ｂ）とを比較すると、被写体輝度が低いほうが、露光の分割による輝度情報の変化が大きいことがわかる。露光により蓄積されるキャリアに対して転送で消失するキャリアの割合が大きくなるからである。生成される画像が輝度情報の低下後であるので、被写体の輝度情報の変化と露光の分割による輝度情報の変化を区別できないという問題がある。 The solid lines in FIGS. 10A and 10B indicate that when the exposure is divided, the larger the number of divisions, the lower the brightness. This is because the carrier disappears when the information is transferred to the memory for each divided exposure, so that an error occurs with respect to the ideal luminance information obtained from the exposure ratio. Comparing FIG. 10A and FIG. 10B, it can be seen that the lower the subject luminance, the greater the change in the luminance information due to the division of exposure. This is because the ratio of carriers that are lost by transfer to the carriers that are accumulated by exposure is large. Since the generated image is after the decrease in the luminance information, there is a problem that the change in the luminance information of the subject and the change in the luminance information due to the division of exposure cannot be distinguished.
図１１は、本実施形態における露光の分割数の制御による効果を説明する図である。
図１１（Ａ）は、第１の分割数で分割された露光で取得される本画像を示す。図１１（Ｂ）は、第２の分割数で分割された露光で取得される参照画像を示す。図１１（Ｃ）は、補正後の本画像を示す。図１１（Ａ）乃至図１１（Ｃ）では、画像を表現する斜線の間隔が、輝度情報の大きさに対応している。図１１（Ａ）の本画像と、図１１（Ｂ）の参照画像とを比較することにより、被写体の輝度変化と区別して、露光の分割による輝度情報の変化を検出することができる。そして、輝度情報の検出結果から、輝度情報の変化が許容範囲に収まる適切な分割数を決定し、図１１（Ｃ）に示す画像を出力することができる。
FIG. 11 is a diagram illustrating the effect of controlling the number of exposure divisions in the present embodiment.
FIG. 11A shows the present image acquired by the exposure divided by the first number of divisions. FIG. 11B shows a reference image acquired by the exposure divided by the second number of divisions. FIG. 11C shows the corrected image. In FIGS. 11A to 11C, the intervals between the diagonal lines representing the image correspond to the magnitude of the luminance information. By comparing the main image of FIG. 11 (A) with the reference image of FIG. 11 (B), it is possible to detect the change in the luminance information due to the division of the exposure, distinguishing it from the change in the luminance of the subject. Then, from the detection result of the luminance information, an appropriate number of divisions within which the change in the luminance information falls within the allowable range can be determined, and the image shown in FIG. 11C can be output.
図１２は、撮影時の露光の分割数と輝度情報との関係の具体例を示す図である。
前述した図１１に対応する第１の分割数は、６６、第２の分割数は、１であるものとする。図１２に示すグラフからは、露光の分割数が、約３２より小さければ許容範囲内となる。分割数が約６６である場合、輝度情報はＫ３ａとなるので、許容範囲から外れていることがわかる。撮像装置が、露光の分割数を下げる制御を行い、例えば第１の分割数を２４とすれば、輝度情報がＫ３ｂとなり、輝度情報の変化が許容範囲内となる。
FIG. 12 is a diagram showing a specific example of the relationship between the number of divided exposures at the time of shooting and the luminance information.
It is assumed that the number of first divisions corresponding to FIG. 11 described above is 66 and the number of second divisions is 1. From the graph shown in FIG. 12, if the number of exposure divisions is smaller than about 32, it is within the permissible range. When the number of divisions is about 66, the luminance information is K3a, so it can be seen that it is out of the permissible range. If the image pickup apparatus controls to reduce the number of divisions of the exposure, for example, if the first number of divisions is 24, the luminance information becomes K3b, and the change of the luminance information is within the permissible range.
撮像装置が、露光の分割数を、輝度情報の変化が許容範囲内にある限り、出来るだけ大きい分割数に変更するのが好ましい。露光の分割数が少なくなると、動体表現が不自然になるが、輝度情報の変化が許容範囲内にある限り、分割数を多くすることで、動体の表現の不自然化を抑えつつ、高精度に輝度情報を補正できる。 It is preferable that the image pickup apparatus changes the number of divisions of the exposure to the maximum number of divisions as long as the change of the luminance information is within the allowable range. When the number of exposure divisions is small, the moving object expression becomes unnatural, but as long as the change in luminance information is within the permissible range, by increasing the number of divisions, the unnatural expression of the moving object is suppressed and high accuracy is achieved. Brightness information can be corrected.
以上のことから、本実施形態の撮像装置によれば、輝度情報の変化が許容範囲に収まらない場合は、適切な分割数を求めて、画像の補正を行うことができる。また、撮像装置は、輝度情報の変化が許容範囲内である場合は、分割数を下げる制御は行わない。したがって、本実施形態によれば、分割数を必要以上に下げてしまわず、動体の表現が不自然になってしまうことを抑制できる。また、本実施形態では、撮像に使用する撮像素子からの情報を基に輝度情報の変化を求めるので、輝度情報を測定するための輝度センサ等を別途設ける必要がなく、カメラ構成が複雑化しない。なお、図３に示すように、撮像素子が備える１つの画素部が２つの信号保持部を有しているが、第１実施形態は、１つの信号保持部で実現可能である。もちろん、２つの信号保持部を利用し、本画像に係る電荷と参照画像に係る電荷とを異なる信号保持部に蓄積するようにしてもよい。 From the above, according to the image pickup apparatus of the present embodiment, when the change in the luminance information does not fall within the permissible range, it is possible to obtain an appropriate number of divisions and correct the image. Further, the image pickup apparatus does not control to reduce the number of divisions when the change of the luminance information is within the allowable range. Therefore, according to the present embodiment, it is possible to prevent the number of divisions from being reduced more than necessary and to prevent the expression of the moving object from becoming unnatural. Further, in the present embodiment, since the change in the luminance information is obtained based on the information from the image sensor used for imaging, it is not necessary to separately provide a luminance sensor or the like for measuring the luminance information, and the camera configuration is not complicated. .. As shown in FIG. 3, one pixel unit included in the image pickup device has two signal holding units, but the first embodiment can be realized by one signal holding unit. Of course, two signal holding units may be used to store the charges related to the present image and the charges related to the reference image in different signal holding units.
本実施形態では、露光の分割数を変更し、画像の輝度情報を補正しているが、撮像装置は、露光の分割によって得られる各々の分割露光時間を変更し、１撮影周期中の総露光量を減少させ、画像の輝度情報を補正するようにしてもよい。撮像装置は、例えば、図６における蓄積時間６０２−１〜６０２−８を減少させることで、１撮影周期の総露光量を変更する。 In the present embodiment, the number of divided exposures is changed to correct the luminance information of the image, but the imaging device changes each divided exposure time obtained by dividing the exposure, and the total exposure during one shooting cycle. The amount may be reduced to correct the luminance information of the image. The image pickup apparatus changes the total exposure amount in one imaging cycle by, for example, reducing the accumulation time 602 to 602-8 in FIG.
（第２実施形態）
次に、第２実施形態について説明する。第１実施形態と同様の部分については、同じ番号を付すことで説明を省略する。第２実施形態の撮像装置が第１実施形態の撮像装置と異なる点は、撮像装置が、画素部内の複数（例えば２つ）の信号保持部に、異なる露光の分割数で得られた電荷を蓄積する点である。図３を参照して説明したように、１つの画素部内には、第１信号保持部５０７Ａと第２信号保持部５０７Ｂが設けられている。この２つの信号保持部を適用して、１撮影期間内で、本画像と参照画像とを取得することができる。第１信号保持部５０７Ａが、本画像を保存する第１の保存部として機能する。また、第２信号保持部５０７Ｂが、参照画像を保存する第２の保存部として機能する。２つの信号保持部を利用して、異なる分割数で分割された露光で得られた２つの画像を取得することで、画素ごとの輝度情報の比較が可能となる。
(Second Embodiment)
Next, the second embodiment will be described. The same parts as those in the first embodiment are designated by the same numbers, and the description thereof will be omitted. The image pickup apparatus of the second embodiment is different from the image pickup apparatus of the first embodiment in that the image pickup apparatus applies charges obtained by different exposure divisions to a plurality of (for example, two) signal holding portions in the pixel portion. It is a point to accumulate. As described with reference to FIG. 3, a first
図１３は、撮像素子の駆動シーケンスを示すタイミングチャートである。
シャッタ速度１／３０秒の設定で動画撮影を行うことを想定する。撮像装置は、１フレーム中での蓄積を加算することにより、画像信号を得る。
FIG. 13 is a timing chart showing the drive sequence of the image sensor.
It is assumed that moving images are taken with a shutter speed of 1/30 second. The image pickup apparatus obtains an image signal by adding the accumulations in one frame.
撮像素子１８４は、図５に示すように、垂直方向に複数行の画素列がある。図１３には、図５に示す第ｎａ行に関する制御動作のタイミングが示される。この制御動作と同様の制御動作が水平同期信号φＨにより垂直方向に走査されることで、撮像素子１８４の全画素の蓄積動作が行われる。
垂直同期信号φＶの立ち上がり時刻ｔ１は、１撮影周期（１フレーム）の開始される時刻を示す。また、１フレームが開始されるｔ１から画像信号が読み出されるｔ９までの時間である１／３０秒が、１撮影周期に相当する。第１信号保持部５０７Ａで生成される画像に対応する露光の分割数は８である。撮像装置は、１／３０秒の１撮影周期中に行われる１／９６０秒の露光を８回蓄積、加算することにより、ＮＤフィルタを使用した場合と等価な１／１２０秒相当の露光量を得ることができる。第２信号保持部５０７Ｂで生成される画像に係る露光の分割数は１であり、１フレーム中に１／１２０秒の１度の連続した蓄積が行われる。
As shown in FIG. 5, the
The rising time t1 of the vertical synchronization signal φV indicates the start time of one shooting cycle (one frame). Further, 1/30 second, which is the time from t1 at which one frame is started to t9 at which the image signal is read, corresponds to one shooting cycle. The number of exposure divisions corresponding to the image generated by the first
時刻ｔ１において、垂直同期信号φＶがハイレベルになり、同時に水平同期信号φＨがハイレベルになる。時刻ｔ２において、第ｎａ行の転送パルスφＴＸ２Ａ（ｎａ）及びφＴＸ２Ｂ（ｎａ）がハイレベルとなると、第ｎａ行の第２の転送トランジスタ５０２Ａ及び、５０２Ｂがオンとなる。このとき既に全行のリセットパルスφＲＥＳ（ｎａ）がハイレベルになり、リセットトランジスタ５０４がオン状態になっている。したがって、第ｎａ行のフローティングディフュージョン領域５０８、第１の信号保持部５０７Ａ及び第２の信号保持部５０７Ｂがリセットされる。なお、時刻ｔ２には、第ｎａ行の選択パルスφＳＥＬ（ｎａ）はローレベルになっている。
At time t1, the vertical synchronization signal φV becomes high level, and at the same time, the horizontal synchronization signal φH becomes high level. At time t2, when the transfer pulses φTX2A (na) and φTX2B (na) in the nath row become high levels, the
時刻ｔ３１において、第ｎａ行の転送パルスφＴＸ３（ｎａ）がローレベルとなると、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されて、フォトダイオード５００で電荷の蓄積が開始される。時刻ｔ４１において、第ｎａ行の転送パルスφＴＸ１Ａ（ｎａ）がハイレベルとなると、第１の転送トランジスタ５０１Ａがオンとなり、フォトダイオード５００に蓄積された電荷が、第ｎａ行の電荷を保持する第１信号保持部５０７Ａに転送される。
At time t31, when the transfer pulse φTX3 (na) in the nath row becomes low level, the
時刻ｔ５１において、第１行の転送パルスφＴＸ１Ａ（ｎａ）がローレベルとなると、第３の転送トランジスタ５０１Ａがオフとなり、フォトダイオード５００に蓄積された電荷の第１信号保持部５０７Ａへの転送が終了する。同時に、第ｎａ行の転送パルスφＴＸ３（ｎａ）がハイレベルとなり、第３の転送トランジスタ５０３がオンとなり、第ｎａ行のフォトダイオード５００がリセットされて、フォトダイオード５００での電荷の蓄積が終了する。
At time t51, when the transfer pulse φTX1A (na) in the first row becomes low level, the
時刻ｔ３１から時刻ｔ５１が、１撮影周期における１回の蓄積時間１／９６０秒に相当し、右上がり斜線部領域の蓄積時間６０２−１として図示される。上記のような蓄積動作が離散的に８回行われる。各々の蓄積動作に対応する蓄積時間（分割露光時間）が、右上がり斜線部領域の蓄積時間６０２−１〜６０２−８として図示される。なお、蓄積時間６０２−２〜６０２−８における制御動作は、蓄積時間６０２−１における制御動作と同様であるので、説明を省略する。 The time t31 to the time t51 correspond to one accumulation time of 1/960 seconds in one shooting cycle, and are shown as the accumulation time 602-1 of the upward-sloping shaded area. The accumulation operation as described above is performed discretely eight times. The accumulation time (divided exposure time) corresponding to each accumulation operation is shown as the accumulation time 602-1 to 602-8 in the upward-sloping shaded area. Since the control operation during the accumulation time 602 to 602-8 is the same as the control operation during the accumulation time 602-1, the description thereof will be omitted.
時刻ｔ６において、第ｎａ行のリセットパルスφＲＥＳ（１）がローレベルとなると、第ｎａ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｎａ行の転送パルスφＴＸ２Ａ（ｎａ）と第ｎａ行の選択パルスφＳＥＬ（ｎａ）がハイレベルとなると、第ｎａ行の転送トランジスタ５０２Ａと第ｎａ行の選択トランジスタ５０６がオンとなって、第ｎａ行の画像信号の読み出しが可能となる。
At time t6, when the reset pulse φRES (1) in the nath row becomes low level, the
第１信号保持部５０７Ａにおいて、フローティングディフュージョン領域５０８の電位の変化に応じた信号が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号が、不図示の読み出し回路に供給されて、本画像に係る画像情報として外部に出力される。時刻ｔ７において、第ｎａ行の転送パルスφＴＸ３（ｎａ）がローレベルとなると、第３の転送トランジスタ５０３がオフとなり、第１行のフォトダイオード５００のリセットが解除されて、フォトダイオード５００で電荷の蓄積が開始される。時刻ｔ７から時刻ｔ９が、１撮影周期における１回の蓄積時間１／１２０秒に相当し、右上がり斜線部領域の蓄積時間６０３−１として図示される。
In the first
時刻ｔ８において、第ｎａ行の転送パルスφＴＸ１Ｂ（ｎａ）がハイレベルとなると、第１の転送トランジスタ５０１Ｂがオンとなり、フォトダイオード５００に蓄積された電荷が、第ｎａ行の電荷を保持する第２信号保持部５０７Ｂに転送される。時刻ｔ９において、第１行の転送パルスφＴＸ１Ｂ（ｎａ）がローレベルとなると、第３の転送トランジスタ５０１Ｂがオフとなり、フォトダイオード５００に蓄積された電荷の第２信号保持部５０７Ｂへの転送が終了する。同時に、第ｎａ行の転送パルスφＴＸ３（ｎａ）がハイレベルとなり、第３の転送トランジスタ５０３がオンとなり、第ｎａ行のフォトダイオード５００がリセットされて、フォトダイオード５００での電荷の蓄積が終了する。
At time t8, when the transfer pulse φTX1B (na) in the nath row becomes high level, the
時刻ｔ１０において、第ｎａ行のリセットパルスφＲＥＳ（１）がローレベルとなると、第ｎａ行のリセットトランジスタ５０４がオフとなって、フローティングディフュージョン領域５０８のリセット状態が解除される。同時に、第ｎａ行の転送パルスφＴＸ２Ｂ（ｎａ）と第ｎａ行の選択パルスφＳＥＬ（ｎａ）がハイレベルとなると、第ｎａ行の転送トランジスタ５０２Ｂと第ｎａ行の選択トランジスタ５０６とがオンとなって、第ｎａ行の画像信号の読み出しが可能となる。
At time t10, when the reset pulse φRES (1) in the nath row becomes low level, the
第２信号保持部５０７Ｂにおいて、フローティングディフュージョン領域５０８の電位の変化に応じた信号が、増幅トランジスタ５０５及び選択トランジスタ５０６を介して信号出力線５２３に読み出される。信号出力線５２３に読み出された信号が、不図示の読み出し回路に供給されて、参照画像に係る画像情報として外部に出力される。時刻ｔ１０において、垂直同期信号φＶがハイレベルになり、次の撮影周期が開始される。
In the second
図１４は、輝度情報の差を検出する構成の一例を説明する図である。
図８を参照して説明した第１実施形態との差異を中心に説明する。
第１信号処理部１８７によって生成された本画像と、第２信号処理部１８７ｂによって生成された参照画像とが、システム制御ＣＰＵ１７８が有する画像比較処理部１７８ａに入力される。画像比較処理部１７８ａが、本画像と参照画像とを比較し、輝度情報の差を算出する。輝度情報の差（輝度情報差）が基準（所定範囲）を超えている場合、画像比較処理部１７８ａが、輝度情報の差を補正するための制御情報を出力画像生成部１７８ｂに送信する。出力画像生成部１７８ｂは、画像比較処理部１７８ａから受信した制御情報に基づいて、本画像の輝度情報を補正する。これにより、今回の撮影周期で取得された本画像が、分割数が少ない画像に近づくように補正される。
FIG. 14 is a diagram illustrating an example of a configuration for detecting a difference in luminance information.
The difference from the first embodiment described with reference to FIG. 8 will be mainly described.
The main image generated by the first
図１５は、第２実施形態の効果を説明する図である。
図１５（Ａ）は、第１信号処理部１８７ａによって生成された本画像を示す。図１５（Ｂ）は、第２信号処理部１８７ｂによって生成された参照画像を示す。図１５（Ｃ）は、補正後の本画像を示す。図１５（Ａ）乃至図１５（Ｃ）では、画像を表現する斜線の間隔が、輝度情報の大きさに対応している。
FIG. 15 is a diagram illustrating the effect of the second embodiment.
FIG. 15A shows the present image generated by the first
図１５（Ａ），（Ｂ）に示す各画像内の（ｎａ）、（ｍａ）、（ｎｂ）、（ｍｂ）は、画素の位置を示す。画素の位置関係は、（ｎａ）と（ｎｂ）、（ｍａ）と（ｍｂ）がそれぞれ同じ位置関係である。 (Na), (ma), (nb), and (mb) in each image shown in FIGS. 15 (A) and 15 (B) indicate pixel positions. As for the positional relationship of the pixels, (na) and (nb) and (ma) and (mb) have the same positional relationship.
露光の分割数が多いとキャリア損失の影響で輝度情報が減少してしまう。したがって、上記画像のそれぞれの画素の輝度情報Ｘ（ｎａ）、Ｘ（ｎｂ）、Ｘ（ｍａ）、Ｘ（ｍｂ）を比較すると、以下のような関係になる。
Ｘ（ｎａ）＜Ｘ（ｎｂ） ・・・式（１）
Ｘ（ｍａ）＜Ｘ（ｍｂ） ・・・式（２）
If the number of exposure divisions is large, the luminance information is reduced due to the influence of carrier loss. Therefore, when the luminance information X (na), X (nb), X (ma), and X (mb) of each pixel of the above image are compared, the relationship is as follows.
X (na) <X (nb) ... Equation (1)
X (ma) <X (mb) ・ ・ ・ Equation (2)
また、仮に、露光を分割せずに生成された画像を（Ｋ）とし、それぞれ対応する画素を（ｎＫ）、（ｍＫ）とし、それぞれの画素の輝度情報Ｘ（ｎＫ）、Ｘ（ｍＫ）を理想の輝度情報とすと、以下の式（３）、式（４）に示す関係が成り立つ。
露光の分割によるキャリア損失の影響が少ない画素Ｘ（ｎｂ）、Ｘ（ｍｂ）が理想輝度情報Ｘ（ｎＫ）、Ｘ（ｍＫ）に近くなることがわかる。
Ｘ（ｎａ）＜Ｘ（ｎｂ）≒Ｘ（ｎＫ） ・・・式（３）
Ｘ（ｍａ）＜Ｘ（ｍｂ）≒Ｘ（ｍＫ） ・・・式（４）
Further, suppose that the image generated without dividing the exposure is (K), the corresponding pixels are (nK) and (mK), and the luminance information X (nK) and X (mK) of the respective pixels are used. Assuming the ideal luminance information, the relationships shown in the following equations (3) and (4) are established.
It can be seen that the pixels X (nb) and X (mb), which are less affected by the carrier loss due to the division of exposure, are close to the ideal luminance information X (nK) and X (mK).
X (na) <X (nb) ≒ X (nK) ... Equation (3)
X (ma) <X (mb) ≒ X (mK) ・ ・ ・ Equation (4)
第２実施形態では、画像比較処理部１７８ａが、図１５（Ａ）に示す本画像と、図１５（Ｂ）に示す参照画像とで、それぞれ対応する画素毎に輝度情報を比較し、輝度情報の差を算出する。画像比較処理部１７８ａは、算出された輝度情報の差に基づいて、輝度情報の差を補正するための制御情報を生成する。出力画像生成部１７８ｂが、生成された制御情報に基づいて、本画像の輝度情報の倍率を変化させ、適正な輝度情報へ補正した画像を出力する。これにより、本画像を分割数が少ない画像に近づくように補正することができる。
In the second embodiment, the image
図１６は、画素ｎと画素ｍの輝度情報の例を示す図である。
図１６（Ａ）に示すように、（ｎａ）画素の輝度情報が１００、（ｎｂ）画素の輝度情報が２００、（ｎＫ）画素の輝度情報が２０５である場合を想定する。（ｎａ）画素の輝度情報を約２．０倍にすれば、適正な輝度情報２０５に近くなるように画像の補正を行うことができる。また、例えば、図１６（Ｂ）に示すように、（ｍａ）画素の輝度情報が、５０、（ｎｂ）画素の輝度情報が、６０、（ｍＫ）画素の輝度情報が、６５である場合を想定する。輝度情報の倍率を約１．２倍にすれば、適正な輝度情報６５に近くなるように画像の補正を行うことができる。上述した例では、撮像装置は、本画像と参照画像の画素ごとに輝度情報を比較し、輝度情報の差に対して輝度情報の倍率を補正する。撮像装置が、本画像と参照画像の行ごとに輝度情報を比較、輝度情報の差を算出し、輝度情報の差に応じて、撮像素子１８４において電荷の増幅を行い、画像の輝度情報を補正してもよい。第２実施形態によれば、露光の分割数を変更することなく、画像の補正を行うことができる。したがって、分割数を必要以上に下げてしまうことがなく、動体の表現が不自然になってしまうことを抑制できる。
FIG. 16 is a diagram showing an example of luminance information of pixel n and pixel m.
As shown in FIG. 16A, it is assumed that the luminance information of the (na) pixel is 100, the luminance information of the (nb) pixel is 200, and the luminance information of the (nK) pixel is 205. By multiplying the luminance information of the (na) pixel by about 2.0 times, the image can be corrected so as to be close to the
（第３実施形態）
次に、第３実施形態について説明する。画像を生成するための露光の分割に関する構成は、第１実施形態と同様である。第３実施形態の撮像装置は、撮像素子の画面外領域を、参照画像を取得する第２の領域として用いる。画面外領域は、撮影モードに応じて表示または記録のために画像信号が出力されるか否かを変更可能な領域である。具体的には、動画撮影モードでは表示または記録のために画像信号が出力されない領域を画面外領域とする。
(Third Embodiment)
Next, the third embodiment will be described. The configuration relating to the division of exposure for generating an image is the same as that of the first embodiment. The image pickup apparatus of the third embodiment uses the off-screen region of the image pickup device as a second region for acquiring a reference image. The off-screen area is an area in which it is possible to change whether or not an image signal is output for display or recording according to the shooting mode. Specifically, in the moving image shooting mode, the area where the image signal is not output for display or recording is defined as the off-screen area.
図１７は、静止画撮影モードで生成された画像の画像サイズと、動画撮影モードで生成された画像の画像サイズとを示す図である。
実線で囲んだ範囲が、撮像素子１８４で撮像可能な領域であるとともに、静止画撮影モードで生成される静止画の領域（静止画領域）である。実線内部の右上がり斜線部で示した範囲が、動画撮影モードで生成される動画の領域（動画領域）である。図１７に示す例では、静止画領域では、画面比率４：３である。動画領域では、画面比率１６：９である。したがって、動画撮影モードでは、静止画撮影モードに対して、表示または記録のために画像信号が出力される領域が、縦方向に縮み、画面に表示されない画面外領域が発生する。画面外領域においても、撮像光学系を通して被写体光は入射している。
FIG. 17 is a diagram showing an image size of an image generated in the still image shooting mode and an image size of an image generated in the moving image shooting mode.
The range surrounded by the solid line is a region that can be imaged by the
図１８は、動画撮影モードでの、画面内領域と画面外領域の一例を示す図である。
図１８では、画面内領域（ａ）で生成される画像を本画像とする。この例では、画面内領域（ａ）は、動画撮影モードにおいて、表示または記録のために画像信号が出力される領域である。また、画面外領域（ｂ１）と画面外領域（ｂ２）とを有する画面外領域で生成される画像を参照画像とする。画面内領域（ａ）と画面外領域とは、互いに近接する領域同士で比較することが望ましい。近接した領域であれば、入射する被写体像はほぼ同じとなるからである。画面領域（ａ）内のｎａ１と，画面外領域（ｂ１）内のｎｂ１とが、近接する領域である。したがって、撮像装置は、ｎａ１を本画像の中の参照画像と比較する領域とし、ｎｂ１を参照画像の中の本画像と比較する領域とする。
FIG. 18 is a diagram showing an example of an in-screen area and an out-of-screen area in the moving image shooting mode.
In FIG. 18, the image generated in the in-screen area (a) is used as the main image. In this example, the in-screen area (a) is an area in which an image signal is output for display or recording in the moving image shooting mode. Further, an image generated in the off-screen area having the off-screen area (b1) and the off-screen area (b2) is used as a reference image. It is desirable to compare the in-screen area (a) and the out-of-screen area with each other in close proximity to each other. This is because the incident subject images are almost the same in close regions. The na1 in the screen area (a) and the nb1 in the off-screen area (b1) are adjacent areas. Therefore, the image pickup apparatus sets na1 as a region to be compared with the reference image in the main image, and nb1 as a region to be compared with the main image in the reference image.
図１９および図２０は、撮影時の環境温度に応じた、露光の分割数と輝度情報との関係の一例を示す図である。
図１９（Ａ）は、環境温度Ｔ１で撮影した場合の、露光の分割数と輝度情報との関係を示す。また、図１９（Ｂ）および図２０は、環境温度Ｔ２で撮影した場合の、露光の分割数と輝度情報との関係を示す。
19 and 20 are diagrams showing an example of the relationship between the number of exposure divisions and the luminance information according to the environmental temperature at the time of shooting.
FIG. 19A shows the relationship between the number of exposure divisions and the luminance information when the image is taken at the ambient temperature T1. Further, FIGS. 19B and 20 show the relationship between the number of exposure divisions and the luminance information when the image is taken at the ambient temperature T2.
図１９および図２０に示すＫ１、Ｋ２は、分割数が１の時の平均輝度情報を示す。一点鎖線Ｋ１Ｌ、Ｋ２Ｌは、分割による露光を行っても輝度情報が変化しない理想線を示している。＋ｄＫ１から−ｄＫ１の範囲、＋ｄＫ２から−ｄＫ２の範囲は、輝度情報の変化の許容範囲を示す。 K1 and K2 shown in FIGS. 19 and 20 show average luminance information when the number of divisions is 1. The alternate long and short dash lines K1L and K2L indicate ideal lines whose luminance information does not change even when exposure is performed by division. The range from + dK1 to −dK1 and the range from + dK2 to −dK2 indicate the allowable range of change in the luminance information.
実線は、分割による露光を行った場合、分割数が大きいほど、輝度が下がっている事を示している。これは、分割された露光ごとにメモリへ情報転送する際にキャリアが消失するため、露光比率から求められる理想的な輝度情報低下に対して差が発生するためである。 The solid line indicates that when the exposure is performed by division, the larger the number of divisions, the lower the brightness. This is because the carriers disappear when the information is transferred to the memory for each divided exposure, so that a difference occurs with respect to the ideal decrease in luminance information obtained from the exposure ratio.
図１９（Ａ）と図１９（Ｂ）とを比較すると、環境温度の変化により、輝度情報の低下量が変化している。露光の分割数が大きいほど、温度環境の変化による輝度情報の低下量が大きいことがわかる。露光の分割数が少ない場合には、輝度情報が環境温度の変化の影響を受け難い。したがって、露光の分割数を小さくすることで、輝度情報の低下を許容範囲内に補正することが可能である。 Comparing FIG. 19 (A) and FIG. 19 (B), the amount of decrease in the luminance information changes due to the change in the environmental temperature. It can be seen that the larger the number of exposure divisions, the greater the amount of decrease in luminance information due to changes in the temperature environment. When the number of exposure divisions is small, the luminance information is not easily affected by changes in the environmental temperature. Therefore, by reducing the number of exposure divisions, it is possible to correct the decrease in the luminance information within an allowable range.
本画像を取得するための第１の分割数が５４、参照画像を取得するための第２の分割数が１である場合を想定する。図２０に示すグラフからは、露光の分割数が約２３より小さい場合は、許容範囲内となり、露光の分割数が約５４である場合は、輝度情報はＫ３ａとなって、許容範囲から外れる。輝度情報が許容範囲から外れると、撮像装置が、露光の分割数を下げる制御を行う。撮像装置が、例えば、第１の分割数を１２に変更することで、輝度情報がＫ３ｂとなり、許容範囲内となる。 It is assumed that the number of first divisions for acquiring the present image is 54 and the number of second divisions for acquiring the reference image is 1. From the graph shown in FIG. 20, when the number of exposure divisions is smaller than about 23, it is within the permissible range, and when the number of exposure divisions is about 54, the luminance information is K3a, which is out of the permissible range. When the luminance information is out of the permissible range, the imaging device controls to reduce the number of exposure divisions. When the image pickup apparatus changes the first number of divisions to 12, for example, the luminance information becomes K3b, which is within the permissible range.
本実施形態の撮像装置によれば、環境温度に応じて、露光の分割数を制御することで、環境温度が変化した場合においても、適切な分割数を求めて画像の補正を行うことができる。撮像装置が、例えば、長秒露光等の露光時間に応じて、露光の分割数を制御してもよいし、電磁ノイズの変化に応じて、露光の分割数を制御するようにしてもよい。 According to the image pickup apparatus of the present embodiment, by controlling the number of exposure divisions according to the environmental temperature, it is possible to obtain an appropriate number of divisions and correct the image even when the environmental temperature changes. .. The image pickup apparatus may control the number of exposure divisions according to the exposure time such as long-second exposure, or may control the number of exposure divisions according to the change in electromagnetic noise.
なお、輝度情報と所定の分割数における誤差量に関するテーブルデータを記録媒体１９３に記憶しておき、通常時は、撮像装置がテーブルデータを参照して画像の補正を行うようにしてもよい。そして、環境変化が発生した場合、または発生が予測される場合は、撮像装置は、本画像と参照画像との輝度度情報を比較して、本画像を補正するようにしてもよい。
It should be noted that the table data relating to the brightness information and the amount of error in the predetermined number of divisions may be stored in the
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１７８ システム制御ＣＰＵ
１８９ タイミング発生部
178 system control CPU
189 Timing generator
Claims (11)
前記第１の画像と前記第２の画像との輝度情報の差に応じて、前記撮像手段による撮像で得られる前記第１の画像を補正する制御を行う制御手段と、を備える
ことを特徴とする撮像装置。 An imaging means that acquires a first image by time-division exposure with a first number of divisions and a second image by time-division exposure with a second number of divisions.
It is characterized by including a control means that controls to correct the first image obtained by imaging by the imaging means according to the difference in luminance information between the first image and the second image. Imaging device.
ことを特徴とする請求項１に記載の撮像装置。 The imaging device according to claim 1, wherein the control means controls to correct the first image when the difference in the luminance information exceeds a predetermined range.
ことを特徴とする請求項１または請求項２に記載の撮像装置。 The imaging according to claim 1 or 2, wherein the control means corrects the first image acquired after the next shooting period by changing the number of the first divisions. apparatus.
ことを特徴とする請求項３に記載の撮像装置。 The imaging device according to claim 3, wherein the control means reduces the number of the first divisions.
ことを特徴とする請求項４に記載の撮像装置。 The control means is characterized in that the first image acquired after the next shooting period is corrected by changing the divided exposure time related to the time-divisioned exposure according to the first divided number. The imaging device according to claim 4.
前記制御手段は、前記輝度情報の差に応じて、今回の撮影期間において取得される前記第１の画像を補正する
ことを特徴とする請求項１または請求項２に記載の撮像装置。 The imaging means acquires the first image and the second image within one shooting period, and obtains the first image and the second image.
The imaging device according to claim 1 or 2, wherein the control means corrects the first image acquired in the current photographing period according to the difference in the luminance information.
各々の前記画素部は、前記第１の画像を保存する第１の保存部と、前記第２の画像を保存する第２の保存部とを有する
ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 The imaging means includes a plurality of pixel units having a photoelectric conversion unit.
Any of claims 1 to 6, wherein each of the pixel units has a first storage unit for storing the first image and a second storage unit for storing the second image. The image pickup apparatus according to item 1.
ことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。 The imaging device according to any one of claims 1 to 7, wherein the control means corrects the luminance information of the first image.
光電変換部を有する複数の画素部を備え、
第１の領域の前記画素部から前記第１の画像を取得し、
第２の領域の前記画素部から前記第２の画像を取得する
ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 The imaging means
A plurality of pixel units having a photoelectric conversion unit are provided.
The first image is acquired from the pixel portion of the first region, and the first image is acquired.
The image pickup apparatus according to any one of claims 1 to 5, wherein the second image is acquired from the pixel portion of the second region.
ことを特徴とする請求項９に記載の撮像装置。 The imaging device according to claim 9, wherein the second region is a region in which it is possible to change whether or not an image signal is output for display or recording according to a shooting mode.
前記第１の画像と前記第２の画像との輝度情報の差に応じて、前記撮像手段による撮像で得られる前記第１の画像を補正する制御を行う工程とを有する
ことを特徴とする撮像装置の制御方法。 A step in which the imaging means acquires a first image by time-division exposure based on the first number of divisions, and acquires a second image by time-division exposure based on the second number of divisions.
Imaging characterized by having a step of performing control for correcting the first image obtained by imaging by the imaging means according to a difference in luminance information between the first image and the second image. How to control the device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019072708A JP7234015B2 (en) | 2019-04-05 | 2019-04-05 | Imaging device and its control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019072708A JP7234015B2 (en) | 2019-04-05 | 2019-04-05 | Imaging device and its control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020170985A true JP2020170985A (en) | 2020-10-15 |
| JP7234015B2 JP7234015B2 (en) | 2023-03-07 |
Family
ID=72745405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019072708A Active JP7234015B2 (en) | 2019-04-05 | 2019-04-05 | Imaging device and its control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7234015B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024001579A1 (en) * | 2022-06-29 | 2024-01-04 | 荣耀终端有限公司 | Exposure control method and apparatus, and terminal device |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016092473A (en) * | 2014-10-30 | 2016-05-23 | オリンパス株式会社 | Imaging apparatus, control method of the same and program |
| JP2016213775A (en) * | 2015-05-13 | 2016-12-15 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
-
2019
- 2019-04-05 JP JP2019072708A patent/JP7234015B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016092473A (en) * | 2014-10-30 | 2016-05-23 | オリンパス株式会社 | Imaging apparatus, control method of the same and program |
| JP2016213775A (en) * | 2015-05-13 | 2016-12-15 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024001579A1 (en) * | 2022-06-29 | 2024-01-04 | 荣耀终端有限公司 | Exposure control method and apparatus, and terminal device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7234015B2 (en) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8390692B2 (en) | Image pick up apparatus and image pick up method capable of reading signal charge for image display by newly performing exposure while reading signal charge for still image by simultaneous exposure of all pixels | |
| US9210333B2 (en) | Image capturing apparatus for generating composite image and control method thereof | |
| JP5835996B2 (en) | Imaging device | |
| US10757348B2 (en) | Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program | |
| KR101045892B1 (en) | Image control device and control method | |
| US10313588B2 (en) | Image capturing system and control method of image capturing system | |
| US10027919B2 (en) | Signal processing apparatus, image capturing apparatus, control apparatus, signal processing method, and control method | |
| JP2014154982A (en) | Image pickup device and control method therefor | |
| JP2007214892A (en) | Imaging apparatus | |
| US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
| JP7234015B2 (en) | Imaging device and its control method | |
| JP7258465B2 (en) | Imaging device and its control method | |
| JP6108854B2 (en) | Imaging apparatus and control method thereof | |
| JP2011166515A (en) | Imaging apparatus | |
| JP2019041170A (en) | Imaging apparatus and control method of the same | |
| CN111917947B (en) | Image pickup apparatus, control method thereof, and machine-readable medium | |
| JP7252730B2 (en) | IMAGING CONTROL DEVICE AND IMAGE SENSOR DRIVING METHOD | |
| JP2014057189A (en) | Imaging device | |
| JP2009225341A (en) | Solid imaging apparatus, and driving method thereof | |
| JP2009212603A (en) | Imaging apparatus and its control method | |
| JP5061697B2 (en) | Imaging apparatus and imaging method | |
| JP2022018906A (en) | Imaging apparatus and method for controlling the same | |
| JP2023124784A (en) | Imaging apparatus, control method for the same, program, and storage medium | |
| JP2020080531A (en) | Imaging apparatus | |
| JP2012085013A (en) | Solid state image pickup device and imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220404 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230110 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230124 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230222 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7234015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |