JP2015126387A - Image pickup device, and control method and program of the same - Google Patents
Image pickup device, and control method and program of the same Download PDFInfo
- Publication number
- JP2015126387A JP2015126387A JP2013269682A JP2013269682A JP2015126387A JP 2015126387 A JP2015126387 A JP 2015126387A JP 2013269682 A JP2013269682 A JP 2013269682A JP 2013269682 A JP2013269682 A JP 2013269682A JP 2015126387 A JP2015126387 A JP 2015126387A
- Authority
- JP
- Japan
- Prior art keywords
- row
- image
- evaluation value
- subject
- value calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Focusing (AREA)
- Stroboscope Apparatuses (AREA)
- Automatic Focus Adjustment (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
本発明は、動画を取得しつつ、撮影条件や被写体の情報を設定することが可能な撮像素子を備える撮像装置および、その制御方法とプログラムに関する。 The present invention relates to an imaging apparatus including an imaging element capable of setting shooting conditions and subject information while acquiring a moving image, and a control method and program thereof.
従来、暗い被写体を撮像して動画を取得する場合に、補助光によって被写体が照明された状態の画像を用いて撮影条件や被写体の情報を設定するための評価値を算出する撮像装置が一般的に知られている。このような撮像装置において、補助光によって被写体を照明することで評価値を算出しつつ、ユーザの撮影意図に関係の無い補助光が、取得する動画に影響しないことが望ましい。 Conventionally, when capturing a moving image by capturing a dark subject, an imaging device that calculates an evaluation value for setting shooting conditions and subject information using an image in which the subject is illuminated by auxiliary light is generally used. Known to. In such an imaging apparatus, it is desirable that the auxiliary light not related to the user's intention to shoot does not affect the acquired moving image while calculating the evaluation value by illuminating the subject with the auxiliary light.
特許文献１には、１つの撮像素子において動画記録用のフレームとＡＦ／ＡＥ評価用のフレームとが、それぞれ分けて設けられたデジタルカメラが記載されている。そして、ＡＦ／ＡＥ評価用のフレームで画像データを取得する際に、被写体に補助光を照射することについて記載されている。
しかしながら、特許文献１のデジタルカメラは、１つの撮像素子において動画記録用のフレームとＡＦ／ＡＥ評価用のフレームの両方が設けられているので、動画のフレームレートが低下してしまう。
However, since the digital camera disclosed in
本発明の目的は、１つの撮像素子を用いて動画を取得しながら撮影条件や被写体の情報を設定するための補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することである。 An object of the present invention is to emit auxiliary light without lowering a frame of a moving image when emitting auxiliary light for setting shooting conditions and subject information while acquiring a moving image using one image sensor. Is to suppress the influence on the video.
上記目的を達成するための本発明に係る撮像装置は、行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段の発光を制御する第１の制御手段と、前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得する評価値算出用の画像に基づいて、前記第１の行によって被写体を撮像する際の撮影条件を設定する撮像装置であって、前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention includes a plurality of pixels arranged in a row direction and a column direction, and a first row and a second row different from the first row. A charge storage type image sensor capable of independently controlling the readout cycle, first control means for controlling the light emission of the light emitting means for illuminating the subject, the first row and the second of the image sensor. A second control unit that controls the accumulation time of the first row, and based on an evaluation value calculation image acquired by the second row, a photographing condition when the subject is imaged by the first row Wherein the first control unit emits light from the light emitting unit and captures an object for evaluation value calculation in the second row. During the period from when the accumulation of the video is completed to when the accumulation for the next video is started. And the second control unit causes the second row to accumulate for the evaluation value calculation image in the second row in a period at least partially overlapping the period in which the light emitting unit emits light. It is characterized by.
また、上記目的を達成するための他の本発明に係る撮像装置は、行方向と列方向に並べられた複数の画素を有し、第１の行と前記第１の行とは異なる第２の行とでそれぞれ独立して読み出し周期の制御が可能な電荷蓄積型の撮像素子と、被写体を照明する発光手段の発光を制御する第１の制御手段と、前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得された評価値算出用の画像に基づいて取得した被写体の情報を前記第１の行によって取得した画像に関連付けることが可能な撮像装置であって、前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする。 Further, another imaging device according to the present invention for achieving the above object has a plurality of pixels arranged in a row direction and a column direction, and the first row is different from the first row. A charge storage type image sensor capable of controlling the readout cycle independently for each row, first control means for controlling the light emission of the light emitting means for illuminating the subject, and the first row of the image sensor. And second control means for controlling the accumulation time of the second row, and the subject information acquired based on the evaluation value calculation image acquired by the second row is the first An imaging apparatus capable of associating with an image acquired by a row, wherein the first control means causes the light emitting means to emit light and images a subject for evaluation value calculation in the second row. In the first row, after the accumulation for the moving image is completed, the accumulation for the next moving image is opened. The light emitting means is caused to emit light during a period until the light emitting means is emitted, and the second control means is for calculating the evaluation value in the second row during a period at least partially overlapping with the period during which the light emitting means is caused to emit light. It is characterized in that accumulation is performed for the images.
本発明によれば、１つの撮像素子を用いて動画を取得しながら撮影条件や被写体の情報を設定するための補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することが出来る。 According to the present invention, in the case where auxiliary light for setting shooting conditions and subject information is emitted while acquiring a moving image using a single image sensor, the auxiliary light is emitted without lowering the frame of the moving image. Can suppress the influence on the video.
（第１実施形態）
本発明に係る第１実施形態としての撮像装置であるデジタルカメラ（以下、単にカメラと称す）１００について図１〜図８を参照して説明する。
(First embodiment)
A digital camera (hereinafter simply referred to as a camera) 100 that is an imaging apparatus according to a first embodiment of the present invention will be described with reference to FIGS.
図１は、本発明を実施した撮像装置の第１実施形態であるカメラ１００を説明する図であって、カメラ１００の背面図を示している。以下、図１に記載された各部を説明する。
FIG. 1 is a diagram for explaining a
カメラ１００の背面には、画像や各種情報を表示する表示部１０１が設けられている。表示部１０１は、例えば、液晶ディスプレイ或いは有機ＥＬディスプレイ等であり、タッチパネルとして入力機能を備えることにより操作部として機能するものであってもよい。
A
また、カメラ１００の背面には、ユーザによる各種操作を受け付ける各種のスイッチやボタン等の操作部材からなる操作部１０２が設けられている。なお、操作部１０２の一部は、カメラ１００の上面にも設けられている。
In addition, an
また、カメラ１００の背面には、被写体に対する撮影モード等を切り替えるモード切替スイッチ１０４と、回転操作可能なコントローラホイール１０３が設けられている。操作部１０２、コントローラホイール１０３及びモード切替スイッチ１０４の機能等の詳細については、図２を参照して後述する。
Further, on the back surface of the
カメラ１００の上面には、被写体の撮影指示を行うシャッタボタン１２１と、カメラ１００の電源オン／電源オフを切り替える電源スイッチ１２２とが設けられている。シャッタボタン１２１の機能の詳細については、図２を参照して後述する。
On the upper surface of the
カメラ１００の側面には、コネクタ１１２が設けられている。カメラ１００はこのコネクタ１１２と、コネクタ１１２に接続可能な接続ケーブル１１１を介して、不図示の外部装置と接続ができる。そして、カメラ１００は、接続ケーブル１１１及びコネクタ１１２を介して、不図示の外部装置に静止画、動画に係るデジタル画像データを出力することができる。
A
カメラ１００の下面には、蓋１３１により開閉可能な記録媒体スロット（不図示）が設けられており、当該記録媒体スロットには、メモリカード等の記録媒体１３０を挿抜することができるようになっている。記録媒体スロットに格納された記録媒体１３０は、図２を参照して後述するシステム制御部（ＣＰＵ）２１２と通信が可能である。なお、記録媒体１３０は、記録媒体スロットに対して挿抜可能なメモリカード等に限定されるものではなく、ＤＶＤ−ＲＷディスク等の光学ディスクやハードディスク等の磁気ディスクであってもよい。さらに、カメラ１００に内蔵されていてもよい。
A recording medium slot (not shown) that can be opened and closed by a lid 131 is provided on the lower surface of the
図２は、本発明を実施した撮像装置の第１実施形態であるカメラ１００の内部構成を説明するブロック図である。以下、図２を参照して、カメラ１００の内部構成について説明する。
FIG. 2 is a block diagram illustrating the internal configuration of the
カメラ１００は、バリア２０１と、撮像光学系を構成する撮影レンズ２０２およびシャッタ２０３と、撮像部２０４と、ストロボ２１８とを備える。
The
バリア２０１は、撮像光学系を覆うことにより、撮像光学系の汚れや破損を防止する。
The
撮影レンズ２０２は、ズームレンズやフォーカスレンズを含むレンズ群であり、カメラ１００の内部に被写体の光学像を導く。シャッタ２０３は、絞り機能を備え、撮像素子２０５に入射する光量を調節する。なお、後述するＡＦ制御部２２１によるフォーカス制御によって、撮影レンズ２０２のレンズ位置の移動が制御されて、被写体に対するピント調節が行われる。
The photographing
撮像部２０４は、光学像を電気信号（アナログ電気信号）に変換する撮像素子２０５を有する。撮像素子２０５は、電荷を蓄積することで画像を生成することが可能な、ＣＣＤやＣＭＯＳなどの固体撮像素子からなる電荷蓄積型の撮像手段である。
The
撮像部２０４は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）を有しており、当該ＡＦＥは、撮像素子２０５から出力されたアナログ電気信号（アナログ画像データ）に対してゲイン量の調節やサンプリングなどを行う。なお、アナログ画像データに対するゲイン量の調節は、後述のシステム制御部（ＣＰＵ）２１２の内部にもうけられた露出制御部２２２からの指示に応じて行われる。
The
また、撮像部２０４は、Ａ／Ｄ変換部２０６を有している。Ａ／Ｄ変換部２０６は、撮像素子２０５から出力され、ゲイン量が調節されたアナログ電気信号（アナログ画像データ）をデジタル信号（デジタル画像データ）に変換する。なお、本実施形態では、後述するＣＰＵ２１２に設けられた測光演算部２２０が、撮像部２０４で得た画像データに基づいて被写体の輝度値を算出する。
In addition, the
また、撮像部２０４は、評価部２０７を有している。評価部２０７は、Ａ／Ｄ変換部２０６により生成されたデジタル画像データから得られる、輝度成分のコントラスト情報からＡＦ評価値などの、撮影条件を設定するための評価値を算出する。評価部２０７によって算出されたＡＦ評価値などは、後述のＣＰＵ２１２に出力される。
The
カメラ１００は、画像処理部２０８、メモリ制御部２０９、Ｄ／Ａ変換部２１０、メモリ２１１、発光部２１９、システム制御部（ＣＰＵ）２１２、不揮発性メモリ２１３、システムタイマー２１４、システムメモリ２１５及び表示部１０１を備える。
The
画像処理部２０８とメモリ制御部２０９は、撮像部２０４においてＡ／Ｄ変換処理により生成されたデジタル画像データを受信する。画像処理部２０８は、撮像部２０４から受信するデジタル画像データ、または、メモリ制御部２０９から受信するデジタル画像データに対し、所定の画素補間や縮小等のリサイズ処理、色変換処理等の処理を行う。
The
また、画像処理部２０８は、撮像部２０４から出力されたデジタル画像データに対するゲイン量を調節することができる。なお、デジタル画像データに対するゲイン量の調節はＣＰＵ２１２の内部に設けられた露出制御部２２２からの指示に応じて行われる。すなわち、本実施形態では、取得したアナログ画像データおよびデジタル画像データの両方に対するゲイン量の調節は、露出制御部２２２（第３の制御手段）からの指示に応じて行われる。
The
なお、デジタル画像データは画像処理部２０８で各種の処理が施された後にＣＰＵ２１２に送られ、ＣＰＵ２１２の測光演算部で算出された被写体の輝度値（代表輝度値）に応じてフォーカス制御や露出制御などが実行される。例えば、後述するＡＦ制御部２２１では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理などのフォーカス制御が実行される。また、後述の露出制御部２２２では、ＡＥ（自動露出）処理、調光処理、ＡＷＢ（オートホワイトバランス）処理などが実行される。フォーカス制御などの詳細については後述する。
The digital image data is subjected to various processes by the
また、撮像部２０４から出力されるデジタル画像データは、画像処理部２０８とメモリ制御部２０９を介して、あるいは、メモリ制御部２０９を介して、メモリ２１１に一時的に記録される。
Further, digital image data output from the
メモリ２１１は、ＤＲＡＭなどの記録素子からなる記録部であり、撮像部２０４によって取得されたデジタル画像データや、表示部１０１に表示する表示用のアナログ画像データを記録することができる。また、メモリ２１１は、所定枚数の静止画や所定時間の動画、音声データを記録することができる十分な記憶容量を備えている。また、メモリ２１１は、画像表示用メモリ（ビデオメモリ）を兼ねている。
The
メモリ２１１に一時的に記録されたデジタル画像データは、Ｄ／Ａ変換部２１０に送信される。Ｄ／Ａ変換部２１０は、受け取ったデジタル画像データを表示用のアナログ画像データに変換して表示部１０１に送信する。そして、表示部１０１は、ＣＰＵ２１２からの指示によって、受け取った表示用のアナログ画像データを表示部１０１に表示する。なお、表示用のアナログ画像データを、表示部１０１に逐次表示することにより、スルー画像をライブビュー表示することが可能となる。また、表示部１０１のみでなく、不図示の電子ビューファインダに当該スルー画像をライブビュー表示させることも可能である。
The digital image data temporarily recorded in the
不揮発性メモリ２１３は、電気的に消去や記憶が可能なメモリであり、例えば、フラッシュメモリ等に代表されるＥＥＰＲＯＭ等である。不揮発性メモリ２１３には、本実施形態において使用される種々のデータが格納されている。例えば、カメラ１００において実行されるプログラムや動作用の定数、種々の露出条件、カメラ１００内の処理で使用する算出式、発光部２１９の発光条件、パターンマッチング用のデータなどが不揮発性メモリ２１３に格納されている。なお、カメラ１００において実行されるプログラムとは、図５、図８に示すフローと同様の動作を指示するためのプログラムである。
The
発光部２１９は、ＡＦ補助光などの補助光を発光して被写体を照明する発光手段である。本実施形態では、後述のフォーカス制御に用いるＡＦ評価値を算出するために、撮像素子２０５の評価値算出用の蓄積行（以下、第２の行）によって被写体を撮像する際に、発光部２１９のＡＦ補助光によって被写体を照明させる。そして、ＡＦ補助光によって被写体が照明された状態の評価値算出用の画像データ（以下、評価値算出画像と称す）を第２の行によって取得し、当該評価値算出画像に基づいてＡＦ評価値を算出する。この構成によって、暗い被写体に対しても適正なフォーカス制御を行うことができる。フォーカス制御の詳細については後述する。
The
ＣＰＵ２１２は、不揮発性メモリ２１３に記憶されている各種のプログラムを実行するだけでなく、カメラ１００の全体的な動作を統括的に制御する。例えば、ＣＰＵ２１２は、メモリ２１１やＤ／Ａ変換部２１０、表示部１０１等を制御することにより、静止画および動画の表示を制御する。また、画像処理部２０８やメモリ制御部２０９、後述の電源制御部２１７などに対して制御の指示を行う。なお、ＣＰＵ２１２の内部には測光演算部２２０、ＡＦ制御部２２１、露出制御部２２２、発光制御部２２３などが設けられている。
The
測光演算部２２０は、撮像部２０４によって取得したデジタル画像データを受け、撮像部２０４で撮像した被写体の輝度値を算出する。測光演算部２２０による輝度値の算出方法として、まず、撮像部２０４で取得した画像データ（一画面分）を複数のブロックに分割する。次に、これらのブロックごとに平均輝度値を算出する。そして、全ブロックの平均輝度値を積分して代表輝度値を算出する。本実施形態では、この代表輝度値を用いて後述する種々の処理を実行する。
The
なお、代表輝度値の算出方法としては、公知のものであればどのようなものでもよい。例えば、平均輝度値と基準となるブロック（基準ブロック）との輝度値の差、および、ブロックの位置に応じた重みづけを行った後、輝度値の加算処理を行う。この重みづけ加算された輝度値を代表輝度値とするような構成であってもよい。測光演算部２２０によって算出した代表輝度値（以下、単に輝度値と称す）は、メモリ２１１へと送られる。
As a method for calculating the representative luminance value, any known method may be used. For example, the luminance value is added after performing the weighting according to the difference between the average luminance value and the luminance value of the reference block (reference block) and the position of the block. A configuration may be adopted in which the weighted luminance value is used as the representative luminance value. The representative luminance value (hereinafter simply referred to as “luminance value”) calculated by the
ＡＦ制御部２２１は、撮像部２０４から画像処理部２０８およびメモリ制御部２０９を介して受け取ったデジタル画像データに基づいて、撮像する被写体に対する撮影レンズ２０２の位置（レンズ位置）を設定するフォーカス制御部である。本実施形態におけるフォーカス制御としては、ＡＦ補助光を発光させない場合とＡＦ補助光を発光させる場合の２つのパターンに分けられる。
The
例えば、ＡＦ制御部２２１は、測光演算部２２０によって算出された被写体の輝度値が閾値より大きい場合は、被写体が暗い状態ではないと判定し、発光部２１９によるＡＦ補助光の発光を行わない。この場合のフォーカス制御は、撮像素子２０５の動画用の蓄積をおこなう行（以下、第１の行と称す）で取得した画像データ（以下、動画用の画像データ）の輝度成分のコントラスト情報に基づいて、動画取得時の撮影レンズ２０２のレンズ位置を算出する。
For example, when the luminance value of the subject calculated by the
なお、上述した閾値としては、取得した動画用の画像データにおいて、主被写体（例えば、人物など）が視認できる程度の明るさの輝度値であればどのようなものであってもよい。 Note that the above-described threshold value may be any luminance value as long as the main subject (for example, a person) can be visually recognized in the acquired moving image data.
また、ＡＦ制御部２２１は、測光演算部２２０によって算出された被写体の輝度値が閾値より小さい場合は、被写体が暗い状態であると判定し、発光部２１９によるＡＦ補助光の発光を行う。そして、前述したように、発光部２１９によって照明された状態の評価値算出画像に基づいてＡＦ評価値を算出し、当該ＡＦ評価値に基づいて、動画取得時の撮影レンズ２０２のレンズ位置を算出する。
The
以上説明した各パターンで算出された撮影レンズ２０２のレンズ位置の情報は、メモリ２１１に記録される。そして、動画取得用に撮影条件を設定する際に、ＡＦ制御部２２１によって、メモリ２１１から撮影レンズ２０２のレンズ位置の情報が読み出され、当該レンズ位置の情報に基づいて撮影レンズ２０２のレンズ位置が設定される。以上が本実施形態のフォーカス制御であるが、フォーカス制御に伴うカメラ１００の各部の駆動は、図５のフローを参照して後述する。
Information on the lens position of the
露出制御部２２２は、被写体を撮像する際、および撮像部２０４から画像処理部２０８およびメモリ制御部２０９を介して受け取った画像データに対する露出制御を実行する。具体的には、露出制御部２２２は、測光演算部２２０で算出された被写体の輝度値に基づいて露出量を設定する。ここで、本実施形態において露出量とは、画像データの明るさを示す総合的な値である。例えば、被写体を撮像する際の絞り値や蓄積時間、そして、取得した画像データに対するゲイン量などを設定することで、当該露出量が設定される。
The exposure control unit 222 executes exposure control on image data received from the
そして、露出制御部２２２は、当該露出量に基づいて、被写体を撮像する際の絞り値と蓄積時間を設定し、取得したアナログ画像データとデジタル画像データのゲイン量を調節することで、カメラ１００における露出制御を実行する。
Then, the exposure control unit 222 sets an aperture value and an accumulation time when capturing an image of the subject based on the exposure amount, and adjusts the gain amount of the acquired analog image data and digital image data, so that the
例えば、露出制御部２２２は、設定した露出量に基づいて、カメラ１００におけるＡＥ制御が可能である。
For example, the exposure control unit 222 can perform AE control in the
発光制御部２２３は、発光部２１９の発光制御を行う発光制御部（第１の制御部）である。まず、発光制御部２２３は、測光演算部２２０によって算出された輝度値に基づき、発光部２１９を発光（ＡＦ補助光を発光）して被写体を照明する必要があるかないかを判定する（発光要否の判定）。
The light
そして、発光制御部２２３は、当該判定の結果に基づき、後述する動画取得処理における発光部２１９によるＡＦ補助光の発光制御を行う。具体的には、発光制御部２２３は、発光部２１９によってＡＦ補助光を発光させるタイミング（発光タイミング）や、ＡＦ補助光の発光量などを設定するための発光制御を行う。以上説明した、ＡＦ制御部２２１や発光制御部２２３などにおける各種の処理の詳細は後述する。
Then, the light
なお、本実施形態では、ＣＰＵ２１２およびＣＰＵ２１２に設けられた制御部などからの指示に応じて、カメラ１００に設けられた制御部や処理部が、カメラ１００における各種の制御や処理を実行するような構成であるがこれに限定されるものではない。例えば、ＣＰＵ２１２以外に制御部や処理部を設けずに、ＣＰＵ２１２がカメラ１００内の各部を制御するような構成であっても良いし、ＣＰＵ２１２を設けずに上述した各部が連動して、カメラ１００の制御（処理）をおこなうような構成であってもよい。この場合、ＣＰＵ２１２を構成する測光演算部２２０、ＡＦ制御部２２１、露出制御部２２２、発光制御部２２３などは、それぞれ個別に設けられているような構成が望ましい。
In the present embodiment, the control unit and processing unit provided in the
図２に戻り、ＣＰＵ２１２が不揮発性メモリ２１３から読み出したプログラムや動作用の定数や変数等は、システムメモリ２１５において展開される。システムメモリ２１５にはＲＡＭが用いられる。システムタイマー２１４は、各種の制御に用いる時間やタイミングが内蔵された時計の時間を計測する。
Returning to FIG. 2, the program read by the
操作部１０２を構成する各種の操作部材は、表示部１０１に表示される種々の機能アイコンの選択等に用いられ、所定の機能アイコンが選択されることにより、場面毎に、適宜、機能が割り当てられる。即ち、操作部１０２の各操作部材は、各種の機能ボタンとして用いられる。
Various operation members constituting the
回転操作が可能な操作部材であるコントローラホイール１０３は、４方向ボタンと共に選択項目を指示するとき等に使用される。コントローラホイール１０３を回転操作すると、操作量（回転角度や回転回数等）に応じた電気的なパルス信号が発生する。ＣＰＵ２１２は、このパルス信号を解析して、カメラ１００の各部を制御する。
A
なお、コントローラホイール１０３は、回転操作が検出できる操作部材であれば、部材自体が回転するものや、部材自体は回転しないがタッチセンサで回転操作を検出するものなど、どのようなものでもよい。
Note that the
シャッタボタン１２１は、第１スイッチＳＷ１と、第２スイッチＳＷ２とを有する。第１スイッチＳＷ１は、シャッタボタン１２１の操作途中の半押し状態でＯＮとなり、これにより、撮影準備を指示する信号がＣＰＵ２１２に送信される。ＣＰＵ２１２は、第１スイッチＳＷ１がＯＮになった信号を受信すると、前述したＡＦ処理、ＡＥ処理、ＡＷＢ処理、調光処理等などの、露出制御やフォーカス制御を開始する。
The
第２スイッチＳＷ２は、シャッタボタン１２１の操作が完了する全押し状態でＯＮとなり、これにより、被写体の撮像開始を指示する信号がＣＰＵ２１２に送信される。ＣＰＵ２１２は、第２スイッチＳＷ２がＯＮになった信号を受信すると、撮像部２０４において蓄積された電荷に応じたアナログ画像データとして読み出す。次に、当該アナログ画像データから変換されたデジタル画像データを記録媒体１３０に書き込む。同時に、デジタル画像データから変換された表示用のアナログ画像データをスルー画像として表示部１０１に表示させる。以上説明した一連の撮影動作が、第２スイッチＳＷ２のＯＮに応じて行われる。
The second switch SW2 is turned on when the
モード切替スイッチ１０４は、カメラ１００の動作モードを、静止画記録モード、動画記録モード、再生モード等の各種モードの間で切り替えるためのスイッチである。また、動画記録モードおよび静止画記録モードには、例えば、オート撮影モード、オートシーン判定モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等の撮影モードがある。例えば、マニュアルモードや所定のシーンモードなどが設定された場合は、ユーザの手動操作によって撮影条件を自由に設定することが出来るため、ユーザの意図を尊重した静止画や動画を取得することができる。
The
本実施形態では、ユーザがモード切替スイッチ１０４を手動操作することより、各記録モードと各撮影モードの切り替えができる。なお、このような構成に限定されず、例えば、モード切替スイッチ１０４によって記録モードを設定した後に、他の操作部材を用いて静止画記録モードおよび動画記録モードに含まれる種々の撮影モードのいずれかに切り替えるような構成でもよい。
In the present embodiment, each recording mode and each photographing mode can be switched by the user manually operating the
カメラ１００は、電源部２１６と、電源制御部２１７を備える。電源部２１６は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いは、ＡＣアダプター等であり、電源制御部２１７へ電力を供給する。電源制御部２１７は、電池検出回路やＤＣ−ＤＣコンバータ、通電ブロックを切り替えるスイッチ回路等により構成されている。電源制御部２１７は、電源部２１６における電池の装着の有無、電池の種類、電池残量等を検出し、その検出結果及びＣＰＵ２１２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１３０を含む各部へ供給する。
The
カメラ１００は、記録媒体１３０が記録媒体スロット（不図示）に装着された際に、記録媒体１３０とＣＰＵ２１２との間の通信を可能にするためのＩ／Ｆ（インターフェース）２１８を備える。
The
以下、図３を参照して撮像部２０４の詳細について説明する。図３は本発明を実施した撮像装置の第１実施形態であるカメラ１００の撮像部２０４を説明する図であって、（ａ）は撮像部２０４の概略斜視図であって、（ｂ）は撮像部２０４を示すブロック図である。
Hereinafter, details of the
まず、前述した撮像部２０４は、複数の画素３０１が形成されて光入射側に配置される第１のチップ３０と、列走査回路３１３ａ、３１３ｂや行走査回路３１２等の画素駆動回路（以下、周辺回路と称す）が形成された第２のチップ３１からなる。この第１のチップ３０が、本実施形態の撮像素子２０５であり、前述したＡ／Ｄ変換部２０６と評価部２０７は第２のチップ３１に設けられている。
First, the
撮像部２０４は、第１のチップ３０が第２のチップ３１の上に積層されて構成されている。第１のチップ３０に画素３０１を形成し、第２のチップ３１に周辺回路を形成することにより、周辺回路と画素３０１の製造プロセスを分けることができる。これにより、周辺回路部の配線の細線化、高密度化による高速化、小型化、高機能化を実現することができる。
The
第１のチップ３０は、マトリクス状に行方向と列方向に一定の間隔で配置された複数の画素３０１を有する。なお、本実施形態では、複数の画素３０１は被写体を撮像する撮像用の画素であるが、これ以外の用途で使用するような構成であってもよい。
The
第１のチップ３０は、各画素３０１に行方向（水平方向）に接続された転送信号線３０３と、リセット信号線３０４及び行選択信号線３０５と、各画素３０１の列方向に接続された列信号線３０２ａ、３０２ｂとを有する。列信号線３０２ａ、３０２ｂはそれぞれ、読み出し行単位によって接続先が区別されている。読み出し行の詳細については図４を参照して後述する。
The
第２のチップ３１は、列信号線３０２ａ、３０２ｂがそれぞれ接続されるカラムＡＤＣブロックであるＡ／Ｄ変換部２０６と、各行を走査する行走査回路３１２と、各列を走査する列走査回路３１３ａ、３１３ｂを有する。また、第２のチップ３１は、タイミング制御回路３１４と、水平信号線３１５ａ、３１５ｂと、フレームメモリ３１７と、評価部２０７と、スイッチ３１６とを有する。
The
タイミング制御回路３１４は、ＣＰＵ２１２からの制御信号を受けて、行走査回路３１２、列走査回路３１３ａ、３１３ｂ及びＡ／Ｄ変換部２０６のそれぞれの動作のタイミングを制御する。水平信号線３１５ａ、３１５ｂは、列走査回路３１３ａ、３１３ｂにより制御されるタイミングに従い、Ａ／Ｄ変換部２０６からのデジタル画像データ（デジタル信号）を転送する。
The
フレームメモリ３１７は、水平信号線３１５ｂから出力される各画像データ（画像信号）を一時的に記憶する。図２で前述した評価部２０７は、フレームメモリ３１７から出力された各画像データから、フォーカス制御用にＡＦ評価値を算出する。スイッチ３１６は、水平信号線３１５ｂに出力された各画像データを、評価部２０７の側に出力するか、または画像処理部２０８側に出力するかを切り替える。
The
第１のチップ３０（撮像素子２０５）において、画素３０１は、フォトダイオードＰＤ、フローティングディフュージョンＦＤ、転送トランジスタＭ１、リセットトランジスタＭ２、増幅トランジスタＭ３及び選択トランジスタＭ４を含む。なお、ここでは、各トランジスタはｎチャネルＭＯＳＦＥＴであるとする。
In the first chip 30 (image sensor 205), the
転送トランジスタＭ１、リセットトランジスタＭ２及び選択トランジスタＭ４の各ゲートには、転送信号線３０３、リセット信号線３０４及び行選択信号線３０５が接続されている。これらの信号線は、行方向に延在して、同一行に含まれる画素３０１を同時に駆動するようになっており、これによりライン順次動作型のローリングシャッタや、全行同時動作型のグローバルシャッタの動作を制御することが可能になっている。選択トランジスタＭ４のソースには、列信号線３０２ａ又は列信号線３０２ｂが、行単位で分かれて接続されている。
A
フォトダイオードＰＤは、光電変換により生成された電荷を蓄積し、そのＰ側は接地され、そのＮ側は転送トランジスタＭ１のソースに接続されている。転送トランジスタＭ１がＯＮすると、フォトダイオードＰＤの電荷がフローティングディフュージョンＦＤに転送されるが、フローティングディフュージョンＦＤには寄生容量があるので、この部分に電荷が蓄積される。 The photodiode PD accumulates electric charges generated by photoelectric conversion, the P side is grounded, and the N side is connected to the source of the transfer transistor M1. When the transfer transistor M1 is turned on, the charge of the photodiode PD is transferred to the floating diffusion FD. However, since the floating diffusion FD has a parasitic capacitance, the charge is accumulated in this portion.
増幅トランジスタＭ３のドレインは電源電圧Ｖｄｄとされ、増幅トランジスタＭ３のゲートはフローティングディフュージョンＦＤに接続されているものとする。増幅トランジスタＭ３は、フローティングディフュージョンＦＤの電圧を電気信号に変換する。選択トランジスタＭ４は、信号を読み出す画素を行単位で選択するためのものである。選択トランジスタＭ４のドレインは増幅トランジスタＭ３のソースに接続され、選択トランジスタＭ４のソースは列信号線３０２ａ又は列信号線３０２ｂに接続されている。選択トランジスタＭ４がＯＮしたときに、フローティングディフュージョンＦＤの電圧に対応する電圧が列信号線３０２ａ又は列信号線３０２ｂに出力される。リセットトランジスタＭ２のドレインは電源電圧Ｖｄｄとされ、リセットトランジスタＭ２のソースはフローティングディフュージョンＦＤに接続されている。リセットトランジスタＭ２は、フローティングディフュージョンＦＤの電圧を電源電圧Ｖｄｄにリセットする。
The drain of the amplification transistor M3 is assumed to be the power supply voltage Vdd, and the gate of the amplification transistor M3 is connected to the floating diffusion FD. The amplification transistor M3 converts the voltage of the floating diffusion FD into an electric signal. The selection transistor M4 is for selecting a pixel from which a signal is read out in units of rows. The drain of the selection transistor M4 is connected to the source of the amplification transistor M3, and the source of the selection transistor M4 is connected to the
以上説明したように、本実施形態では、第１のチップ３０（撮像素子２０５）を構成する各画素を行単位で同時に駆動、及び読み出しが可能である。したがって、前述した第１の行および第２の行についても、駆動の周期および読み出しの周期を、それぞれ独立して制御することが出来る。 As described above, in the present embodiment, each pixel constituting the first chip 30 (image sensor 205) can be simultaneously driven and read out in units of rows. Accordingly, the driving cycle and the reading cycle can be independently controlled for the first row and the second row described above.
次に、図４を参照して、前述した撮像素子２０５の列信号線３０２ａ、３０２ｂにおける画素選択について説明する。図４は、本発明を実施する撮像装置の第１実施形態であるカメラ１００の撮像素子２０５からの信号の読み出し行を模式的に説明する図である。
Next, pixel selection on the
図４の左側には、撮像素子２０５の画素３０１の配列を、画素配列に対応して配置されるベイヤー配列を有するカラーフィルタの各色（Ｒ，Ｇ（Ｇｂ，Ｇｒ），Ｂ）で示している。図４の右側は、動画取得用の蓄積行（第１の行）、および評価値算出用の蓄積行（第２の行）を例示的に示している。なお、以下の説明では、動画の取得中に、発光部２１９を発光して第２の行によって被写体を撮像する場合について説明する。すなわち、暗い被写体を撮像する際の撮像条件（例えば撮影レンズ２０２のレンズ位置など）を適正に設定するために、第２の行で評価値算出画像を取得する場合である。
On the left side of FIG. 4, the arrangement of the
本実施形態では、ユーザが発光部２１９を発光させていない状態の動画を取得したい場合や、種々の処理に使用するために被写体に対する露出量を通常よりもアンダーで取得したい場合を想定する。以下、このような場合を非発光動画時とする。
In the present embodiment, it is assumed that the user wants to acquire a moving image in a state where the
この場合、周囲の状況変化によって被写体が暗くなっても、発光部２１９は発光させないので、暗い状態の被写体に対してフォーカス制御が適正に行われない確率が高い。すなわち、ユーザが撮像を意図する被写体に対してピントがずれた状態の動画が取得されてしまう場合がある。
In this case, since the
この様な場合、ＡＦ補助光によって被写体が照明された状態の画像データに基づいてフォーカス制御を行うことで、主たる被写体に対してピントが合った状態の動画を取得することができる。 In such a case, by performing focus control based on the image data in a state where the subject is illuminated by the AF auxiliary light, it is possible to obtain a moving image in a state where the main subject is in focus.
しかしながら、動画を取得しながらＡＦ補助光を発光すると、動画用に被写体を撮像する際に当該ＡＦ補助光が影響してしまう場合がある。すなわち、取得した動画にＡＦ補助光が写り込んでしまい、ユーザの意図しない明るさの動画となってしまう。 However, if AF auxiliary light is emitted while a moving image is being acquired, the AF auxiliary light may be affected when the subject is imaged for the moving image. That is, the AF auxiliary light is reflected in the acquired moving image, resulting in a moving image with brightness not intended by the user.
そこで、本実施形態では、撮像素子２０５を、動画用の蓄積を行う第１の行と、ＡＦ評価値などの評価値を算出する評価値算出用の第２の行とに分け、各行の読み出し周期（フレームレート）を独立して制御する。そして、第１の行の、動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでのリセット期間（第１の期間）で発光部２１９のＡＦ補助光を発光させる。
Thus, in the present embodiment, the
さらに、ＡＦ補助光を発光させる期間と少なくとも一部が重複する期間において、第２の行によって評価値算出画像を取得する。すなわち、ＡＦ補助光によって被写体が照明された状態の評価値算出画像を第２の行によって取得する。この構成によって、動画取得時のフォーカス制御を適正におこないつつ、発光部２１９によるＡＦ補助光が影響しない動画を取得することが出来る。以下、その詳細を説明する。
Further, the evaluation value calculation image is acquired by the second row in a period at least partially overlapping with the period in which the AF auxiliary light is emitted. That is, the evaluation value calculation image in a state where the subject is illuminated by the AF auxiliary light is acquired by the second row. With this configuration, it is possible to acquire a moving image that is not affected by the AF auxiliary light from the
図４に図示するように、動画と評価値算出画像の取得を並行して行うために、画像データの読み出し行を分ける。以下の説明において、動画取得用の電気信号は列信号線３０２ａに出力され、評価値算出画像用の電気信号は列信号線３０２ｂへと出力される。なお、以下の説明では、動画取得用の電気信号および評価値算出画像取得用の電気信号を撮像信号と称す。
As shown in FIG. 4, in order to acquire a moving image and an evaluation value calculation image in parallel, read lines of image data are divided. In the following description, an electric signal for moving image acquisition is output to the
本実施形態では、図４に示す行番号１、２、５、６は動画を取得するための蓄積をする第１の行であり、行番号１、２、５、６から、動画取得用に蓄積した電荷に対応した撮像信号の読み出しがされる。動画記録モードにおいて動画用の画像データを取得する場合は、行番号１、２、５、６から撮像信号が読み出される。
In the present embodiment,
図４に示す行番号３、４、７、８は評価値算出用の画像を取得するための蓄積をする第２の行であり、行番号３、４、７、８から、評価値算出画像を取得するために蓄積した電荷に対応した撮像信号の読み出しがされる。なお、動画を取得しない静止画記録モードにおいては、行番号１〜８の全ての行から静止画を取得するために蓄積した電荷に対応した撮像信号が読み出される。また、本実施形態では、ＡＦ補助光を発光させない場合であっても、動画用の画像データは行番号１、２、５、６によって取得した画像データを用いる。すなわち、撮像素子２０５を構成する画素のうちの約半分の画素が、動画用の画像データを取得するための撮像画素となる。
本実施形態では、行番号１、２、５、６及び行番号３、４、７、８からの読み出し走査を行単位で順次行うこととし、８行単位で繰り返して読み出し走査を行うとする。なお、本実施形態では、ライブビュー表示を行う場合は、第１の行を用いて被写体の撮像を行うような構成であるが、第２の行を用いるような構成や、第１の行と第２の行の両方を用いるような構成であっても良い。
In this embodiment, it is assumed that readout scanning from
第１の行で取得された動画取得用の撮像信号は列信号線３０２ａに出力される。列信号線３０２ａに出力された動画取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された動画用のデジタル画像データは列走査回路３１３ａの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ａへ読み出される。水平信号線３１５ａへ読み出された動画用のデジタル画像データは、撮像部２０４から画像処理部２０８に出力される。
The moving image acquisition imaging signal acquired in the first row is output to the
第２の行で取得された評価値算出画像取得用の撮像信号は列信号線３０２ｂに出力される。列信号線３０２ｂに出力された評価値算出画像取得用の撮像信号は、Ａ／Ｄ変換部２０６においてアナログ信号（アナログ画像データ）からデジタル信号（デジタル画像データ）に変換される。変換された評価値算出画像取得用のデジタル画像データは列走査回路３１３ｂの操作によってＡ／Ｄ変換部２０６から水平信号線３１５ｂへ読み出される。
The imaging signal for acquiring the evaluation value calculation image acquired in the second row is output to the
ここで、第２の行において、発光部２１９によりＡＦ補助光を発光させて評価値算出画像を取得する場合は、水平信号線３１５ｂからスイッチ３１６を経てフレームメモリ３１７に、取得した評価値算出画像が一時的に記録される。そして、フレームメモリ３１７に記録された評価値算出画像は評価部２０７に送られる。
Here, in the second row, when the AF assist light is emitted by the
評価部２０７は、受け取った評価値算出画像の輝度成分のコントラスト情報に基づいてＡＦ評価値を算出し、ＡＦ評価値（の電気信号）を撮像部２０４からＣＰＵ２１２へと出力する。ＡＦ評価値としては、評価値算出画像のうち、コントラスト値が最も大きくなる位置に対応した値とする。この値に対応した撮影レンズ２０２のレンズ位置において、撮影レンズ２０２を透過した被写体の光学像のうち、主たる被写体の光学像が撮像素子２０５上に合焦した状態となる。なお、ＡＦ評価値の算出方法の詳細については後述する。
The
一方、静止画記録モードが設定され、撮像素子２０５によって静止画を取得する場合は、第１の行と第２の行の両方で、静止画用に被写体を撮像する。したがって、この場合は、ＣＰＵ２１２からの指示に応じてスイッチ３１６が切り替わり、水平信号線３１５ｂからスイッチ３１６を経て画像処理部２０８へと静止画用に取得した画像データが出力される。
On the other hand, when the still image recording mode is set and a still image is acquired by the
以上説明したように、本実施形態において撮像素子２０５を構成する撮像用の各画素は、第１の行と第２の行とでそれぞれ独立して制御することが出来る。特に、第１の行と第２の行とで独立して被写体の撮像を行うため、蓄積した電荷に対応する撮像信号の読み出し周期（フレームレート）は、第１の行と第２の行とで独立した制御が可能となる。したがって、本実施形態のカメラ１００は、動画のフレームレートを低下させることなく評価値算出画像を取得することが可能である。
As described above, in the present embodiment, each of the imaging pixels constituting the
以下、本発明の第１実施形態における動画の取得処理について図５を参照して説明する。図５は本発明を実施した撮像装置の第１実施形態であるカメラ１００の動画取得処理を説明するフローチャートである。なお、図５のフローチャートは、前述した非発光動画時において動画を取得する場合について説明する。
Hereinafter, the moving image acquisition process according to the first embodiment of the present invention will be described with reference to FIG. FIG. 5 is a flowchart for explaining the moving image acquisition process of the
ユーザによって動画の取得が指示されると、第１の行によって動画用の画像データが随時取得される。ステップＳ１０１で測光演算部２２０は、前のフレームの（第１の行）で取得した動画用の画像データに基づいて測光演算を行い被写体の輝度値を算出する。なお、動画の取得が指示されてから初めての処理の場合は、第１の行によって動画用の画像データを取得して、当該動画用の画像データに基づいて被写体の輝度値を算出する。算出した被写体の輝度値はメモリ２１１へと送られる。
When acquisition of a moving image is instructed by the user, image data for the moving image is acquired as needed by the first row. In step S101, the
ここで、測光演算の方法は前述した通りであって、本実施形態では、第１の行によって動画用の画像データを取得するごとに、測光演算部２２０によって、取得した動画用の画像データに基づいて被写体の輝度値が算出される。
Here, the method of photometry calculation is as described above. In this embodiment, every time the image data for moving image is acquired by the first row, the image data for moving image acquired by the
次に、ステップＳ１０２で発光制御部２２３は、メモリ２１１から算出した被写体の輝度値を読み出し、当該輝度値が閾値以下であるか否かを判定する。発光制御部２２３は、被写体の輝度値が閾値以下である場合は次のフレームでＡＦ補助光を発光させる必要があると判定し、被写体の輝度値が閾値よりも大きい場合は次のフレームでＡＦ補助光を発光させる必要がないと判定する。そして、当該判定の結果がメモリ２１１に記録される。
Next, in step S102, the light
前述したように、本実施形態では、被写体が暗い場合は、撮像素子２０５の第２の行によってＡＦ補助光によって照明した被写体の画像を取得し、当該画像を用いて動画取得用に適正なフォーカス制御を実現する。
As described above, in the present embodiment, when the subject is dark, an image of the subject illuminated by the AF auxiliary light is acquired by the second row of the
ここで、発光部２１９によってＡＦ補助光を発光させて動画取得用のフォーカス制御を行う場合の処理の概要について説明する。まず、前述したように、第１の行によって取得された動画用の画像データに基づいて、発光制御部２２３はＡＦ補助光の発光の要否を判定する。発光制御部２２３によって、ＡＦ補助光を発光させる必要があると判定された場合は、次のフレームの第１の行のリセット期間（第１の期間）で、発光部２１９を発光させて、第２の行によって評価値算出画像を取得する。そして、当該評価値算出画像に基づいてＡＦ評価値を算出して、そのすぐ後の第１の行において、動画用の蓄積を開始するまでの間に、当該ＡＦ評価値を用いてフォーカス制御を実行する。本実施形態はこのような時系列にそってそれぞれの動作を実行する。以下、その詳細を説明する。
Here, an outline of processing when the AF assist light is emitted by the
図５に戻り、ステップＳ１０３で露出制御部２２２は、撮像部２０４の第１の行における露出量を再設定する。具体的には、第１の行において取得する動画用の画像データに、第２の行で評価値算出画像を取得する際に発光部２１９によって発光させるＡＦ補助光の影響が及ばないように、第１の行の蓄積時間を設定する。
Returning to FIG. 5, in step S <b> 103, the exposure control unit 222 resets the exposure amount in the first row of the
また、ステップＳ１０３で露出制御部２２２は、第１の行で取得した動画用のデジタル画像データに対して、蓄積時間を再設定したことで変化した露出量を補償するようなゲイン量を設定する。以下、撮像素子２０５の第１の行と第２の行における蓄積時間と発光部２１９の発光タイミングについて図６を参照して説明する。
In step S103, the exposure control unit 222 sets a gain amount that compensates for the exposure amount changed by resetting the accumulation time for the moving image digital image data acquired in the first row. . Hereinafter, the accumulation time and the light emission timing of the
図６は本発明を実施した撮像装置の第１実施形態であるカメラ１００の発光部２１９の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。図中の上側は、第１の行および第２の行における蓄積期間（白色部分）とリセット期間（黒色部分）を示している。図中の下側は、図５のフローチャートの各ステップの処理のタイミングを示している。なお、本実施形態においてリセット期間とは、第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間（第１の期間）である。すなわち、第１の期間は撮像素子２０５の第１の行を構成する各画素によって蓄積された電荷を電気信号として撮像素子２０５の外部に読み出してから、当該読み出し済みの電気信号をリセットトランジスタＭ２によってリセットするまでの期間である。
FIG. 6 is a timing chart for explaining the light emission timing of the
図６に図示するように、本実施形態では、動画用に被写体を撮像している際に発光部２１９によってＡＦ補助光を発光させて評価値算出画像の取得が指示されると、第１の行の蓄積時間（第１の蓄積時間）Ｅ１を蓄積時間（第２の蓄積時間）Ｅ２へと変更する。すなわち、ＡＦ補助光を発光させる場合は、撮像素子２０５における動画を取得するための蓄積時間を通常時よりも短くする。
As illustrated in FIG. 6, in the present embodiment, when the subject is imaged for a moving image, the first
前述したように、第２の蓄積時間Ｅ２としては、発光部２１９の発光による影響が動画に及ばない程度の蓄積時間が設定される。そして、本実施形態では、予め設定された第１の行の第２の蓄積時間Ｅ２に合わせて、発光部２１９におけるＡＦ補助光の発光量が設定される。この構成によって、発光部２１９の発光が、取得した動画に影響することを抑制することが出来る。
As described above, as the second accumulation time E2, the accumulation time is set such that the influence of the light emission of the
次に、ゲイン量の再設定について説明する。先に説明したように、第１の行では、蓄積時間を短くすることに対応してゲイン量の再設定も行われる。この構成によって、蓄積時間を短くすることで減少した露出量を補償することができる。具体的には、１フレーム（の期間）をＴｆｌａｍｅとし、再設定前の蓄積時間をＴ＿ｏｌｄ、再設定後の第１の行のリセット期間をＴｒｅｓ２とすると、増加させるゲイン量ＧａｉｎＵＰは式（１）を用いて、
Ｇａｉｎ ＵＰ＝Ｔ＿ｏｌｄ／（Ｔｆｌａｍｅ−Ｔｒｅｓ２）・・・（１）
として算出できる。
Next, the resetting of the gain amount will be described. As described above, in the first row, the gain amount is also reset in response to shortening the accumulation time. With this configuration, it is possible to compensate for the reduced exposure amount by shortening the accumulation time. Specifically, assuming that one frame (period) is Tframe, the accumulation time before resetting is T_old, and the reset period of the first row after resetting is Tres2, the gain amount GainUP to be increased is given by equation (1). Using,
Gain UP = T_old / (Tframe-Tres2) (1)
Can be calculated as
また、再設定する蓄積時間をＴ＿ｎｅｗ、再設定前のゲイン量をＧａｉｎ＿ｏｌｄとすると、再設定するゲイン量Ｇａｉｎ＿ｎｅｗは式（２）を用いて、
Ｇａｉｎ＿ｎｅｗ＝（Ｇａｉｎ＿ｏｌｄ×Ｔ＿ｏｌｄ）／Ｔ＿ｎｅｗ・・・（２）
として算出できる。上述した（１）、（２）式のうちのどちらかを用いて第１の行によって取得される画像のゲイン量を再設定する。
Also, assuming that the accumulation time to be reset is T_new, and the gain amount before resetting is Gain_old, the gain amount Gain_new to be reset is calculated using Equation (2):
Gain_new = (Gain_old × T_old) / T_new (2)
Can be calculated as The gain amount of the image acquired by the first row is reset using either of the above-described expressions (1) and (2).
以上説明したように、図５のステップＳ１０３で露出制御部２２２は、第１の行の蓄積時間と、当該蓄積時間で取得した画像データのゲイン量を再設定する。 As described above, in step S103 of FIG. 5, the exposure control unit 222 resets the accumulation time of the first row and the gain amount of the image data acquired at the accumulation time.
図５に戻り、ステップＳ１０４で発光制御部２２３は、発光部２１９の発光制御をおこなう。図６に図示するように、発光部２１９の発光タイミングは、動画用に被写体を撮像する第１の行のリセット期間（第１の期間）に行う。
Returning to FIG. 5, in step S <b> 104, the light
次に、ステップＳ１０５で露出制御部２２２は、第２の行で評価値算出画像用に被写体を撮像する際の蓄積時間を設定する。図６に図示するように、本実施形態では、第１の行における蓄積時間と比較して、第２の行における蓄積時間が短く設定されている。具体的には、第２の行において、第１の行における１フレームの略半分にあたる期間が、評価値算出画像を取得する際の第２の行のリセット期間（第２の期間）として設定されている。 Next, in step S105, the exposure control unit 222 sets an accumulation time when the subject is imaged for the evaluation value calculation image in the second row. As shown in FIG. 6, in this embodiment, the accumulation time in the second row is set shorter than the accumulation time in the first row. Specifically, in the second row, a period corresponding to approximately half of one frame in the first row is set as a reset period (second period) of the second row when the evaluation value calculation image is acquired. ing.
本実施形態では、この第２の期間において、動画用に被写体を撮像する際のフォーカス制御に用いるＡＦ評価値（焦点評価値）を算出する。そして、当該第２の期間が終了し、そのすぐ後の第１の行で蓄積を開始する前に、算出したＡＦ評価値を用いてフォーカス制御を行う。すなわち、次に動画用の画像データの取得を開始する前に、算出した評価値に基づいて撮影レンズ２０２のレンズ位置を設定する。なお、動画に対する影響が少なければ、第１の行での蓄積が開始した後も継続してフォーカス制御を行うような構成であってもよい。
In the present embodiment, in this second period, an AF evaluation value (focus evaluation value) used for focus control when capturing a subject for moving images is calculated. Then, focus control is performed using the calculated AF evaluation value before the second period ends and accumulation starts in the first row immediately after that. That is, the lens position of the
この構成によって、ＡＦ評価値を算出してから時間的なズレが少ない状態で、動画用のフォーカス制御を行うことが出来るので、被写体に対するして高精度なフォーカス制御を行うことが可能である。 With this configuration, since the moving image focus control can be performed with little temporal deviation after the AF evaluation value is calculated, it is possible to perform highly accurate focus control on the subject.
なお、第２の行によって取得する画像データは記録用には使用されため、ＡＦ評価値を算出するのに必要最低限の明るさの画像であれば十分である。したがって、第２の行のリセット期間（第２の期間）は、ＡＦ評価値を算出できる期間であればどのような期間であってもよい。例えば、第２の行の１フレームの１／３の期間を蓄積期間として設定し、残りの２／３の期間をリセット期間（第２の期間）に設定するような構成であってもよい。少なくとも、第２の期間と重複する第１の行の蓄積の期間の次のフレームが開始されるまでの間に、第２の期間が終了するような構成であればよい。 Since the image data acquired by the second row is used for recording, an image having the minimum brightness necessary for calculating the AF evaluation value is sufficient. Therefore, the reset period (second period) of the second row may be any period as long as the AF evaluation value can be calculated. For example, a configuration in which a period of 1/3 of one frame in the second row is set as an accumulation period and the remaining 2/3 period is set as a reset period (second period) may be employed. It is sufficient that the second period ends at least before the start of the next frame of the accumulation period of the first row that overlaps the second period.
次に、ステップＳ１０６で発光制御部２２３は、先に設定した発光部２１９によるＡＦ補助光の発光タイミングに基づき、第１の行のリセット期間で、発光部２１９によってＡＦ補助光を発光させて被写体を照明する。
Next, in step S106, the light
ここで、本実施形態における発光部２１９のＡＦ補助光の発光のタイミングと、撮像素子２０５の各行における蓄積のタイミングについて図７を参照して説明する。図７は本発明を実施した撮像装置の第１実施形態であるカメラ１００の発光部２１９の発光時間と撮像素子２０５の蓄積時間との関係を説明するタイミングチャートである。
Here, the timing of emission of AF auxiliary light from the
図７に図示するように、第２の行のリセット期間が経過したのち、評価値算出画像を取得するための蓄積が開始される時刻ｔ１において、発光部２１９を発光させる発光トリガ信号が発光制御部２２３から発光部２１９に出力される。
As illustrated in FIG. 7, after the reset period of the second row has elapsed, at a time t1 when accumulation for acquiring the evaluation value calculation image is started, a light emission trigger signal that causes the
なお、図６に示すように、評価値算出画像の取得が指示された次のフレームにおける第１の行のリセット期間（第１の期間）を、発光部２１９によってＡＦ補助光を発光する発光タイミングとして設定する。この際、第１の行のリセット期間（第１の期間）に発光の開始から終了までが収まるように、発光制御部２２３によって発光部２１９によるＡＦ補助光の発光タイミングが制御される。
As shown in FIG. 6, the light emission timing at which the
発光トリガ信号を受けると、発光部２１９の発光量は少し遅れて立ち上がり、発光トリガを解除した後も発光を持続する。発光が終了する時刻ｔ２において動画用に第１の行での蓄積を開始する。すなわち、発光部２１９を発光させて評価値算出画像を取得する場合、第１の行のリセット期間（第１の期間）Ｔｒｅｓ１の終了のタイミングと時刻ｔ２とは同じタイミングとなる。
When the light emission trigger signal is received, the light emission amount of the
そして、ＡＦ制御部２２１は、発光部２１９を発光させて取得した評価値算出画像に基づいて、そのすぐ後の第１の行での蓄積が開始されるまでの期間にフォーカス制御を行う。
Then, the
なお、後述する第２の行で取得する評価値算出画像に対して、発光部２１９の発光による影響が少なければ、時刻ｔ２と第１の期間Ｔｒｅｓ１の終了タイミングとが一致しないような構成であってもよい。例えば、第１の期間Ｔｒｅｓ１の終了タイミングよりも前に、発光部２１９の発光が終了するような構成であってもよい。また、発光部２１９の発光によるわずかな残光が、第２の行によって取得する評価値算出画像に影響するくらいであれば、発光部２１９の発光の終了が第１の期間Ｔｒｅｓ１の終了タイミングの少し後であってもよい。
The evaluation value calculation image acquired in the second row, which will be described later, has a configuration in which the time t2 and the end timing of the first period Tres1 do not match unless the light emission of the
以上説明した発光部２１９の発光タイミングと、撮像素子２０５の各行の蓄積時間の関係であれば、発光部２１９の発光による影響を抑制して、動画用の画像データを取得することが出来る。この構成によって、動画のフレームレートを変化させることなく、発光部２１９のＡＦ補助光によって照明された状態の評価値算出画像を取得することが出来る。この際、撮像素子２０５の、動画用の第１の行と評価値算出画像用の第２の行とは、それぞれ独立してフレームレートが制御されているので、第２の行の蓄積時間は自由に設定することができる。
If it is the relationship between the light emission timing of the
図５に戻り、ステップＳ１０７でＣＰＵ２１２は、第２の行のリセット期間が経過した後であって、第１の行のリセット期間（第１の期間）において、撮像素子２０５の第２の行によって、評価値算出用に被写体を撮像する。
Returning to FIG. 5, in step S <b> 107, the
具体的には、発光部２１９によってＡＦ補助光を発光させる期間と少なくとも一部が重複するような期間において、第２の行での評価値算出用の蓄積を行う。すなわち、第２の行によって取得される評価値算出画像は、発光部２１９によるＡＦ補助光の発光によって被写体が照明されている状態の画像データとなる。第２の行での蓄積の終了後、取得した評価値算出画像はメモリ２１１に記録される。
Specifically, accumulation for evaluation value calculation in the second row is performed in a period at least partially overlapping with a period in which the AF assist light is emitted by the
なお、本実施形態では、第２の行にあたる、評価値算出用の全ての蓄積行による蓄積が開始されてから、発光部２１９でのＡＦ補助光の発光を行う。これは、撮像素子２０５が、所謂ローリングシャッタ型の電荷蓄積型の撮像素子であるため、行ごとに蓄積の開始と終了がずれてしまうためである。したがって、発光部２１９によってＡＦ補助光の発光を開始する前に、第２の行を構成する一部の蓄積行での蓄積はすでに開始されている。
In the present embodiment, AF auxiliary light is emitted from the
また、本実施形態では、リセット期間が終わった画素から順に、第２の行によって評価値算出画像用の蓄積を開始するような構成であるが、これに限定されるものではない。例えば、第１の期間Ｔｒｅｓ１が経過してから、第２の行を構成する全ての蓄積行で同時に蓄積を開始するような構成であってもよい。 In the present embodiment, the storage for the evaluation value calculation image is started by the second row in order from the pixel for which the reset period has ended. However, the present invention is not limited to this. For example, after the first period Tres1 has elapsed, the storage may be started simultaneously in all the storage rows that constitute the second row.
さらに、本実施形態では、第２の行での評価値算出画像用の蓄積を開始した後に発光部２１９の発光を行うような構成であるが、これに限定されるものではない。例えば、第１の行のリセット期間（第１の期間）に、第２の行での蓄積の開始から終了までが収まるような構成であれば、第２の行での蓄積の期間が発光部２１９の発光の期間よりも短いような構成であってもよい。すなわち、発光部２１９によってＡＦ補助光の発光を開始してから第２の行での蓄積を開始し、当該第２の行での蓄積が終了してから発光部２１９によるＡＦ補助光の発光を終了するような構成であってもよい。
Furthermore, in the present embodiment, the
さらに、撮像素子２０５が、所謂グローバルシャッタ方式を採用するような場合は、発光部２１９の発光を開始してから第２の行での蓄積を開始して、発光部２１９によるＡＦ補助光の発光が終了してから、第２の行での蓄積を終了する構成であってもよい。この場合も、発光部２１９によってＡＦ補助光を発光する期間が、評価値算出用に第２の行での蓄積を行う期間の少なくとも一部と重複するようの構成であればよい。
Further, when the
図５に戻り、ステップＳ１０８で発光制御部２２３は、発光部２１９を消灯させ、ＡＦ補助光による被写体の照明を終了させる。次に、ステップＳ１０９でＣＰＵ２１２は、撮像素子２０５の第１の行によって、動画用に被写体を撮像させる。なお、図６に図示するように、このタイミングでは発光部２１９よって被写体が照明されていない状態で被写体の撮像が行われる。取得した動画用の画像データはメモリ２１１に記録される。また、取得した動画用の画像データは記録用の動画（の画像データ）として記録媒体１３０に記録される。さらに、取得した動画用の画像データは、画像処理、圧縮・符号化などが適宜行われた状態で、Ｄ／Ａ変換部２１０によって動画として表示するための表示用の画像データに変換され、表示部１０１に表示される。
Returning to FIG. 5, in step S <b> 108, the light
次に、ステップＳ１１０でＡＦ制御部２２１は、第１の行での動画取得用にフォーカス制御を行う。以下、フォーカス制御を行うためのフォーカス制御処理について図８を参照して説明する。
Next, in step S110, the
図８は本発明を実施した撮像装置の第１実施形態であるカメラ１００のフォーカス制御処理を説明するフローチャートである。フォーカス制御処理が開始されると、ステップＳ２０１でＣＰＵ２１２は、今回の処理で発光部２１９によるＡＦ補助光を発光させているか否かを判定する。ＣＰＵ２１２によって、ＡＦ補助光を発光させていないと判定された場合はステップＳ２０２へと進み、ＡＦ補助光を発光させていると判定された場合はステップＳ２０３へと進む。
FIG. 8 is a flowchart for explaining the focus control process of the
次に、ＡＦ補助光を発光させていない場合は、ステップＳ２０２でＡＦ制御部２２１は、第１の行によって取得した動画用の画像データをメモリ２１１から読み出し、当該動画用の画像データを用いて、第１の行における動画取得用にフォーカス制御を行う。
Next, when the AF auxiliary light is not emitted, in step S202, the
ステップＳ２０２におけるフォーカス制御の詳細としては、動画用の画像データの輝度成分のコントラスト情報に基づいて、動画取得用（第１の行で被写体を撮像する際）の、撮影レンズ２０２のレンズ位置を算出する。そして、ＡＦ制御部２２１は、算出したレンズ位置の情報に基づいて、撮影レンズ２０２を移動させる。
As the details of the focus control in step S202, the lens position of the taking
図６で図示したように、記録および表示用に第１の行で取得する動画用の画像データは、リセット期間（第１の期間）は第２の行に比べて短いものとなる場合がある。例えば、動画用の画像データの蓄積時間を出来るだけ長くしたいような場合は、先に説明した発光部２１９による発光タイミングを維持できる程度に、第１の行のリセット期間を短くする。この場合、当該リセット期間（第１の期間）だけでフォーカス制御を行うことは難しい。
As illustrated in FIG. 6, the moving image image data acquired in the first row for recording and display may have a shorter reset period (first period) than the second row. . For example, when it is desired to increase the accumulation time of image data for moving images as much as possible, the reset period of the first row is shortened to such an extent that the light emission timing by the
したがって、発光部２１９によりＡＦ補助光を発光させないでフォーカス制御をする場合、あるフレームで取得した動画用の画像データに基づくフォーカス制御は、２つ後のフレームにおける動画用の画像データを取得するために行うものとする。すなわち、本実施形態では、あるフレームで取得した動画用の画像データに基づき、２つ後のフレームでの動画用の画像データを取得するための撮影レンズ２０２のレンズ位置を設定する。
Therefore, when focus control is performed without causing the
以上説明したように、ステップＳ２０２の処理は、図６に図示する第２の蓄積期間Ｅ２から２つ後のフレームの第２の蓄積期間Ｅ２までの期間で行われる。以上が、ＡＦ補助光を発光させていない場合の、動画取得用のフォーカス制御である。 As described above, the process of step S202 is performed in the period from the second accumulation period E2 illustrated in FIG. 6 to the second accumulation period E2 of the second frame. The above is the focus control for moving image acquisition when the AF auxiliary light is not emitted.
次に、ＡＦ補助光を発光させる場合の、動画取得用のフォーカス制御について説明する。ステップＳ２０３でＡＦ制御部２２１は、第２の行によって取得した評価値算出画像をメモリ２１１から読み出し、当該評価値算出画像を用いて、動画取得用のフォーカス制御を行う。以下、その詳細について説明する。
Next, focus control for moving image acquisition when AF auxiliary light is emitted will be described. In step S203, the
先に説明したように、撮像素子２０５の第２の行から出力された評価値算出画像のアナログ画像データは、Ａ／Ｄ変換部２０６によりデジタル画像データへと変換された後に、スイッチ３１６とフレームメモリ３１７を介して評価部２０７へと送られる。
As described above, the analog image data of the evaluation value calculation image output from the second row of the
評価部２０７では、ＡＦ制御部２２１からの指示に従い、評価値算出画像の高周波成分を算出するために、当該画像データの第２の行ごとにハイパスフィルタを適用する。次に、第２の行ごとに、ハイパスフィルタ出力信号の絶対値の最も大きいものを選択する。なお、絶対値の算出を行うのは、評価値算出画像において、正方向と負方向の両方の情報からなる被写体の輪郭情報を正規化するためである。そして、選択したそれぞれの行における信号を垂直方向に積分した積分値を算出する。本実施形態では、この積分値をＡＦ評価値とする。この、ＡＦ評価値は、被写体に対してピントが合っている合焦状態において最も値が大きくなり、逆に、合焦状態から乖離するほど値が小さくなる信号である。したがって、このＡＦ評価値が極大となる撮影レンズ２０２のレンズ位置が、被写体に対してピントが合っている状態となる。
The
図８に戻り、ステップＳ２０５でＡＦ制御部２２１は、先に算出したＡＦ評価値に基づき被写体に対してピントが合うレンズ位置に撮影レンズ２０２を移動させる。なお、このレンズ位置が、次のフレームの、動画取得用の撮影レンズ２０２のレンズ位置となる。
Returning to FIG. 8, in step S <b> 205, the
前述したように、ＡＦ補助光を発光させないでフォーカス制御を行う場合は、次のフレームでの動画用の蓄積を開始するまでの期間に制限があった。しかし、ＡＦ補助光を発光させてフォーカス制御を行う場合、評価値算出画像は記録・表示用に取得するものではないので、被写体を認識できる程度な最低限の明るさの画像データであればよい。したがって、第２の行のリセット期間（第２の期間）を出来るだけ長くすることが出来るため、当該第２の期間と第１の期間が終了するまでの間に、ＡＦ評価値の算出とフォーカス制御を行うことができる。すなわち、評価値算出画像を取得したすぐ後の第１の行での蓄積用に、撮影レンズ２０２のレンズ位置を設定することが可能である。以上が、ＡＦ補助光を発光させる場合における、動画取得用のフォーカス制御である。本実施形態は、この構成によって、ＡＦ評価値（焦点評価値）の算出から時間的なズレの少ない期間において、当該ＡＦ評価値を用いたフォーカス制御を行うことができる。
As described above, when focus control is performed without causing AF auxiliary light to be emitted, there is a limit to the period until the accumulation of moving images in the next frame is started. However, when focus control is performed by emitting AF auxiliary light, the evaluation value calculation image is not acquired for recording / displaying, so it is sufficient if the image data has a minimum brightness that can recognize the subject. . Therefore, since the reset period (second period) of the second row can be made as long as possible, the calculation of the AF evaluation value and the focus between the second period and the end of the first period. Control can be performed. That is, it is possible to set the lens position of the photographing
図５に戻り、ステップＳ１１１でＣＰＵ２１２は、動画の取得を続行するか否かを判定する。動画の取得を続行する場合はステップＳ１０１に戻り、動画の取得を終了する場合は動画取得処理を終了する。以上が本実施形態の動画取得処理である。
Returning to FIG. 5, in step S <b> 111, the
以上説明したように、本実施形態のカメラ１００は、動画取得中であって撮像素子２０５の第１の行のリセット期間において、撮像素子２０５の第２の行で、発光部２１９によるＡＦ補助光を発光させた状態で評価値算出画像用に被写体を撮像することができる。この構成によって、動画のフレームレートを低下させることなく、取得した動画に発光部２１９を発光させることによる影響が及ぶことを抑制することができる。
As described above, the
したがって、本実施形態のカメラ１００は、１つの撮像素子を用いて動画を取得しながらＡＦ補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することができる。
Therefore, when the
また、本実施形態では、１つの撮像素子２０５のみで動画と評価値算出画像とを独立して取得することができる。そのため、被写体が暗い場合でも、蓄積時間を自由に設定して発光部２１９によるＡＦ補助光を発光させた状態の評価値算出画像を取得することができる。そして、当該画像を取得したフレーム内でＡＦ評価値を算出することもできる。このＡＦ評価値を用いて、当該ＡＦ評価値を算出したすぐ後の第１の行での蓄積開始までに、動画取得用にフォーカス制御を行うことができるので、被写体が暗い状態であっても、フレーム毎に精度の高いフォーカス制御を行うことができる。すなわち、合焦の精度が高い動画を取得することができる。
In the present embodiment, a moving image and an evaluation value calculation image can be acquired independently with only one
なお、本実施形態では、撮像素子２０５の第１の行のみで動画用に被写体を撮像するような構成であるが、これに限定されるものではない。例えば、被写体の輝度値が閾値以下となり、被写体が暗い状態であると判定されるまでは、第２の行でも動画用に被写体を撮像するような構成であってもよい。すなわち、ＡＦ補助光の発光指示がされるまでの間は、撮像素子２０５の全ての画素を動画用に用いるような構成であってもよい。
In this embodiment, the configuration is such that the subject is imaged for moving images only by the first row of the
また、本実施形態では、撮像素子２０５を構成する各画素を、おおよそ１：１の比率で第１の行と第２の行とに分けているが、動画の画素数を向上させるために、撮像素子２０５における第１の行の比率を大きくするような構成であってもよい。この場合、第２の行の数は減少するが、第２の行で取得する評価値算出画像は記録される画像データではないため、フォーカス制御を適正に行える程度に、第２の行が確保されていればよい。
In this embodiment, each pixel constituting the
（第２実施形態）
本発明の第２実施形態における動画取得処理について図９〜１１を参照して説明する。図１、図２に図示したようなカメラ１００の基本構成や、図３、図４に図示したような撮像部２０４の構成については前述の第１実施形態と同様であるので説明は省略する。なお、本実施形態では、後述する図９や図１１に示すフローと同様の動作を指示するためのプログラムが不揮発性メモリ２１３に予め格納されているものとする。
(Second Embodiment)
The moving image acquisition process according to the second embodiment of the present invention will be described with reference to FIGS. Since the basic configuration of the
前述した第１の実施形態では、撮像素子２０５の第２の行によって取得される評価値算出画像からＡＦ評価値を算出するような構成であった。本実施形態では、当該評価値算出画像から、動画用の画像データに関連付ける被写体の情報を算出する場合について説明する。
In the first embodiment described above, the AF evaluation value is calculated from the evaluation value calculation image acquired by the second row of the
なお、本実施形態においても、ユーザが発光部２１９を発光させていない状態の動画を取得したい場合や、種々の処理に使用するために被写体に対する露出量を通常よりもアンダーで取得したい場合（非発光動画時）を想定する。この場合、例えば、暗い状態の被写体を撮像した画像データから、被写体中の顔領域や人物領域を識別することは困難である。したがって、当該暗い状態の被写体を撮像した画像データの中から、ユーザによって事前に登録された特定の顔や人物を認証（照合）する処理を行うことは難しい。
In this embodiment as well, when the user wants to acquire a moving image in a state where the
この様な場合も、補助光によって被写体を照明した状態の画像データを用いることで、上述したような被写体の識別や認証を適正におこなうことができるが、動画を取得する場合は、補助光を発光させることによる影響が動画に及んでしまう。 In such a case, it is possible to properly identify and authenticate the subject as described above by using the image data in a state in which the subject is illuminated with the auxiliary light. However, when acquiring a moving image, the auxiliary light is used. The effect of emitting light will affect the video.
そこで、本実施形態では、撮像素子２０５の第１の行を動画取得用の蓄積行とし、第２の行を、被写体を識別するための識別評価値などを算出する評価値算出画像用の蓄積行とする。そして、第１の行と第２の行の読み出し周期（フレームレート）をそれぞれ独立して制御し、第１の行のリセット期間（第１の期間）で発光部２１９による補助光を発光させる。さらに、発光部２１９による補助光の発光期間と少なくとも一部が重複する期間で、第２の行による評価値算出画像を取得するための蓄積を行う。
Therefore, in the present embodiment, the first row of the
この構成によって、被写体中の顔領域や人物領域を適正に識別しつつ、発光による影響を抑制した動画を取得することが出来る。そして、識別された顔領域や人物領域が、カメラ１００に前もって登録された被写体であるか否かの認証処理を行い、当該認証処理によって得られた被写体の情報を動画に関連付けることができる。以下、その詳細について図９〜１１を参照して説明する。
With this configuration, it is possible to acquire a moving image in which the influence of light emission is suppressed while appropriately identifying the face area and the person area in the subject. Then, authentication processing can be performed to determine whether the identified face region or person region is a subject registered in advance in the
図９は本発明を実施した撮像装置の第２実施形態であるカメラ１００の動画取得処理を説明するフローチャートである。ユーザによって動画の取得が指示されると、第１の行によって動画用の画像データが随時取得される。ステップＳ３０１で測光演算部２２０は、動画用の画像データを取得し、当該動画用の画像データに基づいて測光演算を行い被写体の輝度値を算出する。なお、本実施形態においても、動画用の画像データを取得するごとに、測光演算部２２０によって被写体の輝度値が算出される。測光演算の方法は前述の第１実施形態と同様である、算出した被写体の輝度値はメモリ２１１に記録される。以降、ステップＳ３０３までの処理は、前述の第１実施形態と同様であるので、説明は省略する。
FIG. 9 is a flowchart illustrating the moving image acquisition process of the
ステップＳ３０４で発光制御部２２３は、発光部２１９の発光制御をおこなう。以下、図１０を参照して本実施形態における、発光部２１９の発光と撮像素子２０５による蓄積に関するタイミングについて説明する。図１０は本発明を実施した撮像装置の第２実施形態であるカメラ１００の発光部２１９の発光タイミングと撮像素子２０５の蓄積タイミングを説明するタイミングチャートである。
In step S304, the light
図１０に図示するように、発光部２１９による補助光の発光タイミングは、第１の行のリセット期間（第１の期間）とする。この際、前述した第１実施形態と同様に、第１の行のリセット期間（第１の期間）に発光の開始から終了までが収まるように、発光制御部２２３によって発光部２１９による補助光の発光タイミングが制御される。
As illustrated in FIG. 10, the light emission timing of the auxiliary light by the
図９に戻り、ステップＳ３０５で露出制御部２２２は、第２の行で評価値算出画像用に被写体を撮像する際の蓄積時間を設定する。図９に図示するように、本実施形態においても、第１の行における蓄積時間と比較して、第２の行において、第１の行における１フレームの略半分にあたる期間が、評価値算出画像を取得する際の第２の行のリセット期間（第２の期間）として設定されている。 Returning to FIG. 9, in step S <b> 305, the exposure control unit 222 sets an accumulation time when the subject is imaged for the evaluation value calculation image in the second row. As shown in FIG. 9, also in the present embodiment, a period corresponding to approximately half of one frame in the first row in the second row is compared with the accumulation time in the first row. Is set as the reset period (second period) of the second row when acquiring.
本実施形態では、この第２の期間において、評価値算出画像中の顔領域や人物領域の識別を行ない、識別された顔領域や人物領域に基づいて予め登録された被写体の情報との被写体認証処理を行う。そして、動画用の画像データを表示部１０１に表示する際に、評価値算出画像で認証された被写体の位置情報を反映させる。この際、被写体認証処理を行う評価値算出画像用に被写体を撮像するフレームと、認証された被写体の情報を反映させる動画用に被写体を撮像するフレームとは、少なくとも一部が重複するように取得する。
In the present embodiment, in this second period, the face area and person area in the evaluation value calculation image are identified, and subject authentication with subject information registered in advance based on the identified face area and person area is performed. Process. Then, when displaying the image data for moving images on the
すなわち、被写体認証を行う画像データと、認証された情報を反映させる画像データとはほとんど同じタイミングで取得されるので、被写体が暗い状態でも、時間的なズレが少ない期間で、認証された被写体の情報を反映させることが可能である。この詳細については図１１を参照して後述する。 That is, the image data for subject authentication and the image data reflecting the authenticated information are acquired at almost the same timing, so even if the subject is in a dark state, the authenticated subject can be detected in a period with little time deviation. It is possible to reflect information. Details of this will be described later with reference to FIG.
なお、本実施形態においても、第２の行によって取得する画像データは記録用には使用されないので、評価値算出画像の明るさは、識別評価値を算出するために必要最低限のものであればよい。すなわち、第２の行のリセット期間（第２の期間）は、識別評価値を算出できるような期間であればどのような期間であってもよい。 Also in this embodiment, since the image data acquired by the second row is not used for recording, the brightness of the evaluation value calculation image is the minimum necessary for calculating the identification evaluation value. That's fine. That is, the reset period (second period) of the second row may be any period as long as the identification evaluation value can be calculated.
図９に戻り、ステップＳ３０６で発光制御部２２３は、先に設定した補助光の発光タイミングに基づき、第１の行のリセット期間で、発光部２１９によって補助光を発光させて被写体を照明する。以降、ステップＳ３０９までの処理は前述の第１実施形態と同様であるので、説明は省略する。
Returning to FIG. 9, in step S306, the light
ステップＳ３１０でＣＰＵ２１２は、取得した画像データの被写体と、予め登録されている顔や人物の認証（照合）を行う、被写体認証処理を実行する。以下、図１１を参照してこの詳細を説明する。図１１は本発明を実施した撮像装置の第２実施形態であるカメラ１００の被写体認証処理を説明するフローチャートである。
In step S310, the
被写体認証処理が開始されると、ステップＳ４０１でＣＰＵ２１２は、今回の処理で発光部２１９により補助光が発光されたか否かを判定する。発光部２１９によって補助光が発光されていないと、ＣＰＵ２１２によって判定された場合はステップＳ４０２へと進む。また、発光部２１９によって補助光が発光されたと、ＣＰＵ２１２によって判定された場合はステップＳ４０４へと進む。
When the subject authentication process is started, in step S401, the
補助光が発光されていない場合、ステップＳ４０２でＣＰＵ（識別手段）２１２は、第１の行によって取得した動画用の画像データをメモリ２１１から読み出し、当該画像データの被写体の中に、顔領域や人物領域が存在するか否かを識別する。
When the auxiliary light is not emitted, in step S402, the CPU (identification unit) 212 reads out the moving image data acquired from the first row from the
まず、顔領域の識別方法の詳細について説明する。ＣＰＵ２１２は、メモリ２１１から先に取得した動画用の画像データを読み出し、当該画像データの被写体の中から、目・鼻・口・顔の輪郭などの物理的な特徴点を抽出する。
First, the details of the face area identification method will be described. The
次に、ＣＰＵ２１２は、抽出した特徴点を用いて、不揮発性メモリ２１３に格納されているテンプレートマッチング用のデータとのテンプレートマッチング処理を行い、被写体中の顔領域を識別する。なお、被写体中の顔領域を識別する方法としては、一般的な方法であればどのようなものを用いてもよい。
Next, the
次に、人物領域の識別方法の詳細について説明する。ＣＰＵ２１２は、メモリ２１１から先に取得した動画用の画像データを読み出し、当該画像データの被写体の中から、髪型・体型・姿勢・服装・持ち物などの、人物を構成するパーツやその他の人物を特定するパーツの特徴部分を抽出する。
Next, details of the person region identification method will be described. The
次に、ＣＰＵ２１２は、抽出した特徴点を用いて、不揮発性メモリ２１３に格納されているテンプレートマッチング用のデータとのテンプレートマッチング処理を行い、被写体中の人物領域を識別する。なお、被写体中の人物領域を識別する方法としては、一般的な方法であればどのようなものを用いてもよい。以上が、顔領域および人物領域の識別方法である。
Next, the
図１１に戻り、ステップＳ４０３でＣＰＵ（認証手段）２１２は、先に算出した顔領域や人物領域に基づいて、動画用の画像データの被写体の中に、カメラ１００に予め登録されている被写体がいるか否かの認証を行う。以下、その詳細について説明する。なお、ユーザによって、特定の顔や人物の登録が事前に行われており、メモリ（記録手段）２１１に当該登録した顔や人物の情報が記録されるものとする。
Returning to FIG. 11, in step S403, the CPU (authentication unit) 212 determines a subject registered in advance in the
ＣＰＵ２１２は、予め登録されている顔や人物の情報をメモリ２１１から読み出し、当該情報と先に識別した顔領域と人物領域の情報とを照合する。当該照合に参照する情報としては、先に説明したような顔領域や人物領域の特徴点と、当該顔領域や人物領域の色調を比較することで、登録された顔や人物が、識別された顔領域と人物領域と一致するか否かを照合する。
The
そして、動画用の画像データに、予め登録された顔や人物の情報と、識別した顔領域や人物領域とが一致する場合は、一致した顔領域や人物領域に対する重み付けをおこなう。最後に、当該重み付け関する重み付け情報をメモリ２１１に記録し、被写体認証処理を終了する。なお、被写体認証処理の方法としては、一般的な方法であればどのようなものを用いてもよい。以上が、補助光を発光させない場合の被写体認証処理である。
Then, when the face and person information registered in advance in the image data for moving image matches the identified face area and person area, the matched face area and person area are weighted. Finally, the weighting information related to the weighting is recorded in the
図１１に戻り、補助光が発光された場合、ステップＳ４０４でＣＰＵ（識別手段）２１２は、第２の行によって取得した評価値算出画像をメモリ２１１から読み出し、当該画像における被写体の中に、顔領域や人物領域が存在するか否かを識別する。なお、顔領域や人物領域の識別方法は、補助光を発光させない場合のものと同様である。
Returning to FIG. 11, when the auxiliary light is emitted, the CPU (identification unit) 212 reads the evaluation value calculation image acquired by the second row from the
次に、ステップＳ４０５でＣＰＵ（認証手段）２１２は、先に算出した顔領域や人物領域に基づいて、評価値算出画像の被写体の中に、メモリ（記録手段）２１１に予め登録されている被写体がいるか否かの認証を行う。被写体認証の方法は前述したものと同様である。 Next, in step S405, the CPU (authentication unit) 212 is a subject registered in advance in the memory (recording unit) 211 among the subjects of the evaluation value calculation image based on the previously calculated face area and person area. Authentication of whether or not there is. The method of subject authentication is the same as that described above.
次に、ステップＳ４０６でＣＰＵ２１２は、先に認証した被写体の情報を動画用の画像データに反映させるために、被写体評価値を算出する。被写体評価値の算出方法としては、まず、評価値算出画像を複数のブロックに分ける。この際の複数のブロックに分ける方法としては、前述した第１実施形態で説明した、輝度値を算出する際と同じ方法を用いる。ＣＰＵ２１２は、複数のブロックの中から、先に認証した顔および人物が存在する評価値算出画像内のブロックを特定する。そして、ＣＰＵ２１２は、認証した被写体が存在するブロックの位置を特定して、被写体の位置情報（被写体評価値）を算出する。算出された被写体評価値はメモリ２１１に記録される。
Next, in step S406, the
次に、ステップＳ４０７でＣＰＵ２１２は、メモリ２１１から被写体評価値を読み出し、動画用の画像データに関連付ける。なお、被写体評価値を関連付ける動画用の画像データは、被写体評価値を算出する評価値算出画像を取得したフレームと重複する第１の行のフレームで取得されたものである。
Next, in step S407, the
被写体評価値と動画用の画像データとの関連付けの方法としては、被写体評価値に基づいて、評価値算出画像で認証された顔や人物が存在するブロックの位置を、動画用の画像データに反映させる。 As a method of associating the subject evaluation value with the image data for moving images, the position of the block where the face or person authenticated by the evaluation value calculation image exists is reflected in the image data for moving images based on the subject evaluation value. Let
以上が、補助光を発光させる場合の被写体認証処理である。この構成によって、被写体認証を行いたい動画用の画像データとほとんど同じタイミングで取得された評価値算出画像で被写体認証を行い、被写体認証の結果を当該動画用の画像データに反映するため、時間的なズレが少ない状態で被写体の認証が可能である。 The above is the subject authentication process when the auxiliary light is emitted. With this configuration, the subject authentication is performed with the evaluation value calculation image acquired at almost the same timing as the moving image image data to be subjected to the subject authentication, and the subject authentication result is reflected in the moving image image data. It is possible to authenticate the subject with little misalignment.
図９に戻り、ステップＳ３１１でＣＰＵ２１２は、動画用の画像データをメモリ２１１から読み出し、Ｄ／Ａ変換部２１０によって表示用のアナログ画像データへと変換し表示部１０１に表示させる。この際、ＣＰＵ２１２は、先に算出した重み付け情報、または被写体評価値をメモリ２１１から読み出し、動画を表示部１０１に表示させる際に、当該読み出した被写体の位置情報を重畳して表示部１０１に表示させる。
Returning to FIG. 9, in step S <b> 311, the
本実施形態では、上述した被写体の位置情報の表示方法として、対応する被写体（顔領域や人物領域）を囲う枠などを表示部１０１に表示させるが、それ以外の方法によって、認証された被写体に関する位置情報を表示させるような構成であってもよい。
In the present embodiment, as a method for displaying the position information of the subject described above, a frame surrounding the corresponding subject (face area or person area) is displayed on the
また、取得した動画を再生する際には、認証された被写体に関する位置情報を表示させないような構成であってもよい。なお、認証された被写体に関する位置情報に基づいて、被写体を追尾させ、以降の処理において、追尾させた被写体に対して、優先的にフォーカス制御を行ったり、露出制御を行うような構成であってもよい。 Further, when reproducing the acquired moving image, the position information regarding the authenticated subject may not be displayed. Note that the subject is tracked based on the positional information regarding the authenticated subject, and the focus control or exposure control is preferentially performed on the tracked subject in the subsequent processing. Also good.
次に、ステップＳ３１２でＣＰＵ２１２は、動画の取得を続行するか否かを判定する。動画の取得を続行する場合はステップＳ３０１に戻り、動画の取得を終了する場合は動画取得処理を終了する。以上が本実施形態の動画取得処理である。
Next, in step S <b> 312, the
以上説明したように、本実施形態のカメラ１００は、動画取得中であって撮像素子２０５の第１の行のリセット期間において、撮像素子２０５の第２の行で、発光部２１９による補助光を発光させた状態で評価値算出画像用に被写体を撮像することができる。この構成によって、被写体が暗い状態であっても、動画のフレームレートを低下させることなく、取得した動画に発光部２１９を発光させることによる影響が及ぶことを抑制することができる。
As described above, the
したがって、本実施形態のカメラ１００は、１つの撮像素子を用いて動画を取得しながら補助光を発光する場合に、動画のフレームが低下することなく、補助光の発光が動画に影響することを抑制することができる。
Therefore, when the
また、本実施形態では、１つの撮像素子２０５のみで動画と評価値算出画像とを独立して取得することができる。そのため、被写体が暗い場合でも、評価値算出画像の蓄積時間を自由に設定し、当該画像を取得したフレーム内で被写体評価値を算出することもできる。この被写体評価値を動画用の画像データに反映させることで、被写体が暗い場合であっても、予め登録された被写体を第１の行のフレーム毎に認証することができる。
In the present embodiment, a moving image and an evaluation value calculation image can be acquired independently with only one
なお、本実施形態では、発光部２１９を発光させない場合における顔領域や人物領域の識別は、第１の行で取得した動画用の画像データを用いて実行するような構成であるが、これに限定されるものではない。例えば、発光部２１９を発光させない場合であっても、評価値算出画像を用いて顔領域や人物領域の識別を行うような構成であっても良い。この場合、発光部２１９を発光させる必要はないので、第１の行の露出量（蓄積時間やゲイン量）を改めて設定する必要はない。
In the present embodiment, the identification of the face area and the person area when the
また、本実施形態では、画像データの中の顔領域や人物領域を識別するような構成であるが、これに限定されるものではない。例えば、自動車や飛行機などの動きを伴う人工物や動物など、人物以外の被写体を識別するような構成であってもよい。 In this embodiment, the face area and the person area in the image data are identified. However, the present invention is not limited to this. For example, the configuration may be such that an object other than a person, such as an artificial object or an animal accompanying movement of an automobile or an airplane, is identified.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、カメラ１００は、前述した第１実施形態の構成と第２実施形態の構成とを組み合わせて実行するような構成であってもよい。すなわち、第１の行のリセット期間（第１の期間）において取得された被写体が照明された状態の評価値算出画像を用いて、動画用にフォーカス制御と被写体認証を行うような構成であってもよい。
As mentioned above, although preferable embodiment of this invention was described, this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary. For example, the
この場合、予め登録された顔や人物が動画用の画像データに存在するか否かの認証を行い、認証された被写体がある場合は、当該認証された被写体に対して、第１実施形態で説明したようなフォーカス制御を行う。この構成によって、予め認証された被写体を追尾するように、連続的にフォーカス制御を行うことができるため、ユーザが撮像したい被写体に対して高精度なピント合わせを行うことが可能となる。 In this case, authentication is performed as to whether or not a pre-registered face or person exists in the image data for moving images. If there is an authenticated subject, the first embodiment applies to the authenticated subject. Perform focus control as described. With this configuration, since focus control can be continuously performed so as to track a subject that has been authenticated in advance, it is possible to focus on the subject that the user wants to capture with high accuracy.
また、本実施形態において、評価値算出画像は、記録媒体１３０への記録や、表示部１０１への表示を行わないような構成であるが、これに限定されるものではない。記録用の画像データとして記録媒体１３０への記録、および、表示用のアナログ画像データとして表示部１０１に表示させるような構成であっても勿論よい。
In the present embodiment, the evaluation value calculation image is configured not to be recorded on the
なお、前述した実施形態では、撮像素子２０５の撮像用の画素を構成する行の数は例示的に８行としたが、勿論これに限定されるものではなく、当該撮像素子２０５の行の数が８行ではないような構成であっても良い。
In the above-described embodiment, the number of rows constituting the imaging pixels of the
また、前述した実施形態では、撮像素子２０５の第１の行と第２の行のフレームレート（読み出し周期）を独立して制御することが出来るため、それぞれ異なるタイミングで第１の行と第２の行の読み出しを行ってもよい。例えば、第１の行で１度の読み出しをする間に、第２の行で２度の読み出しをするような構成であってもよいし、第１の行で２度の読み出しをする間に、第２の行で１度の読み出しをするような構成であってもよい。すなわち、第１の行と第２の行の読み出しタイミングを自由に設定するような構成であってもよい。
In the above-described embodiment, since the frame rate (reading cycle) of the first row and the second row of the
なお、この場合も、第１の行のリセット期間（第１の期間）において、発光部２１９を発光させた状態で第２の行での蓄積を開始するように、発光部２１９の発光タイミングと、撮像素子２０５の蓄積時間を設定する。本実施形態では、このような構成によって、第２の行によって取得する評価値算出画像の蓄積時間を自由に設定することができる。
In this case as well, in the reset period (first period) of the first row, the light emission timing of the
また、前述した実施形態では、予め第１の行での蓄積時間を設定してから、当該第１の行の蓄積時間に合わせて発光部２１９の発光量（に応じた発光時間）を設定するような構成であるが、これに限定されるものではない。 In the above-described embodiment, the accumulation time in the first row is set in advance, and then the light emission amount of the light emitting unit 219 (according to the light emission time) is set in accordance with the accumulation time in the first row. Although it is such a structure, it is not limited to this.
例えば、発光部２１９の発光量を先に設定し、当該発光量に応じて変化する発光部２１９の発光時間に合わせて、第１の行の蓄積時間を設定するような構成であってもよい。なお、第１の行の蓄積時間を改めて設定することで変化した分の露出量は、前述した（１）式および（２）式を用いて、第１の行で取得される画像データのゲイン量を再設定することで対応する。したがって、発光部２１９を発光させることによる影響が及ばない程度であれば、評価値算出画像にフレームごとに、第１の行の蓄積時間とリセット期間を自由に設定することも可能である。
For example, the configuration may be such that the light emission amount of the
さらに、本発明においてカメラ１００内の各部の駆動は、画像処理部２０８、メモリ制御部２０９、ＣＰＵ２１２とＣＰＵ２１２を構成する各部、電源制御部２１７、タイミング制御回路３１４などによって制御されるがこれに限定されるものではない。例えば、前述した図５、図８、図９、図１１のフローに従ったプログラムを不揮発性メモリ２１３に記憶させておき、ＣＰＵ２１２が該プログラムを実行することでカメラ１００内の各部の駆動を制御するような構成であってもよい。この際、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。また、プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記録媒体でもあってもよい。
Further, in the present invention, driving of each unit in the
なお、前述した実施形態では、デジタルカメラ１００を、本発明を実施する撮像装置の一例として説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬型デバイスなど、本発明は、その要旨の範囲内で種々の撮像装置に適用することが可能である。
In the above-described embodiment, the
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads out and executes the program.
２０４ 撮像部
２０５ 撮像素子
２０７ 評価部
２１２ システム制御部（ＣＰＵ）
２２１ ＡＦ制御部（フォーカス制御手段）
２２２ 露出制御部（第２の制御手段）
２２３ 発光制御部（第１の制御手段）
221 AF control unit (focus control means)
222 Exposure control unit (second control means)
223 Light emission control unit (first control means)
Claims (14)
被写体を照明する発光手段の発光を制御する第１の制御手段と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得する評価値算出用の画像に基づいて、前記第１の行によって被写体を撮像する際の撮影条件を設定する撮像装置であって、
前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする撮像装置。 A charge storage type having a plurality of pixels arranged in a row direction and a column direction and capable of independently controlling a read cycle in a first row and a second row different from the first row An image sensor;
First control means for controlling light emission of the light emitting means for illuminating the subject;
A second control unit configured to control an accumulation time of the first row and the second row of the image sensor, and based on an evaluation value calculation image acquired by the second row, An imaging apparatus for setting shooting conditions when shooting a subject by a first row,
When the first control unit causes the light emitting unit to emit light and captures an image of an object for evaluation value calculation in the second row, the first control unit performs the next operation after the accumulation of the moving image in the first row ends. The light emitting means is caused to emit light in a period until accumulation of moving images starts,
The second control unit causes accumulation for the image for evaluation value calculation in the second row in a period at least partially overlapping with a period during which the light emitting unit emits light. Imaging device.
被写体を照明する発光手段の発光を制御する第１の制御手段と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御手段とを有し、前記第２の行によって取得された評価値算出用の画像に基づいて取得した被写体の情報を前記第１の行によって取得した画像に関連付けることが可能な撮像装置であって、
前記第１の制御手段は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御手段は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせることを特徴とする撮像装置。 A charge storage type having a plurality of pixels arranged in a row direction and a column direction and capable of independently controlling a read cycle in a first row and a second row different from the first row An image sensor;
First control means for controlling light emission of the light emitting means for illuminating the subject;
Obtained on the basis of an evaluation value calculation image obtained by the second row, comprising second control means for controlling an accumulation time of the first row and the second row of the image sensor. An imaging device capable of associating information on the subject obtained with the image acquired by the first row,
When the first control unit causes the light emitting unit to emit light and captures an image of an object for evaluation value calculation in the second row, the first control unit performs the next operation after the accumulation of the moving image in the first row ends. The light emitting means is caused to emit light in a period until accumulation of moving images starts,
The second control unit causes accumulation for the image for evaluation value calculation in the second row in a period at least partially overlapping with a period during which the light emitting unit emits light. Imaging device.
前記評価値算出用の画像の被写体を識別するための識別手段と、
前記識別手段によって識別された被写体が前記記録手段に登録されている被写体であるか否かを認証する認証手段と、を有し、前記認証手段によって認証された被写体の情報を、前記第１の行によって取得した動画用の画像に関連付けることを特徴とする請求項７に記載の撮像装置。 Recording means capable of pre-recording subject information;
Identification means for identifying the subject of the image for evaluation value calculation;
Authentication means for authenticating whether or not the subject identified by the identification means is a subject registered in the recording means, and information on the subject authenticated by the authentication means The image pickup apparatus according to claim 7, wherein the image pickup apparatus is associated with a moving image acquired by a row.
前記表示手段は、前記第１の行によって取得した動画を前記表示部に表示する際に、前記認証手段によって認証された被写体の情報を前記表示手段に重畳して表示することを特徴とする請求項８又は９に記載の撮像装置。 Having display means for displaying an image for display;
The display means superimposes and displays the information of the subject authenticated by the authentication means on the display means when displaying the moving image acquired by the first row on the display unit. Item 10. The imaging device according to Item 8 or 9.
被写体を照明する発光手段の発光を制御する第１の制御工程と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御工程とを有し、
前記第１の制御工程は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御工程は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせ、前記第２の行によって取得した評価値算出用の画像に基づいて、前記第１の行によって被写体を撮像する際の撮影条件を設定することを特徴とする撮像装置の制御方法。 A charge storage type having a plurality of pixels arranged in a row direction and a column direction and capable of independently controlling a read cycle in a first row and a second row different from the first row A method for controlling an imaging apparatus including an imaging element,
A first control step for controlling the light emission of the light emitting means for illuminating the subject;
A second control step for controlling an accumulation time of the first row and the second row of the image sensor;
In the first control step, when the subject is imaged for evaluation value calculation in the second row by causing the light emitting means to emit light, after the accumulation of the moving image in the first row is finished, The light emitting means is caused to emit light in a period until accumulation of moving images starts,
In the second control step, accumulation is performed for the image for evaluation value calculation in the second row in a period at least partially overlapping with a period during which the light emitting unit emits light, and the second control step A method for controlling an imaging apparatus, comprising: setting an imaging condition for capturing an image of a subject by the first row based on an evaluation value calculation image acquired by the row.
被写体を照明する発光手段の発光を制御する第１の制御工程と、
前記撮像素子の前記第１の行と前記第２の行の蓄積時間を制御する第２の制御工程とを有し、
前記第１の制御工程は、前記発光手段を発光させて前記第２の行で評価値算出用に被写体を撮像する場合に、前記第１の行で動画用の蓄積が終了してから次の動画用の蓄積が開始されるまでの期間で前記発光手段を発光させ、
前記第２の制御工程は、前記発光手段を発光させる期間と少なくとも一部が重複する期間で、前記第２の行での前記評価値算出用の画像用に蓄積を行わせ、前記第２の行によって取得された評価値算出用の画像に基づいて取得した被写体の情報を前記第１の行によって取得した画像に関連付けることを特徴とする撮像装置の制御方法。 A charge storage type having a plurality of pixels arranged in a row direction and a column direction and capable of independently controlling a read cycle in a first row and a second row different from the first row A method for controlling an imaging apparatus including an imaging element,
A first control step for controlling the light emission of the light emitting means for illuminating the subject;
A second control step for controlling an accumulation time of the first row and the second row of the image sensor;
In the first control step, when the subject is imaged for evaluation value calculation in the second row by causing the light emitting means to emit light, after the accumulation of the moving image in the first row is finished, The light emitting means is caused to emit light in a period until accumulation of moving images starts,
In the second control step, accumulation is performed for the image for evaluation value calculation in the second row in a period at least partially overlapping with a period during which the light emitting unit emits light, and the second control step A method for controlling an imaging apparatus, comprising: associating information on a subject acquired based on an evaluation value calculation image acquired by a row with an image acquired by the first row.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013269682A JP2015126387A (en) | 2013-12-26 | 2013-12-26 | Image pickup device, and control method and program of the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013269682A JP2015126387A (en) | 2013-12-26 | 2013-12-26 | Image pickup device, and control method and program of the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015126387A true JP2015126387A (en) | 2015-07-06 |
Family
ID=53536805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013269682A Pending JP2015126387A (en) | 2013-12-26 | 2013-12-26 | Image pickup device, and control method and program of the same |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015126387A (en) |
-
2013
- 2013-12-26 JP JP2013269682A patent/JP2015126387A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5954336B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP6247527B2 (en) | Imaging apparatus, control method, program, and storage medium | |
| US8670658B2 (en) | Image capture apparatus and method of controlling the same | |
| US20140071318A1 (en) | Imaging apparatus | |
| US9277111B2 (en) | Image capture apparatus and control method therefor | |
| JP6124700B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| TW201301866A (en) | Image processing device capable of generating wide-range image, image processing method, and recording medium | |
| JP5855454B2 (en) | Imaging device | |
| US7911527B2 (en) | Focusing apparatus and focusing method | |
| JP2016072695A (en) | Imaging apparatus, control method thereof, program, and storage medium | |
| US8860876B2 (en) | Image display using flash reach information | |
| US9924094B2 (en) | Image pickup apparatus capable of changing drive mode and image signal control method | |
| JP2008109485A (en) | Imaging apparatus and imaging control method | |
| US20190139239A1 (en) | Imaging processing apparatus, image pickup apparatus, control method for image processing apparatus, and storage medium | |
| JP6296767B2 (en) | Imaging apparatus and image signal processing method | |
| JP6758950B2 (en) | Imaging device, its control method and program | |
| US7656450B2 (en) | Image capture apparatus which sets a substrate bias voltage of an image sensor | |
| JP7422911B2 (en) | Image processing device, imaging device, image processing method, image processing program, and recording medium | |
| JP6998454B2 (en) | Imaging equipment, imaging methods, programs and recording media | |
| US9113098B2 (en) | Image pickup apparatus and control method thereof, image pickup system, and non-transitory computer-readable storage medium | |
| JP2018107741A (en) | Image processing system, image processing method, and program | |
| JP7086774B2 (en) | Imaging equipment, imaging methods and programs | |
| JP2015126387A (en) | Image pickup device, and control method and program of the same | |
| US10462360B2 (en) | Image capturing apparatus and control method utilizing an image sensor with two-dimensional pixels and pixel signal storing unit | |
| JP5448391B2 (en) | Imaging apparatus and red-eye correction method |