JP6862225B2 - Imaging device, control method of imaging device, and program - Google Patents
Imaging device, control method of imaging device, and program Download PDFInfo
- Publication number
- JP6862225B2 JP6862225B2 JP2017045295A JP2017045295A JP6862225B2 JP 6862225 B2 JP6862225 B2 JP 6862225B2 JP 2017045295 A JP2017045295 A JP 2017045295A JP 2017045295 A JP2017045295 A JP 2017045295A JP 6862225 B2 JP6862225 B2 JP 6862225B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- exposure time
- exposure condition
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。 The present invention relates to an image pickup apparatus, a control method for the image pickup apparatus, and a program.
動画像を撮像する機能を有した撮像装置において、動画像の撮像中に画像のコントラストを評価してオートフォーカス(AF)制御を行う技術が提案されている(例えば、特許文献1参照。)。また、被写体の動きが滑らかな動画像を撮像する場合には、露光時間を長くして撮像することが望ましい。 In an imaging device having a function of capturing a moving image, a technique has been proposed in which the contrast of the image is evaluated during the imaging of the moving image to perform autofocus (AF) control (see, for example, Patent Document 1). Further, when capturing a moving image in which the subject moves smoothly, it is desirable to capture the image with a long exposure time.
動画像の撮像中に画像を評価する場合、例えば、画像のコントラストを評価してオートフォーカス制御を行う場合、オートフォーカス制御に係る評価値を次のフレームの撮像に反映できないことがある。そこで本発明は、オートフォーカス制御に係る評価値を得るまでの処理時間を短縮し、フレーム毎のオートフォーカス制御を可能にする撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。 When evaluating an image during imaging of a moving image, for example, when evaluating the contrast of the image and performing autofocus control, the evaluation value related to the autofocus control may not be reflected in the imaging of the next frame. Therefore, an object of the present invention is to provide an image pickup device, a control method of the image pickup device, and a program that shortens the processing time until an evaluation value related to autofocus control is obtained and enables autofocus control for each frame. To do.
本発明に係る撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段に第1の露光時間および第1のピント位置での撮像と、前記第1の露光時間よりも長い第2の露光時間および前記第1のピント位置とは異なる第2のピント位置での撮像とを行わせる制御手段と、前記撮像手段により前記第1の露光時間で撮像された第1の画像データに対して前記第2の露光時間で撮像された第2の画像データに合わせてゲイン補正及び像倍率補正を行う補正手段と、前記第1の画像データおよび前記第2の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価手段と、複数の前記第2の画像データを動画像データとして取得する取得手段と、を有することを特徴とする。 The image pickup apparatus according to the present invention includes an image pickup means for capturing an image of a subject, an image pickup on the image pickup means at a first exposure time and a first focus position, and a second exposure longer than the first exposure time. The control means for performing imaging at a second focus position different from the time and the first focus position, and the first image data imaged by the imaging means at the first exposure time. For autofocus control using a correction means that performs gain correction and image magnification correction according to the second image data captured in the second exposure time, the first image data, and the second image data. It is characterized by having an evaluation means for performing the image evaluation and an acquisition means for acquiring a plurality of the second image data as moving image data.
本発明によれば、オートフォーカス制御に係る評価値を得るまでの処理時間を短縮でき、フレーム毎のオートフォーカス制御が可能となる。 According to the present invention, the processing time until the evaluation value related to the autofocus control is obtained can be shortened, and the autofocus control for each frame becomes possible.
以下、本発明の実施形態を図面に基づいて説明する。なお、以下では、本発明の一実施形態における撮像装置をデジタルカメラに適用した場合を一例として説明するが、これに限定されるものではない。本実施形態における撮像装置は、例えば、スマートフォンやタブレット端末等の各種携帯機器、工業用カメラ、車載用カメラ、及び医療用カメラ等にも適用可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following, the case where the imaging device according to the embodiment of the present invention is applied to a digital camera will be described as an example, but the present invention is not limited to this. The imaging device in the present embodiment can be applied to, for example, various mobile devices such as smartphones and tablet terminals, industrial cameras, in-vehicle cameras, medical cameras, and the like.
図1は、本実施形態における撮像装置としてのデジタルカメラ101の構成例を示すブロック図である。デジタルカメラ101は、撮像レンズ102、レンズ駆動部103、絞り104、撮像素子105、撮像素子駆動部106、タイミングジェネレータ(TG:Timing Generator)107、及びユニット回路(CDS/AD)108を有する。また、デジタルカメラ101は、CPU(Central Processing Unit)109、操作部110、メモリ111、及びメモリ(DRAM)112を有する。また、デジタルカメラ101は、画像生成部113、表示部114、圧縮伸張部115、フラッシュメモリ116、顔検出部117、オートフォーカス制御部(AF制御部)118、及びバス119を有する。
FIG. 1 is a block diagram showing a configuration example of a
撮像レンズ102は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。撮像レンズ102には、AF制御部118から送られてくる制御信号に従って、フォーカスレンズやズームレンズをそれぞれ光軸方向に駆動させるレンズ駆動部103が接続されている。絞り104は、CPU109から送られてくる制御信号に従って駆動され、撮像素子105に入射される光の量を制御する。撮像における露出量は、絞り値(絞りの度合い)とシャッター速度によって定められる。
The
撮像素子105は、例えばCMOSセンサー等である。撮像素子105は、撮像素子駆動部106によって走査駆動され、一定周期毎に被写体像のRGB各色の光の強さを光電変換して撮像信号としてユニット回路(CDS/AD)108に出力する。また、撮像素子105は、電子シャッターとしての機能を有する。撮像素子105が有する電子シャッターの機能は、撮像素子駆動部106及びタイミングジェネレータ107を介してCPU109により制御される。この電子シャッターのシャッター速度によって露光時間が変わる。タイミングジェネレータ107は、CPU109からの指示に従って、撮像素子駆動部106やユニット回路(CDS/AD)108の動作タイミングを制御する。
The
ユニット回路(CDS/AD)108は、撮像素子105から出力される撮像信号をライン露光順次読み出しを行い、垂直信号線毎に配置されている列回路(CDS回路、相関二重サンプリング回路)により画素間にばらつきのあるノイズを除去する。さらにユニット回路(CDS/AD)108は、ノイズが除去された撮像信号を、水平転送回路を経てアナログ/デジタル変換器(A/D変換器)によりアナログ信号からデジタル信号に変換する。撮像素子105によって得られた撮像信号は、ユニット回路(CDS/AD)108を経た後、ベイヤー配列の画像データとしてバッファメモリ(メモリ112)に記憶される。このユニット回路(CDS/AD)108により、撮像素子105によって撮像された画像データに対してゲイン補正を行う補正手段の機能が実現される。
The unit circuit (CDS / AD) 108 sequentially reads out the image pickup signals output from the
CPU109は、デジタルカメラ101の各部を制御するワンチップマイコンである。CPU109は、例えば記録処理等を行う機能を有するとともに、動画像データを表示部114に表示する表示制御を行う機能を有する。また、CPU109は、異なる2つの露光時間で交互に連続撮像を実行させる機能や、顔検出部117により検出された顔領域を識別表示させる機能を有する。操作部110は、静止画撮像や動画撮像等の撮像を指示するシャッターボタン、表示モード切り替えキー、十字キー、SETキー等の複数の操作キーを含み、ユーザの操作に応じた操作信号をCPU109に出力する。
The
メモリ111には、CPU109がデジタルカメラ101の各部を制御するための制御プログラムやデータが格納されている。CPU109は、メモリ111に格納された制御プログラムを読み出して実行することにより、デジタルカメラ101の各部に係る制御処理を実行する。メモリ(DRAM)112は、撮像素子105によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、CPU109のワーキングメモリとしても使用される。
The
画像生成部113は、画像データに対して画像処理を施す。画像生成部113は、画像データに対して画素補間処理やγ補正処理やホワイトバランス処理等の処理を施すとともに、輝度色差信号(YUVデータ)の生成も行う。この画像生成部113により、撮像素子105によって撮像された画像データに対して像倍率補正を行う補正手段の機能が実現される。表示部114は、例えばカラー液晶パネルとその駆動回路を含み、画像データに係る画像等を表示する。圧縮伸張部115は、画像データの圧縮や伸張(例えば、JPEG形式やMPEG形式での圧縮や伸張)を行う。顔検出部117は、撮像された画像データ内にある顔領域を検出する顔検出処理を行う。つまり、顔検出部117は、顔があるか否か、顔が幾つあるか否かを評価するものである。なお、顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ(目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ)と画像データとを比較照合することにより、画像のどの領域に顔があるかを検出する。
The
オートフォーカス制御部(AF制御部)118は、撮像された複数の画像データに基づいてオートフォーカス制御を行う。具体的には、AF制御部118は、レンズ駆動部103に制御信号を送ることによりフォーカスレンズを駆動範囲内で移動させ、レンズ位置における撮像素子105により撮像された画像データのAFエリアのAF評価値を算出する(画像評価を行う)。そして、AF制御部118は、算出したAF評価値に基づく合焦レンズ位置にフォーカスレンズを移動させることでピント(焦点)を合わせる。このAF評価値は、画像データのAFエリアの高周波成分に基づいて算出され、AF評価値が高いほどピントが合っているレンズ位置ということになる。
The autofocus control unit (AF control unit) 118 performs autofocus control based on a plurality of captured image data. Specifically, the
本実施形態におけるデジタルカメラ101の動画撮像時の動作について説明する。本実施形態におけるデジタルカメラ101は、第1の露光条件と第2の露光条件との2種類の露光条件を備えている。第1の露光条件は、露光条件値として“0”が設定されているときの露光条件であり、第2の露光条件の露光時間Bより短い露光時間Aで露光する設定である。また、第2の露光条件は、露光条件値として“1”が設定されているときの露光条件であり、動画撮像に適した露光時間Bで露光する設定である。露光条件値は、例えばメモリ(DRAM)112内の露光条件記憶領域に設定され記憶される。
The operation of the
本実施形態では、第2の露光条件で撮像した画像のピント位置は、被写体に合うように、DFD(Depth From Defocus)検出結果を用いてフォーカス制御を行う。つまり、DFD方式でオートフォーカス制御を行う。また、第1の露光条件で撮像した画像のピント位置は、第2の露光条件で撮像した画像のピント位置と異なるようにフォーカス制御を行う。ここで、DFD検出は、ピント位置の異なる画像から空間を認識し、物体までの距離を演算して、次のフレーム画像のピント位置を割り出す処理である。また、本実施形態では、露光条件は撮像する度に切り替わる。つまり、第1の露光条件で撮像すると、次は第2の露光条件で撮像し、その次は第1の露光条件で撮像するというように、露光条件値が0→1→0→・・・というように切り替わる。 In the present embodiment, the focus position of the image captured under the second exposure condition is controlled by using the DFD (Depth From Defocus) detection result so as to match the subject. That is, the autofocus control is performed by the DFD method. Further, the focus control is performed so that the focus position of the image captured under the first exposure condition is different from the focus position of the image captured under the second exposure condition. Here, DFD detection is a process of recognizing a space from images having different focus positions, calculating the distance to an object, and determining the focus position of the next frame image. Further, in the present embodiment, the exposure conditions are switched each time an image is taken. That is, when an image is taken under the first exposure condition, then an image is taken under the second exposure condition, then an image is taken under the first exposure condition, and so on, and the exposure condition values are 0 → 1 → 0 → ... It switches like this.
また、撮像素子105は、少なくとも240fps(毎秒240フレーム)のフレーム周期で被写体を撮像することが可能である。撮像素子105は、第1の露光条件では1フレーム期間未満の露光時間A(本例では1/300sとする)の露光を行い、第2の露光条件では2.4フレーム期間分の露光時間B(本例では1/100s)の露光を行うものとする。なお、1フレーム期間は1/240sとする。
Further, the
図2は、本実施形態におけるデジタルカメラ101の動画撮像時の動作例を示すタイムチャートである。図2に示すように、デジタルカメラ101は、第1の露光条件(露光時間1/300s)での撮像と第2の露光条件(露光時間1/100s)での撮像とを交互に繰り返し行う。以下では、説明の便宜上、第1の露光条件で撮像された、主被写体に焦点が合っていない画像をデフォーカス画像Aと呼び、第2の露光条件で撮像された、主被写体に焦点が合っている画像をフォーカス画像Bと呼ぶ。
FIG. 2 is a time chart showing an operation example of the
また、図2に示すように、撮像素子105からの画像データの読み出し開始から画像生成部113による像倍率補正処理、又はDFD検出処理の完了までは、1フレーム期間未満(1/240s未満)の期間で行われる。撮像素子105から読み出された信号(ベイヤー配列の画像データ)は、ユニット回路(CDS/AD)108等を介してバッファメモリ(メモリ112)に記憶され、画像生成部113によって輝度色差信号の画像データが生成される。生成された輝度色差信号の画像データがバッファメモリに記憶されるという一連の動作が、1フレーム期間未満(1/240s未満)の期間で行われることになる。
Further, as shown in FIG. 2, it takes less than one frame period (less than 1 / 240s) from the start of reading the image data from the
このとき、同じ被写体を撮影したとすると、第1の露光条件で撮像されるデフォーカス画像Aの画像データと、第2の露光条件で撮像されるフォーカス画像Bの画像データとの輝度レベルが同じになるように、絞りや感度(例えばゲイン)を調節する。ここでは、ゲイン補正のみを行うものとする。第1の露光条件の露光時間が第2の露光条件の露光時間の1/3であるので、第2の露光条件で撮像するときのゲイン値を1倍とし、第1の露光条件で撮像するときのゲイン値を3倍とする。これによって、第1の露光条件で撮像されたデフォーカス画像Aの画像データと第2の露光条件で撮像されたフォーカス画像Bの画像データとの輝度レベルを揃えることができる。 At this time, assuming that the same subject is photographed, the brightness level of the image data of the defocus image A captured under the first exposure condition and the image data of the focus image B captured under the second exposure condition are the same. Adjust the aperture and sensitivity (for example, gain) so that Here, it is assumed that only the gain correction is performed. Since the exposure time of the first exposure condition is 1/3 of the exposure time of the second exposure condition, the gain value when imaging under the second exposure condition is multiplied by 1, and the image is captured under the first exposure condition. The gain value at that time is tripled. As a result, the brightness levels of the image data of the defocus image A captured under the first exposure condition and the image data of the focus image B captured under the second exposure condition can be made uniform.
また、第1の露光条件での撮像と第2の露光条件での撮像とでは被写体のフォーカス位置が異なるため、第1の露光条件での撮像と第2の露光条件での撮像との像倍率が同じになるように像倍率を調整する。本実施形態では、フォーカス画像Bを撮像するときの像倍率を基準として、デフォーカス画像Aの像倍率を調整するために、デフォーカス画像Aの拡大縮小を行うものとする。これによって、第1の露光条件で撮像されたデフォーカス画像Aの画像データと、第2の露光条件で撮像されたフォーカス画像Bの画像データとの像倍率を揃えることができる。 Further, since the focus position of the subject is different between the imaging under the first exposure condition and the imaging under the second exposure condition, the image magnification between the imaging under the first exposure condition and the imaging under the second exposure condition Adjust the image magnification so that In the present embodiment, the defocus image A is enlarged or reduced in order to adjust the image magnification of the defocus image A with reference to the image magnification when the focus image B is captured. As a result, the image magnifications of the image data of the defocus image A captured under the first exposure condition and the image data of the focus image B captured under the second exposure condition can be made uniform.
また、輝度色差信号の画像データ内にある顔を検出する顔検出処理や、輝度色差信号の画像データの圧縮及び圧縮された画像データの記録もそれぞれ処理されることになる。つまり、バッファメモリ(メモリ112)に記憶されている輝度色差信号の画像データの顔検出部117による顔検出処理が行われる。また、バッファメモリ(メモリ112)に記憶されている輝度色差信号の画像データが圧縮伸張部115で圧縮される。圧縮された画像データのバッファメモリ(メモリ112)への記憶に係る一連の動作、バッファメモリ(メモリ112)に記憶されている圧縮された画像データのフラッシュメモリ116への記録の一連の動作は、4フレーム期間未満で行われることになる。
In addition, face detection processing for detecting a face in the image data of the luminance color difference signal, compression of the image data of the luminance color difference signal, and recording of the compressed image data are also processed. That is, the face detection process of the image data of the luminance color difference signal stored in the buffer memory (memory 112) is performed by the
また、図2においては、撮像されたフレーム画像データが何回目に撮像された画像データであるかを示すため、回数をフレーム画像データに付して示している。この回数は0からカウントする。例えば、デフォーカス画像A0は、0回目に撮像されたフレーム画像であり、且つ、第1の露光条件で撮像されたフレーム画像であることを示している。また、例えばフォーカス画像B1は、1回目に撮像されたフレーム画像であり、且つ、第2の露光条件で撮像されたフレーム画像であることを示している。 Further, in FIG. 2, in order to show the number of times the captured frame image data is captured, the number of times is attached to the frame image data. This number is counted from 0. For example, the defocus image A0 indicates that it is a frame image captured at the 0th time and is a frame image captured under the first exposure condition. Further, for example, the focus image B1 is a frame image captured at the first time and is a frame image captured under the second exposure condition.
また、図2に示した例では、第1の露光条件での撮像を最初に行い、その後、交互に露光条件を切り替えるように、撮像を行う順序を制御して撮像していく。したがって、第1の露光条件で撮像されたフレーム画像(デフォーカス画像)は画像A(2n)で表され、第2の露光条件で撮像されたフレーム画像(フォーカス画像)は画像B(2n+1)で表される。但し、n=0,1,2,3,・・・とする。また、図2に示すように、第1の露光条件で撮像されるデフォーカス画像Aは、DFD検出に用いられ、第2の露光条件で撮像されるフォーカス画像Bは、DFD検出、表示、及び記録に用いられる。 Further, in the example shown in FIG. 2, the imaging is performed under the first exposure condition first, and then the imaging is performed by controlling the order of imaging so that the exposure conditions are alternately switched. Therefore, the frame image (defocus image) captured under the first exposure condition is represented by the image A (2n), and the frame image (focus image) captured under the second exposure condition is represented by the image B (2n + 1). expressed. However, n = 0, 1, 2, 3, ... Further, as shown in FIG. 2, the defocus image A captured under the first exposure condition is used for DFD detection, and the focus image B captured under the second exposure condition is used for DFD detection, display, and DFD detection. Used for recording.
図3は、撮像されるフレーム画像の様子の一例を示す図である。図3から、第1の露光条件で撮像されたデフォーカス画像Aと第2の露光条件で撮像されたフォーカス画像Bとが交互に撮像されているのがわかる。また、各フレーム画像に付されて表示されている番号(数字)は、そのフレーム画像が何回目で撮像されたかを表している。 FIG. 3 is a diagram showing an example of the state of the captured frame image. From FIG. 3, it can be seen that the defocus image A captured under the first exposure condition and the focus image B captured under the second exposure condition are alternately captured. The number (number) attached to each frame image indicates how many times the frame image was captured.
なお、第1の露光条件での撮像と第2の露光条件での撮像を交互に行い、且つ、第1の露光条件の露光時間は1フレーム期間未満であり、第2の露光条件の露光時間は2.4フレーム期間分である。これから、第1の露光条件で撮像されるフレーム画像の撮像周期、及び第2の露光条件で撮像されるフレーム画像の撮像周期は、ともに4フレーム期間である1/60sとなる。 It should be noted that the imaging under the first exposure condition and the imaging under the second exposure condition are alternately performed, and the exposure time under the first exposure condition is less than one frame period, and the exposure time under the second exposure condition. Is for the 2.4 frame period. From this, the imaging cycle of the frame image captured under the first exposure condition and the imaging cycle of the frame image captured under the second exposure condition are both 1 / 60s, which is a four-frame period.
また、図2に示すように、撮像されたフレーム画像のリアルタイム表示は、フォーカス画像Bのみが順々に表示される。つまり、第2の露光条件で撮像されるフォーカス画像Bが動画像データとして取得され表示される。また、AF処理(DFD検出)は、第1の露光条件で撮像されるデフォーカス画像Aと第2の露光条件で撮像されるフォーカス画像Bとを組にして行われる。つまり、AF処理は、1/60sの間に撮像されたフレーム画像AとBのAF評価値に基づいて行われる。図2に示す例では、0回目に撮像されたデフォーカス画像A0と1回目に撮像されたフォーカス画像B1とを組にしてAF処理が行われる。また、2回目に撮像されたデフォーカス画像A2と3回目に撮像されたフォーカス画像B3とを組にしてAF処理が行われる。 Further, as shown in FIG. 2, in the real-time display of the captured frame image, only the focus image B is sequentially displayed. That is, the focus image B captured under the second exposure condition is acquired and displayed as moving image data. Further, the AF process (DFD detection) is performed by combining the defocus image A captured under the first exposure condition and the focus image B captured under the second exposure condition. That is, the AF processing is performed based on the AF evaluation values of the frame images A and B captured during 1 / 60s. In the example shown in FIG. 2, the AF process is performed by combining the defocus image A0 captured at the 0th time and the focus image B1 captured at the first time. Further, the AF process is performed by combining the defocus image A2 captured the second time and the focus image B3 captured the third time.
以下、本実施形態におけるデジタルカメラ101の動画撮像時の動作を図4に示すフローチャートに従って説明する。図4は、本実施形態におけるデジタルカメラ101の動画撮像時の動作例を示すフローチャートである。まず、動画撮像モードとなり動画像の撮像を開始するとき、ステップS401にて、CPU109は、設定されたモードに基づいて、オートフォーカス制御に係る処理を優先するAF優先モードであるか否かの判定を行う。
Hereinafter, the operation of the
AF優先モードであるとCPU109が判定した場合(YES)、ステップS402にて、CPU109は、露光条件を第1の露光条件に設定し、露光条件値として“0”をバッファメモリの露光条件記憶領域に記憶させる。一方、AF優先モードではないとCPU109が判定した場合(NO)、ステップS403にて、CPU109は、露光条件を第2の露光条件に設定し、露光条件値として“1”をバッファメモリの露光条件記憶領域に記憶させる。
When the
次に、ステップS404にて、CPU109は、現在設定されている露光条件が第1の露光条件であるか否かを判定する。この判定は、露光条件記憶領域に記憶されている情報に基づいて行う。すなわち、CPU109は、露光条件記憶領域に記憶されている露光条件値が“0”であるか否かを判定する。
Next, in step S404, the
判定の結果、第1の露光条件である(露光条件値=0)とCPU109が判定した場合(YES)、ステップS405に進む。ステップS405にて、CPU109は、露光時間を1/300sに設定し、ゲイン値を通常のゲイン値の3倍に設定して、ステップS407に進む。なお、通常のゲイン値とは、第2の露光条件で撮像するときのゲイン値である。ここで、第1の露光条件の露光時間は1/300sであり、第2の露光条件の露光時間は1/100sであるので、第1の露光条件の露光時間は第2の露光条件の露光時間の1/3となる。したがって、ゲイン値を3倍にすることにより、第1の露光条件で撮像された画像データAと第2の露光条件で撮像された画像データBとの輝度レベルを揃えることができる。
As a result of the determination, when the
一方、第1の露光条件ではない(露光条件値≠0)、すなわち第2の露光条件である(露光条件値=1)とCPU109が判定した場合、ステップS406に進む。ステップS406にて、CPU109は、露光時間を1/100sに設定し、ゲイン値を通常のゲイン値の1倍に設定して、ステップS407に進む。
On the other hand, if the
次に、ステップS407にて、CPU109は、設定された露光時間及びゲイン値での撮像を実行する。つまり、CPU109による制御に従って、設定された露光時間だけ露光して撮像素子105に蓄積された撮像信号(画像データ)が読み出され、ユニット回路108が読み出された画像データを設定されたゲイン値に従ってゲイン補正し自動利得調整する。その後、自動利得調整された画像データから画像生成部113によって輝度色差信号の画像データが生成され、バッファメモリ(メモリ112)に記憶される。
Next, in step S407, the
次に、ステップS408にて、CPU109は、現在設定されている露光条件が第2の露光条件(露光条件値=1)であるか否かを判定する。現在設定されている露光条件が第2の露光条件ではない(露光条件値≠1)、すなわち第1の露光条件である(露光条件値=0)とCPU109が判定した場合、ステップS409に進む。ステップS409にて、CPU109は、第1の露光条件で撮像された画像に対する像倍率補正処理の実行を指示する。これにより、画像生成部113が、第1の露光条件で撮像された画像データに対して像倍率補正を施す。ここでは、画像生成部113は、第2の露光条件で撮像される画像の像倍率に合わせるよう、第1の露光条件で撮像された画像の像倍率を補正する(像倍率に応じて拡大処理や縮小処理を行う)。
Next, in step S408, the
また、ステップS408において、現在設定されている露光条件が第2の露光条件である(露光条件値=1)とCPU109が判定した場合、ステップS410に進む。ステップS410にて、CPU109は、AF制御処理の実行を指示する。これにより、AF制御部118が、ピント位置の異なる、第1の露光条件で撮影された画像と第2の露光条件で撮影された画像を用いてDFD検出処理を行う。次に、ステップS411にて、AF制御部118は、ステップS410でのDFD検出処理により算出した評価値に基づいて、次に取得するフレーム画像のフォーカス位置を決定し、レンズ駆動部103を介してフォーカスレンズを移動させフォーカス移動を行う。
If the
ステップS412にて、CPU109は、次に表示させる画像データとして、記憶した直近に撮像されたフレーム画像データを特定する情報(そのフレーム画像データのアドレス情報等)を、バッファメモリの表示記憶領域に記憶させ、ステップS413に進む。つまり、表示記憶領域の記憶を更新させる。これにより、第2の露光条件で撮像されたフレーム画像Bのみが次に表示されるフレーム画像として特定され、フレーム画像Bのみが順々に表示されることになる。このとき、CPU109は、特定したフレーム画像を表示させるまでは、そのフレーム画像をバッファメモリ上に保持させておく。
In step S412, the
ステップ413にて、CPU109は、動画像の撮像処理を終了するか否かを判断する。この判断は、例えばシャッターボタンの押下に対応する操作信号が操作部110から送られてきたか否かにより判断する。動画像の撮像処理を終了するとCPU109が判断した場合(YES)、CPU109は、動画像の撮像処理を終了する。
In step 413, the
一方、動画像の撮像処理を終了しないとCPU109が判断すると、ステップS414にて、CPU109は、現在設定されている露光条件が第1の露光条件(露光条件値=0)であるか否かを判定する。現在設定されている露光条件が第1の露光条件であるとCPU109が判定した場合、ステップS415にて、CPU109は、露光条件を第2の露光条件(露光条件値=1)に設定して、ステップS404に戻る。一方、現在設定されている露光条件が第1の露光条件ではないとCPU109が判定した場合、ステップS416にて、CPU109は、露光条件を第1の露光条件(露光条件値=0)に設定して、ステップS404に戻る。
On the other hand, when the
このような動作を行うことにより、図3に示したように、露光時間1/300sで撮像されたフレーム画像データAと、露光時間1/100sで撮像されたフレーム画像データBとが交互に撮像されていく。また、露光時間1/100sで撮像されたフレーム画像データBに係る画像のみが順々に表示されていく。これにより、被写体の動きが滑らかな動画像データを記録することができる。また、露光時間の短いフレーム画像Aをデフォーカス画像Aとして像倍率補正及びゲイン補正を行うので、露光時間の長いフレーム画像Bを表示画像として使用することができる。
By performing such an operation, as shown in FIG. 3, the frame image data A captured at the
以上のように、本実施形態では、短い露光時間での撮像と長い露光時間での撮像とを交互に繰り返し行い、長い露光時間で撮像されたフレーム画像データを動画像データとして記録、表示し、短い露光時間で撮像されたフレーム画像データをAF処理に用いる。したがって、長い露光時間で撮像されたフレーム画像データを用いて動きの滑らかな動画像データを記録したり、表示したりすることができる。また、オートフォーカス制御に係る処理を優先するAF優先モードでは、デフォーカス画像とフォーカス画像を用いて、次のデフォーカス画像の露光期間中にDFD検出処理を行うことで、AF評価値を得るまでの処理時間を短縮することができる。また、次のフォーカス画像の露光を開始するまでに適切な位置へのフォーカスレンズの移動をするため、フレーム毎のAF制御が可能になり、AF評価値の算出の精度(画像評価の精度)を向上させることができる。 As described above, in the present embodiment, imaging with a short exposure time and imaging with a long exposure time are alternately repeated, and frame image data captured with a long exposure time is recorded and displayed as moving image data. The frame image data captured in a short exposure time is used for AF processing. Therefore, it is possible to record and display moving image data with smooth movement using the frame image data captured with a long exposure time. Further, in the AF priority mode in which the processing related to the autofocus control is prioritized, the defocus image and the focus image are used, and the DFD detection process is performed during the exposure period of the next defocus image until the AF evaluation value is obtained. Processing time can be shortened. In addition, since the focus lens is moved to an appropriate position before the exposure of the next focus image is started, AF control for each frame becomes possible, and the accuracy of AF evaluation value calculation (image evaluation accuracy) can be improved. Can be improved.
なお、ステップS401において、オートフォーカス制御に係る処理を優先するAF優先モードではないとCPU109が判断した場合、デジタルカメラ101の動画撮像時の動作は、図5に示すようになる。図5は、本実施形態におけるデジタルカメラ101の動画撮像時の他の動作例を示すタイムチャートである。
When the
図5に示すように、デジタルカメラ101は、第2の露光条件(露光時間1/100s)での撮像と第1の露光条件(露光時間1/300s)での撮像とを交互に繰り返し行う。また、撮像素子105からの画像データの読み出し開始から画像生成部113による像倍率補正処理、又はDFD検出処理の完了までは、2.4フレーム期間未満(1/10s未満)で行われる。
As shown in FIG. 5, the
このとき、図2に示した例と同様に、第2の露光条件で撮像するときのゲイン値を1倍とし、第1の露光条件で撮像するときのゲイン値を3倍とする。これにより、第1の露光条件で撮像された画像データと第2の露光条件で撮像された画像データとの輝度レベルを揃えることができる。また、第1の露光条件で撮像されたデフォーカス画像Aと、第2の露光条件で撮像されたフォーカス画像Bとの像倍率が同じになるように、例えばフォーカス画像Bを撮像するときの像倍率を基準としてデフォーカス画像Aの像倍率を調整する。 At this time, similarly to the example shown in FIG. 2, the gain value when the image is taken under the second exposure condition is set to 1 time, and the gain value when the image is taken under the first exposure condition is set to 3 times. As a result, the brightness levels of the image data captured under the first exposure condition and the image data captured under the second exposure condition can be made uniform. Further, for example, an image when the focus image B is imaged so that the defocus image A captured under the first exposure condition and the focus image B captured under the second exposure condition have the same image magnification. The image magnification of the defocused image A is adjusted with reference to the magnification.
図5において、例えば、フォーカス画像B0は、0回目に撮像されたフレーム画像であり、且つ、第2の露光条件で撮像されたフレーム画像であることを示している。また、例えばデフォーカス画像A1は、1回目に撮像されたフレーム画像であり、且つ、第1の露光条件で撮像されたフレーム画像であることを示している。 In FIG. 5, for example, the focus image B0 is a frame image captured at the 0th time, and is a frame image captured under the second exposure condition. Further, for example, the defocus image A1 indicates that it is a frame image captured for the first time and is a frame image captured under the first exposure condition.
また、AF優先モードではない場合、図5に示すように、第2の露光条件での撮像を最初に行い、その後、交互に露光条件を切り替えるように、撮像を行う順序を制御し撮像していく。したがって、第2の露光条件で撮像されたフレーム画像(フォーカス画像)は画像B(2n)で表され、第1の露光条件で撮像されたフレーム画像(デフォーカス画像)は画像A(2n+1)で表される。但し、n=0,1,2,3,・・・とする。また、図5に示すように、第1の露光条件で撮像されたデフォーカス画像Aは、DFD検出に用いられ、第2の露光条件で撮像されたフォーカス画像Bは、DFD検出、表示、記録に用いられる。 Further, in the case of not in the AF priority mode, as shown in FIG. 5, the imaging is performed under the second exposure condition first, and then the imaging is controlled and the imaging is performed so as to switch the exposure conditions alternately. I will go. Therefore, the frame image (focus image) captured under the second exposure condition is represented by image B (2n), and the frame image (defocus image) captured under the first exposure condition is represented by image A (2n + 1). expressed. However, n = 0, 1, 2, 3, ... Further, as shown in FIG. 5, the defocus image A captured under the first exposure condition is used for DFD detection, and the focus image B captured under the second exposure condition is DFD detection, display, and recording. Used for.
このようにAF優先モードではない場合には、長い露光時間と短い露光時間で撮像されたフレーム画像データを組にするとき最初に長い露光時間で撮像したフレーム画像を表示する。これにより、撮像された動画像を表示する際の表示遅延を軽減しつつ、被写体の動きの滑らかな動画データを記録したり表示したりすることができる。 In the case of not the AF priority mode as described above, when the frame image data captured with a long exposure time and a short exposure time are combined, the frame image captured with a long exposure time is displayed first. This makes it possible to record and display moving image data with smooth movement of the subject while reducing the display delay when displaying the captured moving image.
(本発明の他の実施形態)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other Embodiments of the present invention)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
101:デジタルカメラ(撮像装置) 102:撮像レンズ 103:レンズ駆動部 105:撮像素子 106:撮像素子駆動部 107:タイミングジェネレータ 108:ユニット回路(CDS/AD) 109:CPU 111、112:メモリ 113:画像生成部 114:表示部 118:オートフォーカス制御部
101: Digital camera (imaging device) 102: Imaging lens 103: Lens drive unit 105: Image sensor 106: Image sensor drive unit 107: Timing generator 108: Unit circuit (CDS / AD) 109:
Claims (10)
前記撮像手段に第1の露光時間および第1のピント位置での撮像と、前記第1の露光時間よりも長い第2の露光時間および前記第1のピント位置とは異なる第2のピント位置での撮像とを行わせる制御手段と、
前記撮像手段により前記第1の露光時間で撮像された第1の画像データに対して前記第2の露光時間で撮像された第2の画像データに合わせてゲイン補正及び像倍率補正を行う補正手段と、
前記第1の画像データおよび前記第2の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価手段と、
複数の前記第2の画像データを動画像データとして取得する取得手段と、
を有することを特徴とする撮像装置。 An imaging means for capturing a subject image and
The imaging means is imaged at the first exposure time and the first focus position, and at a second exposure time longer than the first exposure time and at a second focus position different from the first focus position. And the control means to take an image of
A correction means for performing gain correction and image magnification correction on the first image data captured in the first exposure time by the imaging means in accordance with the second image data captured in the second exposure time. When,
An evaluation means for performing image evaluation related to autofocus control using the first image data and the second image data, and
An acquisition means for acquiring a plurality of the second image data as moving image data, and
An imaging device characterized by having.
前記撮像手段により前記第1の露光時間で撮像された第1の画像データに対して前記第2の露光時間で撮像された第2の画像データに合わせてゲイン補正及び像倍率補正を行う補正工程と、
前記第1の画像データおよび前記第2の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価工程と、
複数の前記第2の画像データを動画像データとして取得する取得工程と、
を有することを特徴とする撮像装置の制御方法。 An imaging means for imaging a subject image has an image pickup at a first exposure time and a first focus position, and a second exposure time longer than the first exposure time and a second exposure time different from the first focus position. The control process that allows the image to be taken at the focus position of
A correction step of performing gain correction and image magnification correction on the first image data captured in the first exposure time by the imaging means in accordance with the second image data captured in the second exposure time. When,
An evaluation step of performing image evaluation related to autofocus control using the first image data and the second image data, and
An acquisition step of acquiring a plurality of the second image data as moving image data, and
A method for controlling an imaging device, which comprises.
被写体像を撮像する撮像手段に第1の露光時間および第1のピント位置での撮像と、前記第1の露光時間よりも長い第2の露光時間および前記第1のピント位置とは異なる第2のピント位置での撮像とを行わせる制御ステップと、
前記撮像手段により前記第1の露光時間で撮像された第1の画像データに対して前記第2の露光時間で撮像された第2の画像データに合わせてゲイン補正及び像倍率補正を行う補正ステップと、
前記第1の画像データおよび前記第2の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価ステップと、
複数の前記第2の画像データを動画像データとして取得する取得ステップと、
を実行させるためのプログラム。 To the computer that the image pickup device has
An imaging means for imaging a subject image has an image pickup at a first exposure time and a first focus position, and a second exposure time longer than the first exposure time and a second exposure time different from the first focus position. A control step that allows you to take an image at the focus position of
A correction step of performing gain correction and image magnification correction on the first image data captured in the first exposure time by the imaging means in accordance with the second image data captured in the second exposure time. When,
An evaluation step of performing image evaluation related to autofocus control using the first image data and the second image data, and
An acquisition step of acquiring a plurality of the second image data as moving image data, and
A program to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017045295A JP6862225B2 (en) | 2017-03-09 | 2017-03-09 | Imaging device, control method of imaging device, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017045295A JP6862225B2 (en) | 2017-03-09 | 2017-03-09 | Imaging device, control method of imaging device, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018151415A JP2018151415A (en) | 2018-09-27 |
JP6862225B2 true JP6862225B2 (en) | 2021-04-21 |
Family
ID=63679492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017045295A Active JP6862225B2 (en) | 2017-03-09 | 2017-03-09 | Imaging device, control method of imaging device, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6862225B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116113862A (en) * | 2020-09-11 | 2023-05-12 | 西门子(中国)有限公司 | Method and apparatus for achieving industrial camera focusing |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4123352B2 (en) * | 2002-08-19 | 2008-07-23 | 富士フイルム株式会社 | Movie imaging device and movie playback device |
JP4748375B2 (en) * | 2007-12-05 | 2011-08-17 | カシオ計算機株式会社 | IMAGING DEVICE, IMAGE REPRODUCING DEVICE, AND PROGRAM THEREOF |
JP5374119B2 (en) * | 2008-11-13 | 2013-12-25 | オリンパス株式会社 | Distance information acquisition device, imaging device, and program |
JP5281972B2 (en) * | 2009-07-01 | 2013-09-04 | オリンパス株式会社 | Imaging device |
JP6152772B2 (en) * | 2012-11-29 | 2017-06-28 | パナソニックIpマネジメント株式会社 | Imaging apparatus, semiconductor integrated circuit, and imaging method |
JP5895270B2 (en) * | 2014-03-28 | 2016-03-30 | パナソニックIpマネジメント株式会社 | Imaging device |
-
2017
- 2017-03-09 JP JP2017045295A patent/JP6862225B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018151415A (en) | 2018-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5054583B2 (en) | Imaging device | |
JP4760742B2 (en) | Digital camera, information display method, and information display control program | |
JP4341696B2 (en) | Imaging device, face area detection program, and face area detection method | |
JP4732303B2 (en) | Imaging device | |
JP2012222495A (en) | Image processor, image processing method, and program | |
JP5100410B2 (en) | Imaging apparatus and control method thereof | |
KR20090086349A (en) | Imaging apparatus and imaging method | |
US9274402B2 (en) | Imaging device that executes auto focus control by referring to distance image data regarding a depth of a region | |
JP4748375B2 (en) | IMAGING DEVICE, IMAGE REPRODUCING DEVICE, AND PROGRAM THEREOF | |
JP5092673B2 (en) | Imaging apparatus and program thereof | |
JP4953770B2 (en) | Imaging device | |
JP6326631B2 (en) | Imaging device | |
JP2011211329A (en) | Imaging apparatus and control method thereof, image processing apparatus and control method thereof, and image processing program | |
KR101747304B1 (en) | A digital photographing apparatus, a method for auto-focusing, and a computer-readable storage medium for executing the method | |
JP6862225B2 (en) | Imaging device, control method of imaging device, and program | |
US20120105699A1 (en) | Portable device | |
JP4969349B2 (en) | Imaging apparatus and imaging method | |
JP5415208B2 (en) | Imaging device | |
JP2006065337A (en) | Automatic focusing device, camera, portable information input device, focused position detecting method, and recording medium readable by computer | |
JP6489876B2 (en) | Imaging apparatus and control method thereof | |
US10277796B2 (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
JP6366374B2 (en) | Focus detection apparatus and control method thereof | |
JP2013150170A (en) | Imaging apparatus and microscope system | |
JP2009194469A (en) | Imaging apparatus | |
JP6827778B2 (en) | Image processing equipment, image processing methods and programs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210331 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6862225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |