JP6862225B2 - Imaging device, control method of imaging device, and program - Google Patents
Imaging device, control method of imaging device, and program Download PDFInfo
- Publication number
- JP6862225B2 JP6862225B2 JP2017045295A JP2017045295A JP6862225B2 JP 6862225 B2 JP6862225 B2 JP 6862225B2 JP 2017045295 A JP2017045295 A JP 2017045295A JP 2017045295 A JP2017045295 A JP 2017045295A JP 6862225 B2 JP6862225 B2 JP 6862225B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- exposure time
- exposure condition
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。 The present invention relates to an image pickup apparatus, a control method for the image pickup apparatus, and a program.
動画像を撮像する機能を有した撮像装置において、動画像の撮像中に画像のコントラストを評価してオートフォーカス（ＡＦ）制御を行う技術が提案されている（例えば、特許文献１参照。）。また、被写体の動きが滑らかな動画像を撮像する場合には、露光時間を長くして撮像することが望ましい。 In an imaging device having a function of capturing a moving image, a technique has been proposed in which the contrast of the image is evaluated during the imaging of the moving image to perform autofocus (AF) control (see, for example, Patent Document 1). Further, when capturing a moving image in which the subject moves smoothly, it is desirable to capture the image with a long exposure time.
動画像の撮像中に画像を評価する場合、例えば、画像のコントラストを評価してオートフォーカス制御を行う場合、オートフォーカス制御に係る評価値を次のフレームの撮像に反映できないことがある。そこで本発明は、オートフォーカス制御に係る評価値を得るまでの処理時間を短縮し、フレーム毎のオートフォーカス制御を可能にする撮像装置、撮像装置の制御方法、及びプログラムを提供することを目的とする。 When evaluating an image during imaging of a moving image, for example, when evaluating the contrast of the image and performing autofocus control, the evaluation value related to the autofocus control may not be reflected in the imaging of the next frame. Therefore, an object of the present invention is to provide an image pickup device, a control method of the image pickup device, and a program that shortens the processing time until an evaluation value related to autofocus control is obtained and enables autofocus control for each frame. To do.
本発明に係る撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御手段と、前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正手段と、前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価手段と、複数の前記第２の画像データを動画像データとして取得する取得手段と、を有することを特徴とする。 The image pickup apparatus according to the present invention includes an image pickup means for capturing an image of a subject, an image pickup on the image pickup means at a first exposure time and a first focus position, and a second exposure longer than the first exposure time. The control means for performing imaging at a second focus position different from the time and the first focus position, and the first image data imaged by the imaging means at the first exposure time. For autofocus control using a correction means that performs gain correction and image magnification correction according to the second image data captured in the second exposure time, the first image data, and the second image data. It is characterized by having an evaluation means for performing the image evaluation and an acquisition means for acquiring a plurality of the second image data as moving image data.
本発明によれば、オートフォーカス制御に係る評価値を得るまでの処理時間を短縮でき、フレーム毎のオートフォーカス制御が可能となる。 According to the present invention, the processing time until the evaluation value related to the autofocus control is obtained can be shortened, and the autofocus control for each frame becomes possible.
以下、本発明の実施形態を図面に基づいて説明する。なお、以下では、本発明の一実施形態における撮像装置をデジタルカメラに適用した場合を一例として説明するが、これに限定されるものではない。本実施形態における撮像装置は、例えば、スマートフォンやタブレット端末等の各種携帯機器、工業用カメラ、車載用カメラ、及び医療用カメラ等にも適用可能である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following, the case where the imaging device according to the embodiment of the present invention is applied to a digital camera will be described as an example, but the present invention is not limited to this. The imaging device in the present embodiment can be applied to, for example, various mobile devices such as smartphones and tablet terminals, industrial cameras, in-vehicle cameras, medical cameras, and the like.
図１は、本実施形態における撮像装置としてのデジタルカメラ１０１の構成例を示すブロック図である。デジタルカメラ１０１は、撮像レンズ１０２、レンズ駆動部１０３、絞り１０４、撮像素子１０５、撮像素子駆動部１０６、タイミングジェネレータ（ＴＧ：Timing Generator）１０７、及びユニット回路（ＣＤＳ／ＡＤ）１０８を有する。また、デジタルカメラ１０１は、ＣＰＵ（Central Processing Unit）１０９、操作部１１０、メモリ１１１、及びメモリ（ＤＲＡＭ）１１２を有する。また、デジタルカメラ１０１は、画像生成部１１３、表示部１１４、圧縮伸張部１１５、フラッシュメモリ１１６、顔検出部１１７、オートフォーカス制御部（ＡＦ制御部）１１８、及びバス１１９を有する。
FIG. 1 is a block diagram showing a configuration example of a
撮像レンズ１０２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。撮像レンズ１０２には、ＡＦ制御部１１８から送られてくる制御信号に従って、フォーカスレンズやズームレンズをそれぞれ光軸方向に駆動させるレンズ駆動部１０３が接続されている。絞り１０４は、ＣＰＵ１０９から送られてくる制御信号に従って駆動され、撮像素子１０５に入射される光の量を制御する。撮像における露出量は、絞り値（絞りの度合い）とシャッター速度によって定められる。
The
撮像素子１０５は、例えばＣＭＯＳセンサー等である。撮像素子１０５は、撮像素子駆動部１０６によって走査駆動され、一定周期毎に被写体像のＲＧＢ各色の光の強さを光電変換して撮像信号としてユニット回路（ＣＤＳ／ＡＤ）１０８に出力する。また、撮像素子１０５は、電子シャッターとしての機能を有する。撮像素子１０５が有する電子シャッターの機能は、撮像素子駆動部１０６及びタイミングジェネレータ１０７を介してＣＰＵ１０９により制御される。この電子シャッターのシャッター速度によって露光時間が変わる。タイミングジェネレータ１０７は、ＣＰＵ１０９からの指示に従って、撮像素子駆動部１０６やユニット回路（ＣＤＳ／ＡＤ）１０８の動作タイミングを制御する。
The
ユニット回路（ＣＤＳ／ＡＤ）１０８は、撮像素子１０５から出力される撮像信号をライン露光順次読み出しを行い、垂直信号線毎に配置されている列回路（ＣＤＳ回路、相関二重サンプリング回路）により画素間にばらつきのあるノイズを除去する。さらにユニット回路（ＣＤＳ／ＡＤ）１０８は、ノイズが除去された撮像信号を、水平転送回路を経てアナログ／デジタル変換器（Ａ／Ｄ変換器）によりアナログ信号からデジタル信号に変換する。撮像素子１０５によって得られた撮像信号は、ユニット回路（ＣＤＳ／ＡＤ）１０８を経た後、ベイヤー配列の画像データとしてバッファメモリ（メモリ１１２）に記憶される。このユニット回路（ＣＤＳ／ＡＤ）１０８により、撮像素子１０５によって撮像された画像データに対してゲイン補正を行う補正手段の機能が実現される。
The unit circuit (CDS / AD) 108 sequentially reads out the image pickup signals output from the
ＣＰＵ１０９は、デジタルカメラ１０１の各部を制御するワンチップマイコンである。ＣＰＵ１０９は、例えば記録処理等を行う機能を有するとともに、動画像データを表示部１１４に表示する表示制御を行う機能を有する。また、ＣＰＵ１０９は、異なる２つの露光時間で交互に連続撮像を実行させる機能や、顔検出部１１７により検出された顔領域を識別表示させる機能を有する。操作部１１０は、静止画撮像や動画撮像等の撮像を指示するシャッターボタン、表示モード切り替えキー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザの操作に応じた操作信号をＣＰＵ１０９に出力する。
The
メモリ１１１には、ＣＰＵ１０９がデジタルカメラ１０１の各部を制御するための制御プログラムやデータが格納されている。ＣＰＵ１０９は、メモリ１１１に格納された制御プログラムを読み出して実行することにより、デジタルカメラ１０１の各部に係る制御処理を実行する。メモリ（ＤＲＡＭ）１１２は、撮像素子１０５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０９のワーキングメモリとしても使用される。
The
画像生成部１１３は、画像データに対して画像処理を施す。画像生成部１１３は、画像データに対して画素補間処理やγ補正処理やホワイトバランス処理等の処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行う。この画像生成部１１３により、撮像素子１０５によって撮像された画像データに対して像倍率補正を行う補正手段の機能が実現される。表示部１１４は、例えばカラー液晶パネルとその駆動回路を含み、画像データに係る画像等を表示する。圧縮伸張部１１５は、画像データの圧縮や伸張（例えば、ＪＰＥＧ形式やＭＰＥＧ形式での圧縮や伸張）を行う。顔検出部１１７は、撮像された画像データ内にある顔領域を検出する顔検出処理を行う。つまり、顔検出部１１７は、顔があるか否か、顔が幾つあるか否かを評価するものである。なお、顔検出処理は周知技術なので詳しくは説明しないが、例えば、予め記憶されている一般的な人の顔の特徴データ（目、眉毛、鼻、口、耳、顔全体の輪郭等の特徴データ）と画像データとを比較照合することにより、画像のどの領域に顔があるかを検出する。
The
オートフォーカス制御部（ＡＦ制御部）１１８は、撮像された複数の画像データに基づいてオートフォーカス制御を行う。具体的には、ＡＦ制御部１１８は、レンズ駆動部１０３に制御信号を送ることによりフォーカスレンズを駆動範囲内で移動させ、レンズ位置における撮像素子１０５により撮像された画像データのＡＦエリアのＡＦ評価値を算出する（画像評価を行う）。そして、ＡＦ制御部１１８は、算出したＡＦ評価値に基づく合焦レンズ位置にフォーカスレンズを移動させることでピント（焦点）を合わせる。このＡＦ評価値は、画像データのＡＦエリアの高周波成分に基づいて算出され、ＡＦ評価値が高いほどピントが合っているレンズ位置ということになる。
The autofocus control unit (AF control unit) 118 performs autofocus control based on a plurality of captured image data. Specifically, the
本実施形態におけるデジタルカメラ１０１の動画撮像時の動作について説明する。本実施形態におけるデジタルカメラ１０１は、第１の露光条件と第２の露光条件との２種類の露光条件を備えている。第１の露光条件は、露光条件値として“０”が設定されているときの露光条件であり、第２の露光条件の露光時間Ｂより短い露光時間Ａで露光する設定である。また、第２の露光条件は、露光条件値として“１”が設定されているときの露光条件であり、動画撮像に適した露光時間Ｂで露光する設定である。露光条件値は、例えばメモリ（ＤＲＡＭ）１１２内の露光条件記憶領域に設定され記憶される。
The operation of the
本実施形態では、第２の露光条件で撮像した画像のピント位置は、被写体に合うように、ＤＦＤ（Depth From Defocus）検出結果を用いてフォーカス制御を行う。つまり、ＤＦＤ方式でオートフォーカス制御を行う。また、第１の露光条件で撮像した画像のピント位置は、第２の露光条件で撮像した画像のピント位置と異なるようにフォーカス制御を行う。ここで、ＤＦＤ検出は、ピント位置の異なる画像から空間を認識し、物体までの距離を演算して、次のフレーム画像のピント位置を割り出す処理である。また、本実施形態では、露光条件は撮像する度に切り替わる。つまり、第１の露光条件で撮像すると、次は第２の露光条件で撮像し、その次は第１の露光条件で撮像するというように、露光条件値が０→１→０→・・・というように切り替わる。 In the present embodiment, the focus position of the image captured under the second exposure condition is controlled by using the DFD (Depth From Defocus) detection result so as to match the subject. That is, the autofocus control is performed by the DFD method. Further, the focus control is performed so that the focus position of the image captured under the first exposure condition is different from the focus position of the image captured under the second exposure condition. Here, DFD detection is a process of recognizing a space from images having different focus positions, calculating the distance to an object, and determining the focus position of the next frame image. Further, in the present embodiment, the exposure conditions are switched each time an image is taken. That is, when an image is taken under the first exposure condition, then an image is taken under the second exposure condition, then an image is taken under the first exposure condition, and so on, and the exposure condition values are 0 → 1 → 0 → ... It switches like this.
また、撮像素子１０５は、少なくとも２４０ｆｐｓ（毎秒２４０フレーム）のフレーム周期で被写体を撮像することが可能である。撮像素子１０５は、第１の露光条件では１フレーム期間未満の露光時間Ａ（本例では１／３００ｓとする）の露光を行い、第２の露光条件では２．４フレーム期間分の露光時間Ｂ（本例では１／１００ｓ）の露光を行うものとする。なお、１フレーム期間は１／２４０ｓとする。
Further, the
図２は、本実施形態におけるデジタルカメラ１０１の動画撮像時の動作例を示すタイムチャートである。図２に示すように、デジタルカメラ１０１は、第１の露光条件（露光時間１／３００ｓ）での撮像と第２の露光条件（露光時間１／１００ｓ）での撮像とを交互に繰り返し行う。以下では、説明の便宜上、第１の露光条件で撮像された、主被写体に焦点が合っていない画像をデフォーカス画像Ａと呼び、第２の露光条件で撮像された、主被写体に焦点が合っている画像をフォーカス画像Ｂと呼ぶ。
FIG. 2 is a time chart showing an operation example of the
また、図２に示すように、撮像素子１０５からの画像データの読み出し開始から画像生成部１１３による像倍率補正処理、又はＤＦＤ検出処理の完了までは、１フレーム期間未満（１／２４０ｓ未満）の期間で行われる。撮像素子１０５から読み出された信号（ベイヤー配列の画像データ）は、ユニット回路（ＣＤＳ／ＡＤ）１０８等を介してバッファメモリ（メモリ１１２）に記憶され、画像生成部１１３によって輝度色差信号の画像データが生成される。生成された輝度色差信号の画像データがバッファメモリに記憶されるという一連の動作が、１フレーム期間未満（１／２４０ｓ未満）の期間で行われることになる。
Further, as shown in FIG. 2, it takes less than one frame period (less than 1 / 240s) from the start of reading the image data from the
このとき、同じ被写体を撮影したとすると、第１の露光条件で撮像されるデフォーカス画像Ａの画像データと、第２の露光条件で撮像されるフォーカス画像Ｂの画像データとの輝度レベルが同じになるように、絞りや感度（例えばゲイン）を調節する。ここでは、ゲイン補正のみを行うものとする。第１の露光条件の露光時間が第２の露光条件の露光時間の１／３であるので、第２の露光条件で撮像するときのゲイン値を１倍とし、第１の露光条件で撮像するときのゲイン値を３倍とする。これによって、第１の露光条件で撮像されたデフォーカス画像Ａの画像データと第２の露光条件で撮像されたフォーカス画像Ｂの画像データとの輝度レベルを揃えることができる。 At this time, assuming that the same subject is photographed, the brightness level of the image data of the defocus image A captured under the first exposure condition and the image data of the focus image B captured under the second exposure condition are the same. Adjust the aperture and sensitivity (for example, gain) so that Here, it is assumed that only the gain correction is performed. Since the exposure time of the first exposure condition is 1/3 of the exposure time of the second exposure condition, the gain value when imaging under the second exposure condition is multiplied by 1, and the image is captured under the first exposure condition. The gain value at that time is tripled. As a result, the brightness levels of the image data of the defocus image A captured under the first exposure condition and the image data of the focus image B captured under the second exposure condition can be made uniform.
また、第１の露光条件での撮像と第２の露光条件での撮像とでは被写体のフォーカス位置が異なるため、第１の露光条件での撮像と第２の露光条件での撮像との像倍率が同じになるように像倍率を調整する。本実施形態では、フォーカス画像Ｂを撮像するときの像倍率を基準として、デフォーカス画像Ａの像倍率を調整するために、デフォーカス画像Ａの拡大縮小を行うものとする。これによって、第１の露光条件で撮像されたデフォーカス画像Ａの画像データと、第２の露光条件で撮像されたフォーカス画像Ｂの画像データとの像倍率を揃えることができる。 Further, since the focus position of the subject is different between the imaging under the first exposure condition and the imaging under the second exposure condition, the image magnification between the imaging under the first exposure condition and the imaging under the second exposure condition Adjust the image magnification so that In the present embodiment, the defocus image A is enlarged or reduced in order to adjust the image magnification of the defocus image A with reference to the image magnification when the focus image B is captured. As a result, the image magnifications of the image data of the defocus image A captured under the first exposure condition and the image data of the focus image B captured under the second exposure condition can be made uniform.
また、輝度色差信号の画像データ内にある顔を検出する顔検出処理や、輝度色差信号の画像データの圧縮及び圧縮された画像データの記録もそれぞれ処理されることになる。つまり、バッファメモリ（メモリ１１２）に記憶されている輝度色差信号の画像データの顔検出部１１７による顔検出処理が行われる。また、バッファメモリ（メモリ１１２）に記憶されている輝度色差信号の画像データが圧縮伸張部１１５で圧縮される。圧縮された画像データのバッファメモリ（メモリ１１２）への記憶に係る一連の動作、バッファメモリ（メモリ１１２）に記憶されている圧縮された画像データのフラッシュメモリ１１６への記録の一連の動作は、４フレーム期間未満で行われることになる。
In addition, face detection processing for detecting a face in the image data of the luminance color difference signal, compression of the image data of the luminance color difference signal, and recording of the compressed image data are also processed. That is, the face detection process of the image data of the luminance color difference signal stored in the buffer memory (memory 112) is performed by the
また、図２においては、撮像されたフレーム画像データが何回目に撮像された画像データであるかを示すため、回数をフレーム画像データに付して示している。この回数は０からカウントする。例えば、デフォーカス画像Ａ０は、０回目に撮像されたフレーム画像であり、且つ、第１の露光条件で撮像されたフレーム画像であることを示している。また、例えばフォーカス画像Ｂ１は、１回目に撮像されたフレーム画像であり、且つ、第２の露光条件で撮像されたフレーム画像であることを示している。 Further, in FIG. 2, in order to show the number of times the captured frame image data is captured, the number of times is attached to the frame image data. This number is counted from 0. For example, the defocus image A0 indicates that it is a frame image captured at the 0th time and is a frame image captured under the first exposure condition. Further, for example, the focus image B1 is a frame image captured at the first time and is a frame image captured under the second exposure condition.
また、図２に示した例では、第１の露光条件での撮像を最初に行い、その後、交互に露光条件を切り替えるように、撮像を行う順序を制御して撮像していく。したがって、第１の露光条件で撮像されたフレーム画像（デフォーカス画像）は画像Ａ（２ｎ）で表され、第２の露光条件で撮像されたフレーム画像（フォーカス画像）は画像Ｂ（２ｎ＋１）で表される。但し、ｎ＝０，１，２，３，・・・とする。また、図２に示すように、第１の露光条件で撮像されるデフォーカス画像Ａは、ＤＦＤ検出に用いられ、第２の露光条件で撮像されるフォーカス画像Ｂは、ＤＦＤ検出、表示、及び記録に用いられる。 Further, in the example shown in FIG. 2, the imaging is performed under the first exposure condition first, and then the imaging is performed by controlling the order of imaging so that the exposure conditions are alternately switched. Therefore, the frame image (defocus image) captured under the first exposure condition is represented by the image A (2n), and the frame image (focus image) captured under the second exposure condition is represented by the image B (2n + 1). expressed. However, n = 0, 1, 2, 3, ... Further, as shown in FIG. 2, the defocus image A captured under the first exposure condition is used for DFD detection, and the focus image B captured under the second exposure condition is used for DFD detection, display, and DFD detection. Used for recording.
図３は、撮像されるフレーム画像の様子の一例を示す図である。図３から、第１の露光条件で撮像されたデフォーカス画像Ａと第２の露光条件で撮像されたフォーカス画像Ｂとが交互に撮像されているのがわかる。また、各フレーム画像に付されて表示されている番号（数字）は、そのフレーム画像が何回目で撮像されたかを表している。 FIG. 3 is a diagram showing an example of the state of the captured frame image. From FIG. 3, it can be seen that the defocus image A captured under the first exposure condition and the focus image B captured under the second exposure condition are alternately captured. The number (number) attached to each frame image indicates how many times the frame image was captured.
なお、第１の露光条件での撮像と第２の露光条件での撮像を交互に行い、且つ、第１の露光条件の露光時間は１フレーム期間未満であり、第２の露光条件の露光時間は２．４フレーム期間分である。これから、第１の露光条件で撮像されるフレーム画像の撮像周期、及び第２の露光条件で撮像されるフレーム画像の撮像周期は、ともに４フレーム期間である１／６０ｓとなる。 It should be noted that the imaging under the first exposure condition and the imaging under the second exposure condition are alternately performed, and the exposure time under the first exposure condition is less than one frame period, and the exposure time under the second exposure condition. Is for the 2.4 frame period. From this, the imaging cycle of the frame image captured under the first exposure condition and the imaging cycle of the frame image captured under the second exposure condition are both 1 / 60s, which is a four-frame period.
また、図２に示すように、撮像されたフレーム画像のリアルタイム表示は、フォーカス画像Ｂのみが順々に表示される。つまり、第２の露光条件で撮像されるフォーカス画像Ｂが動画像データとして取得され表示される。また、ＡＦ処理（ＤＦＤ検出）は、第１の露光条件で撮像されるデフォーカス画像Ａと第２の露光条件で撮像されるフォーカス画像Ｂとを組にして行われる。つまり、ＡＦ処理は、１／６０ｓの間に撮像されたフレーム画像ＡとＢのＡＦ評価値に基づいて行われる。図２に示す例では、０回目に撮像されたデフォーカス画像Ａ０と１回目に撮像されたフォーカス画像Ｂ１とを組にしてＡＦ処理が行われる。また、２回目に撮像されたデフォーカス画像Ａ２と３回目に撮像されたフォーカス画像Ｂ３とを組にしてＡＦ処理が行われる。 Further, as shown in FIG. 2, in the real-time display of the captured frame image, only the focus image B is sequentially displayed. That is, the focus image B captured under the second exposure condition is acquired and displayed as moving image data. Further, the AF process (DFD detection) is performed by combining the defocus image A captured under the first exposure condition and the focus image B captured under the second exposure condition. That is, the AF processing is performed based on the AF evaluation values of the frame images A and B captured during 1 / 60s. In the example shown in FIG. 2, the AF process is performed by combining the defocus image A0 captured at the 0th time and the focus image B1 captured at the first time. Further, the AF process is performed by combining the defocus image A2 captured the second time and the focus image B3 captured the third time.
以下、本実施形態におけるデジタルカメラ１０１の動画撮像時の動作を図４に示すフローチャートに従って説明する。図４は、本実施形態におけるデジタルカメラ１０１の動画撮像時の動作例を示すフローチャートである。まず、動画撮像モードとなり動画像の撮像を開始するとき、ステップＳ４０１にて、ＣＰＵ１０９は、設定されたモードに基づいて、オートフォーカス制御に係る処理を優先するＡＦ優先モードであるか否かの判定を行う。
Hereinafter, the operation of the
ＡＦ優先モードであるとＣＰＵ１０９が判定した場合（ＹＥＳ）、ステップＳ４０２にて、ＣＰＵ１０９は、露光条件を第１の露光条件に設定し、露光条件値として“０”をバッファメモリの露光条件記憶領域に記憶させる。一方、ＡＦ優先モードではないとＣＰＵ１０９が判定した場合（ＮＯ）、ステップＳ４０３にて、ＣＰＵ１０９は、露光条件を第２の露光条件に設定し、露光条件値として“１”をバッファメモリの露光条件記憶領域に記憶させる。
When the
次に、ステップＳ４０４にて、ＣＰＵ１０９は、現在設定されている露光条件が第１の露光条件であるか否かを判定する。この判定は、露光条件記憶領域に記憶されている情報に基づいて行う。すなわち、ＣＰＵ１０９は、露光条件記憶領域に記憶されている露光条件値が“０”であるか否かを判定する。
Next, in step S404, the
判定の結果、第１の露光条件である（露光条件値＝０）とＣＰＵ１０９が判定した場合（ＹＥＳ）、ステップＳ４０５に進む。ステップＳ４０５にて、ＣＰＵ１０９は、露光時間を１／３００ｓに設定し、ゲイン値を通常のゲイン値の３倍に設定して、ステップＳ４０７に進む。なお、通常のゲイン値とは、第２の露光条件で撮像するときのゲイン値である。ここで、第１の露光条件の露光時間は１／３００ｓであり、第２の露光条件の露光時間は１／１００ｓであるので、第１の露光条件の露光時間は第２の露光条件の露光時間の１／３となる。したがって、ゲイン値を３倍にすることにより、第１の露光条件で撮像された画像データＡと第２の露光条件で撮像された画像データＢとの輝度レベルを揃えることができる。
As a result of the determination, when the
一方、第１の露光条件ではない（露光条件値≠０）、すなわち第２の露光条件である（露光条件値＝１）とＣＰＵ１０９が判定した場合、ステップＳ４０６に進む。ステップＳ４０６にて、ＣＰＵ１０９は、露光時間を１／１００ｓに設定し、ゲイン値を通常のゲイン値の１倍に設定して、ステップＳ４０７に進む。
On the other hand, if the
次に、ステップＳ４０７にて、ＣＰＵ１０９は、設定された露光時間及びゲイン値での撮像を実行する。つまり、ＣＰＵ１０９による制御に従って、設定された露光時間だけ露光して撮像素子１０５に蓄積された撮像信号（画像データ）が読み出され、ユニット回路１０８が読み出された画像データを設定されたゲイン値に従ってゲイン補正し自動利得調整する。その後、自動利得調整された画像データから画像生成部１１３によって輝度色差信号の画像データが生成され、バッファメモリ（メモリ１１２）に記憶される。
Next, in step S407, the
次に、ステップＳ４０８にて、ＣＰＵ１０９は、現在設定されている露光条件が第２の露光条件（露光条件値＝１）であるか否かを判定する。現在設定されている露光条件が第２の露光条件ではない（露光条件値≠１）、すなわち第１の露光条件である（露光条件値＝０）とＣＰＵ１０９が判定した場合、ステップＳ４０９に進む。ステップＳ４０９にて、ＣＰＵ１０９は、第１の露光条件で撮像された画像に対する像倍率補正処理の実行を指示する。これにより、画像生成部１１３が、第１の露光条件で撮像された画像データに対して像倍率補正を施す。ここでは、画像生成部１１３は、第２の露光条件で撮像される画像の像倍率に合わせるよう、第１の露光条件で撮像された画像の像倍率を補正する（像倍率に応じて拡大処理や縮小処理を行う）。
Next, in step S408, the
また、ステップＳ４０８において、現在設定されている露光条件が第２の露光条件である（露光条件値＝１）とＣＰＵ１０９が判定した場合、ステップＳ４１０に進む。ステップＳ４１０にて、ＣＰＵ１０９は、ＡＦ制御処理の実行を指示する。これにより、ＡＦ制御部１１８が、ピント位置の異なる、第１の露光条件で撮影された画像と第２の露光条件で撮影された画像を用いてＤＦＤ検出処理を行う。次に、ステップＳ４１１にて、ＡＦ制御部１１８は、ステップＳ４１０でのＤＦＤ検出処理により算出した評価値に基づいて、次に取得するフレーム画像のフォーカス位置を決定し、レンズ駆動部１０３を介してフォーカスレンズを移動させフォーカス移動を行う。
If the
ステップＳ４１２にて、ＣＰＵ１０９は、次に表示させる画像データとして、記憶した直近に撮像されたフレーム画像データを特定する情報（そのフレーム画像データのアドレス情報等）を、バッファメモリの表示記憶領域に記憶させ、ステップＳ４１３に進む。つまり、表示記憶領域の記憶を更新させる。これにより、第２の露光条件で撮像されたフレーム画像Ｂのみが次に表示されるフレーム画像として特定され、フレーム画像Ｂのみが順々に表示されることになる。このとき、ＣＰＵ１０９は、特定したフレーム画像を表示させるまでは、そのフレーム画像をバッファメモリ上に保持させておく。
In step S412, the
ステップ４１３にて、ＣＰＵ１０９は、動画像の撮像処理を終了するか否かを判断する。この判断は、例えばシャッターボタンの押下に対応する操作信号が操作部１１０から送られてきたか否かにより判断する。動画像の撮像処理を終了するとＣＰＵ１０９が判断した場合（ＹＥＳ）、ＣＰＵ１０９は、動画像の撮像処理を終了する。
In step 413, the
一方、動画像の撮像処理を終了しないとＣＰＵ１０９が判断すると、ステップＳ４１４にて、ＣＰＵ１０９は、現在設定されている露光条件が第１の露光条件（露光条件値＝０）であるか否かを判定する。現在設定されている露光条件が第１の露光条件であるとＣＰＵ１０９が判定した場合、ステップＳ４１５にて、ＣＰＵ１０９は、露光条件を第２の露光条件（露光条件値＝１）に設定して、ステップＳ４０４に戻る。一方、現在設定されている露光条件が第１の露光条件ではないとＣＰＵ１０９が判定した場合、ステップＳ４１６にて、ＣＰＵ１０９は、露光条件を第１の露光条件（露光条件値＝０）に設定して、ステップＳ４０４に戻る。
On the other hand, when the
このような動作を行うことにより、図３に示したように、露光時間１／３００ｓで撮像されたフレーム画像データＡと、露光時間１／１００ｓで撮像されたフレーム画像データＢとが交互に撮像されていく。また、露光時間１／１００ｓで撮像されたフレーム画像データＢに係る画像のみが順々に表示されていく。これにより、被写体の動きが滑らかな動画像データを記録することができる。また、露光時間の短いフレーム画像Ａをデフォーカス画像Ａとして像倍率補正及びゲイン補正を行うので、露光時間の長いフレーム画像Ｂを表示画像として使用することができる。
By performing such an operation, as shown in FIG. 3, the frame image data A captured at the
以上のように、本実施形態では、短い露光時間での撮像と長い露光時間での撮像とを交互に繰り返し行い、長い露光時間で撮像されたフレーム画像データを動画像データとして記録、表示し、短い露光時間で撮像されたフレーム画像データをＡＦ処理に用いる。したがって、長い露光時間で撮像されたフレーム画像データを用いて動きの滑らかな動画像データを記録したり、表示したりすることができる。また、オートフォーカス制御に係る処理を優先するＡＦ優先モードでは、デフォーカス画像とフォーカス画像を用いて、次のデフォーカス画像の露光期間中にＤＦＤ検出処理を行うことで、ＡＦ評価値を得るまでの処理時間を短縮することができる。また、次のフォーカス画像の露光を開始するまでに適切な位置へのフォーカスレンズの移動をするため、フレーム毎のＡＦ制御が可能になり、ＡＦ評価値の算出の精度（画像評価の精度）を向上させることができる。 As described above, in the present embodiment, imaging with a short exposure time and imaging with a long exposure time are alternately repeated, and frame image data captured with a long exposure time is recorded and displayed as moving image data. The frame image data captured in a short exposure time is used for AF processing. Therefore, it is possible to record and display moving image data with smooth movement using the frame image data captured with a long exposure time. Further, in the AF priority mode in which the processing related to the autofocus control is prioritized, the defocus image and the focus image are used, and the DFD detection process is performed during the exposure period of the next defocus image until the AF evaluation value is obtained. Processing time can be shortened. In addition, since the focus lens is moved to an appropriate position before the exposure of the next focus image is started, AF control for each frame becomes possible, and the accuracy of AF evaluation value calculation (image evaluation accuracy) can be improved. Can be improved.
なお、ステップＳ４０１において、オートフォーカス制御に係る処理を優先するＡＦ優先モードではないとＣＰＵ１０９が判断した場合、デジタルカメラ１０１の動画撮像時の動作は、図５に示すようになる。図５は、本実施形態におけるデジタルカメラ１０１の動画撮像時の他の動作例を示すタイムチャートである。
When the
図５に示すように、デジタルカメラ１０１は、第２の露光条件（露光時間１／１００ｓ）での撮像と第１の露光条件（露光時間１／３００ｓ）での撮像とを交互に繰り返し行う。また、撮像素子１０５からの画像データの読み出し開始から画像生成部１１３による像倍率補正処理、又はＤＦＤ検出処理の完了までは、２．４フレーム期間未満（１／１０ｓ未満）で行われる。
As shown in FIG. 5, the
このとき、図２に示した例と同様に、第２の露光条件で撮像するときのゲイン値を１倍とし、第１の露光条件で撮像するときのゲイン値を３倍とする。これにより、第１の露光条件で撮像された画像データと第２の露光条件で撮像された画像データとの輝度レベルを揃えることができる。また、第１の露光条件で撮像されたデフォーカス画像Ａと、第２の露光条件で撮像されたフォーカス画像Ｂとの像倍率が同じになるように、例えばフォーカス画像Ｂを撮像するときの像倍率を基準としてデフォーカス画像Ａの像倍率を調整する。 At this time, similarly to the example shown in FIG. 2, the gain value when the image is taken under the second exposure condition is set to 1 time, and the gain value when the image is taken under the first exposure condition is set to 3 times. As a result, the brightness levels of the image data captured under the first exposure condition and the image data captured under the second exposure condition can be made uniform. Further, for example, an image when the focus image B is imaged so that the defocus image A captured under the first exposure condition and the focus image B captured under the second exposure condition have the same image magnification. The image magnification of the defocused image A is adjusted with reference to the magnification.
図５において、例えば、フォーカス画像Ｂ０は、０回目に撮像されたフレーム画像であり、且つ、第２の露光条件で撮像されたフレーム画像であることを示している。また、例えばデフォーカス画像Ａ１は、１回目に撮像されたフレーム画像であり、且つ、第１の露光条件で撮像されたフレーム画像であることを示している。 In FIG. 5, for example, the focus image B0 is a frame image captured at the 0th time, and is a frame image captured under the second exposure condition. Further, for example, the defocus image A1 indicates that it is a frame image captured for the first time and is a frame image captured under the first exposure condition.
また、ＡＦ優先モードではない場合、図５に示すように、第２の露光条件での撮像を最初に行い、その後、交互に露光条件を切り替えるように、撮像を行う順序を制御し撮像していく。したがって、第２の露光条件で撮像されたフレーム画像（フォーカス画像）は画像Ｂ（２ｎ）で表され、第１の露光条件で撮像されたフレーム画像（デフォーカス画像）は画像Ａ（２ｎ＋１）で表される。但し、ｎ＝０，１，２，３，・・・とする。また、図５に示すように、第１の露光条件で撮像されたデフォーカス画像Ａは、ＤＦＤ検出に用いられ、第２の露光条件で撮像されたフォーカス画像Ｂは、ＤＦＤ検出、表示、記録に用いられる。 Further, in the case of not in the AF priority mode, as shown in FIG. 5, the imaging is performed under the second exposure condition first, and then the imaging is controlled and the imaging is performed so as to switch the exposure conditions alternately. I will go. Therefore, the frame image (focus image) captured under the second exposure condition is represented by image B (2n), and the frame image (defocus image) captured under the first exposure condition is represented by image A (2n + 1). expressed. However, n = 0, 1, 2, 3, ... Further, as shown in FIG. 5, the defocus image A captured under the first exposure condition is used for DFD detection, and the focus image B captured under the second exposure condition is DFD detection, display, and recording. Used for.
このようにＡＦ優先モードではない場合には、長い露光時間と短い露光時間で撮像されたフレーム画像データを組にするとき最初に長い露光時間で撮像したフレーム画像を表示する。これにより、撮像された動画像を表示する際の表示遅延を軽減しつつ、被写体の動きの滑らかな動画データを記録したり表示したりすることができる。 In the case of not the AF priority mode as described above, when the frame image data captured with a long exposure time and a short exposure time are combined, the frame image captured with a long exposure time is displayed first. This makes it possible to record and display moving image data with smooth movement of the subject while reducing the display delay when displaying the captured moving image.
（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other Embodiments of the present invention)
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that the above-described embodiments are merely examples of embodiment of the present invention, and the technical scope of the present invention should not be construed in a limited manner by these. That is, the present invention can be implemented in various forms without departing from the technical idea or its main features.
１０１：デジタルカメラ（撮像装置） １０２：撮像レンズ １０３：レンズ駆動部 １０５：撮像素子 １０６：撮像素子駆動部 １０７：タイミングジェネレータ １０８：ユニット回路（ＣＤＳ／ＡＤ） １０９：ＣＰＵ １１１、１１２：メモリ １１３：画像生成部 １１４：表示部 １１８：オートフォーカス制御部
101: Digital camera (imaging device) 102: Imaging lens 103: Lens drive unit 105: Image sensor 106: Image sensor drive unit 107: Timing generator 108: Unit circuit (CDS / AD) 109:
Claims (10)
前記撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御手段と、
前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正手段と、
前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価手段と、
複数の前記第２の画像データを動画像データとして取得する取得手段と、
を有することを特徴とする撮像装置。 An imaging means for capturing a subject image and
The imaging means is imaged at the first exposure time and the first focus position, and at a second exposure time longer than the first exposure time and at a second focus position different from the first focus position. And the control means to take an image of
A correction means for performing gain correction and image magnification correction on the first image data captured in the first exposure time by the imaging means in accordance with the second image data captured in the second exposure time. When,
An evaluation means for performing image evaluation related to autofocus control using the first image data and the second image data, and
An acquisition means for acquiring a plurality of the second image data as moving image data, and
An imaging device characterized by having.
前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正工程と、
前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価工程と、
複数の前記第２の画像データを動画像データとして取得する取得工程と、
を有することを特徴とする撮像装置の制御方法。 An imaging means for imaging a subject image has an image pickup at a first exposure time and a first focus position, and a second exposure time longer than the first exposure time and a second exposure time different from the first focus position. The control process that allows the image to be taken at the focus position of
A correction step of performing gain correction and image magnification correction on the first image data captured in the first exposure time by the imaging means in accordance with the second image data captured in the second exposure time. When,
An evaluation step of performing image evaluation related to autofocus control using the first image data and the second image data, and
An acquisition step of acquiring a plurality of the second image data as moving image data, and
A method for controlling an imaging device, which comprises.
被写体像を撮像する撮像手段に第１の露光時間および第１のピント位置での撮像と、前記第１の露光時間よりも長い第２の露光時間および前記第１のピント位置とは異なる第２のピント位置での撮像とを行わせる制御ステップと、
前記撮像手段により前記第１の露光時間で撮像された第１の画像データに対して前記第２の露光時間で撮像された第２の画像データに合わせてゲイン補正及び像倍率補正を行う補正ステップと、
前記第１の画像データおよび前記第２の画像データを用いて、オートフォーカス制御に係る画像評価を行う評価ステップと、
複数の前記第２の画像データを動画像データとして取得する取得ステップと、
を実行させるためのプログラム。 To the computer that the image pickup device has
An imaging means for imaging a subject image has an image pickup at a first exposure time and a first focus position, and a second exposure time longer than the first exposure time and a second exposure time different from the first focus position. A control step that allows you to take an image at the focus position of
A correction step of performing gain correction and image magnification correction on the first image data captured in the first exposure time by the imaging means in accordance with the second image data captured in the second exposure time. When,
An evaluation step of performing image evaluation related to autofocus control using the first image data and the second image data, and
An acquisition step of acquiring a plurality of the second image data as moving image data, and
A program to execute.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017045295A JP6862225B2 (en) | 2017-03-09 | 2017-03-09 | Imaging device, control method of imaging device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017045295A JP6862225B2 (en) | 2017-03-09 | 2017-03-09 | Imaging device, control method of imaging device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018151415A JP2018151415A (en) | 2018-09-27 |
| JP6862225B2 true JP6862225B2 (en) | 2021-04-21 |
Family
ID=63679492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017045295A Active JP6862225B2 (en) | 2017-03-09 | 2017-03-09 | Imaging device, control method of imaging device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6862225B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116113862A (en) * | 2020-09-11 | 2023-05-12 | 西门子（中国）有限公司 | Method and apparatus for achieving industrial camera focusing |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4123352B2 (en) * | 2002-08-19 | 2008-07-23 | 富士フイルム株式会社 | Movie imaging device and movie playback device |
| JP4748375B2 (en) * | 2007-12-05 | 2011-08-17 | カシオ計算機株式会社 | IMAGING DEVICE, IMAGE REPRODUCING DEVICE, AND PROGRAM THEREOF |
| JP5374119B2 (en) * | 2008-11-13 | 2013-12-25 | オリンパス株式会社 | Distance information acquisition device, imaging device, and program |
| JP5281972B2 (en) * | 2009-07-01 | 2013-09-04 | オリンパス株式会社 | Imaging device |
| JP6152772B2 (en) * | 2012-11-29 | 2017-06-28 | パナソニックＩｐマネジメント株式会社 | Imaging apparatus, semiconductor integrated circuit, and imaging method |
| JP5895270B2 (en) * | 2014-03-28 | 2016-03-30 | パナソニックＩｐマネジメント株式会社 | Imaging device |
-
2017
- 2017-03-09 JP JP2017045295A patent/JP6862225B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018151415A (en) | 2018-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5054583B2 (en) | Imaging device | |
| JP4760742B2 (en) | Digital camera, information display method, and information display control program | |
| JP4341696B2 (en) | Imaging device, face area detection program, and face area detection method | |
| JP4732303B2 (en) | Imaging device | |
| JP2012222495A (en) | Image processor, image processing method, and program | |
| JP5100410B2 (en) | Imaging apparatus and control method thereof | |
| KR20090086349A (en) | Imaging apparatus and imaging method | |
| US9274402B2 (en) | Imaging device that executes auto focus control by referring to distance image data regarding a depth of a region | |
| JP4748375B2 (en) | IMAGING DEVICE, IMAGE REPRODUCING DEVICE, AND PROGRAM THEREOF | |
| JP5092673B2 (en) | Imaging apparatus and program thereof | |
| JP4953770B2 (en) | Imaging device | |
| JP6326631B2 (en) | Imaging device | |
| JP2011211329A (en) | Imaging apparatus and control method thereof, image processing apparatus and control method thereof, and image processing program | |
| KR101747304B1 (en) | A digital photographing apparatus, a method for auto-focusing, and a computer-readable storage medium for executing the method | |
| JP6862225B2 (en) | Imaging device, control method of imaging device, and program | |
| US20120105699A1 (en) | Portable device | |
| JP4969349B2 (en) | Imaging apparatus and imaging method | |
| JP5415208B2 (en) | Imaging device | |
| JP2006065337A (en) | Automatic focusing device, camera, portable information input device, focused position detecting method, and recording medium readable by computer | |
| JP6489876B2 (en) | Imaging apparatus and control method thereof | |
| US10277796B2 (en) | Imaging control apparatus, imaging apparatus, and imaging control method | |
| JP6366374B2 (en) | Focus detection apparatus and control method thereof | |
| JP2013150170A (en) | Imaging apparatus and microscope system | |
| JP2009194469A (en) | Imaging apparatus | |
| JP6827778B2 (en) | Image processing equipment, image processing methods and programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210331 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6862225 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |