JP6728010B2 - Imaging device and method for controlling imaging device - Google Patents
Imaging device and method for controlling imaging device Download PDFInfo
- Publication number
- JP6728010B2 JP6728010B2 JP2016187382A JP2016187382A JP6728010B2 JP 6728010 B2 JP6728010 B2 JP 6728010B2 JP 2016187382 A JP2016187382 A JP 2016187382A JP 2016187382 A JP2016187382 A JP 2016187382A JP 6728010 B2 JP6728010 B2 JP 6728010B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- display
- exposure time
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、撮像装置及び撮像装置の制御方法に関する。 The present invention relates to an imaging device and a method for controlling the imaging device.
多くのデジタルカメラ等の撮像装置では、被写体をフレーミングするための電子ビューファインダーとして、液晶表示装置等の表示デバイスに撮像素子で撮像した画像信号から生成した表示用画像を順次ライブビュー表示する。ライブビュー表示では、撮像素子で撮像した画像信号の読み出し、読み出した画像信号から表示用画像の生成等、複数の画像処理をメモリを介して行う必要があるため、リアルタイムに表示することはできず数フレーム程度遅延して表示される。そこで、撮像素子から読み出された画像信号のメモリへの書き込みに重ねて、画像の表示を行うためのメモリからの画像の読み出しを行うことで、ほぼリアルタイムにライブビュー表示できるものが知られている。これは、撮像素子と表示デバイスを非同期で動作させるのではなく、所定の位相差で同期して動作させることで実現することができる。また、撮像素子の露光時間に応じて撮像フレームレートを落とすことにより、低輝度環境においても適正な露出のライブビュー表示を可能としたデジタルカメラが存在する。 In many image pickup devices such as digital cameras, a display image generated from an image signal picked up by an image pickup element is sequentially displayed in live view on a display device such as a liquid crystal display device as an electronic viewfinder for framing an object. Live view display cannot be displayed in real time because multiple image processes such as reading the image signal captured by the image sensor and generating a display image from the read image signal must be performed through the memory. It is displayed with a delay of several frames. Therefore, it is known that live view display can be performed in almost real time by reading an image from the memory for displaying the image in addition to writing the image signal read from the image sensor to the memory. There is. This can be achieved by operating the image sensor and the display device asynchronously, rather than operating them asynchronously. Further, there is a digital camera capable of performing live view display with proper exposure even in a low-luminance environment by reducing the image capture frame rate according to the exposure time of the image sensor.
このように撮像フレームレートを可変とした場合においても、ほぼリアルタイムにライブビュー表示を可能とした撮像装置が開示されている（特許文献１参照）。特許文献１で開示されている撮像装置は、撮像フレームレートに応じて表示フレームレートを設定し、それらに応じて撮像素子と表示デバイスの動作タイミングが所定の位相差となるよう調整している。
There is disclosed an image pickup apparatus capable of performing live view display almost in real time even when the image pickup frame rate is variable (see Patent Document 1). The image pickup apparatus disclosed in
しかし、上述した撮像装置では、ＡＦ処理のように複数フレームにわたって、撮像した画像データから生成される評価値を用いた処理に関しては考慮されていない。処理に用いられる評価値が撮像した画像データから生成される場合、撮像フレームレートに応じて評価値が生成される間隔が決まるため、複数フレームにわたって評価値を用いる処理の処理時間は、撮像フレームレートの低下に伴い長くなる。つまり、低輝度環境において適正な露出のライブビュー表示するために、露光時間に合わせて撮像フレームレートを落とした場合には、撮像フレームレートの低下に伴って評価値が生成される間隔が延び、評価値を用いる処理の処理時間も長くなる。しかし、表示遅延を考慮して、撮像素子と表示デバイスの動作タイミングを所定の位相差に調整する場合、表示デバイスとの同期も考慮する必要があり、露光時間に合わせて露光時間が収まる最速の撮像フレームレートには設定できない。そのため、適正露出のライブビュー表示をするための露光時間から決まる撮像フレームレートよりフレームレートが遅くなり、複数フレームにわたって評価値を用いる処理の処理時間は、露光時間分より余計に長くなるという課題がある。 However, the above-described image pickup apparatus does not take into consideration processing such as AF processing that uses an evaluation value generated from imaged image data over a plurality of frames. When the evaluation value used for the processing is generated from the captured image data, the interval for generating the evaluation value is determined according to the imaging frame rate. Therefore, the processing time of the processing using the evaluation value over a plurality of frames is the imaging frame rate. It becomes longer with the decrease of. In other words, in order to perform live view display with proper exposure in a low-luminance environment, when the imaging frame rate is reduced in time with the exposure time, the interval at which the evaluation value is generated increases as the imaging frame rate decreases, The processing time of the processing using the evaluation value also becomes long. However, when adjusting the operation timing of the image sensor and the display device to a predetermined phase difference in consideration of the display delay, it is necessary to consider the synchronization with the display device as well, and the fastest exposure time that fits the exposure time can be set. It cannot be set to the imaging frame rate. Therefore, there is a problem that the frame rate becomes slower than the imaging frame rate determined by the exposure time for performing live view display of proper exposure, and the processing time of the process of using the evaluation value over a plurality of frames becomes longer than the exposure time. is there.
本発明の目的は、ライブビュー表示の遅延を抑えつつ、低輝度環境においても適正な露出時間のライブビュー表示を行うことができる撮像装置及び撮像装置の制御方法を提供することである。 An object of the present invention is to provide an imaging device and a method for controlling the imaging device that can perform live view display with an appropriate exposure time even in a low-luminance environment while suppressing a delay in live view display.
本発明の撮像装置は、露光時間に応じて各フレームの画像を撮像し、前記撮像された各フレームの画像を１垂直走査期間に１フレームずつ出力する撮像部と、前記撮像部により出力された画像を基に、前記撮像部の露光時間を決定する露光時間決定部と、前記露光時間決定部により決定された露光時間が１垂直走査期間の基準値より長い場合には、前記撮像部により出力された画像から所定の評価値を取得する第１の状態であれば、前記撮像部の１垂直走査期間が前記露光時間以上になるように、前記１垂直走査期間の基準値より短い期間の単位で、前記撮像部の１垂直走査期間を設定し、前記撮像部により出力された画像から所定の評価値を取得しない第２の状態であれば、前記撮像部の１垂直走査期間が前記露光時間以上になるように、前記撮像部の１垂直走査期間を前記１垂直走査期間の基準値の整数倍に設定する期間設定部とを有する。 The image pickup apparatus of the present invention picks up an image of each frame according to an exposure time, and outputs the picked-up image of each frame one frame at a time in one vertical scanning period, and the image pickup unit outputs the image. An exposure time determination unit that determines the exposure time of the imaging unit based on the image, and if the exposure time determined by the exposure time determination unit is longer than a reference value of one vertical scanning period, output by the imaging unit In the first state in which a predetermined evaluation value is acquired from the captured image, a unit of a period shorter than the reference value of the one vertical scanning period so that one vertical scanning period of the imaging unit is equal to or longer than the exposure time. In the second state in which one vertical scanning period of the image capturing unit is set and a predetermined evaluation value is not acquired from the image output by the image capturing unit, one vertical scanning period of the image capturing unit is the exposure time. As described above, the image pickup unit includes a period setting unit that sets one vertical scanning period to an integral multiple of a reference value of the one vertical scanning period.
本発明によれば、ライブビュー表示の遅延を抑えつつ、低輝度環境においても適正な露出時間のライブビュー表示を行うことができる。 According to the present invention, it is possible to perform live view display with an appropriate exposure time even in a low-luminance environment while suppressing a delay in live view display.
図１は、本発明の実施形態による撮像装置１０を示す外観図である。コネクタ１１２は、接続ケーブルと撮像装置１０とを接続する。記録媒体２０は、メモリカード又はハードディスク等である。記録媒体スロット２０１は、記録媒体２０を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２０は、撮像装置１０との通信が可能となる。蓋２０３は、記録媒体スロット２０１の蓋である。撮像装置１０には、表示部１３及び操作部１４が設けられる。撮像装置１０は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
FIG. 1 is an external view showing an
図２は、撮像装置１０の構成例を示すブロック図である。撮像装置１０は、ＣＰＵ（中央演算装置）１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体インタフェース１６、撮像部１７、画像処理回路１８、画像圧縮伸長回路１９及び内部バス３０を有する。
FIG. 2 is a block diagram showing a configuration example of the
ＣＰＵ１１は、後述する各処理部やデータフロー等を制御する。ＲＯＭ１２は、ＣＰＵ１１の処理手順に係るプログラム（ファームウェア）及び各種情報を格納する。表示部１３は、カラー液晶表示器等であり、画像を表示し、グラフィックユーザインタフェースを表示する。表示部１３は、テレビ等の外部表示装置に映像信号を出力する端子も備えている。操作部１４は、ユーザからの指示を受け付けるレリーズボタン（ＳＷ１／ＳＷ２）及び電源ボタン等の各種ボタンや十字キー、コントロールホイール及びモードダイヤル等を有する。レリーズボタンを半押し状態にするとスイッチＳＷ１がオンになり、レリーズボタンを全押し状態にするとスイッチＳＷ２がオンになる。
The
ＤＲＡＭ１５は、ＣＰＵ１１のワークエリアとして使用され、画像データや表示用データ、画像圧縮後のデータ等を一時記憶するバッファ機能を有する。なお、ＣＰＵ１１は、メモリコントローラを介して、ＤＲＡＭ１５に対してデータの書き込みや読み出しを行う。また、撮像装置１０には、各処理部とＤＲＡＭ１５間で、ＤＭＡ（ダイレクトメモリアクセス）転送を行うためのＤＭＡコントローラを設けてもよい。
The
記録媒体インタフェース１６は、ＣＰＵ１１からの指示に従い、記録媒体２０に対して画像データの書き込み及び読み出しを行う。記録媒体２０は、メモリカード、光ディスク又はハードディスク等のランダムアクセス可能な記録媒体であり、撮像装置１０に着脱自在である。ＣＰＵ１１、ＤＲＡＭ１５及び記録媒体インタフェース１６は、記録媒体２０に撮影画像である静止画及び動画を記録する記録手段として機能する。
The
撮像部１７は、レンズ、絞り、シャッタ、及びＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子を有し、光電変換により静止画又は動画の画像データを生成する。画像処理回路１８は、撮像部１７により生成された画像データに対して、ホワイトバランス調整、画素補間等の処理を行い、ＹＵＶデータに変換し、任意のサイズにリサイズする。また、画像処理回路１８は、表示部１３に表示するための表示用画像データや画像圧縮伸長回路１９で圧縮するための圧縮用画像データを生成する。また、画像処理回路１８は、撮像部１７により生成された画像データに基づき、ＡＥ処理のための被写体の輝度情報や、ＡＦ処理のための被写体の輝度信号の高域周波数成分に基づく評価値を生成する。ＡＥ処理は自動露出調節処理であり、ＡＦ処理は自動焦点調節処理である。
The image pickup unit 17 has a lens, a diaphragm, a shutter, and an image pickup element such as a CCD sensor or a CMOS sensor, and generates image data of a still image or a moving image by photoelectric conversion. The
画像圧縮伸長回路１９は、ＹＵＶデータをＪＰＥＧ又はＨ．２６４形式の画像データに圧縮し、ＪＰＥＧ又はＨ．２６４形式の圧縮された画像データをＹＵＶデータに伸長する。ＣＰＵ１１、ＲＯＭ１２、表示部１３、操作部１４、ＤＲＡＭ１５、記録媒体インタフェース１６、撮像部１７、画像処理回路１８及び画像圧縮伸長回路１９は、内部バス３０を介して通信する。
The image compression/
本実施形態では、撮像装置１０は、撮像部１７による１フレーム分の画像の出力と、画像処理回路１８によるＹＵＶデータ変換及び表示用画像データ生成を並行して処理する。撮像装置１０は、撮像部１７が画像の出力を開始してから出力を完了する前までに、表示部１３が表示用画像データの読み出しを開始することで、ライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。また、撮像装置１０は、低輝度時には撮像部１７の撮像フレームレートを落とし、撮像部１７の露光時間を延ばすことにより、低輝度環境においても適正な露出のライブビュー表示を行うことができる。
In the present embodiment, the
図３は、本実施形態による撮像装置１０の制御方法を示すフローチャートである。ＣＰＵ１１は、図３に示す処理を実現するように各部を制御する。操作部１４の電源ボタン又はモードダイヤル等の操作により、撮像装置１０の起動又は再生モード等から撮影モードへの遷移が指示されると、撮像装置１０は、図３に示す処理を開始する。
FIG. 3 is a flowchart showing the control method of the
ステップＳ１０１では、ＣＰＵ１１は、撮像部１７の駆動タイミングである撮像部１７の垂直同期信号と、表示部１３の駆動タイミングである表示部１３の垂直同期信号とが所定の位相差になるように制御し、ライブビュー用に撮像部１７の駆動を開始させる。撮像部１７が１フレーム分の画像の出力を開始してから出力を完了する前までに、表示部１３が表示用画像データの読み出しを開始するように、ＣＰＵ１１は撮像部１７と表示部１３の垂直同期信号を所定の位相差で同期させて撮像部１７の駆動を開始する。所定の位相差は、基準位相差である。このようにすることで、撮像装置１０は、撮像部１７による撮像から、その画像に基づくライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。
In step S101, the
次に、ステップＳ１０２では、ＣＰＵ（露光時間決定部）１１は、撮像部１７により出力された画像データに基づき、ＡＥ処理を行い、撮像部１７の露光時間Ｅｘｐ＿ｃｕｒを決定する。具体的には、ＣＰＵ１１は、撮像部１７により撮像された画像データに基づき、画像処理回路１８を用いて被写体の輝度情報を求め、被写体が適正な輝度になるように所定の演算を行い、撮像部１７の露光時間Ｅｘｐ＿ｃｕｒを決定する。また、ライブビューを開始した最初のフレームは、撮像部１７により撮像された画像データが存在しないため、ＣＰＵ１１は、初期値の露光時間Ｅｘｐ＿ｃｕｒを設定する。
Next, in step S<b>102, the CPU (exposure time determination unit) 11 performs AE processing based on the image data output by the imaging unit 17, and determines the exposure time Exp_cur of the imaging unit 17. Specifically, the
ステップＳ１０３では、ＣＰＵ１１は、操作部１４のレリーズボタンの半押しにより、スイッチＳＷ１がオンになると、それをトリガとして開始される静止画撮影準備処理としてのＡＦ処理中（オートフォーカス処理中）か否かを判定する。ＡＦ処理では、ＣＰＵ１１は、撮像部１７により撮像された画像データに基づき、画像処理回路１８を用いて被写体の輝度信号の高域周波数成分に基づく評価値を求める。そして、ＣＰＵ１１は、撮像部１７のフォーカスレンズを移動させながら、ＡＦ処理の範囲の全域に対して、複数フレームにわたり評価値を求め、評価値が最大となるレンズ位置を合焦位置として決定し、撮像部１７のフォーカスレンズを合焦位置に移動させる。
In step S103, when the switch SW1 is turned on by half-pressing the release button of the
ステップＳ１０３では、ＣＰＵ１１は、ＡＦ処理中であると判定された場合には、ステップＳ１０４に処理を進める。ステップＳ１０４では、ＣＰＵ１１は、ステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒが撮像部１７の１Ｖ期間（１垂直走査期間）の基準値の長さＴより長いか否かを判定する。つまり、ＣＰＵ１１は、Ｅｘｐ＿ｃｕｒ＞Ｔであるか否かを判定する。例えば、撮像部１７のフレームレートの基準値が６０ｆｐｓ（フレーム／秒）の場合、１Ｖ期間の基準値の長さＴはＴ＝１／６０秒となる。１Ｖ期間の基準値の長さＴは、１フレーム時間である。
In step S103, when it is determined that the AF process is being performed, the
ステップＳ１０４では、ＣＰＵ１１は、露光時間Ｅｘｐ＿ｃｕｒが１Ｖ期間の基準値の長さＴより長いと判定された場合には、ステップＳ１０５に処理を進める。ステップＳ１０５では、ＣＰＵ（第１の期間設定部）１１は、ステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒが収まる設定可能な最短の１Ｖ期間の長さとして、撮像部１７の１Ｖ期間の長さＶ＿ｃｕｒを設定する。例えば、ＣＰＵ１１は、１Ｖ期間の基準値の長さＴより短い１Ｈ期間（１水平走査期間）の長さの単位で１Ｖ期間の長さＶ＿ｃｕｒの調整を行う。ＣＰＵ１１は、１Ｖ期間の長さＶ＿ｃｕｒが露光時間以上（露光時間Ｅｘｐ＿ｃｕｒ以上）であり、かつ１Ｖ期間の長さＶ＿ｃｕｒが１Ｈ期間（１水平走査期間）の長さの単位で最短の長さになるように、１Ｖ期間の長さＶ＿ｃｕｒを設定する。例えば、ステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒが１／５０秒の場合、１Ｖ期間の長さＶ＿ｃｕｒも約１／５０秒となる。
In step S104, when the
ステップＳ１０４では、ＣＰＵ１１は、露光時間Ｅｘｐ＿ｃｕｒが１Ｖ期間の基準値の長さＴ以下（基準値以下）であると判定された場合には、ステップＳ１０６に処理を進める。ステップＳ１０６では、ＣＰＵ（第４の期間設定部）１１は、撮像部１７の１Ｖ期間の長さＶ＿ｃｕｒを１Ｖ期間の基準値の長さＴと同じ長さ（Ｖ＿ｃｕｒ＝Ｔ）に設定する。これにより、ＣＰＵ１１は、ＡＦ処理中には、撮像部１７により撮像された画像データから、被写体の輝度信号の高域周波数成分に基づく評価値を、露光時間Ｅｘｐ＿ｃｕｒに応じた１Ｖ期間の長さＶ＿ｃｕｒの撮像フレームレートで取得することができる。そのため、低輝度被写体が適正な輝度になるように撮像部１７の露光時間Ｅｘｐ＿ｃｕｒを１Ｖ期間の基準値の長さＴより長くした場合にも、ＡＦ処理用の評価値の取得時間が必要以上に延びることがなく、ＡＦ処理時間を短くすることができる。
When it is determined in step S104 that the exposure time Exp_cur is equal to or less than the reference value length T of the 1V period (equal to or less than the reference value), the process proceeds to step S106. In step S106, the CPU (fourth period setting unit) 11 sets the length V_cur of the 1V period of the imaging unit 17 to the same length (V_cur=T) as the length T of the reference value of the 1V period. As a result, during the AF processing, the
ステップＳ１０３では、ＣＰＵ１１は、ＡＦ処理中でないと判定された場合には、ステップＳ１０７に処理を進める。ステップＳ１０７では、ＣＰＵ１１は、撮像部１７の駆動タイミングである撮像部１７の垂直同期信号と表示部１３の駆動タイミングである表示部１３の垂直同期信号との位相差が所定量（基準位相差）か否かを判定する。具体的には、ＣＰＵ１１は、ＡＦ処理中に露光時間Ｅｘｐ＿ｃｕｒに応じて１Ｖ期間の長さＶ＿ｃｕｒの調整を行ったことにより、撮像部１７と表示部１３の垂直同期信号の位相差がライブビュー開始時の最適な位相差からずれているか否かを判定する。
When it is determined in step S103 that the AF process is not in progress, the
ステップＳ１０７では、ＣＰＵ１１は、撮像部１７と表示部１３の垂直同期信号の位相差が所定量であると判定された場合には、ステップＳ１０８に処理を進める。ステップＳ１０８では、ＣＰＵ１１は、ステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒが１Ｖ期間の基準値の長さＴより長い（Ｅｘｐ＿ｃｕｒ＞Ｔ）か否かを判定する。ＣＰＵ１１は、露光時間Ｅｘｐ＿ｃｕｒが１Ｖ期間の基準値の長さＴより長いと判定された場合には、ステップＳ１０９に処理を進める。ステップＳ１０９では、ＣＰＵ（第２の期間設定部）１１は、１Ｖ期間の長さＶ＿ｃｕｒがステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒ以上になるように、１Ｖ期間の長さＶ＿ｃｕｒを１Ｖ期間の基準値の長さＴの整数倍に設定する。具体的には、ＣＰＵ１１は、１Ｖ期間の長さＶ＿ｃｕｒの調整を１Ｖ期間の基準値の長さＴ単位で行い、Ｖ＿ｃｕｒ＝Ｔ×Ｎ≧Ｅｘｐ＿ｃｕｒにする。ここで、Ｎは２以上の整数である。例えば、撮像部１７のフレームレートの基準値が６０ｆｐｓであり、ステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒが１／５０秒の場合、１Ｖ期間の長さＶ＿ｃｕｒは、１／６０×２＝１／３０秒となる。
When it is determined in step S107 that the phase difference between the vertical synchronization signals of the image pickup unit 17 and the
ステップＳ１０８では、ＣＰＵ１１は、露光時間Ｅｘｐ＿ｃｕｒが１Ｖ期間の基準値の長さＴ以下であると判定された場合には、ステップＳ１１０に処理を進める。ステップＳ１１０では、ＣＰＵ（第４の期間設定部）１１は、１Ｖ期間の長さＶ＿ｃｕｒを１Ｖ期間の基準値の長さＴと同じ長さ（Ｖ＿ｃｕｒ＝Ｔ）に設定する。このようにすることで、撮像装置１０は、ＡＦ処理中でないときには、撮像部１７による撮像から、その画像に基づくライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。また、撮像装置１０は、低輝度被写体が適正な輝度になるように撮像部１７の露光時間Ｅｘｐ＿ｃｕｒを１Ｖ期間の基準値の長さＴより長くした場合にも、同様に、ほぼリアルタイムにライブビュー表示をすることができる。
When it is determined in step S108 that the exposure time Exp_cur is equal to or less than the length T of the reference value of the 1V period, the
ステップＳ１０７では、ＣＰＵ１１は、撮像部１７と表示部１３の垂直同期信号の位相差が所定量（基準位相差）でないと判定された場合には、ステップＳ１１１に処理を進める。ステップＳ１１１では、ＣＰＵ１１は、１Ｖ期間の長さＶ＿ｃｕｒが露光時間Ｅｘｐ＿ｃｕｒ以上であり、かつ撮像部１７と表示部１３の垂直同期信号の位相差がライブビュー開始時の最適な基準位相差になるように、１Ｖ期間の長さＶ＿ｃｕｒを設定する。具体的には、ＣＰＵ（第３の期間設定部）１１は、Ｖ＿ｃｕｒ＝Ｔ×Ｎ＋α≧Ｅｘｐ＿ｃｕｒの設定を行い、撮像部１７と表示部１３の垂直同期信号の位相差がライブビュー開始時の最適な位相差となるようにαを調整して、１Ｖ期間の長さＶ＿ｃｕｒを設定する。ここで、Ｎは１以上の整数である。撮像装置１０は、ＡＦ処理中に輝度被写体が適正な輝度になるように撮像部１７の露光時間Ｅｘｐ＿ｃｕｒを１Ｖ期間の基準値の長さＴより長くする。これにより、撮像部１７と表示部１３の垂直同期信号の位相差が最適でなくなっていたのを、撮像装置１０は、ＡＦ処理後に最適に戻すことができる。
When it is determined in step S107 that the phase difference between the vertical synchronization signals of the image pickup unit 17 and the
次に、ステップＳ１１２では、ＣＰＵ１１は、ステップＳ１０２で決定された露光時間Ｅｘｐ＿ｃｕｒに基づき撮像部１７により撮像された画像を、１Ｖ期間の長さＶ＿ｃｕｒのフレーム時間で動画フレームとして読み出す。撮像部１７は、露光時間Ｅｘｐ＿ｃｕｒに応じて各フレームの画像を撮像し、その撮像された各フレームの画像を１Ｖ期間の長さＶ＿ｃｕｒに１フレームずつＣＰＵ１１に出力する。
Next, in step S112, the
次に、ステップＳ１１３では、ＣＰＵ１１は、画像処理回路１８を用いて、ステップＳ１１２で読み出された動画フレームの画像データに対して、ホワイトバランス調整、画素補間等の処理を施し、ＹＵＶデータに変換し、ＤＲＡＭ１５に書き込む。
Next, in step S113, the
次に、ステップＳ１１４では、ＣＰＵ１１は、撮像部１７の駆動タイミングである撮像部１７の垂直同期信号と表示部１３の駆動タイミングである表示部１３の垂直同期信号との位相差が所定量（基準位相差）以上か否かを判定する。ステップＳ１１４では、ＣＰＵ１１は、撮像部１７と表示部１３の垂直同期信号の位相差が所定量未満（基準位相差未満）であると判定された場合には、ステップＳ１１５に処理を進める。ステップＳ１１５では、ＣＰＵ（表示用画像生成部）１１は、ステップＳ１１３で生成した画像データに対して、画像処理回路１８を用いてリサイズ処理等を施し、表示用画像データを生成し、表示用画像データをＤＲＡＭ（メモリ）１５に書き込む。表示用画像データの生成完了後に、ステップＳ１１６では、ＣＰＵ１１は、表示部１３にステップＳ１１５で生成した表示用画像データを表示させるために、表示部１３が表示用画像データを読み出すＤＲＡＭ１５の読み出しアドレスを更新する。表示部１３は、例えば電子ビューファインダーである。
Next, in step S114, the
ステップＳ１１４では、ＣＰＵ１１は、撮像部１７と表示部１３の垂直同期信号の位相差が所定量以上（基準位相差以上）であると判定された場合には、ステップＳ１１７に処理を進める。ステップＳ１１７では、ＣＰＵ１１は、表示部（電子ビューファインダー）１３にステップＳ１１５で生成した表示用画像データを表示させるために、表示部１３が表示用画像データを読み出すＤＲＡＭ１５の読み出しアドレスを更新する。次に、ステップＳ１１８では、ＣＰＵ（表示用画像生成部）１１は、ステップＳ１１３で生成した画像データに対して、画像処理回路１８を用いて、表示用サイズへのリサイズ処理等を施し、表示用画像データを生成し、表示用画像データをＤＲＡＭ１５に書き込む。
In step S114, when the
ここで、ステップＳ１１２の動画フレーム読み出し、ステップＳ１１３のＹＵＶデータ変換、ステップＳ１１５又はステップＳ１１８の表示用画像データ生成は、並行して処理される。さらに、ステップＳ１１７では、ＣＰＵ１１は、ステップＳ１１８の表示用画像データの生成前又は生成中に、表示用画像データを表示部１３に表示させるために表示用画像データのＤＲＡＭ１５の読み出しアドレスを更新する。このようにすることで、撮像装置１０は、撮像部１７が１フレーム分の画像の出力を開始してから出力を完了する前までに、表示部１３が表示用画像データの読み出しを開始でき、ほぼリアルタイムにライブビュー表示をすることができる。
Here, the moving image frame reading in step S112, the YUV data conversion in step S113, and the display image data generation in step S115 or step S118 are processed in parallel. Further, in step S117, the
次に、ステップＳ１１９では、ＣＰＵ１１は、操作部１４の電源ボタン又はモードダイヤル等の操作により、撮像装置１０の終了又は再生モードへの遷移等のライブビューの停止が指示されているか否かを判定する。ＣＰＵ１１は、ライブビューの停止が指示されていると判定された場合には、ライブビューを停止して終了する。また、ＣＰＵ１１は、ライブビューの停止が指示されていないと判定された場合には、ステップＳ１０２に処理を戻し、次のフレームの処理を続ける。
Next, in step S119, the
図４は、本実施形態による撮像装置１０の制御方法を示すタイミングチャートである。以下、撮像装置１０のライブビュー表示について説明する。１Ｖ期間の長さ１０１は、各フレームの１Ｖ期間の長さＶ＿ｃｕｒである。露光時間１０２は、各フレームの露光時間Ｅｘｐ＿ｃｕｒである。位相差１０３は、各フレームにおける撮像部１７と表示部１３の垂直同期信号の位相差である。タイミング１０４は、各フレームにおける表示アドレス更新タイミングである。
FIG. 4 is a timing chart showing the control method of the
また、１Ｖ期間の長さＶ＿Ｎは、第Ｎフレームでの１Ｖ期間の長さである。露光時間Ｅｘｐ＿Ｎは、第Ｎフレームでの露光時間である。位相差ｔ＿Ｎは、第Ｎフレームでの撮像部１７と表示部１３の垂直同期信号の位相差である。
The 1V period length V_N is the length of the 1V period in the Nth frame. The exposure time Exp_N is the exposure time in the Nth frame. The phase difference t_N is the phase difference between the vertical synchronization signals of the imaging unit 17 and the
第１フレームでは、露光時間Ｅｘｐ＿１は、１Ｖ期間の基準値の長さＴ以下（Ｅｘｐ＿１≦Ｔ）である。第１フレームの１Ｖ期間の長さＶ＿１は、１Ｖ期間の基準値の長さＴと同じ（Ｖ＿１＝Ｔ）である。 In the first frame, the exposure time Exp_1 is equal to or less than the length T of the reference value in the 1V period (Exp_1≦T). The length V_1 of the 1V period of the first frame is the same as the length T of the reference value of the 1V period (V_1=T).
第２フレームでは、露光時間Ｅｘｐ＿２は、１Ｖ期間の基準値の長さＴより長い（Ｅｘｐ＿２＞Ｔ）。このとき、ＡＦ処理中ではないため、第２フレームの１Ｖ期間の長さＶ＿２は、１Ｖ期間の基準値の長さＴ単位で調整され、１Ｖ期間の基準値の長さＴの２倍（Ｖ＿２＝２Ｔ）になっている。 In the second frame, the exposure time Exp_2 is longer than the length T of the reference value in the 1V period (Exp_2>T). At this time, since the AF process is not in progress, the length V_2 of the 1V period of the second frame is adjusted in units of the length T of the reference value of the 1V period, and is twice the length T of the reference value of the 1V period (V_2 = 2T).
また、第１フレーム及び第２フレームにおける撮像部１７と表示部１３の垂直同期信号の位相差ｔ＿１及びｔ＿２は、ライブビュー開始時の所定の位相差ｔと同じである（ｔ＿１＝ｔ、ｔ＿２＝ｔ）。そのため、第１フレーム及び第２フレームでは、表示アドレス更新は、表示用画像データ生成前のタイミング１０４で行われる。これにより、ライブビューが表示されるまでの遅延が短く、ほぼリアルタイムでライブビュー表示が行われる。
Further, the phase differences t_1 and t_2 between the vertical synchronization signals of the image pickup unit 17 and the
第３フレームでは、第２フレームと同様に、露光時間Ｅｘｐ＿３は、１Ｖ期間の基準値の長さＴより長い（Ｅｘｐ＿３＞Ｔ）。第３フレームでは、ＡＦ処理中であるため、第３フレームの１Ｖ期間の長さＶ＿３は、１Ｖ期間の基準値の長さＴより短い単位で調整され、露光時間Ｅｘｐ＿３以上になるように設定される（Ｖ＿３≧Ｅｘｐ＿３）。 In the third frame, as in the second frame, the exposure time Exp_3 is longer than the length T of the reference value in the 1V period (Exp_3>T). In the third frame, since the AF process is being performed, the length V_3 of the 1V period of the third frame is adjusted by a unit shorter than the length T of the reference value of the 1V period, and is set to be the exposure time Exp_3 or more. (V_3≧Exp_3).
第４フレームから第７フレームも同様である。また、第３フレームから第７フレームにおける撮像部１７と表示部１３の垂直同期信号の位相差は、ｔ＿３からｔ＿７で表される。第４及び第５フレームでは、撮像部１７と表示部１３の垂直同期信号の位相差ｔ＿４及びｔ＿５は、ライブビュー開始時の所定の位相差ｔ以上である（ｔ＿４≧ｔ、ｔ＿５≧ｔ）ので、表示アドレス更新は、表示用画像データ生成前のタイミング１０４で行われる。
The same applies to the fourth frame to the seventh frame. Further, the phase difference between the vertical synchronization signals of the image pickup unit 17 and the
第３、第６及び第７フレームでは、位相差ｔ＿３、ｔ＿６及びｔ＿７は、ライブビュー開始時の所定の位相差ｔ未満である（ｔ＿３＜ｔ、ｔ＿６＜ｔ、ｔ＿７＜ｔ）ので、表示アドレス更新は、表示用画像データの生成完了後のタイミング１０４で行われる。そのため、ＡＦ処理中に露光時間Ｅｘｐ＿Ｎに応じて、１Ｖ期間の長さＶ＿Ｎを調整したことにより、撮像部１７と表示部１３の垂直同期信号の位相差ｔ＿Ｎが所定の位相差ｔでなくなっている場合にも、適切なライブビューが表示される。
In the third, sixth, and seventh frames, the phase differences t_3, t_6, and t_7 are less than the predetermined phase difference t at the start of live view (t_3<t, t_6<t, t_7<t), so the display address is The update is performed at the
第８フレームは、ＡＦ処理完了後の最初のフレームであり、撮像部１７と表示部１３の垂直同期信号の位相差ｔ＿８がライブビュー開始時の所定の位相差ｔと同じ（ｔ＿８＝ｔ）になるように、１Ｖ期間の長さＶ＿８＝Ｔ＋αに調整される。
The eighth frame is the first frame after the AF process is completed, and the phase difference t_8 between the vertical synchronization signals of the image pickup unit 17 and the
以上のように、ＡＦ処理中では、低輝度被写体が適正な輝度になるように撮像部１７の露光時間を１Ｖ期間の基準値の長さＴより長くした場合にも、ＡＦ処理用の評価値の取得時間が必要以上に延びることがなく、ＡＦ処理時間を短くすることができる。また、ＡＦ処理中以外では、撮像部１７による撮像から、その画像に基づくライブビューが表示されるまでの遅延を短くし、ほぼリアルタイムにライブビュー表示をすることができる。 As described above, during the AF process, even when the exposure time of the image pickup unit 17 is set longer than the length T of the reference value of the 1V period so that the low-luminance subject has an appropriate brightness, the evaluation value for the AF process is obtained. Therefore, the AF processing time can be shortened without unnecessarily increasing the acquisition time of. Further, when the AF process is not being performed, the delay from the image pickup by the image pickup unit 17 to the display of the live view based on the image can be shortened, and the live view display can be performed almost in real time.
本実施形態によれば、ＡＦ処理のように撮像した画像データから生成される評価値に基づく処理にかかる時間とライブビュー表示の遅延を抑えつつ、低輝度環境においても適正な露出のライブビューを表示することができる。 According to the present embodiment, while suppressing the time required for the processing based on the evaluation value generated from the captured image data such as the AF processing and the delay of the live view display, the live view with the proper exposure can be performed even in the low brightness environment. Can be displayed.
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 It should be noted that each of the above-described embodiments is merely an example of an embodiment for carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted by these. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
１０：撮像装置、１１：ＣＰＵ（中央演算装置）、１２：ＲＯＭ、１３：表示部、１４：操作部、１５：ＤＲＡＭ、１６：記録媒体Ｉ／Ｆ、１７：撮像部、１８：画像処理回路、１９：画像圧縮伸張回路、２０：記録媒体、３０：内部バス 10: image pickup device, 11: CPU (central processing unit), 12: ROM, 13: display unit, 14: operation unit, 15: DRAM, 16: recording medium I/F, 17: image pickup unit, 18: image processing circuit , 19: image compression/expansion circuit, 20: recording medium, 30: internal bus
Claims (7)
前記撮像部により出力された画像を基に、前記撮像部の露光時間を決定する露光時間決定部と、
前記露光時間決定部により決定された露光時間が１垂直走査期間の基準値より長い場合には、前記撮像部により出力された画像から所定の評価値を取得する第１の状態であれば、前記撮像部の１垂直走査期間が前記露光時間以上になるように、前記１垂直走査期間の基準値より短い期間の単位で、前記撮像部の１垂直走査期間を設定し、前記撮像部により出力された画像から所定の評価値を取得しない第２の状態であれば、前記撮像部の１垂直走査期間が前記露光時間以上になるように、前記撮像部の１垂直走査期間を前記１垂直走査期間の基準値の整数倍に設定する期間設定部と
を有することを特徴とする撮像装置。 An image pickup unit for picking up an image of each frame according to the exposure time and outputting the picked-up image of each frame one frame at a time in one vertical scanning period;
An exposure time determining unit that determines an exposure time of the image capturing unit based on the image output by the image capturing unit;
If the exposure time determined by the exposure time determination unit is longer than the reference value for one vertical scanning period, and if the first state in which a predetermined evaluation value is acquired from the image output by the imaging unit, One vertical scanning period of the image capturing unit is set in units of a period shorter than the reference value of the one vertical scanning period so that the one vertical scanning period of the image capturing unit is equal to or longer than the exposure time, and is output by the image capturing unit. In the second state in which the predetermined evaluation value is not acquired from the image, the one vertical scanning period of the imaging unit is set to the one vertical scanning period so that the one vertical scanning period of the imaging unit is equal to or longer than the exposure time. And a period setting unit that sets an integer multiple of the reference value of 1.
前記表示用画像生成部は、前記撮像部の垂直同期信号と前記表示部の垂直同期信号との位相差が基準位相差以上である場合には、前記撮像部により出力された画像を基に表示用画像を生成し、前記表示用画像をメモリに書き込み、前記表示用画像の生成前又は生成中に、前記表示用画像を表示部に表示させるために前記表示用画像の前記メモリの読み出しアドレスを更新することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。 Furthermore, when the phase difference between the vertical synchronization signal of the image pickup unit and the vertical synchronization signal of the display unit is less than a reference phase difference, a display image is generated based on the image output by the image pickup unit, A display image generation unit that updates the read address of the display image in the memory in order to display the display image on the display unit after writing the display image in the memory and generating the display image. Then
When the phase difference between the vertical synchronization signal of the image pickup unit and the vertical synchronization signal of the display unit is equal to or larger than a reference phase difference, the display image generation unit displays based on the image output by the image pickup unit. Generating a display image, writing the display image in a memory, and before or during the generation of the display image, a read address of the display image in the memory for displaying the display image on a display unit. The imaging apparatus according to claim 1, wherein the imaging apparatus is updated.
露光時間決定部により、前記撮像部により出力された画像を基に、前記撮像部の露光時間を決定する露光時間決定ステップと、
期間設定部により、前記露光時間決定ステップで決定された露光時間が１垂直走査期間の基準値より長い場合には、前記撮像部により出力された画像から所定の評価値を取得する第１の状態であれば、前記撮像部の１垂直走査期間が前記露光時間以上になるように、前記１垂直走査期間の基準値より短い期間の単位で、前記撮像部の１垂直走査期間を設定し、前記撮像部により出力された画像から所定の評価値を取得しない第２の状態であれば、前記撮像部の１垂直走査期間が前記露光時間以上になるように、前記撮像部の１垂直走査期間を前記１垂直走査期間の基準値の整数倍に設定する期間設定ステップと
を有することを特徴とする撮像装置の制御方法。 A control method for an image pickup apparatus having an image pickup section for picking up an image of each frame according to an exposure time and outputting the picked-up image of each frame one frame at a time in a vertical scanning period,
An exposure time determining step of determining an exposure time of the image capturing section by the exposure time determining section based on the image output by the image capturing section;
When the exposure time determined by the period setting unit in the exposure time determining step is longer than a reference value for one vertical scanning period, a first state in which a predetermined evaluation value is acquired from the image output by the imaging unit If so, one vertical scanning period of the image pickup unit is set in units of a period shorter than a reference value of the one vertical scanning period so that one vertical scan period of the image pickup unit is equal to or longer than the exposure time. In the second state in which the predetermined evaluation value is not acquired from the image output by the image pickup unit, one vertical scan period of the image pickup unit is set so that one vertical scan period of the image pickup unit is equal to or longer than the exposure time. And a period setting step of setting an integral multiple of a reference value of the one vertical scanning period.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016187382A JP6728010B2 (en) | 2016-09-26 | 2016-09-26 | Imaging device and method for controlling imaging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016187382A JP6728010B2 (en) | 2016-09-26 | 2016-09-26 | Imaging device and method for controlling imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018056652A JP2018056652A (en) | 2018-04-05 |
| JP6728010B2 true JP6728010B2 (en) | 2020-07-22 |
Family
ID=61837114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016187382A Active JP6728010B2 (en) | 2016-09-26 | 2016-09-26 | Imaging device and method for controlling imaging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6728010B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824902B (en) * | 2021-09-30 | 2024-06-18 | 杭州海康汽车软件有限公司 | Method, device, system, equipment and medium for determining time delay of infrared camera system |
| CN113973179A (en) * | 2021-10-26 | 2022-01-25 | 成都微光集电科技有限公司 | Method, device, equipment and medium for controlling image output time sequence |
-
2016
- 2016-09-26 JP JP2016187382A patent/JP6728010B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018056652A (en) | 2018-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5439197B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| US7852401B2 (en) | Photographing apparatus and photographing method for exposure control during continuous photographing mode | |
| JP5950678B2 (en) | Imaging apparatus, control method, and program | |
| KR101329942B1 (en) | Image capturing apparatus and method for controlling the same | |
| JP6116299B2 (en) | Imaging apparatus and control method thereof | |
| JP5002931B2 (en) | Imaging apparatus and program thereof | |
| JP2010062802A (en) | Imaging apparatus, imaging method, and computer readable recording medium storing program for executing the method | |
| JP2009284136A (en) | Electronic camera | |
| JP6728010B2 (en) | Imaging device and method for controlling imaging device | |
| JP6118118B2 (en) | Imaging apparatus and control method thereof | |
| JP2007189295A (en) | Imaging apparatus and program thereof | |
| JP5780885B2 (en) | Imaging device, control method thereof, and control program | |
| US8610792B2 (en) | Imaging apparatus and imaging method | |
| JP6278729B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP2018006828A (en) | Imaging apparatus, control method therefor and program | |
| US11356603B2 (en) | Image capturing apparatus and control method therefor | |
| US11356611B2 (en) | Image capture apparatus and control method thereof | |
| JP7319873B2 (en) | Imaging device and its control method | |
| US11283992B2 (en) | Image capturing apparatus that captures image for display and method of controlling image capturing apparatus | |
| JP6486132B2 (en) | Imaging apparatus, control method therefor, and program | |
| JP6800693B2 (en) | Imaging device and driving method of imaging device | |
| JP6470594B2 (en) | Imaging device, control method thereof, and program | |
| JP6012333B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2009188644A (en) | Imaging device | |
| JP2015230448A (en) | Imaging device, control method therefor, and control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190920 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200701 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6728010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |