JP2013009039A - Imaging device and control method therefor - Google Patents
Imaging device and control method therefor Download PDFInfo
- Publication number
- JP2013009039A JP2013009039A JP2011138636A JP2011138636A JP2013009039A JP 2013009039 A JP2013009039 A JP 2013009039A JP 2011138636 A JP2011138636 A JP 2011138636A JP 2011138636 A JP2011138636 A JP 2011138636A JP 2013009039 A JP2013009039 A JP 2013009039A
- Authority
- JP
- Japan
- Prior art keywords
- image
- zoom
- motion vector
- unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Lens Barrels (AREA)
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、2つの画像から動きベクトルを検出する撮像装置及びその制御方法に関するものである。 The present invention relates to an imaging apparatus that detects a motion vector from two images and a control method thereof.
撮像装置を用いて被写体を撮影するときに、撮像装置を三脚などに固定せずに、例えば手持ちしたり、走行中の自動車内から撮影したりすると、手の振れが装置に加わり撮像画面にブレが生じる。従来、その撮像画面のブレを補正するために、下記の特許文献1に挙げられるように、撮像装置本体の動きを検出するセンサと画像の動きを検出する手段を有し、それぞれの検出された動き量を基に、ブレを補正するようにレンズを動かす方法が提案されている。
When shooting a subject using an imaging device, if the imaging device is not fixed to a tripod or the like, for example, if it is held by hand or taken from inside a running car, hand shake will be added to the device and blurring will occur on the imaging screen. Occurs. Conventionally, in order to correct the blur of the imaging screen, as disclosed in
しかしながら、上述の特許文献1に開示された従来技術では、ズーム駆動中のような画角が変化している時に動きベクトルからブレ量を算出するのは困難である。
図9は、画角変化中の動きベクトルの一例を表した模式図である。ここで、カメラ本体の揺れや、被写体の動きはないものとして説明する。
However, with the conventional technique disclosed in
FIG. 9 is a schematic diagram illustrating an example of a motion vector during a change in the angle of view. Here, it is assumed that there is no camera body shaking or subject movement.
画像901はズーム前、画像902はズーム後、そして、画像903は画像901と画像902の動きベクトルをそれぞれ表す。画角が変化すると、画像中の特徴点の場所が全体的に変化し、かつ背景の変化が大きい。そのため、動きベクトルの向きや大きさは一定にはならず、ここからさらにカメラの揺れが加わったとしてもその向き及び大きさを算出することは非常に難しい。
An
本発明は、このような問題点に鑑みてなされたものであり、より精度の高い動きベクトルの取得を実現し、ズーム駆動中でも正確にブレ量の算出を行える撮像装置及びその制御方法を提供することを目的とする。 The present invention has been made in view of such problems, and provides an imaging apparatus that can obtain a motion vector with higher accuracy and can accurately calculate a blur amount even during zoom driving, and a control method thereof. For the purpose.
本発明の撮像装置は、変倍可能なズームレンズを有する撮像光学系と、前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、前記画像信号によって形成される2つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出手段と、前記2つの画像から動きベクトルを検出する動きベクトル検出手段とを有し、前記光学ズーム手段によって前記ズームレンズが駆動中の場合、前記電子ズーム手段は、前記2つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、前記動きベクトル検出手段は、前記電子ズーム手段によって前記2つの画像の画角が合った後に前記動きベクトルを検出する。
また、本発明は、上述した撮像装置の制御方法を含む。
An image pickup apparatus according to the present invention is formed by an image pickup optical system having a zoom lens capable of zooming, an image pickup means for picking up a subject image formed by the image pickup optical system and outputting an image signal, and the image signal. Electronic zoom means for scaling the image by converting the resolution of the image; optical zoom means for driving the zoom lens to change the magnification taken by the imaging means; and two images formed by the image signal When the zoom lens is being driven by the optical zoom unit, the zoom unit has a scaling factor detecting unit for detecting a scaling factor by the optical zoom unit, and a motion vector detecting unit for detecting a motion vector from the two images. The electronic zoom means electronically zooms at least one of the two images in accordance with the magnification, and the angle of view of the two images Combined, the motion vector detecting means detects the motion vector after the angle of view of the two images matched by said electronic zoom means.
The present invention also includes a method for controlling the imaging apparatus described above.
本発明によれば、画像間の画角が変化した場合には電子ズームを用いて画像間の画角変化をなくすことにより、より精度の高い動きベクトルを取得できるため、ズーム駆動中でも正確にブレ量を算出することができる。 According to the present invention, when the angle of view between images changes, it is possible to acquire a more accurate motion vector by eliminating the change of the angle of view between images using electronic zoom. The amount can be calculated.
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。 Hereinafter, embodiments (embodiments) for carrying out the present invention will be described with reference to the drawings.
ズーム駆動中の動きベクトル取得方法の説明に先立ち、本発明の実施形態に係る撮像装置の構成を説明する。
図1は、本実施形態に係る撮像装置の構成例を示す模式図である。
図1に示す撮像装置は、ズームレンズ101、シャッタ・絞りユニット102、シフトレンズ103、フォーカスレンズ104、撮像素子105、撮像信号処理部106、映像信号処理部107、表示部108、ズーム駆動制御部109、シャッタ・絞り駆動制御部110、シフトレンズ駆動制御部111、フォーカス駆動制御部112、動きベクトル検出部113、制御部114、ズームスイッチ115、外部入出力端子部116、シャッタレリーズスイッチ117、記憶部118、及び、電源部119を備える。
Prior to description of a method for acquiring a motion vector during zoom driving, a configuration of an imaging apparatus according to an embodiment of the present invention will be described.
FIG. 1 is a schematic diagram illustrating a configuration example of an imaging apparatus according to the present embodiment.
The imaging apparatus shown in FIG. 1 includes a
本実施形態に示す撮像装置の撮像光学系は、3群構成である。以下、撮像光学系について説明する。
ズームレンズ101は、変倍可能なズーム制御に関与する1群レンズである。また、シフトレンズ103は、ブレ補正を実行する2群レンズである。また、フォーカスレンズ104は、焦点調節処理を実行する3群レンズである。
The imaging optical system of the imaging apparatus shown in this embodiment has a three-group configuration. Hereinafter, the imaging optical system will be described.
The
ズームレンズ101は、光軸方向に沿って位置を変更可能に構成されており、倍率変更(変倍)を行う。ズーム駆動制御部109は、ズームレンズ101を駆動して撮像素子105で撮像する倍率を変更する光学ズーム手段を構成する。ズームレンズ101の後段に配置されているシャッタ・絞りユニット102は、露光量を調節する。シャッタ・絞り駆動制御部110は、シャッタ・絞りユニット102を駆動制御して、露光量の調節、即ち露出調節処理を行う露出調節手段である。
The
シフトレンズ103は、光軸に対して略垂直な平面内での位置を変更することが可能に配置されており、ブレ補正光学系を構成する。シフトレンズ駆動制御部111は、シフトレンズ103を駆動制御する。
The
フォーカスレンズ104は、ピント調整用レンズである。フォーカスレンズ104は、光軸方向に沿って位置を変更可能に構成されている。フォーカス駆動制御部112は、フォーカスレンズ104を駆動制御して、焦点調節処理を実行する焦点調節手段としての機能を有する。
The
撮像素子105は、1群レンズ乃至3群レンズの撮像光学系によって結像した光像(被写体像)を撮像して、撮像した光像を電気信号(画像信号)に変換して出力する。ここで、撮像素子105は、本発明の撮像手段であり、映像信号生成手段に相当する。撮像信号処理部106は、撮像素子105が出力した電気信号を映像信号に変換し、変換した映像信号を画像データとして出力する。映像信号処理部107は、撮像信号処理部106が出力した画像データに対して所定の処理を施して、表示部108に表示可能な画像信号とし、当該画像信号を出力する。上記ズームレンズ101乃至映像信号処理部107は、画像データを撮像する画像撮像手段としての機能を有する。また、撮像信号処理部106から得られる画像データに基づいて、動きベクトル検出部113は、動きベクトルを検出して取得する。
The
制御部114は、本実施形態に係る撮像装置のシステム全体を制御する。具体的には、制御部114は、各々の撮像光学系が備えるズーム駆動制御部109、シャッタ・絞り駆動制御部110、シフトレンズ駆動制御部111、フォーカス駆動制御部112、撮像素子105、撮像信号処理部106、映像信号処理部107、動きベクトル検出部113の処理を制御する。また、制御部114は、表示部108、ズームスイッチ115、外部入出力端子部116、シャッタレリーズスイッチ117、記憶部118、電源部119を制御する。制御部114は、不図示のCPU(Central Processing Unit)等により解釈及び実行されるプログラムに従って処理を実行する。また、例えば、制御部114は、画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段を構成する。また、例えば、制御部114は、画像信号によって形成される2つの画像の光学ズーム手段(ズーム駆動制御部109)による変倍率を検出する変倍率検出手段を構成する。
The
本実施形態に特有の動作として、制御部114は、後述する動きベクトル検出部113によって検出された動きベクトルに基づいて、ブレ量を補正すべくシフトレンズ駆動制御部111に指令を出す。また、制御部114は、表示部108に指示して、映像信号処理部107が出力した画像信号に基づく画像を表示画面上に画面表示させる。表示部108は、撮像光学系毎に画像信号に基づく画像を画面表示する。表示部108は、制御部114の指示に従った画面表示処理を実行する。
As an operation specific to the present embodiment, the
動きベクトル検出部113は、撮像信号処理部106が出力した画像データに基づく2つの画像から動きベクトルを検出して取得し、その情報を制御部114に伝える。動きベクトル検出方法として、本実施形態では、現フィールドの画像と前フィールドの画像とを所定の代表点または画素ごとに比較対照するマッチング法を採用する。具体的には、前フィールドの画像を現フィールドの画像に対して画面内で水平及び垂直にシフトさせて突き合わせ、両者が最も一致するシフト量及び方向を持って動きベクトルとする。
The motion
ズームスイッチ115は、ズームレンズ101を操作する操作手段である。ズームスイッチ115は、ユーザの操作入力に応じて、操作信号を入力し、入力した操作信号を制御部114に送信する。
The
外部入出力端子部116は、不図示の外部装置との間の通信を媒介する。具体的には、外部入出力端子部116には、映像信号及び音声信号が入力される。また、映像信号及び音声信号が外部入出力端子部116から出力される。
The external input /
シャッタレリーズスイッチ117は、押し込み量に応じて、第1スイッチ(以下、「SW1」と記述)及び第2スイッチ(以下、「SW2」と記述)が順にオン状態となるように構成されている。具体的には、ユーザがシャッタレリーズスイッチ117を約半分押し込んだ場合に、SW1がオン状態となる。そして、ユーザが、更に、シャッタレリーズスイッチ117を最後まで深く押し込んだ場合に、SW2がオン状態となる。そして、SW1、SW2がオン状態となったことを示す信号が制御部114に送信される。
The
記憶部118には、撮像信号処理部106が出力した画像データ、映像信号処理部107が出力した画像信号等が記憶される。なお、記憶部118には、制御部114によって解釈されて実行される、本実施形態に係る撮像装置の制御プログラム(コンピュータプログラム)を記憶するためのメモリ装置も含まれる。
The
電源部119は、図1に示す撮像装置の各構成部に対して、電源電圧を供給する。
The
本実施形態の撮像装置の制御方法は、図1に示す撮像装置が備える各構成部によって実現される。また、図1に示す撮像装置の機能は、CPUとその上で実行されるコンピュータプログラムにより実現される。このコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に格納することができ、この記録媒体に記録して提供され、または、通信インタフェースを介してネットワークを利用した送受信により提供される。 The control method of the imaging apparatus of this embodiment is implement | achieved by each structure part with which the imaging apparatus shown in FIG. The functions of the imaging apparatus shown in FIG. 1 are realized by a CPU and a computer program executed on the CPU. The computer program can be stored in a computer-readable recording medium, provided by being recorded on the recording medium, or provided by transmission / reception using a network via a communication interface.
次に、図1に示す撮像装置による、自動焦点調節(AF)処理、自動露出(AE)処理、及び、ズーム駆動制御処理について説明する。
上述したように、シャッタレリーズスイッチ117の押し込み量に応じて、SW1及びSW2が順にオン状態となる。シャッタレリーズスイッチ117のSW1がオン状態となったことを示す信号が制御部114に入力されると、制御部114が、フォーカス駆動制御部112に指示して、制御部114が決定した指標を対象としてAF処理を実行させる。制御部114から指示を受けたフォーカス駆動制御部112は、フォーカスレンズ104を駆動することによって、上記指標を対象としたAF処理を実行する。また、制御部114が、シャッタ・絞り駆動制御部110に指示して、制御部114が決定した指標を対象として、AE処理を実行させる。具体的には、シャッタ・絞り駆動制御部110が、シャッタ・絞りユニット102を駆動して、露光量を適正な値に設定する。
Next, automatic focus adjustment (AF) processing, automatic exposure (AE) processing, and zoom drive control processing by the imaging apparatus shown in FIG. 1 will be described.
As described above, SW1 and SW2 are sequentially turned on in accordance with the pressing amount of the
SW2がオン状態となり、SW2がオン状態となったことを示す信号が制御部114に入力されると、制御部114が、撮像素子105に指示して、撮像素子105が受光した光像を電気信号に変換させる。そして、撮像信号処理部106が、前記電気信号に基づいて画像データを出力する。そして、映像信号処理部107が、撮像信号処理部106から得られる画像データに基づいて、表示部108に表示する画像信号を出力する。制御部114は、撮像信号処理部106が出力した画像データ、映像信号処理部107が出力した画像信号を記憶部118に記憶する。
When SW2 is turned on and a signal indicating that SW2 is turned on is input to the
ユーザがズームスイッチ115を操作すると、その操作信号が制御部114に入力され、制御部114が、ズーム駆動制御部109に指示を与える。ズーム駆動制御部109は、制御部114によって指示されたズーム位置へズームレンズ101を移動させる。これによって、ズーム駆動制御処理が実行される。
When the user operates the
図2は、図1に示すズーム駆動制御部109の内部構成例を示す模式図である。
ズームモータ201は、DC(直流)モータ等で構成され、ズームレンズ101を移動させることでズーム動作を行う。ズームモータ駆動回路202は、ズームモータ201を駆動させるアナログ回路であり、ズームモータ201とともにズームレンズ駆動手段を構成する。リセット位置検出部203は、ズームレンズ101のリセット位置を検出するために設けられた位置検出手段である。
FIG. 2 is a schematic diagram illustrating an internal configuration example of the zoom
The
また、ズーム駆動制御部109の内部には、ズーム速度検出及びズーム位置検出を行うためにズームモータ201に接続されたエンコーダ204が設けられ、その出力信号はズーム位置検出部205及びズーム速度検出部206に送られる。ズーム位置検出部205は、エンコーダ204から得られたパルス情報に基づいてズーム位置、つまりズームレンズ101の位置を求めて検出する。また、ズーム速度検出部206は、エンコーダ204から得られたパルス情報に基づいてズーム速度、つまりズームレンズ101の動作速度を求めて検出する。
In addition, an
ズーム制御部207は、ズーム位置検出部205の出力信号に応じてズーム移動量の制御を行い、ズームモータ駆動回路202を介して、ズームモータ201を回転させ、ズームレンズ101を駆動する。またズーム制御部207は、リセット位置検出部203の出力信号に基づいてズームレンズ101の駆動制御に係る基準位置を判定する。
The
以下、本発明の実施例1による電子ズームを利用した動きベクトルの検出方法について説明する。
図4は、実施例1を示し、ズーム駆動時に画角変化後の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。その後、ブレ補正処理が行われる。
Hereinafter, a motion vector detection method using electronic zoom according to the first embodiment of the present invention will be described.
FIG. 4 is a schematic diagram illustrating an example of a method for detecting a motion vector by electronically zooming an image before changing the angle of view so as to match the angle of view after changing the angle of view during zoom driving. Thereafter, blur correction processing is performed.
画像401、画像402、画像403、及び、画像404は、ズーム駆動により画角が広角側から望遠側に変化していったときの画像である。画像401は最も広角側(Wide)、画像404は最も望遠側(Tele)で撮った画像とする。
An
画像401、画像402、画像403、及び、画像404は、動きベクトルを検出するタイミングにより、本来ならば画像401と画像402、画像402と画像403、画像403と画像404それぞれの画像間で動きベクトルを検出する。実施例1では、フレームレート毎にズームポイント(Wide、Middle1、Middle2、Tele)までズームし、それぞれの画像で動きベクトルを検出するものとする。ただし、このタイミングは、フレームレートに限るものではなく、画角変化量などによって変化させても良い。
The
画像405は、画像401と画像402との間での画角変化量と同じ倍率で、画像401を電子ズームした画像である。同様に、画像406は、画像402と画像403との間での画角変化量と同じ倍率で、画像402を電子ズームした画像である。また、画像407は、画像403と画像404との間での画角変化量と同じ倍率で、画像403を電子ズームした画像である。ここで、画像間の画角変化量は、ズーム速度検出部206から算出する。ズームレンズ101の動いている速度が分かれば、次のフレームでの画角が算出できるためである。
An
ここで、画像401と画像402から動きベクトルを検出しようとすると、前述の通り画角変化のために、正確にブレ量を算出することができない。そこで、画角変化による影響が生じないように、動きベクトル検出部113は、画像405と画像402とから動きベクトルを検出して取得する。また、その次も、動きベクトル検出部113は、画像402の代わりに画像406と画像403とから、画像403の代わりに画像407と画像404とから、それぞれ、動きベクトルを検出して取得する。
Here, if a motion vector is to be detected from the
即ち、本実施例では、光学ズーム手段(ズーム駆動制御部109)によってズームレンズ101が駆動中の場合、電子ズーム手段(制御部114)は、2つの画像のうちの一方を当該2つの画像の変倍率に応じて電子ズームを行って当該2つの画像の画角を合わる。そして、動きベクトル検出部113は、当該2つの画像の画角が合った後に動きベクトルを検出する。
That is, in this embodiment, when the
図5は、実施例1に係る撮像装置の全体動作処理の処理手順の一例を示すフローチャートであり、ブレ補正を行う処理を含む。当該ブレ補正の処理の一例については図3に示す。なお図中の「YES」は肯定的な判断結果を示し、「NO」は否定的な判断結果を示す。 FIG. 5 is a flowchart illustrating an example of a processing procedure of overall operation processing of the imaging apparatus according to the first embodiment, which includes processing for performing blur correction. An example of the blur correction process is shown in FIG. In the figure, “YES” indicates a positive determination result, and “NO” indicates a negative determination result.
まず、ステップS501において、図1に示す撮像装置の制御部114は、ユーザの操作入力に従って撮影モードが設定されたことを確認し、撮像素子105の駆動を開始する。
First, in step S501, the
続いて、ステップS502において、例えば制御部114は、ブレ補正処理を行う。ブレ補正処理の方法については後述する。
Subsequently, in step S502, for example, the
続いて、ステップS503において、制御部114は、シャッタレリーズスイッチ117のSW1がオン状態になったか否かを判断する。ステップS503の判断の結果、シャッタレリーズスイッチ117のSW1がオン状態でない、即ち、オフ状態である場合には、ステップS502に戻り、ブレ補正処理を続ける。
Subsequently, in step S503, the
一方、ステップS503の判断の結果、シャッタレリーズスイッチ117のSW1がオン状態である場合には、ステップS504に進む。
ステップS504に進むと、例えばフォーカス駆動制御部112及びシャッタ・絞り駆動制御部110は、制御部114による制御に基づいて、AE処理やAF処理等の撮影準備を行う。
On the other hand, if the result of determination in step S503 is that SW1 of the
In step S504, for example, the focus
続いて、ステップS505において、例えば制御部114は、再度、ブレ補正処理を行う。
Subsequently, in step S505, for example, the
続いて、ステップS506において、制御部114は、シャッタレリーズスイッチ117のSW2がオン状態になったか否かを判断する。ステップS506の判断の結果、シャッタレリーズスイッチ117のSW2がオン状態でない、即ち、オフ状態である場合には、ステップS503に戻り、SW1がON状態であるか否かを判断する。
Subsequently, in step S506, the
一方、ステップS506の判断の結果、シャッタレリーズスイッチ117のSW2がオン状態である場合には、ステップS507に進む。
ステップS507に進むと、例えば制御部114は、動画の撮影を制御し、動画の記録を開始する。
On the other hand, if the result of determination in step S506 is that SW2 of the
In step S507, for example, the
続いて、動画の撮影中も、ステップS508において、例えば制御部114は、ブレ補正処理を行う。
Subsequently, even during moving image shooting, in step S508, for example, the
続いて、ステップS509において、制御部114は、再び、シャッタレリーズスイッチ117のSW2が押されて、シャッタレリーズスイッチ117のSW2がオン状態であるか否かを判断する。ステップS509の判断の結果、シャッタレリーズスイッチ117のSW2が離されて、シャッタレリーズスイッチ117のSW2がオン状態でない、即ち、オフ状態である場合には、ステップS508に戻り、再度、ブレ補正を行う。
Subsequently, in step S509, the
一方、ステップS509の判断の結果、再び、シャッタレリーズスイッチ117のSW2が押されて、シャッタレリーズスイッチ117のSW2がオン状態である場合には、ステップS510に進む。
ステップS510に進むと、例えば制御部114は、動画の記録を止め、撮影を終了する制御を行う。その後、図5のフローチャートの処理を終了する。
On the other hand, if the result of determination in step S509 is that the SW2 of the
In step S510, for example, the
次に、図3を用いて、ブレ補正処理について説明する。
図3は、実施例1におけるブレ補正処理の処理手順の一例を示すフローチャートである。図3は、望遠側の画像はそのままで広角側の画像を電子ズームし、動きベクトルを検出する方法を例示したフローチャートである。なお、図中の「YES」は肯定的な判断結果を示し、「NO」は否定的な判断結果を示す。
Next, the blur correction process will be described with reference to FIG.
FIG. 3 is a flowchart illustrating an example of a processing procedure of blur correction processing according to the first embodiment. FIG. 3 is a flowchart illustrating a method of detecting a motion vector by electronically zooming the wide-angle image while keeping the telephoto image. In the figure, “YES” indicates a positive determination result, and “NO” indicates a negative determination result.
ブレ補正処理が開始されると、ステップS301において、制御部114は、映像信号処理部107から画像nを取得する。
When the shake correction process is started, the
続いて、ステップS302において、例えばズーム制御部207は、ズームモータ201(ズームレンズ101)が駆動中であるか否かを判断する。
Subsequently, in step S302, for example, the
ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中である場合には、ステップS303に進む。
ステップS303に進むと、ズーム速度検出部206は、エンコーダ204を介したズームモータ201の速度の検知から、ズームレンズ101の速度を検出して取得する。
If the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is being driven, processing proceeds to step S303.
In step S <b> 303, the zoom
続いて、ステップS304において、制御部114は、まず、ステップS303で取得されたズームレンズ101の速度から、連続する2つの画像である画像nと次フレームの画像との画角変化量を算出する。次いで、制御部114は、算出した画角変化量に基づいて、画像nの画角と画角変化後の次フレームの画像の画角とが合うような電子ズームの倍率(変倍率)を決定する。
Subsequently, in step S304, the
続いて、ステップS305において、制御部114は、ステップS301で取得した画像nをステップS304で決定した倍率で電子ズームした画像を画像Nとして記憶部118に記憶する。なお、この時、制御部114は、表示部108に、電子ズームする前の画像を表示させる。
Subsequently, in step S305, the
一方、ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中でない場合には、ステップS306に進む。
ステップS306に進むと、制御部114は、ステップS301で取得した画像nをそのまま画像Nとして記憶部118に記憶する。
On the other hand, if the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is not being driven, processing proceeds to step S306.
In step S306, the
ステップS305の処理が終了した場合、或いは、ステップS306の処理が終了した場合には、ステップS307に進む。
ステップS307に進むと、制御部114は、次フレームの画像である画像n+1を取得する。
When the process of step S305 is completed, or when the process of step S306 is completed, the process proceeds to step S307.
In step S307, the
続いて、ステップS308に進むと、制御部114は、ステップS307で取得した画像n+1を画像N+1として記憶部118に記憶する。
Subsequently, in step S308, the
続いて、ステップS309において、動きベクトル検出部113は、記憶部118に記憶されている画像Nと画像N+1の動きベクトルを検出する。
Subsequently, in step S309, the motion
続いて、ステップS310において、例えば制御部114は、ステップS309で検出された動きベクトルに基づいて、ブレ量を算出する。
Subsequently, in step S310, for example, the
続いて、ステップS311において、制御部114は、ステップS310で算出されたブレ量に基づいて、シフトレンズ駆動制御部111に指令を出してシフトレンズ103を駆動させ、ブレ補正を行う。その後、図3に示すブレ補正処理を終了する。
Subsequently, in step S311, the
上述した実施例1では、次フレームの画像の画角に合うように電子ズームの倍率を決定する方法について説明したが、常に望遠側の画像の画角に合うように電子ズームの倍率を決定しても良い。即ち、本実施例では、最も望遠側の画像の倍率を基準の倍率とし、撮影時の画像による倍率との比較による変倍率により、電子ズームの倍率を決定しても良い。 In the first embodiment described above, the method for determining the magnification of the electronic zoom to match the angle of view of the image of the next frame has been described. However, the magnification of the electronic zoom is always determined to match the angle of view of the image on the telephoto side. May be. In other words, in the present embodiment, the magnification of the image on the most telephoto side may be set as a reference magnification, and the magnification of the electronic zoom may be determined based on the magnification by comparison with the magnification of the image at the time of shooting.
図6は、実施例2を示し、ズーム駆動時には常に望遠側の画像の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。ここで、図6において、図4と同じ構成には同じ符号を付けている。 FIG. 6 is a schematic diagram illustrating an example of a method for detecting a motion vector by electronically zooming an image before changing the angle of view so that the angle of view of the image on the telephoto side always matches the angle of view of the image on the telephoto side. . Here, in FIG. 6, the same components as those in FIG.
画像401、画像402、画像403、及び、画像404は、ズーム駆動により画角が広角側から望遠側に変化していったときの画像である。画像401は最も広角側(Wide)、画像404は最も望遠側(Tele)で撮った画像とする。
An
画像601は、画像401と画像404との間での画角変化量と同じ倍率で、画像401を電子ズームした画像である。同様に、画像602は、画像402と画像404との間での画角変化量と同じ倍率で、画像402を電子ズームした画像である。また、画像603は、画像403と画像404との間での画角変化量と同じ倍率で、画像603を電子ズームした画像である。
An
ここでは、画角変化による影響が生じないように、動きベクトル検出部113は、画像401及び画像402の代わりに、画像601と画像602とから動きベクトルを検出して取得する。また、その次も、動きベクトル検出部113は、画像402及び画像403の代わりに、画像602と画像603とから、画像403の代わりに画像603と画像404とから、それぞれ、動きベクトルを検出して取得する。
Here, the motion
即ち、本実施例では、光学ズーム手段(ズーム駆動制御部109)によってズームレンズ101が駆動中の場合、電子ズーム手段(制御部114)は、2つの画像のうちの少なくともいずれか一方を当該2つの画像の変倍率に応じて電子ズームを行って当該2つの画像の画角を合わる。そして、動きベクトル検出部113は、当該2つの画像の画角が合った後に動きベクトルを検出する。
That is, in this embodiment, when the
次に、図7を用いて、ブレ補正処理について説明する。
図7は、実施例2におけるブレ補正処理の処理手順の一例を示すフローチャートである。図7は、常に最も望遠側の画像の画角と同じ画角になるように各画像を電子ズームし、動きベクトルを検出する方法を例示したフローチャートである。また、図7において、実施例1で説明した、図3のフローチャートと同じ処理ステップには同じステップ番号を付している。
Next, the blur correction process will be described with reference to FIG.
FIG. 7 is a flowchart illustrating an example of a processing procedure of blur correction processing according to the second embodiment. FIG. 7 is a flowchart illustrating a method for detecting a motion vector by electronically zooming each image so that the angle of view is always the same as the angle of view of the most telephoto image. In FIG. 7, the same step numbers are assigned to the same processing steps as those in the flowchart of FIG. 3 described in the first embodiment.
ブレ補正処理が開始されると、ステップS301において、制御部114は、映像信号処理部107から画像nを取得する。
When the shake correction process is started, the
続いて、ステップS701において、ズーム位置検出部205は、エンコーダ204を介したズームモータ201の位置の検知から、ズームレンズ101の位置を検出して取得する。
Subsequently, in step S <b> 701, the zoom
続いて、ステップS702において、制御部114は、まず、ステップS701で取得されたズームレンズ101のズーム位置から、ステップS301で取得された画像nの画角を算出する。次いで、制御部114は、ズームレンズ101が最も望遠側にある場合の画像の画角と画像nの画角とが合うような電子ズームの倍率(変倍率)を決定する。
Subsequently, in step S702, the
続いて、ステップS305において、制御部114は、ステップS301で取得した画像nをステップS702で決定した倍率で電子ズームした画像を画像Nとして記憶部118に記憶する。なお、この時、制御部114は、表示部108に、電子ズームする前の画像を表示させる。
Subsequently, in step S305, the
続いて、ステップS307において、制御部114は、次フレームの画像である画像n+1を取得する。
Subsequently, in step S307, the
続いて、ステップS703において、ズーム位置検出部205は、エンコーダ204を介したズームモータ201の位置の検知から、ズームレンズ101の位置を検出して取得する。
Subsequently, in step S <b> 703, the zoom
続いて、ステップS704において、制御部114は、まず、ステップS703で取得されたズームレンズ101のズーム位置から、ステップS307で取得された画像n+1の画角を算出する。次いで、制御部114は、ズームレンズ101が最も望遠側にある場合の画像の画角と画像n+1の画角とが合うような電子ズームの倍率(変倍率)を決定する。
Subsequently, in step S704, the
続いて、ステップS705において、制御部114は、ステップS307で取得した画像n+1をステップS704で決定した倍率で電子ズームした画像を画像N+1として記憶部118に記憶する。なお、この時も、制御部114は、表示部108に、電子ズームする前の画像を表示させる。
Subsequently, in step S705, the
続いて、ステップS309において、動きベクトル検出部113は、記憶部118に記憶されている画像Nと画像N+1の動きベクトルを検出する。
Subsequently, in step S309, the motion
続いて、ステップS310において、例えば制御部114は、ステップS309で検出された動きベクトルに基づいて、ブレ量を算出する。
Subsequently, in step S310, for example, the
続いて、ステップS311において、制御部114は、ステップS310で算出されたブレ量に基づいて、シフトレンズ駆動制御部111に指令を出してシフトレンズ103を駆動させ、ブレ補正を行う。その後、図7に示すブレ補正処理を終了する。
Subsequently, in step S311, the
上述した実施例1では、画角変化中でも動きベクトルを取得し、その情報に基づいてブレ補正処理を行う方法について説明したが、動きベクトルの情報は、他の機能に使用しても良い。 In the first embodiment described above, a method has been described in which a motion vector is acquired even during a change in the angle of view, and a shake correction process is performed based on that information. However, motion vector information may be used for other functions.
図8を用いて、実施例3に係る自動露出処理について説明する。
図8は、実施例3を示し、ズーム駆動時には画角変化後の画角に合うように画角変化前の画像を電子ズームし、動きベクトルを検出して自動露出処理をする方法の一例を示すフローチャートである。なお、図中の「YES」は肯定的な判断結果を示し、「NO」は否定的な判断結果を示す。また、図8において、実施例1で説明した、図3のフローチャートと同じ処理ステップには同じステップ番号を付している。
The automatic exposure process according to the third embodiment will be described with reference to FIG.
FIG. 8 shows a third embodiment, and an example of a method for performing automatic exposure processing by electronically zooming an image before changing the angle of view so as to match the angle of view after changing the angle of view during zoom driving, and detecting a motion vector. It is a flowchart to show. In the figure, “YES” indicates a positive determination result, and “NO” indicates a negative determination result. Further, in FIG. 8, the same step numbers are assigned to the same processing steps as those in the flowchart of FIG.
まず、ステップS801において、制御部114は、ユーザの操作入力に従って撮影モードが設定されたことを確認し、撮像素子105の駆動を開始する。
First, in step S <b> 801, the
続いて、ステップS301において、制御部114は、映像信号処理部107から画像nを取得する。
Subsequently, in step S <b> 301, the
続いて、ステップS302において、例えばズーム制御部207は、ズームモータ201(ズームレンズ101)が駆動中であるか否かを判断する。
Subsequently, in step S302, for example, the
ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中である場合には、ステップS303に進む。
ステップS303に進むと、ズーム速度検出部206は、エンコーダ204を介したズームモータ201の速度の検知から、ズームレンズ101の速度を検出して取得する。
If the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is being driven, processing proceeds to step S303.
In step S <b> 303, the zoom
続いて、ステップS304において、制御部114は、まず、ステップS303で取得されたズームレンズ101の速度から、連続する2つの画像である画像nと次フレームの画像との画角変化量を算出する。次いで、制御部114は、算出した画角変化量に基づいて、画像nの画角と画角変化後の次フレームの画像の画角とが合うような電子ズームの倍率を決定する。
Subsequently, in step S304, the
続いて、ステップS305において、制御部114は、ステップS301で取得した画像nをステップS304で決定した倍率で電子ズームした画像を画像Nとして記憶部118に記憶する。なお、この時、制御部114は、表示部108に、電子ズームする前の画像を表示させる。
Subsequently, in step S305, the
一方、ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中でない場合には、ステップS306に進む。
ステップS306に進むと、制御部114は、ステップS301で取得した画像nをそのまま画像Nとして記憶部118に記憶する。
On the other hand, if the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is not being driven, processing proceeds to step S306.
In step S306, the
ステップS305の処理が終了した場合、或いは、ステップS306の処理が終了した場合には、ステップS307に進む。
ステップS307に進むと、制御部114は、次フレームの画像である画像n+1を取得する。
When the process of step S305 is completed, or when the process of step S306 is completed, the process proceeds to step S307.
In step S307, the
続いて、ステップS308に進むと、制御部114は、ステップS307で取得した画像n+1を画像N+1として記憶部118に記憶する。
Subsequently, in step S308, the
続いて、ステップS309において、動きベクトル検出部113は、記憶部118に記憶されている画像Nと画像N+1の動きベクトルを検出する。
Subsequently, in step S309, the motion
続いて、ステップS802において、例えば制御部114は、ステップS309で検出された動きベクトルに基づいて、適正露光量を算出する。
Subsequently, in step S802, for example, the
続いて、ステップS803において、制御部114は、ステップS802で算出された適正露光量に基づいて、ブレ量を算出し、当該ブレ量に応じてシャッタ・絞り駆動制御部110に指令を出してシャッタ・絞りユニット102を駆動させ、絞り駆動等を行う。その後、図8に示す自動露出処理を終了する。
Subsequently, in step S803, the
本実施例では、シャッタ・絞り駆動制御部110は、動きベクトルに応じて絞り量を変更して絞りを駆動する絞り駆動制御手段を構成しているが、その他の態様も適用可能である。例えば、シャッタ・絞り駆動制御部110は、動きベクトルに応じてシャッタ速度を変更してシャッタを駆動するシャッタ駆動制御手段を構成してもよい。
In this embodiment, the shutter / aperture
(その他の実施例)
上述した本発明の各実施例では、ズームレンズ101が駆動中の場合、2つの画像のうちの少なくともいずれか一方を当該2つの画像の変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、その後、動きベクトルを検出するようにしている。
しかしながら、以下の態様も本発明に適用可能である。
まず、制御部114において、電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を構成する。そして、2つの画像の変倍率が動きベクトルの検出精度に影響を与えないものである場合には、前記電子ズーム切り替え手段は、電子ズームの使用を行わないようにする態様も適用可能である。ここで、「2つの画像の変倍率が動きベクトルの検出精度に影響を与えないものである場合」とは、例えば、変倍率が所定の値以下である場合等が考えられる。
(Other examples)
In each of the embodiments of the present invention described above, when the
However, the following aspects are also applicable to the present invention.
First, the
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
The present invention can also be realized by executing the following processing.
That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
This program and a computer-readable recording medium storing the program are included in the present invention.
なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 Note that the above-described embodiments of the present invention are merely examples of implementation in practicing the present invention, and the technical scope of the present invention should not be construed as being limited thereto. It is. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.
101 ズームレンズ、102 シャッタ・絞りユニット、103 シフトレンズ、104 フォーカスレンズ、105 撮像素子、106 撮像信号処理部、107 映像信号処理部、108 表示部、109 ズーム駆動制御部、110 シャッタ・絞り駆動制御部、111 シフトレンズ駆動制御部、112 フォーカス駆動制御部、113 動きベクトル検出部、114 制御部、115 ズームスイッチ、116 外部入出力端子部、117 シャッタレリーズスイッチ、118 記憶部、119 電源部
DESCRIPTION OF
Claims (11)
前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、
前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、
前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、
前記画像信号によって形成される2つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出手段と、
前記2つの画像から動きベクトルを検出する動きベクトル検出手段と
を有し、
前記光学ズーム手段によって前記ズームレンズが駆動中の場合、
前記電子ズーム手段は、前記2つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、
前記動きベクトル検出手段は、前記電子ズーム手段によって前記2つの画像の画角が合った後に前記動きベクトルを検出することを特徴とする撮像装置。 An imaging optical system having a zoom lens capable of zooming;
An image pickup means for picking up a subject image formed by the image pickup optical system and outputting an image signal;
Electronic zoom means for scaling the image by converting the resolution of the image formed by the image signal;
An optical zoom means for driving the zoom lens to change a magnification for imaging by the imaging means;
A scaling factor detecting unit for detecting a scaling factor by the optical zoom unit of the two images formed by the image signal;
Motion vector detecting means for detecting a motion vector from the two images,
When the zoom lens is being driven by the optical zoom means,
The electronic zoom means electronically zooms at least one of the two images in accordance with the magnification, and adjusts the angle of view of the two images.
The image pickup apparatus, wherein the motion vector detection means detects the motion vector after the angle of view of the two images is matched by the electronic zoom means.
前記変倍率が前記動きベクトルの検出精度に影響を与えないものである場合に、前記電子ズーム切り替え手段は、前記電子ズームの使用を行わないようにすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 Electronic zoom switching means that can switch whether or not the electronic zoom is used;
4. The electronic zoom switching unit according to claim 1, wherein the electronic zoom switching unit does not use the electronic zoom when the scaling factor does not affect the detection accuracy of the motion vector. The imaging device according to any one of the above.
前記変倍率が所定の値以下である場合に、前記電子ズーム切り替え手段は、前記電子ズームの使用を行わないようにすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。 Electronic zoom switching means that can switch whether or not the electronic zoom is used;
The imaging according to any one of claims 1 to 3, wherein the electronic zoom switching unit does not use the electronic zoom when the variable magnification is equal to or less than a predetermined value. apparatus.
前記画像信号によって形成される2つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出ステップと、
前記2つの画像から動きベクトルを検出する動きベクトル検出ステップと
を有し、
前記光学ズーム手段によって前記ズームレンズが駆動中の場合、
前記電子ズーム手段は、前記2つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、
前記動きベクトル検出ステップは、前記電子ズーム手段によって前記2つの画像の画角が合った後に前記動きベクトルを検出することを特徴とする撮像装置の制御方法。 An image pickup optical system having a zoom lens capable of zooming, an image pickup means for picking up a subject image formed by the image pickup optical system and outputting an image signal, and converting the resolution of the image formed by the image signal An image pickup apparatus control method comprising: an electronic zoom unit that scales the image; and an optical zoom unit that drives the zoom lens and changes a magnification that is captured by the image capturing unit.
A scaling factor detecting step of detecting a scaling factor by the optical zoom means of the two images formed by the image signal;
A motion vector detection step of detecting a motion vector from the two images,
When the zoom lens is being driven by the optical zoom means,
The electronic zoom means electronically zooms at least one of the two images in accordance with the magnification, and adjusts the angle of view of the two images.
The method of controlling an imaging apparatus, wherein the motion vector detection step detects the motion vector after the angle of view of the two images is matched by the electronic zoom means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138636A JP2013009039A (en) | 2011-06-22 | 2011-06-22 | Imaging device and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011138636A JP2013009039A (en) | 2011-06-22 | 2011-06-22 | Imaging device and control method therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013009039A true JP2013009039A (en) | 2013-01-10 |
Family
ID=47676060
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011138636A Withdrawn JP2013009039A (en) | 2011-06-22 | 2011-06-22 | Imaging device and control method therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013009039A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015082060A (en) * | 2013-10-24 | 2015-04-27 | キヤノン株式会社 | Image shake correction device and control method of the same, optical device and imaging device |
JP2015106148A (en) * | 2013-12-03 | 2015-06-08 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP7277994B1 (en) | 2021-12-24 | 2023-05-19 | ユーピーアール株式会社 | Luggage condition detection device and luggage condition detection method |
-
2011
- 2011-06-22 JP JP2011138636A patent/JP2013009039A/en not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015082060A (en) * | 2013-10-24 | 2015-04-27 | キヤノン株式会社 | Image shake correction device and control method of the same, optical device and imaging device |
JP2015106148A (en) * | 2013-12-03 | 2015-06-08 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP7277994B1 (en) | 2021-12-24 | 2023-05-19 | ユーピーアール株式会社 | Luggage condition detection device and luggage condition detection method |
JP2023094748A (en) * | 2021-12-24 | 2023-07-06 | ユーピーアール株式会社 | Package state detection apparatus and package state detection method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9197817B2 (en) | Image blurring correction apparatus, control method thereof, optical device and imaging apparatus | |
US8724012B2 (en) | Camera body and camera system using driving method information indicating capability of controlling focus lens | |
JP5914886B2 (en) | Imaging device | |
US11223774B2 (en) | Imaging apparatus, lens apparatus, and method for controlling the same | |
JP2010271696A (en) | Interchangeable lens, camera body, and camera system | |
US9241109B2 (en) | Image capturing apparatus, control method, and recording medium for moving image generation | |
JP2015161730A (en) | Image blur correction device, control method thereof, optical device, and imaging apparatus | |
JP2010271697A (en) | Interchangeable lens, camera body, and camera system | |
JP2009300614A (en) | Imaging device | |
JP6643159B2 (en) | Lens device, control device, and control method thereof | |
JP2012078495A (en) | Imaging device, shake correction device, and shake correction method | |
US20120321288A1 (en) | Apparatus and method of adjusting automatic focus | |
JP2012090216A (en) | Imaging device and control method for imaging device | |
JP5886623B2 (en) | Imaging apparatus and control method thereof | |
JP2013009039A (en) | Imaging device and control method therefor | |
JP6300569B2 (en) | Imaging apparatus and control method thereof | |
JP6584259B2 (en) | Image blur correction apparatus, imaging apparatus, and control method | |
JP5744527B2 (en) | Imaging apparatus and control method thereof | |
JP2017134185A (en) | Image blur correction device, imaging apparatus, lens unit, control method of image blur correction device, program, and storage medium | |
JP2010190913A (en) | Imaging device with automatic focus function | |
JP2019219529A (en) | Control device, imaging device, control method, program, and storage medium | |
JP6278798B2 (en) | Imaging apparatus, control method thereof, and program | |
JP2011234310A (en) | Imaging apparatus | |
JP7214424B2 (en) | Imaging device and its control method | |
JP2010166483A (en) | Image capturing apparatus and method of controlling the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |