JP2013009039A - Imaging device and control method therefor - Google Patents

Imaging device and control method therefor Download PDF

Info

Publication number
JP2013009039A
JP2013009039A JP2011138636A JP2011138636A JP2013009039A JP 2013009039 A JP2013009039 A JP 2013009039A JP 2011138636 A JP2011138636 A JP 2011138636A JP 2011138636 A JP2011138636 A JP 2011138636A JP 2013009039 A JP2013009039 A JP 2013009039A
Authority
JP
Japan
Prior art keywords
image
zoom
motion vector
unit
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011138636A
Other languages
Japanese (ja)
Inventor
Hiroko Yamauchi
裕子 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011138636A priority Critical patent/JP2013009039A/en
Publication of JP2013009039A publication Critical patent/JP2013009039A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Lens Barrels (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device and the like that realize acquisition of a more precise motion vector, and enable accurate calculation of a blur amount even during zoom drive.SOLUTION: When a zoom lens 101 is being driven by optical zoom means (a zoom drive control unit 109), electronic zoom means (a control unit 114) electronically zooms at least either one of two images according to magnification rates of the two images by the optical zoom means to match field angles of the two images, and a motion vector detection unit 113 detects a motion vector after the field angles of the two images have been matched by the electronic zoom means.

Description

本発明は、2つの画像から動きベクトルを検出する撮像装置及びその制御方法に関するものである。   The present invention relates to an imaging apparatus that detects a motion vector from two images and a control method thereof.

撮像装置を用いて被写体を撮影するときに、撮像装置を三脚などに固定せずに、例えば手持ちしたり、走行中の自動車内から撮影したりすると、手の振れが装置に加わり撮像画面にブレが生じる。従来、その撮像画面のブレを補正するために、下記の特許文献1に挙げられるように、撮像装置本体の動きを検出するセンサと画像の動きを検出する手段を有し、それぞれの検出された動き量を基に、ブレを補正するようにレンズを動かす方法が提案されている。   When shooting a subject using an imaging device, if the imaging device is not fixed to a tripod or the like, for example, if it is held by hand or taken from inside a running car, hand shake will be added to the device and blurring will occur on the imaging screen. Occurs. Conventionally, in order to correct the blur of the imaging screen, as disclosed in Patent Document 1 below, the sensor has a sensor for detecting the movement of the imaging apparatus body and a means for detecting the movement of the image. There has been proposed a method of moving the lens so as to correct the blur based on the amount of movement.

特開平10−164425号公報Japanese Patent Laid-Open No. 10-164425

しかしながら、上述の特許文献1に開示された従来技術では、ズーム駆動中のような画角が変化している時に動きベクトルからブレ量を算出するのは困難である。
図9は、画角変化中の動きベクトルの一例を表した模式図である。ここで、カメラ本体の揺れや、被写体の動きはないものとして説明する。
However, with the conventional technique disclosed in Patent Document 1 described above, it is difficult to calculate the blur amount from the motion vector when the angle of view changes during zoom driving.
FIG. 9 is a schematic diagram illustrating an example of a motion vector during a change in the angle of view. Here, it is assumed that there is no camera body shaking or subject movement.

画像901はズーム前、画像902はズーム後、そして、画像903は画像901と画像902の動きベクトルをそれぞれ表す。画角が変化すると、画像中の特徴点の場所が全体的に変化し、かつ背景の変化が大きい。そのため、動きベクトルの向きや大きさは一定にはならず、ここからさらにカメラの揺れが加わったとしてもその向き及び大きさを算出することは非常に難しい。   An image 901 is before zooming, an image 902 is after zooming, and an image 903 represents the motion vectors of the image 901 and the image 902, respectively. When the angle of view changes, the location of the feature points in the image changes as a whole, and the background changes greatly. For this reason, the direction and size of the motion vector are not constant, and it is very difficult to calculate the direction and size even if camera shake is added from here.

本発明は、このような問題点に鑑みてなされたものであり、より精度の高い動きベクトルの取得を実現し、ズーム駆動中でも正確にブレ量の算出を行える撮像装置及びその制御方法を提供することを目的とする。   The present invention has been made in view of such problems, and provides an imaging apparatus that can obtain a motion vector with higher accuracy and can accurately calculate a blur amount even during zoom driving, and a control method thereof. For the purpose.

本発明の撮像装置は、変倍可能なズームレンズを有する撮像光学系と、前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、前記画像信号によって形成される2つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出手段と、前記2つの画像から動きベクトルを検出する動きベクトル検出手段とを有し、前記光学ズーム手段によって前記ズームレンズが駆動中の場合、前記電子ズーム手段は、前記2つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、前記動きベクトル検出手段は、前記電子ズーム手段によって前記2つの画像の画角が合った後に前記動きベクトルを検出する。
また、本発明は、上述した撮像装置の制御方法を含む。
An image pickup apparatus according to the present invention is formed by an image pickup optical system having a zoom lens capable of zooming, an image pickup means for picking up a subject image formed by the image pickup optical system and outputting an image signal, and the image signal. Electronic zoom means for scaling the image by converting the resolution of the image; optical zoom means for driving the zoom lens to change the magnification taken by the imaging means; and two images formed by the image signal When the zoom lens is being driven by the optical zoom unit, the zoom unit has a scaling factor detecting unit for detecting a scaling factor by the optical zoom unit, and a motion vector detecting unit for detecting a motion vector from the two images. The electronic zoom means electronically zooms at least one of the two images in accordance with the magnification, and the angle of view of the two images Combined, the motion vector detecting means detects the motion vector after the angle of view of the two images matched by said electronic zoom means.
The present invention also includes a method for controlling the imaging apparatus described above.

本発明によれば、画像間の画角が変化した場合には電子ズームを用いて画像間の画角変化をなくすことにより、より精度の高い動きベクトルを取得できるため、ズーム駆動中でも正確にブレ量を算出することができる。   According to the present invention, when the angle of view between images changes, it is possible to acquire a more accurate motion vector by eliminating the change of the angle of view between images using electronic zoom. The amount can be calculated.

本実施形態に係る撮像装置の構成例を示す模式図である。It is a schematic diagram which shows the structural example of the imaging device which concerns on this embodiment. 図1に示すズーム駆動制御部の内部構成例を示す模式図である。It is a schematic diagram which shows the internal structural example of the zoom drive control part shown in FIG. 実施例1におけるブレ補正処理の処理手順の一例を示すフローチャートである。6 is a flowchart illustrating an example of a processing procedure of blur correction processing according to the first exemplary embodiment. 実施例1を示し、ズーム駆動時に画角変化後の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。FIG. 5 is a schematic diagram illustrating an example of a method for detecting a motion vector by electronically zooming an image before changing the angle of view so as to match the angle of view after changing the angle of view during zoom driving. 実施例1に係る撮像装置の全体動作処理の処理手順の一例を示すフローチャートである。3 is a flowchart illustrating an example of a processing procedure of overall operation processing of the imaging apparatus according to the first embodiment. 実施例2を示し、ズーム駆動時には常に望遠側の画像の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。FIG. 10 is a schematic diagram illustrating an example of a method for detecting a motion vector by electronically zooming an image before changing the angle of view so as to always match the angle of view of an image on the telephoto side during zoom driving. 実施例2におけるブレ補正処理の処理手順の一例を示すフローチャートである。12 is a flowchart illustrating an example of a processing procedure of blur correction processing according to the second exemplary embodiment. 実施例3を示し、ズーム駆動時には画角変化後の画角に合うように画角変化前の画像を電子ズームし、動きベクトルを検出して自動露出処理をする方法の一例を示すフローチャートである。FIG. 10 is a flowchart illustrating an example of a method for performing automatic exposure processing by electronically zooming an image before changing the angle of view so as to match an angle of view after changing the angle of view and detecting a motion vector during zoom driving; . 画角変化中の動きベクトルの一例を表した模式図である。It is the schematic diagram showing an example of the motion vector during a view angle change.

以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。   Hereinafter, embodiments (embodiments) for carrying out the present invention will be described with reference to the drawings.

ズーム駆動中の動きベクトル取得方法の説明に先立ち、本発明の実施形態に係る撮像装置の構成を説明する。
図1は、本実施形態に係る撮像装置の構成例を示す模式図である。
図1に示す撮像装置は、ズームレンズ101、シャッタ・絞りユニット102、シフトレンズ103、フォーカスレンズ104、撮像素子105、撮像信号処理部106、映像信号処理部107、表示部108、ズーム駆動制御部109、シャッタ・絞り駆動制御部110、シフトレンズ駆動制御部111、フォーカス駆動制御部112、動きベクトル検出部113、制御部114、ズームスイッチ115、外部入出力端子部116、シャッタレリーズスイッチ117、記憶部118、及び、電源部119を備える。
Prior to description of a method for acquiring a motion vector during zoom driving, a configuration of an imaging apparatus according to an embodiment of the present invention will be described.
FIG. 1 is a schematic diagram illustrating a configuration example of an imaging apparatus according to the present embodiment.
The imaging apparatus shown in FIG. 1 includes a zoom lens 101, a shutter / aperture unit 102, a shift lens 103, a focus lens 104, an imaging element 105, an imaging signal processing unit 106, a video signal processing unit 107, a display unit 108, and a zoom drive control unit. 109, shutter / aperture drive control unit 110, shift lens drive control unit 111, focus drive control unit 112, motion vector detection unit 113, control unit 114, zoom switch 115, external input / output terminal unit 116, shutter release switch 117, storage Part 118 and a power supply part 119.

本実施形態に示す撮像装置の撮像光学系は、3群構成である。以下、撮像光学系について説明する。
ズームレンズ101は、変倍可能なズーム制御に関与する1群レンズである。また、シフトレンズ103は、ブレ補正を実行する2群レンズである。また、フォーカスレンズ104は、焦点調節処理を実行する3群レンズである。
The imaging optical system of the imaging apparatus shown in this embodiment has a three-group configuration. Hereinafter, the imaging optical system will be described.
The zoom lens 101 is a first group lens involved in zoom control capable of zooming. The shift lens 103 is a second group lens that performs blur correction. The focus lens 104 is a third group lens that performs a focus adjustment process.

ズームレンズ101は、光軸方向に沿って位置を変更可能に構成されており、倍率変更(変倍)を行う。ズーム駆動制御部109は、ズームレンズ101を駆動して撮像素子105で撮像する倍率を変更する光学ズーム手段を構成する。ズームレンズ101の後段に配置されているシャッタ・絞りユニット102は、露光量を調節する。シャッタ・絞り駆動制御部110は、シャッタ・絞りユニット102を駆動制御して、露光量の調節、即ち露出調節処理を行う露出調節手段である。   The zoom lens 101 is configured to be able to change its position along the optical axis direction, and performs magnification change (magnification). The zoom drive control unit 109 constitutes an optical zoom unit that drives the zoom lens 101 and changes the magnification at which the image sensor 105 captures an image. A shutter / aperture unit 102 disposed at the rear stage of the zoom lens 101 adjusts the exposure amount. The shutter / aperture drive control unit 110 is an exposure adjustment unit that controls the drive of the shutter / aperture unit 102 to adjust the exposure amount, that is, the exposure adjustment process.

シフトレンズ103は、光軸に対して略垂直な平面内での位置を変更することが可能に配置されており、ブレ補正光学系を構成する。シフトレンズ駆動制御部111は、シフトレンズ103を駆動制御する。   The shift lens 103 is disposed so as to be able to change the position in a plane substantially perpendicular to the optical axis, and constitutes a shake correction optical system. The shift lens drive control unit 111 controls driving of the shift lens 103.

フォーカスレンズ104は、ピント調整用レンズである。フォーカスレンズ104は、光軸方向に沿って位置を変更可能に構成されている。フォーカス駆動制御部112は、フォーカスレンズ104を駆動制御して、焦点調節処理を実行する焦点調節手段としての機能を有する。   The focus lens 104 is a focus adjustment lens. The focus lens 104 is configured to be able to change its position along the optical axis direction. The focus drive control unit 112 has a function as a focus adjustment unit that performs drive control of the focus lens 104 and executes focus adjustment processing.

撮像素子105は、1群レンズ乃至3群レンズの撮像光学系によって結像した光像(被写体像)を撮像して、撮像した光像を電気信号(画像信号)に変換して出力する。ここで、撮像素子105は、本発明の撮像手段であり、映像信号生成手段に相当する。撮像信号処理部106は、撮像素子105が出力した電気信号を映像信号に変換し、変換した映像信号を画像データとして出力する。映像信号処理部107は、撮像信号処理部106が出力した画像データに対して所定の処理を施して、表示部108に表示可能な画像信号とし、当該画像信号を出力する。上記ズームレンズ101乃至映像信号処理部107は、画像データを撮像する画像撮像手段としての機能を有する。また、撮像信号処理部106から得られる画像データに基づいて、動きベクトル検出部113は、動きベクトルを検出して取得する。   The image sensor 105 captures a light image (subject image) formed by the imaging optical system of the first group lens to the third group lens, converts the captured light image into an electrical signal (image signal), and outputs the electrical signal. Here, the imaging element 105 is an imaging unit of the present invention and corresponds to a video signal generation unit. The imaging signal processing unit 106 converts the electrical signal output from the imaging element 105 into a video signal, and outputs the converted video signal as image data. The video signal processing unit 107 performs predetermined processing on the image data output from the imaging signal processing unit 106 to obtain an image signal that can be displayed on the display unit 108, and outputs the image signal. The zoom lens 101 to the video signal processing unit 107 have a function as an image capturing unit that captures image data. Further, based on the image data obtained from the imaging signal processing unit 106, the motion vector detection unit 113 detects and acquires a motion vector.

制御部114は、本実施形態に係る撮像装置のシステム全体を制御する。具体的には、制御部114は、各々の撮像光学系が備えるズーム駆動制御部109、シャッタ・絞り駆動制御部110、シフトレンズ駆動制御部111、フォーカス駆動制御部112、撮像素子105、撮像信号処理部106、映像信号処理部107、動きベクトル検出部113の処理を制御する。また、制御部114は、表示部108、ズームスイッチ115、外部入出力端子部116、シャッタレリーズスイッチ117、記憶部118、電源部119を制御する。制御部114は、不図示のCPU(Central Processing Unit)等により解釈及び実行されるプログラムに従って処理を実行する。また、例えば、制御部114は、画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段を構成する。また、例えば、制御部114は、画像信号によって形成される2つの画像の光学ズーム手段(ズーム駆動制御部109)による変倍率を検出する変倍率検出手段を構成する。   The control unit 114 controls the entire system of the imaging apparatus according to the present embodiment. Specifically, the control unit 114 includes a zoom drive control unit 109, a shutter / aperture drive control unit 110, a shift lens drive control unit 111, a focus drive control unit 112, an image sensor 105, and an image signal included in each image pickup optical system. The processing of the processing unit 106, the video signal processing unit 107, and the motion vector detection unit 113 is controlled. The control unit 114 also controls the display unit 108, zoom switch 115, external input / output terminal unit 116, shutter release switch 117, storage unit 118, and power supply unit 119. The control unit 114 executes processing according to a program that is interpreted and executed by a CPU (Central Processing Unit) (not shown) or the like. Further, for example, the control unit 114 constitutes an electronic zoom unit that changes the resolution of an image formed by the image signal by changing the resolution. Further, for example, the control unit 114 constitutes a scaling factor detecting unit that detects a scaling factor by an optical zoom unit (zoom drive control unit 109) of two images formed by the image signal.

本実施形態に特有の動作として、制御部114は、後述する動きベクトル検出部113によって検出された動きベクトルに基づいて、ブレ量を補正すべくシフトレンズ駆動制御部111に指令を出す。また、制御部114は、表示部108に指示して、映像信号処理部107が出力した画像信号に基づく画像を表示画面上に画面表示させる。表示部108は、撮像光学系毎に画像信号に基づく画像を画面表示する。表示部108は、制御部114の指示に従った画面表示処理を実行する。   As an operation specific to the present embodiment, the control unit 114 issues a command to the shift lens drive control unit 111 to correct the shake amount based on a motion vector detected by a motion vector detection unit 113 described later. Further, the control unit 114 instructs the display unit 108 to display an image based on the image signal output from the video signal processing unit 107 on the display screen. The display unit 108 displays an image based on the image signal on the screen for each imaging optical system. The display unit 108 executes screen display processing according to instructions from the control unit 114.

動きベクトル検出部113は、撮像信号処理部106が出力した画像データに基づく2つの画像から動きベクトルを検出して取得し、その情報を制御部114に伝える。動きベクトル検出方法として、本実施形態では、現フィールドの画像と前フィールドの画像とを所定の代表点または画素ごとに比較対照するマッチング法を採用する。具体的には、前フィールドの画像を現フィールドの画像に対して画面内で水平及び垂直にシフトさせて突き合わせ、両者が最も一致するシフト量及び方向を持って動きベクトルとする。   The motion vector detection unit 113 detects and acquires a motion vector from two images based on the image data output by the imaging signal processing unit 106 and transmits the information to the control unit 114. As a motion vector detection method, the present embodiment employs a matching method that compares and contrasts an image in the current field and an image in the previous field for each predetermined representative point or pixel. Specifically, the image of the previous field is shifted horizontally and vertically in the screen with respect to the image of the current field and matched, and a motion vector having a shift amount and a direction in which both match most closely is used.

ズームスイッチ115は、ズームレンズ101を操作する操作手段である。ズームスイッチ115は、ユーザの操作入力に応じて、操作信号を入力し、入力した操作信号を制御部114に送信する。   The zoom switch 115 is an operation unit that operates the zoom lens 101. The zoom switch 115 inputs an operation signal in response to a user operation input, and transmits the input operation signal to the control unit 114.

外部入出力端子部116は、不図示の外部装置との間の通信を媒介する。具体的には、外部入出力端子部116には、映像信号及び音声信号が入力される。また、映像信号及び音声信号が外部入出力端子部116から出力される。   The external input / output terminal unit 116 mediates communication with an external device (not shown). Specifically, a video signal and an audio signal are input to the external input / output terminal unit 116. In addition, a video signal and an audio signal are output from the external input / output terminal unit 116.

シャッタレリーズスイッチ117は、押し込み量に応じて、第1スイッチ(以下、「SW1」と記述)及び第2スイッチ(以下、「SW2」と記述)が順にオン状態となるように構成されている。具体的には、ユーザがシャッタレリーズスイッチ117を約半分押し込んだ場合に、SW1がオン状態となる。そして、ユーザが、更に、シャッタレリーズスイッチ117を最後まで深く押し込んだ場合に、SW2がオン状態となる。そして、SW1、SW2がオン状態となったことを示す信号が制御部114に送信される。   The shutter release switch 117 is configured such that a first switch (hereinafter referred to as “SW1”) and a second switch (hereinafter referred to as “SW2”) are sequentially turned on in accordance with the amount of pressing. Specifically, when the user presses the shutter release switch 117 about halfway, SW1 is turned on. Then, when the user further presses the shutter release switch 117 deeply to the end, SW2 is turned on. Then, a signal indicating that SW1 and SW2 are turned on is transmitted to the control unit 114.

記憶部118には、撮像信号処理部106が出力した画像データ、映像信号処理部107が出力した画像信号等が記憶される。なお、記憶部118には、制御部114によって解釈されて実行される、本実施形態に係る撮像装置の制御プログラム(コンピュータプログラム)を記憶するためのメモリ装置も含まれる。   The storage unit 118 stores image data output from the imaging signal processing unit 106, an image signal output from the video signal processing unit 107, and the like. Note that the storage unit 118 also includes a memory device for storing a control program (computer program) of the imaging apparatus according to the present embodiment, which is interpreted and executed by the control unit 114.

電源部119は、図1に示す撮像装置の各構成部に対して、電源電圧を供給する。   The power supply unit 119 supplies a power supply voltage to each component of the imaging apparatus illustrated in FIG.

本実施形態の撮像装置の制御方法は、図1に示す撮像装置が備える各構成部によって実現される。また、図1に示す撮像装置の機能は、CPUとその上で実行されるコンピュータプログラムにより実現される。このコンピュータプログラムは、コンピュータが読み取り可能な記録媒体に格納することができ、この記録媒体に記録して提供され、または、通信インタフェースを介してネットワークを利用した送受信により提供される。   The control method of the imaging apparatus of this embodiment is implement | achieved by each structure part with which the imaging apparatus shown in FIG. The functions of the imaging apparatus shown in FIG. 1 are realized by a CPU and a computer program executed on the CPU. The computer program can be stored in a computer-readable recording medium, provided by being recorded on the recording medium, or provided by transmission / reception using a network via a communication interface.

次に、図1に示す撮像装置による、自動焦点調節(AF)処理、自動露出(AE)処理、及び、ズーム駆動制御処理について説明する。
上述したように、シャッタレリーズスイッチ117の押し込み量に応じて、SW1及びSW2が順にオン状態となる。シャッタレリーズスイッチ117のSW1がオン状態となったことを示す信号が制御部114に入力されると、制御部114が、フォーカス駆動制御部112に指示して、制御部114が決定した指標を対象としてAF処理を実行させる。制御部114から指示を受けたフォーカス駆動制御部112は、フォーカスレンズ104を駆動することによって、上記指標を対象としたAF処理を実行する。また、制御部114が、シャッタ・絞り駆動制御部110に指示して、制御部114が決定した指標を対象として、AE処理を実行させる。具体的には、シャッタ・絞り駆動制御部110が、シャッタ・絞りユニット102を駆動して、露光量を適正な値に設定する。
Next, automatic focus adjustment (AF) processing, automatic exposure (AE) processing, and zoom drive control processing by the imaging apparatus shown in FIG. 1 will be described.
As described above, SW1 and SW2 are sequentially turned on in accordance with the pressing amount of the shutter release switch 117. When a signal indicating that the SW1 of the shutter release switch 117 is turned on is input to the control unit 114, the control unit 114 instructs the focus drive control unit 112 to target the index determined by the control unit 114. AF processing is executed as follows. Upon receiving the instruction from the control unit 114, the focus drive control unit 112 drives the focus lens 104 to execute AF processing for the index. Further, the control unit 114 instructs the shutter / aperture drive control unit 110 to execute the AE process for the index determined by the control unit 114. Specifically, the shutter / aperture drive control unit 110 drives the shutter / aperture unit 102 to set the exposure amount to an appropriate value.

SW2がオン状態となり、SW2がオン状態となったことを示す信号が制御部114に入力されると、制御部114が、撮像素子105に指示して、撮像素子105が受光した光像を電気信号に変換させる。そして、撮像信号処理部106が、前記電気信号に基づいて画像データを出力する。そして、映像信号処理部107が、撮像信号処理部106から得られる画像データに基づいて、表示部108に表示する画像信号を出力する。制御部114は、撮像信号処理部106が出力した画像データ、映像信号処理部107が出力した画像信号を記憶部118に記憶する。   When SW2 is turned on and a signal indicating that SW2 is turned on is input to the control unit 114, the control unit 114 instructs the image sensor 105 to electrically generate an optical image received by the image sensor 105. Convert to signal. Then, the imaging signal processing unit 106 outputs image data based on the electrical signal. Then, the video signal processing unit 107 outputs an image signal to be displayed on the display unit 108 based on the image data obtained from the imaging signal processing unit 106. The control unit 114 stores the image data output from the imaging signal processing unit 106 and the image signal output from the video signal processing unit 107 in the storage unit 118.

ユーザがズームスイッチ115を操作すると、その操作信号が制御部114に入力され、制御部114が、ズーム駆動制御部109に指示を与える。ズーム駆動制御部109は、制御部114によって指示されたズーム位置へズームレンズ101を移動させる。これによって、ズーム駆動制御処理が実行される。   When the user operates the zoom switch 115, the operation signal is input to the control unit 114, and the control unit 114 gives an instruction to the zoom drive control unit 109. The zoom drive control unit 109 moves the zoom lens 101 to the zoom position instructed by the control unit 114. Thereby, zoom drive control processing is executed.

図2は、図1に示すズーム駆動制御部109の内部構成例を示す模式図である。
ズームモータ201は、DC(直流)モータ等で構成され、ズームレンズ101を移動させることでズーム動作を行う。ズームモータ駆動回路202は、ズームモータ201を駆動させるアナログ回路であり、ズームモータ201とともにズームレンズ駆動手段を構成する。リセット位置検出部203は、ズームレンズ101のリセット位置を検出するために設けられた位置検出手段である。
FIG. 2 is a schematic diagram illustrating an internal configuration example of the zoom drive control unit 109 illustrated in FIG.
The zoom motor 201 is constituted by a DC (direct current) motor or the like, and performs a zoom operation by moving the zoom lens 101. The zoom motor driving circuit 202 is an analog circuit that drives the zoom motor 201, and constitutes a zoom lens driving unit together with the zoom motor 201. The reset position detection unit 203 is position detection means provided to detect the reset position of the zoom lens 101.

また、ズーム駆動制御部109の内部には、ズーム速度検出及びズーム位置検出を行うためにズームモータ201に接続されたエンコーダ204が設けられ、その出力信号はズーム位置検出部205及びズーム速度検出部206に送られる。ズーム位置検出部205は、エンコーダ204から得られたパルス情報に基づいてズーム位置、つまりズームレンズ101の位置を求めて検出する。また、ズーム速度検出部206は、エンコーダ204から得られたパルス情報に基づいてズーム速度、つまりズームレンズ101の動作速度を求めて検出する。   In addition, an encoder 204 connected to the zoom motor 201 for performing zoom speed detection and zoom position detection is provided inside the zoom drive control unit 109, and output signals thereof are a zoom position detection unit 205 and a zoom speed detection unit. 206. The zoom position detection unit 205 obtains and detects the zoom position, that is, the position of the zoom lens 101 based on the pulse information obtained from the encoder 204. The zoom speed detection unit 206 obtains and detects the zoom speed, that is, the operation speed of the zoom lens 101 based on the pulse information obtained from the encoder 204.

ズーム制御部207は、ズーム位置検出部205の出力信号に応じてズーム移動量の制御を行い、ズームモータ駆動回路202を介して、ズームモータ201を回転させ、ズームレンズ101を駆動する。またズーム制御部207は、リセット位置検出部203の出力信号に基づいてズームレンズ101の駆動制御に係る基準位置を判定する。   The zoom control unit 207 controls the zoom movement amount according to the output signal of the zoom position detection unit 205, rotates the zoom motor 201 via the zoom motor drive circuit 202, and drives the zoom lens 101. Further, the zoom control unit 207 determines a reference position related to drive control of the zoom lens 101 based on the output signal of the reset position detection unit 203.

以下、本発明の実施例1による電子ズームを利用した動きベクトルの検出方法について説明する。
図4は、実施例1を示し、ズーム駆動時に画角変化後の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。その後、ブレ補正処理が行われる。
Hereinafter, a motion vector detection method using electronic zoom according to the first embodiment of the present invention will be described.
FIG. 4 is a schematic diagram illustrating an example of a method for detecting a motion vector by electronically zooming an image before changing the angle of view so as to match the angle of view after changing the angle of view during zoom driving. Thereafter, blur correction processing is performed.

画像401、画像402、画像403、及び、画像404は、ズーム駆動により画角が広角側から望遠側に変化していったときの画像である。画像401は最も広角側(Wide)、画像404は最も望遠側(Tele)で撮った画像とする。   An image 401, an image 402, an image 403, and an image 404 are images when the angle of view changes from the wide angle side to the telephoto side by zoom driving. An image 401 is taken on the widest side (Wide), and an image 404 is taken on the most telephoto side (Tele).

画像401、画像402、画像403、及び、画像404は、動きベクトルを検出するタイミングにより、本来ならば画像401と画像402、画像402と画像403、画像403と画像404それぞれの画像間で動きベクトルを検出する。実施例1では、フレームレート毎にズームポイント(Wide、Middle1、Middle2、Tele)までズームし、それぞれの画像で動きベクトルを検出するものとする。ただし、このタイミングは、フレームレートに限るものではなく、画角変化量などによって変化させても良い。   The image 401, the image 402, the image 403, and the image 404 are originally motion vectors between the images 401 and 402, the images 402 and 403, and the images 403 and 404 according to the timing of detecting the motion vectors. Is detected. In the first embodiment, it is assumed that the zoom point (Wide, Middle1, Middle2, Tele) is zoomed for each frame rate, and a motion vector is detected in each image. However, this timing is not limited to the frame rate, and may be changed according to the amount of change in the angle of view.

画像405は、画像401と画像402との間での画角変化量と同じ倍率で、画像401を電子ズームした画像である。同様に、画像406は、画像402と画像403との間での画角変化量と同じ倍率で、画像402を電子ズームした画像である。また、画像407は、画像403と画像404との間での画角変化量と同じ倍率で、画像403を電子ズームした画像である。ここで、画像間の画角変化量は、ズーム速度検出部206から算出する。ズームレンズ101の動いている速度が分かれば、次のフレームでの画角が算出できるためである。   An image 405 is an image obtained by electronically zooming the image 401 at the same magnification as the angle of view change amount between the image 401 and the image 402. Similarly, the image 406 is an image obtained by electronically zooming the image 402 at the same magnification as the change in the angle of view between the image 402 and the image 403. An image 407 is an image obtained by electronically zooming the image 403 at the same magnification as the angle of view change between the image 403 and the image 404. Here, the amount of change in the angle of view between images is calculated from the zoom speed detection unit 206. This is because if the speed at which the zoom lens 101 is moving is known, the angle of view in the next frame can be calculated.

ここで、画像401と画像402から動きベクトルを検出しようとすると、前述の通り画角変化のために、正確にブレ量を算出することができない。そこで、画角変化による影響が生じないように、動きベクトル検出部113は、画像405と画像402とから動きベクトルを検出して取得する。また、その次も、動きベクトル検出部113は、画像402の代わりに画像406と画像403とから、画像403の代わりに画像407と画像404とから、それぞれ、動きベクトルを検出して取得する。   Here, if a motion vector is to be detected from the images 401 and 402, the blur amount cannot be accurately calculated due to the change in the angle of view as described above. Therefore, the motion vector detection unit 113 detects and acquires a motion vector from the image 405 and the image 402 so as not to be affected by the change in the angle of view. In addition, the motion vector detection unit 113 detects and acquires motion vectors from the image 406 and the image 403 instead of the image 402 and from the image 407 and the image 404 instead of the image 403, respectively.

即ち、本実施例では、光学ズーム手段(ズーム駆動制御部109)によってズームレンズ101が駆動中の場合、電子ズーム手段(制御部114)は、2つの画像のうちの一方を当該2つの画像の変倍率に応じて電子ズームを行って当該2つの画像の画角を合わる。そして、動きベクトル検出部113は、当該2つの画像の画角が合った後に動きベクトルを検出する。   That is, in this embodiment, when the zoom lens 101 is being driven by the optical zoom means (zoom drive control unit 109), the electronic zoom means (control unit 114) converts one of the two images to the two images. Electronic zooming is performed according to the variable magnification to match the angles of view of the two images. Then, the motion vector detection unit 113 detects a motion vector after the angles of view of the two images match.

図5は、実施例1に係る撮像装置の全体動作処理の処理手順の一例を示すフローチャートであり、ブレ補正を行う処理を含む。当該ブレ補正の処理の一例については図3に示す。なお図中の「YES」は肯定的な判断結果を示し、「NO」は否定的な判断結果を示す。   FIG. 5 is a flowchart illustrating an example of a processing procedure of overall operation processing of the imaging apparatus according to the first embodiment, which includes processing for performing blur correction. An example of the blur correction process is shown in FIG. In the figure, “YES” indicates a positive determination result, and “NO” indicates a negative determination result.

まず、ステップS501において、図1に示す撮像装置の制御部114は、ユーザの操作入力に従って撮影モードが設定されたことを確認し、撮像素子105の駆動を開始する。   First, in step S501, the control unit 114 of the imaging apparatus illustrated in FIG. 1 confirms that the imaging mode has been set according to the user's operation input, and starts driving the imaging element 105.

続いて、ステップS502において、例えば制御部114は、ブレ補正処理を行う。ブレ補正処理の方法については後述する。   Subsequently, in step S502, for example, the control unit 114 performs a blur correction process. A method of blur correction processing will be described later.

続いて、ステップS503において、制御部114は、シャッタレリーズスイッチ117のSW1がオン状態になったか否かを判断する。ステップS503の判断の結果、シャッタレリーズスイッチ117のSW1がオン状態でない、即ち、オフ状態である場合には、ステップS502に戻り、ブレ補正処理を続ける。   Subsequently, in step S503, the control unit 114 determines whether or not the SW1 of the shutter release switch 117 is turned on. If the result of determination in step S503 is that SW1 of the shutter release switch 117 is not in the on state, that is, it is in the off state, the process returns to step S502 to continue the blur correction process.

一方、ステップS503の判断の結果、シャッタレリーズスイッチ117のSW1がオン状態である場合には、ステップS504に進む。
ステップS504に進むと、例えばフォーカス駆動制御部112及びシャッタ・絞り駆動制御部110は、制御部114による制御に基づいて、AE処理やAF処理等の撮影準備を行う。
On the other hand, if the result of determination in step S503 is that SW1 of the shutter release switch 117 is on, processing proceeds to step S504.
In step S504, for example, the focus drive control unit 112 and the shutter / aperture drive control unit 110 perform shooting preparation such as AE processing and AF processing based on control by the control unit 114.

続いて、ステップS505において、例えば制御部114は、再度、ブレ補正処理を行う。   Subsequently, in step S505, for example, the control unit 114 performs blur correction processing again.

続いて、ステップS506において、制御部114は、シャッタレリーズスイッチ117のSW2がオン状態になったか否かを判断する。ステップS506の判断の結果、シャッタレリーズスイッチ117のSW2がオン状態でない、即ち、オフ状態である場合には、ステップS503に戻り、SW1がON状態であるか否かを判断する。   Subsequently, in step S506, the control unit 114 determines whether or not the SW2 of the shutter release switch 117 is turned on. If the result of the determination in step S506 is that SW2 of the shutter release switch 117 is not in the on state, that is, it is in the off state, the process returns to step S503 to determine whether or not SW1 is in the on state.

一方、ステップS506の判断の結果、シャッタレリーズスイッチ117のSW2がオン状態である場合には、ステップS507に進む。
ステップS507に進むと、例えば制御部114は、動画の撮影を制御し、動画の記録を開始する。
On the other hand, if the result of determination in step S506 is that SW2 of the shutter release switch 117 is on, processing proceeds to step S507.
In step S507, for example, the control unit 114 controls shooting of moving images and starts recording of moving images.

続いて、動画の撮影中も、ステップS508において、例えば制御部114は、ブレ補正処理を行う。   Subsequently, even during moving image shooting, in step S508, for example, the control unit 114 performs blur correction processing.

続いて、ステップS509において、制御部114は、再び、シャッタレリーズスイッチ117のSW2が押されて、シャッタレリーズスイッチ117のSW2がオン状態であるか否かを判断する。ステップS509の判断の結果、シャッタレリーズスイッチ117のSW2が離されて、シャッタレリーズスイッチ117のSW2がオン状態でない、即ち、オフ状態である場合には、ステップS508に戻り、再度、ブレ補正を行う。   Subsequently, in step S509, the control unit 114 determines again whether SW2 of the shutter release switch 117 is pressed and SW2 of the shutter release switch 117 is on. As a result of the determination in step S509, when SW2 of the shutter release switch 117 is released and SW2 of the shutter release switch 117 is not in an on state, that is, in an off state, the process returns to step S508, and shake correction is performed again. .

一方、ステップS509の判断の結果、再び、シャッタレリーズスイッチ117のSW2が押されて、シャッタレリーズスイッチ117のSW2がオン状態である場合には、ステップS510に進む。
ステップS510に進むと、例えば制御部114は、動画の記録を止め、撮影を終了する制御を行う。その後、図5のフローチャートの処理を終了する。
On the other hand, if the result of determination in step S509 is that the SW2 of the shutter release switch 117 has been pressed again and the SW2 of the shutter release switch 117 is on, the process proceeds to step S510.
In step S510, for example, the control unit 114 performs control to stop recording the moving image and end the shooting. Thereafter, the process of the flowchart of FIG.

次に、図3を用いて、ブレ補正処理について説明する。
図3は、実施例1におけるブレ補正処理の処理手順の一例を示すフローチャートである。図3は、望遠側の画像はそのままで広角側の画像を電子ズームし、動きベクトルを検出する方法を例示したフローチャートである。なお、図中の「YES」は肯定的な判断結果を示し、「NO」は否定的な判断結果を示す。
Next, the blur correction process will be described with reference to FIG.
FIG. 3 is a flowchart illustrating an example of a processing procedure of blur correction processing according to the first embodiment. FIG. 3 is a flowchart illustrating a method of detecting a motion vector by electronically zooming the wide-angle image while keeping the telephoto image. In the figure, “YES” indicates a positive determination result, and “NO” indicates a negative determination result.

ブレ補正処理が開始されると、ステップS301において、制御部114は、映像信号処理部107から画像nを取得する。   When the shake correction process is started, the control unit 114 acquires the image n from the video signal processing unit 107 in step S301.

続いて、ステップS302において、例えばズーム制御部207は、ズームモータ201(ズームレンズ101)が駆動中であるか否かを判断する。   Subsequently, in step S302, for example, the zoom control unit 207 determines whether or not the zoom motor 201 (zoom lens 101) is being driven.

ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中である場合には、ステップS303に進む。
ステップS303に進むと、ズーム速度検出部206は、エンコーダ204を介したズームモータ201の速度の検知から、ズームレンズ101の速度を検出して取得する。
If the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is being driven, processing proceeds to step S303.
In step S <b> 303, the zoom speed detection unit 206 detects and acquires the speed of the zoom lens 101 based on the detection of the speed of the zoom motor 201 via the encoder 204.

続いて、ステップS304において、制御部114は、まず、ステップS303で取得されたズームレンズ101の速度から、連続する2つの画像である画像nと次フレームの画像との画角変化量を算出する。次いで、制御部114は、算出した画角変化量に基づいて、画像nの画角と画角変化後の次フレームの画像の画角とが合うような電子ズームの倍率(変倍率)を決定する。   Subsequently, in step S304, the control unit 114 first calculates the amount of change in the angle of view between the image n, which is two consecutive images, and the image of the next frame, from the speed of the zoom lens 101 acquired in step S303. . Next, the control unit 114 determines the magnification (magnification) of the electronic zoom based on the calculated amount of change in the angle of view so that the angle of view of the image n matches the angle of view of the image of the next frame after the change of the angle of view. To do.

続いて、ステップS305において、制御部114は、ステップS301で取得した画像nをステップS304で決定した倍率で電子ズームした画像を画像Nとして記憶部118に記憶する。なお、この時、制御部114は、表示部108に、電子ズームする前の画像を表示させる。   Subsequently, in step S305, the control unit 114 stores an image obtained by electronically zooming the image n acquired in step S301 with the magnification determined in step S304 in the storage unit 118 as an image N. At this time, the control unit 114 causes the display unit 108 to display an image before electronic zooming.

一方、ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中でない場合には、ステップS306に進む。
ステップS306に進むと、制御部114は、ステップS301で取得した画像nをそのまま画像Nとして記憶部118に記憶する。
On the other hand, if the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is not being driven, processing proceeds to step S306.
In step S306, the control unit 114 stores the image n acquired in step S301 as it is in the storage unit 118 as the image N.

ステップS305の処理が終了した場合、或いは、ステップS306の処理が終了した場合には、ステップS307に進む。
ステップS307に進むと、制御部114は、次フレームの画像である画像n+1を取得する。
When the process of step S305 is completed, or when the process of step S306 is completed, the process proceeds to step S307.
In step S307, the control unit 114 acquires an image n + 1 that is an image of the next frame.

続いて、ステップS308に進むと、制御部114は、ステップS307で取得した画像n+1を画像N+1として記憶部118に記憶する。   Subsequently, in step S308, the control unit 114 stores the image n + 1 acquired in step S307 as the image N + 1 in the storage unit 118.

続いて、ステップS309において、動きベクトル検出部113は、記憶部118に記憶されている画像Nと画像N+1の動きベクトルを検出する。   Subsequently, in step S309, the motion vector detection unit 113 detects the motion vectors of the image N and the image N + 1 stored in the storage unit 118.

続いて、ステップS310において、例えば制御部114は、ステップS309で検出された動きベクトルに基づいて、ブレ量を算出する。   Subsequently, in step S310, for example, the control unit 114 calculates a shake amount based on the motion vector detected in step S309.

続いて、ステップS311において、制御部114は、ステップS310で算出されたブレ量に基づいて、シフトレンズ駆動制御部111に指令を出してシフトレンズ103を駆動させ、ブレ補正を行う。その後、図3に示すブレ補正処理を終了する。   Subsequently, in step S311, the control unit 114 issues a command to the shift lens drive control unit 111 to drive the shift lens 103 based on the blur amount calculated in step S310, and performs blur correction. Thereafter, the blur correction process shown in FIG. 3 is terminated.

上述した実施例1では、次フレームの画像の画角に合うように電子ズームの倍率を決定する方法について説明したが、常に望遠側の画像の画角に合うように電子ズームの倍率を決定しても良い。即ち、本実施例では、最も望遠側の画像の倍率を基準の倍率とし、撮影時の画像による倍率との比較による変倍率により、電子ズームの倍率を決定しても良い。   In the first embodiment described above, the method for determining the magnification of the electronic zoom to match the angle of view of the image of the next frame has been described. However, the magnification of the electronic zoom is always determined to match the angle of view of the image on the telephoto side. May be. In other words, in the present embodiment, the magnification of the image on the most telephoto side may be set as a reference magnification, and the magnification of the electronic zoom may be determined based on the magnification by comparison with the magnification of the image at the time of shooting.

図6は、実施例2を示し、ズーム駆動時には常に望遠側の画像の画角に合うように画角変化前の画像を電子ズームして動きベクトルを検出する方法の一例を示す模式図である。ここで、図6において、図4と同じ構成には同じ符号を付けている。   FIG. 6 is a schematic diagram illustrating an example of a method for detecting a motion vector by electronically zooming an image before changing the angle of view so that the angle of view of the image on the telephoto side always matches the angle of view of the image on the telephoto side. . Here, in FIG. 6, the same components as those in FIG.

画像401、画像402、画像403、及び、画像404は、ズーム駆動により画角が広角側から望遠側に変化していったときの画像である。画像401は最も広角側(Wide)、画像404は最も望遠側(Tele)で撮った画像とする。   An image 401, an image 402, an image 403, and an image 404 are images when the angle of view changes from the wide angle side to the telephoto side by zoom driving. An image 401 is taken on the widest side (Wide), and an image 404 is taken on the most telephoto side (Tele).

画像601は、画像401と画像404との間での画角変化量と同じ倍率で、画像401を電子ズームした画像である。同様に、画像602は、画像402と画像404との間での画角変化量と同じ倍率で、画像402を電子ズームした画像である。また、画像603は、画像403と画像404との間での画角変化量と同じ倍率で、画像603を電子ズームした画像である。   An image 601 is an image obtained by electronically zooming the image 401 at the same magnification as the angle of view change amount between the image 401 and the image 404. Similarly, the image 602 is an image obtained by electronically zooming the image 402 at the same magnification as the change in the angle of view between the image 402 and the image 404. The image 603 is an image obtained by electronically zooming the image 603 with the same magnification as the angle of view change between the image 403 and the image 404.

ここでは、画角変化による影響が生じないように、動きベクトル検出部113は、画像401及び画像402の代わりに、画像601と画像602とから動きベクトルを検出して取得する。また、その次も、動きベクトル検出部113は、画像402及び画像403の代わりに、画像602と画像603とから、画像403の代わりに画像603と画像404とから、それぞれ、動きベクトルを検出して取得する。   Here, the motion vector detection unit 113 detects and acquires a motion vector from the image 601 and the image 602 instead of the image 401 and the image 402 so as not to be affected by the change in the angle of view. Next, the motion vector detection unit 113 detects motion vectors from the image 602 and the image 603 instead of the image 402 and the image 403, and from the image 603 and the image 404 instead of the image 403, respectively. Get.

即ち、本実施例では、光学ズーム手段(ズーム駆動制御部109)によってズームレンズ101が駆動中の場合、電子ズーム手段(制御部114)は、2つの画像のうちの少なくともいずれか一方を当該2つの画像の変倍率に応じて電子ズームを行って当該2つの画像の画角を合わる。そして、動きベクトル検出部113は、当該2つの画像の画角が合った後に動きベクトルを検出する。   That is, in this embodiment, when the zoom lens 101 is being driven by the optical zoom means (zoom drive control unit 109), the electronic zoom means (control unit 114) takes at least one of the two images as the 2 Electronic zooming is performed according to the magnification of the two images to match the angles of view of the two images. Then, the motion vector detection unit 113 detects a motion vector after the angles of view of the two images match.

次に、図7を用いて、ブレ補正処理について説明する。
図7は、実施例2におけるブレ補正処理の処理手順の一例を示すフローチャートである。図7は、常に最も望遠側の画像の画角と同じ画角になるように各画像を電子ズームし、動きベクトルを検出する方法を例示したフローチャートである。また、図7において、実施例1で説明した、図3のフローチャートと同じ処理ステップには同じステップ番号を付している。
Next, the blur correction process will be described with reference to FIG.
FIG. 7 is a flowchart illustrating an example of a processing procedure of blur correction processing according to the second embodiment. FIG. 7 is a flowchart illustrating a method for detecting a motion vector by electronically zooming each image so that the angle of view is always the same as the angle of view of the most telephoto image. In FIG. 7, the same step numbers are assigned to the same processing steps as those in the flowchart of FIG. 3 described in the first embodiment.

ブレ補正処理が開始されると、ステップS301において、制御部114は、映像信号処理部107から画像nを取得する。   When the shake correction process is started, the control unit 114 acquires the image n from the video signal processing unit 107 in step S301.

続いて、ステップS701において、ズーム位置検出部205は、エンコーダ204を介したズームモータ201の位置の検知から、ズームレンズ101の位置を検出して取得する。   Subsequently, in step S <b> 701, the zoom position detection unit 205 detects and acquires the position of the zoom lens 101 from detection of the position of the zoom motor 201 via the encoder 204.

続いて、ステップS702において、制御部114は、まず、ステップS701で取得されたズームレンズ101のズーム位置から、ステップS301で取得された画像nの画角を算出する。次いで、制御部114は、ズームレンズ101が最も望遠側にある場合の画像の画角と画像nの画角とが合うような電子ズームの倍率(変倍率)を決定する。   Subsequently, in step S702, the control unit 114 first calculates the angle of view of the image n acquired in step S301 from the zoom position of the zoom lens 101 acquired in step S701. Next, the control unit 114 determines the magnification (magnification) of the electronic zoom such that the angle of view of the image when the zoom lens 101 is at the most telephoto side matches the angle of view of the image n.

続いて、ステップS305において、制御部114は、ステップS301で取得した画像nをステップS702で決定した倍率で電子ズームした画像を画像Nとして記憶部118に記憶する。なお、この時、制御部114は、表示部108に、電子ズームする前の画像を表示させる。   Subsequently, in step S305, the control unit 114 stores an image obtained by electronically zooming the image n acquired in step S301 with the magnification determined in step S702 in the storage unit 118 as an image N. At this time, the control unit 114 causes the display unit 108 to display an image before electronic zooming.

続いて、ステップS307において、制御部114は、次フレームの画像である画像n+1を取得する。   Subsequently, in step S307, the control unit 114 acquires an image n + 1 that is an image of the next frame.

続いて、ステップS703において、ズーム位置検出部205は、エンコーダ204を介したズームモータ201の位置の検知から、ズームレンズ101の位置を検出して取得する。   Subsequently, in step S <b> 703, the zoom position detection unit 205 detects and acquires the position of the zoom lens 101 from detection of the position of the zoom motor 201 via the encoder 204.

続いて、ステップS704において、制御部114は、まず、ステップS703で取得されたズームレンズ101のズーム位置から、ステップS307で取得された画像n+1の画角を算出する。次いで、制御部114は、ズームレンズ101が最も望遠側にある場合の画像の画角と画像n+1の画角とが合うような電子ズームの倍率(変倍率)を決定する。   Subsequently, in step S704, the control unit 114 first calculates the angle of view of the image n + 1 acquired in step S307 from the zoom position of the zoom lens 101 acquired in step S703. Next, the control unit 114 determines the magnification (magnification) of the electronic zoom so that the angle of view of the image when the zoom lens 101 is at the most telephoto side matches the angle of view of the image n + 1.

続いて、ステップS705において、制御部114は、ステップS307で取得した画像n+1をステップS704で決定した倍率で電子ズームした画像を画像N+1として記憶部118に記憶する。なお、この時も、制御部114は、表示部108に、電子ズームする前の画像を表示させる。   Subsequently, in step S705, the control unit 114 stores an image obtained by electronically zooming the image n + 1 acquired in step S307 with the magnification determined in step S704 in the storage unit 118 as an image N + 1. Also at this time, the control unit 114 causes the display unit 108 to display an image before electronic zooming.

続いて、ステップS309において、動きベクトル検出部113は、記憶部118に記憶されている画像Nと画像N+1の動きベクトルを検出する。   Subsequently, in step S309, the motion vector detection unit 113 detects the motion vectors of the image N and the image N + 1 stored in the storage unit 118.

続いて、ステップS310において、例えば制御部114は、ステップS309で検出された動きベクトルに基づいて、ブレ量を算出する。   Subsequently, in step S310, for example, the control unit 114 calculates a shake amount based on the motion vector detected in step S309.

続いて、ステップS311において、制御部114は、ステップS310で算出されたブレ量に基づいて、シフトレンズ駆動制御部111に指令を出してシフトレンズ103を駆動させ、ブレ補正を行う。その後、図7に示すブレ補正処理を終了する。   Subsequently, in step S311, the control unit 114 issues a command to the shift lens drive control unit 111 to drive the shift lens 103 based on the blur amount calculated in step S310, and performs blur correction. Thereafter, the blur correction process shown in FIG.

上述した実施例1では、画角変化中でも動きベクトルを取得し、その情報に基づいてブレ補正処理を行う方法について説明したが、動きベクトルの情報は、他の機能に使用しても良い。   In the first embodiment described above, a method has been described in which a motion vector is acquired even during a change in the angle of view, and a shake correction process is performed based on that information. However, motion vector information may be used for other functions.

図8を用いて、実施例3に係る自動露出処理について説明する。
図8は、実施例3を示し、ズーム駆動時には画角変化後の画角に合うように画角変化前の画像を電子ズームし、動きベクトルを検出して自動露出処理をする方法の一例を示すフローチャートである。なお、図中の「YES」は肯定的な判断結果を示し、「NO」は否定的な判断結果を示す。また、図8において、実施例1で説明した、図3のフローチャートと同じ処理ステップには同じステップ番号を付している。
The automatic exposure process according to the third embodiment will be described with reference to FIG.
FIG. 8 shows a third embodiment, and an example of a method for performing automatic exposure processing by electronically zooming an image before changing the angle of view so as to match the angle of view after changing the angle of view during zoom driving, and detecting a motion vector. It is a flowchart to show. In the figure, “YES” indicates a positive determination result, and “NO” indicates a negative determination result. Further, in FIG. 8, the same step numbers are assigned to the same processing steps as those in the flowchart of FIG.

まず、ステップS801において、制御部114は、ユーザの操作入力に従って撮影モードが設定されたことを確認し、撮像素子105の駆動を開始する。   First, in step S <b> 801, the control unit 114 confirms that the shooting mode has been set according to a user operation input, and starts driving the image sensor 105.

続いて、ステップS301において、制御部114は、映像信号処理部107から画像nを取得する。   Subsequently, in step S <b> 301, the control unit 114 acquires the image n from the video signal processing unit 107.

続いて、ステップS302において、例えばズーム制御部207は、ズームモータ201(ズームレンズ101)が駆動中であるか否かを判断する。   Subsequently, in step S302, for example, the zoom control unit 207 determines whether or not the zoom motor 201 (zoom lens 101) is being driven.

ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中である場合には、ステップS303に進む。
ステップS303に進むと、ズーム速度検出部206は、エンコーダ204を介したズームモータ201の速度の検知から、ズームレンズ101の速度を検出して取得する。
If the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is being driven, processing proceeds to step S303.
In step S <b> 303, the zoom speed detection unit 206 detects and acquires the speed of the zoom lens 101 based on the detection of the speed of the zoom motor 201 via the encoder 204.

続いて、ステップS304において、制御部114は、まず、ステップS303で取得されたズームレンズ101の速度から、連続する2つの画像である画像nと次フレームの画像との画角変化量を算出する。次いで、制御部114は、算出した画角変化量に基づいて、画像nの画角と画角変化後の次フレームの画像の画角とが合うような電子ズームの倍率を決定する。   Subsequently, in step S304, the control unit 114 first calculates the amount of change in the angle of view between the image n, which is two consecutive images, and the image of the next frame, from the speed of the zoom lens 101 acquired in step S303. . Next, the control unit 114 determines the magnification of the electronic zoom based on the calculated change amount of the view angle so that the view angle of the image n matches the view angle of the image of the next frame after the change of the view angle.

続いて、ステップS305において、制御部114は、ステップS301で取得した画像nをステップS304で決定した倍率で電子ズームした画像を画像Nとして記憶部118に記憶する。なお、この時、制御部114は、表示部108に、電子ズームする前の画像を表示させる。   Subsequently, in step S305, the control unit 114 stores an image obtained by electronically zooming the image n acquired in step S301 with the magnification determined in step S304 in the storage unit 118 as an image N. At this time, the control unit 114 causes the display unit 108 to display an image before electronic zooming.

一方、ステップS302の判断の結果、ズームモータ201(ズームレンズ101)が駆動中でない場合には、ステップS306に進む。
ステップS306に進むと、制御部114は、ステップS301で取得した画像nをそのまま画像Nとして記憶部118に記憶する。
On the other hand, if the result of determination in step S302 is that the zoom motor 201 (zoom lens 101) is not being driven, processing proceeds to step S306.
In step S306, the control unit 114 stores the image n acquired in step S301 as it is in the storage unit 118 as the image N.

ステップS305の処理が終了した場合、或いは、ステップS306の処理が終了した場合には、ステップS307に進む。
ステップS307に進むと、制御部114は、次フレームの画像である画像n+1を取得する。
When the process of step S305 is completed, or when the process of step S306 is completed, the process proceeds to step S307.
In step S307, the control unit 114 acquires an image n + 1 that is an image of the next frame.

続いて、ステップS308に進むと、制御部114は、ステップS307で取得した画像n+1を画像N+1として記憶部118に記憶する。   Subsequently, in step S308, the control unit 114 stores the image n + 1 acquired in step S307 as the image N + 1 in the storage unit 118.

続いて、ステップS309において、動きベクトル検出部113は、記憶部118に記憶されている画像Nと画像N+1の動きベクトルを検出する。   Subsequently, in step S309, the motion vector detection unit 113 detects the motion vectors of the image N and the image N + 1 stored in the storage unit 118.

続いて、ステップS802において、例えば制御部114は、ステップS309で検出された動きベクトルに基づいて、適正露光量を算出する。   Subsequently, in step S802, for example, the control unit 114 calculates an appropriate exposure amount based on the motion vector detected in step S309.

続いて、ステップS803において、制御部114は、ステップS802で算出された適正露光量に基づいて、ブレ量を算出し、当該ブレ量に応じてシャッタ・絞り駆動制御部110に指令を出してシャッタ・絞りユニット102を駆動させ、絞り駆動等を行う。その後、図8に示す自動露出処理を終了する。   Subsequently, in step S803, the control unit 114 calculates a shake amount based on the appropriate exposure amount calculated in step S802, and issues a command to the shutter / aperture drive control unit 110 in accordance with the shake amount. -The aperture unit 102 is driven to perform aperture drive or the like. Thereafter, the automatic exposure process shown in FIG. 8 ends.

本実施例では、シャッタ・絞り駆動制御部110は、動きベクトルに応じて絞り量を変更して絞りを駆動する絞り駆動制御手段を構成しているが、その他の態様も適用可能である。例えば、シャッタ・絞り駆動制御部110は、動きベクトルに応じてシャッタ速度を変更してシャッタを駆動するシャッタ駆動制御手段を構成してもよい。   In this embodiment, the shutter / aperture drive control unit 110 configures an aperture drive control unit that changes the aperture amount according to the motion vector to drive the aperture, but other modes are also applicable. For example, the shutter / aperture drive control unit 110 may constitute a shutter drive control unit that drives the shutter by changing the shutter speed according to the motion vector.

(その他の実施例)
上述した本発明の各実施例では、ズームレンズ101が駆動中の場合、2つの画像のうちの少なくともいずれか一方を当該2つの画像の変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、その後、動きベクトルを検出するようにしている。
しかしながら、以下の態様も本発明に適用可能である。
まず、制御部114において、電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を構成する。そして、2つの画像の変倍率が動きベクトルの検出精度に影響を与えないものである場合には、前記電子ズーム切り替え手段は、電子ズームの使用を行わないようにする態様も適用可能である。ここで、「2つの画像の変倍率が動きベクトルの検出精度に影響を与えないものである場合」とは、例えば、変倍率が所定の値以下である場合等が考えられる。
(Other examples)
In each of the embodiments of the present invention described above, when the zoom lens 101 is being driven, at least one of the two images is electronically zoomed according to the magnification ratio of the two images to obtain the two images. The angle of view is adjusted, and then the motion vector is detected.
However, the following aspects are also applicable to the present invention.
First, the control unit 114 configures an electronic zoom switching unit that can switch whether or not the electronic zoom is used. When the magnification of the two images does not affect the detection accuracy of the motion vector, a mode in which the electronic zoom switching unit does not use the electronic zoom is also applicable. Here, “when the scaling factor of the two images does not affect the detection accuracy of the motion vector” may be, for example, the case where the scaling factor is a predetermined value or less.

また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
The present invention can also be realized by executing the following processing.
That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
This program and a computer-readable recording medium storing the program are included in the present invention.

なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   Note that the above-described embodiments of the present invention are merely examples of implementation in practicing the present invention, and the technical scope of the present invention should not be construed as being limited thereto. It is. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

101 ズームレンズ、102 シャッタ・絞りユニット、103 シフトレンズ、104 フォーカスレンズ、105 撮像素子、106 撮像信号処理部、107 映像信号処理部、108 表示部、109 ズーム駆動制御部、110 シャッタ・絞り駆動制御部、111 シフトレンズ駆動制御部、112 フォーカス駆動制御部、113 動きベクトル検出部、114 制御部、115 ズームスイッチ、116 外部入出力端子部、117 シャッタレリーズスイッチ、118 記憶部、119 電源部 DESCRIPTION OF SYMBOLS 101 Zoom lens, 102 Shutter / aperture unit, 103 Shift lens, 104 Focus lens, 105 Image sensor, 106 Imaging signal processing part, 107 Video signal processing part, 108 Display part, 109 Zoom drive control part, 110 Shutter / aperture drive control 111, shift lens drive control unit, 112 focus drive control unit, 113 motion vector detection unit, 114 control unit, 115 zoom switch, 116 external input / output terminal unit, 117 shutter release switch, 118 storage unit, 119 power supply unit

Claims (11)

変倍可能なズームレンズを有する撮像光学系と、
前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、
前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、
前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、
前記画像信号によって形成される2つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出手段と、
前記2つの画像から動きベクトルを検出する動きベクトル検出手段と
を有し、
前記光学ズーム手段によって前記ズームレンズが駆動中の場合、
前記電子ズーム手段は、前記2つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、
前記動きベクトル検出手段は、前記電子ズーム手段によって前記2つの画像の画角が合った後に前記動きベクトルを検出することを特徴とする撮像装置。
An imaging optical system having a zoom lens capable of zooming;
An image pickup means for picking up a subject image formed by the image pickup optical system and outputting an image signal;
Electronic zoom means for scaling the image by converting the resolution of the image formed by the image signal;
An optical zoom means for driving the zoom lens to change a magnification for imaging by the imaging means;
A scaling factor detecting unit for detecting a scaling factor by the optical zoom unit of the two images formed by the image signal;
Motion vector detecting means for detecting a motion vector from the two images,
When the zoom lens is being driven by the optical zoom means,
The electronic zoom means electronically zooms at least one of the two images in accordance with the magnification, and adjusts the angle of view of the two images.
The image pickup apparatus, wherein the motion vector detection means detects the motion vector after the angle of view of the two images is matched by the electronic zoom means.
前記変倍率検出手段は、前記ズームレンズの駆動する速度に基づいて前記変倍率を検出することを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the variable magnification detection unit detects the variable magnification based on a driving speed of the zoom lens. 前記変倍率検出手段は、前記ズームレンズの位置に基づいて前記変倍率を検出することを特徴とする請求項1に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the variable magnification detection unit detects the variable magnification based on a position of the zoom lens. 前記電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を更に有し、
前記変倍率が前記動きベクトルの検出精度に影響を与えないものである場合に、前記電子ズーム切り替え手段は、前記電子ズームの使用を行わないようにすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
Electronic zoom switching means that can switch whether or not the electronic zoom is used;
4. The electronic zoom switching unit according to claim 1, wherein the electronic zoom switching unit does not use the electronic zoom when the scaling factor does not affect the detection accuracy of the motion vector. The imaging device according to any one of the above.
前記電子ズームの使用の有無を切り替えることができる電子ズーム切り替え手段を更に有し、
前記変倍率が所定の値以下である場合に、前記電子ズーム切り替え手段は、前記電子ズームの使用を行わないようにすることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
Electronic zoom switching means that can switch whether or not the electronic zoom is used;
The imaging according to any one of claims 1 to 3, wherein the electronic zoom switching unit does not use the electronic zoom when the variable magnification is equal to or less than a predetermined value. apparatus.
前記動きベクトルに応じて前記撮像光学系に含まれるシフトレンズを駆動させるシフトレンズ駆動制御手段を更に有することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, further comprising a shift lens drive control unit that drives a shift lens included in the imaging optical system in accordance with the motion vector. 前記動きベクトルに応じて絞り量を変更して絞りを駆動する絞り駆動制御手段、または/および、前記動きベクトルに応じてシャッタ速度を変更してシャッタを駆動するシャッタ駆動制御手段を更に有することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。   It further comprises aperture drive control means for driving the aperture by changing the aperture amount according to the motion vector, and / or shutter drive control means for driving the shutter by changing the shutter speed according to the motion vector. The imaging apparatus according to claim 1, wherein the imaging apparatus is characterized in that: 前記電子ズーム手段による前記電子ズームの倍率は、連続した2つの画像の前記光学ズーム手段による変倍率により決定されることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。   The imaging apparatus according to any one of claims 1 to 7, wherein a magnification of the electronic zoom by the electronic zoom unit is determined by a scaling factor of the two consecutive images by the optical zoom unit. 前記電子ズーム手段による前記電子ズームの倍率は、基準の倍率と撮影時の前記光学ズーム手段による倍率との比較による変倍率により決定されることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。   8. The magnification of the electronic zoom by the electronic zoom means is determined by a variable magnification obtained by comparing a reference magnification and a magnification by the optical zoom means at the time of photographing. The imaging device described in 1. 前記基準の倍率は、前記撮像光学系が最も望遠側であるときの画像から決定することを特徴とする請求項9に記載の撮像装置。   The imaging apparatus according to claim 9, wherein the reference magnification is determined from an image when the imaging optical system is at a telephoto side. 変倍可能なズームレンズを有する撮像光学系と、前記撮像光学系によって結像した被写体像を撮像して画像信号を出力する撮像手段と、前記画像信号によって形成される画像を解像度変換することで当該画像を変倍する電子ズーム手段と、前記ズームレンズを駆動して前記撮像手段で撮像する倍率を変更する光学ズーム手段と、を有する撮像装置の制御方法であって、
前記画像信号によって形成される2つの画像の前記光学ズーム手段による変倍率を検出する変倍率検出ステップと、
前記2つの画像から動きベクトルを検出する動きベクトル検出ステップと
を有し、
前記光学ズーム手段によって前記ズームレンズが駆動中の場合、
前記電子ズーム手段は、前記2つの画像のうちの少なくともいずれか一方を前記変倍率に応じて電子ズームを行って当該2つの画像の画角を合わせ、
前記動きベクトル検出ステップは、前記電子ズーム手段によって前記2つの画像の画角が合った後に前記動きベクトルを検出することを特徴とする撮像装置の制御方法。
An image pickup optical system having a zoom lens capable of zooming, an image pickup means for picking up a subject image formed by the image pickup optical system and outputting an image signal, and converting the resolution of the image formed by the image signal An image pickup apparatus control method comprising: an electronic zoom unit that scales the image; and an optical zoom unit that drives the zoom lens and changes a magnification that is captured by the image capturing unit.
A scaling factor detecting step of detecting a scaling factor by the optical zoom means of the two images formed by the image signal;
A motion vector detection step of detecting a motion vector from the two images,
When the zoom lens is being driven by the optical zoom means,
The electronic zoom means electronically zooms at least one of the two images in accordance with the magnification, and adjusts the angle of view of the two images.
The method of controlling an imaging apparatus, wherein the motion vector detection step detects the motion vector after the angle of view of the two images is matched by the electronic zoom means.
JP2011138636A 2011-06-22 2011-06-22 Imaging device and control method therefor Withdrawn JP2013009039A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011138636A JP2013009039A (en) 2011-06-22 2011-06-22 Imaging device and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011138636A JP2013009039A (en) 2011-06-22 2011-06-22 Imaging device and control method therefor

Publications (1)

Publication Number Publication Date
JP2013009039A true JP2013009039A (en) 2013-01-10

Family

ID=47676060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011138636A Withdrawn JP2013009039A (en) 2011-06-22 2011-06-22 Imaging device and control method therefor

Country Status (1)

Country Link
JP (1) JP2013009039A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082060A (en) * 2013-10-24 2015-04-27 キヤノン株式会社 Image shake correction device and control method of the same, optical device and imaging device
JP2015106148A (en) * 2013-12-03 2015-06-08 キヤノン株式会社 Imaging apparatus and control method thereof
JP7277994B1 (en) 2021-12-24 2023-05-19 ユーピーアール株式会社 Luggage condition detection device and luggage condition detection method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015082060A (en) * 2013-10-24 2015-04-27 キヤノン株式会社 Image shake correction device and control method of the same, optical device and imaging device
JP2015106148A (en) * 2013-12-03 2015-06-08 キヤノン株式会社 Imaging apparatus and control method thereof
JP7277994B1 (en) 2021-12-24 2023-05-19 ユーピーアール株式会社 Luggage condition detection device and luggage condition detection method
JP2023094748A (en) * 2021-12-24 2023-07-06 ユーピーアール株式会社 Package state detection apparatus and package state detection method

Similar Documents

Publication Publication Date Title
US9197817B2 (en) Image blurring correction apparatus, control method thereof, optical device and imaging apparatus
US8724012B2 (en) Camera body and camera system using driving method information indicating capability of controlling focus lens
JP5914886B2 (en) Imaging device
US11223774B2 (en) Imaging apparatus, lens apparatus, and method for controlling the same
JP2010271696A (en) Interchangeable lens, camera body, and camera system
US9241109B2 (en) Image capturing apparatus, control method, and recording medium for moving image generation
JP2015161730A (en) Image blur correction device, control method thereof, optical device, and imaging apparatus
JP2010271697A (en) Interchangeable lens, camera body, and camera system
JP2009300614A (en) Imaging device
JP6643159B2 (en) Lens device, control device, and control method thereof
JP2012078495A (en) Imaging device, shake correction device, and shake correction method
US20120321288A1 (en) Apparatus and method of adjusting automatic focus
JP2012090216A (en) Imaging device and control method for imaging device
JP5886623B2 (en) Imaging apparatus and control method thereof
JP2013009039A (en) Imaging device and control method therefor
JP6300569B2 (en) Imaging apparatus and control method thereof
JP6584259B2 (en) Image blur correction apparatus, imaging apparatus, and control method
JP5744527B2 (en) Imaging apparatus and control method thereof
JP2017134185A (en) Image blur correction device, imaging apparatus, lens unit, control method of image blur correction device, program, and storage medium
JP2010190913A (en) Imaging device with automatic focus function
JP2019219529A (en) Control device, imaging device, control method, program, and storage medium
JP6278798B2 (en) Imaging apparatus, control method thereof, and program
JP2011234310A (en) Imaging apparatus
JP7214424B2 (en) Imaging device and its control method
JP2010166483A (en) Image capturing apparatus and method of controlling the same

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140902