JP5635546B2 - Imaging device and method for controlling imaging device - Google Patents

Description

本発明は、撮影機器に関し、詳しくは、被写体像をライブビュー表示する表示画面をタッチした際に撮影可能な撮影機器および撮影機器の制御方法に関する。   The present invention relates to a photographing device, and more particularly to a photographing device capable of photographing when a display screen for live view display of a subject image is touched and a method for controlling the photographing device.

従来、カメラ等の撮影機器では、レリーズ釦等の操作部材を操作することによりシャッタレリーズを行っていたが、液晶表示画面をタッチすることによりシャッタレリーズを行うことが提案されている（特許文献１参照）。この特許文献１に開示のカメラでは、画面タッチ時の手ブレを防止するために、タッチパネルをタッチしたときから一定時間、遅延させてからシャッタレリーズを行うようにしている。   Conventionally, in a photographing apparatus such as a camera, shutter release is performed by operating an operation member such as a release button. However, it has been proposed to perform shutter release by touching a liquid crystal display screen (Patent Document 1). reference). In the camera disclosed in Patent Document 1, shutter release is performed after a certain delay from when the touch panel is touched in order to prevent camera shake when the screen is touched.

特開平１１−２５２４２７号公報JP 11-252427 A

表示画面がタッチされた際にシャッタレリーズを行うにあたって、タッチされたエリアに対してピントを合わせるようにすると、ユーザの意図する被写体に対してピント合わせを行うことができ、使い勝手がよくなる。しかし、ユーザが表示画面をタッチしようと思ってから実際にタッチするまでに０．５秒程度の遅延時間が発生するので、被写体が動いている場合には、タッチしたエリアにユーザの意図する被写体が存在しない場合がある。このような場合には、タッチしたエリアにピントを合わせても、ユーザの意図する被写体にはピントが合わないという不具合がある。   When the shutter release is performed when the display screen is touched, if the focused area is focused, the subject intended by the user can be focused, which improves usability. However, since a delay time of about 0.5 seconds occurs between when the user wants to touch the display screen and when the user actually touches, when the subject is moving, the subject intended by the user is touched in the touched area. May not exist. In such a case, there is a problem that even if the focused area is focused, the subject intended by the user cannot be focused.

本発明は、このような事情を鑑みてなされたものであり、タッチした際に被写体が動いている場合であっても、ユーザの意図する被写体にピントの合う撮影機器および撮影機器の制御方法を提供することを目的とする。   The present invention has been made in view of such circumstances, and there is provided a photographing device and a photographing device control method that are focused on the subject intended by the user even when the subject is moving when touched. The purpose is to provide.

第１の発明に係わる撮影機器は、被写体像を光電変換し画像データを出力する撮像部と、上記撮像部から出力された画像データに基づいて上記被写体像を表示する表示部と、上記表示部の表示画面へのタッチが、複数に分割されたエリアのいずれであるかを検出するタッチパネルと、上記撮像部の撮像面を上記エリアに対応するように複数のエリアに分割し、上記画像データに基づいて被写体の動きをエリア毎に検出する動き検出部と、上記動き検出部によって検出された被写体の動きの履歴を上記エリア毎に記憶するメモリと、上記タッチパネルへのタッチ操作の一定時間前からの被写体の動きを上記メモリに記憶された被写体の動きの履歴に基づいて判定し、この判定結果に基づいて撮影レンズのピント合わせの対象とするＡＦエリアを決定する決定部と、上記決定部によって決定されたエリアに対してピント合わせを行う自動焦点調節部と、を有し、上記決定部は、上記被写体の動きの履歴に基づいて、第１の一定時間から第２の一定時間の間に被写体が静止していた場合には隣接エリアの比較により上記ＡＦエリアを決定し、上記第１の一定時間から上記第２の一定時間の間に被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定する。 An imaging apparatus according to a first aspect of the present invention includes an imaging unit that photoelectrically converts a subject image and outputs image data, a display unit that displays the subject image based on image data output from the imaging unit, and the display unit The touch screen for detecting whether the touch on the display screen is a plurality of divided areas and the imaging surface of the imaging unit are divided into a plurality of areas corresponding to the areas, and the image data is A motion detection unit for detecting the movement of the subject for each area based on the memory, a memory for storing the history of the motion of the subject detected by the motion detection unit for each area, and a predetermined time before the touch operation on the touch panel. The movement of the subject is determined based on the history of the movement of the subject stored in the memory, and based on the determination result, the AF area to be focused on by the photographing lens is determined. Possess a determination unit for constant for the automatic focusing unit to perform focusing for areas determined by the determining unit, and the determination unit, based on a history of movement of the object, a first constant If the subject is stationary between the time and the second fixed time, the AF area is determined by comparing adjacent areas, and the subject moves between the first fixed time and the second fixed time. If so, the AF area is determined using a vector .

第２の発明に係わる撮影機器は、被写体像を光電変換し画像データを出力する撮像部と、上記撮像部から出力された画像データに基づいて上記被写体像を表示する表示部と、上記表示部の表示画面へのタッチが、複数に分割されたエリアのいずれであるかを検出するタッチパネルと、上記撮像部の撮像面を上記エリアに対応するように複数のエリアに分割し、上記画像データに基づいて被写体の動きをエリア毎に検出する動き検出部と、上記動き検出部によって検出された被写体の動きの履歴を上記エリア毎に記憶するメモリと、上記タッチパネルへのタッチ操作の予め定められた所定時間前からの被写体の動きを上記メモリに記憶された被写体の動きの履歴に基づいて判定し、この判定結果に基づいて撮影レンズのピント合わせの対象とするＡＦエリアを決定する決定部と、上記決定部によって決定されたエリアに対してピント合わせを行う自動焦点調節部と、を有し、上記決定部は、上記被写体の動きの履歴に基づいて、上記予め定められた所定時間より前まで被写体が静止していた場合には隣接エリアの比較によりＡＦエリアを決定し、上記予め定められた所定時間より前から被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定する。 An imaging device according to a second aspect of the invention includes an imaging unit that photoelectrically converts a subject image and outputs image data, a display unit that displays the subject image based on image data output from the imaging unit, and the display unit The touch screen for detecting whether the touch on the display screen is a plurality of divided areas and the imaging surface of the imaging unit are divided into a plurality of areas corresponding to the areas, and the image data is A motion detector for detecting the motion of the subject for each area based on the memory, a memory for storing the motion history of the subject detected by the motion detector for each area, and a predetermined touch operation on the touch panel . the movement of the subject from the predetermined time before determination based on a history of movement of the object stored in the memory, it is subject to focusing of the photographing lens based on the determination result Includes a determination unit that determines an AF area, and the automatic focus adjustment unit that performs focus for areas determined by the determining unit, and the determination unit, based on the history of the movement of the subject, the If the subject has been stationary before a predetermined time, the AF area is determined by comparing adjacent areas, and if the subject has moved from before the predetermined time, a vector is used. To determine the AF area .

第３の発明に係わる撮影機器の制御方法は、被写体像を画像データに変換する撮像部と、タッチ操作を検出可能な表示部を有する撮影機器における制御方法において、上記撮像部からの上記画像データに基づいて被写体の動きを検出し、被写体の動きの履歴を記憶する記憶ステップと、上記タッチ操作がなされたか否かを検出する検出ステップと、上記検出ステップにおいて、上記タッチ操作がなされたことを検出した場合には、上記記憶ステップにおいて記憶した上記被写体の動きの履歴に基づいて、第１の一定時間から第２の一定時間の間に被写体が静止していた場合には隣接エリアの比較により上記ＡＦエリアを決定し、上記第１の一定時間から上記第２の一定時間の間に被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定する決定ステップと、上記決定ステップにおいて決定したＡＦエリアに対して合焦しレリーズする撮影ステップと、を有する。
第４の発明に係わる撮影機器の制御方法は、被写体像を画像データに変換する撮像部と、タッチ操作を検出可能な表示部を有する撮影機器における制御方法において、上記撮像部からの上記画像データに基づいて被写体の動きを検出し、被写体の動きの履歴を記憶する記憶ステップと、上記タッチ操作がなされたか否かを検出する検出ステップと、上記検出ステップにおいて、上記タッチ操作がなされたことを検出した場合には、上記記憶ステップにおいて記憶した上記被写体の動きの履歴に基づいて、予め定められた所定時間より前まで被写体が静止していた場合には隣接エリアの比較によりＡＦエリアを決定し、上記予め定められた所定時間より前から被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定する決定ステップと、上記決定ステップにおいて決定したＡＦエリアに対して合焦しレリーズする撮影ステップと、を有する。 According to a third aspect of the present invention, there is provided a control method for a photographing apparatus including an imaging unit that converts a subject image into image data, and a display unit that can detect a touch operation, and the image data from the imaging unit. A storage step for detecting the movement of the subject based on the information, storing a history of the movement of the subject, a detection step for detecting whether or not the touch operation has been performed, and the detection step in which the touch operation has been performed. If detected , based on the movement history of the subject stored in the storage step, if the subject is stationary between the first fixed time and the second fixed time, it is determined by comparing adjacent areas. The AF area is determined, and when the subject has moved between the first fixed time and the second fixed time, a vector is used to determine the AF area. It has a determining step of determining, and a photographing step for focusing and release against the AF area determined in the determining step.
According to a fourth aspect of the present invention, there is provided a control method for a photographing apparatus including an imaging unit that converts a subject image into image data, and a display unit that can detect a touch operation, and the image data from the imaging unit. A storage step for detecting the movement of the subject based on the information, storing a history of the movement of the subject, a detection step for detecting whether or not the touch operation has been performed, and the detection step in which the touch operation has been performed. If detected , based on the movement history of the subject stored in the storage step, the AF area is determined by comparing adjacent areas if the subject has been stationary before a predetermined time. A determination step for determining the AF area using a vector when the subject has moved from before the predetermined time. If, having, a photographing step for focusing and release against the AF area determined in the determining step.

本発明によれば、タッチした際に被写体が動いている場合であっても、ユーザの意図する被写体にピントの合う撮影機器および撮影機器の制御方法を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, even if it is a case where a to-be-photographed object is moving when it touches, the imaging device and the control method of an imaging device which focus on the to-be-photographed object's intent can be provided.

本発明の第１実施形態に係わるデジタルカメラの構成を示す図であり、（ａ）は主として電気的構成を示すブロック図であり、（ｂ）は撮像素子の撮像面を分割したエリアの配置を示す平面図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a figure which shows the structure of the digital camera concerning 1st Embodiment of this invention, (a) is a block diagram which mainly shows an electrical structure, (b) is arrangement | positioning of the area which divided | segmented the imaging surface of the image pick-up element. FIG. 本発明の第１実施形態に係わるデジタルカメラの撮像動作を示すフローチャートである。It is a flowchart which shows the imaging operation of the digital camera concerning 1st Embodiment of this invention. 本発明の第１実施形態に係わるデジタルカメラにおいて、エリアごとの被写体の動きの変化を示すブロック図である。FIG. 4 is a block diagram illustrating changes in subject movement for each area in the digital camera according to the first embodiment of the present invention. 本発明の第１実施形態に係わるデジタルカメラにおいて、エリアごとの被写体の動きの変化を示すブロック図である。FIG. 4 is a block diagram illustrating changes in subject movement for each area in the digital camera according to the first embodiment of the present invention. 本発明の第２実施形態に係わるデジタルカメラの撮像動作を示すフローチャートである。It is a flowchart which shows the imaging operation of the digital camera concerning 2nd Embodiment of this invention. 本発明の第２実施形態に係わるデジタルカメラにおいて、エリアごとの被写体の動きの変化を示すブロック図である。It is a block diagram which shows the change of the motion of the to-be-photographed object for every area in the digital camera concerning 2nd Embodiment of this invention. 本発明の第３実施形態に係わるデジタルカメラの撮像動作を示すフローチャートである。It is a flowchart which shows the imaging operation of the digital camera concerning 3rd Embodiment of this invention. 本発明の第３実施形態に係わるデジタルカメラの探索の動作を示すフローチャートである。It is a flowchart which shows the operation | movement of the search of the digital camera concerning 3rd Embodiment of this invention. 本発明の第３実施形態に係るデジタルカメラにおいて、ベクトル計算から合焦までのタイミングチャートである。It is a timing chart from vector calculation to focusing in the digital camera concerning a 3rd embodiment of the present invention. 本発明の第３実施形態に係わるデジタルカメラにおいて、エリアごとの被写体の動きの変化を示すブロック図である。It is a block diagram which shows the change of the motion of the to-be-photographed object for every area in the digital camera concerning 3rd Embodiment of this invention. 本発明の第４実施形態に係わるデジタルカメラの撮像動作を示すフローチャートである。It is a flowchart which shows the imaging operation of the digital camera concerning 4th Embodiment of this invention.

以下、本発明を適用したデジタルカメラを用いて好ましい実施形態について説明する。本発明の好ましい実施形態に係わるデジタルカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面等に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。   Hereinafter, a preferred embodiment will be described using a digital camera to which the present invention is applied. A digital camera according to a preferred embodiment of the present invention has an imaging unit, and converts the subject image into image data by the imaging unit, and arranges the subject image on the back surface of the main body based on the converted image data. Live view is displayed on the display. The photographer determines the composition and the photo opportunity by observing the live view display.

また、表示部には、タッチパネル部が設けてあり、ユーザは構図やシャッタチャンスを決定すると、タッチパネル部をタッチする。タッチされるとタッチエリアにある被写体に対してピントや露出が合わされる。このときユーザがタッチするまでの遅延時間と、被写体の動きを考慮し、ユーザの意図する被写体が存在するＡＦエリアの画像データを用いて制御を行う。この後、シャッタレリーズ動作を行い、撮像部から出力された画像データを画像処理し、画像処理された画像データを記録媒体に記録する。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。   Further, the display unit is provided with a touch panel unit, and the user touches the touch panel unit when determining the composition and the photo opportunity. When touched, the subject in the touch area is focused and exposed. At this time, in consideration of the delay time until the user touches and the movement of the subject, control is performed using image data of the AF area where the subject intended by the user exists. Thereafter, a shutter release operation is performed, image data output from the imaging unit is subjected to image processing, and the image processed image data is recorded on a recording medium. The image data recorded on the recording medium can be reproduced and displayed on the display unit when the reproduction mode is selected.

（第１実施形態）
図１（ａ）は、本発明の第１実施形態に係るデジタルカメラの主として電気的構成を示すブロック図である。図１（ａ）において、レンズ１は、被写体像を形成するための光学レンズであり、フォーカスレンズやズームレンズ等を有する。 (First embodiment)
FIG. 1A is a block diagram mainly showing an electrical configuration of the digital camera according to the first embodiment of the present invention. In FIG. 1A, a lens 1 is an optical lens for forming a subject image, and includes a focus lens, a zoom lens, and the like.

レンズ１の光軸上であって被写体像が形成される付近には撮像素子３Ａを含む撮像部３が配置されている。撮像部３は、被写体像を撮像素子によって光電変換し、デジタル信号形式の画像データをバス１１に出力し、またＣＰＵ２１から制御信号等を入力する。画像データは、本実施形態においては、毎秒６０フレームが出力される。勿論、６０フレーム／秒よりも多くても少なくても構わない。   An imaging unit 3 including an imaging element 3A is disposed on the optical axis of the lens 1 and in the vicinity where a subject image is formed. The imaging unit 3 photoelectrically converts the subject image with the imaging device, outputs image data in a digital signal format to the bus 11, and receives a control signal and the like from the CPU 21. In this embodiment, image data is output at 60 frames per second. Of course, it may be more or less than 60 frames / second.

図１（ｂ）は、撮像素子３Ａの撮像面を分割して構成される複数のエリアを示す。本実施形態においては、撮像素子３Ａの撮像面は、（Ａ，ア）〜（Ｆ，オ）のエリア３Ａａに３０分割されている。各エリア３Ａａは小さい矩形をしており、各エリア３Ａａ内には多数の画素が二次元配置されており、各画素から光電変換信号が出力される。各エリア３Ａａは、ローカルベクトル計算エリアであり、ＡＦ（Auto Focus：自動焦点調節）に適した矩形サイズである。後述する追尾部１５が、ローカルベクトルとして、エリア３Ａａ内で移動する被写体（例えば、人物の顔等）の移動量と移動方向を演算する。この演算としては、撮像素子３Ａの各エリアから出力されるフレーム毎の画像を一致させるために必要とするシフト方向およびシフト量等を求める公知の方法による。このシフト方向およびシフト量の演算は、時間的に隣接する２つのフレームから各エリアを切り出し、この切り出したエリアを１画素分シフトさせて画素毎に差分の積算を行い、また２画素分シフトさせて画素毎に差分の積分を行い、順次、画素をシフトさせながら画素毎の差分の積分を行う。画素をシフトさせながら求めた積分値の中で最も小さくなるときのシフト方向およびシフト量を求めることによって、被写体の移動量と移動方向を求めることができる。さらに時間的に隣接する２つのフレームを順次、ずらしながら、この演算を繰り返すことによって、被写体を追尾することができる。   FIG. 1B shows a plurality of areas configured by dividing the imaging surface of the imaging device 3A. In the present embodiment, the imaging surface of the imaging device 3A is divided into 30 areas (A, A) to (F, E). Each area 3Aa has a small rectangular shape, and a large number of pixels are two-dimensionally arranged in each area 3Aa, and a photoelectric conversion signal is output from each pixel. Each area 3Aa is a local vector calculation area and has a rectangular size suitable for AF (Auto Focus). A tracking unit 15 to be described later calculates a moving amount and a moving direction of a subject (for example, a human face) moving within the area 3Aa as a local vector. This calculation is performed by a known method for obtaining a shift direction, a shift amount, and the like necessary for matching images for each frame output from each area of the image sensor 3A. The shift direction and shift amount are calculated by cutting out each area from two temporally adjacent frames, shifting the cut out area by one pixel, summing up the differences for each pixel, and shifting by two pixels. The difference is integrated for each pixel, and the difference is integrated for each pixel while sequentially shifting the pixels. By determining the shift direction and the shift amount when the integral value obtained while shifting the pixel is the smallest, the movement amount and the movement direction of the subject can be obtained. Furthermore, the subject can be tracked by repeating this calculation while sequentially shifting two temporally adjacent frames.

各エリア３Ａａの集合体３Ａｂは、大きい矩形をしており、グローバルベクトル計算エリアである。このグローバルベクトル計算エリアは、画面全体の移動量と移動方向を演算する。ユーザ等の手ブレにより、デジタルカメラ全体が動いた際の画面全体の動きを演算する。   The aggregate 3Ab of each area 3Aa has a large rectangle and is a global vector calculation area. This global vector calculation area calculates the movement amount and movement direction of the entire screen. The movement of the entire screen when the entire digital camera moves due to the hand shake of the user or the like is calculated.

上述のローカルベクトルおよびグローバルベクトルの演算にあたっては、撮像部３から出力される画像データの内の輝度情報や色差情報を用いて、後述する追尾部１５またはＣＰＵ２１が演算する。また、ローカルベクトルの演算用の各エリア３Ａａの矩形サイズや矩形の数は、ＣＰＵ２１によるソフトウエア処理能力や、画像処理部５のハードウエア回路規模や、ＤＲＡＭ帯域等の要件から処理可能に設定する。また、矩形サイズは、上述の要件以外にも、撮影者が意図する被写体によって、最適なサイズに決めるようにしてもよい。例えば、顔、鳥、虫、山等、被写体によって最適なサイズに設定すればよい。   In calculating the above-described local vector and global vector, the tracking unit 15 or the CPU 21 described below uses the luminance information and the color difference information in the image data output from the imaging unit 3. Further, the rectangular size and the number of rectangles of each area 3Aa for calculating the local vector are set so as to be processable according to the requirements of the software processing capability by the CPU 21, the hardware circuit scale of the image processing unit 5, the DRAM bandwidth, and the like. . In addition to the above requirements, the rectangular size may be determined as an optimum size depending on the subject intended by the photographer. For example, the optimal size may be set according to the subject, such as a face, a bird, an insect, a mountain, or the like.

図１（ａ）に戻り、画像処理部５は、撮像部３から出力された画像データや、メモリ２５に一時記憶された画像データ等を入力し、種々の画像処理を行い、バス１１に出力する。例えば、ホワイトバランス等の基本的な画像処理や、コントラスト情報の抽出や、画像データの圧縮や伸張処理や、ライブビュー表示用画像処理等を行う。   Returning to FIG. 1A, the image processing unit 5 inputs the image data output from the imaging unit 3, the image data temporarily stored in the memory 25, etc., performs various image processing, and outputs to the bus 11. To do. For example, basic image processing such as white balance, extraction of contrast information, image data compression and expansion processing, live view display image processing, and the like are performed.

表示部７は、カメラ本体の背面等に配置される液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ等を有し、バス１１を介して撮像部３からの画像データを入力し、ライブビュー表示や再生表示やメニュー表示等を行う。記録部９は、内蔵もしくは装填可能な記憶媒体を含み、画像データを記録し、また記録済みの画像データの読み出しを行う。   The display unit 7 includes a liquid crystal display (LCD), an organic EL display, and the like disposed on the back surface of the camera body. The display unit 7 inputs image data from the imaging unit 3 via the bus 11 and performs live view display or playback display. And menu display. The recording unit 9 includes a built-in or loadable storage medium, records image data, and reads recorded image data.

レンズ制御部１３は、バス１１を介してＣＰＵ２１や画像処理部５等に接続され、またレンズ１内のフォーカスレンズの駆動制御を行う。レンズ制御部１３は、画像処理部５によって抽出された画像データのコントラストがピーク値となるように、ＣＰＵ２１の制御の下で、フォーカスレンズを駆動する。これによってレンズ１のピント合わせを行う。   The lens control unit 13 is connected to the CPU 21, the image processing unit 5, and the like via the bus 11 and performs drive control of the focus lens in the lens 1. The lens control unit 13 drives the focus lens under the control of the CPU 21 so that the contrast of the image data extracted by the image processing unit 5 has a peak value. Thus, the lens 1 is focused.

追尾部１５は、バス１１を介して画像処理部５やＣＰＵ２１等に接続され、被写体の追尾を行う。ここで、追尾動作は、追尾対象と被写体が移動しても、その被写体の追跡し、移動先でピントを合わせまた露光も適正露光となるようにする公知の動作をいう。追尾方法としては、例えば、フレーム毎に各エリア３Ａａからの画像を比較し、その移動先を追跡する。この追尾のために、前述したローカルベクトルやグローバルベクトル等の演算を行う（但し、一部または全部をＣＰＵ２１によって行っても構わない）。また、各エリア３Ａａのローカルベクトル、または後述するように（図３を用いて説明する）、各エリア３Ａａにおける現在の画像データと所定時間前の画像データを比較に基づいて、各エリア３Ａａ内の被写体が動いているか静止しているかを判定し、判定結果をメモリ２５に記憶する。   The tracking unit 15 is connected to the image processing unit 5 and the CPU 21 through the bus 11 and tracks the subject. Here, the tracking operation is a known operation in which even if the tracking target and the subject move, the subject is tracked, the focus is adjusted at the moving destination, and the exposure is also set to the appropriate exposure. As a tracking method, for example, images from each area 3Aa are compared for each frame, and the movement destination is tracked. For this tracking, the above-described operations such as local vectors and global vectors are performed (however, part or all of them may be performed by the CPU 21). In addition, based on the comparison between the local vector of each area 3Aa or the current image data in each area 3Aa and the image data of a predetermined time, as will be described later (described with reference to FIG. 3), It is determined whether the subject is moving or stationary, and the determination result is stored in the memory 25.

タッチパネル部１７は、表示部７の液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ等の表示ディスプレイの前面に配置され、もしくは表示ディスプレイと一体に構成され、ユーザが指等で表示部７の表示画面をタッチしたことを検出し、タッチ検知信号をバス１１に出力する。タッチ検知信号は、タッチ位置を示すので、ユーザがどこのエリアをタッチしたか、またスライド操作を行った場合の始点や終点等を検知することができる。また、タッチパネル部１７のタッチ面は、複数のエリアに分割されており、ユーザが何れのエリアをタッチ操作したかを検知可能である。   The touch panel unit 17 is arranged on the front surface of a display display such as a liquid crystal display (LCD) or an organic EL display of the display unit 7 or is configured integrally with the display display, and the user touches the display screen of the display unit 7 with a finger or the like. The touch detection signal is output to the bus 11. Since the touch detection signal indicates a touch position, it is possible to detect which area the user has touched, and a start point or an end point when a slide operation is performed. Further, the touch surface of the touch panel unit 17 is divided into a plurality of areas, and it is possible to detect which area the user has touched.

ＣＰＵ２１は、中央処理装置（Central Processing Unit）であり、メモリ２５に記憶されたプログラムに従ってデジタルカメラ全体制御を行う。例えば、タッチパネル部１７がユーザによってタッチ操作されると、撮像部３からの画像データに基づいて検出した被写体像の動きに従って、ピントや露出を合わせる被写体を決定する決定部としての機能を果たす。また、タッチパネル部１７へのタッチ操作の一定時間前からの被写体の動きに基づいて、レンズ１のピント合わせの対象とするＡＦエリアを決定する決定部としても機能する。また、決定された被写体に対して、画像処理部５によって抽出したコントラスト情報に基づいてレンズ１のフォーカスレンズを駆動してピント合わせを行わせる自動焦点調節部として機能を果たす。   The CPU 21 is a central processing unit and performs overall control of the digital camera according to a program stored in the memory 25. For example, when the touch panel unit 17 is touched by the user, the touch panel unit 17 functions as a determination unit that determines a subject to be focused or exposed according to the movement of the subject image detected based on the image data from the imaging unit 3. Further, it also functions as a determination unit that determines an AF area to be focused on by the lens 1 based on the movement of the subject from a predetermined time before the touch operation on the touch panel unit 17. Also, it functions as an automatic focus adjustment unit that drives the focus lens of the lens 1 based on the contrast information extracted by the image processing unit 5 to focus on the determined subject.

タイマ２３は、計時動作を行う。例えば、ＣＰＵ２１より、計時スタート信号を受けてから予め決められている一定時間が経過した場合には、経過情報をＣＰＵ２１に出力する。   The timer 23 performs a time measuring operation. For example, when a predetermined time has elapsed after receiving a time measurement start signal from the CPU 21, the progress information is output to the CPU 21.

メモリ２５は、フラッシュメモリ等の電気的書き換え可能な不揮発性メモリや、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の電気的書き換え可能な揮発性メモリを含む。メモリ２５は、前述したＣＰＵ２１を動作させるためのプログラムの他に、工場出荷時の各種調整値を記憶している。また、撮像部３から出力される画像データを一時記憶する。本実施形態においては、直近の０．５秒間の画像データが記憶されている（６０ｆｐｓであることから、３０フレーム分の画像データが記憶される）。また、前述したように、追尾部１５はエリア３Ａａごとに被写体が動いているか静止しているかを判定するので、この判定結果の履歴を記憶する。   The memory 25 includes an electrically rewritable nonvolatile memory such as a flash memory, and an electrically rewritable volatile memory such as a DRAM (Dynamic Random Access Memory) and an SDRAM (Synchronous Dynamic Random Access Memory). The memory 25 stores various adjustment values at the time of factory shipment in addition to the above-described program for operating the CPU 21. In addition, image data output from the imaging unit 3 is temporarily stored. In the present embodiment, the latest image data for 0.5 seconds is stored (the image data for 30 frames is stored because it is 60 fps). Further, as described above, since the tracking unit 15 determines whether the subject is moving or stationary for each area 3Aa, the history of the determination result is stored.

次に、本実施形態の動作を図２ないし図４を用いて説明する。まず、図３を用いて、被写体の一例とその時のピント合わせについて説明する。図３において、縦軸は時間の変化を表し、時刻Ｔ０は現在であり、時刻Ｔ１は０．１秒前、時刻Ｔ２は０．３秒前、時刻Ｔ３は０．５秒前である。撮像素子３Ａは、（Ａ，ア）〜（Ｅ，エ）の２０分割されている（図１（ｂ）では、３０分割されていたが、ここでは２０分割の例を示す）。   Next, the operation of this embodiment will be described with reference to FIGS. First, an example of a subject and focusing at that time will be described with reference to FIG. In FIG. 3, the vertical axis represents a change in time, the time T0 is the current time, the time T1 is 0.1 seconds ago, the time T2 is 0.3 seconds ago, and the time T3 is 0.5 seconds ago. The image sensor 3A is divided into 20 parts (A, A) to (E, D) (in FIG. 1B, it is divided into 30 parts, but here, an example of 20 parts is shown).

追尾部１５は、一定時間まである時刻T３を基準として、時刻Ｔ３と時刻Ｔ１における画像データをエリア毎に比較し、各エリアにおいて被写体が動いているか静止しているかを判定する。同様に、時刻Ｔ３と時刻Ｔ２における画像データを、また時刻Ｔ３と時刻Ｔ０における画像データをエリア毎に比較し、各エリアにおいて被写体が動いているか静止しているかを判定する。なお、時刻Ｔ３を基準時刻として、各エリアにおいて被写体が動いているか静止しているかを判定するに限らず、例えば、時刻Ｔ０（現在）を基準として時刻Ｔ１、Ｔ２、Ｔ３とそれぞれ比較するようにしてもよい。   The tracking unit 15 compares the image data at the time T3 and the time T1 for each area on the basis of the time T3 up to a certain time, and determines whether the subject is moving or stationary in each area. Similarly, the image data at time T3 and time T2 and the image data at time T3 and time T0 are compared for each area to determine whether the subject is moving or stationary in each area. Note that the time T3 is used as a reference time, and it is not limited to determining whether the subject is moving or stationary in each area. For example, the time T0 (current) is used as a reference and compared with the times T1, T2, and T3. May be.

図３に示す例では、時刻Ｔ３においては撮像素子３Ａの全エリア（Ａ，ア）〜（Ｅ，エ）の被写体は静止しており、時刻Ｔ２においてはエリア（Ｂ，ウ）のみ動き他のエリアは静止しており、時刻Ｔ１においてはエリア（Ｃ，イ）、（Ｄ，イ）、（Ｂ，ウ）のみ動き他のエリアは静止している。   In the example shown in FIG. 3, the subjects in all areas (A, A) to (E, D) of the image sensor 3A are stationary at time T3, and only the area (B, C) moves at time T2. The area is stationary, and at time T1, only the areas (C, A), (D, A), (B, C) move and the other areas are stationary.

今、時刻Ｔ０において、ユーザがエリア（Ｄ，ウ）にタッチ操作したとする。目で認識してから実際にタッチするまでに、約０．５秒程度の遅延があることから、ユーザは時刻Ｔ３（０．５秒前）においてエリア（Ｄ，ウ）にあった被写体を意図してタッチしたと思われる。図３に示した例では、時刻Ｔ３においてエリア（Ｄ，ウ）にあった被写体は、時刻Ｔ２、Ｔ１、Ｔ０においても移動することがなく、静止したままであることから、タッチしたエリアの座標（Ｄ，ウ）に対して、合焦動作を行うと共に、適正露光となるように制御し、レリーズ動作を行う。   Assume that the user touches the area (D, C) at time T0. Since there is a delay of about 0.5 seconds from when the eye is recognized to when it is actually touched, the user intends the subject in the area (D, C) at time T3 (0.5 seconds before). I think it touched. In the example shown in FIG. 3, the subject in the area (D, C) at the time T3 does not move at the times T2, T1, and T0 and remains stationary. A focusing operation is performed on (D, C), and a release operation is performed by controlling so as to achieve an appropriate exposure.

このように、図３に示す例では、タッチしたエリアの被写体が動いていたか静止していたかを判定し、判定の結果、静止していた場合には、タッチしたエリアに合焦を行い、そのままレリーズ動作を行っている。   In this way, in the example shown in FIG. 3, it is determined whether the subject in the touched area was moving or stationary. If the result of the determination is that the subject is stationary, the touched area is focused and remains as it is. Release operation is being performed.

次に、図４を用いて、被写体の他の例とその時のピント合わせについて説明する。図３の例では、タッチエリアの被写体が静止していたが、図４の例では、タッチエリアの被写体が移動している例である。図４においても、図３と同様に、縦軸は時間の変化を表し（時刻Ｔ０〜時刻Ｔ３）、撮像素子３Ａはエリア（Ａ，ア）〜（Ｅ，エ）から構成される。   Next, another example of the subject and focusing at that time will be described with reference to FIG. In the example of FIG. 3, the subject in the touch area is stationary, but in the example of FIG. 4, the subject in the touch area is moving. 4, as in FIG. 3, the vertical axis represents a change in time (time T0 to time T3), and the image sensor 3A includes areas (A, A) to (E, D).

図４における例においても、画像処理部５は、時刻Ｔ３を基準時刻とし、時刻Ｔ３と時刻Ｔ１における画像データを、時刻Ｔ３と時刻Ｔ２における画像データを、また時刻Ｔ３と時刻Ｔ０における画像データをエリア毎に比較し、各エリアにおいて被写体が動いているか静止しているかを判定する。   Also in the example in FIG. 4, the image processing unit 5 uses time T3 as a reference time, image data at time T3 and time T1, image data at time T3 and time T2, and image data at time T3 and time T0. Comparison is made for each area to determine whether the subject is moving or stationary in each area.

今、時刻Ｔ０において、ユーザがエリア（Ｃ，ウ）にタッチ操作したとする。前述したように、目で認識してから実際にタッチするまでに、約０．５秒程度の遅延があることから、ユーザは時刻Ｔ３（０．５秒前）においてエリア（Ｃ，ウ）にあった被写体を意図してタッチしたと思われる。図４に示した例では、時刻Ｔ３においてエリア（Ｃ，ウ）にあった被写体は、時刻Ｔ２、Ｔ１（少なくとも、０．５秒前〜０．１秒前までの間）において静止していたが、時刻Ｔ１からＴ０の間（０．１秒前〜現在までの間）で動き、エリア（Ｄ，ウ）に移動している。そこで、移動先のエリアの座標（Ｄ，ウ）（ＡＦエリアともいう）に対して、合焦動作を行うと共に、適正露光となるように制御し、レリーズ動作を行う。   Assume that the user touches the area (C, C) at time T0. As described above, since there is a delay of about 0.5 seconds from the recognition by the eye to the actual touch, the user moves to the area (C, C) at time T3 (0.5 seconds before). It seems to have touched the intended subject. In the example shown in FIG. 4, the subject that was in the area (C, C) at time T3 was stationary at times T2 and T1 (at least between 0.5 seconds and 0.1 seconds before). Moves from time T1 to T0 (from 0.1 seconds ago to the present) and moves to the area (D, c). Therefore, a focusing operation is performed on the coordinates (D, C) (also referred to as AF area) of the destination area, and a release operation is performed by controlling so as to achieve proper exposure.

このように、図４に示す例では、タッチしたエリアの被写体が少し前まで静止していたかを判定し、直前までいたエリアの被写体に合焦動作等を行い、レリーズ動作を行っている。すなわち、タッチエリア（Ｃ，ウ）に直前である時刻Ｔ１まで静止していた被写体に対して合焦動作等を行うようにするために、視覚の遅延と被写体の移動を考慮して、ＡＦ検出用のエリアをタッチエリア（Ｃ，ウ）からＡＦエリア（Ｄ，ウ）に変更している。   In this way, in the example shown in FIG. 4, it is determined whether the subject in the touched area has been stopped a little before, and the subject in the area just before is focused and the release operation is performed. That is, AF detection is performed in consideration of visual delay and subject movement in order to perform a focusing operation or the like on the subject that has been stationary until the time T1 immediately before the touch area (C, C). The area for use is changed from the touch area (C, C) to the AF area (D, C).

次に、図２に示すフローチャートを用いて、本実施形態の動作を説明する。このフローは、メモリ２５に記憶されたプログラムに従ってＣＰＵ２１が実行する。撮像動作が開始すると、このフローが開始する。まず、タッチパネル部１７がタッチされたか否かを判定する（Ｓ１）。撮像動作が開始されると、撮像部３から画像データが毎秒６０フレームの割合で出力され、この画像データに基づいて、表示部７にライブビュー表示がなされる。このステップでは、ユーザが表示部７の表示画面をタッチしたか否かについて、タッチパネル部１７からのタッチ検知信号に基づいて判定する。   Next, the operation of this embodiment will be described using the flowchart shown in FIG. This flow is executed by the CPU 21 in accordance with the program stored in the memory 25. When the imaging operation starts, this flow starts. First, it is determined whether or not the touch panel unit 17 has been touched (S1). When the imaging operation is started, image data is output from the imaging unit 3 at a rate of 60 frames per second, and live view display is performed on the display unit 7 based on the image data. In this step, whether or not the user has touched the display screen of the display unit 7 is determined based on the touch detection signal from the touch panel unit 17.

ステップＳ１における判定の結果、タッチされていなかった場合には、各ローカルエリア領域のモニタ結果を記録する（Ｓ３）。前述したように、エリア３Ａａ毎に被写体が動いていたか静止していたかについて判定し、この判定結果をメモリ２５に記録する。また、直近の０．５秒に相当する画像データ（３０フレーム分）を、メモリ２５に更新しながら一時記憶する。ステップＳ３において、画像データの記録と、エリア毎の被写体の静止／動きの記録を行うと、ステップＳ１に戻る。   If the result of determination in step S1 is that it has not been touched, the monitor result of each local area area is recorded (S3). As described above, it is determined whether the subject is moving or stationary for each area 3Aa, and the determination result is recorded in the memory 25. In addition, image data (30 frames) corresponding to the latest 0.5 seconds is temporarily stored in the memory 25 while being updated. In step S3, when image data is recorded and still / motion of the subject for each area is recorded, the process returns to step S1.

ステップＳ１における判定の結果、タッチがなされた場合には、次に、タッチしたエリアの被写体は動いたか否かを判定する（Ｓ７）。ステップＳ３において、フレーム毎にエリア毎の被写体の静止／動きの履歴が記録されている。このステップでは、この履歴を用いて、タッチされた座標に属するエリアにおいて、被写体が動いたか、それとも静止したままであったかを判定する。判定にあたって、履歴で残っている全ての時刻において動いていなければＮｏと判定され、少なくとも一つの時刻で動いていれば、Ｙｅｓと判定される。   If the result of determination in step S1 is that a touch has been made, it is next determined whether or not the subject in the touched area has moved (S7). In step S3, the history of the stillness / movement of the subject for each area is recorded for each frame. In this step, it is determined using this history whether the subject has moved or remained stationary in the area belonging to the touched coordinates. In the determination, if it is not moving at all times remaining in the history, it is determined No, and if it is moving at at least one time, it is determined Yes.

ステップＳ７における判定の結果、タッチしたエリアの被写体が動いた場合には、次に、タッチ前の第１の一定時間、止まっていたか否かを判定する（Ｓ９）。ここでは、ステップＳ３において一時記憶された直近の所定時間の画像データを用いて、タッチ前の第１の一定時間の間、止まっていたか否かを判定する。本実施形態においては、第１の一定時間は、０．５秒であり、現在（Ｔ０）から０．５秒前（Ｔ３）までの間、タッチされたエリアの被写体が静止していたか否かを判定する。図３を用いて説明した例では、０．５秒前から現在までの間（第１の一定時間）、静止していたことからＹｅｓと判定される。一方、図４を用いて説明した例では、０．５秒前から０．１秒前までの間は静止していたが、０．１秒前から現在までの間は動いていることから、Ｎｏと判定される。   If the result of determination in step S7 is that the subject in the touched area has moved, it is next determined whether or not the subject has stopped for a first fixed time before touching (S9). Here, it is determined whether or not the image data has been stopped for the first predetermined time before the touch using the image data of the latest predetermined time temporarily stored in step S3. In the present embodiment, the first fixed time is 0.5 seconds, and whether or not the subject in the touched area has been stationary from the present (T0) to 0.5 seconds before (T3). Determine. In the example described with reference to FIG. 3, it is determined as Yes because it has been stationary from 0.5 seconds before to the present time (first fixed time). On the other hand, in the example described with reference to FIG. 4, it was stationary from 0.5 seconds before to 0.1 seconds ago, but it is moving from 0.1 seconds before to the present. No is determined.

ステップＳ９における判定の結果、タッチ前一定時間止まっていなかった場合には、タッチしたエリアに直前までいた被写体を追尾する（Ｓ１１）。ここでは、ユーザがタッチしたエリアにいた被写体は、移動したことから、この被写体を追尾する。例えば、図４に示した例のように、タッチエリア（Ｃ，ウ）に時刻Ｔ３〜Ｔ１まで静止していた被写体を追尾する。追尾方法としては、ローカルベクトルを追尾部１５によって演算し、追尾するようにしてもよいが、タッチされたエリアの画像データと当該エリアに隣接するエリアの画像データを比較することにより、移動方向と移動量を求めて、追尾するようにしてもよい。この追尾した被写体が存在するエリアをＡＦエリアとする。   If the result of determination in step S9 is that it has not stopped for a certain period of time before touching, the subject that has been in the touched area is tracked (S11). Here, since the subject that was in the area touched by the user has moved, the subject is tracked. For example, as in the example shown in FIG. 4, the subject that has been stationary in the touch area (C, C) from time T3 to T1 is tracked. As a tracking method, the local vector may be calculated by the tracking unit 15 and tracked. However, by comparing the image data of the touched area with the image data of the area adjacent to the area, the moving direction can be determined. The amount of movement may be obtained and tracked. The area where the tracked subject exists is defined as an AF area.

ステップＳ７における判定の結果、Ｎｏであった場合、またはステップＳ９における判定の結果、Ｙｅｓであった場合、またはステップＳ１１において被写体を追尾すると、次に、合焦しレリーズを行う（Ｓ２１）。ステップＳ７における判定がＮｏであった場合と、ステップＳ９における判定がＹｅｓであった場合には、タッチされたエリアに、ユーザの意図する被写体が静止状態で存在することから、このエリアに対して合焦動作を行う。一方、ステップＳ１１において被写体追尾した場合には、この追尾された被写体の存在するＡＦエリアに対して合焦動作を行う。   If the result of determination in step S7 is No, or if the result of determination in step S9 is Yes, or if the subject is tracked in step S11, then in-focus and release is performed (S21). If the determination in step S7 is No and the determination in step S9 is Yes, the subject intended by the user exists in a stationary state in the touched area. Perform focusing operation. On the other hand, when the subject is tracked in step S11, the focusing operation is performed on the AF area where the tracked subject exists.

ステップＳ２１において行う合焦動作は、選択されたエリアからの画像データを用いて、コントラスＡＦによるピント合わせを行う。また、選択されたエリアからの画像データを用いて、被写体輝度を算出し、適正露光となるように露出制御値を演算する。合焦動作と露出制御値の演算が終わると、レリーズ動作を行う。レリーズ動作が終わると、このフローを終了する。   The focusing operation performed in step S21 performs focusing by contrast AF using image data from the selected area. Also, the subject brightness is calculated using the image data from the selected area, and the exposure control value is calculated so as to achieve proper exposure. When the calculation of the focusing operation and the exposure control value is completed, the release operation is performed. When the release operation ends, this flow ends.

このように、本発明の第１実施形態においては、ユーザがタッチしようと思ってから実際にタッチするまでの遅延時間（第１の一定時間）を考慮し、タッチされたエリアについて、遅延期間の被写体の動きを判定し、合焦動作を行うエリアを選択するようにしている。このため、動きのある被写体に対しても、ユーザの意図する被写体に対してピント合わせを行うことができる。   As described above, in the first embodiment of the present invention, the delay time (first constant time) from when the user wants to touch to when the user actually touches is taken into consideration, the delay period of the touched area is changed. The movement of the subject is determined, and an area for performing the focusing operation is selected. For this reason, it is possible to focus on a subject intended by the user even for a moving subject.

また、本実施形態のフローのステップＳ３において、１フレーム分の画像データが出力される度にエリア毎に被写体の静止／動きの判定結果をメモリ２５に記憶しておき、ステップ７において、ステップＳ３で記憶された履歴を用いて、タッチされたエリアに動いた被写体があったか否かを判定している。このため、タッチパネル部１７がタッチされた際に、迅速に判定を行うことができる。   In step S3 of the flow of the present embodiment, the determination result of the stillness / movement of the subject is stored in the memory 25 for each area every time image data for one frame is output. Is used to determine whether or not there is a moving subject in the touched area. For this reason, when touch panel part 17 is touched, it can judge quickly.

また、本実施形態のフローのステップＳ９においては、エリア３Ａａにおける被写体の静止／動きを判定するにあたって、現在と、０．１秒前、０．３秒前、０．５秒前の各画像データをそれぞれ比較することにより、０．１秒前に動いていたか、０．３秒前に動いていたか、０．５秒前に動いていたかを、判定するようにしている。このため、演算時間を短縮することが可能となる。   In step S9 of the flow of the present embodiment, the current, 0.1 second, 0.3 second, and 0.5 second previous image data are determined when determining the stillness / movement of the subject in the area 3Aa. Are respectively determined to determine whether they have moved 0.1 seconds ago, 0.3 seconds ago, or 0.5 seconds ago. For this reason, it becomes possible to shorten calculation time.

また、前述したように、ＣＰＵ２１は、ピント合わせを行う被写体を決定する決定部としての機能を有し、この決定部は、タッチ操作の遅延時間（第１の一定時間）前にタッチされたエリアにいた被写体にピント合わせをする（図２のＳ９参照）。また、この決定部は、タッチしたエリアに、一定時間前から現在までいた被写体にピント合わせを行う（図２の９参照、図３参照）。   Further, as described above, the CPU 21 has a function as a determination unit that determines a subject to be focused, and this determination unit is an area touched before a delay time (first fixed time) of the touch operation. The subject that was in the camera is focused (see S9 in FIG. 2). In addition, the determination unit focuses on the subject that has been in the touched area from a certain time before to the present (see 9 in FIG. 2 and FIG. 3).

（第２実施形態）
次に、本発明の第２実施形態について、図５および図６を用いて説明する。第１実施形態においては、タッチエリアに、第１の一定時間の間、静止している被写体があるか否かを判定し、被写体が移動していた場合には、その被写体を追尾するようにしていた。これに対して、第２実施形態においては、タッチエリアに、さらに第２の一定時間（第１の一定時間＜第２の一定時間）より前に静止していた被写体があったか否かを判定し、この結果に応じて追尾方法を変えている。 (Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIGS. In the first embodiment, it is determined whether or not there is a stationary object in the touch area for the first predetermined time. If the object has moved, the subject is tracked. It was. On the other hand, in the second embodiment, it is determined whether or not there is an object still in the touch area before the second certain time (first certain time <second certain time). The tracking method is changed according to this result.

本実施形態における構成は、第１実施形態に係る図１に示したブロック図と同様であることから、詳しい説明は省略する。本実施形態の動作について、先に図６を用いて説明する。この図６に示す例は、第２の一定時間より前から動いていた被写体が有る場合の追尾方法を示す。図３、図４においては、縦軸に時間をとっていたが、図６では、横軸に時間をとっている。時刻Ｔ０は現在の時刻（タッチした時刻）を示し、時刻Ｔ１１は２８フレーム前に相当する時刻であり、時刻Ｔ１２は２９フレーム前に相当する時刻であり、時刻Ｔ１３は３０フレーム前（約０．５秒前）に相当する時刻である。   Since the configuration in the present embodiment is the same as the block diagram shown in FIG. 1 according to the first embodiment, detailed description thereof is omitted. The operation of this embodiment will be described with reference to FIG. The example shown in FIG. 6 shows a tracking method when there is a subject that has moved from before the second fixed time. In FIGS. 3 and 4, the vertical axis represents time, but in FIG. 6, the horizontal axis represents time. The time T0 indicates the current time (touched time), the time T11 is a time corresponding to 28 frames before, the time T12 is a time corresponding to 29 frames before, and the time T13 is 30 frames before (about 0. This is the time corresponding to 5 seconds ago.

時刻Ｔ０において、エリア（Ｂ，ウ）（図中のＰの位置）をタッチしたとする。本実施形態においても、ユーザがタッチしようと思ってから実際にタッチするまでの遅延時間として、約０．５秒かかるとする。この遅延時間に相当する時刻Ｔ１３（タッチの０．５秒前）において、エリア（Ｂ，ウ）にいた被写体は、時刻Ｔ１２、Ｔ１３においてはエリア（Ｃ，イ）に移動し、さらに時刻Ｔ０（現在）にはエリア（Ｅ，イ）（図中のＱの位置）に移動する。この被写体の移動は、追尾部１５においてローカルベクトルを演算することにより、追跡することが可能である。   It is assumed that the area (B, C) (position P in the drawing) is touched at time T0. Also in this embodiment, it is assumed that it takes about 0.5 seconds as a delay time from when the user wants to touch to when the user actually touches. At time T13 (0.5 seconds before touch) corresponding to this delay time, the subject in area (B, C) moves to area (C, A) at time T12, T13, and further to time T0 ( At present, it moves to area (E, b) (position Q in the figure). The movement of the subject can be tracked by calculating a local vector in the tracking unit 15.

本実施形態においては、タッチ前の第１の一定時間（例えば、０．５秒）内に静止していなかった場合であって、さらにタッチ前の第２の一定時間（例えば、０．１秒）より前まで止まっていた場合には、隣接エリアにおいて追尾を行う。一方、タッチ前の第２の一定時間より前から動いていた場合には、図６を用いて説明したようにローカルベクトルを用いて被写体の追尾を行う。   In the present embodiment, it is a case where the user does not stand still within a first fixed time (for example, 0.5 seconds) before touching, and further, a second fixed time (for example, 0.1 seconds before touching). If it has stopped before, track in the adjacent area. On the other hand, if it has moved from before the second fixed time before the touch, the subject is tracked using the local vector as described with reference to FIG.

次に、図５に示すフローチャートを用いて、本実施形態の動作を説明する。このフローは、第１実施形態と同様に、メモリ２５に記憶されたプログラムに従ってＣＰＵ２１が実行する。   Next, the operation of this embodiment will be described using the flowchart shown in FIG. This flow is executed by the CPU 21 in accordance with the program stored in the memory 25, as in the first embodiment.

撮像動作が開始すると、このフローが開始する。まず、タッチされたか否かを判定し（Ｓ１）、判定の結果、タッチされなかった場合には、各ローカルエリア領域のモニタ結果を記録し（Ｓ３）、ステップＳ１に戻る。ステップＳ１の判定の結果、タッチされた場合には、タッチしたエリアの被写体は動いたか否かを判定する（Ｓ７）。この判定の結果、Ｙｅｓであった場合には、タッチ前第１の一定時間止まっていたか否かを判定する（Ｓ９）。上述のステップＳ１〜Ｓ９までの各ステップでの処理は、第１実施形態に係る図２に示したフローと同様であることから詳しい説明は省略する。   When the imaging operation starts, this flow starts. First, it is determined whether or not it has been touched (S1). If the result of determination is that it has not been touched, monitor results for each local area area are recorded (S3), and the process returns to step S1. If the result of determination in step S1 is touch, it is determined whether or not the subject in the touched area has moved (S7). If the result of this determination is Yes, it is determined whether or not the first fixed time before touching has been stopped (S9). Since the processing in each step from the above-described steps S1 to S9 is the same as the flow shown in FIG. 2 according to the first embodiment, detailed description thereof is omitted.

ステップＳ９における判定の結果、タッチ前の第１の一定時間止まっていなかった場合には、次に、タッチ前、第２の一定時間より前は止まっていたか否かを判定する（Ｓ１３）。本実施形態においては、第１の一定時間は０．５秒であり、第２の一定時間は０．１秒であることから、タッチの０．５秒〜０．１秒前の間にタッチされたエリアの被写体が静止していたか否かを判定する。この判定にあたっては、ステップＳ３において記憶したモニタ結果を利用してもよく、また、図３，４を用いて説明した現在の画像データと、０．１秒、０．３秒、０．５秒前の各画像データとそれぞれ比較することによって行ってもよい。   If the result of determination in step S9 is that it has not stopped for the first fixed time before touching, it is next determined whether or not it has stopped before touching and before the second fixed time (S13). In the present embodiment, since the first certain time is 0.5 seconds and the second certain time is 0.1 seconds, the touch is performed between 0.5 seconds and 0.1 seconds before the touch. It is determined whether or not the subject in the designated area is stationary. In this determination, the monitor result stored in step S3 may be used, and the current image data described with reference to FIGS. 3 and 4 and 0.1 seconds, 0.3 seconds, 0.5 seconds. You may carry out by comparing with each previous image data.

ステップＳ１３における判定の結果、Ｙｅｓであった場合には、タッチしたエリアに第２の一定時間より前からいた被写体を追尾する（Ｓ１５）。タッチしたエリアに０．５秒前から０．１秒前までは、被写体が静止していたことから、この被写体を追尾する。追尾にあたっては、ローカルベクトルを用いて、図６で説明しように、追尾を行ってもよいが、本実施形態においては、０．５秒前にタッチした際の画像データと、現在のタッチしたエリアの隣接エリアの画像データを比較することにより、被写体が隣接のいずれのエリアにいるかを判定することによって追尾を行う。被写体はタッチ直前に動いたことから、タッチエリアの隣接エリアに存在する確率が高く、またローカルベクトルを用いて追尾するよりは短時間で追尾を行うことが可能となる。   If the result of determination in step S13 is Yes, the subject that has been in the touched area before the second predetermined time is tracked (S15). Since the subject has been stationary in the touched area from 0.5 seconds to 0.1 seconds ago, the subject is tracked. In tracking, as described with reference to FIG. 6, tracking may be performed using a local vector. However, in this embodiment, image data when touched 0.5 seconds ago and the current touched area are used. Tracking is performed by comparing the image data of adjacent areas to determine which area the subject is adjacent to. Since the subject moved immediately before touching, the probability of being present in an area adjacent to the touch area is high, and tracking can be performed in a shorter time than tracking using a local vector.

一方、ステップＳ１３における判定の結果、Ｎｏであった場合には、第１の一定時間前にタッチしたエリアに存在した被写体を追尾する（Ｓ１７）。ステップＳ１３における判定結果がＮｏであったことから、第２の一定時間前（本実施形態においては０．１秒より前）から動いていたことから、タッチエリアの隣接エリアより離れたエリアに移動している可能性がある。そこで、追尾部１５が、図６を用いて説明したように、各フレームの画像データを用いて、被写体の追尾を行い、現在、いずれのフレーム被写体が存在するかを求める。   On the other hand, if the result of determination in step S13 is No, the subject existing in the area touched before the first predetermined time is tracked (S17). Since the determination result in step S13 was No, the movement was made from the second predetermined time before (before 0.1 seconds in the present embodiment), so the movement to an area away from the adjacent area of the touch area There is a possibility. Therefore, as described with reference to FIG. 6, the tracking unit 15 tracks the subject by using the image data of each frame, and obtains which frame subject currently exists.

ステップＳ７における判定の結果Ｎｏであった場合、またはステップＳ９における判定の結果Ｙｅｓであった場合、またはステップＳ１５またはＳ１７において被写体の追尾を行うと、第１実施形態と同様に、合焦しレリーズを行う（Ｓ２１）。合焦動作およびレリーズ動作を行うと、このフローを終了する。   If the result of determination in step S7 is No, if the result of determination in step S9 is Yes, or if tracking of the subject is performed in step S15 or S17, in-focus release as in the first embodiment. (S21). When the focusing operation and the release operation are performed, this flow is finished.

このように、本発明の第２実施形態においては、第１の一定時間（本実施形態では０．５秒）前から第２の一定時間（本実施形態では０．１秒）前までの間、タッチエリアの被写体が静止していた場合と、第２の一定時間前からタッチエリアの被写体が動いていた場合で、ステップＳ１５とＳ１７において追尾方法を変えている。このため、タッチした時点（現在）から第１の一定時間前までの間での被写体の動きに応じて適切な追尾方法を選択することが可能となる。   As described above, in the second embodiment of the present invention, the period from the first predetermined time (0.5 seconds in the present embodiment) to the second predetermined time (0.1 seconds in the present embodiment). The tracking method is changed in steps S15 and S17 when the subject in the touch area is stationary and when the subject in the touch area has moved since the second predetermined time. For this reason, it becomes possible to select an appropriate tracking method according to the movement of the subject from the time of touching (current) to the first predetermined time.

また、前述したように、ＣＰＵ２１は、ピント合わせを行う被写体を決定する決定部としての機能を有し、この決定部は、タッチしたエリアに、一定時間前まで存在していた被写体にピント合わせを行う（Ｓ１５参照）。   Further, as described above, the CPU 21 has a function as a determination unit that determines a subject to be focused, and this determination unit focuses on a subject that has existed in a touched area until a predetermined time ago. Perform (see S15).

なお、本実施形態においては、第１の一定時間を０．５秒とし、第２の一定時間を０．１秒としていたが、これに限らず、他の時間であってもよいが、第１の一定時間は、ユーザがタッチしようと思ってから実際にタッチするまでの遅延時間程度であればよく、第２の一定時間は、第１の一定時間よりも短時間であればよい。第１および第２の一定時間は、ユーザの特性に合わせて変更するようにしてもよい。また、図６を用いて説明した追尾方法（図５ではＳ１７）において、フレーム毎に出力される画像データを用いて、追尾を行っていたが、これに限らず、２フレーム毎でも、３フレーム毎でも適宜変更してもよい。また、第２の一定時間より前に止まっていた場合には、隣接エリアにおける追尾に限定することなく、図６を用いて説明したようなローカルベクトルの積算による隣接エリアを越えての追尾を行っても勿論かまわない。   In the present embodiment, the first fixed time is 0.5 seconds and the second fixed time is 0.1 seconds. However, the present invention is not limited to this. The certain time of 1 may be about a delay time from when the user wants to touch until the user actually touches, and the second certain time may be shorter than the first certain time. You may make it change the 1st and 2nd fixed time according to a user's characteristic. Further, in the tracking method described with reference to FIG. 6 (S17 in FIG. 5), tracking is performed using image data output for each frame. You may change suitably also for every. In addition, when stopped before the second predetermined time, the tracking beyond the adjacent area by the integration of the local vectors as described with reference to FIG. 6 is performed without being limited to the tracking in the adjacent area. But of course it does n’t matter.

また、本実施形態の第１の変形例として、ステップＳ１３において、現在から第１の一定時間前までの間で、一定時間以上、静止していた被写体に対して追尾を行うようにしてもよい。この場合には、追尾部１５によってタッチエリアに存在した被写体を追尾し、この追尾結果に基づいて判定する。   As a first modification of the present embodiment, in step S13, tracking may be performed on a subject that has been stationary for a certain period of time from the present to the first certain period of time. . In this case, the tracking unit 15 tracks the subject existing in the touch area and makes a determination based on the tracking result.

（第３実施形態）
次に、本発明の第３実施形態について、図７ないし図１０を用いて説明する。第１および第２実施形態においては、ユーザのタッチにかかる遅延時間に応じた第１の一定時間前にタッチエリアに存在した被写体を追尾し、これにピント合うように制御していた。これに対して、第３実施形態においては、タッチされたエリアに一番長く存在した被写体を追尾して、これにピント合うように制御している。 (Third embodiment)
Next, a third embodiment of the present invention will be described with reference to FIGS. In the first and second embodiments, control is performed so as to track the subject existing in the touch area before the first predetermined time corresponding to the delay time required for the user's touch and to focus on this. On the other hand, in the third embodiment, control is performed so as to track the subject that has been in the touched area for the longest time and focus on the subject.

本実施形態における構成は、第１実施形態に係る図１に示したブロック図と同様であることから、詳しい説明は省略する。まず、本実施形態の動作について、図９および図１０を用いて説明する。   Since the configuration in the present embodiment is the same as the block diagram shown in FIG. 1 according to the first embodiment, detailed description thereof is omitted. First, the operation of the present embodiment will be described with reference to FIGS. 9 and 10.

図９に示す例において、時刻Ｔ０はユーザがタッチパネル部１７をタッチしたタイミングを示す。時刻Ｔ２５は、時刻Ｔ０より第１の一定時間に相当する時間だけ前のタイミングである。この時刻Ｔ２５においてフレーム画像Ｆ１が出力され、以後、フレーム画像Ｆ２（時刻Ｔ２４）、フレーム画像Ｆ３（時刻Ｔ２３）、フレーム画像Ｆ４（時刻Ｔ２２）の順に順次フレーム画像が出力される。   In the example illustrated in FIG. 9, time T <b> 0 indicates the timing at which the user touches the touch panel unit 17. The time T25 is a timing before the time T0 by a time corresponding to the first fixed time. At this time T25, the frame image F1 is output, and thereafter, the frame image F2 (time T24), the frame image F3 (time T23), and the frame image F4 (time T22) are sequentially output in this order.

本実施形態においては、時刻Ｔ２５におけるフレーム画像Ｆ１中のタッチされたエリアを基準としてローカルベクトルをフレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４、・・・について演算する。すなわち、時刻Ｔ２５におけるタッチエリアに存在した被写体が、フレーム画像Ｆ２、Ｆ３、Ｆ４において、いずれに移動したかを求める。同様に、時刻Ｔ２４におけるフレーム画像Ｆ２中のタッチされたエリアを基準としてローカルベクトルをフレーム画像Ｆ２、Ｆ３、Ｆ４、・・・について演算する。すなわち、時刻Ｔ２４におけるタッチエリアに存在した被写体が、フレーム画像Ｆ２、Ｆ３、Ｆ４において、いずれに移動したかを求める。続いて、フレーム画像Ｆ３、Ｆ４・・・についても同様にタッチエリアに存在した被写体の移動を求める。   In the present embodiment, local vectors are calculated for the frame images F1, F2, F3, F4,... With reference to the touched area in the frame image F1 at time T25. That is, it is determined to which of the frame images F2, F3, and F4 the subject that has existed in the touch area at time T25 has moved. Similarly, local vectors are calculated for the frame images F2, F3, F4,... With reference to the touched area in the frame image F2 at time T24. That is, it is determined to which of the frame images F2, F3, and F4 the subject that was present in the touch area at time T24 has moved. Subsequently, for the frame images F3, F4,..., The movement of the subject existing in the touch area is similarly obtained.

このタッチエリアに存在した被写体の移動の一例について、図１０を用いて説明する。時刻Ｔ０において、エリア（Ｂ，ウ）がタッチされたとする。１回目の探索は、フレーム画像Ｆ１を基準としての追尾であり、時刻Ｔ２５におけるタッチされたエリア（Ｂ，ウ）における被写体の動きを追尾する。時刻Ｔ２５ではエリア（Ｂ，ウ）に被写体Ａが存在し、時刻Ｔ２４ではエリア（Ｂ，ウ）に被写体Ａが存在し、時刻Ｔ２３ではエリア（Ｃ，イ）に被写体Ａが存在し、時刻Ｔ２２ではエリア（Ｃ，イ）に被写体Ａが存在し、時刻Ｔ２１ではエリア（Ｄ，イ）に被写体Ａが存在する。したがって、１回目の探索結果は、被写体Ａのタッチエリア滞在時間は２フレーム相当時間となる。   An example of the movement of the subject existing in the touch area will be described with reference to FIG. It is assumed that the area (B, C) is touched at time T0. The first search is tracking with reference to the frame image F1, and tracks the movement of the subject in the touched area (B, C) at time T25. At time T25, subject A exists in area (B, C), at time T24, subject A exists in area (B, C), at time T23, subject A exists in area (C, A), and at time T22. Then, the subject A exists in the area (C, A), and the subject A exists in the area (D, A) at the time T21. Accordingly, in the first search result, the touch area stay time of the subject A is a time corresponding to two frames.

２回目の探索は、フレーム画像Ｆ２を基準としての追尾であり、時刻Ｔ２４におけるエリア（Ｂ，ウ）の被写体の動きを追尾する。時刻Ｔ２４ではエリア（Ｂ，ウ）に被写体Ａが存在し、時刻Ｔ２３ではエリア（Ｃ，イ）に被写体Ａが存在し、時刻Ｔ２２ではエリア（Ｃ，イ）に被写体Ａが存在し、時刻Ｔ２１ではエリア（Ｄ，イ）に被写体Ａが存在する。したがって、２回目の探索結果は、被写体Ａのタッチエリア滞在時間は１フレーム相当時間となる。   The second search is tracking based on the frame image F2, and tracks the movement of the subject in the area (B, C) at time T24. At time T24, subject A exists in area (B, C), at time T23, subject A exists in area (C, A), at time T22, subject A exists in area (C, A), and time T21. Then, the subject A exists in the area (D, A). Therefore, in the second search result, the touch area stay time of the subject A is equivalent to one frame.

３回目の探索は、フレーム画像Ｆ３を基準としての追尾であり、時刻Ｔ２３におけるエリア（Ｂ，ウ）の被写体の動きを追尾する。時刻Ｔ２３ではエリア（Ｂ，ウ）に被写体Ｂが存在し、時刻Ｔ２２ではエリア（Ｃ，ウ）に被写体Ｂが存在し、時刻Ｔ２１ではエリア（Ｃ，イ）に被写体Ｂが存在する。なお、図中には、併せて、被写体Ａの位置も示す。図９には、フレーム画像Ｆ１〜Ｆ３の具体例について示してあるが、時刻Ｔ０の直前まで、同様にして、タッチエリアに存在した被写体の追尾を行う。したがって、３回目の探索結果は、被写体Ｂのタッチエリア滞在時間は１フレーム相当時間となる。   The third search is tracking with reference to the frame image F3, and tracks the movement of the subject in the area (B, C) at time T23. At time T23, subject B exists in area (B, C), at time T22, subject B exists in area (C, C), and at time T21, subject B exists in area (C, A). In the drawing, the position of the subject A is also shown. FIG. 9 shows a specific example of the frame images F1 to F3, but the tracking of the subject existing in the touch area is performed in the same manner until immediately before time T0. Therefore, in the third search result, the touch area stay time of the subject B is equivalent to one frame.

図９に戻り、タッチした時刻Ｔ０までの全フレーム画像について、タッチエリアに存在した被写体の滞在時間を求めると、次に、各フレームでのベクトル計算を基に合焦すべきＡＦエリアの特定を行う。すなわち、前述のフレーム画像Ｆ１、Ｆ２、Ｆ３、Ｆ４・・・を基準にするとタッチエリアに存在した被写体の中で、一番長く滞在した被写体が時刻Ｔ０において存在したエリアを特定する。図１０に示した例では、Ｆ１、Ｆ２、Ｆ３の３つだけであるが、この場合には、被写体Ａが被写体Ｂよりもタッチエリアに滞在していた時間が長いことから、時刻Ｔ０における被写体Ａの存在するエリアをＡＦエリアとして特定する。   Returning to FIG. 9, when the stay time of the subject existing in the touch area is obtained for all the frame images up to the touched time T0, the AF area to be focused on is next identified based on the vector calculation in each frame. Do. That is, the area where the subject that has stayed the longest among the subjects existing in the touch area at the time T0 is specified based on the frame images F1, F2, F3, F4. In the example shown in FIG. 10, there are only three of F1, F2, and F3. However, in this case, the subject A stays in the touch area longer than the subject B, so the subject at time T0. The area where A exists is specified as the AF area.

ＡＦエリアが特定されると、このＡＦエリアに対して合焦を行う。すなわち、特定されたＡＦエリアの画像データのコントラスト信号に基づいてレンズ１のピント合わせを行う。   When the AF area is specified, focusing is performed on the AF area. That is, the lens 1 is focused based on the contrast signal of the image data of the specified AF area.

次に、本実施形態における動作を図７および図８に示すフローチャートを用いて説明する。図７に示すフローチャートにおいて、ステップＳ１〜Ｓ１５は、第２実施形態に係る図５に示すフローチャートと同様であるので、詳しい説明を省略し、異なるステップＳ１９についてのみ説明する。   Next, the operation in the present embodiment will be described with reference to the flowcharts shown in FIGS. In the flowchart shown in FIG. 7, steps S1 to S15 are the same as the flowchart shown in FIG. 5 according to the second embodiment, and thus detailed description is omitted, and only different step S19 is described.

ステップＳ７における判定の結果、タッチ前の第１の一定時間より前は動いており、しかもステップＳ１３における判定の結果、タッチ前の第２の一定時間より前も動いていた場合には、タッチエリアに長時間いた被写体を探索する（Ｓ１９）。ここでは、図９および図１０を用いて説明したように、タッチエリアに一番長く滞在した被写体を探索する。この被写体の探索の詳しい動作については、図８を用いて説明する。   As a result of the determination in step S7, if it has moved before the first fixed time before touching, and if the result of determination in step S13 has moved before the second fixed time before touching, A subject that has been in a long time is searched (S19). Here, as described with reference to FIGS. 9 and 10, the subject that has stayed in the touch area for the longest time is searched. The detailed operation of searching for a subject will be described with reference to FIG.

次に、ステップＳ１９における探索のフローについて、図８を用いて説明する。図８に示す探索のフローに入ると、まず、ｎ＝一定時間分のフレーム数とする（Ｓ３１）。本実施形態においては、第１の一定時間を０．５秒とし、フレーム数を毎秒６０としていることから、ｎ＝３０となる。前述したように、第１の一定時間やフレーム数は例示であり、カメラの設計値に応じて決めればよい。   Next, the search flow in step S19 will be described with reference to FIG. In the search flow shown in FIG. 8, first, n is set to the number of frames for a fixed time (S31). In the present embodiment, since the first fixed time is 0.5 seconds and the number of frames is 60 per second, n = 30. As described above, the first fixed time and the number of frames are examples, and may be determined according to the design value of the camera.

続いて、タッチした瞬間からｎフレーム前までのタッチしたエリアを基点とした動きの軌跡を算出する（Ｓ３３）。ここでは、図９を用いて説明したように、フレーム画像Ｆ１、Ｆ２、・・・と順次、ｎに応じて、タッチしたエリアにいた被写体を追尾する。   Subsequently, a motion trajectory based on the touched area from the moment of touching to n frames before is calculated (S33). Here, as described with reference to FIG. 9, the frame image F1, F2,... And the subject in the touched area are sequentially tracked according to n.

次に、ステップ３３において算出した結果を記憶領域（メモリ２５）に保存する（Ｓ３５）。結果を保存すると、ｎ＝ｎ−１を演算し（Ｓ３７）、減算したｎが０になったかを判定する（Ｓ３９）。この判定の結果、０でなかった場合には、ステップＳ３３に戻り、次のフレーム画像について、タッチしたエリアを基点とした動きの軌跡を算出し、結果を記憶領域に保存する。   Next, the result calculated in step 33 is stored in the storage area (memory 25) (S35). When the result is stored, n = n-1 is calculated (S37), and it is determined whether the subtracted n has become 0 (S39). If the result of this determination is not 0, the flow returns to step S33 to calculate a motion trajectory with the touched area as the base point for the next frame image, and the result is stored in the storage area.

ステップＳ３９における判定の結果、ｎ＝０であった場合には、次に、探索した被写体の中で最もタッチしたエリア上に存在したものが、現在いるエリアをＡＦエリアとして決定する（Ｓ４１）。ＡＦエリアを決定すると、探索のフローを終了し、元のフローに戻る。   If n = 0 as a result of the determination in step S39, then the area that is present on the most touched area among the searched subjects is determined as the AF area (S41). When the AF area is determined, the search flow is terminated and the original flow is restored.

このように、本発明の第３実施形態においては、第１の一定時間前から現在までの画像フレームのそれぞれを基点とし、タッチ時（現在）のタッチエリアに存在した被写体を現在まで追尾し、タッチ時のタッチエリアに一番長くいた被写体が、タッチ時（現在）にいるエリアをＡＦエリアとして選択している。被写体として、例えば、風に吹かれて揺れ動くススキの穂の場合には、画面中を揺れ動き、タッチエリアにススキの穂と背景が入る場合がある。このような場合には、一般に、ススキの穂の方が長くタッチエリアに入っていることが多いので、ユーザの意図する被写体にピントを合わせることができる。   As described above, in the third embodiment of the present invention, each of the image frames from the first predetermined time to the present is used as a base point, and the subject existing in the touch area at the time of touch (current) is tracked to the present, The area where the longest subject in the touch area at the time of touching is at the time of touching (currently) is selected as the AF area. For example, in the case of a Susuki ear that swings in the wind and swings as a subject, the Susuki ear and background may enter the touch area. In such a case, in general, the ears of the Japanese pampas grass are often in the touch area for a longer time, so that it is possible to focus on the subject intended by the user.

また、前述したように、ＣＰＵ２１は、ピント合わせを行う被写体を決定する決定部としての機能を有し、この決定部は、タッチしたエリアに、ある一定時間の間で一番長くいた被写体にピント合わせを行う（Ｓ１９参照）。   Further, as described above, the CPU 21 has a function as a determination unit that determines a subject to be focused, and this determination unit focuses on the subject that has been longest in a certain period of time in the touched area. Matching is performed (see S19).

なお、本実施形態においては、第１の一定時間内に含まれるフレーム画像の全てを基点として、被写体の追尾を行ったが、１フレーム画像おきや２フレーム画像おきに、とびとびに被写体の追尾を行うようにしても勿論かまわない。   In this embodiment, the subject is tracked using all the frame images included in the first fixed time as a base point. However, the subject is tracked every other frame image or every other two frame images. Of course, you can do it.

（第４実施形態）
次に、本発明の第４実施形態について、図１１を用いて説明する。第１〜第３実施形態においては、タッチは一点であったが、第４実施形態においては、ユーザがタッチした２点によって形成される矩形の範囲で動体を探し、この動体の動きとタッチの遅延時間を考慮したＡＦエリアを設定するようにしている。また、第１〜第３実施形態においては、ＡＦエリアを設定し合焦を行いレリーズすることにより１回撮影を行っていたが、第４実施形態においては、１回目の撮影を行った後に、スライド操作するとスライド終了地点でピント合わせを行って、２回目の撮影を行うようにしている。 (Fourth embodiment)
Next, a fourth embodiment of the present invention will be described with reference to FIG. In the first to third embodiments, the touch is one point, but in the fourth embodiment, a moving object is searched for in a rectangular range formed by two points touched by the user, and the movement of the moving object and the touch of the touch are detected. An AF area is set in consideration of the delay time. In the first to third embodiments, the AF area is set, focused, and released once to release, but in the fourth embodiment, after the first shooting, When the slide operation is performed, focusing is performed at the end point of the slide, and the second shooting is performed.

本実施形態における構成は、第１実施形態に係る図１に示したブロック図と同様であることから、詳しい説明は省略する。本実施形態の動作について、図１１を用いて説明する。撮像が開始されると、先ず一点タッチされたか否かを判定する（Ｓ１Ａ）。ここでは、ユーザが表示部７の表示画面の一点をタッチしたか否かについて、タッチパネル部１７からのタッチ検知に基づいて判定する。   Since the configuration in the present embodiment is the same as the block diagram shown in FIG. 1 according to the first embodiment, detailed description thereof is omitted. The operation of this embodiment will be described with reference to FIG. When imaging starts, it is first determined whether or not a single point is touched (S1A). Here, whether or not the user has touched one point on the display screen of the display unit 7 is determined based on touch detection from the touch panel unit 17.

ステップＳ１Ａにおける判定の結果、１点タッチでなかった場合には、次に、２点タッチか否かを判定する（Ｓ２）。被写体が動きまわっている場合には、１点タッチでその被写体を指定することは困難な場合がある。このような場合には、動きまわる被写体が含まれる矩形の対角の２点をタッチすることにより容易に被写体を指定することができる。そこで、本実施形態においては、２点タッチで被写体を指定できるようにしている。このステップでは、ユーザが表示部７の表示画面の２点をタッチしたか否かについて、タッチパネル部１７からのタッチ検知に基づいて判定する。   If the result of determination in step S1A is not a one-point touch, it is next determined whether or not it is a two-point touch (S2). When the subject is moving around, it may be difficult to specify the subject with a single point touch. In such a case, the subject can be easily specified by touching two diagonal points of the rectangle including the subject that moves around. Therefore, in the present embodiment, the subject can be designated by two-point touch. In this step, whether or not the user has touched two points on the display screen of the display unit 7 is determined based on touch detection from the touch panel unit 17.

ステップＳ２における判定の結果、２点タッチでなかった場合には、第１実施形態に係る図２のステップＳ３と同様に、各ローカルエリア領域のモニタ結果を記録する（Ｓ３）。ここでは、前述したように、エリア３Ａａ毎にエリア内の被写体が動いているか静止しているかを判定し、判定結果をメモリ２５に記憶する。モニタ結果を記録すると、次に撮像を行う（Ｓ４）。ここでは、撮像部３によって被写体像の画像データを１フレーム分、取得し、取得した画像データをメモリ２５に一時記憶する。なお、この一時記憶は少なくとも第１の一定時間の間は、保持する。   If the result of determination in step S <b> 2 is not a two-point touch, the monitor result of each local area area is recorded as in step S <b> 3 of FIG. 2 according to the first embodiment (S <b> 3). Here, as described above, for each area 3Aa, it is determined whether the subject in the area is moving or stationary, and the determination result is stored in the memory 25. When the monitor result is recorded, next imaging is performed (S4). Here, one frame of image data of the subject image is acquired by the imaging unit 3, and the acquired image data is temporarily stored in the memory 25. This temporary storage is retained for at least the first predetermined time.

ステップＳ２における判定の結果、２点タッチであった場合には、２点タッチで得られる矩形に入った被写体で動いているものを探す（Ｓ５）。ここでは、ステップＳ３におけるモニタ結果を用いて、２点タッチで得られた矩形に含まれるエリアの中で動いている被写体を検索する。   If the result of determination in step S2 is a two-point touch, a moving object is searched for in a rectangle obtained by the two-point touch (S5). Here, the moving subject is searched for in the area included in the rectangle obtained by the two-point touch using the monitor result in step S3.

ステップＳ７、Ｓ９、Ｓ１１における処理は、第１実施形態に係る図２のフローチャートと同様であることから、詳しい説明を省略するが、ステップＳ５からステップＳ９に進む場合について補足しておく。   Since the processes in steps S7, S9, and S11 are the same as those in the flowchart of FIG. 2 according to the first embodiment, a detailed description thereof will be omitted, but the case where the process proceeds from step S5 to step S9 will be supplemented.

ステップＳ５において２点タッチで決まる矩形内で第１の一定時間前から現在までの間で動体被写体が見つかると、ステップＳ９においてタッチ前の第１の一定時間止まっていたかを判定する。この判定の結果がＹｅｓであれば、ステップＳ１１において、その動体被写体を追尾し、現在、動体がいるエリアをＡＦエリアとする。一方、ステップＳ５において２点タッチで決まる矩形内で動体被写体が見つからなかった場合には、ステップＳ９における判定の結果がＹｅｓとなり、矩形内のエリアをＡＦエリアとする。   If a moving subject is found in the rectangle determined by the two-point touch in step S5 between the first predetermined time and the present time, it is determined in step S9 whether or not it has stopped for the first predetermined time before the touch. If the result of this determination is Yes, in step S11, the moving object subject is tracked, and the area where the moving object is present is set as the AF area. On the other hand, if a moving subject is not found in the rectangle determined by the two-point touch in step S5, the determination result in step S9 is Yes, and the area in the rectangle is set as the AF area.

ステップＳ７における判定の結果がＮｏ、またはステップＳ９における判定の結果がＹｅｓ、またはステップＳ１１において追尾を行うと、次に、追尾しながら合焦しレリーズを行う（Ｓ２３）。ここでは、移動する被写体に対しては、追尾を続行し、その被写体に対してピントを合わせると共に露出も適正として、レリーズ動作を実行する。レリーズ動作を実行すると、撮像部３から画像データを取得する。   If the result of determination in step S7 is No, the result of determination in step S9 is Yes, or if tracking is performed in step S11, then focusing is performed while tracking is performed (S23). Here, the tracking operation is continued for the moving subject, and the release operation is executed with the subject focused and the exposure set appropriately. When the release operation is executed, image data is acquired from the imaging unit 3.

レリーズ動作を行うと、次に、スライド操作がなされたか否かを判定する（Ｓ２５）。タッチパネル部１７をタッチした場合には、ユーザがタッチするまでの遅延時間を考慮してＡＦエリアを設定しているが、この自動的に設定されるＡＦエリア以外にもユーザが手動ＡＦエリアを設定したい場合がある。この場合には、タッチした指をユーザが設定したいエリアにそのままスライドさせればよい。このステップＳ２５では、タッチパネル部１７からの検知出力に基づいて、スライド操作がなされたか否かを判定する。   Once the release operation has been performed, it is next determined whether or not a slide operation has been performed (S25). When the touch panel unit 17 is touched, the AF area is set in consideration of the delay time until the user touches, but the user sets the manual AF area in addition to the automatically set AF area. You may want to In this case, the touched finger may be slid as it is to the area that the user wants to set. In step S25, based on the detection output from the touch panel unit 17, it is determined whether a slide operation has been performed.

ステップＳ２５における判定の結果、スライド操作が行われた場合には、次に、スライド終了地点でピントを合わせてレリーズ動作を行う（Ｓ２７）。ここでは、タッチパネル部１７からの検知出力に基づいて、スライド操作の終了地点を判定し、この終了地点が含まれるエリアを決定する。そして、決定されたエリアからの画像データに基づいて合焦動作および露出制御動作を行い、レリーズ動作を行って、被写体像の画像データを取得する。   If the result of determination in step S25 is that a slide operation has been performed, the release operation is then performed with the focus at the slide end point (S27). Here, the end point of the slide operation is determined based on the detection output from the touch panel unit 17, and the area including the end point is determined. Then, a focusing operation and an exposure control operation are performed based on the image data from the determined area, and a release operation is performed to acquire image data of the subject image.

ステップＳ２５における判定の結果、スライド操作がなかった場合、またはステップＳ２７においてスライド終了地点でピントを合わせ、レリーズを行うと、撮像のフローを終了する。   If the result of determination in step S25 is that there has been no slide operation, or focus is achieved at the slide end point in step S27 and release is performed, the imaging flow ends.

このように本発明の第４実施形態においては、タッチした２点を対角とした矩形内で移動する被写体を検索し、検索された動体被写体の動きと、タッチまでの遅延時間を考慮して、ユーザの意図する被写体のいるエリアを選択している。２点タッチすることにより、動体被写体であっても簡単に指定することができる。   As described above, in the fourth embodiment of the present invention, a moving subject is searched for in a rectangle with two touched points as diagonals, and the motion of the searched moving subject and the delay time until the touch are considered. The area where the subject intended by the user is present is selected. By touching two points, even a moving subject can be easily specified.

また、本実施形態においては、タッチ後にユーザがスライド操作を行うと、スライド操作終点における被写体にピントを合わせ、２回目の撮影を行うようにしている。このため、自動的に決まるＡＦエリアでの撮影に加えて、ユーザの手動操作によって決まるＡＦエリアでの撮影を行うことができる。   In the present embodiment, when the user performs a slide operation after touching, the subject at the end point of the slide operation is focused and the second shooting is performed. For this reason, in addition to shooting in the automatically determined AF area, shooting in the AF area determined by the user's manual operation can be performed.

なお、本実施形態においては、ステップＳ７〜Ｓ１１における処理は、第１実施形態と同様であったが、第２実施形態におけるステップＳ７〜Ｓ１７、または第３実施形態におけるステップＳ７〜Ｓ１９に置き換えても勿論かまわない。   In this embodiment, the processes in steps S7 to S11 are the same as those in the first embodiment, but are replaced with steps S7 to S17 in the second embodiment or steps S7 to S19 in the third embodiment. Of course it doesn't matter.

以上説明したように、本発明の各実施形態や変形例においては、タッチパネル部１７へのタッチ操作と、撮像部３からの画像データに基づいて検出した被写体画像の動きに従って、撮影レンズのピント合わせの対象とする被写体を決定している。また、タッチパネル部１７へのタッチ操作の一定時間前からの被写体の動きに基づいて、撮影レンズのピント合わせの対象とするＡＦエリアを決定している。このため、タッチした際に被写体が動いている場合であっても、ユーザの意図する被写体にピントを合わせることができる。   As described above, in each embodiment or modification of the present invention, the photographing lens is focused according to the touch operation on the touch panel unit 17 and the movement of the subject image detected based on the image data from the imaging unit 3. The target subject is determined. Further, based on the movement of the subject from a predetermined time before the touch operation on the touch panel unit 17, the AF area to be focused on by the photographing lens is determined. For this reason, even if the subject is moving when touched, it is possible to focus on the subject intended by the user.

なお、本発明の各実施形態や変形例においては、被写体が静止しているか動いているか否かの判定や、被写体の追尾を追尾部１５でハードウエアによって処理していたが、これに限らず、画像処理部５等、他のハードウエアで行ってもよく、また、ＣＰＵ２１においてソフトウエアで行うようにしても勿論かまわない。   In each embodiment or modification of the present invention, the determination of whether or not the subject is stationary or moving and the tracking of the subject are processed by the tracking unit 15 by hardware. However, the present invention is not limited to this. The image processing unit 5 or the like may be performed by other hardware, or the CPU 21 may of course be performed by software.

また、本発明の各実施形態や変形例においては、被写体が静止しているか動いているかについて、現在の画像データと過去の画像データとを比較することによって得ていたが、被写体の動きベクトル等、他の方法で検出するようにしても勿論かまわない。   Further, in each embodiment and modification of the present invention, whether the subject is stationary or moving is obtained by comparing the current image data with the past image data. Of course, the detection may be performed by other methods.

また、本発明の各実施形態や変形例においては、タッチ操作を行った際にタッチ操作したエリアの被写体が動いていた場合には、タッチ前の一定時間前の被写体の動きによってピント合わせのエリアを変更していた。しかし、これに限らず、１点を長くタッチ操作した際には、そのままタッチ操作したエリアに対してＡＦを行い、撮影を行うようにしてもよい。このような動作を行うために、例えば、図２のフローにおいて、ステップＳ１においてタッチ操作されたと判定された際に、ステップＳ７の判定を行う前に所定時間タッチ操作が持続しているかを判定し、所定時間タッチ操作が持続した場合には、ステップＳ２１に進み、ＡＦを行い、撮影を行うようにすればよい。   Further, in each embodiment or modification of the present invention, when the subject in the touched area is moved when the touch operation is performed, the area to be focused is determined by the movement of the subject for a certain time before the touch. Had changed. However, the present invention is not limited to this, and when one point is touched for a long time, AF may be performed on the touched area as it is, and photographing may be performed. In order to perform such an operation, for example, in the flow of FIG. 2, when it is determined that the touch operation is performed in Step S <b> 1, it is determined whether the touch operation is continued for a predetermined time before the determination of Step S <b> 7. If the touch operation is continued for a predetermined time, the process proceeds to step S21, AF is performed, and photographing is performed.

また、本発明の各実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。   In each embodiment and modification of the present invention, a digital camera has been described as an apparatus for photographing. However, a digital single-lens reflex camera or a compact digital camera may be used as a camera, and a video camera or movie camera may be used. It may be a camera for moving images such as a mobile phone, a smart phone, a personal digital assistant (PDA), a game device, or the like.

また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。   In addition, regarding the operation flow in the claims, the specification, and the drawings, even if it is described using words expressing the order such as “first”, “next”, etc. It does not mean that it is essential to implement in this order.

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

１・・・レンズ、３・・・撮像部、３Ａ・・・撮像素子、３Ａａ・・・エリア、３Ａｂ・・・集合体、５・・・画像処理部、７・・・表示部、９・・・記録部、１１・・・バス、１３・・・レンズ制御部、１５・・・追尾部、１７・・・タッチパネル部、２１・・・ＣＰＵ、２３・・・タイマ、２５・・・メモリ DESCRIPTION OF SYMBOLS 1 ... Lens, 3 ... Imaging part, 3A ... Imaging element, 3Aa ... Area, 3Ab ... Aggregate, 5 ... Image processing part, 7 ... Display part, 9 * ..Recording unit, 11 ... Bus, 13 ... Lens control unit, 15 ... Tracking unit, 17 ... Touch panel unit, 21 ... CPU, 23 ... Timer, 25 ... Memory

Claims (4)

被写体像を光電変換し画像データを出力する撮像部と、
上記撮像部から出力された画像データに基づいて上記被写体像を表示する表示部と、
上記表示部の表示画面へのタッチが、複数に分割されたエリアのいずれであるかを検出するタッチパネルと、
上記撮像部の撮像面を上記エリアに対応するように複数のエリアに分割し、上記画像データに基づいて被写体の動きをエリア毎に検出する動き検出部と、
上記動き検出部によって検出された被写体の動きの履歴を上記エリア毎に記憶するメモリと、
上記タッチパネルへのタッチ操作の一定時間前からの被写体の動きを上記メモリに記憶された被写体の動きの履歴に基づいて判定し、この判定結果に基づいて撮影レンズのピント合わせの対象とするＡＦエリアを決定する決定部と、
上記決定部によって決定されたエリアに対してピント合わせを行う自動焦点調節部と、
を有し、
上記決定部は、上記被写体の動きの履歴に基づいて、第１の一定時間から第２の一定時間の間に被写体が静止していた場合には隣接エリアの比較により上記ＡＦエリアを決定し、上記第１の一定時間から上記第２の一定時間の間に被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定することを特徴とする撮影機器。 An imaging unit that photoelectrically converts a subject image and outputs image data;
A display unit that displays the subject image based on the image data output from the imaging unit;
A touch panel for detecting which of the areas divided into a plurality of touches on the display screen of the display unit;
A motion detection unit that divides the imaging surface of the imaging unit into a plurality of areas so as to correspond to the area, and detects the movement of the subject for each area based on the image data;
A memory that stores a history of movement of the subject detected by the motion detection unit for each area;
AF area subject to subject movement from a certain time before touch operation on the touch panel is determined based on the movement history of the subject stored in the memory, and the focus of the photographing lens is determined based on the determination result A determination unit for determining
An automatic focus adjustment unit for focusing on the area determined by the determination unit;
I have a,
The determination unit determines the AF area by comparing adjacent areas when the subject is stationary between a first fixed time and a second fixed time based on the movement history of the subject, An imaging device, wherein a vector is used to determine the AF area when a subject has moved between the first fixed time and the second fixed time . 被写体像を光電変換し画像データを出力する撮像部と、
上記撮像部から出力された画像データに基づいて上記被写体像を表示する表示部と、
上記表示部の表示画面へのタッチが、複数に分割されたエリアのいずれであるかを検出するタッチパネルと、
上記撮像部の撮像面を上記エリアに対応するように複数のエリアに分割し、上記画像データに基づいて被写体の動きをエリア毎に検出する動き検出部と、
上記動き検出部によって検出された被写体の動きの履歴を上記エリア毎に記憶するメモリと、
上記タッチパネルへのタッチ操作の予め定められた所定時間前からの被写体の動きを上記メモリに記憶された被写体の動きの履歴に基づいて判定し、この判定結果に基づいて撮影レンズのピント合わせの対象とするＡＦエリアを決定する決定部と、
上記決定部によって決定されたエリアに対してピント合わせを行う自動焦点調節部と、
を有し、
上記決定部は、上記被写体の動きの履歴に基づいて、上記予め定められた所定時間より前まで被写体が静止していた場合には隣接エリアの比較によりＡＦエリアを決定し、上記予め定められた所定時間より前から被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定することを特徴とする撮影機器。 An imaging unit that photoelectrically converts a subject image and outputs image data;
A display unit that displays the subject image based on the image data output from the imaging unit;
A touch panel for detecting which of the areas divided into a plurality of touches on the display screen of the display unit;
A motion detection unit that divides the imaging surface of the imaging unit into a plurality of areas so as to correspond to the area, and detects the movement of the subject for each area based on the image data;
A memory that stores a history of movement of the subject detected by the motion detection unit for each area;
The movement of the subject from a predetermined time before the touch operation on the touch panel is determined based on the history of the movement of the subject stored in the memory, and the subject of focusing of the photographing lens is determined based on the determination result A determination unit for determining an AF area,
An automatic focus adjustment unit for focusing on the area determined by the determination unit;
Have
The determination unit determines an AF area by comparing adjacent areas when the subject is stationary before the predetermined time based on the movement history of the subject, and determines the predetermined area. An imaging apparatus, wherein the AF area is determined using a vector when a subject has moved from before a predetermined time . 被写体像を画像データに変換する撮像部と、タッチ操作を検出可能な表示部を有する撮影機器における制御方法において、
上記撮像部からの上記画像データに基づいて被写体の動きを検出し、被写体の動きの履歴を記憶する記憶ステップと、
上記タッチ操作がなされたか否かを検出する検出ステップと、
上記検出ステップにおいて、上記タッチ操作がなされたことを検出した場合には、上記記憶ステップにおいて記憶した上記被写体の動きの履歴に基づいて、第１の一定時間から第２の一定時間の間に被写体が静止していた場合には隣接エリアの比較により上記ＡＦエリアを決定し、上記第１の一定時間から上記第２の一定時間の間に被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定する決定ステップと、
上記決定ステップにおいて決定したＡＦエリアに対して合焦しレリーズする撮影ステップと、
を有することを特徴とする撮影機器の制御方法。 In a control method in an imaging device having an imaging unit that converts a subject image into image data and a display unit that can detect a touch operation,
A storage step of detecting movement of the subject based on the image data from the imaging unit and storing a history of movement of the subject;
A detection step for detecting whether or not the touch operation is performed;
In the detection step, when it is detected that the touch operation has been performed , the subject between the first fixed time and the second fixed time is determined based on the movement history of the subject stored in the storage step. If the object is stationary, the AF area is determined by comparing adjacent areas. If the subject is moving from the first predetermined time to the second predetermined time, the AF is performed using a vector. A decision step to determine the area;
A shooting step for focusing and releasing the AF area determined in the determination step;
A method for controlling an imaging device, comprising: 被写体像を画像データに変換する撮像部と、タッチ操作を検出可能な表示部を有する撮影機器における制御方法において、
上記撮像部からの上記画像データに基づいて被写体の動きを検出し、被写体の動きの履歴を記憶する記憶ステップと、
上記タッチ操作がなされたか否かを検出する検出ステップと、
上記検出ステップにおいて、上記タッチ操作がなされたことを検出した場合には、上記記憶ステップにおいて記憶した上記被写体の動きの履歴に基づいて、予め定められた所定時間より前まで被写体が静止していた場合には隣接エリアの比較によりＡＦエリアを決定し、上記予め定められた所定時間より前から被写体が動いていた場合にはベクトルを用いて上記ＡＦエリアを決定する決定ステップと、
上記決定ステップにおいて決定したＡＦエリアに対して合焦しレリーズする撮影ステップと、
を有することを特徴とする撮影機器の制御方法。 In a control method in an imaging device having an imaging unit that converts a subject image into image data and a display unit that can detect a touch operation,
A storage step of detecting movement of the subject based on the image data from the imaging unit and storing a history of movement of the subject;
A detection step for detecting whether or not the touch operation is performed;
In the detection step, when it is detected that the touch operation has been performed, the subject has been stationary until a predetermined time based on the movement history of the subject stored in the storage step. A determination step of determining an AF area by comparing adjacent areas, and determining the AF area using a vector if the subject has moved from before the predetermined time,
A shooting step for focusing and releasing the AF area determined in the determination step;
A method for controlling an imaging device, comprising: