JP2012151526A - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP2012151526A JP2012151526A JP2011006404A JP2011006404A JP2012151526A JP 2012151526 A JP2012151526 A JP 2012151526A JP 2011006404 A JP2011006404 A JP 2011006404A JP 2011006404 A JP2011006404 A JP 2011006404A JP 2012151526 A JP2012151526 A JP 2012151526A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- imaging
- tracking
- face
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、被写体の検出ができない状況となっても適切な焦点調整を行う撮像装置および撮像方法に関する。 The present invention relates to an imaging apparatus and an imaging method that perform appropriate focus adjustment even when a subject cannot be detected.
近年、ビデオカメラを始めとした撮像装置では、顔検出等に代表される被写体検出機能が広く普及し、フォーカス制御等にこの被写体検出機能を利用する技術も一般的になってきている。 In recent years, in an imaging apparatus such as a video camera, a subject detection function typified by face detection or the like has become widespread, and a technique using this subject detection function for focus control or the like has become common.
さらに、撮像装置が予め特定の人物の顔の特徴を記憶しており、撮像画像中にその人物の顔を検出した場合に、その顔に自動的にフォーカスを合わせたり、撮像装置の表示画面に配されたタッチパネル上でユーザがタッチした被写体を追跡しながらフォーカスを合わせ続けたりすることで、ユーザが主に撮像したい被写体を特定してフォーカス制御等を行う技術も開発されている。以下では、このような顔の特徴量が記憶された人物やタッチされた被写体といった、ユーザが主に撮像したい被写体を主要被写体と呼ぶ。 Furthermore, when the imaging device stores the features of a specific person's face in advance and detects that person's face in the captured image, the face is automatically focused or displayed on the display screen of the imaging device. A technique has also been developed in which a user mainly specifies a subject to be imaged and performs focus control or the like by continuously focusing while tracking a subject touched by the user on a touch panel. In the following, a subject that the user wants to mainly capture, such as a person who stores such facial feature quantities or a touched subject, is referred to as a main subject.
一方で、これら近年の一般的な撮像装置の多くは、顔検出がなされていた主要被写体である人物が後ろを向く等、撮像装置が主要被写体を検出することができない状態が生じた場合、それまで検出されていた被写体とは関係のないフォーカス制御に画一的に切り換えていた。 On the other hand, many of these recent general imaging devices have a situation in which the imaging device cannot detect the main subject, such as when a person who is the main subject for which face detection has been performed faces backward. Until now, the focus control has been switched to a non-related object.
例えば、それまで検出されていた主要被写体が撮像画像の範囲内からフレームアウトしたことを検知したとき、または画像範囲内にあるものの、その主要被写体の検出が不能な状態に陥ったときに、オートフォーカス機能をオフとするか、オンのままとするかをユーザが予め設定しておくことができる撮像装置に関する技術が提案されている(例えば、特許文献1)。 For example, when it is detected that the main subject that has been detected so far has fallen out of the range of the captured image, or when it is within the image range but the main subject cannot be detected, the auto subject There has been proposed a technique related to an imaging apparatus that allows a user to set in advance whether the focus function is turned off or kept on (for example, Patent Document 1).
また上述の画一的な切り換えの他にも、被写体の位置を推定することで被写体の追跡を継続する手法が提案されている。 In addition to the uniform switching described above, there has been proposed a method of continuing tracking of the subject by estimating the position of the subject.
例えば、主要被写体の顔画像が検出できなくなった場合に、過去に検出された顔の位置に基づいて現在の顔のおおまかな位置を推定し、このおおまかな位置に対応する複数の周囲情報を取得する。そして、過去に取得された周囲情報に最も類似する周囲情報が取得された位置に基づいて現在の顔の位置を推定することで、主要被写体を継続的に追跡する技術が提案されている(例えば、特許文献2)。 For example, when the face image of the main subject can no longer be detected, the rough position of the current face is estimated based on the face position detected in the past, and a plurality of surrounding information corresponding to this rough position is acquired. To do. Then, a technique for continuously tracking the main subject by estimating the current face position based on the position where the surrounding information most similar to the surrounding information acquired in the past is acquired has been proposed (for example, Patent Document 2).
しかし、上述した特許文献1に記載の技術では、主要被写体を検出できなくなった際の特別なフォーカス制御として、画一的にオートフォーカス機能をオフとすることしかできない。従って、例えば、撮像装置は主要被写体を検出不能な状態に陥っているが、その主要被写体はフレームアウトしていないため、ユーザの目視ではフレーム中に主要被写体がいることが認識できているにもかかわらず、ユーザの意図に反して撮像装置が自動的にオートフォーカス機能をオフにしてしまうといった不都合が生じることが推察される。 However, with the technique described in Patent Document 1 described above, the autofocus function can only be turned off uniformly as special focus control when the main subject cannot be detected. Therefore, for example, the imaging apparatus is in a state where it cannot detect the main subject, but since the main subject is not out of the frame, the user can visually recognize that the main subject is in the frame. Regardless of the user's intention, it is surmised that the imaging apparatus automatically turns off the autofocus function.
また、上述した特許文献2に記載の技術では、主要被写体の顔の周囲情報(例えば洋服の色)が、主要被写体とは無関係な情報(例えば、他人の洋服の色や背景の色)と区別がつかない場合等に、そもそも継続的な追跡が不可能となるという問題が推測される。 Further, in the technique described in Patent Document 2 described above, the surrounding information (for example, the color of clothes) of the face of the main subject is distinguished from the information (for example, the color of other people's clothes or the background) that is unrelated to the main subject. The problem that continuous tracking is impossible in the first place is presumed.
以上に述べた通り、従来提案されてきた技術では、主要被写体が検出不能に陥った際に、撮像状況やユーザの意図を反映した適切なフォーカス制御を実現することができなかった。 As described above, with the conventionally proposed techniques, when the main subject has become undetectable, it has not been possible to realize appropriate focus control reflecting the imaging situation and the user's intention.
そこで本発明は、このような課題に鑑み、主要被写体を検知できない状況に陥っても、撮像状況やユーザの意図を適切に反映したフォーカスエリアやアイリスの自動調整が可能な、撮像装置および撮像方法を提供することを目的としている。 Therefore, in view of such a problem, the present invention provides an imaging apparatus and an imaging method capable of automatically adjusting a focus area and an iris appropriately reflecting an imaging situation and a user's intention even when a main subject cannot be detected. The purpose is to provide.
上記課題を解決するために、本発明の撮像装置(110、510)は、被写体を撮像して映像データを生成する撮像部(122)と、前記映像データにおける特定された被写体(主要被写体)を追尾する追尾部(186、586)と、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部(190)と、前記撮像操作情報に基づいて、焦点を合わせる画角内の位置を決定、または、前記撮像部の被写界深度を決定する焦点決定部(192)と、を備えることを特徴とする。 In order to solve the above problems, an imaging device (110, 510) according to the present invention includes an imaging unit (122) that captures a subject and generates video data, and a subject (main subject) identified in the video data. When the tracking section (186, 586) to be tracked and the subject being tracked become untrackable, imaging operation information indicating an imaging operation state is shown for each before tracking becomes impossible and after tracking becomes impossible. An information generation unit (190) to generate, and a focus determination unit (192) to determine a position within the angle of view to be focused based on the imaging operation information, or to determine a depth of field of the imaging unit, It is characterized by providing.
前記撮像操作状態はパンまたはチルトの大きさであり、前記情報生成部(190)は前記撮像操作状態としてパンまたはチルトの大きさを示す情報を生成してもよい。 The imaging operation state may be a pan or tilt magnitude, and the information generation unit (190) may generate information indicating the pan or tilt magnitude as the imaging operation state.
前記撮像操作状態はズームの大きさであり、前記情報生成部(190)は前記撮像操作状態としてズームの大きさを示す情報を生成してもよい。 The imaging operation state may be a zoom size, and the information generation unit (190) may generate information indicating the zoom size as the imaging operation state.
前記焦点決定部(192)は、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、前記被写界深度を決定した値に変化させてもよい。 The focus determination unit (192) may change the depth of field to a determined value when the state in which the subject cannot be tracked continues for a waiting time having a length corresponding to the imaging operation information.
前記焦点決定部(192)は、前記被写体が追尾不能の状態が、前記撮像操作情報に応じた長さの待機時間継続すると、前記焦点を合わせる画角内の位置を前記撮像対象となる範囲の中央に移動させてもよい。 The focus determination unit (192), when a state in which the subject cannot be tracked continues for a waiting time having a length according to the imaging operation information, sets the position within the angle of view to be focused within the range to be the imaging target. You may move to the center.
上記課題を解決するために、本発明の撮像方法は、被写体を撮像して映像データを生成し、前記映像データにおける特定された被写体を追尾し、追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態の変化を示す撮像操作情報を生成し、前記撮像操作情報に基づいて、焦点を合わせる画角内の位置を決定、または、被写界深度を決定することを特徴とする。 In order to solve the above-described problem, the imaging method of the present invention images a subject to generate video data, tracks the specified subject in the video data, and the tracked subject becomes untrackable. In this case, imaging operation information indicating a change in imaging operation state is generated before and after tracking is disabled, and a position within the angle of view to be focused is determined based on the imaging operation information. Or determining the depth of field.
以上説明したように本発明は、主要被写体を検知できない状況に陥っても、撮像状況やユーザの意図を適切に反映したフォーカスエリアやアイリスの自動調整が可能となる。 As described above, the present invention enables automatic adjustment of the focus area and the iris appropriately reflecting the imaging situation and the user's intention even when the main subject cannot be detected.
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiments are merely examples for facilitating the understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.
図1は、フォーカス対象とした主要被写体のロストおよびロストした場合の従来のビデオカメラによるフォーカス制御について説明するための説明図である。図1(a)に示すように、ビデオカメラの撮像画面100において、画面左側には、比較的近い位置に人物102が、画面右側には比較的遠い位置に人物104がいる。ここでは、撮像画面100内で顔が検出されると、その顔の位置に、焦点を合わせる画角内の位置を表すフォーカスエリアが設定され、その顔を追尾するモードにて撮像が行われているものとする。
FIG. 1 is an explanatory diagram for explaining focus control by a conventional video camera when a main subject to be focused is lost and when the subject is lost. As shown in FIG. 1A, in the
そして、例えば、ユーザが撮像画面100に備えられたタッチセンサで右側の人物104を指定したり、予め右側の人物104の顔の特徴を示す特徴量をビデオカメラに登録しておき、その登録した顔を追尾するように操作したり、子供優先モードになっていて、例えば、右側の人物104の顔は子供らしく、左側の人物102の顔は大人らしい顔の特徴量である等の状況で、右側の人物104(主要被写体)にフォーカスが合った状態で撮像しているものとする。このとき、例えば、枠106が右側の人物104の顔に重畳される。
For example, the user designates the
そして、図1(b)に示すように、動画の撮像中、右側の人物104が動いて顔の向きがビデオカメラとは反対方向を向いた場合、ビデオカメラは、右側の人物104の顔を検出できなくなり、追尾不能になる(ロスト)。この場合、従来のビデオカメラは、予め設定された処理として、顔をロストした位置に予め定められた待機時間、フォーカスエリアを固定したり、オートフォーカス機能を停止したり、左側の人物102の顔の検出位置にフォーカスエリアを移動させ、左側の人物102の顔にフォーカスを合わせるといった処理を画一的に行っていた。図1(b)においては、左側の人物102の顔にフォーカスが合わせられ枠106が重畳されている。
Then, as shown in FIG. 1B, if the
そのため、ユーザが右側の人物104に引き続きフォーカスを合わせたいと考えていたとしても、ユーザの意図と異なる処理となってしまい、意図しない領域にフォーカスの合致した映像データが生成されてしまうという不具合が生じていた。
Therefore, even if the user wants to continue focusing on the
また、右側の人物104をロストした後、再び右側の人物104がビデオカメラ側に顔を向けてから、ユーザが撮像画面100に備えられたタッチセンサで右側の人物104を指定し直せば、追尾を再開することができる。しかし、ロストする度に右側の人物104を指定し直さなくてはならないため、ユーザにとってはその作業が煩わしいと感じる場合がある。
In addition, after the
以下の実施形態では、ユーザに煩わしい作業をさせずとも、ユーザの意図に沿ったフォーカスエリアやアイリスの自動調整が可能な撮像装置110について説明し、その撮像装置110を用いた撮像方法について詳述する。
In the following embodiments, an
(第1の実施形態:撮像装置110)
図2は、第1の実施形態における撮像装置110の一例を示した外観図である。図2(a)は、撮像装置110としてデジタルスチルカメラを、図2(b)は、撮像装置110としてビデオカメラを示している。図3は、図2(b)に記載した撮像装置110の概略的な構成を示した機能ブロック図である。撮像装置110は、操作部120と、撮像部122と、データ処理部124と、映像保持部126と、表示部128と、圧縮伸長部130と、記憶読取部132と、外部入出力部134と、記憶部136と、動き検出部138と、中央制御部140と、を含んで構成される。
(First embodiment: imaging device 110)
FIG. 2 is an external view illustrating an example of the
操作部120は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック等で構成され、ユーザの操作入力を受け付ける。また、後述する表示部128の表示面にタッチパネルを配し、操作部120としてもよい。
The
撮像部122は、撮像レンズ150と、画角変更に用いられるズームレンズ152、焦点調整に用いられるフォーカスレンズ154と、露光調整に用いられるアイリス(絞り)156と、撮像レンズ150を通じて入射した光束を映像データに光電変換する撮像素子158と、後述する撮像制御部の制御信号に応じて、ズームレンズ152、フォーカスレンズ154、アイリス156および撮像素子158をそれぞれ駆動させる駆動部160とを含んで構成され、被写体を撮像して映像データを生成してデータ処理部124に出力する。
The
データ処理部124は、撮像部122から出力された映像データに、ホワイトバランス調節、ノイズ軽減処理、レベル補正処理、A/D変換処理および色彩補正処理(ガンマ補正処理、ニー処理)等の所定の処理を施し、処理後の映像データを映像保持部126に出力する。また、データ処理部124は、コントラストの評価のため、データ処理部124自体に備えるBPF(Band Pass Filter)で映像データの高周波成分を抽出し撮像制御部に出力する。コントラストの評価については後に詳述する。
The
映像保持部126は、RAM(Random Access Memory)、フラッシュメモリ、HDD(Hard Disk Drive)等で構成され、データ処理部124、圧縮伸長部130、および外部入出力部134から入力された映像データを一時的に保持する。
The
表示部128は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等で構成され、データ処理部124および圧縮伸長部130が出力し映像保持部126に保持された映像データや、操作部120と連動した指示項目を表示する。
The
圧縮伸長部130は、データ処理部124から出力された映像データを、映像保持部126を介してM−JPEG(モーションJPEG)やMPEG(Moving Picture Experts Group)−2、H.264/AVCなどの所定の符号化方式で符号化した符号データとし、符号データを記憶読取部132に出力する。また、圧縮伸長部130は、記憶読取部132が記憶媒体170から読み取った、所定の符号化方式で符号化された符号データを復号した映像データを、映像保持部126に出力する。
The compression /
記憶読取部132は、圧縮伸長部130が符号化した符号データを任意の記憶媒体170に記憶させる。任意の記憶媒体170としては、DVD(Digital Versatile Disc)やBD(Blu-ray Disc)といった光ディスク媒体や、RAM、EEPROM、不揮発性RAM、フラッシュメモリ、HDD等の媒体を適用することができる。ここで、記憶媒体170は、着脱可能とするが、撮像装置110と一体であってもよい。また、記憶読取部132は、映像データを所定の符号化方式で符号化した符号化データが記憶された任意の記憶媒体170から符号化データを読み取り、圧縮伸長部130に出力する。
The
外部入出力部134は、映像保持部126に保持された映像データを、例えば、撮像装置110に接続された、映像を表示する表示装置172に出力する。また、外部入出力部134は、図示しない外部装置からの映像信号を受け取って、映像保持部126に格納する。
The external input /
記憶部136は、RAM、フラッシュメモリ、HDD等で構成され、後述する顔検出部の制御に従って、顔検出部が導出した顔の特徴量を記憶する。ここで、顔の特徴量は、顔の特徴点(目、口、鼻、耳等の特徴部分の代表点)それぞれの相対位置、特徴点同士の離間距離、特徴部分の大きさ、顔の輪郭、肌の色等の顔を特徴付ける情報である。また、記憶部136は後述する撮像操作状態を示す撮像操作情報を記憶する。
The
動き検出部138は、撮像装置110のパンやチルト等の動きを検出する。動き検出部138は、具体的に、例えば、角速度センサ等で構成され、撮像装置110の角速度を測定し、その測定値を後述する情報生成部190に出力する。
The
中央制御部140は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路により、撮像装置110全体を管理および制御する。また、中央制御部140は、顔検出部180、顔識別部182、周辺情報生成部184、追尾部186、撮像制御部188、情報生成部190、焦点決定部192としても機能する。
The
顔検出部180は、撮像部122が生成した映像データから顔を検出し、検出された顔の位置や大きさ、傾き等を示す顔情報を生成する。具体的に、顔検出部180は、例えば、顔全体の輪郭または目、口、鼻、耳等の顔の構成要素に基づくテンプレートマッチングによって顔を検出する。また、顔検出部180は、肌の色に近い領域を検出し、その領域を顔として検出してもよい。さらに、顔検出部180は、ニューラルネットワークを使って教師信号による学習を行い、顔らしいと判断した領域を顔として検出したり、顔を検出する既存の他の技術を用いたりしてもよい。
The
そして、顔検出部180は、検出された顔の特徴量を導出する。また、顔検出部180は、その検出された顔について、登録するようユーザの操作入力があると、導出した特徴量を記憶部136に記憶させる。
Then, the
顔識別部182は、顔検出部180によって検出された顔について、導出された特徴量と、記憶部136に予め記憶されている特徴量とを比較して類似度を導出する。類似度は、検出された顔と、記憶部136に特徴量が記憶されている人物(以下、「登録人物」と称する。)との顔の類似の度合いを示す。そして、顔識別部182は、類似度が予め定められた閾値を超えていると、顔検出部180によって検出された顔が登録人物と同一人物の顔であると判定する。
The
周辺情報生成部184は、顔検出部180から出力される顔の位置や大きさ、傾きを利用して、その顔の人物の胴体に相当する領域を推定して、推定した領域の大きさ、位置および色を示す周辺情報を生成する。
The peripheral information generation unit 184 uses the position, size, and inclination of the face output from the
追尾部186は、映像データにおける顔検出部180が検出した顔またはその顔に対応する周辺情報を追尾する。追尾部186は、顔検出部180が生成した顔情報、および周辺情報生成部184が生成した周辺情報を、所定の周期(例えば、フレーム周期)で取得する。映像データから顔が複数検出された場合、追尾部186は、検出された各顔についての顔情報と周辺情報とを取得する。
The
そして、追尾部186は、顔情報に基づいて、最新のフレームより一つ前のフレームにおける映像領域中の顔が検出された位置Aに対応する、最新のフレームにおける映像領域中の位置A’から、所定の距離内に顔が検出されているか否かを判定する。所定の距離内の位置Bで顔が検出されており、一つ前のフレームの映像領域中の位置Aで検出された顔の大きさと、最新のフレームの映像領域中の位置Bで検出された顔の大きさの変化が所定値以下である場合、追尾部186は、その2つの顔は同一人物の顔であり、顔を追尾できていると判定する。そして、追尾部186は、位置Bと位置A’との差分をとって速度ベクトルを導出する。
Then, the
また、追尾部186は、所定の距離内に顔が検出されていない場合、または、検出されていても顔の大きさの変化が所定の大きさを超えている場合、周辺情報を用いた追尾を行う。具体的に、追尾部186は、一つ前のフレームの映像領域中の位置Dに対応する周辺情報に示される位置が位置D’である場合、この最新のフレームでの映像領域中の位置D’から所定の距離内で、周辺情報に示される色ヒストグラムに類似した色ヒストグラムの領域があるかどうか探索する。このとき、追尾部186は、色の類似度合いを示す指標であるヒストグラムインタセクションの値が所定の閾値以下であるか否かで類似を判定する。
In addition, the
ヒストグラムインタセクションの値が所定の閾値以下となる領域が検出された場合、追尾部186は、同一人物の周辺情報であると判定する。追尾部186は、ヒストグラムインタセクションが所定の閾値以下となる領域が検出されなかった場合、または、複数の領域(例えば、同じ色の服を着た複数の人の胴体)が検出された場合、同一人物の周辺情報を見失ったと判定する。また、色の類似度合いの指標としては、ヒストグラムインタセクションに限定されるものではなく、ユークリッド距離等を用いてもよい。
When a region where the value of the histogram intersection is equal to or smaller than a predetermined threshold is detected, the
最新のフレームで同一人物の顔と判定される顔が検出されず、さらに同一人物の周辺情報も見失ったと判定した場合、追尾部186は、その人物を見失い、追尾不能となったと判定する。
When it is determined that the face determined to be the same person's face in the latest frame is not detected and the peripheral information of the same person is also lost, the
そして、追尾部186は、追尾の可否にかかわらず、顔情報と、顔情報に対応する周辺情報と、顔情報を識別するためのID(IDentification)とを一時的に記憶する。追尾部186は、顔が検出されると顔毎に相異なるIDを付与する。ただし、顔を追尾できている場合、追尾部186は、追尾している顔の顔情報については、一つ前のフレームの追尾の対象となる顔の顔情報に付与されたIDを引き継ぎ、同一のIDを付与して記憶し、さらに導出した速度ベクトルも記憶する。このとき、一旦追尾不能となった人物の顔を所定時間内に再度検出した場合、その顔に付与されていたIDを引き継ぐとしてもよい。このように、追尾部186は、基本的に、顔検出部180が検出したすべての顔を追尾する。
The
撮像制御部188は、焦点調整や露光調整を含む撮像制御を行う。撮像制御部188は、撮像制御を遂行するための制御指令を駆動部160に出力し、駆動部160は、撮像制御部188から出力された制御指令に従って、フォーカスレンズ154やアイリス156を調整する。
The
本実施形態の撮像装置110は、オートフォーカス方式としてコントラスト方式を用いる。コントラスト方式は、撮像素子158上の像のボケの程度とコントラストの間に相関があり、焦点があったときに像のコントラストが最大になることを利用し、焦点を合わせる方式である。コントラストは、撮像部122で生成される映像データの高周波成分のエネルギーの大きさによって評価できる。
The
具体的に、撮像制御部188は、データ処理部124から出力されたコントラストの絶対値の積分値を評価値とするオートフォーカス演算を行う。そして、撮像制御部188は、オートフォーカス演算の結果に応じ、コントラストが最大となるように駆動部160にフォーカスレンズ154の位置を調節させることで焦点を合わせる。また、撮像装置110は、コントラスト方式に限らず、赤外光によって測定された被写体距離に応じてフォーカスレンズ154の位置を調節してもよいし、その他、焦点を合わせる様々な方式を適用してもよい。
Specifically, the
このとき、撮像制御部188は、撮像素子158上の画角内のいずれかの領域をフォーカスエリアとし、フォーカスエリアに対応する部分的な映像データをコントラストの評価の対象とする。撮像装置110におけるオートフォーカス方式は、フォーカスエリアの選択手段によって、例えば以下のモードに分類される。
At this time, the
すなわち、フォーカスエリアとして、画角内の中央の領域を用いる「中央重点フォーカス」、表示部128の表示面に配されたタッチセンサにユーザがタッチした位置に相当する画角内の領域を用いる「タッチフォーカス」、タッチした位置近傍に相当する画角内の領域の色情報を用いて追尾対象物を追尾して、追尾結果の領域を用いる「タッチ追尾オートフォーカス」、顔検出部180で検出した顔のうち最大の面積の顔の位置に相当する画角内の領域を用いる「顔検出フォーカス」、顔検出した結果の一つまたは複数の顔のうち、ユーザがタッチした顔を追尾し、その追尾している顔の位置に相当する画角内の領域を用いる「顔追尾フォーカス」、撮像装置110内の記憶部136に特徴量が記憶されている人物の顔であると判定された顔を追尾し、その追尾している顔の位置に相当する画角内の領域を用いる「個人追尾フォーカス」の各モードである。なお、「顔追尾フォーカス」の場合、ユーザがタッチした顔の特徴量を一時的に記憶するようにしてもよい。
That is, as the focus area, the “center focus” using the center area within the angle of view, and the area within the angle of view corresponding to the position where the user touches the touch sensor arranged on the display surface of the
上述した周辺情報生成部184による周辺情報の生成処理、および追尾部186による追尾処理は、少なくとも「顔追尾フォーカス」と「個人追尾フォーカス」のモードにおいて実行される。なお、周辺情報生成部184が周辺情報の抽出の対象とする顔や、追尾部186が追尾の対象とする顔は、顔検出部180が検出したすべての顔とするが、フォーカスエリアを移動させる対象となる顔は、「特定された顔」とする。
The peripheral information generation processing by the peripheral information generation unit 184 and the tracking processing by the
「特定された顔」は、例えば、「顔追尾フォーカス」であれば、ユーザが表示部128の表示面に備えられたタッチセンサで指定した顔であり、「個人追尾フォーカス」であれば、顔識別部182によって登録人物と同一人物の顔であると判定された顔とする。
The “specified face” is, for example, a face designated by the user with the touch sensor provided on the display surface of the
前者の場合、タッチセンサで指定した「特定された顔」を見失うと、再度タッチセンサによる指定等をしないと「特定された顔」の追尾は再開できない。なお、ユーザがタッチセンサで指定した顔の特徴量を一時的に記憶する構成の場合、「特定された顔」を見失った後で、再度、画面内にその人物の顔が現れると、追尾を再開できる。これは、顔識別部182が、一時的に記憶された顔の特徴量と検出された顔の特徴量とを比較して同一人物の顔であるか否かの判定を行い、同一人物の顔であると判定された顔が検出されると、「特定された顔」として追尾を再開するためである。
In the former case, if the “specified face” specified by the touch sensor is lost, tracking of the “specified face” cannot be resumed unless the touch sensor is specified again. In the case of a configuration that temporarily stores the feature amount of the face specified by the user with the touch sensor, if the face of the person appears again on the screen after losing sight of the “specified face”, tracking is performed. You can resume. This is because the
後者の場合、予め記憶部136に登録した顔を用いるため、「特定された顔」を見失った後で、再度、画面内にその人物の顔が現れると、顔識別部182がその顔を登録人物と同一人物の顔であると判定し、追尾部186が追尾を再開できる。
In the latter case, since the face registered in the
本実施形態において、「特定された顔」は、1つの顔を例に挙げるが、「特定された顔」を複数の顔としてもよい。その場合、撮像制御部188は、すべての「特定された顔」について、総合的に最も焦点が合うようにフォーカス調整を行う。
In the present embodiment, the “specified face” is exemplified by one face, but the “specified face” may be a plurality of faces. In that case, the
情報生成部190は、上記の2つのいずれかのモードで撮像が開始されると、例えば、フレーム周期毎に取得した、後述する撮像操作情報を記憶部136に記憶させる。
When imaging starts in one of the above two modes, the
情報生成部190は、追尾している「特定された顔」について追尾部186が追尾不能と判定するまで、撮像操作情報を記憶部136の第1の場所に記憶させる。記憶部136に記憶させる撮像操作情報は、最新の第1の所定時間分とし、古いデータは新しいデータで上書きされる。したがって、追尾不能となった場合においても、記憶部136には、追尾不能になる直前の撮像操作情報が記憶されていることになる。
The
そして、情報生成部190は、追尾していた「特定された顔」が追尾不能となった場合、追尾不能となった直後の、第2の所定時間について、撮像操作情報を生成し、記憶部136の第2の場所に記憶させる。
Then, when the “specified face” being tracked becomes untrackable, the
このように、情報生成部190は、追尾不能となる直前の第1の所定時間分と、追尾不能となった直後の第2の所定時間分それぞれについて、撮像操作状態を示す撮像操作情報を生成、記憶する。
As described above, the
この撮像操作状態は、例えば、パンまたはチルトの大きさであり、情報生成部190は撮像操作状態としてパンまたはチルトの大きさを示す情報を生成する。具体的に、情報生成部190は、動き検出部138からの出力値に基づいて、パンやチルトの大きさとして、追尾不能となる直前の角速度および追尾不能となった直後の角速度をそれぞれ導出する。パンやチルトの大きさとしては、速度に限らず、例えば、パンやチルト方向の変位量や角速度であってもよい。
This imaging operation state is, for example, the size of pan or tilt, and the
本実施形態の撮像装置110では、パンやチルトの大きさを把握することで、ユーザが撮像装置110の向きをどのように動かして主要被写体を画角に捉えていたのかがわかるため、その後、どのように主要被写体を撮像したいのかといったユーザの意図の推定精度が向上し、さらに適切に撮像状況やユーザの意図を反映したフォーカスエリアおよびアイリスの調整が可能となる。
In the
また、撮像操作状態は、例えば、ズームの大きさであり、情報生成部190は撮像操作状態としてズームの大きさを示す情報を生成する。具体的に、情報生成部190はズームの大きさとして、ズームレンズの位置とズームレンズの移動速度(以下、ズーム速度と称す)を導出する。
Further, the imaging operation state is, for example, the zoom size, and the
本実施形態の撮像装置110では、ズームの大きさを把握することで、ユーザが主要被写体に対してズームインをしていたのかズームアウトをしていたのか、どちらでもないのかがわかるため、その後、どのように主要被写体を撮像したいのかといったユーザの意図の推定精度が向上し、さらに適切に撮像状況やユーザの意図を反映したフォーカスエリアおよびアイリスの調整が可能となる。
In the
さらに、撮像操作状態は、フォーカス状態であってもよい。この場合、映像データの高周波成分のエネルギーのフレーム毎の変動が、所定の閾値よりも小さい場合に合焦状態であると判断する。 Further, the imaging operation state may be a focus state. In this case, when the fluctuation of the energy of the high-frequency component of the video data for each frame is smaller than a predetermined threshold value, it is determined that the in-focus state is reached.
また、撮像操作状態は、「特定された顔」の特徴とその周辺情報とそれらの位置と、その他のすべての顔の特徴とその周辺情報とそれらの位置であってもよい。また、撮像操作状態は、追尾部186が導出した速度ベクトルであってもよい。
Further, the imaging operation state may be the characteristics of the “specified face” and its peripheral information and their positions, and all the other facial characteristics and their peripheral information and their positions. The imaging operation state may be a velocity vector derived by the
撮像操作状態が周辺情報である場合、情報生成部190は、追尾している「特定された顔」の周辺情報とその他のすべての顔の周辺情報から、「特定された顔」の周辺情報が他の周辺情報と識別可能であるかを判定する。例えば、周辺情報を上半身の服の色とする場合、追尾している「特定された顔」の人物の服の色ヒストグラムが他のすべての顔の人物の服の色ヒストグラムと異なると判定されると、識別可能と判定される。色ヒストグラムが異なるか否かの判定は、ヒストグラムインタセクションの値が所定の閾値より大きいか否かで行い、閾値より大きいと異なると判定される。
When the imaging operation state is the peripheral information, the
焦点決定部192は、追尾不能となる直前の第1の所定時間分と、追尾不能となった直後の第2の所定時間分の撮像操作情報に基づいて、フォーカスエリア(焦点を合わせる画角内の位置)を決定、または、撮像部122の被写界深度、本実施形態においてはアイリスを決定する。そして、焦点調整部192は、撮像制御部188に決定したフォーカスエリアおよびアイリスの値を出力する。撮像制御部188は、そのフォーカスエリアおよびアイリスの値に応じて駆動部160を制御する。焦点調整部192がフォーカスエリアおよびアイリスの値を決定する具体例については後述するフローチャートにおいて詳述する。
The
本実施形態の撮像装置110は、主要被写体を追尾不能となった直前および直後それぞれについての撮像操作情報に応じて、追尾不能となった主要被写体が追尾不能直後に画角内外のどの位置にいるか、および撮像者がその主要被写体を引き続き主要な被写体と考えているかどうかを推測し、追尾不能になった場合のフォーカスエリア、および被写界深度(本実施形態においてはアイリス)を決定する。そのため、まだ追尾可能と考えるか、追尾を断念するかといったユーザの意図が反映された撮像が可能になり、撮像装置110がユーザの意図に反した動作をしてしまい、ユーザがそれを是正しなければならないといった煩わしい事態を回避できる。
The
また、焦点決定部192は、主要被写体が追尾不能の状態が、撮像操作情報に応じた長さの待機時間継続すると、被写界深度(本実施形態においてはアイリス)を決定した値に変化させてもよい。例えば、撮像操作情報がパンやチルトの速度の場合、焦点決定部192は、その速度に応じて待機時間やアイリスを決定する。
The
このように、本実施形態の撮像装置110は、適切に設定された待機時間の経過を待って、被写界深度を変化させることができる。本実施形態において、アイリスを変更するまでの待機時間をアイリス待機時間と称す。
As described above, the
焦点決定部192は、主要被写体が追尾不能の状態が、撮像操作情報に応じた長さの待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央(以下、単に画角の中央と称す)に移動してもよい。例えば、撮像操作情報がパンやチルトの速度の場合、焦点決定部192は、その速度に応じて待機時間を決定する。焦点決定部192は、追尾不能の状態が待機時間継続すると、焦点を合わせる画角内の位置を撮像対象となる範囲の中央に移動させる。この際、焦点決定部192は、待機時間を撮像操作情報に応じた長さとする。例えば、主要被写体がフレームアウトしている可能性が高い場合には、待機時間を比較的短く、フレームアウトしている可能性が低い場合には、待機時間を比較的長くする。
When the main subject cannot be tracked and the standby time of the length corresponding to the imaging operation information continues, the
このように、本実施形態における撮像装置110は、適切に設定された待機時間の経過を待って、フォーカスエリアを撮像対象となる範囲の中央にすることができる。本実施形態において、フォーカスエリアを変更するまでの待機時間をエリア待機時間と称す。
As described above, the
また、焦点決定部192は、主要被写体を追尾不能になった直前および直後それぞれについての、パンとチルトの大きさ、ズームの大きさ、フォーカス状態、検出されたすべての顔の特徴とその周辺情報とそれらの位置、速度ベクトルといった、撮像操作情報のうち、いずれか1または複数の値を入力とする、予め定められた関数の出力値によって、エリア待機時間、アイリス待機時間を連続的に変えるようにしてもよい。
In addition, the
以上のように、本実施形態の撮像装置110を用いれば、撮像操作情報に応じてフォーカスエリアやアイリスを調整するため、顔を追尾したオートフォーカス中に追尾不能になっても、ユーザの意図に沿ったフォーカスエリアやアイリスの自動調整を行うことが可能となる。
As described above, when the
(撮像方法)
図4〜6は、第1の実施形態における撮像方法の処理の流れを示すフローチャートである。少なくとも上記の2つのいずれかのモードで撮像が開始されると、撮像部122は映像データを生成し(S300)、顔検出部180は映像データから顔を検出し(S302)、その顔情報から特徴量を導出する(S304)。顔識別部182は、導出された特徴量と、記憶部136に予め記憶されている特徴量とを比較して登録人物と同一人物の顔であるかの判定をする(S306)。
(Imaging method)
4 to 6 are flowcharts illustrating the processing flow of the imaging method according to the first embodiment. When imaging is started in at least one of the above two modes, the
周辺情報生成部184は、検出したすべての顔の人物の胴体に対応する領域を推定して、推定した領域の位置や色を示す周辺情報を生成する(S308)。追尾部186は、映像データにおける顔検出部180が検出した顔またはその顔に対応する周辺情報を追尾する(S310)。情報生成部190は、最新の撮像操作情報を記憶部136に記憶させる(S312)。
The peripheral information generation unit 184 estimates a region corresponding to the detected human torso of all the faces, and generates peripheral information indicating the position and color of the estimated region (S308). The
追尾部186が追尾している「特定された顔」が追尾不能になる直前、情報生成部190は、撮像操作情報を記録部136の第1の場所に記憶させる。第1の場所には、第1の所定時間に相当するフレーム数分(ここでは、Nフレームとする。Nは自然数。)の撮像操作情報が記憶される。最新のフレームの撮像操作情報は、Nフレーム分の情報のうち最も古いフレームの情報に上書きされる。したがって、第1の場所には、追尾不能になる直前のNフレーム分の撮像操作情報が格納される。
Immediately before the “specified face” tracked by the
追尾部186が追尾している「特定された顔」が追尾不能になった直後、情報生成部190は、撮像操作情報を記録部136の第2の場所に記憶させる。第2の場所には、追尾不能になったフレームから、第2の所定時間に相当するフレーム数分(ここでは、Mフレームとする。Mは自然数)の撮像操作情報が記憶される。追尾不能状態が続く場合には、第2の場所には追尾不能になったフレームからMフレーム分の撮像操作情報が格納される。以上のようにして、記憶部136の第1の場所と第2の場所に、追尾不能になる直前のNフレーム分と直後のMフレーム分の撮像操作情報が記憶される。
Immediately after the “specified face” tracked by the
記憶される撮影情報は、パンとチルトの大きさ、ズームの大きさ、フォーカス状態、検出されたすべての顔の特徴とその周辺情報とそれらの位置、速度ベクトルである。 The stored photographing information includes pan and tilt sizes, zoom sizes, focus states, all detected facial features and their peripheral information, their positions, and velocity vectors.
情報生成部190は、追尾部186が追尾している「特定された顔」が追尾不能となったか否かを判定する(S314)。追尾不能となった場合(S314におけるYES)、情報生成部190は、最新のフレームの一つ前のフレームでも追尾不能となっていたか否かを判定する(S316)。前のフレームで追尾不能でなかった、すなわち、最新のフレームが追尾不能となった初めてのフレームである場合(S316におけるNO)、時間計測のカウンターをリセットした上で、その「特定された顔」が追尾不能と判定された時点からの経過時間の計測を開始する(S318)。
The
次に、フォーカスエリアやアイリスの設定判定の処理を行う(S320)。設定判定ステップS320については、図5、6を用いて後に詳述する。焦点決定部192は、設定判定ステップS320においてエリア待機時間が設定されたか否かを示すエリアフラグが、設定されたことを示す1で、かつ追尾不能と判定された時点からエリア待機時間が経過したか否かを判定する(S322)。エリアフラグが1で、かつエリア待機時間が経過している場合(S322におけるYES)、撮像制御部188は、画角の中央がフォーカスエリアとなるよう駆動部160を制御する(S324)。エリアフラグが、エリア待機時間が設定されていないことを示す0か、またはエリア待機時間が経過していない場合(S322におけるNO)、焦点決定部192は、設定判定ステップS320においてアイリス待機時間が設定されたか否かを示すアイリスフラグが、設定されたことを示す1で、かつアイリス待機時間が経過したか否かを判定する(S326)。アイリスフラグが1で、アイリス待機時間が経過している場合(S326におけるYES)、撮像制御部188は、設定されたアイリスの値となるように駆動部160を制御する(S328)。アイリスフラグが、設定されていないことを示す0であるか、アイリス待機時間が経過していないかの少なくとも一方の条件に該当する場合(S326におけるNO)、フォーカス調整、アイリス調整とも固定した状態とする。
Next, focus area and iris setting determination processing is performed (S320). The setting determination step S320 will be described in detail later with reference to FIGS. The
追尾不能判定ステップS314において、追尾不能ではない場合(S314におけるNO)、撮像制御部188は、追尾している「特定された顔」の顔情報または周辺情報に基づいて、フォーカスエリアを設定し焦点を合わせる(S330)。
In the tracking impossibility determination step S314, when tracking is not impossible (NO in S314), the
そして、中央制御部140は、ユーザからの撮像の終了指示があるか否かを判定し(S332)、終了の指示があれば(S332におけるYES)、撮像処理を終了し、終了の指示がなければ(S332におけるNO)、映像データ生成ステップS300に戻る。
Then, the
続いて、設定判定ステップS320の詳細について、図5を用いて説明する。情報生成部190は、記憶部136の第1の場所に記憶されている、追尾不能になる直前のNフレーム分の情報から、「特定された顔」の周辺情報が他の周辺情報と識別可能であったか否かを判定する(S350)。識別可能であった場合(S350におけるYES)、記憶部136の第2の場所に記憶されている、最新のフレームの情報から、「特定された顔」の周辺情報と同一と見なせる周辺情報が検出されたか否かを判定する(S352)。同一と見なせる周辺情報が検出された場合(S352におけるYES)、焦点決定部192は、フォーカスエリアをその周辺情報に示される位置とし撮像制御部188が駆動部160を駆動する(S354)。追尾部186は、次のフレームからその周辺情報を追尾する。焦点決定部192は、エリアフラグとアイリスフラグをそれぞれ0とする(S356)。
Next, details of the setting determination step S320 will be described with reference to FIG. The
このように、「特定された顔」の周辺情報が追尾不能となる直前に識別可能であって、追尾不能となった直後でその周辺情報と同一と人物のものと見なせる周辺情報が検出された場合、焦点決定部192は、その周辺情報に示される位置にフォーカスエリアを決定する。周辺情報が識別可能、すなわち胴体の服の色ヒストグラムが他の人物のものと異なる場合、その周辺情報と同一と見なせる周辺情報は同一人物のものである可能性が高い。従って、その周辺情報の位置にフォーカスエリアを移動することで、主要被写体に合焦できる可能性が高い。一方、周辺情報が識別可能でない場合、似たような色の服の人物が複数いると考えられる。その場合、ユーザの意図する人物とは別の人物に合焦してしまうおそれがあるため、焦点決定部192は、他と識別可能な周辺情報があるときに限って、周辺情報を参照してフォーカスエリアを決定する。
In this way, peripheral information that is identifiable immediately before tracking of the “specified face” becomes impossible to track and immediately after tracking becomes impossible is detected as being the same as that of the person. In this case, the
追尾不能になる直前に周辺情報が他の周辺情報と識別可能で無かった場合(S350におけるNO)、または、最新のフレームで同一と見なせる周辺情報がなかった場合(S352におけるNO)、情報生成部190は、記憶部136に記憶されている撮像操作情報に基づき、追尾不能となった直前および直後それぞれについて、撮像操作情報としてズーム速度を導出する(S358)。そして、焦点決定部192は、追尾不能となった直前および直後の少なくとも一方でズームインをしているか否かをズーム速度から判定する(S360)。ズームインしている場合(S360におけるYES)、焦点決定部192は、エリア待機時間を約2秒に設定し、エリアフラグを1、アイリスフラグを0とする(S362)。
When the peripheral information is not distinguishable from other peripheral information immediately before tracking becomes impossible (NO in S350), or when there is no peripheral information that can be regarded as the same in the latest frame (NO in S352), the
このように、追尾不能になる直前、または追尾不能になった直後に、ズームイン操作が行われた場合、焦点決定部192は、エリア待機時間を短く約2秒間とし、その後、撮像制御部188は、画角の中央をフォーカスエリアとした中央フォーカスステップS324を行う。これは、ズームイン操作が、画角の中央に、主要被写体を位置させて行われることが多いためである。また、エリア待機時間設定ステップS362の後、複数フレーム(例えば、10フレーム)分、画角中央付近に同一人物の顔が検出されると、その顔が追尾不能になった「特定された顔」であると見なせない場合であっても、焦点決定部192は、その顔の位置をフォーカスエリアとしてもよい。さらに、焦点決定部192は、ズーム速度が速いほど、エリア待機時間を短くしてもよい。
As described above, when the zoom-in operation is performed immediately before the tracking becomes impossible or immediately after the tracking becomes impossible, the
ズームインしていなかった場合(S360におけるNO)、焦点決定部192は、追跡不能となった直前および直後の少なくとも一方でズームアウトしているか否かを判定する(S364)。ズームアウトしている場合(S364におけるYES)、焦点決定部192は、エリア待機時間とアイリス待機時間を約2秒とし、エリアフラグとアイリスフラグをそれぞれ1とし(S366)、アイリス待機時間経過後、アイリスを狭い値とするように設定する(S368)。
When the zoom-in has not been performed (NO in S360), the
追尾不能になる直前、または追尾不能になった直後で、ズームアウト操作を行った場合には、エリア待機時間を短く約2秒に設定し、その後、撮像制御部188は、画角の中央をフォーカスエリアとした中央フォーカスステップS324を行う。また、ズームアウト操作の場合、主要被写体が画角の特定の場所にいるといった傾向が少ないため、焦点決定部192は、アイリスを狭く設定し被写界深度を深くする。被写界深度を深くすることで、主要被写体が画角のどの位置にあっても焦点の合った映像が得られる。ここでも、焦点決定部192は、ズーム速度が速いほど、エリア待機時間を短くしてもよい。
When the zoom-out operation is performed immediately before tracking becomes impossible or immediately after tracking becomes impossible, the area waiting time is set to about 2 seconds, and then the
ズームアウトしていなかった場合(S364におけるNO)、さらに、設定判定の処理を行う(S370)。設定判定ステップS370について、図6を用いて説明する。情報生成部190は、記憶部136に記憶されている撮像操作情報に基づき、追尾不能となった直前および直後それぞれについて、撮像操作情報としてパンやチルトの速度を導出する(S400)。そして、焦点決定部192は、パンやチルトの速度が予め定められた速度の閾値と比較する等して、手ぶれではなくパンやチルト動作が行われているか否かを判定する(S402)。パンやチルト動作が行われている場合(S402におけるYES)、焦点決定部192は、追尾不能となる直前と直後それぞれのパンやチルトが比較的高速(例えば、30°/sec以上)であるか否かを判定する(S404)。いずれも高速であった場合(S404におけるYES)、焦点決定部192は、エリア待機時間とアイリス待機時間を約3秒に設定し、エリアフラグとアイリスフラグをそれぞれ1とし(S406)アイリス待機時間経過後、アイリスを狭い値とするように設定する(S408)。
If it is not zoomed out (NO in S364), a setting determination process is further performed (S370). The setting determination step S370 will be described with reference to FIG. Based on the imaging operation information stored in the
このように、追尾不能になる直前に、比較的高速度でパンやチルトを行っており、追尾不能になった直後も比較的高速度でパンやチルトを行っている場合、主要被写体が比較的高速度で移動していると考えられる。この場合、画面の中央に主要被写体を配置するように撮像すると考えられるため、焦点決定部192は、エリア待機時間を短く約3秒に設定し、その後、撮像制御部188は、画角の中央をフォーカスエリアとした中央フォーカスステップS324を行う。この場合、主要被写体までの距離も変化する場合が多いため、焦点決定部192は、アイリスを狭く設定し被写界深度を深くする。被写界を深くすることで、被写体距離の推測に失敗していても、フォーカスの合った映像が得られる。また、パンやチルトの速度が高速になるほど待機時間をより短くしてもよい。
In this way, if panning and tilting is performed at a relatively high speed immediately before tracking becomes impossible, and if panning and tilting is performed at a relatively high speed immediately after tracking becomes impossible, the main subject is relatively It is thought that it is moving at high speed. In this case, since it is considered that imaging is performed so that the main subject is arranged in the center of the screen, the
追尾不能となる直前のパンやチルトおよび直後のパンやチルトのいずれか一方でも比較的高速でなかった場合(S404におけるNO)、焦点決定部192は、追尾不能となる直前のパンやチルトが比較的高速かつ、追尾不能となった直後のパンやチルトが比較的低速(例えば、30°/sec未満)であるか否かを判定する(S410)。追尾不能直前が比較的高速かつ、追尾不能直後が比較的低速である場合(S410におけるYES)、焦点決定部192は、エリア待機時間を約15秒、アイリス待機時間を約4秒に設定し、エリアフラグとアイリスフラグをそれぞれ1とし(S412)、アイリス待機時間経過後、アイリスを狭い値とするように設定する(S414)。
If either the panning or tilting immediately before tracking becomes impossible or the panning or tilting immediately after that is not relatively fast (NO in S404), the
このように、追尾不能になる直前、比較的高速度でパンやチルトを行っていたが、追尾不能になった直後には、パンやチルトを停止した場合、主要被写体が追尾不能になった時点でいた場所に留まっている可能性が高い。この場合、一時的に顔の向きが逸れただけで、再度、撮像装置110側に向き、追尾可能となる可能性がある。このとき、比較的短時間でフォーカスエリアを画角の中央に移動してしまうと、ユーザは、再度、タッチセンサ等で主要被写体を指定しなおさなければならず煩わしい上、フォーカスエリアの移動が多い、見難い映像となってしまう。そこで、焦点決定部192は、比較的長い約15秒間、フォーカスエリアを固定する。一方、追尾不能となる直前は比較的高速度でパンやチルトを行っていたため、被写体距離が正確でない可能性も高いため、アイリスを狭くする。
In this way, panning and tilting were performed at a relatively high speed immediately before tracking became impossible, but immediately after tracking became impossible, when panning and tilting were stopped, when the main subject became untrackable There is a high possibility of staying at the place where it was. In this case, there is a possibility that only the face is temporarily deviated and the image is directed again toward the
追尾不能直前が比較的高速かつ、追尾不能直後が比較的低速でなかった場合(S410におけるNO)、焦点決定部192は、追尾不能となる直前のパンやチルトが比較的低速かつ、追尾不能となった後のパンやチルトが比較的高速であるか否かを判定する(S416)。追尾不能直前が比較的低速かつ、追尾不能直後が比較的高速である場合(S416におけるYES)、焦点決定部192は、エリア待機時間を約0秒、アイリス待機時間を約0秒に設定し、エリアフラグを1、アイリスフラグを1とし(S418)、アイリスをより狭い値とするように設定する(S420)。
If the tracking immediately before tracking is relatively fast and the tracking immediately after tracking is not relatively slow (NO in S410), the
このように、追尾不能になる直前、パンやチルトを行っていないか、あるいは比較的低速で行っていたが、追尾不能直後に比較的高速度でパンやチルトを開始した場合、何らかの理由で顔の識別が困難であったり、ユーザが「特定された顔」を別の人の顔に切り換えたりしたことが想定される。したがって、焦点決定部192は、迅速に画面中央付近の顔にフォーカスを合わせ、アイリスは比較的大きく絞るように設定する。また、画角の中央付近に複数フレーム(例えば、10フレーム以上)にわたって顔が検出された場合、その顔が追尾不能になった「特定された顔」であると見なせない場合であっても、焦点決定部192は、その顔の位置をフォーカスエリアとする。
In this way, if panning or tilting is not performed immediately before tracking becomes impossible or it is performed at a relatively low speed, but panning or tilting starts at a relatively high speed immediately after tracking is impossible, for some reason the face Is difficult, or the user has switched the “specified face” to another person's face. Accordingly, the
追尾不能直前が比較的低速かつ、追跡不能直後が比較的高速でなかった場合(S416におけるNO)、すなわち、追尾不能となる直前および直後それぞれのパンやチルトが比較的低速である場合、焦点決定部192は、エリア待機時間を約15秒に設定し、エリアフラグを1、アイリスフラグを0とする(S422)。
The focus is determined when the tracking immediately before tracking is relatively slow and the tracking immediately after tracking is not relatively fast (NO in S416), that is, when pan and tilt are relatively slow immediately before and immediately after tracking becomes impossible. The
このように、追尾不能となる直前および直後それぞれにおいて、パンやチルトを比較的低速で行っている場合、何らかの理由で「特定された顔」を追跡できないが、実際にはその場所にいるものと考えられる。そのため、焦点決定部192は、比較的長い約15秒間、フォーカスエリアを追尾不能になる直前の位置のまま固定し、アイリスは追尾不能になる直前と同じ値を保つよう設定する。
In this way, if panning and tilting are performed at a relatively low speed immediately before and after tracking becomes impossible, the “specified face” cannot be tracked for some reason, but it is actually in that place. Conceivable. For this reason, the
さらに、追尾不能になる直前の「特定された顔」やその周辺情報の位置が画角の中央付近であり、速度ベクトルが小さく(例えば、画角換算で5°/sec未満)、合焦状態であって焦点距離の変化の大きさが小さく、その他の顔の位置が「特定された顔」の位置と離れていて速度ベクトルが小さく(例えば、画角換算で5°/sec未満)、追尾不能直後もその他の顔の位置の変化が小さい場合、焦点決定部192は、さらに長い時間フォーカスエリアを固定する。この場合には、「特定された顔」の人物がその場所にいる可能性がより高いためである。
Furthermore, the position of the “specified face” and its surrounding information immediately before tracking becomes impossible is near the center of the angle of view, the velocity vector is small (for example, less than 5 ° / sec in terms of angle of view), and the in-focus state And the change in the focal length is small, the position of the other face is far from the position of the “specified face”, the velocity vector is small (for example, less than 5 ° / sec in terms of angle of view), and tracking If the change in the position of the other face is small immediately after the failure, the
有意判定ステップS402において、パンやチルト動作が行われていなかった場合(S402におけるNO)、焦点決定部192は、追尾不能になる直前または追尾不能になった直後にフォーカスが合焦状態でなかったか、または焦点距離の変化の大きさが大きかったか、追尾している「特定された顔」とその周辺情報の移動速度が速く(例えば、画角換算で20°/sec以上)、追尾不能直後のパンやチルトが行われないか比較的低速(例えば、20°/sec未満)であったか、いずれかの条件に該当するか否かを判定する(S424)。該当する場合(S424におけるYES)、焦点決定部192は、エリア待機時間とアイリス待機時間を比較的短い約5秒に設定し、エリアフラグとアイリスフラグをそれぞれ1とし(S426)、アイリス待機時間経過後、アイリスを狭い値とするように設定する(S428)。条件判定ステップS424において、いずれかの条件に該当する場合、「特定された顔」にフォーカスがあっていないと考えられるため、比較的早く画角の中央にフォーカスエリアを移す。いずれの条件にも該当しない場合(S424におけるNO)、焦点決定部192は、デフォルトの設定である、エリア待機時間とアイリス待機時間を約10秒間とし、エリアフラグとアイリスフラグをそれぞれ1とする(S430)。
If no panning or tilting operation has been performed in the significance determination step S402 (NO in S402), the
以上説明したように、本実施形態の撮像装置110を用いた撮像方法によれば、ユーザの意図に沿ったフォーカスエリアやアイリスの自動調整を行うことが可能となる。
As described above, according to the imaging method using the
(第2の実施形態)
上述した第1の実施形態では、人の顔を追尾することを前提としていた。第2の実施形態では、人の顔に限らないより汎用性のある追尾を前提として、追尾不能直後の処理をユーザの意図に沿ったものとする撮像装置510について説明する。本実施形態では、上述した「タッチ追尾オートフォーカス」のモードで撮像する場合について説明する。なお、上述した第1の実施形態と実質的に等しい構成要素については、同一の符号を付して説明を省略する。
(Second Embodiment)
In the first embodiment described above, it is assumed that a person's face is tracked. In the second embodiment, a description will be given of an
(撮像装置510)
図7は、撮像装置510の概略的な構成を示した機能ブロック図である。撮像装置510は、操作部120と、撮像部122と、データ処理部124と、映像保持部126と、表示部128と、圧縮伸長部130と、記憶読取部132と、外部入出力部134と、記憶部136と、動き検出部138と、中央制御部540と、を含んで構成される。
(Imaging device 510)
FIG. 7 is a functional block diagram illustrating a schematic configuration of the
中央制御部540は、中央処理装置や信号処理装置を含む半導体集積回路で構成され、所定のプログラムを用いて撮像装置510全体を管理および制御する。また、中央制御部540は、色抽出部580、追尾部586、撮像制御部188、情報生成部190、焦点決定部192としても機能する。
The
第1の実施形態における構成要素として既に述べた、操作部120、撮像部122、データ処理部124、映像保持部126、表示部128、圧縮伸長部130、記憶読取部132、外部入出力部134、記憶部136、動き検出部138、撮像制御部188、情報生成部190、焦点決定部192は、実質的に機能が等しいので重複説明を省略し、ここでは構成が相違する中央制御部540の色抽出部580と追尾部586を主に説明する。
The
色抽出部580は、ユーザが表示部128の表示面に備えられたタッチセンサで位置を指定すると、映像データにおけるその位置に相当する領域の色情報を抽出する。この色情報は、追尾対象物を特定するためのものとなる。以降、追尾部586から領域の指定があると、色抽出部580は、指定された領域の色情報を抽出する。
When the user designates a position with the touch sensor provided on the display surface of the
表示部128は、撮像中の映像がスルー画像として表示される。ユーザが、そのスルー画像の任意の場所をタッチすると、映像データにおける被写体像(追尾対象物)が指定される。ユーザがタッチした位置情報は、表示部128の表示面に配されたタッチセンサで読み取られ、記憶部136に記憶される。色抽出部580は、映像保持部126に記憶された映像データから、記憶部136に記憶された位置情報に相当する領域の映像データを読み出し、その映像データから色情報を抽出する。抽出された色情報は記憶部136に記憶される。
The
そして、次フレーム以降、画角内の追尾対象物の移動を追尾する。追尾部586は、記憶部136に記憶された位置情報に基づいて探索範囲を決定する。探索範囲は、例えば、位置情報の位置から上下左右に所定の距離をとった領域とする。色抽出部580は、探索範囲の映像データを映像保持部126から読み出し、探索領域より十分に小さい大きさの小領域の映像データから色情報を抽出する。
After the next frame, the movement of the tracking target within the angle of view is tracked. The
続いて、追尾部586は、抽出された色情報と記憶部136に記憶されている色情報との類似度をヒストグラムインタセクションによって導出し、小領域の位置を追尾領域内で変えながら類似度を算出していき、最も類似度が高い小領域の位置を導出する。この最も類似度が高い小領域の位置が追尾結果の位置となる。追尾部586は、記憶部136に記憶されている位置情報を更新する。以下、撮像制御部188は、追尾結果の位置をフォーカスエリアとし、第1の実施形態と同様、焦点の調整を行う。
Subsequently, the
また、追尾部586は、追尾対象物の移動速度を算出する。追尾対象物の移動速度は、追尾対象物の前フレームと最新フレームのそれぞれ画角内の位置から移動距離を算出し、フレーム間の時間間隔で除算した値である。ただし、フレーム間の時間間隔が追尾している間変化しない場合、除算せず移動距離をそのまま用いてもよい。追尾部586は、導出した移動速度を情報生成部190に出力する。焦点決定部192は、かかる移動速度を、第1の実施形態で説明した、撮像操作状態として用いてもよい。
The
「タッチ追尾オートフォーカス」のモードで撮像している場合であっても、例えば、追尾対象物が他の物体に隠れてしまったり、追尾対象物の色が正面と背面で異なり、背面を向いてしまったり、追尾対象物がフレームアウトしてしまったり、追尾対象物に光が反射し色が変わって見えたりして、追尾対象物を追尾不能となる場合がある。 Even when shooting in the “touch tracking autofocus” mode, for example, the tracking target is hidden behind other objects, or the tracking target color is different between the front and back, and the back In some cases, the tracking target may be out of frame, the light may be reflected on the tracking target and the color may change, and the tracking target may be unable to be tracked.
(撮像方法)
さらに、上述した撮像装置510を用いた撮像方法も提供される。図8〜10は、第2の実施形態における撮像方法の処理の流れを示すフローチャートである。「タッチ追尾オートフォーカス」のモードで撮像が開始されると、撮像部122は映像データを生成する(S300)。タッチパネルを通じた映像データにおける位置の指定を既に受け付けたか否かを判定し(S604)、既に受け付けていると(S604におけるYES)、色抽出部580は、指定された位置に相当する領域の色情報を抽出し(S606)、追尾部586は、その色情報に基づいて追跡対象物の追尾を開始する(S608)。
(Imaging method)
Furthermore, an imaging method using the above-described
以下、追尾不能判定ステップS314から終了判定ステップS332までの処理は、設定判定ステップS620を除いて、第1の実施形態と実質的に等しいため重複説明を省略する。続いて、設定判定ステップS620の詳細について、図9を用いて説明する。 Hereinafter, the processing from the tracking impossibility determination step S314 to the end determination step S332 is substantially the same as that of the first embodiment except for the setting determination step S620, and thus a duplicate description is omitted. Next, details of the setting determination step S620 will be described with reference to FIG.
図9において、ズーム速度導出ステップS358からアイリス設定ステップS368までの処理は、第1の実施形態と実質的に等しいため重複する説明を省略する。ただし、エリア待機時間設定ステップS362において、追尾部586は、色情報による追尾のための探索範囲を画角の中央付近とする。ズームイン操作は、画角の中心に主要被写体がある場合に行われることが多いからである。ズームアウト判定ステップS364において、ズームアウトしていなかった場合(S364におけるNO)、さらに、設定判定の処理を行う(S670)。設定判定ステップS670について、図10を用いて説明する。
In FIG. 9, the processing from the zoom speed deriving step S358 to the iris setting step S368 is substantially the same as that of the first embodiment, and therefore redundant description is omitted. However, in the area standby time setting step S362, the
図10において、パンチルト速度導出ステップS400からアイリス設定ステップS414までの処理は、第1の実施形態と実質的に等しいので重複する説明を省略する。追尾不能前後の速度判定ステップS410において、追尾不能となる直前のパンやチルトが比較的高速かつ、追尾不能となった直後のパンやチルトが比較的低速でなかった場合(S410におけるNO)、焦点決定部192は、追尾不能となる直前および直後それぞれのパンやチルトが比較的低速であるか否かを判定する(S680)。比較的低速である場合(S680におけるYES)、焦点決定部192は、追尾不能となる直前の追跡対象物の移動速度が低速(例えば、画角換算で5°/sec未満)であり、かつフォーカスが合焦状態で焦点距離の変化が小さいか否かを判定する(S682)。追跡対象物の移動速度が低速かつ焦点距離の変化が小さい場合(S682におけるYES)、焦点決定部192は、エリア待機時間を約20秒に設定し、エリアフラグを1、アイリスフラグを0とする(S684)。
In FIG. 10, the processes from the pan / tilt speed deriving step S400 to the iris setting step S414 are substantially the same as those in the first embodiment, and thus redundant description is omitted. In the speed determination step S410 before and after the tracking is impossible, if the pan or tilt immediately before the tracking becomes impossible is relatively fast and the pan or tilt immediately after the tracking becomes impossible is not relatively slow (NO in S410), the focus The
上述した追尾対象物の移動速度は画角内の移動速度であり、実際には追跡対象物が比較的高速で移動していても、パンやチルトでその動きを追うと画角内の追跡対象物の移動速度は小さくなる。この場合、ユーザは、追尾不能になってからも追尾対象物の動きをパンやチルトで追っており、しかも追尾対象物は焦点距離を変えなくてはならないような移動はしていないと考えられる。したがって、焦点決定部192は、フォーカスエリアを比較的長時間固定することで、ユーザは追尾対象物に焦点が合った状態で撮像を続けることができる。
The moving speed of the tracking object described above is the moving speed within the angle of view. In fact, even if the tracking object is moving at a relatively high speed, if the movement of the tracking object is followed by panning or tilting, the tracking object within the angle of view is The moving speed of an object becomes small. In this case, it is considered that the user follows the movement of the tracking target object by panning or tilting even after tracking becomes impossible, and the tracking target object does not move so as to change the focal length. Therefore, the
以下、条件判定ステップS424からエリア待機時間およびアイリス待機時間設定ステップS430までの処理は、第1の実施形態と実質的に等しいため重複説明を省略する。 Hereinafter, the processing from the condition determination step S424 to the area standby time and iris standby time setting step S430 is substantially the same as that of the first embodiment, and therefore, a duplicate description is omitted.
本実施形態の撮像装置510を用いた撮像方法によれば、撮像状況やユーザの意図に沿ったフォーカスエリアやアイリスの自動調整を行うことが可能となる。
According to the imaging method using the
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to this embodiment. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Is done.
なお、本明細書の撮像方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。 Note that each step in the imaging method of the present specification does not necessarily have to be processed in time series in the order described in the flowchart, and may include parallel or subroutine processing.
本発明は、被写体の検出ができない状況となっても適切な焦点調整を行う撮像装置および撮像方法に利用することができる。 The present invention can be used in an imaging apparatus and an imaging method that perform appropriate focus adjustment even when a subject cannot be detected.
110、510 …撮像装置
122 …撮像部
186、586 …追尾部
190 …情報生成部
192 …焦点決定部
110, 510 ...
Claims (6)
前記映像データにおける特定された被写体を追尾する追尾部と、
追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成する情報生成部と、
前記撮像操作情報に基づいて、焦点を合わせる画角内の位置を決定、または、前記撮像部の被写界深度を決定する焦点決定部と、
を備えることを特徴とする撮像装置。 An imaging unit that images a subject and generates video data;
A tracking unit that tracks a specified subject in the video data;
When the subject that has been tracked becomes untrackable, an information generation unit that generates imaging operation information indicating an imaging operation state for each of the tracking before and after tracking becomes impossible,
Based on the imaging operation information, determine a position within the angle of view to focus, or a focus determination unit that determines the depth of field of the imaging unit,
An imaging apparatus comprising:
前記映像データにおける特定された被写体を追尾し、
追尾していた前記被写体が追尾不能となった場合、追尾不能となる前と、追尾不能となった後それぞれについて、撮像操作状態を示す撮像操作情報を生成し、
前記撮像操作情報に基づいて、焦点を合わせる画角内の位置を決定、または、被写界深度を決定することを特徴とする撮像方法。 Capture the subject, generate video data,
Track the identified subject in the video data,
When the tracked subject becomes untrackable, it generates imaging operation information indicating an imaging operation state for each of the tracking before and after tracking becomes impossible.
An imaging method comprising: determining a position within an angle of view for focusing or determining a depth of field based on the imaging operation information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011006404A JP5594157B2 (en) | 2011-01-14 | 2011-01-14 | Imaging apparatus and imaging method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011006404A JP5594157B2 (en) | 2011-01-14 | 2011-01-14 | Imaging apparatus and imaging method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012151526A true JP2012151526A (en) | 2012-08-09 |
JP5594157B2 JP5594157B2 (en) | 2014-09-24 |
Family
ID=46793398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011006404A Active JP5594157B2 (en) | 2011-01-14 | 2011-01-14 | Imaging apparatus and imaging method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5594157B2 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013012941A (en) * | 2011-06-29 | 2013-01-17 | Olympus Imaging Corp | Tracking apparatus, tracking method, and tracking program |
JP2016129287A (en) * | 2015-01-09 | 2016-07-14 | キヤノン株式会社 | Exposure control device, control method thereof, control program, and imaging device |
JP2017505466A (en) * | 2014-12-26 | 2017-02-16 | 小米科技有限責任公司Xiaomi Inc. | Automatic focusing method, apparatus, program and recording medium |
JP2017103525A (en) * | 2015-11-30 | 2017-06-08 | 株式会社ニコン | Tracking device and imaging apparatus |
JP2020174361A (en) * | 2014-09-24 | 2020-10-22 | パナビジョン インターナショナル,エル.ピー. | Distance measurement device for video camera focus application |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106131406A (en) * | 2016-07-05 | 2016-11-16 | 上海理工大学 | A kind of method of self adaptation focusing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221312A (en) * | 2006-02-15 | 2007-08-30 | Pentax Corp | Imaging apparatus |
JP2009296030A (en) * | 2008-06-02 | 2009-12-17 | Canon Inc | Imaging device |
-
2011
- 2011-01-14 JP JP2011006404A patent/JP5594157B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007221312A (en) * | 2006-02-15 | 2007-08-30 | Pentax Corp | Imaging apparatus |
JP2009296030A (en) * | 2008-06-02 | 2009-12-17 | Canon Inc | Imaging device |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013012941A (en) * | 2011-06-29 | 2013-01-17 | Olympus Imaging Corp | Tracking apparatus, tracking method, and tracking program |
JP2020174361A (en) * | 2014-09-24 | 2020-10-22 | パナビジョン インターナショナル,エル.ピー. | Distance measurement device for video camera focus application |
JP7293169B2 (en) | 2014-09-24 | 2023-06-19 | パナビジョン インターナショナル,エル.ピー. | Distance measuring device for video camera focus applications |
JP2017505466A (en) * | 2014-12-26 | 2017-02-16 | 小米科技有限責任公司Xiaomi Inc. | Automatic focusing method, apparatus, program and recording medium |
US9729775B2 (en) | 2014-12-26 | 2017-08-08 | Xiaomi Inc. | Auto-focusing method and auto-focusing device |
JP2016129287A (en) * | 2015-01-09 | 2016-07-14 | キヤノン株式会社 | Exposure control device, control method thereof, control program, and imaging device |
CN105791673A (en) * | 2015-01-09 | 2016-07-20 | 佳能株式会社 | Exposure control apparatus, control method therefor, and image pickup apparatus |
CN105791673B (en) * | 2015-01-09 | 2020-07-03 | 佳能株式会社 | Exposure control apparatus, control method thereof, and image pickup apparatus |
JP2017103525A (en) * | 2015-11-30 | 2017-06-08 | 株式会社ニコン | Tracking device and imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP5594157B2 (en) | 2014-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5373229B1 (en) | IMAGING DEVICE, IMAGING METHOD THEREOF, AND STORAGE MEDIUM FOR STORING TRACKING PROGRAM PROCESSABLE BY COMPUTER | |
JP5409189B2 (en) | Imaging apparatus and control method thereof | |
JP5594157B2 (en) | Imaging apparatus and imaging method | |
JP4844670B2 (en) | Video processing apparatus and video processing method | |
KR101594298B1 (en) | Apparatus and method for adjusting focus in digital image processing device | |
US9191569B2 (en) | Imaging apparatus having object detection function and method for controlling imaging apparatus | |
EP2688287A2 (en) | Photographing apparatus, photographing control method, and eyeball recognition apparatus | |
US20100007748A1 (en) | Imaging apparatus and imaging method | |
KR20080027443A (en) | Imaging apparatus, control method of imaging apparatus, and computer program | |
JP2009284462A (en) | Imaging device and method of controlling ranging area | |
US11184524B2 (en) | Focus control device, focus control method, program, and imaging device | |
JP2018050146A (en) | Search device, imaging device thereof, and search method | |
JP2009268086A (en) | Imaging apparatus | |
JP2010109671A (en) | Image capturing apparatus | |
US11388331B2 (en) | Image capture apparatus and control method thereof | |
JP2009141475A (en) | Camera | |
JP4506779B2 (en) | Imaging apparatus and program | |
KR20080067935A (en) | Digital photographing apparatus, method for controlling the same, and recording medium storing program to implement the method | |
US20180020164A1 (en) | Image stabilization apparatus, control method thereof, and image capture apparatus | |
JP2018007272A (en) | Image processing apparatus, imaging apparatus, and program | |
JP7122916B2 (en) | IMAGING DEVICE AND CONTROL METHOD THEREOF, PROGRAM AND STORAGE MEDIUM | |
JP2009246700A (en) | Imaging apparatus | |
JP5383207B2 (en) | Information processing apparatus, control method, computer program, and storage medium | |
US11050923B2 (en) | Imaging apparatus and control method | |
JP7479803B2 (en) | Image processing device and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140617 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140721 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5594157 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |