JP6296801B2 - 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム - Google Patents

撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム Download PDF

Info

Publication number
JP6296801B2
JP6296801B2 JP2014008876A JP2014008876A JP6296801B2 JP 6296801 B2 JP6296801 B2 JP 6296801B2 JP 2014008876 A JP2014008876 A JP 2014008876A JP 2014008876 A JP2014008876 A JP 2014008876A JP 6296801 B2 JP6296801 B2 JP 6296801B2
Authority
JP
Japan
Prior art keywords
zoom
subject
image
area
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014008876A
Other languages
English (en)
Other versions
JP2015043558A (ja
Inventor
昭洋 粒崎
昭洋 粒崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014008876A priority Critical patent/JP6296801B2/ja
Priority to US14/338,032 priority patent/US9344634B2/en
Priority to CN201410349882.2A priority patent/CN104349051B/zh
Publication of JP2015043558A publication Critical patent/JP2015043558A/ja
Application granted granted Critical
Publication of JP6296801B2 publication Critical patent/JP6296801B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/18Signals indicating condition of a camera member or suitability of light

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Description

本発明は、ズーム機能を有する撮像装置及びその制御方法に関するものである。
デジタルカメラ等の撮像装置には、ズームレンズの駆動による光学的な変倍(光学ズーム)機能と、撮像した領域の一部を拡大する電子的な変倍(電子ズーム)機能を備えたものがある。近年、ズームレンズの性能向上により超広角から超望遠まで同一のレンズで撮影でき、また撮像素子の高画素化によって、拡大倍率を高くしても十分な解像感の得られる撮影が可能になってきている。
被写体がフレームアウトした際に即座に被写体を捉え直す機能として、特許文献1ではフレーミングアシストズーム機能(FAズーム機能)と呼ぶ機能が提示されている。特許文献1に開示の装置では、FAズーム機能の開始が指示された場合にズーム位置を広角方向にズームアウトさせ、FAズーム機能の終了が指示された場合にFAズーム機能の開始されたときのズーム位置へズームインさせることができる。
一方、画面内の被写体をカメラで検出し、被写体の検出情報に応じてカメラが自動でズーム位置を変更する機能として、いわゆるオートズーム機能が知られている。特許文献2では、被写体が画面内の特定領域の限界位置に達したときにズーム位置を広角方向にズームアウトさせる方法が提示されている。特許文献3では、被写体が画面内の中央部分にいるときにズーム位置を望遠方向にズームインさせる方法が提示されている。
特開2012−60595号公報 特許第1881884号公報 特許第2052653号公報
特許文献1及び特許文献2では、被写体を検出してズーム動作の開始を判定するための画面内の特定領域(ズーム開始領域)を手動で変更する方法が提案されている。また、人物の顔を検出情報としてオートズーム機能を実現する場合、画面の上部にズーム開始領域を設定すると、人物のバストアップや全身を入れた構図で撮影するときに顔領域がズーム開始領域に進入してしまい、誤ってズームアウトしてしまうという問題がある。一方、手持ちで撮影している場合には、手ぶれ等の影響によって被写体がズーム開始領域に進入してしまうこともある。この場合、多少のフレームアウトであれば撮影者のフレーミング動作によってフレームインし直すことができるにも関わらず、すぐにズームアウトしてしまうと、撮影者が煩わしく感じてしまう問題もある。
本発明は、画面内の特定領域で被写体を検出してズーム動作の開始を判定する場合に、被写体情報やカメラの姿勢等に応じて適切なズーム動作を可能にすることを目的とする。
上記目的を達成するために、第1の本発明は、画像から被写体を検出する被写体検出手段と、撮像装置の姿勢を検出する状態検出手段と、前記被写体検出手段の検出結果に応じてズーム位置を制御する制御手段とを有する撮像装置であって、前記制御手段は、前記被写体検出手段により検出された被写体が画像内の第1の領域に含まれる場合、ズーム位置を広角側の第1のズーム位置へ移動するよう制御し、前記第1の領域は、前記状態検出手段の検出結果に応じて設定されることを特徴とする。
第2の本発明は、撮像装置の制御方法であって、画像から被写体を検出する被写体検出ステップと、撮像装置の姿勢を検出する状態検出ステップと、前記被写体検出ステップの検出結果に応じてズーム位置を制御する制御ステップとを有し、前記制御ステップにおいて、前記被写体検出ステップにより検出された被写体が画像内の第1の領域に含まれる場合、ズーム位置を広角側の第1のズーム位置へ移動するよう制御し、前記第1の領域は、前記状態検出ステップの検出結果に応じて設定されることを特徴とする。
本発明によれば、画面内の特定領域で被写体を検出してズーム動作の開始を判定する場合に、被写体情報やカメラの姿勢等に応じて適切なズーム動作を行うことが可能になる。
本発明の実施形態に係るデジタルカメラの構成例を示すブロック図である。 焦点距離と、被写体距離ごとのフォーカスレンズ位置との関係を例示した図である。 被写体探索状態での画角及び撮影準備状態での画角を例示した図である。 被写体(モノ)が画面外へのフレームアウト防止の処理を説明する図である。 被写体(人物)が画面外へのフレームアウト防止の処理を説明する図である。 被写体(人物)が画面内でのサイズ変化防止の処理を説明する図である。 FAズーム機能の処理の流れの概要を説明するフローチャートである。 FAズーム開始判定を説明するフローチャートである。 被写体指定処理を説明するフローチャートである。 ズームアウト動作及びズームイン動作を説明するフローチャートである。 ズーム戻り位置変更処理を説明するフローチャートである。 FAズーム終了判定を説明するフローチャートである。 各姿勢における加速度センサの軸の向きを説明する図である。 被写体、姿勢、揺れの検出結果とズーム開始領域の設定を例示した図である。 被写体(人物)の一部が切れた状態で撮影されることを防止する処理を説明する図である。
以下に、本発明の一実施形態について、添付図面を参照して詳細に説明する。なお、本実施形態によって実現される機能は、撮影者によるフレーミングを支援するフレーミング支援ズーム機能であり、便宜上、フレーミングアシストズーム機能(以下、FAズーム機能と略記する)と呼ぶこととする。
図1は、本実施形態に係る撮像装置の一例としての、デジタルカメラ100の構成例を示すブロック図である。デジタルカメラ100は、FAズーム機能を実行可能に構成されている。
レンズ鏡筒101は、その内部にレンズ群を保持している。ズームレンズ102は、光軸方向に移動することで焦点距離を調節し、光学的に画角を変更(ズーム位置を移動)する。フォーカスレンズ103は、光軸方向に移動することでピントを調節する。防振レンズ104は、手ぶれに起因する像振れを補正する補正用レンズである。絞り及びシャッタ105は、光量を調節可能に構成されており、露出制御に用いられる。なお、本実施形態において、デジタルカメラ100は、レンズ鏡筒101とカメラ本体とが一体的に構成された撮像装置であるが、これに限定されるものではない。本実施形態は、カメラ本体と、カメラ本体に着脱可能な交換レンズとを備えて構成される撮像システムにも適用可能である。
レンズ鏡筒101を通過した光は、CCD(電荷結合素子)やCMOS(相補型金属酸化膜半導体)等を備えて構成される撮像素子106により受光される。撮像素子106は、光電変換によって被写体像を電気信号に変換することで、撮像信号を生成する。撮像信号は、画像処理回路107に入力される。画像処理回路107は、入力された撮像信号に対して画素補間処理や色変換処理等の各種処理を行い、画像データ(各種処理後の画像データ)を画像メモリ108に出力する。画像メモリ108はDRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を備えて構成される記憶手段である。
表示部109は、TFT型LCD(薄膜トランジスタ駆動型液晶表示器)等を備えて構成され、撮影画像(画像データ)とともに、特定の情報(例えば、撮影情報や後述するFAズーム枠等)を表示する。このようなライブビュー等の情報表示により、撮影者が画角合わせを行うための電子ビューファインダ(EVF)機能を実現している。
絞りシャッタ駆動部110は、画像処理回路107での画像処理によって得られた輝度情報に基づいて露出制御値(絞り値及びシャッタ速度)を演算し、この演算結果に基づいて絞り及びシャッタ105を駆動する。これによって、AE(自動露出)制御が行われる。防振レンズ駆動部111は、ジャイロセンサ等の角速度センサの情報に基づいてデジタルカメラ100に加わる振れ量を演算し、振れを打ち消す(低減する)ように防振レンズ104を駆動する。
フォーカスレンズ駆動部112は、フォーカスレンズ103を駆動する。本実施形態において、デジタルカメラ100は、コントラスト方式でAF(オートフォーカス)制御を行う。このためフォーカスレンズ駆動部112は、画像処理回路107の画像処理により得られた撮影光学系の焦点調節情報(コントラスト評価値)に基づいて、被写体にピントが合うようにフォーカスレンズ103を駆動する。ただし、本実施形態はこれに限定されるものではなく、位相差AF方式等のコントラスト方式以外のAF制御や、コントラスト方式と他の方式との組み合わせ等複数の方式を用いたAF制御を行うように構成してもよい。
ズームレンズ駆動部113は、ズーム操作指示に従ってズームレンズ102を駆動する。操作部117は、撮影者がカメラにズーミングを指示するためのズーム操作部材としてのズームレバーまたはズームボタン等を備えて構成される。ズーム指示操作に用いるズーム操作部材の操作量及び操作方向に基づいて、システム制御部114によりズーム駆動速度や駆動方向が演算され、その演算結果に従ってズームレンズ102が光軸に沿って移動される。
撮影動作によって生成された画像データは、インターフェース部(以下I/F部と呼ぶ)115を介して記録部116に送られて記録される。画像データは、デジタルカメラ100に装着して使用されるメモリカード等の外部記録媒体またはデジタルカメラ100に内蔵されている不揮発性のメモリ118、あるいは両方に記録される。
操作部117は、前記ズーム操作部材に加えて撮影開始を指示するレリーズスイッチ、FAズーム機能の開始や終了を指示するFAズーム操作スイッチ等を含む。操作部117からの信号は、後述のシステム制御部114に送られる。メモリ118は、プログラムデータや画像データの他に、デジタルカメラ100の設定情報や、後述するFAズーム機能におけるズームイン位置等の情報を記憶する。ここで、ズームイン位置とは、FAズームの終了時にズームインする際の目標となるズーム戻り位置であり、その詳細については後述する。
システム制御部114(制御手段)は、CPU(中央演算処理装置)等の演算装置を備えて構成され、撮影者の操作に応じて各部に制御命令を送ることによりデジタルカメラ100全体を制御する。システム制御部114は、メモリ118に記憶されている各種の制御プログラム、例えば撮像素子106の制御やAE/AF制御、ズーム制御(FAズーム処理を含む)等を行うためのプログラムを実行する。
次に、システム制御部114において、FAズーム機能に関連する制御について説明する。図1に示されるように、システム制御部114は、CZ制御部119、電子ズーム制御部120、FAズーム枠制御部121、FAズーム制御部122、および、被写体検出部123を備えて構成される。
光学ズームによる画角変更時に合焦状態を維持するには、レンズ鏡筒101のようなリアフォーカスタイプの鏡筒の場合、ズームレンズ102の位置に応じてフォーカスレンズ103を適正なフォーカス位置へ移動させる必要がある。このような制御をコンピュータズーム(CZ)制御という。図2は、ズームレンズの焦点距離と被写体距離ごとのフォーカス位置との関係図である。図2では、ズームレンズの焦点距離とピントが合うフォーカス位置との関係を、被写体までの距離ごとに示すデータデーブルとしてグラフ化している。本実施形態において、このテーブルをフォーカスカムテーブルと称する。図2において、横軸はズーム位置に対応する焦点距離を示し、縦軸はフォーカス位置を示している。各グラフ線の横には、デジタルカメラ100から被写体までの距離(被写体距離)を示している。
システム制御部114は、AF制御を行う際にフォーカスレンズ駆動部112を制御してフォーカスレンズ103を所定の範囲において移動させることによりスキャン動作を行う。この動作中に得られるコントラスト評価値等を用いて既知の方法により、合焦点であるフォーカス位置が検出される。そのときのズーム位置とフォーカス位置を用い、フォーカスカムテーブルを参照することにより、被写体距離を計測することができる。
デジタルカメラ100は、光学ズーム機能及び電子ズーム機能を有する。CZ制御部119およびズームレンズ駆動部113は、光学ズーム駆動を行う。CZ制御部119は、ズーム動作時に、所定の制御周期ごとにズームレンズ102のズーム位置を検出する。そしてCZ制御部119は、そのズーム位置に応じてフォーカスカムテーブルに追従するようにフォーカスレンズ103を駆動させる。これにより、合焦状態を維持したまま光学ズーム動作を行うことが可能となる。
一方、電子ズーム制御部120及び画像メモリ108は、電子ズームを行う。電子ズーム制御部120は、画像メモリ108に転送された画像データから対象領域を切り出すことにより、電子ズーム機能を実現する。また、電子ズーム制御部120は、撮像素子106に取り込む画像のフレームレート周期で切り出す範囲を徐々に大きくしながら表示部109に表示させることにより、滑らかな電子ズーム表示を実現する。
被写体検出部123は、画像メモリ108に記憶された画像データから所望の被写体領域を検出する。本実施形態では、画像データに含まれる顔情報または色情報に基づいて被写体(顔または物体)を検出する被写体検出方法(顔検出処理、色検出処理)について説明する。
顔検出処理は、画像データ中に存在する顔領域を公知のアルゴリズムにより検出する処理である。例えば、被写体検出部123は、画像データ上の正方形状の部分領域から特徴量を抽出し、その特徴量を予め用意された顔の特徴量と比較する。そして被写体検出部123は、両者の相関が一定の閾値を超える場合、その部分領域を顔領域と判定する。この判定を、部分領域のサイズ、配置位置、配置角度の組み合わせを様々に変更しながら繰り返すことにより、画像データ中に存在する種々の顔領域を検出することができる。
色検出処理では、後述の被写体指定方法に従って指定された被写体領域の色情報を特徴色として記憶する。色検出処理は、検出対象の被写体が物体(人物以外の「モノ」)である場合に実行される。色情報としては、画像処理回路107からの出力信号であるRGBや輝度Y及び色差R−Y、B−Y等が用いられる。被写体検出時において、被写体検出部123は、画像データを複数の部分領域に分割し、部分領域ごとの輝度及び色差の平均値を算出する。また、被写体検出部123は、予め記憶された特徴色情報と被写体検出時の各領域の色情報を比較し、輝度及び色差の差分が所定量以下の部分領域を被写体領域の候補とする。この領域候補で隣り合う部分領域の塊を同一色領域として、同一色領域が所定のサイズ範囲となる領域を最終的な被写体領域とする。
被写体検出部123(被写体検出手段)は、顔情報及び色情報と共に、CZ制御部119で計測された被写体距離情報及びズームレンズ102の焦点距離情報を用いることにより、画像データ上での被写体領域の大きさを推定することができる。
姿勢検出部124(状態検出手段)は、加速度センサの情報に基づいて、デジタルカメラ100の姿勢(正位置/グリップ上/グリップ下)を検出する。図13は、加速度センサをデジタルカメラ100に設置したときの各姿勢でのxyz軸の向きを示している。デジタルカメラ100が静止している場合、xyz軸の各出力の合成ベクトルが重力加速度1Gを示し、この重力ベクトルと各軸とのなす角を算出することで姿勢を検出する。本実施例において、カメラ底面が重力方向の向きを向いているときを正位置、グリップ側の平面が重力方向の向きもしくはその逆向きのときを縦位置とする。すなわち、xy平面での重力ベクトルとx軸とのなす角θを算出し、例えば、−135°<θ≦−45°を正位置、−45°<θ≦45°を縦位置(グリップ下)、135°<θ≦225°を縦位置(グリップ上)の範囲とする。
次に、カメラの向きについて説明する。カメラの向き(上下方向の向き)とは、レンズ鏡筒101の光軸方向すなわちz軸方向に対して重力ベクトルのなす角φのことである。例えば、75°<φ≦105°を水平向き、0°<φ≦75°を下向き、105°<φ≦180°を上向きの範囲とする。したがって、図13で示すデジタルカメラ100の姿勢は、
(A)正位置/水平向き
(B)縦位置/水平向き
(C)正位置/水平向き
(D)正位置/下向き
(E)縦位置/水平向き
(F)縦位置/下向き
と表すことができる。
揺れ検出部125(状態検出手段)は、ジャイロセンサ等の情報に基づいて、デジタルカメラ100の振れ状態を検出する。揺れ検出部125は、ジャイロセンサ等に加わる振れ量が所定量以上である場合には手持ち状態であることを検出し、所定量未満である場合には三脚等に固定された状態であることを検出する。姿勢検出及び揺れ検出に用いる加速度センサ及びジャイロセンサは、防振レンズ駆動部111の制御情報として用いるセンサと兼用する構成でもよい。
次に、FAズーム機能の概要と、FAズーム枠制御部121及びFAズーム制御部122について説明する。本実施形態のデジタルカメラ100は、FAズームを実行するモードとして、手動探索モード及び自動追尾モードの二つのモードを備えている。これらの二つのモードは、被写体がフレームアウトしたときに撮影者がFAズーム操作スイッチを操作して被写体を捉え直すモードであるか、カメラが自動で被写体を検出して画角合わせを支援するモードであるかの違いである。各モードの機能の概要について説明する。
FAズーム機能が非搭載のカメラでは、撮影者が望遠状態でフレーミングしてシャッタチャンスを待っている間に被写体が動いてフレームアウトした場合等において、撮影者は以下の操作が必要であった。すなわち、まず、ズーム操作部材の操作によりズームアウトを行って被写体を探索する。そして被写体を探索した後、再び所望の画角になるまでズーム操作を行って画角調整する。
一方、FAズーム機能の手動探索モードを有するデジタルカメラ100では、撮影前に画角合わせ等を行う状態(以下、撮影準備状態という)で被写体を見失ってしまった場合、撮影者はFAズーム操作スイッチを操作すればよい。このFAズーム操作スイッチは、FAズーム機能のために割り当てられたスイッチであり、ズーム操作部材とは別の部材である。FAズーム操作スイッチの押下により、FAズーム機能の開始をカメラに指示する。FAズーム制御部122は、FAズーム操作スイッチからのFAズーム開始指示により、電子ズーム及び光学ズームの各ズーム位置をメモリ118に記憶する。またFAズーム制御部122は、後述の処理手順に従って、CZ制御部119または電子ズーム制御部120に対して広角方向にズームアウトの指示を行い、撮影準備状態よりも画角がズームアウトされた状態(以下、被写体探索状態という)にする。
続いて、図3を参照して、撮影準備状態および被写体探索状態のそれぞれの画角について説明する。図3は、被写体探索状態での画角および撮影準備状態での画角の説明図である。図3(A)及び図3(D)はズームイン状態(撮影準備状態)での画角を示し、図3(B)及び図3(C)はズームアウト状態(被写体探索状態)での画角を示している。
図3(A)に示されるように被写体がフレームアウトした(しそうな)場合、撮影者は被写体を探索するためにFAズーム操作スイッチを押下する。FAズーム操作スイッチの押下中、ズームアウト状態が保持されるとともに、ズームイン位置を示すFAズーム枠300が画像に重畳して表示部109に表示される(図3(B))。
図3(B)に示されるようにズームアウト状態(被写体探索状態)で所望の被写体を発見した場合、図3(C)に示されるようにFAズーム枠300の内側に被写体が収まるように撮影者がフレーミングを行う。その後、撮影者がFAズーム操作スイッチを開放することにより、FAズーム終了がFAズーム制御部122に指示される。このとき、FAズーム制御部122は、記憶された撮影準備状態のズーム位置(ズームイン位置)まで電子ズームまたは光学ズームによるズームイン動作を行う。これにより、図3(D)に示されるような最適なフレーミング状態が得られる。
FAズーム枠制御部121は、図3(B)及び図3(C)で示されるように、記憶された撮影準備状態での画角を示す大きさを算出し、表示部109のEVFの中心部にFAズーム枠300を表示させる。FAズーム枠300の大きさは、ズームアウトした時点でのズーム倍率を元に計算される。例えば、撮影準備状態から2倍の電子ズーム倍率および3倍の光学ズーム倍率でズームアウトして被写体探索状態となった場合、被写体探索状態でEVFに表示される画角に対して、(1/2)×(1/3)=1/6倍の大きさのFAズーム枠が表示される。このような処理により、撮影者は簡単な操作で、フレームアウトした被写体を再度フレームインさせながら所望の画角で撮影することができる。
また、動いている被写体を撮影する場合など被写体がフレームアウトしやすいシーンを撮影する場合、カメラが自動的にズーム位置を変更する自動追尾モードにより、より簡単にフレームアウトを防止することができる。特に望遠状態での撮影においては、画角が狭いため、手ぶれ等に起因した微少なカメラの動きでも被写体がフレームアウトする場合がある。
本実施形態のデジタルカメラ100は、FAズーム機能の自動追尾モードを有する。自動追尾モードにおいては、撮影者はタッチパネル等で被写体を指定する操作を実施することにより、撮影したい被写体を指定しておけばよい。被写体の指定方法としては、タッチパネル操作以外でも、特定のボタンを押下したときに中央付近にいる被写体を指定する方法や、カメラが検出した被写体の中から自動で主被写体を選択する方法などが考えられる。
被写体検出部123は、画像メモリ108から指定された被写体領域の画像データ上での位置やサイズを算出する。これをライブビューとして表示する毎サンプリングの画像データに対して連続的に行うことにより、被写体の動きを追尾することが可能となる。追尾している被写体を後述するズームアウト領域ZO(第1の領域)で検出した場合やサイズが所定のサイズよりも大きくなった場合(図3(A))、FAズーム制御部122がCZ制御部119または電子ズーム制御部120に対して広角方向にズームアウトの指示を行う(図3(B))。被写体をFAズーム枠300の後述するズームイン領域ZI(第2の)領域内に検出し、かつ、所定の大きさの範囲内に収まった場合(図3(C))、FAズーム枠300が示す望遠側のズーム位置までズームイン動作を行う(図3(D))。このような処理により、撮影者はズーム操作を気にせず被写体を画面に収めるようにカメラを動かすだけでよい。仮に、被写体がフレームアウトしそうになった場合でも、自動的にズーム位置が変更されるため、より簡単に画角合わせを行うことが可能となる。本実施形態は、このような自動追尾モードにおけるズームアウト動作及びズームイン動作を最適なタイミングで実施することにより、撮影者が容易にフレーミングすることが可能となる。
次に、図4乃至図6を参照して、ズームアウト動作やズームイン動作の開始条件について説明する。図4は被写体(モノ)の画面外へのフレームアウトを防止する処理の説明図であり、図5は被写体(人物)の画面外へのフレームアウトを防止する処理の説明図である。
図4および図5において、400aおよび400bは被写体(人物以外のモノ)を追尾するモノ追尾枠、500は被写体(人物の顔)を追尾する顔追尾枠である。本実施形態において、被写体が人物とモノのいずれにも適用可能な場合、モノ追尾枠400および顔追尾枠500をまとめて被写体追尾枠ということもある。被写体追尾枠は、撮影者が指定した被写体が分かるように、表示部109のEVF上に被写体を囲むように表示される。被写体追尾枠の画面上での位置及び大きさは、顔情報及び色情報に基づいて被写体検出部123により算出され、フレームレート周期で更新される。
図4は、被写体とした飛行機の画面外へのフレームアウトを防止する処理の説明図であり、図4(A)は、EVFで表示される画角全体(画面全体)に対して所定の比率よりも外側の領域をズームアウト領域ZOとして示している。例えば、画面の中心点を0%、画面全体を100%とし、画面全体に対して80%となる位置をズームアウト領域ZOの境界として設定する場合、画面全体における80〜100%の領域がズームアウト領域ZOとなる。画像内のズームアウト領域ZOにモノ追尾枠400aの一部が進入すると、ズームアウト動作を開始する。また、ズーム移動前のズーム位置をメモリ118に記憶する。ズームアウトする際のズーム倍率やズーム速度は、被写体のサイズや移動速度に応じて予め設定される。また、ズーム倍率やズーム速度を被写体のサイズや移動速度に応じて適宜算出してもよい。ズームアウト動作は、その倍率やズーム速度に従って実行される。これにより、被写体のフレームアウトを効果的に防止することができる。
図4(B)は、図4(A)の画角から所定のズーム駆動量分ズームアウトした画角を示している。図4(B)では、被写体探索状態においてFAズーム枠300で示されるズームイン画角に対して所定の比率よりも内側の領域をズームイン領域ZIとして示している。例えば、画面の中心点を0%、FAズーム枠300で示されるズームイン画角を100%とし、ズームイン画角に対して70%となる位置をズームイン領域ZIの境界として設定する場合、FAズーム枠300の全体における0〜70%の領域がズームイン領域ZIとなる。このとき、ズームアウト倍率が例えば1/2倍である場合、FAズーム枠300は画面全体に対して50%の大きさとなる。したがって、ズームイン領域ZIは、画面全体に対して0〜35%(=70%×(1/2))の領域であるとも言える。撮影者が、ズームイン領域ZI内にモノ追尾枠400bが収まるようにカメラの向きを変更すると、ズームイン動作が開始される。
ここで、ズームアウト領域ZOの下限比率(上記例では80%)とズームイン領域ZIの上限比率(上記例では70%)との関係について説明する。撮影準備状態でモノ追尾枠400がZO下限比率ぎりぎりの位置で検出されたことでズームアウト動作を行い、被写体がその位置で停止して、かつ、カメラ自体の向きも変更していない場合について考える。このとき、ZO下限比率とZI上限比率とを同じ比率に設定している場合、ズームアウト動作直後にはほぼモノ追尾枠400全体がズームイン領域ZIに収まった状態となる。さらに、ZO下限比率<ZI上限比率となるような設定をしている場合には、ズームアウト動作直後に完全にモノ追尾枠400全体がズームイン領域ZIに収まり、即座にズームイン動作を開始してしまう。すなわち、ズームアウト動作とズームイン動作を繰り返すハンチング現象が発生してしまう。したがって、ハンチング現象を防止するためにZO下限比率とZI上限比率との関係は、ZO下限比率>ZI上限比率となるように設定する必要がある。
図5は、被写体である人物の画面外へのフレームアウトを防止する処理の説明図である。被写体が人物である場合にも、顔追尾枠500の一部がズームアウト領域ZOに進入するとズームアウト動作を開始し、顔追尾枠500がズームイン領域ZIの内部に収まるとズームイン動作を行う。被写体が人物である場合とモノである場合との違いは、被写体が人物である場合には移動する方向がある程度予測できるため、予測される移動方向を考慮してズームアウト領域ZO及びズームイン領域ZIを設定することである。
また、手持ちで撮影している場合には、手ぶれ等の影響によって被写体がフレームアウトしてしまう恐れがある。ここで、手持ちで人物を撮影する際に、図4(A)のように画面の周辺全体にズームアウト領域ZOが設定されている場合を想定する。人物を中央付近に配置して撮影する場合、手ぶれによってズームアウト領域ZOに顔追尾枠が進入してしまい、意図せずズームアウトするおそれがある。特に、人物の撮影においては顔追尾枠の位置が画面の上部にある可能性が高いため、画面上部のズームアウト領域ZOに顔追尾枠が進入する可能性が高くなる。一方で、仮に手ぶれにより被写体がフレームアウトしても、手持ち撮影であれば撮影者のフレーミング動作によって再フレームインできる場合が多い。そこで、被写体が人物であり、かつ手持ち状態である場合には、撮影者のフレーミング動作を考慮して、画面上部へのズームアウト領域ZOの設定が制限される。なお、画面下部においては、人物の胴体が含まれる可能性が高く、顔領域が進入する可能性が低いため、不要なズームアウト動作を防ぐためにズームアウト領域ZOの設定が制限される。
図5(A)は、手持ちでカメラを正位置に構えたとき(図13(A)、(C))に設定されるズームアウト領域ZO及びズームイン領域ZIを示している。撮影者とほぼ同じ高さにある遠くの被写体を撮影する場合には、カメラの向きを水平向きに構えることとなる。このとき、姿勢検出部124及び揺れ検出部125によって「正位置/水平向き/手持ち」という状態が検出される。このような撮影シーンでは、被写体が水平方向に移動してフレームアウトする、すなわち正位置の画面内での被写体の位置が画面に対して水平方向(左右方向、ここでは長手方向)に移動する可能性が高い。そこで、図5(A)に示すように、正位置の画面に対して垂直方向(上下方向、ここでは短手方向)の縦帯状にズームアウト領域ZO及びズームイン領域ZIを配置する。そして、顔追尾枠500がズームアウト領域ZO内に進入すると、ズームアウト開始を判定し、所定ズーム倍率分のズームアウトを行う。また、ズームアウトした状態で顔追尾枠500がズームイン領域ZI内に包含されると、ズームイン開始を判定し、ズーム戻り位置501まで所定ズーム倍率分のズームインを行う。このようにズームアウト領域ZO及びズームイン領域ZIを設定することで、フレームアウトを効果的に防止することができる。
図5(B)は、同様の撮影シーンにおいて、グリップ下もしくはグリップ上の縦位置状態にカメラを構えたとき(図13(B)、(E))に設定されるズームアウト領域ZO及びズームイン領域ZIを示している。姿勢検出部124及び揺れ検出部125での検出状態は「縦位置/水平向き/手持ち」となる。図5(B)においても、図5(A)と同様に、被写体が水平方向(左右方向、ここでは短手方向)に移動することを考慮してズームアウト領域ZO及びズームイン領域ZIを配置する。この場合、縦位置の画面に対して垂直方向(上下方向、ここでは長手方向)の縦帯状にズームアウト領域ZO及びズームイン領域ZIを配置することで、水平方向への被写体の動きを検出し、フレームアウトを効果的に防止することができる。
図5(C)は、姿勢検出部124及び揺れ検出部125での検出状態が「正位置/下向き/手持ち」となったとき(図13(D))に設定されるズームアウト領域ZO及びズームイン領域ZIを示している。これは、子供など撮影者よりも小さな被写体がカメラに向かってくるような撮影シーンなどを想定している。この場合、被写体は画面の下方向に被写体がフレームアウトする可能性があるため、正位置の画面に対して下部にもズームアウト領域ZOを設定する。さらに、ズームアウト後のズームイン領域ZIは、正位置の画面に対して下部に設定しない。
図5(D)は、姿勢検出部124及び揺れ検出部125での検出状態が「正位置/水平向き/固定」となったときに設定されるズームアウト領域ZO及びズームイン領域ZIを示している。三脚等によって固定されているときには手ぶれによるフレームアウトの恐れがない。さらに、画面の中央付近に被写体がフレームインしていないときにズームインすると、その動作によってフレームアウトしてしまう恐れがあり、かつ撮影者のフレーミング動作によって再フレーミングすることができない。したがって、画面周辺部全体にズームアウト領域ZOを、ズームイン画角501よりも内側にズームイン領域ZIを配置することで、よりズームアウト開始しやすくするとともに、ズームイン開始の条件を厳しくしている。
このように、本実施形態では、カメラの姿勢や撮影状態(手持ち状態/固定状態)の変化に応じてズームアウト領域ZO及びズームイン領域ZIの領域を動的に変更することにより、手ぶれ等による誤作動を防止しつつ、被写体のフレームアウトを防ぐことができる。なお、カメラの姿勢と撮影状態(手持ち状態/固定状態)のいずれか一方に応じてズームアウト領域ZOやズームイン領域ZIの領域を変更するようにしてもよい。また、ズームアウト領域ZOとズームイン領域ZIの領域のいずれか一方のみを変更するようにしてもよい。
なお、図5においては、ズームアウト及びズームイン開始を検出しない方向にはズームアウト領域ZO及びズームイン領域ZIを設定しない例を示したが、これに限定されるものではない。例えば、画面全体のサイズに対して長手方向の領域は10%、短手方向の領域は20%というように、方向によって設定する比率を変更するというような構成であってもよい。
図14では、被写体検出部123、姿勢検出部124、揺れ検出部125それぞれの検出結果に対するズームアウト領域ZO及びズームイン領域ZIの設定の組み合わせ(ZO領域及びZI領域の基本設定と、画面水平方向におけるZO領域及びZI領域の比率)を示している。
揺れ検出部125による検出結果が「固定」の場合や、被写体が人物以外の場合、画面の長手方向に対してZO領域の占めるピクセル数の比率(長手比率)と、画面の短手方向に対してZO領域の占めるピクセル数の比率(短手比率)とが等しくなるように設定される。また、検出された姿勢における画面水平方向(左右方向)のピクセル数に対して、画面上部に占めるZO領域のピクセル数の比率(上部比率)と、画面下部に占めるZO領域のピクセル数の比率(下部比率)とが等しくなるように設定される。ZI領域についてもZO領域と同様である。
一方、被写体が人物の場合であって、揺れ検出部125による検出結果が「手持ち」の場合は、姿勢検出部124による検出結果に応じてZO領域及びZI領域が設定される。例えば、姿勢検出部124による検出結果が「正位置」の場合は長手比率が短手比率より小さくなるように、「縦位置」の場合は長手比率が短手比率より大きくなるように、ZO領域及びZI領域が設定される(基本設定)。また、姿勢検出部124により検出されたデジタルカメラ100の向きが「水平向き」の場合は上部比率と下部比率が等しくなるように、ZO領域及びZI領域が設定される。一方、「下向き」又は「上向き」の場合は、基本設定に対して、デジタルカメラ100の向いている方向の比率(下向きであれば下部比率)が大きくなるように、ZO領域が設定される。また、「下向き」又は「上向き」の場合は、デジタルカメラ100の向いている方向の比率(下向きであれば下部比率)が小さくなるように、ZI領域が設定される。
次に、被写体のサイズに応じてズーム動作の制御を行う場合について説明する。図6(A)乃至(C)は、被写体である人物がカメラに近づいてきた場合などに、カメラが自動的に被写体の画面に占める割合を所定の比率内に収めるようにズーム動作させる例を示している。顔追尾枠600a〜cは、被写体である人物の特徴領域として顔領域を囲むように表示している。したがって、ここでは顔追尾枠600a〜cの大きさ=被写体サイズとして説明する。
図6(A)は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠600aの大きさは、基準の被写体サイズ(基準サイズ)としてメモリ118に記憶される。
図6(B)は、図6(A)の状態からズーム位置を変更しない状態で、被写体がカメラに向かって近づいてきたときの画角を示している。例えば、基準の被写体サイズである顔追尾枠600aの大きさに対して150%となる大きさをズームアウト動作の開始サイズとする。被写体追尾枠(顔追尾枠)の関係が、顔追尾枠600b>顔追尾枠600a×150%となったとき(基準サイズに対して所定の変化量を超えて変化)、FAズーム制御部122は、ズームアウト動作の開始を判定する。
図6(C)は、図6(B)の画角から所定ズーム倍率分ズームアウトした画角と、顔追尾枠600cを示している。ここでは、ズームアウト動作を開始するときの顔追尾枠サイズの基準被写体サイズからの変化量(150%)を考慮して、所定ズーム倍率を1/1.5倍としている。この後、さらに被写体が近づいてくる場合、さらに広角側へズームアウトを行うことにより、被写体の大きさを所定の比率内に収め続けることができる。そのため、撮影者は、レリーズスイッチの操作だけに集中することができる。
図15は、画面のアスペクト比が変更される場合に、被写体である人物の一部(頭部)が切れた状態で撮影されることを防止する処理の説明図である。
図15(A)は、後述する被写体指定方法に従って被写体を指定されたときの画角を示している。被写体指定時の顔追尾枠1500aの大きさは、基準の被写体サイズ(基準サイズ)としてメモリ118に記憶される。また、図15(A)は、画面のアスペクト比が4:3である場合を示している。
図15(B)は、画面のアスペクト比が4:3から16:9に変更される場合に、画面上部に設定されるズームアウト領域ZOを示している。表示部109の画面全体のアスペクト比が4:3である場合、16:9のアスペクト比での撮影を実現するためには、所望のアスペクト比となるように画面の上部と下部の領域を記録しないようにする。この領域を便宜上、未記録領域と呼ぶ。
画面のアスペクト比が4:3のときに未記録領域に被写体の一部が進入している状態で、アスペクト比を16:9に変更した直後に静止画を撮影すると、被写体の一部が切れた静止画が撮影されてしまう。また、静止画及び動画の撮影待機時のアスペクト比を4:3、動画記録時のアスペクト比を16:9に設定しているとする。撮影待機時に未記録領域に被写体の一部が進入している状態で動画の記録を開始すると、記録開始直後は被写体の一部が切れた動画が撮影されてしまう。特に、被写体が人物である場合、画面の上部に人物の頭部を配置して撮影することが多いため、頭部が切れた静止画もしくは動画が撮影される恐れがある。
そこで、本実施形態では、アスペクト比が変更される直前の未記録領域のうち画面上部の領域をズームアウト領域ZOとして設定する。人物の頭部がズームアウト領域ZOに進入したときに所定のズーム倍率だけズームアウト動作を行うことで、人物を画面に収め直すことが可能になる。
ここで、人物の頭部の領域の検出方法について説明する。人物の頭部の領域は顔追尾枠1500bの位置及び大きさから推定する。例えば、人物の頭頂部の垂直方向の座標(Y座標)をYt、顔追尾枠1500bの中心のY座標をYc、追尾枠1500bの大きさをSとする。顔追尾枠1500bの中心から顔追尾枠1500bの大きさのn倍だけ上部の位置を頭頂部の位置であるとすると、頭頂部のY座標はYt=Yc+n×Sという式で算出することができる。アスペクト比の変更直前に、この座標がズームアウト領域ZOに進入していると判断すると、ズームアウト動作を開始する。
図15(C)は、画面のアスペクト比が16:9に変更され、図15(B)の画角から所定ズーム倍率分ズームアウトした画角を示している。所定ズーム倍率は、アスペクト比の変更前後で長さが変更になる方向の比率を元に算出する。例えば、表示部109の画面全体をVGAのサイズとして考えると、4:3では640×480、16:9では640×360である。また、アスペクト比が4:3から16:9に変更されるときに長さが変更になる方向は垂直方向である。このとき、所定ズーム倍率は変更前後の垂直方向の長さの比率である360/480=0.75倍とする。これによって、垂直方向の被写体が画面に占める割合をほぼ同じ割合とすることができる。また、図6で説明した被写体の所定の比率に収める処理によって元の画角に戻されないように、図15(A)でメモリ118に記憶した基準の被写体サイズも0.75倍とする。
図4及び図5では、被写体がモノまたは人物である場合にフレームアウトを防止する処理について説明した。また、図6では、被写体が人物である場合に被写体の大きさを所定の比率に収める処理について説明した。なお、追尾する被写体がモノの場合においても、被写体が人物の場合と同様に図6で示した被写体サイズ保持制御のためのズーム動作開始判定を行ってもよい。
さらに、図15では、画面のアスペクト比が変更されるときに被写体の一部が切れた状態で撮影されることを防止する処理について説明した。なお、変更前後のアスペクト比の組み合わせやカメラの姿勢はこれに限られない。また、ズームアウト領域ZOを設定する領域は画面の上部だけではなく、下部や側部に設定することで、足や肩などが切れてしまうことを防止する構成としてもよい。なお、追尾する被写体がモノの場合においても、被写体が人物の場合と同様に図15で示した処理を行ってもよい。
次に図7を用いて、FAズーム機能の処理の概要について説明する。図7は、FAズーム機能の大まかな処理の流れを示すフローチャートである。図7のFAズーム機能は、特に記載がない限りFAズーム制御部122の指令に基づいて行われるものとする。
ステップS700でFAズーム制御部122は、FAズームを開始するか否かを判定する。FAズーム開始判定では、手動探索モードか自動追尾モードかのモード判定を行い、手動探索モードの場合には操作部117のFAズーム操作スイッチの状態を、自動追尾モードの場合には被写体検出結果を元にFAズーム開始の判定を行う。モード判定の方法については後述する。ステップS700のFAズーム開始判定にて、FAズームの開始判定がなされるとステップS701に進む。
ステップS701でFAズーム制御部122は、ズームアウト開始時の光学ズーム位置及び電子ズーム位置を記憶するとともに、所定の駆動量だけCZ制御部119もしくは電子ズーム制御部120に指令してFAズームアウト動作を行う。FAズームアウト動作が終了するとステップS702に進み、FAズーム枠制御部121は記憶したズーム位置を示すFAズーム枠300を表示部109に表示する。FAズーム枠300を目安として、撮影者は撮影したい被写体を画面中央付近に収めるようにフレーミング操作を行う。このとき、FAズーム枠300内に被写体が収まらない場合や被写体が小さすぎる場合には、ステップS703にてFAズーム枠300を適切な大きさに変更するとともに記憶したズーム位置の情報を更新する。ステップS704でFAズーム制御部122は、FAズームを終了するか否かを判定する。
FAズーム終了判定では、FAズーム開始時のモードが手動探索モードの場合には操作部117のFAズーム操作スイッチの状態を、自動追尾モードの場合には被写体検出結果を元にFAズーム終了の判定を行う。ステップS704のFAズーム終了判定にて、FAズームの終了判定がなされるとステップS705に進む。ステップS705でFAズーム制御部122は、記憶した光学ズーム位置及び電子ズーム位置まで駆動するようにCZ制御部119もしくは電子ズーム制御部120に指令してズームイン動作を行い、FAズーム機能を終了する。
次に図8乃至図12を用いて、図7で示したFAズーム機能の処理の流れに従って各処理の詳細を説明する。
図8は、図7のステップS700のFAズーム開始判定処理を説明するフローチャートである。ステップS800でFAズーム制御部122は、操作部117のFAズーム操作スイッチが押下されたか否かの判定を行う。FAズーム操作スイッチが押下されるとステップS801に進み、スイッチの押下時間(操作時間)を測定する。
ステップS801では、FAズーム操作スイッチが押下開始されてから所定の時間内に開放されたか否かの判定を行う。すなわち、スイッチの長押しもしくは短押しの判定を行い、押下時間によって実行するモードを変更する。長押し時にはステップS802に進み、モードを手動探索モードに、短押し時にはステップS803に進み、モードを自動追尾モードにし、メモリ118に選択されたモードを記憶する。手動探索モードの場合には、スイッチの押下開始からスイッチの押下が継続したまま所定時間を経過した時点、すなわち、長押しであることが確定した時点でステップS808に進み、FAズームの開始が判定される。自動追尾モードの場合にはステップS804に進み、追尾する被写体指定処理を行う。
なお、本実施形態では、スイッチの押下時間によって手動探索モードか自動追尾モードかを判定しているが、モード判定の方法はズーム操作スイッチを用いたものであればこれに限定されない。例えば、ズーム操作スイッチが一度押下されてから所定時間内に再度押下された場合に、いずれかのモードと判定するようにしてもよい。また、ズーム操作スイッチと他の部材との同時操作によって、いずれかのモードと判定するようにしてもよい。また、押下するタイプのズーム操作スイッチに限らず、代わりに回転可能なリング部材などを用いてFAズームの操作を指示するようにしてもよい。
ここで、図9を用いて図8のステップS804の被写体指定処理について説明する。図9(A)は操作部117の部材であるタッチパネルを用いて表示部109に表示された被写体をタッチして指定する操作例のフローチャートを示している。ステップS900では、タッチパネルが押下されたか否かの判定を行う。タッチパネルが押下された場合にはステップS901に進み、FAズーム制御部122はタッチされた位置を取得する。
ステップS902では、FAズーム制御部122はタッチ位置を被写体検出部123に通知し、被写体検出部123ではタッチ位置付近で顔検出を行う。タッチ位置付近に顔を検出した場合には主被写体は人物であると判定しステップS903へと進む。ステップS903では自動追尾の対象である人物の顔情報をメモリ118に記憶する。具体的な顔情報としては、被写体指定時の顔のサイズや顔の検出位置、顔の向き等がある。また、顔認証機能を有するカメラにおいては認証ID等も記憶する。
ステップS902でタッチ位置付近に顔を検出しなかった場合には、主被写体は人物以外のモノであると判定しステップS904へと進む。ステップS904では、タッチ位置付近の特徴色を自動追尾対象の色情報としてメモリ118に記憶する。具体的な色情報としては、被写体指定時の特徴色の色や輝度、色差の値や同一色領域のサイズ、同一色領域の重心位置等がある。顔情報及び色情報のことを以降の説明ではまとめて被写体情報(被写体サイズ/被写体検出位置)として説明に用いることとする。
ステップS903又はS904で被写体情報を記憶するとステップS905に進む。ステップS905で、被写体検出位置を中心に被写体サイズに対応した大きさの被写体追尾枠(モノ追尾枠400もしくは顔追尾枠500)を表示部109に表示すると被写体指定処理が終了となる。上述した図9(A)の方法を用いると、撮影者が追尾したい被写体を直感的な指定方法で簡単に指定することが可能となる。
一方、図9(B)は操作部117の部材であるFAズーム操作スイッチとは別のスイッチによって被写体を指定する操作例のフローチャートを示している。ステップS906でFAズーム制御部122は、表示部109の画面中央付近に被写体指定の目安となる枠を表示する。撮影者はこの枠を目安として追尾したい被写体を中央付近に収めるようにカメラの向きを調整する。ステップS907では、被写体指定用のスイッチが押下されたか否かの判定を行い、被写体指定用スイッチが押下された場合にはステップS908に進む。
ステップS908で被写体検出部123は、画面中央付近で顔検出を行う。画面中央付近に顔を検出した場合には主被写体は人物であると判定しステップS909へと進み、画面中央付近に顔を検出しなかった場合には主被写体は人物以外のモノであると判定しステップS910へと進む。さらに、図9(A)と同様にステップS909又はS910で被写体情報を記憶するとステップS911に進み、被写体追尾枠(モノ追尾枠400もしくは顔追尾枠500)を表示して被写体指定処理が終了となる。
ステップS909乃至S911の処理については、被写体検出を行う領域が画面中央付近となること以外は図9(A)のステップS903乃至S905と同様であるため説明を省略する。図9(B)の方法を用いると、タッチパネルのような操作部材を搭載しないカメラにおいても被写体を簡単に指定することが可能となる。
図9(C)は操作部117の部材であるFAズーム操作スイッチが短押しされた時点で検出された顔の中から追尾する被写体を自動で選択する例のフローチャートを示している。ステップS912で被写体検出部123は、画面全体で顔検出を行う。画面全体で一人でも顔を検出した場合には主被写体は人物であると判定しステップS913に進む。
ステップS913で被写体検出部123は、検出した顔が一人の場合にはその顔を主顔とし、複数の場合にはその顔の中から追尾する被写体とする主顔を選択する。主顔選択の判定基準としては、例えば、顔検出位置がより画面中央付近にいるものであるとし、同程度の位置であれば顔サイズが大きいものを主顔として選択する。また、顔認証機能を有するカメラにおいては、認証登録されている顔がある場合には、その顔を優先して主顔とする。
ステップS914では、選択された主顔の顔情報をメモリ118に記憶する。ステップS914で顔情報を記憶するとステップS915に進み、顔追尾枠500を表示する。ステップS916では、複数の顔から自動で選択された主顔が撮影者の意図しない顔である場合に撮影者が主顔を変更することが可能である。このとき、操作部117のスイッチ(FAズーム操作スイッチでも他のスイッチでもよい)を押下すると、検出された顔の中から主顔として選択されなかった顔に主顔を変更し、顔追尾枠500を更新する。主顔が変更された場合には再度ステップS914に進み、記憶する顔情報を更新するとともに、ステップS915で顔追尾枠500を新たに選択された主顔のサイズ及び検出位置に変更する。
ステップS912にて画面全体で顔を検出しない場合には、主被写体は人物以外のモノであると判定しステップS917へと進む。ステップS917では画面中央付近の特徴色を自動追尾対象の色情報としてメモリ118に記憶する。さらに、ステップS917で色情報を記憶するとステップS918に進み、モノ追尾枠400を表示して被写体指定処理が終了となる。
ステップS914、S915、S917、S918の処理については、被写体検出を行う領域が顔の場合には画面全体、色の場合には画面中央付近となること以外は図9(A)のステップS903乃至S905と同様であるため説明を省略する。図9(C)の方法を用いると、より少ない操作回数で被写体を簡単に指定することが可能となる。
被写体指定処理を終了すると図8のステップS805へと進む。ステップS805乃至S807では、被写体指定時に指定した基準となる被写体情報と、周期的に検出する被写体情報とを元にFAズームを開始するか否かの判定を行う。FAズーム開始の条件を満たすまで所定の制御周期でこの判定は繰り返される。
ステップS805で被写体検出部123は、画面全体の中から基準被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔が、モノである場合には同一の特徴色が検出されるか否かを判定する。追尾する被写体が検出されなかった場合にはステップS809に進む。一方、追尾する被写体が検出された場合にはステップS806に進む。
ステップS806では、追尾する被写体の被写体追尾枠が図4(A)で示すズームアウト領域に含まれるか否かを判定する。ステップS806で追尾枠がズームアウト領域に含まれる、すなわち、被写体が画面周辺付近にありフレームアウトする恐れがある場合にはステップS808に進み、FAズームの開始が判定される。ステップS806で被写体追尾枠がズームアウト領域に含まれていない、すなわち、画面中央付近で被写体を捉えられている場合には、ステップS807に進む。
次にステップS807では、基準被写体情報の被写体サイズとステップS805で検出した被写体サイズとの比較を行う。ステップS805の被写体サイズが基準の被写体サイズに対して所定倍以上となって大きくなってしまう場合にはステップS808に進み、FAズームの開始が判定される。ステップS808でFAズームの開始判定がなされると、図7のステップS701に進みズームアウト動作を開始する。
一方、ステップS805で被写体が検出されなかった場合、FAズーム制御部122は、ステップS809で所定時間が経過したか否かを判定する。所定時間が経過していなければ、FAズーム制御部122は、ステップS810でFAズーム操作スイッチが押下されたか否かを判定する。また、ステップS805で検出した被写体が画面中央付近でかつ被写体サイズが基準の被写体サイズに対して所定倍未満である場合(ステップS807でno)も、ステップS810でFAズーム操作スイッチの押下を判定する。ステップS810でFAズーム操作スイッチが押下されなければステップS805の被写体検出に戻り、ステップS805、S809、S810のループを繰り返す。そして、ステップS809で被写体が検出されない状態で所定時間が経過した場合、ステップS804に進み、再度被写体指定処理を行う。ステップS810でFAズーム操作スイッチが押下された場合は、ステップS811に進む。
ステップS811では、FAズーム操作スイッチが押下されてから所定時間内に開放されたか否かを判定する。所定時間内にFAズーム操作スイッチが開放された場合、自動追尾モードがキャンセルされたとして、FAズーム機能を終了する。一方、所定時間内にスイッチが開放されない場合、ステップS802に進み、手動探索モードが記憶される。すなわち、本実施形態では、自動追尾モード中にFAズーム操作スイッチが所定時間以上押下された場合、FAモードを手動探索モードに変更する。
図10(A)は、図7のステップS701のFAズームアウト動作の処理を説明するフローチャートである。ステップS1000でFAズーム制御部122は、撮影準備状態での(ズーム移動開始前の)光学ズーム位置をCZ制御部119から取得し、電子ズーム位置を電子ズーム制御部120から取得する。さらにFAズーム制御部122は光学ズーム位置及び電子ズーム位置のデータをメモリ118に記憶する。なお、光学ズーム位置は、光学ズーム機能によって変更可能なズーム倍率に相当するズームレンズの位置を表し、電子ズーム位置は電子ズーム機能によって変更可能な画像拡大及び縮小の倍率に相当する制御位置を表す。手動探索モードの場合、ここで記憶したズーム位置がズーム戻り位置(第2のズーム位置)に設定される。
ステップS1001でFAズーム制御部122は、メモリ118に記憶しているズームアウト駆動量を取得する。自動追尾モードのズームアウト駆動量は、検出された被写体のサイズに応じて設定される。具体的には、被写体のサイズが小さいほどズームアウト駆動量は小さく設定される。なお、被写体検出可能な最小サイズを考慮して、被写体のサイズが所定のサイズより小さい場合は、ズームアウトを行わないようにする。また、手動探索モードのズームアウト駆動量は、撮影者が設定メニューからの操作によって変更可能にしてもよい。
ステップS1002でFAズーム制御部122は、撮影準備状態でのズーム状態が電子ズーム状態であるか否かを判定する。一般的なズーム操作では、操作部117のズーム操作スイッチが押下されると、光学ズーム位置がワイド端からテレ端の間である場合には、CZ制御部119の制御下で光学ズームを駆動させる。光学ズーム位置がテレ端であって、さらに望遠方向への操作指示がなされた場合には電子ズーム制御部120が電子ズームを駆動させることで超望遠撮影が可能となる。ズーム操作スイッチの操作によるズーム動作とFAズーム動作との整合性を取るために、FAズーム動作においても、撮影準備状態でのズーム状態が電子ズーム状態の場合には電子ズームを先に駆動させる。つまり、メモリ118に記憶した時点のズーム位置が優先すべきズーム状態でのズーム領域内にあるか否かが判定され、本例では電子ズームが優先されるので、ステップS1002ではズーム位置が電子ズーム領域にあるか否かが判定される。
FAズーム開始時のズーム状態が電子ズーム状態であった場合には、ステップS1003に処理を進める。ステップS1003でFAズーム制御部122は、ステップS1000で取得した電子ズーム位置とステップS1001で取得したズームアウト駆動量から電子ズームのズームアウト位置(第1のズーム位置)を算出し、電子ズーム制御部120に設定する。ステップS1004でFAズーム制御部122は、電子ズーム制御部120に対して、ステップS1003で設定した電子ズームのズームアウト位置まで変倍処理を行うように指示する。電子ズーム制御部120は、電子ズームによるズームアウト動作を行う。
ステップS1002にて撮影準備状態でのズーム位置が光学ズーム領域にあると判定された場合や、ステップS1004にて電子ズームのズームアウト動作が行われた後、ステップS1005に進む。ステップS1005でFAズーム制御部122は、さらに光学ズームによるズームアウトが必要であるか否かを判断する。つまり、電子ズームだけでは、設定したズームアウト駆動量のズーム駆動に充分でない場合、残りのズームアウト駆動量を光学ズームで補う必要がある。光学ズームによるズームアウトが必要と判断された場合にはステップS1006に進む。ステップS1006でFAズーム制御部122は、光学ズーム位置とズームアウト駆動量から光学ズームのズームアウト位置(第1のズーム位置)を算出し、CZ制御部119に設定する。
ステップS1007でFAズーム制御部122は、CZ制御部119に対して、ステップS1006で設定した光学ズームのズームアウト位置までズーム駆動するように指示する。CZ制御部119はズームレンズ駆動部113を制御し、光学ズームのズームアウト動作を行う。
以上説明したFAズームアウト動作が終了すると、図7のステップS702に進む。ステップS702でFAズーム制御部122は、ズーム戻り位置に対応するFAズーム枠300の表示をFAズーム枠制御部121に指示する。自動追尾モードの場合、現在の画角に対して所定倍率望遠側のズーム位置をズーム戻り位置としてメモリ118に記憶するとともに、それに対応する画角をFAズーム枠として表示する。一方、手動探索モードの場合、図10(A)のステップS1000で記憶したFAズームアウト開始時のズーム位置に対応する画角をFAズーム枠として表示する。FAズーム枠を表示すると、被写体探索状態として、ステップS703のズーム戻り位置変更処理に進む。
図11は図7のステップS703のズーム戻り位置変更の処理を説明するフローチャートである。ステップS1100では、図8のFAズーム開始判定においてステップS802又はS803で記憶したモードが自動追尾モードであるか、手動探索モードであるかの判定を行う。記憶したモードが手動探索モードである場合には、ステップS1106に進む。手動探索モード時には撮影者がズームレバー操作を行うことによって図10(A)のステップS1000で記憶したズーム戻り位置及びFAズーム枠300を変更することが可能である。
ステップS1106では、操作部117のズームレバーが望遠方向もしくは広角方向のいずれかに操作されたか否かの判定を行い、ズームレバー操作が行われた場合にはステップS1107に進む。ズームレバー操作が行われなければ、本フローを終了する。ステップS1107では、ズームアウト動作前にステップS1000でメモリ118に記憶したズーム戻り位置(ズームイン位置)をステップS1106で判定した操作方向に応じて望遠方向もしくは広角方向に所定量だけ更新し、ステップS1108へ進む。ステップS1108では、ステップS1107で更新したズーム戻り位置と対応する画角を示すようにFAズーム枠300の表示を更新し、ステップS1109へ進む。
ステップS1109では、操作部117のズームレバーが開放されたか否かの判定を行い、ズームレバーが開放されない場合にはステップS1107乃至S1109の処理を継続する。ズームレバーが開放された場合には、本フローを終了する。以上の処理によって、ズームアウト動作後に被写体が近づいてくるなどして表示部109に表示される被写体の大きさが変わった場合でも、撮影者が簡単な操作でズーム戻り位置を変更できフレーミング操作がより簡単にできるようになる。
ステップS1100の判定においてモードが自動追尾モードである場合には、ステップS1101に進む。自動追尾モード時にはカメラが検出した被写体サイズを元に、ズームイン動作後に被写体が適切な画角に収まるようにメモリ118に記憶したズーム戻り位置及びFAズーム枠300を自動で変更することが可能である。
本実施形態における適切な画角とは、画面全体に対して被写体が占める比率が図8のステップS804で指定した基準となる被写体サイズと同程度となる画角を保持することであることとする。ステップS1101では、基準被写体情報と対応する顔情報もしく色情報を持つ被写体が検出されるか否かを判定する。追尾する被写体が検出された場合にはステップS1102に進み、検出されない場合はステップS1110に進む。ステップS1110では、FAズーム制御部122は、被写体が検出されない状態で所定時間が経過したか否かを判定する。所定時間が経過していなければ本フローを終了し、所定時間が経過した場合は図8のステップS804に進んで再度被写体指定処理を行う。
ステップS1102では、画面全体に対する基準被写体サイズの比率と、FAズーム枠300(ズームイン画角)に対してS1101で検出した被写体が占める比率とを比較し、二つの比率の差が所定範囲を超える場合にはステップS1103に進み、所定範囲内の場合は本フローを終了する。ステップS1103では、メモリ118に記憶したズーム戻り位置を変更する。具体的には、ステップSS1101で検出した被写体サイズが基準の被写体サイズよりも大きい場合には広角方向に、小さい場合には望遠方向に所定量だけズーム戻り位置を更新し、ステップS1104へ進む。
ステップS1104では、ステップS1103で更新したズーム戻り位置と同じ画角を示すようにFAズーム枠300の表示を更新し、ステップS1105へ進む。ステップS1105では、画面全体に対する基準の被写体サイズの比率と、更新されたズーム戻り位置を示すFAズーム枠300に対する被写体の比率との差が所定範囲以内か否かの判定を行う。ズーム戻り位置を所定量更新してもFAズーム枠300に対する被写体の比率と基準の被写体の比率との差が所定範囲を超える場合には、さらにズーム戻り位置を変更するようにステップS1103、S1104及びS1105の処理を継続する。ステップS1105でFAズーム枠300に対する被写体と基準の被写体の比率との差が所定範囲内の場合には、本フローを終了する。
以上の処理によって、FAズームアウト動作後に被写体が近づいてくるなどして表示部109に表示される被写体の大きさが変わった場合でも、カメラにより自動でズーム戻り位置が変更されフレーミング操作がより簡単にできるようになる。図11においては、ズーム戻り位置を手動探索モード時にはズームレバーの手動操作によって変更し、自動追尾モード時には被写体サイズに応じて自動で変更する例を示したが、手動探索モード時の自動変更や自動追尾モード時の手動変更ができる構成としてもよい。
図12は、図7のステップS704のFAズーム終了判定処理を説明するフローチャートである。ステップS1200では、図8のFAズーム開始判定においてステップS802又はS803で記憶したモードが自動追尾モードであるか、手動探索モードであるかの判定を行う。モードが手動探索モードである場合には、ステップS1201に進む。手動探索モードである場合には、被写体探索状態である間はステップS800又はS810でFAズーム操作スイッチの押下を検出してから押下状態が継続している。
ステップS1201では、FAズーム操作スイッチが長押し状態からスイッチが開放されたか否かの判定を行う。FAズーム操作スイッチが開放された場合にはステップS1204に進み、FAズームの終了が判定される。一方、ステップS1201でFAズーム操作スイッチが開放されていない場合、被写体探索状態が継続しているので、図11のステップS1100に戻り、ズーム戻り位置変更のフローを繰り返す。
ステップS1200の判定においてモードが自動追尾モードである場合には、ステップS1202に進む。ステップS1202では図8のステップS804で指定した基準となる被写体情報と同じ特徴を持つ被写体、すなわち、基準被写体が人物である場合には顔、モノである場合には対応する特徴色が検出されたか否かを判定する。追尾する被写体が検出されなかった場合、ステップS1205に進む。ステップS1202で追尾する被写体が検出された場合にはステップS1203に進む。
ステップS1203では追尾する被写体の被写体追尾枠が図4(B)で示すズームイン領域に包含されているか否かを判定する。ステップS1203で追尾枠がズームイン領域に包含されている、すなわち、画面中央付近でかつズーム戻り位置の画角内の被写体サイズとなるように被写体を捉えられている場合にはステップS1204に進み、FAズームの終了が判定される。ステップS1204でFAズームの終了判定がなされると、図7のステップS705に進みFAズームイン動作を開始する。
一方、ステップS1202で被写体が検出されなかった場合、FAズーム制御部122は、ステップS1205で所定時間が経過したか否かを判定する。所定時間が経過していなければ、FAズーム制御部122は、ステップS1206でFAズーム操作スイッチが押下されたか否かを判定する。また、ステップS1202で検出した被写体の被写体追尾枠がズームイン領域に包含されていない場合(ステップS1203でno)も、ステップS1206でFAズーム操作スイッチの押下を判定する。ステップS1206でFAズーム操作スイッチが押下されなければ図11のステップS1100に戻り、ズーム戻り位置変更処理を繰り返す。そして、ステップS1205で被写体が検出されない状態で所定時間が経過した場合、図8のステップS804に進み、再度被写体指定処理を行う。ステップS1206でFAズーム操作スイッチが押下された場合は、ステップS1207に進む。
ステップS1207では、FAズーム操作スイッチが押下されてから所定時間内に開放されたか否かを判定する。所定時間内にFAズーム操作スイッチが開放された場合、自動追尾モードがキャンセルされたとして、FAズーム機能を終了する。一方、所定時間内にスイッチが開放されない場合、図8のステップS802に進み、手動探索モードが記憶される。すなわち、本実施形態では、自動追尾モード中にFAズーム操作スイッチが所定時間以上押下された場合、FAモードを手動探索モードに変更する。
図10(B)は、図7のステップS705のズームイン動作の処理を説明するフローチャートである。ステップS1008でFAズーム制御部122は、記憶したズーム位置(ズーム戻り位置)のデータをメモリ118から読み込む。ステップS1009でFAズーム制御部122は、被写体探索状態でのズーム状態が光学ズーム状態であるか否かを判定する。光学ズーム状態の場合(ステップS1009のyes)、光学ズームを優先してズームインを行うためにステップS1010に処理を進め、電子ズーム状態の場合(ステップS1009のno)では電子ズームのみでズームインを行うためにステップS1012に処理を進める。
ステップS1010でFAズーム制御部122は、ステップS1008で読み込んだズーム戻り位置のうち、光学ズームによるズームイン位置をCZ制御部119に設定する。ステップS1011でFAズーム制御部122は、CZ制御部119に対して、ステップS1010で設定した光学ズームによるズームイン位置までズームレンズ102を駆動するように指示する。CZ制御部119はズームレンズ駆動部113を制御して、光学ズームでのズームイン動作を行う。
ステップS1009にて被写体探索状態でのズーム位置が電子ズーム領域内であると判定された場合や、ステップS1011での光学ズームでズームイン動作が行われた後、ステップS1012に進む。ステップS1012でFAズーム制御部122は、さらに電子ズームによるズームインが必要か否かを判断する。電子ズームによるズームインが必要な場合にはステップS1013に進み、電子ズームによるズームインが不要な場合には撮影準備状態にして処理を終了する。
ステップS1013でFAズーム制御部122は、ステップS1008で読み込んだズーム戻り位置のうち、電子ズームによるズームイン位置を電子ズーム制御部120に設定する。ステップS1014でFAズーム制御部122は、電子ズーム制御部120に対して、ステップS1013で設定した電子ズームによるズームイン位置まで変倍処理を行うように指示する。電子ズーム制御部120は電子ズームイン動作を行い、これによってズーム戻り位置へと復帰する。該動作が終了すると、撮影準備状態にして処理を終了する。
以上説明したように、本実施形態によれば、被写体情報やカメラの姿勢、向き、撮影状態などの情報に応じて、ズームアウト領域及びズームイン領域を設定する。特に、被写体が人物で手持ち撮影する場合は、被写体の動きや位置を考慮して、フレームアウトしやすい領域にズームアウト領域を設定するとともに、不要なズームアウト動作を防ぐようにズームアウト領域を設定する。また、ズームイン領域については、被写体が人物で手持ち撮影する場合は、撮影者によるフレーミング動作を考慮して、撮影者の動作により再フレーミングが容易な領域にズームイン領域を設定する。このような構成により、被写体やカメラの姿勢等に応じて、効果的に被写体探索のためのズーム動作を行うことができる。
(他の実施形態)
本発明の目的は以下のようにしても達成できる。すなわち、前述した実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ(またはCPU、MPU等)が記憶媒体に格納されたプログラムコードを読み出して実行する。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD−R、磁気テープ、不揮発性のメモリカード、ROM等も用いることができる。
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行う。
また、本発明はデジタルカメラのような撮影を主目的とした機器に限定されず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型など)、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。適用するシーンとして、静止画撮影のための画角合わせ中のみでなく、動画記録中の画角合わせの際に実施しても構わない。
100 デジタルカメラ
102 ズームレンズ
114 システム制御部
117 操作部
118 メモリ
119 CZ制御部
120 電子ズーム制御部
121 FAズーム枠制御部
122 FAズーム制御部
123 被写体検出部
124 姿勢検出部
125 揺れ検出部

Claims (19)

  1. 画像から被写体を検出する被写体検出手段と、
    撮像装置の姿勢を検出する状態検出手段と、
    前記被写体検出手段の検出結果に応じてズーム位置を制御する制御手段とを有し、
    前記制御手段は、前記被写体検出手段により検出された被写体が画像内の第1の領域に含まれる場合、ズーム位置を広角側の第1のズーム位置へ移動するよう制御し、
    前記第1の領域は、前記状態検出手段の検出結果に応じて設定されることを特徴とする撮像装置。
  2. 前記第1の領域は、画像の周辺部に設定される領域であって、
    前記状態検出手段により検出された前記撮像装置の姿勢において、画像の左右方向に占める前記第1の領域の比率は、画像の上下方向に占める前記第1の領域の比率より小さいことを特徴とする請求項に記載の撮像装置。
  3. 前記第1の領域は、画像の周辺部に設定される領域であって、
    前記状態検出手段により前記撮像装置が正位置であることが検出された場合、前記第1の領域は、画像の短手方向に設定され、
    前記状態検出手段により前記撮像装置が縦位置であることが検出された場合、前記第1の領域は、画像の長手方向に設定されることを特徴とする請求項又はに記載の撮像装置。
  4. 前記状態検出手段は、検出した姿勢における前記撮像装置の上下方向の向きを検出し、検出した当該向きに応じて、前記第1の領域が設定されることを特徴とする請求項乃至のいずれか1項に記載の撮像装置。
  5. 画像のアスペクト比を変更する変更手段をさらに有し、
    前記第1の領域は、前記変更手段によるアスペクト比の変更に伴って記録されなくなる画像上の領域に設定されることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  6. 画像から被写体を検出する被写体検出手段と、
    撮像装置の状態を検出する状態検出手段と、
    前記被写体検出手段の検出結果に応じてズーム位置を制御する制御手段と、
    画像のアスペクト比を変更する変更手段と、を有し、
    前記制御手段は、前記被写体検出手段により検出された被写体が画像内の第1の領域に含まれる場合、ズーム位置を広角側の第1のズーム位置へ移動するよう制御し、
    前記第1の領域は、前記状態検出手段の検出結果に応じて設定され、且つ、前記変更手段によるアスペクト比の変更に伴って記録されなくなる画像上の領域に設定されることを特徴とする撮像装置。
  7. 前記第1のズーム位置は、前記変更手段によってアスペクト比が変更される前後での画像の上下方向もしくは左右方向の長さの比率に基づいて設定されることを特徴とする請求項5または6に記載の撮像装置。
  8. 前記第1の領域は、前記状態検出手段の検出結果に応じて、前記画像に対する位置が変更されることを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。
  9. 被写体が人物の場合、前記第1の領域は、前記状態検出手段の検出結果に応じて設定されることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  10. 前記制御手段は、前記第1のズーム位置において前記被写体検出手段により検出された被写体が画像内の第2の領域に含まれる場合、望遠側へズーム位置を移動するよう制御し、
    前記第2の領域は、前記状態検出手段の検出結果に応じて設定されることを特徴とする請求項1乃至のいずれか1項に記載の撮像装置。
  11. 前記第2の領域は、画像の左右方向において中央付近に設定される領域であって、
    前記状態検出手段は前記撮像装置の姿勢を検出し、
    前記状態検出手段により検出された姿勢において、画像の左右方向に占める前記第2の領域の比率は、画像の上下方向に占める前記第2の領域の比率より小さいことを特徴とする請求項10に記載の撮像装置。
  12. 前記第2の領域は、画像の左右方向において中央付近に設定される領域であって、
    前記状態検出手段は前記撮像装置の姿勢を検出し、
    前記状態検出手段により前記撮像装置が正位置であることが検出された場合、前記第2の領域は、画像の短手方向に設定され、
    前記状態検出手段により前記撮像装置が縦位置であることが検出された場合、前記第2の領域は、画像の長手方向に設定されることを特徴とする請求項10又は11に記載の撮像装置。
  13. 前記状態検出手段は、前記撮像装置の姿勢を検出し、検出した姿勢における前記撮像装置の上下方向の向きを検出し、検出した当該向きに応じて、前記第2の領域が設定されることを特徴とする請求項10乃至12のいずれか1項に記載の撮像装置。
  14. 被写体が人物の場合、前記第2の領域は、前記状態検出手段の検出結果に応じて設定されることを特徴とする請求項10乃至13のいずれか1項に記載の撮像装置。
  15. 前記制御手段は、前記第1のズーム位置へ移動開始する前の第2のズーム位置を記憶し、前記第1のズーム位置において前記被写体検出手段により検出された被写体が画像内の前記第2の領域に含まれる場合、ズーム位置を前記第2のズーム位置へ移動するよう制御することを特徴とする請求項10乃至14のいずれか1項に記載の撮像装置。
  16. 前記状態検出手段は、前記撮像装置の揺れ量を検出し、検出した揺れ量が所定量より小さい場合、前記第2の領域は、前記第1のズーム位置における前記第2のズーム位置の画角より小さい領域に設定されることを特徴とする請求項15に記載の撮像装置。
  17. 撮像装置の制御方法であって、
    画像から被写体を検出する被写体検出ステップと、
    撮像装置の姿勢を検出する状態検出ステップと、
    前記被写体検出ステップの検出結果に応じてズーム位置を制御する制御ステップとを有し、
    前記制御ステップにおいて、前記被写体検出ステップにより検出された被写体が画像内の第1の領域に含まれる場合、ズーム位置を広角側の第1のズーム位置へ移動するよう制御し、
    前記第1の領域は、前記状態検出ステップの検出結果に応じて設定されることを特徴とする撮像装置の制御方法。
  18. 撮像装置の制御方法であって、
    画像から被写体を検出する被写体検出ステップと、
    撮像装置の状態を検出する状態検出ステップと、
    前記被写体検出ステップの検出結果に応じてズーム位置を制御する制御ステップと
    画像のアスペクト比を変更する変更ステップとを有し、
    前記制御ステップにおいて、前記被写体検出ステップにより検出された被写体が画像内の第1の領域に含まれる場合、ズーム位置を広角側の第1のズーム位置へ移動するよう制御し、
    前記第1の領域は、前記状態検出ステップの検出結果に応じて、前記変更ステップによるアスペクト比の変更に伴って記録されなくなる画像上の領域に設定されることを特徴とする撮像装置の制御方法。
  19. 請求項17又は18に記載の撮像装置の制御方法をコンピュータに実行させるように構成されていることを特徴とする撮像装置の制御プログラム。
JP2014008876A 2013-07-24 2014-01-21 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム Active JP6296801B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014008876A JP6296801B2 (ja) 2013-07-24 2014-01-21 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
US14/338,032 US9344634B2 (en) 2013-07-24 2014-07-22 Imaging apparatus having subject detection function, method for controlling the imaging apparatus, and storage medium
CN201410349882.2A CN104349051B (zh) 2013-07-24 2014-07-22 被摄体检测装置以及被摄体检测装置的控制方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013153787 2013-07-24
JP2013153787 2013-07-24
JP2014008876A JP6296801B2 (ja) 2013-07-24 2014-01-21 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム

Publications (2)

Publication Number Publication Date
JP2015043558A JP2015043558A (ja) 2015-03-05
JP6296801B2 true JP6296801B2 (ja) 2018-03-20

Family

ID=52390181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014008876A Active JP6296801B2 (ja) 2013-07-24 2014-01-21 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム

Country Status (3)

Country Link
US (1) US9344634B2 (ja)
JP (1) JP6296801B2 (ja)
CN (1) CN104349051B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107354B2 (ja) * 2013-04-15 2017-04-05 オムロン株式会社 画像表示装置、画像表示装置の制御方法、画像表示プログラム、および、これを記録したコンピュータ読み取り可能な記録媒体
JP6618255B2 (ja) * 2014-12-24 2019-12-11 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
US10091432B2 (en) 2015-03-03 2018-10-02 Canon Kabushiki Kaisha Image capturing apparatus, control method thereof and storage medium storing control program therefor
JP6068545B2 (ja) * 2015-04-08 2017-01-25 レノボ・シンガポール・プライベート・リミテッド 携帯型情報処理装置、その撮影方法、及びコンピュータが実行可能なプログラム
KR20170006559A (ko) * 2015-07-08 2017-01-18 엘지전자 주식회사 이동단말기 및 그 제어방법
US10397484B2 (en) 2015-08-14 2019-08-27 Qualcomm Incorporated Camera zoom based on sensor data
JP6525813B2 (ja) * 2015-08-21 2019-06-05 キヤノン株式会社 撮像装置、制御方法、プログラム及び記憶媒体
WO2017033619A1 (ja) * 2015-08-26 2017-03-02 富士フイルム株式会社 撮像システム及び撮像制御方法
CN107209854A (zh) * 2015-09-15 2017-09-26 深圳市大疆创新科技有限公司 用于支持顺畅的目标跟随的***和方法
WO2017086065A1 (ja) * 2015-11-17 2017-05-26 富士フイルム株式会社 撮影装置及びその制御方法
CN105491284B (zh) 2015-11-30 2018-12-18 小米科技有限责任公司 预览图像的显示方法和装置
JP6833461B2 (ja) * 2015-12-08 2021-02-24 キヤノン株式会社 制御装置および制御方法、撮像装置
US10270973B2 (en) * 2015-12-08 2019-04-23 Canon Kabushiki Kaisha Control device and imaging apparatus with a subject selectable mode with higher image blur correction
JP6988146B2 (ja) * 2016-05-25 2022-01-05 ソニーグループ株式会社 演算処理装置及び演算処理方法
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
WO2019124056A1 (ja) 2017-12-18 2019-06-27 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7233162B2 (ja) 2017-12-18 2023-03-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
CN108134903B (zh) 2017-12-25 2020-01-14 Oppo广东移动通信有限公司 拍摄方法及相关产品
JP7234497B2 (ja) * 2018-03-15 2023-03-08 Fcnt株式会社 電子機器、情報処理方法、およびプログラム
US11684425B2 (en) * 2018-03-16 2023-06-27 Shimadzu Corporation X-ray fluoroscopic imaging apparatus
JP6733106B2 (ja) * 2018-06-12 2020-07-29 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 決定装置、移動体、決定方法、及びプログラム
JP7444074B2 (ja) * 2018-12-14 2024-03-06 ソニーグループ株式会社 撮像装置、撮像制御装置、撮像方法
CN113875225A (zh) * 2019-06-04 2021-12-31 索尼集团公司 成像设备和成像控制方法
JP2021026174A (ja) * 2019-08-08 2021-02-22 フリュー株式会社 写真作成ゲーム機、撮影方法、およびプログラム
CN113723363A (zh) * 2021-07-28 2021-11-30 宁波星巡智能科技有限公司 基于连续帧的婴幼儿睡眠检测方法、装置、设备及介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2786375B2 (ja) 1992-06-18 1998-08-13 シャープ株式会社 発光ダイオード
JP2800171B2 (ja) 1992-06-22 1998-09-21 株式会社富士通ゼネラル フォトインタラプタ
JP4042695B2 (ja) * 2004-01-08 2008-02-06 セイコーエプソン株式会社 プロジェクタおよびズーム調整方法
JP5309490B2 (ja) * 2007-07-26 2013-10-09 カシオ計算機株式会社 撮影装置、被写体追尾ズーミング方法及び被写体追尾ズーミングプログラム
JP4770924B2 (ja) * 2008-12-17 2011-09-14 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
JP5565041B2 (ja) * 2010-03-30 2014-08-06 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5950492B2 (ja) * 2010-08-05 2016-07-13 キヤノン株式会社 制御装置および制御方法
US9578251B2 (en) * 2010-09-13 2017-02-21 Canon Kabushiki Kaisha Imaging apparatus and control method for the same
JP5623207B2 (ja) 2010-09-13 2014-11-12 キヤノン株式会社 撮像装置及びその制御方法
JP5744581B2 (ja) * 2011-03-18 2015-07-08 キヤノン株式会社 撮像装置及びその制御方法
JP5864938B2 (ja) * 2011-07-25 2016-02-17 キヤノン株式会社 撮像装置及びその制御方法
JP2013219556A (ja) * 2012-04-09 2013-10-24 Olympus Imaging Corp 撮像装置
KR101983288B1 (ko) * 2012-11-22 2019-05-29 삼성전자주식회사 카메라 촬영 제어장치 및 방법
JP6084026B2 (ja) * 2012-12-17 2017-02-22 オリンパス株式会社 撮像装置、告知方法、告知プログラム、及び記録媒体

Also Published As

Publication number Publication date
US9344634B2 (en) 2016-05-17
JP2015043558A (ja) 2015-03-05
CN104349051B (zh) 2018-05-01
US20150029347A1 (en) 2015-01-29
CN104349051A (zh) 2015-02-11

Similar Documents

Publication Publication Date Title
JP6296801B2 (ja) 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
JP6366395B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、被写体検出装置の制御プログラムおよび記憶媒体
JP6370140B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP6436760B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
JP6429454B2 (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP6618255B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
US10419683B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
JP6512897B2 (ja) ズーム制御装置、ズーム制御装置の制御方法
US20170104938A1 (en) Image pickup apparatus having zoom function, method of controlling the same, and storage medium
JP6839254B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム
JP6643036B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
JP6188474B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP6463123B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、及びズーム制御装置の制御プログラム
JP6245923B2 (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP6224925B2 (ja) 制御装置及び画角制御方法
JP6289207B2 (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP6188455B2 (ja) 制御装置、撮像システム、画角制御方法、プログラム、および、記憶媒体
JP6335520B2 (ja) 撮像装置、撮像装置の制御方法、および撮像装置の制御プログラム
JP6234103B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
JP6437066B2 (ja) 撮像装置、撮像装置の制御方法および撮像装置の制御プログラム
JP6624875B2 (ja) ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
JP2015019282A (ja) 画像処理装置、画像処理装置の制御方法、画像処理装置の制御プログラムおよび記憶媒体
JP2015026906A (ja) 撮像装置、撮像装置の制御方法、撮像装置の制御プログラムおよび記憶媒体
JP2013238814A (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180220

R151 Written notification of patent or utility model registration

Ref document number: 6296801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151