JP2014179942A - 撮影機器及び撮影方法 - Google Patents

Abstract

【課題】ユーザが違和感を覚えることなく、ズーム操作時に被写体がフレームアウトすることを防止する。
【解決手段】 撮影機器は、変倍機構を有する光学系と、上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像部と、上記撮像画像中の被写体を検出する被写体検出部と、テレ側へのズーム操作に応答して、上記変倍機構をテレ側に制御し、上記撮像部の撮影範囲と上記被写体との位置関係に基づいて、更に上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を切出す電子ズーム制御を行って見かけ上テレ側へのズーム処理を継続させる変倍制御部とを具備する。
【選択図】図１

Description

本発明は、ズーム機能を有する撮影機器及び撮影方法に関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。この種の撮影機器においては、ズーム機能を備えているものが多い。ユーザーのズーム操作に応答してズームレンズを光軸方向に進退させることで、光学的なズームが可能である。更に、撮像素子による撮影範囲中の一部の画像領域を切り出して出力する電子ズームを可能にした撮影機器も普及している。

近年、ズーム倍率は大きくなり、遠くの被写体を十分に大きなサイズで撮像することができるようになっている。しかし、ワイド側からテレ側に高速にズームを変化させた場合等においては、被写体がフレームアウトし易い。そこで、特許文献１においては、被写体がフレームアウトすると、ズーム位置をワイド側に変更するように制御する技術が開示されている。

特開２０１２−６０５９５号公報

しかしながら、特許文献１の提案では、ユーザがテレ側へのズーム操作をしたいにも拘わらず、操作途中でワイド側へのズーム処理が行われてしまい、ユーザが違和感を覚えるという問題があった。

本発明は、ユーザが違和感を覚えることなく、ズーム操作時に被写体がフレームアウトすることを防止することができる撮影機器及び撮影方法を提供することを目的とする。

本発明に係る撮影機器は、変倍機構を有する光学系と、上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像部と、上記撮像画像中の被写体を検出する被写体検出部と、テレ側へのズーム操作に応答して、上記変倍機構をテレ側に制御し、上記撮像部の撮影範囲と上記被写体との位置関係に基づいて、更に上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を切出す電子ズーム制御を行って見かけ上テレ側へのズーム処理を継続させる変倍制御部とを具備する。
また、本発明に係る撮影機器は、スピード変化を伴って画角変更可能な変倍機構を有する光学系と、上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像部と、ズーム操作に応答して上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を上位画角変更スピードに応じた変化で表示用切出し範囲を変える電子ズーム制御を行う変倍制御部とを具備する。
また、本発に係る撮影方法は、ズーム操作に応答してスピード変化を伴って画角変更可能な変倍機構を有する光学系を制御するステップと、上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像ステップと、上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を上位画角変更スピードに応じた変化で切出し範囲を変える電子ズーム制御を行う変倍ステップと、上記切出し範囲の撮像結果を表示するステップと、を具備する。

本発明によれば、ユーザが違和感を覚えることなく、ズーム操作時に被写体がフレームアウトすることを防止することができるという効果を有する。

本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図。 横軸に時間をとり縦軸に画角をとって、ズーム操作時における画角の変化を示すグラフ。 ズーム操作時にフレームアウトが生じない場合の例を示す説明図。 ズーム操作時にフレームアウトが生じた場合の例を示す説明図。 横軸に時間をとり縦軸に画角をとって、本実施の形態のズーム処理における画角の変化を示すグラフ。 第１の実施の形態におけるズーム処理を説明するための説明図。 カメラ制御を説明するためのフローチャート。 本発明の第２の実施の形態を示すフローチャート。 第２の本実施の形態を採用しない場合のズーム処理を説明するための説明図。 第２の実施の形態におけるズーム制御を説明するための説明図。 第２の実施の形態における光学ズームと電子ズームとの処理の関係を説明するための説明図。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するためのフローチャート。 本発明の第３の実施の形態を示すフローチャート。 第３の実施の形態を採用しない場合のワイド側へのズーム処理を説明するための説明図。 第３の実施の形態におけるズーム制御を説明するための説明図。 図１７は横軸にズーム位置をとり縦軸に画角をとって、第３の実施の形態における光学ズームと電子ズームとの処理の関係を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。

先ず、図２〜図６を参照して、本実施の形態におけるズーム制御について説明する。図２は横軸に時間をとり縦軸に画角をとって、ズーム操作時における画角の変化を示すグラフである。図３はズーム操作時にフレームアウトが生じない場合の例を示す説明図であり、図４はズーム操作時にフレームアウトが生じた場合の例を示す説明図である。図５は横軸に時間をとり縦軸に画角をとって、本実施の形態のズーム処理における画角の変化を示すグラフである。また、図６は本実施の形態におけるズーム処理を説明するための説明図である。

なお、本明細書中では、ズームレンズを駆動することで行うズーム処理を光学ズーム処理といい、撮像画像に対する画像切り出し処理によって見かけ上画角を変更するズーム処理を電子ズーム処理というものとする。

図３（ａ）はユーザＰが、カメラである撮影機器１を把持しながら、被写体の一例として、遠くに飛んでいる鳥２を撮影する例を示している。図３（ａ）はズーム位置がワイド端である場合を示しており、鳥２は撮影機器１の撮影範囲ＩＰａ内に位置している。

ここで、ユーザＰがズーム操作を行うものとする。図２は一般的な撮影機器のズーム操作による画角の変化を示している。図２に示すように、一般的な撮影機器では、ズーム操作の時間に応じて画角は次第に狭く（テレ側）なるように変化する。

図３（ｂ）はユーザＰが撮影機器１の撮影範囲ＩＰａ内に被写体である鳥２を捕らえながらズーム操作を行い、テレ側（望遠側）にズーム位置が変化し撮影範囲がＩＰｂとなった状態を示している。図３（ｃ）はこの場合における撮像画像３を示しており、撮影範囲の比較的広い範囲に鳥２の画像２ａが撮影されていることを示している。

図４（ａ１）〜（ａ３）はズーム操作によって被写体が撮影範囲からフレームアウトする様子を示している。図４（ａ１）は外枠がワイド端における撮影範囲ＩＰａを示している。被写体である鳥２は、ワイド端における撮影範囲ＩＰａ内に位置する。仮に、鳥が移動せず、撮影機器１の向きを変えずにズーム操作を行ったものとする。ズーム操作によって、光軸を中心に画角が狭くなり、撮影範囲は破線にて示す撮影範囲ＩＰｂに変化する。この状態では撮像画像は図４（ａ２）の外枠の状態となる。更に、ズーム操作が続くと、図４（ａ３）の外枠の状態に変化する。撮影範囲が図４（ａ３）の破線の撮影範囲ＩＰｄになると、鳥２は撮影されない。

即ち、被写体が光軸中心側に位置しない限り、テレ側へのズーム操作を行うことで、被写体は撮影範囲の周辺方向に次第に位置が変わることになり、図４（ｂ）に示すように、結果的にフレームアウトしてしまう。図４（ｃ）はこの場合における撮像画像３を示しており、撮影範囲内には鳥２の画像が撮影されていない。

そこで、本実施の形態においては、図５及び図６に示すズーム処理を行うことで、テレ側へのズーム操作を行った場合でも、被写体がフレームアウトすることを防止するようになっている。

図６（ａ１）の枠はワイド端における撮像画像３を示している。被写体である鳥２は、撮影範囲ＩＰａの周辺に位置する。ここで、ユーザがテレ側へのズーム操作を行うものとする。図５の期間Ａはこの場合の画角の変化を示しており、ズーム操作の時間に応じて画角はテレ側に次第に狭くなる。本実施の形態においては、Ａ期間におけるテレ側へのズーム処理は、ズームレンズの位置を変化させる光学ズームにより行われる。

図６（ａ１）の破線枠に対応する図６（ａ２）の実線枠は、ズーム操作開始から所定時間後における撮影範囲ＩＰｂを示しており、被写体２は撮影範囲ＩＰｂの周辺において一部が撮影されている。更に、ズーム操作が継続されると、撮影範囲は、図６（ａ２）の破線枠に対応する図６（ａ３）の実線枠に示す撮影範囲ＩＰｃに変化する。被写体である鳥２は、撮影範囲ＩＰｃの外側に位置し、フレームアウトしている。

本実施の形態においては、被写体のフレームアウトを検出すると、図５に示すように、テレ側への光学ズーム処理を停止してワイド側への光学ズーム処理に戻すと共に、テレ側への電子ズーム処理を同時に行う。この場合の電子ズーム処理における切出し範囲は、被写体がフレームアウトした近傍位置に設定する。図６（ａ３）の破線枠は、ワイド側への光学ズーム処理を示しており、この光学ズーム処理によって再び鳥２が撮影範囲内に入っている。なお、光学ズームのズーム倍率を考慮して電子ズーム処理によるズーム倍率を設定することにより、合成ズーム倍率（見かけ上の画角）が一定又はワイド側に多少変化させるように制御するようにしてもよい。

図６（ａ３）及び図６（ｂ１）はこの状態を示しており、フレームアウト検出時の撮影範囲ＩＰｃに対して光学ズームにより画角をワイド側に戻し、撮影範囲は破線に示す撮影範囲ＩＰｄに広がっている。同時に、電子ズーム処理によって撮影範囲ＩＰｄの右上の部分を切出すことで、撮影範囲ＩＰｅを得ている（図６（ｂ２）の枠）。なお、被写体が撮影範囲に入ったことを検出すると、以後、光学ズーム倍率を固定し電子ズーム倍率を変化させて、図５の破線太線に示すように、見かけ上の画角をテレ側に変化させる（図５Ｂ期間）。

このように図５のＢ期間には電子ズーム処理が行われ、図６（ｂ２）の破線枠で示す撮影範囲ＩＰｆが切出されて、図６（ｂ３）の枠に示す撮像画像が得られる。なお、図６（ｂ２），（ｂ３）の黒丸の表示４は、光軸中心を示している。

このように、フレームアウトを検出すると、テレ側へのズーム処理をワイド側へのズーム処理に切換えると共に、被写体の位置周辺を切出す電子ズーム処理を行う。この場合には、光学ズームによるズーム倍率に対応するズーム倍率で電子ズームを行うことで、見かけ上、違和感のないズーム処理を行うようになっている。もちろん、この制御は光学ズームにメカ的なガタがあるところまでを電子ズームが合わせることは困難なので、ズームスピードに多少差異があって、少しの違和感が残るのはやむをえない。したがって、光学ズームが速いときは電子ズームも速く、光学ズームが遅いときは電子ズームも遅い、といった相対的な制御切り換えでも良い。

なお、被写体が撮影範囲に位置するようになったことが検出された場合でも、被写体が光軸中心近傍以外にあるときに光学ズームを行うと被写体が撮影範囲から外れることが予想されるので、継続して電子ズームによるテレ側へのズーム処理が行われる。被写体が光軸中心近傍に位置する場合には、電子ズームから光学ズームに切換えてテレ側への変倍処理を行えばよい。

こうして、本実施の形態において、ユーザによるズーム操作の期間中、電子ズーム又は光学ズームにより、見かけ上の画角の拡大処理が継続される。これにより、被写体のフレームアウトを防止しながら、違和感のないズーム処理が行われる。

（回路構成）
図１において、撮影機器本体１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部１１を有している。撮像部１１は、撮影機器本体１０の前面に設けられた交換レンズ２０からの被写体像を光電変換して撮像画像信号を得る。

交換レンズ２０は、撮影機器本体１０の撮像部１１に被写体像を導く撮影光学系２１を有している。撮影光学系２１は、物体側から撮像部１１の撮像面（像面）に至る光軸上に図示しない複数のレンズが配置されて構成される。撮影光学系２１中には、ピント合わせによりフォーカス（合焦）状態に設定するために可動されるフォーカスレンズ及びフォーカス状態で変倍するズームレンズを有する。ピント制御部２１ａ及びズーム制御部２１ｂは、駆動部２４に制御されて、これらのフォーカスレンズ及びズームレンズを制御するようになっている。

撮影光学系２１は、ズームやフォーカスレンズ等を駆動制御するための操作部２２ａを備えている。例えば、操作部２はズームリングやピントリング等によって構成される。操作部２２ａによって、ピント、ズーム位置や絞りの調整も可能である。

操作部２２ａは、ユーザ操作に基づく操作信号を制御部２３に出力する。制御部２３は、マイコン等によって構成されており、操作部２２ａからの操作信号に基づくフォーカス信号及びズーム信号を発生して、駆動部２４を制御する。

モーター等によって構成された駆動部２４は、撮影光学系２１に設けられたフォーカスレンズ及びズームレンズを駆動し、ピント制御及びズーム制御を行う。撮影光学系２１のピント制御部２１ａはピントレンズの位置に対応した信号をピント位置判定部２５ａに出力する。また、ズーム制御部２１ｂはズームレンズの位置（ズーム位置）に対応した信号をズーム位置判定部２５ｂに出力する。

ピント位置判定部２５ａは、ピント制御部２１ａの出力に基づいてピント位置を判定して判定結果を制御部２３に出力する。ズーム位置判定部２５ｂは、ズーム制御部２１ｂの出力に基づいてズーム位置を判定して判定結果を制御部２３に出力する。制御部２３は、ピント位置及びズーム位置の判定結果が与えられ、操作部２２の操作に対応したピント位置及びズーム位置となるように、駆動部２４を制御する。

交換レンズ２０には、通信部２８が設けられている。また、撮影機器本体１０には通信部１３が設けられている。通信部２８は、所定の伝送路を介して撮影機器本体１０の通信部１３との間で情報の送受を行う。制御部２３は、撮影機器本体１０の通信部１３との間の通信が確立すると、記録部２６に格納したレンズ情報及びズーム操作に関するズーム情報等を通信部２８，１３によって撮影機器本体１０に送信させることができる。

レンズ情報により、撮影機器本体１０は、交換レンズ２０がどのようなズーム機能を有しているか、ズームレンズの焦点距離範囲（倍率）、焦点距離、明るさナンバー等を認識することができる。ズーム情報によって、撮影機器本体１０は、ユーザのズーム操作に基づくズーム位置を認識することができる。

制御部２３は、通信部１３，２８介して撮影機器本体１０の信号処理及び制御部１２から制御信号が供給されて、信号処理及び制御部１２によって制御可能に構成されている。なお、ズーム制御を撮影機器本体１０側で行う場合には、交換レンズ２０においてズーム情報を発生しなくてもよい。

また、本実施の形態においては種々の交換レンズを採用することができる。図１では、操作部２２の操作によってズーム制御可能な交換レンズを採用する例を示したが、撮影機器本体１０側の操作によってズーム制御を行うようにしてもよく、あるいは交換不能なレンズを採用してもよい。

撮影機器本体１０の撮像部１１は、信号処理及び制御部１２によって駆動制御されて、交換レンズ２０を介して被写体を撮影し、撮像画像を出力する。信号処理及び制御部１２は、撮像部１１に撮像素子の駆動信号を出力すると共に、撮像部１１からの撮像画像を読み出す。信号処理及び制御部１２は、読み出した撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

撮影機器本体１０には、時計部１４及び操作判定部１５も配設されている。時計部１４は信号処理及び制御部１２が用いる時間情報を発生する。操作判定部１５は、撮影機器本体１０に設けられた図示しないレリーズスイッチや撮影モード設定等の各種スイッチに対するユーザ操作に基づく操作信号を発生して、信号処理及び制御部１２に出力するようになっている。信号処理及び制御部１２は、操作信号に基づいて、各部を制御する。

信号処理及び制御部１２は、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１６に与えて記録させることができる。記録部１６としては、例えばカードインターフェースを採用することができ、記録部１６はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。

また、信号処理及び制御部１２は、信号処理後の撮像画像を表示部１７に与えることができる。表示部１７はＬＣＤ（液晶表示パネル）等によって構成されており、信号処理及び制御部１２から与えられた画像を表示する。

更に、撮影機器本体１０にはタッチパネル１７ａが設けられている。例えば、タッチパネル１７ａを表示部１７の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部１７の表示画面上に表示された撮像画像上の任意のポイントに対するタッチ操作によって、注目被写体を設定することができる。信号処理及び制御部１２は、各部を制御することで、ユーザ操作に基づく撮影機能を実現する。

例えば、撮影機器本体１０に設けられた図示しないズームスイッチの操作によって操作判定部１５から得られる操作信号や、表示部１７に表示されたズームボタンの操作によってタッチパネル１７ａから得られる操作信号にはズームに関するズーム情報が含まれており、信号処理及び制御部１２は、このズーム情報に基づいて光学ズーム処理及び電子ズーム処理を実現すると共に、ズーム情報を交換レンズ２０の制御部２３に送信することができるようになっている。この場合には、制御部２３は、信号処理及び制御部１２から供給されたズーム情報に従って、光学ズーム処理を行う。

本実施の形態においては、信号処理及び制御部１２はフォーカス制御部１２ａ、レンズ制御部１２ｂ、切出し制御部１２ｃ及び変倍制御部１２ｄを備えている。フォーカス制御部１２ａは、撮像部１１にフォーカス制御用の画素が含まれている場合には像面位相差法による測距によってフォーカス制御を行うことができる。また、フォーカス制御部１２ａは、撮像部１１にフォーカス制御用の画素が含まれていない場合には、撮像画像からコントラストを判定する山登り方式のフォーカス処理を行ってもよく、通常の一眼レフで一般的に採用されている透過ミラー及び位相差センサを用いたＡＦ処理と同様の方式を採用してもよい。

レンズ制御部１２ｂは、操作部２２ａやタッチパネル１７ａからズーム操作に関する操作信号が入力されると、変倍制御部１２ｄに制御されて、ズームレンズを駆動して光学ズーム処理を行うためのズーム信号を出力する。このレンズ制御部１２ｂからのズーム信号は、通信部１３，２８を介して制御部２３に供給される。

切出し制御部１２ｃは、操作部２２ａやタッチパネル１７ａからズーム操作に関する操作信号が入力されると、変倍制御部１２ｄに制御されて、撮像画像の切出し位置を制御して見かけ上の画角を変化させる電子ズーム処理を行う。

変倍制御部１２ｄには、特徴検出部１８及び姿勢判定部１９の出力と操作部２２ａやタッチパネル１７ａからズーム操作に関する操作信号が入力される。特徴検出部１８は、画面の中央の被写体、ユーザが指定した被写体や領域或いは動きが大きい被写体等について、画像の特徴量を検出して検出結果を変倍制御部１２ｄに出力する。姿勢判定部１９は、撮影機器本体１０の傾きや方向を検出して検出結果を変倍制御部１２ｄに出力する。

変倍制御部１２ｄは、特徴検出部１８の検出結果を用いて、注目被写体が撮影範囲内に位置するか否かを判定し、テレ側へのズーム操作の結果注目被写体がフレームアウトしたことを検出した場合には、レンズ制御部１２ｂ及び切出し制御部１２ｃを制御して、図５及び図６等で説明したように、光学ズーム処理をワイド側に戻す処理と、テレ側への電子ズーム処理とを実行させる。なお、変倍制御部１２ｄは、姿勢判定部１９の判定結果によって空の方向が撮影されていることを検出した場合には、撮像部１１からの撮像画像のコントラストが高い部分を注目被写体に設定してもよい。

また、変倍制御部１２ｄは、電子ズーム処理時においては、フレームアウトした注目被写体が撮影範囲内に入るように、フレームアウトした位置近傍に切出し範囲を設定する。また、変倍制御部１２ｄは、ユーザのズーム操作と光学ズーム処理及び電子ズーム処理による合成ズーム倍率の変化とを一致させるために、光学ズーム処理のズーム倍率を減少させる度合いに応じて電子ズームによるズーム倍率を変化させるようになっている。もちろん、この制御は光学ズームにメカ的なガタがあったり、カムの変化などがあったりするところまでを模倣して電子ズームが合わせることは困難なので、ズームスピードに多少の誤差や差異があって、少しの違和感が残るのはやむをえない。したがって、光学ズームが速いときは電子ズームも速く、光学ズームが遅いときは電子ズームも遅い、といった相対的な制御切り換えでも良い。つまり時間的な変倍の比率を、光学ズームに近づける制御に特徴がある。

なお、フレームアウトを検出するまでは、テレ側への光学ズームを継続するものとして説明したが、被写体が画面周辺に位置するようになった段階で、ズームの速度を低下させる処理を行ってもよい。これにより、ユーザが被写体を追尾しやすくなって、被写体を撮影範囲の中央側に位置させることが容易となる。

次にこのように構成された実施の形態の動作について図７を参照して説明する。図７はカメラ制御を説明するためのフローチャートである。

図７のステップＳ１において、信号処理及び制御部１２は撮影モードであるか否かを判定する。撮影モードが指示されていない場合には、信号処理及び制御部１２は再生モードに移行する。撮影モードが指示されている場合には、信号処理及び制御部１２は、ステップＳ２において、制御部２３から通信部２８，１３を介してレンズ情報、レンズ位置の情報を取得する。

次に、信号処理及び制御部１２は、ステップＳ３において、オートフォーカス処理（ＡＦ）を行い、スルー画の表示を行う。信号処理及び制御部１２は撮像部１１からの撮像画像を取り込んで、所定の信号処理を施す。次に、信号処理及び制御部１２は、ステップＳ４おいて、ワイド（Ｗ）側へのズーム操作が行われているか否かを判定する。

ユーザがワイド側へのズーム操作を行った場合には、ズーム情報が信号処理及び制御部１２に供給される。信号処理及び制御部１２は、ステップＳ４において、入力されたズーム情報からズーム制御が行われたか否かを判定する。ユーザのズーム操作が行われている場合には、信号処理及び制御部１２は、処理をステップＳ５に移行して、ワイド側ズーム制御が行われているか否かを判定する。ワイド側へのズーム操作が行われている場合には、次のステップＳ５において、信号処理及び制御部１２は、光学ズームのズーム位置がワイド端に到達しているか否かを判定する。ワイド端に到達していない場合には、信号処理及び制御部１２は、ステップＳ６において、ワイド側へのズーム処理を制御部２３に指示するためのＷ側ズーム信号を発生する。

信号処理及び制御部１２は、ステップＳ１１において、テレ（Ｔ）側ズーム操作が行われているか否かを判定する。テレ側ズーム操作が行われている場合には、次のステップＳ１２において、ズーム操作の開始時であるか否かが判定され、開始時のみ注目被写体の特徴量が判定される（ステップＳ１３）。特徴検出部１８は、例えば、画面中央部分やユーザが指定した被写体を注目被写体として、その特徴量を求める。

変倍制御部１２ｄは、ステップＳ１４において、ズーム位置がテレ端に到達しているか否かを判定し、到達していない場合には、ステップＳ１５において、特徴検出部の検出結果と撮像画像中の特徴量との比較によって注目被写体を追尾し、注目被写体が撮影範囲から外れる方向（消失方向）を判定する。次に、変倍制御部１２ｄは、ステップＳ１６において、注目被写体が撮影範囲周辺の所定範囲よりも外側に位置するか否かを判定する。

注目被写体が撮影範囲の中央近傍にいる場合には、ステップＳ１８，Ｓ２３を経由してステップＳ２５に処理を移行し、テレ側への光学ズームを継続する。注目被写体が撮影範囲周辺の所定範囲よりも外側に位置する場合には、変倍制御部１２ｄは、ステップＳ１７において、テレ側への光学ズームを低速にするためのズーム信号を発生する。これにより、ズーム速度が低下し、画角の変化が小さくなるので、ユーザは注目被写体の追尾を比較的容易に行うことができる。

変倍制御部１２ｄは、テレ側への光学ズームの結果、注目被写体が撮影範囲の外に出た場合には、処理をステップＳ１６からステップＳ１８に移行して、フレームアウトにより撮影範囲から被写体が消失したことを検出する。変倍制御部１２ｄは、次のステップＳ１９においてワイド側への光学ズームが可能か否かを判定する。ワイド側への光学ズームが可能である場合には、変倍制御部１２ｄは、ステップＳ２０において、ワイド側への光学ズームを行う。これにより、撮影範囲がワイド側に広がる。

同時に、変倍制御部１２ｄは、ステップＳ２１において、テレ側への電子ズームを行う。この場合には、変倍制御部１２ｄは、ステップＳ２０におけるワイド側への光学ズーム処理を打ち消し、見かけ上の画角がテレ側に変化するように、電子ズーム倍率を設定する。また、変倍制御部１２ｄは、電子ズーム処理における切出し位置を、被写体が消失した位置近傍に設定する。また、変倍制御部１２ｄは、ステップＳ２２において光軸中心を示す表示４（図６参照）を表示させる。

ステップＳ２０のワイド側への光学ズーム処理によって撮影範囲が広がることにより、注目被写体が撮影範囲内に入りやすくなる。注目被写体が再び撮影範囲内に入ると、変倍制御部１２ｄは、ステップＳ１８から処理をステップＳ２３に移行して、電子ズーム中であるか否かを判定する。この場合には、電子ズーム中であるので、変倍制御部１２ｄは、ステップＳ２４において被写体が光軸上又は光軸近傍に位置するか否かを判定する。被写体が光軸近傍の場合には、変倍制御部１２ｄは、光学ズームによってテレ側へのズーム処理を行う。注目被写体が光軸近傍にない場合において光学ズームを行うと、被写体は撮影範囲から外れてしまう。そこで、変倍制御部１２ｄは、注目被写体が光軸近傍にない場合には、ステップＳ２６において電子ズームを継続して行う。

こうして、テレ側へのズーム処理を行った場合でも、注目被写体を比較的容易に撮影範囲内に捉えた状態で撮影を行うことができる。また、この場合には、電子ズームを併用することで、連続的にテレ側へのズーム処理が可能であり、操作に違和感を覚えることもない。

信号処理及び制御部１２は、ステップＳ２６において撮影モード変更等を受付け、ステップＳ２７において撮影操作があったか否かを判定する。撮影操作があった場合には、ステップＳ２８においてオートフォーカス処理を行った後撮影し、撮像画像を記録する（ステップＳ２９）。

このように、本実施の形態においては、テレ側への光学ズーム処理によって、被写体がフレームアウトしようとすると、ワイド側へのズーム処理に戻すと共にテレ側への電子ズーム処理を行う。これにより、撮影範囲を広げて被写体のフレームアウトを阻止すると共に、見かけ上の画角の変化を例えば一定にして、ユーザが違和感を覚えることを防止することができる。

（第２の実施の形態）
図８は本発明の第２の実施の形態を示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同様である。

第１の実施の形態は、注目被写体がテレ側への光学ズーム処理によってフレームアウトすることにより、光学ズーム処理と電子ズーム処理とを同時に実行することで、連続的なズーム処理を可能にすると共に、フレームアウトを阻止した。これに対し、本実施の形態は、注目被写体が光軸中心（画角中心）からずれた場合に、光学ズーム処理と電子ズーム処理とを同時に実行するようにしたものである。

図９は本実施の形態を採用しない場合のズーム処理を説明するための説明図である。図９（ａ）はズーム位置がワイド側にある場合の撮影範囲ＩＰ０を示しており、撮影範囲ＩＰ０の略中央、即ち、光軸中心近傍に被写体である人物３１が位置している様子を示している。ここで、ユーザがテレ側へのズーム処理を行うものとする。この場合、画角中心近傍に被写体が位置していれば、ズーム処理によっても被写体がフレームアウトすることはない。しかし、被写体である人物３１が動いた場合、或いはフレーミングのぶれ等の理由から、テレ側へのズーム処理によって被写体がフレームアウトすることが考えられる。

図９（ｂ）は撮影範囲が狭い撮影範囲ＩＰ１になって被写体である人物３１が中央からずれ、更に、図９（ｃ）は狭い撮影範囲ＩＰ２になって人物３１がフレームアウトしそうになっている状態を示している。

これに対し、本実施の形態においては、図１０に示すズーム制御を行う。図１０は本実施の形態におけるズーム制御を説明するための説明図である。図１０（ａ）は図９（ａ）と同一の撮影状態を示している。図１０（ｂ）はテレ側への光学ズームにより撮影範囲が狭くなったことを示している。人物３１は拡大される一方、撮影範囲ＩＰ１の中心（画角中心）からずれていることを示している。この場合には、光学ズームをワイド側に戻して、撮影範囲を広い撮影範囲ＩＰ２にすると共に、撮影範囲ＩＰ２の一部の領域ＩＥ１を切出して撮像画像を得る。なお、被写体である人物３１が領域ＩＥ１の略中央に位置するように切り出し位置を設定する。また、切出しのサイズは、ワイド側への光学ズームを打ち消して、ユーザのテレ側へのズーム操作が連続的に行われと感じられるように設定する。なお、一般的にはズーム可能な位置は離散的であり、ワイド側へのズーム処理は、例えば予め規定された所定のステップ数だけ行われる。

図１０（ｃ）はユーザによるテレ側へのズーム操作が更に行われた結果、ワイド側に光学ズーム処理が行われて、撮影範囲が更に広い撮影範囲ＩＰ３になったことを示している。電子ズーム処理によって、撮影範囲ＩＰ３の一部の領域ＩＥ２を切出すことによって、ユーザはテレ側へのズーム操作の結果として、大きくなった人物３１の画像を得ることができる。この場合にも、被写体である人物３１が領域ＩＥ２の略中央に位置するように切り出し位置が設定される。また、切出しのサイズは、ワイド側への光学ズームを打ち消して、ユーザのテレ側へのズーム操作が連続的に行われと感じられるように設定する。被写体が撮像画像の中心に位置するように、電子ズームによる画像切り出し位置及び拡大率が都度制御される。

図１０（ｄ）は図１０（ｃ）の状態から、カメラの向きを調整したり、被写体が移動したりしたことにより主要被写体が画角中心に近づいたことを示している。この場合には、中心点からの距離に応じて光学ズーム位置、デジタルズームによる画角切り出し位置及び拡大率を変化させる。即ち、図１０（ｃ）の広い撮影範囲ＩＰ３は、テレ側の光学ズーム処理によって少し狭い撮影範囲ＩＰ４となり、撮影範囲ＩＰ４から人物３１が略中央に位置するように、切出し領域ＩＥ３が決定される。

図１０（ｅ）は図１０（ｄ）の状態から、主要被写体が更に画角中心に近づいたことを示している。この場合には、中心点からの距離に応じて光学ズーム位置、デジタルズームによる画角切り出し位置及び拡大率を変化させる。図１０（ｅ）の例では、電子ズーム処理は終了し、光学ズームのみによる撮影範囲ＩＰ５での撮像が行われる。

ところで、制御部２３は、ズーム信号に応じて駆動部２４を駆動し、ズーム制御部２１ｂを制御してズームレンズを移動させる。駆動部２４は、ズームエンコーダ等によって構成され、ズーム量に応じたパルス数のパルスが与えられて、ズームレンズをズーム信号に応じた移動量で移動させる。この場合、ズームレンズの移動量は、構造上の特性によって、離散的な位置をとる。また、ズームレンズを構成する各群の位置関係が均一でないことから、パルス数とズームレンズの移動量との関係は一定ではなく、単位時間当たりに制御可能な画角変化量は一定とはならない。

図１１は本実施の形態における光学ズームと電子ズームとの処理の関係を説明するための説明図である。図１１（ａ）は横軸に時間をとり縦軸に画角をとって、ズームレンズの位置で表される画角と、各画角を得るために必要なパルス数、即ち、時間との関係を示しており、図１１（ｂ）は表示部１７の表示フレームに対応したパルスを示し、図１１（ｃ）は斜線によって電子ズームの切出し位置の変更タイミングを示している。

図１１（ａ）に示すように、例えば、広角端から望遠端までを５段階で変化させるものとして、１〜３段階までの画角の変化に要する時間に比べて、３段階〜４段階の画角の変化に要する時間は比較的長い。

本実施の形態においては、光学ズームによる単位時間当たりに画角の変化に応じて、電子ズームによる単位時間当たりの切出し量の変化量を調整するようになっている。例えば、図１１の例では、電子ズームによる１回の切出し量の変化量は一定にし、光学ズームの画角の変化量に応じて、電子ズームの切出し量を変化させるタイミングを変更することで、光学ズームと電子ズームによる画角の変化量を調整している。

図１１（ｃ）に示すように、広角端側の第２段階から第３段階への光学ズームによる画角の変化は比較的大きいので、電子ズームの切出し量の変化は密に行われる。逆に、広角端側の第３段から第４段階への光学ズームによる画角の変化は比較的小さいので、電子ズームの切出し量の変化は粗く行われる。

次に、このように構成された実施の形態の動作について図８乃至図１３を参照して説明する。図１２及び図１３は第２の実施の形態の動作を説明するためのフローチャートである。

ズーム操作が開始されると、変倍制御部１２ｄは、図８のステップＳ３１において、ズーム操作がワイド側からテレ側へのズーム操作であるか否かを判定する。変倍制御部１２ｄは、テレ側へのズーム操作である場合には、レンズ制御部１２ｂを制御してテレ側へのズーム信号を発生させ、通信部１３，２８を介して制御部２３に送信させる。これにより、制御部２３は、駆動部２４を駆動し、ズーム制御部２１ｂによってズーム位置がテレ側に変化する。なお、この変化量は、図１１（ａ）に示すように、時間の経過と共に段階的に１ステップずつ行われる。

変倍制御部１２ｄは、ステップＳ３３において、特徴検出部１８の検出結果に基づいて、主要被写体を判別する。図１２は図８中の主要被写体判別処理の具体的な動作フローの一例を示している。

図１２のステップＳ５１において、特徴検出部１８は現在の画角で画面全体に亘って被写体特徴点を抽出する。次に、変倍制御部１２ｄは、各被写体の特徴点と画面の中心からの位置関係を求めて記憶する（ステップＳ５２）。ステップＳ５３では、Ｎ回処理が繰返されたか否かが判定され、ステップＳ５１，Ｓ５２の処理がＮ回繰返される。

撮影範囲内の複数の被写体のうち、ユーザは、主要被写体と考える被写体を画面中心近傍に位置させるものと考えられる。従って、各被写体が移動した場合でも、主要被写体については平均的に画面中心近傍に位置することになると考えられる。変倍制御部１２ｄは、ステップＳ５４において、記憶した位置情報を元に、画面中心近傍に位置した回数が最も多い被写体を主要被写体と判別する。

変倍制御部１２ｄは、主要被写体を判別することができた場合には（ステップＳ５５）、主要被写体判別情報を設定し（ステップＳ５６）、できなかった場合には主要被写体未判別情報を設定する（ステップＳ５７）。

変倍制御部１２ｄは、図８のステップＳ３４において、主要被写体の判別ができたか否かを判定する。この時点で判別できていない場合には、ステップＳ３５において判別を終了するための条件に到達したか否かを判定し、到達していなければステップＳ３３の判別処理を繰り返す。

変倍制御部１２ｄは、ステップＳ３４において主要被写体の判別ができたものと判定した場合には、ステップＳ３６において撮像画像から主要被写体の検出処理を行う。即ち、変倍制御部１２ｄは、特徴検出部１８の検出結果と設定されている主要被写体判別情報とを用いて、主要被写体を追尾し、主要被写体が画角中心近傍に位置するか否かを判定する（ステップＳ３７）。変倍制御部１２ｄは、主要被写体が画角中心近傍に位置する場合には、ステップＳ３８において光学ズームを継続する。変倍制御部１２ｄは、ステップＳ３９においてズーム操作が完了したか否かを判定し、完了していない場合には、処理をステップＳ３６に戻す。これにより、主要被写体が画角中心にいる限り、テレ側への光学ズームが行われることになる。

テレ側への光学ズーム途中で、主要被写体が画角中心近傍からずれると、変倍制御部１２ｄは、処理をステップＳ３７からステップＳ４０に移行して、主要被写体保持及び画角保持処理を実行する。図１３は図８のステップＳ４０の具体的な動作フローの一例を示しており、図１０及び図１１の説明図の動作を可能にするフローを示している。

変倍制御部１２ｄは、図１３のステップＳ６１において、現在のズーム位置を確認する。次に、変倍制御部１２ｄは、ステップＳ６２において光学ズームを１ステップ広角側に変化させる。図１１において説明したように、ズーム位置は離散的であり、変倍制御部１２ｄは、レンズ制御部１２ｂを制御して、現在のズーム位置から１ステップだけ広角側にズーム位置を変化させる。

また、図１１にて説明したように、ズーム位置に応じて単位時間当たりの光学ズームの変化量が異なることから、変倍制御部１２ｄは、切出し制御部１２ｃを制御して、光学ズームの単位時間の変化量に対応した変化量となるように、画像の切出しを段階的に実施する（ステップＳ６３）。例えば、図１１（ｃ）の斜線に示すタイミングで画像の切り出しを行う。なお、この場合には、切出し制御部１２ｃは、主要被写体がなるべく画面中心近傍に位置するように切出し位置を設定する。

こうして、図１０に示したように、主要被写体を画面の略中心に捉えながら、ワイド側への光学ズーム処理及びテレ側への電子ズーム処理が実行され、見かけ上の画角は例えば連続的にテレ側に変化するように制御される。

図８のステップＳ４１においては、変倍制御部１２ｄは、ステップＳ３６と同様の処理によって画面内の主要被写体を検出する。変倍制御部１２ｄは、ステップＳ４２において、主要被写体を検出できたか否かを判定し、主要被写体を検出することができた場合には、ステップＳ４３においてズーム動作を継続する。

主要被写体の動きが大きい場合やズーム倍率の変化が早い場合等においては、ステップＳ４２において主要被写体が検出されないことがある。この場合には、変倍制御部１２ｄは、ステップＳ４４において検出制限条件に到達したか否かを判定する。例えば、光学ズームがワイド端に到達していることを検出制限条件とすることができる。光学ズームがワイド端に到達していない場合には、処理をステップＳ４０に戻して、光学ズームをワイド側に変化させる。これにより主要被写体が画面内に検出できた場合には、ステップＳ４３においてズーム動作が継続される。

このように、ステップＳ４０において、主要被写体を画面の中心近傍に位置させながら、ユーザのズーム操作に応じた画角となるように、光学ズーム及び電子ズームによるズーム制御が行われる。こうして、図１０に示すズーム制御が可能となる。つまり、スピード変化を伴って画角変更可能な変倍機構を有する光学系の変倍スピードを判定し、上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像部があり、ズーム操作に応答して上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を上位画角変更スピードに応じた変化で表示用切出し範囲を変える電子ズーム制御を行うことによって、操作者の違和感なく画像観察を行っている。

なお、変倍制御部１２ｄは、ステップＳ３５において判別制限条件に到達したものと判定した場合及びステップＳ４４において検出制限条件に到達したものと判定した場合には、ステップＳ４５において、現在電子ズームが行われているか否か判別する。変倍制御部１２ｄは、電子ズームが行われている場合には、ステップＳ４６において電子ズームを解除した後、電子ズーム解除前における現在の見かけ上のズーム位置に光学ズームを設定して（ステップＳ４７）、処理をステップＳ３９に戻す。変倍制御部１２ｄは、電子ズームが行われていない場合には、ステップＳ４７において光学ズームを継続して処理をステップＳ４９に戻す。

以後、ズーム操作が完了するまで、ステップＳ３６〜ステップＳ４７の処理が繰り返され、可能な限り主要被写体を画面中心近傍に配置しながら、見かけ上のテレ側へのズーム処理が行われるように、光学ズーム及び電子ズームが制御される。

このように本実施の形態においては、テレ側へのズーム操作時に、主要被写体が画面中心近傍からずれると、光学ズーム及び電子ズームにより主要被写体を中心近傍に位置させながら、見かけ上のテレ側へのズーム処理を行っており、主要被写体のフレームアウトを阻止しながら、ズーム操作時に違和感を覚えることを防止することができる。また、主要被写体が画面中心からずれる毎に画面切出し位置を変化させて主要被写体を画面中心近傍に捉えるようにしており、主要被写体のフレームアウトを極力防止することができる。

（第３の実施の形態）
図１４は本発明の第３の実施の形態を示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同様である。

第１及び第２の実施の形態は、テレ側への光学ズーム処理時のフレームアウトを防止するものであった。これに対し、本実施の形態は、テレ側へのズーム処理は第１又は第２の実施の形態と同様であるが、テレ側からワイド側へのズーム処理において、主要被写体が画面中心からずれることを防止するようにしたものである。

図１５は本実施の形態を採用しない場合のワイド側へのズーム処理を説明するための説明図である。なお、図１５中の被写体３１ａ〜３１ｄは同一人物の被写体である。図１５（ａ）はズーム位置がテレ側にある場合の撮影範囲ＩＷ５を示しており、撮影範囲ＩＷ５の略中央、即ち、光軸中心近傍に被写体である人物３１ａが位置している様子を示している。ここで、ユーザがワイド側へのズーム処理を行うものとする。この場合には、画角が次第に広くなるので、被写体はフレームアウトしにくい。しかし、被写体である人物３１ａが動いた場合、或いはフレーミングのぶれ等の理由から、ズーム処理時に被写体が画面中心からずれたり、フレームアウトしたりすることも考えられる。

図１５（ｂ）は撮影範囲が広い撮影範囲ＩＷ４になって被写体である人物３１ｂが中央からずれ、図１５（ｃ）は広い撮影範囲ＩＷ３になって人物３１ｃが中心からずれ、更に、図１５（ｄ）は広い撮影範囲ＩＷ２になって人物３１ｃが撮影範囲ＩＷ２の周辺に位置するようになったことを示している。

これに対し、本実施の形態においては、図１６に示すズーム制御を行う。図１６は本実施の形態におけるズーム制御を説明するための説明図である。図１６（ａ）は図１５（ａ）と同一の撮影状態を示している。本実施の形態においては、ワイド側へのズーム操作が行われた場合には、ワイド側への光学ズームを行うと共に、切出し範囲が所定のサイズとなるまで、電子ズームによるテレ側へのズーム処理を行う。図１６（ｂ）はこの状態を示しており、光学ズームによる撮影範囲ＩＷ５はワイド側の撮影範囲ＩＷ４に変化する一方、切出し範囲ＩＥ４が切出されることによって、見かけ上の画角に変化がなく、人物３１ａが同一サイズであることを示している。以後、ワイド側へのズーム処理時には、例えば、撮影範囲の一定の割合が切出し範囲として設定される。

図１６（ｃ）はユーザによるワイド側へのズーム操作によって、更に、光学ズーム位置がワイド側に変化して撮影範囲が撮影範囲ＩＷ３に広がり、人物３１ｂは小さく撮影されるようになったことを示している。この場合にも電子ズーム処理が行われ、撮影範囲ＩＷ３に対する一定の割合で切出し範囲ＩＥ３が設定されている。撮影範囲に対する切出し範囲のサイズを一定に設定することで、見かけ上の画角は、光学ズームによるワイド側へのズーム処理に依存することになる。

このズーム操作において、人物３１ｂが撮影範囲の中心（画角中心）からずれることが考えられる。この場合でも、本実施の形態においては、電子ズームによる切出し範囲ＩＥ３を撮影範囲ＩＷ３内で移動させることによって、切出し範囲ＩＥ３の略中心に人物３１ｂを位置させることが可能である。

図１６（ｄ），（ｅ）も同様であり、ユーザによるワイド側へのズーム操作によって、光学ズーム位置がワイド側に順次変化して撮影範囲が撮影範囲ＩＷ２〜ＩＷ１に広がり、人物３１ｃ，３１ｄが更に小さく撮影されるようになったことを示している。人物３１ｃ，３１ｄが撮影範囲の中心（画角中心）からずれた場合でも、電子ズームによる切出し範囲ＩＥ２，ＩＥ１を撮影範囲ＩＷ２，ＩＷ１内で夫々移動させることによって、切出し範囲ＩＥ２の略中心に人物３１ｃを位置させ、切出し範囲ＩＥ１の略中心に人物３１ｄを位置させることが可能である。

なお、切出し範囲は、例えば、切出し範囲を除く撮影範囲の部分（以下、余白部分という）が、撮影範囲の例えば１／４程度になるように設定してもよい。また、ワイド側へのズーム操作時において、切出し範囲のサイズを、撮影範囲に対する余白部分の比率が一定となるように設定してもよい。この余白部分を利用して、主要被写体を切出し範囲の中心近傍に位置させることができることから、余白部分が広いほど主要被写体を画面中心に位置させることが可能である。

ズーム位置がテレ側にある場合には、主要被写体が中心からずれやすいので、ズーム位置に応じて余白部分のサイズを変更するようにしてもよい。また、被写体の動く速度や、手ブレの程度に応じて余白部分のサイズを変化させるようにしてもよい。

更に、テレ端からワイド端へのズーム操作の途中において、余白部分のサイズ（撮影範囲に対する割合）を変更するようにしてもよい。

図１７は横軸にズーム位置をとり縦軸に画角をとって、本実施の形態における光学ズームと電子ズームとの処理の関係を説明するための説明図である。図１７においては、テレ端からワイド端への光学ズームによる画角変化を破線によって示している。これに対し、光学ズーム及び電子ズームによる見かけ上の画角の変化を太い実線によって示している。

ワイド側へのズーム操作の開始時点においては、光学ズーム位置はワイド側に変化する一方、電子ズームの切出しによって見かけ上の画角は変化しない。図１７の特性Ａは、電子ズームの切出し範囲のサイズを一定、つまり、撮影範囲に対する切出し範囲の比率が一定である例を示している。この場合には、見かけ上の画角変化速度は、光学ズームによる画角変化の速度と同じとなる。また、この場合には、光学ズーム位置がワイド端に到達しても、見かけ上の画角はワイド端には到達しない。

図１７の特性Ｂは、電子ズームの切出し範囲のサイズを次第に小さくし、光学ズームのワイド端においては電子ズームによる切り出しを解除する例を示している。この場合には、光学ズーム位置がワイド端に到達すると、見かけ上の画角もワイド端に到達する。例えば、ユーザのワイド側へのズーム操作時に、主要被写体が殆ど画面中心近傍から移動しない場合等においては、主要被写体を中心に位置させるための電子ズームは必要ない。主要被写体の画面上の位置を求めることによって、電子ズームの切出し範囲のサイズを次第に大きくして、光学ズームのワイド端到達時には切り出しを解除するようにしてもよい。

次に、このように構成された実施の形態の動作について図１４乃至図１７を参照して説明する。

ワイド側へのズーム操作が開始されると、変倍制御部１２ｄは、図１４のステップＳ７１においてズーム動作を開始する。変倍制御部１２ｄは、レンズ制御部１２ｂを制御してワイド側へのズーム信号を発生させ、通信部１３，２８を介して制御部２３に送信させる。これにより、制御部２３は、駆動部２４を駆動し、ズーム制御部２１ｂによってズーム位置がワイド側に変化する。変倍制御部１２ｄは、光学ズーム制御と同時に、切出し制御部１２ｃを制御して、電子ズームによる切り出しを行う（ステップＳ７２）。

この場合には、見た目上の画角が一定となるように、光学ズームのズーム倍率に応じて、電子ズームのズーム倍率を決定する。図１７の画角が一定の期間においても、光学ズームによって撮影範囲は拡大しており、撮影範囲と切出し範囲との差分が余白部分となる。変倍制御部１２ｄは、ステップＳ７３において撮影範囲が所定の範囲に到達したか否かを判定する。撮影範囲が所定の範囲に到達し、余白部分が例えば撮影範囲の１／４のサイズとなると、画角を一定にしながらのズーム処理を終了する。

次に、特徴検出部１８は現在の画角で画面全体に亘って被写体特徴点を抽出する。次に、変倍制御部１２ｄは、各被写体の特徴点と画面の中心からの位置関係を求めて記憶する（ステップＳ７４）。撮影範囲内の複数の被写体のうち、ユーザは、主要被写体と考える被写体を画面中心近傍に位置させるものと考えられる。従って、各被写体が移動した場合でも、主要被写体については平均的に画面中心近傍に位置することになると考えられる。変倍制御部１２ｄは、記憶した位置情報を元に、画面中心近傍に位置した回数が最も多い被写体を主要被写体と判定し、この主要被写体を撮像画像から検出する（ステップＳ７５）。

変倍制御部１２ｄは、ステップＳ７６において、主要被写体が画角中心近傍に位置するか否かを判定する。主要被写体が画角中心近傍からずれた場合には、変倍制御部１２ｄは、処理をステップＳ７６からステップＳ７７に移行して、電子ズーム倍率を一定にすると共に、切出し位置を主要被写体が画面中央近傍に位置するように補正する（ステップＳ７８）。また、変倍制御部１２ｄは、光学ズームを継続させる（ステップＳ７９）。

これにより、図１７の特性Ａにて示すテレ側へのズーム処理が行われることになる。即ち、見かけ上の画角は、光学ズームの視野範囲の拡大に伴って変化する。切出し範囲の位置は、余白部分だけ移動させることが可能であり、切出し位置が補正されて主要被写体が画面中央近傍に位置する。

一方、変倍制御部１２ｄは、ステップＳ７６において、主要被写体が画角中心近傍に位置するものと判定した場合には、処理をステップＳ８０に移行して、電子ズーム倍率を低下させながら光学ズームを継続する。即ち、この場合には、図１７の特性Ｂにて示すテレ側へのズーム処理が行われることになる。見かけ上の画角は、光学ズームによる変化よりも高速に変化し、ワイド端では、光学ズームのみによる撮影範囲で撮像が行われる。

変倍制御部１２ｄは、ステップＳ８１においてズーム操作が完了したか否かを判定する。以後、ズーム操作が完了するまで、ステップＳ７４〜ステップＳ８０の処理が繰り返され、可能な限り主要被写体を画面中心近傍に配置しながら、ワイド側へのズーム処理が行われるように、光学ズーム及び電子ズームが制御される。

このように本実施の形態においては、ワイド側へのズーム操作時に、主要被写体が画面中心近傍からずれると、光学ズーム及び電子ズームにより主要被写体を中心近傍に位置させながら、ワイド側へのズーム処理を行っており、主要被写体のフレームアウトを阻止しながら、ズーム操作時に違和感を覚えることを防止することができる。また、主要被写体が画面中心からずれる毎に画面切出し位置を変化させて主要被写体を画面中心近傍に捉えるようにしており、主要被写体のフレームアウトを極力防止することができる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよい。観察装置、望遠鏡、追尾付きの監視カメラにも応用が可能であることは言うまでもない。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストリールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の撮影機器を実現することができる。

１０…撮影機器本体、１１…撮像部、１２…信号処理及び制御部、１２ａ…フォーカス制御部、１２ｂ…レンズ制御部、１２ｃ…切出し制御部、１２ｄ…変倍制御部、１３，２８…通信部、１５…操作判定部、１７…表示部、１７ａ…タッチパネル、１８…特徴検出部、２１…撮影光学系、２１ｂ…ズーム制御部、２２ａ…操作部、２３…制御部。

Claims (10)

1. 変倍機構を有する光学系と、
   上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像部と、
   上記撮像画像中の被写体を検出する被写体検出部と、
   テレ側へのズーム操作に応答して、上記変倍機構をテレ側に制御し、上記撮像部の撮影範囲と上記被写体との位置関係に基づいて、更に上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を切出す電子ズーム制御を行って見かけ上テレ側へのズーム処理を継続させる変倍制御部と
   を具備したことを特徴とする撮影機器。
2. 上記変倍制御部は、テレ側へのズーム操作に応答して、上記変倍機構をテレ側に制御し、上記被写体検出部の検出結果によって上記被写体がフレームアウトする場合には、上記変倍機構をワイド側に制御すると同時に上記撮像画像中の上記被写体を含む画像範囲を切出す電子ズーム制御を行って見かけ上テレ側へのズーム処理を継続させる
   ことを特徴とする請求項１に記載の撮影機器。
3. 上記変倍制御部は、上記被写体が撮影範囲の周辺の所定範囲よりも外側に位置する場合には、上記テレ側へのズーム速度を低速にする
   ことを特徴とする請求項２に記載の撮影機器。
4. 上記変倍制御部は、上記電子ズーム制御を行った場合には、上記変倍機構による撮影範囲の中心位置を上記切出された画像範囲中に表示する
   ことを特徴とする請求項２又は３に記載の撮影機器。
5. 上記変倍制御部は、変倍機構によるズーム速度に応じて上記電子ズーム制御における切出しタイミングを決定する
   ことを特徴とする請求項２乃至４のいずれか１つに記載の撮影機器。
6. 上記変倍制御部は、テレ側へのズーム操作に応答して、上記変倍機構をテレ側に制御し、上記被写体検出部の検出結果によって上記被写体が画面中心近傍に位置しなくなった場合には、上記変倍機構をワイド側に制御すると同時に上記撮像画像中の上記被写体を含む画像範囲を切出す電子ズーム制御を行って見かけ上テレ側へのズーム処理を継続させる
   ことを特徴とする請求項１に記載の撮影機器。
7. 上記変倍制御部は、ワイド側へのズーム操作に応答して、上記変倍機構をワイド側に制御すると共に上記撮像画像中の上記被写体を含むように切出し範囲を補正しながら所定の画像範囲を切出す電子ズーム制御を行う
   ことを特徴とする請求項１乃至６のいずれか１つに記載の撮影機器。
8. スピード変化を伴って画角変更可能な変倍機構を有する光学系と、
   上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像部と、
   ズーム操作に応答して上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を上位画角変更スピードに応じた変化で表示用切出し範囲を変える電子ズーム制御を行う変倍制御部と
   を具備したことを特徴とする撮影機器。
9. 上記撮像画像中の被写体を検出する被写体検出部を具備し、
   上記変倍制御部が、上記撮像部の撮影範囲における上記被写体の位置関係に基づいて、上記電子ズーム制御を行う請求項８に記載の撮影機器。
10. ズーム操作に応答してスピード変化を伴って画角変更可能な変倍機構を有する光学系を制御するステップと、
    上記光学系によって導かれた被写体像を光電変換して撮像画像を取得する撮像ステップと、
    上記変倍機構を制御すると共に上記撮像画像中の上記被写体を含む画像範囲を上位画角変更スピードに応じた変化で切出し範囲を変える電子ズーム制御を行う変倍ステップと、
    上記切出し範囲の撮像結果を表示するステップと、
    を具備したことを特徴とする撮影方法。

Images