JP6136019B2 - 動画像撮影装置、および、動画像撮影装置の合焦方法 - Google Patents

Description

本開示は、フォーカスレンズやイメージセンサをウォブリング駆動させながらフォーカスを制御する動画像撮影装置、動画像撮影装置の合焦方法に関する。

動画像撮影装置などにおいて、ある３次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらを大別すると、赤外線や超音波、レーザーなどを照射し、反射波が戻ってくるまでの時間や反射波の角度などをもとに距離を算出する能動的手法と、被写体の像に基づいて距離を算出する受動的手法がある。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

受動的手法にも多くの手法が提案されているが、その一つとして被写体距離によって大きさや形状が変化する、ぼけの情報に基づいて距離を計測するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（以下ＤＦＤと表記）と呼ばれる手法があり、複数のカメラを必要としない、少数の画像から距離計測が可能である、などの特徴がある。

以下、ＤＦＤの原理について簡単に説明する。

ＤＦＤは、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ：ＰＳＦ）は被写体距離の関数であるため、ＤＦＤではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。ただし、このとき、全焦点画像と被写体距離が未知数となる。ぼけ画像１枚に対して、ぼけ画像、全焦点画像、被写体距離に関する式が１つ成立するため、合焦位置の異なるぼけ画像を新たに撮影し、新たな式を得る。得られた複数の式を解き、被写体距離を求める。式の獲得の方法や式を解く方法等に関して、特許文献１をはじめとして、ＤＦＤに対する様々な提案が存在する。

特許第２９６３９９０号公報

本開示は、フォーカスレンズとイメージセンサとの少なくとも一方が相対的にウォブリング駆動している場合にローリングシャッター方式で被写体を動画撮影した場合であっても、被写体に焦点を合わせることができる動画像撮影装置を提供する。

本開示における動画像撮影装置は、少なくともフォーカスレンズを有する光学系と、前記光学系を介して得られる像に基づきローリングシャッター方式で画像信号を生成するイメージセンサと、前記フォーカスレンズと前記イメージセンサとの距離を、前記光学系の光軸に沿って変化させる駆動部と、前記駆動部を制御することにより、前記フォーカスレンズと前記イメージセンサとの距離を周期的に変動させるウォブリング駆動をさせながら、被写体にフォーカスを合わせる制御部と、を備え、前記制御部は、前記像の一部の領域を特定する領域特定部と、特定された前記領域に対応する画像信号から得られるボケ量と前記領域に対応する他の画像信号から得られるボケ量との差が大きくなるように、前記像に対応する画像信号を生成するタイミングである撮像タイミングを前記フォーカスレンズと前記イメージセンサとの距離に合わせて調整するタイミング調整部と、調整された複数の撮像タイミングで生成された画像信号のうち特定された前記領域に属する複数の画像信号を用いて、前記領域内に映し出される前記被写体の距離に関する情報である距離情報を算出する距離算出部と、前記距離情報を利用して、前記フォーカスレンズと前記イメージセンサとのフォーカス距離を決定するフォーカス距離決定部、とを備える。

本開示における動画像撮影装置は、フォーカスレンズやイメージセンサなどがウォブリング駆動している場合にローリングシャッター方式で撮影した場合であっても、制御部がウォブリング動作に対応して像を撮像する撮像タイミングを調整することができる。つまり、動画像撮影装置は、ウォブリング駆動中におけるフォーカスレンズとイメージセンサとの相対的な距離に合わせて像を撮影することができる。このため、撮像して得られる画像信号の一部の領域については、複数の画像信号間におけるボケ量の差を大きくすることができる。これにより、このように撮像して得られる画像信号を用いてＤＦＤ処理した場合、ＤＦＤ処理自体の性能を大きく劣化させることなく処理できる。

実施形態における動画像撮影装置の電気的および機構的構成を示すブロック図である。 実施形態における動画像撮影装置の合焦方法を示すフローチャートである。 実施形態における制御部が制御する撮像タイミングを説明するための図である。 実施形態における制御部が制御する他の撮像タイミングを説明するための図である。 ウォブリング動作のパターンの一つを示す図である。 ウォブリング動作のパターンの一つを示す図である。 ウォブリング動作のパターンの一つを示す図である。 ウォブリング動作のパターンの一つを示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施形態）
以下、図１〜４を用いて、実施の形態１を説明する。

（電気的および機構的構成について）
本実施形態１における動画像撮影装置１の電気的構成、および、機構的構成について図面を参照しながら説明する。

図１は、本実施形態１における動画像撮影装置１の具体的な構成を示す図である。

本実施形態１における動画像撮影装置１は、光学系１１０、ズームモータ１２０、ＯＩＳ（Optical Image Stabilizer）アクチュエータ１３０、駆動部１４０、ＣＭＯＳなどを用いたイメージセンサ１５０、映像処理部１６０、メモリ１７０、制御部１８０、メモリカード２００が装着可能なカードスロット１９０、操作部材２１０、ズームレバー２２０、液晶モニタ２３０を備える構成となる。

光学系１１０は、ズームレンズ１１１、ＯＩＳ１１２、フォーカスレンズ１１３、その他絞りなど（図示せず）を含む。

ズームレンズ１１１は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。ズームレンズ１１１は、制御部１８０からの制御信号に基づき、ズームモータ１２０によって光学系１１０内における位置が変更され、被写体像を拡大又は縮小することができる。また、ズームレンズ１１１は、マニュアルでも位置の変更が可能である。

ＯＩＳ１１２は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。ＯＩＳ１１２は、動画像撮影装置１のブレを相殺する方向に補正レンズを駆動することにより、被写体像のブレを低減する。補正レンズは、ＯＩＳ１１２内において所定距離だけ中心から移動することが出来る。ＯＩＳ１１２は、ＯＩＳアクチュエータ１３０によって制御される。

フォーカスレンズ１１３は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。フォーカスレンズ１１３は、フォーカス距離に位置するように駆動部１４０によって駆動される。なお、この駆動はウォブリング駆動よりも大きな駆動である。

ズームモータ１２０は、ズームレンズ１１１を駆動する。ズームモータ１２０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ１２０は、カム機構やボールネジなどの機構を介してズームレンズ１１１を駆動するようにしてもよい。

ＯＩＳアクチュエータ１３０は、ＯＩＳ１１２内の補正レンズを光軸と垂直な面内で駆動する。ＯＩＳアクチュエータ１３０は、平面コイルや超音波モータなどで実現できる。

駆動部１４０は、フォーカスレンズ１１３とイメージセンサ１５０との距離を、光学系１１０の光軸に沿って変化させるアクチュエータを備える装置であり、本実施形態１の場合、駆動部１４０は、フォーカスレンズ１１３を光軸に沿って駆動するモータを備えている。駆動部１４０は、パルスモータやＤＣモータ、リニアモータ、サーボモータなどで実現してもよい。駆動部１４０は、カム機構やボールネジなどの機構を介してフォーカスレンズ１１３を駆動するようにしてもよい。

本実施形態１の場合、この駆動部１４０は、ＡＦ（Auto Focus）制御中、制御部１８０からの制御信号に基づき、フォーカス距離を変更する比較的大きなフォーカス動作に加えフォーカスレンズ１１３をウォブリング駆動させる比較的小さな往復動作をすることが可能である。これにより、例えば動画撮影中において効率的にＡＦ制御できる。

ここで、ウォブリング駆動とは、フォーカスレンズ１１３、および、イメージセンサ１５０の少なくとも一方をフォーカスレンズ１１３とイメージセンサ１５０との距離が変化するように相対的に微小往復運動させる駆動であり、本実施形態１の場合、フォーカスレンズ１１３をフォーカス距離の近傍で微少往復運動させる駆動をいう。また、微小往復運動とは人間が動画像を見た場合にフォーカスの揺れが認識できない、または、フォーカスの揺れが気にならない程度の範囲における往復運動である。

イメージセンサ１５０は、光学系１１０で形成された像を撮影して、画像信号を生成するセンサであり、例えばＣＭＯＳイメージセンサを備えたものを例示することができる。イメージセンサ１５０は、露光、転送、電子シャッタなどの各種動作を行う。具体的にイメージセンサ１５０は、ローリングシャッター方式を採用可能なセンサであり、この点ＣＭＯＳイメージセンサはローリングシャッターを実現するものである。ローリングシャッター方式とは、行列状に並べられた撮像画素で受光した光を行単位（または列単位）で順次時間をずらして電荷として取得し、上記像に対応する画像信号を生成する方式である。

さらに、イメージセンサ１５０は、制御部１８０によって光学系１１０で形成された像に対応する画像信号を生成する撮像タイミングがタイミング調整部１８２により制御される。

映像処理部１６０は、イメージセンサ１５０で生成された画像信号に対して各種の処理を施す。映像処理部１６０は、画像信号に対して処理を施し、液晶モニタ２３０に表示するための画像データ（以下、レビュー画像と称す）を生成したり、メモリカード２００に再格納するための映像信号を生成したりする。例えば、映像処理部１６０は、画像信号に対してガンマ補正やホワイトバランス補正、傷補正などの各種映像処理を行う。

映像処理部１６０は、ＤＳＰ（Digital Signal Processor）やマイコン（マイクロコンピュータ）などで実現可能である。なお、レビュー画像の解像度は、液晶モニタ２３０の画面解像度に設定しても構わないし、ＪＰＥＧ規格に準拠した圧縮形式等により圧縮され形成される画像データの解像度に設定しても構わない。

メモリ１７０は、映像処理部１６０、制御部１８０などのワークメモリとして機能する。メモリ１７０は、例えば、映像処理部１６０で処理された映像信号若しくは、映像処理部１６０で処理される前のイメージセンサ１５０から入力される画像信号を一時的に蓄積する。また、メモリ１７０は、撮影時における光学系１１０、イメージセンサ１５０の撮影条件を一時的に蓄積する。撮影条件とは、被写体距離、画角情報、ＩＳＯ感度、シャッタースピード、ＥＶ値、Ｆ値、レンズ間距離、撮影時刻、ＯＩＳシフト量、フォーカスレンズ１１３の光学系１１０における位置情報等を示す。メモリ１７０は、例えば、ＤＲＡＭ、強誘電体メモリなどで実現できる。

制御部１８０は、動画像撮影装置１の全体を制御する制御手段であり、本実施形態１の場合、領域特定部１８１と、タイミング調整部１８２と、距離算出部１８３とフォーカス距離決定部１８４とを備えている。制御部１８０は、半導体素子などで実現可能である。制御部１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１８０は、マイコンなどで実現できる。

制御部１８０は具体的な機能として、駆動部１４０を介してフォーカスレンズ１１３をウォブリング駆動させ、フォーカス距離にフォーカスレンズ１１３を位置させる。これにより、効率的にＡＦ制御する。

タイミング調整部１８２は、光学系１１０が結像する像に対応する画像信号をイメージセンサ１５０が生成するタイミング（例えば画像信号の生成を開始するタイミング）である撮像タイミングを制御する。撮像タイミングを制御する際、タイミング調整部１８２は、光学系１１０内におけるフォーカスレンズ１１３の位置情報（ウォブリング駆動をしている際のフォーカスレンズ１１３とイメージセンサ１５０との距離情報）に基づき、撮像タイミングを制御する。これにより、フォーカスレンズ１１３をウォブリング駆動させている際にローリングシャッター方式で撮影したとしても、フォーカスレンズ１１３の位置に合わせて画像信号を生成する撮像画素の行（または列）を調整することができる。よって、例えばフォーカスレンズ１１３とイメージセンサ１５０との距離が最も近い近傍端にある際に像の中央領域（図４領域Ｃ参照）に対応する撮像画素の行から画像信号を生成することができ、また、フォーカスレンズ１１３とイメージセンサ１５０との距離が最も遠い遠方端にある際に像の中央領域に対応する撮像画素の行から画像信号を生成することが可能となる。

タイミング調整部１８２は、領域特定部１８１により特定された領域に対応する画像信号から得られるボケ量と同じ領域に対応する他の画像信号から得られるボケ量との差（例えば動画撮影において、連続して取得する画像信号の中の隣り合う画像信号の特定領域に対応するぼけ量の差）が特定された領域以外の領域におけるぼけ量の差よりも大きくなるように、撮像タイミングを調整する。

また、二つの画像信号から得られる特定された領域におけるボケ量の差が所定の閾値よりも大きくなるように、撮像タイミングを調整してもかまわない。

なお、本実施形態１の場合、タイミング調整部は、フォーカスレンズの位置に合わせて撮影タイミングを制御すると説明したが、この構成に限定されるものではない。フォーカスレンズの位置と撮影タイミングが相対的に調整できれば良い。例えば、撮影タイミングに合わせてフォーカスレンズの位置を調整するように制御してもかまわない。

さらに、本実施形態１では、特定された領域において、複数画像間でぼけ量の差が最も多く調整されていることから、コントラスト値の差も同様に大きくなっている。そのため、従来のコントラスト値を利用してＡＦ制御することも可能である。また、前記コントラスト値を利用する方法と組み合わせて両方を利用してＡＦ制御しても可能である。

カードスロット１９０は、メモリカード２００が着脱可能である。カードスロット１９０は、機械的及び電気的にメモリカード２００と接続可能である。

メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。

操作部材２１０は、レリーズボタンを備える。レリーズボタンは、使用者の押圧操作を受け付ける。レリーズボタンを半押しした場合、制御部１８０を介してＡＦ制御及び、ＡＥ制御を開始する。また、レリーズボタンを全押しした場合、被写体の撮影を行う。

ズームレバー２２０は、使用者からズーム倍率の変更指示を受け付ける部材である。

液晶モニタ２３０は、イメージセンサ１５０で生成した画像信号や、メモリカード２００から読み出した画像信号を表示する表示デバイスである。また、液晶モニタ２３０は、デジタルカメラ１００の各種の設定情報を表示可能である。例えば、液晶モニタ２３０は、撮影時における撮影条件である、ＥＶ値、Ｆ値、シャッタースピード、ＩＳＯ感度等を表示可能である。

さらに、液晶モニタ２３０は、領域を指定する指定部としてタッチパネル（図示せず）を備えており、液晶モニタ２３０に映し出された像の一部の領域を使用者が指定できるものとなっている。

（撮影時におけるＡＦ動作内容）
以下、動画像撮影装置１における具体的な撮影時におけるＡＦ制御の内容について図面を参照しながら説明する。

図２は、動画撮影が開始されてから開始されるＡＦ制御を説明するためのフローチャートである。

（S２０１）制御部１８０は、使用者によって操作部材２１０が操作されて撮影状態に
なるまで待機する。

（S２０２）使用者によって操作部材２１０が操作され、撮影が開始された場合、ＡＦ
動作が開始される。また、光学系１１０を介して得られる像をイメージセンサ１５０が撮像することにより画像信号の生成が開始される。制御部１８０は、駆動部１４０を制御することにより、現在のフォーカス位置を中心としてフォーカスレンズ１１３をウォブリング駆動させる。このように、本実施形態１における動画像撮影装置１は、撮影中、フォーカスレンズ１１３をウォブリング駆動させながらＡＦ制御し、動画撮影を行う。

（Ｓ２０３）領域特定部１８１は、使用者が指定部としても機能する操作部材２１０、または、液晶モニタ２３０の表面に配置されるタッチパネルなどを操作することによって指定された像内の一部の領域を特定する。または、映像処理部１６０から得られる画像信号に基づき顔認識、被写体追跡などの他の処理により指定部が指定した領域を特定する。

（S２０４）制御部１８０は、フォーカスレンズ１１３をウォブリング駆動させながら
フォーカスレンズ１１３の位置に応じたＤＦＤ用の複数枚の画像信号をイメージセンサ１５０に生成させて取得する。ＤＦＤ用の画像信号を撮影する際の撮像タイミングについては後述する。

なお本実施形態１の場合、ＤＦＤ用の複数枚の画像信号は、動画像として用いられる画像信号である。ただしＤＦＤ専用の画像信号をイメージセンサ１５０に生成させてもかまわない。

（S２０５）距離算出部１８３は、イメージセンサ１５０から取得したＤＦＤ用の複数
枚の画像信号に基づいてＤＦＤ処理する。これにより、距離算出部１８３はＤＦＤ用の複数枚の画像信号に映しだされる被写体の距離に関する情報である距離情報を算出する。本実施形態１の場合、距離算出部１８３は、生成された複数の画像信号のうち領域特定部１８１で特定された領域に属する信号を用いて、領域内に映し出される被写体の距離に関する情報である距離情報のみを算出する。これにより、イメージセンサ１５０が生成した全ての画像信号に対してＤＦＤ処理するよりも高速にＤＦＤ処理を行うことが可能となる。

なお、ＤＦＤ処理する際、ＤＦＤ用画像撮影時の撮影条件に対応するＰＳＦを利用することが望ましい。ＰＳＦは前記撮影条件でリアルタイム算出しても、予め算出されたデーターベースから選出してもかまわない。

（S２０６）フォーカス距離決定部１８４は、S２０４で距離算出部１８３が算出した距離情報に基づき、所望の被写体に合焦するように、駆動部１４０を制御し、フォーカス距離を実現するようにフォーカスレンズ１１３を移動させる。

（撮像タイミングについて）
以下、S２０３における撮像タイミングについて図面を参照しながら説明する。

本実施形態における動画像撮影装置１は、制御部１８０によって光学系１１０内におけるフォーカスレンズ１１３の位置（ウォブリング動作を加味した位置）に応じて、ＤＦＤ用の画像信号を撮影する撮像タイミングが設定される。これにより、フォーカスレンズ１１３がウォブリング駆動しており、かつローリングシャッター方式で画像信号を生成する場合であっても、光学系１１０内におけるフォーカスレンズ１１３の位置に合わせて撮像タイミングを調整することで像の中の所望の領域のボケの差を大きくすることができる。その結果、所望の領域についてはＤＦＤの精度を大きく劣化させることなく処理することが可能となる。

図３、図４は、撮像タイミングを説明するための図である。

図３、図４の上部に示すグラフにおける縦軸は、フォーカスレンズ１１３がウォブリング駆動している場合における光学系１１０内におけるフォーカスレンズ１１３の位置を示す。本実施形態１の場合、フォーカス距離を中心としてフォーカスレンズ１１３が近傍端と遠方端との間をウォブリング動作として往復動している。

グラフの下に示した横棒は、ぼけ量を示しており、横棒の長さが長いほど大きくぼけていることを示している。また、横棒の左に示した矩形の図はイメージセンサ１５０を仮想的に示している。横棒とイメージセンサ１５０との間に記載した矢印は、イメージセンサ１５０内において画像信号を生成した行と当該画像信号に対応するぼけ量の対応関係を示している。

具体的には、ウォブリング駆動している際においてフォーカスレンズ１１３は、イメージセンサ１５０との距離が最も近い近傍端と、イメージセンサ１５０との距離が最も遠い遠方端との間を周期的に光軸に沿って往復移動する。

なお、フォーカスレンズ１１３が近傍端にある場合が最もぼけ量が少なく、遠方端にある場合が最もボケ量が大きいものとして示しているが、これは例示的なものであり絶対的なボケ量を示したものではなく、フォーカス位置（本実施形態１の場合ウォブリング動作の中央）や被写体の実際の遠さによってボケ量は異なる。

図３は、ＤＦＤ処理した際に画像信号の上側領域におけるＤＦＤの精度を大きく劣化させないための撮像タイミングを説明するための図である。

ＤＦＤ処理する場合、フォーカス位置の異なる複数枚（例えば二枚）の画像信号が必要となる。このとき、フォーカスレンズ１１３の位置が近い画像信号同士（つまり、ボケ量の差が小さい画像信号同士）に対してＤＦＤ処理すると精度が劣化する。よって、精度をできるだけ劣化させないために、従来は、遠方端でフォーカスレンズ１１３を固定して一の画像信号を取得し、フォーカスレンズ１１３を近傍端に移動させて再び固定し、他の画像信号を取得するなどしていた。しかし、本実施形態では、フォーカスレンズ１１３を移動させながらローリングシャッター方式で画像信号を取得する。従って、ピントを合わせたい所望の領域である特定領域に対応するイメージセンサ１５０の行（または列）が画像信号を取得するタイミングと、フォーカスレンズ１１３のウォブリング駆動する位置とを調整し、前記イメージセンサ１５０の行（または列）が取得する複数の画像信号が、フォーカスレンズ１１３位置のできるだけ離れた複数枚の画像信号として生成するものとしている。

そこで、制御部１８０は、領域特定部１８１で特定されたピントを合わせたい所望の領域が画像信号の上側領域Ｕに存在する場合は、フォーカスレンズ１１３の位置に対する撮像タイミングを図３に示すように調整する。つまり、一のＤＦＤ用の画像信号は、フォーカスレンズ１１３が近傍端に位置したときを撮像タイミングとしてイメージセンサ１５０の一方の端部に存在する撮像画素の行から開始して順に画像信号を取得するように調整する。他のＤＦＤ用の画像信号は、遠方端にフォーカスレンズ１１３が位置したときを撮像タイミングとしてイメージセンサ１５０の一方の端部に存在する撮像画素の行から開始して順に画像信号を取得するように調整する。

本実施形態１では、制御部１８０は、上側領域Ｕに対応する像について、フォーカスレンズ１１３の位置の差が最大となる状態で複数の画像信号が取得されるようにフォーカスレンズ１１３の位置とイメージセンサ１５０の撮像タイミングを制御する。このように撮像タイミングをタイミング調整部１８２が調整することにより、上側領域Ｕに属する画像信号は、複数の画像信号間に対応するフォーカスレンズ１１３の距離を中央領域に位置する画像信号に対応するフォーカスレンズ１１３の距離よりも離すことができる。これにより、上側領域Ｕにおいて、ＤＦＤ処理における精度を大きく劣化させることなくＡＦ制御することができる。

なお、本実施形態１の場合、ウォブリング動作の半周期と１回のローリングシャッターに要する時間がほぼ一致しているため、ピントを合わせたい所望の領域が画像信号の下側領域Ｄに存在する場合も、制御部１８０のタイミング調整部１８２は、上側領域Ｕに存在する場合と同様にフォーカスレンズ１１３と撮像タイミングを調整してもよい。この場合、上側領域Ｕとボケ量の差は同様となるが、ボケが逆（採用する画像信号の順番と遠方端側のボケ量と近傍端側のボケ量とが上側領域Ｕと逆）になるため、ＤＦＤ処理の際、採用する画像信号の順番を逆にする、計算の段階で結果が逆となるような処理をするなどを行うこととなる。

また上記付加的な処理をすることなく、下側領域Ｄに存在する所望の領域にピントを合わせようとする場合、ＤＦＤ処理に用いる一の画像信号を取得する撮像タイミングをフォーカスレンズ１１３が遠方端、または、その近傍に位置する時に合わせ、その後、他の画像信号を取得する撮像タイミングをフォーカスレンズ１１３が近傍端、または、その近傍に位置する時に合わせればよい。

図４は、ＤＦＤ処理した際に画像信号の中央領域ＣにおけるＤＦＤの精度を大きく劣化させないための撮像タイミングを説明するための図である。

制御部１８０のタイミング調整部１８２は、図４に示すように、一の画像信号を取得する際は、近傍端にフォーカスレンズ１１３が位置するタイミングで画像信号の中央領域Ｃが撮像されるようにイメージセンサ１５０における撮像タイミングを制御し、他の画像信号を取得する際は、遠方端にフォーカスレンズ１１３が位置するタイミングで画像信号の中央領域Ｃが撮影されるようにイメージセンサ１５０における撮像タイミングを制御する。このように撮像タイミングをピントを合わせたい所望の領域に対応するように調整することにより、中央領域Ｃに属する画像信号は、画像信号間に対応するフォーカスレンズ１１３の距離を他の領域に位置する画像信号よりも離すことができる。これにより、中央領域Ｃにおいて、ＤＦＤ処理における精度を大きく劣化させることなくＡＦ制御することができる。

要するに、制御部１８０のタイミング調整部１８２は、ＤＦＤ処理に利用する一部の領域に属する画像信号が、ウォブリング駆動中においてフォーカスレンズ１１３が近傍端、および、遠方端に位置するタイミングで生成されるように、イメージセンサ１５０において像を撮像する撮像タイミングを調整する。

なお、本実施形態１においては、使用者の指定やその他の処理により特定された領域のボケ量の差が大きくなる合焦方法を説明したが、この構成に限定されるものではない。上側領域Ｕ、下側領域Ｄ、中央領域Ｃなどを固定的に優遇するように撮像タイミングを調整してもかまわない。

また、領域特定部１８１で特定される領域は変動する場合があり、タイミング調整部１８２は、変動する領域に応じて撮像タイミングを再調整してもかまわない。具体的に例えば、指定部が、顔認識、被写体追跡などにより領域を指定する場合、被写体の移動に従い指定する領域が異なるため、領域特定部１８１は都度領域を特定し直し、タイミング調整部１８２は、新たに特定された領域に応じて撮像タイミングを調整する。

なお、制御部１８０はＤＦＤ処理する際、図３に示す撮像タイミングで得られる複数枚の画像信号に対しては、上側領域Ｕまたは下側領域Ｄに対応する画像信号のみを処理しても構わない。また、制御部１８０はＤＦＤ処理する際、図４に示す撮像タイミングで得られる複数枚の画像信号に対しては、中央領域Ｃに属する画像信号のみを処理しても構わない。

なお、本実施形態１において、ウォブリング動作は図５に示すように、フォーカスレンズはある位置を中心にして、往復運動をしていると説明したが、この構成に限定されるものではない。例えば図６に例示するように、フォーカスレンズが動いた後に、一旦停止してからまた運動するように制御してもかまわない。また、図７、図８に例示するように、ＡＦ動作をより高速に行うために、ウォブリングの中心位置を固定せず、フォーカスレンズをある方向に動かしながら往復運動を行ってもかまわない。

上記において、優遇する領域の指定は、指定部として機能する操作部材２１０を介して入力される使用者の操作に基づいて設定しても構わないし、指定部として機能するプログラムなどを実行することにより顔検出等、他の処理の情報を利用しても構わない。

（まとめ）
以上のように、本実施の形態における動画像撮影装置１は、少なくともフォーカスレンズ１１３を有する光学系１１０を介して得られる像を、ローリングシャッター方式で撮像し、撮影した像に対応する画像信号を生成するイメージセンサ１５０と、フォーカスレンズ１１３との距離を、光学系１１０の光軸方向に変化させる駆動部１４０と、駆動部１４０を制御することにより、フォーカスレンズ１１３を現在のフォーカス距離の近傍で微少往復運動させるウォブリング駆動を行わせながら、所望の被写体に合焦させるように制御する制御部１８０とを備え、制御部１８０は、（１）イメージセンサ１５０において像に基づき画像信号を生成する撮像タイミングを制御することにより、ボケ量の異なる複数のボケ信号を生成させ、（２）生成した複数のボケ信号のうち一部の領域に属する信号を用いて、一部の領域内に映し出される被写体の距離に関する情報を算出し、（３）取得した被写体の距離に関する情報を利用して、光学系のフォーカスを制御する。

ここで、複数のボケ信号は、フォーカスレンズ１１３とイメージセンサ１５０との距離が異なる位置で撮影された画像信号を示す。

これにより、フォーカスレンズ１１３がウォブリング駆動し、かつローリングシャッター方式で撮影するイメージセンサ１５０であっても、制御部１８０は光学系１１０内におけるフォーカスレンズ１１３の位置に合わせてイメージセンサ１５０において結像した像から画像信号を生成する撮像タイミングを調整することができる。要するに、フォーカスレンズ１１３が所望の位置にある際に、生成する画像信号のうち目的とする領域に属する画像信号に含まれるボケ量の差が前記領域外の画像信号に含まれるボケ量の差より大きくなるように撮影することができる。その結果、撮像タイミングを調整して得られる画像信号に基づきＤＦＤ処理した場合、ＤＦＤ処理で得られる距離に関する距離情報を高い精度で算出することが可能となる。

また、制御部１８０は、距離に関する情報を算出する際に利用する一部の領域に属する信号が、ウォブリング駆動中においてフォーカスレンズ１１３が最も近傍端または最も遠方端側に位置するタイミングで撮影されるように、イメージセンサ１５０において像を撮像するタイミングを制御する。

これにより、目的とする領域に属する信号は、近傍端で撮像されたものと、遠方端で撮影されたものとすることができるので、２つの画像信号により算出されるボケ量を大きくできる。そのため、このように撮影された画像信号を利用してＤＦＤ処理する際の精度劣化を抑制することができる。

イメージセンサ１５０が生成する画像信号内の特定領域を指定する指定部をさらに有し、制御部１８０は、一部の領域が必ず指定された特定の領域を含むように制御する。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加してもかまわない。

例えば、イメージセンサ１５０を仮想的にマトリクス状に９分割や１６分割などに分割しておき、指定部は、分割された領域の一つを指定してもかまわない。

また、イメージセンサ１５０においてローリングシャッターをイメージセンサ１５０の端部から開始するものとして説明したが、イメージセンサ１５０の列方向の途中（または、行方向の途中）から開始してもかまわない。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、フォーカスレンズとイメージセンサとの距離を周期的に変動させるウォブリング駆動をさせながら、ローリングシャッター方式で撮影する動画像撮影装置に適用可能である。具体的には、ビデオカメラなどに、本開示は適用可能である。

１ 動画像撮影装置
１１０ 光学系
１１１ ズームレンズ
１１２ OIS
１１３ フォーカスレンズ
１２０ ズームモータ
１３０ OISアクチュエータ
１４０ 駆動部
１５０ イメージセンサ
１６０ 映像処理部
１７０ メモリ
１８０ 制御部
１８１ 領域特定部
１８２ タイミング調整部
１８３ 距離算出部
１８４ フォーカス距離決定部
１９０ カードスロットル
２００ メモリカード
２１０ 操作部材
２２０ ズームレバー
２３０ 液晶モニタ

Claims (6)

1. 少なくともフォーカスレンズを有する光学系と、
   前記光学系を介して得られる像に基づきローリングシャッター方式で画像信号を生成するイメージセンサと、
   前記フォーカスレンズと前記イメージセンサとの距離を、前記光学系の光軸に沿って変化させる駆動部と、
   前記駆動部を制御することにより、前記フォーカスレンズと前記イメージセンサとの距離を周期的に変動させるウォブリング駆動をさせながら、被写体にフォーカスを合わせる制御部と、を備え、
   前記制御部は、
   前記像の一部の領域を特定する領域特定部と、
   前記ウォブリング駆動中において、特定された前記領域に対応する画像信号から得られるボケ量と前記領域に対応する他の画像信号から得られるボケ量との差が所定の閾値より大きくなるように、前記像に対応する画像信号を生成するタイミングである撮像タイミングを前記フォーカスレンズと前記イメージセンサとの距離に合わせて調整するタイミング調整部と、
   調整された複数の撮像タイミングで生成された画像信号のうち特定された前記領域に属する複数の画像信号を用いて、ＤＦＤ処理により、前記領域内に映し出される前記被写体の距離に関する情報である距離情報を算出する距離算出部と、
   前記距離情報を利用して、前記フォーカスレンズと前記イメージセンサとのフォーカス距離を決定するフォーカス距離決定部、とを備える
   動画像撮影装置。
2. 前記タイミング調整部は、一の像を撮像する場合、前記領域特定部により特定される領域に属する画像信号が、前記ウォブリング駆動中において前記フォーカスレンズと前記イメージセンサとの距離が最も近くなる近傍端に位置するタイミングで撮影されるように、撮像タイミングを調整し、他の像を撮像する場合、前記フォーカスレンズと前記イメージセンサとの距離が最も遠くなる遠方端に位置するタイミングで撮影されるように、撮像タイミングを調整する
   請求項１に記載の動画像撮影装置。
3. 前記タイミング調整部は、前記領域特定部が先に特定した領域と異なる領域を特定した場合、前記ウォブリング駆動中において新たに特定した領域に基づき撮像タイミングを再調整する
   請求項１または２に記載の動画像撮影装置。
4. 前記領域を指定する指定部をさらに有し、
   前記領域特定部は、前記指定部により指定された領域を特定する
   請求項１〜３のいずれか１項に記載の動画像撮影装置。
5. 前記所定の閾値は、前記特定された前記領域以外の領域におけるボケ量の差である
   請求項１〜４に記載の動作撮影装置。
6. 少なくともフォーカスレンズを有する光学系と、前記光学系を介して得られる像に基づきローリングシャッター方式で画像信号を生成するイメージセンサと、前記フォーカスレンズと前記イメージセンサとの距離を、前記光学系の光軸に沿って変化させる駆動部と、を備える動画像撮影装置の合焦方法であって、
   前記駆動部を制御することにより、前記フォーカスレンズと前記イメージセンサとの距離を周期的に変動させるウォブリング中において、
   前記像の一部の領域を領域特定部により特定し、
   特定された前記領域に対応する複数の画像信号から得られる複数のボケ量の差が所定の閾値より大きくなるように、前記フォーカスレンズと前記イメージセンサとの距離に合わせて前記イメージセンサにおいて前記像に対応する画像信号を生成するタイミングである撮像タイミングをタイミング調整部が調整し、
   調整された撮像タイミングにより生成された複数の画像信号のうち特定された前記領域に属する信号を用いて、ＤＦＤ処理により、前記領域内に映し出される被写体の距離に関する情報である距離情報を距離算出部が算出し、
   算出された前記距離情報を利用して、前記フォーカスレンズと前記イメージセンサとのフォーカス距離を被写体にフォーカスが合うようにフォーカス距離決定部が決定する、
   動画像撮影装置の合焦方法。

Images