JP4969349B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、映像信号に基づいて撮像が制御される撮像装置や、その撮像方法に関する。

静止画のデータを作成することができるデジタルスチルカメラや、音声データを含んだ動画のデータや静止画のデータを作成することができるデジタルビデオカメラに代表される撮像装置においては、撮像素子上に結像されてできる画像のコントラストを検出してレンズの焦点距離を調節することで合焦を行なうＴＴＬ（Through The Lends）方式の合焦制御方法が用いられることがある。

この合焦制御方法では、画像フレームの一部の領域を合焦評価領域として設定し、この合焦評価領域内における高周波数成分を抽出するとともに、抽出した高周波数成分の積算値を合焦評価値として算出する。また、合焦評価値は合焦評価領域内のコントラストに概ね比例するため、コントラストが最大となり画像が最も明瞭となったとき、即ち、合焦評価値が最大となったときに、最適な焦点距離が選択されたものとしている。

しかしながら、被写体または撮像装置は常に静止しているとは限らず、移動している場合もある。そして、被写体または撮像装置が移動すると、撮像される画像は移動方向に沿って伸びたものとなり、合焦評価値が不正確になる場合がある。例えば、被写体または撮像装置が水平方向に移動している場合、得られる画像は水平方向が伸びてぼけたものとなるため、合焦評価領域の水平方向のコントラストが不良となり、被写体または撮像装置が静止している場合と比較して正確な合焦ができなくなってしまう。

特に、従来の撮像装置は水平方向のコントラストのみ使用して合焦評価値を求めるものであったために、被写体または撮像装置が水平方向に移動する場合において、正確に合焦することが困難となっていた。そこで、この問題について、被写体の水平方向及び垂直方向のそれぞれの移動量を測定するセンサを設けるとともに、センサから得られた信号に基づいて被写体の動きを予測して合焦する撮像装置が提案されている（特許文献１参照）。
特開平１１−２９５５８７号公報

しかしながら、上述の特許文献１における方法では、移動量を検出するためのセンサを二つ設置する必要があり、撮像装置が大型化してしまう問題がある。また、実際に撮像素子上に結像される画像のコントラストに基づいた合焦評価値を用いて合焦することができないため、不確かな予測による合焦が行なわれてしまう。

このような問題を鑑みて、本発明は、画像のコントラストを利用して合焦を行なうとともに、被写体または撮像装置が移動する場合にも正確に合焦することを可能とする撮像装置及び撮像方法を提供することを目的とする。

上記目的を達成するために、本発明における撮像装置は、撮像を行ない映像信号を出力する撮像部と、当該撮像部から出力される映像信号から、被写体または撮像装置に生じた動きを検出して動き信号を出力する動き検出部と、前記映像信号の水平高周波成分と、垂直高周波成分と、を検出する高周波成分検出部と、前記水平高周波成分及び前記垂直高周波成分に、前記動き検出部から出力される前記動き信号に基づいた水平重み係数及び垂直重み係数を積算するとともに合算して、合焦評価値を算出する合焦評価値算出部と、前記合焦評価値に基づいて、前記撮像装置の合焦制御を行なう合焦制御部と、を備えることを特徴とする。

また、上記構成の撮像装置において、前記動き信号の水平成分と垂直成分との大小関係と、前記水平重み係数と垂直重み係数との大小関係と、が逆の関係になることとしても構わない。さらに、前記動き信号の水平成分に対する垂直成分の比が、垂直重み係数に対する水平重み係数の比と等しくなることとしても構わない。

また、上記構成の撮像装置において、前記高周波成分検出部が、前記映像信号の所定の複数の領域について前記水平高周波成分及び前記垂直高周波成分をそれぞれ検出し、前記合焦評価値算出部が、前記領域のそれぞれから得られる前記水平高周波成分及び前記垂直高周波成分に前記水平重み係数と垂直重み係数とを積算するとともに合算して、それぞれの前記領域に対応する領域評価値を得るとともに、当該領域評価値を合算または平均化して前記合焦評価値を得ることとしても構わない。

また、上記構成の撮像装置において、前記合焦評価値算出部が、前記領域毎に前記水平重み係数と垂直重み係数とを設定して、前記領域の前記水平高周波成分及び前記垂直高周波成分のそれぞれに積算するとともに合算して前記領域評価値を得ることとしても構わないし、全ての前記領域に対して等しい前記水平重み係数及び垂直重み係数を設定して、前記領域の前記水平高周波成分及び前記垂直高周波成分にそれぞれ積算するとともに合算して前記領域評価値を得ることとしても構わない。

また、上記構成の撮像装置において、前記撮像装置が備えるレンズを、前記合焦評価値が極大となる位置に移動させることとしても構わない。

また、上記構成の撮像装置において、前記動き検出部が、前記被写体または前記撮像装置における動きが所定の期間同じ方向であったことを検出したときに、前記動き信号を出力することとしても構わない。

また、上記構成の撮像装置において、前記動き検出部から前記動き信号が出力されない場合は、前記合焦評価値算出部が前記水平高周波成分にのみ基づいた前記合焦評価値を得ることとしても構わないし、前記水平高周波成分に前記水平重み係数を積算して前記合焦評価値を得ることとしても構わない。

また、本発明における撮像方法は、撮像を行い映像信号を出力する第一ステップと、当該第一ステップにおいて出力される映像信号から、被写体または撮像装置に生じた動きを検出して動き信号を作成する第二ステップと、前記映像信号の水平高周波成分と、垂直高周波成分と、を検出する第三ステップと、当該第三ステップにおいて得られる前記水平高周波成分及び前記垂直方向の高周波成分のそれぞれに、前記第二ステップによって作成される動き信号に基づいた水平重み係数及び垂直重み係数を積算するとともに合算して、合焦評価値を算出する第四ステップと、前記合焦評価値に基づいて、前記撮像装置の合焦制御を行なう第五ステップと、を備えることを特徴とする。

本発明によると、合焦制御を行なう際に、水平高周波成分及び垂直高周波成分に、それぞれ水平重み係数及び垂直重み係数を積算し、合算することとしているために、例えば、水平方向に被写体または撮像装置が動いて水平方向の高周波成分が不良となるような場合においても、良好な垂直方向の高周波成分に基づいて合焦評価値を定めて合焦制御を行なうことができる。したがって、被写体や撮像装置がどの方向に動いたとしても、精度よく合焦制御を行なうことができる。

＜撮像装置の構成＞
まず、本発明の実施形態における撮像装置の構成の概略について、その一例を図１を参照して説明する。図１は、撮像装置の構成を示すブロック図である。なお、ここでは撮像装置として、動画のデータと静止画のデータとを作成することができるデジタルビデオカメラについて説明するが、デジタルスチルカメラのような静止画のデータのみを作成するものであっても構わない。

図１に示す撮像装置１は、撮像を行いアナログの映像信号を出力する撮像部２と、撮像部２により得られるアナログの映像信号を増幅するとともにデジタル化するＡＦＥ（Analog Front End）部３と、ＡＦＥ部３から出力されるデジタルの映像信号にぼかし処理や階調処理など各種処理を施すとともに輝度情報と色差情報とを含む映像信号として出力する映像信号処理部４と、入力される音声をアナログの音声信号として出力する音声入力部５と、音声入力部５から出力されるアナログの音声信号をデジタル化する音声信号処理部６と、映像信号処理部４から出力される映像信号及び音声信号処理部６から出力される音声信号を圧縮処理する圧縮処理部７と、圧縮された映像信号及び音声信号を伸張する伸張処理部８と、伸張処理された映像信号を液晶ディスプレイなどの表示装置（不図示）などに出力するために例えばアナログ化などの処理を行なう映像信号出力部９と、伸張処理された音声信号をスピーカ（不図示）などに出力するために例えばアナログ化などの処理を行なう音声信号出力部１０と、を備える。

さらに、撮像装置１は、動画録画の開始及び停止や静止画の撮影などのユーザの指示が入力される操作部１１と、操作部１１に入力されるユーザの指示に従って撮像装置１全体を動作させるなど撮像装置１の全体的な動作を制御するＣＰＵ１２と、映像信号及び音声信号を一時的に保持するＳＤＲＡＭと１３、圧縮された映像信号及び音声信号を保存するメモリカード１４と、撮像装置１各部（例えば、撮像部２、映像信号処理部４、音声信号処理部６、圧縮処理部７、伸張処理部８、ＣＰＵ１２）における各動作のタイミングを制御するためのタイミング制御信号を出力するタイミング制御信号出力部１５（以下、ＴＧ部とする）を備える。また、撮像装置１各部を制御するための信号や映像信号及び音声信号が通過するバス１６、１７と、を備える。

また、映像信号処理部４は、入力される映像信号から被写体または撮像装置１の動きを検出する動き検出部４１と、合焦制御を行なうための合焦評価値を算出する合焦評価部４２と、を備える。

なお、メモリカード１４は映像信号や音声信号を保存することができればどのようなものでも構わない。例えば、半導体メモリ、光ディスク、磁気ディスクなどをこのメモリカード１４として使用することができる。

また、図２を用いて、図１に示した撮像部２の構成について説明する。図２は、撮像部の構成を示したブロック図である。図２に示すように、撮像部２は、ズームレンズ２２ａ、フォーカスレンズ２２ｂ及び補正レンズ２２ｃを含む光学系２２と、撮像素子２４と、撮像素子２４に入射する光量を調整する絞り２３と、ズームレンズ２２ａ、フォーカスレンズ２２ｂ及び補正レンズを駆動させるとともに絞り２３の開度を調整するドライバ２１と、を備える。なお、図中では光学系２２の光軸を一点鎖線で表している。

また、撮像素子２４は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等から成り、露光時間中に撮像素子２４に入射した光の信号を電気信号に変換して保持し、ＴＧ部１５から入力されるタイミング制御信号に同期して後段のＡＦＥ部３に順次出力する。

＜撮像装置の動作＞
次に、撮像装置の動作、特に、動画の録画動作について図１及び図２を用いて説明する。録画動作は、図１の操作部１１にユーザから録画開始の指示が入力されることによって開始し、ＣＰＵ１２が撮像装置１を制御して映像及び音声の記録を行なう。

この時、図２に示す撮像部２が動作し、光学系２２に入射され各種レンズ２２ａ〜２２ｃと絞り２３とを通過し撮像素子２４上に結像された画像について、電気信号として保持する。また、ドライバ２１は、ズームレンズ２２ａ及びフォーカスレンズ２２ｂを光軸上で移動させ、所望の倍率の画像について合焦し、撮像素子２４上に結像する。

さらに、ドライバ２１は、補正レンズ２２ｃを撮像装置１に発生したぶれを打ち消す方向に駆動させることで、撮像素子２４上に良好な画像を結像する。また、撮像素子２４上に結像される画像の光量が適正であるようにするために絞り２３を制御する。なお、ぶれの方向及び大きさや光量については、図１に示した映像信号処理部４の動き検出部４２などによって映像信号を処理する際に検出することとしても構わないし、ぶれを検出するセンサ等を用いてぶれの検出を行なうこととしても構わない。

また、ＴＧ部１５から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／６０秒）で撮像素子２４に保持された電気信号がアナログの映像信号として順次ＡＦＥ部３に出力される。そして、ＡＦＥ部３では入力される電気信号を変換し、デジタルの映像信号を作成する。そして、図１に示すようにＡＦＥ部３から出力される映像信号が映像信号処理部４に入力され、各種処理が施される。この時、入力される映像信号から、動き検出部４１が撮像装置１または被写体の動きを検出したり、合焦評価部４２が合焦を行なうための合焦評価値を算出したりする。さらに、ＳＤＲＡＭ１３はフレームメモリとして動作し、映像信号処理部４が処理を行なう際に映像信号を一時的に保持する。なお、映像信号処理部４の合焦評価部４２の構成や動作についての詳細は後述する。

また、上述した映像信号と同様に、音声入力部５において電気信号に変換された音声信号は音声信号処理部６に入力されてデジタル化される。そして、映像信号処理部４から出力される映像信号と、音声信号処理部６から出力される音声信号と、はともに圧縮処理部７に入力され、圧縮処理部７において所定の圧縮方式で圧縮される。このとき、映像信号と音声信号とは時間的に関連付けられており、再生時に映像と音とがずれないように構成される。そして、圧縮された映像信号及び音声信号はメモリカード１４に出力され、記録される。

メモリカード１４に記録された圧縮後の映像及び音声信号は、ユーザが操作部１１に所定の指示を入力することで伸張処理部８に読み出される。伸張処理部８では、圧縮された映像信号及び音声信号を伸張し、映像信号を映像信号出力部９、音声信号を音声信号出力部１０にそれぞれ出力し、表示装置やスピーカにおいて再生される形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１とコード等を用いて接続されるようなものでも構わない。

また、圧縮処理部７において圧縮処理するのと同時に、映像信号処理部４から映像信号が出力され、バス１６を介して映像信号出力部９に出力される。このように、映像信号出力部９に映像信号を出力することで、記録している映像がどのようなものかをユーザに確認させる所謂プレビューを行なうこととしても構わない。さらに、音声信号についても同様であり、音声信号処理部６からバス１６を介して音声信号出力部１０に音声信号が入力されることとしても構わない。

また、上述した動作例では、動画のデータを作成するための録画動作について示したが、静止画のデータを作成する場合でも同様の動作が行なわれる。このとき、被写体または撮像装置１の動き検出や合焦制御を行なうために、自動的あるいはユーザの指示によって、静止画のデータの作成指示がでる前に数フレーム分撮像することとしても構わない。

＜合焦評価部の構成＞
次に、図３を用いて、図１に示した映像信号処理部４が備える合焦評価部４２の構成について説明する。図３は、合焦評価部の構成を示したブロック図である。図３に示すように、合焦評価部４２は、入力された映像信号の水平方向における高周波成分である水平コントラスト成分Ｃ_H［ｉ，ｊ］を算出する水平コントラスト成分検出部４２１と、垂直方向における高周波成分である垂直コントラスト成分Ｃ_V［ｉ，ｊ］を検出する垂直コントラスト成分検出部４２２と、水平コントラスト成分Ｃ_H［ｉ，ｊ］及び垂直コントラスト成分Ｃ_V［ｉ，ｊ］に水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を積算するとともに合算して合焦評価値を算出する合焦評価値算出部４２３と、水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を動き検出部４１の検出結果に基づいて決定する重み係数制御部４２４と、を備える。

さらに、図４を用いて、図３に示した水平コントラスト成分検出部４２１及び垂直コントラスト成分検出部４２２の構成について説明する。図４は、図３に示した水平方向、垂直方向の２つのコントラスト成分検出部のそれぞれの構成について示したブロック図である。

図４に示すように、水平コントラスト成分検出部４２１は、測定領域の映像信号から輝度情報を抽出する抽出部４２１ａと、抽出部４２１ａから出力される輝度情報に対して所定の周波数以上の高周波成分を通過させるＨＰＦ（High Pass Filter）４２１ｂと、ＨＰＦを通過した高周波成分を積算または平均化することで、水平コントラスト成分Ｃ_H［ｉ，ｊ］を算出する積算部４２１ｃと、を備える。また、垂直コントラスト成分検出部４２２も同様であり、抽出部４２２ａと、ＨＰＦ４２２ｂと、積算部４２２ｃと、を備える。

＜合焦評価部の動作＞
また、上述した図３及び図４に加え、図５を用いて合焦評価部４２の動作について説明する。図５は、１フレーム分の映像信号を示した模式図である。

まず、図３に示すように、入力された映像信号は動き検出部４１と合焦評価部４２に入力されて、それぞれ処理される。このとき、動き検出部４１及び合焦評価部４２に入力される１フレーム分の映像信号は処理の便宜上領域毎に分割されており、種々の処理が領域毎に行なわれる。

この合焦評価部４２に入力される１フレーム分の映像信号について、図５を用いて説明する。図５（ａ）に示すように、１フレーム分の映像信号１００は各領域ＡＲ［１，１］〜ＡＲ［Ｍ，Ｎ］に分割されており、合焦評価値の算出はこの領域単位で行なわれる。特に、水平コントラスト成分検出部４２１及び垂直コントラスト成分検出部４２２では、図５（ｂ）に示すような画面の中央部に位置する中領域１０１（例えば、図５（ｂ）のような８×８＝６４領域程度の大きさ）に対して、水平コントラスト成分及び垂直コントラスト成分の抽出を行なう。なお、画素の走査自体は全画素に対して領域に関係なく行い、水平方向に沿った走査及び垂直方向に沿った走査を同時に行なうこととしても構わない。

まず、水平コントラスト成分検出部４２１及び垂直コントラスト成分検出部４２２のそれぞれにおいて、図５（ｂ）に示す中領域１０１における各領域の輝度情報を図４の抽出部４２１ａ、４２１ｂにおいて抽出する。例えば、図５（ｂ）のＡＲ［ｓ，ｔ］領域の水平コントラスト成分Ｃ_H［ｓ，ｔ］を求める場合においては、まず、ＡＲ［ｓ，ｔ］領域における水平方向の輝度変化を抽出部４２１ａから得た後に、ＨＰＦ４２１ｂに通すことで高周波成分を取り出す。そして、抽出した高周波成分を積算部４２１ｃにおいて積算または平均化することで、ＡＲ［ｓ，ｔ］領域の水平コントラスト成分Ｃ_H［ｓ，ｔ］が得られる。

また、垂直方向についても同様の方法で計算され、垂直コントラスト成分Ｃ_V［ｓ，ｔ］も同様の方法で求められる。そして、図３の合焦評価値算出部４２３において、以下の式（I）のように、水平重み係数Ｋ_H［ｓ，ｔ］を水平コントラスト成分Ｃ_H［ｓ，ｔ］に積算するとともに、垂直重み係数Ｋ_V［ｓ，ｔ］を垂直コントラスト成分Ｃ_V［ｓ，ｔ］に積算して合算することで、領域ＡＲ［ｓ，ｔ］における領域評価値α［ｓ，ｔ］が求められる。なお、水平重み係数Ｋ_H［ｓ，ｔ］及び垂直重み係数Ｋ_V［ｓ，ｔ］の値は、動き検出部４１の出力結果によって変化するが、この水平重み係数Ｋ_H［ｓ，ｔ］及び垂直重み係数Ｋ_V［ｓ，ｔ］の算出方法については後述する。

α［ｓ，ｔ］＝Ｋ_H［ｓ，ｔ］×Ｃ_H［ｓ，ｔ］＋Ｋ_V［ｓ，ｔ］×Ｃ_V［ｓ，ｔ］ ・・・（I）

そして、中領域１０１内におけるそれぞれの領域の領域評価値が得られると、合焦評価値算出部４２３において、これらの領域評価値α［ｓ，ｔ］〜α［ｓ＋７，ｔ＋７］を全て合算または平均化して、合焦評価値を得る。そして、この合焦評価値を用いて、後述するような合焦制御を行なう。

＜動き検出部の動作＞
動き検出部４１は、入力される映像信号から被写体または撮像装置に動きが生じたか否かを検出し、動きを検出した場合には、上述した水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を変化させる。この動きを検出する方法について、撮像装置が動いて画像が伸びた場合を例に挙げるとともに図６を用いて説明する。

図６は、動き検出部に入力される映像信号と、映像信号の連続するフレームの差分から求められる動きベクトルを表した模式図である。なお、図６では模式的に４×４の１６個の領域としているが、これは一例であり、選択する領域の位置、数はどのようなものでも構わないが、合焦評価値を算出した領域と同じ領域を使用することとしても構わない。また、図６は水平方向に撮像装置が移動した場合を示しており、画像が水平方向に伸びている場合を示している。

図６（ａ）は、１フレーム目の映像信号を示しており、（ｂ）は２フレーム目、（ｃ）は３フレーム目、（ｄ）は４フレーム目の映像信号をそれぞれ表している。（ｅ）は、それぞれ１フレーム目と２フレーム目との差分から求められる動きベクトルを示しており、（ｆ）は２フレーム目と３フレーム目との差分、（ｇ）は３フレーム目と４フレーム目との差分より求められる動きベクトルをそれぞれ示している。なお、（ｅ）〜（ｇ）における差分は、それぞれの領域毎に求めており、ブロックマッチング法や代表点マッチング法などの種々のマッチング方法を利用することができる。

また、図６（ｅ）〜（ｇ）において、白抜きの矢印で示している場合が、信頼度が所定の値を超えなかったものであり、黒抜きの矢印が、信頼度が所定の値を超えたものを示している。信頼度が所定の値を超えたか否かの判断は上述のマッチングの過程において行われ、比較するための特徴点が乏しかったりほとんど動かなかったりする場合など、動きベクトルを検出し難い場合は信頼度が低くなる。

また、手ぶれなどの小さい動きと区別するために、複数フレーム（例えば、４フレーム）にわたった総合的な判断を行なう。例えば、この複数フレーム間の全てにおいて、全体的に略等しい方向の動きベクトルが検出された場合に撮像装置が動いたものと判断しても構わない。さらに、信頼度が所定の値より大きい動きベクトルを平均化した場合に、平均化した動きベクトルが所定の値より大きくならないと動いたと判断しないという条件、や、平均化した動きベクトルに対して所定の範囲内の大きさにある動きベクトルを検出した領域が所定の割合以上であるという条件、や、各領域の動きベクトルが半分以上略等しい向きであるという条件、など、様々な条件によって動きがあったか否かを判断しても構わない。以上のような条件によって動きを検出することとすると、撮像装置が動いて画像全体が一定方向に伸びるような場合において、より正確に動きがあったことを検出することが可能となる。

また、被写体が動くような場合や、被写体の動きに撮像装置を追随させる場合など、画像全体が一様に伸びずに一部が伸びる場合においても、動きの有無を判断する領域内において上記のような動きベクトルが検出されれば、動きがあったことを認識することができる。

さらに、複数フレーム間の全てにおいて、信頼度が大きく複数の隣接する領域の動きベクトルが略等しい一群があることが検出される場合において、画像の一部が動いていると推定して動きがあったことを検出することとしても構わない。また、このときの複数フレームを少ないものとしても構わない。

また、静止物撮像モードや移動物撮像モードのような撮像モードによって、上述したそれぞれの動きの検出方法が切り替えられることとしても構わない。また、これらの動きの検出方法を同時に行い、いずれか一つの検出方法によって動きが検出されたときに、動きがあったことを検出することとしても構わない。

また、動きが検出された場合における、水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］の算出方法と、それによって得られる合焦評価値について、図７を用いて説明する。図７（ａ）は、動きベクトルの一例を示すグラフであり、図７（ｂ）〜（ｄ）は図６に示すように被写体または撮像装置が動いた場合におけるフォーカスレンズの位置と合焦評価値との関係について示したグラフである。なお、図７（ｂ）は水平コントラスト成分のみを合算または平均化したグラフであり、図７（ｃ）は垂直コントラスト成分のみを合算または平均化したグラフ、図７（ｄ）は水平コントラスト成分及び垂直コントラスト成分に水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を積算して合算したグラフである。

図７（ａ）に示すように、動きベクトルは２つの成分（水平成分ｂ_H、垂直成分ｂ_V）で表すことができる。特に、図６（ｅ）〜（ｇ）に示した例では、主に水平成分ｂ_Hが大きいために、画像が水平方向に伸びて所謂横縞のような画像となっている。そのため、水平方向のコントラストは画像が伸びてしまうために悪くなり、水平コントラスト成分のみを合算または平均化する（式（I）の垂直重み係数Ｋ_V［ｓ，ｔ］＝０として領域評価値を算出し、領域評価値α［ｓ，ｔ］〜α［ｓ＋７，ｔ＋７］を合算または平均化する）と、図７（ｂ）に示すような、全体的に平坦でありピーク位置を確認しにくいグラフとなる。

一方、垂直方向においては、像が水平方向に伸びたとしてもコントラストへの影響は水平方向に比してはるかに少ない。そのため、垂直コントラスト成分のみを合算または平均化する（式（I）の水平重み係数Ｋ_H［ｓ，ｔ］＝０として領域評価値を算出し、領域評価値α［ｓ，ｔ］〜α［ｓ＋７，ｔ＋７］を合算または平均化する）と、この場合、図７（ｃ）に示すようなピークが明瞭に確認できるグラフとなる。

以上より、検出された動きベクトルと略平行な方向（図７における水平方向）は画像が伸びるためにコントラストが不良となるが、動きベクトルと略垂直な方向（図７における垂直方向）では動きの影響を大きくは受けないためにコントラストが良好なものとなる。したがって、検出される動きベクトルの水平成分ｂ_H及び垂直成分ｂ_Vの逆比となるように、水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を設定すると、図７（ｄ）に示すように、コントラストが良好な方向の水平コントラスト成分Ｃ_H［ｉ，ｊ］または垂直コントラスト成分Ｃ_V［ｉ，ｊ］に重みをかけて合焦制御をすることができる。なお、動きベクトルの成分ｂ_H、ｂ_Vと、重み係数Ｋ_H［ｉ，ｊ］、Ｋ_V［ｉ，ｊ］との関係を式にすると、例えば、以下の式（II）に示すようになる。

ｂ_H：ｂ_V＝Ｋ_V［ｉ，ｊ］：Ｋ_H［ｉ，ｊ］ ・・・（II）

以上のように合焦評価値を算出することで、水平方向、垂直方向のどちらかに被写体または撮像装置が動いた場合にも、その動きに基づいて、コントラストがよりはっきり確認される方向のコントラスト成分Ｃ_H［ｉ，ｊ］、Ｃ_V［ｉ，ｊ］に重みをかけて合焦評価値を求めることができるため、正確な合焦を行なうことが可能となる。さらに、新たにセンサなどの装置を撮像装置に設置する必要がないため、撮像装置の小型化、簡素化及び軽量化を図ることができる。

なお、必ずしも上式（II）に示すような関係式とする必要はなく、水平方向及び垂直方向における動きベクトルｂ_H、ｂ_Vの大小関係と、重み係数Ｋ_H［ｉ，ｊ］、Ｋ_V［ｉ，ｊ］における大小関係と、が逆の関係となればどのような関係式であっても構わない。

また、動きベクトルの成分ｂ_H、ｂ_Vの一方が所定の値よりも小さい場合、または、動きベクトルの成分ｂ_H、ｂ_Vを比較したときに一方が非常に小さい場合、動きベクトルの小さい方の成分と略垂直な方向のコントラスト成分Ｃ_H［ｉ，ｊ］、Ｃ_V［ｉ，ｊ］を無視して、他方の成分のみを利用して合焦評価値を算出することとしても構わない。

また、動き検出部４１が、被写体または撮像装置の動きを検出しなかった場合は、水平コントラスト成分Ｃ_H［ｉ，ｊ］のみを用いて合焦を行なうこととしても構わない。即ち、動き検出部４１が動きを検出して重み係数制御部４２４に通知しない限り、全ての領域における垂直重み係数Ｋ_V［ｉ，ｊ］を０にするとともにすべての領域における水平重み係数Ｋ_H［ｉ，ｊ］を所定の値にして演算するか、垂直方向に関する合焦評価値の演算自体を行なわないこととしても構わない。

また、上述した方法では水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を領域毎の値としているが、全ての領域において等しい値を取るようにしても構わない。即ち、上式（I）に示した場合において、Ｋ_H［ｓ，ｔ］＝Ｋ_H［ｓ＋１，ｔ］＝…＝Ｋ_H［ｓ＋７，ｔ＋７］、Ｋ_V［ｓ，ｔ］＝Ｋ_V［ｓ＋１，ｔ］＝…＝Ｋ_V［ｓ＋７，ｔ＋７］としても構わない。さらに、このとき信頼度の高い領域の動きベクトルの平均値に基づいて、水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を決定しても構わない。この方法を用いることで、特に、撮像装置が移動して画像全体が一様に伸びるような場合に、精度よく合焦を行うことができる。

また、検出した動きベクトルの信頼度が高い領域についてはその領域の水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を使用し、信頼度が低い領域については動きを検出しない場合の水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を使用することとしても構わない。この方法を用いると、画像の一部の領域が伸びるような場合において、伸びた領域についてはその伸びに基づいた水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］が算出されることとなる。そして、それ以外の領域については、画像の一部の伸びが反映されないこととなる。そのため、特に、被写体が動く場合や被写体の動きに撮像装置を追随させて動かす場合のように画像の一部が伸びるような場合において、精度よく合焦を行うことができる。

また、これらの重み係数Ｋ_H［ｉ，ｊ］、Ｋ_V［ｉ，ｊ］の設定方法を、撮像モードによって切り替えることとしても構わない。また、動きを検出した際の動きベクトルの状態が、例えば領域全体に一様な動きベクトルが検出されているか否かによって、重み係数Ｋ_H［ｉ，ｊ］、Ｋ_V［ｉ，ｊ］の設定方法を決定することとしても構わない。

＜合焦制御方法の一例＞
次に、図８及び図９を用いて、合焦制御方法の一例について説明する。図８は、合焦制御方法の一例を示すフローチャートであり、図９は、図７と同様のフォーカスレンズの位置と合焦評価値との関係を示したグラフであり、図７（ｄ）に示したグラフと同様のものである。

図８に示すように、合焦制御動作が開始されると、まず、上述したように各領域における水平コントラスト成分Ｃ_H［ｉ，ｊ］、垂直コントラスト成分Ｃ_V［ｉ，ｊ］が求められる（ＳＴＥＰ１）。そして、次に図３に示した動き検出部４１が被写体または撮像装置の動きを検出したか否かを確認する（ＳＴＥＰ２）。このＳＴＥＰ２における動き検出部４１の動作は上述した通りであり、複数フレームにわたって各領域の動きベクトルを確認し、それらを総合して動きが生じたか否かを判断することとする。

ＳＴＥＰ２において、動き検出部４１が被写体または撮像装置の動きを検出したときは（ＳＴＥＰ２、ＹＥＳ）、上式（I）のように、水平コントラスト成分Ｃ_H［ｉ，ｊ］及び垂直コントラスト成分Ｃ_V［ｉ，ｊ］に、水平重み係数Ｋ_H［ｉ，ｊ］及び垂直Ｋ_V［ｉ，ｊ］を積算するとともに合算して領域評価値α［ｉ，ｊ］を算出する。そして、各領域の領域評価値α［ｉ，ｊ］を合算または平均化して合焦評価値を得る（ＳＴＥＰ４）。ここで、水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］の決定方法として、上式（II）に示した方法を使用することができる。

一方、ＳＴＥＰ２において、動き検出部４１が被写体または撮像装置の動きを検出しなかった場合（ＳＴＥＰ２、ＮＯ）、被写体または撮像装置に大きな動きが発生しなかったため合焦制御を行なうための十分なコントラストが得られるものと推定し、水平コントラスト成分Ｃ_H［ｉ，ｊ］のみに基づいて合焦評価値を算出する（ＳＴＥＰ５）。

ＳＴＥＰ４またはＳＴＥＰ５によって合焦評価値が得られると、次に、得られた合焦評価値を用いて合焦制御を行なう。まず、合焦動作が一回目であるか否か、即ち、この合焦制御動作中に、一度でもフォーカスレンズの移動をしたか否か、が判断される（ＳＴＥＰ６）、ここで、合焦動作が一回目であれば、フォーカスレンズを所定の方向に移動させる（ＳＴＥＰ８）。この所定の方向は予め設定されている方向であり、一回目であれば、フォーカスレンズは結果の如何を問わずにその方向に動くものとする。

そして、ＳＴＥＰ７においてフォーカスレンズを移動させた後、移動後の状態での合焦評価値を得るために、次フレームをとりこむ（ＳＴＥＰ９）。そして、ＳＴＥＰ１に戻り、再度コントラスト成分の抽出、動きの検出、合焦評価値の算出を行なう（ＳＴＥＰ１〜５）。

また、ＳＴＥＰ６において合焦動作を既に一度行なっているか否かが判断されるが、今回は一度合焦動作を行なっているために、ＳＴＥＰ６のＮＯに進む。そして、二回目に得られた合焦評価値が、一回目と比較して減少したか否かの判断を行なう（ＳＴＥＰ７）。

この時、合焦評価値が一回目と比較して減少していた場合（ＳＴＥＰ７、ＹＥＳ）、合焦動作が二回目であるか否かが判断される（ＳＴＥＰ１０）。そして、合焦動作が２回目である場合は（ＳＴＥＰ１０、ＹＥＳ）、合焦動作一回目においてＳＴＥＰ７で移動させたフォーカスレンズの方向が合焦評価値を下げる方向であったことを示しているため、フォーカスレンズを開始位置に移動させる（ＳＴＥＰ１１）。

このＳＴＥＰ１１における開始位置に移動させる動作について、図９を用いて具体的に説明する。ここで、ＳＴＥＰ１１の動作を行なうためには、一回目の合焦動作において開始位置であるＬ１から合焦評価値が下がるＬ２にフォーカスレンズを移動させたことが前提となる。そして、ＳＴＥＰ７及びＳＴＥＰ１０において、一回目のＬ１からＬ２への移動が合焦評価値を下げるものであったことが確認されることにより、ＳＴＥＰ１１においてＬ２から開始位置であるＬ１にフォーカスレンズの位置が移動される。

一方、二回目の合焦動作において合焦評価値が増加した場合は（ＳＴＥＰ７、ＮＯ）、まだ移動によって合焦評価値が上がる余地があるため、前回（１回目）移動させた方向と同じ方向にフォーカスレンズを移動させるように制御を行なう。図９においては、１回目のＳＴＥＰ８においてＬ１からＬ３にフォーカスレンズを移動していた場合がこれに相当する。

ただし、ＳＴＥＰ７において合焦評価値の増加を確認したあとに、フォーカスレンズの可動域が限界であり移動が不可能であることが確認される場合は（ＳＴＥＰ１２、ＮＯ）、そのフォーカスレンズの位置を合焦位置として合焦制御を終了する。一方、移動可能である場合は（ＳＴＥＰ１２、ＹＥＳ）、前回（１回目）と同じ方向にフォーカスレンズを移動させて（ＳＴＥＰ１３）、次フレームをとりこむ（ＳＴＥＰ９）。図９においては、二回目にＬ３からＬ４へと移動する場合がこれに相当する。

そして、ＳＴＥＰ９で次フレームをとりこんだ後にＳＴＥＰ１へと戻り、再度コントラスト成分の抽出、動きの検出、合焦評価値の算出を行なう（ＳＴＥＰ１〜５）。また、三回目以降の動作は二回目と同様であり、ＳＴＥＰ７において合焦評価値が増加したことが確認されれば、二回目と同様にＳＴＥＰ１２及び１３が行われる。図９においては、三回目にＬ４からＬ５へと移動する場合がこれに相当する。

なお、一回目にＳＴＥＰ８によって図９のＬ１からＬ２に進んだために合焦評価値が減少し、二回目のＳＴＥＰ１１によってＬ２からＬ１の位置に戻った場合については、三回目の移動がＬ１からＬ３への移動となる。

そして、フォーカスレンズを移動させて（ＳＴＥＰ１３）、次フレームをとりこんだ後は（ＳＴＥＰ９）、これまでと同様にＳＴＥＰ１に戻り、再度コントラスト成分の抽出、動きの検出、合焦評価値の算出を行なう（ＳＴＥＰ１〜５）。そして、合焦評価値が増加し（ＳＴＥＰ７、ＮＯ）、フォーカスレンズが可動域を超えない限りは（ＳＴＥＰ１２、ＹＥＳ）、上述した動作（ＳＴＥＰ１２及び１３）を三回、四回、五回、…、と繰り返す。

これに対して、合焦評価値が減少するとともに（ＳＴＥＰ７、ＹＥＳ）、合焦動作が三回目以降である場合（ＳＴＥＰ１０、ＮＯ）について以下に説明する。

この場合は、前回の合焦動作において合焦評価値が減少する方向に移動を行なったことが前提となる。例えば、前回の移動が、図９のＬ５からＬ６へと移動したものであった場合がこれに相当する。このとき、前々回にＬ４からＬ５へと移動させたときは合焦評価値が増大し、前回Ｌ５からＬ６へと移動させたときは合焦評価値が下がっているため、Ｌ５の位置における合焦評価値が極大値であるとの推定を行なうことができる。

したがって、合焦評価値が減少して（ＳＴＥＰ７、ＮＯ）、三回目以降である場合（ＳＴＥＰ１０、ＮＯ）は、極大値である前回の移動前の位置（図９におけるＬ５の位置）にフォーカスレンズを移動させて（ＳＴＥＰ１４）、そのフォーカスレンズの位置を合焦位置として合焦制御を終了する。図９においては、Ｌ６からＬ５に移動させる場合がこれに相当する。

以上のように合焦制御を行なうことによって、合焦評価値に基づいて容易に合焦を行うことが可能となる。さらに、上述したような、水平コントラスト成分Ｃ_H［ｉ，ｊ］及び垂直コントラスト成分Ｃ_V［ｉ，ｊ］に動きベクトルに基づいた水平重み係数Ｋ_H［ｉ，ｊ］及び垂直重み係数Ｋ_V［ｉ，ｊ］を積算して合算または平均化した合焦評価値を利用することができるため、被写体または撮像装置の動きによって一方のコントラスト成分が不良となっても、他方の良好なコントラスト成分を重視して合焦を行なうことができる。そのため、被写体または撮像装置が動くような場合においても、正確に合焦することが可能となる。

本発明は、撮像した映像信号に基づいて制御される撮像装置や、その撮像方法に関する。特に、自動で合焦制御を行う撮像装置やその合焦制御方法を備えた撮像方法に関する。

は、本発明における撮像装置の構成を示すブロック図である。 は、本発明における撮像装置の撮像部の構成を示すブロック図である。 は、本発明における撮像装置の合焦評価部の構成を示すブロック図である。 は、本発明における撮像装置の水平コントラスト成分検出部及び垂直コントラスト成分検出部の構成を示すブロック図である。 は、１フレーム分の映像信号を示す模式図である。 は、動き検出部に入力される映像信号及び映像信号から求められる動きベクトルの模式図である。 は、動きベクトルの一例と、フォーカスレンズの位置と合焦評価値との関係について示したグラフである。 は、本発明における合焦制御方法の一例について示したフローチャートである。 は、フォーカスレンズの位置と合焦評価値との関係について示したグラフである。

符号の説明

１ 撮像装置
２ 撮像部
３ ＡＦＥ部
４ 映像信号処理部
５ 音声入力部
６ 音声信号処理部
７ 圧縮処理部
８ 伸張処理部
９ 映像信号出力部
１０ 音声信号出力部
１１ 操作部
１２ ＣＰＵ
１３ ＳＤＲＡＭ
１４ メモリカード
１５ タイミング制御信号出力部
１６ バス
１７ バス
４１ 動き検出部
４２ 合焦評価部
４２１ 水平コントラスト成分検出部
４２２ 垂直コントラスト成分検出部
４２３ 合焦評価値算出部
４２４ 重み係数制御部

Claims (4)

1. 撮像を行ない映像信号を出力する撮像部と、
   被写体または撮像装置に生じた動きを検出し
   て動き信号を出力する動き検出部と、
   前記映像信号の水平高周波成分と、垂直高周波成分と、を検出する高周波成分検出部と、前記水平高周波成分に前記動き検出部から出力される前記動き信号に基づいた水平重み係数を乗算し、前記垂直高周波成分に前記動き検出部から出力される前記動き信号に基づいた垂直重み係数を乗算し、各乗算値に基づいて合焦評価値を算出する合焦評価値算出部と、
   前記合焦評価値に基づいて、前記撮像装置の合焦制御を行なう合焦制御部と、
   を備え、
   前記動き信号の水平成分と垂直成分との大小関係と、前記水平重み係数と垂直重み係数との大小関係と、が逆の関係になることを特徴とする撮像装置。
2. 前記高周波成分検出部が、前記映像信号の所定の複数の領域について前記水平高周波成分及び前記垂直高周波成分をそれぞれ検出し、
   前記合焦評価値算出部が、前記領域のそれぞれから得られる前記水平高周波成分に前記水平重み係数を乗算し、前記領域のそれぞれから得られる前記垂直高周波成分に前記垂直重み係数を乗算し、これら乗算値を合算してそれぞれの前記領域に対応する領域評価値を得るとともに、当該領域評価値を積算または平均化して前記合焦評価値を得ることを特徴とする請求項１に記載の撮像装置。
3. 前記動き検出部が、前記被写体または前記撮像装置における動きが所定の期間同じ方向であったことを検出したときに、前記動き信号を出力することを特徴とする請求項１又は２に記載の撮像装置。
4. 撮像を行い映像信号を出力する第一ステップと、
   当該第一ステップにおいて出力される映像信号から、被写体または撮像装置に生じた動きを検出して動き信号を作成する第二ステップと、
   前記映像信号の水平高周波成分と、垂直高周波成分と、を検出する第三ステップと、
   当該第三ステップにおいて得られる前記水平高周波成分に、前記第二ステップによって作成される動き信号に基づいた水平重み係数を乗算し、当該第三ステップにおいて得られる前記垂直高周波成分に、前記第二ステップによって作成される動き信号に基づいた垂直重み係数を乗算し、各乗算値に基づいて合焦評価値を算出する第四ステップと、
   前記合焦評価値に基づいて、前記撮像装置の合焦制御を行なう第五ステップと、
   を備え、
   前記動き信号の水平成分と垂直成分との大小関係と、前記水平重み係数と垂直重み係数との大小関係と、が逆の関係になることを特徴とする撮像方法。

Images