JP2000165734A

JP2000165734A - 自動焦点制御装置および自動焦点制御方法

Info

Publication number: JP2000165734A
Application number: JP11073472A
Authority: JP
Inventors: Masaru Oikawa; 賢及川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-09-24
Filing date: 1999-03-18
Publication date: 2000-06-16

Abstract

(57)【要約】【課題】復元フィルタを用いることなく、また、復元
処理に伴なう計算量を増大させることなく、ワンショッ
ト合焦動作を可能とする自動焦点制御装置および自動焦
点制御方法を提供する。【解決手段】初期焦点レンズ位置において撮像して得
られる画像データに対してＤＣＴ変換を施し、変換され
た画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順
に整列し、波数昇順に整列されたＤＣＴ係数の平均値列
から局所最小値をもつ波数を探索し、探索された波数を
デフォーカスパラメータとして合焦位置を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラ，ス
チルビデオカメラ等の撮像素子を用いた画像入力機器な
どに利用可能な自動焦点制御装置および自動焦点制御方
法に関する。

【０００２】

【従来の技術】従来の自動焦点制御装置における合焦位
置決定方式には、赤外線や超音波を用いたアクティブＡ
Ｆ方式や外光パッシブや山登りサーボ等のパッシブＡＦ
方式がある。特にデジタルスチルビデオカメラ(以下、
ＤＳＶＣとも称する)などでは、特別な測距部品を必要
としないパッシブＡＦ方式が多く採用されている。かか
るパッシブＡＦ方式においては、近時ワンショットで合
焦位置を検出するものとして、例えば、特開平６−１８
１５３２号に示されているような電子カメラの合焦位置
検出装置が知られており、この合焦位置検出装置は、復
元フィルタを用いてワンショットで合焦位置を検出する
ものである。

【０００３】より具体的には、上記の合焦位置検出装置
は、光学撮像系の点像分布関数またはそれを変換処理し
て得られる関数を焦点位置およびその前後のレンズ位置
で複数点求めて記憶した特性値記憶手段と、１画面分ま
たはその一部の撮像データを前記特性記憶手段に記憶さ
れた特性値によって前記複数点のレンズ位置毎に画像復
元する画像復元手段と、該画像復元された画像データか
らレンズ位置毎の合焦位置の評価値を求め各評価値を比
較して合焦位置を推測する合焦位置推測手段とを備えて
いる。これにより、合焦位置の検出をより早く、かつよ
り正確に行なうことを可能としている。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像復元を用いたワンショットＡＦでは、復元
フィルタを用意しなければならず、ＲＯＭ容量等の制限
が大きかった。また、復元フィルタの数だけ復元処理を
しなければならず、計算量にも問題があった。

【０００５】本発明は、復元フィルタを用いることな
く、また、復元処理に伴なう計算量を増大させることな
く、ワンショット合焦動作を可能とする自動焦点制御装
置および自動焦点制御方法を提供することを目的として
いる。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、請求項１，請求項６記載の発明は、初期焦点レンズ
位置において撮像して得られる画像データに対してＤＣ
Ｔ変換を施し、変換された画像のＤＣＴ係数の平均値を
波数毎に求めて波数昇順に整列し、波数昇順に整列され
たＤＣＴ係数の平均値列から局所最小値をもつ波数を探
索し、探索された波数をデフォーカスパラメータとして
合焦位置を決定することを特徴としている。

【０００７】また、請求項２記載の発明は、請求項１記
載の自動焦点制御装置において、初期焦点レンズ位置
は、無限遠位置近傍または最至近位置近傍であることを
特徴としている。

【０００８】また、請求項３記載の発明は、請求項１記
載の自動焦点制御装置において、検索する波数の範囲
は、ＤＣＴ変換サイズ以下であることを特徴としてい
る。

【０００９】また、請求項４記載の発明は、請求項１記
載の自動焦点制御装置において、局所最小値としては、
局所最小値が複数存在する場合、複数の局所最小値のう
ち波数の一番小さいものを採用することを特徴としてい
る。

【００１０】また、請求項５，請求項７記載の発明は、
初期焦点レンズ位置において撮像して得られる画像デー
タに対してＤＣＴ変換を施し、変換された画像のＤＣＴ
係数の平均値を波数毎に求めて波数昇順に整列し、波数
昇順に整列されたＤＣＴ係数の平均値列から局所最小値
をもつ波数を探索し、探索された波数をデフォーカスパ
ラメータとして粗い合焦位置を決定し、その後、画像の
高周波成分による山登り法により細かい合焦位置を決定
することを特徴としている。

【００１１】また、請求項８記載の発明は、焦点レンズ
位置において撮像して得られる画像データに対してＤＣ
Ｔ変換を施し、変換された画像のＤＣＴ係数の平均値を
波数毎に求めて波数昇順に整列し、波数昇順に整列され
たＤＣＴ係数の平均値列から局所最小値をもつ波数を探
索し、探索された波数をデフォーカスパラメータとして
合焦位置を決定するＤＣＴワンショットＡＦを行なう自
動焦点制御方法であって、ＤＣＴワンショットＡＦに先
立ち、山登り法によるＡＦを行なって得られるＡＦ評価
値から合焦方向を検出し、その後、ＤＣＴワンショット
ＡＦを行ない、得られるデフォーカスパラメータとして
の合焦指標値により合焦動作を行なうことを特徴として
いる。

【００１２】また、請求項９記載の発明は、焦点レンズ
位置において撮像して得られる画像データに対してＤＣ
Ｔ変換を施し、変換された画像のＤＣＴ係数の平均値を
波数毎に求めて波数昇順に整列し、波数昇順に整列され
たＤＣＴ係数の平均値列から局所最小値をもつ波数を探
索し、探索された波数をデフォーカスパラメータとして
合焦位置を決定する自動焦点制御方法であって、検索す
る局所最小値波数のアルゴリズムを、絞り値，交換レン
ズ，ズ−ムレンズの焦点位置等の撮像条件によって、切
り替えることを特徴としている。

【００１３】また、請求項１０記載の発明は、焦点レン
ズ位置において撮像して得られる画像データに対してＤ
ＣＴ変換を施し、変換された画像のＤＣＴ係数の平均値
を波数毎に求めて波数昇順に整列し、波数昇順に整列さ
れたＤＣＴ係数の平均値列から局所最小値をもつ波数を
探索し、探索された波数をデフォーカスパラメータとし
て合焦位置を決定する自動焦点制御方法であって、算出
されたデフォーカスパラメータが現在の焦点レンズ位置
における被写界深度の範囲内であるか否かを判断し、こ
の結果、被写界深度の範囲内であると判断した場合に
は、焦点レンズの駆動を行なわないことを特徴としてい
る。

【００１４】また、請求項１１記載の発明は、焦点レン
ズ位置において撮像して得られる画像データに対してＤ
ＣＴ変換を施し、変換された画像のＤＣＴ係数の平均値
を波数毎に求めて波数昇順に整列し、波数昇順に整列さ
れたＤＣＴ係数の平均値列から局所最小値をもつ波数を
探索し、探索された波数をデフォーカスパラメータとし
て合焦位置を決定する自動焦点制御方法であって、少な
くとも２つのＡＦエリアを有し、各ＡＦエリア毎の合焦
指標値を算出し、算出された合焦指標値を被写体距離情
報として撮像画像とともに保持することを特徴としてい
る。

【００１５】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図１は本発明に係る自動焦点制御
装置の構成例を示す図である。なお、図１では、自動焦
点制御装置をデジタルスチルビデオカメラに適用した場
合が示されている。図１を参照すると、このデジタルス
チルカメラは、被写体像をＣＣＤに結像するレンズ系１
と、絞り２と、被写体像に応じた画像データを出力する
フロントエンド部３と、画像データに対して各種のデー
タ処理を行なうイメージプリプロセッサ(Image Pre-Pro
cessor)部４(以下、ＩＰＰ部と称する)と、ＣＰＵイン
タフェース部５と、デジタルスチルビデオカメラの各部
の動作を制御するＣＰＵ６と、レンズ系１を駆動制御す
る焦点レンズ制御部７と、絞り２の絞り値(Ｆ値)を制御
する絞り制御部８とを備えている。

【００１６】ここで、レンズ系１は、撮像レンズと焦点
レンズとを備えている。

【００１７】また、フロントエンド部３は、レンズ系１
により結像された被写体像を電気信号(アナログ画像デ
ータ)に変換して出力するＣＣＤ３１と、ＣＣＤ３１か
ら出力された電気信号のノイズ除去やゲイン調整等を行
なう信号処理部３２と、信号処理部３２を介してＣＣＤ
３１から出力されるアナログ画像信号をデジタル画像デ
ータに変換して、ＩＰＰ部４に出力するＡ／Ｄ変換部３
３とを備えている。

【００１８】また、ＩＰＰ部４は、フロントエンド部３
から出力されるデジタル画像データを、Ｒ・Ｇ・Ｂの各
成分(ＲＧＢデジタル信号)に分離するＲＧＢ分離部４１
と、分離したＲＧＢデジタル信号の各色成分のゲインを
各々調整するＲＧＢゲイン調整部４２と、ＲＧＢゲイン
調整部４２から出力されるＲＧＢデジタル信号をＹＵＶ
信号(輝度信号および色差信号)に変換するＹＵＶ変換部
４３と、ＹＵＶ変換部４３で変換されたＹＵＶ信号に対
し、ＤＣＴ(Discrete Cosine Transform)変換を行なう
ＤＳＰ(Digital Signal Processor)コア４４と、ＲＧＢ
デジタル信号からＡＷＢ(Auto White Balance)のための
評価値を生成するＡＷＢ評価部４５と、ＹＵＶ信号のＹ
信号からＡＥ(Auto Exposure)のための評価値を生成す
るＡＥ評価部４６とを備えている。

【００１９】また、ＣＰＵ６は、上述したように、デジ
タルスチルビデオカメラの各部の動作の制御を行なうも
のであり、具体的には、例えば、ＣＰＵ６は、ＤＳＰコ
ア４４から出力されるＤＣＴ係数(ＤＣＴ成分)に基づい
て、ワンショットＡＦ評価値を算出し、ワンショットＡ
Ｆ制御を行ない、また、山登りサーボ法併用の場合は、
ＤＳＰコア４４から出力されるＤＣＴ成分に基づき、高
周波成分積算値を算出し、山登りサーボ法によるＡＦ制
御を行なうようになっている。また、ＣＰＵ６は、ＡＷ
Ｂ制御やＡＥ制御等も行なうようになっている。なお、
ＤＳＰコア４４は画像圧縮(ＪＰＥＧ)のエンジンも兼ね
ている。

【００２０】次に、上記構成のデジタルスチルビデオカ
メラのＡＦ動作の概略を図２のフローチャートを用いて
説明する。図２を参照すると、先ず、初期焦点レンズ位
置にレンズ１を設定(移動)して（ステップＳ１）、画像
を撮影して取り込む（ステップＳ２）。ここでは、画像
フレームとして例えば１２８０×１０２４画素の画素数
としている。ＣＣＤ３１からＡ／Ｄ変換部３３を通じて
得られたデジタル画像データは、画像信号処理を行なう
ＩＰＰ部４に与えられる。ＩＰＰ部４においては、先
ず、ＲＧＢ分離部４１でデジタル画像データを、Ｒ・Ｇ
・Ｂの各成分(ＲＧＢデジタル信号)に分離し、分離した
ＲＧＢデジタル信号の各色成分のゲインをＲＧＢゲイン
調整部４２で各々調整する。次いで、ＹＵＶ変換部４３
により、ＲＧＢデジタル信号をＹＵＶ信号(輝度信号と
色差信号)に変換した後、ＤＳＰコア４４によってＹＵ
Ｖ信号に対してＤＣＴ変換を行なう。すなわち、空間成
分から周波数成分に変換する。ただし、画像フレームは
１２８０×１０２４画素であるが、ＡＦ処理時にはＡＦ
エリアである２５６×２５６画素分しかＤＣＴ変換され
ない（ステップＳ３，Ｓ４）。変換されたＤＣＴ成分
は、ＣＰＵインタフェース部５を介してＣＰＵ６に出力
される。

【００２１】ＣＰＵ６では、ＣＰＵインタフェース部５
から与えられたＤＣＴ成分に基づき、波数毎のＤＣＴ成
分の平均値(以下、「平均エネルギー」と称する)を求め
（ステップＳ５）、波数昇順に整列させる。

【００２２】ここで、波数は、次式で定義される。

【００２３】

【数１】μ＝(ｋ²＋ｌ²)^1/2

【００２４】なお、数１において、ｋ，ｌは２次元ＤＣ
Ｔにおける水平周波数および垂直周波数であり、０≦ｋ
≦ｎ，０≦ｌ≦ｎである。ここで、ｎは、ｋ，ｌそれぞ
れの最大値(ＤＣＴ変換サイズ)である。よって、同一の
波数μ(整数)における平均エネルギーは、次式で定義さ
れる。

【００２５】

【数２】

【００２６】ここで、Ｎμは同一の波数μをもつ要素
数、Ｘ(ｋ，ｌ)はｋ，ｌにおけるＤＣＴ係数である。

【００２７】図３は波数昇順に整列された平均エネルギ
ーの例を示す図である。なお、図３において、ＡＦエリ
アが例えば２５６×２５６画素である場合、ｋ，ｌそれ
ぞれの最大値であるＤＣＴ変換サイズｎは２５６であ
る。従って、波数μの範囲は、数１より、０から２^1/2
ｎまでの範囲である。しかし、図３の例では、検索する
範囲は、波数０から波数ｎまでとしている。これは、波
数がｎのときの点像半径Ｒは、次式により１.２と求ま
るから、この範囲まででも点像半径が１程度の精度が得
られるからである。

【００２８】

【数３】Ｒ＝(３.８３×ｎ)／(π×μ)＝(３.８３×２
５６)／(π×２５６)＝１.２

【００２９】このように、波数毎のＤＣＴ成分の平均値
を求め（ステップＳ５）、波数昇順に整列させたとき、
整列されたＤＣＴ係数の平均値列、すなわち平均エネル
ギーから局所最小値(合焦指標値)をもつ波数を探索する
(ステップＳ６)。

【００３０】なお、図３の波数と平均エネルギーとの関
係において、局所最小値は複数現れている。図３の例で
は、有効検索範囲を広く取るため、局所最小値のうち、
最も波数の小さいものを合焦指標値として使用してい
る。このとき、数３で点像半径Ｒが導き出せるが、点像
半径Ｒと波数μは１：１対応しているので、わざわざ点
像半径Ｒに直した合焦指標値は使用していない。

【００３１】図４，図５は第１局所最小値の波数を求め
る処理を示すフローチャートである。図４，図５を参照
すると、第１局所最小値波数を求めるため、まず波数の
ウインドウ(注目する波数範囲)を定める。ここでは、ウ
インドウサイズ＝５としており、これはすなわち、注目
する波数範囲が５であることを意味する(ステップ１
１)。

【００３２】次に、このウインドウ内(注目波数範囲内)
での平均エネルギーの最小値を探索する(ステップ１５
〜ステップ１６)。例えば、図３の例において、ウイン
ドウＡでは、平均エネルギーの最小値はＥａとなる。続
いて、このウインドウ(注目する波数範囲)をずらす(ス
テップ２１)。このときのウインドウをずらす量は１と
しており(ステップ１１)、これはすなわち、ウインドウ
を１波数ずらすことである。図３には、ウインドウＡを
１波数ずらしたウインドウＢと、さらに１波数ずらした
ウインドウＣが示されている。

【００３３】さて、ウインドウＢもウインドウＡと同様
に、このウインドウ内(注目波数範囲内)での平均エネル
ギーの最小値を探索する。そして、平均エネルギーの最
小値Ｅｂを得る。ウインドウＣの場合も同様であり、平
均エネルギーの最小値Ｅｃを得る。また、これらのウイ
ンドウ内最小値とその波数は、第１局所最小値およびそ
の波数の候補、すなわち合焦指標値の候補となりうるの
で、ウインドウ内最小値が更新されるたびに、そのとき
の平均エネルギー値や波数が保持される(ステップ１
８)。すなわち、ウインドウＣまでの走査の時点では、
平均エネルギーＥｃとその波数μｃが第１局所最小値候
補として保持される。

【００３４】以上の手順を波数０から波数ｎまで、第１
局所最小値と判断されるまで繰り返す(ステップ１２〜
ステップ２２)。

【００３５】そこで、第１局所最小値の判断は、先のウ
インドウ内の平均エネルギー最小値を追跡観測すること
によって行なう。すなわち、ウインドウ内の平均エネル
ギー最小値が減少していく場合、これは第１局所最小値
に近づいていると判断し、ウインドウのずらし作業とそ
のウインドウ内の平均エネルギー最小値の探索を続け
る。しかし、ウインドウ内の平均エネルギー最小値が下
げ止まる(ステップ１９)か、上昇し始めれば(ステップ
１７)、第１局所最小値にかかりつつあるか通過しよう
としていると判断し、そのときの波数を第１局所最小値
波数と判断し、探索を終了する。

【００３６】また、第１局所最小値の判断基準がもう一
つあり、それは、ウインドウ内の平均エネルギー最小値
が、ある閾値Ｅｔｈ以上である場合、そのウインドウ内
の平均エネルギー最小値は、第１局所最小値候補とはみ
なさないという条件である(ステップ２０)。すなわち、
閾値Ｅｔｈ以上に谷があっても無効であり、閾値Ｅｔｈ
以下の谷のみが第１局所最小値候補として有効であると
いう条件である。

【００３７】以上の第１局所最小値波数探索フローを図
３の波数−平均エネルギープロファイルに適用すると、
第１局所最小値波数μｆが合焦指標値として抽出され、
この指標値をもとに焦点レンズが合焦点に駆動される。

【００３８】このように、波数毎のＤＣＴ成分の平均値
(以下、「平均エネルギー」と称する)を求め（ステップ
Ｓ５）、波数昇順に整列させたとき、整列されたＤＣＴ
係数の平均値列、すなわち平均エネルギーから局所最小
値(合焦指標値)をもつ波数を探索し（ステップＳ６）、
探索された波数をデフォーカスパラメータ、すなわち、
ワンショットＡＦ評価値として決定する。このようにし
て、決定されたＡＦ評価値を合焦指標値として、対応す
る焦点レンズ位置、すなわち、合焦位置が特定される。
ＣＰＵ６は、焦点レンズ制御部７に、焦点レンズを合焦
位置までの駆動を指示する制御データを出力し、これに
応じて、焦点レンズ制御部７は、焦点レンズを合焦位置
まで駆動する（ステップＳ７）。

【００３９】このように、本発明の自動焦点制御装置
は、初期焦点レンズ位置において撮像して得られる画像
データに対してＤＣＴ変換を施し、変換された画像のＤ
ＣＴ係数の平均値を波数毎に求め、波数昇順に整列され
たＤＣＴ係数の平均値列から局所最小値をもつ波数を探
索し、探索された波数をデフォーカスパラメータとして
合焦位置を決定するので、従来のように、復元フィルタ
を用いることなく、また、復元処理に伴なう計算量を増
大させることなく、一度の撮像で合焦位置を特定するこ
と、いわゆるワンショット合焦が可能となる。

【００４０】なお、上記の自動焦点制御装置において、
ボケ画像を取り込む際の焦点レンズ位置(初期焦点レン
ズ位置)は、基本的にどこでも構わないが、最も好まし
いのは、初期焦点レンズ位置を無限(inf)または最至近
(near)の位置の近傍とするのが良い。この理由は、例え
ば、初期焦点レンズ位置を無限(inf)と最至近(near)の
中間点に取った場合、点像半径が例えば５のボケ画像で
あることが判明したとしても、被写体が無限(inf)側に
あるのか、最至近(near)側にあるのかわからない。なぜ
なら、デフォーカスパラメータに方向性を検知する要素
が含まれていないためである。そこで、初期焦点レンズ
位置を無限(inf)または最至近(near)に寄せて、ボケに
単方向性を持たせることにより、広範囲の被写体距離を
カバーするワンショット合焦が可能となる。

【００４１】上述のように、本発明では、ＤＣＴによる
ワンショットＡＦによって合焦位置を決定したが、ＤＣ
ＴによるワンショットＡＦを例えば山登りサーボ法と組
み合わせて合焦位置を決定することもできる。図６は、
ワンショットＡＦ動作(同図上方に示す図)を山登りサー
ボ法と組み合わせて合焦位置を決定する仕方を説明する
ための図である。この例では、ＤＣＴによるワンショッ
トＡＦを粗調として使用し、微調には従来の山登りサー
ボ法を使用している。すなわち、先ず、ＤＣＴによるワ
ンショットＡＦの動作を上述したように行ない、粗調合
焦検出を行なう。次いで、概略的に決められた粗調合焦
位置近傍で、山登りサーボ法による真の合焦点検出を行
なう。ＣＰＵ６は、焦点制御部７に指令を与えて、粗調
合焦位置近傍で焦点レンズを移動させる。そして、この
移動範囲内で撮影された画像フレーム内(ＡＦエリア内)
での高周波成分に基づき山登りサーボＡＦ評価値を算出
し、真の合焦点を特定する。具体的には、焦点レンズの
移動に伴い、フロントエンド部３を介してＲＧＢデジタ
ル信号がＩＰＰ部４に入力し、ＹＵＶ変換部４３によ
り、輝度信号および色差信号に変換された後、ＤＳＰコ
ア４４によってＤＣＴ変換され、空間成分から周波数成
分に変換される。そして、その結果はＣＰＵインタフェ
ース部５を介してＣＰＵ６に出力される。ＣＰＵ６で
は、入力されるＤＣＴ係数データに基づき、高周波成分
積算値、すなわち、山登りサーボＡＦ評価値を算出し、
例えば、山登りサーボＡＦ評価値が最大となる位置を真
の合焦位置とする。

【００４２】図７は図１のデジタルスチルビデオカメラ
のワンショットＡＦ動作例を示すフローチャートであ
る。また、図８はワンショットＡＦ動作を説明するため
の図である。図７，図８の処理例では、先ず、現在の焦
点レンズ位置(図８のＡの位置)において、画像を撮像し
て取り込む(ステップＳ３１）。ここでは、画像フレー
ムとして例えば１２８０×１０２４画素の画素数として
いる。ＣＣＤ３１からＡ／Ｄ変換部３３を通じて得られ
たデジタル画像データは、画像信号処理を行なうＩＰＰ
部４に与えられる。ＩＰＰ部４においては、先ず、ＲＧ
Ｂ分離部４１でデジタル画像データを、Ｒ・Ｇ・Ｂの各
成分(ＲＧＢデジタル信号)に分離し、分離したＲＧＢデ
ジタル信号の各色成分のゲインをＲＧＢゲイン調整部４
２で各々調整する。次いで、ＹＵＶ変換部４３により、
ＲＧＢデジタル信号をＹＵＶ信号(輝度信号と色差信号)
に変換した後、ＤＳＰコア４４によってＹＵＶ信号に対
してＤＣＴ変換を行なう(ステップＳ３２）。すなわ
ち、空間成分から周波数成分に変換する。ただし、画像
フレームは１２８０×１０２４画素であるが、ＡＦ処理
時にはＡＦエリアである２５６×２５６画素分しかＤＣ
Ｔ変換されない。変換されたＤＣＴ成分は、ＣＰＵイン
タフェース部５を介してＣＰＵ６に出力される。

【００４３】ＣＰＵ６では、合焦点の方向を検出するた
め、高周波成分ＳｐｃＡを調べる(ステップＳ３３)。
この例では、先のＤＣＴ変換係数を利用している。例え
ば次式(数４，数５)のような特性値である。

【００４４】

【数４】

【００４５】

【数５】μ＝(ｋ²＋ｌ²)^1/2

【００４６】数５において、ｋ，ｌは、２次元ＤＣＴに
おける水平周波数および垂直周波数である。なお、高周
波成分として、ＤＣＴ変換係数の代わりにデジタルフィ
ルタ等の方法によってもよい。

【００４７】次に、焦点レンズをわずかに動かし（ステ
ップＳ３４）、すなわち焦点レンズ位置を図８のＡから
Ｂの位置に移動させて、再び撮影する（ステップＳ３
５）。ここにおいて、先程と同様に特定の周波数成分Ｓ
ｐｃＢを調べる（ステップＳ３６，Ｓ３７）。

【００４８】これらの２点，すなわちＡとＢの高周波成
分を比較し、合焦点の方向を検出する（ステップＳ３
８）。すなわち、合焦点に近づいていれば、ＳｐｃＢ
≧ＳｐｃＡとなるが、合焦点から遠ざかればＳｐｃＢ
≦ＳｐｃＡとなる。この例ではＳｐｃＢ≦ＳｐｃＡ
となっているため、合焦点から遠ざかる方向(Ａ→Ｂ)に
焦点レンズを動かしたことになる。従って、合焦方向は
Ｂ→Ａと判明する。

【００４９】一方、２回目の焦点レンズ位置で取り込ま
れ、ＤＣＴ変換された画像については、波数毎のＤＣＴ
成分の平均値を求め、波数昇順に整列させる（ステップ
Ｓ３９）。なお、波数は、数５で定義される。また、同
一のμ(整数)における平均エネルギ−は、次式で定義さ
れる。

【００５０】

【数６】

【００５１】数６において、Ｎμは同一のμをもつ要素
数、Ｘ(ｋ，ｌ)は、(ｋ，ｌ)におけるＤＣＴ係数であ
る。図８の右の図は、波数昇順に整列された平均エネル
ギ−の例を示す図である。そして、整列されたＤＣＴ成
分の平均エネルギ−から最初の局所最小値をもつ波数
(以下、適宜「第１局所最小値波数」と称する)を探索し
（ステップＳ４０）、探索された波数をデフォ−カスパ
ラメ−タ、すなわち、合焦指標値として決定する。この
ようにして、合焦指標値をもとに、対応する焦点レンズ
位置、すなわち、合焦位置が特定される。ＣＰＵ６は、
焦点レンズ制御部７に、焦点レンズ１を合焦位置までの
駆動を指示する制御デ−タを出力し、これに応じて、焦
点レンズ制御部７は、焦点レンズ１を合焦位置まで駆動
する（ステップＳ４１）。

【００５２】このように、図７，図８の処理例では、焦
点レンズ位置において撮像して得られる画像デ−タに対
してＤＣＴ変換を施し、変換された画像のＤＣＴ係数の
平均値を波数毎に求めて波数昇順に整列し、波数昇順に
整列されたＤＣＴ係数の平均値列から局所最小値をもつ
波数を探索し、探索された波数をデフォ−カスパラメ−
タとして合焦位置を決定する(以下、「ＤＣＴワンショ
ットＡＦ」と称す)際、ＤＣＴワンショットＡＦに先立
ち、山登り法によるＡＦを行なって得られるＡＦ評価値
から合焦方向を検出し、その後当該ＤＣＴワンショット
ＡＦを行ない、得られるデフォ−カスパラメ−タ(合焦
指標値)により合焦動作を行なうようにしているので、
初期焦点レンズ位置に依存しないワンショット合焦が可
能となる。

【００５３】また、上述の例では、ＤＣＴワンショット
ＡＦのＡＦエリアサイズは、２の階乗である２５６×２
５６画素であり、従ってＤＣＴ変換サイズＮ＝２５６と
している。ＡＦエリアサイズとＤＣＴ変換サイズは一致
しなくとも良いが、あえてそのようにする理由は見当ら
ない。また、一般的に、ＡＦエリアサイズ(ＤＣＴ変換
サイズ)を大きくすれば、合焦精度が向上するが、その
反面、ＤＣＴ変換処理に時間がかかり、デジタルスチル
カメラの反応速度が遅くなる。また、逆にＡＦエリアサ
イズ(ＤＣＴ変換サイズ)を小さくすれば、ＤＣＴ変換処
理時間は短くなるものの、合焦精度は低下する。よっ
て、これらの事象を鑑み、適正ＡＦエリアサイズ(ＤＣ
Ｔ変換サイズ)を検討した結果、１２８×１２８画素以
上で５１２×５１２画素以下が適当であることがわかっ
た。ここでは、説明の便宜上、２５６×２５６画素とし
ている。

【００５４】また、上述の例では、ＡＦエリアは、高速
演算の観点から、サイズは２の階乗となる数を採用し、
また、形状は正方を採用しているが、そうでなくても構
わない。

【００５５】このように、ＤＣＴ変換を施すＡＦエリア
のサイズが１２８×１２８画素以上で５１２×５１２画
素以下としているので、ＡＦ速度およびＡＦ精度におい
てバランスのとれたワンショット合焦が可能となる。

【００５６】図９はデジタルスチルカメラにおいて、撮
影条件として、レンズを３５−７０ｍｍズ−ムレンズや
１０５ｍｍ望遠レンズに切り替えた時の被写体距離と合
焦指標値のプロファイルを示したものである。この例で
は、望遠レンズの時には、ウインドウ内の平均エネルギ
−最小値を追跡する方法を第１局所最小値波数探索アル
ゴリズムとして採用し、また、ズ−ムレンズの時にはウ
インドウ両端における平均エネルギ−の変化の傾きを追
跡する方法を第１局所最小値波数探索アルゴリズムとし
て採用している。以下に、２つの第１局所最小値波数探
索アルゴリズムを説明する。

【００５７】最初に、ウインドウ内の平均エネルギ−最
小値を追跡する方法について説明する。第１局所最小値
波数を求めるには、図４，図５で説明したと同様の処理
(前述したと同様の処理)を行なうことができる。

【００５８】図４，図５に示したような第１局所最小値
波数探索フロ−を図３の波数−平均エネルギ−プロファ
イルに適用すると、第１局所最小値波数μｆが合焦指標
値として抽出され、この指標値をもとに焦点レンズが合
焦点に駆動される。

【００５９】次に、ウインドウ両端における平均エネル
ギ−の変化の傾きを追跡する方法について、図１０，図
１１，図１２を用いて説明する。第１局所最小値波数を
求めるため、まず波数のウインドウ(注目する波数範囲)
を２つ定め、便宜的にここではウインドウＡとウインド
ウＢと呼ぶ。また、ウインドウＡ，Ｂのサイズは、各々
５，１３としており、これはすなわち、注目する波数範
囲が５および１３であることを意味する（ステップＳ５
１）。

【００６０】次に、各々のウィンドウ両端(注目波数範
囲両端)での平均エネルギーの変化の傾きを算出する(ス
テップＳ５４，ステップＳ５５)。例えば、ウインドウ
Ａでの傾きはＳＬＡ，ウィンドウＢでの傾きはＳＬＢと
なる。続いて、この２つのウィンドウ(注目する波数範
囲)をウィンドウずらし量だけずらす（ステップＳ５
９）。このときのウィンドウをずらす量は１としてお
り、これはすなわち、注目する波数範囲を１波数ずらす
ことである。それを図１２中では、点線により示してい
る。すなわち、両ウィンドウの片端を一致させた２つの
ウィンドウＡ，Ｂを１セットとして扱っている。

【００６１】以上の手順を波数０から波数ｎまで、第１
局所最小値と判断されるまで繰り返す(ステップＳ５２
〜ステップＳ６０)。そこで、第１局所最小値の判断で
あるが、これは先の２つのウィンドウ両端における平均
エネルギーの変化の傾きを追跡観測することによって行
なう。すなわち、ウィンドウ両端における平均エネルギ
ーの変化の傾きが負の場合、これは第１局所最小値に近
づいていると判断し、ウィンドウのずらし作業とそのウ
ィンドウ両端における平均エネルギーの変化の傾きの算
出を続ける。しかし、ウィンドウ両端における平均エネ
ルギーの変化の傾きが正となれば(ステップＳ５６，ス
テップＳ５７)、第１局所最小値にかかりつつあるか通
過しようとしていると判断し、そのときの波数を第１局
所最小値波数と判断し、探索を終了する。

【００６２】また、その時の波数は、第１局所最小値波
数、すなわち合焦指標値として保持される(ステップＳ
５８)。

【００６３】以上の第１局所最小値波数探索フローを図
１２の波数−平均エネルギープロファイルに適用する
と、第１局所最小値波数μｆが合焦指標値として抽出さ
れ、この指標値をもとに焦点レンズが合焦点に駆動され
る。

【００６４】このように、上述の例では、前記検索する
局所最小値波数のアルゴリズムを、絞り値，交換レン
ズ，ズームレンズの焦点位置等の撮影条件によって切り
替えるので、柔軟なワンショット合焦が可能となる。

【００６５】なお、デジタルスチルカメラのＡＦモード
が、半シャッターでＡＦを１度だけ合わせるいわゆるシ
ングルモードの場合、ＤＣＴワンショットＡＦを行ない
合焦させる動作を１回行なえばよいが、継続してＡＦを
働かせるいわゆるコンティニュアスモードの場合、合焦
精度やばらつきあるいは手ぶれなどの問題により焦点レ
ンズのハンチングが起きる場合がある。

【００６６】この問題を回避するため、本発明では、図
１３に示すように、まず最初の合焦検出位置μｆ１を検
出した時、焦点レンズ位置をＡまで駆動するとともに、
このときの被写界深度を算出し、保持しておく。次の合
焦検出が行なわれて、合焦検出位置μｆ２が検出され、
これが焦点レンズ位置のＢに対応するとする。この時、
先の被写界深度の保持された値と比較し、Ｂが当該被写
界深度の範囲外であれば、焦点レンズを駆動し、所定の
焦点レンズ位置に移動させるが、被写界深度の範囲内で
あれば、焦点レンズを駆動せず何もしない。図１３で
は、駆動すべき焦点レンズ位置が前の焦点レンズ位置の
被写界深度内に入っているため何もしない例を示してい
る。コンティニュアスモードでは、一定時間間隔でこれ
ら一連の動作が繰り返される。

【００６７】このように、上述の例では、算出されたデ
フォーカスパラメータが、現在の焦点レンズ位置におけ
る被写界深度の範囲内であるかを判断し、当該判断の結
果、被写界深度の範囲内であると判断した場合、焦点レ
ンズの駆動を行なわないようにしているので、焦点レン
ズの無駄な移動動作を伴わないワンショット合焦が可能
となる。

【００６８】図１４は、デジタルスチルカメラの画像フ
レーム１２８０×１０２４画素全域に対し、２５６×２
５６画素のＡＦエリアを重複する部分なく５×４のタイ
ル状に配置したものである。通常のＤＣＴワンショット
ＡＦ動作においては、撮影画像を取り込んだ後、当該画
像データの中央部分にあたるＡＦエリア２３またはＡＦ
エリア３３に対してＤＣＴ変換処理がなされ、合焦指標
値が算出され、合焦点へ焦点レンズが駆動される。

【００６９】しかし、図示しない操作スイッチ等によっ
て距離情報保持の機能が選択されると、先のＡＦエリア
２３またはＡＦエリア３３のみならずすべてのＡＦエリ
アに対してＤＣＴ変換処理がなされ、すべてのＡＦエリ
ア毎に合焦指標値が算出され、そのすべての合焦指標値
が被写体距離情報として保持される。ただし、デジタル
スチルカメラのハードウェアは、図１に示されるものを
使用しているので、ＡＦエリアのＤＣＴ変換処理と合焦
指標値算出は並列処理ではなく、ＡＦエリア１１、次に
ＡＦエリア１２・・・ＡＦエリア４５というような逐次
処理をしている。

【００７０】そして、ＡＦエリア２３またはＡＦエリア
３３の合焦指標値に基づき合焦点へ焦点レンズが駆動さ
れ、本番撮像され、画像データファイルとして保存され
る。このとき、前記被写体距離情報も管理情報ファイル
として保存される。この被写体距離情報の格納された管
理情報ファイルは、ポスト処理として、例えば、パーソ
ナルコンピュータとそのアプリケーションソフトウェア
に代表される適当な画像処理手段により利用することが
できる。すなわち、具体的には最至近から無限遠に至る
までの焦点の合った画像を生成するいわゆるダイナミッ
クフォーカスを行なったり、ＡＦエリア２３またはＡＦ
エリア３３以外のＡＦエリアに焦点を絞った画像に修正
することができる。

【００７１】このように、本発明では、少なくとも２つ
のＡＦエリアと、各ＡＦエリア毎の合焦指標値を算出す
る合焦指標値算出手段と、前記算出された合焦指標値を
被写体距離情報として撮像画像とともに保持する手段と
を備えているので、ワンショット合焦のみならずより多
岐多様にわたるＡＦ応用処理が可能となる。

【００７２】なお、画像フレームやＡＦエリアの大きさ
・形状、第１局所最小値の波数の探索方法などは、上述
したものに限定されるものではない。すなわち、本発明
は上述した実施の形態に限定されるものではなく、発明
の要旨を変更しない範囲で適宜変更可能である。

【００７３】また、本発明の自動焦点制御装置は、ビデ
オカメラ，スチルビデオカメラ等の撮像素子を用いた画
像入力機器などに広く適用可能である。

【００７４】

【発明の効果】以上に説明したように、請求項１，請求
項６記載の発明によれば、初期焦点レンズ位置において
撮像して得られる画像データに対してＤＣＴ変換を施
し、変換された画像のＤＣＴ係数の平均値を波数毎に求
めて波数昇順に整列し、波数昇順に整列されたＤＣＴ係
数の平均値列から局所最小値をもつ波数を探索し、探索
された波数をデフォーカスパラメータとして合焦位置を
決定するようにしているので、一度の撮像で合焦位置を
特定すること、いわゆるワンショット合焦が可能とな
る。

【００７５】また、請求項２記載の発明によれば、初期
焦点レンズ位置は、無限遠位置近傍または最至近位置近
傍であることにより、広範囲の被写体距離をカバーする
ワンショット合焦が可能となる。

【００７６】また、請求項３記載の発明によれば、検索
する波数の範囲は、ＤＣＴ変換サイズ以下であることに
より、走査無駄の少ない、高速なワンショット合焦が可
能となる。

【００７７】また、請求項４記載の発明によれば、局所
最小値として、局所最小値が複数存在する場合、複数の
局所最小値のうち波数の一番小さいもの(第１局所最小
値の波数)を採用することにより、確度が高く、有効検
索範囲の広いワンショット合焦が可能となる。

【００７８】また、請求項５，請求項７記載の発明によ
れば、初期焦点レンズ位置において撮像して得られる画
像データに対してＤＣＴ変換を施し、変換された画像の
ＤＣＴ係数の平均値を波数毎に求めて波数昇順に整列
し、波数昇順に整列されたＤＣＴ係数の平均値列から局
所最小値をもつ波数を探索し、探索された波数をデフォ
ーカスパラメータとして粗い合焦位置を決定し、その後
画像の高周波成分による山登り法により細かい合焦位置
を決定することにより合焦動作を行なっているので、高
精度なＡＦが可能となる。

【００７９】また、請求項８記載の発明によれば、焦点
レンズ位置において撮像して得られる画像データに対し
てＤＣＴ変換を施し、変換された画像のＤＣＴ係数の平
均値を波数毎に求めて波数昇順に整列し、波数昇順に整
列されたＤＣＴ係数の平均値列から局所最小値をもつ波
数を探索し、探索された波数をデフォーカスパラメータ
として合焦位置を決定するＤＣＴワンショットＡＦを行
なう自動焦点制御方法であって、前記ＤＣＴワンショッ
トＡＦに先立ち、山登り法によるＡＦを行なって得られ
るＡＦ評価値から合焦方向を検出し、その後、ＤＣＴワ
ンショットＡＦを行ない、得られるデフォーカスパラメ
ータとしての合焦指標値により合焦動作を行なうので、
初期焦点レンズ位置に依存しないワンショット合焦が可
能となる。

【００８０】また、請求項９記載の発明によれば、焦点
レンズ位置において撮像して得られる画像データに対し
てＤＣＴ変換を施し、変換された画像のＤＣＴ係数の平
均値を波数毎に求めて波数昇順に整列し、波数昇順に整
列されたＤＣＴ係数の平均値列から局所最小値をもつ波
数を探索し、探索された波数をデフォーカスパラメータ
として合焦位置を決定する自動焦点制御方法であって、
前記検索する局所最小値波数のアルゴリズムを、絞り
値，交換レンズ，ズ−ムレンズの焦点位置等の撮像条件
によって、切り替えるので、柔軟なワンショット合焦が
可能となる。

【００８１】また、請求項１０記載の発明によれば、焦
点レンズ位置において撮像して得られる画像データに対
してＤＣＴ変換を施し、変換された画像のＤＣＴ係数の
平均値を波数毎に求めて波数昇順に整列し、波数昇順に
整列されたＤＣＴ係数の平均値列から局所最小値をもつ
波数を探索し、探索された波数をデフォーカスパラメー
タとして合焦位置を決定する自動焦点制御方法であっ
て、前記算出されたデフォーカスパラメータが現在の焦
点レンズ位置における被写界深度の範囲内であるか否か
を判断し、この結果、被写界深度の範囲内であると判断
した場合には、焦点レンズの駆動を行なわないので、焦
点レンズの無駄な移動動作を伴わないワンショット合焦
が可能となる。

【００８２】また、請求項１１記載の発明によれば、焦
点レンズ位置において撮像して得られる画像データに対
してＤＣＴ変換を施し、変換された画像のＤＣＴ係数の
平均値を波数毎に求めて波数昇順に整列し、波数昇順に
整列されたＤＣＴ係数の平均値列から局所最小値をもつ
波数を探索し、探索された波数をデフォーカスパラメー
タとして合焦位置を決定する自動焦点制御方法であっ
て、少なくとも２つのＡＦエリアを有し、各ＡＦエリア
毎の合焦指標値を算出し、算出された合焦指標値を被写
体距離情報として撮像画像とともに保持するので、ワン
ショット合焦のみならずより多岐多様にわたるＡＦ応用
処理が可能となる。

【図面の簡単な説明】

【図１】本発明に係る自動焦点制御装置の構成例を示す
図である。

【図２】図１の自動焦点制御装置におけるＡＦ動作を説
明するためのフローチャートである。

【図３】波数昇順に整列された平均エネルギーの例を示
す図である。

【図４】第１局所最小値の波数を求める処理を説明する
ためのフローチャートである。

【図５】第１局所最小値の波数を求める処理を説明する
ためのフローチャートである。

【図６】ワンショットＡＦ動作を山登りサーボ法と組み
合わせて合焦位置を決定する仕方を説明するための図で
ある。

【図７】ワンショットＡＦ動作を説明するためのフロー
チャートである。

【図８】ワンショットＡＦ動作を説明するための図であ
る。

【図９】撮影条件としてレンズを交換した時の第１局所
最小値波数と被写体距離の特性を示す図である。

【図１０】第１局所最小値の波数を求める他の処理例を
説明するためのフローチャートである。

【図１１】第１局所最小値の波数を求める他の処理例を
説明するためのフローチャートである。

【図１２】第１局所最小値の波数を求める他の処理例を
説明するための図である。

【図１３】被写界深度を考慮した、合焦指標値と焦点レ
ンズの駆動を説明するための図である。

【図１４】画像フレーム全域に展開されたＡＦエリアに
おけるワンショットＡＦ動作を説明するための図であ
る。

【符号の説明】

１レンズ系２絞り３フロントエンド部４イメージプリプロセッサ(ＩＰＰ)部５ＣＰＵインタフェース部６ＣＰＵ７焦点レンズ制御部８絞り制御部３１ＣＣＤ３２信号処理部３３Ａ／Ｄ変換部４１ＲＧＢ分離部４２ＲＧＢゲイン調整部４３ＹＵＶ変換部４４ＤＳＰコア４５ＡＷＢ評価部４６ＡＥ評価部

Claims

【特許請求の範囲】

【請求項１】初期焦点レンズ位置において撮像して得
られる画像データに対してＤＣＴ変換を施し、変換され
た画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順
に整列し、波数昇順に整列されたＤＣＴ係数の平均値列
から局所最小値をもつ波数を探索し、探索された波数を
デフォーカスパラメータとして合焦位置を決定すること
を特徴とする自動焦点制御装置。
【請求項２】請求項１記載の自動焦点制御装置におい
て、前記初期焦点レンズ位置は、無限遠位置近傍または
最至近位置近傍であることを特徴とする自動焦点制御装
置。
【請求項３】請求項１記載の自動焦点制御装置におい
て、前記検索する波数の範囲は、ＤＣＴ変換サイズ以下
であることを特徴とする自動焦点制御装置。
【請求項４】請求項１記載の自動焦点制御装置におい
て、前記局所最小値としては、局所最小値が複数存在す
る場合、複数の局所最小値のうち波数の一番小さいもの
を採用することを特徴とする自動焦点制御装置。
【請求項５】初期焦点レンズ位置において撮像して得
られる画像データに対してＤＣＴ変換を施し、変換され
た画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順
に整列し、波数昇順に整列されたＤＣＴ係数の平均値列
から局所最小値をもつ波数を探索し、探索された波数を
デフォーカスパラメータとして粗い合焦位置を決定し、
その後、画像の高周波成分による山登り法により細かい
合焦位置を決定することを特徴とする自動焦点制御装
置。
【請求項６】初期焦点レンズ位置において撮像して得
られる画像データに対してＤＣＴ変換を施し、変換され
た画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順
に整列し、波数昇順に整列されたＤＣＴ係数の平均値列
から局所最小値をもつ波数を探索し、探索された波数を
デフォーカスパラメータとして合焦位置を決定すること
を特徴とする自動焦点制御方法。
【請求項７】初期焦点レンズ位置において撮像して得
られる画像データに対してＤＣＴ変換を施し、変換され
た画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順
に整列し、波数昇順に整列されたＤＣＴ係数の平均値列
から局所最小値をもつ波数を探索し、探索された波数を
デフォーカスパラメータとして粗い合焦位置を決定し、
その後、画像の高周波成分による山登り法により細かい
合焦位置を決定することを特徴とする自動焦点制御方
法。
【請求項８】焦点レンズ位置において撮像して得られ
る画像データに対してＤＣＴ変換を施し、変換された画
像のＤＣＴ係数の平均値を波数毎に求めて波数昇順に整
列し、波数昇順に整列されたＤＣＴ係数の平均値列から
局所最小値をもつ波数を探索し、探索された波数をデフ
ォーカスパラメータとして合焦位置を決定するＤＣＴワ
ンショットＡＦを行なう自動焦点制御方法であって、前
記ＤＣＴワンショットＡＦに先立ち、山登り法によるＡ
Ｆを行なって得られるＡＦ評価値から合焦方向を検出
し、その後、ＤＣＴワンショットＡＦを行ない、得られ
るデフォーカスパラメータとしての合焦指標値により合
焦動作を行なうことを特徴とする自動焦点制御方法。
【請求項９】焦点レンズ位置において撮像して得られ
る画像データに対してＤＣＴ変換を施し、変換された画
像のＤＣＴ係数の平均値を波数毎に求めて波数昇順に整
列し、波数昇順に整列されたＤＣＴ係数の平均値列から
局所最小値をもつ波数を探索し、探索された波数をデフ
ォーカスパラメータとして合焦位置を決定する自動焦点
制御方法であって、前記検索する局所最小値波数のアル
ゴリズムを、絞り値，交換レンズ，ズ−ムレンズの焦点
位置等の撮像条件によって、切り替えることを特徴とす
る自動焦点制御方法。
【請求項１０】焦点レンズ位置において撮像して得ら
れる画像データに対してＤＣＴ変換を施し、変換された
画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順に
整列し、波数昇順に整列されたＤＣＴ係数の平均値列か
ら局所最小値をもつ波数を探索し、探索された波数をデ
フォーカスパラメータとして合焦位置を決定する自動焦
点制御方法であって、前記算出されたデフォーカスパラ
メータが現在の焦点レンズ位置における被写界深度の範
囲内であるか否かを判断し、この結果、被写界深度の範
囲内であると判断した場合には、焦点レンズの駆動を行
なわないことを特徴とする自動焦点制御方法。
【請求項１１】焦点レンズ位置において撮像して得ら
れる画像データに対してＤＣＴ変換を施し、変換された
画像のＤＣＴ係数の平均値を波数毎に求めて波数昇順に
整列し、波数昇順に整列されたＤＣＴ係数の平均値列か
ら局所最小値をもつ波数を探索し、探索された波数をデ
フォーカスパラメータとして合焦位置を決定する自動焦
点制御方法であって、少なくとも２つのＡＦエリアを有
し、各ＡＦエリア毎の合焦指標値を算出し、算出された
合焦指標値を被写体距離情報として撮像画像とともに保
持することを特徴とする自動焦点制御方法。