JP5920608B2 - 画像の鮮明度を評価する撮像システムおよび方法 - Google Patents

Description

開示される主題は概して、電子的にオートフォーカスして取り込まれた画像に関するものである。

デジタルカメラおよびデジタルビデオカメラなどのような写真機材は、静止又はビデオ画像への処理のために光を取り込む電子画像センサーをそれぞれ備えることができる。電子画像センサーは一般的に、フォトダイオードのような光取込素子を数百万個含んでいる。

カメラなどのような多くの画像取込装置は、オートフォーカスシステムを備えている。オートフォーカスのプロセスは、画像を取り込む工程と、フォーカスされているか否かを決定するように前記画像を処理する工程と、前記画像がフォーカスされていない場合に、フォーカスレンズの位置（フォーカス位置）を変更するために用いられるフィードバック信号を発生する工程とを含む。オートフォーカス技術としては、主に、コントラスト測定に関わる技術と、対になる画像の間の位相差に着目する技術との２つがある。前記コントラスト方法においては、隣接画素間の強度差を解析し、最大コントラストが検出されるまで前記フォーカスを調節する。前記コントラスト技術は、静止ピクチャに対応することができるが、モーションビデオには適していない。

前記位相差方法は、入力画像を、別々の画像センサーにより取り込まれる２つの画像に分割することを含む。また、前記２つの画像を比較して位相差を決定する。そして、前記２つの画像がマッチするまで前記フォーカス位置を調節する。前記位相差方法は、ビームスプリッター及び付加的な画像センサーのような付加的な部品が必要である。さらに、前記位相差の方法は、相対的に小さい帯域における固定検出点を解析する。小さなグループの検出点を有すると、ノイズが１つ以上の点に重ねられる可能性があるため、エラーが発生しやすくなる。この技術は、前記検出点が画像のエッジと一致しない場合にも無効である。結果として、前記位相差方法は、前記光を分割するため、光センサーに衝突する光の量が半分又はそれ以下に低減されてしまう。これは、前記画像の光強度が低下した薄暗い設置環境において問題になり得る。

フォーカス信号発生器に接続された画素配列を含むオートフォーカス画像システム。その画素配列は、複数のエッジを有する画像を取り込む。その発生器は、複数のエッジ鮮明度の度合いを複数のエッジのそれぞれから測定して、その複数のエッジ鮮明度の度合いの関数であるフォーカス信号を生成する。その発生器は、不揮発性メモリから引き出されたデータによって定義された参照曲線および／または勾配の参照シーケンスの一つ以上と、エッジにまたがる勾配のシーケンスを比較する。その発生器は、参照シーケンスまたは参照曲線と勾配のシーケンスとの間の非類似度が所定の閾値を超えることを見つけることに基づいて、エッジのフォーカス信号に対する寄与をなくするまたは弱めることを決定する。

オートフォーカス画像ピックアップ装置の実施形態を示す概略図である。 オートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 フォーカス信号発生器を示すブロック図である。 画像信号マトリクスにおける水平方向のＳｏｂｅｌ演算子の演算を示す説明図である。 水平勾配からのエッジ幅の算出を示す図である。 斜め角Φを有する垂直エッジについてのエッジ幅の算出を示す説明図である。 斜め角Φを有する垂直エッジについてのエッジ幅の算出を示す説明図である。 斜め角Φを有する水平エッジについてのエッジ幅の算出を示す説明図である。 斜め角Φを有する水平エッジについてのエッジ幅の算出を示す説明図である。 斜めの垂直エッジについて斜め角Φを算出し、エッジ幅を補正するプロセスを示すフローチャートである。 垂直連結エッジを示す説明図である。 グループのぎっしり詰まっている垂直バーを示す説明図である。 図９Ａにわたる画像信号を示すグラフである。 図９Ａにわたる水平方向のＳｏｂｅｌ勾配を示すグラフである。 浅い変調深度を有するぎっしり詰まっているエッジを消去するためのプロセスを示すフローチャートである。 精細なフォーカス信号を算出するためのエッジ幅の一範囲を説明する複数のエッジ幅のヒストグラムである。 １つのシーンを示す説明図である。 図１２のシーンのフォーカス走査期間における幅狭いエッジのカウントの変化を示すグラフである。 図１２のシーンのフォーカス走査期間における概略フォーカス信号の変化を示すグラフである。 フォーカス位置の範囲にわたる精細なフォーカス信号の変化を示すグラフである。 シーンにおける複数のオブジェクト及びこれらのオブジェクトのうちの１つに対する選択マークを表示する装置を示す説明図である。 フォーカス信号発生器の他の実施形態を示すブロック図である。 オートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 主画素アレイと補助画素アレイとを有するオートフォーカス画像ピックアップ装置の代替実施形態を示す概略図である。 異なるフォーカス位置における、主画素アレイからのエッジ幅の変化及び補助画素アレイからのエッジ幅の変化を示す説明図である。 相互作用しない反対の極性（すなわち、記号）がある２つの隣接したエッジにまたがる画像信号に属する勾配を示す図である。 相互作用し反対の極性（すなわち、記号）がある２つの隣接したエッジにまたがる画像信号に属する勾配を示す図である。 連続した二次導関数の間の間隔の倍数である距離に対してプロットされた、あるエッジを亘った画像データのサンプルのシーケンスを属する二次導関数のシーケンスを示し、また（ａ）一対の正と負とのピークの間の幅Ｗ_Ｓと、（ｂ）所定の大きさｈ_１がある一対の最も外側の補間された二次導関数の間の幅Ｗ_１と、（ｃ）前記所定の大きさｈ_１がある一対の内側の補間された二次導関数の間の幅Ｗ_２と、（ｄ）（一対の正と負とのピークの間の）ゼロ交差から、前記所定の大きさｈ_１がある最も外側補間された二次導関数までの距離Ｄ_１と、を示す図である。 連続したピクセルの間の間隔の倍数である距離に対してプロットされた、あるエッジのピクセルからの画像データのサンプルのシーケンスを示す。それは、（ａ）エッジの両端の２つのサンプル間の幅Ｗ_ｅｄｇｅおよび対比Ｃ_ｅｄｇｅと、（ｂ）サンプル値の最も急な変化がある一対のサンプルの間の（ロバーツ演算子によって生成された）ピーク勾配値ｇ_ｐｅａｋと、（ｃ）対比Ｃ_１および幅Ｗ_{ｐａｒｔ１}があるエッジの未分割部分と、（ｄ）対比Ｃ_２および幅Ｗ_{ｐａｒｔ２}があるエッジの未分割部分と、を示す図である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジにまたがる画像信号を属する勾配のシーケンスと、プロットされた勾配のシーケンスの下の領域の面積とを示す図である。 連続した勾配の間の間隔の倍数である距離に対してプロットされた、エッジにまたがる画像信号を属する勾配のシーケンスと、重心（モーメントすなわち中央）と、その重心からそれらの勾配までの距離との間の間隔の倍数の距離に対してプロットを示す図である。 補間によって補間されたピークの位置を見つけることを示す図である。 フォーカス信号発生器の代替的な実施形態を示す図である。 勾配プロファイルと勾配のシーケンスとを一緒に説明する図である。 勾配プロファイルと勾配のシーケンスとを一緒に説明する図である。 勾配プロファイルと勾配のシーケンスとを一緒に説明する図である。 ピークから下へ５０％のみまで、参照勾配のシーケンスが勾配プロファイルを近似することを示す図である。 ピークから下へ３０％まで、ピークの片側のみに、参照勾配のシーケンスが図３０の勾配プロファイルを近似することを示す図である。 最も近い１対のと参照勾配の間の間隔＝０．２で、第１の整列下に参照勾配のシーケンスが勾配プロファイル内の勾配に整列することを示す図である。 最も近い１対の勾配及び参照勾配の間の間隔＝０．５で、第２の整列下において前記シーケンスが前記勾配に整列し、その結果、線分の全長が短いことを示す図である。 参照ピークが特定の勾配レベルで勾配プロファイルの中間点に整列するように、参照勾配のシーケンスが勾配プロファイルに整列することを示す図である。 前記参照ピークが勾配プロファイルの補間されたピークに整列するように、前記シーケンスが図３４の勾配プロファイルに整列することを示す図である。 勾配プロファイルを認定する勾配プロファイル検査装置の実施形態を示す図である。

開示されるのは、フォーカス信号発生器に結合されている画素アレイを含むオートフォーカス画像システムである。前記画素アレイは、幅を有するエッジを少なくとも１つ備える画像を取り込む。前記フォーカス信号発生器は、エッジ幅及び／又は複数のエッジ幅の統計データの関数であるフォーカス信号を発生し得る。オートフォーカス画像システムは、フォーカス信号発生器に接続された画素アレイを有する。前記画素アレイは、幅を有する少なくとも１つのエッジを備える画像を取り込む。前記発生器は、前記エッジ幅とエッジ幅の様々な統計データとの関数であるフォーカス信号を発生する。前記発生器は、画像信号の勾配が非対称であるエッジを除去してもよい。前記発生器はまた、前記勾配において対応するピーキングのためのテンプレートを持たないエッジを除去してもよい。プロセッサーが、前記フォーカス信号及び／又は前記複数のエッジ幅の統計データを受信し、フォーカスレンズのフォーカス位置を調節する。前記エッジ幅は、勾配の利用を含む様々な技術により決定することができる。複数のエッジ幅を示すヒストグラムは、特定の画像がフォーカスされているか否かを決定するために使用することができる。多くの幅狭いエッジを有するヒストグラムが、フォーカスされている画像を示す。

構成
参照番号に基づいて図面をさらに詳しく参照すると、図１は、オートフォーカス画像取込システム１０２の一実施形態を示す。前記システム１０２は、デジタルスチルカメラの一部であってもよいが、このシステムは画像の制御されたフォーカスが必要ないずれの装置で具現化されてもよいことを理解すべきである。前記システム１０２は、フォーカスレンズ１０４と、画素アレイ及び回路１０８と、Ａ／Ｄ変換器１１０と、プロセッサー１１２と、表示装置１１４と、メモリカード１１６と、ドライブモータ／回路１１８とを含んでもよい。シーンからの光が前記レンズ１０４を介して入射する。前記画素アレイ及び回路１０８は、前記Ａ／Ｄ変換器１１０によりデジタル信号に変換されるアナログ信号を発生する。前記画素アレイ１０８は、例えば、ベイヤパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮／解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー１１２に送信されてもよく、前記フォーカス信号発生器１２０に送信されてもよい。前記フォーカス信号発生器１２０及び前記プロセッサー１１２が異なるパッケージに備わっている場合には、前記デジタル信号１３０に対して色補間を行って前記フォーカス信号発生器１２０のためにそれぞれの画素における欠落色信号を見積もるために、色補間ユニット１４８を利用してもよい。または、前記フォーカス信号発生器１２０及び前記プロセッサー１１２が同一パッケージ１４４にある場合には、前記フォーカス信号発生器１２０は、図２に示すようにバス１４６を通して前記プロセッサー１１２から補間されたカラー画像又は前記Ａ／Ｄ変換器１１０から発生された元の画像信号から導き出された単一画像信号（例えば、階調信号）を入力してもよい。

前記フォーカス信号発生器１２０は、さらにプロセッサー１１２から１つのグループの制御信号１３２を受信し、そして、複数の信号１３４を前記プロセッサー１１２に出力してもよい。出力信号１３４は、フォーカス信号１３４と、幅狭いエッジのカウントと、前記画像におけるエッジ幅の統計データを示す１組の数字とのうちの１つ以上を含んでもよい。前記プロセッサー１１２は、前記ドライブモータ／回路１１８に送信されて前記フォーカスレンズ１０４を制御するフォーカス制御信号１３６を発生することができる。フォーカスされている画像は、最終的に前記表示装置１１４に供給され、及び／又は前記メモリカード１１６に記憶される。フォーカス位置を調節するためのアルゴリズムは、前記プロセッサー１１２により実行されてもよい。

前記画素アレイ及び回路１０８、Ａ／Ｄ変換器１１０、フォーカス信号発生器１２０、及びプロセッサー１１２は、全て１つのパッケージに備わっていてもよい。または、前記画素アレイ及び回路１０８、Ａ／Ｄ変換器１１０、及びフォーカス信号発生器１２０は、前記プロセッサー１１２とは別に、図１に示すような画像センサー１５０としての１つのパッケージ１４２に備わっていてもよい。または、フォーカス信号発生器１２０及びプロセッサー１１２は、前記画素アレイ１０８及びＡ／Ｄ変換器１１０とは別に、図２に示すようなカメラコントローラ１６０としての１つのパッケージ１４４に備わっていてもよい。フォーカス信号発生器１２０（又は、例えば図３０に示すような任意の代替の実施例）及びプロセッサ１１２は、共に例えばシリコン基板のような半導体基板上において常駐することができる。

フォーカス信号発生器
図３は、画像供給ユニット２０２から画像を受信するフォーカス信号発生器１２０の一実施形態を示す。前記画像供給ユニット２０２は、図１における色補間器１４８または図２におけるプロセッサー２１２であってもよい。前記フォーカス信号発生器１２０は、エッジ検出・幅測定（ＥＤＷＭ）ユニット２０６と、フォーカス信号算出器２１０と、長さフィルター２１２と、幅フィルター２０９とを含んでもよい。それは、「精細」２２２を入力することにより制御される精細スイッチ２２０をさらに含んでもよい。前記フォーカス信号発生器１２０は、幅フィルター２０９からの幅狭いエッジのカウント、及びフォーカス信号算出器２１０からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」２２２の入力によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号１３４の一部として出力されてもよい。前記エッジ検出・幅測定ユニット２０６は、画像供給ユニット２０２により供給される画像を受信する。図１及び図２においては、制御信号「精細」２２２のような制御信号は、プロセッサー１１２により信号１３２に提供していてもよい。そして、図１及び図２において、前記出力信号１３４をプロセッサー１１２に供給してもよい。前記プロセッサー１１２は、前記フォーカスレンズ１０４のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号１３４を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ１０８において鮮明にフォーカスする。以下、前記フォーカス信号発生器１２０の各種の構成要素について説明する。
ＥＤＷＭユニット２０６は、前記入力画像を、前記画像の３つの信号、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）が単一画像信号に変換されるように変換してもよい。画像を単一画像に変換するには、幾つかの技術が利用される。複数のＲＧＢ値を用いて輝度又は色度値を算出することができ、あるいは、特定比率のＲＧＢ値を用いて前記単一画像信号を形成することができる。例えば、前記輝度値は、Ｙ＝０．２１２６＊Ｒ＋０．７１５２＊Ｇ＋０．０７２２＊Ｂ、ただし、Ｙ＝輝度値、という式により算出されることができる。前記単一画像信号はその後、ガウスフィルター又は任意のローパスフィルターによって処理され、隣接画素の間に画素データサンプル値を円滑化してノイズを除去する。

前記フォーカス信号発生器１２０、１２０’、１２０’’は、階調信号に限られない。それは、前記画像信号における１つ以上のエッジを検出するために、何れか１つの画像信号に対して操作を行ってもよい。または、それは、例えば、Ｙ、Ｒ−Ｇ又はＢ−Ｇのような複数の画像信号の何れかの組み合せに対して操作を行ってもよい。それは、複数のエッジを検出するために、個別に前記Ｒ、Ｇ、Ｂ画像信号の一つ一つ、又はその何れか１つ以上の組合わせに対して操作を行ってもよい。それは、前記Ｒ、Ｇ、Ｂ画像信号の一つ一つ又はその何れかの組合わせに対して複数のエッジ幅の統計データを形成してもよい。それは、１つ以上の画像信号からの複数のエッジ幅の統計データによってフォーカス信号を形成してもよい。

フォーカス信号発生器は、画像信号内のエッジを識別するためのエッジ検出器を含む。エッジ検出器は、例えばソーベル（Ｓｏｂｅｌ）演算子とプレウィット（Ｐｒｅｗｉｔｔ）演算子とロバーツクロスオペレータ（ＲｏｂｅｒｔｓＣｒｏｓｓ）演算子とロバーツ（Ｒｏｂｅｒｔｓ）演算子とのような一次エッジ検出演算子を使用する可能性がある。エッジ検出器は、エッジを識別するために、高次のエッジ検出演算子、例えばラプラシアン（Ｌａｐｌａｃｉａｎ）演算子のような二次演算子を使用してもよい。エッジ検出器は、既知のエッジ検出演算子のどれか１つまたは公知の演算子のどれかと一般のエッジ検出原理を共有している改良された演算子を使用できる。

エッジ検出器が一次エッジ検出演算子を使用する場合、画像信号の勾配（つまり、一次導関数）は計算する。勾配を計算するための利用できる様々な方法があって、それらの様々な方法は、様々な一次エッジ検出演算子、例えばソーベル（Ｓｏｂｅｌ）演算子とプレウィット（Ｐｒｅｗｉｔｔ）演算子とロバーツクロス（ＲｏｂｅｒｔｓＣｒｏｓｓ）演算子とロバーツ（Ｒｏｂｅｒｔｓ）演算子とのどれか一つを用いるものを含む。ロバーツ演算子は、単一のカラムまたは単一の行がある行列である２つの核、すなわち［−１,＋１］及びその転置がある。ロバーツクロス演算子は、２Ｘ２行列である２つの核、すなわちＭａｔｌａｂ形式従って［＜第一行ベクトル；第二行ベクトル；第三行ベクトル］ように表示した［＋１，０；０，−１］および［０，＋１；−１，０］がある。プレウィット演算子およびソーベル演算子は、基本的に同じ核の、勾配を行方向にとる［−１、０、＋１］、および勾配をカラムの方向にとるその転置があり、その後、それぞれの勾配方向に垂直にローパスフィルタリングする違ったローパスフィルの核を乗じる。垂直及び水平エッジをそれぞれ検出するために、例えば、Ｓｏｂｅｌ−Ｘ演算子とＳｏｂｅｌ−Ｙ演算子をそれぞれ利用し、複数の列及び複数の行に亘った勾配を算出してもよい。画素位置［ｋ，ｑ］におけるＳｏｂｅｌ−Ｘ演算子（ただし、ｋは行数でｑは列数である）は、Ｓｘ［ｋ，ｑ］＝Ｕ［ｋ，ｑ＋１］−Ｕ［ｋ，ｑ−１］という式から得られる。同一位置におけるＳｏｂｅｌ−Ｙ演算子は、Ｓｙ［ｋ，ｑ］＝Ｕ［ｋ＋１，ｑ］−Ｕ［ｋ−１，ｑ］、ただし、Ｕ＝処理された画像の画像信号、という式から得られる。
エッジ検出器が二次演算子を使用する場合、画像信号の（例えばラプラシアン二次演算子）二次導関数を計算する。

配向タグ付け
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限（「消去閾値」）（例えば、８ビットの画像の場合には５）を超えている場合に、水平エッジ（「Ｈ」）又は垂直エッジ（「Ｖ」）とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限以下の場合に、エッジ無しとタグ付けされてもよい。前記下限によって、緩やかな陰影やノイズによる偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上（例えば、８ビットの画像の場合には２）超えている場合に、垂直エッジとタグ付けされ、逆の場合も同様であってもよい。これら両方の勾配が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近くに隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ１行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確実にするのに役立つ。図４は水平及び垂直勾配を有する６×６アレイにおけるタグ付けの結果を示す。それぞれのセルにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、５を超えている水平又は垂直勾配の大きさを有する画素のみである。

前記画像、前記勾配、及び前記タグは、垂直エッジには水平に、水平エッジには垂直に走査されてもよい。同一行において同一の水平勾配極性を有し、かつ全てが垂直エッジとしてタグ付けされた隣接する複数の画素の各グループは、このグループの左側又は右側に同じようなことを満たす隣接画素がない場合に、垂直エッジとして示されてもよい。同様に、同一列において同一の垂直勾配極性を有しかつ全てが水平エッジに対してタグ付けした各グループの連続画素は、このグループの上側又は下側に同じようなことを満たす隣接画素がない場合に、水平エッジとして示されてもよい。これによって、水平及び垂直エッジを識別することができる。

エッジ幅
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの所定の割合よりも小さい画素を除去することによって精細化されてもよい。図５は、エッジのピーク勾配の大きさの３分の１に等しい精細化閾値を利用し、前記エッジ幅を元の９から減らした３に精細化する前記ステップを示す。このエッジの精細化は、勾配が多くの画素において緩やかな減衰を起こし得る多数の重なった陰影が画像にあっても、エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する主な勾配成分を識別することができるものである。
エッジ幅は、既知方法の何れか１つにより算出されてもよい。エッジ幅の算出方法の１つは、ただ、１つのエッジにおける画素数を数えることである。図５にはエッジ幅を算出する代替方法を示す。図５において、前記精細化閾値３０４からの補間により、精細化されたエッジの第１の外部画素（画素３）とその隣接した外部画素（画素２）との間に第１の小数画素位置（２．４）が求められる。同様に、第２の外部画素（画素５）とその隣接した外部画素（画素６）との間に第２小数画素位置（５．５）が求められる。前記エッジ幅は、この２つの小数画素位置間の差、５．５−２．４＝３．１として求められる。

エッジ幅を算出する方法の別の代替は、（エッジリファインメントの有無にかかわらず）画像信号について、エッジにまたがる差を計算しその差をエッジのピーク勾配で割ることである。

或いは、エッジ幅は、エッジを亘った画像信号の複数の二次導関数の一対の正及び負のピーク（又は補間されたピーク）の間の距離であってもよい。他の代案が可能であることは、以下この明細書において表題「エッジ鮮明度の度合い」の下で説明される。

シーンの照度と本質的に関係しないエッジ鮮明度の度合いとしては、幅が単に一例である。幅以外の他の代案があることは、この明細書において表題「エッジ鮮明度の度合い」下で見られる。

斜め補正
各エッジは、所定の方向（例えば、垂直方向又は水平方向）又は他の垂直な所定の方向（例えば、水平方向又は垂直方向）に指定されていてもよく、この指定されたエッジ方向に対して垂直な方向に測定したエッジ幅を有していてもよいが、それらのエッジが現れる画像において異なる画像信号値の複数の領域間の境界は、前記所定方向のいずれかに正確にアライメントされていなくてもよく、また一般にされていない。図６Ａにおいて、境界（陰影付きの帯）は、垂直鎖線に対して斜め角Φ傾斜しており、幅ａは、垂直方向（例えば、水平方向）で測定していることを示している。しかしながら、幅ｂ（図に示す）は、境界方向（これもまた境界の一部をなすエッジの方向）に垂直な方向において測定しており、幅ａよりも境界の幅（また、エッジの幅）として、より適切である。それぞれのエッジ方向から垂直には測定していないこのような幅ａは、長くなりすぎる傾向にあり、それぞれの境界の実際の厚さを表していない。

複数のエッジ幅からフォーカス信号を算出するために、これらの所定方向のうちの一方又は他方において測定された前記複数のエッジ幅が、それらをそれぞれのエッジの方向に垂直する方向での幅に低減させることにより補正される。前記エッジ検出・幅測定ユニット２０６は複数のエッジ幅に対してこのような補正を行う。図６Ａに示すように、前記測定された幅ａは、直角三角形の斜辺の長さである。前記直角三角形は、その底辺（幅ｂでマークする）が陰影付きの境界を垂直（これによって前記エッジ方向に垂直）に越えており、角度Φを有している。そして、前記補正された幅ｂは、前記エッジ方向に垂直な方向への前記測定された幅ａの投影から得られ得る。基本三角法から、この投影は、ｂ＝ａｃｏｓ（Φ）から求められるが、２０％以下の正確性が得られば、近似値を使ってもよい。前記角度Φ又はｃｏｓ（Φ）そのものは、この技術において知られている、画像におけるエッジの方向を求めるための何れかの既知方法、又は図７に示すフローチャートに記載されるより正確な方法によって、求められ得る。

それぞれの水平又は垂直エッジのエッジ幅は、前記水平又は垂直配向（所定の方向）からの斜めに対して補正されてもよい。図６Ａ、６Ｂは、垂直線から傾斜した境界（及びこれによって前記境界を形成する複数のエッジ）について水平方向に測定されたエッジ幅に対する補正計算を示す。図６Ｃ、６Ｄは、水平線から傾斜した境界（及びこれによって前記境界を形成する複数のエッジ）について垂直方向に測定されたエッジ幅に対する補正計算を示す。前記補正は、所定の方向（例えば垂直方向又は水平方向）に測定された前記エッジ幅に因子ｃｏｓΦ（ただし、Φは前記所定の方向からの斜め角）を乗じることにより行われてもよい。
例えば、図７は、１つの垂直線から傾斜した複数のエッジについてのエッジ幅を斜め補正するためのプロセスのフローチャートを示す。（水平エッジについては、フローチャートにおいて「行」を「列」に置換し、「水平」で「垂直」を置き換える。）

ステップ５０２からステップ５０６において、斜め角Φが求められる。それぞれの垂直エッジに対して、ステップ５０２において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配ｘを求める。ステップ５０４において、前記列の位置に沿って、２つの画素以内で垂直勾配の大きさがピークに達する位置を求め、そしてこの垂直勾配ｙを求める。

ステップ５０６において、斜め角Φ＝ｔａｎ^−１（ｙ／ｘ）を求める。ステップ５０６において、斜め角がルックアップ表を調べることによって求められ得る。ステップ５０２〜５０６は、斜め角を求める１つの特定手順及び方法を示しているが、その代わりに当該分野に公知の他の手順及び方法を使用してもよい。

最後に、ステップ５０８において、当業者が実際によく行うように、ｃｏｓ（Φ）で又はその近似値で乗算することにより前記エッジ幅を縮小する。

図７に示すプロセスの第１の変形としては、入力値ｘ及びｙの種々の組み合わせに対するエントリーを有するルックアップ表を提供することに、ステップ５０６及び一部のステップ５０８を置き換える。入力値ｘ及びｙの組合わせのそれぞれに対して、前記ルックアップ表はエッジ幅補正因子を返す。前記ルックアップ表により出力されるエッジ幅補正因子は、ｃｏｓ（ｔａｎ^−１（ｙ／ｘ））の２０％以下（好ましくは５％以下）の近似値であってもよい。そして、前記エッジ幅は、この補正因子で乗算されて斜め補正されたエッジ幅を形成する。
第２の変形としては、垂直勾配ｙと水平勾配ｘとの商ｙ／ｘを算出して商ｑを発生し、そしてｑを使用してｑの各種の値のエントリーを有するルックアップ表に入力する。ｑのそれぞれの値に対して、前記ルックアップ表はエッジ幅補正因子を返す。前記エッジ幅補正因子は、ｃｏｓ（ｔａｎ^−１（ｑ））の２０％以下（好ましくは５％以下）の近似値であってもよい。

斜め角Φ（又はその近似値。それによって、前記補正因子の正確性が２０％以下になる。）を求めてから、それによって補正因子ｃｏｓ（Φ）（又はその近似値）を求め、又は（第１及び第２の変形に記載したように）前記斜め角Φを求めずに補正因子を直接に求めるためには、ステップ５０２〜５０６でｘ及びｙの値を得てもよいが、その代わりに他の方法によってこの２つの値を求めてもよい。
第３の変形としては、前記エッジにおける複数の画素のそれぞれに対して次のことを実行する。（ａ）画素について水平勾配ｘ及び垂直勾配ｙの両方を求める。（ｂ）前記画素についてｑ＝ｙ／ｘを求める。そして、（ｃ）ｑに対応する補正因子（例えば、ｃｏｓ（ｔａｎ^−１（ｑ））又はその２０％以内の近似値）を求める。最後に、前記複数の画素のそれぞれからの補正因子において平均化することによって前記エッジ幅の補正因子を求める。前記平均値は、重み付け平均値、例えば、比較的大きい水平勾配を有する画素に比較的小さい水平勾配を有する別の画素より大きい重みを与えるものであってもよい。これらの方向や他の方向に沿って別の変形が可能である。

選別閾値
それらのピーク勾配の大きさが隣接する比較的広いエッジのピーク勾配の大きさの所定の割合未満であれば、隣接した複数のエッジがフォーカス信号に寄与することをすっかり排除する又は衰減させることができる。図９Ａ、９Ｂ及び９Ｃは検討されている問題を示す。

図９Ａは、それぞれが２画素分の幅の２つの狭い黒色空間によって隔てられた３つの垂直白色バーを示す。前記真ん中の白色バーは２画素分の幅の狭いバーである。図９Ｂは、鮮明な画像及びぼやけた画像のそれぞれについて図９Ａ中の画像において水平に描いた画像信号を示す。図９Ｃは、前記鮮明な画像及びぼやけた画像について図９ＢのＳｏｂｅｌｘ勾配を描いている。図９Ｃにおいて、前記ぼやけた画像の第１のエッジ（画素２〜５）は前記鮮明な画像の第１のエッジより広く、そして、予想されるように、最後のエッジ（画素１３〜１５）も同じである。しかし、２つの最も幅狭いエッジ（画素９と１０、及び画素１１と１２）は両方の画像において２という幅がある。図９Ｂにおいて、画素９と１０及び画素１１と１２における対応する傾斜は、それぞれ２つの画素で遷移を完成する。しかし、前記ぼやけた画像は、比較的広いエッジから比較的幅狭いエッジへのピーク勾配の大きさが５０％も著しく減少されている。一方、前記鮮明な画像は、比較的広いと比較的幅狭いエッジとの間で変化が１０％未満である。

反対符号の勾配を有する比較的広いエッジに隣接する比較的幅狭いエッジのピーク勾配の大きさの（例えば２０％以上の）著しい減少は、前記ぼやけた画像がよくフォーカスされていないことを示唆する。従って、前記比較的幅狭いエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信頼すべきではない。

同様に、互いに緊密に近接していれば、例えば、１画素（「最小エッジ隙間」）しか離れていなければ、それらのエッジの幅が小さくても、交互勾配極性を有する互いに隣接する複数のエッジは、前記ぼやけた画像が鮮明であることを示唆するものであるとして、信用すべきではない。前記最小エッジ隙間は、（例えば１又は２又はその間）画素数で表す。

さらに、消去閾値よりも小さいピーク勾配を有するので１つのエッジが消去され得ると仮定すると、２つの互いに隣接するエッジの一方又は両方からの寄与を消去又は降格させる条件として、次の条件を用いてもよい。すなわち、２つの連続エッジは、同じ勾配極性を有し、かつ、最小エッジ隙間の２倍に鮮明エッジ幅（鮮明エッジ幅とは、鮮明なエッジのエッジ幅を示すように割り当てられる数である。）を足した距離以下離れるという条件である。
前記エッジ検出・幅測定ユニット２０６は、比較的広いエッジによって設定された選別閾値、及びオン／オフできる変調選別フラグに基づき、ぎっしり詰まっている比較的幅狭いエッジを消去するための下記のアルゴリズムを実行することができる。

それぞれのエッジに対して、反対極性の直後のエッジに用いられる選別閾値及び選別フラグは、図１０に示すフローチャートのプロセスによって決定される。

前記選別閾値及び選別フラグが与えられると、下記条件の１つが成立しなければ、１つのエッジが消去される。（ａ）このエッジに対して選別フラグがオフになる。（ｂ）前記エッジのピーク勾配の大きさがこのエッジに対する選別閾値以上である。条件（ａ）及び（ｂ）には、条件（ｃ）エッジ幅が鮮明エッジ幅＋１以上であることが加えられてもよい。ここで、１つの数が、１つの鮮明なエッジのエッジ幅を指定するように鮮明エッジ幅に割り当てられるが、前記「＋１」は、エッジが（ａ）及び（ｂ）を満たさないと当該エッジが消去される鮮明エッジ幅を超えたエッジ幅の範囲を設定するように変更されてもよい。図９Ａ〜９Ｃに示す実例には、鮮明エッジ幅が２であってもよい。図１０はそれぞれのエッジについて選別閾値及び選別フラグを決定するフローチャートである。垂直エッジに対しては、行に沿って左から右へ走査すると仮定しているが、これに限定されない。（水平エッジに対しては、列に沿って上部から底部へ走査すると仮定しているが、これは必須ではない。）鮮明エッジ幅に１つの数が割り当てられ、図９Ａ〜９Ｃに示す実例では２であってもよい。ステップ７０２において第１のエッジで開始し、ステップ７２０において、それぞれのエッジに対して、そのエッジ幅が１に鮮明エッジ幅を加えたもの以上になるか否かのクエリーを行い、前記値１はここで説明に用いられる最小エッジ隙間値であるが、異なる値（例えば０．５〜２．０の値）を使用してもよい。「はい」の場合、前記エッジが比較的広いエッジであり、ステップ７０６でその後、反対極性を有する直後のエッジに対する選別閾値を前記エッジのピーク勾配の大きさのβ倍に設定し、βが０．３〜０．７で、好ましくは０．５５であり、そしてステップ７０８でその後、次のエッジに対して選別フラグをオンにし、引き続き次のエッジを処理する。「いいえ」の場合、前記エッジが比較的広いエッジではなく、ステップ７３０でその後、このエッジと同じ勾配極性を有する前のエッジとのある間隔が前記最小エッジ隙間の２倍（又は、他の異なる所定の数）に鮮明エッジ幅を加えたものより大きいか、かつ、反対極性を有する直前のエッジ（もし存在する場合）との間隔が前記最小エッジ隙間より大きいかを調べる。「はい」とすると、ステップ７１０でその後、次のエッジに対して前記選別フラグをオフにする。「いいえ」とすると、次のエッジに対して前記選別フラグ及び前記選別閾値を維持し、次のエッジへ進む。βは１つの所定の小数であってもよく、又は所定の式によって算出される小数、例えば１つのエッジ幅の関数であってもよい。後者の場合には、βは前記画像の部分によって異なってもよい。

代替の実施例
ピクセルグリッドの方向性：
フォーカス信号発生器１２０によって入力された画像の画素は、画像の長方形のグリッドに対して４５°回転させた矩形の格子（“ピクセルグリッド”）において配置されることができる。この場合、エッジを検出する操作と幅を測定する操作とのＸ方向及びＹ方向は、同様に回転させることができる。

エッジ鮮明度の度合い：
以上の説明で、エッジの画像鮮明度は、そのエッジを亘った一連の勾配から測定されたエッジ幅で表され、その勾配はエッジを亘って指向する。同様の原理に従って動作する代案がある。本質的に、このようにして生成したフォーカス信号が可能にならせるものは、個々のエッジが、画像データの（例えば２０％）拡大縮小と無関係または（例えば画像データの２０％縮小に対して５％より多く変化しないように）本質的に無関係である量（以下“エッジ鮮明度の度合い”）を貢献することであり。その結果、フォーカス信号は、従来の対比検出方法と比較されると、画像のシーンの照度またはシーン内の物体の反射率から無関係であるまたはそれへの依存がはるかに少ないことがある。

さらに、本フォーカス信号発生器１２０において、画像データを２０％縮小することと無関係又は本質的に無関係であるという上記特性を有する任意のエッジ鮮明度の度合いは、ある勾配または補間された勾配から同じ勾配値がある別の勾配または補間された勾配まで測定された幅の良い代替である。

代替のエッジ鮮明度の度合いの単位は、好ましくはエネルギーの単位を含まない。エッジ鮮明度の度合いの単位は、次の二点に基づいて決定されている。（ａ）一次エッジ検出演算子が動作する画像データの各サンプルは、エネルギーの単位があり、（ｂ）サンプル間の距離は長さの単位がある。点（ａ）および（ｂ）に基づいて、勾配値の単位は、エネルギーの単位割る長さの単位である。同様に、エッジまたはエッジのどれかの未分割部分を亘る対比は、エネルギーの単位がある。したがって、対比は、その単位が、対比がシーンの照度および物体の反射率によって影響されることを明らかにならせるので、良好なエッジ鮮明度の度合いではない。エッジのピーク勾配の単位は、エネルギーの単位を含んでピーク勾配がシーンの照度の変化に対して敏感であることを示すので、良好なエッジ鮮明度の度合いでもない。一方、エッジのピーク勾配割るエッジの対比は、その単位が長さの単位の逆数であ るので、良好なエッジ鮮明度の度合いである。別の例として、勾配値がピーク勾配の所定の割合を超える勾配のカウントは、単に、隣接する勾配間の間隔の大きさで量子化された距離の度合いであって長さの単位があるので、良好なエッジ鮮明度の度合いである。

ここで、エッジの鮮明度の度合いを生成することにおいては、ある勾配が、前記エッジを検出するために使用された一次エッジ検出演算子または別の一次微分演算子（すなわち勾配演算子）から生成されてもよいことを留意する。例えば、ソーベル演算子（または、例えばラプラス演算子のような二次エッジ検出演算子）が使用されてエッジを検出できるが、ロバーツ演算子は、その核は単に［−１、＋１］及びその転置であって画像データのサンプルを単に勾配演算子の向き内の次のサンプルから減算し、そのように結果された勾配は、その２つのサンプル間の中間に位置され る。エッジは、エッジ鮮明度の度合い、または次のセクションにおいて説明する形状の度合いのどれかを生成する際に使用される１つ以上の微分演算子と独立して、一次より高い次エッジ検出演算子を検出できる。

それを違うように考えると、エッジ鮮明度の度合いの単位は、長さの単位の一冪、例えば、長さの単位の二乗、長さの単位の逆数、長さの単位の自体、又は長さの単位の平方根であるべきである。

そのような代替の鮮明度の度合いのどれでも、フォーカス信号発生器１２０においてエッジ幅を置き換えることができ る。

エッジの傾きに対して補正するために、図６Ａ−６Ｄ及び図７を参照して説明したような前記補正係数（以下、「幅補正係数」）は、同じ冪を採用さして変換するべきである。例えば、エッジ鮮明度の度合いがピーク勾配割る対比であって長さの単位の逆数を得る場合、エッジ鮮明度の度合いのための補正係数は、図６Ａ〜６Ｄおよび図７を参照して上文に説明した補正係数の逆数である。別の例として、その単位が長さの単位の二乗である場合、エッジ鮮明度の度合いは、そのための傾き補正係数が幅補正係数の二乗であるべきである。

代替のエッジ鮮明度の度合いのいくつかの例は、図２４Ａ−Ｄにおいて図面を参照して下文に説明される。

図２４Ｃは、連続した勾配間の間隔の倍数である距離に対してプロットされた、エッジにまたがる一連の勾配、及びプロットされた一連の勾配の下ある網掛け領域の面積Ａ_３を示す。この例では、その領域が２つの勾配レベルＬ_１とＬ_２との間で形成され、これらは、一連の勾配の補間されたピーク勾配値（あるいは、ピーク勾配値）に関して、例えば補間されたピーク勾配値の所定の一部分として、定義できる。その網掛け領域は、その四隅で補間された勾配がある。面積割る補間されたピーク勾配値（あるいは、ピーク勾配値）は、長さの単位があるので、良好なエッジ鮮明度の度合いである。その領域の代替的な定義が可能であることを留意する。例えば、その領域が勾配レベルＬ_１によって上方から有界しなく、一連の勾配によって上方から有界できる。

図２４Ｄは、連続した勾配間の間隔の倍数である距離に対してプロットされた、あるエッジを亘った画像データのサンプルの一連の勾配と、重心３４０１（すなわち、モーメントの中心）と、その重心から（勾配値ｇ_２とｇ_３とｇ_４とｇ_５とｇ_６とがある）それらの勾配までの距離ｕ_２とｕ_３とｕ_４とｕ_５とｕ_６と、を示す。その重心についてそれらの勾配のｋ次中心積率（ｋは偶数）、すなわちその重心からそれらの勾配までの距離の、それぞれの重みがそれぞれの勾配の大きさである加重平均は、良い鮮明度の度合いである。例えば、ｋは、２であることができ、それは、一連の勾配が確率分布であるかのように、エッジ鮮明度の度合いをある分散にならせる。この例では、エッジ鮮明度の度合いの単位は、長さの単位の二乗である。より一般的には、エッジ鮮明度の度合いは、前記複数の勾配の、一連の勾配の複数の勾配に対して相対に事前定義された位置からの距離の関数であってもよい。重心のほかに、その所定の位置は、一連の勾配の補間ちれたピーク位置であてもよい。エッジの勾配の真部分集合は、この計算に参加するためにあらかじめ定義された基準に従って選択されることができる。例えば、勾配は、それらの勾配値がピーク勾配と一連の勾配の補間されたピークの勾配値とのどれかの所定の部分以上であることが要求されてもよい。

図２４Ａは、連続した二次導関数間の間隔の倍数である距離に対してプロットされた、あるエッジを亘った画像データの一連のサンプルの一連の二次導関数を示し、（ａ）一対の正及び負のピークの間の幅Ｗ_Ｓと、（ｂ）所定の大きさｈ_１がある一対の最も外側の補間された二次導関数の間の幅Ｗ_１と、（ｃ）前記所定の大きさｈ_１がある一対の内側の補間された二次導関数の間の幅Ｗ_２と、（ｄ）（一対の正及び負のピーク間の）ゼロ交差から前記所定の大きさｈ_１がある最も外側補間された二次導関数までの距離Ｄ_１と、を示す。前記３つの幅Ｗ_ＳとＷ_１とＷ_２とのどれかも、エッジ鮮明度の度合いとして用いることができる。

また、図２４Ａの例において、エッジ鮮明度の度合いは、（一対の正及び負のピークの間にあり、また補間されていてもよい）ゼロ交差から複数の二次導関数までの距離の加重和であってもよく、それらの重みは、前記複数の二次導関数のそれぞれの大きさである。より一般的には、エッジ鮮明度の度合いは、エッジを亘った複数の二次導関数に対す る所定の位置からそれらの二次導関数までの複数の距離の関数であってもよい。そのゼロ交差位置のほかに、重心は、その複数の重みがそれらの二次導関数の大きさであると、前記所定の位置の良い候補である。前記所定の位置の別の良い候補は、その一対の正及び負の勾配間の中間点がであつてもよい。

図２４Ｂは、連続したピクセルの間の間隔の倍数である距離に対してプロットされた、エッジの複数のピクセルからの一連の画像データのサンプルを示す。それは、（ａ）そのエッジの両端の２つのサンプルの間の幅Ｗ_ｅｄｇｅおよび対比Ｃ_ｅｄｇｅと、（ｂ）サンプル値の最も急な変化がある一対のサンプルの間の（ロバーツ演算子によって生成された）ピーク勾配値ｇ_ｐｅａｋと、（ｃ）そのエッジに属し対比Ｃ_１と幅Ｗ_{ｐａｒｔ１}とがある最も狭い未分割部分と、（ｄ）そのエッジに属し対比Ｃ_２と幅Ｗ_{ｐａｒｔ２}とがある最も狭い未分割部分と、を示す。前に述べたように、ピーク勾配値ｇ_ｐｅａｋ割る対比Ｃ_ｅｄｇｅは良いエッジ鮮明度の度合いである。幅Ｗ_ｅｄｇｅは別の良いエッジ鮮明度の度合いである。幅Ｗ_{ｐａｒｔ１}及び幅Ｗ_{ｐａｒｔ２}はまた良い代替手段である。対比Ｃ_１および／または対比Ｃ_２は、エッジ対比Ｃ_ｅｄｇｅの所定部分として定義できる。あるいは、それらのどれかは、例えばピーク勾配ｇ_ｐｅａｋのようなエッジのピーク勾配の所定の倍数として定義できる。また、「最も狭い未分割部分」は、例えば図２４Ｂにおいて示された四角のような画像データの補間されたサンプル、又は最寄りの画素カウントになさせる切り捨てまたは切り上げによって、区切つてもよいことを留意する。

エッジの予選
エッジの予選のための以下の方法は、エッジ検出および幅測定ユニット２０６で実行してもよく、図２７−３５を参照して説明する。

この方法では、前記勾配プロファイルは、参照勾配のシーケンスと比較される。それらの参照勾配の各々は、シーケンス内の次の参照勾配との間隔および勾配値を有している。それらの参照勾配は、それらの間の所定の関係に従って生成される。例えば、このシーケンスは、ルックアップテーブルから生成するおよび／またはそこにあるシーケンスとして記憶されることができる。別の例として、前記シーケンスは、数式を介して定義することができる。

図２７は、それぞれ位置２，３，４及び５にある勾配３５０２、３５０４、３５０６、３５０８（マーカ「×」）からなる勾配プロファイルと共にプロットされた参照勾配３４０２、３４０４、３４０６、３４０６のシーケンスを示す。参照勾配３４０２は、次の参照勾配３４０４までの間隔Ｄ１を有する。参照勾配３４０４は、次の参照勾配３４０６までの間隔Ｄ２を有する。参照勾配３４０６は、次の参照勾配３４０８までの間隔Ｄ３を有する。参照勾配３４０２、３４０４、３４０６および３４０６は、位置３および４の間の参照ピーク位置３４０１を有するベル形の参照勾配曲線３４００（点線の曲線）上にある。前記参照勾配曲線３４００は、参照勾配が参照ピーク位置３４０１からの距離を考えて有するべきである値を表す。

参照勾配曲線３４０２は、数式を介して定義することができる。数式は、参照勾配曲線３４０２の異なるセクションごとに異なる数式を使用することができる。例えば、双曲線式において参照勾配曲線３４０２の参照ピークから参照ピークの５０％までの範囲を定義し、また、３次多項式において曲線の各側で参照ピークの５０％下の範囲を定義することができる。好ましくは、この数式は、一つ以上のパラメータ、例えば、参照幅、エッジ傾斜角（すなわち、エッジの傾斜角度を一致させるために使用することができる）、ピーク勾配レベル、（カメラのズームレンズの）ズーム倍率、（カメラのレンズの）開口サイズ等のうちの任意の１つ以上によって、パラメータ化される（または関連する）。その式を定義する係数は、ルックアップテーブルにおいて（例えば、不揮発性メモリにおいて、又は不揮発性メモリからＳＲＡＭやＤＲＡＭのなどの読み取りと書き込み可能なメモリにロードされて）格納され、さらに、それらのパラメータ値のさまざまな組み合わせによって（つまりキー）インデックス付きであることができる。

あるいは、それらの参照勾配がルックアップテーブルを介しておよび／またはルックアップテーブルにおいて定義されてもよい。そのルックアップテーブルは、複数のシーケンスを指定することができる。各シーケンスは、各参照勾配の勾配値とシーケンス内の次の参照勾配値までの間隔によって、ルックアップテーブル内において指定されている。その間隔は、そのシーケンスを通じて一定であれば、シーケンス全体に対して一度ずつ指定することもできる。その間隔は、すべてのルックアップテーブルのシーケンス全体を通じて一定であれば、ルックアップテーブルに対して一度ずつ指定することもできる。あるいは、その間隔は、デフォルト値、例えば１．０をとることができる。参照ピークは、シーケンス内のある参照勾配に対する相対的な位置（すなわち間隔およびれは前か後か）とピーク勾配レベルとを有するように、シーケンスに対して指定することができる。

前記参照勾配が予め定められた参照勾配発生器とするソース（例えば、前記ルックアップテーブル又は前記数式）から直接的に生成された参照勾配から補間されることができる。参照勾配を勾配プロファイルの急勾配の所に補間が有用である可能がある。例えば、図２７では、補間された参照勾配３４１２（マーカ「＋」）が勾配３５０４の位置３に参照勾配３４０２、３４０４、３４０６から補間される。補間された参照勾配は、同様に、図２８〜３５に「＋」マークが付いている。

一方、勾配は、参照勾配が勾配プロファイルに対して位置される所に勾配プロファイルから補間されることができる。参照勾配がある所に勾配を補間することが有用である可能がある。例えば、補間された勾配３５１４（マーカー「□」）は、参照勾配３４０２に近いように勾配３５０２、３５０４、３５０６から補間される。補間された勾配は、同様に、図２８〜３５に「□」マークされている。

前記ルックアップテーブルは、異なるパラメータ値の組み合わせに複数のシーケンスのそれぞれを格納することができる。各シーケンスは、例えば、参照幅、エッジ傾斜角、ピーク勾配レベル、（カメラのズームレンズの）ズーム倍率、（カメラのレンズの）開口サイズ等の任意の１つ以上のパラメータによってパラメータ化される（または関連される）ことができる。例えば、ルックアップテーブルに格納されたあるシーケンスは、２倍のズーム倍率とＦ３．５の絞りとピークの５０％での４．５の幅と３０度のエッジ傾斜角とに対応する可能があるが、別のシーケンスは、０．５倍のズーム倍率とＦ２．８の絞りとピークの５０％での３．７の幅と０度のエッジ傾斜角度とに対応する可能がある。

前記ルックアップテーブルは、ＲＡＭ（ＳＲＡＭまたはＤＲＡＭ）または不揮発性メモリ、例えば、フラッシュメモリ、または単にレジスタのバンクであり得るメモリにおいて記憶されてもよい。前記ルックアップテーブルは、撮像システム１０２内、焦点信号発生器外の不揮発性メモリにおいて記憶されてもよい。

前記ルックアップテーブルに格納されたシーケンスの参照勾配の真部分集合で構成されている短いシーケンスは、前記ルックアップテーブルにおいて格納されたシーケンスから抽出されることができる。抽出された参照勾配の間の間隔と、参照ピークに対する抽出された参照勾配の相対的な位置などの他のデータと、を共に抽出することができる。例えば、前記ルックアップテーブルにおいて格納され３０つの参照勾配有するシーケンスは、連続する参照勾配の間の０．２の均一な間隔を有することができ、かつこのシーケンス中の第１６の参照勾配と一致する参照ピークを有していてもよいのに対し、抽出は第７と第１３と第２２の参照勾配を抽出してこれら３つの参照勾配からなる短い配列を形成する。本実施例の抽出されたシーケンスでは、第１の参照勾配から第２の参照勾配までの間隔が１．２であり、第２の参照勾配から第３の参照勾配までの間隔が１．８であり、また、参照ピークは、第２および第３の参照勾配の間にあることが注意し、並にそれから第２の参照勾配までの間隔が０．６である。

参照勾配のシーケンスは、勾配プロファイル又はその一部に曲線に当てはめることができる。例えば、前記シーケンスは、図３０が示すように、ピーク勾配からとその５０％までの勾配プロファイルに当てはめられることができる。別の例として、前記シーケンスは、図３１が示すように、例えばピーク勾配からその３０％までのように勾配プロファイルの片側のみに当てはめられてもよい。好ましくは、少なくとも一つの参照勾配がピーク勾配（あるいは、補間されたピークの勾配）の勾配レベルの７０％以上の勾配値を有する。より好ましくは、８５％以上である。また、好ましくは、少なくとも一つの参照の勾配が７０％以下の勾配値を有し、より好ましくは、ピーク勾配（あるいは、補間されたピークの勾配）の５０％未満である。全ての参照勾配値は、曲線適合を改善するためにスケーリング係数を乗じてもよい。曲線適合されたすべての勾配値は、曲線適合を改善するためにスケーリング係数を乗じてもよい。

全ての参照勾配は、より良好曲線適合を達成するために、勾配プロファイルに対して一緒に位置にシフトされてもよい。例えば、勾配プロファイルは、第１、第２、第３及び第４の勾配を有していてもよいし、ある勾配から次の勾配まで１．０の均一な間隔を有することができるが、第１、第２、第３及び第４の参照勾配からなり、ある参照勾配から次の参照勾配までの１．０の均一な間隔を有する参照勾配のシーケンスは、図３２に示されているように、第１の参照勾配が第１および第２の勾配の間であり、かつ第１の勾配から０．２の間隔を有し、第２の参照勾配が、第２及び第３の勾配の間であり、かつ第２の勾配から０．２の間隔を有するように、勾配プロファイルに対して位置するなどができる。あるいは、シーケンスは、図３３に示すように、第１の参照勾配から第１の勾配までの間隔が０．５であり、第２の参照勾配から第２の勾配までの間隔が０．５であるなどのように配置されることができる。後者は、最も近い対の勾配／参照勾配を結合する線分（太い実線）の全長を減少させることを指定する判断基準の下、良好曲線適合をもたらす。より良い曲線適合を見つけるための代替判断基準がある。例えば、代替には、参照勾配が補間されて勾配と（またはその逆）つがいになり、そして、勾配（勾配参照）と対になった参照勾配（対内の勾配）との間の差の２乗和をとることである。各対内の勾配及び参照勾配は、必ずしも正確に同じ位置を共有する必要はないが、好ましくは０．２５以下で離間され、より好ましくは０．１以下にしている。さらな他の選択肢がある。

参照ピーク位置が参照勾配のシーケンスと共に提供される場合、そのシーケンスは、所定の方法で勾配プロファイルから決定された位置に参照ピークを合わせて勾配プロファイルに位置合わせすることができる。この位置を決定するための種々の方法がある。一種方法では、この位置は、勾配プロファイルの両側のそれぞれに１つずつ、所定の勾配レベル上であり２つの勾配／補間の勾配の間の中間点とすることができる。その所定の勾配レベルは、図３４に示すように、ピーク勾配又は補間されたピークの勾配から下への所定の割合として指定され得る。図３４において、参照ピーク位置３４０１は、勾配３８０２と補間勾配３８２４との間の中間点に一致させる。別の方法では、参照ピークは、図３５において示すように、補間されたピーク位置に位置合わせすることができる。より一般的にはまたは代替的には、そのシーケンスは、参照ピークが図３４の中間点（代替的には、補間されたピーク）の両側の勾配３８０４、３８０６のような１対の勾配の間に位置するように、勾配プロファイルに位置合わせすることができる。

勾配プロファイルは、シーケンスと比較されて所定の方法の下で、比較結果を生成する。この所定の方法は、曲線適合の基準のための方法に似るまたは似ない可能である。特に、そうすることが比較のための精度および／または精度を向上させる場合、その比較に補間された勾配／参照勾配を含まれてもよい。比較ための１つのやり方としては、勾配プロファイルの幅と参照シーケンスの参照幅との関係を評価することである。両方の幅は、ピーク勾配又は補間されたピークから下への所定の割合として予め決定されることができる勾配レベルで測定されることができる。例えば、図２７において、参照幅Ｗ_ｒｅｆや（補間された勾配３５１２と勾配３５０８の間で測定された）勾配プロファイル幅Ｗ_１の両方は、同じ勾配レベル（水平点線）を参照している。あるいは、それらは異なる勾配レベルで測定されることができる。例えば、参照幅は、理想的には、勾配プロファイルの幅の７０％であることが期待されてもよく、ただし、その参照幅は、参照勾配曲線の参照ピークから下へ３０％での参照勾配曲線の幅に対応し、また、勾配プロファイルの幅は、ピーク勾配または勾配プロファイルの補間されたピークから下へ５０％で測定される。その参照幅は、前記シーケンスと共にシーケンス発生器によって提供さる。あるいは、提供されたシーケンスから測定されてもよい。このやり方では、その比較は、所定の基準の下ではこれら２つの幅の類似または非類似の程度に基づいて、いいえ／はいの結果を報告してもよい。例えば、２つの幅の一方の所定の割合とその２つの幅の差を比較する方法。あるいは、その比較は、高い類似度を表すレベルから高い非類似性を示すレベルまで及ぶんでいる等級を報告パラメータをもたらし得てもよく、他のレベルは、それらの間の非類似性／類似性の中間レベルを表す。

勾配プロファイルと参照シーケンスを比較するための別のこのやり方は、ペア内の個々の勾配及び参照勾配の間で比較することである。図２７において示すように、勾配／補間された勾配３５１４、３５０４、３５０６、３５０８をそれぞれ参照勾配／補間された参照勾配３４０２、３４１２、３４０６、３４０８と対にしている。前者と後者との間の算術差分を評価され、そして、このような比較の一つ以上（例えば、算術差分）に基づいて、比較の最終結果は、バイナリ、いいえまたははいの様式に報告される、または類似性又は非類似性の異なる段階を報告されるように多段階の段階的な様式には報告される。例えば、図２８および図２９においては、（５対のうちの）各対の勾配及び参照勾配（いずれか又は両方が補間されておいてもよい）の隣では、マーカー「Ｉ」が配置されてそれらの勾配レベルが離れているどの程度を示す。各ペア内の勾配及び参照勾配は、必ずしも正確に同じ位置を共有する必要がなく、好ましくは互いの０．２５以内であり、より好ましくは互いの０．１以内であ。その比較は、５つの勾配レベル差分の中の最大に基づいて、バイナリ結果または段階的な結果を報告されることができる。代わりには、その比較は、５つの差分の自乗にわたる和の平方根に基づいて、そうするができる。参照勾配からの５つ勾配の偏差を定量的に表すための他の可能な方法があって、当業者が想起できる。バイナリ結果を報告するためには、そのような差分の１つ以上から生じる上述したような段階的な結果を所定の閾値と比較することができる。

一つ以上のシーケンスを選択されて勾配プロファイルを曲線適合されることができる。複数のシーケンスを選択した場合、勾配プロファイルに最適合のシーケンスを選択してその比較結果を報告することができる。（単数または複数の）シーケンスを勾配プロファイルに関連する１つ以上のパラメータに基づいて選択することができる。それらのパラメータは、例えば、ピーク勾配又は補間されたピークからへ下の所定の割合で測定された勾配プロファイルの幅、又は補間されたピーク位置からピーク勾配又は補間されたピークからへ下の所定の割合での勾配又は補間された勾配まで測定された勾配プロファイルの片側幅、又は勾配プロファイルを生じさせる又は勾配プロファイルに関連されたエッジの傾斜角度、又は勾配プロフィールの下（ピーク／補間されたピークからへ下の一定の割合まで）の面積、又はピーク勾配から補間されたピーク位置までの間隔、またはズームレンズのズーム率、またはレンズの絞りの大きさ、またはその他。

相違度が閾値を超えることを比較の結果で示す場合、フォーカス信号発生器は、フォーカス信号またはエッジカウントまたはフォーカス制御のための演算に入るのから、勾配プロファイルに関連されたエッジおよびその幅を脱強調するまたは完全に拒絶してもよい。

図３６の実施形態において示すように、パラメータ抽出器は、画像の勾配を受信して、それらの勾配のうちの勾配プロファイルから抽出された１つ以上のパラメータをシーケンス選択器へ出力する。このシーケンス選択器は、それらの一つ以上のパラメータを一つ以上のアドレスに変換する。シーケンス生成器は、こ（れら）のアドレスを受信して、それに応じて、１つ以上の参照勾配のシーケンス、又は対応する参照勾配曲線を定義する一つ以上のパラメータを評価ユニットに出力する。その評価ユニットは、曲線適合及び比較を行って比較結果を生成する。エッジの傾斜角度及びエッジ幅のような抽出されたパラメータは、評価ユニットに入力される。その評価ユニットは、曲線適合および／または比較を実行するための演算回路を備えている。その評価ユニットは、さらに、演算回路に接続されたメモリを含んでもよい。これらのブロックは、エッジ検出＆幅測定ユニット２０６の一部である。シーケンス／曲線生成と曲線適合と比較とのうちの一つ以上は、画像キャプチャシステム１０２内の不揮発性メモリにおいて記憶されたコンピュータ命令の制御の下に実行されてもよい。上記の方法は、エッジ検出および幅測定ユニット２０６で行ってもよい。

本開示において、エッジからの例えば勾配レベルのような量は、特な指定がない限りデフォルトではそれをエッジのピーク勾配値または補間されたピークの勾配値によって割ると、正規化されていると言われていることに留意したい。例えば、図２３Ｂにおいてピーク勾配３２１２が正確に１の正規化値があるが、図２４Ｃには、補間されたピーク３２７０がピーク勾配３２１２と異なっており、また、図２４Ｃに示した勾配をピーク勾配３２１２の代わりの補間されたピーク３２７０に関して正規化することがある。

長さフィルター
以下、長さフィルター２１２の機能について説明する。広義では、長さフィルター２１２は、それぞれが同様の配向の１つ以上のエッジに接続するエッジへの嗜好を作成する。同様の方向を有してその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有してグループにおいて互いに接続されたグループのエッジ（「連結エッジ」）は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるにつれ、指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば１０未満と弱いといった薄暗い又は短い露光の場合に用いることができる。前記嗜好は、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。

第１の方法としては、連結長さ閾値より小さい長さを有する垂直／水平連結エッジに属するエッジを消去する。前記連結長さ閾値は、前記対象領域が比較的薄暗い場合に比較的に大きくしてもよい。例えば、前記連結長さ閾値は、２のような小さな値から始まってもよいが、対象領域における信号対雑音比が５に低下される場合に８に増える。前記連結長さ閾値は、前記プロセッサー１１２、１１２’、１１２’’によって、例えば、信号１３２の一部となる図３に示すような「長さコマンド」信号で提供されてもよい。または、前記閾値は、式に基づいて前記フォーカス信号発生器で算出されてもよい。

第２の方法としては、それぞれのエッジに対して前記長さフィルター２１２で長さ重みを提供し、そしてこの長さ重みを前記フォーカス信号算出器２１０でのフォーカス信号の算出に適用する。比較的長い連結エッジの一部であるエッジは、比較的短い連結エッジの一部であるエッジより大きい重みを受け取る。例えば、前記長さ重みは、前記連結エッジの長さの平方であってもよい。従って、全ての寄与値を合計する前に、それぞれのエッジのフォーカス信号に対する寄与値に因子Ａ／Ｂを乗じることによって、フォーカス信号を形成してもよく、ここで、Ｂはフォーカス信号の算出に入る全てのエッジの長さ重みの合計であり、Ａは前記エッジの長さ重みである。同様に、エッジ幅のヒストグラム（信号１３４の一部として出力されてもよい）は、好ましくは、いずれのエッジも同様の寄与値（例えば＋１）を提供するのではなく、比較的長い連結エッジに属する複数のエッジが、それらのそれぞれのエッジ幅に対応するビンにより大きな寄与値を提供するようにすることができる。従って、例えば、それぞれのエッジはＡ／Ｃに寄与することができ、ただし、Ｃは前記エッジに亘るＡの平均値である。同様に、幅狭いエッジのカウントは、比較的長い連結エッジのメンバーとしてのエッジがより多く寄与するようにすることができる。従って、例えば、それぞれのエッジによる寄与は、Ａ／Ｄを乗じてもよく、ただし、Ｄは幅狭いエッジのカウントで数えられるエッジの間のＡの平均値である。

最上部（最左側）及び底部（最右側）のエッジを除き、それぞれのエッジが２つの他の垂直（水平）エッジ（一方のエッジはその上方（左側）、他方のエッジはその下方（右側）にある。）に接触する１群のＮ個の垂直（水平）エッジは、長さＮを有する垂直（水平）連結エッジである。前記上部（最左側）エッジは、その下方（右側）の１つのエッジのみに接触することが必要である。前記底部（最右側）エッジは、その上方（左側）の１つのエッジのみに接触することが必要である。

図８は垂直連結エッジ及びその長さを示す。図８において、セルＲ２Ｃ３及びＲ２Ｃ４は第１の垂直エッジを形成し、ユニットＲ３Ｃ３、Ｒ３Ｃ４及びＲ３Ｃ５は一緒に第２の垂直エッジを形成し、また、ユニットＲ４Ｃ４及びＲ４Ｃ５は一緒に第３の垂直エッジを形成している。前記第１及び第３の垂直エッジはそれぞれ１つの他の垂直エッジのみに接触するのに対し、前記第２の垂直エッジは２つの他の垂直エッジに接触する。前記第１、第２及び第３の垂直エッジは一緒に長さ３を有する垂直連結エッジを形成する。

垂直（水平）連結エッジに２つ以上の分岐がある、即ち、１行（列）に２つのエッジがある場合（図示せず）には、前記長さが連結エッジにおける総エッジ数として定義されてもよい。又は、前記長さは、その中の最上部（最左側）エッジから最底部（最右側）エッジまでの垂直（水平）距離に１を加えたものとして定義されてもよい。

上述した提案の他に、連結長さを定義する他の可能な方法がある。例えば、連結エッジの長さの定義は、前記長さが前記連結エッジにおける少なくとも３までのメンバーエッジ数に比例する特性を有することである。これは、前述した推理に合致しており、すなわち、互いに接触して互いに接続される複数のエッジが多ければ、連結エッジがノイズに起因される確率が指数関数的に低くなり、これによって、前記長さが、連結エッジにおける適当な数以下のメンバーエッジ数に比例することになるべきであり、前記適当な数とは、当該連結エッジの信頼性を単一のメンバーエッジの信頼性よりも十分に向上させる数である。前記長さフィルター２１２は、連結長さ１を有するエッジを弱め、又は消去して、広義では区別することができる。前記長さフィルター２１２は、連結長さ２を有するエッジを区別することができる。前記長さフィルター２１２は、連結長さ３を有するエッジを区別してノイズによる影響をさらに低下することができる。前記長さフィルター２１２は、前記プロセッサーからのコマンドに基づいてこれらの動作の何れか１つを行うことができる。

図３には前記エッジ検出・幅測定ユニット２０６の直後に設けることを示しているが、その他の配置も可能である。例えば、前記フォーカス信号算出器２１０の前に前記長さフィルター２１２が挿入されてもよい。前記長さフィルター２１２によって処理された複数のエッジは、「精細」信号に応じて前記幅フィルター２０９を通過するエッジである。

フォーカス信号発生器の代替実施形態においては、前記精細スイッチ２２０を除去することにより、前記フォーカス信号算出ユニット２１０に、前記幅フィルター２０９にろ過されていない第１のデータ群及びろ過された第２のデータ群を受信させ、そして、前者のデータ群の計算により概略フォーカス信号を取得し、後者のデータ群の計算により精細フォーカス信号を取得するように、前記両データ群に対して計算を行って異なるフォーカス信号を取得し、さらに、この２つの信号を前記プロセッサー１１２、１１２’に出力してもよい。

幅フィルター
次に、図３を参照して前記幅フィルター２０９の動作を理解する。図１１は複数のエッジ幅のヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントのグラフを描いている。エッジ幅２（即ち、前記鮮明エッジ幅）には、前記画像に複数の鮮明なエッジが存在することを示唆する１つのピークがある。しかし、エッジ幅４及び５には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。フォーカス信号を算出するには、幅が所定の範囲（「幅狭いエッジの範囲」）外にある複数のエッジは、前記幅フィルター２０９によって、弱めるようにしてもよい。前記幅フィルター２０９は、前記フォーカス信号の算出に用いるために、前記幅狭いエッジの範囲外にある複数のエッジ幅に対して比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み１．０が割り当てられるが、上限８４０の右側へ＋１よりも大きく離れた複数のエッジ幅に対して重み０が割り当てられ、その間の複数のエッジ幅に対して０〜１．０の重みが割り当てられ、エッジ幅と共に単調に低減される。または、前記幅フィルター２０９は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適切な上限及び下限８３０、８４０は、画素アレイ１０８でのクロストーク、フォーカス信号発生器１２０に受信された画像に対して欠落色を発生する補間方法及び前記エッジ検出・幅測定ユニット２０６に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適切な上限及び下限８３０、８４０及び前記パラメータの鮮明エッジ幅は、前記画像ピックアップ装置１０２、１０２’に対して、種々の鮮明度を有する画像を取り込んでエッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、鮮明な画像のピークがエッジ幅２にある場合、適切な上限及び下限はそれぞれ、１．５及び３であり、前記鮮明エッジ幅は２．０に設定されてもよい。前記下限と上限及び鮮明エッジ幅は、上述したように決定され、そして前記プロセッサー１１２、１１２’’によって前記フォーカス信号発生器１２０、１２０’、１２０’’に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号が、幅狭いエッジの範囲外にあるエッジ幅を弱める。

また、前記幅フィルター２０９は、エッジ幅が幅狭いエッジの範囲内にある複数のエッジの総数を算出し、出力信号１３４の一部として出力してもよい。幅狭いエッジのカウントは、前記フォーカスシステムコントローラ（プロセッサー１１２）に入力されて、鮮明な画像の存在の検出及び／又は追跡の開始のために用いられてもよい。

フォーカス信号
次に、図３の前記フォーカス信号算出器２１０を参照すると、前記フォーカス信号算出器２１０は、複数のエッジ幅を受信してフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号＝Σｗ_ｉｅ_ｉ／Σｗ_ｉ、ただし、ｅ_ｉはエッジ幅、ｗ_ｉは重み、ここで、ｗ_ｉ＝ｃ_ｉ、ｃ_ｉはエッジ幅ｅ_ｉにおけるエッジのカウントであり、ｉは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、ｗ_ｉ＝ｃ_ｉｅ_ｉであってもよい。また、重みで表される前記幅フィルター２０９からの嗜好は、それぞれのエッジ幅をさらに乗じてもよい。例えば、前記幅フィルター２０９により発生される重みΩ_ｉに対しては、ΣΩ_ｉ＝１、フォーカス信号はΣΩ_ｉｗ_ｉｅ_ｉ／ΣΩ_ｉｗ_ｉとして算出されてもよい。制御信号「精細」がオン、且つ「排除」がオフになると、図１１に示す実例では、前記フォーカス信号は、２．０という鮮明なエッジ幅の値に非常に近い値となり、これは、２．０〜３．０のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実際に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、且つ「排除」がオフになると、前記フォーカス信号は５．０に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ２２０をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ２２０がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ２２０がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター２１２により表現される前記強調は、複数の方法のうちの１つにより、前記フォーカス信号に組み込まれてもよい。例えば、フォーカス信号の計算への組み込みを弱めるようにエッジを消去してもよく、または、エッジの、対応するエッジ幅のビンのカウントｅ_ｉへの寄与において、その対応する重みを低減してもよい。

図１５は、オブジェクトが鮮明にフォーカスされている所の近傍のフォーカス位置の調節に対する前記精細フォーカス信号の応答をスケッチする。前記精細なフォーカス信号は、大体、前記フォーカス位置により画像が鮮明にフォーカスにされるような鮮明エッジ幅において、極小値に達するが、そうでなければ増える。前記精細フォーカス信号は、既に焦点が合った又はその状態に非常に近いオブジェクトの追跡に用いられてもよい。移動するオブジェクトに対しては、前記精細なフォーカス信号は、焦点距離が変わり続ける場合でも、前記フォーカス制御システムにより、これらのオブジェクトが鮮明にフォーカスされることを保つようにする。前記精細なフォーカス信号はまた、前記オブジェクトが、幅が幅狭いエッジの範囲に収まるエッジを生じさせるように、鮮明にフォーカスされないがこの状態に十分に近いオブジェクトの鮮明フォーカスを取得する（「取得」）ことに用いられてもよい。前記エッジ幅のヒストグラムに示すピークは、前記鮮明エッジ幅から離れた、前記オブジェクトに対応するエッジ幅のところにあるために、前記精細なフォーカス信号が鮮明エッジ幅よりも大きくなるので、前記フォーカス制御システムは、前記精細なフォーカス信号値が前記鮮明エッジ幅にさらに近くなるようにフォーカス位置を調節することでそれに対応することができ、これにより、前記オブジェクトに起因するエッジ幅のピークが鮮明エッジ幅に等しいエッジ幅の値の中心に位置決めされる。

基本の使用方法
図１２〜１６は、幅狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。

図１２は、前景における「人」、背景における「山、太陽及び地平線」、及びその間における「自動車」のように、異なる焦点距離において３つのグループのオブジェクトを有する戸外シーンを示す。

図１３は、前記フォーカスレンズ１０４のフォーカス位置が図１２に示すシーンを遠くから近くへ走査する場合における時間に対して描かれた幅狭いエッジのカウントの図である。前記幅狭いエッジのカウントは、フォーカス位置においてオブジェクトが画素アレイ１０８で鮮明な画像となる場合にピークに達する。従って、前記幅狭いエッジのカウントは走査中に、「山、太陽及び地平線」、「自動車」及び「人」に対してこの順で１つずつ、合計３つのピークを示す。

図１４は時間に対して描かれた概略フォーカス信号を示す。前記概略フォーカス信号は、前記フォーカス位置が幅狭いエッジのカウントがピークに達する３つのフォーカス位置のそれぞれに近い場合に極小値を示す。しかし、それぞれの極小値において、前記概略フォーカス信号は、焦点外れの他のオブジェクトにより寄与された比較的大きいエッジ幅に起因して、前記鮮明エッジ幅レベル、この実例では２．０にない。

図１５は、図１２のシーンにおける「自動車」に対する鮮明なフォーカス位置の近傍にあるフォーカス位置に対して描かれた精細なフォーカス信号を示す。前記精細なフォーカス信号は、複数のぼやけたオブジェクト（「人」及び「山、太陽及び地平線」）が存在するにもかかわらず、鮮明エッジ幅、この実例では２を基本的に達成する。図１１を再び参照すると、幅４及び５における２つのピークは、それらの２つのグループのぼやけたオブジェクトにより寄与されるが、これは、前記幅フィルター３２４が重みを低減させ、又は上限８４０の右側へのエッジ幅による寄与を完全に消去したと理解することができる。

フォーカス制御システムは、概略フォーカス信号を利用して、検索モードで最寄りの鮮明なフォーカス位置を検索することができる。それは、フォーカス位置を現在のフォーカス位置から離れるように移動させて前記概略フォーカス信号が増加するか低減するかを決定することができる。例えば、前記フォーカス位置が内向き（外向き）に移動する場合に前記概略フォーカス信号が増加（低減）すると、現在のフォーカス位置から比較的遠い鮮明なフォーカス位置が存在する。前記プロセッサー１１２、１１２’、１１２’’はその後、フォーカス駆動信号を供給し、隣接する鮮明なフォーカス位置へフォーカスレンズ１０４を移動させることができる。

フォーカス制御システムは、前記シーンにおける変化、前記オブジェクトの移動又は前記画像ピックアップ装置の移動にもかかわらず、前記精細なフォーカス信号を利用して、既に鮮明にフォーカスされたオブジェクトを追跡して対応する画像の鮮明さ（従って、「追跡モード」）を保ってもよい。オブジェクトが鮮明にフォーカスされる場合に、上記の変化があるにもかかわらず、前記精細なフォーカス信号レベルは安定している。これによって、前記精細なフォーカス信号の変更は、前記オブジェクトの画像ピックアップ装置からの焦点距離の変更を示唆する。前記フォーカス制御システムを、極小値に近い所定の精細なフォーカス信号レベル、例えば、この実例では２．０〜２．５、特に２．１に「ロックする」ことにより、前記精細なフォーカス信号レベルが変動すると、直ちに前記プロセッサー１１２、１１２’、１１２’’に前記オブジェクトの焦点距離の変更が通知される。前記プロセッサー１１２、１１２’、１１２’’はその後、方向を決めて、フォーカスレンズ１０４を移動させて前記精細なフォーカス信号レベルを「ロックされた」レベルに回復させることができる。従って、前記画像ピックアップ装置１０２、１０３、１０３’、１０３’’は、移動オブジェクトを追跡することができる。

例えば、プロセッサー１１２、１１２’、１１２’’におけるアルゴリズムにおいて実施されるようなフォーカス制御システムは、幅狭いエッジのカウントを利用して検索モードから追跡モードへの変更をトリガしてもよい。前記追跡モードにおいて、前記フォーカス制御システムは、前記精細なフォーカス信号により前記オブジェクトを「ロックする」。フォーカス位置が前記オブジェクトの鮮明なフォーカス位置に十分に近づく前に、前記フォーカス制御システムは、前記概略フォーカス信号により移動方向を確認し、レンズの移動速度を調節してもよい。オブジェクトが鮮明にフォーカスされる場合に、幅狭いエッジのカウントはシャープにピークに達する。幅狭いエッジのカウントにおける鮮明な上昇、ピークの到達又はその両方を検出した場合、前記プロセッサー１１２、１１２’、１１２’’は、追跡モードに切り替えて、精細なフォーカス信号を、フォーカス位置の制御に用いてもよい。鮮明なフォーカス位置によって閾値が異なる可能性があり、前記閾値は、終端間フォーカス位置「走査」によって見つけられたそれぞれのグループのオブジェクトに割り当てられ、そしてその後、幅狭いエッジのカウントがこの閾値を超えると、対応するグループのオブジェクトが検出される。静止シーンに対して、例えば、静止画像の撮影に対しては、終端間フォーカス位置走査は、幅狭いエッジのカウントがピークに達する毎に最大のカウントがある最大カウントリストを返すことができる。例えば、最大のカウントの５０％を取ることにより、前記最大のカウントのリストから、閾値のリストを生成することができる。

図１６は、表示装置１１４と、複数のボタンを含む入力装置１０７と、前記表示装置１１４においてハイライトされた選択マーカー１９２０とを有する画像ピックアップ装置１０２を示す。ユーザは前記入力装置１０７を利用して、前記選択マーカー１９２０を作成、成形及び操作することができる。この実例において複数のボタンを含むことを示しているが、前記入力装置１０７は、表示装置１１４でのタッチ又はストロークの位置を検出するために、前記表示装置１１４に載せたタッチスクリーンを含んでもよい。前記入力装置１０７、及び前記プロセッサー１１２、１１２’、１１２’’又は入力装置１０７のための別個専用コントローラ（図示せず）は、選択領域を決定することができる。前記選択領域を記述するための複数のパラメータは、バス１３２を介して（又はフォーカス信号発生器１２０が前記プロセッサー１１２の一部である場合に、前記プロセッサー１１２において内部で）、前記フォーカス信号発生器１２０、１２０’、１２０’’に転送されることができる。それに応じて、前記フォーカス信号発生器１２０は、フォーカス信号の算出、幅狭いエッジのカウント又はその両方を前記パラメータに記述される選択領域におけるエッジに限定し又は前記選択領域外にあるエッジを弱めるようにすることができる。こうすると、前記フォーカス信号より意図せぬオブジェクトの強調を弱めることができ、そして前記概略フォーカス信号でも単一の極小値及び鮮明なエッジ幅における１．０以下の最小レベルを示す。

代替実施形態
図１７は、フォーカス信号発生器１２０’の代替実施形態を示す。フォーカス信号発生器１２０’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ１２０’が出力するエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含むエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所でのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す１組の係数、及びエッジ幅の関数を示すことができる任意のデータのうちの１つ以上であってもよい。全数調査ユニット２４０は、前記フォーカス信号発生器１２０’と他のユニットのうちの１つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器１２０’は、エッジ幅分布の表示の信号を出力することができる。

図１８に示すように、このように信号１３４で代替オートフォーカス画像ピックアップ装置１０２’における代替実施形態のプロセッサー１１２’に供給されるエッジ幅の統計データは、上述した方法又はその同等のものにより、概略及び／又は精細なフォーカス信号及び幅狭いエッジのカウントを算出するように、前記プロセッサー１１２’により使用されてもよい。さらに、前記フォーカス信号発生器１２０’に算出された何れのデータも、出力信号１３４の一部としてプロセッサー１１２’に出力されてもよい。

前記プロセッサー１１２’は、図１のプロセッサー１１２に含まれる機能の外に、フォーカス信号及び／又は幅狭いエッジのカウントを内部で発生させてもよい。

前記画素アレイ１０８、Ａ／Ｄ変換器１１０、色補間器１４８及び発生器１２０’は、前記プロセッサー１１２’とは別の、画像センサー１５０’を一緒に含む１つのパッケージ１４２に備わってもよい。

補助画素アレイ
図１９は、オートフォーカス画像ピックアップシステム１０３の代替実施形態を示す。システム１０２に含まれる素子の外に、前記システム１０３は、ハーフミラー２８５０と、フルミラー２８５２と、光学ローパスフィルター２８４０と、主画素アレイ２８０８と、主Ａ／Ｄ変換器２８１０とを含んでもよい。前記ハーフミラー２８５０は、入射する光ビームを、第１のスプリットビーム及び第２のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第１のスプリットビームは、最後に、前記第１のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ２８０８に到達する前に、さらに前記光学ローパスフィルター２８４０を透過してもよい。前記第２のスプリットビームは、最後に、図１に示すシステム１０２における画素アレイ１０８に対応する前記補助画素アレイ１０８’’に到達する前に、前記フルミラー２８５２により反射されてもよい。第２の光ビームに対する第１の光ビームの光強度の比は、１対１又は１対１よりも大きくなり得る。例えば、この比は４対１になり得る。

前記主画素アレイ２８０８は、例えばバイエルパターンのようなカラーモザイクパターンのカラーフィルターアレイに被覆されてもよい。前記光学ローパスフィルター２８０８は、前記画素アレイ２８０８にフォーカスされた最小光点がエイリアシングを引き起こすほど小さすぎないようにする。モザイクパターンのカラーフィルターが前記画素アレイ２８０８を被覆する場合に、エイリアシングは、色補間の後にカラーモアレ偽像を引き起こし得る。例えば、前記光学ローパスフィルターを利用することにより、前記主画素アレイ２８０８における光点の可視光パワーの８４％を取り囲む円の最小直径（「最小主直径」）は、１．５画素の幅より大きいが、２画素の幅より小さいように維持される。例えば、前記主画素アレイ２８０８は４．５ｕｍの画素の幅を有するのに対し、光学ローパスフィルタリング無しで最小直径が２．０ｕｍであると、前記光学ローパスフィルター２８４０は、光点の直径が６．７ｕｍ以上になるようにするために選択されてもよい。

前記補助画素アレイ１０８’’は、１つ以上の光検出器アレイを含んでもよい。これらのアレイのそれぞれは、カラーモザイクパターンのカラーフィルターアレイに被覆されても、被覆されなくてもよい。前記補助画素アレイ１０８’’におけるこの（これらの）アレイは、Ａ／Ｄ変換器１１０によりデジタル信号１３０に変換されるアナログ信号で画像を出力する。これらの画像は前記フォーカス信号発生器１２０に送信される。色補間器１４８は、複数のカラーフィルターに被覆される画素から発生される画像に対して、欠落色を発生することができる。補助画素アレイ１０８’’が複数の光検出器アレイを含む場合、それぞれのアレイは、前記主画素アレイ２８０８により取り込まれた画像の一部に対応するサブ画像を取り込むことが可能である。前記複数のアレイが、物理的に１百個の画素の幅以上に離れてもよく、また、１つの半導体基板を共有しても、共有しなくてもよい。補助画素アレイ１０８’’における前記画素アレイは、１つの半導体基板を共有しない場合、一緒に１つのパッケージ（図示せず）に収容されてもよい。

主Ａ／Ｄ変換器２８１０は、前記主画素アレイ２８０８からのアナログ信号をデジタル主画像データ信号２８３０に変換する。前記デジタル主画像データ信号２８３０は、前記プロセッサー１１２に送信され、最後にメモリカード１１６に記憶されるものである。前記プロセッサー１１２では、前記主画素アレイ２８０８において取り込まれた画像に対して色補間、色補正及び画像圧縮／解凍のような画像処理を行い得る。

前記補助画素アレイ１０８’’における光検出器アレイは、前記主画素アレイ２８０８の画素の幅（「主画素の幅」）よりも小さい画素の幅（「補助画素の幅」）を有してもよい。前記補助画素の幅は、前記主画素の幅の半分ほどであってもよい。補助画素がカラーフィルターにカバーされ、且つ前記補助画素の幅が光学ローパスフィルタリングが行われていない場合の可視光の最小点の１．３倍よりも小さい場合、前記補助画素アレイ１０８’’における最小直径（「最小補助直径」）が１．３〜２（好ましくは１．５）倍であって、最小主直径よりも小い大きさに増加されるように、前記補助アレイ１０８’’の前に第２の光学ローパスフィルターが挿入されてもよい。ユーザには前記補助画像が最終的な取込画像として提示しないので、前記補助画像における微細なモアレは問題ではない。

図２２は、前記主画素アレイ２８０８からの主画像（実線曲線）及び前記補助画素アレイ１０８’’からの補助画像（鎖線曲線）について、エッジ幅が鮮明なフォーカス位置周辺で如何に変化するかを示す。前記補助画像は、たとえ前記主画像が目的とする鮮明なエッジ幅である２に達する場合であっても、より鮮明な傾斜を与える。前記補助画像は、ユーザには最終画像として提示しないため、エイリアシングによるモアレが前記補助画像において重要ではないので、目的とする鮮明なエッジ幅以下に達することが許容される。これにより、前記鮮明なエッジ幅よりも下位及び上位の傾斜がきつくなる。このよりきつい傾斜は、また、前記補助画素の幅が前記主画素の幅より小さいことによって達成される。

図２２における陰影領域は、主画像が鮮明なフォーカスに維持されるようにフォーカス位置を制御するための良好な領域を示す。フォーカス位置における外向きの変化により、補助画像でエッジ幅が増加するのに対し、内向きの変化により、それが低減することになる。主画像のエッジ幅が鮮明なエッジ幅に近いことを維持するために、真ん中の補助エッジ幅値を前記陰影領域内にターゲットし、補助画像から発生されたエッジ幅をフィードバック信号として用いるように線形フィードバック制御システムが用いられてもよい。

前記補助画素アレイ１０８’’、Ａ／Ｄ変換器１１０、フォーカス信号発生器１２０は、一緒に１つのパッケージ１４２に収容されて１つの補助センサー１５０を構成してもよい。前記補助センサー１５０は、色補間器１４８をさらに含んでもよい。

図２０は、フォーカス信号発生器１２０をフォーカス信号発生器１２０’に置き換えたことを除き、装置１０３と同様のオートフォーカス画像ピックアップ装置１０３’の代替実施形態を示す。前記補助画素アレイ１０８’’、Ａ／Ｄ変換器１１０、フォーカス信号発生器１２０’は、一緒に１つのパッケージ１４２に収容されて１つの補助センサー１５０’を構成してもよい。前記補助センサー１５０は、色補間器１４８をさらに含んでもよい。

図２１は、オートフォーカス画像ピックアップ装置１０３’’の代替実施形態を示す。前記フォーカス信号発生器１２０及び前記プロセッサー１１２’’は、前記補助画素アレイ１０８’’とは別に、カメラコントローラとしてパッケージ１４４に収容されてもよい。前記プロセッサー１１２’’は、プロセッサー１１２’’が前記主画素アレイ２８０８及び前記補助画素アレイ１０８’’から画像を受け取ることを除き、プロセッサー１１２と同様である。前記プロセッサー１１２’’は、前記プロセッサー１１２が図２で信号１３０に対して実行可能な処理と同様に、信号２８３０で受け取られた画像に対して色補間、色補正、圧縮／解凍、及びメモリカード１１６への記憶を行うことができる。図２とは違って、ここでは、信号１３０で受け取られた画像は、圧縮／解凍されたり、メモリカード１１６に記憶されたりする必要がない。前記プロセッサー１１２’’は、補助画素アレイ１０８’’でのカラーフィルターに被覆された画素に対して、信号１３０で受け取られた画像に色補間を行い、そして色補間された画像をフォーカス信号発生器１２０に信号１４６で送信することができる。

前記オートフォーカス画像ピックアップシステム１０２、１０２’、１０３、１０３’、１０３’’は、それぞれ前記プロセッサー１１２、１１２’、１１２’’及び／又は前記フォーカス信号発生器１２０、１２０’が本願に記述された機能のうちの１つ以上を実行するようにする指令を含むコンピュータプログラム記憶媒体（図示せず）を備えてもよい。一例として、前記指令は、前記プロセッサー１１２又は前記発生器１２０’が図７のフローチャートに基づいてエッジ幅に対して斜め補正を行うようにしてもよい。別の実例として、前記指令は、前記プロセッサー１１２’又は前記発生器１２０が幅フィルター２０９に関する上記記述に基づいてエッジ幅のろ過を実行するようにしてもよい。または、前記プロセッサー１１２、１１２’又は前記発生器１２０、１２０’は、ファームウェア及びハードウェアの組合わせ又は本願に含まれる機能のうちの１つ以上に対する単純なハードウェアの実装を有するように配置されてもよい。例えば、発生器１２０において、単純なハードウェアにおいて斜め補正を実施し、ファームウェアにおいて指令による長さフィルター２１２を実施してもよい。

図２６は、フォーカス信号発生器１２０’のまだ別の実施例を示す。本実施例は、いずれの上記画像キャプチャシステムにも用いることができる。
メモリカード１１６はシステム１０２の一部として示されているが、その代わりに、その中に記憶された画像がユーザによりアクセス可能であり、且つ前記システム１０２の外部にある異なる位置に転写可能であるハードディスクドライブのような、不揮発性記憶媒体も使用してもよい。

前記システムに使用される１つ以上のパラメータ、例えば、鮮明エッジ幅は、前記システムにおける１つの装置の不揮発性メモリに記憶されてもよい。前記装置はフラッシュメモリ装置、プロセッサー又は画像センサー、又はこれらとは別の装置としてのフォーカス信号発生器であってもよい。前記システムに使用される１つ以上の式、例えば、連結長さ閾値を算出するための又はβを算出するための式は同様に、パラメータとして又はコンピュータが実施可能な指令として、前記装置のうちの１つ以上での不揮発性メモリに記憶されてもよい。

上記図面において幾つかの例示的な実施形態を描いて示したが、これらの実施形態は、広い本発明を制限するものではなく、単に本発明を説明するものである。また、本発明は、当業者により様々な別の変形を達成することができるため、上記に描かれて示された特定の構造と構成に限定されないことが理解されるべきである。

Claims (6)

1. 画像内の複数のエッジに基づいて前記画像の鮮明さの度合いを評価する撮像システムであって 、
   １つ以上の参照勾配曲線および/または参照勾配シーケンスを定義するデータの記録手段と、
   あるエッジにまたがる前記画像の勾配シーケンスを前記記録手段から得られた参照勾配曲線又は参照勾配シーケンスと比較して、この両者の間の類似度を表す比較の結果を得るように構成されている評価ユニットと、を備え、
   前記類似度の低下に応じて前記エッジから前記画像の鮮明さの度合いへの寄与を除く又はその重みを減ずるように構成されていることを特徴とする撮像システム。
2. 前記評価ユニットは、前記参照勾配シーケンスまたは参照勾配曲線のパラメータと、前記画像の勾配シーケンスから測定されたパラメータを比較する、ことを特徴とする請求項１において記載した撮像システム。
3. 前記画像の勾配シーケンスに関連するパラメータを前記画像の勾配シーケンスから抽出するように構成されているパラメータ抽出部をさらに備える、ことを特徴とする請求項２において記載した撮像システム。
4. 前記比較の結果は、前記エッジの傾斜角と前記参照勾配曲線又は参照勾配シーケンスの傾斜角とを比較することにより得られる、ことを特徴とする、請求項１〜３のいずれか１項において記載した撮像システム。
5. 前記参照勾配曲線又は参照勾配シーケンスは、傾斜角が前記エッジの傾斜角と一致するように生成される、ことを特徴とする、請求項１〜３のいずれか１項において記載した撮像システム。
6. 画像内の複数のエッジに基づいて前記画像の鮮明さの度合いを評価する方法であって、
   あるエッジにまたがる前記画像の勾配シーケンスを、参照勾配曲線又は参照勾配シーケンスと比較して、この両者の間の類似度を表す比較の結果を得るステップと、
   前記類似度の低下に応じて前記エッジから前記画像の鮮明さの度合いへの寄与を除く又はその重みを減ずるステップとを備えることを特徴とする方法。