JP2014513809A - オートフォーカス画像システム - Google Patents
オートフォーカス画像システム Download PDFInfo
- Publication number
- JP2014513809A JP2014513809A JP2013542633A JP2013542633A JP2014513809A JP 2014513809 A JP2014513809 A JP 2014513809A JP 2013542633 A JP2013542633 A JP 2013542633A JP 2013542633 A JP2013542633 A JP 2013542633A JP 2014513809 A JP2014513809 A JP 2014513809A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- gradient
- image
- width
- peak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- Focusing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【選択図】図3
Description
本出願は、2010年12月7日に出願されたPCT出願第PCT/IB2010/055641号に基づく優先権を主張する。
参照番号に基づいて図面をさらに詳しく参照すると、図1は、オートフォーカス画像取込システム102の一実施形態を示す。前記システム102は、デジタルスチルカメラの一部であってもよいが、このシステムは画像の制御されたフォーカスが必要ないずれの装置で具現化されてもよいことを理解すべきである。前記システム102は、フォーカスレンズ104と、画素アレイ及び回路108と、A/D変換器110と、プロセッサー112と、表示装置114と、メモリカード116と、ドライブモータ/回路118とを含んでもよい。シーンからの光が前記レンズ104を介して入射する。前記画素アレイ及び回路108は、前記A/D変換器110によりデジタル信号に変換されるアナログ信号を発生する。前記画素アレイ108は、例えば、ベイヤパターンのようなモザイクカラーパターンを組み入れてもよい。前記デジタル信号は、例えば色補間、フォーカス位置制御、色補正、画像圧縮/解凍、ユーザインターフェース制御及び表示装置制御のような様々な処理を実行する前記プロセッサー112に送信されてもよく、前記フォーカス信号発生器120に送信されてもよい。前記フォーカス信号発生器120及び前記プロセッサー112が異なるパッケージに備わっている場合には、前記デジタル信号130に対して色補間を行って前記フォーカス信号発生器120のためにそれぞれの画素における欠落色信号を見積もるために、色補間ユニット148を利用してもよい。または、前記フォーカス信号発生器120及び前記プロセッサー112が同一パッケージ144にある場合には、前記フォーカス信号発生器120は、図2に示すようにバス146を通して前記プロセッサー112から補間されたカラー画像又は前記A/D変換器110から発生された元の画像信号から導き出された単一画像信号(例えば、階調信号)を入力してもよい。
前記フォーカス信号発生器120は、さらにプロセッサー112から1つのグループの制御信号132を受信し、そして、複数の信号134を前記プロセッサー112に出力してもよい。出力信号134は、フォーカス信号134と、狭いエッジのカウントと、前記画像におけるエッジ幅の統計データを示す1組の数字とのうちの1つ以上を含んでもよい。前記プロセッサー112は、前記ドライブモータ/回路118に送信されて前記フォーカスレンズ104を制御するフォーカス制御信号136を発生することができる。フォーカスされている画像は、最終的に前記表示装置114に供給され、及び/又は前記メモリカード116に記憶される。フォーカス位置を調節するためのアルゴリズムは、前記プロセッサー112により実行されてもよい。
図3は、画像供給ユニット202から画像を受信するフォーカス信号発生器120の一実施形態を示す。前記画像供給ユニット202は、図1における色補間器148または図2におけるプロセッサー212であってもよい。前記フォーカス信号発生器120は、エッジ検出・幅測定(EDWM)ユニット206と、フォーカス信号算出器210と、長さフィルター212と、幅フィルター209とを含んでもよい。それは、「精細」222を入力することにより制御される精細スイッチ220をさらに含んでもよい。前記フォーカス信号発生器120は、幅フィルター209からの狭いエッジのカウント、及びフォーカス信号算出器210からのフォーカス信号を供給してもよい。前記フォーカス信号は、「精細」222の入力によって選択可能である精細なフォーカス信号と概略フォーカス信号とのいずれか一方に設定可能である。または、精細なフォーカス信号も概略フォーカス信号も、算出されて出力信号134の一部として出力されてもよい。前記エッジ検出・幅測定ユニット206は、画像供給ユニット202により供給される画像を受信する。図1及び図2においては、制御信号「精細」222のような制御信号は、プロセッサー112により信号132に提供していてもよい。そして、図1及び図2において、前記出力信号134をプロセッサー112に供給してもよい。前記プロセッサー112は、前記フォーカスレンズ104のフォーカス位置を制御するフォーカスシステムコントローラとして機能し、出力信号134を解析して前記画像における鮮明なオブジェクトを検出することによって、複数のオブジェクトの画像を前記画素アレイ108において鮮明にフォーカスする。以下、前記フォーカス信号発生器120の各種の構成要素について説明する。
エッジ検出器が一次エッジ検出演算子を使用する場合、画像信号の勾配(つまり、一次導関数)は計算する 。勾配を計算するための利用できる様々な方法があって、それらの様々な方法は、様々な一次エッジ検出演算子、例えば ソーベル(Sobel)演算子とプレウィット(Prewitt)演算子とロバーツクロス(Roberts Cross)演算子とロバーツ(Roberts) 演算子とのどれか一つを用いるものを含む。ロバーツ演算子は、単一のカラムまたは単一の行がある行列である2つの核、すなわち[−1 +1] 及びその転置がある 。ロバーツクロス演算子は、2×2行列である2つの核、すなわちMatlab形式従って[<第一行ベクトル;第二行ベクトル;第三行ベクトル] ように表示した[+1,0;0,−1]および[0,+1;−1,0]がある。プレウィット演算子およびソーベル演算子は、基本的に同じ核の、勾配を行方向にとる[−1、0、+1] 、および勾配をカラムの方向にとるその転置があり、その後、それぞれの勾配方向に垂直にローパスフィルタリングする違ったローパスフィルの核を乗じる。垂直及び水平エッジをそれぞれ検出するために、例えば、Sobel−X演算子とSobel−Y演算子をそれぞれ利用し、複数の列及び複数の行に亘った勾配を算出してもよい。画素位置[k,q]におけるSobel−X演算子(ただし、kは行数でqは列数である)は、Sx[k,q]=U[k,q+1]−U[k,q−1]という式から得られる。同一位置におけるSobel−Y演算子は、Sy[k,q]=U[k+1,q]−U[k−1,q]、ただし、U=処理された画像の画像信号、という式から得られる。
配向タグ付け
それぞれの画素は、その垂直又は水平勾配の大きさが所定の下限(「消去閾値」)(例えば、8ビットの画像の場合には5)を超えている場合に、水平エッジ(「H」)又は垂直エッジ(「V」)とタグ付けられ、或いは、その垂直又は水平勾配の大きさがいずれも当該所定の下限以下の場合に、エッジ無しとタグ付けされてもよい。前記下限によって、緩やかな陰影やノイズによる偽のエッジが消去される。画素は、その水平勾配の大きさがその垂直勾配の大きさを所定のヒステリシス量以上(例えば、8ビットの画像の場合には2)超えている場合に、垂直エッジとタグ付けされ、逆の場合も同様であってもよい。これら両方の勾配が前記ヒステリシス量よりも小さい場合に、前記画素は、その最も近くに隣接した、定められた方向タグを有する画素と同じ方向タグを獲得する。例えば、前記画像を行ごとに左から右へかつ1行ずつに下へ走査すると、隣接画素の検査順番として、まずは上の画素、次は左上の画素、次は左の画素、最後は右上の画素であってもよい。このヒステリシスの適用は、隣接画素がそれぞれほぼ同じ水平及び垂直勾配の大きさを有する場合に同様のタグを得ることを確実にするのに役立つ。図4は水平及び垂直勾配を有する6×6アレイにおけるタグ付けの結果を示す。それぞれのセルにおいては、水平勾配が左上方、垂直勾配が右方にあり、また、方向タグが底部にある。このステップで、エッジ画素がボールド体で印刷されて方向タグを得る資格が与えられるものは、5を超えている水平又は垂直勾配の大きさを有する画素のみである。
それぞれのエッジは、勾配の大きさが前記エッジにおけるピーク勾配の大きさの所定の割合よりも小さい画素を除去することによって精細化されてもよい。図5は、エッジのピーク勾配の大きさの3分の1に等しい精細化閾値を利用し、前記エッジ幅を元の9から減らした3に精細化する前記ステップを示す。このエッジの精細化は、勾配が多くの画素において緩やかな減衰を起こし得る多数の重なった陰影が画像にあっても、エッジの鮮明さの視覚認知を支配する見掛けのエッジ幅を設定する主な勾配成分を識別することができるものである。
各エッジは、所定の方向(例えば、垂直方向又は水平方向)又は他の垂直な所定の方向(例えば、水平方向又は垂直方向)に指定されていてもよく、この指定されたエッジ方向に対して垂直な方向に測定したエッジ幅を有していてもよいが、それらのエッジが現れる画像において異なる画像信号値の複数の領域間の境界は、前記所定方向のいずれかに正確にアライメントされていなくてもよく、また一般にされていない。図6Aにおいて、境界(陰影付きの帯)は、垂直鎖線に対して斜め角φ傾斜しており、幅aは、垂直方向(例えば、水平方向)で測定していることを示している。しかしながら、幅b(図に示す)は、境界方向(これもまた境界の一部をなすエッジの方向)に垂直な方向において測定しており、幅aよりも境界の幅(また、エッジの幅)として、より適切である。それぞれのエッジ方向から垂直には測定していないこのような幅 aは、長くなりすぎる傾向にあり、それぞれの境界の実際の厚さを表していない。
ステップ502からステップ506において、斜め角φが求められる。それぞれの垂直エッジに対して、ステップ502において、水平勾配の大きさがピークに達する列の位置を位置づけ、水平勾配xを求める。ステップ504において、前記列の位置に沿って、2つの画素以内で垂直勾配の大きさがピークに達する位置を求め、そしてこの垂直勾配yを求める。
それらのピーク勾配の大きさが隣接する比較的広いエッジのピーク勾配の大きさの所定の割合未満であれば、隣接した複数のエッジがフォーカス信号に寄与することをすっかり排除する又は衰減させることができる。図9A、9B及び9Cは検討されている問題を示す。
ピクセルグリッドの方向性:
フォーカス信号発生器120によって入力された画像の画素は、画像の長方形のグリッドに対して45°回転させた矩形の格子(”ピクセルグリッド”)において配置されることができる。この場合、エッジを検出する操作と幅を測定する操作とのX方向及びY方向は、同様に回転させることができる。
以上の説明で、エッジの画像鮮明度は、そのエッジを亘った一連の勾配から測定されたエッジ幅で表され、その勾配はエッジを亘って指向する。同様の原理に従って動作する代案がある。 本質的に、このようにして生成したフォーカス信号が可能にならせるものは、個々のエッジが、画像データの(例えば20%)拡大縮小と無関係または(例えば画像データの20%縮小に対して5%より多く変化しないように)本質的に無関係である量(以下”エッジ鮮明度の度量”)を貢献することであり。その結果、フォーカス信号は、従来の対比検出方法と比較されると、画像のシーンの照明またはシーン内の物体の反射率から無関係であるまたはそれにの依存がはるかに少ないことがである。
ここで、エッジの鮮明度の度量を生成することにおいては、ある勾配が、前記エッジを検出するために使用された一次エッジ検出演算子または別の一次微分演算子(すなわち勾配演算子)から生成されてもよいことを留意する。例えば、ソーベル演算子(または、例えばラプラス演算子のような二次エッジ検出演算子)が使用されてエッジを検出できるが、ロバーツ演算子は、その核は単に[−1、+1]及びその転置であって画像データのサンプルを単に勾配演算子の向き内の次のサンプルから減算し、そのように結果された勾配は、その2つのサンプル間の中間に位置される。エッジは、エッジ鮮明度の度量、または次のセクションにおいて説明する形状の度量のどれかを生成する際に使用される1つ以上の微分演算子と独立して、一次より高い次エッジ検出演算子を検出できる。
そのような代替の鮮明度の度量のどれでも、フォーカス信号発生器120においてエッジ幅を置き換えることができる。
代替のエッジ鮮明度の度量のいくつかの例は、図27 と図28 と図25と図26とにおいて図面を参照して下文に説明される。
図27 は、連続した勾配間の間隔の倍数である距離に対してプロットされた、エッジを亘る一連の勾配、及びプロットされた一連の勾配の下ある網掛け領域の面積A 3を示す。この例では、その領域が2つの勾配レベルL1 と L2との間で形成され、これらは、一連の勾配の補間されたピーク勾配値(あるいは、ピーク勾配値)に関して、例えば補間されたピーク勾配値の所定の一部分として、定義できる。その網掛け領域は、その四隅で補間された勾配がある。面積割る補間されたピーク勾配値(あるいは、ピーク勾配値)は、長さの単位があるので、良好なエッジ鮮明度の度量である。その領域の代替的な定義が可能であることを留意する。例えば、その領域が勾配レベルL1によって上方から有界しなく、一連の勾配によって上方から有界できる。
図28 は、連続した勾配間の間隔の倍数である距離に対してプロットされた、あるエッジを亘った画像データのサンプルの一連の勾配と、重心 3401 (すなわち、モーメントの中心)と、その重心から(勾配値g 2 と g 3 と g 4 と g 5 と g 6 とがある)それらの勾配までの距離 u 2 とu 3 とu 4 とu 5 と u 6と、を示す。その重心についてそれらの勾配のk次中心積率( k は偶数)、すなわちその重心からそれらの勾配までの距離の、それぞれの重みがそれぞれの勾配の大きさである加重平均は、良い鮮明度の度量である。例えば、 k は、2であることができ、それは、一連の勾配が確率分布であるかのように、エッジ鮮明度の度量をある分散にならせる。この例では、エッジ鮮明度の度量の単位は、長さの単位の二乗である。より一般的には、エッジ鮮明度の度量は、前記複数の勾配の、一連の勾配の複数の勾配に対して相対に事前定義された位置からの距離の関数であってもよい。重心のほかに、その所定の位置は、一連の勾配の補間ちれたピーク位置であてもよい。 エッジの勾配の真部分集合は、この計算に参加するためにあらかじめ定義された基準に従って選択されることができる。例えば、勾配は、それらの勾配値がピーク勾配と一連の勾配の補間されたピークの勾配値とのどれかの所定の部分以上であることが要求されてもよい。
図25は、連続した二次導関数間の間隔の倍数である距離に対してプロットされた、あるエッジを亘った画像データの一連のサンプルの一連の二次導関数を示し、(a)一対の正及び負のピークの間の幅WSと、(b)所定の大きさh 1がある一対の最も外側の補間された二次導関数の間の幅 W1と、(c)前記所定の大きさh 1がある一対の内側の補間された二次導関数の間の幅 W2と、(d)(一対の正及び負のピーク間の)ゼロ交差から前記所定の大きさh 1がある最も外側補間された二次導関数までの距離 D1と、を示す。前記 3つの幅W S と W 1 と W 2とのどれかも、エッジ鮮明度の度量として用いることができる。
また、図25の例において、エッジ鮮明度の度量は、(一対の正及び負のピークの間にあり、また補間されていてもよい)ゼロ交差から複数の二次導関数までの距離の加重和であってもよく、それらの重みは、前記複数の二次導関数のそれぞれの大きさである。より一般的には、エッジ鮮明度の度量は、エッジを亘った複数の二次導関数に対する所定の位置からそれらの二次導関数までの複数の距離の関数であってもよい。そのゼロ交差位置のほかに、重心は、その複数の重みがそれらの二次導関数の大きさであると、前記所定の位置の良い候補である。前記所定の位置の別の良い候補は、その一対の正及び負の勾配間の中間点がであってもよい。
図26は、連続したピクセルの間の間隔の倍数である距離に対してプロットされた、エッジの複数のピクセルからの一連の画像データのサンプルを示す。 それは、(a)そのエッジの両端の2つのサンプルの間の幅Wedge および対比Cedgeと、(b)サンプル値の最も急な変化がある一対のサンプルの間の(ロバーツ演算子によって生成された)ピーク勾配値gpeakと、(c)そのエッジに属し対比C1 と幅 Wpart1とがある最も狭い未分割部分と、(d)そのエッジに属し対比C2 と幅 Wpart2とがある最も狭い未分割部分と、を示す。前に述べたように、ピーク勾配値 gpeak割る対比Cedgeは良いエッジ鮮明度の度量である。 幅 Wedge は別の良いエッジ鮮明度の度量である。幅 W part1 及び幅W part2 はまた良い代替手段である。対比C1 および/または対比C2 は、エッジ対比Cedgeの所定部分として定義できる。あるいは、それらのどれかは、例えばピーク勾配gpeakのようなエッジのピーク勾配の所定の倍数として定義できる。また、「最も狭い未分割部分」は、例えば図26において示された四角のような画像データの補間されたサンプル、又は最寄りの画素カウントになさせる切り捨てまたは切り上げによって、区切ってもよいことを留意する。
図23A及び図23Bは、フォーカス信号発生器によって勾配信号(以下において勾配プロファイルという)のピークを中心とする対称性の欠如を検出し、関連するエッジを完全にオートフォーカス制御システムへの影響から(関連するエッジ幅又はエッジカウント(これに限定されない)の関数(例えば、加重平均)として発生されたフォーカス信号を通じて)減ずる又は除去する方法を示す。前記ピークは、一連の連続する勾配におけるピーク勾配であってもよい。あるいは、前記ピークは、前記一連の連続する勾配のうち2以上の勾配から補間した補間ピーク勾配であってもよい。図23Aは、両極(すなわち符号)の2つの隣接するエッジにわたる1つの画像信号の勾配プロファイルを示す。但し、前記複数のエッジは離れており、相互作用しない。一方、図23Bは、前記複数のエッジが十分近接しており、互いに相互作用している場合の、両極の2つの隣接するエッジにわたる1つの画像信号の勾配プロファイルを示す。図23A及び23Bを比べると、両符号の隣接するエッジ(すなわち、一方のエッジが正勾配を有し、他方のエッジが負勾配を有する)が近接している場合、それぞれの勾配プロファイルに対称性がないことがわかる。
以下、長さフィルター212の機能について説明する。広義では、長さフィルター212は、それぞれが同様の配向の1つ以上のエッジに接続するエッジへの嗜好を作成する。同様の方向を有してその他のエッジのいずれにも接しない独立したエッジに比べて、同様の方向を有してグループにおいて互いに接続されたグループのエッジ(「連結エッジ」)は、ノイズに起因する可能性が高くない。従って、同様の方向を有して一緒に連結されたエッジが多ければ、ノイズに起因する可能性が低くなる。ノイズに起因する前記グループの確率は、グループにおけるエッジ数が増えるにつれ、指数関数的に低下され、また直線的な低下よりずっと早い。この特性は、ノイズの抑制に用いられ、特に、画像において又は対象領域において信号対雑音比が例えば10未満と弱いといった薄暗い又は短い露光の場合に用いることができる。前記嗜好は、何れの適当な方法で実施されて表現されてもよい。後述される複数の方法は単に例示に過ぎない。
次に、図3を参照して前記幅フィルター209の動作を理解する。図11は複数のエッジ幅のヒストグラム、即ち、複数のエッジ幅に対する複数のエッジのカウントのグラフを描いている。エッジ幅2(即ち、前記上述鮮明_エッジ_幅)には、前記画像に複数の鮮明なエッジが存在することを示唆する1つのピークがある。しかし、エッジ幅4及び5には複数のピークがあり、これは、エッジがぼやけたことを示唆している。その原因としては、たぶん、対応する結像オブジェクトがフォーカスされておらず、これらの結像オブジェクトのフォーカスレンズからの距離が前記鮮明なエッジを生じさせたオブジェクトのフォーカスレンズからの距離と異なっているからである。フォーカス信号を算出するには、幅が所定の範囲(「狭いエッジの範囲」)外にある複数のエッジは、前記幅フィルター209によって、弱めるようにしてもよい。前記幅フィルター209は、前記フォーカス信号の算出に用いるために、前記狭いエッジの範囲外にある複数のエッジ幅に対して比較的小さい重みを作成してもよい。例えば、複数のエッジ幅に対して重み1.0が割り当てられるが、上限840の右側へ+1よりも大きく離れた複数のエッジ幅に対して重み0が割り当てられ、その間の複数のエッジ幅に対して0〜1.0の重みが割り当てられ、エッジ幅と共に単調に低減される。または、前記幅フィルター209は、それらのエッジをフォーカス信号の計算から完全に排除してもよい。適切な上限及び下限830、840は、画素アレイ108でのクロストーク、フォーカス信号発生器120に受信された画像に対して欠落色を発生する補間方法及び前記エッジ検出・幅測定ユニット206に採用されるローパスフィルターに用いられるフィルター係数を含む幾つかの要素に依存する。適切な上限及び下限830、840及び前記パラメータの鮮明_エッジ_幅は、前記画像ピックアップ装置102、102’に対して、種々の鮮明度を有する画像を取り込んでエッジ幅のヒストグラムを調べることによって決定されてもよい。例えば、鮮明な画像のピークがエッジ幅2にある場合、適切な上限及び下限はそれぞれ、1.5及び3であり、前記鮮明_エッジ_幅は2.0に設定されてもよい。前記下限と上限及び鮮明_エッジ_幅は、上述したように決定され、そして前記プロセッサー112、112’’によって前記フォーカス信号発生器120、120’、120’’に供給されてもよい。「精細コマンド」がオンになると、このように算出された精細なフォーカス信号が、狭いエッジの範囲外にあるエッジ幅を弱める。
次に、図3の前記フォーカス信号算出器210を参照すると、前記フォーカス信号算出器210は、複数のエッジ幅を受信してフォーカス信号を出力する。前記フォーカス信号は、全てのエッジ幅の重み付け平均値として算出されてもよく、前記重みはそれぞれのエッジ幅に対するエッジのカウントであり、即ち、フォーカス信号=Σwiei/Σwi、ただし、eiはエッジ幅、wiは重み、ここで、wi=ci、ciはエッジ幅eiにおけるエッジのカウントであり、iは複数のエッジ幅の一ヒストグラムの区間数である。または、それぞれのエッジ幅における重みは、エッジ幅のエッジのカウントに前記エッジ幅そのものを乗じたもの、即ち、wi=cieiであってもよい。また、重みで表される前記幅フィルター209からの嗜好は、それぞれのエッジ幅をさらに乗じてもよい。例えば、前記幅フィルター209により発生される重みΩiに対しては、ΣΩi=1、フォーカス信号はΣΩiwiei/ΣΩiwiとして算出されてもよい。制御信号「精細」がオン、且つ「排除」がオフになると、図11に示す実例では、前記フォーカス信号は、2.0という鮮明なエッジ幅の値に非常に近い値となり、これは、2.0〜3.0のエッジ幅を発生する焦点距離範囲において、ほとんどのオブジェクトの細部が実際に鮮明にフォーカスされていることを示唆している。制御信号「精細」がオフ、且つ「排除」がオフになると、前記フォーカス信号は5.0に近い値となり、画像において焦点外れの細部がかなり多く存在していることを示唆している。前記精細スイッチ220をオンにすると、前記フォーカス信号が少しぼやけたオブジェクトにより多く応答し、完全にぼやけたオブジェクトにより少なく応答することが可能になる。前記精細スイッチ220がオンになると、前記フォーカス信号を精細なフォーカス信号と呼び、前記精細スイッチ220がオフになると、概略フォーカス信号と呼ぶことにする。上述したように、前記長さフィルター212により表現される前記強調は、複数の方法のうちの1つにより、前記フォーカス信号に組み込まれてもよい。例えば、フォーカス信号の計算への組み込みを弱めるようにエッジを消去してもよく、または、エッジの、対応するエッジ幅の区間のカウントeiへの寄与において、その対応する重みを低減してもよい。
図12〜16は、狭いエッジのカウント、概略フォーカス信号及び精細なフォーカス信号が鮮明な画像を実現するためにフォーカス制御の実施に如何に用いられるかを示す。
代替実施形態
図17は、フォーカス信号発生器120’の代替実施形態を示す。フォーカス信号発生器120’は、複数のエッジ及び複数のエッジ幅の統計データを出力する。コントローラ120’が出力するエッジ幅の統計データは、異なるエッジ幅におけるエッジのカウントを含むエッジ幅のヒストグラム、エッジ幅のカウントが最大値に達する所でのエッジ幅、異なるエッジ幅におけるエッジのカウントに近いスプライン関数を示す1組の係数、及びエッジ幅の関数を示すことができる任意のデータのうちの1つ以上であってもよい。全数調査ユニット240は、前記フォーカス信号発生器120’と他のユニットのうちの1つ以上で算出されるデータを受信してエッジ幅の統計データを算出することができる。一般に、前記フォーカス信号発生器120’は、エッジ幅分布の表示の信号を出力することができる。
図19は、オートフォーカス画像ピックアップシステム103の代替実施形態を示す。システム102に含まれる素子の外に、前記システム103は、ハーフミラー2850と、フルミラー2852と、光学ローパスフィルター2840と、主画素アレイ2808と、主A/D変換器2810とを含んでもよい。前記ハーフミラー2850は、入射する光ビームを、第1のスプリットビーム及び第2のスプリットビームに分割し、その一方を透過させ、他方を反射させることができる。前記第1のスプリットビームは、最後に、前記第1のスプリットビームを検出してアナログ信号に変換する前記主画素アレイ2808に到達する前に、さらに前記光学ローパスフィルター2840を透過してもよい。前記第2のスプリットビームは、最後に、図1に示すシステム102における画素アレイ108に対応する前記補助画素アレイ108’’に到達する前に、前記フルミラー2852により反射されてもよい。第2の光ビームに対する第1の光ビームの光強度の比は、1対1又は1対1よりも大きくなり得る。例えば、この比は4対1になり得る。
Claims (20)
- 画像鮮明度の度量を示すためにフォーカス信号をシーンの画像の複数のエッジから生成する方法において、
コンピューティングデバイスにおいて、あるエッジを亘る勾配シーケンスにおける非対称の度合いを示す量に基づいて、前記フォーカス信号に対する前記エッジからの寄与を除くまたは抑えるステップ
を含む方法。 - 前記フォーカス信号に寄与する任意のエッジは、その予定された近傍内の画像データの複数のサンプルから計算された量であるエッジ鮮明度の度量を寄与する
ことを特徴とする請求項1に記載された方法。 - 勾配の間の距離と画素のカウントとは長さの単位があり、勾配値の単位はエネルギーの単位割る長さの単位であり、正規化された勾配値は単位があないので、
任意のエッジの前記エッジ鮮明度の度量の単位は、長さの単位の冪である
ことを特徴とする請求項1または2に記載された方法。 - 勾配の間の距離と画素のカウントとは長さの単位があり、勾配値の単位はエネルギーの単位割る長さの単位であり、正規化された勾配値は単位があないので、
任意のエッジの前記エッジ鮮明度の度量の単位内は、エネルギーの単位があない、
ここでは、
画像データの各サンプルは、エネルギーの単位があり、
画像データの任意の対のサンプルの間の差割るそれらのサンプルの間の距離は、その単位がエネルギーの単位割る長さの単位である
ことを特徴とする請求項1〜3のいずれか一項に記載の方法。 - 任意のエッジの前記エッジ鮮明度の度量は、前記任意のエッジの事前定義された未分割部分の幅であり、
前記事前定義された部分は、前記任意のエッジの前記複数の画像データのサンプルに対して予め定義された方法で定義された
ことを特徴とする請求項1〜4のいずれか一項に記載の方法。 - 前記事前定義された未分割部分は、
前記任意のエッジを亘る対比の予め定義された割合を貢献した前記任意のエッジの最も狭い未分割部分である
ことを特徴とする請求項5に記載された方法。 - 前記事前定義された未分割部分は、予め定義された閾値を超える勾配値がある前記エッジの全ての画素からなる
ことを特徴とする請求項5に記載された方法。 - 前記事前定義された未分割部分は、前記エッジを亘る二次導関数シーケンスの正のピーク(または補間されたピーク)と負のピーク(または補間されたピーク)の間での最も広い未分割部分である
ことを特徴とする請求項5に記載された方法。 - 任意のエッジの前記エッジの鮮明度の度量は、前記任意のエッジを亘る勾配のシーケンスに属するピーク勾配値割る対比であり、
前記対比は、前記任意のエッジを亘る対比である
ことを特徴とする請求項1〜8のいずれか一項に記載の方法。 - 任意のエッジの前記エッジ鮮明度の度量は、前記任意のエッジを亘る勾配シーケンスに属する複数の勾配に相対する予め定義された位置から前記複数の勾配までの複数の距離の関数である
ことを特徴とする請求項1〜9のいずれか一項に記載の方法。 - 前記予め定義された位置は、前記複数の勾配の間の重心であり、
勾配値は、重みとして扱われる
ことを特徴とする請求項10に記載の方法。 - 前記関数は、前記予め定義された位置について前記複数の勾配のk次中心モーメントを測定し、
ただし、前記kは、正の整数である
ことを特徴とする請求項10に記載の方法。 - 前記エッジが自体を亘る勾配シーケンスに関連付けられていることを検出するステップ
をさらに含み、
前記シーケンス内の非対称性の程度を表す数量は、
非対称閾値を超え、または予め定義された許容領域外である値がある
ことを特徴とする請求項1〜12のいずれか一項に記載の方法。 - 非対称性の程度を表す前記量が閾値を超えるとは、前記エッジが前記フォーカス信号に寄与することを除くまたは抑える
ことを特徴とする請求項1〜13のいずれか一項に記載の方法。 - 非対称性の程度を表す前記量は、
使用されて、加重平均における前記エッジの重みを減少させ、
前記加重平均は、前記フォーカス信号に寄与する複数のエッジのエッジ鮮明度の度量の加重平均である
ことを特徴とする請求項1〜14のいずれか一項に記載の方法。 - 非対称性の程度を表す前記量は、
前記エッジを亘る二次導関数のシーケンスに属する一対の正と負とのピークの中心点から前記二次導関数のシーケンスのゼロクロスの補間された位置までの距離から計算される
ことを特徴とする請求項1〜15のいずれか一項に記載の方法。 - 非対称性の程度を表す前記量は、
第1の対比がある前記エッジの第1の最も狭い未分割部分の中心から第2の対比がある前記エッジの第2の最も狭い未分割部分の中心までの距離から計算される
ことを特徴とする請求項1〜18のいずれか一項に記載の方法。 - コンピュータ実行可能命令を備え、
前記コンピュータ実行可能命令は、
そられがコンピューティングデバイスによって実行されると、前記コンピューティングデバイスが上記の方法の請求項1〜19のいずれか一項に記載された方法を実行させることにするコンピュータ可読媒体。 - 画像鮮明度の度量を示すためにシーンの画像の複数のエッジからフォーカス信号を生成する回路であって、
エッジ検出および幅測定(EDWM)手段と、
フォーカス信号算出手段と、
を含み、
前記エッジ検出および幅測定手段は、前記画像に属する画像データにおいて複数のエッジを検出し、前記複数のエッジ対して彼らがそれぞれ前記フォーカス信号に寄与する複数の相対程度を決定し、前記フォーカス信号に寄与する複数のエッジ対して複数のエッジ鮮明度の度量を評価し、
前記フォーカス信号算出手段は、前記複数の相対程度のそれぞれを取って、前記複数のエッジ鮮明度の度量からフォーカス信号を生成し、
前記エッジ検出および幅測定(EDWM)手段は、上記の方法の請求項1〜20のいずれか一項において請求された方法を実施する回路。 - フォーカス・レンズと、
画像検出のピクセルアレイを含むイメージセンサと、
フォーカス・レンズのモータ手段と、
上記の装置請求項による回路と、
を含む画像キャプチャシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IBPCT/IB2010/055641 | 2010-12-07 | ||
PCT/IB2010/055641 WO2011070513A1 (en) | 2009-12-07 | 2010-12-07 | Auto-focus image system |
PCT/IB2011/052529 WO2012076993A1 (en) | 2010-12-07 | 2011-06-09 | Auto-focus image system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014513809A true JP2014513809A (ja) | 2014-06-05 |
JP2014513809A5 JP2014513809A5 (ja) | 2014-11-13 |
JP6057086B2 JP6057086B2 (ja) | 2017-01-11 |
Family
ID=44511103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013542633A Expired - Fee Related JP6057086B2 (ja) | 2010-12-07 | 2011-06-09 | 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置 |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP2649788A1 (ja) |
JP (1) | JP6057086B2 (ja) |
AU (1) | AU2011340208A1 (ja) |
CA (1) | CA2820847A1 (ja) |
DE (1) | DE112011104233T5 (ja) |
MX (1) | MX2013006516A (ja) |
SG (1) | SG190755A1 (ja) |
WO (1) | WO2012076993A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111769904B (zh) * | 2020-06-23 | 2021-08-17 | 电子科技大学 | 一种反向散射通信***中多反射设备并行传输的检测方法 |
CN112529876B (zh) * | 2020-12-15 | 2023-03-14 | 天津大学 | 一种隐形眼镜边缘缺陷的检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066661A (ja) * | 1992-06-19 | 1994-01-14 | Canon Inc | 合焦検出装置 |
JP2002189164A (ja) * | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003262909A (ja) * | 2002-03-07 | 2003-09-19 | Sharp Corp | 電子カメラ |
JP2005182745A (ja) * | 2003-11-26 | 2005-07-07 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006024193A (ja) * | 2004-06-07 | 2006-01-26 | Fuji Photo Film Co Ltd | 画像補正装置、画像補正プログラム、画像補正方法、および画像補正システム |
WO2010061250A1 (en) * | 2008-11-26 | 2010-06-03 | Hiok-Nam Tay | Auto-focus image system |
BR112012013721A2 (pt) | 2009-12-07 | 2016-03-15 | Hiok Nam Tay | sistema de imagem de auto-focagem |
-
2011
- 2011-06-09 MX MX2013006516A patent/MX2013006516A/es active IP Right Grant
- 2011-06-09 AU AU2011340208A patent/AU2011340208A1/en not_active Abandoned
- 2011-06-09 EP EP11748716.5A patent/EP2649788A1/en not_active Ceased
- 2011-06-09 JP JP2013542633A patent/JP6057086B2/ja not_active Expired - Fee Related
- 2011-06-09 DE DE112011104233T patent/DE112011104233T5/de not_active Withdrawn
- 2011-06-09 WO PCT/IB2011/052529 patent/WO2012076993A1/en active Application Filing
- 2011-06-09 CA CA2820847A patent/CA2820847A1/en not_active Abandoned
- 2011-06-09 SG SG2013044219A patent/SG190755A1/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH066661A (ja) * | 1992-06-19 | 1994-01-14 | Canon Inc | 合焦検出装置 |
JP2002189164A (ja) * | 2000-12-21 | 2002-07-05 | Minolta Co Ltd | 光学系制御装置、光学系制御方法および記録媒体 |
JP2003262909A (ja) * | 2002-03-07 | 2003-09-19 | Sharp Corp | 電子カメラ |
JP2005182745A (ja) * | 2003-11-26 | 2005-07-07 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びにプログラム |
Also Published As
Publication number | Publication date |
---|---|
CA2820847A1 (en) | 2012-06-14 |
MX2013006516A (es) | 2013-12-12 |
DE112011104233T5 (de) | 2013-12-12 |
EP2649788A1 (en) | 2013-10-16 |
SG190755A1 (en) | 2013-07-31 |
WO2012076993A1 (en) | 2012-06-14 |
JP6057086B2 (ja) | 2017-01-11 |
AU2011340208A1 (en) | 2013-07-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6179827B2 (ja) | フォーカス信号を生成する方法 | |
US8630504B2 (en) | Auto-focus image system | |
US20120242856A1 (en) | Auto-focus image system | |
JP5920608B2 (ja) | 画像の鮮明度を評価する撮像システムおよび方法 | |
JP6057086B2 (ja) | 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置 | |
JP2014504375A (ja) | オートフォーカス画像システム | |
JP2014504375A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140609 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150331 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150630 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150729 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20150828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160112 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160405 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160511 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6057086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |