JP2009520228A - 焦点調整方法 - Google Patents

Abstract

【解決手段】 カメラあるいは他の光学系は、各々が所望の焦点範囲内の光学系の相違する焦点設定で得られる複数のデジタル画像を生成することによって、焦点合わせされる。これらの画像が分析されて、画像から選択されたピクセルの複数の第１グループを、比較される第１グループの複数のピクセルが相互に有するのと同じ位置関係を各第２グループの複数のピクセルが相互に有するように画像から選択された複数の第２グループとを比較することによって、スコア（Ｓ）を生成する。スコア（Ｓ）は、各画像について比較によって得られる一致の回数の関数である。一致の最大回数に対応するスコアを提示する焦点設定が選択される。
【選択図】図１

Description

本発明は、焦点調整に関し、カメラまた実際には画像の焦点が調整される必要があるあらゆる光学装置において用途を見出す。

伝統的に、オートフォーカスに対して２つのアプローチがある。能動型（シーンからの赤外線の跳ね返りで距離を計算する）、および受動型（隣接するピクセル相互間の強度差を最大にする）である。第２のカテゴリーの一例は、Geusebrockらによって、「Robust autofocusing in microscopy」、Cytometry, vol 39, No.1 (1 February 2000), pp. 1-9に記述されている。ここで、「焦点スコア（focus score）」が、相違する焦点設定で得られた画像について得られ、最良の焦点は、焦点曲線の最適な焦点を探索することにより見つけられる。これらのアプローチは、両方とも、活性なビームが霧または霞によって不明瞭になるとき、またはカメラがフレームの中心のみに焦点を合わせる場合、または画像内にコントラストの低い箇所がある場合、または主部（subject matter）が水平方向を向いているときを含む問題を有している。

本出願人の欧州特許出願第１２８６５３９Ａにおいて、出願人は、焦点合わせの方法を説明している。この方法では、画像のどの部分に焦点を合わせるかについての決定が、この画像を分析して各画素についてこの画素と画像の残りの部分の環境との相違の程度（相違度）を示すスコアを得ることによって行なわれる。画像の主部は、画像の、高いスコア（すなわち、高い相違度）を有する部分である。このスコアを生成する方法は、出願人の米国特許第６，９３４，４１５において、より詳しく記述されている。
米国特許第６，９３４，４１５号明細書 欧州特許出願第１２８６５３９Ａ号明細書

本発明は請求項において定義されている。

本発明の幾つかの実施形態が、次に、添付の図面を参照して例として記述される。

図１において、デジタル・スチル・カメラは、画像ピックアップ装置１、ピックアップ装置にシーンの画像の焦点を合わせるためのレンズ２を有している。レンズ位置の調整、よって焦点調整は、モータ３によって行なわれる。もちろん、これらの部分は従来のデジタル・カメラ内に存在する。これから説明される焦点調整の配置を除いた、カメラの他の部分、例として露光調整、フラッシュ、および画像記憶装置は従来どおりであり、したがって示されていない。

焦点調整は、適切な、プログラム制御のプロセッサ４の形態の制御ユニットによって行なわれる。プロセッサ４は、ピックアップ装置１によって捉えられたデジタル画像をバッファするための記憶領域５１および制御プログラム用の記憶領域５２を備えた記憶装置５にアクセスする。プロセッサ４は、また、駆動インターフェース６を介して焦点合わせモータ３を制御することができる。

焦点を設定する際の制御プログラムの動作は、図２のフローチャートにおいて示されている。ステップ１００において、カウンタｋはゼロへと初期化され、現行の最高スコアＳｍａｘおよびこの最大スコアに対応するインデックスｋ_ｍａｘもゼロへと初期化される。ステップ１０１において、モータは、レンズをその焦点範囲の一端（例えば、無限遠）まで移動させる。

ステップ１０３において、画像ピックアップ装置１からの画像はバッファ５１にロードされる。次に、この画像は、１０４において、スコアＳを生成するための視覚アテンション分析（visual attention analysis）の対象とされる。この分析の詳細は後に与えられる。

ステップ１０５において、スコアＳは、Ｓｍａｘを超えているかを確かめるために検査される。Ｓｍａｘを超えているならば、１０６において、Ｓｍａｘがこの新たな最大値に設定されるとともにインデックスｋ_ｍａｘは対応するｋの値に設定される。そうでない場合、これらの値はそのままである。

次に、ステップ１０７において、カウンタｋがインクリメントされる。また、１０８において、カウンタｋが上限Ｋ未満であるかどうかついての検査が行なわれる。このテストによって回答「はい」が返された場合、本プロセスはステップ１０９へと移動する。ステップ１０９において、モータ３はレンズの焦点設定を１ステップ動かすように制御される。レンズの「ホーム」位置が無限遠への焦点合わせに相当する場合、各ステップはレンズをピックアップ装置１から少し遠い位置へと移動させることを含む。次に、本プロセスは、カウンタｋが上限Ｋに達するまで、すなわちレンズが「近い」焦点位置（ピックアップ装置１から最も遠く）に来るまでの回数に達するまで、ステップ１０３から繰り返される。

１０８における検査によって「はい」が回答されると、このことは、全てのＫ焦点位置が検査されたことを意味し、最高スコアはＳｍａｘに保持され、より詳しくは、インデックスｋ_ｍａｘは、この最高スコア（これは最適な焦点設定に対応すると認められる）が見出された「ホーム」からのステップ数を示している。したがって、残るは、この位置にレンズを、直接、またはレンズを「ホーム」位置に戻してからモータにｋ_ｍａｘステップ・コマンドを発行することによって、移動させることである（ステップ１１０）。

焦点が一旦設定されると、次に、写真が通常の方法で撮られ得る。または、所望により、（デジタル静止画像の場合）ステップ１０３で撮られた全ての試用画像がバッファ５内に残っている場合、単にインデックスｋ_ｍａｘに相当するバッファからの画像を選択することが可能である。

上記の例は、本発明を、スチル・デジタル・カメラでの使用において示した。当然ながら、本発明は、動画を撮影するビデオ・カメラにも適用されることが可能である。本発明は、従来のフィルム上に写真を撮影するカメラ、または実像に焦点を合わせるあらゆる光学装置に適用されることが可能である。もちろん、これらの場合において、ピックアップ装置は既存のカメラに対して付加的なものであろう。

次に、スコアＳを生成するステップ１０４での分析に移ると、これは出願人の米国特許第６，９３４，４１５において記述されているプロセスに類似している。これによって、各画像が分析されて、ピクセルｘについての視覚アテンション値（visual attention measure）ｃ_ｘを生成する。しかしながら、ここでは、画像全体についての１つの値Ｓしか要求されない。値Ｓは、個々のピクセルについての値ｃ_ｘの全ての合計を単にとることにより得ることができる。

画像の中心（あるいは他の定義された領域）に優先的に焦点を合わせることが望まれる場合、Ｓは、中央の（あるいは他の）領域内に位置するピクセルのみについての値の合計であってよい。好まれるのであれば、処理を加速するために、画像（または検討対象の領域）内の各ピクセルについてのスコアが生成されるのではなく、これらのピクセルの、規則的な格子上でまたは無作為に副標本を採取された部分集合について生成されることが可能である。

次に、Ｓを生成する方法が、図３のフローチャートを参照して詳細に記述される。これは、原則としては、出願人の先の特許において記述されているものと同じである。しかしながら、この場合、各ｃ_ｘを別々に計算することは不要であり、画像全体についての単一のスコアＳを増分することで十分である。

バッファ５１に格納されている画像は、ピクセルｘの配列Ａとして配置されている。各ピクセルｘは、自身に起因する色強度（ｒ_ｘ、ｇ_ｘ、ｂ_ｘ）を有している。まず、スコアＳがゼロにセットされる（ステップ２０１）。

次に、ピクセルｘ_０が配列Ａから選択される（ステップ２０２）。また、その強度値（ｒ_ｘ、ｇ_ｘ、ｂ_ｘ）がテスト・ピクセル・レジスタに格納される。ピクセル比較の回数の値Ｉ_ｘ（比較カウンタに格納されている）がゼロにセットされる（ステップ２０３）。

次のステップ（２０５）はテスト・ピクセルｘ_０近傍の多くの点を無作為に選択することである。この領域は、（典型的にはピクセル単位の）距離値ｕ_ｘによって定義される。したがって、ｎ個のピクセルｘ_ｊは、以下のように選択される。

ｄｉｓｔ（ｘ_ｊ−ｘ_ｊ−１）＜ｕ_ｘ
ただし、ｊ＝１，…，ｎ、およびｘ_０＝ｘ
使用される距離は、ユークリッド距離または画像内の２つのピクセルの位置間の都市ブロック距離のような、従来用いられているものであってよい。ｘ_ｊの水平方向座標および垂直方向座標がｐ（ｘ_ｊ）およびｑ（ｘ_ｊ）である場合、ユークリッド距離は、

である。一方、都市ブロック距離は、
｜ｐ（ｘ_ｊ）−ｐ（ｘ_ｊ−１）｜＋｜ｑ（ｘ_ｊ）−ｑ（ｘ_ｊ−１）｜
である。

典型的に、ｎ＝３、またｕ_ｘ＝１である。ｕ_ｘ＝１については、ピクセルは隣接しているが、一般に、ピクセルは必ずしも相互に隣接していないかもしれず、またあらゆる意味において隣接していないかもしれない。

次に、配列Ａから無作為に、ピクセルｙ_０が現在の比較ピクセルとして選択される（ステップ２０６）。ピクセルｙ_０の特徴は比較ピクセル・レジスタに保存される。

比較カウンタに格納されているＩ_ｘの値が、インクリメントされる（ステップ２０７）。上限Ｌが超過されている場合、テスト・ピクセルｘのための比較はこれ以上行なわれない。別のピクセルが選択される（ステップ２０８）とともにステップ２０３から処理されるか、あるいは、全ての（または十分な）ピクセルが処理された場合、本プロセスは終了する。

まだＬが超過されていないと、近隣グループ定義レジスタの内容が用いられてテスト・グループｘ_ｊを形成するピクセルの組および比較グループｙ_ｊを形成するピクセルの組を定義する（ステップ２０９）。比較グループの各ピクセルｙ_ｊの比較ピクセルｙに対する位置関係は、テスト・グループ内の対応するピクセルｘ_ｊのテスト・ピクセルｘに対する位置関係と同じである。

次に、計算プロセッサは、閾値の組Δｒ_ｘ、Δｇ_ｘ、Δｂ_ｘを用いて、各ピクセルｘ_ｊを対応するピクセルｙ_ｊと比較する。

ピクセルｙは、以下の場合、テスト・ピクセルｘに類似しているものと特定される。

｜ｒ_ｙ−ｒ_ｘ｜＜Δｒ_ｘ
｜ｇ_ｙ−ｇ_ｘ｜＜Δｇ_ｘ
｜ｂ_ｙ−ｂ_ｘ｜＜Δｂ_ｘ
ただし、Δｒ_ｘ、Δｇ_ｘ、Δｂ_ｘは、閾値であり、この実施形態では一定である。

テスト・グループ内の全てのピクセルｘ_ｊが比較グループ内のそれらに対応するピクセルｙ_ｊに類似している場合、本プロセスは、近隣ピクセルの新たな組を選択する（ステップ２０５）とともに新たな比較ピクセルｙ_０を選択する（ステップ２０６）ことによって繰り返される。テスト・グループ内の１つ以上のピクセルｘ_ｊが上記の類似性定義に従って比較グループ内の対応するピクセルｙ_ｊに類似していない場合、変則体計数レジスタに格納されているスコアＳがインクリメントされる（ステップ２１０）。別の比較ピクセルｙ_０が無作為に選択されるとともに比較ピクセル・レジスタに格納され（ステップ２０６に戻る）、また格納されている近隣グループ定義から検索された近隣グループ定義が用いられて、新たな比較近隣グループをテスト・グループ・レジスタに格納されているテスト・グループとの比較のために比較グループ・レジスタに供給する。ピクセルｘ_ｊの組は、画像の他の部分と一致しないことが続く限り、テスト・グループ・レジスタにおいて保持される。そのような組は、ｘの局所性の特徴が際立っていることを表わしている。すなわち、不一致がより多く起これば、ｘはより特徴的である。テスト・ピクセルｘと一致しない比較ピクセルｙが多いほど、スコアＳはより高い。

プロセスが終了すると、Ｓの最終的な値は、画像Ａｌｘについての視覚アテンション値（measure of visual attention）であり、ピクセルｘの無作為に選択された近隣ピクセルの固有の特徴（すなわち色）が、無作為に選択されたピクセルｙの対応する近隣ピクセルと一致しなかった試みの（検討されたピクセル数が乗じられたＬと等しい試みの総回数からの）回数である。高い値は、画像のピクセルについて、この画像の残りの部分との不一致の程度が高いことを示している。

上記のように、本プロセスは、画像内のテスト・ピクセルとしての各ピクセルについて、ステップ２０３から繰り返され得る。その結果、値Ｓは、事実上、配列Ａ内の各ピクセルｘについてのスコアの合計である。典型的には、Ｌは、１００に設定され得る。

上記のように、ｊ＝ｉ，…ｎとする近隣ピクセルｘ_ｊ、ｙ_ｊについて比較が行なわれる。しかしながら、所望により、元のまたはルート・ピクセルが含まれてもよい。比較は、ｊ＝０，…，ｎについて行なわれる。

図３の分析ループが、好ましい一方、1回の一致の際に（２０９において）終了することは必須ではないことにも留意されたい。変形例については、出願人の上記の米国特許を参照されたい。

上記のように副標本が採取される場合、ピクセルの部分集合だけがピクセルｘとして選択されることに留意されたい。しかしながら、近隣ピクセルは完全な画像から選択されることが好ましい。

実験結果
図４に示されているように、キャノンＥＯＳ ３００Ｄカメラが用いられて同じシーンを相違する距離１１ｃｍから３９ｃｍで焦点合わせしながら撮影した。小さな絞り値（大口径）が用いられて、被写界深度を最小限にした。全ての写真は、１．５メガピクセルのＪＰＥＧとして撮影され、ＢＭＰへと変換され、次に、２００×２６６ピクセルの大きさへとサイズ変換された。次に、これらのピクセルは、１０の視界半径（view radius）、５のフォーク半径（fork radius）ｕ_ｘ、フォーク（fork）当たり１０個のピクセル、スキッピング無し、１０個のテスト、および５０の色閾値で、ＶＡアルゴリズムによって処理された。次に、図５に示されているように、全体のフレーム・スコアが視覚的にプロットされた。図５は、まさに本が置かれた距離に対応するフレームにおいて明瞭なピークを示している。

このように、画像全体についての合計ＶＡスコアを算出することによって、関心対象（interest）全体の値が見出され得ることが分かる。そして、合計スコアは、複数の候補画像と比較されると、オートフォーカスのカメラを制御するために用いられた場合にどれが最も関心が高い（interesting）か、そして、おそらく最良であるか、を決定するために用いられることが可能である。

しかしながら、各フレーム内での全体的な関心（interest）レベルを算出し、次いで焦点を若干変更することによって、フレームが最も関心の高い（interesting）距離へとカメラが素早く焦点を合わせることが可能である。実際に、これが用いられて、全体的なスコアを大幅に落とすことなしにどれほど焦点が変更されることが可能かを見ることによって、画像の被写界深度を決定することが可能である。

非常に多くの他の適用形態がある。出力画像を最適化するために変更される必要があるパラメータが存在するあらゆる分野が、最適値を自動で選択するために用いられるＶＡから潜在的に恩恵を受け得る。

デジタル・スチル・カメラを示している。 焦点を設定する際の制御プログラムの動作のフローチャートである。 Ｓを生成する方法のフローチャートである。 実験条件を示している。 フレーム・スコアを示している。

Claims (2)

1. （ａ）各々が所望の焦点範囲内の光学系の相違する焦点設定で得られる複数のデジタル画像を生成することと、
   （ｂ）前記デジタル画像を分析して、前記画像から選択され且つ相互に無作為に選択された位置関係を有する複数のピクセルの複数の第１グループを、比較される前記第１グループの複数の前記ピクセルが相互に有するのと同じ位置関係を各第２グループの複数のピクセルが相互に有するように前記画像から選択され且つ無作為に位置する複数の第２グループとを比較することによって、各画像について前記比較によって得られる不一致の回数の関数であるスコア（Ｓ）を生成することと、
   （ｃ）不一致の最大回数を示すスコアに対応する焦点設定を選択することと、
   を具備する光学系の焦点合わせ方法。
2. 各スコアが、
   各画像を、各々が値を有するピクセルの配列として格納し、
   前記配列から複数のテスト・ピクセルを選択し、
   各テスト・ピクセルについて、
   前記テスト・ピクセルに近隣する１つ以上のピクセルの近隣グループを選択し、
   前記配列から比較ピクセルを選択し、
   選択された近隣グループのピクセルの前記テスト・ピクセルに対する相対的な位置関係と同じ位置関係を有する、選択された比較ピクセルに近隣するピクセル・グループを特定し、
   前記選択された近隣グループの値を前記特定されたグループの値と所定の一致基準に従って比較し、
   前記比較の結果が不一致であった比較回数に従って前記画像についての前記スコアを生成する、
   ことによって生成される、請求項１の方法。

Images