JP6717858B2 - 欠陥イメージセンサ素子の較正 - Google Patents

Description

関連出願の相互参照
[0001] 本出願は、その全体が引用によって本明細書に援用される、２０１５年１２月１６日出願の米国特許出願第１４／９７２，０７５号の優先権を主張する。

[0002] 光学撮像システムは、スタンドアロンハードウェア装置として利用されても、または他の種類の装置に統合されてもよい。たとえば、スチルおよびビデオカメラは今では、ワイヤレスコンピューティング装置（たとえば、スマートフォンおよびタブレット）、ラップトップコンピュータ、ビデオゲームインタフェース、ホームオートメーション装置、ならびに自動車および他の種類の車両にさえ一様に含まれる。

[0003] 光学撮像システムは、数百万以上のセンサ素子を活用することがあるイメージセンサを含む。センサ素子は、製造不備または他の要因のために誤動作することがある。たとえば、いくつかのセンサ素子が、光学撮像システムを通じてそれらに作用する光から独立した永続的または断続的な高い、低い、または固定値を与えることがある。いくつかのセンサ素子が、入射光に比例するが、しかし露出時間中に素子に蓄積する光独立信号の過剰なレベルによって損なわれる値を報告することがある。さらには、センサ素子が、たとえば、塵粒子によって遮蔽されることがある。そのようなセンサ素子の出力は、光学撮像システムによって取り込まれる画像における対応する「デッド」、「スタック」、「ホット」または遮断ピクセルとなることがある。

[0004] そのような異常なセンサ素子を識別して、そのような画像劣化作用の影響を軽減または除去することを可能にするために、画像較正プロセスが行われてもよい。たとえば、カメラ較正プロセスは、レンズキャップを光路上にして画像を取り込んで、暗い背景画像から「ホット」ピクセルをより容易に識別することを含んでもよい。しかしながら、そのような較正プロセスは、工場試験に限定されることがあり、ユーザに対話を要求することがあり、および／またはホットピクセルの識別のみに限定されることがある。

[0005] 本明細書に開示されるシステムおよび方法は、広範囲のセンサ素子問題を補償するために適用されることができる較正技術に関する。

[0006] 一態様では、方法が提供される。方法は、イメージセンサを介して複数の画像を取り込むことを含む。イメージセンサは、複数のセンサ素子を含む。センサ素子は、取り込まれた複数の画像におけるそれぞれのピクセルを表すように構成される。複数の画像は、光学素子の少なくとも１つの性質に対する異なるそれぞれの値で取り込まれる。光学素子は、イメージセンサに結合される。方法は、複数の画像を集約画像に結合することと、集約画像に基づいて、複数のセンサ素子の特定のセンサ素子の状態を判定することとをさらに含む。方法は、ペイロード画像において、特定のセンサ素子と関連付けられる特定のピクセルの値を調整することをその上さらに含む。任意選択により、複数の画像は、光学素子によって規定される異なるそれぞれの焦点距離設定で取り込まれる。

[0007] 一態様では、光学撮像システムが提供される。システムは、複数のセンサ素子を備えるイメージセンサを備え、センサ素子が、取り込まれる画像におけるそれぞれのピクセルを表すように構成される。システムは、イメージセンサに結合され、かつ取り込まれた画像の焦点距離設定を規定するように構成される光学素子をさらに備える。システムは、メモリおよび少なくとも１つのプロセッサを備えるコントローラをさらに備え、ここでは、プロセッサは、方法を提供する上記態様に係る方法を実施するようにメモリに記憶される命令を実行するように構成される。

[0008] 一態様では、光学撮像システムが提供される。光学画像システムは、イメージセンサ、光学素子およびコントローラを含む。イメージセンサは、複数のセンサ素子を含む。センサ素子は、取り込まれる画像におけるそれぞれのピクセルを表すように構成される。光学素子は、イメージセンサに結合され、かつ取り込まれた画像の焦点距離設定を規定するように構成される。コントローラは、メモリおよび少なくとも１つのプロセッサを含む。プロセッサは、動作を実施するようにメモリに記憶される命令を実行するように構成される。動作は、イメージセンサに複数の画像を取り込ませることを含む。画像は、光学素子によって規定される異なるそれぞれの焦点距離設定で取り込まれる。動作は、複数の画像を集約画像に結合することと、集約画像に基づいて、複数のセンサ素子の特定のセンサ素子の状態を判定することとを含む。動作は、イメージセンサにペイロード画像を取り込ませることも含む。動作は、ペイロード画像において、特定のセンサ素子と関連付けられる特定のピクセルの値を調整することをその上さらに含む。

[0009] 一態様では、方法が提供される。方法は、イメージセンサを介して複数の画像を取り込むことを含む。イメージセンサは、複数のセンサ素子を含む。センサ素子は、取り込まれた複数の画像におけるそれぞれのピクセルを表すように構成される。方法は、複数の画像を取り込みつつ、光学素子の少なくとも１つの性質を調整することも含む。光学素子は、イメージセンサに結合される。方法は、複数の画像を集約画像に結合することと、集約画像に基づいて、複数のセンサ素子の特定のセンサ素子の状態を判定することとをさらに含む。方法は、ペイロード画像において、特定のセンサ素子と関連付けられる特定のピクセルの値を調整することをその上さらに含む。任意選択により、複数の画像は、光学素子によって規定される異なるそれぞれの焦点距離設定で取り込まれる。

[0010] 各態様は、以下の任意選択の特徴を備えてもよい。光学素子の少なくとも１つの性質を調整することは、光学素子の視野を調整すること、光学素子のズーム設定を調整すること、光学素子の開口設定を調整すること、または光学素子の位置を調整することの少なくとも１つを含んでもよい。動作および方法は、イメージセンサの視野を計測することと、計測に基づいて、複数の画像を取り込む際のシャッター速度およびイメージセンサの感度を選択することとをさらに含んでもよい。動作および方法は、判定された状態をセンサ素子状態マップにマッピングすることをさらに含んでもよく、そしてここでは、特定のピクセルの値を調整することは、センサ素子状態マップに基づく。動作および方法は、センサ素子状態マップを時間と関連付けることと、対応する複数の異なる時間と関連付けられた複数のセンサ素子状態マップの履歴記録を提供することとをさらに含んでもよく、そしてここでは、特定のピクセルの値を調整することは、履歴記録にさらに基づく。光学素子の少なくとも１つの性質を調整することは、光学素子に自動焦点プロセスを実施させることを含んでもよく、ここでは、自動焦点プロセスは、イメージセンサに対して光学素子の位置を調整して、各それぞれの画像に対して異なるそれぞれの焦点距離設定を提供することを含む。複数の画像を集約画像に結合することは、複数の画像の関連付けられるピクセル値を平均することを含んでもよい。特定のセンサ素子の状態を判定することは、集約画像においてそれぞれのピクセルの値を少なくとも１つの近傍ピクセルの値と比較することと、比較に基づいて、それぞれのピクセルと少なくとも１つの近傍ピクセルとの間の差が所定の閾値を上回ると判定することとを含んでもよい。判定された状態は、非欠陥センサ素子、ホットセンサ素子、ダークセンサ素子または遮蔽センサ素子の少なくとも１つを含む。特定のピクセルの値を調整することは、特定のピクセルの値を少なくとも１つの近傍ピクセルの対応値に設定することを含んでもよい。特定のピクセルの値を調整することは、特定のピクセルの値を複数の近傍ピクセルの対応する平均値に設定することを含んでもよい。

[0011] 一態様では、システムが、本明細書に記載されるその他のそれぞれの態様の動作を実施するための様々な手段を含んでもよい。

[0012] 一態様では、コンピュータ可読媒体が、実行されると、コンピュータに、本明細書に記載されるその他のそれぞれの態様の動作を実施させるプロセッサ実行可能命令を備える。

[0013] 上記態様は、画像取込システムにおいて欠陥イメージセンサ素子を識別すること、および欠陥イメージセンサ素子の影響を軽減することと関連付けられる問題に対処しようと努める。

[0014] これらの他に他の実施形態、態様、利点および代替策が、必要に応じて添付の図面を参照しつつ以下の詳細な記載を読むことによって、当業者に明らかになるであろう。さらに、本明細書に提供される本概要ならびに他の記載および図は、単に例として実施形態を例示するものと意図されること、および、そのため、多数の変形が可能であることが理解されるべきである。たとえば、構造要素およびプロセス工程が、特許請求される実施形態の範囲内のままでありつつ、再配置、組合せ、分散、除外または、その他変更されることができる。

[0015]図１は、実施形態例に従って、光学撮像システムを例示する。 [0016]図２Ａは、実施形態例に従って、デジタルカメラ装置の正面および右側面図を例示する。 [0017]図２Ｂは、実施形態例に従って、デジタルカメラ装置の背面図を例示する。 [0018]図３Ａは、実施形態例に従って、画像取込シナリオを例示する。 [0019]図３Ｂは、実施形態例に従って、複数の画像を例示する。 [0020]図３Ｃは、実施形態例に従って、集約画像を例示する。 [0021]図３Ｄは、実施形態例に従って、センサ素子状態マップを例示する。 [0022]図３Ｅは、実施形態例に従って、画像取込シナリオを例示する。 [0023]図４は、実施形態例に従って、方法を例示する。 [0024]図５Ａは、実施形態例に従って、デジタルカメラ装置によって取り込まれた画像を例示する。 [0025]図５Ｂは、実施形態例に従って、デジタルカメラ装置によって取り込まれた画像を例示する。 [0026]図５Ｃは、実施形態例に従って、デジタルカメラ装置によって取り込まれた画像を例示する。 [0027]図５Ｄは、実施形態例に従って、デジタルカメラ装置によって取り込まれた場面の集約画像を例示する。 [0028]図５Ｅは、実施形態例に従って、デジタルカメラ装置によって取り込まれたペイロード画像を例示する。 [0029]図５Ｆは、実施形態例に従って、補正ペイロード画像を例示する。

Ｉ．概観
[0030] 方法、装置およびシステム例が本明細書に記載される。単語「例」および「例証的」は「例、事例または例示の役目をする」ことを意味するために本明細書で使用されることが理解されるべきである。「例」または「例証的」であると本明細書に記載されるいかなる実施形態または特徴も、必ずしも他の実施形態または特徴に比べて好適または有利と解釈されることになるわけではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態が活用されることができ、かつ他の変更がなされることができる。

[0031] したがって、本明細書に記載される実施形態例は、限定的であるものではない。本開示の態様は、本明細書に全般的に記載され、かつ図に例示されるように、多種多様な異なる構成に配置、置換、組合せ、分離および設計されることができ、そのすべてが本明細書で企図される。

[0032] さらに、文脈がそうでないと示唆しない限り、図の各々に例示された特徴は、互いと組み合わせて使用されてもよい。したがって、すべての例示された特徴が各実施形態にとって必要であるわけではないという理解により、図は全体的に、１つまたは複数の全体的な実施形態の構成態様と見られるべきである。

[0033] 本開示は、取り込まれる画像の欠陥を検出および補正するための方法およびシステムに関する。そのような欠陥は、イメージセンサ素子の不備から生じることがある。たとえば、「ホット」ピクセルは、イメージセンサに一般によくある構造および／または電気的欠陥の一分類である。ホットピクセルは、イメージセンサの基材における不純物の他に製造プロセス中にもたらされる不備によって生じられる。不純物および不備は、光検出器における暗電流漏洩の増加となることがある。ホットピクセルは、照らされないときでも異常なレベルの光検出器電流、たとえば、高暗電流を伴うセンサ素子として現れる。これらのセンサ素子は、周囲の正常なピクセルより明るく見える取り込まれた画像におけるピクセルに対応してもよい。同様に、デッドピクセルは、照らされるときでも零または異常に低い光検出器電流を伴うセンサ素子として現れる。そのようなセンサ素子は、周囲の正常なピクセルより暗く見える取り込まれた画像におけるピクセルに対応してもよい。いくつかの場合には、欠陥センサ素子は、高（白）、低（黒）または中（グレイ）レベルに永続的または断続的に縮退されることがある。

[0034] 欠陥センサ素子は、取り込まれる画質を劣化させる。しかしながら、そのような欠陥の影響は典型的に、欠陥センサ素子に対応するピクセルの値を近傍ピクセルの推定または平均値と置換することによって、画像処理中に補正されることができる。そのような補正を行うために、これらの欠陥ピクセルの位置が確認される必要がある。

[0035] 画像から欠陥センサ素子を検出する１つの方法は、（漏洩センサ素子の蓄積電荷を最大化するように）長い露出時間で、しばしば（漏洩電流を増加させ、そして蓄積電荷を再び最大化するように）上昇した装置温度で、暗い画像（入射照明からの光電流を低レベルに保つために暗い）を取り込むことである。暗い画像を取り込むことは、典型的にレンズを通して入り込む光を遮る能力（たとえば、光シャッター）を必要とする。しかしながら、物理的なシャッターは、一般に空間および費用制限のためにモバイル装置カメラでは利用可能ではない。

[0036] 別の考えられる手法は、いかなる場面特徴もブレさせ、かつ異常なピクセルを目立たせるようにレンズを取り外して（または拡散素子を結像レンズの前に置いて）、照明画像を取り込むことである。しかしながら、この方法は、一般に取り外されることができない固定レンズを有するモバイル装置では非実用的である。

[0037] 代替的に、ホットピクセルが製造検査中に識別され、そして所与のイメージセンサに対する較正データとして記憶されてもよい。しかしながら、センサ素子挙動は時間とともに変化すると知られている（たとえば、センサ素子は時間とともに故障することがある、またはそれらの特性を断続的に変化させることがある）ので、装置がユーザに出荷された後にホットピクセルの現場較正を行うことも望ましい。そのため、従来のモバイル装置カメラは、光路に光シャッターがないために、現場でそのような再較正を行う満足な方法を提供しない。

[0038] 開示されるシステムおよび方法は、ホットピクセルおよび他の外観欠陥を識別および補償する代替法を提供する。一連の画像が取り込まれてもよく、その各画像がレンズの異なる焦点距離設定で取り込まれる。たとえば、この画像「バースト」は、自動焦点（AF）スイープ中に便宜に行われてもよい。いくつかの実施形態において、画像バーストは、自動露出（AE）プロセス後に起こってもよく、それは、所与の場面の飽和および／または露出不足を防止するように選択される画像取込設定（たとえば、露出時間、ISO、利得など）を与えてもよい。

[0039] 一連の画像は平均または、その他結合されて集約画像を提供することができる。視野が異なる焦点距離設定でスケーリングし、その上画像の各々が異なる焦点設定で取り込まれているために、集約画像はおそらく、ブレて、鮮明な特徴がないであろう。そのようなシナリオでは、ホットピクセルおよび他の異常なピクセルは、レンズブレがない限り、ブレた集約画像に対して鮮明に画定されたままであろう。そのため、エッジ検出アルゴリズムまたは別の種類のコントラスト感応特徴認識アルゴリズムが、後の補正のために異常なセンサ素子をより効果的に識別およびマッピングすることができる。開示されるシステムおよび方法は、ＡＦプロセス中に取り込まれる一組の画像を効率的に使用することによって、現場でのイメージセンサの外観欠陥の自動再較正を可能にする。十分に照明された場面で再較正が行われるときに（AFスイープ中に通例そうであるように）、ホットピクセル以外の種類の外観欠陥（たとえば、ダークピクセル、塵粒子）も検出されることがある。

[0040] 本明細書に開示されるプロセスは、明示的なユーザアクションに依存する必要はない。たとえば、再較正プロセスは、各ＡＦスイープ中に、または定期的に（たとえば、１０回目のAFスイープごとに、もしくはカメラの起動後に）自動的に起こってもよい。追加的または代替的に、ユーザは、指令によって（たとえば、メニュー、ソフトキーおよび／またはシャッターボタンを介して）この再較正を行ってもよい。この較正方法は、バースト取込およびバースト処理に基づいて計算撮像技術を活かすことができ、かつモバイル装置カメラからの画質の改善を提供することができる。

ＩＩ．光学撮像システム例
[0041] 図１は、実施形態例に従って、光学撮像システム１００を例示する。光学撮像システム１００は、カメラとも考えられてもよく、少なくとも１つのイメージセンサ１１０、少なくとも１つの光学素子１２０、ユーザインタフェース１３０、通信インタフェース１４０およびコントローラ１５０を含む。

[0042] 本明細書で使用される場合、「カメラ」は、使用文脈に応じて、個別の画像取込部品、または１つもしくは複数の画像取込部品を含む装置を指してもよい。

[0043] イメージセンサ１１０は、各センサ素子位置で受信される光に基づいて画像を取り込むための複数のセンサ素子を含んでもよい。そのため、センサ素子は、取り込まれる画像におけるそれぞれのピクセルを表すように構成されてもよい。本明細書に記載されるように、イメージセンサ１１０は、電子イメージセンサ（たとえば、電荷結合素子（CCD）または相補型金属酸化膜半導体（CMOS）センサ）を含んでもよい。そのため、イメージセンサ１１０は、数百万の個々の光センサまたはセンサ素子を含んでもよい。実施形態例において、イメージセンサ１１０は、３：２のアスペクト比で配置されてもよく、かつ３，８７２×２，５９２個のセンサ素子またはおおよそ一千万のセンサ素子を含んでもよい。しかしながら、異なるアスペクト比、およびより多くのまたはより少ないセンサ素子をもつ多くの他のイメージセンサが企図される。そのようなイメージセンサは、取り込まれた画像をデータ記憶ユニット（たとえば、メモリ１５４）に転送および／または記憶するように動作可能でもよい。

[0044] 光学素子１２０は、１つまたは複数のレンズを含んでもよく、それらはイメージセンサ１１０に光学的に結合されてもよい。１つまたは複数のレンズは、イメージセンサ１１０の視野において焦点距離設定を規定するように構成されてもよい。言い換えると、１つまたは複数のレンズは、イメージセンサ１１０によって取り込まれる画像の焦点距離設定を規定するように調整可能でもよい。

[0045] 追加的または代替的に、光学素子１２０は、光が入り込む１つもしくは複数の開口、および／または各開口の前に位置決めされてイメージセンサ１１０に画像の少なくとも一部を合焦させる１つもしくは複数のレンズを含んでもよい。開口は固定サイズでも、または調整可能でもよい。

[0046] 追加的または代替的に、光学素子１２０は、１つまたは複数のシャッターを含んでもよく、それらはレンズまたはイメージセンサ１１０に結合されても、または間近でもよい。各シャッターは閉位置にあって、光がイメージセンサに達するのを遮っても、または開位置にあって、光がイメージセンサに達するようにされてもよい。各シャッターの位置は、シャッターボタンによって制御されてもよい。たとえば、シャッターは、既定では閉位置にあってもよい。シャッターが（たとえば、シャッターボタンを押すことによって）始動されると、シャッターは、シャッターサイクルとして知られている期間の間、閉位置から開位置に変化してもよい。シャッターサイクル中に、画像がイメージセンサから取り込まれることができる。シャッターサイクルの終了時に、シャッターは閉位置に逆に変化してもよい。

[0047] 代替的に、シャッタープロセスは電子的でもよい。たとえば、ＣＣＤイメージセンサの電子シャッターが「開かれる」前に、センサはリセットされて、その光ダイオードにおけるいかなる残留信号も除去してもよい。電子シャッターが「開いた」ままである間、光ダイオードは電荷を蓄積することができる。シャッターが「閉じる」とき、またはその後、蓄積された電荷は読み出され、そして結果がより長期のデータ記憶に転送されてもよい。機械式および電子シャッターの組合せも可能でもよい。

[0048] 種類に関係なく、シャッターがシャッターボタン以外の何かによって作動および／または制御されてもよい。たとえば、シャッターは、ソフトキー、タイマ、または何らかの他のトリガによって作動されてもよい。本明細書で、用語「画像取込」は、シャッタープロセスがどのように始動または制御されるかに関係なく、１つまたは複数の画像が記録される結果になることができる、いかなる機械式および／または電子シャッタープロセスを指してもよい。

[0049] 実施形態例において、ユーザインタフェース１３０は、光学撮像システム１００が、ユーザから入力を受ける、およびユーザに出力を提供するなど、人間または人間以外のユーザと対話するようにするように機能してもよい。したがって、ユーザインタフェース１３０は、キーパッド、キーボード、タッチ感応またはプレゼンス感応パネル、コンピュータマウス、トラックボール、ジョイスティック、マイクロホン等といった入力部品を含んでもよい。ユーザインタフェース１３０は、多要素タッチスクリーンディスプレイでもよいディスプレイ１３２などの１つまたは複数の出力部品も含んでもよい。他の種類のディスプレイが可能であり、かつ本明細書で企図される。ディスプレイ１３２は、ブラウン管（CRT）、発光ダイオード（LED）、液晶（LCD）、プラズマ、あるいはいかなる他の種類のディスプレイ技術、または現在知られている、もしくは今後開発される他の技術にも基づいてもよい。ユーザインタフェース１３０はまた、スピーカ、スピーカジャック、音声出力ポート、音声出力装置、イヤホン、バイブレータおよび／または他の同様の装置を介して、可聴および／または触覚出力を生成するように構成されてもよい。

[0050] いくつかの実施形態において、ユーザインタフェース１３０は、光学撮像システム１００によってサポートされるスチルカメラおよび／またはビデオカメラ機能のためのビューファインダの役目をするディスプレイを含んでもよい。追加的に、ユーザインタフェース１３０は制御手段１３４を含んでもよく、それらはカメラ機能の構成および合焦ならびに画像の取込（たとえば、写真を撮ること）を容易にする１つまたは複数のボタン、スイッチ、ノブ、ソフトキーおよび／またはダイヤルを含んでもよい。これらのボタン、スイッチ、ノブ、ソフトキーおよび／またはダイヤルのいくつかまたはすべてがタッチスクリーンインタフェースまたはプレゼンス感応パネルとして実装されることが可能でもよい。詳細には、制御手段１４４は、シャッターボタン、ならびに多くの他の可能性のうち焦点、視野、ズーム、シャッター速度、開口および／またはＩＳＯを調整するように動作可能な制御手段を含んでもよい。

[0051] 取り込まれる画像の露出は、開口のサイズ、開口に入る光の輝度、およびシャッターサイクルの長さ（シャッター速度または露出長とも称される）の組合せによって決定されてもよい。実施形態例において、露出は、光学撮像システム１００のユーザによって制御されてもよい。追加的または代替的に、ＡＥプロセスが場面内の照明レベルについての情報を提供してもよい。ＡＥプロセスの結果に基づいて、いくつかのまたはすべての画像取込設定（たとえば、開口、シャッター速度および／またはISO）が自動的に選択されてもよい。その上さらに、光学撮像システム１００は、１つまたは複数の露出モードを含んでもよい。そのような露出モードは、ユーザが１つまたは複数の露出パラメータを選択するようにしつつ、ＡＥプロセスの結果に基づいて所与の組の露出パラメータの自動制御を許可してもよい。たとえば、光学撮像システム１００は、開口優先、シャッター優先、ならびに／または特定の照明および／もしくは被写体条件下の画像取込のための他の「プログラム」モードを含んでもよい。

[0052] 追加的に、デジタルおよび／またはアナログ利得が画像および／またはイメージセンサのセンサ素子に適用されて、それによって露出に影響を与えてもよい。イメージセンサの感度を調整することは、画像取込装置のＩＳＯを変更することによって代表されてもよい。

[0053] スチルカメラは、画像取込が始動されるごとに１つまたは複数の画像を取り込んでもよい。ビデオカメラは、画像取込が始動されたままである限り（たとえば、シャッターボタンが押下されている間）、特定のレート（たとえば、毎秒３０個の画像-またはフレーム）で連続的に画像を取り込んでもよい。

[0054] カメラは、開口サイズ、露出時間、利得等といった１つまたは複数のカメラ機能および／または設定を制御するソフトウェアを含んでもよい。追加的に、いくつかのカメラが、画像が取り込まれる間または後にこれらの画像をデジタル的に処理するソフトウェアを含んでもよい。

[0055] 通信インタフェース１４０は、光学撮像システム１００が、アナログまたはデジタル変調を使用して、他の装置、アクセスネットワークおよび／または転送ネットワークと通信するようにしてもよい。したがって、通信インタフェース１４０は、単純旧式電話サービス（POTS）通信および／またはインターネットプロトコル（IP）もしくは他のパケット化通信などの、回線交換および／またはパケット交換通信を容易にすることができる。たとえば、通信インタフェース１４０は、無線アクセスネットワークまたはアクセスポイントとのワイヤレス通信のために配置されるチップセットおよびアンテナを含んでもよい。また、通信インタフェース１４０は、イーサネット、ユニバーサルシリアルバス（USB）または高精細マルチメディアインタフェース（HDMI）ポートなどの、ワイヤラインインタフェースの形態をとっても、またはそれを含んでもよい。通信インタフェース１４０はまた、Ｗｉｆｉ、ブルートゥース（登録商標）、全地球測位システム（GPS）またはワイドエリアワイヤレスインタフェース（たとえば、WiMAXもしくは3GPPロングタームエボリューション（LTE））などの、ワイヤレスインタフェースの形態をとっても、またはそれを含んでもよい。しかしながら、他の形態の物理層インタフェースおよび他の種類の標準または独自の通信プロトコルが通信インタフェース１４０にわたって使用されてもよい。さらには、通信インタフェース１４０は、複数の物理通信インタフェース（たとえばWifiインタフェース、ブルートゥース（登録商標）インタフェースおよびワイドエリアワイヤレスインタフェース）を備えてもよい。

[0056] コントローラ１５０は、プロセッサ１５２およびメモリ１５４を含んでもよい。プロセッサ１５２は、１つもしくは複数の汎用プロセッサ−たとえば、マイクロプロセッサ−および／または１つもしくは複数の専用プロセッサ−たとえば、画像信号プロセッサ（ISP）、デジタル信号プロセッサ（DSP）、グラフィック処理ユニット（GPU）、浮動小数点ユニット（FPU）、ネットワークプロセッサもしくは特定用途向け集積回路（ASIC）−を含んでもよい。追加的または代替的に、プロセッサ１５２は、少なくとも１つのプログラマブルインサーキットシリアルプログラミング（ICSP）マイクロコントローラを含んでもよい。いくつかの事例では、専用プロセッサは、他の可能性のうち画像処理、画像位置合わせおよび画像の合成が可能でもよい。メモリ１５４は、磁気、光、フラッシュまたは有機記憶装置などの１つまたは複数の揮発性および／または不揮発性記憶部品を含んでもよく、かつプロセッサ１５２と全体的または部分的に統合されてもよい。メモリ１５４は、取り外し可能および／または非取り外し可能な部品を含んでもよい。

[0057] プロセッサ１５２は、メモリ１５４に記憶されるプログラム命令（たとえば、コンパイル済みまたは非コンパイル済みプログラム論理および／またはマシンコード）を実行して、本明細書に記載される様々な機能を実施することが可能でもよい。したがって、メモリ１５４は、光学撮像システム１００による実行に応じて、光学撮像システム１００に、本明細書および／または添付の図面に開示される方法、プロセスまたは動作のいずれかを実施させるプログラム命令を記憶した非一時的コンピュータ可読媒体を含んでもよい。プロセッサ１５２によるプログラム命令の実行は、プロセッサ１５２が光学撮像システム１００の様々な他の要素によって提供されるデータを使用する結果になってもよい。詳細には、コントローラ１５０およびプロセッサ１５２は、イメージセンサ１１０を介して取り込まれる画像データに動作を行ってもよい。図１がコントローラ１５０を光学撮像システム１００の他の要素から概略的に離れているとして例示するのに対して、コントローラ１５０は、光学撮像システム１００の１つまたは複数の要素に物理的に設けられても、または組み込まれてもよい。たとえば、実施形態において、コントローラ１５０は、分散コンピューティングネットワークおよび／またはクラウドコンピューティングネットワークを含んでもよい。

[0058] コントローラ１５０は、本明細書に記載される様々な動作を実施するように動作可能でもよい。たとえば、コントローラ１５０は、複数の画像を取り込む際の適切なシャッター速度およびイメージセンサ感度を決定および選択するようにＡＥまたは計測プロセスを実施するように動作可能でもよい。

[0059] 追加的に、コントローラ１５０は、イメージセンサに複数の画像を取り込ませてもよい。詳細には、画像は、光学素子１２０（たとえば、レンズ）のそれぞれの位置によって規定される異なるそれぞれの焦点距離設定で取り込まれてもよい。

[0060] いくつかの実施形態において、画像は、光学撮像システム１００でＡＦ動作を実施しつつ取り込まれてもよい。ＡＦは、ユーザからの助力が殆どまたは全くなく画像取込部品を合焦させるために使用される方法論である。ＡＦは、合焦する場面の範囲を自動的に選択してもよく、または場面の予め選択された範囲に合焦してもよい。ＡＦソフトウェアが、画像取込部品が対象に十分よく合焦されているとそれが判定するまで、画像取込部品のレンズ位置を自動的に調整してもよい。

[0061] ＡＦ方法論例が以下に記載される。この例は、しかしながら、ＡＦを達成する１つの方法であるにすぎず、そして本開示の範囲内で他の技術が使用されることができる。

[0062] コントラストベースのＡＦでは、イメージセンサからの１つの画像または複数の画像がデジタル的に分析されてもよい。特に、ピクセル間の輝度のコントラスト（たとえば、最も明るいピクセルおよび最も明るくないピクセルの輝度間の差）が求められる。一般に、このコントラストが高いほど、画像はより良好に合焦している。コントラストを求めた後に、レンズ位置が調整され、そしてコントラストが再び測定される。コントラストが少なくとも何らかの所定の値であるまで、このプロセスは繰り返す。一旦この所定の値が達成されると、場面の画像が取り込まれて、記憶される。

[0063] 追加的または代替的に、複数のＡＦ反復が適用されてもよい。すなわち、広く離間した焦点位置での初期のＡＦスキャンが、「良好な」焦点位置の概算を与えてもよい。しかしながら、焦点位置の差がより微細な後続のスキャンが、画像全体において、または焦点で／近くでさらに高いコントラスト値を見つけることを試みることによって「より良好な」または「最良の」焦点位置まで反復するように適用されてもよい。

[0064] イメージセンサ１１０からの画像データは、複数の取り込まれた画像に処理されてもよい。実施形態例において、取り込まれたデジタル画像は、ピクセルの一次元、二次元または多次元配列として表されてもよい。各ピクセルは、それぞれのピクセルの色および／または輝度を符号化することができる１つまたは複数の値によって表されてもよい。たとえば、１つの考えられる符号化はＹＣｂＣｒカラーモデルを使用する。このカラーモデルでは、Ｙチャネルはピクセルの輝度を表すことができ、そしてＣｂおよびＣｒチャネルは、ピクセルのそれぞれ青色差および赤色差を表すことができる。たとえば、これらのチャネルの各々は、０から２５５までの値をとることができる。したがって、ピクセルの輝度は、ピクセルが黒い、または黒に近ければ、０または零に近い値によって、そしてピクセルが白い、または白に近ければ、２５５または２５５に近い値によって表されることができる。しかしながら、２５５の値は非限定的な基準点であり、そしていくつかの実装が異なる最大値（たとえば、１０２３、４０９５など）を使用してもよい。

[0065] 赤−緑−青（RGB）カラーモデルまたはシアン−マゼンタ−イエロー（CMY）などの他のカラーモデルが本明細書における実施形態とともに利用されてもよい。さらに、画像におけるピクセルは、未加工（非圧縮）形式、またはジョイントフォトグラフィックエキスパーツグループ（JPEG）、ポータブルネットワークグラフィックス（PNG）、グラフィックスインターチェンジフォーマット（GIF）等といった圧縮形式を含め、様々なファイル形式で表されてもよい。

[0066] 実施形態例において、光学撮像システム１００は、毎秒３０フレーム（FPS）のレートで画像フレームを取り込むように構成されてもよい。しかしながら、より大きいまたはより小さいフレームレートを有する光学撮像システムが可能である。

[0067] 追加的または代替的に、光学撮像システム１００は、バーストフレームレートを有する「バースト」取込モードを含んでもよい。バーストフレームレートは、短期間にわたって通常より高速である取込フレームレートを含むことができる。たとえば、光学撮像システム１００が３０ＦＰＳの「通常」フレームレートを有するシナリオでは、光学撮像システム１００は、６０ＦＰＳで連続的に取り込まれる二組の１０個の画像フレーム（各画像取込システムから一組）を含むことができる、バースト画像データを提供するように動作可能でもよい。他のバースト画像フレーム量および他のバーストフレームレートが可能である。

[0068] コントローラ１５０は、複数の画像を集約画像に結合するように構成されてもよい。すなわち、複数の画像は、単一の集約画像に合成されてもよい。追加的または代替的に、集約画像は、各カラーチャネルに対して生成されてもよい。実施形態例において、集約画像は、複数の取り込まれた画像内の関連付けられるピクセル値の平均を含んでもよい。たとえば、集約画像におけるすべての（ｘ，ｙ）座標に対して、集約画像における位置（ｘ，ｙ）でのピクセルには、すべての取り込まれた画像における位置（ｘ，ｙ）でのピクセルの平均値が割り当てられてもよい。本明細書に他で記載されたように、集約画像は、ａ）複数の画像取込中に焦点距離設定を調整する、およびｂ）視野がスケーリングして、または画像が「呼吸」して、光学撮像システム１００の視野を僅かに変更し、かつ光学素子の異なる焦点設定で記録された画像における場面特徴の位置を僅かにずらすために、ブレることがある。

[0069] 集約画像に基づいて、コントローラ１５０は、複数のセンサ素子の特定のセンサ素子の状態を判定するように動作可能でもよい。言い換えると、コントローラは、特定のホット、デッド、スタックまたは遮蔽センサ素子を判定するように動作可能でもよい。この判定は、（入射照明よりもむしろ）センサ素子特性によるピクセル値の局所偏差を示す、特定のピクセル位置における局所コントラスト（鮮明度）の存在を検出することに基づいてもよい。任意選択により、この情報に基づいて、センサ素子状態マップが生成および／または更新されてもよい。そのようなシナリオでは、センサ素子状態マップは、現在時刻と関連付けられても（たとえば、タイムスタンプされても）よい。そのため、センサ素子の状態の履歴記録が、本明細書に記載される較正プロセスを実施することに基づいて維持および／または定期的に更新されてもよい。

[0070] コントローラ１５０は、イメージセンサにペイロード画像を取り込ませるように動作可能でもよい。ペイロード画像は、ＡＦプロセス中に取り込まれた複数の画像の１つであっても、またはなくてもよい。いくつかの実施形態において、ペイロード画像は、ＡＦプロセスを完了することに続いて（たとえば、カメラが合焦している間に）取り込まれてもよい。ペイロード画像は、単一の画像、一連（バースト）の連続画像、またはビデオストリームでもよい。

[0071] コントローラ１５０は、特定のホット、デッド、スタックおよび／または遮蔽センサ素子と関連付けられるペイロード画像における１つのピクセルまたは複数のピクセルの値（たとえば、輝度、色値など）を調整するように動作可能でもよい。すなわち、コントローラ１５０は、欠陥のある、または誤動作しているとして以前にマッピングされたペイロード画像からのピクセルを調整してもよい。

[0072] 特定のピクセルの値の調整は、欠陥ピクセルの値を少なくとも１つの近傍ピクセルの値の平均と置換することを含んでもよい。

[0073] 光学撮像システム１００は、他のシステムまたは装置に組み込まれてもよい。例として、図２Ａおよび２Ｂは、デジタルカメラ装置２００の様々な図を例示する。たとえば、図２Ａは、実施形態例に従って、デジタルカメラ装置２００の正面および右側面図を例示する。デジタルカメラ装置２００は、たとえば、移動電話、スマートフォン、タブレットコンピュータまたはウェアラブルコンピューティング装置でもよい。しかしながら、他の実施形態が可能である。実施形態例において、デジタルカメラ装置２００は、図１に関して例示および記載された光学撮像システム１００の要素のいくつかまたはすべてを含んでもよい。

[0074] デジタルカメラ装置２００は、本体２０２、正面カメラ２０４、多要素ディスプレイ２０６、シャッターボタン２０８および他のボタン２１０などの様々な要素を含んでもよい。正面カメラ２０４は、典型的に動作の間ユーザに向いている本体２０２の面に、または多要素ディスプレイ２０６と同じ面に位置決めされてもよい。

[0075] 図２Ｂは、実施形態例に従って、デジタルカメラ装置２００の背面図（２０１Ｃ）を例示する。図２Ｂに描かれるように、デジタルカメラ装置２００は、背面カメラ２１２をさらに含み得る。そのようなシナリオでは、背面カメラ２１２は、正面カメラ２０４の反対側の本体２０２の面に位置決めされてもよい。他の配置が可能である。また、カメラを正面向きまたは背面向きと呼ぶことは任意であり、そしてデジタルカメラ装置２００は、本体２０２の様々な面に位置決めされる複数のカメラを含んでもよい。

[0076] 多要素ディスプレイ２０６は、ＣＲＴディスプレイ、ＬＥＤディスプレイ、ＬＣＤ、プラズマディスプレイ、またはいかなる他の種類のディスプレイも表し得る。いくつかの実施形態において、多要素ディスプレイ２０６は、正面カメラ２０４および／または背面カメラ２１２によって取り込まれている現在の画像、またはこれらのカメラのいずれか１つまたは複数によって取り込まれ得る、もしくは最近取り込まれた画像のデジタル表現を表示してもよい。したがって、多要素ディスプレイ２０６は、カメラのためのビューファインダの役目をしてもよい。多要素ディスプレイ２０６は、デジタルカメラ装置２００のいかなる態様の設定および／または構成も調整することができてもよいタッチスクリーンおよび／またはプレゼンス感応機能もサポートしてもよい。

[0077] 正面カメラ２０４は、イメージセンサおよびレンズなどの関連する光学素子を含んでもよい。正面カメラ２０４は、ズーム能力を提供してもよく、または固定焦点距離を有し得る。他の実施形態において、交換レンズが正面カメラ２０４と使用され得る。正面カメラ２０４は、可変機械式開口ならびに機械式および／または電子シャッターを有してもよい。正面カメラ２０４は、静止画像、ビデオ画像または両方とも取り込むようにも構成され得る。

[0078] 正面カメラ２０４および背面カメラ２１２の一方または両方が、入射光を提供して対象物体を照明する照明部品を含んでも、またはそれと関連付けられてもよい。たとえば、照明部品は、対象物体のフラッシュまたは一定照明を提供し得る。照明部品は、構造光、偏光、および特定のスペクトル成分をもつ光の１つまたは複数を含む照明を提供するようにも構成され得る。物体から３Ｄモデルを復元するために知られており、かつ使用される他の種類の照明形態が、本明細書における実施形態の文脈内で可能である。

[0079] 正面カメラ２０４および／または背面カメラ２１２の１つまたは複数が、カメラが取り込むことができる場面の周辺輝度を連続的にまたは適宜求めることができる周辺光センサを含んでも、またはそれと関連付けられてもよい。いくつかの装置では、周辺光センサは、カメラと関連付けられる画面（たとえば、ビューファインダ）の表示輝度を調整するために使用されることができる。求められた周辺輝度が高い場合、画面の輝度レベルは上昇されて、画面をより見やすくしてもよい。求められた周辺輝度が低い場合、画面の輝度レベルは低下されて、同じく画面をより見やすくする他に、潜在的に電力を節約してもよい。周辺光センサは、画像取込のための露出時間を決定するためにも使用されてもよい。たとえば、周辺光センサは、シャッター速度、開口および／またはイメージセンサ感度を決定するように場面を「計測する」ように動作可能でもよい。

[0080] デジタルカメラ装置２００は、多要素ディスプレイ２０６および正面カメラ２０４か背面カメラ２１２かいずれかを使用して対象物体の画像を取り込むように構成され得る。たとえば、多要素ディスプレイ２０６は、取り込まれることになる画像のプレビューを提供する他に、露出設定を選択する、画像取込を始動させるなどの際のユーザインタフェースを提供してもよい。追加的または代替的に、多要素ディスプレイ２０６は、画像取込中に照明を提供してもよい。取り込まれた画像は、複数の静止画像またはビデオストリームであり得る。画像取込は、シャッターボタン２０８を作動させる、多要素ディスプレイ２０６上のソフトキーを押すことによって、または何らかの他の機構によって始動され得る。実装に応じて、画像は特定の時間間隔で、たとえば、シャッターボタン２０８を押すことに応じて、対象物体の適切な照明条件に応じて、デジタルカメラ装置２００を所定距離移動させることに応じて、または所定の取込スケジュールに従って、自動的に取り込まれ得る。

[0081] 上記されたように、デジタルカメラ装置２００−または別の種類のデジタルカメラ−の機能は、ワイヤレスコンピューティング装置、携帯電話、タブレットコンピュータ、ラップトップコンピュータ等といったコンピューティング装置に統合されてもよい。さらには、図２Ａおよび２Ｂが単一の正面カメラ２０４および単一の背面カメラ２１２を例示するのに対して、代替カメラ配置が可能である。たとえば、マルチスコープ撮像システムが可能であり、かつ本明細書で企図される。実施形態例において、複数の背面カメラがマルチスコープアレイ（たとえば、立体ペア）として配置されてもよい。これらのカメラの各々は、開口、レンズ、イメージセンサおよびシャッターを含む、別個の、独立して制御可能な画像取込部品でもよい。そのようなシナリオでは、デジタルカメラ装置２００は、背面カメラに場面のそれぞれのモノスコープ画像を同時に取り込むように命令してもよく、次いでこれらのモノスコープ画像の組合せを使用して、深度をもつ立体画像を形成してもよい。

[0082] 図３Ａ〜３Ｅは、実施形態例に従って光学撮像システムの様々な動作態様を例示する。たとえば、図３Ａは、実施形態例に従って、画像取込シナリオ３００の側面および上面図を例示する。画像取込シナリオ３００は、図１に関して例示および記載された光学撮像システム１００などのカメラに関して、それぞれ近い、中間および遠い位置に物体３０２、３０４および３０６を含んでもよい。さらには、物体３０２、３０４および３０６は、光学撮像システム１００の光軸３０８に関して、それぞれ左、中央、右の位置に配置されてもよい。

[0083] 図３Ａが物体３０２、３０４および３０６だけを含む場面を含むとはいえ、そのような単純な記載が簡潔および説明目的で提供されることが理解される。光学撮像システム１００は、より複雑な場面を取り込むように構成されてもよい。たとえば、光学撮像システム１００は、任意の数の物体または特徴（または、そのような物体または特徴がないこと）を含んでもよい各種の異なる場面を撮像するように構成されてもよい。

[0084] 図３Ｂは、実施形態例に従って、光学撮像システム１００によって取り込まれる複数の画像を例示する。取り込まれた画像は、図３Ａに関して例示および記載された画像取込シナリオ３００で取り込まれる画像フレームを表してもよい。実施形態例において、光学撮像システム１００がＡＦプロセスを実施している間、複数の画像または画像バーストが異なる焦点距離設定で光学素子によって取り込まれてもよい。複数の画像の各画像は、欠陥および／または遮蔽センサ素子を含むことがある。しかしながら、そのようなセンサ素子は、単一の画像からピクセル値に基づいて識別するのが困難であることがある。そのようなシナリオでは、ＡＦプロセスは、焦点距離設定を近焦点距離から遠隔焦点距離まで調整しつついくつかの画像を取り込むことを含んでもよい。たとえば、第１のフレーム３１０を取り込む間、光学素子（たとえば、少なくとも１つのレンズ）の焦点距離設定が近焦点位置に対応してもよい。そのため、物体３０２（光学撮像システム１００に最も近い物体）が合焦物体３１２として第１のフレーム３１０に表されることができる一方で、物体３０４および３０６は、それぞれ焦点外物体３１４および３１６として第１のフレーム３１０に表されることができる。第１のフレーム３１０は、焦点距離設定が近焦点位置であることに基づいて、第１の視野を有してもよい。

[0085] 第２のフレーム３２０を取り込む間、光学素子の焦点位置は中または中間距離焦点位置に対応してもよい。そのため、物体３０４（中間距離物体）が合焦物体３２４として第２のフレーム３２０に表されることができる一方で、物体３０２および３０６は、それぞれ焦点外物体３２２および３２６として第２のフレーム３２０に表されることができる。第２のフレーム３２０は、焦点距離設定が中間距離位置であることに基づいて、第２の視野を有してもよい。

[0086] 第３のフレーム３３０を取り込む間、光学素子の焦点位置は遠位置または無限焦点位置に対応してもよい。そのため、物体３０６（遠い物体）が合焦物体３３６として第３のフレーム３３０に表されることができる一方で、物体３０２および３０４は、それぞれ焦点外物体３３２および３３４として第３のフレーム３３０に表されることができる。第３のフレーム３３０は、焦点距離設定が遠位置であることに基づいて、第３の視野を有してもよい。

[0087] 加えて、図３Ｂに例示されるように、光学素子１２０によってとられる焦点位置の各々は異なる光学倍率を生じ、各焦点位置で異なる視野となる。この現象は「焦点呼吸」と通例称される。この挙動の結果は、光学素子によってイメージセンサへ投影される場面物体３０２、３０４、３０６の微細特徴が、焦点設定に応じて取り込まれた画像におけるそれらの位置を変えるということである。（後に、これらの取り込まれた画像がともに結合される（たとえば、平均される）と、微細特徴のこの位置ずれは、集約画像３４０におけるこれらの特徴のブレとなる。

[0088] 画像フレーム３１０、３２０および３３０が例示目的でのみ提供されること、および本明細書に記載されるシステムおよび方法に従って、より多くのまたはより少ない画像フレームが取り込まれてもよいことが理解される。さらには、取り込まれる画像フレームは、視野内にいかなる合焦物体も含む必要はない。すなわち、取り込まれた画像フレームは、全体または一部で合焦している必要はない。

[0089] 図３Ｃは、実施形態例に従って、集約画像３４０を例示する。集約画像３４０は、複数の画像（たとえば、第１の画像３１０、第２の画像３２０および第３の画像３３０）から対応するピクセルを結合することによって形成されてもよい。複数の画像からピクセルを結合することは、画像のピクセルごとの結合を含んでもよい。追加的または代替的に、それぞれの画像の対応するタイルまたはグリッド部分が加算、乗算および／または平均されて集約画像３４０を提供してもよい。複数の取り込まれた画像からピクセルを結合または集約するために、他の方法が使用されてもよい。

[0090] 実施形態例において、集約画像３４０はブレた特徴を含んでもよい。ＡＦスイープを行う間に取り込まれる画像を集約することによって場面特徴にもたらされるブレは、少なくとも、ａ）焦点を変える間に、画像の視野に僅かにスケーリング（たとえば、「呼吸」）させること、およびｂ）焦点位置および物体深度に基づいて場面における焦点ずれ物体を取り込むことのためであろう。焦点位置を調整する間に複数の画像が取り込まれれば、たとえいくつかの物体が複数の画像のいくつかのそれぞれの画像フレームで合焦しているとしても、これらの影響の両方とも集約された画像特徴をブレさせるであろう。

[0091] 実施形態例において、集約画像３４０にブレた物体３４２、３４４および３４６が現れてもよく、それらは、それぞれ物体３０２、３０４および３０６のブレた表現であろう。追加的に、いくつかの鮮明な（たとえば、ブレていない、または、少なくとも、あまりブレていない）物体が場面において明らかでもよい。たとえば、画像特徴３４８が、ホットピクセルの原因となる欠陥センサ素子に関してもよい。画像特徴３５０が、イメージセンサの直接に面上の塵粒子を含んでもよい。言い換えると、塵粒子は１つまたは複数のセンサ素子を遮蔽することがあり、結果として暗く見える形状になることがある。形状は、塵（たとえば、繊維または他の種類の認識可能な粒子）に似ていてもよく、かつ塵が実際にどの光学素子に結合または付着されるかに応じて鮮明に（たとえば、合焦して）見えてもよい。画像特徴３５２が、デッドまたはダークピクセルの原因となる欠陥センサ素子を含んでもよい。さらには、画像特徴３５４が、「スタック」または永続的なグレイレベルピクセルの原因となる欠陥センサ素子を含んでもよい。

[0092] 画像特徴３４８、３５０、３５２および３５４は、少なくとも集約画像３４０へのそれらの混入が実質的には光学素子の焦点位置に基づかないという理由で、鮮明に、または合焦して見えてもよい。すなわち、画像特徴３４８、３５０、３５２および３５４は、センサ素子レベル欠陥または遮蔽のためであろう。そのような欠陥は、誤焦点による光学ブレを受けず、かつ光学倍率変化（「呼吸」）のために個々の画像内でそれらの位置を変えない。そのため、そのような画像特徴のピクセル−レベル表現は、集約画像３４０において実質的に合焦して見えてもよい。

[0093] それぞれの画像特徴は、エッジ検出アルゴリズム、コントラスト検出アルゴリズムまたは別の形状／画像認識アルゴリズムに基づいて判定されてもよい。実施形態例において、鮮明な画像特徴が検索ベースのおよび／またはゼロ交差エッジ検出方法を介して検出されてもよい。さらには、キャニーエッジ検出、微分エッジ検出およびキャニー−デリチェエッジ検出アルゴリズムがすべて本明細書で詳細に企図される。

[0094] 一般に、画像認識アルゴリズムは、近傍ピクセルのそれから著しい仕方で逸脱する輝度レベル（または集合的な輝度レベル）を有する集約画像３４０において、ピクセルまたはピクセルのクラスタを識別するように動作可能でもよい。たとえば、画像特徴は、近傍ピクセルの輝度レベルと比較して、閾値レベルより大きく異なっている輝度レベルの差に基づいて識別されてもよい。実施形態例において、輝度閾値レベルは、所与のカラーチャネルで輝度の５０レベルでもよい。そのため、集約画像３４０における所与のピクセルが隣接および／または近傍ピクセルより５０輝度レベル以上明るいまたは暗ければ、所与のピクセルおよび対応するセンサ素子は、欠陥があっておよび／または遮蔽されていると識別されてもよい。他の閾値レベルが可能であることが理解される。たとえば、閾値レベルは２５輝度レベルまたは２５０輝度レベルでもよい。より低い閾値ほど、センサ素子のますます多くの部分を包含することになる。したがって、いくつかの場合には、画像鮮明度は、センサ素子の過剰包含によって悪影響を受けてもよい。したがって、いくつかの実施形態において、閾値レベルは、所望または選択された補償のレベルに基づいて調整可能でもよい。さらに、様々なカラーチャネルと関連付けられるセンサ素子を補償するように、複数の閾値レベルが調整可能でもよい。いくつかの実施形態において、所与のピクセルに対する閾値レベルは、近傍ピクセルのノイズレベルおよび／またはセンサ素子ノイズモデルに基づいて変化してもよい。

[0095] たとえば、所与のピクセルは２００の輝度レベルを有してもよく、そしてその８つの最も近い近傍ピクセルが各々１５０以下の輝度レベルを有する。５０輝度レベルの閾値レベルを伴う上記シナリオでは、所与のピクセルは、相対輝度レベルの差が閾値レベル差以上であることに基づいてホットまたはスタックピクセルであると識別されてもよい。

[0096] 本明細書で使用される場合、「近傍」ピクセルは、「最近傍」（たとえば、直接隣接）ピクセルを含んでもよい。追加的または代替的に、近傍ピクセルは、デッド、ホット、スタックおよび／または遮蔽であると判定された１つのピクセルまたは複数のピクセルから有限距離内の（たとえば、２〜５ピクセル離れた）１つまたは複数のピクセルを含んでもよい。

[0097] いくつかの実施形態において、欠陥／遮蔽センサ素子の性質は、ＡＥ系列中に所与のセンサ素子の出力を観察することによってさらに調査されてもよい。たとえば、所与のセンサ素子の出力は、センサ素子がデッド素子、ホット素子または非欠陥素子であるかどうかを示す情報を提供してもよい。すなわち、センサ素子が近傍素子と同様に光に応答しなければ、それはデッドセンサ素子と考えられてもよい。

[0098] 図３Ｄは、実施形態例に従って、センサ素子状態マップ３６０を例示する。センサ素子状態マップ３６０は、イメージセンサの欠陥および／または遮蔽センサ素子の位置および対応する状態を示す情報を含んでもよい。すなわち、それぞれのセンサ素子の状態（たとえば、デッド、ホット、スタックおよび／または遮蔽）を判定することの結果として、状態はセンサ素子状態マップ３６０に追加されてもよく、それはイメージセンサ上のセンサ素子のいくつかまたはすべての状態のリアルタイムおよび／または履歴マップでもよい。

[0099] 図３Ｅは、実施形態例に従って、画像取込シナリオ３７０を例示する。画像取込シナリオ３７０は、図３Ａ〜３Ｄに関して例示および記載された事象のいくつかまたはすべてに対する部分タイムラインを提供してもよい。たとえば、画像取込シナリオ３７０はＡＥプロセス３７２を含んでもよく、それはｔ_０とｔ_１との間に行われてもよい。ＡＥプロセス３７２の結果として、いくつかまたはすべて露出設定が、光条件、ユーザ設定および／またはカメラ設定に基づいて選択されてもよい。

[00100] 画像取込シナリオ３７０はＡＦプロセス３７４を含んでもよく、それはｔ_１とｔ_２との間に行われてもよい。ＡＦプロセス３７４中に、光学素子（たとえば、レンズ）を移動させる間に、複数の画像（たとえば、第１のフレーム３１０、第２のフレーム３２０および第３のフレーム３３０）が取り込まれてもよい。したがって、複数の画像の各々は、異なる焦点距離設定で取り込まれてもよい。ＡＦプロセス３７４後に、カメラは、所与の焦点および／または場面に関して「合焦している」と考えられてもよい。

[00101] 複数の画像を取り込むことに続いて、画像から集約画像３４０が処理されてもよい。集約画像３４０は、欠陥センサ素子の位置を、集約画像３４０におけるそれらの対応するピクセルに基づいて識別するようにさらに処理されてもよい。欠陥センサ素子の位置についてのそのような情報は、センサ素子状態マップ３６０を作成または更新するために使用されもよい。実施形態例において、集約画像３４０およびセンサ素子状態マップ３６０は、プロセッサによって並列に処理されてもよい。

[00102] 光学撮像システムが合焦している間に、たとえばｔ_２で始まり、ペイロード画像３８０が取り込まれてもよい。ペイロード画像３８０は、単一の画像、一連の画像（バースト）またはビデオストリームでもよい。ペイロード画像３８０取込は、ユーザによって（たとえば、シャッターボタンを押すことによって）始動されてもよく、またはそれは自動的に始動されてもよい。実施形態例において、ペイロード画像３８０は、シャッター遅延を最小化するように、ＡＦプロセスの終了直後に取り込まれてもよい。図３Ｅに例示されるように、ペイロード画像３８０は、集約画像３４０およびセンサ素子状態マップ３６０が依然処理されている間に取り込まれてもよい。しかしながら、ペイロード画像３８０は、他の時間に代替的に取り込まれてもよい。

[00103] 処理されているペイロード画像３８０およびセンサ素子状態マップ３６０を取り込むことに続いて、ペイロード画像３８０は、補正ペイロード画像３８２を提供するように補正されてもよい。実施形態例において、ペイロード画像３８０は、センサ素子状態マップ３６０に基づいて調整されてもよい。たとえば、センサ素子状態マップ３６０における欠陥センサ素子に対応するペイロード画像におけるピクセルの値が、近傍ピクセルの値の平均と置換されてもよい。言い換えると、欠陥センサ素子からの信号を表すペイロード画像３８０におけるピクセルの輝度値が、ペイロード画像３８０における周囲および／または隣接ピクセルの平均値と置換されてもよい。例として、置換値は、４つの最近傍ピクセル（たとえば、欠陥センサ素子に対応するピクセルに対して直接に右、左、上および下のピクセル）の値の平均でもよい。追加的または代替的に、置換値は、８つの最近傍ピクセル（たとえば、左上、右上、左下および右下の「角」ピクセルをさらに含むピクセル）の値の平均でもよい。他の代替ピクセル値および近傍ピクセルの組が可能である。

[00104] 実施形態例において、補正ペイロード画像３８２は、光学画像システムの多要素ディスプレイを介して表示されてもよい。追加的または代替的に、補正ペイロード画像３８２は、メモリに記憶および／または別の装置に送信されてもよい。

[00105] 図３Ｅが本明細書に記載される様々な動作の特定の順序および配置を例示するのに対して、具体的なタイミングシーケンスおよび露出期間が変化してもよいことが理解される。さらには、いくつかの動作が省略されても、追加されても、および／または他の動作と並列に行われてもよい。

ＩＩＩ．方法例
[00106] 図４は、実施形態例に従って、方法４００を例示する。方法４００は、様々なブロックまたは工程を含んでもよい。ブロックまたは工程は、個々にまたは組み合わせて実施されてもよい。ブロックまたは工程は、いかなる順序でも、および／または直列にもしくは並列に実施されてもよい。さらに、ブロックまたは工程が省略されても、または方法４００に追加されてもよい。

[00107] 方法４００のいくつかまたはすべてのブロックが、図１、２Ａおよび２Ｂに関して例示および記載された光学撮像システム１００またはデジタルカメラ装置２００の要素を含んでもよい。たとえば、方法４００のいくつかまたはすべてのブロックが、コントローラ１５０ならびに／またはプロセッサ１５２およびメモリ１５４によって実施されてもよい。さらには、方法４００のいくつかまたはすべてのブロックが、図３Ａ〜３Ｅに関して例示および記載された動作と同様または同一でもよい。

[00108] ブロック４０２は、イメージセンサを介して複数の画像を取り込むことを含む。イメージセンサは、複数のセンサ素子を含み、そしてセンサ素子は、取り込まれた複数の画像におけるそれぞれのピクセルを表すように構成される。

[00109] 任意選択により、方法は、複数の画像を取り込む前または間にイメージセンサの視野を計測することを含んでもよい。計測に基づいて、複数の画像を取り込む際のシャッター速度およびイメージセンサの感度が選択されてもよい。

[00110] ブロック４０４は、複数の画像を取り込みつつ、光学素子の少なくとも１つの性質を調整することを含む。光学素子は、イメージセンサに結合される。いくつか実施形態において、光学素子を調整することは、光学素子の視野を調整すること、光学素子のズーム設定を調整すること、光学素子の開口設定を調整すること、または光学素子の焦点位置を調整することの１つまたは複数を含んでもよい。

[00111] 本明細書に他で記載されたように、光学素子を調整することは、ＡＦプロセス中に行われてもよい。すなわち、光学素子の位置が、複数の取り込まれた画像の各画像に対して異なる焦点距離設定を達成するようにイメージセンサに関して調整されてもよい。

[00112] ブロック４０６は、複数の画像を集約画像に結合することを含む。実施形態例において、複数の画像を集約画像に結合することは、複数の画像の対応するピクセル値を平均することを含んでもよい。一般に、集約および／または平均化のプロセスは、個々の画像のいずれと比較しても、集約画像におけるランダムノイズの低減を提供した。さらには、集約画像への複数の画像の結合は、欠陥／遮蔽センサ素子の検出をより信頼できるようにする。

[00113] ブロック４０８は、集約画像に基づいて、複数のセンサ素子の特定のセンサ素子の状態を判定することを含む。例として、判定された状態は、機能センサ素子、ホットセンサ素子、ダークセンサ素子または遮蔽センサ素子の１つまたは複数を含んでもよい。

[00114] 実施形態例において、特定のセンサ素子の状態を判定することは、集約画像においてそれぞれのピクセルの値を少なくとも１つの近傍ピクセルの値と比較することを含んでもよい。追加的に、判定は、比較に基づいて、それぞれのピクセルと少なくとも１つの近傍ピクセルとの間の差が所定の閾値を上回ると判定することを含んでもよい。

[00115] 任意選択により、方法は、判定された状態をセンサ素子状態マップにマッピングすることも含んでもよい。すなわち、欠陥または遮蔽センサ素子を識別することに応じて、そのセンサ素子の状態が、イメージセンサ上の同様の欠陥／遮蔽センサ素子を示す情報を含むマップにおける対応する位置と関連付けられてもよい。取り込まれた画像は、センサ素子状態マップにおける欠陥／遮蔽センサ素子に対応するピクセルの値を調整することによって補正されてもよい。

[00116] ブロック４１０は、ペイロード画像において、特定のセンサ素子と関連付けられる特定のピクセルの値を調整することを含む。実施形態例において、特定のピクセルの値を調整することは、特定のピクセルの値を少なくとも１つの近傍ピクセルの対応値に設定することを含んでもよい。追加的または代替的に、特定のピクセルの値を調整することは、特定のピクセルの値を複数の近傍ピクセルの対応する平均値に設定することを含んでもよい。

[00117] 図５Ａは、実施形態例に従って、デジタルカメラ装置によって取り込まれた画像５１０を例示する。画像５１０は、比較的高いＩＳＯを使用して取り込まれた可能性がある。さらには、画像５１０は、多数のホットピクセルおよび場合によりコールドまたは遮蔽ピクセルを含む。

[00118] 図５Ｂは、実施形態例に従って、デジタルカメラ装置によって取り込まれた画像５２０を例示する。画像５２０は、暗い環境で比較的高いＩＳＯを使用して取り込まれた可能性がある。そのため、画像５２０は著しいノイズを含み、そして輝度レベルの差に基づいて欠陥または遮蔽ピクセルを識別することは困難であると判明するであろう。

[00119] 図５Ｃは、実施形態例に従って、デジタルカメラ装置によって取り込まれた画像５３０を例示する。画像５３０は、長い露出時間および／または比較的低いＩＳＯにより暗い環境で取り込まれた可能性がある。したがって、ノイズレベルは、画像５２０のそれより非常に小さい。そのため、ホット／デッド／スタックピクセルは非常に識別しやすい。しかしながら、長い露出時間および／または暗い環境を創出する（たとえば、レンズキャップをつける）ユーザ対話は、ともに望ましくない。

[00120] 図５Ｄは、実施形態例に従って、デジタルカメラ装置によって取り込まれた場面の集約画像５４０を例示する。集約画像５４０は、図４に関して例示および記載された方法ブロックの少なくともいくつかを使用して取り込まれた可能性がある。たとえば、集約画像５４０は、ＡＦプロセス中に取り込まれた複数の画像から合成された可能性がある。

[00121] 図５Ｅは、実施形態例に従って、デジタルカメラ装置によって取り込まれたペイロード画像５５０を例示する。ペイロード画像５５０は、ＡＦプロセスに続いて取り込まれてもよく、またはＡＦプロセス中に取り込まれた複数の画像の１つでもよい。図５Ｅに観察されることができるように、ペイロード画像５５０は、ホットピクセルによる相当量の欠陥（白点の形態）を含む。

[00122] 図５Ｆは、実施形態例に従って、補正ペイロード画像５６０を例示する。補正ペイロード画像５６０は、集約画像５４０から欠陥／遮蔽センサ素子を識別することから作成されるセンサ素子状態マップに基づいて補正されてもよい。センサ素子状態マップにおける欠陥／遮蔽センサ素子に対応するペイロード画像５５０におけるピクセルは、それらのそれぞれの値を、補正ペイロード画像５６０を形成するように近傍ピクセルの値および／または近傍ピクセルの平均値と置換することによって調整されてもよい。

[00123] 図に図示される特定の配置は、限定的なものとして見られるべきでない。他の実施形態が所与の図に図示される各素子をより多くまたはより少なく含んでもよいことが理解されるべきである。さらに、例示された要素のいくつかが組み合わせられても、または省略されてもよい。その上さらに、例示的な実施形態が、図に例示されない要素を含んでもよい。

[00124] 情報の処理を表す工程またはブロックは、本明細書に記載された方法または技術の具体的な論理機能を行うように構成されることができる回路網に対応することができる。代替的または追加的に、情報の処理を表す工程またはブロックは、モジュール、セグメント、またはプログラムコード（関連データを含む）の一部に対応することができる。プログラムコードは、方法または技術の具体的な論理機能または作用を実装するためにプロセッサによって実行可能な１つまたは複数の命令を含むことができる。プログラムコードおよび／または関連データは、ディスク、ハードドライブまたは他の記憶媒体を含む記憶装置などの任意の種類のコンピュータ可読媒体に記憶されることができる。

[00125] コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュおよびランダムアクセスメモリ（RAM）のように短期間の間データを記憶するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含むことができる。コンピュータ可読媒体は、より長期間の間プログラムコードおよび／またはデータを記憶する非一時的コンピュータ可読媒体も含むことができる。したがって、コンピュータ可読媒体は、たとえばリードオンリメモリ（ROM）、光または磁気ディスク、コンパクトディスクリードオンリメモリ（CD-ROM）のような、二次または永続的長期ストレージを含んでもよい。コンピュータ可読媒体は、任意の他の揮発性または不揮発性記憶システムであることもできる。コンピュータ可読媒体は、たとえば、コンピュータ可読記憶媒体または有形記憶装置と考えられ得る。

[00126] 様々な例および実施形態が開示されたが、他の例および実施形態が当業者にとって明らかであろう。様々な開示された例および実施形態は例示目的であり、かつ限定的であるとは意図されず、真の範囲は以下の請求項によって示される。

Claims (13)

1. イメージセンサを介して複数の画像を取り込むことであって、前記イメージセンサが、複数のセンサ素子を備え、前記センサ素子が、前記取り込まれた複数の画像におけるそれぞれのピクセルを表すように構成され、
   前記複数の画像が、光学素子の少なくとも１つの性質に対する異なるそれぞれの値で取り込まれ、前記異なるそれぞれの値が、前記光学素子によって規定される異なるそれぞれの焦点距離設定であり、前記光学素子が、前記イメージセンサに結合される、前記複数の画像を取り込むことと、
   前記複数の画像を互いに結合して単一の集約画像を生成することと、
   前記単一の集約画像に基づいて、前記複数のセンサ素子の特定のセンサ素子の状態を判定することと、
   ペイロード画像において、前記特定のセンサ素子と関連付けられる特定のピクセルの値を調整することと
   を含む、方法。
2. 前記光学素子の前記少なくとも１つの性質を調整することが、前記光学素子の視野を調整すること、前記光学素子のズーム設定を調整すること、前記光学素子の開口設定を調整すること、または前記光学素子の位置を調整することの少なくとも１つを含む、請求項１に記載の方法。
3. 前記イメージセンサの視野を計測することと、前記計測に基づいて、前記複数の画像を取り込む際のシャッター速度および前記イメージセンサの感度を選択することとをさらに含む、請求項１または２に記載の方法。
4. 前記判定された状態をセンサ素子状態マップにマッピングすることをさらに含み、前記特定のピクセルの前記値を調整することが、前記センサ素子状態マップに基づく、請求項１〜３のいずれか１項に記載の方法。
5. 前記センサ素子状態マップを時間と関連付けることと、対応する複数の異なる時間と関連付けられた複数のセンサ素子状態マップの履歴記録を提供することとをさらに含み、前記特定のピクセルの前記値を調整することが、前記履歴記録にさらに基づく、請求項４に記載の方法。
6. 前記光学素子の前記少なくとも１つの性質を調整することが、前記光学素子に自動焦点プロセスを実施させることを含み、前記自動焦点プロセスが、前記イメージセンサに対して前記光学素子の位置を調整して、各それぞれの画像に対して異なるそれぞれの焦点距離設定を提供することを含む、請求項１〜５のいずれか１項に記載の方法。
7. 前記単一の集約画像を生成することが、前記複数の画像の関連付けられるピクセル値を平均することを含む、請求項１〜６のいずれか１項に記載の方法。
8. 特定のセンサ素子の前記状態を判定することが、
   前記単一の集約画像において前記それぞれのピクセルの値を少なくとも１つの近傍ピクセルの値と比較することと、
   前記比較に基づいて、前記それぞれのピクセルと前記少なくとも１つの近傍ピクセルとの間の差が所定の閾値を上回ると判定することとを含む、請求項１〜７のいずれか１項に記載の方法。
9. 前記判定された状態が、非欠陥センサ素子、ホットセンサ素子、ダークセンサ素子または遮蔽センサ素子の少なくとも１つを含む、請求項１〜８のいずれか１項に記載の方法。
10. 前記特定のピクセルの前記値を調整することが、前記特定のピクセルの前記値を少なくとも１つの近傍ピクセルの対応値に設定することを含む、請求項１〜９のいずれか１項に記載の方法。
11. 前記特定のピクセルの前記値を調整することが、前記特定のピクセルの前記値を複数の近傍ピクセルの対応する平均値に設定することを含む、請求項１〜１０のいずれか１項に記載の方法。
12. 複数のセンサ素子を備えるイメージセンサであって、前記センサ素子が、取り込まれる画像におけるそれぞれのピクセルを表すように構成される、イメージセンサと、
    前記イメージセンサに結合され、かつ前記取り込まれた画像の焦点距離設定を規定するように構成される光学素子と、
    メモリおよび少なくとも１つのプロセッサを備えるコントローラであって、前記プロセッサが、請求項１〜１１のいずれか１項に記載の方法を実施するように前記メモリに記憶される命令を実行するように構成される、コントローラとを備える、光学撮像システム。
13. 実行されると、コンピュータに、請求項１〜１１のいずれか１項に記載の方法を実施させるプロセッサ実行可能命令を備える、コンピュータ可読記憶媒体。