JP2016528848A - 複数の画像感知素子を用いて画像を撮影するためのシステム及び方法 - Google Patents

Abstract

ダイナミックレンジを拡張するために異なる積分時間を有する複数の画像感知素子を組み込んでいるＣＭＯＳ可視画像センサのための方法、デバイス、及びコンピュータプログラム製品が本明細書において開示される。一態様では、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含むＣＭＯＳ可視画像センサを使用して画像を撮る方法が開示され、ここにおいて、第２のウェルキャパシティは、第１のウェルキャパシティよりも大きい。方法は、少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定することを含む。方法は、少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定することを更に含み、ここにおいて、第２の積分時間は、第１の積分時間とは異なる。【選択図】 図９

Description

[0001] 本願は一般に、デジタル撮像に関し、より具体的には、ダイナミックレンジを拡張するために複数の画像感知素子を含む可視画像センサのためのシステム、方法、及びデバイスに関する。

[0002] デジタル画像では、相補型金属酸化膜半導体（ＣＭＯＳ）センサのダイナミックレンジは、時折、屋外シーンを正確に表現するのに十分でないことがあり得る。これは特に、モバイルデバイスにおいて使用され得るより小型なセンサ、例えば、モバイル電話のカメラに、当てはまり得る。例えば、モバイルデバイスカメラで使用される典型的なセンサは、略６０−７０ｄＢのダイナミックレンジを有し得る。しかしながら、典型的な自然の屋外シーンは、光エリアと影との間で１００ｄＢのコントラスト範囲を容易にカバーし得る。このダイナミックレンジが、モバイルデバイスで使用される典型的なセンサのダイナミックレンジよりも大きいため、モバイルデバイスによって撮影される画像においてディテールが失われ得る。

[0003] 画像センサのダイナミックレンジを拡張しようとする以前の試みは、各々、それら自体の利点と、それら自体の欠点とを有する。例えば、幾つかの以前のアプローチは、１つがより短い露光時間を有し、１つがより長い露光時間を有する２つのフレームを組み合わせることを含む。このアプローチでは、より長い露光時間を有するフレームが、暗い領域におけるディテールを示すために使用され得、より短い露光時間を有するフレームが、明るい領域におけるディテールを示すために使用され得る。このアプローチは、静止している物体に対して良い結果を齎し得、優れたワイドダイナミックレンジ（ＷＤＲ）ピクチャを生成し得る。残念ながら、移動物体が撮影されるとき、そのような画像を作るために使用される２つの異なるフレーム間の時間差が、モーションゴースト効果を引き起こし得る。このアプローチはまた、そのようなデバイスにおいてフルフレームメモリを必要とし得る。

[0004] そのようなモーションアーチファクトを減らすために、別のアプローチは、長時間露光フレームの読出しの直後に短時間露光フレームの積分を開始する。このスキームがどのように機能するかを説明するために、短時間露光時間をＳライン時間、長時間露光時間をＬライン時間と想定する。典型的なロールシャッター動作の場合、撮像装置（imager）は、時間０に第１の行、そして１ライン時間後に第２の行、等の積分を開始するだろう。Ｌライン時間において、長時間露光フレームについての第１の行を読み出し、第２の短時間露光フレームについて積分を直ちに開始し、１ライン時間後に第２の行の読出し及びリセットが続く。故に、例えば、時間Ｌ＋Ｓライン時間では、行１の短時間露光フレームの読出しが発生し、時間Ｌ＋Ｓ＋１では、短時間露光フレームの行２の読出しが発生するだろう。これは、両方のフレームが完全に読み出されるまで続く。モーションアーチファクトは、以前のアプローチに比べて減らされ得るが、このアプローチは、依然として、完全なＷＤＲフレームを再構築するために、メモリバッファのＳ個のラインを必要とするだろう。

[0005] 二重フレームアプローチからのモーションアーチファクトを最小化するために、及び、必要とされるラインバッファの量を減らすために、異なる積分時間が同じ読出しフレーム内に実装される場合に異なるスキームが使用され得る。例えば、１つの可能なスキームは、より長い積分時間Ｔ_ｌｏｎｇを有する２つの行と、より短い積分時間Ｔ_{ｓｈｏｒｔ}を有する別の２つの行を有することである。このスキームは、図１に例示されるように、一方の対角線上に２つの緑画素を、他方の対角線上に赤及び青画素を有する２×２のサブパターンを有する、周知のＢａｙｅｒパターンのような、カラーフィルタサブパターンが通常対で起こる色感知撮像装置に使用され得る。

[0006] 他のアプローチに類似して、Ｔ_ｌｏｎｇを有する行は、暗い領域におけるディテールを示すために使用され、Ｔ_{ｓｈｏｒｔ}を有する行は、明るい領域におけるディテールを示すために使用される。そのようなアプローチの場合、モーションアーチファクトが最小化され、ラインバッファは必要ない。しかしながら、このアプローチは、垂直方向において解像度損失を引き起こすだろう。改良された別のアプローチは、米国特許第８０５９１７４号において提示されており、ここでは、長い及び短い積分時間が密にインターリーブされる、即ち、行内の幾つかの画素がより長い積分時間を有するのに対して、同じ行内の他の画素はより短い積分時間を有することとなり、これは、垂直方向においてより良い解像度に帰着する。しかしながら、これは、依然として、垂直方向と水平方向の両方において幾らかの解像度損失を引き起こす。同様のスキームでは、長い積分時間を有する画素の１つの行が使用され得、画素の次の行は、短い積分時間を有し得、ここで、両方の画素は、同じカラーフィルタを有する。しかしながら、このアプローチは、異なるアスペクト比と、垂直解像度損失とを引き起こす。

[0007] この問題に対する更に別のアプローチは、対数画素（logarithmic pixel）のような、非線形応答画素を使用することであり得る。そのような画素は、非常に高いネイティブダイナミックレンジ（very high native dynamic range）を提供するが、これら画素を使用して作られる画像は、より高い固定パターンノイズ（ＦＰＮ）といった他の課題を抱えている。

[0008] 異なる積分時間の他に、画素内操作（in-pixel manipulation）のような他の技法も、ＷＤＲを達成するために実装され得る。例えば、所謂、横型オーバフロー蓄積容積（ＬＯＦＩＣ：lateral over-flow integrated capacitor）スキームでは、特定の画素が飽和状態に近いときに電荷を蓄積するために各画素において小容量が加えられる。このスキームでは、より複雑なレイアウトを犠牲にして、より高いダイナミックレンジが達成され得る。

[0009] これらスキームの各々では、各画素は、１つの光感知素子を有し、これら画素は、水平方向及び垂直方向の両方に同じ増加で、通常矩形パターンで配列される。

[0010] 別の可能なスキームは、米国特許第７０１９２７４号に例示されており、それは、小さい光感知素子及び大きい光感知素子が各画素に組み込まれるスキームを示す。より大きい素子により多くの露光を、小さい素子により少ない露光を可能にするように画素の上部にある遮光体を調整することで、合成されたピクチャは、より高いダイナミックレンジを有することができる。しかしながら、そのようなアプローチの場合、ダイナミックレンジ拡張が小さい素子と大きい素子との比並びにそれらの開口率に依存するため、ダイナミックレンジ拡張は、撮像装置が製造された時点で固定される。しかしながら、実際、シーンによっては、異なるダイナミックレンジが必要とされる。例えば、微光（low light）の状況では、任意の高ダイナミックレンジ画像情報を使用しないことが好ましく、代わりに、より高い信号対ノイズ比（ＳＮＲ）を達成するために、可能な限り多くの光に各画素を曝すことが好ましいだろう。しかしながら、米国特許第７０１９２７４で使用されるスキームは、そのような異なるスキームに対して最適化されない可能性がある。

[0011] 本明細書で説明されるシステム、方法、デバイス、及びコンピュータプログラム製品は、各々、幾つかの態様を有し、これらのうちの何れも、その望ましい属性を単独で担うものではない。後に続く特許請求の範囲によって表されるような本発明の範囲を限定することなく、幾つかの特徴が以下に簡潔に説明される。この説明を検討した後、特に、「発明の詳細な説明」というセクションを読めば、本発明の有利な特徴が、複数の光感知素子を用いて画像を撮影することをどのように含むのかを理解されるだろう。

[0012] 幾つかの態様では、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含む画像センサを用いて画像を撮影する方法が開示され、ここにおいて、第２のウェルキャパシティは、第１のウェルキャパシティよりも大きい。方法は、少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定することと、少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定することとを備え、ここにおいて、第２の積分時間は、第１の積分時間とは異なる。

[0013] 一態様では、電子デバイスが開示される。デバイスは、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含むＣＭＯＳ可視画像センサと、ここにおいて、第２のウェルキャパシティは、第１のウェルキャパシティよりも大きい、少なくとも１つの第１の光感知素子の各々に対して使用されるべき第１の積分時間を決定することと、少なくとも１つの第２の光感知素子の各々に対して使用されるべき第２の積分時間を決定することとを行うように構成されたプロセッサとを備え、ここにおいて、第２の積分時間は、第１の積分時間とは異なる。

[0014] 一態様では、電子デバイスが開示される。デバイスは、ＣＭＯＳ可視画像センサに含まれる、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定するための手段と、ＣＭＯＳ可視画像センサに含まれる、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定するための手段とを備え、ここにおいて、第２の積分時間は、第１の積分時間とは異なり、第２のウェルキャパシティは、第１のウェルキャパシティよりも大きい。

[0015] 一態様では、命令を備える非一時的コンピュータ可読媒体が開示され、命令は、実行されると、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含むＣＭＯＳ可視画像センサを使用して画像を撮る方法を行うことをデバイス内のプロセッサに行わせ、ここにおいて、第２のウェルキャパシティは、第１のウェルキャパシティよりも大きい。方法は、少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定することと、少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定することとを備え、ここにおいて、第２の積分時間は、第１の積分時間とは異なる。

[0016] 図１は、Ｂａｙｅｒカラーフィルタパターンの例示である。 [0017] 図２は、２ダイオード画素の例示的な概略図である。 [0018] 図３は、ダイナミックレンジ拡張を可能にするための２ダイオード画素の例示的なタイミング図である。 [0019] 図４Ａ及び図４Ｂは、ダイナミックレンジ拡張の原理の例示である。 [0020] 図５は、α（ｘ，ｙ）のグラフであり、これは、２つのフォトダイオードからの読出し値を合成するための関数を例示する。 [0021] 図６は、低光の状況において使用され得る２ダイオード画素の例示的なタイミング図である。 [0022] 図７は、一対の共通トランジスタを共有するトータルで４つのフォトダイオードを有する、同じ行又は同じ列の何れか内にある２つの隣接した画素の概略的な例示である。 [0023] 図８は、フォトダイオードからの読出し値を合成するための構成要素のセットを有するデバイスの高水準ブロック図を描写する。 [0024] 図９は、二重ダイオードデバイスを使用する方法の例示である。

発明の詳細な説明

[0025] 複数の実施形態は、可視画像センサのダイナミックレンジを拡張するための方法及びシステムに関する。一実施形態は、画像センサのダイナミックレンジを拡張するために異なる積分時間を有する二重ダイオード画素を組み込んでいるＣＭＯＳベースの可視画像センサを含む。典型的なモバイルデバイス上で使用されるセンサがフルダイナミックレンジの屋外画像のを撮影するのに十分なダイナミックレンジを有さない可能性があるため、可視画像センサのダイナミックレンジを拡張することが重要であり得る。幾つかの実施形態では、ＣＭＯＳセンサは、二重ダイオード設計を組み込むことで、増加したダイナミックレンジを有し得る。そのような設計は、例えば、より多くの光を吸収し、画像のより暗いエリアにおいて更なるディテールを提供するために、より大きいウェルキャパシティを有するより大きいフォトダイオードと、画像のより明るいエリアにおいて更なるディテールを提供するために、より小さいウェルキャパシティを有するより小さいフォトダイオードとを含み得る。

[0026] フォトダイオードのような光感知素子が保持することができる総電荷量は、ウェルキャパシティと呼ばれ、電子単位で測定される。光感知素子のウェルキャパシティは、典型的にデシベル単位で測定されるその素子のダイナミックレンジに関する。ダイナミックレンジ、ウェルキャパシティとノイズフロアとの比、は、センサが、フルウェルキャパシティに到達するまで低光度においてどれだけうまく正確な信号を測定することができるかの測定である。同様のノイズフロアを前提として、感知素子のダイナミックレンジは、そのウェルキャパシティに比例し、それは、典型的にそのような光感知素子のサイズに比例する。

[0027] 「例示的」という用語は、本明細書では、「例証、事例、又は例示としての役割を果たす」という意味で使用される。「例示的」として本明細書で説明される任意の実施形態は、必ずしも、他の実施形態よりも有利である又は好ましいと解釈されるべきではない。新規のシステム、装置、及び方法の様々な態様が、添付の図面に関連して以下に更に詳しく説明される。しかしながら、本開示は、多くの異なる形式で具現化され得、本開示全体を通して提示される任意の特定の構造又は機能に限定されるものとして解釈されるべきではない。むしろ、これらの態様は、本開示を徹底的かつ完全なものとし、本開示により本開示の範囲が当業者に十分に伝わるように、提供される。本明細書での教示に基づき、当業者は、本開示の範囲が、本発明の任意の他の態様と組み合わされて実装されようと独立して実装されようと、本明細書で開示される新規なシステム、装置、及び方法の任意の態様をカバーするように意図されていることを認識するべきである。例えば、本明細書に示される任意の数の態様を使用して、装置が実装されるか、又は方法が実施され得る。加えて、本発明の範囲は、本明細書に示される本発明の様々な態様に加えて、又はそれ以外の、他の構造、機能、又は構造と機能を使用して実施されるこのような装置又は方法をカバーするように意図される。本明細書で開示される任意の態様が、特許請求の範囲の１つ又は複数の要素によって具現化され得ることは理解されるべきである。

[0028] 特定の態様が本明細書で説明されるが、これら態様の多くの変形及び置換は、本開示の範囲に含まれる。好ましい態様の幾つかの利益及び利点が述べられるが、本開示の範囲は、特定の利益、用途、又は目的に限定されるようには意図されない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク、及び送信プロトコルに広く適用可能であるように意図されており、そのうちの幾つかが、図において及び好ましい態様の以下の説明において例として例示される。発明の詳細な説明及び図面は、限定というよりはむしろ、本開示の単なる例示であり、本開示の範囲は、添付の特許請求の範囲及びそれらの同等物によって定義されている。

[0029] 上述したように、明るいエリアと暗いエリアの両方を含むシーンのピクチャを撮るために、画像センサ、即ち撮像装置、のダイナミックレンジを拡張することが望まれ得る。これは、特に、より小さい画素が、各画素に対して軽減フルウェルキャパシティ（ＦＱＣ）を有し得ることから、小さい画素サイズに当てはまり得る。例えば、モバイル電話カメラで使用される典型的な画像センサが６０−７０ｄＢのダイナミックレンジを有するのに対して、典型的な自然シーンは１００ｄＢのコントラスト範囲を容易にカバーし得る。故に、撮影された画像のダイナミックレンジを拡張する方法が、そのようなピクチャのコントラスト忠実性を維持するために必要とされる。

[0030] 従って、複数の実施形態は、１つ又は複数の画素が様々なウェルキャパシティの光感知素子から構成される画像センサに関する。従って、これらの画像センサは、撮影された同じ画像フレーム内の微光画像部分及び最も明るい（high light）画像部分を正確に撮影するために、以下で説明されるように、異なる感知素子の組み合わせを使用することで、高ダイナミックレンジで画像を撮影することができる。上記方法の欠点のうちの幾つかを回避しつつ増加ダイナミックレンジを提供するために使用され得る１つの方法は、画素当たり２つの光感知素子、１つの小さい光感知素子と１つの大きい光感知素子、を有する可視画像センサを提供することであり得る。図２は、２ダイオード画素の例示的な概略図２００である。以下で説明されるように、他の光感知素子もまた使用され得ることが当業者には明らかであるが、固定された（pinned）フォトダイオードが、そのような光感知素子の例として使用され得る。故に、各画素は、大きいフォトダイオードと小さいフォトダイオードとを含み得る。画素２００のこの図では、大きいフォトダイオード２１０は、Ｄｌａｒｇｅと呼ばれ得、小さいフォトダイオード２２０は、Ｄｓｍａｌｌと呼ばれ得る。画素２００は、各フォトダイオードに対して別々に機能することができる他の読出し素子を更に含み得るか、或いは両方のダイオードが、幾つかの共通した読出し素子を共有し得る。これは、フォトダイオードの増加された充填比（fill factor）を齎し得る。これら画素は、画素の１つの行を形成するために、固定の画素ピッチで、水平方向において繰り返しインスタント化される。各撮像装置は、２次元画素アレイを形成するために、垂直方向において、実質的には水平方向の場合と同じ画素ピッチで、多数の行又はそのような画素を含み得る。

[0031] 画素２００のような、異なる感知素子を有する画素を含む可視画像センサは、多数の点で以前のセンサとは異なり得る。例えば、可視画像センサの大きいフォトダイオード２１０及び小さいフォトダイオード２２０は、異なる積分時間を有し得る。例えば、これら積分時間は、大きいフォトダイオード２１０の積分時間についてはＴＬと表され得、小さいフォトダイオード２２０の積分時間についてはＴＳと表され得る。大きいフォトダイオード２１０は、小さいフォトダイオード２２０よりも長い積分時間を有し得る。これにより、より大きいフォトダイオード２１０は、画像のより暗い領域におけるディテールを示すことができ得、小さいフォトダイオード２２０は、画像のより明るい領域におけるディテールをより良く示すことができ得る。

[0032] そのような回路は、低ノイズ４トランジスタ（４Ｔ）画素に基づき得、大きいダイオードＤｌａｒｇｅ２１０及び小さいダイオードＤｓｍａｌｌ２２０に対してそれぞれ個別の移動ゲートＭｘｌ２０４及びＭｘｓ２０８を含み得る。大きいフォトダイオードＤｌａｒｇｅ２１０及び小さいフォトダイオードＤｓｍａｌｌ２２０の影付きエリアによって例示されるように、これらダイオードは、異なるサイズ、Ｄｌａｒｇｅ２１０に対してより大きいサイズ、を有し得る。ここではＤｌａｒｇｅ２１０に対して不規則な形が例示されているが、幾つかの態様では、電荷移動を容易にするために、丸みのある長方形などの、各ダイオードに対してより十分に制御された形が好まれるだろう。画素をサポートする他の回路は、リセットトランジスタＭｒｓｔ２２５と、ソースフォロワトランジスタＭｓｆ２３０及び行選択トランジスタＭｓｅｌ２３５から構成される読出しブランチとを含み得る。

[0033] 図３は、図２に示されているもののような２ダイオード画素の例示的なタイミング図３００である。このタイプの画素では、入射光子が、シリコン基板において電子・正孔対に変換される。次に、光電子は、Ｄｌａｒｇｅ２１０及びＤｓｍａｌｌ２２０という２つのフォトダイオードによって集められる。大きいフォトダイオードＤｌａｒｇｅ２１０に対する積分は、時間Ｔ０に開始する。この時に、ＲＳＴ及びＸＲＦＬの両方は、ある特定の時間量の間ハイであり得、トランジスタＭｒｓｔ２２５及びＭｘｌ２０４の両方をオンにする。これは、Ｄｌａｒｇｅ２１０における全ての電子を空にし得、Ｄｌａｒｇｅ２１０を既定の電圧に設定し得る。ＸＲＦＬが低電圧に設定された時点で、Ｍｘｌ２０４はオフになり、Ｄｌａｒｇｅ２１０は、光電子を集め始め、その電圧は低下する。一般に、そのような光電子蓄積の比は、Ｄｌａｒｇｅ２１０に当たる入射光の量に比例し、従って、それは、光度とフォトダイオードエリアの両方の関数である。

[0034] 前に述べたように、Ｄｌａｒｇｅ２１０は、時間ＴＬの間、光を集めるように構成され得る。Ｄｌａｒｇｅ２１０が電子を集めるのと同時に、Ｄｓｍａｌｌ２２０もまた、電子を集め得るが、これらは使用されないだろう。時間Ｔ０＋ＴＬ−ＴＳ＋１／２ライン時間３１０において、小さいフォトダイオードＤｓｍａｌｌ２２０は、ＲＳＴ及びＸＦＬＳの両方を高い値に設定することでリセットされ得る。このリセットは、Ｄｓｍａｌｌ２２０が集めた任意の光電子を破棄し得、Ｄｓｍａｌｌ２２０が、光電子を再度集め始めることを可能にする。Ｄｓｍａｌｌ２２０は、時間ＴＳの間、光を集めるように構成され得る。

[0035] 積分時間の終了時に、ダイオード上の蓄積された電荷を読み出すために、相関二重サンプリング（ＣＤＳ）動作が用いられ得る。これを行うために、まずＭｒｓｔ２２５が、ＲＳＴを高く設定することでオンにされ、これは、フローティングノード（ＦＮ）をリセット電圧（ＣＥＬＬＨＩバイアス−Ｍｒｓｔ２２５の閾値）に設定する。この後、ＳＥＬ信号がハイに設定され得、これは、画素読み出しを可能にするためにＭｓｅｌ２３５をオンにし得る。ＢＵＳが電流源に接続されている場合、Ｍｓｆ２３０は、ソースフォロワとして機能し、これは、ＢＵＳ電圧がＦＮの電圧を追跡することに帰着する。ＦＮのリセット電圧が読み出された時点で、Ｍｘｌ２０４は、ＸＲＥＦをハイに設定し、Ｄｌａｒｇｅ２１０における集められた全ての光電子をＦＮにダンピングし、それによって、ＦＮの電圧を下げることによってオンにされる。この後、ＢＵＳ電圧は、ＦＮの下げられた電圧に従い得、第２の読出しは、ＳＥＬがハイに設定されている場合、ソースフォローを通じて行われ得る。両方の読出し間の差分は、Ｄｌａｒｇｅ２１０によって集められた光電子によるノードＦＮでの的確な電圧変化を決定するために使用され得る。追加の列回路もまた、そのような情報を記憶するために、及び、増幅、デジタル化、及び他の処理のような更なる処理を可能にするために使用され得る。一般に、ＣＤＳ動作は、存在し得るある特定の一時的なノイズ及びトランジスタ変動のインパクトを減らし得る。幾つかの態様では、１つがリセット用で１つが読出し用である２つのＸＲＦＬパルス間の時間差は、大きいフォトダイオードの積分時間ＴＬに相当し得る。大きいフォトダイオードＤｌａｒｇｅ２１０が読み出された時点で、約１／２ライン時間後に、別のＣＤＳ動作が、小さいフォトダイオードＤｓｍａｌｌ２２０を読み出すために実行され得る。この動作は、大きいフォトダイオードＤｌａｒｇｅ２１０に関連して上述された動作に類似し得る。Ｄｓｍａｌｌ２２０を読み出すためのＣＤＳ動作では、小さいフォトダイオードｓｍａｌｌ２２０に対してＸＦＲＳをハイに設定することで、Ｍｘｓ２０８がオンにされ得る。Ｄｓｍａｌｌ２２０について積分する際、２つのＸＦＲＳパルス間の時間は、Ｄｓｍａｌｌ２２０の積分時間ＴＳである。

[0036] 図３に例示された読出しスキームを使用する際、大きいフォトダイオード２１０の読出しと、小さいフォトダイオード２２０の読出しとの間に、約１／２ライン時間の時間差が存在し得る。従って、１つのラインバッファが、大きいフォトダイオード２１０からの情報を記憶するために必要とされ得る。所与の画素からの小さいフォトダイオード２２０が読み出された時点で、関連した大きいフォトダイオード２１０からの結果と合成され、最終的な画素出力値を形成し得る。従って、この２ダイオード構成からの追加のメモリ要件が最小化される。

[0037] 図４Ａ及び図４Ｂは、ダイナミックレンジ拡張の原理を例示する。図４Ａは、図２に示されたフォトダイオードからの元の読出し値のプロット４１０を例示する。ｘ軸は、画素に当たる光度である。大きいフォトダイオードＤｌａｒｇｅ２１０の場合、蓄積された信号は、積分時間ＴＬと、集光エリアＡＲＥＡＬとの積に比例する。小さいフォトダイオード２２０の場合、その信号は、ＴＳ×ＡＲＥＡＳに比例し、ここで、ＡＲＥＡＳは、Ｄｓｍａｌｌ２２０のその集光エリアである。各フォトダイオードがそれぞれ飽和レベルＦＷＣＬ及びＦＷＣＳを有するため、プロット４２０でＬ１及びＬ２としてそれぞれ示されるように光度がある特定のレベルを上回った時点で、フォトダイオードは、これ以上の電荷を集めることができなくなり、次いで、その出力がクリッピングされる。Ｄｓｍａｌｌ２２０及びＤｌａｒｇｅ２１０の両方の組み合わせを使用することによって、このダイナミックレンジは拡張され得る。上記パラメータの既知の値を使用することで、小さいフォトダイオード２２０の信号値は、ＴＬ×ＡＲＥＡＬ／（ＴＳ×ＡＲＥＡＳ）という係数が乗じられ得、これは、図４Ｂに示されるプロット４２０に帰着する。故に、２ダイオードセンサを使用することで、小さいフォトダイオードの飽和状態は、ＦＷＣＳ×ＴＬ×ＡＲＥＡＬ／（ＴＳ×ＡＲＥＡＳ）へとプッシュされ得、これは、ＴＬ対ＴＳの適切な比を選択することで、画素ダイナミックレンジの拡張に帰着し得る。

[0038] 多数の方法が、両方のフォトダイオードからの読出し値を合成するために使用され得る。例えば、大きいフォトダイオード２１０（図２）の出力が飽和状態を下回る場合、この値は、最終的な画素出力として使用され得る。しかしながら、この値が、その飽和レベルに近づくと、画素の値は、代わりに小さいフォトダイオードの出力となるように操作され得る。両方のダイオードの出力を利用するために、より複雑なアルゴリズムも使用され得る。例えば、２つの読出し画像を１つの線形ＨＤＲ画像へと合成するもう１つの複雑なアルゴリズムが以下に説明される：
[0039] Ｔ１及びＴ２が、それぞれ、ＴＬ及びＴＳに対応して、大きい及び小さいフォトダイオードの読出し画像を表すものとする。Ｒ＝（ＴＬ／ＴＳ）×（ＡＲＥＡＬ／ＡＲＥＡＳ）とする。ＭＡＤは、Ｔ１とＲｘＴ２との間の局所的な平均絶対誤差値を表すものとし、それは以下のように定義される：

[0040] ここで、Ｗ（ｘ，ｙ）は、画素（ｘ，ｙ）に中心があるｍ×ｎのウィンドウであり、Ｎは、ウィンドウＷ（ｘ，ｙ）内の画素の総数である。α（ｘ，ｙ）は、以下のように定義されるものとする：

[0041] ａ及びｂは、フォトダイオード間の偏移幅を制御するチューニングパラメータである。

[0042] 図５は、ＭＡＤ、Ｔ１とＲｘＴ２との間の局所的な平均絶対誤差値、の関数としての関数αのグラフである。関数α（ｘ，ｙ）を用いて、合成されたＴ１及びＴ２画像Ｔｈｄｒは、次のように表せられ得る：

[0043] 上記関数は、Ｔ１が飽和状態になったとき又はモーションが提示されるときＴ１からＴ２に平滑に切り替わるだろう。これは、図５のαのグラフから観察され得る：Ｔ１が飽和状態になると、ＭＡＤ値は大きくなり、次にαが１に近くなり、それによりＴｈｄｒがＴ２に近くなるだろう。同様に、提示されたモーションがあるとき、ＭＡＤは大きくなり、αは１に近くなり、それによりこの場合も同様に、ＴｈｄｒはＴ２に近くなるだろう。

[0044] Ｎ０というノイズフロアを想定すると、上記の再合成スキーム（recombination scheme）の場合、画素のダイナミックレンジは以下のように表せられ得る：

[0045] 比較のために、同じ画素が、単一のダイオードの通常のアプローチで実装された場合、より一層大きいフォトダイオードが、ＦＷＣＳ＋ＦＷＣＬのオーダで、組み合わされた飽和レベルを有する同じ画素ピッチに対して実装され得ることは想定され得る。結果として、そのダイナミックレンジは、以下のようになり得る：

[0046] これら２つのアプローチからの異なるダイナミックレンジを比較するために、そのようなフォトダイオードのフルウェルキャパシティが、画素のフォトダイオードエリアに幾らか比例し得ることが想定され得る。故に、このフォトダイオードの集光エリアが、ダイオードエリアとほぼ同じであると想定される場合、二重ダイオードを用いた画素のダイナミックレンジは、以下となり得る：

[0047] ＴＬ／ＴＳが、１＋ＦＷＣＳ／ＦＷＣＬよりも大きくなり得るため、ＤＲｎｅｗは、ＤＲｏｌｄよりも高くなり得る。故に、このアプローチは、光感知画素のダイナミックレンジを改善し得る。

[0048] ＴＬとＴＳの両方が、動的にプログラミングされ得るため、本開示の１つの利点は明らかになり得る：システムの最大のダイナミックレンジは、より大きいＴＬ／ＴＳ比をプログラミングすることによって容易に増加され得る。しかしながら、Ｌ１とＬ２との間の光度レベルについて、ＴＬ及びＴＳが固定であると想定すると、そのような画素のＳＮＲは、飽和した大きいフォトダイオードからの情報がもはや使用されていない可能性があるため、より低くなり得る。より小さいフォトダイオードだけからの信号が使用される場合、より高いノイズレベルが存在し得る。故に、ダイナミックレンジを必要なぶんだけ拡張しつつＳＮＲレベルを維持するために、ＴＬ及びＴＳを別個に調整するための露光制御を実装することが有益であり得る。

[0049] ＴＬ及びＴＳを調整する１つの方法は、以下の通りであり得る。第１に、ＴＬ及びＴＳは、同じ値に設定され得る。このことから、自動露制御が通常のセンサで使用され得るのと同じように、自動露光制御のためのＴＬの統計データが使用され得る。明度レベルがターゲット明度レベルに到達すると、ＴＬ画像は、クリッピング画素のチェック受けることができる。クリッピング画素の既定の閾値が使用され得、画像内のクリッピング画素の数は、この閾値レベルと比較され得る。ＴＬ画像内のクリッピング画素のカウントが、既定の閾値よりも低い場合、ＴＬ露光長は十分であり得、ＴＳは、ＴＬに等しく保たれ得る。このケースでは、代わりにＴＬからの画素が使用され得るため、ＴＳ画素からの値が使用されないだろう。しかしながら、ＴＬ画像内のクリッピング画素のカウントが、既定の閾値よりも大きい場合、ＴＳ露光時間が減らされ得、ＴＳ画像内のクリッピング画素のカウントも開始し得る。幾つかの態様では、ＴＳは、ＴＳ画像内のクリッピング画素のカウントが第２の既定の閾値を下回るようなレベルにのみ減らされ得る。換言すると、拡張されたダイナミックレンジが、シーンダイナミックレンジをちょうどカバーするような方法でＴＳ画素が使用され得る。このように、ＳＮＲは、比較的より高いレベルで維持されるだろう。

[0050] ２Ｄ画素アレイの場合、数万画素を有することもあるが、個々の画素の上述したこれら異なる制御信号に接続することは可能ではない可能性がある。典型的な設計では、ＳＥＬ、ＲＳＴ、ＸＲＦＬ、及びＸＦＲＳは、画素の１つの行によって共有される水平バスであり得、ＢＵＳは、画素の１つの列によって共有される垂直バスであり得る。本明細書の例では、ＣＥＬＬＨＩ自体は、２Ｄアレイにおける全ての画素に対して同じであり得、従って、水平バス又は垂直バスの何れかであり得る。そのような実装の結果として、画素の１つの行は、それぞれ大きいフォトダイオードと小さいフォトダイオードに対して同じＴＬ及びＴＳ積分時間を有するだろう。

[0051] ＲＳＴ、ＳＥＬ、及び異なるＸＦＲ信号の生成は、典型的に、垂直タイミング生成器によって制御される。シフトレジスタベースの、又は、デコーダベースの設計の何れかが、そのような目的で使用され得る。シフトレジスタベースのアプローチが使用される場合、小さいフォトダイオードを制御するための遅延ＸＦＲＳ信号を生成するために、追加のポインタ信号及び一対のシフトレジスタが必要とされるだろう。デコーダベースのアプローチの場合、そのような信号を生成するために、追加のカウンタ又は同様の論理回路が必要とされ得る。しかしながら、そのようなタスクに必要とされる追加のシリコンエリアは各行に対して極めて小さい。

[0052] 際立って明るいシーンでピクチャを撮るために高ダイナミックが必要とされるが、微光の状況下では、そのような拡張ダイナミックレンジは、必要とされないだろう。代わりに、同じ積分時間がＴＳ及びＴＬの両方に使用される異なるモード下で上述した二重ダイオード画素を動作させることによってより高いＳＮＲが達成され得る。画素内ビニング、即ち、Ｄｌａｒｇｅ及びＤｓｍａｌｌという両方のフォトダイオードからの電荷を同一の浮遊ノード（ＦＮ）にダンピングすること、が使用された後に１つのＣＤＳ読出しが続く。そのような構成に対するタイミング図が図６に示される。

[0053] 図６に例示される動作モード下では、両方のダイオードが、ＲＳＴ、ＸＦＲＬ、及びＸＦＲＳを全てハイに設定することで、時間Ｔ０において同時にリセットされ得る。その後、両方のダイオードが、光電子の蓄積を開始する。ＴＬ積分時間の後、かつ、ＴＳがＴＬに等しく設定されている場合、ＣＤＳ動作が開始し得る：ＲＳＴをハイに設定することで最初にＦＮがリセットされる。これに続いて、ＳＥＬは、ＦＮのリセットレベルを読み出しするためにオンになり得る。その後、ＸＦＲＬ及びＸＲＦＳの両方がハイに設定され得、両方のフォトダイオードからの蓄積された電荷は、ＦＮに移動され得、その後、減らされたFＮレベルのもう１つの読出しが続く。この動作は、たった１つの読出しの使用を可能にし、これは、両方のフォトダイオードからの電荷がブースト信号レベルまで加算される間、読出しプロセスからのノイズ寄与を最小化する。故に、このプロセスは、高い信号対ノイズ比に帰着し得る。

[0054] 一般に、本明細書で説明された二重ダイオード画素の場合、低光レベル下では、ＴＬ及びＴＳの両方を同じに設定し、かつ、フルフレーム積分時間を使用して、信号レベルを増加させることで、ビニングモード下でそれを動作させることは通常有益である。更に、アナログ及び／又はデジタル利得もまた適用され得る。光レベルが上がるにつれ、フォトダイオードのうちの１つからの信号レベルが飽和し得、本明細書で説明される画素は、動作モードを、異なるＴＬ及びＴＳ時間を有するＷＤＲモードに切り換えるように構成され得る。一般に、ＴＳは、上述したように、画素ダイナミックレンジをブーストするために、ＴＬよりも短いだろう。

[0055] 先に説明された画素は、同じリセット及び読出しトランジスタを共有する小さいフォトダイオード及び大きいフォトダイオードを含んでいたが、これら画素のうちの幾つかはまた、レイアウトのフィルファクタを更に改善するために、そのような共通素子を共有し得る。例えば、同じ行又は同じ列の何れかにあり、Ｄｓｍａｌｌ１ ７０９，Ｄｌａｒｇｅ１ ７１０、Ｄｓｍａｌｌ２ ７１４、及びＤｌａｒｇｅ２ ７１５というトータルで４つのフォトダイオードを有する２つの隣接した画素７０４及び７０５は、図７に示されるように、一対の共通トランジスタ７２０を共有することができる。共有構造に依存して、動作タイミングは、それに応じて調整され得る。例えば、水平共有が実装される場合、各ライン時間に４つの読出しＣＤＳ動作が存在し得る、即ち、Ｄｌａｒｇｅ１ ７１０、Ｄｓｍａｌｌ１ ７０９、Ｄｌａｒｇｅ２ ７１５、最後にＤｓｍａｌｌ２ ７１４を読み出すためにそれぞれ１つ。

[0056] 故に、そのような二重ダイオード画素は、屋外などの高水準のダイナミックレンジを有するシーンの場合など、必要時にＷＤＲ動作を可能に得る。二重ダイオード画素は、小さい及び大きいフォトダイオードを含み得、ある特定の補助回路を含み得る。２つのフォトダイオードは、異なる積分時間をサポートするように設計され得る。微光の状況下では、二重ダイオード画素は、両方のフォトダイオードに対して同じ積分時間で、ＳＮＲをブーストするためにビニングモード下で動作され得る。ＷＤＲモード下では、大きい及び小さいフォトダイオードに対する積分時間は、異なり得、ここで、典型的に、ＴＬよりもＴＳが少ない。ダイナミックレンジは、ＴＬ対ＴＳの比がかなり大きくなると拡張され得る。ＴＬ及びＴＳを別個に変更することによって、そのような画素のダイナミックレンジは、ＳＮＲの損失を最小化しつつ、拡張され得る。このアプローチは、センサのダイナミックレンジを拡張しつつも、画像解像度を維持し得、追加のモーションアーチファクトを引き起こさないだろう。

[0057] 図８は、両方とも同じ画素８００内にある第１のフォトダイオード８１５及び第２のフォトダイオード８２５に動作的に結合されたプロセッサ８２０を含む構成要素のセットを有するデバイス８００の高水準ブロック図を描写する。ワーキングメモリ８０５、記憶装置８１０、及びメモリ８３０はまた、プロセッサと通信状態にあり、そのプロセッサに動作的に取り付けられている。デバイス８００は、デジタルカメラ、携帯電話、又は別のデバイスのような、デジタル写真を撮るように構成されたデバイスであり得る。第１のフォトダイオード８１５及び第２のフォトダイオード８２５は、二重ダイオード画素の一部であり得る。多数のそのような画素が、デバイス８００に含まれ得る。

[0058] プロセッサ８２０は、汎用処理ユニット、又は開示された方法のために特別に設計されたプロセッサであり得る。示されるように、プロセッサ８２０は、メモリ８３０及びワーキングメモリ８０５に接続されている。例示される実施形態では、メモリ８３０は、タイミングモジュール８３５、画像合成モジュール８４０、及びオペレーティングシステム８７５を記憶する。これらのモジュールは、様々なタスクを行うようにプロセッサを構成する命令を含む。ワーキングメモリ８０５は、メモリ８３０のモジュールに含まれるプロセッサ命令のワーキングセットを記憶するためにプロセッサ８２０によって使用され得る。代替的に、ワーキングメモリ８０５はまた、デバイス８００の動作中に作られる動的なデータを記憶するためにプロセッサ８２０によって使用され得る。

[0059] 上述したように、プロセッサ８２０は、これらメモリに記憶された幾つかのモジュールによって構成される。例えば、タイミングモジュール８３５は、第１のフォトダイオード８１５及び第２のフォトダイオード８２５に対してタイミングを決定するようにプロセッサ８２０を構成する命令を含み得る。幾つかの態様では、これらタイミングは、各フォトダイオードに対して同じであり得るか、外部の条件に基づいて異なり得る。

[0060] メモリ８３０はまた、画像合成モジュール８４０を含み得る。画像合成モジュール８４０は、第１のフォトダイオード８１５及び第２のフォトダイオード８２５から信号を受信し、画像を作るようにフォトダイオードからのこれら信号を合成するようにプロセッサ８２０を構成する命令を含み得る。幾つかの態様では、この画像は、一方又は両方のフォトダイオードから受信される情報を含み得る。幾つかの態様では、画像合成モジュール８４０は、メモリ８０５又は記憶装置８１０にこの画像を記憶するように構成され得る。

[0061] オペレーティングシステムモジュール８７５は、デバイス８００のメモリ及び処理リソースを管理するようにプロセッサを構成する。例えば、オペレーティングシステムモジュール８７５は、第１のフォトダイオード８１５、記憶装置８１０、又は第２のフォトダイオード８２５のような、ハードウェアリソースを管理するためのデバイスドライバを含み得る。従って、幾つかの実施形態では、上述されたモジュールに含まれる命令は、これらのハードウェアリソースと直接はインタラクトしない可能性があるが、代わりに、オペレーティングシステム構成要素８７５内に位置する複数のＡＰＩ又は標準的なサブルーチンを通じてインタラクトし得る。次に、オペレーティングシステム８７５内の命令は、これらのハードウェア構成要素と直接インタラクトし得る。

[0062] プロセッサ８２０は、記憶モジュール８１０にデータを書き込み得る。記憶モジュール８１０は、従前のディスクデバイスとしてグラフィカルに表されるが、当業者であれば、複数の実施形態が、メモリディスク、ＵＳＢドライブ、フラッシュドライブ、リモートに接続された記憶媒体、仮想ディスクドライバ、又は同様のものを含むように、ディスクベースの記憶デバイス又は幾つかの他のタイプの記憶媒体のうちの１つの何れかを含み得ることを理解するであろう。

[0063] 図８は、プロセッサ、第１及び第２のフォトダイオード、並びにメモリを含むために別個の構成要素を有するデバイスを描写しているが、当業者であれば、特定の設計目的を達成するために、これらの別個の構成要素が様々な方法で組み合わされ得ることを認識するであろう。例えば、代替的な実施形態では、メモリ構成要素は、費用を節約しパフォーマンスを向上させるために、プロセッサ構成要素と組み合わされ得る。

[0064] 追加的に、図８は、幾つかのモジュールを有するメモリ構成要素８３０と、ワーキングメモリを有する別個のメモリ８０５とを含む２つのメモリ構成要素を例示しているが、当業者であれば、幾つかの実施形態が異なるメモリアーキテクチャを利用することを認識するであろう。例えば、設計は、メモリ８３０に含まれるモジュールを実装するプロセッサ命令の記憶のために、ＲＯＭ又は静的ＲＡＭメモリを利用し得る。代替的に、プロセッサ命令は、デバイス８００に一体化されるか又は外部デバイスポートを介して接続されたディスク記憶デバイスからシステム起動時に読み込まれ得る。次に、プロセッサ命令は、プロセッサによる実行を容易にするためにＲＡＭへとロードされ得る。例えば、ワーキングメモリ８０５はＲＡＭメモリであり得、ここで、命令は、プロセッサ８２０による実行の前にワーキングメモリ８０５にロードされる。

[0065] 図９は、二重ダイオードデバイスを使用する方法の例示である。この方法は、デバイス８００のようなデバイスによって行われ得る。

[0066] ブロック９０５において、方法は、ＣＭＯＳ可視画像センサに含まれる少なくとも１つのより大きい光感知素子の各々に対して第１の積分時間を決定することを含む。例えば、第１の積分時間は、少なくとも１つのより大きい光感知素子によって観察される照明条件に少なくとも部分的に基づいて決定され得る。幾つかの態様では、これを決定するための手段は、プロセッサを含み得る。

[0067] ブロック９１０において、方法は、少なくとも１つのより小さい光感知素子の各々に対して第２の積分時間を決定することを含み、ここにおいて、第２の積分時間は、第１の積分時間とは異なる。幾つかの態様では、これを決定するための手段は、プロセッサを含み得る。

[0068] ブロック９１５において、方法は、少なくとも１つのより小さい光感知素子からの少なくとも１つの信号と、少なくとも１つのより大きい光感知素子からの少なくとも１つの信号とに少なくとも部分的に基づいて画像を形成し得る。幾つかの態様では、画像は、より大きい又はより小さい１つ又は複数の素子からの信号の組み合わせに基づいて形成され得る。幾つかの態様では、画像を形成するための手段は、プロセッサを含み得る。

[0069] 本明細書において、「第１の」、「第２の」、等の称号を用いた要素への如何なる参照も、一般に、これら要素の量も順序も限定しないことが理解されるべきである。むしろ、これらの称号は、２つ以上の要素を、又は、１つの要素の複数の事例を区別する便利な方法として本明細書で使用され得る。故に、第１の要素及び第２の要素への参照は、そこで２つの要素しか用いられないことも、何等かの方法で第１の要素が第２の要素に先行しなければならないことも、意味していない。また、別途記載されていない限り、要素のセットは、１つ又は複数の要素を含み得る。

[0070] 当業者であれば、情報及び信号が、様々な異なる技術及び技法の何れかを使用して表され得ることを理解するであろう。例えば、上の説明全体にわたって参照され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、及びチップは、電圧、電流、電磁波、磁場又は磁性粒子、光場又は光粒子、或いはこれらの任意の組み合わせによって表され得る。

[0071] 当業者であれば更に、本明細書に開示された態様と関連して説明された実例となる様々な論理ブロック、モジュール、プロセッサ、手段、回路、及びアルゴリズムステップの何れも、電子ハードウェア（例えば、ソースコーディング又は他の何等かの技法を使用して設計され得る、デジタル実装、アナログ実装、又はこれら２つの組み合わせ）、命令（便宜上、本明細書では「ソフトウェア」又は「ソフトウェアモジュール」と呼ばれ得る）を組み込む様々な形式の設計コード又はプログラム、或いは両方の組み合わせとして実装され得ることを認識するであろう。このハードウェア及びソフトウェアの互換性を明確に例示するために、実例となる様々な構成要素、ブロック、モジュール、回路、及びステップは、概ねそれらの機能性の観点から上で説明されている。そのような機能性がハードウェアとして実装されるかソフトウェアとして実装されるかは、特定の用途とシステム全体に課される設計の制約とに依存する。当業者は、上述された機能を特定の用途ごとに様々な方法で実装し得るが、このような実装の決定は本開示の範囲からの逸脱をさせるものとして解釈されるべきでない。

[0072] 本明細書に開示された態様と関連して及び図１−９に関連して説明された、実例となる様々な論理ブロック、モジュール、及び回路は、集積回路（ＩＣ）、アクセス端末、又はアクセスポイント内に実装され得るか、又はこれらによって行われ得る。ＩＣは、汎用プロセッサ、デジタルシグンナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲート又はトランジスタ論理、ディスクリートハードウェア構成要素、電気構成要素、光学構成要素、機械構成要素、或いは本明細書に説明された機能を行うように設計されたそれらの任意の組み合わせを含み得、ＩＣ内、ＩＣ外、又はその両方に存在する命令又はコードを実行し得る。論理ブロック、モジュール、及び回路は、ネットワーク内又はデバイス内の様々な構成要素と通信するために、アンテナ及び／又はトランシーバを含み得る。汎用プロセッサはマイクロプロセッサであり得るが、代替的に、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、ＤＳＰと、１つのマイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに連結した１つ又は複数のマイクロプロセッサ、或いは任意の他のそのような構成との組み合わせとして実装され得る。これらモジュールの機能性は、本明細書で教示されたような他の何等かの方法で実装され得る。本明細書で説明された機能性（例えば、添付図面のうちの１つ又は複数に関連して）は、幾つかの態様では、添付の特許請求の範囲において同様に指定された「〜ための手段」の機能性に対応し得る。

[0073] ソフトウェアで実装される場合、これら機能は、コンピュータ可読媒体において、１つ又は複数の命令又はコードとして、記憶又は送信されることができる。本明細書に開示される方法又はアルゴリズムのステップは、コンピュータ可読媒体上に存在し得るプロセッサ実行可能なソフトウェアモジュールに実装され得る。コンピュータ可読媒体は、ある場所から別の場所へコンピュータプログラムを移動することを可能にされ得る任意の媒体を含む通信媒体及びコンピュータ記憶媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、このようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶デバイス、或いは、データ構造又は命令の形式で所望のプログラムコードを記憶するために使用されることができ、かつコンピュータによってアクセスされることができる任意の他の媒体を含み得る。また、任意の接続は、厳密にはコンピュータ可読媒体と称され得る。ディスク（disk）及びディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザを用いて光学的に再生する。上記の組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。追加的に、方法又はアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る、機械可読媒体及びコンピュータ可読媒体上で、コード及び命令のうちの１つ、又はそれらの任意の組み合わせ、又はそれらのセットとして存在し得る。

[0074] 任意の開示されたプロセスにおけるステップの任意の特定の順序又は階層は、サンプルのアプローチの例であることが理解される。設計の選好に基づいて、プロセスにおけるステップの特定の順序又は階層は本開示の範囲内にありながら並べ替えられ得ることが理解される。添付の方法の請求項は、様々なステップの要素を１つのサンプルの順序で示し、それらが提示された特定の順序又は階層に限定されることは意味されない。

[0075] 本開示で説明された実装形態への様々な修正は、当業者には容易に明らかであり得、本明細書で定義された包括的な原理は、本開示の精神又は範囲から逸脱することなく他の実装形態に適用され得る。故に、本開示は、本明細書に示された実装形態に限定されるように意図されず、本明細書に開示される特許請求の範囲、原理、及び新規な特徴と一致する最も広い範囲が与えられるべきである。「例示的」という用語は、本明細書では、「例証、事例、又は例示としての役割を果たす」という排他的な意味で用いられる。「例示的」として本明細書で説明される任意の実装形態は、必ずしも、他の実装形態よりも有利である又は好ましいと解釈されるべきではない。

[0076] 別個の実装形態に照らして本明細書で説明されたある特定の特徴もまた、単一の実装形態で、組み合わせて実装され得る。反対に、単一の実装形態のコンテキストにおいて説明される様々な特徴はまた、複数の実装形態で別個に、又は任意の適したサブコンビネーションで実装され得る。更に、特徴は、ある特定の組み合わせで動作するものと上述され、そのように最初に特許請求の範囲に記載すらされ得るが、請求される組み合わせからの１つ又は複数の特徴は、幾つかのケースでは、その組み合わせから削除され得、請求される組み合わせは、サブコンビネーション又はサブコンビネーションの変形物に向けられ得る。

[0077] 同様に、動作は、図面に特定の順序で描写されるが、このことが、所望の結果を達成するために、そのような動作が特定の順序で又は連続した順序で行われること、或いは、全ての例示された動作が行われることを必要とするものと理解されるべきではない。ある特定の環境では、マルチタスク及び並列処理は有利であり得る。更に、上述された実装形態における様々なシステム構成要素の分離は、全ての実装形態においてそのような分離を要求するものとして理解されるべきではなく、説明されたプログラム構成要素及びシステムが、一般に単一のソフトウェア製品へと纏めて一体化され得るか、又は複数のソフトウェア製品にパッケージ化され得ることは理解されるべきである。加えて、他の実装は、以下の特許請求の範囲内である。幾つかのケースでは、特許請求の範囲に記載されているアクションは、異なる順序で行われ、それでもなお所望の結果を達成することができる。

Claims (30)

1. 第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含む画像センサを用いて画像を撮影する方法であって、前記第２のウェルキャパシティは、前記第１のウェルキャパシティよりも大きく、前記方法は、
   前記少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定することと、
   前記少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定することと、ここにおいて、前記第２の積分時間は、前記第１の積分時間とは異なる、
   を備える方法。
2. 前記少なくとも１つの第１の光感知素子からの少なくとも１つの信号と、前記少なくとも１つの第２の光感知素子からの少なくとも１つの信号に少なくとも部分的に基づいて画像を形成すること
   を更に備える、請求項１に記載の方法。
3. 画像を形成することは、以下の式に少なくとも部分的に基づいて画像を形成することを備え、
   

   

   ここにおいて、Ｎは、画素（ｘ，ｙ）に中心があるｍ×ｎのウィンドウであるウィンドウＷ（ｘ，ｙ）内の画素の総数であり、Ｔ１は、前記少なくとも１つの第１の光感知素子の読出し値であり、Ｔ２は、前記少なくとも１つの第２の光感知素子の読出し値であり、Ｔ_ｈｄｒは、前記合成された画像であり、
   

   

   ａ及びｂは、偏移幅を制御するチューニングパラメータであり、ＭＡＤは、以下によって定義される局所的な平均絶対誤差値である、
   

   

   請求項２に記載の方法。
4. 前記画像は、高ダイナミックレンジ画像である、請求項１に記載の方法。
5. 前記少なくとも１つの第１の光感知素子及び前記少なくとも１つの第２の光感知素子のうちの少なくとも１つは、フォトダイオードである、請求項１に記載の方法。
6. 前記第２の積分時間は、前記第１の積分時間よりも短い、請求項１に記載の方法。
7. 前記第１の積分時間及び前記第２の積分時間のうちの少なくとも１つは、照明条件に少なくとも部分的に基づいて決定される、請求項１に記載の方法。
8. 電子デバイスであって、
   第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含むＣＭＯＳ可視画像センサと、ここにおいて、前記第２のウェルキャパシティは、前記第１のウェルキャパシティよりも大きい、
   プロセッサと
   を備え、前記プロセッサは、
   前記少なくとも１つの第１の光感知素子の各々に対して使用されるべき第１の積分時間を決定することと、
   前記少なくとも１つの第２の光感知素子の各々に対して使用されるべき第２の積分時間を決定することと、ここにおいて、前記第２の積分時間は、前記第１の積分時間とは異なる、
   を行うように構成される、デバイス。
9. 前記少なくとも１つの第１の光感知素子及び前記少なくとも１つの第２の光感知素子のうちの少なくとも１つは、フォトダイオードを備える、請求項８に記載のデバイス。
10. 前記第２の積分時間は、前記第１の積分時間よりも短い、請求項８に記載のデバイス。
11. 前記プロセッサは、照明条件に少なくとも部分的に基づいて第１の積分時間を決定するように構成される、請求項８に記載のデバイス。
12. 前記プロセッサは、照明条件に少なくとも部分的に基づいて第２の積分時間を決定するように構成される、請求項８に記載のデバイス。
13. 前記少なくとも１つの第１の光感知素子及び前記少なくとも１つの第２の光感知素子は、１つ以上のトランジスタを共有する、請求項８に記載のデバイス。
14. 前記プロセッサは、画像を形成するように更に構成され、前記画像は、前記少なくとも１つの第１のフォトダイオード及び前記少なくとも１つの第２のフォトダイオードのうちの１つ以上からの信号に少なくとも部分的に基づく、請求項８に記載のデバイス。
15. 画像を形成することは、以下の式に少なくとも部分的に基づいて画像を形成することを備え、
    

    

    ここにおいて、Ｎは、画素（ｘ，ｙ）に中心があるｍ×ｎのウィンドウであるウィンドウＷ（ｘ，ｙ）内の画素の総数であり、Ｔ１は、前記少なくとも１つの第１の光感知素子の読出し値であり、Ｔ２は、前記少なくとも１つの第２の光感知素子の読出し値であり、Ｔｈｄｒは、前記合成された画像であり、
    

    

    ａ及びｂは、偏移幅を制御するチューニングパラメータであり、ＭＡＤは、以下によって定義される局所的な平均絶対誤差値である、
    

    

    請求項１４に記載のデバイス。
16. 前記画像は、高ダイナミックレンジ画像である、請求項１４に記載のデバイス。
17. 電子デバイスであって、
    ＣＭＯＳ可視画像センサに含まれる、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定するための手段と、
    前記ＣＭＯＳ可視画像センサに含まれる、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定するための手段と、ここにおいて、前記第２の積分時間は、前記第１の積分時間とは異なり、前記第２のウェルキャパシティは、前記第１のウェルキャパシティよりも大きい、
    を備える、デバイス。
18. 前記少なくとも１つの第１の光感知素子からの少なくとも１つの信号と、前記少なくとも１つの第２の光感知素子からの少なくとも１つの信号に少なくとも部分的に基づいて画像を形成するための手段
    を更に備える、請求項１７に記載のデバイス。
19. 画像を形成するための手段は、以下の式に少なくとも部分的に基づいて画像を形成するための手段を備え、
    

    

    ここにおいて、Ｎは、画素（ｘ，ｙ）に中心があるｍ×ｎのウィンドウであるウィンドウＷ（ｘ，ｙ）内の画素の総数であり、Ｔ１は、前記少なくとも１つの第１の光感知素子の読出し値であり、Ｔ２は、前記少なくとも１つの第２の光感知素子の読出し値であり、Ｔｈｄｒは、前記合成された画像であり、
    

    

    ａ及びｂは、偏移幅を制御するチューニングパラメータであり、ＭＡＤは、以下によって定義される局所的な平均絶対誤差値である、
    

    

    請求項１８に記載のデバイス。
20. 前記画像は、高ダイナミックレンジ画像である、請求項１７に記載のデバイス。
21. 前記少なくとも１つの第１の光感知素子及び前記少なくとも１つの第２の光感知素子のうちの少なくとも１つは、フォトダイオードである、請求項１７に記載のデバイス。
22. 前記第２の積分時間は、前記第１の積分時間よりも短い、請求項１７に記載のデバイス。
23. 前記第１の積分時間及び前記第２の積分時間のうちの少なくとも１つは、照明条件に少なくとも部分的に基づいて決定される、請求項１７に記載のデバイス。
24. 命令を備える非一時的コンピュータ可読媒体であって、前記命令は、実行されると、第１のウェルキャパシティを有する少なくとも１つの第１の光感知素子と、第２のウェルキャパシティを有する少なくとも１つの第２の光感知素子とを含むＣＭＯＳ可視画像センサを使用して画像を撮る方法を行うことをデバイス内のプロセッサに行わせ、前記第２のウェルキャパシティは、前記第１のウェルキャパシティよりも大きく、前記方法は、
    前記少なくとも１つの第１の光感知素子の各々に対して第１の積分時間を決定することと、
    前記少なくとも１つの第２の光感知素子の各々に対して第２の積分時間を決定することと、ここにおいて、前記第２の積分時間は、前記第１の積分時間とは異なる、
    を備える、非一時的コンピュータ可読媒体。
25. 前記方法は、
    前記少なくとも１つの第１の光感知素子からの少なくとも１つの信号と、前記少なくとも１つの第２の光感知素子からの少なくとも１つの信号とに少なくとも部分的に基づいて画像を形成すること
    を更に備える、請求項２４に記載の非一時的コンピュータ可読媒体。
26. 画像を形成することは、以下の式に少なくとも部分的に基づいて画像を形成することを備え、
    

    

    ここにおいて、Ｎは、画素（ｘ，ｙ）に中心があるｍ×のウィンドウであるウィンドウＷ（ｘ，ｙ）内の画素の総数であり、Ｔ１は、前記少なくとも１つの第１の光感知素子の読出し値であり、Ｔ２は、前記少なくとも１つの第２の光感知素子の読出し値であり、Ｔｈｄｒは、前記合成された画像であり、
    

    

    ａ及びｂは、偏移幅を制御するチューニングパラメータであり、ＭＡＤは、以下によって定義される局所的な平均絶対誤差値である、
    

    

    請求項２５に記載の非一時的コンピュータ可読媒体。
27. 前記画像は、高ダイナミックレンジ画像である、請求項２４に記載の非一時的コンピュータ可読媒体。
28. 前記少なくとも１つの第１の光感知素子及び前記少なくとも１つの第２の光感知素子のうちの少なくとも１つは、フォトダイオードである、請求項２４に記載の非一時的コンピュータ可読媒体。
29. 前記第２の積分時間は、前記第１の積分時間よりも短い、請求項２４に記載の非一時的コンピュータ可読媒体。
30. 前記第１の積分時間及び前記第２の積分時間のうちの少なくとも１つは、照明条件に少なくとも部分的に基づいて決定される、請求項２４に記載の非一時的コンピュータ可読媒体。

Images