JP6724027B2 - 高ダイナミックレンジ画像のためのシステムおよび方法 - Google Patents

Description

発明の分野
本発明は、デジタル写真撮影システムに関し、より特定的には、高ダイナミックレンジ画像のためのシステムおよび方法に関する。

背景
旧来のデジタル写真撮影システムは、捕捉中の画像センサのダイナミックレンジによって本質的に制限されている。そのような制限に対する１つの解決策は、高ダイナミックレンジ（high dynamic range:ＨＤＲ）写真撮影の使用である。ＨＤＲ写真撮影は、同じシーンの多重露光を捕捉することを伴い、当該露光の各々は異なって計測され、次いで、当該多数の捕捉を併合してより大きいダイナミックレンジを有する画像を作成することを伴う。

概要
高ダイナミックレンジ画像のためのシステム、方法およびコンピュータプログラムプロダクトが提供される。使用時に、第１の画素の第１の画素属性が受取られ、第２の画素の第２の画素属性が受取られる。次いで、第１の画素属性および第２の画素属性に基づいたスカラーが特定される。最後に、第１の画素と第２の画素とがスカラーに基づいてブレンドされる。この場合、第１の画素は第２の画素よりも明るい。付加的なシステム、方法およびコンピュータプログラムプロダクトも提供される。

一実施形態は、第１の画素の第１の画素属性を受取り、かつ、第２の画素の第２の画素属性を受取るための回路を含む装置を備える。加えて、スカラーは、第１の画素属性および第２の画素属性に基づいて特定される。さらに、スカラーに基づいて、第１の画素と第２の画素とがブレンドされる。この場合、第１の画素は第２の画素よりも明るい。

別の実施形態においては、第１の画素属性および第２の画素属性は、それぞれ、第１の画素についての数値範囲の第１の値に対応する強度および第２の画素についての数値範囲の第２の値に対応する強度を含む。別の実施形態においては、第１の画素属性および第２の画素属性は各々、飽和度を含む。別の実施形態においては、スカラーは、生成、選択および補間のうち少なくとも１つによって特定される。別の実施形態においては、スカラーは複数の多項式を用いて特定される。

別の実施形態においては、複数の多項式のうち第１の多項式は第１の画素属性の関数であり、複数の多項式のうち第２の多項式は第２の画素属性の関数であり、この場合、第１の多項式は、第２の多項式に対して高次、等次および低次のうちの少なくとも１つである。別の実施形態においては、スカラーは、第１の画素属性および第２の画素属性を入力として受取る混合値関数に基づいて特定される。混合値関数は、それぞれの入力に関連付けられた閾値に対応する平坦領域、遷移領域および飽和領域を含む。加えて、別の実施形態においては、スカラーは、形式ｚ＝（１−（１−（１−ｘ）＾ａ）＾ｂ）＊（（１−（１−ｙ）＾ｃ）＾ｄ）の多項式、または、形式ｚ＝（（１−（１−ｘ）＾ａ）＾ｂ）＊（（１−（１−ｙ）＾ｃ）＾ｄ）の多項式に基づいて特定される。この場合、ｚはスカラーに対応し、ｘは第２の画素属性に対応し、ｙは第１の画素属性に対応し、ａ、ｂ、ｃ、ｄは任意の定数に対応する。さらに、別の実施形態においては、第１の画素と第２の画素とをブレンドすることにより、結果として、高ダイナミックレンジ（ｈｄｒ）画素が出力として得られる。

別の実施形態においては、第３の画素の第３の画素属性を受取り、第２の画素属性および第３の画素属性に基づいて第２のスカラーを特定し、第２のスカラーに基づいて第２の画素と第３の画素とをブレンドし、第１の画素と第２の画素とのブレンドに基づいて、第１の生成画素（resulting pixel）を生成し、第２の画素と第３の画素とのブレンドに基づいて第２の生成画素を生成するための回路が提供される。

別の実施形態においては、第１の画素属性は第１の値を含み、第３の画素属性は第３の値を含み、第２の画素属性は第１の値と第３の値との間の第２の値を含む。加えて、別の実施形態においては、第１の生成画素と第２の生成画素とを結合することにより、結果として、結合画素が得られる。別の実施形態においては、結合画素は、飽和度入力およびレベルマッピング入力のうち少なくとも１つに基づいて処理される。別の実施形態においては、結合画素が、コントラスト制限付適応ヒストグラム平坦化に従って再度マッピングされる。

加えて、別の実施形態においては、レベルマッピングは、ユーザ入力に応じて、ブレンドされた少なくとも１つの画素上で実行される。別の実施形態においては、少なくとも１つのより明るい点に対応する第１の標識と、少なくとも１つのより明るい点に対応する第２の標識とが表示され、さらに、ユーザ入力は、第１の標識および第２の標識のうち少なくとも１つの操作をさらに含むことが可能となる。別の実施形態においては、少なくとも１つの中間点に対応する第３の標識が表示され、ユーザ入力は、第３の標識の操作を含むことがさらに可能となる。別の実施形態においては、暗露光パラメータおよび明露光パラメータが評価される。この場合、明露光パラメータは第１の画素の第１の画素属性を受取るために用いられ、暗露光パラメータは、第２の画素の第２の画素属性を受取るために用いられ、暗露光パラメータおよび明露光パラメータはさらに露光時間に関連付けられている。

一実施形態は、非一時的なコンピュータ読取可能媒体上で具体化されるコンピュータプログラムプロダクトを含む。コンピュータプログラムプロダクトは、第１の画素の第１の画素属性を受取るためのコードと、第２の画素の第２の画素属性を受取るためのコードとを含む。加えて、第１の画素属性および第２の画素属性に基づいてスカラーを特定するためのコードが提供される。さらに、スカラーに基づいて第１の画素と第２の画素とをブレンドするためのコードが提供される。この場合、第１の画素は第２の画素よりも明るい。

一実施形態は、第１の画素の第１の画素属性を受取るステップと、第２の画素の第２の画素属性を受取るステップとを含む方法を含む。加えて、スカラーは、第１の画素属性および第２の画素属性に基づいて特定される。さらに、第１の画素および第２の画素は、スカラーに基づいてブレンドされる。この場合、第１の画素は第２の画素よりも明るい。

実現可能な一実施形態に係る、ブレンドされたより明るく、より暗い画素を出力するための例示的なシステムを示す図である。 一実施形態に係る、より明るい画素とより暗い画素とをブレンドするための方法を示す図である。 一実施形態に係るデジタル写真撮影システムを示す図である。 一実施形態に係るデジタル写真撮影システム内のプロセッサ複合体を示す図である。 ある実施形態に従うデジタルカメラを示す図である。 別の実施形態に従うワイヤレスモバイルデバイスを示す図である。 一実施形態に係る、画像をサンプリングするように構成されたカメラモジュールを示す図である。 別の実施形態に係る、画像をサンプリングするように構成されたカメラモジュールを示す図である。 ある実施形態に係る、アプリケーションプロセッサと通信しているカメラモジュールを示す図である。 別の実施形態に係るネットワークサービスシステムを示す図である。 別の実施形態に係る、ＨＤＲ画素を出力するためのシステムを示す図である。 別の実施形態に係る、結合されたＨＤＲ画素と効果関数とに基づいてＨＤＲ画素を生成するための方法を示す図である。 別の実施形態に係る、ＨＤＲ画素を出力するためのシステムを示す図である。 別の実施形態に係る、結合されたＨＤＲ画素と効果関数とに基づいてＨＤＲ画素を生成するための方法を示す図である。 別の実施形態に係る、結合されたＨＤＲ画素と効果関数とに基づいてＨＤＲ画素を生成するための方法を示す図である。 別の実施形態に係る表面図である。 別の実施形態に係る表面図である。 別の実施形態に係る表面図である。 別の実施形態に係る表面図である。 別の実施形態に係るレベルマッピング図である。 別の実施形態に係るレベルマッピング図である。 別の実施形態に係る画像合成動作を示す図である。 別の実施形態に係る、結合画像を生成するためのユーザインターフェイス（user interface：ＵＩ）システムを示す図である。 別の実施形態に係る、結合画像を生成するための方法を示すフロー図である。 別の実施形態に係る、白色点および黒色点を調整するためのユーザインターフェイス（ＵＩ）システムを示す図である。 別の実施形態に係る、白色点、中間点および黒色点を調整するためのユーザインターフェイス（ＵＩ）システムを示す図である。

詳細な説明
図１は、実現可能な一実施形態に係る、ブレンドされたより明るく、より暗い画素を出力するための例示的なシステムを示す。選択肢として、システム１００は、如何なる図面の文脈においても実現され得る。しかしながら、当然、システム１００は如何なる所望の環境においても実行され得る。さらに、上述の定義は、以下の説明に同様に適用され得る。

図示のとおり、システム１００は第１の画素１０２および第２の画素１０４を含む。一実施形態においては、第１の画素がより明るい画素に関連付けられてもよく、第２の画素がより暗い画素に関連付けられてもよい。この記載の文脈においては、より明るい画素は、対応するより暗い画素よりも明るい如何なる画素をも含み、より暗い画素は、対応するより明るい画素よりも暗い如何なる画素をも含む。より明るい画素は、全体露光がより明るい画像に関連付けられてもよく、対応するより暗い画素は、全体露光がより暗い画像に関連付けられてもよい。さまざまな実施形態においては、より明るい画素およびより暗い画素は、強度、露光、色属性、飽和度および／または他の任意の画像もしくは画素パラメータに基づいて他の対応する画素を組合わせることによって計算されてもよい。

一実施形態においては、より明るい画素およびより暗い画素は、それぞれ、より明るい画素属性およびより暗い画素属性に関連付けられ得る。さまざまな実施形態においては、（たとえば、より明るい画素属性、より暗い画素属性などについての）画素属性は、強度、飽和度、色相、色空間値（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、輝度、ＲＧＢ色、ルミナンス、クロミナンス、および／または、何らかの態様で画素に関連付けられ得る他の任意の特徴、を含み得る。

加えて、第１の画素１０２および第２の画素１０４がブレンドプロセス１０６に入力される。一実施形態においては、ブレンドは、画素に関連付けられた１つ以上の特徴に基づき得る。たとえば、ブレンドは空間位置決め特徴を含み得る。この場合、より明るい画素の画素がより暗い画素の対応する画素に位置合わせされている。当然ながら、当該技術において公知の他の任意の関連技術を用いて、２つ以上の画像上で対応する画素を位置合わせしてもよい。

他の実施形態においては、ブレンドするためのさまざまな技術が用いられてもよい。ブレンドするためのさまざまな技術は、２つ以上の画素点の平均を利用すること；各々の画素点に関連付けられた色属性を合計して正規化すること（たとえば、ＲＧＢ色空間における赤成分／緑成分／青成分を合計するなど）；正規化され得るＲＧＢ（またはいずれかの色空間）ベクトル長さを決定すること；より明るい画素もしくはより暗い画素とを組合わせた平均的な画素点を用いること；および／または、他のいずれかの組合せを用いて２つ以上の画素点をブレンドすること；を含み得る。一実施形態において、ブレンドは如何なる色値または色空間とも無関係に行なわれてもよい。別の実施形態においては、ブレンドは、２つ以上の画素点を混合することを含んでもよい。特定の実施形態においては、ブレンドは、ＯｐｅｎＧＬ（または任意のベクトルレンダリングアプリケーション）混合動作を含み得る。これにより、この動作では、２つの入力値の間で線形補間が行なわれる。

一実施形態においては、ブレンドは、自動的に行なわれてもよく、またはユーザ入力に基づいていてもよい。たとえば、いくつかの実施形態においては、ブレンドは、１つ以上の設定対象に基づいて自動的に行なわれてもよい。設定対象は、たとえば、設定露光点、設定焦点値、設定温度（たとえば、ケルビン目盛など）、予め定められた白色点値、予め定められた色飽和値、（たとえば、色空間特性などについての）予め定められた正規化値、予め定められたレベル値、予め定められた曲線値、設定黒色点、設定白色点、設定中間値点、および／または、ブレンドするための基準として用いられ得る画素または画像の他のいずれかの特徴を含み得る。他の実施形態においては、カメラに関連付けられた特徴が、１つ以上の自動値を決定するための基準として用いられてもよい。たとえば、カメラは画素に関連付けられたメタデータを含み得る。当該メタデータは、ＩＳＯ値、露光値、アパーチャ値、ヒストグラム分布、地理的位置決め座標、カメラの特定、レンズの特定、カメラのユーザの特定、時刻、および／または、カメラに関連付けられ得る他のいずれかの値、を含み得る。一実施形態においては、画素に関連付けられたメタデータは、自動的にブレンドするための１つ以上の自動点を設定するために用いられてもよい。

一実施形態においては、このような自動特徴が入力されてよく、または、クラウドベースの入力もしくはフィードバックに少なくとも部分的に基づいていてもよい。たとえば、ユーザは、将来の画像に適用されるべきバッチルールのセットまたは画像設定のパッケージを展開させてもよい。このような設定は、カメラデバイスまたはモジュールによってその後アクセスすることができるクラウドおよび／または他のメモリデバイスに保存することができる。一例として、ユーザは写真を撮影して編集するためのモバイルデバイスを用いてもよい。（たとえば、画素または画像などの編集に関して）得られたこのような過去の動作に基づいて、ユーザは、受取られた将来の画像または画素のために用いられるべきパッケージとしてこのような動作を保存してもよい。他の実施形態においては、モバイルデバイスは、ユーザが行ったこのような動作を認識および追跡し得るとともに、将来受取られる画像または画素のために適用されるべきパッケージとしてこれらの動作を保存するようにユーザに促し得る。

他の実施形態においては、動作または設定のパッケージも第三者ユーザに関連付けられ得る。たとえば、このようなパッケージは、（たとえば、写真共有サイトなどにおけるユーザに関連付けられる）オンラインリポジトリから受取られてもよく、または、デバイス間で転送されてもよい（たとえば、ブルートゥース（登録商標）、ＮＦＣ、Ｗｉｆｉ、Ｗｉｆｉ−ダイレクトなど）。一実施形態においては、動作または設定のパッケージはデバイス特有のものであってもよい。たとえば、特有のデバイスは、画像を過度に露光するかまたは画像に色付けすることが知られており、さらに、動作または設定のパッケージを用いて、デバイス、カメラまたはレンズに関連付けられる不備を補正してもよい。他の実施形態においては、公知の設定または動作が改善され得る。たとえば、ユーザはアンセル・アダムズ（Ansel Adams）のようなタイプの写真を模倣して白黒で作成したいと考えるかもしれない。設定または動作の集合は特定のデバイスに基づいて適用され得るが、この特定のデバイスは、画素または画像（たとえば、デバイスにおける不備の補正など）；最も容姿の良いアンセル・アダムズ風の外見を得る方法についてのコミュニティからのフィードバック（たとえば、クラウドベースのフィードバックなど）；および／または、アンセル・アダムズ風の写真を作成するために用いられ得る他の情報；を受取るものである。

別個の実施形態においては、ブレンドはユーザ入力に基づいて行なわれてもよい。たとえば、いくつかのユーザインターフェイス要素がユーザに対してディスプレイ上に表示されてもよい。いくつかのユーザインターフェイス要素は、画像の全体的な色（たとえば、セピア、灰色調、白黒など）；雰囲気を作り出すためのターゲット点のパッケージ（たとえば、ポラロイド（登録商標）感覚のパッケージは、より大きなコントラストでより高い露光を有することとなり、高輝度感覚のパッケージは飽和度レベルを高めることとなるだろう）；画像のうちの１つ以上の選択的な色（たとえば、赤、青、黄などの１つ以上の色を表示するだけである）；飽和度レベル；露光レベル；ＩＳＯ値；黒色点；白色点；レベル値；曲線値；および／または、画像または画素に関連付けられ得る他の任意の点；を制御するための要素を含み得る。さまざまな実施形態においては、ユーザインターフェイス要素は、複数の値または点を制御するために用いられてもよく（たとえば、１つのスライド要素が設定のパッケージなどを制御する）、または、画像もしくは画素に関連付けられたありとあらゆる要素をユーザが制御することを可能にするために用いられてもよい。

当然ながら、他の実施形態においては、ブレンドは、１つ以上の自動設定およびユーザ入力に基づいて行なわれてもよい。たとえば、画素または画像は、１つ以上の自動設定を用いて最初にブレンドされてもよく、その後、ユーザは、画像に関連付けられた特定の要素を修正することができる。他の実施形態においては、自動設定または手動設定の如何なる組合せがブレンドに適用されてもよい。

さまざまな実施形態においては、ブレンドは、１つ以上の画素を混合することを含み得る。他の実施形態においては、ブレンドは、一行の画素に基づいていてもよく（すなわち、ブレンドが行ごとに行なわれる等）、画素の全体画像（たとえば、すべての行および列の画素など）によって行なわれてもよく、ならびに／または、画素に関連付けられた如何なる態様で行なわれてもよい。

一実施形態においては、２つ以上の画素間のブレンドはアルファブレンドを適用することを含み得る。当然、他の実施形態においては、２つ以上の画素を組合わせるための如何なるプロセスを用いても、最終的な結果の画像が作成され得る。

図示のとおり、ブレンドプロセスの後、出力１０８はブレンドされた第１の画素および第２の画素を含む。一実施形態においては、出力は、ブレンドされたより明るくより暗い画素を含み得る。加えて、第１の画素は第２の画素よりも明るくてもよい。

一実施形態においては、より明るい画素とより暗い画素とをブレンドすることにより、結果として、高ダイナミックレンジ（ＨＤＲ）画素が出力として得られ得る。他の実施形態においては、出力は、第１の生成画素を与えるために中間画素とブレンドされたより明るい画素を含み得る。より明るい画素はより明るい画素属性によって特徴付けられ得るとともに、中間画素は中間の画素属性によって特徴付けられ得る。より明るい画素と中間画素とのブレンド演算は、より明るい画素属性および中間の画素属性を受取る第１の混合値関数に起因するスカラーに基づいていてもよい。さらなる実施形態においては、出力は、第２の生成画素を与えるためにより暗い画素とブレンドされた中間画素を含み得る。より暗い画素はより暗い画素属性によって特徴付けられ得る。中間画素とより暗い画素とのブレンド演算は、中間の画素属性およびより暗い画素属性を受取る第２の混合値関数に起因するスカラーに基づいていてもよい。さらに、一実施形態においては、スカラーは、第１（たとえば、より明るいなど）の画素属性および第２（たとえば、より暗いなど）の画素属性を入力として受取る混合値関数に基づいて特定されてもよい。スカラーは、２つの異なる画素間（たとえば、より明るい画素と中間画素との間、または、中間画素とより暗い画素との間）のブレンド重みを与え得る。最後に、一実施形態においては、混合値関数（たとえば、第１の混合値関数および第２の混合値関数）は、入力に関連付けられた閾値に対応する平坦領域、遷移領域および飽和領域を含み得る。

一実施形態においては、出力は、２つ以上の画素に関連付けられた混合値表面（mix value surface）に基づいていてもよい。たとえば、一実施形態においては、ブレンドにより中間値が作成されてもよく、さらに、この中間値を用いて、２つ以上の画素に関連付けられた最終値を出力してもよい。このような実施形態においては、（たとえば、２つ以上の画素間などの）中間値を用いて、三次元（three-dimensional：３Ｄ）表面に関連付けられた値を計算してもよい。結果として得られる画素は、中間値を用いて計算された値に関連付けられてもよい。当然、さまざまな実施形態においては、出力は如何なるタイプの関数、および如何なる次元数または入力数に関連付けられてもよい。

図２は、一実施形態に係る、より明るい画素とより暗い画素とをブレンドするための方法２００を示す。選択肢として、方法２００は如何なる図面の文脈においても実現され得る。しかしながら、当然、方法２００は如何なる所望の環境においても実行され得る。さらに、上述の定義は、以下の記載にも同様に適用され得る。

図示のとおり、第１の画素の第１の画素属性が受取られる。動作２０２を参照されたい。加えて、第２の画素の第２の画素属性が受取られる。動作２０４を参照されたい。一実施形態においては、第１の画素属性はより明るい画素属性に一致し得る。第１の画素はより明るい画素に一致し得る。第２の画素属性はより暗い画素属性に一致し得る。第２の画素はより暗い画素に一致し得る。

一実施形態においては、より明るい画素属性およびより暗い画素属性は各々、強度を含み得る。一実施形態においては、強度は、第１の画素についての数値範囲（たとえば、０．０〜１．０）の第１の値と、第２の画素についての数値範囲の第２の値とに対応し得る。他の実施形態においては、第１（たとえば、より明るいなど）の画素属性および第２（たとえば、より暗いなど）の画素属性は各々、飽和度、色相、色空間値（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、輝度、色相、ＲＧＢ色、ルミナンス、クロミナンス、および／または、何らかの態様で画素に関連付けられ得る他のいずれかの特徴を含み得る。

別の実施形態においては、より明るい画素よりも暗く、より暗い画素よりも明るくなり得る中間画素の中間の画素属性が受取られてもよい。別の実施形態においては、暗露光パラメータおよび明露光パラメータが評価され得る。この場合、明露光パラメータは、第１（たとえば、より明るいなど）の画素の第１（たとえば、より明るいなど）の画素属性を受取るために用いられてもよく、第２（たとえば、暗など）の露光パラメータは、より暗い画素の第２（たとえば、より暗いなど）の画素属性を受取るために用いられてもよい。さらに、別の実施形態においては、暗露光パラメータおよび明露光パラメータは露光時間に関連付けられてもよい。さらに、一実施形態においては、中間露光パラメータが評価され得る。この場合、中間露光パラメータは、中間画素の中間の画素属性を受取るために用いられる。

付加的な実施形態においては、中間画素の中間の画素属性が受取られてもよい。この場合、より明るい画素は第１の値に関連付けられ、より暗い画素は第２の値に関連付けられ、中間画素は第３の値に関連付けられ、第３の値は第１の値と第２の値との間にある。加えて、第１の生成画素は第１のＨＤＲ画素を含み得るとともに、第２の生成画素は第２のＨＤＲ画素を含み得るので、第３のＨＤＲ画素を含み得る結合画素を生成するために、予め定められた関数に基づいて、第１のＨＤＲ画素と第２のＨＤＲ画素とを結合することによって結合画素が生成され得る。

図示のとおり、スカラーは、第１の画素属性および第２の画素属性に基づいて特定される。動作２０６を参照されたい。

さまざまな実施形態においては、スカラーは、生成、選択、補間、および／または、結果としてスカラーをもたらし得る他の如何なる動作によっても特定され得る。さらなる実施形態においては、スカラーは１つ以上の多項式を利用して特定され得る。

一実施形態においては、複数の多項式のうち第１の多項式は、複数の多項式のうち第２の多項式の二次とは異なり得る一次を有し得る。別の実施形態においては、複数の多項式のうち第１の多項式は第１（たとえば、より明るいなど）の画素属性の関数であってもよく、複数の多項式のうちの第２の多項式は第２（たとえば、より暗いなど）の画素属性の関数であってもよい。さらに、別の実施形態においては、複数の多項式のうち第１の多項式はより明るい画素属性の関数であってもよく、より暗い画素属性の関数であり得る複数の多項式のうちの第２の多項式の二次未満であり得る一次を有し得る。加えて、一実施形態においては、第１の多項式は、第２の多項式に対して高次、等次または低次のうち少なくとも１つであってもよい。

図示のとおり、第１の画素と第２の画素とのブレンドはスカラーに基づいてもよい。この場合、第１の画素は第２の画素よりも明るい。動作２０８を参照されたい。

別の実施形態においては、スカラーは、形式ｚ＝（１−（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）の多項式、または、形式ｚ＝（（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）の多項式のいずれかに基づいて特定され得る。この場合、ｚはスカラーに対応し、ｘは第２（たとえば、より暗いなど）の画素属性に対応し、ｙは（たとえば、より明るいなど）の第１の画素属性に対応し、Ａ、Ｂ、Ｃ、Ｄは任意の定数に対応する。

一実施形態においては、第１（たとえば、より明るいなど）の画素と第２（たとえば、より暗いなど）の画素とをブレンドすることにより、結果として、高ダイナミックレンジ（ＨＤＲ）画素が出力として得られる可能性がある。他の実施形態においては、ブレンドは、より明るい画素属性および中間の画素属性に基づいて第１のスカラーを特定することを含み得る。第１のスカラーは、より明るい画素と中間画素とをブレンドして第１の生成画素を与えるために用いられる。加えて、一実施形態においては、第２のスカラーは、中間の画素属性およびより暗い画素属性に基づいており、第２のスカラーは、中間画素とより暗い画素とをブレンドして第２の生成画素を与えるために用いられる。

一実施形態においては、第３の画素の第３の画素属性が受取られてもよい。加えて、第２の画素属性および第３の画素属性に基づいた第２のスカラーが特定され得る。さらに、第２のスカラーに基づいて、第２の画素と第３の画素とがブレンドされ得る。さらに、第１の画素と第２の画素とのブレンドに基づいた第１の生成画素が生成され得るとともに、第２の画素と第３の画素とのブレンドに基づいた第２の生成画素が生成され得る。

加えて、さまざまな実施形態においては、第１の生成画素と第２の生成画素とが結合されて、結果として結合画素が得られる。さらに、一実施形態においては、結合画素は、強度、飽和度、色相、色空間値（たとえば、ＲＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、輝度、ＲＧＢ色、ルミナンス、クロミナンス、および／または、結合画素に関連付けられた他のいずれかの特徴に関連付けられた入力に基づいて処理され得る。さらなる実施形態においては、結合画素は、飽和度入力またはレベルマッピング入力に基づいて処理されてもよい。

一実施形態において、レベルマッピング（またはいずれかの入力）は、ブレンドされた少なくとも１つの画素上で実行されてもよい。さまざまな実施形態において、レベルマッピング（またはいずれかの入力）は、ユーザ入力（たとえば、入力および／または入力に関連付けられた値の選択など）に応じて行なわれてもよい。当然ながら、レベルマッピング（またはいずれかの入力）は、デフォルト値または設定に基づいて、クラウドベースのソースからのフィードバック（たとえば、写真効果のためのクラウドソースの最適な設定など）に基づいて、ローカルデバイスからのフィードバック（たとえば、ユーザによって撮影されてユーザのシステムによって分析された過去の写真に基づいて、地理的に近接したセット内でユーザを含む他人によって撮られた写真などに基づいて）、および／または、自動動作に関連付けられた他の任意の設定もしくは値に基づいて、自動的に行なわれ得てもよい。一実施形態においては、レベルマッピングは、コントラスト制限付適応ヒストグラム平坦化（contrast limited adaptive histogram equalization：ＣＬＡＨＥ）として当該技術において公知の等化技術などの等化動作を含み得る。

いくつかの実施形態においては、１つ以上のユーザインターフェイスおよびユーザインターフェイス要素がユーザ入力を受取るために用いられてもよい。たとえば、一実施形態においては、少なくとも１つのより明るい点に対応する第１の標識と、少なくとも１つのより明るい点に対応する第２の標識とが表示され得るとともに、ユーザ入力はさらに、第１の標識または第２の標識のうち少なくとも１つの操作を含むことが可能となり得る。加えて、一実施形態においては、少なくとも１つの中間点に対応する第３の標識が表示されてもよく、ユーザ入力は、第３の標識の操作を含むことがさらに可能となり得る。

別の実施形態においては、複数の多項式のうち第１の多項式は第１の画素属性の関数であってもよく、複数の多項式のうち第２の多項式は第２の画素属性の関数であってもよく、結果として得られる画素は第１の多項式と第２の多項式との積であってもよい。さらに、一実施形態においては、結果として得られる画素は、強さ関数と組合わせされた第１の多項式と第２の多項式との積であってもよい。

加えて、一実施形態においては、強さ関数および／または係数は、２つ以上の画素のブレンド（たとえば混合など）を含む２つ以上の画素に対して作用する関数を制御し得る。たとえば、さまざまな実施形態においては、強さ関数は、ＨＤＲ効果を提供しない（たとえば、ｅｖ０など）こと、または、ＨＤＲ効果を十分に提供すること、または、増幅されたＨＤＲ効果を提供することさえも含めて、２つ以上の画素のブレンドを制御するために用いられてもよい。この態様では、強さ関数は、第１の多項式および第２の多項式に基づいて、結果として得られる画素を制御し得る。

別の実施形態においては、ブレンドは、ブレンドプロセスにおける１つ以上の段階を含み得る。たとえば、一実施形態においては、第１の多項式は単一の画素属性に基づいていてもよく、第２の多項式は第２の単一の画素属性に基づいていてもよく、ブレンドは、第１の多項式および第２の多項式に基づいた平均を取ることを含み得る。別の実施形態においては、第１の多項式および第２の多項式は、多くの画素属性（たとえば、多重露光、複数の飽和度など）の平均に基づいていてもよく、ブレンドは、第１の多項式および第２の多項式に基づいた平均を取ることを含み得る。

当然ながら、一実施形態においては、多項式は表面図に関連付けられてもよい。たとえば、一実施形態においては、ｘ値は、第１の画素属性（または複数の画素属性）に関連付けられた多項式に関連付けられてもよく、ｙ値は、第２の画素属性（または複数の画素属性）に関連付けられた多項式に関連付けられてもよい。さらに、別の実施形態においては、ｚ値は強さ関数に関連付けられてもよい。一実施形態においては、結果として得られた画素値は、表面図によって決定されるように、ｚ値に基づいてｘ値とｙ値とをブレンドすることによって、決定されてもよい。

代替的な実施例においては、結果として得られる画素値は、表面図を具体化する表から選択されてもよい。別の実施形態においては、第１の多項式に関連付けられた第１の値および第２の多項式に関連付けられた第２の値の各々を用いて、対応する値を表から選択してもよく、２つの値は、結果として得られる画素を補間するために用いられてもよい。

上述の方法がユーザの希望に従って実行されてもされなくてもよいさまざまな随意のアーキテクチャおよび使用に関して、より例示的な情報が以下に記載される。以下の情報は例示目的で記載されており、いかなる意味でも限定的であると解釈されるべきでないことに強く留意すべきである。以下の特徴はいずれも、説明される他の特徴を除外してまたは除外せずに随意に組込まれ得る。

図３Ａは、一実施形態に従うデジタル写真撮影システム３００を示す。選択肢として、デジタル写真撮影システム３００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタル写真撮影システム３００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

図示のとおり、デジタル写真撮影システム３００は、配線３３４を介してカメラモジュール３３０に結合されたプロセッサ複合体３１０を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はストロボユニット３３６に結合されている。デジタル写真撮影システム３００はさらに、表示ユニット３１２、１組の入出力デバイス３１４、不揮発性メモリ３１６、揮発性メモリ３１８、ワイヤレスユニット３４０およびセンサデバイス３４２を含み得るがこれらに限定されず、これらの各々はプロセッサ複合体３１０に結合されている。一実施形態において、電力管理サブシステム３２０が、デジタル写真撮影システム３００内の電気負荷要素の各々に適切な電源電圧を生成するように構成される。電池３２２が、電気エネルギを電力管理サブシステム３２０に供給するように構成されてもよい。電池３２２は、一次電池技術または充電式電池技術を含む任意の技術的に実行可能なエネルギ貯蔵システムを実現し得る。当然、他の実施形態では、より多いもしくは少ない特徴、ユニット、デバイス、センサ、またはサブシステムがシステムに含まれていてもよい。

一実施形態において、ストロボユニット３３６はデジタル写真撮影システム３００に統合され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。別の実施形態において、ストロボユニット３３６は、デジタル写真撮影システム３００から独立したデバイスとして実現され、デジタル写真撮影システム３００が実行する画像サンプルイベント時にストロボ照明３５０を提供するように構成されてもよい。ストロボユニット３３６は１つ以上のＬＥＤ素子、ガス放電照明器（たとえばキセノンストロボデバイス、キセノンフラッシュランプ等）、またはその他の技術的に実行可能な照明デバイスを含んでいてもよい。特定の実施形態において、２つ以上のストロボユニットが画像のサンプリングと共にストロボ照明を同期して生成するように構成される。一実施形態において、ストロボユニット３３６は、ストロボ照明３５０を発するようにまたはストロボ照明３５０を発しないようにストロボ制御信号３３８を通して制御される。ストロボ制御信号３３８は、任意の技術的に実行可能な信号伝送プロトコルを用いて実現されてもよい。ストロボ制御信号３３８は、ストロボユニット３３６にストロボ照明３５０の指定強度および／または色を生成するように命じるためのストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を指示し得る。ストロボ制御信号３３８は、プロセッサ複合体３１０、カメラモジュール３３０によって、またはその他の技術的に実行可能なそれらの組合せによって生成されてもよい。一実施形態において、ストロボ制御信号３３８は、プロセッサ複合体３１０内のカメラインターフェイスユニットによって生成され、配線３３４を介してストロボユニット３３６およびカメラモジュール３３０の両方に送信される。別の実施形態において、ストロボ制御信号３３８はカメラモジュール３３０によって生成され、配線３３４を介してストロボユニット３３６に送信される。

写真撮影シーン内のオブジェクトから反射したストロボ照明３５０の少なくとも一部を含み得る光学シーン情報３５２が、カメラモジュール３３０内の画像センサ３３２上に光学画像として合焦される。画像センサ３３２は光学画像の電子表現を生成する。電子表現は空間色強度情報を含み、当該情報は異なる色強度サンプル（たとえば赤色、緑色および青色光等）を含んでいてもよい。他の実施形態では、空間色強度情報は白色光についてのサンプルをさらに含んでいてもよい。電子表現は、任意の技術的に実行可能な信号伝送プロトコルを実現し得る配線３３４を介してプロセッサ複合体３１０に送信される。

一実施形態において、入出力デバイス３１４は、容量性タッチ入力面、抵抗性タブレット入力面、１つ以上のボタン、１つ以上のノブ、発光素子、光検出素子、音放射素子、音検出素子、またはユーザ入力を受信して当該入力を電気信号に変換する、もしくは電気信号を物理的信号に変換するためのその他の技術的に実行可能な素子を含み得るがこれらに限定されない。一実施形態において、入出力デバイス３１４は、表示ユニット３１２に結合された容量性タッチ入力面を含む。タッチエントリ表示システムが、表示ユニット３１２、およびこれもプロセッサ複合体３１０に結合された容量性タッチ入力面を含んでいてもよい。

また、他の実施形態では、不揮発性（ＮＶ）メモリ３１６は、電力が遮断されるとデータを記憶するように構成される。一実施形態において、ＮＶメモリ３１６は１つ以上のフラッシュメモリデバイス（たとえばＲＯＭ、ＰＣＭ、ＦｅＲＡＭ、ＦＲＡＭ（登録商標）、ＰＲＡＭ、ＭＲＡＭ、ＮＲＡＭ等）を含む。ＮＶメモリ３１６は非一時的なコンピュータ読取可能媒体を含み、当該媒体は、プロセッサ複合体３１０内の１つ以上の処理装置によって実行されるプログラミング命令を含むように構成されてもよい。プログラミング命令は、オペレーティングシステム（ＯＳ）、ＵＩソフトウェアモジュール、画像処理および記憶ソフトウェアモジュール、プロセッサ複合体３１０に接続された１つ以上の入出力デバイス３１４、カメラモジュール３３０を通して画像スタックをサンプリングするための１つ以上のソフトウェアモジュール、画像スタックまたは画像スタックから生成された１つ以上の合成画像を表示ユニット３１２を通して提示するための１つ以上のソフトウェアモジュールを実現し得るがこれらに限定されない。一例として、一実施形態において、プログラミング命令はさらに、画像スタック内の画像同士もしくは画像の一部同士を併合し、画像スタック内の各画像の少なくとも一部同士を整列させるための、またはそれらの組合せのための１つ以上のソフトウェアモジュールを実現し得る。別の実施形態において、プロセッサ複合体３１０はプログラミング命令を実行するように構成されてもよく、当該命令は、高ダイナミックレンジ（ＨＤＲ）画像を作成するように動作可能な１つ以上のソフトウェアモジュールを実現し得る。

さらに、一実施形態において、ＮＶメモリ３１６を含む１つ以上のメモリデバイスが、ユーザによってインストールまたは除去されるように構成されたモジュールとしてパッケージ化されてもよい。一実施形態において、揮発性メモリ３１８はダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み、当該ダイナミックランダムアクセスメモリは、デジタル写真撮影システム３００の通常動作中にアクセスされる、プログラミング命令、画像スタックと関連付けられているデータなどの画像データなどを一時的に記憶するように構成される。当然、揮発性メモリは、任意の態様で、プロセッサ複合体３１０に取付けられたその他の入出力デバイス３１４またはセンサデバイス３４２と関連して用いられてもよい。

一実施形態において、センサデバイス３４２は、動作および／もしくは方向を検出する加速度計、動作および／もしくは方向を検出する電子ジャイロスコープ、方向を検出する磁束検出器、地理的位置を検出する全地球測位システム（ＧＰＳ）モジュール、の１つ以上、またはそれらのいずれかの組合せを含み得るがこれらに限定されない。当然、動作検出センサ、近接センサ、ＲＧＢ光センサ、ジェスチャセンサ、３Ｄ入力画像センサ、圧力センサ、および屋内位置センサを含むがこれらに限定されない他のセンサがセンサデバイスとして統合されてもよい。一実施形態において、当該センサデバイスは入出力デバイス３１４の一例であり得る。

ワイヤレスユニット３４０は、デジタルデータを送受信するように構成された１つ以上のデジタルラジオを含んでいてもよい。特に、ワイヤレスユニット３４０は無線規格（たとえばＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ等）を実現し得、データ通信のためのデジタルセルラー電話規格（たとえばＣＤＭＡ、３Ｇ、４Ｇ、ＬＴＥ、ＬＴＥアドバンスト等）を実現し得る。当然、任意の無線規格またはデジタルセルラー電話規格が用いられてもよい。

一実施形態において、デジタル写真撮影システム３００は、１つ以上のデジタル写真をワイヤレスユニット３４０を介してネットワークベースの（オンライン）または「クラウドベースの」写真メディアサービスに送信するように構成される。１つ以上のデジタル写真は、ＮＶメモリ３１６もしくは揮発性メモリ３１８のいずれか一方、またはプロセッサ複合体３１０と関連付けられているその他のメモリデバイスの内部に存在し得る。一実施形態において、ユーザは、オンライン写真メディアサービスにアクセスするための、かつ、１つ以上のデジタル写真を送信してオンライン写真メディアサービスに保存する、オンライン写真メディアサービスから取出す、およびオンライン写真メディアサービスによって提示するためのクレデンシャルを所有していてもよい。クレデンシャルは、デジタル写真を送信する前にデジタル写真撮影システム３００内で記憶または生成されてもよい。オンライン写真メディアサービスは、ソーシャルネットワーキングサービス、写真共有サービス、またはデジタル写真の保存、デジタル写真の処理、デジタル写真の送信、デジタル写真の共有、もしくはそれらのいずれかの組合せを提供するその他のネットワークベースのサービスを含んでいてもよい。特定の実施形態において、１つ以上のデジタル写真が、オンライン写真メディアサービスと関連付けられているサーバに送信される画像データ（たとえば画像スタック、ＨＤＲ画像スタック、画像パッケージ等）に基づいてオンライン写真メディアサービスによって生成される。そのような実施形態では、ユーザはデジタル写真撮影システム３００からの１つ以上のソース画像を、オンライン写真メディアサービスによって処理するためにアップロードしてもよい。

一実施形態において、デジタル写真撮影システム３００はカメラモジュール３３０の少なくとも１つのインスタンスを含む。別の実施形態において、デジタル写真撮影システム３００は複数のカメラモジュール３３０を含む。そのような実施形態はさらに、複数のカメラモジュール３３０によって多数の視野としてサンプリングされた写真撮影シーンを照明するように構成された少なくとも１つのストロボユニット３３６を含んでいてもよい。複数のカメラモジュール３３０は、広角視野（たとえばカメラ間の４５度のスイープよりも大きい）をサンプリングしてパノラマ写真を生成するように構成されてもよい。一実施形態において、複数のカメラモジュール３３０は、２つ以上の狭角視野（たとえばカメラ間の４５度のスイープよりも小さい）をサンプリングしてステレオ写真を生成するように構成されてもよい。他の実施形態では、複数のカメラモジュール３３０は、表示ユニット３１２もしくはその他の表示デバイス上に示されるような３Ｄ画像を生成するように、またはそうでなければ遠近感（たとえばｚ成分等）を表示するように構成されてもよい。

一実施形態において、表示ユニット３１２は、画素の二次元配列を表示して表示用の画像を形成するように構成されてもよい。表示ユニット３１２は、液晶（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、またはその他の技術的に実行可能な種類のディスプレイを含んでいてもよい。特定の実施形態において、表示ユニット３１２は、単一のＨＤＲ画像内で、または多重露光もしくはＨＤＲ画像スタックを含む１組の２つ以上の画像にわたって、などで、写真撮影シーンからサンプリングされた強度値の完全な範囲よりも狭い画像強度値のダイナミックレンジを表示することが可能であり得る。一実施形態において、画像スタックを含む画像は、任意の技術的に実行可能なＨＤＲブレンド技術に従って併合されて、表示ユニット３１２のダイナミックレンジ制約内で表示用の合成画像を生成してもよい。一実施形態において、制限されるダイナミックレンジは、対応する色強度の８ビット／カラーチャネルバイナリ表現を指定してもよい。他の実施形態では、制限されるダイナミックレンジは、８ビットよりも多いビット（たとえば１０ビット、１２ビット、または１４ビット等）／カラーチャネルバイナリ表現を指定してもよい。

図３Ｂは、一実施形態に従う図３Ａのデジタル写真撮影システム３００内のプロセッサ複合体３１０を示す。選択肢として、プロセッサ複合体３１０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、プロセッサ複合体３１０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

図示のとおり、プロセッサ複合体３１０はプロセッササブシステム３６０を含み、メモリサブシステム３６２を含んでいてもよい。一実施形態において、プロセッサ複合体３１０はプロセッササブシステム３６０を実現するシステムオンチップ（system on a chip：ＳｏＣ）デバイスを含んでいてもよく、メモリサブシステム３６２はプロセッササブシステム３６０に結合された１つ以上のＤＲＡＭデバイスを含む。別の実施形態において、プロセッサ複合体３１０は、ＳｏＣデバイスと、メモリサブシステム３６２を含む１つ以上のＤＲＡＭデバイスとをカプセル化するマルチチップモジュール（multi-chip module：ＭＣＭ）を含んでいてもよい。

プロセッササブシステム３６０は、１つ以上の中央処理装置（ＣＰＵ）コア３７０、メモリインターフェイス３８０、入出力インターフェイスユニット３８４、および表示インターフェイスユニット３８２を含み得るがこれらに限定されず、これらの各々が配線３７４に結合されている。１つ以上のＣＰＵコア３７０は、メモリサブシステム３６２、揮発性メモリ３１８、ＮＶメモリ３１６、またはそれらのいずれかの組合せの内部に存在している命令を実行するように構成されてもよい。１つ以上のＣＰＵコア３７０の各々は、配線３７４およびメモリインターフェイス３８０を通してデータを取出して記憶するように構成されてもよい。一実施形態において、１つ以上のＣＰＵコア３７０の各々がデータキャッシュおよび命令キャッシュを含んでいてもよい。また、ＣＰＵコア３７０の２つ以上がデータキャッシュ、命令キャッシュ、またはそれらのいずれかの組合せを共有してもよい。一実施形態において、各ＣＰＵコア３７０にプライベートキャッシュ層および共有キャッシュ層を提供するようにキャッシュ階層が実現される。

いくつかの実施形態において、プロセッササブシステム３６０は１つ以上のグラフィック処理装置（ＧＰＵ）コア３７２を含んでいてもよい。各ＧＰＵコア３７２は、グラフィック加速機能を実現するがこれに限定されないようにプログラミングされ得る複数のマルチスレッド実行ユニットを含んでいてもよい。さまざまな実施形態において、ＧＰＵコア３７２は、周知の規格（たとえばＯｐｅｎＧＬ（商標）、ＷｅｂＧＬ（商標）、ＯｐｅｎＣＬ（商標）、ＣＵＤＡ（商標）等）、および／またはその他のプログラム可能なレンダリンググラフィック規格に従ってマルチスレッドプログラムを実行するように構成されてもよい。特定の実施形態において、少なくとも１つのＧＰＵコア３７２が、周知のＨａｒｒｉｓ検出器または周知のＨｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器などの動作推定機能の少なくとも一部を実現する。そのような動作推定機能を用いて、画像スタック内の画像同士または画像の一部同士を少なくとも部分的に整列させることができる。たとえば、一実施形態において、ＨＤＲ画像が画像スタックに基づいてコンパイルされてもよく、ＨＤＲ画像をコンパイルする前に２つ以上の画像がまず整列させられる。

図示のとおり、配線３７４は、メモリインターフェイス３８０、表示インターフェイスユニット３８２、入出力インターフェイスユニット３８４、ＣＰＵコア３７０、およびＧＰＵコア３７２の間でデータを伝送するように構成される。さまざまな実施形態において、配線３７４は、１本以上のバス、１つ以上のリング、クロスバー、メッシュ、またはその他の技術的に実行可能なデータ伝送構造もしくは技術を実現し得る。メモリインターフェイス３８０は、メモリサブシステム３６２を配線３７４に結合するように構成される。メモリインターフェイス３８０はさらに、ＮＶメモリ３１６、揮発性メモリ３１８、またはそれらのいずれかの組合せを配線３７４に結合してもよい。表示インターフェイスユニット３８２は、表示ユニット３１２を配線３７４に結合するように構成されてもよい。表示インターフェイスユニット３８２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。または、別の実施形態において、表示ユニット３１２は特定のフレームバッファ機能（たとえばフレームリフレッシュ等）を実現し得る。入出力インターフェイスユニット３８４は、さまざまな入出力デバイスを配線３７４に結合するように構成されてもよい。

特定の実施形態において、カメラモジュール３３０は、画像スタックと関連付けられている各画像をサンプリングするための露光パラメータを記憶するように構成される。たとえば、一実施形態において、カメラモジュール３３０は、写真撮影シーンをサンプリングするように命じられると、記憶された露光パラメータに従って画像スタックを含む１組の画像をサンプリングし得る。プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールが、カメラモジュール３３０に画像スタックをサンプリングするように命じる前に露光パラメータを生成して記憶してもよい。他の実施形態では、カメラモジュール３３０を用いて画像または画像スタックが計測されてもよく、プロセッサ複合体３１０内で実行されるプログラミング命令を含むソフトウェアモジュールは、カメラモジュール３３０に画像を捕捉するように命じる前に計測パラメータを生成して記憶してもよい。当然、カメラモジュール３３０はプロセッサ複合体３１０と組合されて任意の態様で用いられてもよい。

一実施形態において、画像スタックを含む画像と関連付けられている露光パラメータは、１つ以上の画像についての露光パラメータを含む露光パラメータデータ構造内に記憶されてもよい。別の実施形態において、プロセッサ複合体３１０内のカメラインターフェイスユニット（図３Ｂには図示せず）が、露光パラメータデータ構造から露光パラメータを読出し、写真撮影シーンのサンプリングに備えて、関連付けられている露光パラメータをカメラモジュール３３０に送信するように構成されてもよい。カメラモジュール３３０が露光パラメータに従って構成された後、カメラインターフェイスはカメラモジュール３３０に写真撮影シーンをサンプリングするように命じてもよく、カメラモジュール３３０は次いで、対応する画像スタックを生成してもよい。露光パラメータデータ構造は、カメラインターフェイスユニット、プロセッサ複合体３１０内のメモリ回路、揮発性メモリ３１８、ＮＶメモリ３１６、カメラモジュール３３０の内部に、またはその他の技術的に実行可能なメモリ回路の内部に記憶されてもよい。さらに、別の実施形態において、プロセッサ複合体３１０内で実行されるソフトウェアモジュールが露光パラメータデータ構造を生成して記憶してもよい。

図３Ｃは、一実施形態に従うデジタルカメラ３０２を示す。選択肢として、デジタルカメラ３０２は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、デジタルカメラ３０２は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、デジタルカメラ３０２は、図３Ａのデジタル写真撮影システム３００などのデジタル写真撮影システムを含むように構成されてもよい。図示のとおり、デジタルカメラ３０２はカメラモジュール３３０を含み、当該カメラモジュールは、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。

また、デジタルカメラ３０２はストロボユニット３３６を含んでいてもよく、写真撮影サンプルイベントをトリガするためのシャッターリリースボタン３１５を含んでいてもよく、これによってデジタルカメラ３０２は電子表現を含む１つ以上の画像をサンプリングする。他の実施形態では、その他の技術的に実行可能なシャッターリリース機構が写真撮影サンプルイベントをトリガしてもよい（たとえばタイマトリガまたは遠隔制御トリガ等）。

図３Ｄは、一実施形態に従うワイヤレスモバイルデバイス３７６を示す。選択肢として、モバイルデバイス３７６は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、モバイルデバイス３７６は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、モバイルデバイス３７６は、写真撮影シーンをサンプリングするように構成されているデジタル写真撮影システム（たとえば図３Ａのデジタル写真撮影システム３００など）を含むように構成されてもよい。さまざまな実施形態において、カメラモジュール３３０は、写真撮影シーンを表す光学シーン情報を画像センサ上に合焦するように構成された光学素子を含んでいてもよく、当該画像センサは、光学シーン情報を写真撮影シーンの電子表現に変換するように構成されてもよい。さらに、表示ユニット３１２を含むタッチエントリ表示システム上のタッチジェスチャによって起動され得る仮想ボタン、または任意の面もしくはモバイルデバイス３７６の表面上に位置し得る物理ボタンなどの、任意の技術的に実行可能なメカニズムによって、シャッターリリースコマンドが生成されてもよい。当然、他の実施形態では、任意の数の他のボタン、外部入出力、またはデジタル入出力がモバイルデバイス３７６上に含まれていてもよく、カメラモジュール３３０と併用されてもよい。

図示のとおり、一実施形態において、表示ユニット３１２を含むタッチエントリ表示システムがモバイルデバイス３７６のカメラモジュール３３０と反対側に配置されている。特定の実施形態において、モバイルデバイス３７６は、ユーザの方を向くカメラモジュール３３１を含み、ユーザの方を向くストロボユニット（図示せず）を含んでいてもよい。当然、他の実施形態では、モバイルデバイス３７６は、任意の数のユーザの方を向くカメラモジュールまたは後ろ向きのカメラモジュール、および任意の数のユーザの方を向くストロボユニットまたは後ろ向きのストロボユニットを含んでいてもよい。

いくつかの実施形態において、デジタルカメラ３０２およびモバイルデバイス３７６の各々は、カメラモジュール３３０によってサンプリングされた画像スタックに基づいて合成画像を生成して記憶してもよい。画像スタックは、周囲照明条件下でサンプリングされた１つ以上の画像、ストロボユニット３３６からのストロボ照明下でサンプリングされた１つ以上の画像、またはそれらの組合せを含んでいてもよい。

図３Ｅは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０は、ストロボ制御信号３３８を通してストロボユニット３３６を制御するように構成されてもよい。図示のとおり、レンズ３９０が、光学シーン情報３５２をサンプリングすべき画像センサ３３２上に合焦するように構成される。一実施形態において、画像センサ３３２はストロボ制御信号３３８を通してストロボユニット３３６の詳細なタイミングを有利に制御して、ストロボユニット３３６が有効な状態でサンプリングされた画像とストロボユニット３３６が無効な状態でサンプリングされた画像との間のサンプル間時間を減少させる。たとえば、画像センサ３３２は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後であってストロボ画像をサンプリングする前に、ストロボユニット３３６が１マイクロ秒未満（または任意の所望の長さ）にわたってストロボ照明３５０を発することを可能にし得る。

他の実施形態では、ストロボ照明３５０は所望の１つ以上のターゲットポイントに基づいて構成されてもよい。たとえば、一実施形態において、ストロボ照明３５０は前景内のオブジェクトを照らし出してもよく、露光時間の長さに依存して、画像の背景内のオブジェクトも照らし出してもよい。一実施形態において、ストロボユニット３３６が有効になると、画像センサ３３２はその直後にストロボ画像を露光し始めてもよい。ゆえに、画像センサ３３２はサンプリング動作を直接制御することが可能であり得、当該サンプリング動作は、ストロボユニット３３６が無効な状態でサンプリングされた少なくとも１つの画像、およびストロボユニット３３６が有効または無効な状態でサンプリングされた少なくとも１つの画像を含み得る画像スタックの生成と関連付けられているストロボユニット３３６の有効化および無効化を含む。一実施形態において、画像センサ３３２によってサンプリングされた画像スタックを含むデータが、配線３３４を介してプロセッサ複合体３１０内のカメラインターフェイスユニット３８６に送信される。いくつかの実施形態において、カメラモジュール３３０は画像センサコントローラを含んでいてもよく、当該コントローラは画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。

図３Ｆは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０は、ストロボユニット３３６についての状態情報に基づいて画像をサンプリングするように構成されてもよい。状態情報は、ストロボユニット３３６にストロボ照明３５０の指定強度および／または色を生成するように命じるための１つ以上のストロボパラメータ（たとえばストロボ強度、ストロボ色、ストロボ時間等）を含み得るがこれらに限定されない。一実施形態において、ストロボユニット３３６と関連付けられている状態情報を構成するためのコマンドがストロボ制御信号３３８を通して送信されてもよく、当該信号は、ストロボユニット３３６が有効になった時を検出するためにカメラモジュール３３０によって監視され得る。たとえば、一実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効または無効になってから１マイクロ秒以下内にストロボユニット３３６が有効または無効になった時をストロボ制御信号３３８によって検出し得る。ストロボ照明を必要とする画像をサンプリングするために、カメラインターフェイスユニット３８６は、有効化コマンドをストロボ制御信号３３８を通して送信することによってストロボユニット３３６を有効にしてもよい。一実施形態において、カメラインターフェイスユニット３８６は、図３Ｂのプロセッサ複合体３１０のプロセッササブシステム３６０内の入出力インターフェイス３８４のインターフェイスとして含まれていてもよい。有効化コマンドは、信号レベル遷移、データパケット、レジスタ書込み、またはその他の技術的に実行可能なコマンドの送信を含んでいてもよい。カメラモジュール３３０はストロボユニット３３６が有効であることを検知し、次いで、ストロボユニット３３６が有効である間に、画像センサ３３２にストロボ照明を必要とする１つ以上の画像をサンプリングさせてもよい。そのような実現例では、画像センサ３３２は、ストロボユニット３３６宛ての有効化信号を、新たな露光のサンプリングを開始するトリガ信号として待機するように構成されてもよい。

一実施形態において、カメラインターフェイスユニット３８６は、露光パラメータおよびコマンドを配線３３４を通してカメラモジュール３３０に送信してもよい。特定の実施形態において、カメラインターフェイスユニット３８６は、制御コマンドをストロボ制御信号３３８を通してストロボユニット３３６に送信することによってストロボユニット３３６を直接制御するように構成されてもよい。カメラモジュール３３０およびストロボユニット３３６の両方を直接制御することによって、カメラインターフェイスユニット３８６は、カメラモジュール３３０およびストロボユニット３３６に、正確な時間同期でそれぞれの動作を実行させることができる。一実施形態において、正確な時間同期は５００マイクロ秒未満のイベントタイミングエラーであってもよい。また、イベントタイミングエラーは、意図されたイベント発生から対応する実際のイベント発生の時間までの時間差であってもよい。

別の実施形態において、カメラインターフェイスユニット３８６は、カメラモジュール３３０から画像データを受信している間に統計を蓄積するよう構成されてもよい。特に、カメラインターフェイスユニット３８６は、配線３３４を通して所与の画像についての画像データを受信している間に当該画像についての露光統計を蓄積してもよい。露光統計は、強度ヒストグラム、露光過多の画素のカウント、露光不足の画素のカウント、画素強度の強度−加重和、の１つ以上、またはそれらのいずれかの組合せを含み得るがこれらに限定されない。カメラインターフェイスユニット３８６は、プロセッサ複合体３１０内のＣＰＵコア３７０の１つ以上などのプロセッサによって規定される物理または仮想アドレス空間内のメモリマップされた記憶場所として、露光統計を提示してもよい。一実施形態において、露光統計は、メモリマップされたレジスタ空間内にマップされる記憶回路内に存在しており、これは配線３３４を通してアクセス可能である。他の実施形態では、露光統計は、捕捉した画像についての画素データを伝送するのと共に伝送される。たとえば、所与の画像についての露光統計は、捕捉した画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。露光統計は、カメラインターフェイスユニット３８６内で計算、記憶、またはキャッシュされてもよい。

一実施形態において、カメラインターフェイスユニット３８６は、シーンホワイトバランスを推定するための色統計を蓄積してもよい。赤色、緑色および青色カラーチャネルを含む異なるカラーチャネルについての強度の和などの、ホワイトバランスを推定するための任意の技術的に実行可能な色統計が蓄積されてもよい。次いで、カラーチャネル強度の和を用いて、グレーワールドホワイトバランスモデルなどのホワイトバランスモデルに従って、関連画像に対してホワイトバランス色補正が実行されてもよい。他の実施形態では、画像に対してホワイトバランス補正を実現するために用いられる一次または二次曲線適合のための曲線適合統計が蓄積される。

一実施形態において、カメラインターフェイスユニット３８６は、周囲画像と、ストロボ照明を用いてサンプリングされた１つ以上の画像との間など、画像同士の間でカラーマッチングを実行するための空間色統計を蓄積してもよい。露光統計と同様に、色統計はプロセッサ複合体３１０内のメモリマップされた記憶場所として提示されてもよい。一実施形態において、色統計はメモリマップされたレジスタ空間内にマップされ、これはプロセッササブシステム３６０内で配線３３４を通してアクセス可能である。他の実施形態では、色統計は、捕捉した画像についての画素データを伝送するのと共に伝送されてもよい。たとえば、一実施形態において、所与の画像についての色統計は、当該画像についての画素強度データの送信に引き続いて、インラインデータとして送信されてもよい。色統計は、カメラインターフェイス３８６内で計算、記憶、またはキャッシュされてもよい。

一実施形態において、カメラモジュール３３０はストロボ制御信号３３８をストロボユニット３３６に送信して、カメラモジュール３３０が画像をサンプリングしている間にストロボユニット３３６が照明を生成することを可能にし得る。別の実施形態において、カメラモジュール３３０は、ストロボユニット３３６が有効であるという指示信号をカメラインターフェイスユニット３８６から受信すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。さらに別の実施形態において、カメラモジュール３３０は、シーン照明の急激な増加によって写真撮影シーン内のストロボ照明を検出すると、ストロボユニット３３６が照明している画像をサンプリングしてもよい。一実施形態において、シーン照明の急激な増加は、ストロボユニット３３６を有効にする強度と一致した強度の増加率を少なくとも含んでいてもよい。さらに別の実施形態において、カメラモジュール３３０は、１つの画像をサンプリングしている間にストロボユニット３３６を有効にしてストロボ照明を生成し、別の画像をサンプリングしている間にストロボユニット３３６を無効にしてもよい。

図３Ｇは、一実施形態に従うカメラモジュール３３０を示す。選択肢として、カメラモジュール３３０は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、カメラモジュール３３０は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、カメラモジュール３３０はアプリケーションプロセッサ３３５と通信していてもよい。カメラモジュール３３０は、コントローラ３３３と通信している画像センサ３３２を含むとして示されている。さらに、コントローラ３３３はアプリケーションプロセッサ３３５と通信しているとして示されている。

一実施形態において、アプリケーションプロセッサ３３５はカメラモジュール３３０の外部に存在していてもよい。図示のとおり、レンズ３９０は、光学シーン情報をサンプリングすべき画像センサ３３２上に合焦するように構成されてもよい。次いで、画像センサ３３２によってサンプリングされた光学シーン情報は、その後の処理およびアプリケーションプロセッサ３３５への通信の少なくとも一方のために、画像センサ３３２からコントローラ３３３に通信されてもよい。別の実施形態において、コントローラ３３３は、画像センサ３３２によってサンプリングされた光学シーン情報の記憶、または処理された光学シーン情報の記憶を制御してもよい。

別の実施形態において、コントローラ３３３は、画像センサ３３２が周囲画像のサンプリングと関連付けられている露光時間を完了した後に、ストロボユニットが短い期間（たとえば１マイクロ秒未満等）中にストロボ照明を発することを可能にし得る。さらに、コントローラ３３３は、画像センサ３３２の制御動作と共にストロボ制御信号３３８を生成するように構成されてもよい。

一実施形態において、画像センサ３３２は相補型金属酸化膜半導体（ＣＭＯＳ）センサまたは電荷結合素子（ＣＣＤ）センサであってもよい。別の実施形態において、コントローラ３３３および画像センサ３３２は、集積システムまたは集積回路として共にパッケージ化されてもよい。さらに別の実施形態において、コントローラ３３３および画像センサ３３２は別個のパッケージを含んでいてもよい。一実施形態において、コントローラ３３３は、画像センサ３３２からの光学シーン情報の受信、光学シーン情報の処理、さまざまな機能のタイミング、およびアプリケーションプロセッサ３３５と関連付けられているシグナリングのための回路を提供してもよい。さらに、別の実施形態において、コントローラ３３３は、露光、シャッタリング、ホワイトバランス、およびゲイン調整の１つ以上を制御するための回路を提供してもよい。コントローラ３３３の回路による光学シーン情報の処理は、ゲイン適用、増幅、およびアナログ−デジタル変換の１つ以上を含んでいてもよい。光学シーン情報を処理した後、コントローラ３３３は対応するデジタル画素データをアプリケーションプロセッサ３３５などに送信してもよい。

一実施形態において、アプリケーションプロセッサ３３５は、プロセッサ複合体３１０および揮発性メモリ３１８とＮＶメモリ３１６との少なくとも一方、またはその他のメモリデバイスおよび／もしくはシステム上で実現されてもよい。アプリケーションプロセッサ３３５は、カメラモジュール３３０からアプリケーションプロセッサ３３５に通信される受信した光学シーン情報またはデジタル画素データの処理のために予め構成されてもよい。

図４は、一実施形態に従うネットワークサービスシステム４００を示す。選択肢として、ネットワークサービスシステム４００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、ネットワークサービスシステム４００は任意の所望の環境において実現されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

一実施形態において、ネットワークサービスシステム４００は、デジタル写真撮影システムを実現するデバイスにネットワークアクセスを提供するように構成されてもよい。図示のとおり、ネットワークサービスシステム４００は、ワイヤレスモバイルデバイス３７６、無線アクセスポイント４７２、データネットワーク４７４、データセンタ４８０、およびデータセンタ４８１を含む。ワイヤレスモバイルデバイス３７６は、デジタル無線リンク４７１を介して無線アクセスポイント４７２と通信して、デジタル画像と関連付けられているデータを含むデジタルデータを送受信してもよい。ワイヤレスモバイルデバイス３７６および無線アクセスポイント４７２は、本発明の範囲および精神から逸脱することなく、デジタル無線リンク４７１を介してデジタルデータを伝送するための任意の技術的に実行可能な伝送技術を実現し得る。特定の実施形態において、データセンタ４８０，４８１の１つ以上は、所与のデータセンタ４８０，４８１内の各システムおよびサブシステムが、指定されたデータ処理およびネットワークタスクを実行するように構成された仮想マシンを含み得るように、仮想構造を用いて実現されてもよい。他の実現例では、データセンタ４８０，４８１の１つ以上は複数の物理的サイトにわたって物理的に分散していてもよい。

ワイヤレスモバイルデバイス３７６は、デジタルカメラを含むように構成されたスマートフォン、ワイヤレスネットワーク接続性を含むように構成されたデジタルカメラ、現実拡張デバイス、デジタルカメラおよびワイヤレスネットワーク接続性を含むように構成されたラップトップ、またはデジタル写真撮影システムおよびワイヤレスネットワーク接続性を含むように構成されたその他の技術的に実行可能なコンピューティングデバイスを含んでいてもよい。

さまざまな実施形態において、無線アクセスポイント４７２は、デジタル無線リンク４７１を介してワイヤレスモバイルデバイス３７６と通信するように、かつ、電気、光学、または無線伝送媒体などの任意の技術的に実行可能な伝送媒体を介してデータネットワーク４７４と通信するように構成されてもよい。たとえば、一実施形態において、無線アクセスポイント４７２は、無線アクセスポイント４７２に、かつデータネットワーク４７４内のルータシステムまたはスイッチシステムに結合された光ファイバを通してデータネットワーク４７４と通信してもよい。広域ネットワーク（ＷＡＮ）リンクなどのネットワークリンク４７５がデータネットワーク４７４とデータセンタ４８０との間でデータを伝送するように構成されてもよい。

一実施形態において、データネットワーク４７４は、ルータ、スイッチ、長距離伝送システム、プロビジョニングシステム、認証システム、ならびに、無線アクセスポイント４７２とデータセンタ４８０との間など、ネットワーク終点同士の間でデータを伝達するように構成された通信および動作サブシステムの任意の技術的に実行可能な組合せを含んでいてもよい。一実現例において、ワイヤレスモバイルデバイス３７６は、データネットワーク４７４に結合された１つ以上の無線アクセスポイントを介してデータセンタ４８０と通信するように構成された複数のワイヤレスモバイルデバイスのうちの１つを含んでいてもよい。

また、さまざまな実施形態において、データセンタ４８０はスイッチ／ルータ４８２および少なくとも１つのデータサービスシステム４８４を含み得るがこれらに限定されない。スイッチ／ルータ４８２は、ネットワークリンク４７５と各データサービスシステム４８４との間でデータトラフィックを転送するように構成されてもよい。スイッチ／ルータ４８２は、イーサネット（登録商標）メディア層伝送、レイヤ２スイッチング、レイヤ３ルーティングなどの任意の技術的に実行可能な伝送技術を実現し得る。スイッチ／ルータ４８２は、データサービスシステム４８４とデータネットワーク４７４との間でデータを伝送するように構成された１つ以上の個別のシステムを含んでいてもよい。

一実施形態において、スイッチ／ルータ４８２は、複数のデータサービスシステム４８４同士の間でセッションレベルのロードバランシングを実現し得る。各データサービスシステム４８４は少なくとも１つの計算システム４８８を含んでいてもよく、さらに１つ以上の記憶システム４８６を含んでいてもよい。各計算システム４８８は、中央処理装置、グラフィック処理装置、またはそれらのいずれかの組合せなどの、１つ以上の処理装置を含んでいてもよい。所与のデータサービスシステム４８４は、共に動作するように構成された１つ以上の物理的に別個のシステムを含む物理的システムとして実現されてもよい。または、所与のデータサービスシステム４８４は、任意の物理的システム上で実行される１つ以上の仮想システムを含む仮想システムとして実現されてもよい。特定のシナリオでは、データネットワーク４７４は、ネットワークリンク４７６を通すなどしてデータセンタ４８０と別のデータセンタ４８１との間でデータを伝送するように構成されてもよい。

別の実施形態において、ネットワークサービスシステム４００は、本発明の１つ以上の実施形態を実現するように構成された、任意のネットワーク化されたモバイルデバイスを含んでいてもよい。たとえば、いくつかの実施形態において、アドホック無線ネットワークなどのピアツーピアネットワークが２つの異なるワイヤレスモバイルデバイス同士の間に確立されてもよい。そのような実施形態では、デジタル画像データは、当該デジタル画像データをデータセンタ４８０に送信しなくても２つのワイヤレスモバイルデバイス同士の間で伝送され得る。

図５は、一実施形態に係る、ＨＤＲ画素を出力するためのシステム５００を示す。選択肢として、システム５００は、いずれかの図面の文脈において実現され得る。しかしながら、当然、システム５００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図示のとおり、システム５００は非線形混合関数５３０を含む。一実施形態においては、非線形混合関数５３０は、より明るい画素５５０およびより暗い画素５５２を受取ることを含む。一実施形態においては、より明るい画素５５０およびより暗い画素５５２は、混合関数５６６によってブレンドされ、結果としてＨＤＲ画素５５９をもたらし得る。

一実施形態においては、混合関数５６６は、２つの入力値（たとえば、画素など）を組合わせることができる如何なる関数をも含み得る。混合関数５６６は、混合値５５８に基づいて、より明るい画素５５０に関連付けられたｖｅｃ３値と、より暗い画素５５２に関連付けられたｖｅｃ３値とをブレンドすることによって、ＨＤＲ画素５５９に関連付けられたｖｅｃ３値を生成するための線形ブレンド演算を規定し得る。たとえば、混合関数５６６は、周知のＯｐｅｎＧＬ混合関数を実現し得る。他の例においては、混合関数は、２つの異なる画素についての値の加重和を正規化すること；入力画素に関連付けられたベクトル（たとえば、ＲＧＢなど）を合計して正規化すること；２つの入力画素についての加重平均を計算すること；および／または、より明るい画素とより暗い画素とを何らかの態様で結合し得る他の任意の関数を適用すること；を含み得る。一実施形態においては、混合値５５８は、０〜１の範囲であってもよく、混合関数５６６は、混合値５５８に基づいて、より暗い画素５５２とより明るい画素５５０とを混合する。別の実施形態においては、混合値５５８は、０から任意に大きな値までの範囲であるが、混合関数５６６は、１より大きい値が１に等しいかのように、１よりも大きい混合値に応答するように構成される。

一実施形態においては、混合値関数は、２つの多項式の積を含み、強さ係数を含み得る。特定の例においては、混合値関数は、混合値５５８を生成するように作用する混合値表面５６４として実現される。１つの例示的な混合値関数を式１において以下に例示する：
ｚ＝ｐ１（ｘ）＊ｐ２（ｙ）＊ｓ （式１）
この場合、ｚは、第１の画素および第２の画素についての結果として得られる混合値である。

ｐ１はｘにおける第１の多項式であり、ｘは第１の（より暗い）画素についての画素属性であり得る。

ｐ２はｙにおける第２の多項式であり、ｙは第２の（より明るい）画素についての画素属性であり得る。

ｓは強さ係数である（ｓ＝＝０：混合なし、ｓ＝＝１．０：規格の混合、ｓ＞１．０：過度の混合）。

式１においては、強さ係数（ｓ）は、第１の画素と第２の画素との間で、結果として生じる混合値に、混合なし（たとえば、ｓ＝０など）、規格の混合（たとえば、ｓ＝１など）および過度の混合（たとえば、ｓ＞１．０など）を反映させ得る。

別の特定の実施形態においては、混合関数は特有の多項式形を含み得る：
ｚ＝（１−（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）＊ｓ （式２）
図示のとおり、式１のｐ１（ｘ）は、式２において項（１−（１−（１−ｘ）＾Ａ）＾Ｂ）として実現され得るとともに、式２のｐ２（ｙ）は、項（（１−（１−ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式２は以下の係数を含み得る：Ａ＝８、Ｂ＝２、Ｃ＝８およびＤ＝２。当然ながら、他の実施形態においては、他の係数値は、全体的な混合を最適化するために用いられてもよく、第１の画素と第２の画素とを混合することに関連付けられた主観的な視覚的品質を含み得る。特定の実施形態においては、式２を用いて、「ＥＶ０」画素（たとえば、ＥＶ０露光を有する画像からの画素）と、「ＥＶ−」画素（たとえば、ＥＶ−１、ＥＶ−２またはＥＶ−３などの露光を有する画像からの画素）と、「ＥＶ＋」画素（たとえば、ＥＶ＋１、ＥＶ＋２またはＥＶ＋３などの露光を有する画像からの画素）との組合せのための混合値を生成し得る。さらに、別の実施形態においては、式２を用いて、明露光、中間露光および／または暗露光を任意に組合せて有する画像に関連付けられた画素についての混合値を生成し得る。

別の実施形態においては、ｚ＝０の場合、より暗い画素に重み全体が与えられてもよく、ｚ＝１の場合、より明るい画素に重み全体が与えられてもよい。一実施形態においては、式２は、図１０Ａおよび図１０Ｂに示されるような表面図に一致し得る。

別の特定の実施形態においては、混合関数は特定の多項式形を含み得る：
ｚ＝（（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）＊ｓ （式３）
図示のとおり、式１のｐ１（ｘ）は、式３において項（（１−（１−ｘ）＾Ａ）＾Ｂ）として実現され得るとともに、式３のｐ２（ｙ）は、項（（１−（１−ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式３は以下の係数：Ａ＝８、Ｂ＝２、Ｃ＝２およびＤ＝２を含み得る。当然ながら、他の実施形態においては、他の係数値を用いて混合を最適化してもよい。別の実施形態においては、式３を用いて、「ＥＶ０」画素および「ＥＶ−」画素（たとえばＥＶ−１、ＥＶ−２またはＥＶ−３）画素についての混合値を生成してもよい。さらに、別の実施形態においては、式３を用いて、明露光、中間露光および／または暗露光を任意に組合せて有する画像に関連付けられた画素についての混合値を生成し得る。

別の実施形態においては、ｚ＝０の場合、より明るい画素に重み全体が与えられてもよく、ｚ＝１の場合、より暗い画素に重み全体が与えられてもよい。一実施形態においては、式３は、図１１Ａおよび図１１Ｂに示されるような表面図に一致し得る。

別の実施形態においては、より明るい画素５５０が画素属性関数５６０によって受取られてもよく、より暗い画素５５２が画素属性関数５６２によって受取られてもよい。さまざまな実施形態においては、画素属性関数５６０および／または５６２は、入力画素（たとえば、より明るい画素、より暗い画素など）に関連付けられた属性を決定することができる如何なる関数をも含み得る。たとえば、さまざまな実施形態においては、画素属性関数５６０および／または５６２は、強度、飽和度、色相、色空間値（たとえば、ＲＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、輝度、ＲＧＢ色、ルミナンス、クロミナンス、および／または、何らかの態様で画素に関連付けられ得る他のいずれかの特徴を決定することを含み得る。

画素属性関数５６０に応じて、より明るい画素５５０に関連付けられた画素属性５５５が結果として生じ、混合値表面５６４などの混合値関数に入力される。加えて、画素属性関数５６２に応じて、より暗い画素５５２に関連付けられた画素属性５５６が結果として生じ、混合値関数に入力される。

一実施形態においては、所与の混合値関数が表面図に関連付けられてもよい。たとえば、一実施形態においては、ｘ値は、第１の画素属性（または複数の画素属性）に関連付けられた多項式に関連付けられてもよく、ｙ値は、第２の画素属性（または複数の画素属性）に関連付けられた多項式に関連付けられてもよい。さらに、別の実施形態においては、強さ関数は、混合値関数によって計算される混合値をスケーリングするために用いられてもよい。

一実施形態においては、混合値関数によって決定された混合値５５８が、表面図を具体化する表から選択されてもよい。別の実施形態においては、第１の多項式に関連付けられた第１の値および第２の多項式に関連付けられた第２の値は各々、表から対応する値を選択するために用いられてもよく、２つ以上の値を用いて混合値を補間してもよい。言いかえれば、混合値関数の少なくとも一部は、ｚの値を決定するために、ｘおよびｙにおいて標識付されている表（たとえばルックアップテーブル）として実現されてもよい。ｚの各々の値は、表においては直接表わされてもよく、または表を含むサンプル点から補間されてもよい。

図示のとおり、混合値５５８は、混合値表面５６４に起因するものであり、先に述べたように混合関数５６６に入力される。

ＨＤＲ画素５５９は、この明細書中に記載されるさまざまな実施形態に従って、より明るい画素５５０およびより暗い画素５５２に基づいて生成され得る。

図６は、別の実施形態に係る、ＨＤＲ画素と効果関数との組合わせに基づいてＨＤＲ画素を生成するための方法６００を示す。選択肢として、方法６００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、方法６００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図示のとおり、一実施形態においては、中間の明るいＨＤＲ画素が、中間の露光画素および明るい露光画素に基づいて生成され得る。動作６０２を参照されたい。加えて、中間の暗いＨＤＲ画素は、中間の露光画素および暗い露光画素に基づいて生成され得る。動作６０４を参照されたい。たとえば、一実施形態においては、中間の露光画素はＥＶ０露光を含んでもよく、明るい露光画素はＥＶ＋１露光を含んでもよく、中間の明るいＨＤＲ画素は、ＥＶ０露光画素とＥＶ＋１露光画素との間のブレンドであってもよい。当然、明るい露光画素は、（たとえば、任意の量などが）中間の露光値よりも大きい露光を含み得る。

別の実施形態においては、中間の露光画素はＥＶ０露光を含んでもよく、暗い露光画素はＥＶ−１露光を含んでもよく、中間の暗いＨＤＲ画素は、ＥＶ０露光とＥＶ−１露光との間のブレンドであってもよい。当然、暗い露光画素は、（たとえば、任意の量などが）中間の露光値よりも小さい露光を含み得る。

図示のとおり、結合されたＨＤＲ画素は、中間の明るいＨＤＲ画素および中間の暗いＨＤＲ画素に基づいて生成され得る。動作６０６を参照されたい。別の実施形態においては、結合されたＨＤＲ画素は、複数の中間の明るいＨＤＲ画素および複数の中間の暗いＨＤＲ画素に基づいて生成され得る。

別個の実施形態においては、第２の結合されたＨＤＲ画素は、結合されたＨＤＲ画素および中間の明るいＨＤＲ画素に基づいていてもよく、または、結合されたＨＤＲ画素および中間の暗いＨＤＲ画素に基づいてもよい。さらなる実施形態においては、第３の結合されたＨＤＲ画素は、第１の結合されたＨＤＲ画素、第２の結合されたＨＤＲ画素、中間の明るいＨＤＲ画素、中間の暗いＨＤＲ画素、および／または、そのいずれかの組合せに基づいてもよい。

さらに、図示のとおり、出力ＨＤＲ画素は結合されたＨＤＲ画素および効果関数に基づいて生成されてもよい。動作６０８を参照されたい。たとえば、一実施形態においては、効果関数は、強度、飽和度、色相、色空間値（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、輝度、ＲＧＢ色、ルミナンス、クロミナンス、コントラスト、属性レベル関数および／または属性湾曲関数を変更する関数を含み得る。さらに、効果関数は、パステル調、水彩絵具機能、チャコール調、グラフィックペン調、検出されたエッジの輪郭、粒度もしくはノイズの変更、テクスチャの変更、および／または、何らかの態様で出力ＨＤＲ画素を変更し得る他の任意の修正などを含むがこれらには限定されないフィルタを含み得る。

図７は、別の実施形態に係る、ＨＤＲ画素を出力するためのシステム７００を示す。選択肢として、システム７００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、システム７００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、システム７００は画素ブレンド演算７０２を含み得る。一実施形態においては、画素ブレンド演算７０２は、非線形混合関数７３２において、明るい露光画素７１０および中間の露光画素７１２を受取ることを含み得る。別の実施形態においては、非線形混合関数７３２は、図５の非線形混合関数５３０と一致する態様で作用し得る。別の実施形態においては、画素ブレンド演算７０２は、非線形混合関数７３４において暗い露光画素７１４および中間の露光画素７１２を受取ることを含み得る。別の実施形態においては、非線形混合関数７３４は、図５の要素５３０と一致する態様で作用し得る。

さまざまな実施形態においては、非線形混合関数７３２および／または７３４は、それぞれ、明るい混合限度７２０または暗い混合限度７２２から入力を受取り得る。一実施形態においては、明るい混合限度７２０および／または暗い混合限度７２２は、自動設定または手動設定を含み得る。たとえば、いくつかの実施形態においては、混合限度は、予め規定された設定（たとえば、最適化された設定など）によって設定され得る。一実施形態においては、各々の混合限度は、混合関数を最適化するように予め規定されていてもよい。別の実施形態においては、手動設定はユーザ入力を受取ることを含んでもよい。たとえば、一実施形態においては、ユーザ入力はスライドするユーザインターフェイス上のスライダ設定と一致していてもよい。各々の混合限度は、式１〜式３に関連付けて上述されたそれぞれの強さ係数に対応し得る。

たとえば、一実施形態においては、混合値関数は、２つの多項式の積を含み得るとともに、強さ係数を含み得る。特定の例においては、混合値関数は、混合値５５８を生成するように作用する混合値表面５６４として実現される。

１つの例示的な混合値関数が式１において以下に例示される：
ｚ＝ｐ１（ｘ）＊ｐ２（ｙ）＊ｓ （式１）
この場合、ｚは、第１の画素および第２の画素についての結果として生じる混合値である。

ｐ１はｘにおける第１の多項式であり、ｘは第１の（より暗い）画素についての画素属性であり得る。

ｐ２はｙにおける第２の多項式であり、ｙは第２の（より明るい）画素についての画素属性であり得る。

ｓは強さ係数である（ｓ＝＝０：混合なし、ｓ＝＝１．０：規格の混合、ｓ＞１．０：過度の混合）。

式１においては、強さ係数（ｓ）は、第１の画素と第２の画素との間で、結果として生じる混合値に、混合なし（たとえば、ｓ＝０など）、規格の混合（たとえば、ｓ＝１など）および過度の混合（たとえば、ｓ＞１．０など）を反映させ得る。

別の特定の実施形態においては、混合関数は特定の多項式形を含み得る：
ｚ＝（１−（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）＊ｓ （式２）
図示のとおり、式１のｐ１（ｘ）は、項（１−（１−（１−ｘ）＾Ａ）＾Ｂ）として式２において実現され得るとともに、式２のｐ２（ｙ）は項（（１−（１−ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式２は以下の係数：Ａ＝８、Ｂ＝２、Ｃ＝８およびＤ＝２を含み得る。当然ながら、他の実施形態においては、全体的な混合を最適化するために、他の係数値が用いられてもよく、第１の画素と第２の画素とを混合することに関連付けられた主観的な視覚品質を含み得る。特定の実施形態においては、式２を用いて、「ＥＶ０」画素（たとえば、ＥＶ０露光を有する画像からの画素）と、「ＥＶ−」画素（たとえば、ＥＶ−１、ＥＶ−２またはＥＶ−３などの露光を有する画像からの画素）と、「ＥＶ＋」画素（たとえば、ＥＶ＋１、ＥＶ＋２またはＥＶ＋３などの露光を有する画像からの画素）との組合わせについての混合値を生成し得る。さらに、別の実施形態においては、式２を用いて、明露光、中間露光および／または暗露光を任意に組合わせて有する画像に関連付けられた画素についての混合値を生成し得る。

別の実施形態においては、ｚ＝０の場合、より暗い画素に重み全体が与えられてもよく、ｚ＝１の場合、より明るい画素に重み全体が与えられてもよい。一実施形態においては、式２は、図１０Ａおよび図１０Ｂに示されるような表面図に一致し得る。

別の特定の実施形態においては、混合関数は特定の多項式形を含み得る：
ｚ＝（（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）＊ｓ （式３）
図示のとおり、式１のｐ１（ｘ）は式３において項（（１−（１−ｘ）＾Ａ）＾Ｂ）として実現され得るとともに、式３のｐ２（ｙ）は項（（１−（１−ｙ）＾Ｃ）＾Ｄ）として実現され得る。一実施形態においては、式３は以下の係数：Ａ＝８、Ｂ＝２、Ｃ＝２およびＤ＝２を含み得る。当然ながら、他の実施形態においては、混合を最適化するために他の係数値が用いられてもよい。別の実施形態においては、式３を用いて、「ＥＶ０」画素および「ＥＶ−」画素（たとえばＥＶ−１、ＥＶ−２またはＥＶ−３）画素についての混合値を生成し得る。さらに、別の実施形態においては、式３を用いて、明露光、中間露光および／または暗露光を任意に組合せて有する画像に関連付けられた画素についての混合値を生成し得る。

別の実施形態においては、ｚ＝０の場合、より明るい画素に重み全体が与えられてもよく、ｚ＝１の場合、より暗い画素に重み全体が与えられてもよい。一実施形態においては、式３は、図１１Ａおよび図１１Ｂに示されるような表面図に一致し得る。

図示のとおり、一実施形態においては、非線形混合関数７３２は、結果として、中間の明るいＨＤＲ画素７４０をもたらす。別の実施形態においては、非線形混合関数７３４は、結果として、中間の暗いＨＤＲ画素７４２をもたらす。一実施形態においては、中間の明るいＨＤＲ画素７４０および中間の暗いＨＤＲ画素７４２が、コンバイナ関数（combiner function）７３６に入力される。別の実施形態においては、コンバイナ関数７３６は、中間の明るいＨＤＲ画素７４０と中間の暗いＨＤＲ画素７４２とをブレンドする。

さまざまな実施形態においては、コンバイナ関数７３６は、２つ以上の画素値の平均を取ること；各々の画素値に関連付けられた色属性を合計して正規化すること（たとえば、ＲＧＢ色空間における赤成分／緑成分／青成分の合計など）；正規化され得るＲＧＢ（もしくは任意の色空間）ベクトル長さを決定すること；平均画素値をより明るい画素もしくはより暗い画素と組合わせて用いること；および／または、他の任意の組合せを用いて、中間の明るいＨＤＲ画素７４０と中間の暗いＨＤＲ画素７４２とをブレンドすること；を含み得る。

一実施形態においては、コンバイナ関数７３６は、結果として、結合されたＨＤＲ画素７４４をもたらす。さまざまな実施形態においては、結合されたＨＤＲ画素７４４は、中間の明るい画素７４０および中間の暗いＨＤＲ画素７４２に関連付けられた如何なるタイプのブレンドをも含み得る。たとえば、いくつかの実施形態においては、結合されたＨＤＲ画素は、ＨＤＲ効果が適用されていない生成画素を含み得るのに対して、他の実施形態においては、任意の量のＨＤＲまたは増幅が適用されて、最終的な結合されたＨＤＲ画素に反映され得る。

さまざまな実施形態においては、結合されたＨＤＲ画素７４４が効果関数７３８に入力される。一実施形態においては、効果関数７３８は、飽和パラメータ７２４、レベルマッピングパラメータ７２６、および／または、効果関数７３８に何らかの態様で結合ＨＤＲ画素７４４を修正させ得る他の任意の関数パラメータを受取り得る。当然、他の実施形態においては、効果関数７３８は、強度、色相、色空間値（たとえば、ＥＧＢ、ＹＣｂＣｒ、ＹＵＶなど）、輝度、ＲＧＢ色、ルミナンス、クロミナンス、コントラスト、および／または、湾曲関数を変更する関数を含み得る。さらに、効果関数は、パステル調、水彩絵具機能、チャコール調、グラフィックペン調、検出されたエッジの輪郭、粒度もしくはノイズの変更、テクスチャの変更、および／または、結合されたＨＤＲ画素を何らかの態様で変更し得る他の任意の修正などを含むがこれらに限定されないフィルタを含み得る。いくつかの実施形態においては、出力ＨＤＲ画素７４６は、効果関数７３８によって生成されてもよい。代替的には、効果関数７３８は効果を及ぼさないように構成されてもよく、出力ＨＤＲ画素７４６は結合されたＨＤＲ画素７４４と同等である。一実施形態においては、効果関数７３８は、コントラスト制限付適応ヒストグラム平坦化（ＣＬＡＨＥ）として当該技術において公知である等化技術などの等価を実現する。

いくつかの実施形態および代替例においては、結合されたＨＤＲ画素７４４には効果が適用されなくてもよい。効果関数７３８を通過した後、出力ＨＤＲ画素７４６が結果として生じる。

図８は、別の実施形態に係る、結合されたＨＤＲ画素と効果関数とに基づいてＨＤＲ画素を生成するための方法８００を示す。選択肢として、方法８００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、方法８００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、中間の露光画像について中間露光パラメータが評価され得る。動作８０２を参照されたい。加えて、暗い露光画像について暗露光パラメータが評価され（動作８０４を参照）、明るい露光画像について明露光パラメータが評価される（動作８０６を参照）。

さまざまな実施形態においては、（たとえば、中間露光、暗露光または明露光などに関連付けられた）露光パラメータは、ＩＳＯ、露光時間、露光値、アパーチャ、および／または、画像捕捉時間に影響を与える可能性のある他のパラメータを含み得る。一実施形態においては、捕捉時間は、対応するカメラレンズによって示される光学情報に画像センサが晒される時間の量を含み得る。

一実施形態においては、中間露光パラメータ、暗露光パラメータおよび／または明露光パラメータを評価することは、写真撮影シーンに関連付けられた画像を計測することを含み得る。たとえば、さまざまな実施形態においては、レンズの視界内における光の輝度が決定され得る。さらに、画像の計測は、スポット計測（たとえば、狭い区域のカバレッジなど）、平均計測（たとえば、全体写真全体にわたる計測など）、マルチパターン計測（たとえば、マトリックス計測、セグメント化された計測など）、および／または、他のタイプの計測システムを含み得る。画像の計測は、画像センサから利用可能となるよりも低い解像度を含む如何なる解像度で実行されてもよく、これにより、結果として、計測のレイテンシがより高速となる可能性がある。

図示のとおり、暗い露光画像、中間の露光画像および明るい露光画像が捕捉される。動作８０８を参照されたい。さまざまな実施形態においては、画像（たとえば、暗い露光画像、中間の露光画像、明るい露光画像など）を捕捉することは、画像プロセッサに（たとえば、対応するカメラレンズなどを通して視認されるような）画像を処理させることを含んでもよく、および／または、それ以外の場合には、何らかの態様で一時的に画像を記憶してもよい。当然、他の実施形態においては、捕捉を行う場合、光（たとえば、ＲＧＢ光など）を検出し得るフォトダイオード、（たとえば、光などの強度を格納するための）バイアス電圧もしくはコンデンサ、および／または、光の強度を受取って格納するのに必要な他のいずれかの回路を含み得る。他の実施形態においては、フォトダイオードによって、（たとえば、露光時間などに関連付けられる）入射光強度に比例する速度でコンデンサを充電または放電してもよい。

加えて、一実施形態においては、結合されたＨＤＲ画像は、暗い露光画像、中間の露光画像および明るい露光画像に基づいて生成されてもよい。動作８１０を参照されたい。さまざまな実施形態においては、結合されたＨＤＲ画像は、図７における結合されたＨＤＲ画素７４４と一致する態様で生成されてもよい。さらに、一実施形態においては、出力ＨＤＲ画像は、結合されたＨＤＲ画素７４４を含む結合されたＨＤＲ画像および効果関数に基づいて生成されてもよい。動作８１２を参照されたい。さまざまな実施形態においては、出力ＨＤＲ画像は、図７における出力ＨＤＲ画素７４６と一致する態様で生成されてもよい。

図９は、別の実施形態に係る、結合されたＨＤＲ画素および効果関数に基づいてＨＤＲ画素を生成するための方法９００を示す。選択肢として、方法９００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、方法９００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、中間露光パラメータが中間の露光画像のために評価されてもよい。動作９０２を参照されたい。さまざまな実施形態においては、中間露光パラメータは、ＩＳＯ、露光時間、露光値、アパーチャ、および／または、捕捉時間に影響を与える可能性のある他の任意のパラメータを含み得る。一実施形態においては、捕捉時間は、対応するカメラレンズによって示される光学情報に画像センサが晒される時間の量を含み得る。一実施形態においては、中間露光パラメータを評価することは画像を計測することを含み得る。たとえば、さまざまな実施形態においては、レンズの視界内おける光の輝度が決定され得る。さらに、画像の計測は、スポット計測（たとえば、狭い区域のカバレッジなど）、平均計測（たとえば、全体写真全体にわたる計測など）、マルチパターン計測（たとえば、マトリックス計測、セグメント化された計測など）、および／または、他の任意のタイプの計測システムを含み得る。画像の計測は、画像センサから利用可能となるよりも低い解像度を含む如何なる解像度で実行されてもよく、これにより、結果として、計測のレイテンシがより高速となる可能性がある。加えて、一実施形態においては、中間の露光画像のための計測には、ＥＶ０における画像が含まれ得る。しかしながら、当然、他の実施形態においては、計測には、如何なるシャッター絞りおよび／または露光値での画像も含まれ得る。

図示のとおり、一実施形態においては、アナログ画像は、中間露光パラメータに基づいて画像センサ内に捕捉されてもよい。動作９０４を参照されたい。さまざまな実施形態においては、アナログ画像を捕捉することは、画像センサに（たとえば、対応するカメラレンズなどを通して視認されるような）画像を委託することを含んでもよく、および／または、それ以外の場合には、何らかの態様で一時的に画像を記憶してもよい。当然、他の実施形態においては、捕捉には、光（たとえば、ＲＧＢ光など）を検出し得るフォトダイオード、（たとえば、光などの強度を格納するための）バイアス電圧もしくはコンデンサ、および／または、光の強度を受取って格納するのに必要な他のいずれかの回路を含み得る。他の実施形態においては、フォトダイオードによって、（たとえば、露光時間などに関連付けられる）入射光強度に比例する速度でコンデンサを充電または放電してもよい。

加えて、一実施形態においては、中間の露光画像はアナログ画像に基づいて生成されてもよい。動作９０６を参照されたい。加えて、暗い露光画像はアナログ画像に基づいて生成されてもよく（動作９０８を参照）、より明るい露光画像はアナログ画像に基づいて生成されてもよい（動作９１０を参照）。さまざまな実施形態においては、露光画像（たとえば、中間、暗い、明るいなど）を生成することは、ＩＳＯまたはフィルム速度をアナログ画像に適用することを含み得る。当然、別の実施形態においては、光に対するアナログ画像の感度を変更し得る如何なる機能が適用されてもよい。一実施形態においては、複数の画像（たとえば、中間の露光画像、暗い露光画像、明るい露光画像など）を生成するために、同じアナログ画像が繰り返しサンプリングされてもよい。たとえば、一実施形態においては、回路内に蓄えられた電流が複数回使用されてもよい。

加えて、一実施形態においては、結合されたＨＤＲ画像は、暗い露光画像、中間の露光画像および明るい露光画像に基づいて生成され得る。動作９１２を参照されたい。さまざまな実施形態においては、結合されたＨＤＲ画像は、図７における結合されたＨＤＲ画素７４４と一致する態様で生成されてもよい。さらに、一実施形態においては、出力ＨＤＲ画像は、結合されたＨＤＲ画像および効果関数に基づいて生成され得る。動作９１４を参照されたい。さまざまな実施形態においては、出力ＨＤＲ画像は、図７における出力ＨＤＲ画素７４６と一致する態様で生成されてもよい。

図１０Ａは、別の実施形態に係る表面図１０００を示す。選択肢として、表面図１０００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、表面図１０００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１０００は、２つの画素についての２つの画素属性に基づいて、２つの画素についての混合値を決定するために式２に関連付けられた表面を示す。図示のとおり、表面図１０００は、ｘ軸１００２、ｙ軸１００４およびｚ軸１００６を有する単位立方体内に例示される。式２において記載されたように、変数「ｘ」は、第１の（たとえば、より暗い）画素についての属性に関連付けられ、変数「ｙ」は、第２の（たとえば、より明るい）画素についての属性に関連付けられている。たとえば、各々の属性は、単位立方体のそれぞれのｘ軸およびｙ軸に沿って０〜１にわたる範囲の強度値を表わし得る。第１の画素についての属性が図５の画素属性５５６に対応し得るとともに、第２の画素についての属性が画素属性５５５に対応し得る。式２において記載されたように、変数「ｚ」は、ＨＤＲ画素５５９などのＨＤＲ画素を２つの画素から生成するための混合値５５８などの混合値に関連付けられている。０という混合値（たとえば、ｚ＝０）は、結果として、第１の画素と実質的に同一のＨＤＲ画素をもたらし得るのに対して、１という混合値（たとえば、ｚ＝１）は、結果として、第２の画素と実質的に同一のＨＤＲ画素をもたらし得る。

図示のとおり、表面図１０００は、平坦領域１０１４、遷移領域１０１０および飽和領域１０１２を含む。遷移領域１０１０は、ｘ閾値未満のｘ値とｙ閾値未満のｙ値とに関連付けられている。遷移領域１０１０は、概して、単調に増大する対応するｘ値およびｙ値に対して、単調に増大するｚ値を有するものとして特徴付けられる。平坦領域１０１４は、ｘ閾値よりも大きいｘ値に関連付けられている。平坦領域１０１４は、対応するｘ値およびｙ値とは無関係に実質的に一定のｚ値を有するものとして特徴付けられる。飽和領域１０１２は、ｘ閾値よりも小さくｙ閾値よりも大きいｘ値に関連付けられている。飽和領域１０１２は、対応するｘ値の関数であるとともにｙ値とは比較的無関係であるｚ値を有するものとして特徴付けられる。たとえば、ｘ＝ｘ１であれば、線１０１５は、遷移領域１０１０を通って単調に増加するｚを示し、さらに、飽和領域１０１２内において実質的に一定のままであるｚを示す。一実施形態においては、混合値表面５６４が、表面図１０００を実現する。別の実施形態においては、図７の非線形混合関数７３２が表面図１０００を実現する。さらに別の実施形態においては、図７の非線形混合関数７３４が表面図１０００を実現する。

図１０Ｂは別の実施形態に係る表面図１００８を示す。選択肢として、表面図１００８は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、表面図１００８は所望の如何なる環境においても実現され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１００８は、図１０Ａの表面図１０００とは別個の図（たとえば、上から下へ見下ろす図など）を提示する。加えて、図１０Ａに関する説明は、図１０Ｂにも同様に適用され得る。

図１１Ａは別の実施形態に係る表面図１１００を示す。選択肢として、表面図１１００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、表面図１１００は所望の如何なる環境においても実現され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１１００は、２つの画素についての２つの画素属性に基づいて、２つの画素についての混合値を決定するための式３に関連付けられた表面を示している。式３において記載されたように、変数「ｘ」は、第１の（たとえば、より暗い）画素についての属性に関連付けられており、変数「ｙ」は、第２の（たとえば、より明るい）画素についての属性に関連付けられている。平坦領域１１１４は、全般的な特徴が図１０Ａの平坦領域１０１４に対応していてもよい。遷移領域１１１０は、全般的な特徴が遷移領域１０１０に対応していてもよい。飽和領域１１１２は、全般的な特徴が飽和領域１０１２に対応していてもよい。表面図１１００の各々の領域は、全般的な特徴が、表面図１０００についての類似する領域に対応しているとともに、対応する領域の寸法は、表面図１１００と表面図１０００との間で異なっている可能性がある。たとえば、表面図１１００に関連付けられたｘ閾値は、表面図１０００に関連付けられたｘ閾値よりも大きく、これにより、概してより小さな平坦領域１１１４が得られることとなる。図示のとおり、表面図１１００は、平坦領域１１１４、遷移領域１１１０および飽和領域１１１２を含み得る。

図１１Ｂは別の実施形態に係る表面図１１０２を示す。選択肢として、表面図１１０２は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、表面図１１０２は所望の如何なる環境においても実現され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、表面図１１０２は、図１１Ａの表面図１１００とは別個の図（たとえば、上から下へ見下ろす図など）を提示する。加えて、さまざまな実施形態においては、図１１Ａおよび図１０Ａに関する説明は、図１１Ｂにも同様に適用され得る。

図１２は別の実施形態に係るレベルマッピング関数である。選択肢として、レベルマッピング関数１２００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、レベルマッピング関数１２００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

さまざまな実施形態においては、レベルマッピング関数１２００が、入力範囲１２１０を出力範囲１２２０にマッピングする。より具体的には、白色点１２１６が出力範囲１２２０における新しい白色点にマッピングされ得るとともに、中間点１２１４が出力範囲１２２０における新しい中間点にマッピングされ得るとともに、黒色点１２１２が出力範囲１２２０における新しい黒色点にマッピングされ得る。一実施形態においては、入力範囲１２１０は入力画像に関連付けられてもよく、出力範囲１２２０はマップされた画像に関連付けられてもよい。一実施形態においては、レベルマッピングは、黒色点、白色点、中点、中間点または他の任意のマッピング関数に基づいた画像の強度レベルの調整を含み得る。

いくつかの実施形態においては、白色点、中間点、黒色点またはその如何なる組合せも、対応する点の自動的な検出に基づいてまたはユーザによって手動でマッピングされてもよい。たとえば、一実施形態においては、入力画像におけるオブジェクトが、オブジェクト認識などによって黒色点（または白色点、中間点など）と一致することが判断され得る。たとえば、ロゴが画像内に存在し、このため、特定されたオブジェクトに基づいて色点（たとえば、白、中間、黒など）を設定することが判断され得る。他の実施形態においては、自動設定は、カメラデバイスに関連付けられた１つ以上の設定に関連付けられてもよい。たとえば、いくつかの実施形態においては、カメラデバイスは、１つ以上の設定の組をレベルマッピングに少なくとも部分的に適用することによって、レンズ不備、プロセッサ不備、および／またはカメラデバイスに関連付けられた他の不備の補正を行い得る。

図１３は別の実施形態に係るレベルマッピング関数１３００を示す。選択肢として、レベルマッピング関数１３００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、レベルマッピング関数１３００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態においては、ヒストグラム１３０２は、図１２の入力画像に関連付けられてもよい。いくつかの実施形態においては、ヒストグラム１３０２は、黒色点１３１２および白色点１３１６を特定するための統計を含み得る。図１２に関連付けて示されるように、色点（たとえば、黒、白など）の設定は、ユーザ入力（または別の手入力など）に基づいてもよく、または自動設定に基づいてもよい。

新しい黒色点および新しい白色点の設定に基づいて、新しくマップされた画像が入力画像から作成されてもよい。マップされた画像は、新しいヒストグラム１３０４に関連付けられていてもよい。一実施形態においては、入力画像に新しいレベルマッピングを適用した後、新しいレベルマッピングが（たとえば、ヒストグラムなどで視覚化されるように）必要に応じてさらに修正され得る。たとえば、一実施形態においては、黒色点および白色点が（たとえば、最適化された設定などに基づいて）自動的に選択され得る。黒色点および白色点を適用した後、ユーザは、黒色点または白色点をさらに改良する（またはリセットする）ことを所望するかもしれない。当然、このような実施形態においては、いずれの色点もユーザによって設定され得る。

一実施形態においては、白色点（または任意の色点など）はユーザによって直接制御されてもよい。たとえば、白色点（または任意の色点など）に関連付けられるスライダが、直接、画素または画像の白色点を制御してもよい。別の実施形態においては、画像に関連付けられたスライダは、結果として生じる画素または画像を最適化するために、黒色点および白色点（または任意の色点など）の両方に対する自動調整を含むいくつかの設定を制御し得る。

図１４は別の実施形態に係る画像合成動作１４００を示す。選択肢として、画像合成動作１４００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、画像合成動作１４００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図示のとおり、画像合成動作１４００を含む画像ブレンド演算１４４０は、本発明の一実施形態に従って、画像スタック１４０２から合成画像１４５０を生成し得る。加えて、さまざまな実施形態においては、画像スタック１４０２は、高輝度領域１４２０および低輝度領域１４２２を含み得るシーンの画像１４１０、１４１２および１４１４を含み得る。このような実施形態においては、中間の露光画像１４１２が全体的なシーン輝度に従って露光され、これにより、シーン詳細を概ね捕捉する。

別の実施形態においては、中間の露光画像１４１２はまた、場合によっては、高輝度領域１４２０内における何らかの詳細と低輝度領域１４２２内における何らかの詳細とを捕捉し得る。加えて、暗い露光画像１４１０は、高輝度領域１４２０内における画像詳細を捕捉するために、露光され得る。一実施形態においては、シーン内における高輝度詳細を捕捉するために、画像１４１０が、中間の露光画像１４１２からオフセットされた露光に従って露光され得る。

別個の実施形態においては、暗い露光画像１４１０は、シーンにおいて最も明るい領域のうち１つ以上についての局所的な強度条件に従って露光され得る。このような実施形態においては、暗い露光画像１４１０は、全体的な輝度がより低いシーンにおける他の領域を除外して、高輝度領域１４２０に従って露光され得る。同様に、低輝度領域１４２２内における画像詳細を捕捉するために、明るい露光画像１４１４が露光される。加えて、一実施形態においては、シーン内における低輝度詳細を捕捉するために、明るい露光画像１４１４が、中間の露光画像１４１２からオフセットされた露光に従って露光され得る。代替的には、明るい露光画像１４１４は、シーンの最も暗い領域のうち１つ以上の領域についての局所的な強度条件に従って露光されてもよい。

図示のとおり、一実施形態においては、画像ブレンド演算１４４０は、画像スタック１４０２から合成画像１４５０を生成し得る。加えて、別の実施形態においては、合成画像１４５０は、高輝度領域１４２０および低輝度領域１４２２からの画像詳細だけでなく、全体的な画像詳細を含み得る。さらに、別の実施形態においては、画像ブレンド演算１４４０は、画像スタックをブレンドするための技術的に実現可能な如何なる動作を実現してもよい。たとえば、一実施形態においては、画像ブレンド演算１４４０を実行するために、双方向フィルタリング、グローバルレンジの圧縮およびブレンド、ローカルレンジの圧縮およびブレンド、ならびに／または、１つ以上の画像をブレンドし得る他の任意の技術を含むがこれらに限定されない任意の高ダイナミックレンジ（ＨＤＲ）ブレンド技術が実現され得る。一実施形態においては、画像ブレンド演算１４４０は画素ブレンド演算１４４２を含む。画素ブレンド演算１４４２は、画像１４１０、１４１２および１４１４のうち少なくとも２つの画像から受取られた対応する画素についての値に基づいて、合成画像１４５０内において画素を生成し得る。

一実施形態においては、ブレンド演算を適切に実行するために、画像のすべて（たとえば、暗い露光画像、中間の露光画像、明るい露光画像など）は、各々の画像における視認可能な詳細が各々の画像における同じ位置に位置決めされるように、位置合わせされる必要があるかもしれない。たとえば、各々の画像内の特徴１４２５は、画像１４１０、１４１２、１４１４をブレンドして合成画像１４５０を生成する目的で、同じ位置に位置させなければならない。いくつかの実施形態においては、図９の方法９００に関連付けて説明されたように、画像１４１０、１４１２、１４１４のうち少なくとも２つの画像が、単一のアナログ画像から生成され、これにより、画像１４１０、１４１２、１４１４をブレンドする前に必要ないずれの位置合わせ処理も実質的に排除される。

図１５は、一実施形態に係る、結合画像１５２０を生成するためのユーザインターフェイス（user interface：ＵＩ）システム１５００を示す。選択肢として、ＵＩシステム１５００は、この明細書中に開示されるいずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、ＵＩシステム１５００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

一実施形態において、結合画像１５２０は少なくとも２つの関連したデジタル画像の組合せを含む。一実施形態において、結合画像１５２０は、第１のデジタル画像および第２のデジタル画像の結合されたレンダリングを含むがこれに限定されない。別の実施形態において、結合画像１５２０を計算するために用いられるデジタル画像はアナログ信号を少なくとも２つの異なるゲインで増幅することによって生成されてもよく、当該アナログ信号は、画像センサ上に合焦される光学画像に基づいて捕捉される光学シーン情報を含む。さらに別の実施形態において、アナログ信号は、画素単位で、ライン単位で、またはフレーム単位で少なくとも２つの異なるゲインを用いて増幅されてもよい。

一実施形態において、ＵＩシステム１５００は、結合画像１５２０と、トラック１５３２に沿って動くように構成されたスライダコントロール１５３０と、各々が表示画像１５１０内に表示される視覚マーカを含み得る２つ以上の表示点１５４０とを含むがこれらに限定されない表示画像１５１０を提示する。

一実施形態において、ＵＩシステム１５００はデジタル写真撮影システム３００のプロセッサ複合体３１０内で実行される調整ツールによって生成され、表示画像１５１０は表示ユニット３１２上に表示される。一実施形態において、少なくとも２つの関連したデジタル画像などの少なくとも２つのデジタル画像は、結合画像１５２０を生成するためのソース画像を含む。少なくとも２つのデジタル画像は、ＮＶメモリ３１６、揮発性メモリ３１８、メモリサブシステム３６２またはそれらのいずれかの組合せの内部に存在してもよい。別の実施形態において、ＵＩシステム１５００は、ラップトップコンピュータまたはデスクトップコンピュータなどのコンピュータシステム内で実行される調整ツールによって生成される。少なくとも２つのデジタル画像はコンピュータシステムに送信されてもよく、または取付けられたカメラデバイスによって生成されてもよい。さらに別の実施形態において、ＵＩシステム１５００はクラウドベースのサーバコンピュータシステムによって生成されてもよく、当該サーバコンピュータシステムは少なくとも２つのデジタル画像をクライアントブラウザにダウンロードしてもよく、当該ブラウザは以下に説明する結合動作を実行してもよい。別の実施形態において、ＵＩシステム１５００はクラウドベースのサーバコンピュータシステムによって生成され、当該サーバコンピュータシステムは、モバイルデバイス内のデジタル写真撮影システムから少なくとも２つのデジタル画像を受信し、結合画像１５２０を生成するのと共に、以下に説明する結合動作を実行してもよい。

スライダコントロール１５３０は、表示点１５４０−Ａおよび１５４０−Ｃに対応する２つの終点同士の間を動くように構成されてもよい。表示点１５４０−Ｂなどの１つ以上の表示点が２つの終点同士の間に位置決めされてもよい。各表示点１５４０は、結合画像１５２０の特定のバージョン、または少なくとも２つのデジタル画像の特定の組合せと関連付けられてもよい。たとえば、表示点１５４０−Ａは第１のゲインを利用して生成される第１のデジタル画像と関連付けられてもよく、表示点１５４０−Ｃは第２のゲインを利用して生成される第２のデジタル画像と関連付けられてもよく、第１のデジタル画像および第２のデジタル画像の両方が、捕捉された単一の写真撮影シーンの同じアナログ信号から生成される。一実施形態において、スライダコントロール１５３０が表示点１５４０−Ａの真上に位置決めされると、第１のデジタル画像のみが表示画像１５１０内に結合画像１５２０として表示されてもよく、同様に、スライダコントロール１５３０が表示点１５４０−Ｃの真上に位置決めされると、第２のデジタル画像のみが表示画像１５１０内に結合画像１５２０として表示されてもよい。

一実施形態において、表示点１５４０−Ｂは第１のデジタル画像と第２のデジタル画像とのブレンドと関連付けられてもよい。たとえば、スライダコントロール１５３０が表示点１５４０−Ｂに位置決めされると、結合画像１５２０は第１デジタル画像と第２のデジタル画像とのブレンドであってもよい。一実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドは、アルファブレンディング、輝度ブレンディング、ダイナミックレンジブレンディング、ならびに／またはトーンマッピングもしくは他の非線形ブレンディングおよびマッピング動作を含んでいてもよい。別の実施形態において、第１のデジタル画像と第２のデジタル画像とのブレンドはいずれも、第１の画像および第２の画像単独のいずれか一方とは異なるより大きいダイナミックレンジまたは他の視覚的特徴を有する新たな画像を提供し得る。ゆえに、第１のデジタル画像と第２のデジタル画像とのブレンドによって、結合画像１５２０として表示され得るかまたは結合画像１５２０を生成するために用いられ得る、新たに計算されたＨＤＲ画像が提供され得る。この目的で、第１のデジタル信号と第２のデジタル信号とが組合されることによって、ＨＤＲ画像の少なくとも一部が得られてもよい。さらに、第１のデジタル信号および第２のデジタル信号の一方は、別のデジタル画像またはデジタル信号の少なくとも一部とさらに組合されてもよい。一実施形態において、他方のデジタル画像は別のＨＤＲ画像を含んでいてもよい。

一実施形態において、スライダコントロール１５３０が表示点１５４０−Ａに位置決めされると第１のデジタル画像が結合画像１５２０として表示され、スライダコントロール１５３０が表示点１５４０−Ｃに位置決めされると第２のデジタル画像が結合画像１５２０として表示され、さらに、スライダコントロール１５３０が表示点１５４０−Ｂに位置決めされるとブレンド画像が結合画像１５２０として表示される。そのような実施形態では、スライダコントロール１５３０が表示点１５４０−Ａと表示点１５４０−Ｃとの間に位置決めされると、第１のデジタル画像および第２のデジタル画像について混合（たとえばブレンド）重みが計算されてもよい。第１のデジタル画像について、混合重みは、スライダコントロール１５３０が表示点１５４０−Ｃにあるときに０．０の値を有し、スライダコントロール１５３０が表示点１５４０−Ａにあるときに１．０の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点１５４０−Ｃと１５４０−Ａとの間に位置する０．０から１．０である。代わりに第２のデジタル画像の混合動作に関して、混合重みは、スライダコントロール１５３０が表示点１５４０−Ａにあるときに０．０の値を有し、スライダコントロール１５３０が表示点１５４０−Ｃにあるときに１．０の値を有するとして計算されてもよく、混合重み値の範囲はそれぞれ表示点１５４０−Ａと１５４０−Ｃとの間に位置する０．０から１．０である。

第１のデジタル画像および第２のデジタル画像の少なくとも一方と関連付けられている少なくとも１つの混合重み値に基づいて、第１のデジタル画像および第２のデジタル画像に混合動作が適用されてもよい。一実施形態において、１．０の混合重みは、１．０の混合重みと関連付けられているデジタル画像に完全な混合重みを与える。このように、ユーザは第１のデジタル画像と第２のデジタル画像とをブレンドしてもよい。この目的で、第１のデジタル信号および第２のデジタル信号はユーザ入力に応じてブレンドされてもよい。たとえば、スライディング標識（indicia）が表示されてもよく、ユーザがスライディング標識を操作したことに応答して第１のデジタル信号および第２のデジタル信号がブレンドされてもよい。

この混合重みおよび混合動作のシステムは、第１のデジタル画像、第２のデジタル画像およびブレンド画像を第１のデジタル画像から第２のデジタル画像への段階的な進行として見るためのＵＩツールを提供する。一実施形態において、ユーザは、スライダコントロール１５３０の任意の位置に対応する結合画像１５２０を保存してもよい。ＵＩシステム１５００を実現する調整ツールは、任意の技術的に実行可能なジェスチャまたは技術を介して結合画像１５２０の保存を指示するコマンドを受信してもよい。たとえば、調整ツールは、結合画像１５２０によって占められる領域内でユーザがジェスチャを行なうと結合画像１５２０を保存するように構成されてもよい。または、調整ツールは、ユーザがスライダコントロール１５３０を押すが移動させない場合に結合画像１５２０を保存してもよい。別の実現例では、調整ツールは、ユーザが保存コマンドを受信する専用の保存ボタンなどのＵＩ要素（図示せず）を押すことなどによってジェスチャを行なうと結合画像１５２０を保存してもよい。

この目的で、スライダコントロールを用いて２つ以上のデジタル画像の寄与を求め、結合画像１５２０などの最終計算画像を生成することができる。当業者は、混合重みおよび混合動作の上記のシステムは、２つ以上の関連画像と関連付けられている２つ以上の表示点を含むように一般化され得ることを認識するであろう。そのような関連画像は、ゼロのフレーム間時間を有し得る、異なる輝度値を有するように同じアナログ信号を用いて生成された任意の数のデジタル画像を含み得るがこれらに限定されない。

さらに、回転ノブなどの、異なる連続位置ＵＩコントロールがスライダ１５３０の代わりに実現されて、ユーザから混合重み入力または色調整入力が提供されてもよい。

図１６は、一実施形態に係る結合画像を生成するための方法１６００のフロー図である。選択肢として、方法１６００は本明細書に開示されている図面のうちのいずれかの図面の詳細の文脈において実現されてもよい。しかし、当然、方法１６００は任意の所望の環境において実行されてもよい。さらに、上述の定義は以下の説明に等しく適用され得る。

方法１６００はステップ１６１０で開始し、プロセッサ複合体３１０などのプロセッサ複合体内で実行される調整ツールが、図１５の文脈において説明した第１のデジタル画像および第２のデジタル画像などの少なくとも２つの関連したソース画像をロードする。ステップ１６１２において、調整ツールは、図１５のスライダコントロール１５３０などのＵＩコントロールの位置をデフォルト設定に初期化する。一実施形態において、デフォルト設定は、ＵＩコントロールの値の範囲について、表示点１５４０−Ａなどの終点を含む。別の実施形態において、デフォルト設定は、少なくとも２つの関連したソース画像のうちの１つ以上に基づく計算値を含む。特定の実施形態において、デフォルト設定は、少なくとも第１のデジタル画像および第２のデジタル画像を含む画像オブジェクトと関連してユーザによって予め選択された値に初期化される。

ステップ１６１４において、調整ツールは、ＵＩコントロールの位置および少なくとも２つの関連したソース画像に基づいて、図１５の結合画像１５２０などの結合画像を生成して表示する。一実施形態において、結合画像を生成することは、図１５において先に説明したように少なくとも２つの関連したソース画像同士を混合することを含む。ステップ１６１６において、調整ツールはユーザ入力を受信する。ユーザ入力は、表示画像１５１０内の選択ジェスチャまたはクリックジェスチャなどのＵＩジェスチャを含み得るがこれらに限定されない。ステップ１６２０においてユーザ入力がＵＩコントロールの位置を変更した場合は、調整ツールはＵＩコントロールの位置を変更し、方法はステップ１６１４に戻る。そうでなければ、方法はステップ１６３０に進む。

ステップ１６３０においてユーザ入力が終了コマンドを含んでいない場合は、方法はステップ１６４０に進み、調整ツールはユーザ入力と関連付けられているコマンドを実行する。一実施形態において、当該コマンドは保存コマンドを含み、調整ツールは次いで、ＵＩコントロールの位置に従って生成される結合画像を保存する。方法は次いでステップ１６１６に戻る。

ステップ１６３０に戻って、ユーザ入力が終了コマンドを含んでいる場合は、方法はステップ１６９０において終わり、調整ツールが終了することによって実行を終わらせる。

要約すると、第１のデジタル画像と第２のデジタル画像とを有益にブレンドする新たなデジタル写真を生成するための技術であって、第１のデジタル画像および第２のデジタル画像の両方が画像センサから受信した単一のアナログ信号に基づいている技術が開示される。第１のデジタル画像は、任意の技術的に実行可能なブレンド技術を実現する機能に基づいて第２のデジタル画像とブレンドされてもよい。調整ツールは、ユーザが関連画像を組合せるためにパラメータの段階的な変化から新たなデジタル信号を選択して保存することを可能にするユーザインターフェイス技術を実現し得る。

開示された実施形態の１つの利点は、デジタル写真が、１回で捕捉された写真撮影シーンを２回以上別々に露光することでユーザ入力に基づいて選択的に生成され得ることである。したがって、ユーザ入力に基づいて生成されるデジタル写真は、いずれの個別の露光よりも大きいダイナミックレンジを有し得る。さらに、ゼロのフレーム間時間で２つ以上の異なる露光を用いてＨＤＲ画像を生成するので、モーションアーティファクトなしでＨＤＲ画像の迅速な生成が可能となる。

図１７Ａは、別の実施形態に係る、白色点および黒色点を調整するためのユーザインターフェイス（ＵＩ）システム１７００を示す。選択肢として、ＵＩシステム１７００は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、ＵＩシステム１７００は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図示のとおり、一実施形態においては、スライダバー１７２０は、黒色点スライダ１７２２および白色点スライダ１７２４を含み得る。さまざまな実施形態においては、白色点スライダおよび黒色点スライダは、ユーザによって所望されるとおりに調整されてもよい。加えて、別の実施形態においては、白色点スライダおよび黒色点は自動的に調整され得る。たとえば、一実施形態においては、黒色点スライダは、画像中で最も暗い検出点と一致し得る。加えて、一実施形態においては、白色点スライダは、画像中で最も明るい検出点と一致し得る。一実施形態においては、黒色点スライダおよび白色点スライダは、各々、図１２のレベルマッピング関数１２００などにより、結果として生じる画像１７１２を生成するように入力画像を再度マッピングするための対応する黒色点および白色点を決定し得る。他の実施形態においては、黒色点スライダおよび白色点スライダは、入力範囲１２１０を出力範囲１２２０にマッピングするレベルマッピング曲線を曲げるかまたは変形させる可能性がある。図示のとおり、結果として生じる画像１７１２、スライダバー１７２０、スライダ１７２２、１７２４は、アプリケーションウィンドウ１７１０内においてレンダリングされ得る。

いくつかの実施形態においては、白色点および黒色点はヒストグラムに基づいていてもよい。たとえば、一実施形態においては、白色点および黒色点は、ヒストグラムに関連付けられた高い百分率閾値および低い百分率閾値を反映してもよい。

一実施形態においては、ユーザは、結果として得られる画像１７１２の黒色点および白色点を調整するために、白色点スライダおよび黒色点スライダを前後に独立して移動させてもよい。別の実施形態においては、黒色点スライダ１７２２に接触することにより、ユーザが画像上の特定の点上で黒色点をドラッグ・アンド・ドロップすることが可能になり得る。同様の態様で、白色点スライダ１７２４に接触することにより、ユーザが、画像上の特定の点上で白色点をドラッグ・アンド・ドロップすることが可能になり得る。当然ながら、他の実施形態においては、ユーザは、ユーザが白色点および黒色点（または他の任意の点）を選択および／または調整し得るような如何なる態様でも、白色点および黒色点（または他の任意の点）と相互に作用し得る。

図１７Ｂは、別の実施形態に係る、白色点、中間点および黒色点を調整するためのユーザインターフェイス（ＵＩ）システム１７０２を示す。選択肢として、ＵＩシステム１７０２は、いずれかの図面の詳細についての文脈において実現され得る。しかしながら、当然、ＵＩシステム１７０２は所望の如何なる環境においても実行され得る。さらに、上述の定義は、以下の記載に同様に適用され得る。

図示のとおり、一実施形態においては、スライダバー１７２０は、白色点スライダ１７２２、中間点スライダ１７２３および白色点スライダ１７２４を含み得る。一実施形態においては、ＵＩシステム１７０２は、関連付けられたレベル調整機能の範囲内において中間点スライダ１７２３および対応する中間点レベル調整を付加することで、ＵＩシステム１７００と実質的に同様に動作するように構成される。中間点は、ユーザが中間点スライダ１７２３を移動させることによって手動で、または、たとえば入力画像内における情報に基づいて自動的に、調整され得る。

さらに、さまざまな実施形態において、本明細書に開示された１つ以上の技術は、さまざまな市場および／または製品に適用することができる。たとえば、これらの技術は、スチール写真撮影に関して開示されているが、テレビ、ビデオ・キャプチャ、ウェブ会議（またはライブストリーミング能力）、セキュリティカメラ（たとえば、特徴を特定するためにコントラストを増加する）、自動車（たとえば、運転手支援システム、車載インフォテインメントシステムなど）、および／またはカメラ入力を含む任意の他の製品であってもよい。

上記でさまざまな実施形態を説明してきたが、これらの実施形態は、限定ではなく、単なる例示として提供されることを理解すべきである。したがって、好ましい実施形態の範囲は、上記の例示的な実施形態のいずれによっても限定されるべきではなく、添付の特許請求の範囲およびそれらの等価物によって規定されるべきである。

Claims (20)

1. 装置であって、
   回路を含み、前記回路は、
   第１の画素の第１の画素属性を第１の画像から受取るためのものであり、前記第１の画素は前記第１の画像内の画素位置にあり、前記回路はさらに、
   第２の画素の第２の画素属性を第２の画像から受取るためのものであり、前記第２の画素は前記第２の画像内の前記画素位置にあり、前記第１の画像および前記第２の画像は位置合わせされており、前記第１の画素は前記第２の画素よりも明るく、前記回路はさらに、
   前記第１の画素属性および前記第２の画素属性を入力として受取る混合値表面に基づいてスカラーを特定するためのものであり、前記混合値表面のｘ軸は前記第２の画素属性に対応し、前記混合値表面のｙ軸は前記第１の画素属性に対応し、前記混合値表面は、前記入力に関連付けられた閾値および４つの任意の定数に対応する平坦領域、遷移領域および飽和領域を含み、
   前記スカラーは多項式から評価され、前記４つの任意の定数は前記多項式の累乗を規定しており、前記回路はさらに、
   前記スカラーに基づいて混合値を生成し、
   前記混合値に基づいて前記第１の画素および前記第２の画素をブレンドして、第１のブレンドされた画素を生成し、
   前記第１のブレンドされた画素を出力するためのものである、装置。
2. 前記装置は、前記第１の画素属性および前記第２の画素属性が、それぞれ、前記第１の画素についての数値範囲の第１の値および前記第２の画素についての数値範囲の第２の値に対応する強度を含むように、動作可能である、請求項１に記載の装置。
3. 前記装置は、前記第１の画素属性および前記第２の画素属性の各々が、強度、飽和度、色相、色空間値、輝度、ＲＧＢ色、ルミナンス、およびクロミナンスのうち少なくとも１つを含むように動作可能である、請求項１に記載の装置。
4. 前記装置は、前記スカラーが生成、選択および補間のうち少なくとも１つによって特定されるように動作可能である、請求項１に記載の装置。
5. 前記装置は、前記スカラーが複数の多項式を利用して特定されるように動作可能である、請求項１に記載の装置。
6. 前記装置は、前記複数の多項式のうちの第１の多項式が前記第１の画素属性の関数となるとともに前記複数の多項式のうちの第２の多項式が前記第２の画素属性の関数となるように、動作可能であり、前記第１の多項式は、前記第２の多項式に対して高次、等次および低次のうちの少なくとも１つである、請求項５に記載の装置。
7. 前記装置は、前記混合値が、少なくとも２つの多項式および少なくとも１つの強さ係数の積と、前記混合値表面を実現するルックアップテーブルの結果とのうちの少なくとも１つとなるように、動作可能である、請求項１に記載の装置。
8. 前記装置は、前記スカラーが、形式ｚ＝（１−（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）の多項式、または形式ｚ＝（（１−（１−ｘ）＾Ａ）＾Ｂ）＊（（１−（１−ｙ）＾Ｃ）＾Ｄ）の多項式のいずれかに基づいて特定されるように動作可能であり、ｚは前記スカラーに対応し、ｘは前記第２の画素属性に対応し、ｙは前記第１の画素属性に対応し、Ａ、Ｂ、Ｃ、Ｄは任意の定数に対応する、請求項１に記載の装置。
9. 前記装置は、前記第１のブレンドされた画素が前記第１の画素と前記第２の画素とのブレンドに基づいた高ダイナミックレンジ（ＨＤＲ）画素となるように、動作可能である、請求項１に記載の装置。
10. 前記回路はさらに、
    第３の画素の第３の画素属性を第３の画像から受取るためのものであり、前記第３の画素は前記第３の画像内の前記画素位置にあり、前記第１の画像、前記第２の画像、および前記第３の画像は位置合わせされており、前記回路はさらに、
    前記第２の画素属性および前記第３の画素属性に基づいて第２のスカラーを特定し、
    前記第２のスカラーに基づいて前記第２の画素および前記第３の画素をブレンドし、
    前記第２の画素と前記第３の画素とのブレンドに基づいて第２のブレンドされた画素を生成するためのものである、請求項１に記載の装置。
11. 前記第１の画素属性は第１の値を含み、前記第３の画素属性は第３の値を含み、前記第２の画素属性は前記第１の値と前記第３の値との間の第２の値を含む、請求項１０に記載の装置。
12. 前記装置は、前記第１のブレンドされた画素と前記第２のブレンドされた画素とを結合し、結果として、結合画素が得られるように、動作可能である、請求項１１に記載の装置。
13. 前記装置は、前記結合画素が、飽和度およびレベルマッピングのうち少なくとも１つに関連付けられた入力に基づいて処理されるように、動作可能である、請求項１２に記載の装置。
14. 前記装置は、レベルマッピングが、ユーザ入力に応じて、ブレンドされた少なくとも１つの画素に対して実行されるように動作可能である、請求項１に記載の装置。
15. 前記装置は、少なくとも１つのより暗い点に対応する第１の標識と少なくとも１つのより明るい点に対応する第２の標識とが表示されるように動作可能であり、前記ユーザ入力はさらに、前記第１の標識および前記第２の標識のうち少なくとも１つの操作を含むことが可能である、請求項１４に記載の装置。
16. 前記装置は、少なくとも１つの中間点に対応する第３の標識が表示されるように動作可能であり、前記ユーザ入力はさらに、前記第３の標識の操作を含むことが可能である、請求項１５に記載の装置。
17. 前記装置は、暗露光パラメータおよび明露光パラメータが推定されるように動作可能であり、前記明露光パラメータは、前記第１の画素の前記第１の画素属性を受取るために用いられ、前記暗露光パラメータは、前記第２の画素の前記第２の画素属性を受取るために用いられ、前記暗露光パラメータおよび前記明露光パラメータはさらに、露光時間に関連付けられている、請求項１に記載の装置。
18. 前記結合画素は、コントラスト制限付適応ヒストグラム平坦化に従って再度マッピングされる、請求項１２に記載の装置。
19. 命令を含むコンピュータプログラムであって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに以下の動作を実行させ、前記以下の動作は、
    第１の画素の第１の画素属性を第１の画像から受取る動作を含み、前記第１の画素は前記第１の画像内の画素位置にあり、前記以下の動作はさらに、
    第２の画素の第２の画素属性を第２の画像から受取る動作を含み、前記第２の画素は前記第２の画像内の前記画素位置にあり、前記第１の画像および前記第２の画像は位置合わせされており、前記第１の画素は前記第２の画素よりも明るく、前記以下の動作はさらに、
    前記第１の画素属性および前記第２の画素属性を入力として受取る混合値表面に基づいてスカラーを特定する動作を含み、前記混合値表面のｘ軸は前記第２の画素属性に対応し、前記混合値表面のｙ軸は前記第１の画素属性に対応し、前記混合値表面は、前記入力に関連付けられた閾値および４つの任意の定数に対応する平坦領域、遷移領域および飽和領域を含み、
    前記スカラーは多項式から評価され、前記４つの任意の定数は前記多項式の累乗を規定しており、前記以下の動作はさらに、
    前記スカラーに基づいて混合値を生成する動作と、
    前記混合値に基づいて、前記第１の画素と前記第２の画素とをブレンドして、第１のブレンドされた画素を生成する動作と、
    前記第１のブレンドされた画素を出力する動作とを含む、コンピュータプログラム。
20. 方法であって、
    第１の画素の第１の画素属性を第１の画像から受取るステップを含み、前記第１の画素は前記第１の画像内の画素位置にあり、前記方法はさらに、
    第２の画素の第２の画素属性を第２の画像から受取るステップを含み、前記第２の画素は前記第２の画像内の前記画素位置にあり、前記第１の画像および前記第２の画像は位置合わせされており、前記第１の画素は前記第２の画素よりも明るく、前記方法はさらに、
    前記第１の画素属性および前記第２の画素属性を入力として受取る混合値表面に基づいてスカラーを特定するステップを含み、前記混合値表面のｘ軸は前記第２の画素属性に対応し、前記混合値表面のｙ軸は前記第１の画素属性に対応し、前記混合値表面は、前記入力に関連付けられた閾値および４つの任意の定数に対応する平坦領域、遷移領域および飽和領域を含み、
    前記スカラーは多項式から評価され、前記４つの任意の定数は前記多項式の累乗を規定しており、前記方法はさらに、
    前記スカラーに基づいて混合値を生成するステップと、
    前記混合値に基づいて、画像処理回路によって、前記第１の画素と前記第２の画素とをブレンドして、第１のブレンドされた画素を生成するステップと、
    前記第１のブレンドされた画素を出力するステップと、を含む、方法。