JP5925227B2 - 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法 - Google Patents

高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法 Download PDF

Info

Publication number
JP5925227B2
JP5925227B2 JP2014039487A JP2014039487A JP5925227B2 JP 5925227 B2 JP5925227 B2 JP 5925227B2 JP 2014039487 A JP2014039487 A JP 2014039487A JP 2014039487 A JP2014039487 A JP 2014039487A JP 5925227 B2 JP5925227 B2 JP 5925227B2
Authority
JP
Japan
Prior art keywords
exposure quality
image
exposure
value
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014039487A
Other languages
English (en)
Other versions
JP2014179980A (ja
Inventor
ジュリアン ヴィダル−ナケ マイケル
ジュリアン ヴィダル−ナケ マイケル
Original Assignee
コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド
コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド, コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド filed Critical コニカ ミノルタ ラボラトリー ユー.エス.エー.,インコーポレイテッド
Publication of JP2014179980A publication Critical patent/JP2014179980A/ja
Application granted granted Critical
Publication of JP5925227B2 publication Critical patent/JP5925227B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は、高ダイナミックレンジ(HDR)合成に関し、特に、HDR画像を生成するために異なる露光レベルの画像のセットからサブセットを選択することに関する。
高いダイナミックレンジ(HDR)合成は、非常に広範囲の輝度(光強度)を持つソース画像を扱う画像処理およびデジタル写真撮影において利用される技術である。たとえば、日中の野外シーンには、青い空、および、日に照らされた物体ならびに陰に潜む物体が含まれ得る。夜のシーンには、ネオンライト、および、明るく輝く物体ならびに十分には輝いていない物体が含まれ得る。室内のシーンには、明るい窓ならびに暗いエリアなどが含まれ得る。これらのシーンは、デジタルカメラのような撮像デバイスに対して難題をもたらす。たとえば、現時点において入手可能なデジタルカメラに備えられたイメージセンサーのダイナミックレンジでは、それらのシーンを十分に画像化できない場合がある。露光レベルが、シーンの暗いエリアの細部をキャプチャーするのに適していれば、明るいエリアは細部が失われた露光オーバーとなる場合がある。逆に、露光レベルが、シーンの明るいエリアの細部をキャプチャーするのに適していれば、暗いエリアは細部が失われた露光アンダーとなる場合がある。
HDR合成技術は、同一シーンから様々な露光レベルで、複数の画像を撮像し、それから、HDR画像内の明るいエリアと暗いエリアの両方の細部が十分に表現されるよう、複数のオリジナル画像から得られる情報を包含したHDR画像を作成するためにデジタル的に複数の撮像画像を合併することによって、この問題を解決しようとしている。複数の撮像画像からHDR画像を作成する方法は、一般的に知られている。
ブラケッティングは、露光レベルや他の設定値(フォーカス、被写界深度など)を変更しながら、同一シーンについて複数の画像を撮像する写真撮影技術である。オートブラケッティング、すなわち、自動的に設定を複数回変更して、複数の画像を撮像することが可能なカメラもある。露光ブラケッティングにより生成された複数の画像は、HDR画像の生成に用いられる。
時には、露光ブラケッティングによって、露光レベルの異なる比較的数が多いオリジナル画像、たとえば、7枚のオリジナル画像のセット(全体集合)が生成される。画像数が多いセットでは、HDR画像を生成するために、より詳細な情報が提供されることが望まれる。しかし、複数のオリジナル画像を合併するための画像処理は計算集約的(たとえば、全ての画像を正しく整列しなければならない処理)であるため、時には、HDR画像を作成するために、画像のセット(全体集合)の一部であるサブセット(部分集合)を用いることが望まれる。画像のセット内の複数の画像は冗長な情報を含んでいるため、画像のセットに含まれる画像数が多いときでも、適切にサブセットを選択すれば、大抵は満足する結果を生むことができる。たとえば、シーン内の暗いエリアでは、十分に露光されて2つの高い露光状態の画像が生成され得る。そのため、これらの2つの画像のうちの1つを捨てても満足な結果を生むことができる。
画像ごとに異なる情報(たとえば、異なるエリアに関する詳細)を保持しているため、一般的には、異なるサブセットから生じたHDR画像には、品質に違いが生じる。それゆえに、サブセットを適切に選択することは重要である。本発明は、HDR画像を作成するために最適なサブセットを自動的に選択する方法および関連装置を対象とする。
本発明の目的は、高速であり、かつ、最適な結果をもたらす方法を提供することである。
本発明のさらなる特徴および効果は、後述の明細書に記述され、部分的には、その明細書から自明なものを含み、発明の実施によって理解されるものもある。本発明の目的およびその他の効果は、明細書、特許請求の範囲、および添付の図面において特別に示された構造によって、実現、達成される。
少なくとも上記のいずれかの目的を達成するために、以下のように広い概念によって記述され具現化される。たとえば、本発明は、異なる露光レベルを持つN枚の画像群からなるセットを用いて高ダイナミックレンジ(HDR)画像を生成する画像生成方法であって、(a)N枚の画像群の前記セットごとに、N枚の前記画像群を構成する各画像に含まれる各画素の輝度レベルに基づいて、当該輝度レベルから計算される露光品質値を持つ複数の画素から構成される露光品質マップを生成するステップと、(b)N枚の画像群の前記セットのうち、M枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、(b1)前記M枚の画像に対応する前記露光品質マップから複合露光品質マップを生成するステップと、(b2)前記複合露光品質マップの露光品質値に基づいて前記品質スコアを計算するステップと、を含むステップと、(c)ステップ(b2)において計算された前記品質スコアに基づいて、M枚の画像群の複数のサブセットから一のサブセットを選択するステップと、(d)ステップ(c)において選択された前記一のサブセットを用いて、HDR画像を生成するステップと、を含む。
別の態様では、本発明は、異なる露光レベルを持つN枚の画像群からなるセットを用いて高ダイナミックレンジ(HDR)画像を生成する画像生成方法であって、(a)N枚の画像群の前記セットのうち、M枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、(a1)M枚の前記画像群を構成する各画像に含まれる画素ブロックそれぞれに対して、前記画素ブロックの輝度値および露光品質関数に基づき露光品質値を割り当て、前記露光品質関数は、中心の輝度範囲内に収まる輝度値を好適な露光品質値に割り当て、中心の輝度範囲外の輝度値を不適な露光品質値に割り当てるステップと、(a2)サブセット内のM枚の全ての画像群に含まれる全ての画素ブロックの露光品質値を評価することによって、M枚の画像群からなる複数のサブセットごとに、前記品質スコアを計算するステップと、を含むステップと、(b)ステップ(a2)において計算された前記品質スコアに基づいて、M枚の画像群の複数のサブセットから一のサブセットを選択するステップと、(c)ステップ(b)において選択された前記一のサブセットを用いて、HDR画像を生成するステップと、を含む。
別の態様では、本発明は、画像を取得する撮像部と、異なる露光レベルのN枚の画像群のセットを取得するために前記撮像部を制御する制御部と、を備えるデジタルカメラを提供する。
別の態様では、本発明は、上記の画像生成方法をデータ処理装置に実行させるためのコンピュータープログラムを提供する。
別の態様では、本発明は、上記のコンピュータープログラムを記録したコンピューター読み取り可能記録媒体を提供する。
前述の一般的な説明と後述の詳細な説明は、典型的かつ説明的であり、クレームされた発明のさらなる説明を提供するように意図されていると理解されるべきである。
本発明の一実施形態にかかるHDR画像作成のために、画像数の多いセット(全体集合)から最適なサブセット(部分集合)を選択するサブセット選択方法を概略的に示す図である。 サブセット選択方法において利用され得る露光品質関数の様々な例を示す図である。 様々な露光レベルの画像例と、各画像に対応し、サブセット選択方法の一工程により計算される露光品質マップを概略的に示す図である。 サブセット選択方法の一工程により計算されるいくつかのサブセットに関する複合露光品質マップの例を概略的に示す図である。 本実施形態において実装されるデータ処理装置を概略的に示す図である。 本実施形態において実装されるデジタルカメラを概略的に示す図である。
本発明の実施形態では、HDR画像作成のために、N枚の画像群からなるセット(全体集合)から、M枚の画像群からなる最適なサブセット(部分集合)を、自動的に選択する方法を提供する(M<N)。そのN枚の画像群は、正確には調整できないとしても、概ね同じシーンから、異なる露光レベルで取得される。本実施形態の方法では、HDR画像の少なくとも一画像に含まれる画素のうち、良好な露光状態の画素、すなわち、露光オーバーまたは露光アンダーではない画素の数が最大となることを保障する画像群のサブセットを見つける。これにより、最高のHDR作成品質を保証する。本実施形態の方法では、可能な限りのあらゆるM枚の画像群からなるサブセットの品質を評価し、最高品質として評価されたサブセットを選択するアルゴリズムを採用する。
本実施形態に係るサブセット選択方法については、図1を参照して詳細に説明される。
同一の空間分解能(すなわち、水平方向および垂直方向において同一の画素数)を有するN枚の画像群が、サブセット選択方法に入力される。各画像に含まれるそれぞれの画素は、輝度値を有している。カラー画像に関しては、輝度値は色の構成要素から計算される。輝度の計算には、任意の好適な方法が使用され得る。たとえば、RGBからグレイへの変換、または、HSV色値のV値やYCC色値のY値、等が使用され得る。
第1ステップ(ステップS1)では、N枚の画像群からなるセットに含まれる画像(オリジナル画像)ごとに、露光品質マップを算出する処理が繰り返される。露光品質マップは、オリジナル画像に含まれる各画素に対して、その画素の輝度値に基づく露光品質値を割り当てることによって算出される。この目的のために、輝度値を露光品質値へマッピングする露光品質関数が使用される。ある実施形態において、露光品質関数は、平らな領域を持つハット形状を有しており、その例が図2(A)および図2(B)に示されている。これらの例では、第1輝度値と第2輝度値の間の輝度値、たとえば、カメラのダイナミックレンジの10%から90%の間の輝度値、または20%から80%の間の輝度値を持つ画素には、第1露光品質値(たとえば、図2(A)および図2(B)の例では1)が割り当てられる。その第1、第2輝度値の間に定義される輝度範囲は、カメラの応答関数の中心部分に対応し、第1露光品質値は、良好な露光状態を示す。オリジナル画像の画素の輝度値が、第1輝度値よりも低い場合や、第2輝度値よりも高い場合には、当該画素は、それぞれ、露光アンダーまたは露光オーバーであり、第1露光品質値と第2露光品質値の間の露光品質値(たとえば、図2(A)および図2(B)の例では1と0の間の値)が割り当てられる。第2露光品質値は、不良な露光状態を示す。露光アンダー部分および露光オーバー部分における露光品質関数の形状は、直線(図2(A)の例)であってもよいし、カーブ(図2(B)の例)であってもよい。
図2(A)および図2(B)の具体例では、ある閾値より低い輝度値を持つ画素や、もう一方の閾値より高い輝度値を持つ画素は、露光アンダーまたは露光オーバーの画素に対応し、低品質値(たとえば、1より低い)を受ける。たとえば、カメラの最大輝度値(たとえば、255)の10%より低い輝度を持つ画素は、露光アンダーとみなされ、1より低い露光品質値を受ける。同様に、最大輝度値の90%より高い輝度を持つ画素もまた、1より低い露光品質値を受ける。その間の輝度を持つ全ての画素は、良好な露光状態とみなされ、最高露光品質値である1を受ける。
露光品質関数の形状は、良好な露光状態(露光アンダーでも露光オーバーでもない)の画素が、良好な画素として適切に指定されることを保障するように設計されている。通常、露光品質関数は、撮像装置の特性を反映すべきである。露光アンダーまたは露光オーバーに相当する画素値は、撮像装置に依存して変化する可能性があるからである。たとえば、高品質のカメラは、平均的なカメラよりも、はるかに大きな輝度範囲にわたって(すなわち、ローエンドにおいてより低く、ハイエンドにおいてより高い)信頼性のある(すなわち、ノイズがない)画素値の測定結果を得ることができる。これは、露光品質関数の平坦なハット形状、すなわち、より範囲の広い平坦部分を持つ形状、に反映される。比較的低品質のカメラにとって適切な露光品質関数は、図2(C)に示される極端な例のように、先のとがった形状を有し得る。
実際には、カメラの輝度範囲の中央部にある輝度値よりも、その輝度範囲の両端にある輝度値(大抵は、不良な露光状態である)に、より低い露光品質値を割り当てる関数でさえあれば、画素値(輝度値)をあるスコアに合理的にマッピングするのに適したどのような関数であっても、露光品質関数として使用され得る。たとえば、露光品質関数は、凸状の弓形状や、多数の上昇ステップおよび下降ステップを有する形状、等であってもよい。一般的に言えば、露光品質関数は、撮像装置のためにより信頼できる輝度範囲内にある輝度値、典型的には全輝度範囲の中域にある輝度値を、好適な露光品質値にマッピングし、その輝度範囲外にある輝度値、典型的には中域よりも高い輝度値および低い輝度値を、不適な露光品質値にマッピングする。たとえば、図2(B)では、中域は、全輝度領域の10%から90%の範囲でよく、好適な露光品質値は、0.8より高い値でよい。好適もしくは不適な露光品質値に相当する実際の数値は重要ではないが、たとえば、最も好適な露光品質値は1、最も不適な露光品質値は0でよく、反対にしてもよい。
サブセット選択方法がデジタルカメラに実装されたときは、製造業者がそのデジタルカメラ用のデフォルトの露光品質関数を設定してもよいし、ユーザーに他の露光品質関数を選択させてもよい。サブセット選択方法が汎用コンピューターに実装されたときは、露光品質関数は、ユーザーによって選択されてもよいし、アルゴリズムにより自動的に選択されてもよい。
ステップS1の結果は、各画像(オリジナル画像)に対応する露光品質マップである。その露光品質マップは、オリジナル画像と同一の空間分解能を有し、露光品質マップの画素値には、両端値を含む第1露光品質値と第2露光品質値の間の露光品質値が割り当てられる。図3には、その例が概略的に示されている。図2(A)や図2(B)に示されるようなハット形状の露光品質関数は、これらの例を生成するために用いられる。これらの図がかなり概略的であって、単に理解を助けるための例として使用されていることに注意されるべきである。図3では、露光レベルが−2EV、−1EV、0EV、および1EVである4枚の画像が、同一のシーンから取得される。図3の上の列は、4枚の画像を示し、下の列は、対応する4枚の露光品質マップを示している。これらの露光品質マップでは、第1露光品質値(たとえば、良好な露光状態を示す1)に近い露光品質値ほど、より明るい影によって表されている。
議論の便宜上、図3にA、B、およびCとして示されるように、シーンはおおよそ3つの領域を有すると考えられる。−2EVの図では、領域Bは適切に露光されており、領域Aはかなり露光アンダーであり、領域Cはいくらか露光オーバーである。その結果として生じる露光品質マップでは、領域Bは第1露光品質値に概ね等しい露光品質値(白色で示される良好な露光状態)を有しており、領域Aは第2露光品質値に近い露光品質値(黒色で示される不良な露光状態)を有しており、領域Cは第1と第2の露光品質値の間の露光品質値(グレイ色で示される)を有している。−1EVの図では、領域Cは適切に露光されており、領域Aはいくらか露光アンダーであり、領域Bはいくらか露光オーバーである。その結果として生じる露光品質マップでは、領域Cは第1露光品質値に概ね等しい露光品質値を有しているが、領域Aおよび領域Bは第1と第2の露光品質値の間の露光品質値を有している。
時には、処理速度を向上させるために、画像(オリジナル画像)ごとの露光品質マップを計算する前に画像のサイズを小さくすることが望まれる。したがって、ステップS1において処理対象となるN枚の画像は、サイズが既に小さくされたものであってもよい。代わりに、オリジナル画像よりも小さい空間分解能を持つ露光品質マップを生成するために、サイズの縮小および露光品質値の割り当てを1ステップで行ってもよい。たとえば、ステップS1は、2方向にp行q列ごと(たとえば、2行2列ごと)の画素間隔で画像をサブサンプリングし、それらの選択された画素の輝度値に基づいて、当該画素に露光品質値を割り当ててもよい。または、ステップS1は、p×q画素(たとえば、2×2画素)のブロックの輝度値を平均化し、その平均輝度値に基づいて当該ブロックに露光品質値を割り当てるようにしてもよい。いずれの方法であっても、オリジナル画像と比べてp×q倍縮小された露光品質マップになる。より一般的には、ステップS1は、ブロック内の少なくとも一つの画素から計算された輝度値に基づいて、画素群(単一画素であってもよい)からなる各ブロックに露光品質値を割り当てる。露光品質マップのそれぞれの画素は、オリジナル画像の1つの画素ブロックに対応する。
次の2つのステップ(ステップS2、S3)は、N枚の画像群からなるセットのうち、取り得るM枚の画像群からなるサブセットごとに実行される。各サブセットの画像数Mは、予め決定されており、ユーザーの好みにより設定されたものを含む。N枚の画像群からなるセットについては、「N*(N−1)*・・・*(N−M+1)/M*(M−1)*・・・*1」個の取り得るサブセット(M枚の画像群からなるサブセット)がある。たとえば、N=7、M=3のとき、35個の取り得るサブセットがある。
ステップS2では、ステップS1において計算されたM枚の露光品質マップが、最大化演算によって複合され、そのサブセット用の複合露光品質マップが生成される。複合露光品質マップに含まれる各画素に関して、その画素値(露光品質値)は、M枚の露光品質マップにおける対応画素(すなわち、同一位置の画素)のM個の画素値のうち、最大となる値(最大値)を持つ。ここで、良好な露光状態に相当する露光品質値は、不良の露光状態に相当する露光品質値よりも数値的に大きくなると想定される。これは、定義の問題である。一般的に言えば、複合露光品質マップ内の各画素に関し、その画素値(露光品質値)は、M枚の露光品質マップに含まれるM個の画素値のうち、第1露光品質値に値が最も近い画素値に対応するものである。
このステップでは、どの露光品質マップが複合露光品質マップに貢献した最適の画素値を有していたかを追跡する必要はない。ステップS2では、サブセットごとに1つの複合露光品質マップが生成される。
図4は、M枚の露光品質マップを複合するための最大化演算のいくつかの例を示す。第1行には、−2EV、−1EV、および0EVの画像(露光品質マップ)からなるサブセットと、対応する複合露光品質マップが示されている。第1行の右に示された複合露光品質マップは、−1EVのマップの貢献によって領域Cに第1露光品質値を有しており、−2EVのマップの貢献によって領域Bに第1露光品質値を有している。また、その複合露光品質マップは、−1EVのマップの貢献によって領域Aに第1露光品質にかなり近い露光品質値を有している。ここで、図4に示される例は、全ての取り得るサブセットを含んでいない点に留意すべきである。
次に(ステップS3)、複合露光品質マップの平均画素値が、複合露光品質マップ内の全ての画素を用いて計算される。この平均画素値は、HDR画像を生成する目的において、サブセットの品質を表しており、品質スコアとして利用され得る。代わりに、複合露光品質マップの全ての画素値から計算される、平均画素値とは別の値が、品質スコアとして利用されてもよい。一例としては、中央画素値がある。その他の例としては、(平均値−k×標準偏差)がある。ただし、kは、正定数である。一般的に言えば、品質スコアは、所定の方程式を用いて複合露光品質マップ内の全ての画素から計算された値である。
図4に示される例では、第1行の複合露光品質マップは、示される3つのサブセットのうち最高の品質スコアを与える。
ステップS4では、オリジナル画像のセットから取り得る全てのサブセットに関する品質スコアが計算された後に、全てのサブセットのうち最高の品質スコアを有するサブセットが、HDR画像を生成するのに最適なサブセットとして選択される。ステップS5では、HDR画像が、その選択されたサブセットを用いて生成される。複数の画像からHDR画像を生成するために適したどのような方法(現時点において既知の方法を含む)が、ステップS5の処理に用いられてもよい。
ここで記述された最適なサブセットを選択する方法は、図5Aに示されるようなデータ処理装置により実現され得る。データ処理装置120は、汎用コンピューターまたはデジタルカメラデータ処理部でよい。データ処理装置120は、プロセッサー121、ストレージデバイス(たとえば、ハードディスクドライブ、EPROM、等)122、および内部メモリー(たとえば、RAM)123によって構成される。ストレージデバイス122は、RAM123から読み出され、プロセッサー121により実行されるコンピュータープログラム(ソフトウェアまたはファームウェア)を記録する。
また、最適なサブセットを選択する方法は、デジタルカメラ内の1つまたはそれ以上のチップのようなハードウェア回路により実現されてもよい。図5Bは、プロセッサー131、ストレージデバイス132、内部メモリー133とともに、画像を取得するための撮像部134、カメラの各種機能を制御するための制御部135を含むデジタルカメラ130の概略図である。制御部135は、異なる露光レベルのN枚の画像群からなるセットを自動的にオートブラケティングしてもよい。オートブラケティングは、良く知られた技術であり、ここでは詳細については省略する。プロセッサー131は、上記のアルゴリズムを用いてN枚の画像群からなるセットから、M枚の画像群からなるサブセットを自動的に選択し、HDR画像を生成してもよい。
一実施形態では、本発明は、デジタルカメラのデータ処理部になり得るデータ処理装置に具現化される。その他の実施形態では、本発明は、データ処理装置を制御するために内部に組み込まれたコンピューター読み取り可能なプログラムコードを有するコンピューター使用可能な記録媒体に具現化されたコンピュータープログラムプロダクトである。その他の実施形態では、本発明は、データ処理装置により実行される方法である。
本発明に係る、サブセットを選択する方法、HDR画像を生成する方法、および関連装置における各種修正および変形が、本発明の精神および範囲から逸脱することない範囲でされ得ることは、当業者によって明らかである。したがって、本発明が、添付のクレームおよびそれらの等価物の範囲内にある修正および変更をカバーするように意図されている。

Claims (15)

  1. 異なる露光レベルを持つN枚の画像群からなるセットを用いて高ダイナミックレンジ(HDR)画像を生成する画像生成方法であって、
    (a)N枚の画像群の前記セットごとに、N枚の前記画像群を構成する各画像に含まれる各画素の輝度レベルに基づいて、当該輝度レベルから計算される露光品質値を持つ複数の画素から構成される露光品質マップを生成するステップと、
    (b)N枚の画像群の前記セットのうち、M枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、
    (b1)前記M枚の画像に対応する前記露光品質マップから複合露光品質マップを生成するステップと、
    (b2)前記複合露光品質マップの露光品質値に基づいて前記品質スコアを計算するステップと、を含むステップと、
    (c)ステップ(b2)において計算された前記品質スコアに基づいて、M枚の画像群の複数のサブセットから一のサブセットを選択するステップと、
    (d)ステップ(c)において選択された前記一のサブセットを用いて、HDR画像を生成するステップと、を含む画像生成方法。
  2. 前記ステップ(a)では、
    前記露光品質マップは、前記画像の画素ブロックそれぞれに対して、前記画素ブロックの輝度値および露光品質関数に基づく露光品質値を割り当てることにより生成され、
    前記露光品質関数は、中心部の輝度範囲内に収まる輝度値を好適な露光品質値に割り当て、中心部の輝度範囲外の輝度値を不適な露光品質値に割り当てる、請求項1に記載の画像生成方法。
  3. 前記好適な露光品質値は第1露光品質値であり、前記不適な露光品質値は、第1露光品質値と第2露光品質値の間の値である、請求項2に記載の画像生成方法。
  4. ステップ(b1)では、
    前記複合露光品質マップの各画素は、M枚の前記露光品質マップに含まれる画素に対応するM個の露光品質値の中で最も好適な一つに等しい露光品質値を有する、請求項2または請求項3に記載の画像生成方法。
  5. ステップ(b2)では、
    前記品質スコアは、前記複合露光品質マップに含まれる全ての画素の露光品質値の平均値として計算される、請求項1〜4のいずれか一項に記載の画像生成方法。
  6. M枚の画像群からなる複数の前記サブセットは、N枚の画像群からなる前記セットのうち、取り得る全てのサブセットを含む、請求項1〜5のいずれか一項に記載の画像生成方法。
  7. 異なる露光レベルを持つN枚の画像群からなるセットを用いて高ダイナミックレンジ(HDR)画像を生成する画像生成方法であって、
    (a)N枚の画像群の前記セットのうち、M枚の画像群からなる複数のサブセットごとに、品質スコアを計算するステップであって、
    (a1)M枚の前記画像群を構成する各画像に含まれる画素ブロックそれぞれに対して、前記画素ブロックの輝度値および露光品質関数に基づき露光品質値を割り当て、
    前記露光品質関数は、中心部の輝度範囲内に収まる輝度値を好適な露光品質値に割り当て、中心部の輝度範囲外の輝度値を不適な露光品質値に割り当てるステップと、
    (a2)サブセット内のM枚の全ての画像群に含まれる全ての画素ブロックの露光品質値を評価することによって、M枚の画像群からなる複数のサブセットごとに、前記品質スコアを計算するステップと、を含むステップと、
    (b)ステップ(a2)において計算された前記品質スコアに基づいて、M枚の画像群の複数のサブセットから一のサブセットを選択するステップと、
    (c)ステップ(b)において選択された前記一のサブセットを用いて、HDR画像を生成するステップと、を含む画像生成方法。
  8. ステップ(a1)では、M枚の画像群ごとに露光品質マップを生成し、前記露光品質マップに含まれる各画素は、前記画像のブロックに対応しており、
    ステップ(a2)は、M枚の画像群からなる複数のサブセットごとに、
    前記サブセットを構成するM枚の画像群のためにM枚の露光品質マップを複合して、前記サブセット用の複合露光品質マップを生成し、
    前記複合露光品質マップの各画素には、M枚の前記露光品質マップに含まれる画素に対応するM個の露光品質値の中で最も好適な一つに等しい露光品質値が割り当てられるステップと、
    前記複合露光品質マップの全ての画素の露光品質値から前記サブセットの前記品質スコアを計算するステップと、を含む、請求項7に記載の画像生成方法。
  9. ステップ(a2)において計算されるサブセットの前記品質スコアは、前記複合露光品質マップに含まれる全ての画素の露光品質値の平均値である、請求項8に記載の画像生成方法。
  10. 前記好適な露光品質値は第1露光品質値であり、前記不適な露光品質値は、第1露光品質値と第2露光品質値の間の値である、請求項7〜9のいずれか一項に記載の画像生成方法。
  11. M枚の画像群からなる複数の前記サブセットは、N枚の画像群からなる前記セットのうち、取り得る全てのサブセットを含む、請求項7〜10のいずれか一項に記載の画像生成方法。
  12. 各画素ブロックは、前記画像に含まれる単一画素である、請求項7〜11のいずれか一項に記載の画像生成方法。
  13. 請求項1〜12のいずれか一項に記載の画像生成方法を実行するデータ処理部を備えるデジタルカメラであって、
    画像を取得する撮像部と、
    異なる露光レベルのN枚の画像群のセットを取得するために前記撮像部を制御する制御部と、を備えるデジタルカメラ。
  14. 請求項1〜12のいずれか一項に記載の画像生成方法をデータ処理装置に実行させるためのコンピュータープログラム。
  15. 請求項14に記載のコンピュータープログラムを記録したコンピューター読み取り可能記録媒体。
JP2014039487A 2013-03-14 2014-02-28 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法 Expired - Fee Related JP5925227B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/828,757 US8902328B2 (en) 2013-03-14 2013-03-14 Method of selecting a subset from an image set for generating high dynamic range image
US13/828757 2013-03-14

Publications (2)

Publication Number Publication Date
JP2014179980A JP2014179980A (ja) 2014-09-25
JP5925227B2 true JP5925227B2 (ja) 2016-05-25

Family

ID=51525756

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014039487A Expired - Fee Related JP5925227B2 (ja) 2013-03-14 2014-02-28 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法

Country Status (2)

Country Link
US (1) US8902328B2 (ja)
JP (1) JP5925227B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396539B2 (en) * 2010-04-02 2016-07-19 Nokia Technologies Oy Methods and apparatuses for face detection
US9613408B2 (en) * 2014-09-25 2017-04-04 Intel Corporation High dynamic range image composition using multiple images
US10542204B2 (en) * 2015-08-05 2020-01-21 Microsoft Technology Licensing, Llc Methods and apparatuses for capturing multiple digital image frames
JP6632724B2 (ja) * 2015-11-11 2020-01-22 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ハイダイナミックレンジビデオ/イメージングのための、露光時間セットを低減するためのデバイスおよび方法
JP2017118296A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR102573982B1 (ko) * 2016-03-31 2023-09-04 낭트 유니베르시테 하이 다이내믹 레인지 비디오 시퀀스의 비쥬얼 퀄리티 인덱스를 결정하는 방법
CN106651787B (zh) * 2016-11-08 2019-08-23 深圳市安健科技股份有限公司 基于x射线的hdr图像合成方法及***
US10425599B2 (en) * 2017-02-01 2019-09-24 Omnivision Technologies, Inc. Exposure selector for high-dynamic range imaging and associated method
WO2019031086A1 (ja) * 2017-08-09 2019-02-14 富士フイルム株式会社 画像処理システム、サーバ装置、画像処理方法、及び画像処理プログラム
WO2019034328A1 (en) 2017-08-15 2019-02-21 Siemens Healthcare Gmbh IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS
JP6944350B2 (ja) * 2017-11-13 2021-10-06 アルパイン株式会社 撮影画像表示システム、電子ミラーシステム及び撮影画像表示方法
CN110557573A (zh) 2018-06-01 2019-12-10 苹果公司 用于成像的统一包围曝光方法
CN108683862B (zh) * 2018-08-13 2020-01-10 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备及计算机可读存储介质
TWI695622B (zh) * 2018-09-06 2020-06-01 華晶科技股份有限公司 影像處理方法及影像處理裝置
JP2020095178A (ja) * 2018-12-13 2020-06-18 キヤノン株式会社 撮影システム、照明装置、制御方法、並びにプログラム
CN109660698B (zh) * 2018-12-25 2021-08-03 苏州佳世达电通有限公司 影像处理***及影像处理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7626614B1 (en) * 2005-02-15 2009-12-01 Apple Inc. Transfer function and high dynamic range images
JP4497001B2 (ja) * 2005-03-22 2010-07-07 株式会社ニコン 画像処理装置、電子カメラ、および画像処理プログラム
JP4011072B2 (ja) * 2005-04-04 2007-11-21 富士フイルム株式会社 画像処理装置
US8233738B2 (en) * 2007-07-30 2012-07-31 Dolby Laboratories Licensing Corporation Enhancing dynamic ranges of images
US8891955B2 (en) * 2008-04-04 2014-11-18 Whitham Holdings, Llc Digital camera with high dynamic range mode of operation
US8098297B2 (en) * 2008-09-03 2012-01-17 Sony Corporation Pre- and post-shutter signal image capture and sort for digital camera
WO2010052558A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for the precise integration of virtual objects to interactive panoramic walk-through applications
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
JP5412953B2 (ja) * 2009-05-20 2014-02-12 リコーイメージング株式会社 撮像装置
JP2010278890A (ja) 2009-05-29 2010-12-09 Canon Inc 画像形成装置、画像形成方法
US8606009B2 (en) * 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制***
US8699821B2 (en) * 2010-07-05 2014-04-15 Apple Inc. Aligning images
US8478076B2 (en) * 2010-07-05 2013-07-02 Apple Inc. Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
KR101496755B1 (ko) * 2010-11-23 2015-02-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 다이나믹 레인지 이미지들의 컨텐츠 메타데이터 향상
EP2577955B1 (en) * 2011-02-18 2014-07-30 DigitalOptics Corporation Europe Limited Dynamic range extension by combining differently exposed hand-held device-acquired images
US9332156B2 (en) * 2011-06-09 2016-05-03 Hewlett-Packard Development Company, L.P. Glare and shadow mitigation by fusing multiple frames
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 hdr 영상 생성 장치 및 방법
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP5316625B2 (ja) * 2011-11-11 2013-10-16 カシオ計算機株式会社 画像合成装置、及びプログラム
US8781173B2 (en) * 2012-02-28 2014-07-15 Microsoft Corporation Computing high dynamic range photographs
US20130329004A1 (en) * 2012-06-06 2013-12-12 Apple Inc. Method of and Apparatus for Image Enhancement
US9137456B2 (en) * 2012-06-06 2015-09-15 Apple Inc. Intelligent auto-exposure bracketing
US9245348B2 (en) * 2012-06-15 2016-01-26 Microsoft Technology Licensing, Llc Determining a maximum inscribed size of a rectangle
JP5633550B2 (ja) * 2012-09-05 2014-12-03 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US20140267883A1 (en) 2014-09-18
US8902328B2 (en) 2014-12-02
JP2014179980A (ja) 2014-09-25

Similar Documents

Publication Publication Date Title
JP5925227B2 (ja) 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法
TWI576653B (zh) 曝光控制系統及其方法
US20200043225A1 (en) Image processing apparatus and control method thereof
US10021313B1 (en) Image adjustment techniques for multiple-frame images
TWI396433B (zh) 產生高動態範圍的視訊之系統及處理方法
JP5743696B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6271773B2 (ja) 背景ピクセルに基づく露出測定
US10178326B2 (en) Method and apparatus for shooting image and terminal device
US20160019681A1 (en) Image processing method and electronic device using the same
JP5804856B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11831991B2 (en) Device, control method, and storage medium
JP2016086246A (ja) 画像処理装置及び方法、及び撮像装置
CN112261292A (zh) 图像获取方法、终端、芯片及存储介质
US10863103B2 (en) Setting apparatus, setting method, and storage medium
JP2019103031A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7059076B2 (ja) 画像処理装置、その制御方法、プログラム、記録媒体
EP3363193B1 (en) Device and method for reducing the set of exposure times for high dynamic range video imaging
JP2017152866A (ja) 画像処理装置及び画像処理方法
US20150312487A1 (en) Image processor and method for controlling the same
TW202046704A (zh) 高動態範圍影像感測器和影像捕獲方法
CN108337448B (zh) 高动态范围图像获取方法、装置、终端设备及存储介质
JP2014007528A (ja) 画像処理装置およびその制御方法
TW201518852A (zh) 影像處理裝置及曝光控制方法
US20190052803A1 (en) Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium
JP6663246B2 (ja) 画像処理装置、撮像装置およびこれらの制御方法ならびにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160419

R150 Certificate of patent or registration of utility model

Ref document number: 5925227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees