JP2023136246A - 画像処理装置、制御方法及びプログラム - Google Patents

Abstract

【課題】１以上のＨＤＲ画像を含む複数の画像を加算合成する場合に、好適な明るさ表現を示す合成画像を生成する。
【解決手段】画像処理装置は、合成画像を生成する画像処理装置であって、１以上のＨＤＲ（High Dynamic Range）画像を含む複数の画像を取得する取得手段と、合成画像のピーク輝度値を決定する決定手段と、複数の画像を用いた加算合成処理を実行することより、合成画像を生成する生成手段と、を有し、生成手段は、合成画像の各画素の信号レベルが、決定手段により決定されたピーク輝度値に対応する信号レベルを最大値とする出力ダイナミックレンジに収まるように加算合成処理を制御する。
【選択図】図３

Description

本発明は、画像処理装置、制御方法及びプログラムに関し、特にＨＤＲ画像を用いた合成画像の生成技術に関する。

多重露出表現の合成画像を生成する手法に、加算合成がある。加算合成では、合成する複数の画像の各画素の画素値を足し合わせることで、合成画像の対応する画素の画素値が決定される。

ＪＰＥＧ等の一般的なｓＲＧＢ８Ｂｉｔの画像は、標準ダイナミックレンジ（ＳＤＲ：Standard Dynamic Range）の画像であり、撮像シーンの輝度（シーン輝度）が０～２５５の範囲の画素値で表現されている。このようなＳＤＲ画像同士を加算合成して多重露出表現の合成画像を得る場合、出力される合成画像も、各画素値が０～２５５の範囲で表現したＳＤＲ画像となる。ＳＤＲ画像は、被写体の明るさを相対的に表現していることもあり、加算合成により得られたＳＤＲ画像を表示装置に表示させたときの明るさは、合成対象となった画像と比較して、顕著な違いは表れにくい。

一方、近年ではＬＥＤ等の発光素子の性能が向上し、従来よりも表示輝度のダイナミックレンジが広いＨＤＲディスプレイと呼ばれる表示装置が登場しており、ＳＤＲ画像より広いダイナミックレンジに対応した階調表現の画像を表示することができる。従って、撮像装置の中には、このような表示装置において各輝度域の色やディテールの表現が確認可能なよう、高ダイナミックレンジ（ＨＤＲ：High Dynamic Range）の画像を記録可能なものも存在する。このようなＨＤＲ画像は、シーン輝度を一般に１０Ｂｉｔ、即ち、０～１０２３の範囲の表示輝度に変換して画素値として有している。

ところで、ＨＤＲ画像における映像信号レベルと表示輝度との関係を表す信号特性は、ＥＯＴＦ（Electro-Optical Transfer Function：電気光伝達関数）で規定されており、以下の２種類の方式が採用されている。１つは、ＡＲＩＢ ＳＴＤ－Ｂ６７で規格化されているＨＬＧ（Hybrid Log Gamma）方式であり、映像信号レベルを表示輝度の相対値に変換するため、表示装置が出力可能な最大輝度に応じた表示輝度になる。もう１つは、ＳＭＰＴＥ ＳＴ ２０８４またはＩＴＵ－Ｒ ＢＴ．２１００で規格化されているＰＱ（Perceptual Quantization）方式であり、映像信号レベルを最大１００００ｎｉｔ（またはｃｄ／ｍ²）の範囲で表示輝度の絶対値に変換する。従って、シーンを撮像して得られたＨＤＲ画像を表示する場合、前者の方式では、表示装置が出力可能な最大輝度に応じた表示輝度にシーン輝度が変換され、後者の方式では、表示装置によらず絶対的に定まる表示輝度にシーン輝度が変換される。故に、ＰＱ方式が採用された表示装置での表示を想定する場合、例えば撮像装置でのエンコードにおいて、絶対的な輝度値を示すようにシーン輝度の画像信号を変換し、ＨＤＲ画像を生成する必要がある。

このため、シーン輝度を絶対的に表現するＰＱ方式のエンコードでは、同一のシーンを撮像したとしても、ＨＤＲ画像に含まれるピーク輝度値（表示輝度の最大値、出力ダイナミックレンジの最大値）が変化し得る。これは、センサ出力が飽和するシーン輝度が撮像モードなどに応じて変化するため、同一のシーン輝度に絶対的な表示輝度を割り当てるべく、変換に用いられるガンマカーブが異なることに依る。例えば、図１に示されるように、露出量の異なる２種類の撮像モードについての入出力特性（入力段数と出力輝度の関係）は、ピーク輝度値（出力輝度の最大値）が異なる。ここで、露出量の高い撮像モードにおける入出力特性１１が実線で表され、露出量の低い撮像モードにおける入出力特性１２が一点鎖線で示されている。図示されるように、２つの撮像モードでは、高輝度域以外は共通の入出力特性を示し、露出量によらず同一の表示輝度に変換されるのに対し、高輝度域では飽和する輝度の違いに応じ、ピーク輝度値が値１３と１４で異なる。なお、値１５は、１０ｂｉｔにおける最大値（１０２３）を示しており、ＰＱ方式における最大表示輝度の１００００ｎｉｔに対応している。

従って、多重露出表現の合成対象の画像には、ＳＤＲ画像に限らず、ダイナミックレンジが異なるＨＤＲ画像を含めることもできる。また、上述のようにピーク輝度値、即ち、出力ダイナミックレンジの最大値が異なるＰＱ方式のＨＤＲ画像（以下、ＨＤＲＰＱ画像として言及）同士を合成対象とすることもきる。特許文献２には、ダイナミックレンジの異なる画像を合成した表示用の画像を生成する際に、オーバーレイ画像のダイナミックレンジを、被オーバーレイ画像と知覚的に一致する範囲に割り当てる手法が開示されている。

特表２０１６－５１５３２７号公報

しかしながら、特許文献１に開示された手法では、ダイナミックレンジを調整した一方の画像が支配的に表示されることを主に想定しており、加算合成により合成対象の画像と合成画像とで出力ダイナミックレンジが変わってしまうことを想定していない。従って、例えば、画像ごとに想定されている出力輝度の最大値が異なる画像や、１０Ｂｉｔで１０２３を示さない画像同士を加算合成した場合、表示時に一部の被写体像が想定と異なる明るさを示す可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、１以上のＨＤＲ画像を含む複数の画像を加算合成する場合に、好適な明るさ表現を示す合成画像を生成する画像処理装置、制御方法及びプログラムを提供することを目的とする。

前述の目的を達成するために、本発明の画像処理装置は、合成画像を生成する画像処理装置であって、１以上のＨＤＲ（High Dynamic Range）画像を含む複数の画像を取得する取得手段と、合成画像のピーク輝度値を決定する決定手段と、複数の画像を用いた加算合成処理を実行することより、合成画像を生成する生成手段と、を有し、生成手段は、合成画像の各画素の信号レベルが、決定手段により決定されたピーク輝度値に対応する信号レベルを最大値とする出力ダイナミックレンジに収まるように加算合成処理を制御することを特徴とする。

このような構成により本発明によれば、１以上のＨＤＲ画像を含む複数の画像を加算合成する場合に、好適な明るさ表現を示す合成画像を生成することが可能となる。

露出量の異なる２種類の撮像モードについての入出力特性を説明するための図 本発明の実施形態及び変形例に係る画像処理装置１００のハードウェア構成を例示したブロック図 本発明の実施形態１に係る画像処理装置１００で実行される合成処理を例示したフローチャート 本発明の実施形態及び変形例に係る合成対象のＨＤＲ画像を例示した図 本発明の実施形態及び変形例に係る合成対象のＨＤＲ画像の信号特性を例示した図 本発明の実施形態に係る合成画像を説明するための図 本発明の実施例２に対応する画像処理の一例を示したフローチャート図 本発明の実施形態２に係る合成対象のＨＤＲ画像のダイナミックレンジの変換を例示した図 本発明の実施形態２に係るダイナミックレンジが変換された画像を例示した図 本発明の変形例１に係る合成対象のＨＤＲ画像のダイナミックレンジの変換を例示した図

［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、画像処理装置の一例としての、ＰＱ方式でエンコードされた２つのＨＤＲ画像を加算合成して多重露出表現の合成画像を生成可能な画像処理装置に、本発明を適用した例を説明する。しかし、本発明は、１以上のＨＤＲ画像を含む複数の画像を用いた加算合成処理を実行することにより合成画像を生成することが可能な任意の機器に適用可能である。

また、本明細書において、「ＨＤＲ画像」とは、特に断りのない限り、ＩＴＵ－Ｒ ＢＴ．２１００で規格化されているＰＱ（Perceptual Quantization）方式のエンコードが適用され、デコードにより絶対表示輝度を取得可能に構成された画像（ＰＱ信号）であるものとして説明する。本実施形態では、合成画像の生成に用いられる画像とは、いずれも撮像シーンを撮像することにより得られた、実写の撮像画像であるものとして説明する。また、以下の説明において、合成画像はＨＤＲ画像と同様にＰＱ信号であるものとする。

ここで、ＨＤＲ特性をＰＱ信号で表すには最低限１０ｂｉｔの深度が必要となり、ＨＤＲ画像や合成画像は、ＪＰＥＧフォーマットのような８ｂｉｔの画像を格納するファイルではないものとする。例えば、ＨＤＲ画像や合成画像は、Moving Picture Experts Group（ＭＰＥＧ）によって開発されＭＰＥＧ－Ｈ Ｐａｒｔ １２（ＩＳＯ／ＩＥＣ ２３００８－１２）で定義された画像ファイルフォーマットであるHigh Efficiency Image File Format（以降、ＨＥＩＦとして言及）のコンテナを用いて格納されたＨＥＩＦファイルであってよい。

《画像処理装置のハードウェア構成》
図２は、本実施形態に係る画像処理装置１００のハードウェア構成を示したブロック図である。図示されるように、本実施形態の画像処理装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、記録装置１０４、操作Ｉ／Ｆ１０５、表示装置１０６及びシステムバス１０７を有する。

ＣＰＵ１０１は、画像処理装置１００の全体的な制御を行う。ＲＯＭ１０２は、画像処理装置１００の起動に必要なＢＩＯＳ等の制御プログラムや、変更を必要としないプログラム、パラメータ及びデータを格納する記憶装置である。ＲＡＭ１０３は、ＣＰＵ１０１のワーク領域、各種データを一時的に記憶する一次記憶領域、各種プログラムのロード領域等を有する記憶装置である。

記録装置１０４は、ＯＳプログラム、各種の制御プログラム、ＯＳプログラム上で実行可能な各種ソフトウェアのプログラム、後述の合成処理に使用するＨＤＲ画像及び合成処理の結果に得られた合成画像等の各種データを格納する記録装置である。記録装置１０４は、例えば、画像処理装置１００に内蔵または着脱可能に接続されたハードディスクやフラッシュメモリ、着脱可能に接続されたフレキシブルディスクや光学ディスク、光磁気ディスク、ＩＣカード、メモリーカード等を含む。従って、ＣＰＵ１０１は、ＲＯＭ１０２または記録装置１０４に格納された各種プログラムをＲＡＭ１０３に展開して実行することにより画像処理装置１００の制御を行うことができる。

操作Ｉ／Ｆ１０５は、例えば、キーボードやマウス、タッチパネル等の画像処理装置１００が備えるユーザインタフェースである。操作Ｉ／Ｆ１０５は、ユーザによる操作入力がなされたことを検出すると、該当の操作に係る制御信号をＣＰＵ１０１に送出する。表示装置１０６は、例えば液晶ディスプレイであり、画像処理装置１００上で動作しているＯＳやソフトウェアに係るグラフィカルユーザインタフェースをはじめとして、各種の情報を表示する。システムバス１０７は、画像処理装置１００を構成する各ブロックを通信可能に接続する。

画像処理装置１００は、撮像済みのＲＡＷ画像を現像及び編集する専用装置であってもよく、その場合、ＲＯＭ１０２に合成処理のプログラムを格納することができる。また、汎用のパーソナルコンピュータ（ＰＣ）は、ＣＰＵ１０１が記録装置１０４に格納された合成処理のプログラムをＲＡＭ１０３に展開することによって、画像処理装置１００として機能することができる。さらに、撮像によりＲＡＷ画像を取得可能な撮像装置は、その制御ユニットが合成処理のプログラムを実行することによって、あるいは合成処理を行う画像処理ユニットが規定の動作を行うことで、画像処理装置１００としても機能することができる。

《合成処理》
このような構成をもつ本実施形態の画像処理装置１００において合成対象の２つのＨＤＲ画像を加算合成した合成画像を生成する合成処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本合成処理は、例えば合成画像の生成に係る操作入力が操作Ｉ／Ｆ１０５を介して受け付けられた際に開始されるものとして説明する。

Ｓ３０１で、ＣＰＵ１０１は、合成対象とする異なる２つのＨＤＲ画像を取得する。合成対象のＨＤＲ画像は、例えば記録装置１０４に記録されており、ＣＰＵ１０１は、これらを合成処理用に読み出してＲＡＭ１０３に展開することで、取得を実現する。以下の説明において、合成対象の２つのＨＤＲ画像をそれぞれ、第１対象画像、第２対象画像として言及する場合がある。

Ｓ３０２で、ＣＰＵ１０１は、本合成処理で生成する合成画像のピーク輝度値を決定する。上述したように、合成処理で生成する合成画像はＰＱ形式のＨＤＲ画像であり、そのダイナミックレンジで絶対的な表示輝度に対応する信号レベルを規定する。ピーク輝度値は、このうち当該合成画像に表れる像が示す表示輝度の最大値、即ち、出力ダイナミックレンジの最大値である。本実施形態の合成処理では、ＣＰＵ１０１は、合成画像のピーク輝度値を、合成対象のＨＤＲ画像（第１対象画像及び第２対象画像）のピーク輝度値に基づいて決定する。

ここで、合成対象のＨＤＲ画像のピーク輝度値は、当該ＨＤＲ画像に係る画像ファイル（ＨＥＩＦファイル等）に含められる、あるいは当該ＨＤＲ画像に別ファイルとして関連付けられるものであってよい。本実施形態では、合成対象のＨＤＲ画像のそれぞれに係る画像ファイルには、特開２０２０－０３９１１８号公報に記載のＭａｘＤＲＬ（Maximum Dynamic Range Level）がメタデータとして付されているものとする。ＭａｘＤＲＬは、撮像された画像信号の現像及びエンコードにおいて、対応するＯＥＴＦを適用した後のＰＱ信号出力値の最大値であり、当該ＰＱ信号のピーク輝度値（上限値）を示す。なお、本実施形態ではＭａｘＤＲＬが各ＨＤＲ画像のピーク輝度に対応する信号レベルを示すものとして説明するが、本発明の実施はこれに限られるものでなく、例えばピーク輝度に対応するｎｉｔ値を示すものであってもよい。

ＣＰＵ１０１は、第１対象画像及び第２対象画像それぞれのＭａｘＤＲＬを取得し、このうちの大きい方のＭａｘＤＲＬの値を、生成する合成画像のピーク輝度値として決定する。以下、本ステップにおいて決定されたピーク輝度値を、「ピーク信号レベル」として言及する。

Ｓ３０３で、ＣＰＵ１０１は、第１対象画像と第２対象画像とを加算合成した画像（以下、中間画像として言及）を生成する。より詳しくは、ＣＰＵ１０１は、第１対象画像と第２対象画像から同一の位置の画素の信号レベルを取得し、これらを加算（信号値を足し合わせる）ことで、中間画像に係る当該画素の信号レベルを導出する。ＣＰＵ１０１は、このような信号レベルの加算処理を全ての画素について行い、中間画像の全ての画素の信号レベルを導出し、中間画像を構成する。なお、本実施形態では発明の理解を簡単にすべく、第１対象画像と第２対象画像とは水平方向及び垂直方向の画素数が同一であるものとして説明するが、本発明の実施はこれに限られるものではない。第１対象画像と第２対象画像の画素数が異なる場合、例えば一方の画像をスケーリングして水平方向または垂直方向の画素数を他方の画像と同数にした上で、加算合成が行われればよい。また中間画像は表示用に出力される画像とは異なる概念であるため、加算合成によりＰＱ形式のダイナミックレンジの最大値（１００００ｎｉｔに対応）を上回る信号レベルになっても、その値を維持して格納することもできる。即ち、中間画像の各画素の信号レベルは、単純に、第１対象画像の同位置の画素の信号レベルと第２対象画像の同位置の画素の信号レベルの加算値を示す。

Ｓ３０４で、ＣＰＵ１０１は、Ｓ３０２において決定したピーク信号レベルで中間画像の信号レベルをクリップすることで合成画像を生成する。換言すれば、ＣＰＵ１０１は、中間画像に含まれる画素のうち、信号レベルがピーク信号レベルを上回る画素を特定し、当該画素の信号レベルをピーク信号レベルに変更（置換）することで、合成画像を生成する。

ここで、本実施形態の合成処理について、図を参照してその概要を説明する。以下の例示では、第１対象画像が図４（ａ）に示されるような態様で、第２対象画像が図４（ｂ）に示されるような態様であるものとして説明する。２つの画像は、各々異なる撮像モードで撮像された実写のＨＤＲ画像であり、出力ダイナミックレンジが異なっている。具体的には、第１対象画像は第２対象画像よりも暗い被写体を撮像した画像であり、第１対象画像の出力ダイナミックレンジは第２対象画像の出力ダイナミックレンジより狭く、その最大値、即ち、ピーク輝度値も低い。

図５（ａ）と（ｂ）は、各画像のシーン輝度と表示輝度との関係（信号特性）を示しており、ピーク輝度値（ＭａｘＤＲＬ）の違いを示している。具体的には、図５（ａ）は第１対象画像の信号特性を示しており、ピーク輝度値はＹ１となっている。図４（ａ）に示した第１対象画像中では、領域４０１に含まれる画素の信号レベルがＹ１であるものとする。また図５（ｂ）は第２対象画像の信号特性を示しており、ピーク輝度値はＹ１よりも高いＹ２となっている。図４（ｂ）に示した第２対象画像中では、領域４１１に含まれる画素の信号レベルがＹ２であるものとする。なお、縦軸と横軸はともに信号値（例えばＰＱＶａｌｕｅＣｏｄｅ）を示す。図５の各信号特性に示したＹｍａｘは、ＰＱ形式のダイナミックレンジの最大値、即ち、最大表示輝度（１００００ｎｉｔに相当する信号値）を示している。これは後述する図８、１０も同様である。

このとき、単純に第１対象画像と第２対象画像とを加算合成して得られる中間画像は、図６（ａ）に示される態様となる。図示されるように、第１対象画像の領域４０１と領域４０２とが重複する領域６０１に含まれる画素の信号レベルは、加算合成によってより明るくなる。例えば、Ｙ１が７１２（６００ｎｉｔ相当）、Ｙ２が７６９（１０００ｎｉｔ）である場合、７１２＋７６９＝１４８１となるため、最大表示輝度である１０２３を上回る。即ち、中間画像を合成画像として出力してしまうと、１０００ｎｉｔより高い輝度を表示可能な表示装置を用いて表示した場合に、領域６０１の輝度が第２対象画像のピーク輝度値Ｙ２よりも明るく、かつ、最大輝度で表示され、好適ではない。つまり、合成前の第１対象画像と第２対象画像に表れていた明るさや階調の表現が維持されない合成画像となる。

従って、本実施形態の合成処理では、Ｓ３０４における信号レベルをピーク信号レベルでクリップする処理により、中間画像の領域６０１に係る画素の信号レベルを、ピーク信号レベルで飽和させた、図６（ｂ）のような表現とすることができる。より詳しくは、ピーク輝度値が第２対象画像の方が高い図４の態様では、ピーク信号レベルは第２対象画像のピーク輝度値であるＹ２に決定されるため、図６（ｂ）に示されるように領域６０１の位置の画素の信号レベルをＹ２とした表現の合成画像にできる。

Ｓ３０５で、ＣＰＵ１０１は、Ｓ３０４において生成した合成画像にピーク信号レベルを関連付けた画像ファイルを構成し、記録装置１０４に記録して本合成処理を完了する。ここで、画像ファイルは、例えばＨＥＩＦ形式のようにメタデータを格納可能なファイル構造のフォーマットが使用されてよい。この場合、ピーク信号レベルの情報は、メタデータに格納され、合成画像に関連付けられる。このようにピーク信号レベルの情報を関連付けて合成画像の画像ファイルを記録することで、ＳＤＲ環境においても想定ダイナミックレンジ通りに変換した画像を表示することができるようになる。

以上説明したように、本実施形態の画像処理装置によれば、１以上のＨＤＲ画像を含む複数の画像を加算合成する場合に、好適な明るさ表現を示す合成画像を生成することができる。

［実施形態２］
上述した実施形態では、合成対象の画像を単純に加算合成した中間画像の信号レベルを当該ピーク信号レベルでクリップすることで、出力ダイナミックレンジの最大値をピーク信号レベルに収めた合成画像を生成する態様を説明した。一方で、このような加算合成後にピーク信号レベルでクリップする態様では、中間画像においてピーク信号レベルから加算後の信号レベルの最大値までのレベル範囲において表現されていた階調表現が失われることになる。本実施形態では、加算合成を行う前に合成対象の各画像のダイナミックレンジを変換することで、加算合成の結果得られる信号レベルをピーク信号レベルまでに収めた合成画像を生成する手法を説明する。

《合成処理》
以下、本実施形態の画像処理装置１００において実行される合成処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、ＣＰＵ１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。本合成処理は、例えば合成画像の生成に係る操作入力が操作Ｉ／Ｆ１０５を介して受け付けられた際に開始されるものとして説明する。なお、本実施形態の合成処理の説明において、実施形態１の合成処理と同様の処理を行うステップについては、同一の参照番号を付して説明を省略し、以下では、本実施形態固有の処理を行うステップについてのみ説明する。

Ｓ３０２においてピーク信号レベルを決定すると、ＣＰＵ１０１はＳ７０１で、加算合成後に得られる合成画像の信号レベルがピーク信号レベルを上回らないよう、第１対象画像と第２対象画像それぞれのダイナミックレンジを変換する。

ここで、本ステップで行われるダイナミックレンジの変換を、図を参照して説明する。第１対象画像と第２対象画像が図４の態様であり、その信号特性が図５の態様である場合、例えば図８に示されるように各対象画像のダイナミックレンジが変換される。より詳しくは、本ステップでは、変換後の第１対象画像と第２対象画像とを加算合成した合成画像がとり得る最大の信号レベル（表示輝度）が、Ｓ３０２で取得されたピーク信号レベルとなるように、各対象画像のダイナミックレンジを変換する。従って、本実施形態では合成対象の画像が２つであるため、変換後の各対象画像の表示輝度の最大値を、ピーク信号レベルを２で除した値（Ｙ２／２）にする。即ち、２つのＨＤＲ画像を合成する態様では、これらのピーク輝度値のうちの高いものを、合成対象の画像の数で当分割した値を、各対象画像の変換後の表示輝度の最大値とする。つまり、本ステップの処理において、第１対象画像と第２対象画像の変換後の表示輝度の最大値は、いずれも最大値Ｙ２／２となる。

ダイナミックレンジの変換は、各対象画像における階調表現が残るよう、図８のような、シーン輝度に定められた所定のニーポイントを上回るレベル範囲について、最大値がＹ２／２に収まるようにダイナミックレンジを圧縮するニー特性を用いて行われる。

図８（ａ）は、被写体のシーン輝度と、第１対象画像をこのようなニー特性で変換した画像（第１変換画像）の表示輝度との信号特性を示している。図示されるように、第１変換画像に係る信号特性は、所定のニーポイントまでのシーン輝度（暗部）については、リニアに階調を保ち、ニーポイントを上回るシーン輝度（明部）については、表示輝度を圧縮している。より詳しくは、明部のシーン輝度については、所定のニーポイントから第１対象画像における飽和シーン輝度（第１対象画像においてピーク輝度値になる最低のシーン輝度）までを、所定のニーポイントからＹ２／２のレベル範囲に割り当てる圧縮が行われる。

また図８（ｂ）は、同様に被写体のシーン輝度と、第２対象画像を上述のニー特性で変換した画像（第２変換画像）の表示輝度との信号特性を示している。図示されるように、第２変換画像に係る信号特性は、第１変換画像に係るものと同様、所定のニーポイントまでのシーン輝度（暗部）については、リニアに階調を保ち、ニーポイントを上回るシーン輝度（明部）については、表示輝度を圧縮している。より詳しくは、明部のシーン輝度については、所定のニーポイントから第２対象画像における飽和シーン輝度（第２対象画像においてピーク輝度値になる最低のシーン輝度）までを、所定のニーポイントからＹ２／２のレベル範囲に割り当てる圧縮が行われる。

なお、各合成対象の画像の変換に係る所定のニーポイントは、例えば適正露出の輝度から予め定めた段数上下させたレベルの輝度を固定的に用いるものとしてもよいし、ダイナミックレンジの圧縮量が高くなるにつれて、暗部側に移動させるようにしてもよい。また、ダイナミックレンジの変換において、暗部をリニアにして階調を保つことは、ＰＱ形式のエンコードが人間の視覚特性に合わせて、暗部により多くのｂｉｔを割り当てていることに基づく。

このようにして得られた第１変換画像と第２変換画像を、図９（ａ）と（ｂ）に例示する。それぞれ、図４に示した第１対象画像及び第２対象画像よりもピーク輝度値を示していた領域の明るさが低減している。

Ｓ７０１においてダイナミックレンジを変換した第１変換画像及び第２変換画像を生成すると、ＣＰＵ１０１はＳ７０２で、第１変換画像と第２変換画像とを加算合成して合成画像を生成する。上述したように、本実施形態の合成処理では、各変換画像のピーク輝度値がピーク信号レベルの１／２の値に調整されているため、実施形態１とは異なり、加算合成により得られる画像にピーク信号レベルを上回る信号レベルの画素は生じない。故に、加算合成後に信号レベルのクリップの処理が不要であり、得られた画像を合成画像として扱うことができる。このとき得られる合成画像は、図９（ｃ）に示されるように、出力ダイナミックレンジの最大値がＹ２のレベル範囲で、第１対象画像と第２対象画像それぞれの階調表現を有する態様となる。より詳しくは、本実施形態の合成処理で生成される合成画像は、実施形態１とは異なり、第１対象画像における領域４０１及び第２対象画像における領域４０２それぞれの階調の違いを表現に含んだ態様となる。

このように、本実施形態の画像処理装置によれば、１以上のＨＤＲ画像を含む複数の画像を加算合成する場合に、合成対象の画像の階調表現を担保しつつ、好適な明るさ表現を示す合成画像を生成することができる。

［変形例１］
上述した実施形態２では、合成対象のＨＤＲ画像をその表示輝度の最大値が一定となるようダイナミックレンジを変換するものとして説明したが、本発明の実施はこれに限られるものではない。実施形態２の方式では、異なる出力ダイナミックレンジの対象画像を共通の出力ダイナミックレンジに圧縮するものであるため、合成対象のＨＤＲ画像間のピーク輝度値の差によっては、変換後にシーン輝度と各変換画像における信号レベルが逆転し得る。即ち、同一のシーン輝度の被写体について、第１変換画像において第２変換画像よりも高い表示輝度で示される可能性がある。また、本来第１対象画像の被写体よりも明るいはずの第２対象画像の被写体が、第２変換画像において第１変換画像の被写体よりも暗くなる可能性がある。本変形例では、このような変換画像間における階調の逆転が生じないよう、Ｓ７０２における各対象画像のダイナミックレンジの変換の態様を異ならせる。

本変形例に係るダイナミックレンジの変換は、対象画像に依らず共通の変換特性を参照してシーン輝度を表示輝度に変換しつつ、各対象画像の変換後の表示輝度の最大値を、該対象画像のピーク輝度値に応じて異ならせる手法で行われる。より詳しくは、第１対象画像及び第２対象画像が図４の態様であり、その信号特性が図５の態様である場合、例えば図１０に示されるように各対象画像のダイナミックレンジが変換される。

ここで、両対象画像のダイナミックレンジの変換は、変換後の画像を加算合成した合成画像がとり得る最大の信号レベル（表示輝度）がピーク信号レベルとなる点は、実施形態２と変わらない。即ち、図１０（ａ）に示される本変形例に係る第１変換画像の表示輝度の最大値Ｙ１’と、図１０（ｂ）に示される本変形例に係る第２変換画像の表示輝度の最大値Ｙ２’の合計は、ピーク信号レベルであるＹ２となるよう変換は行われる。

一方で、図示されるように両変換画像に係る信号特性は、各画像の表示輝度の最大値までのレベル範囲で共通している。より詳しくは、信号特性は、共通のニーポイントまでのシーン輝度についてはリニアに階調を保ち、ニーポイントを上回るシーン輝度（入力）についてはＹ１であるときに出力をＹ１’とし、Ｙ２であるときに出力をＹ２’とするように圧縮するニー特性である。このように各対象画像について共通の変換特性を用い、それぞれの表示輝度の最大値をピーク輝度値に応じて異ならせることで、加算合成後に信号レベルがピーク信号レベルを上回らず、変換画像間での階調の逆転も生じさせずにダイナミックレンジが変換できる。

このように、本変形例の画像処理装置によれば、１以上のＨＤＲ画像を含む複数の画像を加算合成する場合に、シーン輝度の絶対的な階調表現を担保しつつ、好適な明るさ表現を示す合成画像を生成することができる。

［変形例２］
上述した実施形態２及び変形例１では、対象画像のダイナミックレンジの変換を、図８や図１０に示したような所定のニーポイントを境に変換特性が変化するニー特性に基づいて行うものとして説明したが、本発明の実施はこれに限られるものではない。対象画像のダイナミックレンジの変換は、ガンマ特性やスケール変換等、任意の変換方式を採用するものであってもよい。

［変形例３］
上述した実施形態及び変形例では、１つの合成対象の画像にピーク輝度値を示すＭａｘＤＲＬが関連付けられており、当該ＭａｘＤＲＬを読み出してピーク信号レベルとして決定する態様を説明したが、本発明の実施はこれに限られるものではない。例えば、撮像モードや露出量等の画像の撮像条件に対応した最大信号ＰＱコード値が予め記録装置１０４に格納されている態様では、対象画像の撮像条件の情報に基づいて、該当の最大信号ＰＱコード値を取得し、ピーク信号レベルとして決定してもよい。

［変形例４］
上述した実施形態及び変形例では、合成対象の画像が２つのＨＤＲ画像であるものとして説明したが、本発明の実施はこれに限られるものではなく、３つ以上のＨＤＲ画像を合成する態様にも適用可能である。この場合、ピーク信号レベルは、合成対象の複数のＨＤＲ画像のピーク輝度値のうちの最大のものに決定されればよい。あるいは、複数のＨＤＲ画像のピーク輝度値のうちのいずれか１つを、ピーク信号レベルとして採用してもよい。

当該態様において、実施形態２のように、各対象画像の表示輝度の最大値を均等化するようにダイナミックレンジを変換する場合には、各対象画像の変換後の表示輝度の最大値を、ピーク信号レベルを合成対象の画像の数で除した値にすればよい。また変形例１のように、各対象画像の表示輝度の最大値を当該対象画像のピーク輝度値に応じて異ならせたダイナミックレンジの変換を行う場合には、各対象画像の変換後の表示輝度の最大値の総和が、ピーク信号レベルとなるよう調整すればよい。

［変形例５］
上述した実施形態及び変形例では、合成対象の画像がいずれもＨＤＲ画像であるものとして説明したが、本発明の実施はこれに限られるものではなく、１以上のＨＤＲ画像が対象に含まれていれば、他の画像としてＳＤＲ画像を含むものであってもよい。このとき、ＳＤＲ画像はシーン輝度を相対的に表現した画像であるため、ＨＤＲ画像と好適に合成すべく、ＳＤＲ画像を非線形化し、任意のピーク輝度にスケーリングしてからＨＤＲ画像に線形化し、同様の処理を行えばよい。このとき、スケーリングに用いられる任意のピーク輝度は、例えば、１００ｎｉｔ等の固定値としてもよいし、ユーザ入力に基づいて設定されるものとしてもよい。

また、合成対象とするＨＤＲ画像について、ＰＱ方式のＨＤＲ画像であるものとして説明したが、本発明は、最大の信号値まで使用していないＨＬＧ方式のＨＤＲ画像を使用する態様にも適用可能である。

［変形例６］
上述した実施形態及び変形例では、合成画像の出力ダイナミックレンジの最大値とするピーク信号レベルを、合成対象のいずれかのＨＤＲ画像のピーク輝度値に基づいて決定するものとして説明したが、本発明の実施はこれに限られるものではない。ピーク信号レベルは、例えば最大表示輝度である１０２３までの範囲で、操作Ｉ／Ｆ１０５を介して受け付けられたユーザ入力等に基づいて受信した任意の値に決定されるものであってもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理装置、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：記録装置、１０５：操作Ｉ／Ｆ

Claims (13)

1. 合成画像を生成する画像処理装置であって、
   １以上のＨＤＲ（High Dynamic Range）画像を含む複数の画像を取得する取得手段と、
   前記合成画像のピーク輝度値を決定する決定手段と、
   前記複数の画像を用いた加算合成処理を実行することより、前記合成画像を生成する生成手段と、
   を有し、
   前記生成手段は、前記合成画像の各画素の信号レベルが、前記決定手段により決定された前記ピーク輝度値に対応する信号レベルを最大値とする出力ダイナミックレンジに収まるように前記加算合成処理を制御する
   ことを特徴とする画像処理装置。
2. 前記ＨＤＲ画像は、ＩＴＵ－Ｒ ＢＴ．２１００で規格化されたＰＱ（Perceptual Quantization）方式でエンコードされたＨＤＲ画像であり、
   前記決定手段は、前記ＨＤＲ画像のピーク輝度値を、前記合成画像のピーク輝度値として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の画像に含まれる前記ＨＤＲ画像が複数である場合に、当該複数の前記ＨＤＲ画像のピーク輝度値のうちの最大の値を、前記合成画像のピーク輝度値として決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記ＨＤＲ画像は、ＩＴＵ－Ｒ ＢＴ．２１００で規格化されたＰＱ（Perceptual Quantization）方式でエンコードされたＨＤＲ画像であり、
   前記決定手段は、前記ＨＤＲ画像の撮像条件に対応するピーク輝度値を、前記合成画像のピーク輝度値として決定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記合成画像のピーク輝度値の入力を受け付ける入力手段をさらに有し、
   前記決定手段は、前記入力手段により受け付けられた入力に基づいて、前記合成画像のピーク輝度値を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記生成手段は、前記複数の画像を加算合成して中間画像を生成し、当該中間画像に含まれる画素のうちの前記出力ダイナミックレンジの最大値を上回る信号レベルの画素について、信号レベルを当該最大値に変更することで前記合成画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記生成手段は、加算合成後の各画素の信号レベルが前記出力ダイナミックレンジの最大値を上回らないよう、前記複数の画像それぞれのダイナミックレンジを変換し、変換後の当該複数の画像を加算合成することで前記合成画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記ダイナミックレンジの変換は、前記複数の画像それぞれの変換後の表示輝度の最大値を、前記出力ダイナミックレンジの最大値を当該複数の画像の数で除した値にすることを特徴とする請求項７に記載の画像処理装置。
9. 前記ダイナミックレンジの変換は、前記複数の画像それぞれの変換後の表示輝度の最大値を、各画像のピーク輝度値に応じて異ならせることを特徴とする請求項７に記載の画像処理装置。
10. 前記ダイナミックレンジの変換は、前記複数の画像について共通の変換特性を参照して行われることを特徴とする請求項９に記載の画像処理装置。
11. 前記生成手段により生成された前記合成画像と、前記出力ダイナミックレンジの最大値とを関連付けた画像ファイルを出力する出力手段をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 合成画像を生成する画像処理装置の制御方法であって、
    １以上のＨＤＲ（High Dynamic Range）画像を含む複数の画像を取得する工程と、
    前記合成画像のピーク輝度値を決定する決定工程と、
    前記複数の画像を用いた加算合成処理を実行することより、前記合成画像を生成する生成工程と、
    を有し、
    前記生成工程において、前記合成画像の各画素の信号レベルが、前記決定工程で決定された前記ピーク輝度値に対応する信号レベルを最大値とする出力ダイナミックレンジに収まるように前記加算合成処理が制御される
    ことを特徴とする制御方法。
13. コンピュータを、請求項１乃至１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images