JP7098475B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像調整が可能な装置における画像処理技術に関する。

昨今ハイダイナミックレンジ（以下ＨＤＲと称す）の画像の調整や表示等が可能な環境が普及しつつある。これに伴い、ＨＤＲの色域でＨＤＲ環境に適した画像調整や表示ができるシステムが登場している。一方、従来の標準ダイナミックレンジ（以下ＳＤＲと称す）における表示環境も引き続き利用されているため、ＳＤＲ環境に適した画像調整や表示も依然として必要である。そのため、ＳＤＲ環境に適した画像調整や表示とＨＤＲ環境に適した画像調整や表示とを切り替えて実行可能なシステムも登場してきている。

なお、特許文献１には、例えば画像と表示装置のダイナミックレンジが同じ場合には最適な表示になるよう輝度パラメータを調整し、例えば表示装置が新たに接続された場合にはパラメータの調整操作の必要性をユーザに通知する情報処理装置が開示されている。つまり、特許文献１には、画像調整を行った際の表示環境とは異なる表示環境における表示が必要となったときに、その旨をユーザに通知してパラメータの調整操作を促すことが開示されている。

ここで、ＨＤＲ環境やＳＤＲ環境にそれぞれ適した画像調整の一例として、ガンマ処理（γ処理）が挙げられる。ＳＤＲ環境を想定した画像調整としては、例えば１／２．２のガンマ特性（γ特性）を適用したγ処理を挙げることができる。一方、ＨＤＲ環境を想定した画像調整としては、例えばＰＱ（Perceptual Quantization）方式のγ特性を適用したγ処理を挙げることができる。なお、これらのγ特性を用いた画像調整は、例えばＲＡＷ（生）データの現像処理の過程または現像処理後に行われることが多い。また、画像調整では、ユーザが任意に指定した調整パラメータあるいは別途用意された調整パラメータの設定が行われることも多い。

特開２０１８－６００７５号公報

前述したγ処理を含む画像調整やユーザ指定あるいは別途用意された調整パラメータを用いた画像調整は、一般的にはＳＤＲ表示された画像またはＨＤＲ表示された画像のいずれかを用いて行われる。一方、ＳＤＲ環境に適した画像調整や表示とＨＤＲ環境に適した画像調整や表示を切り替えて実行可能なシステムでは、それらが任意に切り替えられて画像調整や表示が行われる。しかしながら、ＳＤＲ環境に適した画像調整がなされた画像とＨＤＲ環境に適した画像調整がなされた画像とではその特性が大きく異なっている。このため、例えば画像調整を切り替えた際に調整パラメータをそのまま利用したり、ユーザが任意に指定した調整パラメータあるいは別途用意された調整パラメータを設定したりすると、画像調整で想定していたものとは特性の異なる画像になることがある。

そこで、本発明は、画像調整で想定したのとは特性の異なる画像になる可能性を未然に防ぎ、画像調整時の調整パラメータをＳＤＲ環境とＨＤＲ環境のそれぞれの特性に合うように調整可能にすることを目的とする。

本発明の画像処理装置は、ユーザからの画像調整モードの選択指示を取得する取得手段と、前記ユーザが標準ダイナミックレンジ画像調整モードを選択した場合に標準ダイナミックレンジに適したガンマ処理をＲＡＷ画像に対して実行し、前記ユーザがハイダイナミックレンジ画像調整モードを選択した場合にハイダイナミックレンジに適したガンマ処理を前記ＲＡＷ画像に対して実行する第１の調整手段と、前記ガンマ処理後の画像に対して、第２の画像調整を実行する第２の調整手段と、前記標準ダイナミックレンジ画像調整モードと前記ハイダイナミックレンジ画像調整モードとを切り替える操作が行われた場合に、前記第２の画像調整で用いた調整パラメータに関する通知を行う通知手段と、を有することを特徴とする。

本発明によれば、画像調整で想定したのとは特性の異なる画像になる可能性を未然に防ぎ、画像調整時の調整パラメータをＳＤＲ環境とＨＤＲ環境のそれぞれの特性に合うように調整可能となる。

デジタルカメラの概略構成を示すブロック図である。 画像処理装置の概略構成を示すブロック図である。 画像調整モードを切り替える際のＧＵＩ例を示した図である。 画像調整モードの切り替えに応じた画像調整の流れを示した図である。 再調整の必要性を検知する処理の実行決定処理のフローチャートである。 再調整の必要性を検知する処理のフローチャートである。 再調整が必要な調整パラメータを消去する処理のフローチャートである。 調整パラメータを保存する処理のフローチャートである。 パラメータ再調整に関するユーザ通知のＧＵＩ例を示した図である。

以下に、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
＜撮像装置の構成＞
図１は本実施形態の画像処理装置において後述する画像調整が行われる画像を撮像する撮像装置（デジタルカメラ１００）の概略構成例を示したブロック図である。
図１に示したデジタルカメラ１００において、撮像レンズ１０１は、被写体等の光学像を撮像素子１０３上に形成する。撮像レンズ１０１は、フォーカスレンズ、ズームレンズ、ブレ補正レンズの他、絞り１０２も有している。撮像素子１０３は撮像レンズ１０１により形成された光学像を電気信号に変換する。Ａ／Ｄ変換器１０４は撮像素子１０３から出力されたアナログ信号を、Ａ／Ｄ（アナログ／デジタル）変換して、デジタルデータに変換する。

Ａ／Ｄ変換器１０４から出力されたデータはいわゆるＲＡＷ（生）画像データとして、画像処理部１０５に送られ、あるいは直接、カメラ信号処理部１０６に送られる。Ａ／Ｄ変換器１０４から出力されたデータは、画像処理部１０５で画像処理が行われ、さらにカメラ信号処理部１０６で処理された後、もしくは、画像処理部１０５を介さずにカメラ信号処理部１０６で処理された後、ＲＡＭ１１１に一時的に記憶される。

画像処理部１０５は、ＲＡＷ画像データ（以下、ＲＡＷ画像とする。）の現像処理が可能であり、Ａ／Ｄ変換器１０４から、あるいはＲＡＭ１１１から出力されたＲＡＷ画像に対し、所定のデモザイク処理や色変換処理等を行う。また、画像処理部１０５は、後述する画像調整の各処理も行うことができる。画像処理部１０５による画像処理後の画像データは、ＲＡＭ１１１に一時的に記憶され、あるいはカメラ信号処理部１０６に送られる。

カメラ信号処理部１０６は、例えば、表示部１１４へ表示する表示データの生成処理、画像処理部１０５による画像処理後の画像データの圧縮処理、記録ファイルの生成処理等を行う。カメラ信号処理部１０６からの表示データはＲＡＭ１１１に一時的に記憶された後に表示部１１４に送られ、また、記録ファイルはメディアＩ／Ｆ１０７に送られる。

表示部１１４は、ＴＦＴやＬＥＤ等からなる画像表示デバイスであり、ＲＡＭ１１１に書き込まれた表示用の画像データに基づく画像等を表示する。なお、撮像した画像データに基づく画像を表示部１１４に逐次表示する場合には、いわゆるライブビュー機能が実現されることになる。
メディアＩ／Ｆ１０７は、カメラ信号処理部１０６にて圧縮処理され画像データもしくはＲＡＷ画像から生成された記録ファイルを、ＳＤカードなどからなる記録メディア１０８に記録する。

ＲＡＭ１１１は、撮影した静止画像や動画像のデータ、表示データ等を一時的に記憶可能なメモリである。また、ＲＡＭ１１１は、所定枚数の静止画像や所定時間の動画像等を格納するのに十分な記憶量を備えている。これにより、ＲＡＭ１１１は、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像を記憶することが可能となる。また、ＲＡＭ１１１は、撮像素子１０３の欠陥画素情報等も記憶可能となされている。
ＲＯＭ１１０は、デジタルカメラ１００の制御プログラムや各種設定値等を記憶している不揮発性のメモリである。
ＣＰＵ１０９は、ＲＯＭ１１０に記憶されている制御プログラムを実行することにより、デジタルカメラ１００のシステム全体の制御や各種処理、動作を制御する。

操作部１１３は、不図示のシャッタースイッチや電源ボタン、メニューボタン、タッチパネルなどの各種操作部材とそれら操作部材の操作に応じた操作信号を生成する回路等からなる。操作部１１３からの操作信号はＣＰＵ１０９や撮像系制御部１１２に送られる。シャッターボタンはいわゆる半押しと全押しの押下操作が可能なボタンとなされている。

シャッターボタンが半押しされると、撮像系制御部１１２は、撮像レンズ１０１の絞り１０２の駆動処理、ＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＡＷＢ（オートホワイトバランス）、ＥＦ（フラッシュプリ発光）等の各動作の開始を指示する。このようなシャッターボタン半押し時の各処理および動作は、半押し状態が解除されるまで続けられる。

続いてシャッターボタンが全押しされると、撮像系制御部１１２は、撮像素子１０３に撮像を行わせ、これにより撮像素子１０３から読み出された信号がＡ／Ｄ変換器１０４でＡ／Ｄ変換される。またＣＰＵ１０９による制御の下で、画像処理部１０５やカメラ信号処理部１０６による処理、ＲＡＭ１１１への画像データの蓄積と読み出し等が行われる。そして、カメラ信号処理部１０６にて生成された記録ファイルが、メディアＩ／Ｆ１０７によって記録メディア１０８に記録される。

デジタルカメラ１００におけるこれら一連の処理および動作は、ＣＰＵ１０９による制御の下で行われる。ＣＰＵ１０９は、ＲＯＭ１１０に記憶されている制御プログラムを実行することにより、デジタルカメラ１００における前述した一連の処理および動作の制御を行う。

ここで、本実施形態のデジタルカメラ１００は、撮像素子１０３により撮像されたＲＡＷ画像を現像処理し、その現像処理後のデータを記録する通常記録モードの他、例えばＲＡＷ画像を記録するＲＡＷ記録モードの設定も可能となされている。

通常記録モードの場合、画像処理部１０５では、現像処理として、前述した所定のデモザイク処理や色変換処理等を行う。さらに画像処理部１０５は、その現像処理の過程で、ホワイトバランス処理、デジタルゲイン処理、ノイズリダクション処理、レンズ特性に応じた補正処理、予め設定された撮影モードに応じた補正処理等をも行う。また、カメラ信号処理部１０６では、現像処理後の画像データに対し、所定の圧縮処理を行い、さらに撮影条件等の種々のデータ等を付加して画像の記録ファイルを生成する。この記録ファイルは、メディアＩ／Ｆ１０７を介して記録メディア１０８に記録される。

一方、ＲＡＷ記録モードに設定されている場合、画像処理部１０５は、現像処理を行わず、ＲＡＷ画像をカメラ信号処理部１０６に送る。カメラ信号処理部１０６は、ＲＡＷ画像に対して撮影条件等の種々のデータ等を付加してＲＡＷ画像の記録ファイルを生成する。そしてＲＡＷ画像の記録ファイルは、メディアＩ／Ｆ１０７を介して記録メディア１０８に記録される。

＜本実施形態の画像処理装置の説明＞
本実施形態の画像処理装置は、例えばデジタルカメラ１００にて撮像されて記録されたＲＡＷ画像の記録ファイルを取得し、その記録ファイルのＲＡＷ画像を現像する機能を有している。また本実施形態の画像処理装置は、現像処理の過程において、ＳＤＲ環境に適した画像調整とＨＤＲ環境に適した画像調整とを切り替えて実行可能な機能を有している。ＳＤＲ環境に適した画像調整とＨＤＲ環境に適した画像調整のいずれを行うかは、例えばユーザによる任意の選択によって切り替え可能となされている。なお、ＳＤＲ環境とは従来の標準ダイナミックレンジ（ＳＤＲ）で画像調整や表示が行われる環境であり、ＨＤＲ環境とはＳＤＲよりダイナミックレンジが広いハイダイナミックレンジ（ＨＤＲ）で画像調整や表示が行われる環境である。

ここで、本実施形態では、画像処理装置にて行われる画像処理を、現像処理からガンマ処理（γ処理）までの画像処理と、さらにその画像処理後の画像に対して行われる画像処理とに分けて説明する。現像処理からガンマ処理（γ処理）までの画像処理には、ホワイトバランス処理、デジタルゲイン処理、ノイズリダクション処理、レンズ特性に応じた補正処理、予め設定された撮影モードに応じた補正処理等の画像調整が含まれる。またγ処理では、特にＳＤＲ環境に適するガンマ特性（γ特性）として例えば１／２．２のγが用いられ、ＨＤＲ環境に適したγ特性として例えばＰＱ（Perceptual Quantization）方式のγが用いられる。つまり本実施形態の画像処理装置において、ＳＤＲ環境に適した画像調整が行われる場合には特に１／２．２のγ特性が適用され、ＨＤＲ環境に適した画像調整が行われる場合には特にＰＱ方式のγ特性が適用される。γ処理後の画像処理には、例えば、ＲＧＢトーンカーブ調整、８軸等の色調整、画像内の部分調整、画像内の領域をコピーして張り付けるコピースタンプ処理、トリミング処理、回転処理、変倍処理等の少なくとも一つの画像調整が含まれる。また、本実施形態の画像処理装置において、画像調整の際には、ユーザが任意に指定した調整パラメータあるいは別途用意された調整パラメータセットを設定することも可能となされている。

なお以下の説明では、前述した現像処理からγ処理まで画像処理を第１の画像調整と呼ぶことにする。また、第１の画像調整後に行われる画像調整を第２の画像調整と呼ぶことにする。さらに本実施形態では、第１の画像調整で使用された調整パラメータを第１の調整パラメータと呼び、第２の画像調整で使用された調整パラメータを第２の調整パラメータと呼ぶことにする。第１の調整パラメータには、前述したホワイトバランス処理、デジタルゲイン処理、ノイズリダクション処理、レンズ特性の補正処理、予め設定された撮影モード、γ処理等のそれぞれの設定値が含まれる。第２の調整パラメータには、前述したＲＧＢトーンカーブ調整、８軸等の色調整、部分調整、コピースタンプ処理、トリミング処理、回転処理、変倍処理等のそれぞれの設定値が含まれる。

図２は、前述したような機能を有する本実施形態の画像処理装置２００の概略構成例を示したブロック図である。本実施形態では、画像処理装置２００として、図２に示すようにＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、不図示の表示デバイス、不図示の操作デバイス等を有したパーソナルコンピュータ（ＰＣ）を想定している。そして、本実施形態では、ＰＣにおいて本実施形態に係る画像処理アプリケーションプログラム（以下、画像調整アプリとする。）により、前述した第１の画像調整、第２の画像調整等の各処理を実行可能となされている。詳細は後述するが、本実施形態では、ＣＰＵ２０１が本実施形態の画像調整アプリを実行することにより、図２の画像入力部２１０、第１の調整部２１１、第２の調整部２１２、検知部２１３、保存部２１４、操作部２１５、表示部２１６の各機能を実現する。なお、本実施形態に係る画像調整アプリは、例えばＲＯＭ２０２に予め格納されている場合だけでなく、不図示の外部メモリ等の記録メディアから取得されてもよく、或いは不図示のネットワーク等を介して取得されてもよい。

ＲＯＭ２０２は、ＰＣである画像処理装置２００の制御プログラムの他、本実施形態に係る画像調整アプリ等を含む各種アプリの記憶、その他、各種の設定データ等を記憶している不揮発性のメモリである。
ＲＡＭ２０３は、ＲＡＷ画像の記録ファイル、第１の調整パラメータ、第２の調整パラメータ等を記憶可能なメモリである。
ＣＰＵ２０１は、ＲＯＭ２０２に記憶されている制御プログラムを実行することにより、ＰＣ全体の制御や各種処理、動作を制御する。また、ＣＰＵ２０１は、本実施形態に係る画像調整アプリを実行することにより、例えばＲＡＭ２０３に一時的に記憶されている記録ファイルのＲＡＷ画像に対する現像処理、画像調整等を実行する。

ここで図２に示されている画像入力部２１０、第１の調整部２１１、第２の調整部２１２、検知部２１３、保存部２１４、操作部２１５、表示部２１６は、ＣＰＵ２０１が制御プログラムおよび画像調整アプリを実行することで構成される各機能部を表している。つまり、図２では、画像入力部２１０～表示部２１６がＣＰＵ２０１とは別に表されているが、これら画像入力部２１０～表示部２１６は、ＣＰＵ２０１にて画像調整アプリが実行されることによって構成されている各機能部である。なお、画像入力部２１０～表示部２１６は、画像調整アプリによるソフトウェア構成の他、ハードウェア構成により実現されてもよく、また、それらの各機能部の一部がハードウェア構成で残りがソフトウェア構成によって実現されていてもよい。

画像入力部２１０は、例えば図１に示したデジタルカメラ１００にて撮像されて記録された記録ファイルを取得する処理部である。つまり本実施形態の場合、画像入力部２１０は、例えば図１の記録メディア１０８から読み出されたＲＡＷ画像の記録ファイルを取得する。なお、画像入力部２１０は、不図示のネットワーク等を介した通信により記録ファイルを取得してもよい。
保存部２１４は、第１の画像調整で用いられる第１の調整パラメータおよび第２の画像調整で用いられる第２の調整パラメータを、例えばファイルとして保存しておくための処理部である。

操作部２１５は、マウスやタッチパネル等の不図示の操作デバイスを介したユーザからの操作指示を取得する処理部である。本実施形態の場合、ユーザは、操作部２１５を介して、例えば画像調整モードの切り替え指示や、第１の画像調整で使用する第１の調整パラメータの設定指示、第２の画像調整で使用する第２の調整パラメータの設定指示等を行うことができる。本実施形態の場合、画像調整モードの切り替え指示では、ＳＤＲ環境に適した画像調整モード（以下、ＳＤＲ画像調整モードとする。）とＨＤＲ環境に適した画像調整モード（以下、ＨＤＲ画像調整モードとする。）との、いずれかが選択される。ユーザ操作に応じた画像調整モードの切り替えの詳細については後述する。また第１の調整パラメータの設定指示では、ホワイトバランス処理、デジタルゲイン処理、ノイズリダクション処理、レンズ特性の補正処理、撮影モード、γ処理等の、それぞれの設定値の入力または選択等が行われる。第２の調整パラメータの設定指示では、ＲＧＢトーンカーブ調整、８軸等の色調整、部分調整、コピースタンプ理、トリミング処理、回転処理、変倍処理等の、それぞれの設定値の入力または選択等が行われる。また保存部２１４に第１の調整パラメータや第２の調整パラメータのセットが別途用意されて保持されている場合、ユーザは操作部２１５を介して保存部２１４から調整パラメータセットの読み出しを指示することもできる。操作部２１５を介したユーザからの指示はＣＰＵ２０１に送られる。これにより、ＣＰＵ２０１は、ユーザにより選択された画像調整モードに応じて第１の調整部２１１と第２の調整部２１２の動作を制御し、また、各調整パラメータを第１の調整部２１１や第２の調整部２１２に対して設定する。

第１の調整部２１１は、操作部２１５を介してユーザにより選択された画像調整モードに応じた第１の画像調整を実行する処理部である。すなわち、第１の調整部２１１は、ＨＤＲ画像調整モードが選択された場合にはＨＤＲ環境に適した第１の画像調整を実行し、またＳＤＲ画像調整モードが選択された場合にはＳＤＲ環境に適した第１の画像調整を実行する。
第２の調整部２１２は、第１の調整部２１１による第１の画像調整後の画像に対して第２の画像調整を実行する処理部である。そして、第２の調整部２１２による第２の画像調整後の画像は、表示部２１６により表示用の画像に変換され、不図示の表示デバイスに送られて表示される。

検知部２１３は、画像調整に使用される調整パラメータの再調整が必要かどうかを判断および検知する処理部である。詳細については後述するが、本実施形態の場合、検知部２１３では、特に第２の画像調整において適用される第２の調整パラメータについて、再調整が必要かどうかの判断および検知を行う。
表示部２１６は、前述した表示用の画像の生成や、後述する画像調整モードの選択用のＧＵＩ、検知部２１３による後述する検知処理の結果をユーザ通知等するためのＧＵＩ等の表示を行うための処理部であり、不図示の表示デバイス等にそれらを表示させる。

図３は、本実施形態の画像処理装置２００において、ユーザが画像調整のモードを切り替え選択する際のユーザインタフェースの一例を示した図である。図３は、ＳＤＲ画像調整モードとＨＤＲ画像調整モードの２つのモードのいずれかの選択を、オプションボタン（ラジオボタン）の選択により行う場合のＧＵＩ例を示している。
図３に示すように、画像調整モード選択用のＧＵＩ３００には、ＳＤＲ画像調整モードを選択するためのオプションボタン３０１と、ＨＤＲ画像調整モードを選択するためのオプションボタン３０２とが用意されている。ユーザは、操作部２１５の操作を介して、これらオプションボタン３０１，３０２を選択することにより、ＳＤＲ画像調整モードとＨＤＲ画像調整モードとの何れかを選択することができる。そして、例えばオプションボタン３０１が選択された場合、特に第１の調整部２１１では、ＳＤＲ環境に適した調整パラメータが設定されて画像調整が実行される。一方、例えばオプションボタン３０２が選択された場合、第１の調整部２１１では、ＨＤＲ環境に適した調整パラメータが設定されて画像調整が実行される。

図４は、図３で説明したような画像調整モードの選択結果に応じた、画像調整処理の流れを説明する図である。
図２の第１の調整部２１１には、画像入力部２１０にて取得された記録ファイルのＲＡＷ画像４００が入力される。例えば選択された画像調整モードがＳＤＲ画像調整モードである場合、第１の調整部２１１では、ＳＤＲ環境に適した第１の画像調整４０１が行われる。この場合の第１の画像調整４０１では、現像処理等の後、特にＳＤＲ表示に適した例えば１／２．２のγ特性を用いたγ処理が行われる。また例えば、選択された画像調整モードがＨＤＲ画像調整モードである場合、第１の調整部２１１では、ＨＤＲ環境に適した第１の画像調整４０２が行われる。この場合の第１の画像調整４０２では、現像処理等の後、特にＨＤＲ表示に適した例えばＰＱ方式のγ特性を用いたγ処理が行われる。
そして、第１の調整部２１１による第１の画像調整（画像調整４０１または画像調整４０２）が行われた後の画像データに対しては、その後、第２の調整部２１２によってＲＧＢのトーンカーブ調整等の第２の画像調整４０３が行われる。

ここで、本実施形態の画像処理装置２００は、前述したように、ＳＤＲ画像調整モードとＨＤＲ画像調整モードの切り替えが可能となされている。また本実施形態の画像処理装置２００では、ユーザが任意に指定した調整パラメータあるいは別途用意された調整パラメータの設定も可能となされている。一方で、ＳＤＲ環境に適した画像調整がなされた画像と、ＨＤＲ環境に適した画像調整がなされた画像とでは、それぞれ特性が大きく異なっている。このため、例えば画像調整モードを切り替えた際に調整パラメータをそのまま利用したり、ユーザが任意に指定した調整パラメータあるいは別途用意された調整パラメータを設定したりすると、画像調整で想定していたものとは特性の異なる画像になることがある。このことは、特に第１の画像調整でＳＤＲ環境またはＨＤＲ環境に適するような調整が行われた後の第２の画像調整において起こり易い。

そこで、本実施形態では、第２の画像調整で用いる第２の調整パラメータについて、再調整が必要であるかどうかを、検知部２１３により検知する。
このとき先ず、検知部２１３は、例えばＳＤＲ画像調整モードとＨＤＲ画像調整モードの切り替えが行われたか否かにより、第２の調整パラメータの再調整が必要であるかどうかを検知する処理を実行するか、あるいは実行しないかを決定する。そして、検知部２１３は、ＳＤＲ画像調整モードとＨＤＲ画像調整モードの切り替えが行われた場合に、第２の調整パラメータの再調整が必要であるかどうかを検知する処理を実行する。また検知部２１３は、ＳＤＲ環境またはＨＤＲ環境に適した第１の画像調整への切り替えが生ずるような第１の調整パラメータの調整や設定等がなされたか否かで、第２の調整パラメータの再調整が必要であるかどうかを検知する処理の実行／非実行を決定する。そして、検知部２１３は、ＳＤＲ環境またはＨＤＲ環境に適した第１の画像調整への切り替えが生ずるような第１の調整パラメータの調整や設定がなされた場合、第２の調整パラメータの再調整が必要であるかどうかを検知する処理を実行する。

次に、検知部２１３は、第２の調整パラメータの再調整が必要であるどうかを検知する処理として、第２の画像調整で用いる第２の調整パラメータが、ＳＤＲ表示とＨＤＲ表示とで特性が異なる画像になる調整パラメータであるかどうかを判定する。つまり検知部２１３は、第２の画像調整で用いる第２の調整パラメータについて、その第２の調整パラメータを適用した場合に、ユーザが想定していたのとは異なる特性の画像になるかどうかを判定する。そして、検知部２１３は、第２の調整パラメータが、ＳＤＲ表示とＨＤＲ表示とで特性が異なる画像になる調整パラメータであると判断した場合、その第２の調整パラメータの再調整が必要であると検知する。一方、検知部２１３は、第２の調整パラメータについて、第２の画像調整で用いる第２の調整パラメータが、ＳＤＲ表示とＨＤＲ表示とで特性が異なる画像にならない調整パラメータであると判定した場合、その第２の調整パラメータの再調整は必要ないと検知する。

さらに、検知部２１３は、第２の画像調整に用いる第２の調整パラメータの再調整が必要であると検知した場合、その旨をユーザに明示的に通知するように、表示部２１６に指示する。表示部２１６によるユーザに対する明示的な通知としては、例えば再調整が必要なことを表すテキストメッセージやアイコン等の表示、再調整が必要な第２の調整パラメータをそれぞれ表すテキストメッセージやアイコン等の表示等による通知が挙げられる。それら明示的な通知が行われることにより、ユーザは、第２の調整パラメータの再調整が必要であることを認識可能となり、第２の調整パラメータの再調整を行うことができるようになる。

また検知部２１３において第２の調整パラメータの再調整が必要と検知された場合、第２の調整部２１２は、当該再調整が必要と検知された第２の調整パラメータを消去する。また、第２の調整部２１２では、その消去した第２の調整パラメータに係る画像調整をクリアする（調整前の状態に戻す）。そして、操作部２１５を介したユーザの操作により第２の調整パラメータの再調整が行われた場合、第２の調整部２１２では、その再調整された第２の調整パラメータを適用した第２の画像調整を実行する。

図５は、本実施形態の検知部２１３において、第２の画像調整に用いる第２の調整パラメータの再調整が必要かどうかを検知する処理を実行するか、あるいは実行しないかを決定する処理のフローチャートである。なお、以下の説明では、各処理のステップＳ５０１，ステップＳ５０２をＳ５０１，Ｓ５０２と略記する。これらのことは後述する他のフローチャートにおいても同様であるとする。

Ｓ５０１において、検知部２１３は、ＳＤＲ画像調整モードからＨＤＲ画像調整モードへの切り替え、または、ＨＤＲ画像調整モードからＳＤＲ画像調整モードへの切り替えが実行されたかどうかを判定する。また、検知部２１３は、ＳＤＲ環境またはＨＤＲ環境に適した第１の調整パラメータがユーザにより調整されたかもしくは別途用意された第１の調整パラメータセットが設定されたかどうかを判定する。そして、画像調整モードの切り替え、あるいは、ＳＤＲ環境またはＨＤＲ環境に適した第１の調整パラメータの調整もしくは設定が行われていないと判定した場合、検知部２１３は、何もせずに図５のフローチャートの処理を終了する。

一方、Ｓ５０１において、画像調整モードの切り替え、あるいは、ＳＤＲ環境またはＨＤＲ環境に適した第１の調整パラメータの調整もしくは設定が行われたと判定した場合、検知部２１３は、Ｓ５０２に処理を進める。Ｓ５０２に進むと、検知部２１３は、第２の調整パラメータについて再調整が必要かどうかの検知処理を実行する。このＳ５０１の処理後、検知部２１３は、図５のフローチャートの処理を終了する。

図６は、検知部２１３が図５のＳ５０２で行う、第２の調整パラメータの再調整が必要かどうかの検知処理の流れを示したフローチャートである。
Ｓ６０１において、検知部２１３は、第２の調整部２１２における第２の画像調整の際に、ＳＤＲ表示された場合とＨＤＲ表示された場合とで特性が異なった画像になる第２の調整パラメータが調整されたかどうかを判定する。また、検知部２１３は、別途用意された第２の調整パラメータセットが設定された場合に、その第２の調整パラメータセットが、ＳＤＲ表示またはとＨＤＲ表示とで特性が異なった画像になる第２の調整パラメータセットであるかどうかを判定する。つまり、検知部２１３は、ＳＤＲ表示とＨＤＲ表示とで互換の無い調整パラメータが調整または設定されたか否かを判定する。言い換えると、検知部２１３は、第２の画像調整に使用可能な第２の調整パラメータのうち、第１の画像調整で行われたγ処理のγ特性に依存する第２の調整パラメータが調整または設定されたかどうかを判定する。第１の画像調整時のγ特性に依存する第２の調整パラメータとしては、例えば、ＲＧＢトーンカーブ調整や８軸等の色調整の調整パラメータなどが挙げられる。一方、ＳＤＲ表示された場合とＨＤＲ表示された場合とで特性が異ならない画像になる調整パラメータ、つまりＳＤＲ表示とＨＤＲ表示とで互換の有る調整パラメータは、第１の画像調整で行われたγ処理のγ特性に依存しない第２の調整パラメータとなる。第１の画像調整時のγ特性に依存しない第２の調整パラメータとしては、例えば、コピースタンプ処理、トリミング処理、回転処理、変倍処理等の調整パラメータが挙げられる。検知部２１３は、これらの第２の調整パラメータについては、再調整が必要になる調整パラメータとしては扱わない。

そして、Ｓ６０１において、ＳＤＲ表示とＨＤＲ表示とで特性が異なる画像になる第２の調整パラメータが調整または設定されていないと判定した場合、検知部２１３は、何もせずに図６のフローチャートの処理を終了する。
一方、Ｓ６０１において、ＳＤＲ表示とＨＤＲ表示とで特性が異なる画像になる第２の調整パラメータの調整または設定がなされたと判定した場合、検知部２１３は、Ｓ６０２に処理を進める。Ｓ６０２に進むと、検知部２１３は、その第２の調整パラメータについて再調整が必要であると判断（つまり検知）する。このＳ６０１の処理後、検知部２１３は、図６のフローチャートの処理を終了する。

図７は、検知部２１３で第２の調整パラメータの再調整が必要であることが検知された場合において、ユーザへの通知から調整パラメータの消去までの処理の流れを示すフローチャートである。
検知部２１３は、前述のように第２の調整パラメータの再調整が必要であることを検知した場合、Ｓ７０１において、その旨をユーザに明示的に通知するように、表示部２１６に指示する。この表示部２１６による明示的な通知により、ユーザは、第２の調整パラメータの再調整が必要であることを認識可能となる。

つぎにＳ７０２において、操作部２１５は、ユーザから再調整が必要であることについて同意を示す操作が入力されたかどうかを判定する。ユーザの同意を示す操作入力の具体例については後述する。そして、ユーザから調整パラメータの再調整について同意が得られなかったと判定された場合、第２の調整部２１２は、何もせずに図７のフローチャートの処理を終了する。

一方、Ｓ７０２で調整パラメータの再調整について同意が得られたと判定された場合、第２の調整部２１２は、Ｓ７０３に処理を進める。そして、Ｓ７０３に進むと、第２の調整部２１２は、第２の画像調整で扱われる第２の調整パラメータから、再調整が必要であると検知された第２の調整パラメータを消去し、その消去した第２の調整パラメータに係る画像調整をクリアする（調整前の状態に戻す）。このＳ７０３の処理後、第２の調整部２１２は、図６のフローチャートの処理を終了する。

図８は、検知部２１３で第２の調整パラメータの再調整が必要であることが検知された場合において、ユーザへの通知から調整パラメータの再調整が実行されて調整パラメータが保持されるまでの処理の流れを示すフローチャートである。
検知部２１３は、前述のように第２の調整パラメータの再調整が必要であることを検知した場合、Ｓ８０１において、前述のＳ７０１と同様に、その旨をユーザに明示的に通知するように、表示部２１６に指示する。さらに、Ｓ８０２において、前述のＳ７０２と同様に、操作部２１５は、ユーザから再調整が必要であることについて同意を示す操作が入力されたかどうかを判定する。そして、ユーザから調整パラメータの再調整について同意が得られなかったと判定された場合、第２の調整部２１２は、何もせずに図８のフローチャートの処理を終了する。

一方、Ｓ８０２で調整パラメータの再調整について同意が得られたと判定された場合、第２の調整部２１２は、Ｓ８０３に処理を進める。Ｓ８０３に進むと、第２の調整部２１２は、操作部２１５を介したユーザ操作に応じて再調整された第２の調整パラメータを用いた第２の画像調整を実行する。そして、保存部２１４は、調整パラメータの再調整が必要であると検知された第２の調整パラメータと、第２の調整部２１２で再調整された第２の調整パラメータとを、別々にＲＡＭ２０３に記憶する。つまり、保存部２１４は、再調整が行われる前後の第２の調整パラメータを別々のファイルとしてＲＡＭ２０３に記憶させる。このＳ８０３の処理後、第２の調整部２１２は、図８のフローチャートの処理を終了する。

図９（ａ）と図９（ｂ）は、第２の調整パラメータの再調整に関してユーザへの通知内容と前述した同意を求める内容を示したＧＵＩ例の図である。
図９（ａ）のＧＵＩ９０１は、ユーザに対して調整パラメータの再調整が必要である旨の通知メッセージの表示と、調整パラメータの再調整についてユーザに同意を求めるボタン（「はい」と「いいえ」のボタン）が表示された例を示している。このＧＵＩ９０１において、ユーザが「はい」ボタンを例えばクリックやタッチ等により選択した場合、操作部２１５は、ユーザが同意したと判定する。その後は、図示を省略しているが、第２の画像調整における調整パラメータの設定用のＧＵＩ等に遷移する。一方、ユーザが「いいえ」ボタンを選択した場合には、第２の調整部２１２では、何もせず終了する。

図９（ｂ）のＧＵＩ９０２は、前述した再調整が必要になる調整パラメータと再調整の必要がない調整パラメータとを列挙してユーザに通知するメッセージの表示と、その通知の内容をユーザが確認した場合に選択される「ＯＫ」ボタンが表示した例を示している。このＧＵＩ９０２において、ユーザが「ＯＫ」ボタンを例えばクリックやタッチ等した場合、操作部２１５は、ユーザがその説明内容を確認したと判定する。図９（ｂ）のＧＵＩ９０２の例では、再調整が必要になる調整パラメータとして「トーンカーブ」と「色調整」とが列挙され、再調整の必要がない調整パラメータとして「回転」と「トリミング」とが列挙されている。

以上説明したように、本実施形態においては、ＳＤＲ環境とＨＤＲ環境とで特性の異なる画像になる調整パラメータが調整されたとき、その調整パラメータの再調整が必要になることを検知してユーザに通知する。これにより、本実施形態によれば、画像調整で想定したのとは特性の異なる画像になる可能性を未然に防ぐことが可能となる。そして、その調整パラメータの再調整が行われることで、ＳＤＲ環境とＨＤＲ環境とにそれぞれ適した画像調整が行われるようになり、ＳＤＲ環境とＨＤＲ環境とでそれぞれの特性に合った画像の表示が可能となる。

なお、前述した特許文献１では、例えば画像調整時の環境とは異なる環境で表示されることになった段階で、ユーザに通知するようになされている。つまり特許文献１に記載の技術の場合には、本実施形態のように、画像調整が行われる時点で事前に、ユーザが想定しているのとは異なる特性の画像が表示されてしまう可能性があるかどうかを検知して通知するようなことは行っていない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：デジタルカメラ、２００：画像処理装置、２０１：ＣＰＵ、２０２：ＲＯＭ、２０３：ＲＡＭ、２１０：画像入力部、２１１：第１の調整部、２１２：第２の調整部、２１３：検知部、２１４：保存部、２１５：操作部、２１６：表示部

Claims (15)

1. ユーザからの画像調整モードの選択指示を取得する取得手段と、
   前記ユーザが標準ダイナミックレンジ画像調整モードを選択した場合に標準ダイナミックレンジに適したガンマ処理をＲＡＷ画像に対して実行し、前記ユーザがハイダイナミックレンジ画像調整モードを選択した場合にハイダイナミックレンジに適したガンマ処理を前記ＲＡＷ画像に対して実行する第１の調整手段と、
   前記ガンマ処理後の画像に対して、第２の画像調整を実行する第２の調整手段と、
   前記標準ダイナミックレンジ画像調整モードと前記ハイダイナミックレンジ画像調整モードとを切り替える操作が行われた場合に、前記第２の画像調整で用いた調整パラメータに関する通知を行う通知手段と、
   を有することを特徴とする画像処理装置。
2. 前記通知手段は、前記切り替える操作が行われた場合に、前記第２の画像調整で用いた調整パラメータの再調整が必要であることの通知を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記再調整が必要であるかどうかを検知する検知手段を有することを特徴とする請求項２に記載の画像処理装置。
4. 前記検知手段は、前記切り替える操作が行われた場合に、前記再調整が必要であるかどうかを検知する処理を実行することを特徴とする請求項３に記載の画像処理装置。
5. 前記検知手段は、前記標準ダイナミックレンジに適したガンマ処理と前記ハイダイナミックレンジに適したガンマ処理とを切り替えるような調整パラメータが前記第１の調整手段に設定された場合に、前記再調整が必要であるどうかを検知する処理を実行することを特徴とする請求項３に記載の画像処理装置。
6. 前記検知手段は、前記第２の画像調整で用いる調整パラメータが、前記標準ダイナミックレンジと前記ハイダイナミックレンジとで特性が異なる画像になる調整パラメータである場合に、前記再調整が必要であると検知することを特徴とする請求項３に記載の画像処理装置。
7. 前記検知手段は、前記第２の画像調整で用いる調整パラメータが、前記ガンマ処理後の画像のガンマ特性に依存する調整パラメータである場合に、前記再調整が必要であると検知することを特徴とする請求項６に記載の画像処理装置。
8. 前記ガンマ処理後の画像のガンマ特性に依存する調整パラメータは、トーンカーブの調整、及び色の調整のうちの、少なくとも一つの調整に、用いられる調整パラメータを含むことを特徴とする請求項７に記載の画像処理装置。
9. 前記検知手段は、前記第２の画像調整で用いる調整パラメータが、前記ガンマ処理後の画像のガンマ特性に依存しない調整パラメータである場合に、前記再調整が必要でないと検知することを特徴とする請求項７に記載の画像処理装置。
10. 前記ガンマ処理後の画像のガンマ特性に依存しない調整パラメータは、画像を回転する調整、画像を変倍する調整、画像内の領域をコピーして張り付ける調整、及び画像をトリミングする調整のうちの、少なくとも一つの調整に、用いられる調整パラメータを含むことを特徴とする請求項９に記載の画像処理装置。
11. 前記第２の調整手段は、前記検知手段により前記再調整が必要であると検知された調整パラメータを、前記通知手段による通知がなされた後に消去することを特徴とする請求項３に記載の画像処理装置。
12. 前記検知手段により前記再調整が必要であると検知された調整パラメータについて、前記再調整がなされる前の調整パラメータと前記再調整がなされた後の調整パラメータとを、保存する保存手段を有することを特徴とする請求項３に記載の画像処理装置。
13. 前記通知手段は、前記検知手段により前記再調整が必要であると検知された調整パラメータを列挙するようにして前記通知を行うことを特徴とする請求項３に記載の画像処理装置。
14. ユーザからの画像調整モードの選択指示を取得し、
    前記ユーザが標準ダイナミックレンジ画像調整モードを選択した場合に標準ダイナミックレンジに適したガンマ処理をＲＡＷ画像に対して実行し、
    前記ユーザがハイダイナミックレンジ画像調整モードを選択した場合にハイダイナミックレンジに適したガンマ処理を前記ＲＡＷ画像に対して実行し、
    前記ガンマ処理後の画像に対して、第２の画像調整を実行し、
    前記標準ダイナミックレンジ画像調整モードと前記ハイダイナミックレンジ画像調整モードとの切り替える操作が行われた場合に、前記第２の画像調整で用いた調整パラメータに関する通知を行う
    ことを含む画像処理方法。
15. コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段とし
    て機能させるためのプログラム。

Images