JP2018191243A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】好適なピント確認を可能にする技術を提供する。【解決手段】本発明の画像処理装置は、露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、を備える。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

被写体にピント（フォーカス）が合った撮像画像、被写体を意図的にぼかした撮像画像、等を得るために、ピント調整が行われる。また、撮像画像のエッジ（ピントが合っている被写体の輪郭）を検出し、エッジで囲まれた領域、すなわち被写体にピントが合っている領域を強調して撮像画像を表示する技術がある（特許文献１）。このような表示は、「ピーキング表示」などと呼ばれる。ピーキング表示により、ユーザは、ピント状態（ピント合わせの具合）を容易に確認することができ、ひいては好適なピント調整（好適なピント調整のための操作）を容易に行うことができる。

また、撮像画像のダイナミックレンジを拡張する処理として、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成がある。ＨＤＲ合成では、例えば、長時間露光画像と短時間露光画像の２枚の撮像画像が、当該２枚の撮像画像の各画像領域における輝度に基づいて合成される。長時間露光画像は、露光時間が長い撮像画像であり、短時間露光画像は、露光時間が短い撮像画像である。ＨＤＲ合成により、長時間露光画像と短時間露光画像のそれぞれのダイナミックレンジを拡張した画像（ＨＤＲ合成画像）を生成することができる。例えば、被写体の明暗差が大きくても、白とび（露光時間による受光データのオーバーシュート）、黒つぶれ（露光時間による受光データのアンダーシュート）、等が抑制されたＨＤＲ合成画像を生成することができる。

そして近年、撮影工程において撮像画像の出来栄えが大まかに確認され、撮影工程の後工程で撮像画像が詳細に補正されることがある。

特開２００９−２１９０２０号公報

しかしながら、ＨＤＲ合成画像では、長時間露光画像と短時間露光画像の合成によって、長時間露光画像と短時間露光画像のそれぞれの鮮鋭度からの鮮鋭度の低下が生じることがある。例えば、長時間露光画像では被写体ブレが生じやすいため、ＨＤＲ合成画像において、短時間露光画像の鮮鋭度からの鮮鋭度の低下が生じることがある。そのため、ＨＤＲ合成画像のピーキング表示を行っても、好適なピント確認（ピント状態の確認）を行えないことがある。

例えば、短時間露光画像で被写体にピントが合っており、画像処理でＨＤＲ合成画像の画質を向上できる場合において、ＨＤＲ合成画像のピーキング表示を行っても、短時間露光画像のエッジが表示されないことがある。そのような場合には、ユーザは、短時間露光画像で被写体にピントが合っていること、画像処理でＨＤＲ合成画像の画質を向上できること、等を把握することができない。

そこで、本発明は、好適なピント確認を可能にする技術を提供することを目的とする。

本発明の第１の態様は、
露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、
を備えることを特徴とする画像処理装置である。

本発明の第２の態様は、
露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出ステップと、
前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出ステップにおいて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出ステップの検出結果に基づく画像処理を行う処理ステップと、
を有することを特徴とする画像処理方法である。

本発明の第３の態様は、上述した画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、好適なピント確認が可能となる。

実施例１に係る表示装置の構成例を示すブロック図 実施例１に係る表示装置の処理フロー例を示すフローチャート 実施例１に係る短時間露光画像などの一例を示す図 実施例１に係る長時間露光画像などの一例を示す図 実施例１に係るＨＤＲ合成画像などの一例を示す図 実施例２に係る表示装置の構成例を示すブロック図 実施例２に係る表示装置の処理フロー例を示すフローチャート 実施例２に係る短時間露光画像などの一例を示す図 実施例２に係る長時間露光画像などの一例を示す図 実施例２に係るＨＤＲ合成画像などの一例を示す図 実施例２に係る他の表示装置の構成例を示すブロック図 実施例３に係る表示装置の構成例を示すブロック図 実施例３に係る表示装置の処理フロー例を示すフローチャート 実施例３に係る処理ピーキング画像などの一例を示す図 実施例４に係る表示装置の構成例を示すブロック図 実施例４に係る表示装置の処理の具体例を示す模式図

＜実施例１＞
以下、本発明の実施例１について説明する。以下では、本実施例に係る画像処理装置を備える表示装置の例を説明する。本実施例に係る表示装置は、画像を表示可能な装置であり、特に限定されない。例えば、表示装置は、液晶表示装置、有機ＥＬ表示装置、プラズマ表示装置、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）シャッター方式表示装置、等である。表示装置は、投影装置（プロジェクタ）、パーソナルコンピュータ、ＰＤＡ、タブレット端末、携帯電話端末（スマートフォンを含む
）、テレビジョン装置、撮像装置（デジタルカメラ）、デジタルフォトフレーム、ゲーム機、家電装置、車載装置、等でもよい。本実施例に係る画像処理装置は、表示装置とは別体の装置であってもよい。

図１は、本実施例に係る表示装置１０の構成例を示すブロック図である。表示装置１０は、画像記憶部２０、ＨＤＲ合成部３０、画像選択部４０、露光時間判断部５０、ピーキング画像生成部６０、画像合成部７０、表示部８０、及び、制御部９０を備える。

画像記憶部２０は、画像（画像データ）を記憶する。画像記憶部２０として、磁気ディスク、半導体メモリ、光ディスク、等を用いることができる。画像記憶部２０は、表示装置１０に内蔵されていてもよいし、表示装置１０に対して着脱可能であってもよい。

本実施例では、１枚のＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）合成画像の元となる複数の元画像が、画像記憶部２０に予め記録されている。複数の元画像のそれぞれは撮像画像である。撮像画像は、撮像によって生成された画像であり、被写体を表す画像である。複数の元画像の間で、画角（撮像範囲）、構図、等は略等しい（「略」は「完全」を含む）。しかし、複数の元画像の間で、露出条件は互いに異なる。露出条件は露光時間を含む。具体的には、露出条件は、ゲイン（ＩＳＯ感度）、シャッター速度、及び、絞りの少なくともいずれかを含む。そのため、複数の元画像の間で、輝度、階調性、等は互いに異なる。ＨＤＲ合成画像は、複数の元画像のそれぞれのダイナミックレンジ（輝度レンジ）を拡張した画像（拡張画像）である。ＨＤＲ合成画像と複数の元画像との間で、画角、構図、等は略等しい。

具体的には、長時間露光画像と短時間露光画像の２枚の元画像が、画像記憶部２０に予め記録されている。長時間露光画像は、露光時間が長い元画像であり、短時間露光画像は、露光時間が短い元画像である。長時間露光画像の露光時間は、短時間露光画像の露光時間よりも長い。

ＨＤＲ合成部３０は、画像記憶部２０から複数の元画像を取得し、ＨＤＲ合成によってＨＤＲ合成画像を生成し、ＨＤＲ合成画像を出力する。ＨＤＲ合成では、複数の元画像が合成される。例えば、ＨＤＲ合成では、複数の元画像が、当該複数の元画像の各画像領域における輝度に基づいて合成される。本実施例では、ＨＤＲ合成部３０は、画像記憶部２０から短時間露光画像と長時間露光画像を取得し、ＨＤＲ合成によって短時間露光画像と長時間露光画像からＨＤＲ合成画像を生成する。なお、複数の元画像は３枚以上の元画像であってもい。そして、ＨＤＲ合成によって３枚以上の元画像から１枚のＨＤＲ合成画像が生成されてもよい。

画像選択部４０は、画像記憶部２０から複数の元画像を取得し、露光時間判断部５０の判断結果に従って複数の元画像のいずれかを選択し、選択した元画像を出力する。本実施例では、画像選択部４０は、複数の元画像のうち、露光時間が最も短い元画像を選択する。具体的には、画像選択部４０は、画像記憶部２０から短時間露光画像と長時間露光画像を取得し、短時間露光画像を選択する。

露光時間判断部５０は、画像記憶部２０から複数の元画像を取得し、複数の元画像の露光時間を判断し、判断結果を出力する。例えば、露光時間判断部５０は、元画像のＥＸＩＦヘッダ情報に記述されているシャッタースピードから、当該元画像の露光時間を判断する。本実施例では、露光時間判断部５０は、複数の元画像のうち、露光時間が最も短い元画像を示す情報を、判断結果として出力する。具体的には、露光時間判断部５０は、画像記憶部２０から短時間露光画像と長時間露光画像を取得し、短時間露光画像を示す情報を判断結果として出力する。なお、露光時間判断部５０は、複数の元画像のそれぞれの露光
時間を示す情報を、判断結果として出力してもよい。

ピーキング画像生成部６０は、複数の元画像の少なくともいずれかからエッジ（ピント（フォーカス）が合っている被写体の輪郭）を検出し、検出したエッジを表すピーキング画像（エッジ画像）を生成し、ピーキング画像を出力する。本実施例では、ピーキング画像生成部６０は、複数の元画像のうち、露光時間が最も短い元画像からエッジを検出する。具体的には、ピーキング画像生成部６０は、画像選択部４０から短時間露光画像を取得し、短時間露光画像からエッジを検出する。

なお、画像選択部４０は、露光時間が最も短い元画像でない元画像を選択してもよい。そして、ピーキング画像生成部６０は、露光時間が最も短い元画像でない元画像からエッジを検出してもよい。画像選択部４０は、画像選択部４０は、Ｎ枚（Ｎは３以上の整数）の元画像のうちｎ枚（ｎは２以上かつＮ以下の整数）を選択してもよい。そして、ピーキング画像生成部６０は、選択されたｎ枚の元画像のそれぞれからエッジを検出してもよい。

画像合成部７０は、ＨＤＲ合成画像をユーザに知覚させるための表示が行われる場合に、ピーキング画像生成部６０で検出されたエッジを表すエッジ画像がＨＤＲ合成画像に重ねられるように、ピーキング画像生成部６０の検出結果に基づく画像処理を行う。それにより、処理画像が生成される。そして、画像合成部７０は、処理画像を出力する。本実施例では、画像合成部７０は、ＨＤＲ合成部３０から出力されたＨＤＲ合成画像に、ピーキング画像生成部６０から出力されたピーキング画像（エッジ画像）を合成する。

なお、ピーキング画像生成部６０の検出結果に基づく画像処理は、ピーキング画像を合成する画像処理でなくてもよい。例えば、ピーキング画像が生成されずに、画像合成部７０が、ＨＤＲ合成部３０から出力されたＨＤＲ合成画像の画素値を、ピーキング画像生成部６０の検出結果に基づいて変更してもよい。

本実施例では、ＨＤＲ合成画像をユーザに知覚させるための表示は、ＨＤＲ合成部３０から出力されたＨＤＲ合成画像に基づく表示である。そして、ピーキング画像生成部６０の検出結果に基づく画像処理は、ＨＤＲ合成部３０から出力されたＨＤＲ合成画像に対する画像処理である。しかし、ＨＤＲ合成画像をユーザに知覚させるための表示は、ＨＤＲ合成部３０から出力されたＨＤＲ合成画像に基づく表示に限られない。そして、ピーキング画像生成部６０の検出結果に基づく画像処理は、ＨＤＲ合成部３０から出力されたＨＤＲ合成画像に対する画像処理に限られない。例えば、複数の元画像を順番に表示する処理の繰り返しによっても、ＨＤＲ合成画像をユーザに知覚させることができる。その場合には、ピーキング画像生成部６０の検出結果に基づく画像処理として、複数の元画像のそれぞれに対する画像処理が行われてもよい。

表示部８０は、画像合成部７０から出力された処理画像を画面に表示する。

制御部９０は、表示装置１０の各機能部の処理を制御する。制御部９０は、ＣＰＵ（中央演算処理装置）、メモリ、等より構成されている。

図２は、表示装置１０の処理フロー例を示すフローチャートである。

まず、Ｓ１０にて、ＨＤＲ合成部３０、画像選択部４０、及び、露光時間判断部５０のそれぞれは、画像記憶部２０から、短時間露光画像と長時間露光画像を取得する。図３（Ａ），３（Ｂ）は、短時間露光画像の一例を示し、図４（Ａ），４（Ｂ）は、長時間露光画像の一例を示す。図３（Ｂ）では、図３（Ａ）の短時間露光画像における合焦領域（被
写体にピントが合っている領域）が、太線で示されている。図４（Ｂ）では、図４（Ａ）の長時間露光画像における合焦領域が、太線で示されている。長時間露光画像では被写体ブレ、白とび、等が生じやすく、短時間露光画像では長時間露光画像に比べ被写体ブレ、白とび、等が生じにくい。そのため、図３（Ｂ），４（Ｂ）に示すように、図３（Ａ）の短時間露光画像における合焦領域は、図４（Ａ）の長時間露光画像における合焦領域よりも多い。具体的には、図３（Ｂ）に示すように、図３（Ａ）の短時間露光画像では、家の全領域、木の全領域、及び、人物の全領域が合焦領域である。一方で、図４（Ｂ）に示すように、図４（Ａ）の長時間露光画像では、木の一部の領域と人物の全領域とが合焦領域でない。

次に、Ｓ２０にて、ＨＤＲ合成部３０は、Ｓ１０で取得した２枚の元画像（短時間露光画像と長時間露光画像）を合成することにより、ＨＤＲ合成画像を生成する。例えば、ＨＤＲ合成部３０は、図３（Ａ）の短時間露光画像と図４（Ａ）の長時間露光画像を合成する。図５（Ａ）は、図３（Ａ）の短時間露光画像と図４（Ａ）の長時間露光画像を合成したＨＤＲ合成画像の一例を示す。

そして、Ｓ３０にて、露光時間判断部５０は、Ｓ１０で取得した２枚の元画像のそれぞれの露光時間を判断する。そして、露光時間判断部５０は、各元画像の露光時間に基づいて、上記２枚の元画像から短時間露光画像を検出する。例えば、露光時間判断部５０は、図３（Ａ）の短時間露光画像を検出する。

次に、Ｓ４０にて、画像選択部４０は、Ｓ１０で取得した２枚の元画像のうち、Ｓ３０で検出された短時間露光画像を選択する。例えば、画像選択部４０は、図３（Ａ）の短時間露光画像を選択する。

そして、Ｓ５０にて、ピーキング画像生成部６０は、Ｓ４０で選択された短時間露光画像からエッジを検出し、ピーキング画像を生成する。例えば、ピーキング画像生成部６０は、図３（Ａ）の短時間露光画像から、図３（Ｂ）の太線によって示された領域を表すピーキング画像を生成する。図３（Ｃ）は、図３（Ａ）の短時間露光画像から生成されたピーキング画像の一例を示す。

次に、Ｓ６０にて、画像合成部７０は、Ｓ２０で生成されたＨＤＲ合成画像に、Ｓ５０で生成されたピーキング画像を合成する。それにより、処理画像が生成される。例えば、画像合成部７０は、図５（Ａ）のＨＤＲ合成画像に図３（Ｃ）のピーキング画像を合成する。図５（Ｂ）は、図５（Ａ）のＨＤＲ合成画像に図３（Ｃ）のピーキング画像を合成した処理画像の一例を示す。

そして、Ｓ７０にて、表示部８０は、Ｓ６０で生成された処理画像を表示する。例えば、表示部８０は、図５（Ｂ）の処理画像を表示する。

以上述べたように、本実施例によれば、被写体ブレ、白とび、等が生じにくい短時間露光画像のピーキング画像をＨＤＲ合成画像に重ねたような表示が行われる。そのため、好適なピント確認が可能となる。例えば、短時間露光画像でのみ被写体にピントが合っており、画像処理でＨＤＲ合成画像の画質を向上できる場合において、ユーザは、画像処理でＨＤＲ合成画像の画質を向上できることを把握することができる。

なお、上述したように、露光時間が最も短い元画像でない元画像からエッジが検出されてもよい。例えば、長時間露光画像からエッジが検出されてもよい。露光時間が短い元画像では黒つぶれが生じやすい。そのため、長時間露光画像でのみ被写体にピントが合うことがある。長時間露光画像からエッジを検出することにより、長時間露光画像でのみ被写
体にピントが合っており、画像処理でＨＤＲ合成画像の画質を向上できる場合において、ユーザは、画像処理でＨＤＲ合成画像の画質を向上できることを把握することができる。

なお、複数の元画像のそれぞれは、静止画であってもよいし、動画の１フレームであってもよい。動画の複数のフレームのそれぞれについて、上述した処理が行われてもよい。

＜実施例２＞
以下、本発明の実施例２について説明する。なお、以下では、実施例１と異なる点（構成、処理、等）について詳しく説明し、実施例１と同じ点についての説明は省略する。図６は、本実施例に係る表示装置１００の構成例を示すブロック図である。表示装置１００は、画像記憶部２０、ＨＤＲ合成部３０、ピーキング画像生成部６０，６１、画像合成部７０、表示部８０、制御部９０、及び、ピーキング画像合成部１１０を備える。

ピーキング画像生成部６０，６１により、複数の元画像のそれぞれからエッジが検出され、複数の元画像にそれぞれ対応する複数のピーキング画像が生成される。本実施例では、ピーキング画像生成部６０は、短時間露光画像と長時間露光画像の一方を画像記憶部２０から取得し、取得した元画像からエッジを検出し、検出したエッジを表すピーキング画像を生成し、生成したピーキング画像を出力する。ピーキング画像生成部６１は、短時間露光画像と長時間露光画像の他方を画像記憶部２０から取得し、取得した元画像からエッジを検出し、検出したエッジを表すピーキング画像を生成し、生成したピーキング画像を出力する。

ピーキング画像合成部１１０は、複数の元画像にそれぞれ対応する複数のピーキング画像のＯＲ合成を行う。ＯＲ合成により、複数のピーキング画像の少なくともいずれかで表されているエッジを表す画像（合成ピーキング画像）が生成される。本実施例では、ピーキング画像合成部１１０は、ピーキング画像生成部６０，６１から出力された２枚のピーキング画像のＯＲ合成を行う。そして、ピーキング画像合成部１１０は、合成ピーキング画像を出力する。

画像合成部７０は、複数の元画像にそれぞれ対応する複数のピーキング画像がＨＤＲ合成画像に重ねられるように、画像処理を行う。本実施例では、画像合成部７０は、ピーキング画像合成部１１０から出力された合成ピーキング画像をピーキング画像として用いて、実施例１の処理と同様の処理を行う。なお、合成ピーキング画像が生成されずに、画像合成部７０が、ピーキング画像生成部６０，６１の検出結果に基づいて処理画像を生成してもよい。

図７は、表示装置１００の処理フロー例を示すフローチャートである。

まず、Ｓ１０にて、ＨＤＲ合成部３０は、画像記憶部２０から、短時間露光画像と長時間露光画像を取得する。ピーキング画像生成部６０は、画像記憶部２０から、短時間露光画像と長時間露光画像の一方を取得する。そして、ピーキング画像生成部６１は、画像記憶部２０から、短時間露光画像と長時間露光画像の他方を取得する。

図８（Ａ），８（Ｂ）は、短時間露光画像の一例を示し、図９（Ａ），９（Ｂ）は、長時間露光画像の一例を示す。図８（Ｂ）では、図８（Ａ）の短時間露光画像における合焦領域が、太線で示されている。図９（Ｂ）では、図９（Ａ）の長時間露光画像における合焦領域が、太線で示されている。図８（Ｂ）に示すように、図８（Ａ）の短時間露光画像では、人物の全領域が合焦領域でない。そして、図９（Ｂ）に示すように、図９（Ａ）の長時間露光画像では、木の一部の領域が合焦領域でない。

次に、Ｓ２０にて、ＨＤＲ合成部３０は、Ｓ１０で取得した２枚の元画像（短時間露光画像と長時間露光画像）を合成することにより、ＨＤＲ合成画像を生成する。例えば、ＨＤＲ合成部３０は、図８（Ａ）の短時間露光画像と図９（Ａ）の長時間露光画像を合成する。図１０（Ａ）は、図８（Ａ）の短時間露光画像と図９（Ａ）の長時間露光画像を合成したＨＤＲ合成画像の一例を示す。

そして、Ｓ５０にて、ピーキング画像生成部６０，６１は、Ｓ１０で取得した２枚の元画像のそれぞれからエッジを検出し、２枚の元画像にそれぞれ対応する２枚のピーキング画像を生成する。例えば、ピーキング画像生成部６０は、図８（Ａ）の短時間露光画像から、図８（Ｂ）の太線によって示された領域を表すピーキング画像を生成する。図８（Ｃ）は、図８（Ａ）の短時間露光画像から生成されたピーキング画像の一例を示す。そして、ピーキング画像生成部６１は、図９（Ａ）の長時間露光画像から、図９（Ｂ）の太線によって示された領域を表すピーキング画像を生成する。図９（Ｃ）は、図９（Ａ）の長時間露光画像から生成されたピーキング画像の一例を示す。

次に、Ｓ５５にて、ピーキング画像合成部１１０は、Ｓ５０で生成された２枚のピーキング画像のＯＲ合成を行うことにより、合成ピーキング画像を生成する。例えば、ピーキング画像合成部１１０は、図８（Ｃ）のピーキング画像と図９（Ｃ）のピーキング画像のＯＲ合成を行う。図１０（Ｂ）は、図８（Ｃ）のピーキング画像と図９（Ｃ）のピーキング画像のＯＲ合成によって生成された合成ピーキング画像の一例を示す。

上述したように、図８（Ａ）の短時間露光画像では、人物の全領域が合焦領域でない。そのため、図８（Ｃ）のピーキング画像では、人物の全領域が表されていない。そして、図９（Ａ）の長時間露光画像では、木の一部の領域が合焦領域でない。そのため、図９（Ｃ）のピーキング画像では、木の一部の領域が表されていない。一方で、図１０（Ｂ）の合成ピーキング画像では、人物の全領域も木の全領域も表されている。

そして、Ｓ６０にて、画像合成部７０は、Ｓ２０で生成されたＨＤＲ合成画像に、Ｓ５５で生成された合成ピーキング画像を合成する。それにより、処理画像が生成される。例えば、画像合成部７０は、図１０（Ａ）のＨＤＲ合成画像に図１０（Ｂ）の合成ピーキング画像を合成する。図１０（Ｃ）は、図１０（Ａ）のＨＤＲ合成画像に図１０（Ｂ）の合成ピーキング画像を合成した処理画像の一例を示す。

次に、Ｓ７０にて、表示部８０は、Ｓ６０で生成された処理画像を表示する。例えば、表示部８０は、図１０（Ｃ）の処理画像を表示する。

以上述べたように、本実施例によれば、複数の元画像にそれぞれ対応する複数のピーキング画像をＨＤＲ合成画像に重ねたような表示が行われる。そのため、より好適なピント確認が可能となる。例えば、複数の元画像の少なくともいずれかで被写体にピントが合っており、画像処理でＨＤＲ合成画像の画質を向上できる場合において、ユーザは、画像処理でＨＤＲ合成画像の画質を向上できることを把握することができる。また、ユーザは、複数の元画像の少なくともいずれかで被写体にピントが合っている全ての画像領域を把握することができ、画像処理でＨＤＲ合成画像の画質を向上できる全ての画像領域を把握することができる。

なお、実施例１で述べたように、ＨＤＲ合成によって３枚以上の元画像から１枚のＨＤＲ合成画像が生成されてもよい。その場合には、例えば、元画像の数と同じ数のピーキング画像生成部により、３枚以上の元画像のそれぞれからエッジが検出される。そして、３枚以上の元画像にそれぞれ対応する３枚以上のピーキング画像のＯＲ合成により、合成ピーキング画像が生成される。複数の元画像のそれぞれからエッジを検出する処理は、１つ
の機能部で行われてもよい。

図１１は、３枚の元画像Ｏ１〜Ｏ３から１枚のＨＤＲ合成画像を生成する表示装置１５０の構成例を示すブロック図である。表示装置１５０は、図６の表示装置１００が備える複数の機能部と、ピーキング画像生成部６２とを備える。ピーキング画像生成部６０は元画像Ｏ１からピーキング画像を生成し、ピーキング画像生成部６１は元画像Ｏ２からピーキング画像を生成し、ピーキング画像生成部６２は元画像Ｏ３からピーキング画像を生成する。ピーキング画像合成部１１０は、３つのピーキング画像のＯＲ合成を行うことにより、合成ピーキング画像を生成する。

＜実施例３＞
以下、本発明の実施例３について説明する。なお、以下では、実施例２と異なる点について詳しく説明し、実施例２と同じ点についての説明は省略する。図１２は、本実施例に係る表示装置２００の構成例を示すブロック図である。表示装置２００は、画像記憶部２０、ＨＤＲ合成部３０、ピーキング画像生成部６０，６１、画像合成部７０、表示部８０、制御部９０、ピーキング画像合成部１１０、及び、画像処理部２１０，２１１を備える。

画像処理部２１０，２１１により、複数の元画像にそれぞれ対応する複数のピーキング画像のそれぞれに異なる画像処理が施される。本実施例では、画像処理部２１０は、ピーキング画像生成部６０から出力されたピーキング画像に画像処理を施すことにより処理ピーキング画像を生成し、当該ピーキング画像を出力する。画像処理部２１１は、ピーキング画像生成部６１から出力されたピーキング画像に画像処理を施すことにより処理ピーキング画像を生成し、当該ピーキング画像を出力する。

ピーキング画像合成部１１０は、複数の元画像にそれぞれ対応する複数の処理ピーキング画像のＯＲ合成を行うことにより、合成ピーキング画像を生成する。本実施例では、ピーキング画像合成部１１０は、画像処理部２１０，２１１から出力された２枚の処理ピーキング画像のＯＲ合成を行う。そして、ピーキング画像合成部１１０は、合成ピーキング画像を出力する。

画像合成部７０は、複数の元画像にそれぞれ対応する複数のピーキング画像が互いに異なる態様でＨＤＲ合成画像に重ねられるように、画像処理を行う。本実施例では、画像合成部７０の処理は、実施例２の処理と同じである。但し、本実施例では、複数の元画像にそれぞれ対応する複数のピーキング画像のそれぞれに異なる画像処理を施すことにより、複数の処理ピーキング画像が生成される。そして、複数の処理ピーキング画像のＯＲ合成によって、合成ピーキング画像が生成される。そのため、処理画像として、複数のピーキング画像が互いに異なる態様でＨＤＲ合成画像に重ねられた画像が生成される。例えば、複数のピーキング画像の間で、エッジの線種、エッジの色、エッジで囲まれた領域の色、及び、エッジで囲まれた領域のパターン（ゼブラパターンなど）の少なくともいずれかが異なる処理画像が生成される。

図１３は、表示装置２００の処理フロー例を示すフローチャートである。Ｓ１０からＳ５０までの処理は、実施例２の処理と同じである。

Ｓ５０の次に、Ｓ５２にて、画像処理部２１０，２１１は、Ｓ５０で生成された２枚のピーキング画像のそれぞれに異なる画像処理を施すことにより、２枚の処理ピーキング画像を生成する。例えば、画像処理部２１０は、図８（Ｃ）のピーキング画像に画像処理を施すことにより、処理ピーキング画像を生成する。図１４（Ａ）は、図８（Ｃ）のピーキング画像に画像処理を施した処理ピーキング画像の一例を示す。図１４（Ａ）の処理ピー
キング画像では、エッジが実線で示されている。そして、画像処理部２１１は、図９（Ｃ）のピーキング画像に画像処理を施すことにより、処理ピーキング画像を生成する。図１４（Ｂ）は、図９（Ｃ）のピーキング画像に画像処理を施した処理ピーキング画像の一例を示す。図１４（Ｂ）の処理ピーキング画像では、エッジが破線で示されている。

次に、Ｓ５５にて、ピーキング画像合成部１１０は、Ｓ５２で生成された２枚の処理ピーキング画像のＯＲ合成を行うことにより、合成ピーキング画像を生成する。例えば、ピーキング画像合成部１１０は、図１４（Ａ）の処理ピーキング画像と図１４（Ｂ）の処理ピーキング画像のＯＲ合成を行う。図１４（Ｃ）は、図１４（Ａ）のピーキング画像と図１４（Ｂ）のピーキング画像のＯＲ合成によって生成された合成ピーキング画像の一例を示す。

実施例２で述べたように、図８（Ｃ）のピーキング画像では、人物の全領域が表されておらず、図９（Ｃ）のピーキング画像では、木の一部の領域が表されていない。一方で、図１４（Ｃ）の合成ピーキング画像では、人物の全領域も木の全領域も表されている。さらに、図１４（Ｃ）の合成ピーキング画像では、図８（Ａ）の短時間露光画像のみの合焦領域と、図９（Ａ）の長時間露光画像のみの合焦領域とが、異なる態様で表されている。具体的には、図８（Ａ）の短時間露光画像のみの合焦領域が実線で示されており、図９（Ａ）の長時間露光画像のみの合焦領域が破線で示されている。図８（Ａ）の短時間露光画像と図９（Ａ）の長時間露光画像とで共通の合焦領域は、実線で示されている。これは、図９（Ａ）の長時間露光画像の合焦領域を示す破線に、図８（Ａ）の短時間露光画像の合焦領域を示す実線が重なるためである。

そして、Ｓ６０にて、画像合成部７０は、Ｓ２０で生成されたＨＤＲ合成画像に、Ｓ５５で生成された合成ピーキング画像を合成する。それにより、処理画像が生成される。例えば、画像合成部７０は、図１０（Ａ）のＨＤＲ合成画像に図１４（Ｃ）の合成ピーキング画像を合成する。図１４（Ｄ）は、図１０（Ａ）のＨＤＲ合成画像に図１４（Ｃ）の合成ピーキング画像を合成した処理画像の一例を示す。

次に、Ｓ７０にて、表示部８０は、Ｓ６０で生成された処理画像を表示する。例えば、表示部８０は、図１４（Ｄ）の処理画像を表示する。

以上述べたように、本実施例によれば、複数の元画像にそれぞれ対応する複数のピーキング画像を互いに異なる態様でＨＤＲ合成画像に重ねたような表示が行われる。それにより、より好適なピント確認が可能となる。例えば、実施例２と同様の効果を得ることができる。さらに、ユーザは、ピーキング画像の態様を確認することにより、複数の元画像のうち、被写体にピントが合っている元画像を容易に把握することができる。その結果、ユーザは、ＨＤＲ合成画像の画質を向上するための作業をより容易に行うことができる。

＜実施例４＞
以下、本発明の実施例４について説明する。なお、以下では、実施例２と異なる点について詳しく説明し、実施例２と同じ点についての説明は省略する。図１５は、本実施例に係る表示装置３００の構成例を示すブロック図である。表示装置３００は、ピーキング画像生成部６０、画像合成部７０、表示部８０、ピーキング画像合成部１１０、画像入力部３１０、及び、ピーキング画像記憶部３２０を備える。

表示装置３００は、露出条件が互いに異なる複数のフレームが繰り返される撮像動画（動画データ）を外部から取得し、取得した撮像動画に基づく動画を表示する。撮像動画は、撮像によって生成された動画であり、被写体を表す動画である。露出条件が互いに異なる複数のフレームは、実施例１〜３の複数の元画像に対応する。そして、上記撮像動画を
ユーザが見た場合において、ユーザは、各フレームがＨＤＲ合成画像である動画を知覚する。そのため、上記撮像動画は、「疑似ＨＤＲ動画」とも言える。

本実施例では、表示装置３００において、疑似ＨＤＲ動画の複数のフレームにそれぞれ対応する複数の処理が順番に行われる。以後、処理対象のフレームを「対象フレーム」と記載し、対象フレームに対応する処理について説明する。

画像入力部３１０は、表示装置３００の外部から対象フレームを取得し、対象フレームを出力する。画像入力部３１０は、例えば、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）端子である。

本実施例では、対象フレームについて、対象フレームを含み、且つ、連続する複数のフレームの少なくともいずれかからエッジが検出される。具体的には、ピーキング画像生成部６０は、対象フレームからエッジを検出し、検出したエッジを表すピーキング画像を生成し、ピーキング画像を出力する。ピーキング画像記憶部３２０は、ピーキング画像生成部６０から出力されたピーキング画像を、１フレーム期間だけ記憶する。そして、ピーキング画像記憶部３２０は、対象フレームに対応する処理のために、対象フレームの１つ前のフレームである前フレームから生成されたピーキング画像を出力する。従って、本実施例では、対象フレームについて、対象フレームと前フレームのそれぞれからエッジが検出される。ピーキング画像記憶部３２０として、磁気ディスク、半導体メモリ、等を用いることができる。

なお、対象フレームについて、３つ以上のフレームのそれぞれからエッジが検出されてもよい。対象フレームについて、３つ以上のフレームにそれぞれ対応する３枚以上のピーキング画像が生成されてもよい。対象フレームについて、１つのフレームのみからエッジが検出されてもよい。例えば、対象フレームについて、対象フレームのみからエッジが検出されてもよい。対象フレームについて、短時間露光画像のフレームのみからエッジが検出されてもよい。対象フレームについて、長時間露光画像のフレームのみからエッジが検出されてもよい。

ピーキング画像合成部１１０は、対象フレームについて生成された複数のピーキング画像のＯＲ合成を行うことにより、合成ピーキング画像を生成する。そして、ピーキング画像合成部１１０は、合成ピーキング画像を出力する。本実施例では、ピーキング画像合成部１１０は、対象フレームに対応するピーキング画像をピーキング画像生成部６０から取得し、前フレームに対応するピーキング画像をピーキング画像記憶部３２０から取得する。そして、ピーキング画像合成部１１０は、取得した２枚のピーキング画像のＯＲ合成を行う。

画像合成部７０は、対象フレームについて検出されたエッジを表すピーキング画像がＨＤＲ合成画像に重ねられるように、対象フレームについての検出結果（エッジの検出結果）に基づく画像処理を、対象フレームに対して行う。それにより、対象フレームに対応する処理画像が生成される。そして、画像合成部７０は、対象フレームに対応する処理画像を出力する。本実施例では、画像合成部７０は、対象フレームに対応するピーキング画像と、前フレームに対応するピーキング画像とがＨＤＲ合成画像に重ねられるように、対象フレームについての検出結果に基づく画像処理を、対象フレームに対して行う。具体的には、画像合成部７０は、ピーキング画像合成部１１０から出力された合成ピーキング画像を対象フレームに合成する。

表示部８０は、対象フレームに対応する処理画像を表示する。

図１６は、表示装置３００の処理の具体例を示す模式図である。図１６の例では、疑似ＨＤＲ動画において短時間露光画像と長時間露光画像が交互に繰り返されている。

時刻Ｔ１では、画像入力部３１０は、長時間露光画像ｃを表示装置３００の外部から取得し、長時間露光画像ｃを出力する。ピーキング画像記憶部３２０は、時刻Ｔ０において表示装置３００の外部から取得された短時間露光画像ａのピーキング画像ｂを記憶しており、ピーキング画像ｂを出力する。ピーキング画像生成部６０は、長時間露光画像ｃからピーキング画像ｄを生成する。ピーキング画像合成部１１０は、ピーキング画像ｂとピーキング画像ｄを合成することにより、合成ピーキング画像ｅを生成する。画像合成部７０は、合成ピーキング画像ｅを長時間露光画像ｃに合成することにより、処理画像ｆを生成する。そして、表示部８０は、処理画像ｆを表示する。ピーキング画像ｄは、ピーキング画像記憶部３２０に記録され、時刻Ｔ２においても使用される。

ここで、短時間露光画像ａが図８（Ａ）の短時間露光画像であり、且つ、長時間露光画像ｃが図９（Ａ）の長時間露光画像である場合を考える。この場合には、ピーキング画像ｂとして図８（Ｃ）のピーキング画像が得られ、ピーキング画像ｄとして図９（Ｃ）のピーキング画像が得られ、合成ピーキング画像ｅとして図１０（Ｂ）の合成ピーキング画像が得られる。そして、処理画像ｄとして、図１０（Ｃ）の処理画像が得られる。その結果、実施例２と同様の効果が得られる。

以上述べたように、本実施例によれば、対象フレームについて検出されたエッジを表すエッジ画像をＨＤＲ合成画像に重ねたような表示が行われるため、好適なピント確認が可能となる。例えば、疑似ＨＤＲ動画に基づく動画を表示する場合において、実施例２と同様の効果が得られる。

実施例１〜４の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

実施例１〜４はあくまで一例であり、本発明の要旨の範囲内で実施例１〜４の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。実施例１〜４の構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、実施例４において、実施例２と同様の処理ではなく、実施例１または実施例３と同様の処理が行われてもよい。

＜その他の実施例＞
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０，１００，１５０，２００，３００：表示装置
６０，６１，６２：ピーキング画像生成部 ７０：画像合成部

Claims (13)

1. 露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出手段と、
   前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出手段によって検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出手段の検出結果に基づく画像処理を行う処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記露出条件は露光時間を含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記複数の撮像画像のうち、露光時間が最も短い撮像画像からエッジを検出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記複数の撮像画像のそれぞれからエッジを検出し、
   前記処理手段は、前記複数の撮像画像にそれぞれ対応する複数のエッジ画像が前記拡張画像に重ねられるように、前記画像処理を行う
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
5. 前記処理手段は、前記複数の撮像画像にそれぞれ対応する複数のエッジ画像が互いに異なる態様で前記拡張画像に重ねられるように、前記画像処理を行う
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記複数のエッジ画像の間で、エッジの線種、エッジの色、エッジで囲まれた領域の色、及び、エッジで囲まれた領域のパターンの少なくともいずれかが異なる
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記複数の撮像画像を合成することにより前記拡張画像を生成する生成手段、をさらに備え、
   前記画像処理は、前記拡張画像に対する画像処理である
   ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
8. 前記検出手段は、前記露出条件が互いに異なる複数のフレームが繰り返される撮像動画の各フレームについて、そのフレームである対象フレームを含み、且つ、連続する複数のフレームの少なくともいずれかからエッジを検出し、
   前記処理手段は、前記撮像動画の各フレームについて、前記対象フレームについて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記対象フレームについての検出結果に基づく画像処理を、前記対象フレームに対して行う
   ことを特徴とする請求項１乃至請求項６のいずれか１項に記載の画像処理装置。
9. 前記検出手段は、前記露出条件が互いに異なる複数のフレームが繰り返される撮像動画の各フレームについて、そのフレームである対象フレームと、前記対象フレームの１つ前のフレームである前フレームとのそれぞれからエッジを検出し、
   前記処理手段は、前記撮像動画の各フレームについて、前記対象フレームに対応するエッジ画像と、前記前フレームに対応するエッジ画像とが前記拡張画像に重ねられるように、前記対象フレームについての検出結果に基づく画像処理を、前記対象フレームに対して行う
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
10. 前記画像処理は、前記エッジ画像を合成する画像処理である
    ことを特徴とする請求項１乃至請求項９のいずれか１項に記載の画像処理装置。
11. 前記検出手段は、前記エッジ画像を生成する
    ことを特徴とする請求項１乃至請求項１０のいずれか１項に記載の画像処理装置。
12. 露出条件が互いに異なる複数の撮像画像の少なくともいずれかからエッジを検出する検出ステップと、
    前記複数の撮像画像のそれぞれのダイナミックレンジを拡張した拡張画像をユーザに知覚させるための表示が行われる場合に、前記検出ステップにおいて検出されたエッジを表すエッジ画像が前記拡張画像に重ねられるように、前記検出ステップの検出結果に基づく画像処理を行う処理ステップと、
    を有することを特徴とする画像処理方法。
13. 請求項１２に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images