JP2017033274A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP2017033274A
JP2017033274A JP2015152379A JP2015152379A JP2017033274A JP 2017033274 A JP2017033274 A JP 2017033274A JP 2015152379 A JP2015152379 A JP 2015152379A JP 2015152379 A JP2015152379 A JP 2015152379A JP 2017033274 A JP2017033274 A JP 2017033274A
Authority
JP
Japan
Prior art keywords
image
unit
image data
specific
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015152379A
Other languages
English (en)
Inventor
浩一 新谷
Koichi Shintani
浩一 新谷
崇人 青木
Takahito Aoki
崇人 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015152379A priority Critical patent/JP2017033274A/ja
Publication of JP2017033274A publication Critical patent/JP2017033274A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】ユーザの好みに応じた趣向性の高い合成画像データを生成することができる画像処理装置を提供すること。
【解決手段】画像処理装置は、画像データを取得する画像取得部72と、画像データの有する特徴をユーザが指定するための指定部5と、指定部5で指定された特徴として、特定の色相の範囲内にある画像領域を抽出する領域抽出部73と、少なくとも領域抽出部73にて抽出された領域をHDR合成処理し、領域抽出部73にて抽出されなかった領域との合成画像データを生成する合成画像生成部74とを備える。
【選択図】図1

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
近年、撮像素子のダイナミックレンジの不足を補うHDR(High Dynamic Range)撮影を行う撮像装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の撮像装置は、露出値(EV(Exposure Value))を変えながら同一の被写体を連写(複数回、撮像)することにより得られた複数の画像データを合成(HDR合成)して合成画像データを生成するHDR撮影を行っている。
特開2012−204952号公報
しかしながら、特許文献1の撮像装置では、複数の画像データにおける全画素についてHDR合成を行うことにより合成画像データを生成している。このため、画像部分やユーザの好みに応じての画質調節の工夫が求められた。
本発明は、上記に鑑みてなされたものであって、ユーザの好みに応じた趣向性の高い合成画像データを生成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像データを取得する画像取得部と、前記画像データの有する特徴をユーザが指定するための指定部と、前記指定部で指定された特徴として、特定の色相の範囲内にある画像領域を抽出する領域抽出部と、少なくとも前記領域抽出部にて抽出された領域をHDR合成処理し、前記領域抽出部にて抽出されなかった領域との合成画像データを生成する合成画像生成部とを備えることを特徴とする。
また、本発明に係る画像処理装置は、記録部と、前記記録部に記録された画像データを取得する画像取得部と、前記画像データの有する補助情報から、ユーザが指定した画像の特徴情報と、関連する画像データを判定する判定部と、前記特徴情報に従った画像データの特定抽出領域をHDR合成処理し、前記特定抽出領域以外の領域との合成画像データを生成する合成画像生成部とを備えることを特徴とする。
また、本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、画像処理装置が実行する画像処理方法であって、画像データを取得し、ユーザにて指定された前記画像データの有する特徴として、特定の色相の範囲内にある画像領域を抽出し、少なくとも前記抽出された領域をHDR合成処理し、前記抽出されなかった領域との合成画像データを生成することを特徴とする。
また、本発明に係る画像処理プログラムは、上述した画像処理方法を画像処理装置に実行させることを特徴とする。
本発明に係る画像処理装置によれば、ユーザの好みに応じた趣向性の高い合成画像データを生成することができる、という効果を奏する。
本発明に係る画像処理方法は、上述した画像処理装置が行う方法であるため、上述した画像処理装置と同様の効果を奏する。
本発明に係る画像処理プログラムは、上述した画像処理装置にて実行されるプログラムであるため、上述した画像処理装置と同様の効果を奏する。
図1は、本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。 図2は、図1に示した撮像装置の動作を示すフローチャートである。 図3は、図1に示した表示部に表示されるメニュー画面の一例を示す図である。 図4は、図3に示したメニュー画面上で第2操作アイコン(特定色相HDRモード)が選択された際に表示される色相選択画像の一例を示す図である。 図5は、図2に示した色相補正処理(ステップS9,S13)を示すフローチャートである。 図6Aは、図5に示したステップS136Bを説明する図である。 図6Bは、図5に示したステップS136Bを説明する図である。 図7は、本発明の実施の形態2に係る撮像装置の動作を示すフローチャートである。 図8は、図7に示したヒストグラム表示処理(ステップS17)を示すフローチャートである。 図9は、図8に示したヒストグラム表示(ステップS178)で表示部に表示される重畳画像の一例を示す図である。 図10は、図7に示したヒストグラム調整処理(ステップS18)を示すフローチャートである。 図11は、図7及び図10に示したヒストグラム調整処理(ステップS18)を説明する図である。 図12Aは、図7及び図10に示したヒストグラム調整処理(ステップS18)を説明する図である。 図12Bは、図7及び図10に示したヒストグラム調整処理(ステップS18)を説明する図である。 図12Cは、図7及び図10に示したヒストグラム調整処理(ステップS18)を説明する図である。 図13は、図7に示した色相補正処理(ステップS15,S16)を示すフローチャートである。 図14は、図13に示したHDR合成処理(ステップS162,S163)を示すフローチャートである。 図15は、本発明の実施の形態1,2の変形例を示す図である。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
(実施の形態1)
〔撮像装置の概略構成〕
以下、画像取得部で得られた画像データの有する特徴をユーザが指定すると、これを判定して、指定された特定の画像を強調する技術を説明する。特に、指定された特徴として所定の色相の範囲内にある画像領域を抽出してHDR合成処理することで、上記抽出領域以外との差異を際立たせて、趣向性の高い合成画像データを生成する技術について具体的に説明する。特に、特定の色相の指定を行う指定部を駆使し、画像の領域、色相環、またはヒストグラムで指定した、ユーザのこだわりの色を重視した画像処理を可能としている。
図1は、本発明の実施の形態1に係る撮像装置1の構成を示すブロック図である。
撮像装置1は、カメラユーザによるユーザ操作に応じた各種のカメラモード(「再生モード」や「特定色相HDRモード」等)に切替可能に構成されている。
「特定色相HDRモード」は、露出値(EV)を変えながら同一の被写体を連写(複数回、撮像)することにより得られた複数の画像データを合成(HDR合成)することにより、撮像素子のダイナミックレンジの不足を補うHDR撮影(スルー画HDR撮影、静止画HDR撮影)を行うモードである。
「再生モード」は、既に撮影及び記録された画像データ(例えば、上記合成画像データ)に対応する画像を表示するモードである。
以下では、撮像装置1の構成として、本発明の要部(撮像装置1が「特定色相HDRモード」に設定されている場合での機能)を主に説明する。
この撮像装置1は、図1に示すように、撮像部2と、メモリ部3と、記録部4と、操作部5と、表示部6と、制御部7とを備える。
撮像部2は、制御部7による制御の下、被写体を撮像して画像データを生成する。この撮像部2は、図1に示すように、光学系21と、絞り22と、シャッタ23と、駆動部24と、撮像素子25とを備える。
光学系21は、少なくともフォーカスレンズ及びズームレンズを有する撮像光学系であり、所定の視野領域からフォーカスレンズで集光した光を撮像素子25の受光面に結像する。
絞り22は、光学系21が集光した光の入射量を制限することで露出の調整を行う。
シャッタ23は、フォーカルプレーンシャッタ等を用いて構成され、撮像素子25の光路入射側に配設される。そして、シャッタ23は、光学系21が集光した光を撮像素子25に入射させる露光状態、または、光学系21が集光した光を遮断する遮光状態に切り替える。
駆動部24は、制御部7による制御の下、光学系21における光軸Lax(図1)に沿った移動、絞り22の絞り量の調整(F値の調整)、及びシャッタ23の露光状態または遮光状態への切替を実行する。
撮像素子25は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成され、光学系21が結像した被写体像を受光して光電変換を行うことによって画像データを生成する。
なお、具体的な図示は省略したが、撮像素子25の受光面上には、透過させる光の波長帯域に応じてグループ分けされた複数のフィルタ群が所定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタが設けられている。
より具体的に、当該カラーフィルタは、赤の波長帯域の光を透過させる赤フィルタ群と、青の波長帯域の光を透過させる青フィルタ群と、緑の波長帯域の光を透過させる第1緑フィルタ群(赤フィルタ群と同一の列に配列)と、緑の波長帯域の光を透過させる第2緑フィルタ群(青フィルタ群と同一の列に配列)とを有する。
すなわち、撮像素子25にて生成された画像データは、画素毎に、赤フィルタ群を介した入射光に応じたR信号(色成分信号)、青フィルタ群を介した入射光に応じたB信号(色成分信号)、第1緑フィルタ群を介した入射光に応じた第1G信号(色成分信号)、及び第2緑フィルタ群を介した入射光に応じた第2G信号(色成分信号)を含む。
メモリ部3は、撮像部2の撮像素子25にて生成された画像データを記憶する。
記録部4は、制御部7が実行する各種プログラム(本発明に係る画像処理プログラムを含む)等を記録する。また、記録部4は、カメラユーザによる操作部5への撮影操作に応じて制御部7にて生成された合成画像データを記録する。
操作部5は、本発明に係る指定部及び操作受付部としての機能を有し、ユーザ操作を受け付けるボタン、スイッチ、タッチパネル等を用いて構成され、当該ユーザ操作に応じた指示信号を制御部7に出力する。
表示部6は、液晶または有機EL(Electro Luminescence)等からなる表示パネルを用いて構成されている。そして、表示部6は、制御部7による制御の下、所定の画像を表示する。
制御部7は、CPU(Central Processing Unit)等を用いて構成され、操作部5からの指示信号等に応じて撮像装置1を構成する各部に対する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。この制御部7は、図1に示すように、露出設定部71と、撮像制御部72と、特定画素抽出部73と、合成画像生成部74と、表示制御部75とを備える。
露出設定部71は、駆動部24を動作させてF値及びシャッタスピードで決まる露出値(EV)を変更しながら撮像部2に撮影(電子シャッタによる撮影)させ、当該撮影により得られた各画像データ(ライブビュー画像データ)に基づいて、HDR撮影(スルー画HDR撮影、静止画HDR撮影)で連写する際の露出値(EV)の範囲を設定する(以下、HDR測光と記載)。
例えば、露出設定部71は、露出値(EV)を変更しながら撮影(電子シャッタによる撮影)させた各ライブビュー画像データに対応する各ライブビュー画像を複数の領域にそれぞれ分割し、当該複数の領域のうち一の領域に着目して、黒つぶれが生じているか、白とびが生じているかを検出する。そして、露出設定部71は、黒つぶれが生じた領域を有するライブビュー画像を撮影した際の露出値(EV)から、白とびが生じた領域を有するライブビュー画像を撮影した際の露出値(EV)までを、HDR撮影(スルー画HDR撮影、静止画HDR撮影)で連写する際の露出値(EV)の範囲に設定する。なお、このような露出値(EV)の設定は、公知の多分割測光のアルゴリズムや黒つぶれ及び白とびを検出するアルゴリズムを用いて実行することができる。
なお、露出値(EV)の範囲については、上記のようにHDR測光により自動的に設定する構成の他、カメラユーザによる操作部5への操作(選択)に応じて、適宜、設定する構成としても構わない。また、「露出」と書いたが、画像の信号量を増幅したり低減させたりしても同様の効果が得られるので、このような制御も含んでいるものとする。
撮像制御部72は、駆動部24を動作させて露出設定部71にて設定された範囲で露出値(EV)を変更しながら所定の撮影枚数だけ撮像部2に撮影(電子シャッタによる撮影)させ、当該撮影により得られた複数のライブビュー画像データ(以下、スルー画HDR用画像データと記載)を取得するスルー画HDR撮影を実行する。
また、撮像制御部72は、カメラユーザによる操作部5への撮影操作に応じて、駆動部24を動作させて露出設定部71にて設定された範囲で露出値(EV)を変更しながら所定の撮影枚数だけ撮像部2に撮影(メカシャッタ(シャッタ23)による撮影)させ、当該撮影により得られた複数の撮影画像データ(以下、静止画HDR用画像データと記載)を取得する静止画HDR撮影を実行する。
すなわち、撮像制御部72は、複数のHDR用画像データ(スルー画HDR用画像データ、静止画HDR用画像データ)を取得するため、本発明に係る画像取得部としての機能を有する。
特定画素抽出部73は、本発明に係る領域抽出部としての機能を有する。この特定画素抽出部73は、メモリ部3に記憶された複数のHDR用画像データから画素毎の画素データ(R信号、B信号、第1,第2G信号)をそれぞれ取得し、当該複数のHDR用画像データにおける画素毎の色相をそれぞれ算出する。そして、特定画素抽出部73は、当該複数のHDR用画像データ毎に、特定の色相の範囲内にある色相を有する特定画素を抽出する色相選別処理を実行する。
合成画像生成部74は、HDR合成処理により複数のHDR用画像データにおける特定画素のうち対応する画素同士から一の特定画素を選択し、当該選択した特定画素と、色相選別処理にて抽出されなかった非特定画素とにより構成された合成画像データ(複数のスルー画HDR画像データを用いた場合にはスルー画用合成画像データ、複数の静止画HDR用画像データを用いた場合には静止画用合成画像データ)を生成する。そして、合成画像生成部74は、スルー画用合成画像データを生成した場合には当該スルー画用合成画像データをメモリ部3に記憶し、静止画用合成画像データを生成した場合には当該静止画用合成画像データを記録部4に記録する。なお、静止画用合成画像データと書いた部分は、動画でもよいし、記録部4に記録する際には、合成前の画像でもよい。この場合、合成時のこだわりに対して、後から補正すること等が可能となる。また、記録部4は、撮像装置1内に、必ずしも設ける必要はなく、例えば、ネットワーク上に設けられたサーバ等の記録部(図示せず)に送信して(図示せぬ通信部による)、記録するようにしてもよい。このようにネットワーク上に有れば、このネットワークにアクセス可能な他の機器での編集(合成)等が可能となる。
以上説明した撮像制御部(画像取得部)72、特定画素抽出部73、及び合成画像生成部74は、本発明に係る画像処理装置としての機能を有する。
表示制御部75は、表示部6の動作を制御し、所定の画像を表示部6に表示させる。
〔撮像装置の動作〕
次に、上述した撮像装置1の動作(本発明に係る画像処理方法)について説明する。
図2は、撮像装置1の動作を示すフローチャートである。
カメラユーザによる操作部5への起動操作によって撮像装置1の電源がオンになる(ステップS1:Yes)と、制御部7は、撮像装置1がどのカメラモードに設定されているかを判断する(ステップS2,S4)。
図3は、表示部6に表示されるメニュー画面MWの一例を示す図である。
例えば、図3に示したメニュー画面MW上で、カメラユーザによる操作部(タッチパネル)5への操作により、第1操作アイコンM1の表示位置がタッチされた場合には、撮像装置1は、「再生モード」に設定される。また、カメラユーザによる操作部5への操作により、第2操作アイコンM2の表示位置がタッチされた場合には、撮像装置1は、「特定色相HDRモード」に設定される。
撮像装置1が「再生モード」に設定されていると判断した場合(ステップS2:Yes)には、制御部7は、記録部4に記録された画像データ(例えば、静止画用合成画像データ)に対応する画像を表示部6に表示させる再生モード処理を実行する(ステップS3)。この後、撮像装置1は、ステップS1に戻る。
一方、撮像装置1が「再生モード」に設定されていないと判断した場合(ステップS2:No)には、制御部7は、撮像装置1が「特定色相HDRモード」に設定されているか否かを判断する(ステップS4)。
撮像装置1が「特定色相HDRモード」に設定されていないと判断した場合(ステップS4:No)には、制御部7は、その他のカメラモードに対応した処理を実行する(ステップS5)。この後、撮像装置1は、ステップS1に戻る。
一方、撮像装置1が「特定色相HDRモード」に設定されていると判断した場合(ステップS4:Yes)には、制御部7は、特定の色相の範囲に関する特定色相情報を取得する(ステップS6)。そして、制御部7は、当該特定色相情報をメモリ部3に記憶する。
図4は、図3に示したメニュー画面MW上で第2操作アイコンM2(特定色相HDRモード)が選択された際に表示される色相選択画像CSの一例を示す図である。
例えば、図3に示したメニュー画面MW上で、カメラユーザによる操作部5への操作により、第2操作アイコンM2の表示位置がタッチされた場合には、表示制御部75は、図4に示す色相選択画像CSを表示部6に表示させる。
なお、図4に示す例では、色相選択画像CSは、色相を系統的に環状に並べた色相環で構成されている。
そして、図4に示す色相選択画像CS上で、カメラユーザによる操作部5への操作により、色相環の表示位置の一部がタッチされた場合には、制御部7は、ステップS6において、当該タッチされた色相環の表示位置の一部に対応する色相の範囲(例えば、タッチ位置の色相に対して±30°の範囲)を特定色相情報として取得する。本発明では、このように、ユーザのこだわり部分の指定を可能としている。こうした指定結果は、画像合成時に、有効利用が可能であるから、メモリ等に記録しておいてもよい。このように特定の色相の指定を行う指定部は、色相環で指定することを特徴とする画像処理装置が提供できる。
ステップS6の後、露出設定部71は、HDR測光により、HDR撮影(スルー画HDR撮影、静止画HDR撮影)で連写する際の露出値(EV)の範囲を設定する(ステップS7)。
続いて、撮像制御部72は、以下に示すように、スルー画HDR撮影を実行する(ステップS8:画像取得ステップ)。
先ず、撮像制御部72は、ステップS7でのHDR測光により得られた各ライブビュー画像データに基づいて、スルー画HDR撮影で連写する撮影枚数を算出する。
例えば、撮像制御部72は、HDR測光により得られた全てのライブビュー画像における全画素のうち、最小輝度値BVminとなる画素、及び最大輝度値BVmaxとなる画素を特定する。そして、撮像制御部72は、以下の式(1)により、撮影枚数を算出する。
撮影枚数=(BVmax−BVmin)/露出段差 ・・・(1)
ここで、式(1)中、露出段差は、スルー画HDR撮影で連写する際に切り換える露出値(EV)の差(例えば、0.5EV)を意味する。
次に、撮像制御部72は、駆動部24を動作させ、露出値(EV)をステップS7で設定された範囲のうち最低となる露出値(EV)から露出段差(例えば、0.5EV)ずつ増加させながら、上記算出した撮影枚数だけ撮像部2に撮影(電子シャッタによる撮影)させる。
そして、撮像制御部72は、当該撮影により得られた複数のスルー画HDR用画像データを当該撮影時の露出値(EV)に関連付けてメモリ部3に記憶する。
ステップS8の後、制御部7は、メモリ部3に記憶された露出値(EV)の異なる複数(上述した撮影枚数)のスルー画HDR用画像データを用いて、合成画像データ(スルー画用合成画像データ)を生成するスルー画用色相補正処理を実行する(ステップS9)。
なお、スルー画用色相補正処理(ステップS9)については、後述する。
続いて、表示制御部75は、ステップS9で生成されたスルー画用合成画像データに対応するスルー画用合成画像を表示部6に表示させる(ステップS10)。
ステップS10の後、撮像制御部72は、カメラユーザによる操作部5への撮影操作があったか否かを判断する(ステップS11)。
撮影操作がないと判断された場合(ステップS11:No)には、撮像装置1は、ステップS1に戻る。
一方、撮影操作があったと判断した場合(ステップS11:Yes)には、撮像制御部72は、以下に示すように、静止画HDR撮影を実行する(ステップS12:画像取得ステップ)。
先ず、撮像制御部72は、ステップS8と同様に、静止画HDR撮影で連写する撮影枚数を算出する(ステップS121)。
なお、静止画HDR撮影での撮影枚数は、スルー画HDR撮影での撮影枚数よりも多い枚数であってもよい。
ステップS121の後、撮像制御部72は、駆動部24を動作させ、露出値(EV)をステップS7で設定された範囲のうち最低となる露出値(EV)に設定する(ステップS122)。
続いて、撮像制御部72は、撮像部2に被写体を撮影(メカシャッタ(シャッタ23)による撮影)させる(ステップS123)。そして、撮像制御部72は、当該撮影により得られた静止画HDR用画像データを当該撮影時の露出値(EV)に関連付けてメモリ部3に記憶する。
続いて、撮像制御部72は、ステップS121で算出した撮影枚数だけ撮像部2に被写体を撮影(メカシャッタ(シャッタ23)による撮影)させたか(全枚数の撮影を完了したか)否かを判断する(ステップS124)。
全枚数の撮影を完了していないと判断した場合(ステップS124:No)には、撮像装置1は、ステップS122に戻る。そして、撮像装置1は、ステップS122で露出段差(例えば、0.5EV)だけ露出値(EV)を増加させ、ステップS123で当該露出値(EV)で撮像部2に被写体を撮影(メカシャッタ(シャッタ23)による撮影)させる。
ステップS122〜S124を繰り返し実行した結果、全枚数の撮影を完了したと判断された場合(ステップS124:Yes)には、制御部7は、メモリ部3に記憶された露出値(EV)の異なる複数(上述した撮影枚数)の静止画HDR用画像データを用いて、合成画像データ(静止画用合成画像データ)を生成する静止画用色相補正処理を実行する(ステップS13)。
なお、メモリ部3に記録すると書いたが、このメモリ部3も、撮像装置1内に、必ずしも設ける必要はなく、例えば、ネットワーク上に設けられたサーバ等の記録部(図示せず)に送信して(図示せぬ通信部による)、記録するようにしてもよい。このようにネットワーク上に有れば、このネットワークにアクセス可能な他の機器での編集(合成)等が可能となる。なお、このように外部に複数の画像を送信してしまうと、これらの複数の画像が、特定の目的(ここではHDR合成)のための画像であることが分からなくなってしまう可能性があるので、各画像にその特定の目的である旨と、その素材である旨と、他にも関連する複数の残りの画像がある旨を、画像ファイルに記録しておき、当初想定していた機器以外でも簡単に検索して当該複数画像を集め、目的とする処理であることを分かるようにしておいた方がよい。もちろん、どのように合成するかを示す、ユーザの操作情報、こだわり色情報等も補助データとして画像ファイルに追記しておけば、この情報によって、撮影時の意図を反映させつつ、比較的容易に他の機器でのこだわり編集が可能となる。上記特定の色相の指定を行った時の情報を補助情報としてもよく、色相環で選択された範囲等がこれに相当する。色相でなくとも、色そのものの情報としてもよい。なお、表示部に順次表示される画像(スルー画、ライブビュー画像)を観察しながらユーザが指定可能なので、撮影時に試行錯誤した結果を反映できる。
なお、静止画用色相補正処理(ステップS13)については、後述する。
ステップS13の後、表示制御部75は、ステップS13で生成された静止画用合成画像データに対応する静止画用合成画像を表示部6に表示させる(ステップS14)。この後、撮像装置1は、ステップS1に戻る。
〔色相補正処理(ステップS9,S13)〕
図5は、色相補正処理(ステップS9,S13)を示すフローチャートである。
なお、スルー画用色相補正処理(ステップS9)と静止画用色相補正処理(ステップS13)とは、スルー画用色相補正処理では露出値(EV)の異なる複数のスルー画HDR用画像データを用いるのに対し、静止画用色相補正処理では露出値(EV)の異なる複数の静止画HDR用画像データを用いる点が異なる(用いる画像データが異なる)のみである。このため、以下では、静止画用色相補正処理(ステップS13)について説明する。
先ず、特定画素抽出部73は、メモリ部3に記憶された露出値(EV)の異なる複数の静止画HDR用画像データから対象となる画素位置(以下、対象画素位置と記載)の各画素の画素データをそれぞれ取得する(ステップS131)。
続いて、特定画素抽出部73は、当該対象画素位置における露出値(EV)の異なる複数の画素毎に、当該画素の画素データに基づいて、色相Hをそれぞれ算出する(ステップS132)。
ここで、例えば、HSV色空間では、色相Hは、以下の式(2)〜(4)で算出することができる。以下では、説明の便宜上、第1,第2G信号を纏めてG信号としている。
なお、式(2)は、R,G,B信号のうち「R信号」の信号レベルが最も高い場合での色相Hである。式(3)は、R,G,B信号のうち「G信号」の信号レベルが最も高い場合での色相Hである。式(4)は、R,G,B信号のうち「B信号」の信号レベルが最も高い場合での色相Hである。式(2)〜(4)中、「R」はR信号の信号レベルであり、「G」はG信号の信号レベルであり、「B」はB信号の信号レベルである。また、「Max(RGB)」は、R,G,B信号のうち最も高い信号レベルであり、「Min(RGB)」は、R,G,B信号のうち最も低い信号レベルである。
色相H=({G−B}/{Max(RGB)−Min(RGB)})×60°・・・(2)
色相H=({B−R}/{Max(RGB)−Min(RGB)})×60°+120°
・・・(3)
色相H=({R−G}/{Max(RGB)−Min(RGB)})×60°+240°
・・・(4)
ステップS132の後、特定画素抽出部73は、以下に示すように、色相選別処理を実行する(ステップS133:特定画素抽出ステップ)。
先ず、特定画素抽出部73は、ステップS6でメモリ部3に記憶された特定色相情報を読み出し、当該特定色相情報に基づく特定の色相の範囲と、ステップS132で算出した各色相Hとをそれぞれ比較する。そして、特定画素抽出部73は、対象画素位置における露出値(EV)の異なる複数の画素のうち少なくともいずれかの画素の色相Hが特定の色相の範囲内にあるか否かを判断する(ステップS133A)。
対象画素位置における露出値(EV)の異なる複数の画素のうち少なくともいずれかの画素の色相Hが特定の色相の範囲内にあると判断した場合(ステップS133A:Yes)には、特定画素抽出部73は、当該対象画素位置における露出値(EV)の異なる複数の画素を特定画素とする。そして、特定画素抽出部73は、当該対象画素位置における露出値(EV)の異なる複数の特定画素の各画素データに対して当該対象画素位置(座標値)及び当該各露出値(EV)をそれぞれ関連付けた複数の特定画像情報をメモリ部3に記憶する(ステップS133B)。
一方、対象画素位置における露出値(EV)の異なる複数の画素の全ての色相Hが特定の色相の範囲内にないと判断した場合(ステップS133A:No)には、特定画素抽出部73は、対象画素位置における露出値(EV)の異なる複数の画素のうち、適正露出(例えば、標準露出(EV=0))で撮影された画素を非特定画素とする。そして、特定画素抽出部73は、当該非特定画素の画素データに対して当該対象画素位置(座標値)を関連付けた非特定画像情報をメモリ部3に記憶する(ステップS133C)。
ステップS133BまたはステップS133Cの後、特定画素抽出部73は、メモリ部3に記憶された露出値(EV)の異なる複数の静止画HDR用画像データにおける全画素位置で色相選別処理(ステップS133A〜S133C)を実行したか否かを判断する(ステップS134)。
全画素位置で色相選別処理を実行していないと判断した場合(ステップS134:No)には、特定画素抽出部73は、対象画素位置を他の画素位置に切り替え(ステップS135)、ステップS131に戻る。
ステップS131〜S135が繰り返し実行された結果、全画素位置で色相選別処理を実行したと判断された場合(ステップS134:Yes)には、合成画像生成部74は、ステップS133Bでメモリ部3に記憶された露出値(EV)及び画素位置の異なる複数の特定画像情報を用いて、以下に示すように、HDR合成処理を実行する(ステップS136:合成画像生成ステップ)。
先ず、合成画像生成部74は、メモリ部3に記憶された露出値(EV)及び画素位置の異なる複数の特定画像情報のうち、適正露出(例えば、標準露出(EV=0))で撮影された一の画素位置における特定画像情報を読み出す(ステップS136A)。
続いて、合成画像生成部74は、当該特定画像情報(適正露出(例えば、標準露出(EV=0))で撮影された特定画素の画素データ)に基づいて、当該特定画素が飽和画素(R信号、B信号、第1G信号、及び第2G信号の少なくともいずれかの信号レベルが飽和している画素)であるか否かを判断する(ステップS136B)。
図6A及び図6Bは、ステップS136Bを説明する図である。具体的に、図6A及び図6Bは、飽和画素におけるR,G,B信号毎の信号レベルを示すグラフである。なお、図6A及び図6Bでは、説明の便宜上、第1,第2G信号を纏めてG信号としている。
例えば、合成画像生成部74は、図6Aに示すように、R,G,B信号の全ての信号レベルが飽和している(飽和レベルである)場合には、白とびしている飽和画素として特定する(ステップS136B:Yes)。また、合成画像生成部74は、図6Bに示すように、R,G,B信号のいずれかの信号レベルが飽和している場合には、色とびしている飽和画素として特定する(ステップS136B:Yes)。
ここで、飽和レベルとは、例えば、R,G,B信号が8ビットの階調値で表現されている場合には、「255」の階調値を有するレベルを意味する。
一の画素位置における適正露出で撮影された特定画素が飽和画素であると判断した場合(ステップS136B:Yes)には、合成画像生成部74は、メモリ部3から適正露出(例えば、標準露出(EV=0))よりも大きい露出値(EV)で撮影された当該一の画素位置における複数の特定画像情報を読み出す。そして、合成画像生成部74は、当該複数の特定画像情報に基づいて、当該一の画素位置における適正露出よりも大きい露出値(EV)で撮影された複数の特定画素のうち、飽和画素ではなく、かつ、適正露出に最も近い露出値(EV)で撮影された特定画素を合成用画素として選択する(ステップS136C)。
ステップS136Cの後、合成画像生成部74は、当該選択した合成用画素(適正露出(例えば、標準露出(EV=0)よりも大きい露出値(EV)で撮影された特定画素)の画素データに対して、適正露出で撮影された特定画素と明るさを合わせるために、露出補正(明るさを増加させる補正)を行う(ステップS136D)。すなわち、当該露出補正は、適正露出等の基準露出値以外の露出値で撮像された異露出画像データにおける特定画素の画素データを基準露出値で撮像された基準画像データの明るさに合わせるため、本発明に係る露出補正に相当する。そして、露出補正後の合成用画素の画素データは、当該合成用画素の画素位置(座標値)に関連付けられてメモリ部3に記憶される。
例えば、合成画像生成部74は、ステップS136Dにおいて、以下の式(5)により、露出補正を行う。
露出補正後の信号レベル(明るさ)=露出補正前の信号レベル(明るさ)×2
・・・(5)
なお、式(5)において、「n」は、適正露出での露出値(EV)と合成用画素における露出値(EV)との露出段差を意味する。
一方、一の画素位置における適正露出で撮影された特定画素が飽和画素ではないと判断した場合(ステップS136B:No)には、合成画像生成部74は、当該特定画素がノイズ画素(R信号、B信号、第1G信号、及び第2G信号の少なくともいずれかの信号レベルがノイズレベル未満である画素)であるか否かを判断する(ステップS136E)。
例えば、合成画像生成部74は、R,G,B信号の全ての信号がノイズレベル(図6A,図6B)である場合には、黒つぶれしているノイズ画素として特定する(ステップS136E:Yes)。また、合成画像生成部74は、R,G,B信号のいずれかの信号レベルがノイズレベルである場合には、色つぶれしているノイズ画素として特定する(ステップS136E:Yes)。
一の画素位置における適正露出で撮影された特定画素がノイズ画素であると判断した場合(ステップS136E:Yes)には、合成画像生成部74は、メモリ部3から適正露出(例えば、標準露出(EV=0))よりも小さい露出値(EV)で撮影された当該一の画素位置における特定画像情報を読み出す。そして、合成画像生成部74は、当該複数の特定画像情報に基づいて、当該一の画素位置における適正露出よりも小さい露出値(EV)で撮影された複数の特定画素のうち、ノイズ画素ではなく、かつ、適正露出に最も近い露出値(EV)で撮影された特定画素を合成用画素として選択する(ステップS136F)。
ステップS136Fの後、合成画像生成部74は、ステップS136Dと同様に、当該選択した合成用画素(適正露出(例えば、標準露出(EV=0)よりも小さい露出値(EV)で撮影された特定画素)の画素データに対して、適正露出で撮影された特定画素と明るさを合わせるために、露出補正(明るさを減少させる補正)を行う(ステップS136G)。すなわち、当該露出補正は、適正露出等の基準露出値以外の露出値で撮像された異露出画像データにおける特定画素の画素データを基準露出値で撮像された基準画像データの明るさに合わせるため、本発明に係る露出補正に相当する。そして、露出補正後の合成用画素の画素データは、当該合成用画素の画素位置(座標値)に関連付けられてメモリ部3に記憶される。
一方、一の画素位置における適正露出で撮影された特定画素がノイズ画素ではないと判断した場合(ステップS136E:No)には、合成画像生成部74は、当該適正露出で撮影された特定画素を合成用画素として選択する(ステップS136H)。そして、選択された合成用画素の画素データは、当該合成用画素の画素位置(座標値)に関連付けられてメモリ部3に記憶される。
ステップS136D、ステップS136G、またはステップS136Hの後、合成画像生成部74は、メモリ部3に記憶された露出値(EV)及び画素位置の異なる複数の特定画像情報における全画素位置でステップS136A〜S136Hを実行したか(全画素位置で実行したか)否かを判断する(ステップS136I)。
全画素位置で実行していないと判断した場合(ステップS136I:No)には、合成画像生成部74は、画素位置を他の画素位置に切り替え(ステップS136J)、ステップS136Aに戻る。
ステップS136A〜S136Jを繰り返し実行した結果、全画素位置で実行したと判断した場合(ステップS136I:Yes)には、合成画像生成部74は、メモリ部3に記憶された全ての合成用画素の画素データ、及び非特定画像情報(非特定画素の画素データ)により、静止画用合成画像データを生成する(ステップS137:合成画像生成ステップ)。そして、当該静止画用合成画像データは、記録部4に記録される。なお、スルー画用色相補正処理(ステップS9)の場合には、生成されたスルー画用合成画像データは、メモリ部3に記憶される。この後、撮像装置1は、図2に示したフローに戻る。
以上説明した本実施の形態1に係る撮像装置1は、同一の被写体を撮像して得られた複数のHDR用画像データを取得し(ステップS8,S12)、当該複数のHDR用画像データ毎に色相選別処理により特定の色相の範囲内にある色相を有する特定画素を抽出する(ステップS133)。そして、撮像装置1は、HDR合成処理により当該複数のHDR用画像データにおける特定画素のうち対応する画素同士から一の特定画素を選択し(ステップS136)、当該選択した特定画素と、抽出しなかった非特定画素とにより合成画像データを生成する(ステップS137)。
したがって、本実施の形態1に係る撮像装置1によれば、特定の色相の範囲内にある色相を有する画素のみについてHDR合成を行うことができ、ユーザの好みに応じた趣向性の高い合成画像データを生成することができる、という効果を奏する。
例えば、時間とともに状態が変化する川等を背景に紅葉等を被写体として撮影を行った場合において、従来と同様にHDR撮影を行った場合には背景である川等の状態が変化するために当該背景が像ブレしてしまうところ、本実施の形態1に係る撮像装置1によれば、特定の色相の範囲内にある紅葉等の被写体のみについてHDR合成を行うことができるため、背景に像ブレのない鮮明な合成画像データを生成することができる。
また、本実施の形態1に係る撮像装置1は、HDR合成処理(ステップS136)において、複数のHDR用画像データにおける特定画素のうち対応する画素同士から、飽和画素及びノイズ画素ではない一の特定画素を選択する。
このため、白とび、色とび、黒つぶれ、及び色つぶれ等の階調の損失のない自然な合成画像データを生成することができる。
また、本実施の形態1に係る撮像装置1は、HDR合成処理(ステップS136)において、適正露出等の基準露出値以外の露出値で撮像された異露出画像データにおける特定画素を選択した場合には、当該特定画素の画素データに対して、適正露出等の基準画像データの明るさに合わせるように、露出補正を行う(ステップS136D,S136G)。
このため、適正露出等の基準画像データの明るさに合わせた合成画像データを生成することができる。
(実施の形態2)
次に、本発明の実施の形態2について説明する。
以下の説明では、上述した実施の形態1と同様の構成及びステップには同一符号を付し、その詳細な説明は省略または簡略化する。
本実施の形態2に係る撮像装置は、上述した実施の形態1で説明した撮像装置1(図1)に対して、ユーザ操作に応じて合成画像のダイナミックレンジを調整可能とする点が異なる。
本実施の形態2に係る撮像装置は、上述した実施の形態1で説明した撮像装置1(図1)と同様の構成である。
以下、本実施の形態2に係る撮像装置の動作について説明する。
〔撮像装置の動作〕
図7は、本発明の実施の形態2に係る撮像装置1の動作を示すフローチャートである。
本実施の形態2に係る撮像装置1の動作は、図7に示すように、上述した実施の形態1で説明した動作(図2,図5)に対して、ステップS9,S13の代わりにステップS15,S16を採用するとともに、ステップS17,S18を追加した点が異なるのみである。このため、以下では、ステップS15〜S18のみを説明する。
〔ヒストグラム表示処理(ステップS17)〕
ヒストグラム表示処理(ステップS17)は、ステップS10の後に実行される。
図8は、ヒストグラム表示処理(ステップS17)を示すフローチャートである。
先ず、特定画素抽出部73は、スルー画用色相補正処理(ステップS15)で生成され、メモリ部3に記憶されたスルー画用合成画像データから対象画素位置における画素の画素データを取得する(ステップS171)。
続いて、特定画素抽出部73は、上述した実施の形態1で説明したステップS132と同様に、当該対象画素位置における画素の画素データに基づいて、色相Hを算出する(ステップS172)。
続いて、特定画素抽出部73は、ステップS6でメモリ部3に記憶された特定色相情報を読み出し、当該特定色相情報に基づく特定の色相の範囲と、ステップS172で算出した色相Hとを比較する。そして、特定画素抽出部73は、対象画素位置における画素の色相Hが特定の色相の範囲内にあるか否かを判断する(ステップS173)。
対象画素位置における画素の色相Hが特定の色相の範囲内にあると判断した場合(ステップS173:Yes)には、特定画素抽出部73は、当該対象画素位置における画素を特定画素とする。そして、特定画素抽出部73は、当該対象画素位置における特定画素の画素データに対して当該対象画素位置(座標値)を関連付けた特定色相ヒストグラム情報をメモリ部3に記憶する(ステップS174)。
一方、対象画素位置における画素の色相Hが特定の色相の範囲内にないと判断した場合(ステップS173:No)には、特定画素抽出部73は、当該対象画素位置における画素を非特定画素とする。そして、特定画素抽出部73は、当該対象画素位置における非特定画素の画素データに対して当該対象画素位置(座標値)を関連付けた非特定色相ヒストグラム情報をメモリ部3に記憶する(ステップS175)。
ステップS174またはステップS175の後、特定画素抽出部73は、メモリ部3に記憶されたスルー画HDR画像データにおける全画素位置でステップS171〜S175を実行したか(全画素位置で実行したか)否かを判断する(ステップS176)。
全画素位置で実行していないと判断した場合(ステップS176:No)には、特定画素抽出部73は、対象画素位置を他の画素位置に切り替え(ステップS177)、ステップS171に戻る。
ステップS171〜S177が繰り返し実行された結果、全画素位置で実行したと判断された場合(ステップS176:Yes)には、表示制御部75は、ステップS10で表示させたスルー画用合成画像に対して、スルー画用合成画像データにおける特定画素のヒストグラム、及び非特定画素のヒストグラムを重畳した重畳画像を表示するヒストグラム表示を実行する(ステップS178)。この後、撮像装置1は、図7に示したフローに戻る。
図9は、ヒストグラム表示(ステップS178)で表示部6に表示される重畳画像SFの一例を示す図である。
具体的に、表示制御部75は、ステップS178において、ステップS174でメモリ部3に記憶された画素位置の異なる複数の特定色相ヒストグラム情報を読み出し、スルー画用合成画像データにおける特定画素のヒストグラム(特定画素の信号レベル(輝度)の分布状況を示す統計グラフ)を生成する。同様に、表示制御部75は、ステップS175でメモリ部3に記憶された画素位置の異なる複数の非特定色相ヒストグラム情報を読み出し、スルー画用合成画像データにおける非特定画素のヒストグラム(非特定画素の信号レベル(輝度)の分布状況を示す統計グラフ)を生成する。そして、表示制御部75は、ステップS10で表示させたスルー画用合成画像(図9の例ではジョッキに注がれたビールを被写体としたスルー画用合成画像TCF)に対して、当該特定画素のヒストグラム(図9の例ではビールの色相(黄色)を有する特定画素のヒストグラムH1)及び当該非特定画素のヒストグラム(図9の例ではビールの色相以外の色相を有する非特定画素のヒストグラムH2)を重畳した重畳画像(図9の例では重畳画像SF)を表示部6に表示させる。
なお、図9に示すヒストグラムH1において、横軸は、特定画素の信号レベル(輝度)であり、縦軸は、特定画素の画素数である。同様に、図9に示すヒストグラムH2において、横軸は、非特定画素の信号レベル(輝度)であり、縦軸は、非特定画素の画素数である。また、図9に示すヒストグラムH1,H2において、破線は、撮像素子25のダイナミックレンジを示している。すなわち、ヒストグラムH1,H2において、右側の破線よりも右側の信号レベル(輝度)である特定画素または非特定画素は飽和画素であり、左側の破線よりも左側の信号レベル(輝度)である特定画素または非特定画素はノイズ画素である。
すなわち、本実施の形態2に係る表示制御部75は、本発明に係るヒストグラム生成部としての機能を有する。
〔ヒストグラム調整処理(ステップS18)〕
ヒストグラム調整処理(ステップS18)は、ステップS17の後に実行される。
図10は、ヒストグラム調整処理(ステップS18)を示すフローチャートである。図11、及び図12A〜図12Cは、ヒストグラム調整処理(ステップS18)を説明する図である。
具体的に、図12A〜図12Cは、図9に示したヒストグラムH1(H2)に対応した図である。また、図12A〜図12Cに示したヒストグラムH1(H2)において、一点鎖線は、後述する伸張操作(図12A)、圧縮操作(図12B)、またはシフト操作(図12C)が行われる前の特定画素(非特定画素)の信号レベル(輝度)の分布状況を示している。
先ず、表示制御部75は、ステップS17で重畳画像を表示している際に、カメラユーザによる操作部5への操作により、特定画素のヒストグラムが選択(例えば、操作部(タッチパネル)5上で、重畳画像SF(図9)における特定画素のヒストグラムH1(図9)の表示位置がタッチ)されたか否かを判断する(ステップS181)。
特定画素のヒストグラムが選択されたと判断した場合(ステップS181:Yes)には、表示制御部75は、カメラユーザに対して当該特定画素のヒストグラムの調整操作(伸張操作、圧縮操作、シフト操作)を促す表示を行う(ステップS182)。
例えば、表示制御部75は、ステップS182において、図11に示すように、重畳画像SFにおける非特定画素のヒストグラムH2を縮小するとともに特定画素のヒストグラムH1を拡大する。すなわち、表示制御部75は、特定画素のヒストグラムH1を拡大表示することで、カメラユーザに対して特定画素のヒストグラムH1の調整操作(伸張操作、圧縮操作、シフト操作)を促す。
ステップS182の後、表示制御部75は、カメラユーザによる特定画素のヒストグラムの伸張操作(図12Aの例では、操作部(タッチパネル)5へのピンチ操作により、特定画素のダイナミックレンジを伸張(信号レベル(輝度)の最小値から最大値の中心となる信号レベル(輝度)は固定)する操作)または圧縮操作(図12Bの例では、操作部(タッチパネル)5へのピンチ操作により、特定画素のダイナミックレンジを圧縮(信号レベル(輝度)の最小値から最大値の中心となる信号レベル(輝度)は固定)する操作)があったか否かを判断する(ステップS183)。
伸張操作または圧縮操作があったと判断した場合(ステップS183:Yes)には、表示制御部75は、当該操作に応じた特定画素のダイナミックレンジの圧縮比(図12Aの例では圧縮比:2(200%)、図12Bの例では圧縮比:0.5(50%))をメモリ部3に記憶する(ステップS184)。
一方、伸張操作または圧縮操作がないと判断した場合(ステップS183:No)には、表示制御部75は、カメラユーザによる特定画素のヒストグラムのシフト操作(図12Cの例では、操作部(タッチパネル)5へのドラッグ操作により、特定画素の信号レベル(輝度)の度数(画素数)を維持した状態で信号レベル(輝度)をシフトする操作)があったか否かを判断する(ステップS185)。なお、ステップS184の後にも、ステップS185が実行される。
シフト操作があったと判断した場合(ステップS185:Yes)には、表示制御部75は、当該シフト操作に応じた特定画素の信号レベル(輝度)のシフト量をメモリ部3に記憶する(ステップS186)。
特定画素のヒストグラムが選択されていないと判断した場合(ステップS181:No)、シフト操作がないと判断した場合(ステップS185:No)、または、ステップS186の後、表示制御部75は、カメラユーザによる操作部5への操作により、非特定画素のヒストグラムが選択(例えば、操作部(タッチパネル)5上で、重畳画像SF(図9)における非特定画素のヒストグラムH2(図9)の表示位置がタッチ)されたか否かを判断する(ステップS187)。
非特定画素のヒストグラムが選択されたと判断した場合(ステップS187:Yes)には、ステップS182と同様に、表示制御部75は、カメラユーザに対して当該非特定画素のヒストグラムの調整操作(伸張操作、圧縮操作、シフト操作)を促す表示を行う(ステップS188)。
例えば、表示制御部75は、ステップS188において、図11に示した表示とは逆に、重畳画像SFにおける特定画素のヒストグラムH1を縮小するとともに非特定画素のヒストグラムH2を拡大する。すなわち、表示制御部75は、非特定画素のヒストグラムH2を拡大表示することで、カメラユーザに対して非特定画素のヒストグラムH2の調整操作(伸張操作、圧縮操作、シフト操作)を促す。
ステップS188の後、表示制御部75は、ステップS183と同様に、カメラユーザによる非特定画素のヒストグラムの伸張操作または圧縮操作があったか否かを判断する(ステップS189)。
伸張操作または圧縮操作があったと判断した場合(ステップS189:Yes)には、表示制御部75は、当該操作に応じた非特定画素のダイナミックレンジの圧縮比をメモリ部3に記憶する(ステップS190)。
一方、伸張操作または圧縮操作がないと判断した場合(ステップS189:No)には、表示制御部75は、ステップS185と同様に、カメラユーザによる非特定画素のヒストグラムのシフト操作があったか否かを判断する(ステップS191)。なお、ステップS190の後にも、ステップS191が実行される。
シフト操作があったと判断した場合(ステップS191:Yes)には、表示制御部75は、当該シフト操作に応じた非特定画素の信号レベル(輝度)のシフト量をメモリ部3に記憶する(ステップS192)。
非特定画素のヒストグラムが選択されていないと判断された場合(ステップS187:No)、シフト操作がないと判断された場合(ステップS191:No)、または、ステップS192の後、撮像装置1は、図7に示したフローに戻る。このように、特定の色相の指定を行う指定部は、ヒストグラムで指定することを特徴とする画像処理装置となる。
〔色相補正処理(ステップS15,S16)〕
図13は、色相補正処理(ステップS15,S16)を示すフローチャートである。
なお、スルー画用色相補正処理(ステップS15)と静止画用色相補正処理(ステップS16)とは、上述した実施の形態1で説明した色相補正処理(ステップS9,S13)と同様に、用いる画像データが異なるのみである。このため、以下では、静止画用色相補正処理(ステップS16)について説明する。
先ず、特定画素抽出部73は、上述した実施の形態1で説明した静止画用色相補正処理(ステップS13)と同様に、ステップS131,S132を実行する。
ステップS132の後、特定画素抽出部73は、以下に示すように、色相選別処理を実行する(ステップS161:特定画素抽出ステップ)。
先ず、特定画素抽出部73は、上述した実施の形態1で説明した色相選別処理(ステップS133)と同様に、ステップS133A,S133Bを実行する。
対象画素位置における露出値(EV)の異なる複数の画素の全ての色相Hが特定の色相の範囲内にないと判断した場合(ステップS133A:No)には、特定画素抽出部73は、当該対象画素位置における露出値(EV)の異なる複数の画素を非特定画素とする。そして、特定画素抽出部73は、当該対象画素位置における露出値(EV)の異なる複数の非特定画素の各画素データに対して当該対象画素位置(座標値)及び当該各露出値(EV)をそれぞれ関連付けた複数の非特定画像情報をメモリ部3に記憶する(ステップS161A)。
ステップS133BまたはステップS161Aの後、特定画素抽出部73は、上述した実施の形態1で説明した色相選別処理(ステップS133)と同様に、対象画素位置を他の画素位置に切り替えながら(ステップS135)、メモリ部3に記憶された露出値(EV)の異なる複数の静止画用HDR用画像データにおける全画素位置で色相選別処理(ステップS133A,S133B,S161A)を実行する(ステップS134:Yes)。
なお、メモリ部3に記録すると書いたが、このメモリ部3は、撮像装置1内に、必ずしも設ける必要はなく、例えば、ネットワーク上に設けられたサーバ等の記録部(図示せず)に送信して(図示せぬ通信部による)、記録するようにしてもよい。このようにネットワーク上に有れば、このネットワークにアクセス可能な他の機器での編集(合成)等が可能となる。なお、このように外部に複数の画像を送信してしまうと、これらの複数の画像が、特定の目的(ここではHDR合成)のための画像であることが分からなくなってしまう可能性があるので、各画像にその特定の目的である旨と、その素材である旨と、他にも関連する複数の残りの画像がある旨を、画像ファイルに記録しておき、当初想定していた機器以外でも簡単に検索して当該複数画像を集め、目的とする処理であることを分かるようにしておいた方がよい。もちろん、どのように合成するかを示す、ユーザの操作情報、こだわり色情報等も補助データとして画像ファイルに追記しておけば、この情報によって、撮影時の意図を反映させつつ、比較的容易に他の機器でのこだわり編集が可能となる。上記特定の色相の指定を行った時の情報を補助情報としてもよく、ここでは、ユーザが指定したヒストグラム情報(画像の明るさの分布のさせ方)等がこれに相当する。表示部に順次表示される画像(スルー画、ライブビュー画像)を観察しながらユーザが指定可能なので、撮影時に試行錯誤した結果を反映できる。
全画素位置で色相選別処理を実行したと判断された場合(ステップS134:Yes)には、合成画像生成部74は、ステップS133Bでメモリ部3に記憶された露出値(EV)及び画素位置の異なる複数の特定画像情報を用いて、対応する画素同士から一の特定画素を選択する特定色相HDR合成処理を実行する(ステップS162:合成画像生成ステップ)。
また、合成画像生成部74は、ステップS161Aでメモリ部3に記憶された露出値(EV)及び画素位置の異なる複数の非特定画像情報を用いて、対応する画素同士から一の非特定画素を選択する非特定色相HDR合成処理を実行する(ステップS163)。
図14は、HDR合成処理(ステップS162,S163)を示すフローチャートである。
なお、特定色相HDR合成処理(ステップS162)と非特定色相HDR合成処理(ステップS163)とは、特定色相HDR合成処理では露出値(EV)及び画素位置の異なる複数の特定画像情報を用いるのに対し、非特定色相HDR合成処理では露出値(EV)及び画素位置の異なる複数の非特定画像情報を用いる点が異なる(用いる情報が異なる)のみである。このため、以下では、特定色相HDR合成処理(ステップS162)について説明する。
先ず、合成画像生成部74は、ステップS186でメモリ部3に記憶された特定画素の信号レベル(輝度)のシフト量を読み出す(ステップS162A)。
なお、ステップS185でシフト操作がないと判断された場合(ステップS185:No)には、当該シフト量は、「0」である。
続いて、合成画像生成部74は、ステップS184でメモリ部3に記憶された特定画素のダイナミックレンジの圧縮比(図12Aの例では圧縮比:2(200%)、図12Bの例では圧縮比:0.5(50%))を読み出す(ステップS162B)。
なお、ステップS183で伸張操作または圧縮操作がないと判断された場合(ステップS183:No)には、当該圧縮比は、「1(100%)」である。
ステップS162Bの後、合成画像生成部74は、上述した実施の形態1で説明したHDR合成処理(ステップS136)と同様に、ステップS136A〜S136Hを実行する。
ステップS136D、ステップS136G、またはステップS136Hの後、合成画像生成部74は、当該選択した合成用画素の画素データに対して、ステップS162Aで読み出したシフト量だけ信号レベル(輝度)をシフトさせる露出補正処理を実行する(ステップS162C)。
続いて、合成画像生成部74は、露出補正処理(ステップS162C)を実行した後の合成用画素の画素データに対して、ステップS162Bで読み出した圧縮比を用いて、当該合成用画素の階調圧縮・伸張処理を実行する(ステップS162D)。そして、露出補正処理(ステップS162C)及び階調圧縮・伸張処理(ステップS162D)後の合成用画素の画素データは、当該合成用画素の画素位置(座標値)に関連付けられてメモリ部3に記憶される。
例えば、合成画像生成部74は、ステップS162Dにおいて、以下の式(6)により、階調圧縮・伸張処理を実行する。
階調圧縮・伸張処理後の信号レベル(輝度)=階調圧縮・伸張処理前の信号レベル(輝度)+(基準信号レベル(基準輝度)−階調圧縮・伸張処理前の信号レベル(輝度)×(1−圧縮比) ・・・(6)
ここで、式(6)中、基準信号レベル(基準輝度)は、信号レベル(輝度)の最小値から最大値の中心となる信号レベル(輝度)を、露出補正処理(ステップS162C)によりステップS162Aで読み出したシフト量だけ信号レベル(輝度)をシフトさせた信号レベル(輝度)を意味する。
ステップS162Dの後、合成画像生成部74は、メモリ部3に記憶された露出値(EV)及び画素位置の異なる複数の特定画像情報における全画素位置でステップS136A〜S136H,S162C,S162Dを実行したか(全画素位置で実行したか)否かを判断する(ステップS162E)。
全画素位置で実行していないと判断した場合(ステップS162E:No)には、合成画像生成部74は、画素位置を他の画素位置に切り替え(ステップS162F)、ステップS136Aに戻る。
ステップS136A〜S136H,S162C〜S162Fを繰り返し実行した結果、全画素位置で実行したと判断された場合(ステップS162E:Yes)には、撮像装置1は、図13に示したフローに戻る。
ステップS162,S163の後、合成画像生成部74は、メモリ部3に記憶された全ての合成用画素(特定画素、非特定画素)の画素データにより、静止画用合成画像データを生成する(ステップS164:合成画像生成ステップ)。そして、当該静止画用合成画像データは、記録部4に記録される。なお、スルー画用色相補正処理(ステップS15)の場合には、生成されたスルー画用合成画像データは、メモリ部3に記憶される。この後、撮像装置1は、図7に示したフローに戻る。
以上説明した本実施の形態2に係る撮像装置1によれば、上述した実施の形態1と同様の効果の他、以下の効果を奏する。
本実施の形態2に係る撮像装置1は、ヒストグラム表示処理により特定画素のヒストグラムや非特定画素のヒストグラムを表示し(ステップS17)、ヒストグラム調整処理により当該特定画素のヒストグラムや非特定画素のヒストグラムの調整操作(伸張操作、圧縮操作、シフト操作)をユーザに促す(ステップS18)。そして、撮像装置1は、当該調整操作に応じて、特定画素や非特定画素のダイナミックレンジを圧縮するとともに、特定画素や非特定画素の信号レベルをシフトさせた合成画像データを生成する(ステップS15,S16)。
したがって、本実施の形態2に係る撮像装置1によれば、ユーザの好みに応じた趣向性の高い合成画像データをより好適に生成することができる。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1,2によってのみ限定されるべきものではない。
上述した実施の形態1,2では、本発明に係る画像処理装置を撮像装置に採用していたが、これに限られず、例えば、被検体内部を撮像する内視鏡装置等に採用しても構わない。そして、本発明に係る画像処理装置を内視鏡装置に採用する場合には、露出値(EV)を変更しながら撮像するのではなく、被検体内部に照射する光の光量を調整(調光)しながら被検体内部を撮像し、当該撮像により得られた複数の画像データを上述した実施の形態1,2で説明した処理により合成(HDR合成)すればよい。
上述した実施の形態1,2では、露出値(EV)を変えながら同一の被写体を連写することにより得られた複数のHDR用画像データを合成していたが、これに限られない。例えば、同一の被写体を同一の露出値(EV)でかつ所定の時間を空けて複数回、撮像することにより得られた複数の画像データを上述した実施の形態1,2で説明した処理により合成(HDR合成)しても構わない。
前述のように、複数のデータをネットワークで繋がれた他の機器に記録してもよく、図示せぬ通信部によって該当画像を送信し、サーバ等に記録するようにしてもよい。このようにネットワーク上に有れば、このネットワークにアクセス可能な他の機器での編集(合成)等が可能となる。なお、このように外部に複数の画像を送信してしまうと、これらの複数の画像が、HDR等、特定の強調画像処理のための画像であることが分からなくなってしまう可能性があるので、各画像にその特定の目的である旨と、その素材である旨と、他にも関連する複数の残りの画像がある旨を、画像ファイルに記録しておき、当初想定していた機器以外でも簡単に検索して当該複数画像を集め、目的とする処理であることを分かるようにしておいた方がよい。もちろん、どのように合成するかを示す、ユーザの操作情報、こだわり色情報等も補助データとして画像ファイルに追記しておけば、この情報によって、撮影時の意図を反映させつつ、比較的容易に他の機器でのこだわり編集が可能となる。下記に示すユーザのタッチした対象物の情報(タッチ座標でもよい)、前述の特定画像情報や非特定画像情報、色相選別処理結果情報等がこれに相当する。ここでは、特に、選択した領域を際立たせる技術について注力して記述したが、ユーザが指定した特定の色や領域の派手さや目立ち具合等の画像効果を抑える技術にも利用できることは言うまでもない。こうした補助データ(タグ)は、表示部に順次表示される画像(スルー画、ライブビュー画像)を観察しながらユーザが指定した結果を反映可能なので、撮影時の趣向を反映した処理が可能となる。このように他の機器が利用できる環境下に画像を保存しておくと、特定の撮影装置や端末にこだわらず、より高度な演算で、高速かつ、より正確な画像表現が可能となる。つまり、このような工夫によって、記録部に記録された画像データを取得して、上記画像データの有する補助情報から、ユーザが指定した画像の特徴情報と、関連する画像データを判定して、上記特徴情報に従った画像データの特定抽出領域をHDR合成処理し、当該特定抽出領域以外との合成画像データを生成することによってユーザが強調したい特徴を強調した合成画像を生成することが可能となる。
図15は、本発明の実施の形態1,2の変形例を示す図である。
上述した実施の形態1,2では、色相環で構成された色相選択画像CS(図4)を表示し、カメラユーザに対して特定の色相の範囲を選択させていたが、これに限られない。例えば、図15に示すように、ライブビュー画像W100を表示している際に、カメラユーザによる操作部(タッチパネル)5へのタッチ操作により、タッチされた位置に表示されている画素の色相の範囲(例えば、タッチ位置の画素の色相に対して±30°の範囲)を特定の色相の範囲として設定しても構わない。また、タッチされた領域Arに複数の画素が表示されている場合には、当該複数の画素における色相の分布状況を考慮し、最も多い画素数となる色相に応じて特定の色相の範囲(例えば、当該最も多い画素数となる色相に対して±30°の範囲)を設定しても構わない。このように、上記特定の色相の指定を行う指定部は、画像の領域で指定することを特徴とする画像処理装置となる。
また、処理フローは、上述した実施の形態1,2で説明したフローチャートにおける処理の順序に限られず、矛盾のない範囲で変更しても構わない。
さらに、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記録部に記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記録部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
本実施の形態1,2に開示されている構成要素の適宜な組み合わせにより、種々の発明で形成ができる。そして、本実施の形態1,2には、以下に示す付記項1〜10の発明が含まれるものである。
[付記項1]
同一の被写体を撮像して得られた複数の画像データを取得する画像取得部と、
前記複数の画像データ毎に、特定の色相の範囲内にある色相を有する特定画素を抽出する特定画素抽出部と、
HDR合成処理により前記複数の画像データにおける前記特定画素のうち対応する画素同士から一の特定画素を選択し、当該選択した特定画素と、前記特定画素抽出部にて抽出されなかった非特定画素とにより構成された合成画像データを生成する合成画像生成部とを備える
ことを特徴とする画像処理装置。
[付記項2]
前記合成画像生成部は、
前記複数の画像データにおける前記特定画素のうち対応する画素同士から、当該特定画素の信号レベルが飽和していない特定画素を選択する
ことを特徴とする付記項1に記載の画像処理装置。
[付記項3]
前記合成画像生成部は、
前記複数の画像データにおける前記特定画素のうち対応する画素同士から、当該特定画素の信号レベルがノイズレベルでない特定画素を選択する
ことを特徴とする付記項1または2に記載の画像処理装置。
[付記項4]
前記複数の画像データは、
基準露出値で撮像された基準画像データと、前記基準露出値以外の露出値で撮像された異露出画像データとを含み、
前記合成画像生成部は、
前記基準画像データ及び前記異露出画像データにおける前記特定画素のうち対応する画素同士から前記異露出画像データにおける特定画素を選択した場合には、当該特定画素の画素データに対して、前記基準画像データの明るさに合わせるように、露出補正を行う
ことを特徴とする付記項1〜3のいずれか一つに記載の画像処理装置。
[付記項5]
画像を表示する表示部と、
前記特定画素抽出部にて抽出された特定画素の信号レベルに基づいて、当該特定画素のヒストグラムを前記表示部に表示させる表示制御部とを備える
ことを特徴とする付記項1〜4のいずれか一つに記載の画像処理装置。
[付記項6]
画像を表示する表示部と、
前記特定画素抽出部にて抽出されなかった非特定画素の信号レベルに基づいて、当該非特定画素のヒストグラムを前記表示部に表示させる表示制御部とを備える
ことを特徴とする付記項1〜5のいずれか一つに記載の画像処理装置。
[付記項7]
前記ヒストグラムにおける前記特定画素または前記非特定画素の信号レベルのダイナミックレンジを圧縮または伸張するユーザ操作を受け付ける操作受付部を備え、
前記合成画像生成部は、
前記操作受付部にて受け付けた前記ユーザ操作に基づいて、前記特定画素または前記非特定画素の信号レベルを調整する
ことを特徴とする付記項5または6に記載の画像処理装置。
[付記項8]
前記ヒストグラムにおける前記特定画素または前記非特定画素の信号レベルの中心レベルをシフトするユーザ操作を受け付ける操作受付部を備え、
前記合成画像生成部は、
前記操作受付部にて受け付けた前記ユーザ操作に基づいて、前記特定画素または前記非特定画素の信号レベルを調整する
ことを特徴とする付記項5〜7のいずれか一つに記載の画像処理装置。
[付記項9]
画像処理装置が実行する画像処理方法であって、
同一の被写体を撮像して得られた複数の画像データを取得する画像取得ステップと、
前記複数の画像データ毎に、特定の色相の範囲内にある色相を有する特定画素を抽出する特定画素抽出ステップと、
HDR合成処理により前記複数の画像データにおける前記特定画素のうち対応する画素同士から一の特定画素を選択し、当該選択した特定画素と、前記特定画素抽出ステップにて抽出されなかった非特定画素とにより構成された合成画像データを生成する合成画像生成ステップとを含む
ことを特徴とする画像処理方法。
[付記項10]
付記項9に記載の画像処理方法を画像処理装置に実行させる
ことを特徴とする画像処理プログラム。
1・・・撮像装置;2・・・撮像部;3・・・メモリ部;4・・・記録部;5・・・操作部;6・・・表示部;7・・・制御部;21・・・光学系;22・・・絞り;23・・・シャッタ;24・・・駆動部;25・・・撮像素子;71・・・露出設定部;72・・・撮像制御部;73・・・特定画素抽出部;74・・・合成画像生成部;75・・・表示制御部;Ar・・・領域;CS・・・色相選択画像;H1,H2・・・ヒストグラム;Lax・・・光軸;M1・・・第1操作アイコン;M2・・・第2操作アイコン;MW・・・メニュー画面;SF・・・重畳画像;TCF・・・スルー画用合成画像;W100・・・ライブビュー画像

Claims (13)

  1. 画像データを取得する画像取得部と、
    前記画像データの有する特徴をユーザが指定するための指定部と、
    前記指定部で指定された特徴として、特定の色相の範囲内にある画像領域を抽出する領域抽出部と、
    少なくとも前記領域抽出部にて抽出された領域をHDR合成処理し、前記領域抽出部にて抽出されなかった領域との合成画像データを生成する合成画像生成部とを備える
    ことを特徴とする画像処理装置。
  2. 前記特定の色相の指定を行う前記指定部は、
    画像の領域、色相環、またはヒストグラムで指定する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 表示部をさらに備え、
    前記特定の色相の指定を行う前記指定部は、
    前記表示部に順次表示される画像を観察しながらユーザが指定可能である
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記画像取得部は、
    複数の露出条件で撮像して得られた複数の前記画像データを取得し、
    前記領域抽出部は、
    前記複数の画像データのいずれかを用いて、特定の色相の範囲内にある画像領域を抽出する
    ことを特徴とする請求項1に記載の画像処理装置。
  5. 前記領域抽出部にて抽出された領域の信号レベルに基づいて、ヒストグラムを生成するヒストグラム生成部をさらに備える
    ことを特徴とする請求項1に記載の画像処理装置。
  6. 前記領域抽出部にて抽出されなかった領域の信号レベルに基づいて、ヒストグラムを生成するヒストグラム生成部をさらに備える
    ことを特徴とする請求項1に記載の画像処理装置。
  7. 表示部と、
    前記合成画像データ及び前記ヒストグラムを同時に前記表示部に表示させる表示制御部とをさらに備える
    ことを特徴とする請求項5または6に記載の画像処理装置。
  8. 前記合成画像生成部は、
    前記ヒストグラムが操作されることにより、前記領域抽出部にて抽出された領域、または前記領域抽出部にて抽出されなかった領域の信号レベルを調整する
    ことを特徴とする請求項7に記載の画像処理装置。
  9. 前記画像取得部は、
    複数の露出条件で撮像して得られた複数の前記画像データを取得し、
    前記領域抽出部は、
    前記複数の画像データのうち、当該領域の信号レベルが飽和していない画像データを選択する
    ことを特徴とする請求項1に記載の画像処理装置。
  10. 前記画像取得部は、
    複数の露出条件で撮像して得られた複数の前記画像データを取得し、
    前記領域抽出部は、
    前記複数の画像データのうち、当該領域の信号レベルがノイズレベルにない画像データを選択する
    ことを特徴とする請求項1に記載の画像処理装置。
  11. 記録部と、
    前記記録部に記録された画像データを取得する画像取得部と、
    前記画像データの有する補助情報から、ユーザが指定した画像の特徴情報と、関連する画像データを判定する判定部と、
    前記特徴情報に従った画像データの特定抽出領域をHDR合成処理し、前記特定抽出領域以外の領域との合成画像データを生成する合成画像生成部とを備える
    ことを特徴とする画像処理装置。
  12. 画像処理装置が実行する画像処理方法であって、
    画像データを取得し、
    ユーザにて指定された前記画像データの有する特徴として、特定の色相の範囲内にある画像領域を抽出し、
    少なくとも前記抽出された領域をHDR合成処理し、前記抽出されなかった領域との合成画像データを生成する
    ことを特徴とする画像処理方法。
  13. 請求項12に記載の画像処理方法を画像処理装置に実行させる
    ことを特徴とする画像処理プログラム。
JP2015152379A 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及び画像処理プログラム Pending JP2017033274A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015152379A JP2017033274A (ja) 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015152379A JP2017033274A (ja) 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2017033274A true JP2017033274A (ja) 2017-02-09

Family

ID=57988905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015152379A Pending JP2017033274A (ja) 2015-07-31 2015-07-31 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2017033274A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168186A (ja) * 2019-03-19 2021-10-21 キヤノン株式会社 情報処理装置および情報処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021168186A (ja) * 2019-03-19 2021-10-21 キヤノン株式会社 情報処理装置および情報処理方法
JP7331047B2 (ja) 2019-03-19 2023-08-22 キヤノン株式会社 情報処理装置および情報処理方法

Similar Documents

Publication Publication Date Title
JP6259185B2 (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN104702824B (zh) 摄像装置及摄像装置的控制方法
JP5622513B2 (ja) 画像処理装置、画像処理方法、および撮像装置
US9684988B2 (en) Imaging device, image processing method, and recording medium
JP2005229198A (ja) 画像処理装置および方法、並びに、プログラム
JP2017220892A (ja) 画像処理装置及び画像処理方法
US20180309940A1 (en) Image processing apparatus, image processing method, and imaging system
JP2010020758A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5186021B2 (ja) 撮像装置、画像処理装置、及び撮像方法
KR102207633B1 (ko) 촬영 장치 및 그 제어 방법
JP2013055567A (ja) 撮像装置
JP2017108309A (ja) 撮像装置および撮像方法
CN112991245B (zh) 双摄虚化处理方法、装置、电子设备和可读存储介质
JP2010147786A (ja) 撮像装置及び画像処理方法
JP5984975B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2013090095A (ja) 撮像装置、撮像方法、およびプログラム
US20130293735A1 (en) Imaging control device, imaging apparatus, and control method for imaging control device
US10762600B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable recording medium
JP2016163052A (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
JP2015211233A (ja) 画像処理装置および画像処理装置の制御方法
JP6091311B2 (ja) 撮像装置
JP2010213105A (ja) 撮像装置
JP2017033274A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US11108944B2 (en) Image processing apparatus for providing information for confirming depth range of image, control method of the same, and storage medium
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム