JP4556319B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4556319B2 JP4556319B2 JP2000328161A JP2000328161A JP4556319B2 JP 4556319 B2 JP4556319 B2 JP 4556319B2 JP 2000328161 A JP2000328161 A JP 2000328161A JP 2000328161 A JP2000328161 A JP 2000328161A JP 4556319 B2 JP4556319 B2 JP 4556319B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- dynamic range
- luminance value
- function
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 66
- 230000006870 function Effects 0.000 claims description 184
- 238000013507 mapping Methods 0.000 claims description 109
- 230000001965 increasing effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、例えば、画像信号の輝度のダイナミックレンジを変更する場合に用いて好適な画像処理装置および方法、並びに記録媒体に関する。
【0002】
【従来の技術】
CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Mental-Oxide Semiconductor)イメージセンサのような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、FA(Factory Automation)の分野における部品検査装置、およびME(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【0003】
近年、それらの固体撮像素子を用いて、光学フィルム写真に匹敵するダイナミックレンジを有する画像信号を得ることができる技術が数多く開発されている。
【0004】
一方、撮像された動画像や静止画像を表示するCRT(Cathode Ray tube)のような表示装置、印刷するプリンタ、投影するプロジェクタ等の従来機器は、現在において、それらが表現し得る輝度階調に制限がある。すなわち、表現可能な画像のダイナミックレンジが狭い。よって、光学フィルム写真に匹敵するダイナミックレンジを有する画像の画像信号(以下、広ダイナミックレンジ画像と記述する)を取得することができたとしても、それを表現(表示や印刷等)することができない問題がある。
【0005】
したがって、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来機器が表現可能な画像(以下、狭ダイナミックレンジ画像と記述する)に変換するダイナミックレンジ圧縮処理技術が必要とされている。
【0006】
以下、従来において提案された4つのダイナミックレンジ圧縮技術について説明する。
【0007】
第1の技術として、画像信号の輝度のゲインとオフセットを調節することによって輝度をスケーリングする方法が挙げられる。この第1の技術は、極めて簡易であって、簡単に適用することができる。しかしながら、輝度階調を圧縮しないので、表示装置等のダイナミックレンジを越える輝度の値は全てクリッピングされてしまい、元の広ダイナミックレンジ画像が有する情報を活かしきることができない。
【0008】
第2の技術として、本来、表示装置等のガンマ特性を補正するために実行されるガンマ補正処理を流用してダイナミックレンジを圧縮する技術が挙げられる。
ガンマ補正処理に用いられるガンマ補正曲線はべき乗の関数であるので、ガンマ値である指数を変更することによって、簡単に補正特性を調節することができる。しかしながら、ダイナミックレンジ圧縮に流用することに起因して、本来のガンマ補正処理に影響を及ぼしてしまい、色バランスが崩れたり、コントラストの劣化が発生することがある。
【0009】
第3の技術として、画像の累積ヒストグラム曲線を階調補正曲線に用いるヒストグラム等化手法が挙げられる。ヒストグラム等化手法では、輝度分布(ヒストグラム)に対応して、画像中のより広い面積を占める輝度に対し、より多くの階調を与えるように階調変換が施される。したがって、画像全体としてはコントラストを強調する方向に作用し、狭いダイナミックレンジであっても細部が明確化された視認性が高い画像を得ることができる。しかしながら、階調変換の結果得られる画像は、元の広ダイナミックレンジ画像の輝度分布に大きく左右されるので、所望の画像が得られない場合がある。
【0010】
第4の技術として、局所オペレータを用いて細部を強調する技術が挙げられる。第4の技術では、画像が局所オペレータによって空間周波数帯域毎に分離され、分離された空間周波数帯域のそれぞれに対し、ゲインが調節された後、それらが再び統合される。ゲインを調整する際、低周波数帯域を減衰させことによって、階調を圧縮することができ、高周波数帯域の減衰量を少なくすることによって、細部のコントラストが損なわれないようにすることができる。
【0011】
よって、階調が少ない表示装置等の従来機器であっても、細部の視認性が高い画像を表現することができる。しかしながら、各帯域のバランスが変更された結果、画像内のエッジ部分等の高コントラスト領域に階調の反転が生じてしまい、その部分が場合によって非常に目障りなアーチファクト(artifact)として認知されてしまうことがある。
【0012】
【発明が解決しようとする課題】
以上説明したように、従来のダイナミックレンジ圧縮技術では、得られる狭ダイナミックレンジ画像がユーザの意図を反映した結果とはならないことがある。
具体的には、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、例えば画像中の被写体が占める領域を最適な輝度で表現させようとしても、その実行が困難である課題があった。
【0013】
本発明はこのような状況に鑑みてなされたものであり、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、画像中の任意の領域の輝度を最適化できるようにすることを目的とする。
【0014】
【課題を解決するための手段】
本発明の画像処理装置は、第2のダイナミックレンジにおける第2の輝度値を設定する設定手段と、第2の輝度値に対応する第1のダイナミックレンジにおける第1の輝度値を演算する演算手段と、第1の輝度値および第2の輝度値からなる第1の輝度対に基づいて、マッピング関数を生成するマッピング関数生成手段と、生成されたマッピング関数を用いて第1の画像信号を第2の画像信号に変換する変換手段とを含み、マッピング関数生成手段は、第1の輝度対に対応する点、第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、および第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点の3点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する。
【0015】
前記マッピング関数生成手段は、第1の輝度対に対応する点と第2の輝度対に対応する点を通過する単調増加関数第1の関数としてを生成する第1の関数生成手段と、第1の輝度対に対応する点と第3の輝度対に対応する点を通過する単調増加関数を第2の関数として生成する第2の関数生成手段と、第1の輝度対が示す点の近傍において、第1の関数上の点および第2の関数上の点を通る単調増加関数である第3の関数をマッピング関数として生成する第3の関数生成手段とを含むことができる。
【0016】
前記第3の関数生成手段は、第1の関数が示す所定の1点、第1の輝度対が示す1点、および第2の関数が示す所定の1点の3点によって定義される2次曲線関数を、第3の関数として生成することができる。
【0017】
本発明の画像処理装置は、マッピング関数に基づいて、第2の画像信号を構成する3原色信号の色バランスを補正するための補正情報を算出する算出手段と、補正情報を用いて、第2の画像信号を構成する3原色信号を補正する補正手段とをさらに含むことができ、前記算出手段は、マッピング関数のガンマ特性を取得し、補正後の3原色信号とマッピング関数適用後輝度値の比率がそのガンマ特性によって算出される比率になるように、3原色信号への補正係数を決定することができる。
【0018】
本発明の画像処理方法は、第2のダイナミックレンジにおける第2の輝度値を設定する設定ステップと、第2の輝度値に対応する第1のダイナミックレンジにおける第1の輝度値を演算する演算ステップと、第1の輝度値および第2の輝度値からなる第1の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、生成されたマッピング関数を用いて第1の画像信号を第2の画像信号に変換する変換ステップとを含み、マッピング関数生成ステップは、第1の輝度対に対応する点、第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、および第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点の3点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する。
【0019】
本発明の記録媒体は、輝度値に関して、第1のダイナミックレンジを有する第1の画像信号を、第2のダイナミックレンジを有する第2の画像信号に変換する画像処理用のプログラムであって、第2のダイナミックレンジにおける第2の輝度値を設定する設定ステップと、第2の輝度値に対応する第1のダイナミックレンジにおける第1の輝度値を演算する演算ステップと、第1の輝度値および第2の輝度値からなる第1の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、生成されたマッピング関数を用いて第1の画像信号を第2の画像信号に変換する変換ステップとを含み、マッピング関数生成ステップは、第1の輝度対に対応する点、第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、および第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点の3点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する処理をコンピュータに実行させるプログラムが記録されている。
【0020】
本発明においては、第2のダイナミックレンジにおける第2の輝度値が設定され、第2の輝度値に対応する第1のダイナミックレンジにおける第1の輝度値が演算される。さらに、第1の輝度値および第2の輝度値からなる第1の輝度対に基づいて、マッピング関数が生成され、生成されたマッピング関数が用いられて第1の画像信号が第2の画像信号に変換される。なお、マッピング関数としては、第1の輝度対に対応する点、第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、および第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点の3点の近傍を通過する滑らかな単調増加関数が生成される。
【0021】
【発明の実施の形態】
図1は、本発明を適用した画像処理システムの構成例を示している。この画像処理システムは、被写体を広ダイナミックレンジ画像信号として撮像するディジタルカメラ等よりなる撮像装置1、および、撮像装置1から供給される広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換するパーソナルコンピュータ等よりなる画像処理装置2から構成される。
【0022】
画像処置装置2は、画像信号を処理する画像処理部11、ユーザからの操作コマンド等を受け付け、その操作コマンドの情報を画像処理部11に通知する操作入力部12、および、操作入力部12に対応するGUI(Graphical User Interface)や画像処理部11の処理結果を表示する表示部13から構成される。画像処理装置2の画像処理部11は、処理結果である狭ダイナミックレンジ画像信号を、適宜、画像処理装置2の外部に出力する。
【0023】
図2は、撮像装置1の構成例を示している。撮像装置1は、被写体の光画像を集光するレンズ21、透過する光量を調整する絞り22、レンズ21および絞り22を介して入力される光画像を電気信号に変換するCCDイメージセンサ23、相関2重サンプリング回路、ガンマ補正回路およびニー特性回路等を含む前置増幅器24、前置増幅器24から入力される電気信号を広ダイナミックレンジ画像信号にエンコードするビデオエンコーダ25、並びに広ダイナミックレンジ画像信号を画像処理装置2に出力する出力部26から構成される。
【0024】
撮像装置1の構成要素であるCCDイメージセンサ23および前置増幅器24について説明する。図3は、CCDイメージセンサ23の構成例を示している。CCDイメージセンサ23は、インタレーススキャンを行うインタライン型CCDと同様の構成をなしている。すなわち、入射した光量に応じた電荷を蓄積すフォトダイオード(PD)31が2次元に配列されており、フォトダイオード31の各縦列間に垂直レジスタ(Vレジスタ)32が設けられ、垂直レジスタ32の終端(図3において下端)には、水平レジスタ(Hレジスタ)33が設けられている。
【0025】
なお、偶数フィールド構成する第2i(i=0,1,2,・・・)ラインには、高感度のフォトダイオード31Hが用いられ、奇数フィールド構成する第2i+1ラインには、低感度のフォトダイオード31Lが用いられている。
【0026】
フォトダイオード31H,31Lの感度特性について、図4を参照して説明する。図4において、横軸Eiはフォトダイオード31H,31Lに入力される光の強度を示しており、縦軸Eoはフォトダイオード31H,31Lに蓄積される電荷量を示している。
【0027】
低感度のフォトダイオード31Lは、図4の直線Aに示す感度特性を有する。
すなわち、入力される光の強度の全域に亘り、入射光の強度に比例した電荷を蓄積する。高感度のフォトダイオード31Hは、図4の直線Bに示す感度特性を有する。すなわち、強度が弱い光に対応し、その入射光の強度に比例して、低感度のフォトダイオード31Lよりも多くの電荷を蓄積する。
【0028】
図3に戻る。フォトダイオード31H,31Lに蓄積された電荷は、所定のタイミング毎に対応する垂直レジスタ32に読み出された後、水平レジスタ33に転送される。水平レジスタ33は、1水平ライン分の垂直レジスタ32から転送された電荷を順次出力する。
【0029】
フォトダイオード31H,31Lに蓄積された電荷を読み出すタイミングについて説明する。CCDイメージセンサ23は、インタレーススキャンを行うが、電荷読み出しの際、1画素に対応する電荷として、上下に隣接するフォトダイオード31H,31Lの電荷を読み出して加算するようになされている。
【0030】
例えば、偶数フィールドの第2iラインの電荷としては、第2iラインのフォトダイオード31Hに蓄積された電荷と、第2i+1ラインのフォトダイオード31Lに蓄積された電荷が読み出されて加算される。奇数フィールドの第2i+1ラインの電荷としては、第2i+1ラインのフォトダイオード31Lに蓄積された電荷と、第2(i+1)ラインのフォトダイオード31Hに蓄積された電荷が読み出されて加算される。
【0031】
したがって、CCDイメージセンサ23は、各画素に対応する電気信号として、低感度のフォトダイオード31Lに蓄積された電荷と高感度のフォトダイオード31Hに蓄積された電荷の和を出力するようになされている。よって、CCDイメージセンサ23は、図4の直線A(フォトダイオード31Lに対応する)と直線B(フォトダイオード31Hに対応する)を加算した線Cに示す感度特性を有することになる。すなわち、CCDイメージセンサ23は、光の強度が弱い領域において高感度のフォトダイオード31Hが電荷を蓄積し、光の強度が強い領域においては低感度のフォトダイオード31Lが電荷を蓄積するので、ノイズと飽和の少ない広ダイナミックレンジの電気信号を得ることができる。
【0032】
前置増幅器24は、図5に示す関数(図4の曲線Cの逆関数)を、CCDイメージセンサ23から出力された広ダイナミックレンジの電気信号Eoに適用して元の光信号の強度の推定値Ei’を得る。
【0033】
次に、図6は、画像処理用のアプリケーションプログラムを実行することより、画像処理装置2として動作するパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)41を内蔵している。CPU41にはバス44を介して、入出力インタフェース45が接続されている。
【0034】
入出力インタフェース45には、操作入力部12に相当するキーボード、マウスなどの入力デバイスよりなる入力部46、GUIや処理結果としての画像信号を表示部13に出力する表示制御部47、撮像装置1から入力される広ダイナミックレンジ画像信号をデコードするビデオデコーダ48、各画素の輝度に相当する電圧を量子化してディジタル画像信号に変換するA/Dコンバータ49、ハードディスクやフレームメモリなどよりなり、画像処理用のプログラムやディジタル画像信号等を格納する記憶部50、並びに、磁気ディスク52(フロッピディスクを含む)、光ディスク53(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク54(MD(Mini Disc)を含む)、および半導体メモリ55などの記録媒体に対してデータを読み書きするドライブ51が接続されている。
【0035】
バス44には、入出力インタフェース45の他、ROM(Read Only Memory)42およびRAM(Random Access Memory)43が接続されている。
【0036】
このパーソナルコンピュータに画像処理装置2としての動作を実行させる画像処理用プログラムは、磁気ディスク52乃至半導体メモリ55に格納された状態でパーソナルコンピュータに供給され、ドライブ51によって読み出されて、記憶部50に内蔵されるハードディスクドライブにインストールされている。記憶部50にインストールされている画像処理用プログラムは、入力部46に入力されるユーザからのコマンドに対応するCPU41の指令によって、記憶部50からRAM43にロードされて実行される。
【0037】
次に、当該画像処理システムの動作について、図7のフローチャートを参照して説明する。ステップS1において、撮像装置1は、被写体の光画像を撮像し、得られた広ダイナミックレンジ画像信号を画像処理装置2に出力する。
【0038】
ステップS2において、画像処理装置2の画像処理部11は、ユーザの選択操作に対応して最適露出情報を設定する。最適露出情報を設定する第1の動作例について、図8のフローチャートを参照して説明する。
【0039】
ステップS11において、画像処理装置2の画像処理部11は、撮像装置1から入力された広ダイナミックレンジ画像信号から、所定の数の狭ダイナミックレンジ画像信号を簡易生成する。狭ダイナミックレンジ画像信号を簡易生成する処理について、図9のフローチャートを参照して説明する。以下、処理される画像信号は輝度信号であるとする。
【0040】
ステップS21において、画像処理部11は、撮像装置1から入力されて記憶されている広ダイナミックレンジ画像の各画素の画像信号Y(x,y)と、予め用意されている複数の露出比率rのうちの1つを、記憶部50から読み出す。ここで、x,yは、それぞれ、画像の縦または横の座標値である。
【0041】
ステップS22において、画像処理部11は、全ての画素の画像信号Y(x,y)に露出比率rを乗算して変換画像信号Yn(x,y)を生成する。ステップS23において、画像処理部11は、変換画像信号Yn(x,y)を、所定の閾値Ynmax,Ynminと比較して、閾値Ynmaxよりも大きい変換画像信号Yn(x,y)を、閾値Ynmaxを用いて置換し、閾値Ynminよりも小さい変換画像信号Yn(x,y)を、閾値Ynminを用いて置換する。このようにして生成された変換画像信号Yn(x,y)が、簡易生成した狭ダイナミックレンジ画像信号とされる。
【0042】
以上説明したステップS21乃至S23の処理は、予め用意されている露出比率rの種類の数と同じ数だけ繰り返し実行される。
【0043】
処理は、図8のステップS12に戻る。ステップS12において、画像処理部11は、ステップS11の処理で簡易生成された狭ダイナミックレンジ画像信号を表示部13に表示させ、また、表示させた複数の狭ダイナミックレンジ画像のうちの1つをユーザに選択させるためのGUIを表示部13に表示させる。
【0044】
図10は、簡易生成された狭ダイナミックレンジ画像を表示する表示部13の表示例を示している。この表示例では、表示部13の画像表示領域61に、9(=3×3)枚の簡易生成された狭ダイナミックレンジ画像62が表示可能とされており、4枚の簡易生成された狭ダイナミックレンジ画像62が表示されている。表示された狭ダイナミックレンジ画像62の周囲には、枠63が設けられている。
【0045】
図11は、表示部13に表示された複数の簡易生成された狭ダイナミックレンジ画像62を、ユーザが選択する際に操作するGUIの表示例を示している。GUIとしての画像選択ボタンパネル71には、現在指定されている画像の左側の画像を指定するときクリックされる左移動ボタン72、現在指定されている画像の右側の画像を指定するときクリックされる右移動ボタン73、および、指定されている画像を選択するときクリックされるセレクトボタン74が設けられている。
【0046】
表示部13の画像表示領域61に表示された枠63は、対応する画像がユーザによって指定されている場合、それをユーザが認識できるように、例えば、ハイライト表示される。図10の表示例の場合、3×3の画像のうちの左上の画像が指定されており、その枠63がハイライト表示されている。
【0047】
ユーザは、表示部13の画像表示領域61に表示された複数の画像のうち、画像中の被写体の階調が最も適切に表示されている画像を、画像選択ボタンパネル71を用いて選択するようにする。
【0048】
図8に戻り、ステップS13において、画像処理部11は、表示部13の画像表示領域61に表示されている簡易生成された狭ダイナミックレンジ画像のうちの1つをユーザが選択するまで待機し、簡易生成された狭ダイナミックレンジ画像のうちの1つをユーザが選択したと判定した場合、処理はステップS14に進む。ステップS14において、画像処理部11は、ユーザが選択した画像に対応する露出比率rを最適露出情報として設定する。処理は、図7のステップS3にリターンする。
【0049】
ステップS3において、画像処理部11は、ステップS2で設定した最適露出情報に従い、撮像装置1から入力された広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換して表示部13に出力する。
【0050】
最適露出情報に従って広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換する処理の詳細について説明する。
【0051】
図12は、当該処理に関わる画像処理部11の第1の構成例を示している。輝度対検出部81は、広ダイナミックレンジ画像信号および最適露出情報に基づき、注目輝度・最適注目輝度対(M,Mm)を検出してマッピング関数生成部82に出力する。マッピング関数生成部82は、広ダイナミックレンジ画像信号および輝度対検出部81からの注目輝度・最適注目輝度対(M,Mm)に基づき、マッピング関数を生成してマッピング部83に出力する。マッピング部83は、広ダイナミックレンジ画像信号を、マッピング関数生成部82からのマッピング関数に適用して狭ダイナミックレンジ画像信号を生成する。
【0052】
輝度対検出部81の注目輝度・最適注目輝度対(M,Mm)を検出する処理について、図13のフローチャートおよび図14を参照して説明する。図14は、広ダイナミックレンジ画像の輝度のダイナミックレンジと、簡易生成された狭ダイナミックレンジ画像の輝度のダイナミックレンジの関係を説明するための図であり、同図の横軸は、入力される広ダイナミックレンジ画像の輝度Yの対数値logYを示し、縦軸は簡易生成された狭ダイナミックレンジ画像の輝度Ynの対数値logYnを示している。
【0053】
ステップS31において、輝度対検出部81は、予め設定されている広ダイナミックレンジ画像の飽和輝度Ys、狭ダイナミックレンジ画像の飽和輝度Yns、および狭ダイナミックレンジ画像の中間輝度Ynmを記憶部50から取得する。ここで、狭ダイナミックレンジ画像の中間輝度Ynmは、例えば、例えば次式(1)に示すように、所定の狭ダイナミックレンジ画像の飽和輝度Ynsとノイズレベル輝度Ynnを用いて予め演算されているものとする。
中間輝度Ynm=(Yns+Ynn)/2 ・・・(1)
【0054】
ステップS32において、輝度対検出部81は、図8のステップS14で設定された最適露出情報(露出比率r)を取得する。ステップS33において、輝度対検出部81は、狭ダイナミックレンジ画像の中間輝度Ynmに対応する広ダイナミックレンジ画像の輝度を次式(2)を用いて演算する。この輝度を注目輝度Mに設定する。
注目輝度M=r・Ys(Ynm/Yns) ・・・(2)
【0055】
ステップS34において、輝度対検出部81は、狭ダイナミックレンジ画像の中間輝度Ynmを最適注目輝度Mmに設定する。ステップS35において、輝度対検出部81は、注目輝度・最適注目輝度対(M,Mm)をマッピング関数生成部82に出力する。
【0056】
次に、図15は、マッピング関数生成部82の詳細な構成例を示している。マッピング関数生成部82は、広ダイナミックレンジ画像の最大輝度Hと最小輝度Lを取得する最大・最小輝度取得部91、最大・最小輝度取得部91からの広ダイナミックレンジ画像の最大輝度Hと最小輝度L、および輝度対検出部81からの注目輝度・最適注目輝度対(M,Mm)に基づき、高域対数関数を生成する高域関数決定部92、最大・最小輝度取得部91からの広ダイナミックレンジ画像の最大輝度Hと最小輝度L、および輝度対検出部81からの注目輝度・最適注目輝度対(M,Mm)に基づき、低域対数関数を生成する低域関数決定部93、および、高域関数決定部92が生成する高域対数関数と、低域関数決定部93が生成する低域対数関数を合成してマッピング関数を生成する関数合成部94から構成される。
【0057】
マッピング関数生成部82がマッピング関数を生成する処理について、図16のフローチャートを参照して説明する。
【0058】
ステップS41において、最大・最小輝度取得部91は、図17に示すような広ダイナミックレンジ画像の輝度信号Yのヒストグラムを生成する。ステップS42において、最大・最小輝度取得部91は、輝度信号Yに含まれるノイズを考慮して、頻度を有する輝度の最大値よりも所定の割合(例えば、1%)だけ小さい値を最大輝度Hに決定し、頻度を有する輝度の最小値よりも所定の割合(例えば、1%)だけ大きい値を輝度の最小輝度Lに決定し、最大輝度Hおよび最小輝度Lを高域関数決定部92、低域関数決定部93、および関数合成部94に出力する。
【0059】
ステップS43において、関数合成部94は、図18に示す2点(logL,Lm),(logH,Hm)を通る直線Aに相当する対数関数Ym(Y)を生成する。
Ym(Y)=αlogY+β ・・・(3)
【数1】
【0060】
なお、図18は、広ダイナミックレンジ画像の輝度のダイナミックレンジと、変換後の狭ダイナミックレンジ画像の輝度のダイナミックレンジの関係を説明するための図であり、同図の横軸は、入力される広ダイナミックレンジ画像の輝度Yの対数値logYを示し、縦軸は変換後の狭ダイナミックレンジ画像の輝度Ymを示している。図19乃至図21も同様である。また、Hm,Lmは、それぞれ狭ダイナミックレンジの最大輝度または最小輝度を表しており、予め設定されている値である。
【0061】
ステップS44において、高域関数決定部92は、図18に示す2点(logM,Mm),(logH,Hm)を通る直線Cに相当する高域対数関数YmH(Y)を生成して関数合成部94に出力する。
YmH(Y)=αHlogY+βH ・・・(4)
【数2】
【0062】
ステップS45において、低域関数決定部93は、図18に示す2点(logL,Lm),(logM,Mm)を通る直線Bに相当する低域対数関数YmL(Y)を生成して関数合成部94に出力する。
YmL(Y)=αLlogY+βL ・・・(5)
【数3】
【0063】
なお、ステップS43,S44,S45の処理の順序は、適宜入れ替えてもよいし、平行して同時に実行するようにしてもよい。
【0064】
ステップS46において、関数合成部94は、 図18の直線Aに相当する対数関数Ym(Y)のYに注目輝度Mを代入し、得られたYm(M)と最適注目輝度Mmを比較して、その比較結果に基づき、注目輝度・最適注目輝度対に対応する点(logM,Mm)が、直線Aよりも上に位置するか、直線Aよりも下に位置するか、または直線Aに一致するかを判定する。
【0065】
比較結果が、MmがYm(M)よりも大きい場合には、図18に示すように、注目輝度・最適注目輝度対に対応する点(logM,Mm)は直線Aよりも上に位置すると判定されて、処理はステップS47に進む。ステップS47において、関数合成部94は、図19に示すような上に凸のマッピング関数となるように、図19の横軸上のパラメータCL,CHを次式(6)のように設定する。
【数4】
・・・(6)
【0066】
ステップS50において、関数合成部94は、高域対数関数YmH(Y)と低域対数関数YmL(Y)を滑らかに連結してマッピング関数を生成する。具体的には、入力輝度Y、すなわち、広ダイナミックレンジ画像の輝度Yを、最小輝度Lよりも小さい領域、最小輝度L以上であってCLよりも小さい領域、CL以上であってCHよりも小さい領域、CH以上で最大輝度Hよりも小さい領域、または、最大輝度H以上である領域に分け、各領域に対応するマッピング関数f(Y)を生成する(詳細は図22を参照して後述する)。
【0067】
ステップS46での比較結果が、MmがYm(M)と等しい場合、注目輝度・最適注目輝度対に対応する点(logM,Mm)は直線Aに一致すると判定されて、処理はステップS48に進む。ステップS48において、関数合成部94は、マッピング関数のパラメータCL,CHを次式(7)のように設定する。
CL=L
CH=H ・・・(7)
【0068】
ステップS46での比較結果が、MmがYm(M)よりも小さい場合には、図20に示すように、注目輝度・最適注目輝度対に対応する点(logM,Mm)は直線Aよりも下に位置すると判定されて、処理はステップS49に進む。ステップS49において、関数合成部94は、図21に示すような下に凸のマッピング関数となるようにパラメータCL,CHを次式(8)のように設定する。
【数5】
・・・(8)
【0069】
ステップS50における関数合成部94の処理の詳細について、図22のフローチャートを参照して説明する。ステップS61,S63,S65,S72における大小比較判定により、マッピング関数f(Y)の変数である入力輝度Yが5つの領域のうちのいずれかに分類される。
【0070】
ステップS61の処理を経て、最小輝度Lよりも小さい領域に分類された入力輝度Yに対しては、ステップS62において、次式(9)に示すようにマッピング関数f(Y)が定義される。
f(Y)=Lm Y<L ・・・(9)
【0071】
ステップS61,S63の処理を経て、最小輝度L以上であってCLよりも小さい領域に分類された入力輝度Yに対しては、ステップS64において、次式(10)に示すように、マッピング関数f(Y)が低域対数関数YmL(Y)によって定義される。
f(Y)=YmL(Y)=αLlogY+βL L≦Y<L・・・(10)
【0072】
ステップS61,S63,S65の処理を経て、CL以上であってCHよりも小さい領域に分類された場合、処理はステップS66に進む。
【0073】
ステップS66において、CL−2M+CHが0よりも大きいか否かが判定される。CL−2M+CHが0よりも大きいと判定された場合、処理はステップS67に進む。ステップS67において、媒介変数tが次式(11)によって定義される。
【数6】
・・・(11)
【0074】
ステップS68において、入力輝度Yに対し、次式(12)に示すように、マッピング関数f(Y)が定義される。
【数7】
CL≦Y<CH・・・(12)
【0075】
ステップS66において、CL−2M+CHが0よりも大きくないと判定された場合、処理はステップS69に進む。ステップS69において、CL−2M+CHが0よりも小さいか否かが判定される。CL−2M+CHが0よりも小さいと判定された場合、処理はステップS70に進む。ステップS70において、媒介変数tが次式(13)によって定義される。
【数8】
・・・(13)
【0076】
ステップS69において、CL−2M+CHが0よりも小さくない、すなわち、CL−2M+CH=0であると判定された場合、処理はステップS71に進む。ステップS71において、媒介変数tが次式(14)によって定義される。
t=(Y−CL)/2(M−CL) ・・・(14)
【0077】
ステップS61,S63,S65,S72の処理を経て、CH以上であって最大輝度Hよりも小さい領域に分類された入力輝度Yに対しては、ステップS73において、次式(15)に示すように、マッピング関数f(Y)が高域対数関数YmH(Y)によって定義される。
f(Y)=YmH(Y)=αHlogY+βH CH≦Y<H・・・(15)
【0078】
ステップS61,S63,S65,S72の処理を経て、最大輝度H以上である領域に分類された入力輝度Yに対しては、ステップS74において、次式(16)に示すように、マッピング関数f(Y)が高域対数関数YmH(Y)によって定義される。
f(Y)=Lm H<Y ・・・(16)
【0079】
以上説明したように、マッピング関数生成部82の一連の処理によって、マッピング関数f(Y)が生成される。
【0080】
次に、生成されたマッピング関数f(Y)に広ダイナミックレンジ画像信号を適用して狭ダイナミックレンジ画像信号を生成するマッピング部83の処理について、図23のフローチャートを参照して説明する。
【0081】
ステップS81において、マッピング部83は、記憶部50から広ダイナミックレンジ画像信号を取得する。また、マッピング部83は、マッピング関数生成部82からマッピング関数f(Y)を取得する。
【0082】
ステップS82において、マッピング部83は、広ダイナミックレンジ画像の全て画素の輝度信号Y(x,y)を、マッピング関数f(Y)に順次代入して狭ダイナミックレンジ画像信号を生成する。
【0083】
以上説明したように画像処理部11の一連の処理によれば、簡易生成されてた複数の狭ダイナミックレンジの画像がユーザに提示され、そのうちの被写体の階調が最も適切に表示されている画像がユーザによって選択されて、選択された画像に基づいて注目輝度・最適注目輝度対(M,Mm)が導き出される。さらに、注目輝度・最適注目輝度対(M,Mm)に基づいてマッピング関数f(Y)が生成されて、広ダイナミックレンジ画像信号がマッピング関数f(Y)によって狭ダイナミックレンジ画像信号に変換されるので、画像中の被写体が適切な階調で表現される狭ダイナミックレンジの画像を得ることができる。
【0084】
なお、上述した説明においては、注目輝度・最適注目輝度対(M,Mm)を1つだけ決定して、以降の処理を実行するようにしたが、2つ以上の注目輝度・最適注目輝度対を決定してマッピング関数を生成するようにしてもよい。
【0085】
次に、画像処理部11が最適露出情報を設定する第2の動作例について、図24および図25を参照して説明する。図8乃至図11を参照して上述した第1の動作例では、簡易生成された複数の狭ダイナミックレンジ画像のうちの1つをユーザに選択させるようにしたが、第2の動作例においては、所定の露出比率rを適用して簡易生成した狭ダイナミックレンジ画像を1枚だけ表示し、その画像の内で注目すべき範囲(例えば、被写体が表示されている範囲)をユーザに指定させるようにし、その指定された範囲(図24(B)のマスク103)を示す情報を最適露出情報に設定して輝度対検出部81に供給するようにする。
【0086】
図24は、簡易生成された1枚の狭ダイナミックレンジ画像を表示する表示部13の表示例を示している。同図(A)に示すように、表示部13の画像表示・指定範囲描画領域101には、簡易生成された狭ダイナミックレンジ画像102が1枚だけ表示される。画像表示・指定範囲描画領域101に表示された狭ダイナミックレンジ画像102には、同図(B)に示すような、ユーザによって指定された範囲を表すマスク103が重畳して表示される。
【0087】
図25は、狭ダイナミックレンジ画像102に重畳して表示されるマスク103をユーザが設定するとき操作するGUIの表示例を示している。GUIとしての範囲指定パネル111には、マスク103の設定を開始するときクリックされるペンボタン112、設定されたマスク103の設定を解除する消しゴムボタン113、および、設定したマスク103を確定する完了ボタン114が設けられている。
【0088】
ユーザは、ペンボタン112をクリックした後、マウス等の入力デバイスを用いてマスク103の範囲を描画し、完了ボタン114をクリックすることにより、描画したマスク103の範囲を確定させる。これに対応して、確定されたマスク103の範囲を示す情報が、最適露出情報として輝度対検出部81に供給される。
【0089】
第2の動作例において、輝度対検出部81は、最適注目輝度Mmとして、上述したステップS31(図13)の処理と同様に、予め設定されている狭ダイナミックレンジ画像の中間輝度Ynmを、記憶部50に記憶されている画像処理用アプリロケーションプログラムから取得する。
【0090】
一方の注目輝度Mを求めるために輝度対検出部81は、広ダイナミックレンジ画像のうち、マスク103の範囲に含まれる画素の輝度信号を取得して画素集合G1とし、画素集合G1のうち、所定の飽和レベルを上回る輝度の画素、および所定のノイズレベルを下回る輝度の画素を除外して画素集合G2とする。さらに、輝度対検出部81は、画素集合G2の輝度のヒストグラムを生成して、最も頻度が高い輝度を注目輝度Mに設定する。
【0091】
このようにして設定された注目輝度・最適注目輝度対(M,Mm)は、マッピング関数生成部82に供給されて、上述した一連の処理と同様に処理される。
【0092】
以上のように、最適露出情報を設定する第2の動作例によれば、ユーザが最適な輝度で表示してほしい被写体の範囲を指示するという直感的な操作によって、所望の狭ダイナミックレンジ画像を作成することが可能となる。
【0093】
次に、撮像装置1から画像処理装置2に対して、カラーの広ダイナミックレンジ画像信号(3原色信号R,G,B)が供給される場合に対応する画像処理部11の構成例(以下、画像処理部11の第2の構成例と記述する)および動作について、図26を参照して説明する。画像処理部11の第2の構成例においては、カラー画像の色バランスが損なわれないように階調変換が行われる。
【0094】
図26は、画像処理部11の第2の構成例を示している。輝度信号生成部121は、次式(17)を用いて、入力される広ダイナミックレンジ画像の各画素の3原色信号R,G,Bを用いて輝度Yを生成し、輝度対検出部122、色補正関数生成部123、マッピング部124、マッピング関数生成部125、マッピング部126、および、べき乗演算部127に出力する。
輝度Y=kr・R+kg・G+kb・B ・・・(17)
【0095】
ここで、kr,kg,kbは定数であり、例えば、kr=0.3、kg=0.6、kb=0.1とする。
【0096】
輝度対検出部121は、輝度信号生成部121からの広ダイナミックレンジ画像の各画素の輝度Y、および、上述した画像処理部11の第1または第2の動作例によって取得した最適露出情報に基づき、注目輝度・最適注目輝度対(M,Mm)を検出して色補正関数生成部123およびマッピング関数生成部82に出力する。
【0097】
色補正関数生成部123は、輝度信号生成部121からの広ダイナミックレンジ画像の各画素の輝度Y、および、輝度対検出部81からの注目輝度・最適注目輝度対(M,Mm)に基づき、輝度Yに対応する色補正量γを示す色補正関数fC(Y)を生成し、マッピング部124に出力する。
【0098】
色補正関数生成部123が色補正関数fC(Y)を生成する処理について、より詳細に説明する。当該色補正関数生成処理は、図16乃至図22を参照して上述したマッピング関数生成部82のマッピング関数生成処理とほぼ同様であり、図22を用いて説明したステップS50(図16)における処理だけが若干異なる。よって、当該色補正関数生成処理のうち、マッピング関数生成処理のうちのステップS50における処理に相当する処理についてのみ、図27を参照して説明する。
【0099】
色補正関数生成部123は、ステップS91,S93,S95,S102における大小比較判定により、色補正関数fC(Y)の変数である入力輝度Yを5つの領域のうちのいずれかに分類する。
【0100】
ステップS91の処理を経て、最小輝度Lよりも小さい領域に分類された入力輝度Yに対しては、ステップS92において、次式(17)に示すように色補正関数fC(Y)が定義される。
fC(Y)=αL Y<L ・・・(17)
【0101】
ステップS91,S93の処理を経て、最小輝度L以上であってCLよりも小さい領域に分類された入力輝度Yに対しては、ステップS94において、次式(18)に示すように、色補正関数fC(Y)が定義される。
fC(Y)=αL L≦Y<L・・・(18)
【0102】
ステップS91,S93,S95の処理を経て、CL以上であってCHよりも小さい領域に分類された場合、処理はステップS96に進む。
【0103】
ステップS96において、CL−2M+CHが0よりも大きいか否かが判定される。CL−2M+CHが0よりも大きいと判定された場合、処理はステップS97に進む。ステップS97において、媒介変数tが式(11)によって定義される。
【0104】
ステップS98において、入力輝度Yに対し、次式(19)に示すように、色補正関数fC(Y)が定義される。
fC(Y)=(1−t)αL+tαH CL≦Y<CH ・・・(19)
【0105】
ステップS96において、CL−2M+CHが0よりも大きくないと判定された場合、処理はステップS99に進む。ステップS99において、CL−2M+CHが0よりも小さいか否かが判定される。CL−2M+CHが0よりも小さいと判定された場合、処理はステップS100に進む。ステップS100において、媒介変数tが式(13)によって定義される。
【0106】
ステップS99において、CL−2M+CHが0よりも小さくない、すなわち、CL−2M+CH=0であると判定された場合、処理はステップS101に進む。ステップS101において、媒介変数tが式(14)によって定義される。
【0107】
ステップS91,S93,S95,S102の処理を経て、CH以上であって最大輝度Hよりも小さい領域に分類された入力輝度Yに対しては、ステップS103において、次式(20)に示すように、色補正関数fC(Y)が定義される。
fC(Y)=αH CH≦Y<H・・・(20)
【0108】
ステップS91,S93,S95,S102の処理を経て、最大輝度H以上である領域に分類された入力輝度Yに対しては、ステップS104において、次式(21)に示すように、色補正関数fC(Y)が定義される。
fC(Y)=αH H<Y ・・・(21)
【0109】
以上説明したような色補正関数生成部123の処理によって、色補正関数fC(Y)が生成される。
【0110】
マッピング部124は、輝度信号生成部121からの各画素の輝度Yを、色補正関数fC(Y)に適用して色補正量γを演算し、べき乗演算部127、128R,128G,128Bに出力する。
【0111】
マッピング関数生成部125は、上述したマッピング関数生成部82と同様に、広ダイナミックレンジ画像の各画素の輝度Yおよび注目輝度・最適注目輝度対(M,Mm)に基づき、マッピング関数f(Y)を生成してマッピング部126に出力する。マッピング部126は、広ダイナミックレンジ画像の各画素の輝度Yを、マッピング関数生成部125からのマッピング関数f(Y)に適用して狭ダイナミックレンジ画像の各画素の輝度Ymを生成し、スケーリング部129R,129G,129Bに出力する。
【0112】
べき乗演算部127は、広ダイナミックレンジ画像の各画素の輝度Yをγ乗して、得られた補正輝度Yγをスケーリング部129R,129G,129Bに出力する。べき乗演算部128Rは、広ダイナミックレンジ画像の各画素の赤色信号Rをγ乗して、得られた補正赤色信号Rγをスケーリング部129Rに出力する。べき乗演算部128Gは、広ダイナミックレンジ画像の各画素の緑色信号Gをγ乗して、得られた補正緑色信号Gγをスケーリング部129Gに出力する。
べき乗演算部128Bは、広ダイナミックレンジ画像の各画素の青色信号Bをγ乗して、得られた補正青色信号Bγをスケーリング部129Bに出力する。
【0113】
スケーリング部129R乃至129Bは、それぞれ、次式(22)乃至(24)を用い、狭ダイナミックレンジ画像の各画素の赤色信号Rm、緑色信号Gm、または青色信号Bmを演算する。
Rm=Rγ・Ym/Yγ ・・・(22)
Gm=Gγ・Ym/Yγ ・・・(23)
Bm=Bγ・Ym/Yγ ・・・(24)
【0114】
以上説明したように、画像処理部11の第2の構成例よれば、入力された広ダイナミックレンジ画像の3原色信号R,G,Bに対し、ダイナミックレンジを圧縮する度合いに応じて自然な色バランスとなるように補正を施すので、広ダイナミックレンジのカラー画像を、色バランスが不自然ではない狭ダイナミックレンジのカラー画像に変換することが可能となる。
【0115】
次に、図28は、本発明を適用したディジタルカメラの構成例を示している。
このディジタルカメラ140は、言わば、図1に示した画像処理システムを1つの筐体に納めたものであり、被写体を広ダイナミックレンジ画像信号として撮像し、適宜、狭ダイナミックレンジ画像信号に変換して内蔵するメモリ148に記録する。
【0116】
ディジタルカメラ140は、被写体の光画像を集光するレンズ141、光画像の光量を調整する絞り142、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するCCDイメージセンサ143、CCDイメージセンサ143からの電気信号をサンプリングすることによってノイズを低減させるCDS(Corelated Double Sampling)144、および、アナログの電気信号をディジタル化するA/Dコンバータ145、ディジタル化された電気信号を画像信号に変換したり、ダイナミックレンジを圧縮したりする画像信号処理用プロセッサと画像用RAMよりなるDSP(Digital Signal Processor)146から構成される。
【0117】
また、ディジタルカメラ140は、DSP146が処理した画像信号を圧縮符号化してメモリ148に記録し、また、読み出して伸張し、DSP146に供給するCODEC(Compression/Decompression)147、DSP146が処理した画像信号をアナログ化するD/Aコンバータ149、アナログ化された画像信号を後段の表示部151に適合する形式のビデオ信号にエンコードするビデオエンコーダ150、および、ビデオ信号に対応する画像を表示することによりファインダとして機能するLCD(Liquid Crystal Display)等よりなる表示部151から構成される。
【0118】
さらに、ディジタルカメラ140は、ドライブ153を制御して、磁気ディスク154、光ディスク155、光磁気ディスク156、または半導体メモリ157に記憶されている制御用プログラムを読み出して、読み出した制御用プログラム、操作部158から入力されるユーザからのコマンド等に基づいて、ディジタルカメラ140の全体を制御するCPUなどよりなる制御部152、ユーザがシャッタタイミングやその他のコマンドを入力する操作部158、および、CCDイメージセンサ143乃至DSP146の動作タイミングを制御するタイミングジェネレータ159から構成される。
【0119】
ディジタルカメラ140においては、DSP146が、上述した画像処理システムの画像処理部11に相当し、広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換する処理を実行する。
【0120】
なお、ディジタルカメラ140を構成する操作部158および表示部151は、図1の画像処理システムの画像処理装置2(パーソナルコンピュータ等よりなる)を構成する操作入力部12および表示部13に比較して、小型のものが用いられるので、より簡単にユーザが各種の操作入力を実行できるようにする必要がある。
【0121】
そこで、ディジタルカメラ140では、全体的な処理の順序を、図7のフローチャートにより説明した図1の画像処理システムの処理の順序とは異なり、広ダイナミックレンジ画像信号を取得する前に、最適露出情報を設定するようになされている。
【0122】
ディジタルカメラ140の第1の動作例について、図29のフローチャートを参照して説明する。ステップS111において、撮像する画像の構図がユーザによって選択される。選択された画像の構図(後述するガイド172に相当する)が最適露出情報として設定される。
【0123】
当該最適露出情報を設定する処理について、図30乃至図32を参照して説明する。図30は、ファインダとして機能する表示部151の画像表示エリア171の表示例を示している。同図に示すように、画像表示エリア171には、被写体の画像に重畳して太線等によって示されるガイド172や破線によって示される補助線が重畳して表示される。なお、ガイド172の形状としては、複数のパターンが用意されており、操作部158に設けられたガイド選択パネル181(図32)がユーザによって操作される毎、その形状が切り替わるようになされている。
【0124】
図31(A)乃至(Q)は、予め用意されているガイド172の形状の例を示している。ガイド172の各形状には、所定のインデックスが付与されている。
なお、ガイド172の形状は、同図に示すような矩形の他、例えば、円形や多角形であってもよい。
【0125】
図32は、操作部158に設けられたガイド選択パネル181を示している。
ガイド切替ボタン182は、ガイド172の形状を1つ前のインデックスに対応するものに切り替えるとき押下される。切替ボタン183は、ガイド172の形状を1つ先のインデックスに対応するものに切り替えるとき押下される。選択ボタン184は、表示されているガイド172の形状を確定させるとき押下される。
【0126】
例えば、図30は、ガイド172の形状として図31(J)の例に切り替えられている状態を示しているが、この状態において、切替ボタン182が押下された場合には、ガイド172の形状が同図(I)の例に切り替えられ、切替ボタン183が押下された場合には、ガイド172の形状が同図(K)の例に切り替えられる。
【0127】
ユーザは、ファインダとして機能する表示部151を見ながら被写体(例えば、人物)がガイド172の中に収まるように、ガイド選択パネル181の切替ボタン182,183を操作してガイド172の切り替えた後、選択ボタン184を押下してガイド172の形状を確定させる。選択ボタン184の押下に対応して、現在表示されているガイド172の形状に対応するインデックスが最適露出情報として設定される。
【0128】
図29に戻る。ステップS112において、ユーザが操作部158に設けられたシャッタを操作した場合、それに対応して、広ダイナミックレンジ画像信号が取得され、DSP146が内蔵する画像用RAMに格納される。
【0129】
ステップS113において、ステップS111で設定された最適露出情報(ガイド172の形状を示すインデックス)に基づき、広ダイナミックレンジ画像信号が狭ダイナミックレンジ画像信号に変換される。
【0130】
具体的には、注目輝度・最適注目輝度対については、最適露出情報(ガイド172の形状を示すインデックス)に基づいてガイド172の内部領域の画像信号が取得され、その輝度のヒストグラムが生成されて、最も高い頻度を示す輝度が注目輝度Mに設定される。最適注目輝度Mmには、予め設定された狭ダイナミックレンジの中間輝度が設定される。それ以降の処理は、図24および図25を用いて上述した、画像処理システムの画像処理部11が最適露出情報を設定する際の第2の動作例と同様である。
【0131】
変換された狭ダイナミックレンジ画像信号は、メモリ148に格納される。
【0132】
なお、ディジタルカメラ140のDSP146においても、図26に示した画像処理システムの画像処理部11の第2の構成例と同様に、カラーの広ダイナミックレンジ画像を、色バランスを損なうことなく、カラーの狭ダイナミックレンジ画像に変換する処理を実行するようにしてもよい。
【0133】
次に、ディジタルカメラ140の第2の動作例について、図33のフローチャートを参照して説明する。ステップS121において、撮像する画像の構図がユーザによって選択される。選択された画像の構図(ガイド172に相当する)が第1の最適露出情報として設定される。
【0134】
当該第1の最適露出情報を設定する処理については、図30乃至図32を参照して上述した第1の動作例の最適露出情報を設定する処理と同様である。
【0135】
ステップS122において、ユーザが操作部158に設けられたシャッタを操作した場合、それに対応して、広ダイナミックレンジ画像信号が取得され、DSP146が内蔵する画像用RAMに格納される。
【0136】
ステップS123において、ユーザの操作に対応し、第2の最適露出情報として露出比率rが設定される。第2の最適露出情報として露出比率rを設定する処理について、図34および図35を参照して説明する。
【0137】
図34は、ステップS123における表示部151の画像表示エリア171の表示例を示している。いまの場合、画像表示エリア171には、ステップS122で取得された広ダイナミックレンジ画像が表示され、それに重畳してステップS121で設定されたガイド172や補助線(破線)が表示される。ただし、画像表示エリア171のガイド172の内部領域には、操作部158に設けられた輝度補正パネル191(図35)に対するユーザの操作に対応して変更される露出比率rを用いて簡易生成された狭ダイナミックレンジ画像が表示される。
【0138】
図35は、操作部158に設けられた輝度補正パネル191を示している。明補正(BRIGHTER)ボタン192は、ガイド172の内部領域に表示される狭ダイナミックレンジ画像の輝度を、現状よりも1段階だけ明るくする(輝度を上げる)とき押下される。暗補正(DARKER)ボタン193は、ガイド172の内部領域に表示される狭ダイナミックレンジ画像の輝度を、現状よりも1段階だけ暗くする(輝度を下げる)とき押下される。OKボタン194は、現状の輝度を確定するとき押下される。
【0139】
例えば、明補正ボタン192が押下された場合、狭ダイナミックレンジ画像の簡易生成に用いられる露出比率rが所定の値だけ増加される。よって、ガイド172の内部領域の狭ダイナミックレンジ画像の輝度が増して表示される。反対に、暗補正ボタン193が押下された場合、狭ダイナミックレンジ画像の簡易生成に用いられる露出比率rが所定の値だけ減少される。よって、ガイド172の内部領域の狭ダイナミックレンジ画像の輝度が減じて表示される。OKボタン194が押下された場合、現状の露出比率rが第2の最適露出情報として設定される。
【0140】
図33に戻る。ステップS124において、ステップS121で設定された第1の最適露出情報(ガイド172の形状を示すインデックス)、およびステップS123で設定された第2の最適露出情報に基づき、広ダイナミックレンジ画像信号が狭ダイナミックレンジ画像信号に変換される。
【0141】
具体的には、注目輝度・最適注目輝度対については、第1の最適露出情報(ガイド172の形状を示すインデックス)に基づいてガイド172の内部領域の広ダイナミックレンジ画像の輝度が取得され、その輝度のヒストグラムが生成されて、最も高い頻度を示す輝度が注目輝度Mに設定される。
【0142】
最適注目輝度Mmとしては、広ダイナミックレンジ画像の輝度に第2の最適露出情報としての露出比率rが乗算されて狭ダイナミックレンジ画像が簡易生成され、そのうちのガイド172の内部領域の輝度が抽出されて、ヒストグラムが生成され、最も高い頻度を示す輝度が最適注目輝度Mmに設定される。それ以降の処理は、図24および図25を用いて上述した、画像処理システムの画像処理部11が最適露出情報を設定する際の第2の動作例と同様である。
【0143】
変換された狭ダイナミックレンジ画像信号は、メモリ148に格納される。
【0144】
以上説明したように、ディジタルカメラ140の第2の動作例によれば、操作部158に対する簡易な操作により、ユーザが注目したい領域をガイド172で指定することができ、さらに、ガイド172の内部領域に対して所望する輝度を指定することができるので、得られる狭ダイナミックレンジ画像の階調がユーザが所望する結果により近いものとなる。
【0145】
なお、ディジタルカメラ140のDSP146に、上述した画像処理システムの画像処理部11と同様の処理を実行させるようにしてもよい。反対に、画像処理システムの画像処理部11に、ディジタルカメラ140のDSP146と同様の処理を実行させるようにしてもよい。
【0146】
ところで、本発明は、画像のダイナミックレンジを変更せずに輝度を変更させる場合に適用することも可能である。
【0147】
また、本発明は、本実施の形態のような画像変換システムやディジタルカメラのみならず、例えば、スキャナ、ファクシミリ、コピー機など、画像信号を処理する電子機器に適用することが可能である。
【0148】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0149】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【0150】
【発明の効果】
以上のように、本発明によれば、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、画像中の任意の位置の輝度を最適化することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施の形態である画像処理システムの構成例を示すブロック図である。
【図2】図1の撮像装置1の構成例を示すブロック図である。
【図3】図2のCCDイメージセンサ23の構成例を示すブロック図である。
【図4】 CCDイメージセンサ23の感度特性を説明するための図である。
【図5】前置増幅器24の処理を説明するための図である。
【図6】図1の画像処理装置2を実現するパーソナルコンピュータの構成例を示すブロック図である。
【図7】画像処理システムの動作を説明するフローチャートである。
【図8】画像処理装置2の最適露出情報設定処理を説明するフローチャートである。
【図9】画像処理装置2が狭ダイナミックレンジ画像を簡易生成する処理を説明するフローチャートである。
【図10】最適露出情報を設定する第1の動作例を説明するための表示部13の表示例を示す図である。
【図11】最適露出情報を設定する第1の動作例におけるGUIの表示例を示す図である。
【図12】画像処理部11の第1の構成例を示すブロック図である。
【図13】図12の輝度対検出部81の処理を説明するフローチャートである。
【図14】輝度対検出部81の処理を説明するための図である。
【図15】図12のマッピング関数生成部82の構成例を示すブロック図である。
【図16】マッピング関数生成部82の処理を説明するフローチャートである。
【図17】図15の最大・最小輝度取得部91の処理を説明するための図である。
【図18】マッピング関数生成部82の処理を説明するための図である。
【図19】マッピング関数生成部82の処理を説明するための図である。
【図20】マッピング関数生成部82の処理を説明するための図である。
【図21】マッピング関数生成部82の処理を説明するための図である。
【図22】図16のステップS50の処理の詳細を説明するフローチャートである。
【図23】図12のマッピング部83の処理を説明するフローチャートである。
【図24】最適露出情報を設定する第2の動作例を説明するための表示部13の表示例を示す図である。
【図25】最適露出情報を設定する第2の動作例におけるGUIの表示例を示す図である。
【図26】画像処理部11の第2の構成例を示すブロック図である。
【図27】画像処理部11の第2の構成例の処理を説明するフローチャートである。
【図28】本発明の一実施の形態であるディジタルカメラ140の構成例を示すブロック図である。
【図29】ディジタルカメラ140の第1の動作例を説明するフローチャートである。
【図30】ディジタルカメラ140の第1の動作例において最適露出情報を設定する処理を説明するための表示部151の表示例を示す図である。
【図31】表示部151に表示されるガイド172の形状の種類を示す図である。
【図32】ディジタルカメラ140の操作部158に設けられるガイド選択パネル181を示す図である。
【図33】ディジタルカメラ140の第2の動作例を説明するフローチャートである。
【図34】ディジタルカメラ140の第1の動作例において最適露出情報を設定する処理を説明するための表示部151の表示例を示す図である。
【図35】ディジタルカメラ140の操作部158に設けられる輝度補正パネル191を示す図である。
【符号の説明】
1 撮像装置, 2 画像処理装置, 11 画像処理部, 12 操作入力部, 13 表示部, 41 CPU, 52 磁気ディスク, 53 光ディスク, 54 光磁気ディスク, 55 半導体メモリ, 71画像選択ボタンパネル, 81 輝度対検出部, 82 マッピング関数生成部, 83 マッピング部, 91 最大・最小輝度取得部, 92 高域関数決定部, 93 低域関数決定部, 94 関数合成部, 111 範囲指定パネル, 121 輝度信号生成部, 122 輝度対検出部, 123 色補正関数生成部, 124 マッピング部, 125 マッピング関数生成部, 126 マッピング部, 127,128 べき乗演算部, 129 スケーリング部, 140 ディジタルカメラ, 146 DSP, 152 制御部, 154 磁気ディスク, 155 光ディスク, 156 光磁気ディスク, 157 半導体メモリ, 158 操作部, 172 ガイド, 181 ガイド選択パネル, 191 輝度補正パネル
Claims (6)
- 輝度値に関して、第1のダイナミックレンジを有する第1の画像信号を、第2のダイナミックレンジを有する第2の画像信号に変換する画像処理装置において、
前記第2のダイナミックレンジにおける第2の輝度値を設定する設定手段と、
前記第2の輝度値に対応する前記第1のダイナミックレンジにおける第1の輝度値を演算する演算手段と、
前記第1の輝度値および前記第2の輝度値からなる第1の輝度対に基づいて、マッピング関数を生成するマッピング関数生成手段と、
生成された前記マッピング関数を用いて前記第1の画像信号を前記第2の画像信号に変換する変換手段と
を含み、
前記マッピング関数生成手段は、
前記第1の輝度対に対応する点、
前記第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と前記第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、
および前記第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と前記第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点
の3点の近傍を通過する滑らかな単調増加関数を前記マッピング関数として生成する
画像処理装置。 - 前記マッピング関数生成手段は、
前記第1の輝度対に対応する点と前記第2の輝度対に対応する点を通過する単調増加関数第1の関数としてを生成する第1の関数生成手段と、
前記第1の輝度対に対応する点と前記第3の輝度対に対応する点を通過する単調増加関数を第2の関数として生成する第2の関数生成手段と、
前記第1の輝度対が示す点の近傍において、前記第1の関数上の点および前記第2の関数上の点を通る単調増加関数である第3の関数を前記マッピング関数として生成する第3の関数生成手段と
を含む
請求項1に記載の画像処理装置。 - 前記第3の関数生成手段は、
前記第1の関数が示す所定の1点、
前記第1の輝度対が示す1点、
および前記第2の関数が示す所定の1点
の3点によって定義される2次曲線関数を、前記第3の関数として生成する
請求項2に記載の画像処理装置。 - 前記マッピング関数に基づいて、前記第2の画像信号を構成する3原色信号の色バランスを補正するための補正情報を算出する算出手段と、
前記補正情報を用いて、前記第2の画像信号を構成する前記3原色信号を補正する補正手段と
をさらに含み、
前記算出手段は、前記マッピング関数のガンマ特性を取得し、補正後の前記3原色信号と前記マッピング関数適用後輝度値の比率がそのガンマ特性によって算出される比率になるように、前記3原色信号への補正係数を決定する
請求項1に記載の画像処理装置。 - 輝度値に関して、第1のダイナミックレンジを有する第1の画像信号を、第2のダイナミックレンジを有する第2の画像信号に変換する画像処理装置の画像処理方法において、
前記第2のダイナミックレンジにおける第2の輝度値を設定する設定ステップと、
前記第2の輝度値に対応する前記第1のダイナミックレンジにおける第1の輝度値を演算する演算ステップと、
前記第1の輝度値および前記第2の輝度値からなる第1の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、
生成された前記マッピング関数を用いて前記第1の画像信号を前記第2の画像信号に変換する変換ステップと
を含み、
前記マッピング関数生成ステップは、
前記第1の輝度対に対応する点、
前記第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と前記第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、
および前記第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と前記第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点
の3点の近傍を通過する滑らかな単調増加関数を前記マッピング関数として生成する
画像処理方法。 - 輝度値に関して、第1のダイナミックレンジを有する第1の画像信号を、第2のダイナミックレンジを有する第2の画像信号に変換する画像処理用のプログラムであって、
前記第2のダイナミックレンジにおける第2の輝度値を設定する設定ステップと、
前記第2の輝度値に対応する前記第1のダイナミックレンジにおける第1の輝度値を演算する演算ステップと、
前記第1の輝度値および前記第2の輝度値からなる第1の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、
生成された前記マッピング関数を用いて前記第1の画像信号を前記第2の画像信号に変換する変換ステップと
を含み、
前記マッピング関数生成ステップは、
前記第1の輝度対に対応する点、
前記第1のダイナミックレンジにおける最小輝度値付近の第3の輝度値と前記第2のダイナミックレンジにおける最小輝度値付近の第4の輝度値からなる第2の輝度対に対応する点、
および前記第1のダイナミックレンジにおける最大輝度値付近の第5の輝度値と前記第2のダイナミックレンジにおける最大輝度値付近の第6の輝度値からなる第3の輝度対に対応する点
の3点の近傍を通過する滑らかな単調増加関数を前記マッピング関数として生成する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000328161A JP4556319B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000328161A JP4556319B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002132243A JP2002132243A (ja) | 2002-05-09 |
JP4556319B2 true JP4556319B2 (ja) | 2010-10-06 |
Family
ID=18805057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000328161A Expired - Fee Related JP4556319B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4556319B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4835593B2 (ja) * | 2005-03-15 | 2011-12-14 | オムロン株式会社 | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 |
US20090051794A1 (en) * | 2005-03-15 | 2009-02-26 | Omron Corporation | Image processing apparatus, image processing method, image processing system, program and recording medium |
US9087382B2 (en) * | 2009-06-29 | 2015-07-21 | Thomson Licensing | Zone-based tone mapping |
PL4053786T3 (pl) | 2010-11-23 | 2024-04-08 | Dolby Laboratories Licensing Corporation | Wyświetlanie obrazów o wysokim zakresie dynamiki na wyświetlaczu z lokalnym przyciemnianiem z wykorzystaniem metadanych odwzorowania z ograniczeniem głębi bitowej |
JP6421504B2 (ja) * | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
US10242435B2 (en) * | 2016-09-07 | 2019-03-26 | Gvbb Holdings S.A.R.L. | High dynamic range processing |
JP2018091999A (ja) * | 2016-12-02 | 2018-06-14 | キヤノン株式会社 | 画像処理装置、表示装置及び画像処理方法 |
US11676547B2 (en) | 2017-07-07 | 2023-06-13 | Semiconductor Energy Laboratory Co., Ltd. | Display system and operation method of the display system |
WO2020219401A1 (en) * | 2019-04-25 | 2020-10-29 | Dolby Laboratories Licensing Corporation | Content-aware pq range analyzer and tone mapping in live feeds |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2779080B2 (ja) * | 1991-09-20 | 1998-07-23 | 大日本印刷株式会社 | 階調補正装置 |
-
2000
- 2000-10-27 JP JP2000328161A patent/JP4556319B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002132243A (ja) | 2002-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6825884B1 (en) | Imaging processing apparatus for generating a wide dynamic range image | |
JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
JP4163353B2 (ja) | 画像処理装置 | |
JP4293174B2 (ja) | 撮像装置および画像処理装置 | |
JP5509750B2 (ja) | 画像処理装置、及びプログラム | |
US8031968B2 (en) | Image processing apparatus and image processing program | |
US8654221B2 (en) | Image processing device and method, and program | |
JP4192418B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
US6812969B2 (en) | Digital camera | |
JP4720537B2 (ja) | 撮像装置 | |
KR20080035981A (ko) | 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램 | |
JP4556319B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP7297406B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
JP2011228807A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
JP6108680B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
US6525763B1 (en) | Film image reading device and method with focus adjustment | |
JP2007180718A (ja) | 撮像装置、撮像システムおよび撮像方法 | |
JP5284183B2 (ja) | 画像処理装置およびその方法 | |
JP2003230022A (ja) | 画像処理装置および方法、並びに記録媒体 | |
JP4299753B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
KR101605769B1 (ko) | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
JP7257768B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
JP2010034848A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
JP2003325443A (ja) | 電子内視鏡装置 | |
EP4270974A1 (en) | Imaging device, method for controlling imaging device, program and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |