JP4556319B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4556319B2 JP4556319B2 JP2000328161A JP2000328161A JP4556319B2 JP 4556319 B2 JP4556319 B2 JP 4556319B2 JP 2000328161 A JP2000328161 A JP 2000328161A JP 2000328161 A JP2000328161 A JP 2000328161A JP 4556319 B2 JP4556319 B2 JP 4556319B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- dynamic range
- luminance value
- function
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title description 66
- 230000006870 function Effects 0.000 claims description 184
- 238000013507 mapping Methods 0.000 claims description 109
- 230000001965 increasing effect Effects 0.000 claims description 15
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Controls And Circuits For Display Device (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、例えば、画像信号の輝度のダイナミックレンジを変更する場合に用いて好適な画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Mental-Oxide Semiconductor)イメージセンサのような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
近年、それらの固体撮像素子を用いて、光学フィルム写真に匹敵するダイナミックレンジを有する画像信号を得ることができる技術が数多く開発されている。
【０００４】
一方、撮像された動画像や静止画像を表示するCRT(Cathode Ray tube)のような表示装置、印刷するプリンタ、投影するプロジェクタ等の従来機器は、現在において、それらが表現し得る輝度階調に制限がある。すなわち、表現可能な画像のダイナミックレンジが狭い。よって、光学フィルム写真に匹敵するダイナミックレンジを有する画像の画像信号（以下、広ダイナミックレンジ画像と記述する）を取得することができたとしても、それを表現（表示や印刷等）することができない問題がある。
【０００５】
したがって、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来機器が表現可能な画像（以下、狭ダイナミックレンジ画像と記述する）に変換するダイナミックレンジ圧縮処理技術が必要とされている。
【０００６】
以下、従来において提案された４つのダイナミックレンジ圧縮技術について説明する。
【０００７】
第１の技術として、画像信号の輝度のゲインとオフセットを調節することによって輝度をスケーリングする方法が挙げられる。この第１の技術は、極めて簡易であって、簡単に適用することができる。しかしながら、輝度階調を圧縮しないので、表示装置等のダイナミックレンジを越える輝度の値は全てクリッピングされてしまい、元の広ダイナミックレンジ画像が有する情報を活かしきることができない。
【０００８】
第２の技術として、本来、表示装置等のガンマ特性を補正するために実行されるガンマ補正処理を流用してダイナミックレンジを圧縮する技術が挙げられる。
ガンマ補正処理に用いられるガンマ補正曲線はべき乗の関数であるので、ガンマ値である指数を変更することによって、簡単に補正特性を調節することができる。しかしながら、ダイナミックレンジ圧縮に流用することに起因して、本来のガンマ補正処理に影響を及ぼしてしまい、色バランスが崩れたり、コントラストの劣化が発生することがある。
【０００９】
第３の技術として、画像の累積ヒストグラム曲線を階調補正曲線に用いるヒストグラム等化手法が挙げられる。ヒストグラム等化手法では、輝度分布（ヒストグラム）に対応して、画像中のより広い面積を占める輝度に対し、より多くの階調を与えるように階調変換が施される。したがって、画像全体としてはコントラストを強調する方向に作用し、狭いダイナミックレンジであっても細部が明確化された視認性が高い画像を得ることができる。しかしながら、階調変換の結果得られる画像は、元の広ダイナミックレンジ画像の輝度分布に大きく左右されるので、所望の画像が得られない場合がある。
【００１０】
第４の技術として、局所オペレータを用いて細部を強調する技術が挙げられる。第４の技術では、画像が局所オペレータによって空間周波数帯域毎に分離され、分離された空間周波数帯域のそれぞれに対し、ゲインが調節された後、それらが再び統合される。ゲインを調整する際、低周波数帯域を減衰させことによって、階調を圧縮することができ、高周波数帯域の減衰量を少なくすることによって、細部のコントラストが損なわれないようにすることができる。
【００１１】
よって、階調が少ない表示装置等の従来機器であっても、細部の視認性が高い画像を表現することができる。しかしながら、各帯域のバランスが変更された結果、画像内のエッジ部分等の高コントラスト領域に階調の反転が生じてしまい、その部分が場合によって非常に目障りなアーチファクト(artifact)として認知されてしまうことがある。
【００１２】
【発明が解決しようとする課題】
以上説明したように、従来のダイナミックレンジ圧縮技術では、得られる狭ダイナミックレンジ画像がユーザの意図を反映した結果とはならないことがある。
具体的には、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、例えば画像中の被写体が占める領域を最適な輝度で表現させようとしても、その実行が困難である課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、画像中の任意の領域の輝度を最適化できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、第２のダイナミックレンジにおける第２の輝度値を設定する設定手段と、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値を演算する演算手段と、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成手段と、生成されたマッピング関数を用いて第１の画像信号を第２の画像信号に変換する変換手段とを含み、マッピング関数生成手段は、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する。
【００１５】
前記マッピング関数生成手段は、第１の輝度対に対応する点と第２の輝度対に対応する点を通過する単調増加関数第１の関数としてを生成する第１の関数生成手段と、第１の輝度対に対応する点と第３の輝度対に対応する点を通過する単調増加関数を第２の関数として生成する第２の関数生成手段と、第１の輝度対が示す点の近傍において、第１の関数上の点および第２の関数上の点を通る単調増加関数である第３の関数をマッピング関数として生成する第３の関数生成手段とを含むことができる。
【００１６】
前記第３の関数生成手段は、第１の関数が示す所定の１点、第１の輝度対が示す１点、および第２の関数が示す所定の１点の３点によって定義される２次曲線関数を、第３の関数として生成することができる。
【００１７】
本発明の画像処理装置は、マッピング関数に基づいて、第２の画像信号を構成する３原色信号の色バランスを補正するための補正情報を算出する算出手段と、補正情報を用いて、第２の画像信号を構成する３原色信号を補正する補正手段とをさらに含むことができ、前記算出手段は、マッピング関数のガンマ特性を取得し、補正後の３原色信号とマッピング関数適用後輝度値の比率がそのガンマ特性によって算出される比率になるように、３原色信号への補正係数を決定することができる。
【００１８】
本発明の画像処理方法は、第２のダイナミックレンジにおける第２の輝度値を設定する設定ステップと、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値を演算する演算ステップと、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、生成されたマッピング関数を用いて第１の画像信号を第２の画像信号に変換する変換ステップとを含み、マッピング関数生成ステップは、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する。
【００１９】
本発明の記録媒体は、輝度値に関して、第１のダイナミックレンジを有する第１の画像信号を、第２のダイナミックレンジを有する第２の画像信号に変換する画像処理用のプログラムであって、第２のダイナミックレンジにおける第２の輝度値を設定する設定ステップと、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値を演算する演算ステップと、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、生成されたマッピング関数を用いて第１の画像信号を第２の画像信号に変換する変換ステップとを含み、マッピング関数生成ステップは、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する処理をコンピュータに実行させるプログラムが記録されている。
【００２０】
本発明においては、第２のダイナミックレンジにおける第２の輝度値が設定され、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値が演算される。さらに、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数が生成され、生成されたマッピング関数が用いられて第１の画像信号が第２の画像信号に変換される。なお、マッピング関数としては、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数が生成される。
【００２１】
【発明の実施の形態】
図１は、本発明を適用した画像処理システムの構成例を示している。この画像処理システムは、被写体を広ダイナミックレンジ画像信号として撮像するディジタルカメラ等よりなる撮像装置１、および、撮像装置１から供給される広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換するパーソナルコンピュータ等よりなる画像処理装置２から構成される。
【００２２】
画像処置装置２は、画像信号を処理する画像処理部１１、ユーザからの操作コマンド等を受け付け、その操作コマンドの情報を画像処理部１１に通知する操作入力部１２、および、操作入力部１２に対応するGUI(Graphical User Interface)や画像処理部１１の処理結果を表示する表示部１３から構成される。画像処理装置２の画像処理部１１は、処理結果である狭ダイナミックレンジ画像信号を、適宜、画像処理装置２の外部に出力する。
【００２３】
図２は、撮像装置１の構成例を示している。撮像装置１は、被写体の光画像を集光するレンズ２１、透過する光量を調整する絞り２２、レンズ２１および絞り２２を介して入力される光画像を電気信号に変換するCCDイメージセンサ２３、相関２重サンプリング回路、ガンマ補正回路およびニー特性回路等を含む前置増幅器２４、前置増幅器２４から入力される電気信号を広ダイナミックレンジ画像信号にエンコードするビデオエンコーダ２５、並びに広ダイナミックレンジ画像信号を画像処理装置２に出力する出力部２６から構成される。
【００２４】
撮像装置１の構成要素であるCCDイメージセンサ２３および前置増幅器２４について説明する。図３は、CCDイメージセンサ２３の構成例を示している。CCDイメージセンサ２３は、インタレーススキャンを行うインタライン型CCDと同様の構成をなしている。すなわち、入射した光量に応じた電荷を蓄積すフォトダイオード（ＰＤ）３１が２次元に配列されており、フォトダイオード３１の各縦列間に垂直レジスタ（Ｖレジスタ）３２が設けられ、垂直レジスタ３２の終端（図３において下端）には、水平レジスタ（Ｈレジスタ）３３が設けられている。
【００２５】
なお、偶数フィールド構成する第２ｉ（ｉ＝０，１，２，・・・）ラインには、高感度のフォトダイオード３１Ｈが用いられ、奇数フィールド構成する第２ｉ＋１ラインには、低感度のフォトダイオード３１Ｌが用いられている。
【００２６】
フォトダイオード３１Ｈ，３１Ｌの感度特性について、図４を参照して説明する。図４において、横軸Ｅｉはフォトダイオード３１Ｈ，３１Ｌに入力される光の強度を示しており、縦軸Ｅｏはフォトダイオード３１Ｈ，３１Ｌに蓄積される電荷量を示している。
【００２７】
低感度のフォトダイオード３１Ｌは、図４の直線Ａに示す感度特性を有する。
すなわち、入力される光の強度の全域に亘り、入射光の強度に比例した電荷を蓄積する。高感度のフォトダイオード３１Ｈは、図４の直線Ｂに示す感度特性を有する。すなわち、強度が弱い光に対応し、その入射光の強度に比例して、低感度のフォトダイオード３１Ｌよりも多くの電荷を蓄積する。
【００２８】
図３に戻る。フォトダイオード３１Ｈ，３１Ｌに蓄積された電荷は、所定のタイミング毎に対応する垂直レジスタ３２に読み出された後、水平レジスタ３３に転送される。水平レジスタ３３は、１水平ライン分の垂直レジスタ３２から転送された電荷を順次出力する。
【００２９】
フォトダイオード３１Ｈ，３１Ｌに蓄積された電荷を読み出すタイミングについて説明する。CCDイメージセンサ２３は、インタレーススキャンを行うが、電荷読み出しの際、１画素に対応する電荷として、上下に隣接するフォトダイオード３１Ｈ，３１Ｌの電荷を読み出して加算するようになされている。
【００３０】
例えば、偶数フィールドの第２ｉラインの電荷としては、第２ｉラインのフォトダイオード３１Ｈに蓄積された電荷と、第２ｉ＋１ラインのフォトダイオード３１Ｌに蓄積された電荷が読み出されて加算される。奇数フィールドの第２ｉ＋１ラインの電荷としては、第２ｉ＋１ラインのフォトダイオード３１Ｌに蓄積された電荷と、第２（ｉ＋１）ラインのフォトダイオード３１Ｈに蓄積された電荷が読み出されて加算される。
【００３１】
したがって、CCDイメージセンサ２３は、各画素に対応する電気信号として、低感度のフォトダイオード３１Ｌに蓄積された電荷と高感度のフォトダイオード３１Ｈに蓄積された電荷の和を出力するようになされている。よって、CCDイメージセンサ２３は、図４の直線Ａ（フォトダイオード３１Ｌに対応する）と直線Ｂ（フォトダイオード３１Ｈに対応する）を加算した線Ｃに示す感度特性を有することになる。すなわち、CCDイメージセンサ２３は、光の強度が弱い領域において高感度のフォトダイオード３１Ｈが電荷を蓄積し、光の強度が強い領域においては低感度のフォトダイオード３１Ｌが電荷を蓄積するので、ノイズと飽和の少ない広ダイナミックレンジの電気信号を得ることができる。
【００３２】
前置増幅器２４は、図５に示す関数（図４の曲線Ｃの逆関数）を、CCDイメージセンサ２３から出力された広ダイナミックレンジの電気信号Ｅｏに適用して元の光信号の強度の推定値Ｅｉ’を得る。
【００３３】
次に、図６は、画像処理用のアプリケーションプログラムを実行することより、画像処理装置２として動作するパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)４１を内蔵している。CPU４１にはバス４４を介して、入出力インタフェース４５が接続されている。
【００３４】
入出力インタフェース４５には、操作入力部１２に相当するキーボード、マウスなどの入力デバイスよりなる入力部４６、GUIや処理結果としての画像信号を表示部１３に出力する表示制御部４７、撮像装置１から入力される広ダイナミックレンジ画像信号をデコードするビデオデコーダ４８、各画素の輝度に相当する電圧を量子化してディジタル画像信号に変換するＡ／Ｄコンバータ４９、ハードディスクやフレームメモリなどよりなり、画像処理用のプログラムやディジタル画像信号等を格納する記憶部５０、並びに、磁気ディスク５２（フロッピディスクを含む）、光ディスク５３（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク５４（ＭＤ(Mini Disc)を含む）、および半導体メモリ５５などの記録媒体に対してデータを読み書きするドライブ５１が接続されている。
【００３５】
バス４４には、入出力インタフェース４５の他、ROM(Read Only Memory)４２およびRAM(Random Access Memory)４３が接続されている。
【００３６】
このパーソナルコンピュータに画像処理装置２としての動作を実行させる画像処理用プログラムは、磁気ディスク５２乃至半導体メモリ５５に格納された状態でパーソナルコンピュータに供給され、ドライブ５１によって読み出されて、記憶部５０に内蔵されるハードディスクドライブにインストールされている。記憶部５０にインストールされている画像処理用プログラムは、入力部４６に入力されるユーザからのコマンドに対応するCPU４１の指令によって、記憶部５０からRAM４３にロードされて実行される。
【００３７】
次に、当該画像処理システムの動作について、図７のフローチャートを参照して説明する。ステップＳ１において、撮像装置１は、被写体の光画像を撮像し、得られた広ダイナミックレンジ画像信号を画像処理装置２に出力する。
【００３８】
ステップＳ２において、画像処理装置２の画像処理部１１は、ユーザの選択操作に対応して最適露出情報を設定する。最適露出情報を設定する第１の動作例について、図８のフローチャートを参照して説明する。
【００３９】
ステップＳ１１において、画像処理装置２の画像処理部１１は、撮像装置１から入力された広ダイナミックレンジ画像信号から、所定の数の狭ダイナミックレンジ画像信号を簡易生成する。狭ダイナミックレンジ画像信号を簡易生成する処理について、図９のフローチャートを参照して説明する。以下、処理される画像信号は輝度信号であるとする。
【００４０】
ステップＳ２１において、画像処理部１１は、撮像装置１から入力されて記憶されている広ダイナミックレンジ画像の各画素の画像信号Ｙ(x,y)と、予め用意されている複数の露出比率ｒのうちの１つを、記憶部５０から読み出す。ここで、ｘ，ｙは、それぞれ、画像の縦または横の座標値である。
【００４１】
ステップＳ２２において、画像処理部１１は、全ての画素の画像信号Ｙ(x,y)に露出比率ｒを乗算して変換画像信号Ｙｎ(x,y)を生成する。ステップＳ２３において、画像処理部１１は、変換画像信号Ｙｎ(x,y)を、所定の閾値Ｙｎｍａｘ，Ｙｎｍｉｎと比較して、閾値Ｙｎｍａｘよりも大きい変換画像信号Ｙｎ(x,y)を、閾値Ｙｎｍａｘを用いて置換し、閾値Ｙｎｍｉｎよりも小さい変換画像信号Ｙｎ(x,y)を、閾値Ｙｎｍｉｎを用いて置換する。このようにして生成された変換画像信号Ｙｎ(x,y)が、簡易生成した狭ダイナミックレンジ画像信号とされる。
【００４２】
以上説明したステップＳ２１乃至Ｓ２３の処理は、予め用意されている露出比率ｒの種類の数と同じ数だけ繰り返し実行される。
【００４３】
処理は、図８のステップＳ１２に戻る。ステップＳ１２において、画像処理部１１は、ステップＳ１１の処理で簡易生成された狭ダイナミックレンジ画像信号を表示部１３に表示させ、また、表示させた複数の狭ダイナミックレンジ画像のうちの１つをユーザに選択させるためのGUIを表示部１３に表示させる。
【００４４】
図１０は、簡易生成された狭ダイナミックレンジ画像を表示する表示部１３の表示例を示している。この表示例では、表示部１３の画像表示領域６１に、９（＝３×３）枚の簡易生成された狭ダイナミックレンジ画像６２が表示可能とされており、４枚の簡易生成された狭ダイナミックレンジ画像６２が表示されている。表示された狭ダイナミックレンジ画像６２の周囲には、枠６３が設けられている。
【００４５】
図１１は、表示部１３に表示された複数の簡易生成された狭ダイナミックレンジ画像６２を、ユーザが選択する際に操作するGUIの表示例を示している。GUIとしての画像選択ボタンパネル７１には、現在指定されている画像の左側の画像を指定するときクリックされる左移動ボタン７２、現在指定されている画像の右側の画像を指定するときクリックされる右移動ボタン７３、および、指定されている画像を選択するときクリックされるセレクトボタン７４が設けられている。
【００４６】
表示部１３の画像表示領域６１に表示された枠６３は、対応する画像がユーザによって指定されている場合、それをユーザが認識できるように、例えば、ハイライト表示される。図１０の表示例の場合、３×３の画像のうちの左上の画像が指定されており、その枠６３がハイライト表示されている。
【００４７】
ユーザは、表示部１３の画像表示領域６１に表示された複数の画像のうち、画像中の被写体の階調が最も適切に表示されている画像を、画像選択ボタンパネル７１を用いて選択するようにする。
【００４８】
図８に戻り、ステップＳ１３において、画像処理部１１は、表示部１３の画像表示領域６１に表示されている簡易生成された狭ダイナミックレンジ画像のうちの１つをユーザが選択するまで待機し、簡易生成された狭ダイナミックレンジ画像のうちの１つをユーザが選択したと判定した場合、処理はステップＳ１４に進む。ステップＳ１４において、画像処理部１１は、ユーザが選択した画像に対応する露出比率ｒを最適露出情報として設定する。処理は、図７のステップＳ３にリターンする。
【００４９】
ステップＳ３において、画像処理部１１は、ステップＳ２で設定した最適露出情報に従い、撮像装置１から入力された広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換して表示部１３に出力する。
【００５０】
最適露出情報に従って広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換する処理の詳細について説明する。
【００５１】
図１２は、当該処理に関わる画像処理部１１の第１の構成例を示している。輝度対検出部８１は、広ダイナミックレンジ画像信号および最適露出情報に基づき、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を検出してマッピング関数生成部８２に出力する。マッピング関数生成部８２は、広ダイナミックレンジ画像信号および輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、マッピング関数を生成してマッピング部８３に出力する。マッピング部８３は、広ダイナミックレンジ画像信号を、マッピング関数生成部８２からのマッピング関数に適用して狭ダイナミックレンジ画像信号を生成する。
【００５２】
輝度対検出部８１の注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を検出する処理について、図１３のフローチャートおよび図１４を参照して説明する。図１４は、広ダイナミックレンジ画像の輝度のダイナミックレンジと、簡易生成された狭ダイナミックレンジ画像の輝度のダイナミックレンジの関係を説明するための図であり、同図の横軸は、入力される広ダイナミックレンジ画像の輝度Ｙの対数値logＹを示し、縦軸は簡易生成された狭ダイナミックレンジ画像の輝度Ｙｎの対数値logＹｎを示している。
【００５３】
ステップＳ３１において、輝度対検出部８１は、予め設定されている広ダイナミックレンジ画像の飽和輝度Ｙｓ、狭ダイナミックレンジ画像の飽和輝度Ｙｎｓ、および狭ダイナミックレンジ画像の中間輝度Ｙｎｍを記憶部５０から取得する。ここで、狭ダイナミックレンジ画像の中間輝度Ｙｎｍは、例えば、例えば次式（１）に示すように、所定の狭ダイナミックレンジ画像の飽和輝度Ｙｎｓとノイズレベル輝度Ｙｎｎを用いて予め演算されているものとする。
中間輝度Ｙｎｍ＝（Ｙｎｓ＋Ｙｎｎ）／２ ・・・（１）
【００５４】
ステップＳ３２において、輝度対検出部８１は、図８のステップＳ１４で設定された最適露出情報（露出比率ｒ）を取得する。ステップＳ３３において、輝度対検出部８１は、狭ダイナミックレンジ画像の中間輝度Ｙｎｍに対応する広ダイナミックレンジ画像の輝度を次式（２）を用いて演算する。この輝度を注目輝度Ｍに設定する。
注目輝度Ｍ＝ｒ・Ｙｓ（Ｙｎｍ／Ｙｎｓ） ・・・（２）
【００５５】
ステップＳ３４において、輝度対検出部８１は、狭ダイナミックレンジ画像の中間輝度Ｙｎｍを最適注目輝度Ｍｍに設定する。ステップＳ３５において、輝度対検出部８１は、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）をマッピング関数生成部８２に出力する。
【００５６】
次に、図１５は、マッピング関数生成部８２の詳細な構成例を示している。マッピング関数生成部８２は、広ダイナミックレンジ画像の最大輝度Ｈと最小輝度Ｌを取得する最大・最小輝度取得部９１、最大・最小輝度取得部９１からの広ダイナミックレンジ画像の最大輝度Ｈと最小輝度Ｌ、および輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、高域対数関数を生成する高域関数決定部９２、最大・最小輝度取得部９１からの広ダイナミックレンジ画像の最大輝度Ｈと最小輝度Ｌ、および輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、低域対数関数を生成する低域関数決定部９３、および、高域関数決定部９２が生成する高域対数関数と、低域関数決定部９３が生成する低域対数関数を合成してマッピング関数を生成する関数合成部９４から構成される。
【００５７】
マッピング関数生成部８２がマッピング関数を生成する処理について、図１６のフローチャートを参照して説明する。
【００５８】
ステップＳ４１において、最大・最小輝度取得部９１は、図１７に示すような広ダイナミックレンジ画像の輝度信号Ｙのヒストグラムを生成する。ステップＳ４２において、最大・最小輝度取得部９１は、輝度信号Ｙに含まれるノイズを考慮して、頻度を有する輝度の最大値よりも所定の割合（例えば、１％）だけ小さい値を最大輝度Ｈに決定し、頻度を有する輝度の最小値よりも所定の割合（例えば、１％）だけ大きい値を輝度の最小輝度Ｌに決定し、最大輝度Ｈおよび最小輝度Ｌを高域関数決定部９２、低域関数決定部９３、および関数合成部９４に出力する。
【００５９】
ステップＳ４３において、関数合成部９４は、図１８に示す２点（logＬ，Ｌｍ），（logＨ，Ｈｍ）を通る直線Ａに相当する対数関数Ｙｍ（Ｙ）を生成する。
Ｙｍ（Ｙ）＝αlogＹ＋β ・・・（３）
【数１】
【００６０】
なお、図１８は、広ダイナミックレンジ画像の輝度のダイナミックレンジと、変換後の狭ダイナミックレンジ画像の輝度のダイナミックレンジの関係を説明するための図であり、同図の横軸は、入力される広ダイナミックレンジ画像の輝度Ｙの対数値logＹを示し、縦軸は変換後の狭ダイナミックレンジ画像の輝度Ｙｍを示している。図１９乃至図２１も同様である。また、Ｈｍ，Ｌｍは、それぞれ狭ダイナミックレンジの最大輝度または最小輝度を表しており、予め設定されている値である。
【００６１】
ステップＳ４４において、高域関数決定部９２は、図１８に示す２点（logＭ，Ｍｍ），（logＨ，Ｈｍ）を通る直線Ｃに相当する高域対数関数ＹｍＨ（Ｙ）を生成して関数合成部９４に出力する。
ＹｍＨ（Ｙ）＝αＨlogＹ＋βＨ ・・・（４）
【数２】
【００６２】
ステップＳ４５において、低域関数決定部９３は、図１８に示す２点（logＬ，Ｌｍ），（logＭ，Ｍｍ）を通る直線Ｂに相当する低域対数関数ＹｍＬ（Ｙ）を生成して関数合成部９４に出力する。
ＹｍＬ（Ｙ）＝αＬlogＹ＋βＬ ・・・（５）
【数３】
【００６３】
なお、ステップＳ４３，Ｓ４４，Ｓ４５の処理の順序は、適宜入れ替えてもよいし、平行して同時に実行するようにしてもよい。
【００６４】
ステップＳ４６において、関数合成部９４は、 図１８の直線Ａに相当する対数関数Ｙｍ（Ｙ）のＹに注目輝度Ｍを代入し、得られたＹｍ（Ｍ）と最適注目輝度Ｍｍを比較して、その比較結果に基づき、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）が、直線Ａよりも上に位置するか、直線Ａよりも下に位置するか、または直線Ａに一致するかを判定する。
【００６５】
比較結果が、ＭｍがＹｍ（Ｍ）よりも大きい場合には、図１８に示すように、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）は直線Ａよりも上に位置すると判定されて、処理はステップＳ４７に進む。ステップＳ４７において、関数合成部９４は、図１９に示すような上に凸のマッピング関数となるように、図１９の横軸上のパラメータＣＬ，ＣＨを次式（６）のように設定する。
【数４】
・・・（６）
【００６６】
ステップＳ５０において、関数合成部９４は、高域対数関数ＹｍＨ（Ｙ）と低域対数関数ＹｍＬ（Ｙ）を滑らかに連結してマッピング関数を生成する。具体的には、入力輝度Ｙ、すなわち、広ダイナミックレンジ画像の輝度Ｙを、最小輝度Ｌよりも小さい領域、最小輝度Ｌ以上であってＣＬよりも小さい領域、ＣＬ以上であってＣＨよりも小さい領域、ＣＨ以上で最大輝度Ｈよりも小さい領域、または、最大輝度Ｈ以上である領域に分け、各領域に対応するマッピング関数ｆ（Ｙ）を生成する（詳細は図２２を参照して後述する）。
【００６７】
ステップＳ４６での比較結果が、ＭｍがＹｍ（Ｍ）と等しい場合、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）は直線Ａに一致すると判定されて、処理はステップＳ４８に進む。ステップＳ４８において、関数合成部９４は、マッピング関数のパラメータＣＬ，ＣＨを次式（７）のように設定する。
ＣＬ＝Ｌ
ＣＨ＝Ｈ ・・・（７）
【００６８】
ステップＳ４６での比較結果が、ＭｍがＹｍ（Ｍ）よりも小さい場合には、図２０に示すように、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）は直線Ａよりも下に位置すると判定されて、処理はステップＳ４９に進む。ステップＳ４９において、関数合成部９４は、図２１に示すような下に凸のマッピング関数となるようにパラメータＣＬ，ＣＨを次式（８）のように設定する。
【数５】
・・・（８）
【００６９】
ステップＳ５０における関数合成部９４の処理の詳細について、図２２のフローチャートを参照して説明する。ステップＳ６１，Ｓ６３，Ｓ６５，Ｓ７２における大小比較判定により、マッピング関数ｆ（Ｙ）の変数である入力輝度Ｙが５つの領域のうちのいずれかに分類される。
【００７０】
ステップＳ６１の処理を経て、最小輝度Ｌよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ６２において、次式（９）に示すようにマッピング関数ｆ（Ｙ）が定義される。
ｆ（Ｙ）＝Ｌｍ Ｙ＜Ｌ ・・・（９）
【００７１】
ステップＳ６１，Ｓ６３の処理を経て、最小輝度Ｌ以上であってＣＬよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ６４において、次式（１０）に示すように、マッピング関数ｆ（Ｙ）が低域対数関数ＹｍＬ（Ｙ）によって定義される。
ｆ（Ｙ）＝ＹｍＬ（Ｙ）＝αＬlogＹ＋βＬ Ｌ≦Ｙ＜Ｌ・・・（１０）
【００７２】
ステップＳ６１，Ｓ６３，Ｓ６５の処理を経て、ＣＬ以上であってＣＨよりも小さい領域に分類された場合、処理はステップＳ６６に進む。
【００７３】
ステップＳ６６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも大きいと判定された場合、処理はステップＳ６７に進む。ステップＳ６７において、媒介変数ｔが次式（１１）によって定義される。
【数６】
・・・（１１）
【００７４】
ステップＳ６８において、入力輝度Ｙに対し、次式（１２）に示すように、マッピング関数ｆ（Ｙ）が定義される。
【数７】
ＣＬ≦Ｙ＜ＣＨ・・・（１２）
【００７５】
ステップＳ６６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きくないと判定された場合、処理はステップＳ６９に進む。ステップＳ６９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも小さいと判定された場合、処理はステップＳ７０に進む。ステップＳ７０において、媒介変数ｔが次式（１３）によって定義される。
【数８】
・・・（１３）
【００７６】
ステップＳ６９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さくない、すなわち、ＣＬ−２Ｍ＋ＣＨ＝０であると判定された場合、処理はステップＳ７１に進む。ステップＳ７１において、媒介変数ｔが次式（１４）によって定義される。
ｔ＝（Ｙ−ＣＬ）／２（Ｍ−ＣＬ） ・・・（１４）
【００７７】
ステップＳ６１，Ｓ６３，Ｓ６５，Ｓ７２の処理を経て、ＣＨ以上であって最大輝度Ｈよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ７３において、次式（１５）に示すように、マッピング関数ｆ（Ｙ）が高域対数関数ＹｍＨ（Ｙ）によって定義される。
ｆ（Ｙ）＝ＹｍＨ（Ｙ）＝αＨlogＹ＋βＨ ＣＨ≦Ｙ＜Ｈ・・・（１５）
【００７８】
ステップＳ６１，Ｓ６３，Ｓ６５，Ｓ７２の処理を経て、最大輝度Ｈ以上である領域に分類された入力輝度Ｙに対しては、ステップＳ７４において、次式（１６）に示すように、マッピング関数ｆ（Ｙ）が高域対数関数ＹｍＨ（Ｙ）によって定義される。
ｆ（Ｙ）＝Ｌｍ Ｈ＜Ｙ ・・・（１６）
【００７９】
以上説明したように、マッピング関数生成部８２の一連の処理によって、マッピング関数ｆ（Ｙ）が生成される。
【００８０】
次に、生成されたマッピング関数ｆ（Ｙ）に広ダイナミックレンジ画像信号を適用して狭ダイナミックレンジ画像信号を生成するマッピング部８３の処理について、図２３のフローチャートを参照して説明する。
【００８１】
ステップＳ８１において、マッピング部８３は、記憶部５０から広ダイナミックレンジ画像信号を取得する。また、マッピング部８３は、マッピング関数生成部８２からマッピング関数ｆ（Ｙ）を取得する。
【００８２】
ステップＳ８２において、マッピング部８３は、広ダイナミックレンジ画像の全て画素の輝度信号Ｙ(x,y)を、マッピング関数ｆ（Ｙ）に順次代入して狭ダイナミックレンジ画像信号を生成する。
【００８３】
以上説明したように画像処理部１１の一連の処理によれば、簡易生成されてた複数の狭ダイナミックレンジの画像がユーザに提示され、そのうちの被写体の階調が最も適切に表示されている画像がユーザによって選択されて、選択された画像に基づいて注目輝度・最適注目輝度対（Ｍ，Ｍｍ）が導き出される。さらに、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づいてマッピング関数ｆ（Ｙ）が生成されて、広ダイナミックレンジ画像信号がマッピング関数ｆ（Ｙ）によって狭ダイナミックレンジ画像信号に変換されるので、画像中の被写体が適切な階調で表現される狭ダイナミックレンジの画像を得ることができる。
【００８４】
なお、上述した説明においては、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を１つだけ決定して、以降の処理を実行するようにしたが、２つ以上の注目輝度・最適注目輝度対を決定してマッピング関数を生成するようにしてもよい。
【００８５】
次に、画像処理部１１が最適露出情報を設定する第２の動作例について、図２４および図２５を参照して説明する。図８乃至図１１を参照して上述した第１の動作例では、簡易生成された複数の狭ダイナミックレンジ画像のうちの１つをユーザに選択させるようにしたが、第２の動作例においては、所定の露出比率ｒを適用して簡易生成した狭ダイナミックレンジ画像を１枚だけ表示し、その画像の内で注目すべき範囲（例えば、被写体が表示されている範囲）をユーザに指定させるようにし、その指定された範囲（図２４（Ｂ）のマスク１０３）を示す情報を最適露出情報に設定して輝度対検出部８１に供給するようにする。
【００８６】
図２４は、簡易生成された１枚の狭ダイナミックレンジ画像を表示する表示部１３の表示例を示している。同図（Ａ）に示すように、表示部１３の画像表示・指定範囲描画領域１０１には、簡易生成された狭ダイナミックレンジ画像１０２が１枚だけ表示される。画像表示・指定範囲描画領域１０１に表示された狭ダイナミックレンジ画像１０２には、同図（Ｂ）に示すような、ユーザによって指定された範囲を表すマスク１０３が重畳して表示される。
【００８７】
図２５は、狭ダイナミックレンジ画像１０２に重畳して表示されるマスク１０３をユーザが設定するとき操作するGUIの表示例を示している。GUIとしての範囲指定パネル１１１には、マスク１０３の設定を開始するときクリックされるペンボタン１１２、設定されたマスク１０３の設定を解除する消しゴムボタン１１３、および、設定したマスク１０３を確定する完了ボタン１１４が設けられている。
【００８８】
ユーザは、ペンボタン１１２をクリックした後、マウス等の入力デバイスを用いてマスク１０３の範囲を描画し、完了ボタン１１４をクリックすることにより、描画したマスク１０３の範囲を確定させる。これに対応して、確定されたマスク１０３の範囲を示す情報が、最適露出情報として輝度対検出部８１に供給される。
【００８９】
第２の動作例において、輝度対検出部８１は、最適注目輝度Ｍｍとして、上述したステップＳ３１（図１３）の処理と同様に、予め設定されている狭ダイナミックレンジ画像の中間輝度Ｙｎｍを、記憶部５０に記憶されている画像処理用アプリロケーションプログラムから取得する。
【００９０】
一方の注目輝度Ｍを求めるために輝度対検出部８１は、広ダイナミックレンジ画像のうち、マスク１０３の範囲に含まれる画素の輝度信号を取得して画素集合Ｇ１とし、画素集合Ｇ１のうち、所定の飽和レベルを上回る輝度の画素、および所定のノイズレベルを下回る輝度の画素を除外して画素集合Ｇ２とする。さらに、輝度対検出部８１は、画素集合Ｇ２の輝度のヒストグラムを生成して、最も頻度が高い輝度を注目輝度Ｍに設定する。
【００９１】
このようにして設定された注目輝度・最適注目輝度対（Ｍ，Ｍｍ）は、マッピング関数生成部８２に供給されて、上述した一連の処理と同様に処理される。
【００９２】
以上のように、最適露出情報を設定する第２の動作例によれば、ユーザが最適な輝度で表示してほしい被写体の範囲を指示するという直感的な操作によって、所望の狭ダイナミックレンジ画像を作成することが可能となる。
【００９３】
次に、撮像装置１から画像処理装置２に対して、カラーの広ダイナミックレンジ画像信号（３原色信号Ｒ，Ｇ，Ｂ）が供給される場合に対応する画像処理部１１の構成例（以下、画像処理部１１の第２の構成例と記述する）および動作について、図２６を参照して説明する。画像処理部１１の第２の構成例においては、カラー画像の色バランスが損なわれないように階調変換が行われる。
【００９４】
図２６は、画像処理部１１の第２の構成例を示している。輝度信号生成部１２１は、次式（１７）を用いて、入力される広ダイナミックレンジ画像の各画素の３原色信号Ｒ，Ｇ，Ｂを用いて輝度Ｙを生成し、輝度対検出部１２２、色補正関数生成部１２３、マッピング部１２４、マッピング関数生成部１２５、マッピング部１２６、および、べき乗演算部１２７に出力する。
輝度Ｙ＝ｋｒ・Ｒ＋ｋｇ・Ｇ＋ｋｂ・Ｂ ・・・（１７）
【００９５】
ここで、ｋｒ，ｋｇ，ｋｂは定数であり、例えば、ｋｒ＝０．３、ｋｇ＝０．６、ｋｂ＝０．１とする。
【００９６】
輝度対検出部１２１は、輝度信号生成部１２１からの広ダイナミックレンジ画像の各画素の輝度Ｙ、および、上述した画像処理部１１の第１または第２の動作例によって取得した最適露出情報に基づき、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を検出して色補正関数生成部１２３およびマッピング関数生成部８２に出力する。
【００９７】
色補正関数生成部１２３は、輝度信号生成部１２１からの広ダイナミックレンジ画像の各画素の輝度Ｙ、および、輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、輝度Ｙに対応する色補正量γを示す色補正関数ｆＣ（Ｙ）を生成し、マッピング部１２４に出力する。
【００９８】
色補正関数生成部１２３が色補正関数ｆＣ（Ｙ）を生成する処理について、より詳細に説明する。当該色補正関数生成処理は、図１６乃至図２２を参照して上述したマッピング関数生成部８２のマッピング関数生成処理とほぼ同様であり、図２２を用いて説明したステップＳ５０（図１６）における処理だけが若干異なる。よって、当該色補正関数生成処理のうち、マッピング関数生成処理のうちのステップＳ５０における処理に相当する処理についてのみ、図２７を参照して説明する。
【００９９】
色補正関数生成部１２３は、ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ１０２における大小比較判定により、色補正関数ｆＣ（Ｙ）の変数である入力輝度Ｙを５つの領域のうちのいずれかに分類する。
【０１００】
ステップＳ９１の処理を経て、最小輝度Ｌよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ９２において、次式（１７）に示すように色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＬ Ｙ＜Ｌ ・・・（１７）
【０１０１】
ステップＳ９１，Ｓ９３の処理を経て、最小輝度Ｌ以上であってＣＬよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ９４において、次式（１８）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＬ Ｌ≦Ｙ＜Ｌ・・・（１８）
【０１０２】
ステップＳ９１，Ｓ９３，Ｓ９５の処理を経て、ＣＬ以上であってＣＨよりも小さい領域に分類された場合、処理はステップＳ９６に進む。
【０１０３】
ステップＳ９６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも大きいと判定された場合、処理はステップＳ９７に進む。ステップＳ９７において、媒介変数ｔが式（１１）によって定義される。
【０１０４】
ステップＳ９８において、入力輝度Ｙに対し、次式（１９）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝（１−ｔ）αＬ＋ｔαＨ ＣＬ≦Ｙ＜ＣＨ ・・・（１９）
【０１０５】
ステップＳ９６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きくないと判定された場合、処理はステップＳ９９に進む。ステップＳ９９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも小さいと判定された場合、処理はステップＳ１００に進む。ステップＳ１００において、媒介変数ｔが式（１３）によって定義される。
【０１０６】
ステップＳ９９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さくない、すなわち、ＣＬ−２Ｍ＋ＣＨ＝０であると判定された場合、処理はステップＳ１０１に進む。ステップＳ１０１において、媒介変数ｔが式（１４）によって定義される。
【０１０７】
ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ１０２の処理を経て、ＣＨ以上であって最大輝度Ｈよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ１０３において、次式（２０）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＨ ＣＨ≦Ｙ＜Ｈ・・・（２０）
【０１０８】
ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ１０２の処理を経て、最大輝度Ｈ以上である領域に分類された入力輝度Ｙに対しては、ステップＳ１０４において、次式（２１）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＨ Ｈ＜Ｙ ・・・（２１）
【０１０９】
以上説明したような色補正関数生成部１２３の処理によって、色補正関数ｆＣ（Ｙ）が生成される。
【０１１０】
マッピング部１２４は、輝度信号生成部１２１からの各画素の輝度Ｙを、色補正関数ｆＣ（Ｙ）に適用して色補正量γを演算し、べき乗演算部１２７、１２８Ｒ，１２８Ｇ，１２８Ｂに出力する。
【０１１１】
マッピング関数生成部１２５は、上述したマッピング関数生成部８２と同様に、広ダイナミックレンジ画像の各画素の輝度Ｙおよび注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、マッピング関数ｆ（Ｙ）を生成してマッピング部１２６に出力する。マッピング部１２６は、広ダイナミックレンジ画像の各画素の輝度Ｙを、マッピング関数生成部１２５からのマッピング関数ｆ（Ｙ）に適用して狭ダイナミックレンジ画像の各画素の輝度Ｙｍを生成し、スケーリング部１２９Ｒ，１２９Ｇ，１２９Ｂに出力する。
【０１１２】
べき乗演算部１２７は、広ダイナミックレンジ画像の各画素の輝度Ｙをγ乗して、得られた補正輝度Ｙγをスケーリング部１２９Ｒ，１２９Ｇ，１２９Ｂに出力する。べき乗演算部１２８Ｒは、広ダイナミックレンジ画像の各画素の赤色信号Ｒをγ乗して、得られた補正赤色信号Ｒγをスケーリング部１２９Ｒに出力する。べき乗演算部１２８Ｇは、広ダイナミックレンジ画像の各画素の緑色信号Ｇをγ乗して、得られた補正緑色信号Ｇγをスケーリング部１２９Ｇに出力する。
べき乗演算部１２８Ｂは、広ダイナミックレンジ画像の各画素の青色信号Ｂをγ乗して、得られた補正青色信号Ｂγをスケーリング部１２９Ｂに出力する。
【０１１３】
スケーリング部１２９Ｒ乃至１２９Ｂは、それぞれ、次式（２２）乃至（２４）を用い、狭ダイナミックレンジ画像の各画素の赤色信号Ｒｍ、緑色信号Ｇｍ、または青色信号Ｂｍを演算する。
Ｒｍ＝Ｒγ・Ｙｍ／Ｙγ ・・・（２２）
Ｇｍ＝Ｇγ・Ｙｍ／Ｙγ ・・・（２３）
Ｂｍ＝Ｂγ・Ｙｍ／Ｙγ ・・・（２４）
【０１１４】
以上説明したように、画像処理部１１の第２の構成例よれば、入力された広ダイナミックレンジ画像の３原色信号Ｒ，Ｇ，Ｂに対し、ダイナミックレンジを圧縮する度合いに応じて自然な色バランスとなるように補正を施すので、広ダイナミックレンジのカラー画像を、色バランスが不自然ではない狭ダイナミックレンジのカラー画像に変換することが可能となる。
【０１１５】
次に、図２８は、本発明を適用したディジタルカメラの構成例を示している。
このディジタルカメラ１４０は、言わば、図１に示した画像処理システムを１つの筐体に納めたものであり、被写体を広ダイナミックレンジ画像信号として撮像し、適宜、狭ダイナミックレンジ画像信号に変換して内蔵するメモリ１４８に記録する。
【０１１６】
ディジタルカメラ１４０は、被写体の光画像を集光するレンズ１４１、光画像の光量を調整する絞り１４２、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するCCDイメージセンサ１４３、CCDイメージセンサ１４３からの電気信号をサンプリングすることによってノイズを低減させるCDS(Corelated Double Sampling)１４４、および、アナログの電気信号をディジタル化するＡ／Ｄコンバータ１４５、ディジタル化された電気信号を画像信号に変換したり、ダイナミックレンジを圧縮したりする画像信号処理用プロセッサと画像用RAMよりなるDSP(Digital Signal Processor)１４６から構成される。
【０１１７】
また、ディジタルカメラ１４０は、DSP１４６が処理した画像信号を圧縮符号化してメモリ１４８に記録し、また、読み出して伸張し、DSP１４６に供給するCODEC(Compression/Decompression)１４７、DSP１４６が処理した画像信号をアナログ化するＤ／Ａコンバータ１４９、アナログ化された画像信号を後段の表示部１５１に適合する形式のビデオ信号にエンコードするビデオエンコーダ１５０、および、ビデオ信号に対応する画像を表示することによりファインダとして機能するLCD(Liquid Crystal Display)等よりなる表示部１５１から構成される。
【０１１８】
さらに、ディジタルカメラ１４０は、ドライブ１５３を制御して、磁気ディスク１５４、光ディスク１５５、光磁気ディスク１５６、または半導体メモリ１５７に記憶されている制御用プログラムを読み出して、読み出した制御用プログラム、操作部１５８から入力されるユーザからのコマンド等に基づいて、ディジタルカメラ１４０の全体を制御するCPUなどよりなる制御部１５２、ユーザがシャッタタイミングやその他のコマンドを入力する操作部１５８、および、CCDイメージセンサ１４３乃至DSP１４６の動作タイミングを制御するタイミングジェネレータ１５９から構成される。
【０１１９】
ディジタルカメラ１４０においては、DSP１４６が、上述した画像処理システムの画像処理部１１に相当し、広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換する処理を実行する。
【０１２０】
なお、ディジタルカメラ１４０を構成する操作部１５８および表示部１５１は、図１の画像処理システムの画像処理装置２（パーソナルコンピュータ等よりなる）を構成する操作入力部１２および表示部１３に比較して、小型のものが用いられるので、より簡単にユーザが各種の操作入力を実行できるようにする必要がある。
【０１２１】
そこで、ディジタルカメラ１４０では、全体的な処理の順序を、図７のフローチャートにより説明した図１の画像処理システムの処理の順序とは異なり、広ダイナミックレンジ画像信号を取得する前に、最適露出情報を設定するようになされている。
【０１２２】
ディジタルカメラ１４０の第１の動作例について、図２９のフローチャートを参照して説明する。ステップＳ１１１において、撮像する画像の構図がユーザによって選択される。選択された画像の構図（後述するガイド１７２に相当する）が最適露出情報として設定される。
【０１２３】
当該最適露出情報を設定する処理について、図３０乃至図３２を参照して説明する。図３０は、ファインダとして機能する表示部１５１の画像表示エリア１７１の表示例を示している。同図に示すように、画像表示エリア１７１には、被写体の画像に重畳して太線等によって示されるガイド１７２や破線によって示される補助線が重畳して表示される。なお、ガイド１７２の形状としては、複数のパターンが用意されており、操作部１５８に設けられたガイド選択パネル１８１（図３２）がユーザによって操作される毎、その形状が切り替わるようになされている。
【０１２４】
図３１（Ａ）乃至（Ｑ）は、予め用意されているガイド１７２の形状の例を示している。ガイド１７２の各形状には、所定のインデックスが付与されている。
なお、ガイド１７２の形状は、同図に示すような矩形の他、例えば、円形や多角形であってもよい。
【０１２５】
図３２は、操作部１５８に設けられたガイド選択パネル１８１を示している。
ガイド切替ボタン１８２は、ガイド１７２の形状を１つ前のインデックスに対応するものに切り替えるとき押下される。切替ボタン１８３は、ガイド１７２の形状を１つ先のインデックスに対応するものに切り替えるとき押下される。選択ボタン１８４は、表示されているガイド１７２の形状を確定させるとき押下される。
【０１２６】
例えば、図３０は、ガイド１７２の形状として図３１（Ｊ）の例に切り替えられている状態を示しているが、この状態において、切替ボタン１８２が押下された場合には、ガイド１７２の形状が同図（Ｉ）の例に切り替えられ、切替ボタン１８３が押下された場合には、ガイド１７２の形状が同図（Ｋ）の例に切り替えられる。
【０１２７】
ユーザは、ファインダとして機能する表示部１５１を見ながら被写体（例えば、人物）がガイド１７２の中に収まるように、ガイド選択パネル１８１の切替ボタン１８２，１８３を操作してガイド１７２の切り替えた後、選択ボタン１８４を押下してガイド１７２の形状を確定させる。選択ボタン１８４の押下に対応して、現在表示されているガイド１７２の形状に対応するインデックスが最適露出情報として設定される。
【０１２８】
図２９に戻る。ステップＳ１１２において、ユーザが操作部１５８に設けられたシャッタを操作した場合、それに対応して、広ダイナミックレンジ画像信号が取得され、DSP１４６が内蔵する画像用RAMに格納される。
【０１２９】
ステップＳ１１３において、ステップＳ１１１で設定された最適露出情報（ガイド１７２の形状を示すインデックス）に基づき、広ダイナミックレンジ画像信号が狭ダイナミックレンジ画像信号に変換される。
【０１３０】
具体的には、注目輝度・最適注目輝度対については、最適露出情報（ガイド１７２の形状を示すインデックス）に基づいてガイド１７２の内部領域の画像信号が取得され、その輝度のヒストグラムが生成されて、最も高い頻度を示す輝度が注目輝度Ｍに設定される。最適注目輝度Ｍｍには、予め設定された狭ダイナミックレンジの中間輝度が設定される。それ以降の処理は、図２４および図２５を用いて上述した、画像処理システムの画像処理部１１が最適露出情報を設定する際の第２の動作例と同様である。
【０１３１】
変換された狭ダイナミックレンジ画像信号は、メモリ１４８に格納される。
【０１３２】
なお、ディジタルカメラ１４０のDSP１４６においても、図２６に示した画像処理システムの画像処理部１１の第２の構成例と同様に、カラーの広ダイナミックレンジ画像を、色バランスを損なうことなく、カラーの狭ダイナミックレンジ画像に変換する処理を実行するようにしてもよい。
【０１３３】
次に、ディジタルカメラ１４０の第２の動作例について、図３３のフローチャートを参照して説明する。ステップＳ１２１において、撮像する画像の構図がユーザによって選択される。選択された画像の構図（ガイド１７２に相当する）が第１の最適露出情報として設定される。
【０１３４】
当該第１の最適露出情報を設定する処理については、図３０乃至図３２を参照して上述した第１の動作例の最適露出情報を設定する処理と同様である。
【０１３５】
ステップＳ１２２において、ユーザが操作部１５８に設けられたシャッタを操作した場合、それに対応して、広ダイナミックレンジ画像信号が取得され、DSP１４６が内蔵する画像用RAMに格納される。
【０１３６】
ステップＳ１２３において、ユーザの操作に対応し、第２の最適露出情報として露出比率ｒが設定される。第２の最適露出情報として露出比率ｒを設定する処理について、図３４および図３５を参照して説明する。
【０１３７】
図３４は、ステップＳ１２３における表示部１５１の画像表示エリア１７１の表示例を示している。いまの場合、画像表示エリア１７１には、ステップＳ１２２で取得された広ダイナミックレンジ画像が表示され、それに重畳してステップＳ１２１で設定されたガイド１７２や補助線（破線）が表示される。ただし、画像表示エリア１７１のガイド１７２の内部領域には、操作部１５８に設けられた輝度補正パネル１９１（図３５）に対するユーザの操作に対応して変更される露出比率ｒを用いて簡易生成された狭ダイナミックレンジ画像が表示される。
【０１３８】
図３５は、操作部１５８に設けられた輝度補正パネル１９１を示している。明補正(BRIGHTER)ボタン１９２は、ガイド１７２の内部領域に表示される狭ダイナミックレンジ画像の輝度を、現状よりも１段階だけ明るくする（輝度を上げる）とき押下される。暗補正(DARKER)ボタン１９３は、ガイド１７２の内部領域に表示される狭ダイナミックレンジ画像の輝度を、現状よりも１段階だけ暗くする（輝度を下げる）とき押下される。ＯＫボタン１９４は、現状の輝度を確定するとき押下される。
【０１３９】
例えば、明補正ボタン１９２が押下された場合、狭ダイナミックレンジ画像の簡易生成に用いられる露出比率ｒが所定の値だけ増加される。よって、ガイド１７２の内部領域の狭ダイナミックレンジ画像の輝度が増して表示される。反対に、暗補正ボタン１９３が押下された場合、狭ダイナミックレンジ画像の簡易生成に用いられる露出比率ｒが所定の値だけ減少される。よって、ガイド１７２の内部領域の狭ダイナミックレンジ画像の輝度が減じて表示される。ＯＫボタン１９４が押下された場合、現状の露出比率ｒが第２の最適露出情報として設定される。
【０１４０】
図３３に戻る。ステップＳ１２４において、ステップＳ１２１で設定された第１の最適露出情報（ガイド１７２の形状を示すインデックス）、およびステップＳ１２３で設定された第２の最適露出情報に基づき、広ダイナミックレンジ画像信号が狭ダイナミックレンジ画像信号に変換される。
【０１４１】
具体的には、注目輝度・最適注目輝度対については、第１の最適露出情報（ガイド１７２の形状を示すインデックス）に基づいてガイド１７２の内部領域の広ダイナミックレンジ画像の輝度が取得され、その輝度のヒストグラムが生成されて、最も高い頻度を示す輝度が注目輝度Ｍに設定される。
【０１４２】
最適注目輝度Ｍｍとしては、広ダイナミックレンジ画像の輝度に第２の最適露出情報としての露出比率ｒが乗算されて狭ダイナミックレンジ画像が簡易生成され、そのうちのガイド１７２の内部領域の輝度が抽出されて、ヒストグラムが生成され、最も高い頻度を示す輝度が最適注目輝度Ｍｍに設定される。それ以降の処理は、図２４および図２５を用いて上述した、画像処理システムの画像処理部１１が最適露出情報を設定する際の第２の動作例と同様である。
【０１４３】
変換された狭ダイナミックレンジ画像信号は、メモリ１４８に格納される。
【０１４４】
以上説明したように、ディジタルカメラ１４０の第２の動作例によれば、操作部１５８に対する簡易な操作により、ユーザが注目したい領域をガイド１７２で指定することができ、さらに、ガイド１７２の内部領域に対して所望する輝度を指定することができるので、得られる狭ダイナミックレンジ画像の階調がユーザが所望する結果により近いものとなる。
【０１４５】
なお、ディジタルカメラ１４０のDSP１４６に、上述した画像処理システムの画像処理部１１と同様の処理を実行させるようにしてもよい。反対に、画像処理システムの画像処理部１１に、ディジタルカメラ１４０のDSP１４６と同様の処理を実行させるようにしてもよい。
【０１４６】
ところで、本発明は、画像のダイナミックレンジを変更せずに輝度を変更させる場合に適用することも可能である。
【０１４７】
また、本発明は、本実施の形態のような画像変換システムやディジタルカメラのみならず、例えば、スキャナ、ファクシミリ、コピー機など、画像信号を処理する電子機器に適用することが可能である。
【０１４８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５０】
【発明の効果】
以上のように、本発明によれば、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、画像中の任意の位置の輝度を最適化することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である画像処理システムの構成例を示すブロック図である。
【図２】図１の撮像装置１の構成例を示すブロック図である。
【図３】図２のCCDイメージセンサ２３の構成例を示すブロック図である。
【図４】 CCDイメージセンサ２３の感度特性を説明するための図である。
【図５】前置増幅器２４の処理を説明するための図である。
【図６】図１の画像処理装置２を実現するパーソナルコンピュータの構成例を示すブロック図である。
【図７】画像処理システムの動作を説明するフローチャートである。
【図８】画像処理装置２の最適露出情報設定処理を説明するフローチャートである。
【図９】画像処理装置２が狭ダイナミックレンジ画像を簡易生成する処理を説明するフローチャートである。
【図１０】最適露出情報を設定する第１の動作例を説明するための表示部１３の表示例を示す図である。
【図１１】最適露出情報を設定する第１の動作例におけるGUIの表示例を示す図である。
【図１２】画像処理部１１の第１の構成例を示すブロック図である。
【図１３】図１２の輝度対検出部８１の処理を説明するフローチャートである。
【図１４】輝度対検出部８１の処理を説明するための図である。
【図１５】図１２のマッピング関数生成部８２の構成例を示すブロック図である。
【図１６】マッピング関数生成部８２の処理を説明するフローチャートである。
【図１７】図１５の最大・最小輝度取得部９１の処理を説明するための図である。
【図１８】マッピング関数生成部８２の処理を説明するための図である。
【図１９】マッピング関数生成部８２の処理を説明するための図である。
【図２０】マッピング関数生成部８２の処理を説明するための図である。
【図２１】マッピング関数生成部８２の処理を説明するための図である。
【図２２】図１６のステップＳ５０の処理の詳細を説明するフローチャートである。
【図２３】図１２のマッピング部８３の処理を説明するフローチャートである。
【図２４】最適露出情報を設定する第２の動作例を説明するための表示部１３の表示例を示す図である。
【図２５】最適露出情報を設定する第２の動作例におけるGUIの表示例を示す図である。
【図２６】画像処理部１１の第２の構成例を示すブロック図である。
【図２７】画像処理部１１の第２の構成例の処理を説明するフローチャートである。
【図２８】本発明の一実施の形態であるディジタルカメラ１４０の構成例を示すブロック図である。
【図２９】ディジタルカメラ１４０の第１の動作例を説明するフローチャートである。
【図３０】ディジタルカメラ１４０の第１の動作例において最適露出情報を設定する処理を説明するための表示部１５１の表示例を示す図である。
【図３１】表示部１５１に表示されるガイド１７２の形状の種類を示す図である。
【図３２】ディジタルカメラ１４０の操作部１５８に設けられるガイド選択パネル１８１を示す図である。
【図３３】ディジタルカメラ１４０の第２の動作例を説明するフローチャートである。
【図３４】ディジタルカメラ１４０の第１の動作例において最適露出情報を設定する処理を説明するための表示部１５１の表示例を示す図である。
【図３５】ディジタルカメラ１４０の操作部１５８に設けられる輝度補正パネル１９１を示す図である。
【符号の説明】
１ 撮像装置， ２ 画像処理装置， １１ 画像処理部， １２ 操作入力部， １３ 表示部， ４１ CPU， ５２ 磁気ディスク， ５３ 光ディスク， ５４ 光磁気ディスク， ５５ 半導体メモリ， ７１画像選択ボタンパネル， ８１ 輝度対検出部， ８２ マッピング関数生成部， ８３ マッピング部， ９１ 最大・最小輝度取得部， ９２ 高域関数決定部， ９３ 低域関数決定部， ９４ 関数合成部， １１１ 範囲指定パネル， １２１ 輝度信号生成部， １２２ 輝度対検出部， １２３ 色補正関数生成部， １２４ マッピング部， １２５ マッピング関数生成部， １２６ マッピング部， １２７，１２８ べき乗演算部， １２９ スケーリング部， １４０ ディジタルカメラ， １４６ DSP， １５２ 制御部， １５４ 磁気ディスク， １５５ 光ディスク， １５６ 光磁気ディスク， １５７ 半導体メモリ， １５８ 操作部， １７２ ガイド， １８１ ガイド選択パネル， １９１ 輝度補正パネル
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、例えば、画像信号の輝度のダイナミックレンジを変更する場合に用いて好適な画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Mental-Oxide Semiconductor)イメージセンサのような固体撮像素子が、ビデオカメラやディジタルスチルカメラ等の撮像装置、ＦＡ(Factory Automation)の分野における部品検査装置、およびＭＥ(Medical Electronics)の分野における電子内視鏡等の光計測装置に幅広く利用されている。
【０００３】
近年、それらの固体撮像素子を用いて、光学フィルム写真に匹敵するダイナミックレンジを有する画像信号を得ることができる技術が数多く開発されている。
【０００４】
一方、撮像された動画像や静止画像を表示するCRT(Cathode Ray tube)のような表示装置、印刷するプリンタ、投影するプロジェクタ等の従来機器は、現在において、それらが表現し得る輝度階調に制限がある。すなわち、表現可能な画像のダイナミックレンジが狭い。よって、光学フィルム写真に匹敵するダイナミックレンジを有する画像の画像信号（以下、広ダイナミックレンジ画像と記述する）を取得することができたとしても、それを表現（表示や印刷等）することができない問題がある。
【０００５】
したがって、広ダイナミックレンジ画像の輝度階調を圧縮してダイナミックレンジを狭め、表示装置等の従来機器が表現可能な画像（以下、狭ダイナミックレンジ画像と記述する）に変換するダイナミックレンジ圧縮処理技術が必要とされている。
【０００６】
以下、従来において提案された４つのダイナミックレンジ圧縮技術について説明する。
【０００７】
第１の技術として、画像信号の輝度のゲインとオフセットを調節することによって輝度をスケーリングする方法が挙げられる。この第１の技術は、極めて簡易であって、簡単に適用することができる。しかしながら、輝度階調を圧縮しないので、表示装置等のダイナミックレンジを越える輝度の値は全てクリッピングされてしまい、元の広ダイナミックレンジ画像が有する情報を活かしきることができない。
【０００８】
第２の技術として、本来、表示装置等のガンマ特性を補正するために実行されるガンマ補正処理を流用してダイナミックレンジを圧縮する技術が挙げられる。
ガンマ補正処理に用いられるガンマ補正曲線はべき乗の関数であるので、ガンマ値である指数を変更することによって、簡単に補正特性を調節することができる。しかしながら、ダイナミックレンジ圧縮に流用することに起因して、本来のガンマ補正処理に影響を及ぼしてしまい、色バランスが崩れたり、コントラストの劣化が発生することがある。
【０００９】
第３の技術として、画像の累積ヒストグラム曲線を階調補正曲線に用いるヒストグラム等化手法が挙げられる。ヒストグラム等化手法では、輝度分布（ヒストグラム）に対応して、画像中のより広い面積を占める輝度に対し、より多くの階調を与えるように階調変換が施される。したがって、画像全体としてはコントラストを強調する方向に作用し、狭いダイナミックレンジであっても細部が明確化された視認性が高い画像を得ることができる。しかしながら、階調変換の結果得られる画像は、元の広ダイナミックレンジ画像の輝度分布に大きく左右されるので、所望の画像が得られない場合がある。
【００１０】
第４の技術として、局所オペレータを用いて細部を強調する技術が挙げられる。第４の技術では、画像が局所オペレータによって空間周波数帯域毎に分離され、分離された空間周波数帯域のそれぞれに対し、ゲインが調節された後、それらが再び統合される。ゲインを調整する際、低周波数帯域を減衰させことによって、階調を圧縮することができ、高周波数帯域の減衰量を少なくすることによって、細部のコントラストが損なわれないようにすることができる。
【００１１】
よって、階調が少ない表示装置等の従来機器であっても、細部の視認性が高い画像を表現することができる。しかしながら、各帯域のバランスが変更された結果、画像内のエッジ部分等の高コントラスト領域に階調の反転が生じてしまい、その部分が場合によって非常に目障りなアーチファクト(artifact)として認知されてしまうことがある。
【００１２】
【発明が解決しようとする課題】
以上説明したように、従来のダイナミックレンジ圧縮技術では、得られる狭ダイナミックレンジ画像がユーザの意図を反映した結果とはならないことがある。
具体的には、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、例えば画像中の被写体が占める領域を最適な輝度で表現させようとしても、その実行が困難である課題があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、画像中の任意の領域の輝度を最適化できるようにすることを目的とする。
【００１４】
【課題を解決するための手段】
本発明の画像処理装置は、第２のダイナミックレンジにおける第２の輝度値を設定する設定手段と、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値を演算する演算手段と、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成手段と、生成されたマッピング関数を用いて第１の画像信号を第２の画像信号に変換する変換手段とを含み、マッピング関数生成手段は、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する。
【００１５】
前記マッピング関数生成手段は、第１の輝度対に対応する点と第２の輝度対に対応する点を通過する単調増加関数第１の関数としてを生成する第１の関数生成手段と、第１の輝度対に対応する点と第３の輝度対に対応する点を通過する単調増加関数を第２の関数として生成する第２の関数生成手段と、第１の輝度対が示す点の近傍において、第１の関数上の点および第２の関数上の点を通る単調増加関数である第３の関数をマッピング関数として生成する第３の関数生成手段とを含むことができる。
【００１６】
前記第３の関数生成手段は、第１の関数が示す所定の１点、第１の輝度対が示す１点、および第２の関数が示す所定の１点の３点によって定義される２次曲線関数を、第３の関数として生成することができる。
【００１７】
本発明の画像処理装置は、マッピング関数に基づいて、第２の画像信号を構成する３原色信号の色バランスを補正するための補正情報を算出する算出手段と、補正情報を用いて、第２の画像信号を構成する３原色信号を補正する補正手段とをさらに含むことができ、前記算出手段は、マッピング関数のガンマ特性を取得し、補正後の３原色信号とマッピング関数適用後輝度値の比率がそのガンマ特性によって算出される比率になるように、３原色信号への補正係数を決定することができる。
【００１８】
本発明の画像処理方法は、第２のダイナミックレンジにおける第２の輝度値を設定する設定ステップと、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値を演算する演算ステップと、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、生成されたマッピング関数を用いて第１の画像信号を第２の画像信号に変換する変換ステップとを含み、マッピング関数生成ステップは、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する。
【００１９】
本発明の記録媒体は、輝度値に関して、第１のダイナミックレンジを有する第１の画像信号を、第２のダイナミックレンジを有する第２の画像信号に変換する画像処理用のプログラムであって、第２のダイナミックレンジにおける第２の輝度値を設定する設定ステップと、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値を演算する演算ステップと、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、生成されたマッピング関数を用いて第１の画像信号を第２の画像信号に変換する変換ステップとを含み、マッピング関数生成ステップは、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数をマッピング関数として生成する処理をコンピュータに実行させるプログラムが記録されている。
【００２０】
本発明においては、第２のダイナミックレンジにおける第２の輝度値が設定され、第２の輝度値に対応する第１のダイナミックレンジにおける第１の輝度値が演算される。さらに、第１の輝度値および第２の輝度値からなる第１の輝度対に基づいて、マッピング関数が生成され、生成されたマッピング関数が用いられて第１の画像信号が第２の画像信号に変換される。なお、マッピング関数としては、第１の輝度対に対応する点、第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、および第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点の３点の近傍を通過する滑らかな単調増加関数が生成される。
【００２１】
【発明の実施の形態】
図１は、本発明を適用した画像処理システムの構成例を示している。この画像処理システムは、被写体を広ダイナミックレンジ画像信号として撮像するディジタルカメラ等よりなる撮像装置１、および、撮像装置１から供給される広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換するパーソナルコンピュータ等よりなる画像処理装置２から構成される。
【００２２】
画像処置装置２は、画像信号を処理する画像処理部１１、ユーザからの操作コマンド等を受け付け、その操作コマンドの情報を画像処理部１１に通知する操作入力部１２、および、操作入力部１２に対応するGUI(Graphical User Interface)や画像処理部１１の処理結果を表示する表示部１３から構成される。画像処理装置２の画像処理部１１は、処理結果である狭ダイナミックレンジ画像信号を、適宜、画像処理装置２の外部に出力する。
【００２３】
図２は、撮像装置１の構成例を示している。撮像装置１は、被写体の光画像を集光するレンズ２１、透過する光量を調整する絞り２２、レンズ２１および絞り２２を介して入力される光画像を電気信号に変換するCCDイメージセンサ２３、相関２重サンプリング回路、ガンマ補正回路およびニー特性回路等を含む前置増幅器２４、前置増幅器２４から入力される電気信号を広ダイナミックレンジ画像信号にエンコードするビデオエンコーダ２５、並びに広ダイナミックレンジ画像信号を画像処理装置２に出力する出力部２６から構成される。
【００２４】
撮像装置１の構成要素であるCCDイメージセンサ２３および前置増幅器２４について説明する。図３は、CCDイメージセンサ２３の構成例を示している。CCDイメージセンサ２３は、インタレーススキャンを行うインタライン型CCDと同様の構成をなしている。すなわち、入射した光量に応じた電荷を蓄積すフォトダイオード（ＰＤ）３１が２次元に配列されており、フォトダイオード３１の各縦列間に垂直レジスタ（Ｖレジスタ）３２が設けられ、垂直レジスタ３２の終端（図３において下端）には、水平レジスタ（Ｈレジスタ）３３が設けられている。
【００２５】
なお、偶数フィールド構成する第２ｉ（ｉ＝０，１，２，・・・）ラインには、高感度のフォトダイオード３１Ｈが用いられ、奇数フィールド構成する第２ｉ＋１ラインには、低感度のフォトダイオード３１Ｌが用いられている。
【００２６】
フォトダイオード３１Ｈ，３１Ｌの感度特性について、図４を参照して説明する。図４において、横軸Ｅｉはフォトダイオード３１Ｈ，３１Ｌに入力される光の強度を示しており、縦軸Ｅｏはフォトダイオード３１Ｈ，３１Ｌに蓄積される電荷量を示している。
【００２７】
低感度のフォトダイオード３１Ｌは、図４の直線Ａに示す感度特性を有する。
すなわち、入力される光の強度の全域に亘り、入射光の強度に比例した電荷を蓄積する。高感度のフォトダイオード３１Ｈは、図４の直線Ｂに示す感度特性を有する。すなわち、強度が弱い光に対応し、その入射光の強度に比例して、低感度のフォトダイオード３１Ｌよりも多くの電荷を蓄積する。
【００２８】
図３に戻る。フォトダイオード３１Ｈ，３１Ｌに蓄積された電荷は、所定のタイミング毎に対応する垂直レジスタ３２に読み出された後、水平レジスタ３３に転送される。水平レジスタ３３は、１水平ライン分の垂直レジスタ３２から転送された電荷を順次出力する。
【００２９】
フォトダイオード３１Ｈ，３１Ｌに蓄積された電荷を読み出すタイミングについて説明する。CCDイメージセンサ２３は、インタレーススキャンを行うが、電荷読み出しの際、１画素に対応する電荷として、上下に隣接するフォトダイオード３１Ｈ，３１Ｌの電荷を読み出して加算するようになされている。
【００３０】
例えば、偶数フィールドの第２ｉラインの電荷としては、第２ｉラインのフォトダイオード３１Ｈに蓄積された電荷と、第２ｉ＋１ラインのフォトダイオード３１Ｌに蓄積された電荷が読み出されて加算される。奇数フィールドの第２ｉ＋１ラインの電荷としては、第２ｉ＋１ラインのフォトダイオード３１Ｌに蓄積された電荷と、第２（ｉ＋１）ラインのフォトダイオード３１Ｈに蓄積された電荷が読み出されて加算される。
【００３１】
したがって、CCDイメージセンサ２３は、各画素に対応する電気信号として、低感度のフォトダイオード３１Ｌに蓄積された電荷と高感度のフォトダイオード３１Ｈに蓄積された電荷の和を出力するようになされている。よって、CCDイメージセンサ２３は、図４の直線Ａ（フォトダイオード３１Ｌに対応する）と直線Ｂ（フォトダイオード３１Ｈに対応する）を加算した線Ｃに示す感度特性を有することになる。すなわち、CCDイメージセンサ２３は、光の強度が弱い領域において高感度のフォトダイオード３１Ｈが電荷を蓄積し、光の強度が強い領域においては低感度のフォトダイオード３１Ｌが電荷を蓄積するので、ノイズと飽和の少ない広ダイナミックレンジの電気信号を得ることができる。
【００３２】
前置増幅器２４は、図５に示す関数（図４の曲線Ｃの逆関数）を、CCDイメージセンサ２３から出力された広ダイナミックレンジの電気信号Ｅｏに適用して元の光信号の強度の推定値Ｅｉ’を得る。
【００３３】
次に、図６は、画像処理用のアプリケーションプログラムを実行することより、画像処理装置２として動作するパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)４１を内蔵している。CPU４１にはバス４４を介して、入出力インタフェース４５が接続されている。
【００３４】
入出力インタフェース４５には、操作入力部１２に相当するキーボード、マウスなどの入力デバイスよりなる入力部４６、GUIや処理結果としての画像信号を表示部１３に出力する表示制御部４７、撮像装置１から入力される広ダイナミックレンジ画像信号をデコードするビデオデコーダ４８、各画素の輝度に相当する電圧を量子化してディジタル画像信号に変換するＡ／Ｄコンバータ４９、ハードディスクやフレームメモリなどよりなり、画像処理用のプログラムやディジタル画像信号等を格納する記憶部５０、並びに、磁気ディスク５２（フロッピディスクを含む）、光ディスク５３（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク５４（ＭＤ(Mini Disc)を含む）、および半導体メモリ５５などの記録媒体に対してデータを読み書きするドライブ５１が接続されている。
【００３５】
バス４４には、入出力インタフェース４５の他、ROM(Read Only Memory)４２およびRAM(Random Access Memory)４３が接続されている。
【００３６】
このパーソナルコンピュータに画像処理装置２としての動作を実行させる画像処理用プログラムは、磁気ディスク５２乃至半導体メモリ５５に格納された状態でパーソナルコンピュータに供給され、ドライブ５１によって読み出されて、記憶部５０に内蔵されるハードディスクドライブにインストールされている。記憶部５０にインストールされている画像処理用プログラムは、入力部４６に入力されるユーザからのコマンドに対応するCPU４１の指令によって、記憶部５０からRAM４３にロードされて実行される。
【００３７】
次に、当該画像処理システムの動作について、図７のフローチャートを参照して説明する。ステップＳ１において、撮像装置１は、被写体の光画像を撮像し、得られた広ダイナミックレンジ画像信号を画像処理装置２に出力する。
【００３８】
ステップＳ２において、画像処理装置２の画像処理部１１は、ユーザの選択操作に対応して最適露出情報を設定する。最適露出情報を設定する第１の動作例について、図８のフローチャートを参照して説明する。
【００３９】
ステップＳ１１において、画像処理装置２の画像処理部１１は、撮像装置１から入力された広ダイナミックレンジ画像信号から、所定の数の狭ダイナミックレンジ画像信号を簡易生成する。狭ダイナミックレンジ画像信号を簡易生成する処理について、図９のフローチャートを参照して説明する。以下、処理される画像信号は輝度信号であるとする。
【００４０】
ステップＳ２１において、画像処理部１１は、撮像装置１から入力されて記憶されている広ダイナミックレンジ画像の各画素の画像信号Ｙ(x,y)と、予め用意されている複数の露出比率ｒのうちの１つを、記憶部５０から読み出す。ここで、ｘ，ｙは、それぞれ、画像の縦または横の座標値である。
【００４１】
ステップＳ２２において、画像処理部１１は、全ての画素の画像信号Ｙ(x,y)に露出比率ｒを乗算して変換画像信号Ｙｎ(x,y)を生成する。ステップＳ２３において、画像処理部１１は、変換画像信号Ｙｎ(x,y)を、所定の閾値Ｙｎｍａｘ，Ｙｎｍｉｎと比較して、閾値Ｙｎｍａｘよりも大きい変換画像信号Ｙｎ(x,y)を、閾値Ｙｎｍａｘを用いて置換し、閾値Ｙｎｍｉｎよりも小さい変換画像信号Ｙｎ(x,y)を、閾値Ｙｎｍｉｎを用いて置換する。このようにして生成された変換画像信号Ｙｎ(x,y)が、簡易生成した狭ダイナミックレンジ画像信号とされる。
【００４２】
以上説明したステップＳ２１乃至Ｓ２３の処理は、予め用意されている露出比率ｒの種類の数と同じ数だけ繰り返し実行される。
【００４３】
処理は、図８のステップＳ１２に戻る。ステップＳ１２において、画像処理部１１は、ステップＳ１１の処理で簡易生成された狭ダイナミックレンジ画像信号を表示部１３に表示させ、また、表示させた複数の狭ダイナミックレンジ画像のうちの１つをユーザに選択させるためのGUIを表示部１３に表示させる。
【００４４】
図１０は、簡易生成された狭ダイナミックレンジ画像を表示する表示部１３の表示例を示している。この表示例では、表示部１３の画像表示領域６１に、９（＝３×３）枚の簡易生成された狭ダイナミックレンジ画像６２が表示可能とされており、４枚の簡易生成された狭ダイナミックレンジ画像６２が表示されている。表示された狭ダイナミックレンジ画像６２の周囲には、枠６３が設けられている。
【００４５】
図１１は、表示部１３に表示された複数の簡易生成された狭ダイナミックレンジ画像６２を、ユーザが選択する際に操作するGUIの表示例を示している。GUIとしての画像選択ボタンパネル７１には、現在指定されている画像の左側の画像を指定するときクリックされる左移動ボタン７２、現在指定されている画像の右側の画像を指定するときクリックされる右移動ボタン７３、および、指定されている画像を選択するときクリックされるセレクトボタン７４が設けられている。
【００４６】
表示部１３の画像表示領域６１に表示された枠６３は、対応する画像がユーザによって指定されている場合、それをユーザが認識できるように、例えば、ハイライト表示される。図１０の表示例の場合、３×３の画像のうちの左上の画像が指定されており、その枠６３がハイライト表示されている。
【００４７】
ユーザは、表示部１３の画像表示領域６１に表示された複数の画像のうち、画像中の被写体の階調が最も適切に表示されている画像を、画像選択ボタンパネル７１を用いて選択するようにする。
【００４８】
図８に戻り、ステップＳ１３において、画像処理部１１は、表示部１３の画像表示領域６１に表示されている簡易生成された狭ダイナミックレンジ画像のうちの１つをユーザが選択するまで待機し、簡易生成された狭ダイナミックレンジ画像のうちの１つをユーザが選択したと判定した場合、処理はステップＳ１４に進む。ステップＳ１４において、画像処理部１１は、ユーザが選択した画像に対応する露出比率ｒを最適露出情報として設定する。処理は、図７のステップＳ３にリターンする。
【００４９】
ステップＳ３において、画像処理部１１は、ステップＳ２で設定した最適露出情報に従い、撮像装置１から入力された広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換して表示部１３に出力する。
【００５０】
最適露出情報に従って広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換する処理の詳細について説明する。
【００５１】
図１２は、当該処理に関わる画像処理部１１の第１の構成例を示している。輝度対検出部８１は、広ダイナミックレンジ画像信号および最適露出情報に基づき、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を検出してマッピング関数生成部８２に出力する。マッピング関数生成部８２は、広ダイナミックレンジ画像信号および輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、マッピング関数を生成してマッピング部８３に出力する。マッピング部８３は、広ダイナミックレンジ画像信号を、マッピング関数生成部８２からのマッピング関数に適用して狭ダイナミックレンジ画像信号を生成する。
【００５２】
輝度対検出部８１の注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を検出する処理について、図１３のフローチャートおよび図１４を参照して説明する。図１４は、広ダイナミックレンジ画像の輝度のダイナミックレンジと、簡易生成された狭ダイナミックレンジ画像の輝度のダイナミックレンジの関係を説明するための図であり、同図の横軸は、入力される広ダイナミックレンジ画像の輝度Ｙの対数値logＹを示し、縦軸は簡易生成された狭ダイナミックレンジ画像の輝度Ｙｎの対数値logＹｎを示している。
【００５３】
ステップＳ３１において、輝度対検出部８１は、予め設定されている広ダイナミックレンジ画像の飽和輝度Ｙｓ、狭ダイナミックレンジ画像の飽和輝度Ｙｎｓ、および狭ダイナミックレンジ画像の中間輝度Ｙｎｍを記憶部５０から取得する。ここで、狭ダイナミックレンジ画像の中間輝度Ｙｎｍは、例えば、例えば次式（１）に示すように、所定の狭ダイナミックレンジ画像の飽和輝度Ｙｎｓとノイズレベル輝度Ｙｎｎを用いて予め演算されているものとする。
中間輝度Ｙｎｍ＝（Ｙｎｓ＋Ｙｎｎ）／２ ・・・（１）
【００５４】
ステップＳ３２において、輝度対検出部８１は、図８のステップＳ１４で設定された最適露出情報（露出比率ｒ）を取得する。ステップＳ３３において、輝度対検出部８１は、狭ダイナミックレンジ画像の中間輝度Ｙｎｍに対応する広ダイナミックレンジ画像の輝度を次式（２）を用いて演算する。この輝度を注目輝度Ｍに設定する。
注目輝度Ｍ＝ｒ・Ｙｓ（Ｙｎｍ／Ｙｎｓ） ・・・（２）
【００５５】
ステップＳ３４において、輝度対検出部８１は、狭ダイナミックレンジ画像の中間輝度Ｙｎｍを最適注目輝度Ｍｍに設定する。ステップＳ３５において、輝度対検出部８１は、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）をマッピング関数生成部８２に出力する。
【００５６】
次に、図１５は、マッピング関数生成部８２の詳細な構成例を示している。マッピング関数生成部８２は、広ダイナミックレンジ画像の最大輝度Ｈと最小輝度Ｌを取得する最大・最小輝度取得部９１、最大・最小輝度取得部９１からの広ダイナミックレンジ画像の最大輝度Ｈと最小輝度Ｌ、および輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、高域対数関数を生成する高域関数決定部９２、最大・最小輝度取得部９１からの広ダイナミックレンジ画像の最大輝度Ｈと最小輝度Ｌ、および輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、低域対数関数を生成する低域関数決定部９３、および、高域関数決定部９２が生成する高域対数関数と、低域関数決定部９３が生成する低域対数関数を合成してマッピング関数を生成する関数合成部９４から構成される。
【００５７】
マッピング関数生成部８２がマッピング関数を生成する処理について、図１６のフローチャートを参照して説明する。
【００５８】
ステップＳ４１において、最大・最小輝度取得部９１は、図１７に示すような広ダイナミックレンジ画像の輝度信号Ｙのヒストグラムを生成する。ステップＳ４２において、最大・最小輝度取得部９１は、輝度信号Ｙに含まれるノイズを考慮して、頻度を有する輝度の最大値よりも所定の割合（例えば、１％）だけ小さい値を最大輝度Ｈに決定し、頻度を有する輝度の最小値よりも所定の割合（例えば、１％）だけ大きい値を輝度の最小輝度Ｌに決定し、最大輝度Ｈおよび最小輝度Ｌを高域関数決定部９２、低域関数決定部９３、および関数合成部９４に出力する。
【００５９】
ステップＳ４３において、関数合成部９４は、図１８に示す２点（logＬ，Ｌｍ），（logＨ，Ｈｍ）を通る直線Ａに相当する対数関数Ｙｍ（Ｙ）を生成する。
Ｙｍ（Ｙ）＝αlogＹ＋β ・・・（３）
【数１】
なお、図１８は、広ダイナミックレンジ画像の輝度のダイナミックレンジと、変換後の狭ダイナミックレンジ画像の輝度のダイナミックレンジの関係を説明するための図であり、同図の横軸は、入力される広ダイナミックレンジ画像の輝度Ｙの対数値logＹを示し、縦軸は変換後の狭ダイナミックレンジ画像の輝度Ｙｍを示している。図１９乃至図２１も同様である。また、Ｈｍ，Ｌｍは、それぞれ狭ダイナミックレンジの最大輝度または最小輝度を表しており、予め設定されている値である。
【００６１】
ステップＳ４４において、高域関数決定部９２は、図１８に示す２点（logＭ，Ｍｍ），（logＨ，Ｈｍ）を通る直線Ｃに相当する高域対数関数ＹｍＨ（Ｙ）を生成して関数合成部９４に出力する。
ＹｍＨ（Ｙ）＝αＨlogＹ＋βＨ ・・・（４）
【数２】
ステップＳ４５において、低域関数決定部９３は、図１８に示す２点（logＬ，Ｌｍ），（logＭ，Ｍｍ）を通る直線Ｂに相当する低域対数関数ＹｍＬ（Ｙ）を生成して関数合成部９４に出力する。
ＹｍＬ（Ｙ）＝αＬlogＹ＋βＬ ・・・（５）
【数３】
なお、ステップＳ４３，Ｓ４４，Ｓ４５の処理の順序は、適宜入れ替えてもよいし、平行して同時に実行するようにしてもよい。
【００６４】
ステップＳ４６において、関数合成部９４は、 図１８の直線Ａに相当する対数関数Ｙｍ（Ｙ）のＹに注目輝度Ｍを代入し、得られたＹｍ（Ｍ）と最適注目輝度Ｍｍを比較して、その比較結果に基づき、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）が、直線Ａよりも上に位置するか、直線Ａよりも下に位置するか、または直線Ａに一致するかを判定する。
【００６５】
比較結果が、ＭｍがＹｍ（Ｍ）よりも大きい場合には、図１８に示すように、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）は直線Ａよりも上に位置すると判定されて、処理はステップＳ４７に進む。ステップＳ４７において、関数合成部９４は、図１９に示すような上に凸のマッピング関数となるように、図１９の横軸上のパラメータＣＬ，ＣＨを次式（６）のように設定する。
【数４】
【００６６】
ステップＳ５０において、関数合成部９４は、高域対数関数ＹｍＨ（Ｙ）と低域対数関数ＹｍＬ（Ｙ）を滑らかに連結してマッピング関数を生成する。具体的には、入力輝度Ｙ、すなわち、広ダイナミックレンジ画像の輝度Ｙを、最小輝度Ｌよりも小さい領域、最小輝度Ｌ以上であってＣＬよりも小さい領域、ＣＬ以上であってＣＨよりも小さい領域、ＣＨ以上で最大輝度Ｈよりも小さい領域、または、最大輝度Ｈ以上である領域に分け、各領域に対応するマッピング関数ｆ（Ｙ）を生成する（詳細は図２２を参照して後述する）。
【００６７】
ステップＳ４６での比較結果が、ＭｍがＹｍ（Ｍ）と等しい場合、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）は直線Ａに一致すると判定されて、処理はステップＳ４８に進む。ステップＳ４８において、関数合成部９４は、マッピング関数のパラメータＣＬ，ＣＨを次式（７）のように設定する。
ＣＬ＝Ｌ
ＣＨ＝Ｈ ・・・（７）
【００６８】
ステップＳ４６での比較結果が、ＭｍがＹｍ（Ｍ）よりも小さい場合には、図２０に示すように、注目輝度・最適注目輝度対に対応する点（logＭ，Ｍｍ）は直線Ａよりも下に位置すると判定されて、処理はステップＳ４９に進む。ステップＳ４９において、関数合成部９４は、図２１に示すような下に凸のマッピング関数となるようにパラメータＣＬ，ＣＨを次式（８）のように設定する。
【数５】
【００６９】
ステップＳ５０における関数合成部９４の処理の詳細について、図２２のフローチャートを参照して説明する。ステップＳ６１，Ｓ６３，Ｓ６５，Ｓ７２における大小比較判定により、マッピング関数ｆ（Ｙ）の変数である入力輝度Ｙが５つの領域のうちのいずれかに分類される。
【００７０】
ステップＳ６１の処理を経て、最小輝度Ｌよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ６２において、次式（９）に示すようにマッピング関数ｆ（Ｙ）が定義される。
ｆ（Ｙ）＝Ｌｍ Ｙ＜Ｌ ・・・（９）
【００７１】
ステップＳ６１，Ｓ６３の処理を経て、最小輝度Ｌ以上であってＣＬよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ６４において、次式（１０）に示すように、マッピング関数ｆ（Ｙ）が低域対数関数ＹｍＬ（Ｙ）によって定義される。
ｆ（Ｙ）＝ＹｍＬ（Ｙ）＝αＬlogＹ＋βＬ Ｌ≦Ｙ＜Ｌ・・・（１０）
【００７２】
ステップＳ６１，Ｓ６３，Ｓ６５の処理を経て、ＣＬ以上であってＣＨよりも小さい領域に分類された場合、処理はステップＳ６６に進む。
【００７３】
ステップＳ６６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも大きいと判定された場合、処理はステップＳ６７に進む。ステップＳ６７において、媒介変数ｔが次式（１１）によって定義される。
【数６】
【００７４】
ステップＳ６８において、入力輝度Ｙに対し、次式（１２）に示すように、マッピング関数ｆ（Ｙ）が定義される。
【数７】
【００７５】
ステップＳ６６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きくないと判定された場合、処理はステップＳ６９に進む。ステップＳ６９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも小さいと判定された場合、処理はステップＳ７０に進む。ステップＳ７０において、媒介変数ｔが次式（１３）によって定義される。
【数８】
【００７６】
ステップＳ６９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さくない、すなわち、ＣＬ−２Ｍ＋ＣＨ＝０であると判定された場合、処理はステップＳ７１に進む。ステップＳ７１において、媒介変数ｔが次式（１４）によって定義される。
ｔ＝（Ｙ−ＣＬ）／２（Ｍ−ＣＬ） ・・・（１４）
【００７７】
ステップＳ６１，Ｓ６３，Ｓ６５，Ｓ７２の処理を経て、ＣＨ以上であって最大輝度Ｈよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ７３において、次式（１５）に示すように、マッピング関数ｆ（Ｙ）が高域対数関数ＹｍＨ（Ｙ）によって定義される。
ｆ（Ｙ）＝ＹｍＨ（Ｙ）＝αＨlogＹ＋βＨ ＣＨ≦Ｙ＜Ｈ・・・（１５）
【００７８】
ステップＳ６１，Ｓ６３，Ｓ６５，Ｓ７２の処理を経て、最大輝度Ｈ以上である領域に分類された入力輝度Ｙに対しては、ステップＳ７４において、次式（１６）に示すように、マッピング関数ｆ（Ｙ）が高域対数関数ＹｍＨ（Ｙ）によって定義される。
ｆ（Ｙ）＝Ｌｍ Ｈ＜Ｙ ・・・（１６）
【００７９】
以上説明したように、マッピング関数生成部８２の一連の処理によって、マッピング関数ｆ（Ｙ）が生成される。
【００８０】
次に、生成されたマッピング関数ｆ（Ｙ）に広ダイナミックレンジ画像信号を適用して狭ダイナミックレンジ画像信号を生成するマッピング部８３の処理について、図２３のフローチャートを参照して説明する。
【００８１】
ステップＳ８１において、マッピング部８３は、記憶部５０から広ダイナミックレンジ画像信号を取得する。また、マッピング部８３は、マッピング関数生成部８２からマッピング関数ｆ（Ｙ）を取得する。
【００８２】
ステップＳ８２において、マッピング部８３は、広ダイナミックレンジ画像の全て画素の輝度信号Ｙ(x,y)を、マッピング関数ｆ（Ｙ）に順次代入して狭ダイナミックレンジ画像信号を生成する。
【００８３】
以上説明したように画像処理部１１の一連の処理によれば、簡易生成されてた複数の狭ダイナミックレンジの画像がユーザに提示され、そのうちの被写体の階調が最も適切に表示されている画像がユーザによって選択されて、選択された画像に基づいて注目輝度・最適注目輝度対（Ｍ，Ｍｍ）が導き出される。さらに、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づいてマッピング関数ｆ（Ｙ）が生成されて、広ダイナミックレンジ画像信号がマッピング関数ｆ（Ｙ）によって狭ダイナミックレンジ画像信号に変換されるので、画像中の被写体が適切な階調で表現される狭ダイナミックレンジの画像を得ることができる。
【００８４】
なお、上述した説明においては、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を１つだけ決定して、以降の処理を実行するようにしたが、２つ以上の注目輝度・最適注目輝度対を決定してマッピング関数を生成するようにしてもよい。
【００８５】
次に、画像処理部１１が最適露出情報を設定する第２の動作例について、図２４および図２５を参照して説明する。図８乃至図１１を参照して上述した第１の動作例では、簡易生成された複数の狭ダイナミックレンジ画像のうちの１つをユーザに選択させるようにしたが、第２の動作例においては、所定の露出比率ｒを適用して簡易生成した狭ダイナミックレンジ画像を１枚だけ表示し、その画像の内で注目すべき範囲（例えば、被写体が表示されている範囲）をユーザに指定させるようにし、その指定された範囲（図２４（Ｂ）のマスク１０３）を示す情報を最適露出情報に設定して輝度対検出部８１に供給するようにする。
【００８６】
図２４は、簡易生成された１枚の狭ダイナミックレンジ画像を表示する表示部１３の表示例を示している。同図（Ａ）に示すように、表示部１３の画像表示・指定範囲描画領域１０１には、簡易生成された狭ダイナミックレンジ画像１０２が１枚だけ表示される。画像表示・指定範囲描画領域１０１に表示された狭ダイナミックレンジ画像１０２には、同図（Ｂ）に示すような、ユーザによって指定された範囲を表すマスク１０３が重畳して表示される。
【００８７】
図２５は、狭ダイナミックレンジ画像１０２に重畳して表示されるマスク１０３をユーザが設定するとき操作するGUIの表示例を示している。GUIとしての範囲指定パネル１１１には、マスク１０３の設定を開始するときクリックされるペンボタン１１２、設定されたマスク１０３の設定を解除する消しゴムボタン１１３、および、設定したマスク１０３を確定する完了ボタン１１４が設けられている。
【００８８】
ユーザは、ペンボタン１１２をクリックした後、マウス等の入力デバイスを用いてマスク１０３の範囲を描画し、完了ボタン１１４をクリックすることにより、描画したマスク１０３の範囲を確定させる。これに対応して、確定されたマスク１０３の範囲を示す情報が、最適露出情報として輝度対検出部８１に供給される。
【００８９】
第２の動作例において、輝度対検出部８１は、最適注目輝度Ｍｍとして、上述したステップＳ３１（図１３）の処理と同様に、予め設定されている狭ダイナミックレンジ画像の中間輝度Ｙｎｍを、記憶部５０に記憶されている画像処理用アプリロケーションプログラムから取得する。
【００９０】
一方の注目輝度Ｍを求めるために輝度対検出部８１は、広ダイナミックレンジ画像のうち、マスク１０３の範囲に含まれる画素の輝度信号を取得して画素集合Ｇ１とし、画素集合Ｇ１のうち、所定の飽和レベルを上回る輝度の画素、および所定のノイズレベルを下回る輝度の画素を除外して画素集合Ｇ２とする。さらに、輝度対検出部８１は、画素集合Ｇ２の輝度のヒストグラムを生成して、最も頻度が高い輝度を注目輝度Ｍに設定する。
【００９１】
このようにして設定された注目輝度・最適注目輝度対（Ｍ，Ｍｍ）は、マッピング関数生成部８２に供給されて、上述した一連の処理と同様に処理される。
【００９２】
以上のように、最適露出情報を設定する第２の動作例によれば、ユーザが最適な輝度で表示してほしい被写体の範囲を指示するという直感的な操作によって、所望の狭ダイナミックレンジ画像を作成することが可能となる。
【００９３】
次に、撮像装置１から画像処理装置２に対して、カラーの広ダイナミックレンジ画像信号（３原色信号Ｒ，Ｇ，Ｂ）が供給される場合に対応する画像処理部１１の構成例（以下、画像処理部１１の第２の構成例と記述する）および動作について、図２６を参照して説明する。画像処理部１１の第２の構成例においては、カラー画像の色バランスが損なわれないように階調変換が行われる。
【００９４】
図２６は、画像処理部１１の第２の構成例を示している。輝度信号生成部１２１は、次式（１７）を用いて、入力される広ダイナミックレンジ画像の各画素の３原色信号Ｒ，Ｇ，Ｂを用いて輝度Ｙを生成し、輝度対検出部１２２、色補正関数生成部１２３、マッピング部１２４、マッピング関数生成部１２５、マッピング部１２６、および、べき乗演算部１２７に出力する。
輝度Ｙ＝ｋｒ・Ｒ＋ｋｇ・Ｇ＋ｋｂ・Ｂ ・・・（１７）
【００９５】
ここで、ｋｒ，ｋｇ，ｋｂは定数であり、例えば、ｋｒ＝０．３、ｋｇ＝０．６、ｋｂ＝０．１とする。
【００９６】
輝度対検出部１２１は、輝度信号生成部１２１からの広ダイナミックレンジ画像の各画素の輝度Ｙ、および、上述した画像処理部１１の第１または第２の動作例によって取得した最適露出情報に基づき、注目輝度・最適注目輝度対（Ｍ，Ｍｍ）を検出して色補正関数生成部１２３およびマッピング関数生成部８２に出力する。
【００９７】
色補正関数生成部１２３は、輝度信号生成部１２１からの広ダイナミックレンジ画像の各画素の輝度Ｙ、および、輝度対検出部８１からの注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、輝度Ｙに対応する色補正量γを示す色補正関数ｆＣ（Ｙ）を生成し、マッピング部１２４に出力する。
【００９８】
色補正関数生成部１２３が色補正関数ｆＣ（Ｙ）を生成する処理について、より詳細に説明する。当該色補正関数生成処理は、図１６乃至図２２を参照して上述したマッピング関数生成部８２のマッピング関数生成処理とほぼ同様であり、図２２を用いて説明したステップＳ５０（図１６）における処理だけが若干異なる。よって、当該色補正関数生成処理のうち、マッピング関数生成処理のうちのステップＳ５０における処理に相当する処理についてのみ、図２７を参照して説明する。
【００９９】
色補正関数生成部１２３は、ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ１０２における大小比較判定により、色補正関数ｆＣ（Ｙ）の変数である入力輝度Ｙを５つの領域のうちのいずれかに分類する。
【０１００】
ステップＳ９１の処理を経て、最小輝度Ｌよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ９２において、次式（１７）に示すように色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＬ Ｙ＜Ｌ ・・・（１７）
【０１０１】
ステップＳ９１，Ｓ９３の処理を経て、最小輝度Ｌ以上であってＣＬよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ９４において、次式（１８）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＬ Ｌ≦Ｙ＜Ｌ・・・（１８）
【０１０２】
ステップＳ９１，Ｓ９３，Ｓ９５の処理を経て、ＣＬ以上であってＣＨよりも小さい領域に分類された場合、処理はステップＳ９６に進む。
【０１０３】
ステップＳ９６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも大きいと判定された場合、処理はステップＳ９７に進む。ステップＳ９７において、媒介変数ｔが式（１１）によって定義される。
【０１０４】
ステップＳ９８において、入力輝度Ｙに対し、次式（１９）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝（１−ｔ）αＬ＋ｔαＨ ＣＬ≦Ｙ＜ＣＨ ・・・（１９）
【０１０５】
ステップＳ９６において、ＣＬ−２Ｍ＋ＣＨが０よりも大きくないと判定された場合、処理はステップＳ９９に進む。ステップＳ９９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さいか否かが判定される。ＣＬ−２Ｍ＋ＣＨが０よりも小さいと判定された場合、処理はステップＳ１００に進む。ステップＳ１００において、媒介変数ｔが式（１３）によって定義される。
【０１０６】
ステップＳ９９において、ＣＬ−２Ｍ＋ＣＨが０よりも小さくない、すなわち、ＣＬ−２Ｍ＋ＣＨ＝０であると判定された場合、処理はステップＳ１０１に進む。ステップＳ１０１において、媒介変数ｔが式（１４）によって定義される。
【０１０７】
ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ１０２の処理を経て、ＣＨ以上であって最大輝度Ｈよりも小さい領域に分類された入力輝度Ｙに対しては、ステップＳ１０３において、次式（２０）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＨ ＣＨ≦Ｙ＜Ｈ・・・（２０）
【０１０８】
ステップＳ９１，Ｓ９３，Ｓ９５，Ｓ１０２の処理を経て、最大輝度Ｈ以上である領域に分類された入力輝度Ｙに対しては、ステップＳ１０４において、次式（２１）に示すように、色補正関数ｆＣ（Ｙ）が定義される。
ｆＣ（Ｙ）＝αＨ Ｈ＜Ｙ ・・・（２１）
【０１０９】
以上説明したような色補正関数生成部１２３の処理によって、色補正関数ｆＣ（Ｙ）が生成される。
【０１１０】
マッピング部１２４は、輝度信号生成部１２１からの各画素の輝度Ｙを、色補正関数ｆＣ（Ｙ）に適用して色補正量γを演算し、べき乗演算部１２７、１２８Ｒ，１２８Ｇ，１２８Ｂに出力する。
【０１１１】
マッピング関数生成部１２５は、上述したマッピング関数生成部８２と同様に、広ダイナミックレンジ画像の各画素の輝度Ｙおよび注目輝度・最適注目輝度対（Ｍ，Ｍｍ）に基づき、マッピング関数ｆ（Ｙ）を生成してマッピング部１２６に出力する。マッピング部１２６は、広ダイナミックレンジ画像の各画素の輝度Ｙを、マッピング関数生成部１２５からのマッピング関数ｆ（Ｙ）に適用して狭ダイナミックレンジ画像の各画素の輝度Ｙｍを生成し、スケーリング部１２９Ｒ，１２９Ｇ，１２９Ｂに出力する。
【０１１２】
べき乗演算部１２７は、広ダイナミックレンジ画像の各画素の輝度Ｙをγ乗して、得られた補正輝度Ｙγをスケーリング部１２９Ｒ，１２９Ｇ，１２９Ｂに出力する。べき乗演算部１２８Ｒは、広ダイナミックレンジ画像の各画素の赤色信号Ｒをγ乗して、得られた補正赤色信号Ｒγをスケーリング部１２９Ｒに出力する。べき乗演算部１２８Ｇは、広ダイナミックレンジ画像の各画素の緑色信号Ｇをγ乗して、得られた補正緑色信号Ｇγをスケーリング部１２９Ｇに出力する。
べき乗演算部１２８Ｂは、広ダイナミックレンジ画像の各画素の青色信号Ｂをγ乗して、得られた補正青色信号Ｂγをスケーリング部１２９Ｂに出力する。
【０１１３】
スケーリング部１２９Ｒ乃至１２９Ｂは、それぞれ、次式（２２）乃至（２４）を用い、狭ダイナミックレンジ画像の各画素の赤色信号Ｒｍ、緑色信号Ｇｍ、または青色信号Ｂｍを演算する。
Ｒｍ＝Ｒγ・Ｙｍ／Ｙγ ・・・（２２）
Ｇｍ＝Ｇγ・Ｙｍ／Ｙγ ・・・（２３）
Ｂｍ＝Ｂγ・Ｙｍ／Ｙγ ・・・（２４）
【０１１４】
以上説明したように、画像処理部１１の第２の構成例よれば、入力された広ダイナミックレンジ画像の３原色信号Ｒ，Ｇ，Ｂに対し、ダイナミックレンジを圧縮する度合いに応じて自然な色バランスとなるように補正を施すので、広ダイナミックレンジのカラー画像を、色バランスが不自然ではない狭ダイナミックレンジのカラー画像に変換することが可能となる。
【０１１５】
次に、図２８は、本発明を適用したディジタルカメラの構成例を示している。
このディジタルカメラ１４０は、言わば、図１に示した画像処理システムを１つの筐体に納めたものであり、被写体を広ダイナミックレンジ画像信号として撮像し、適宜、狭ダイナミックレンジ画像信号に変換して内蔵するメモリ１４８に記録する。
【０１１６】
ディジタルカメラ１４０は、被写体の光画像を集光するレンズ１４１、光画像の光量を調整する絞り１４２、集光された光画像を光電変換して広ダイナミックレンジの電気信号に変換するCCDイメージセンサ１４３、CCDイメージセンサ１４３からの電気信号をサンプリングすることによってノイズを低減させるCDS(Corelated Double Sampling)１４４、および、アナログの電気信号をディジタル化するＡ／Ｄコンバータ１４５、ディジタル化された電気信号を画像信号に変換したり、ダイナミックレンジを圧縮したりする画像信号処理用プロセッサと画像用RAMよりなるDSP(Digital Signal Processor)１４６から構成される。
【０１１７】
また、ディジタルカメラ１４０は、DSP１４６が処理した画像信号を圧縮符号化してメモリ１４８に記録し、また、読み出して伸張し、DSP１４６に供給するCODEC(Compression/Decompression)１４７、DSP１４６が処理した画像信号をアナログ化するＤ／Ａコンバータ１４９、アナログ化された画像信号を後段の表示部１５１に適合する形式のビデオ信号にエンコードするビデオエンコーダ１５０、および、ビデオ信号に対応する画像を表示することによりファインダとして機能するLCD(Liquid Crystal Display)等よりなる表示部１５１から構成される。
【０１１８】
さらに、ディジタルカメラ１４０は、ドライブ１５３を制御して、磁気ディスク１５４、光ディスク１５５、光磁気ディスク１５６、または半導体メモリ１５７に記憶されている制御用プログラムを読み出して、読み出した制御用プログラム、操作部１５８から入力されるユーザからのコマンド等に基づいて、ディジタルカメラ１４０の全体を制御するCPUなどよりなる制御部１５２、ユーザがシャッタタイミングやその他のコマンドを入力する操作部１５８、および、CCDイメージセンサ１４３乃至DSP１４６の動作タイミングを制御するタイミングジェネレータ１５９から構成される。
【０１１９】
ディジタルカメラ１４０においては、DSP１４６が、上述した画像処理システムの画像処理部１１に相当し、広ダイナミックレンジ画像信号を狭ダイナミックレンジ画像信号に変換する処理を実行する。
【０１２０】
なお、ディジタルカメラ１４０を構成する操作部１５８および表示部１５１は、図１の画像処理システムの画像処理装置２（パーソナルコンピュータ等よりなる）を構成する操作入力部１２および表示部１３に比較して、小型のものが用いられるので、より簡単にユーザが各種の操作入力を実行できるようにする必要がある。
【０１２１】
そこで、ディジタルカメラ１４０では、全体的な処理の順序を、図７のフローチャートにより説明した図１の画像処理システムの処理の順序とは異なり、広ダイナミックレンジ画像信号を取得する前に、最適露出情報を設定するようになされている。
【０１２２】
ディジタルカメラ１４０の第１の動作例について、図２９のフローチャートを参照して説明する。ステップＳ１１１において、撮像する画像の構図がユーザによって選択される。選択された画像の構図（後述するガイド１７２に相当する）が最適露出情報として設定される。
【０１２３】
当該最適露出情報を設定する処理について、図３０乃至図３２を参照して説明する。図３０は、ファインダとして機能する表示部１５１の画像表示エリア１７１の表示例を示している。同図に示すように、画像表示エリア１７１には、被写体の画像に重畳して太線等によって示されるガイド１７２や破線によって示される補助線が重畳して表示される。なお、ガイド１７２の形状としては、複数のパターンが用意されており、操作部１５８に設けられたガイド選択パネル１８１（図３２）がユーザによって操作される毎、その形状が切り替わるようになされている。
【０１２４】
図３１（Ａ）乃至（Ｑ）は、予め用意されているガイド１７２の形状の例を示している。ガイド１７２の各形状には、所定のインデックスが付与されている。
なお、ガイド１７２の形状は、同図に示すような矩形の他、例えば、円形や多角形であってもよい。
【０１２５】
図３２は、操作部１５８に設けられたガイド選択パネル１８１を示している。
ガイド切替ボタン１８２は、ガイド１７２の形状を１つ前のインデックスに対応するものに切り替えるとき押下される。切替ボタン１８３は、ガイド１７２の形状を１つ先のインデックスに対応するものに切り替えるとき押下される。選択ボタン１８４は、表示されているガイド１７２の形状を確定させるとき押下される。
【０１２６】
例えば、図３０は、ガイド１７２の形状として図３１（Ｊ）の例に切り替えられている状態を示しているが、この状態において、切替ボタン１８２が押下された場合には、ガイド１７２の形状が同図（Ｉ）の例に切り替えられ、切替ボタン１８３が押下された場合には、ガイド１７２の形状が同図（Ｋ）の例に切り替えられる。
【０１２７】
ユーザは、ファインダとして機能する表示部１５１を見ながら被写体（例えば、人物）がガイド１７２の中に収まるように、ガイド選択パネル１８１の切替ボタン１８２，１８３を操作してガイド１７２の切り替えた後、選択ボタン１８４を押下してガイド１７２の形状を確定させる。選択ボタン１８４の押下に対応して、現在表示されているガイド１７２の形状に対応するインデックスが最適露出情報として設定される。
【０１２８】
図２９に戻る。ステップＳ１１２において、ユーザが操作部１５８に設けられたシャッタを操作した場合、それに対応して、広ダイナミックレンジ画像信号が取得され、DSP１４６が内蔵する画像用RAMに格納される。
【０１２９】
ステップＳ１１３において、ステップＳ１１１で設定された最適露出情報（ガイド１７２の形状を示すインデックス）に基づき、広ダイナミックレンジ画像信号が狭ダイナミックレンジ画像信号に変換される。
【０１３０】
具体的には、注目輝度・最適注目輝度対については、最適露出情報（ガイド１７２の形状を示すインデックス）に基づいてガイド１７２の内部領域の画像信号が取得され、その輝度のヒストグラムが生成されて、最も高い頻度を示す輝度が注目輝度Ｍに設定される。最適注目輝度Ｍｍには、予め設定された狭ダイナミックレンジの中間輝度が設定される。それ以降の処理は、図２４および図２５を用いて上述した、画像処理システムの画像処理部１１が最適露出情報を設定する際の第２の動作例と同様である。
【０１３１】
変換された狭ダイナミックレンジ画像信号は、メモリ１４８に格納される。
【０１３２】
なお、ディジタルカメラ１４０のDSP１４６においても、図２６に示した画像処理システムの画像処理部１１の第２の構成例と同様に、カラーの広ダイナミックレンジ画像を、色バランスを損なうことなく、カラーの狭ダイナミックレンジ画像に変換する処理を実行するようにしてもよい。
【０１３３】
次に、ディジタルカメラ１４０の第２の動作例について、図３３のフローチャートを参照して説明する。ステップＳ１２１において、撮像する画像の構図がユーザによって選択される。選択された画像の構図（ガイド１７２に相当する）が第１の最適露出情報として設定される。
【０１３４】
当該第１の最適露出情報を設定する処理については、図３０乃至図３２を参照して上述した第１の動作例の最適露出情報を設定する処理と同様である。
【０１３５】
ステップＳ１２２において、ユーザが操作部１５８に設けられたシャッタを操作した場合、それに対応して、広ダイナミックレンジ画像信号が取得され、DSP１４６が内蔵する画像用RAMに格納される。
【０１３６】
ステップＳ１２３において、ユーザの操作に対応し、第２の最適露出情報として露出比率ｒが設定される。第２の最適露出情報として露出比率ｒを設定する処理について、図３４および図３５を参照して説明する。
【０１３７】
図３４は、ステップＳ１２３における表示部１５１の画像表示エリア１７１の表示例を示している。いまの場合、画像表示エリア１７１には、ステップＳ１２２で取得された広ダイナミックレンジ画像が表示され、それに重畳してステップＳ１２１で設定されたガイド１７２や補助線（破線）が表示される。ただし、画像表示エリア１７１のガイド１７２の内部領域には、操作部１５８に設けられた輝度補正パネル１９１（図３５）に対するユーザの操作に対応して変更される露出比率ｒを用いて簡易生成された狭ダイナミックレンジ画像が表示される。
【０１３８】
図３５は、操作部１５８に設けられた輝度補正パネル１９１を示している。明補正(BRIGHTER)ボタン１９２は、ガイド１７２の内部領域に表示される狭ダイナミックレンジ画像の輝度を、現状よりも１段階だけ明るくする（輝度を上げる）とき押下される。暗補正(DARKER)ボタン１９３は、ガイド１７２の内部領域に表示される狭ダイナミックレンジ画像の輝度を、現状よりも１段階だけ暗くする（輝度を下げる）とき押下される。ＯＫボタン１９４は、現状の輝度を確定するとき押下される。
【０１３９】
例えば、明補正ボタン１９２が押下された場合、狭ダイナミックレンジ画像の簡易生成に用いられる露出比率ｒが所定の値だけ増加される。よって、ガイド１７２の内部領域の狭ダイナミックレンジ画像の輝度が増して表示される。反対に、暗補正ボタン１９３が押下された場合、狭ダイナミックレンジ画像の簡易生成に用いられる露出比率ｒが所定の値だけ減少される。よって、ガイド１７２の内部領域の狭ダイナミックレンジ画像の輝度が減じて表示される。ＯＫボタン１９４が押下された場合、現状の露出比率ｒが第２の最適露出情報として設定される。
【０１４０】
図３３に戻る。ステップＳ１２４において、ステップＳ１２１で設定された第１の最適露出情報（ガイド１７２の形状を示すインデックス）、およびステップＳ１２３で設定された第２の最適露出情報に基づき、広ダイナミックレンジ画像信号が狭ダイナミックレンジ画像信号に変換される。
【０１４１】
具体的には、注目輝度・最適注目輝度対については、第１の最適露出情報（ガイド１７２の形状を示すインデックス）に基づいてガイド１７２の内部領域の広ダイナミックレンジ画像の輝度が取得され、その輝度のヒストグラムが生成されて、最も高い頻度を示す輝度が注目輝度Ｍに設定される。
【０１４２】
最適注目輝度Ｍｍとしては、広ダイナミックレンジ画像の輝度に第２の最適露出情報としての露出比率ｒが乗算されて狭ダイナミックレンジ画像が簡易生成され、そのうちのガイド１７２の内部領域の輝度が抽出されて、ヒストグラムが生成され、最も高い頻度を示す輝度が最適注目輝度Ｍｍに設定される。それ以降の処理は、図２４および図２５を用いて上述した、画像処理システムの画像処理部１１が最適露出情報を設定する際の第２の動作例と同様である。
【０１４３】
変換された狭ダイナミックレンジ画像信号は、メモリ１４８に格納される。
【０１４４】
以上説明したように、ディジタルカメラ１４０の第２の動作例によれば、操作部１５８に対する簡易な操作により、ユーザが注目したい領域をガイド１７２で指定することができ、さらに、ガイド１７２の内部領域に対して所望する輝度を指定することができるので、得られる狭ダイナミックレンジ画像の階調がユーザが所望する結果により近いものとなる。
【０１４５】
なお、ディジタルカメラ１４０のDSP１４６に、上述した画像処理システムの画像処理部１１と同様の処理を実行させるようにしてもよい。反対に、画像処理システムの画像処理部１１に、ディジタルカメラ１４０のDSP１４６と同様の処理を実行させるようにしてもよい。
【０１４６】
ところで、本発明は、画像のダイナミックレンジを変更せずに輝度を変更させる場合に適用することも可能である。
【０１４７】
また、本発明は、本実施の形態のような画像変換システムやディジタルカメラのみならず、例えば、スキャナ、ファクシミリ、コピー機など、画像信号を処理する電子機器に適用することが可能である。
【０１４８】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１５０】
【発明の効果】
以上のように、本発明によれば、広ダイナミックレンジ画像を狭ダイナミックレンジ画像に変換する際、画像中の任意の位置の輝度を最適化することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態である画像処理システムの構成例を示すブロック図である。
【図２】図１の撮像装置１の構成例を示すブロック図である。
【図３】図２のCCDイメージセンサ２３の構成例を示すブロック図である。
【図４】 CCDイメージセンサ２３の感度特性を説明するための図である。
【図５】前置増幅器２４の処理を説明するための図である。
【図６】図１の画像処理装置２を実現するパーソナルコンピュータの構成例を示すブロック図である。
【図７】画像処理システムの動作を説明するフローチャートである。
【図８】画像処理装置２の最適露出情報設定処理を説明するフローチャートである。
【図９】画像処理装置２が狭ダイナミックレンジ画像を簡易生成する処理を説明するフローチャートである。
【図１０】最適露出情報を設定する第１の動作例を説明するための表示部１３の表示例を示す図である。
【図１１】最適露出情報を設定する第１の動作例におけるGUIの表示例を示す図である。
【図１２】画像処理部１１の第１の構成例を示すブロック図である。
【図１３】図１２の輝度対検出部８１の処理を説明するフローチャートである。
【図１４】輝度対検出部８１の処理を説明するための図である。
【図１５】図１２のマッピング関数生成部８２の構成例を示すブロック図である。
【図１６】マッピング関数生成部８２の処理を説明するフローチャートである。
【図１７】図１５の最大・最小輝度取得部９１の処理を説明するための図である。
【図１８】マッピング関数生成部８２の処理を説明するための図である。
【図１９】マッピング関数生成部８２の処理を説明するための図である。
【図２０】マッピング関数生成部８２の処理を説明するための図である。
【図２１】マッピング関数生成部８２の処理を説明するための図である。
【図２２】図１６のステップＳ５０の処理の詳細を説明するフローチャートである。
【図２３】図１２のマッピング部８３の処理を説明するフローチャートである。
【図２４】最適露出情報を設定する第２の動作例を説明するための表示部１３の表示例を示す図である。
【図２５】最適露出情報を設定する第２の動作例におけるGUIの表示例を示す図である。
【図２６】画像処理部１１の第２の構成例を示すブロック図である。
【図２７】画像処理部１１の第２の構成例の処理を説明するフローチャートである。
【図２８】本発明の一実施の形態であるディジタルカメラ１４０の構成例を示すブロック図である。
【図２９】ディジタルカメラ１４０の第１の動作例を説明するフローチャートである。
【図３０】ディジタルカメラ１４０の第１の動作例において最適露出情報を設定する処理を説明するための表示部１５１の表示例を示す図である。
【図３１】表示部１５１に表示されるガイド１７２の形状の種類を示す図である。
【図３２】ディジタルカメラ１４０の操作部１５８に設けられるガイド選択パネル１８１を示す図である。
【図３３】ディジタルカメラ１４０の第２の動作例を説明するフローチャートである。
【図３４】ディジタルカメラ１４０の第１の動作例において最適露出情報を設定する処理を説明するための表示部１５１の表示例を示す図である。
【図３５】ディジタルカメラ１４０の操作部１５８に設けられる輝度補正パネル１９１を示す図である。
【符号の説明】
１ 撮像装置， ２ 画像処理装置， １１ 画像処理部， １２ 操作入力部， １３ 表示部， ４１ CPU， ５２ 磁気ディスク， ５３ 光ディスク， ５４ 光磁気ディスク， ５５ 半導体メモリ， ７１画像選択ボタンパネル， ８１ 輝度対検出部， ８２ マッピング関数生成部， ８３ マッピング部， ９１ 最大・最小輝度取得部， ９２ 高域関数決定部， ９３ 低域関数決定部， ９４ 関数合成部， １１１ 範囲指定パネル， １２１ 輝度信号生成部， １２２ 輝度対検出部， １２３ 色補正関数生成部， １２４ マッピング部， １２５ マッピング関数生成部， １２６ マッピング部， １２７，１２８ べき乗演算部， １２９ スケーリング部， １４０ ディジタルカメラ， １４６ DSP， １５２ 制御部， １５４ 磁気ディスク， １５５ 光ディスク， １５６ 光磁気ディスク， １５７ 半導体メモリ， １５８ 操作部， １７２ ガイド， １８１ ガイド選択パネル， １９１ 輝度補正パネル
Claims (6)
- 輝度値に関して、第１のダイナミックレンジを有する第１の画像信号を、第２のダイナミックレンジを有する第２の画像信号に変換する画像処理装置において、
前記第２のダイナミックレンジにおける第２の輝度値を設定する設定手段と、
前記第２の輝度値に対応する前記第１のダイナミックレンジにおける第１の輝度値を演算する演算手段と、
前記第１の輝度値および前記第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成手段と、
生成された前記マッピング関数を用いて前記第１の画像信号を前記第２の画像信号に変換する変換手段と
を含み、
前記マッピング関数生成手段は、
前記第１の輝度対に対応する点、
前記第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と前記第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、
および前記第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と前記第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点
の３点の近傍を通過する滑らかな単調増加関数を前記マッピング関数として生成する
画像処理装置。 - 前記マッピング関数生成手段は、
前記第１の輝度対に対応する点と前記第２の輝度対に対応する点を通過する単調増加関数第１の関数としてを生成する第１の関数生成手段と、
前記第１の輝度対に対応する点と前記第３の輝度対に対応する点を通過する単調増加関数を第２の関数として生成する第２の関数生成手段と、
前記第１の輝度対が示す点の近傍において、前記第１の関数上の点および前記第２の関数上の点を通る単調増加関数である第３の関数を前記マッピング関数として生成する第３の関数生成手段と
を含む
請求項１に記載の画像処理装置。 - 前記第３の関数生成手段は、
前記第１の関数が示す所定の１点、
前記第１の輝度対が示す１点、
および前記第２の関数が示す所定の１点
の３点によって定義される２次曲線関数を、前記第３の関数として生成する
請求項２に記載の画像処理装置。 - 前記マッピング関数に基づいて、前記第２の画像信号を構成する３原色信号の色バランスを補正するための補正情報を算出する算出手段と、
前記補正情報を用いて、前記第２の画像信号を構成する前記３原色信号を補正する補正手段と
をさらに含み、
前記算出手段は、前記マッピング関数のガンマ特性を取得し、補正後の前記３原色信号と前記マッピング関数適用後輝度値の比率がそのガンマ特性によって算出される比率になるように、前記３原色信号への補正係数を決定する
請求項１に記載の画像処理装置。 - 輝度値に関して、第１のダイナミックレンジを有する第１の画像信号を、第２のダイナミックレンジを有する第２の画像信号に変換する画像処理装置の画像処理方法において、
前記第２のダイナミックレンジにおける第２の輝度値を設定する設定ステップと、
前記第２の輝度値に対応する前記第１のダイナミックレンジにおける第１の輝度値を演算する演算ステップと、
前記第１の輝度値および前記第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、
生成された前記マッピング関数を用いて前記第１の画像信号を前記第２の画像信号に変換する変換ステップと
を含み、
前記マッピング関数生成ステップは、
前記第１の輝度対に対応する点、
前記第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と前記第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、
および前記第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と前記第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点
の３点の近傍を通過する滑らかな単調増加関数を前記マッピング関数として生成する
画像処理方法。 - 輝度値に関して、第１のダイナミックレンジを有する第１の画像信号を、第２のダイナミックレンジを有する第２の画像信号に変換する画像処理用のプログラムであって、
前記第２のダイナミックレンジにおける第２の輝度値を設定する設定ステップと、
前記第２の輝度値に対応する前記第１のダイナミックレンジにおける第１の輝度値を演算する演算ステップと、
前記第１の輝度値および前記第２の輝度値からなる第１の輝度対に基づいて、マッピング関数を生成するマッピング関数生成ステップと、
生成された前記マッピング関数を用いて前記第１の画像信号を前記第２の画像信号に変換する変換ステップと
を含み、
前記マッピング関数生成ステップは、
前記第１の輝度対に対応する点、
前記第１のダイナミックレンジにおける最小輝度値付近の第３の輝度値と前記第２のダイナミックレンジにおける最小輝度値付近の第４の輝度値からなる第２の輝度対に対応する点、
および前記第１のダイナミックレンジにおける最大輝度値付近の第５の輝度値と前記第２のダイナミックレンジにおける最大輝度値付近の第６の輝度値からなる第３の輝度対に対応する点
の３点の近傍を通過する滑らかな単調増加関数を前記マッピング関数として生成する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000328161A JP4556319B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000328161A JP4556319B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002132243A JP2002132243A (ja) | 2002-05-09 |
| JP4556319B2 true JP4556319B2 (ja) | 2010-10-06 |
Family
ID=18805057
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000328161A Expired - Fee Related JP4556319B2 (ja) | 2000-10-27 | 2000-10-27 | 画像処理装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4556319B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4835593B2 (ja) * | 2005-03-15 | 2011-12-14 | オムロン株式会社 | 画像処理装置および画像処理方法、プログラム、並びに、記録媒体 |
| US20090051794A1 (en) * | 2005-03-15 | 2009-02-26 | Omron Corporation | Image processing apparatus, image processing method, image processing system, program and recording medium |
| US9087382B2 (en) * | 2009-06-29 | 2015-07-21 | Thomson Licensing | Zone-based tone mapping |
| PL4053786T3 (pl) | 2010-11-23 | 2024-04-08 | Dolby Laboratories Licensing Corporation | Wyświetlanie obrazów o wysokim zakresie dynamiki na wyświetlaczu z lokalnym przyciemnianiem z wykorzystaniem metadanych odwzorowania z ograniczeniem głębi bitowej |
| JP6421504B2 (ja) * | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| US10242435B2 (en) * | 2016-09-07 | 2019-03-26 | Gvbb Holdings S.A.R.L. | High dynamic range processing |
| JP2018091999A (ja) * | 2016-12-02 | 2018-06-14 | キヤノン株式会社 | 画像処理装置、表示装置及び画像処理方法 |
| US11676547B2 (en) | 2017-07-07 | 2023-06-13 | Semiconductor Energy Laboratory Co., Ltd. | Display system and operation method of the display system |
| WO2020219401A1 (en) * | 2019-04-25 | 2020-10-29 | Dolby Laboratories Licensing Corporation | Content-aware pq range analyzer and tone mapping in live feeds |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2779080B2 (ja) * | 1991-09-20 | 1998-07-23 | 大日本印刷株式会社 | 階調補正装置 |
-
2000
- 2000-10-27 JP JP2000328161A patent/JP4556319B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002132243A (ja) | 2002-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6825884B1 (en) | Imaging processing apparatus for generating a wide dynamic range image | |
| JP4427001B2 (ja) | 画像処理装置、画像処理プログラム | |
| JP4163353B2 (ja) | 画像処理装置 | |
| JP4293174B2 (ja) | 撮像装置および画像処理装置 | |
| JP5509750B2 (ja) | 画像処理装置、及びプログラム | |
| US8031968B2 (en) | Image processing apparatus and image processing program | |
| US8654221B2 (en) | Image processing device and method, and program | |
| JP4192418B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| US6812969B2 (en) | Digital camera | |
| JP4720537B2 (ja) | 撮像装置 | |
| KR20080035981A (ko) | 화상처리장치, 촬상장치, 화상처리방법 및 컴퓨터 프로그램 | |
| JP4556319B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP7297406B2 (ja) | 制御装置、撮像装置、制御方法およびプログラム | |
| JP2011228807A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
| JP6108680B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
| US6525763B1 (en) | Film image reading device and method with focus adjustment | |
| JP2007180718A (ja) | 撮像装置、撮像システムおよび撮像方法 | |
| JP5284183B2 (ja) | 画像処理装置およびその方法 | |
| JP2003230022A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4299753B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| KR101605769B1 (ko) | 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치 | |
| JP7257768B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
| JP2010034848A (ja) | 画像処理プログラム、画像処理装置、および画像処理方法 | |
| JP2003325443A (ja) | 電子内視鏡装置 | |
| EP4270974A1 (en) | Imaging device, method for controlling imaging device, program and computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |