JP4161719B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4161719B2 JP4161719B2 JP2003003135A JP2003003135A JP4161719B2 JP 4161719 B2 JP4161719 B2 JP 4161719B2 JP 2003003135 A JP2003003135 A JP 2003003135A JP 2003003135 A JP2003003135 A JP 2003003135A JP 4161719 B2 JP4161719 B2 JP 4161719B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- conversion
- unit
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 78
- 238000000034 method Methods 0.000 title claims description 75
- 238000006243 chemical reaction Methods 0.000 claims description 141
- 238000012937 correction Methods 0.000 claims description 140
- 230000008569 process Effects 0.000 claims description 43
- 230000006870 function Effects 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 34
- 238000003672 processing method Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 417
- 230000015654 memory Effects 0.000 description 94
- 238000007906 compression Methods 0.000 description 55
- 230000006835 compression Effects 0.000 description 53
- 230000000875 corresponding effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 26
- 239000002131 composite material Substances 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 208000019300 CLIPPERS Diseases 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000012788 optical film Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画素値のダイナミックレンジが通常よりも広い広ダイナミックレンジ画像を、画素値のダイナミックレンジがより狭い狭ダイナミックレンジ画像に変換する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、ＦＡ(Factory Automation)における部品検査装置、ME(Medical Electronics)における電子内視鏡などの光計測装置等に幅広く利用されている。
【０００３】
近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広ＤＲ画像と記述する）を得るための技術が多数提案されている（例えば、特許文献１参照）。
【０００４】
一方、動画像や静止画像を表示するCRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広ＤＲ画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。
【０００５】
そこで、当面においては、広ＤＲ画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭ＤＲ画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。
【０００６】
ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広ＤＲ画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。
【０００７】
しかしながら、上述したように、単に、広ＤＲ画像の画素値の階調を、狭いダイナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなってしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている３種類の階調圧縮技術について説明する。
【０００８】
第１の階調圧縮技術としては、入力する広ＤＲ画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第１の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるべく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しようとするものである（例えば、特許文献２参照）。
【０００９】
しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足のいく結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。
【００１０】
第２の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第２の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである（例えば、特許文献３参照）。
【００１１】
第２の階調圧縮技術は、第１の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、必ずしも良い画像が得られるとはいえない。
【００１２】
第３の階調変換技術としては、広ＤＲ画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを１つの画像に加算合成する技術を挙げることができる（例えば、特許文献４参照）。
【００１３】
第３の階調変換技術によれば、広ＤＲ画像の高周波成分はそのままであるので、階調変換によるコントラスト低下を防ぐことができる。しかしながら、第３の階調変換技術も、第２の階調変換技術と同様に、被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ（例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている（例えば、特許文献４参照）。
【００１４】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平９−３３１４６９号公報
【特許文献３】
特開２０００−１１５５３４号公報
【特許文献４】
特開平９−２１４７６６号公報
【００１５】
【発明が解決しようとする課題】
以上に説明した第１乃至第３の階調圧縮技術をまとめると、近傍の画素を利用する比較的局所的な処理で階調圧縮を行うもの（第１および第２の階調圧縮技術）と、画像全体または比較的大きな領域を使って階調圧縮を行うもの（第３の階調圧縮技術）に分けられる。前者によれば、ごく高周波成分のみが強調されたような不自然な画像となり、効果的な階調圧縮結果が得られるとは言い難い。また、後者によれば、高周波成分の強調にあわせて比較的低周波の成分も調整することが可能な分だけ、前者よりもより自然な画像が得られ、階調圧縮の効果は高いということができる。
【００１６】
しかしながら、後者によれば、その処理に、主にディレイラインまたはフレームメモリとして大量のメモリが必要となるので、ハードウェア化に適していないという問題があった。例えば、第３の階調圧縮技術は、輝度を複数の周波数成分に分離するときに空間フィルタが必要であるが、画像に対して比較的大きな空間フィルタを適用しなければ、人為的でない効果的な階調圧縮を施すことができないので、大きな空間フィルタを実装するために大量のディレイラインを回路に盛り込む必要がある。
【００１７】
ところで、例えば、ディジタルビデオカメラやディジタルスチルカメラのような撮影装置の出力部に、広ＤＲ画像に階調圧縮処理を施す機能を組み込むことを考慮した場合、例えば、ディジタルビデオカメラでは、所定のフレームレートを保証して映像信号を出力しなければならないので、高速な信号処理が必要となり、階調圧縮処理の機能をハードウェア化することの要請は高い。また、例えば、静止画を撮影するディジタルスチルカメラであっても、構図を決定するためにファインダにモニタ画像を所定のフレームレートで出力する必要があるので、階調圧縮処理が高速であることが望まれる。
【００１８】
以上のように、使用するメモリの容量がより小さく、演算も軽量でハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術が必要とされているが、従来そのような階調圧縮技術は提案されていない課題があった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することを目的とする。
【００２０】
【課題を解決するための手段】
本発明の画像処理装置は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換手段と、変換手段によって生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成手段と、縮小画像生成手段によって生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持手段と、保持手段によって保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換手段によって生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正手段とを含む。
【００２１】
前記保持手段は、１フレーム前の画像に対応する縮小画像、および１フレーム前の画像に適用された変換関数の傾きを保持するようにすることができる。
【００２３】
前記１種類以上の変換関数のうち、少なくとも１種類の変換関数は、単調増加関数であるようにすることができる。
【００２４】
本発明の画像処理装置は、変換手段によって生成されたトーン変換画像の画素値の平均値を算出する平均値算出手段をさらに含むことができ、前記１種類以上の変換関数のうち、少なくとも１種類の変換関数の傾きは、平均値算出手段によって算出された平均値の逆数に比例するようにすることができる。
【００２５】
前記平均値算出手段は、トーン変換画像を複数のブロックに分割し、各ブロックの画素値の平均を算出して重み付け加算した値を、平均値として算出するようにすることができる。
【００２６】
前記縮小画像生成手段は、変換手段によって生成されたトーン変換画像を縮小して第１の縮小画像を生成し、第１の縮小画像の画素値の平均値の逆数に比例する値を第１の縮小画像の各画素値に乗算して、第２の縮小画像を生成し、生成した第２の縮小画像を縮小画像とするようにすることができる。
【００２７】
本発明の画像処理装置は、変換手段に供給される現フレームの画像の画素値を対数変換する対数変換手段と、補正手段によって生成されたコントラスト補正画像の画素値を対数逆変換する対数逆変換手段をさらに含むことができる。
【００２８】
本発明の画像処理装置は、補正手段によって生成されたコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。
【００２９】
前記輝度域情報算出手段は、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の上限値および下限値を、輝度域情報として算出するようにし、前記正規化手段は、輝度域情報算出手段によって算出されたコントラスト補正画像の輝度成分の上限値および下限値が、それぞれ、想定される再現デバイスが再現可能な輝度成分の範囲の上限値および下限値に一致するように、コントラスト補正画像の画素値を変換するようにすることができる。
【００３０】
前記保持手段は、輝度域情報算出手段によって算出された１フレーム前の輝度域情報も保持するようにすることができる。
【００３１】
前記画像は、輝度成分を有する画素から構成されたモノクロ画像とすることができる。
【００３２】
前記画像は、複数の色成分を有する画素から構成されたカラー画像とすることができる。
【００３３】
前記変換手段は、カラー画像を元にして、輝度成分を有する画素から構成された第１の輝度画像を生成し、第１の輝度画像をトーン変換輝度画像に変換し、トーン変換輝度画像に基づいて、複数の色成分を有する画素から構成されたカラーのトーン変換画像を生成するようにすることができる。
【００３４】
前記変換手段は、カラー画像の各色成分の値と第１の輝度画像の輝度成分の値の差分値を算出し、差分値と変換関数の傾きとの積を算出し、積をトーン変換輝度画像の各色成分の値に加算して、トーン変換画像の各色成分を算出するようにすることができる。
【００３５】
前記変換手段は、第１の輝度画像の輝度成分の平均値を算出し、平均値の逆数に比例する係数を算出し、係数をカラー画像の各色成分の値に乗算して、トーン変換画像の各色成分を算出するようにすることができる。
【００３６】
前記補正手段は、変換手段によって生成されたカラーのトーン変換画像を元にして、輝度成分を有する画素から構成された第２の輝度画像を生成し、第２の輝度画像、保持手段によって保持された縮小画像、および変換関数の傾きに基づき、変換手段によって生成されたカラーのトーン変換画像のコントラストを補正して、カラーのコントラスト補正画像を生成するようにすることができる。
【００３７】
本発明の画像処理装置は、補正手段によって生成されたカラーのコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像を元にして、輝度成分を有する画素から構成された第３の輝度画像を生成し、第３の輝度画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。
【００３８】
本発明の画像処理方法は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持ステップと、保持ステップの処理で保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む。
【００３９】
本発明の記録媒体は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持ステップと、保持ステップの処理で保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００４０】
本発明のプログラムは、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持ステップと、保持ステップの処理で保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む処理をコンピュータに実行させる。
【００４１】
【発明の実施の形態】
以下、本発明の一実施の形態であるディジタルビデオカメラについて、図面を参照して説明する。
【００４２】
図１は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。このディジタルビデオカメラ１は、被写体を撮影して、画素値のダイナミックレンジが通常よりも広い広ＤＲ画像を生成し、所定の記憶媒体に記録するとともに、構図決定のファインダや映像モニタを兼ねる内蔵されたディスプレイ、あるいは外部機器に対しては、広ＤＲ画像を、画素値のダイナミックレンジがより狭い狭ＤＲ画像に変換して出力するものである。
【００４３】
ディジタルビデオカメラ１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００４４】
光学系は、被写体の光画像を集光するレンズ２、光画像の光量を調整する絞り３、および集光された光画像を所定のフレームレートで光電変換して広ＤＲ画像を生成するCCDイメージセンサ４から構成される。なお、以下においては、CCDイメージセンサ４が生成する広ＤＲ画像に関しては、１チャンネルの輝度信号からなるモノクロ画像である場合と、多チャンネル（例えば、３チャンネル）の輝度信号からなるカラー画像である場合の２通りについて説明する。
【００４５】
信号処理系は、CCDイメージセンサ４から出力された広ＤＲ画像をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（CDS）５、相関２重サンプリング回路５によってノイズが除去された広ＤＲ画像を、例えば１４乃至１６ビット程度のビット幅を有する値にＡＤ変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６が出力する広ＤＲ画像に対して階調圧縮処理を施すDSP(Digital Signal Processor)７から構成される。
【００４６】
Ａ／Ｄコンバータ６が出力する１４乃至１６ビットのビット幅を有する広ＤＲ画像のように、階調が多い画像信号は、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現しきれないが、DSP７による階調圧縮処理により、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現できる範囲に階調を圧縮されるようになされている。DSP７については、図２以降を参照して詳述する。
【００４７】
ディジタルビデオカメラ１の記録系は、DSP７から入力される広ＤＲ画像または狭ＤＲ画像をエンコードしてメモリ１３に記録したり、メモリ１３に記憶されている符号データを読み出してデコードし、DSP７に供給したりするCODEC(Compression/Decompression)１２、および、エンコードされた広ＤＲ画像または狭ＤＲ画像を記憶する、磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１３から構成される。
【００４８】
表示系は、DSP７から供給される狭ＤＲ画像をＤＡ変換するＤ／Ａコンバータ９、Ｄ／Ａコンバータ９が出力するアナログの狭ＤＲ画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してディスプレイ１１に出力するビデオエンコーダ１０、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１１から構成される。
【００４９】
制御系は、CCDイメージセンサ４乃至DSP７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）８、ユーザからの各種の操作を受け付けるインプットデバイス１５、およびディジタルビデオカメラ１の全体を制御するCPU(Central Processing Unit)１４から構成される。
【００５０】
次に、ディジタルビデオカメラ１の動作の概要について説明する。被写体の光学画像（入射光）は、レンズ２および絞り３を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換され、得られた広ＤＲ画像の画素となる電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、DSP７に供給される。
【００５１】
DSP７は、Ａ／Ｄコンバータ６から入力された広ＤＲ画像に対して階調圧縮処理を施し、狭ＤＲ画像を生成して、Ｄ／Ａコンバータ９またはCODEC１２、あるいは両方に出力する。Ｄ／Ａコンバータ９に供給された狭ＤＲ画像は、ＤＡ変換され、ビデエンコーダ１０により通常のビデオ信号に変換されて、その画像がディスプレイ１１に表示される。一方、CODEC１２に供給された狭ＤＲ画像は、符号化されてメモリ１３に記録される。以上で、ディジタルビデオカメラ１の動作概要の説明を終了する。
【００５２】
次に、本発明の主眼となるDSP７について説明する。
【００５３】
図２は、モノクロ画像である広ＤＲ画像に対応したDSP７の第１の構成例を示している。以下、DSP７に入力されるモノクロの広ＤＲ画像を、広ＤＲ輝度画像Ｌと記述する。また、広ＤＲ輝度画像の画素値（すなわち、輝度値）を、Ｌ（ｐ）と記述する。ここで、ｐは、ｐ＝（ｘ，ｙ）のように、画像における画素位置を示すベクトルまたは座標である。したがって、Ｌ（ｐ）は、画素位置と輝度値の両方の情報を含むものとして、広ＤＲ輝度画像を表すＬとは区別して用いることとする。後述するその他の画像とその画素値についても同様である。
【００５４】
DSP７には、広ＤＲ輝度画像Ｌの輝度Ｌ（ｐ）がラスタ順に入力されるものとする。
【００５５】
DSP７の第１の構成例において、対数変換部２１は、入力される輝度Ｌ（ｐ）を対数変換し、得られる対数輝度logＬ（p）をトーンカーブ補正部２２に出力する。トーンカーブ補正部２２は、入力される対数輝度logＬ（ｐ）に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数輝度logＬc（ｐ）を縮小画像生成部２３およびコントラスト補正部２５に出力する。また、トーンカーブ補正部２２は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部２５に出力する。以下、適用したトーンカーブの傾きを示す代表値γを、単に代表値γとも記述する。
【００５６】
縮小画像生成部２３は、トーンカーブ補正部２２から入力される１フレーム分の対数輝度logＬc（ｐ）に基づき、縮小画像logＬclを生成して、縮小画像メモリ２４に保持させる。
【００５７】
コントラスト補正部２５は、トーンカーブ補正部２２から入力される現フレームの対数輝度logＬc（ｐ）のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ２４に保持されている１フレーム前の縮小画像logＬclに基づいて補正し、得られる対数輝度logＬu（p）を対数逆変換部２６に出力する。対数逆変換部２６は、コントラストが補正された対数輝度logＬu（ｐ）を、対数逆変換して、得られる通常軸の輝度Ｌu（ｐ）をガンマ補正部２７に出力する。
【００５８】
ガンマ補正部２７は、対数逆変換部２６から入力される輝度Ｌu（ｐ）に対して、再生デバイス（例えば、ディスプレイ１１）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の輝度Ｙ（ｐ）を輝度情報算出部２８および輝度域正規化部３０に出力する。輝度情報算出部２８は、ガンマ補正部２７から入力される１フレーム分の輝度Ｙ（ｐ）に対して、それぞれ、輝度の分布を示す輝度域情報を算出して輝度域情報メモリ２９に保持させる。ここで、輝度域情報とは、１フレームにおける輝度の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙdと、最も明るい方に近い輝度Ｙbを輝度域情報［Ｙd，Ｙb］として算出するようにする。
【００５９】
輝度域正規化部３０は、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２７から入力される現フレームの輝度Ｙ（ｐ）を、その分布範囲が再生デバイス（例えば、ディスプレイ１１）が表現可能な範囲に合致するように変換し、得られる輝度Ｙn（ｐ）を、狭ＤＲ画像の画素値として後段に出力する。
【００６０】
以上説明したように、DSP７の第１の構成例による階調圧縮処理の過程において、縮小画像生成部２３により縮小画像logＬclが生成され、輝度域情報算出部２８により輝度域情報［Ｙd，Ｙb］が算出される。この縮小画像logＬclおよび輝度域情報［Ｙd，Ｙb］を以下、中間情報と記述する。
【００６１】
DSP７によれば、入力される広ＤＲ輝度画像の各フレーム対して中間情報が算出され、算出された中間情報が、１フレーム後の広ＤＲ輝度画像を処理するために用いられる。
【００６２】
一般に、階調圧縮を効果的に施すためには、画像全体または画像上で広域な範囲の輝度値に基づいて算出された情報が必要であるが、当該情報を算出するまでのタイムラグが大きくなることが実装上の問題となる。そこで、DSP７では、当該情報として、時間的に非常に変化し難いものを選ぶことによって、１フレーム前の中間情報を現フレームに対する階調圧縮に利用する。このような構成をとることにより、実装してもメモリ使用量や回路規模が大きくなることを回避することができる。
【００６３】
次に、DSP７の第１の構成例の各部の詳細について、図面を参照して説明する。
【００６４】
図３は、トーンカーブ補正部２２の第１の構成例を示している。当該第１の構成例において、LUTメモリ４１には、図４に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、LUTと記述する）とトーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部４２は、LUTメモリ４１に保持されているLUTに基づいて対数輝度logＬ（ｐ）を対数輝度logＬc（ｐ）に補正する。
【００６５】
図４は、トーンカーブの一例を示しており、横軸が入力輝度Ｌ（ｐ）を、縦軸がトーンカーブ補正後の輝度Ｌc（ｐ）を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、後述するコントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な狭ＤＲ画像が得られる。
【００６６】
なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。図４に示されたトーンカーブの場合、代表値γ＝０．６７である。
【００６７】
図５は、トーンカーブ補正部２２の第２の構成例を示している。当該第２の構成例は、第１の構成例のように予め用意されているLUTを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度logＬ（ｐ）を、対数輝度logＬc（ｐ）に補正するものである。第２の構成例において、平均輝度算出部５１は、１フレーム分の対数輝度logＬ（ｐ）の平均値μを算出する。除算器５２は、所定の定数logＬTを平均値μで除算し、代表値γを算出する。γメモリ５３は、除算器５２から入力された代表値γを保持する。乗算器５４は、現フレームの対数輝度logＬ（ｐ）に、γメモリ５３に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。
【００６８】
ここで、所定の定数logＬTを、中庸レベルの対数輝度と定めておけば、１フレーム分の対数輝度logＬ（ｐ）の平均値が、logＬTと等しい値のトーンカーブ補正後の対数輝度logＬc（ｐ）に変換されることになる。
【００６９】
代表値γはフレーム毎に算出されるが、現実的には各フレームの対数輝度logＬ（ｐ）の平均値μに基づいて決定されるので、前後のフレームではあまり変化がないことが期待できる。したがって、この代表値γも、上述した縮小画像logＬclおよび輝度域情報［Ｙd，Ｙb］と同様に、１フレーム前のものを、現フレームに対するトーンカーブ補正に用いるようにしている。以下、代表値γも、中間情報に含めることにする。
【００７０】
図６は、トーンカーブ補正部２２の第３の構成例を示している。当該第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、LUTメモリ６１には、図４に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部６２は、LUTメモリ６１に保持されているLUTに基づいて対数輝度logＬ（ｐ）を、対数輝度logＬc'（ｐ）に補正して平均輝度算出部６３および乗算器６６に出力する。
【００７１】
平均輝度算出部６３は、１フレーム分の対数輝度logＬc'（ｐ）の平均値μを算出して、除算器６４に出力する。除算器６４は、所定の定数logＬTを平均値μで除算し、代表値γ2を算出し、γ2メモリ６５に保持させる。乗算器６６は、現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ６５に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。乗算器６７は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）として後段のコントラスト補正部２５に出力する。
【００７２】
次に、図７は、縮小画像生成部２３の構成例を示している。縮小画像生成部２３のソート部７１は、前段のトーンカーブ補正部２２から入力された１フレーム分の対数輝度logＬc（ｐ）を、画像全体をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部７２−１乃至７２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部７２−１に供給され、２番目のブロックに分類されるものは平均値計算部７２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部７２−Ｎに供給される。以下、平均値計算部７２−１乃至７２−Ｎを個々に区別する必要がない場合、単に平均値計算部７２と記述する。
【００７３】
平均値計算部７２−ｉ（ｉ＝１，２，…，Ｎ）は、１フレーム分の対数輝度logＬc（ｐ）のうち、ｉ番目のブロックに分類される対数輝度logＬc（ｐ）の平均値を算出して、合成部７３に出力する。合成部７３は、平均値計算部７２−ｉからそれぞれ入力される対数輝度logＬc（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像logＬclを生成し、後段の縮小画像メモリ２４に保持させる。
【００７４】
図８は、平均値計算部７２の構成例を示している。平均値計算部７２の加算器８１は、前段のソート部７１から入力される対数輝度logＬc（ｐ）に、レジスタ（ｒ）８２が保持する値を加算して、レジスタ（ｒ）８２が保持する値を更新する。除算器８３は、レジスタ８２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の対数輝度logＬc（ｐ）の平均値を算出する。
【００７５】
次に、図９は、コントラスト補正部２５の構成例を示している。コントラスト補正部２５の補間位置指定部９１は、前段のトーンカーブ補正部２２から入力された対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部９２に出力する。補間部９２は、縮小画像メモリ２４に保持されている１フレーム前の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出してコントラスト強調部９４に出力する。
【００７６】
ゲイン値設定部９３は、トーンカーブ補正部２２からの前フレームに対する代表値γと、現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。コントラスト強調部９４は、現在フレームの対数輝度logＬc（ｐ）を、ゲイン値ｇ（ｐ）および縮小画像の補間値logＬcl（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度logＬu（ｐ）を算出する。
【００７７】
図１０は、補間部９２の構成例を示している。補間部９２は、１フレーム前の縮小画像logＬclの補間位置ｐの近傍の４×４画素を用いた双３次補間により、補間位置ｐに対応する画素logＬcl（ｐ）を補間するものである。
【００７８】
近傍選択部１０１は、補間位置ｐの入力を受けて、縮小画像メモリ２４に保持されている１フレーム前のｍ×ｎ画素の縮小画像logＬclから、補間位置ｐの近傍の４×４画素の画素値ａ[4][4]を取得して、積和部１０４に出力する。ここでａ[i][j]の表記は、画素値ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部１０１は、取得した画素値ａ[4][4]と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部１０２または垂直係数算出部１０３に出力する。
【００７９】
ここで、補間位置ｐ、近傍の画素値ａ[4][4]、位置ずれ量ｄｘ，ｄｙの関係について、図１１を参照して説明する。
【００８０】
図１１のｍ×ｎのマス目は、ｍ×ｎ画素の縮小画像logＬclを表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像logＬcl上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（画像logＬcの水平画素数／ｍ，画像logＬcの垂直画素数／ｎ）である。
【００８１】
補間位置ｐに対応する縮小画像上の位置ｑから近傍画素を得るには、図１１においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像logＬclの画素を取得すればよい。斜線で示された領域内の４×４の”＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。
【００８２】
図１０に戻る。水平係数算出部１０２は、近傍選択部１０１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋx[4]を計算する。同様に、垂直係数算出部１０３は、近傍選択部１０１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋy[4]を計算する。
【００８３】
例えば、水平方向の３次補間係数ｋx[4]は、次式（１）を用いて計算する。
【数１】
【００８４】
また、例えば、垂直方向の３次補間係数ｋy[4]は、次式（２）を用いて計算する。
【数２】
【００８５】
なお、３次補間係数ｋx[4]，ｋy[4]の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。
【００８６】
積和部１０４は、近傍の画素値ａ[4][4]と、水平方向の補間係数ｋx[4]および垂直方向の補間係数ｋy[4]との積和計算により、縮小画像logＬclの補間位置ｐの補間値Ｌcl（ｐ）を、次式（３）を用いて算出する。
【数３】
【００８７】
次に、ゲイン値設定部９３について説明する。ゲイン値設定部９３は、上述したように、後段のコントラスト強調部９４により低周波数域以外が強調される際の強調量を調節するゲイン値ｇ（ｐ）を設定するものである。ゲイン値ｇ（ｐ）＝１である場合、コントラスト強調部９４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。また、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。
【００８８】
ゲイン値設定の概略を説明する。画像のコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば、強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。
【００８９】
そこで、ゲイン値設定部９３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。
【００９０】
また、入力される対数輝度logＬc（ｐ）が白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力される対数輝度logＬc（ｐ）が白レベルまたは黒レベルに近くなるにしたがって、ゲイン値が１に近づくようする。
【００９１】
すなわち、代表値γの逆数１／γ＝ｇ0として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。
ｇ（ｐ）＝１＋（ｇ0−１）×attn（ｐ）…（４）
ここで、attn（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。
【数４】
【００９２】
なお、式（５）において、logＬgrayは、中庸なグレイレベルの対数輝度を示し、logＬwhiteは、白クリップレベル（最大の白レベル）の対数輝度を示しており、どちらも予め設定されている定数である。
【００９３】
図１２は、ゲイン値設定部９３の構成例を示している。除算器１１１は、前段から入力される代表値γの逆数１／γ＝ｇ0を算出して減算器１１２に出力する。減算器１１２は、（ｇ0−１）を演算して乗算器１１８に出力する。
【００９４】
減算器１１３は、対数輝度logＬc（ｐ）と、中庸なグレイレベルの対数輝度logＬgrayの差（logＬc（ｐ）−logＬgray）を演算して、除算器１１５に出力する。減算器１１４は、白クリップレベルの対数輝度logＬwhiteと、対数輝度logＬgrayの差（logＬwhite−logＬgray）を演算して、除算器１１５に出力する。除算器１１５は、減算器１１３の出力（logＬc（ｐ）−logＬgray）を、減算器１１４の出力（logＬwhite−logＬgray）で除算して、絶対値計算器１１６に出力する。絶対値計算器１１６は、除算器１１５の出力の絶対値を計算してクリップ器１１７に出力する。クリップ器１１７は、絶対値計算器１１６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器１１６の出力が１を超過しない場合、その値をそのまま、attn（ｐ）として乗算器１１８に出力する。
【００９５】
乗算器１１８は、減算器１１２の出力に、クリップ器１１７の出力を乗算して、加算器１１９に出力する。加算器１１９は、乗算器１１８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。
【００９６】
次に、図１３は、コントラスト強調部９４の構成例を示している。減算器１２１は、対数輝度logＬc（ｐ）と、縮小画像の補間値logＬcl（ｐ）との差（logＬc（ｐ）−logＬcl（ｐ））を演算して、乗算器１２２に出力する。乗算器１２２は、減算器１２１の出力とゲイン値ｇ（ｐ）との積を演算して、加算器１２３に出力する。加算器１２３は、乗算器１２２の出力に、縮小画像の補間値logＬcl（ｐ）を加算して、コントラスト補正がなされた対数輝度logＬu（ｐ）を後段に出力する。
【００９７】
なお、縮小画像の補間値logＬcl（ｐ）は、ｍ×ｎ画素の縮小画像を元にして補間された値であるから、縮小前の画像logＬcのごく低周波域成分だけをもつものである。
【００９８】
つまり、減算器１２１の出力（logＬc（ｐ）−logＬcl（ｐ））は、元の対数輝度logＬc（ｐ）からごく低域成分だけを差し引いたものである。このように輝度信号をごく低周波域の成分とそれ以外の成分の２つに分離し、そのうち、低周波域成分以外をゲイン値ｇ（ｐ）を乗算して強調した後、再び加算器１２３により合成したものが、コントラスト補正がなされた対数輝度logＬu（ｐ）である。
【００９９】
このように、コントラスト強調部９４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになっている。したがって、コントラスト補正がなされた対数輝度logＬu（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。
【０１００】
次に、輝度域情報算出部２８および輝度域正規化部３０について説明する。
【０１０１】
まず、輝度域正規化処理の概要を説明する。DSP７による階調圧縮処理の目的は広ＤＲ輝度画像を、ディスプレイ１１などの再生デバイスのダイナミックレンジに適合した狭ＤＲ画像に変換することであり、そのために、再生デバイスのダイナミックレンジにあわせたトーンカーブがトーンカーブ補正部２２に予め用意されている。これにより、撮影された大多数の広ＤＲ輝度画像を、適切に階調圧縮することができる。
【０１０２】
しかしながら、撮影する被写体によっては、入射光のダイナミックレンジが元々それほど大きくないこともあり得るので、その画像に階調圧縮処理を施した場合、必要以上に階調圧縮が行われてしまい、再生デバイスの再生可能なダイナミックレンジよりも狭いレンジに、輝度が押し込められてしまうこともあり得る。
【０１０３】
これを抑止するために、輝度域正規化部３０では、階調圧縮処理の最終段階の処理として、ガンマ補正後の輝度信号Ｙ（ｐ）のダイナミックレンジが、再生デバイスが再生可能なダイナミックレンジに一致するように、ガンマ補正後の輝度信号Ｙ（ｐ）を正規化する。
【０１０４】
図１４は、輝度域正規化部３０による輝度域正規化処理の様子を示している。同図の折れ線グラフは、横軸に輝度域正規化前のガンマ補正された輝度Ｙを示し、縦軸に輝度域正規化後の輝度Ｙnを示しており、階調変換曲線αは、輝度ＹをＹnに変換するときに用いる変換テーブルを示している。
【０１０５】
階調変換曲線αの求め方について説明する。折れ線グラフの下に示された斜線の図形１３１は、輝度域正規化前の輝度画像Ｙのヒストグラムの一例である。この例においては、ガンマ補正が行われた輝度域正規化前の段階で、ディジタルビデオカメラ１が生成し得る最低輝度Ｙminから最高輝度Ｙmaxまでのダイナミックレンジよりも狭いダイナミックレンジに階調圧縮された輝度画像が得られている。
【０１０６】
このダイナミックレンジのままで再生デバイスに出力すると、再生デバイスの再生可能なダイナミックレンジが有効に使われないので、輝度域正規化前の輝度画像Ｙの輝度分布が、再生デバイスのダイナミックレンジの全域に亘って分布するように正規化を実行する。
【０１０７】
そのためにまず、輝度域正規化前の輝度画像Ｙのヒストグラム形状１３１が分布する範囲［Ｙd，Ｙb］を、輝度域正規化前の輝度画像Ｙの輝度域情報として算出する。そして、再生デバイスの輝度域［Ｙnb，Ｙnc］の上下端よりも若干内側の輝度Ｙna，Ｙnsを設定し、横軸の輝度｛Ｙmin，Ｙd，Ｙb，Ｙmax｝が縦軸の輝度｛Ｙnb，Ｙna，Ｙns，Ｙnc｝に対応するように階調変換曲線αを決定する。
【０１０８】
この階調変換曲線αを用いて階調変換を行えば、折れ線グラフの左に示された斜線の図形１３２のようなヒストグラム形状をもつ輝度画像Ｙnを得ることができる。
【０１０９】
なお、輝度域正規化前の輝度域［Ｙd，Ｙb］を、再生デバイスの輝度域［Ｙnb，Ｙnc］よりも若干狭い輝度域［Ｙna，Ｙns］に写像するように、階調変換曲線αを決定したが、その理由は、輝度Ｙnb，Ｙnc付近での急激な輝度クリッピングが画像上に現れないようにするためである。
【０１１０】
ここで、輝度Ｙna，Ｙnsは、輝度Ｙnb，Ｙncに基づいて予め適切な値を設定されているものとする。
【０１１１】
なお、輝度域正規化前の輝度域［Ｙd，Ｙb］の取得は、輝度域情報算出部２８が行い、階調変換曲線αの決定および輝度Ｙn（ｐ）の算出は、輝度域正規化部３０が実行する。
【０１１２】
図１５は、輝度域情報算出部２８の構成例を示している。輝度域情報算出部２８において、間引き部１４１は、ガンマ補正部２７から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のMINソート部１４２およびMAXソート部１４５に供給する。
【０１１３】
MINソート部１４２は、比較部１４３とレジスタ１４４の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ１４４−１乃至１４４−ｋに保持するようになされている。
【０１１４】
例えば、比較部１４３−１は、間引き部１４１からの輝度Ｙ（ｐ）とレジスタ１４４−１の値を比較し、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも小さい場合、間引き部１４１からの輝度Ｙ（ｐ）を用いてレジスタ１４４−１の値を更新する。反対に、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも小さくない場合、間引き部１４１からの輝度Ｙ（ｐ）は後段の比較部１４３−２に供給される。
【０１１５】
比較部１４３−２は、比較部１４３−１からの輝度Ｙ（ｐ）とレジスタ１４４−２の値を比較し、比較部１４３−１からの輝度Ｙ（ｐ）がレジスタ１４４−２の値よりも小さい場合、比較部１４３−１からの輝度Ｙ（ｐ）を用いてレジスタ１４４−２の値を更新する。反対に、比較部１４３−１からの輝度Ｙ（ｐ）がレジスタ１４４−２の値よりも小さくない場合、比較部１４３−１からの輝度Ｙ（ｐ）は後段の比較部１４３−３に供給される。
【０１１６】
比較部１４３−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ１４４−１に輝度Ｙ（ｐ）の最小値Ｙminが保持され、レジスタ１４４−２乃至１４４−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ１４４−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙdとして後段に出力される。
【０１１７】
MAXソート部１４５は、比較部１４６とレジスタ１４７の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ１４７−１乃至１４７−ｋに保持するようになされている。
【０１１８】
例えば、比較部１４６−１は、間引き部１４１からの輝度Ｙ（ｐ）とレジスタ１４７−１の値を比較し、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも大きい場合、間引き部１４１からの輝度Ｙ（ｐ）を用いてレジスタ１４７−１の値を更新する。反対に、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４７−１の値よりも大きくない場合、間引き部１４１からの輝度Ｙ（ｐ）は後段の比較部１４６−２に供給される。
【０１１９】
比較部１４６−２は、比較部１４６−１からの輝度Ｙ（ｐ）とレジスタ１４７−２の値を比較し、比較部１４６−１からの輝度Ｙ（ｐ）がレジスタ１４７−２の値よりも大きい場合、比較部１４６−１からの輝度Ｙ（ｐ）を用いてレジスタ１４７−２の値を更新する。反対に、比較部１４６−１からの輝度Ｙ（ｐ）がレジスタ１４７−２の値よりも大きくない場合、比較部１４６−１からの輝度Ｙ（ｐ）は後段の比較部１４６−３に供給される。
【０１２０】
比較部１４６−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ１４７−１に輝度Ｙ（ｐ）の最大値Ｙmaxが保持され、レジスタ１４７−２乃至１４７−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ１４７−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙbとして後段に出力される。
【０１２１】
なお、MINソート部１４２およびMAXソート部１４５に入力される輝度Ｙ（ｐ）は、間引き部１４１により間引きされたものであるので、間引きの間隔と、MINソート部１４２およびMAXソート部１４５の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば、上限および下限のそれぞれ１％等に相当する輝度Ｙd，Ｙbを得ることが可能になる。
【０１２２】
図１６は、輝度域正規化部３０の構成例を示している。輝度域正規化部３０は、上述したように、階調変換曲線αを決定し、階調変換曲線αを用いてガンマ補正後の輝度Ｙ（ｐ）を輝度域正規化後の輝度Ｙn（ｐ）に変換するものである。
【０１２３】
図１４に示されたように、階調変換曲線αは５本の線分で構成されているので、輝度域正規化部３０では、入力された輝度Ｙ（ｐ）がどの線分の範囲であるかを判別し、入力された輝度Ｙ（ｐ）に階調変換曲線αを構成する５本の線分のうちの１つを適用して、輝度域正規化後の輝度Ｙn（ｐ）に変換する。
【０１２４】
輝度域正規化部３０のセレクタ１５１は、入力端子ｉに入力される輝度Ｙ（ｐ）に基づき、入力端子ａ乃至ｈにそれぞれ入力される輝度Ｙmax，Ｙb，Ｙd，Ｙmin，Ｙnc，Ｙns，Ｙna，Ｙnbのうちの４つの輝度を、出力端子ｊ乃至ｍから出力する。この対応関係は、以下の通りである。
【数５】
【０１２５】
減算器１５２は、出力端子ｋの出力と出力端子ｊの出力の差を演算して、除算器１５５に出力する。減算器１５３は、出力端子ｌの出力と減算器１５４の出力の差を演算して、除算器１５５に出力する。減算器１５４は、輝度Ｙ（ｐ）と出力端子ｍの出力との差を演算して、乗算器１５６に出力する。除算器１５５は、減算器１５２の出力と減算器１５３の出力の比を演算して乗算器１５６に出力する。乗算器１５６は、除算器１５５の出力と減算器１５４の出力の積を演算して、加算器１５７に出力する。加算器１５７は、出力端子ｊの出力と乗算器１５６の出力を加算して出力する。
【０１２６】
加算器１５７の出力Ｙn（ｐ）は、ガンマ補正後の輝度Ｙ（ｐ）に基づいて判別された階調変換曲線αの線分を示す次式（６）に示すとおりとなる。
【数６】
【０１２７】
以上で、図２に示されたDSP７を構成する各部の説明を終了する。
【０１２８】
ところで、図６に示されたトーンカーブ補正部２２の平均輝度算出部６３と、図７に示された縮小画像生成部２３の平均輝度計算部７２が同様の計算を実行することに着目すれば、よりシンプルな回路構成で演算量を減少させることが可能である。具体的には、図２のトーンカーブ補正部２２、縮小画像生成部２３、縮小画像メモリ２４、およびコントラスト補正部２５を組み合わせて、図１７に示すような複合部を設ければよい。
【０１２９】
この複合部１６０は、図２に示されたトーンカーブ補正部２２、縮小画像生成部２３、縮小画像メモリ２４、およびコントラスト補正部２５と置換可能なものである。
【０１３０】
複合部１６０のLUTメモリ１６１には、図４に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部１６２は、上段から入力された対数輝度logＬ（ｐ）を、LUTメモリ１６１に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正して縮小画像生成部１６３および乗算器１７２に出力する。
【０１３１】
縮小画像生成部１６３は、対数輝度画像logＬc'をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度logＬc'（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ１６４に保持させる。
【０１３２】
平均輝度算出部６３は、第１の縮小画像メモリ１６４に保持されている１フレーム前の第１の縮小画像の画素値の平均値μを算出して、除算器１６６に出力する。除算器１６６は、所定の定数logＬTを平均値μで除算し、代表値γ2を算出し、γ2メモリ１６７に保持させる。乗算器１６８は、第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、γ2メモリ６５に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第２の縮小画像メモリ１６９に持させる。
【０１３３】
乗算器１７０は、テーブル参照部１６２から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ１６７に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。乗算器１７１は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）としてゲイン値設定部１７２に出力する。
【０１３４】
ゲイン値設定部１７２は、乗算器１７１から入力された前フレームに対する代表値γと、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。
【０１３５】
補間位置指定部１７３は、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部１７４に出力する。補間部１７４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出してコントラスト強調部１７５に出力する。
【０１３６】
コントラスト強調部１７５は、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）について、ゲイン値ｇ（ｐ）および縮小画像の補間値logＬcl（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度logＬu（ｐ）を算出する。
【０１３７】
この複合部１６０を用いれば、平均輝度算出部１６５は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像logＬcの画素の平均値を算出する図６の平均輝度算出部６３に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。
【０１３８】
次に、図１７に示された複合部１６０が適用されたDSP７の第１の構成例による総合的な階調圧縮処理について、図１８のフローチャートを参照して説明する。
【０１３９】
ステップＳ１において、DSP７は、入力された現フレームの広ＤＲ輝度画像Ｌを、１フレーム前の広ＤＲ輝度画像に対して算出され、保持されている中間情報（第２の縮小画像logＬc（ｐ）、代表値γ、輝度域情報［Ｙd，Ｙb］）を基づいて狭ＤＲ輝度画像Ｙnに変換する。また、DSP７は、現フレームの広ＤＲ輝度画像Ｌに対する中間情報を算出する。
【０１４０】
ステップＳ２において、DSP７は、算出した現フレームの広ＤＲ輝度画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広ＤＲ輝度画像に対する中間情報を更新する。
【０１４１】
ステップＳ３において、DSP７は、入力された現フレームの広ＤＲ輝度画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。
【０１４２】
ステップＳ１における画素単位の処理の詳細を、図１９のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置ｐ）に対して実行される。
【０１４３】
ステップＳ１１において、DSP７に注目画素（画素位置ｐ）の輝度Ｌ（ｐ）が入力される。ステップＳ１２において、対数変換部２１は、入力された輝度Ｌ（ｐ）を対数変換し、得られた対数輝度logＬ（ｐ）を複合部１６０に出力する。ステップＳ１３において、複合部１６０のテーブル参照部１６２は、対数変換部２１から入力された対数輝度logＬ（ｐ）を、LUTメモリ１６１に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正して縮小画像生成部１６３および乗算器１７２に出力する。これと同時に、LUTメモリ１６１は、トーンカーブの傾きの代表値γ1を乗算器１７１に出力する。乗算器１７１は、代表値γ1とγ2メモリ１６７に保持されている１フレーム前の第１の縮小画像に基づいて算出されたγ2の積を代表値γとしてゲイン値設定部１７２の出力する。
【０１４４】
ステップＳ１４において、縮小画像生成部１６３は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ2が算出される。また、生成された第１の縮小画像に算出された代表値γ2が乗算されて、第２の縮小画像logＬclが生成される。
【０１４５】
ステップＳ１５において、乗算器１７０は、テーブル参照部１６２から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ１６７に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。
【０１４６】
ステップＳ１６において、ゲイン値設定部１７２は、乗算器１７１から入力された前フレームに対する代表値γと、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。
【０１４７】
ステップＳ１７において、補間部１７４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出してコントラスト強調部１７５に出力する。ステップＳ１８において、コントラスト強調部１７５は、第２の縮小画像の補間値logＬcl（ｐ）およびゲイン値ｇ（ｐ）に基づき、トーンカーブ補正後の対数輝度logＬc（ｐ）の低周波域成分以外を強調し、その結果得られたコントラスト補正された対数輝度logＬu（ｐ）を後段の対数逆変換部２６に出力する。
【０１４８】
ステップＳ１９において、対数逆変換部２６は、コントラスト補正された対数輝度logＬu（Ｐ）を、通常軸の輝度Ｌu（Ｐ）に変換し、ガンマ補正部２７に出力する。ステップＳ２０において、ガンマ補正部２７は、所定のガンマ補正を行い、得られた輝度Ｙ（ｐ）を輝度域情報算出部２８および輝度域正規化部３０に出力する。
【０１４９】
ステップＳ２１において、輝度域情報算出部２８は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙd，Ｙb］を生成する。ステップＳ２２において、輝度域正規化部３０は、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２７から入力された輝度Ｙ（ｐ）を正規化して、輝度Ｙn（ｐ）を算出する。ステップＳ２３において、輝度域正規化部３０は、輝度Ｙn（ｐ）を、階調圧縮された狭ＤＲ輝度画像の画素値として出力する。以上で、図１８のステップＳ１の処理の詳細な説明を終了する。
【０１５０】
次に、図１８のステップＳ２の処理の詳細を、図２０のフローチャートを参照して説明する。ステップＳ３１において、縮小画像生成部１６３は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ１６４に保持されている第１の縮小画像を更新する。
【０１５１】
ステップＳ３２において、除算器１６６は、所定の定数logＬTを、平均輝度算出部１６５から入力された平均値μで除算して代表値γ2を算出し、算出した代表値γ2を用いて、γ2メモリ１６７に保持されている代表値γ2を更新する。
【０１５２】
ステップＳ３３において、乗算器１６８は、ステップＳ３１の処理で更新された第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、ステップＳ３２の処理で更新されたγ2メモリ６５に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第１の縮小画像メモリ１６９に保持されている第２の縮小画像logＬclを更新する。
【０１５３】
ステップＳ３４において、輝度域情報算出部２８は、１フレーム分の輝度Ｙ（ｐ）を元にして算出した輝度域情報［Ｙd，Ｙb］を用いて、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］を更新する。以上で、図１８のステップＳ２の処理の詳細な説明を終了する。
【０１５４】
次に、図２１は、カラー画像である広ＤＲ画像に対応したDSP７の構成例を示している。なお、DSP７にラスタ順に入力される広ＤＲ画像は、全ての画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有しているのではなく、Ｒ，Ｇ，Ｂ成分のうちのいずれか１つを有しているものとする。以下、DSP７の第２の構成例に入力されるカラー画像である広ＤＲ画像を、広ＤＲ色モザイク画像と記述する。なお、広ＤＲ色モザイク画像の各画素がＲ，Ｇ，Ｂ成分のうちのいずれを有しているかは、画素位置によって決定されている。
【０１５５】
DSP７にラスタ順に入力される広ＤＲ色モザイク画像の画素値を、Ｌ（ｐ）と記述する。
【０１５６】
DSP７の当該第２の構成例において、デモザイク部２０１は、画素毎に異なる色成分を有する１フレーム分の画素値Ｌ（ｐ）を元に対し、全て画素がＲ，Ｇ，Ｂ成分を全て有するようにデモザイク処理を施して、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］を生成し、色バランス調整部２０２に出力する。以下、デモザイク部２０１から出力される色信号からなる画像を広ＤＲカラー画像と記述する。
【０１５７】
色バランス調整部２０２は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を生成する。なお、デモザイク部２０１および色バランス調整部２０２は、単板式CCDイメージセンサが搭載された一般的なディジタルビデオに実装されているものである。
【０１５８】
対数変換部２０３は、色バランス調整部２０２から入力される色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を対数変換し、得られる対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］をトーンカーブ補正部２０４に出力する。トーンカーブ補正部２０４は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］を縮小画像生成部２０５およびコントラスト補正部２０７に出力する。また、トーンカーブ補正部２０４は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部２０７に出力する。
【０１５９】
縮小画像生成部２０５は、トーンカーブ補正部２０４から入力される１フレーム分の対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］を元に、縮小画像logＬclを生成して、縮小画像メモリ２０６に保持させる。
【０１６０】
コントラスト補正部２０７は、トーンカーブ補正部２０４から入力される現フレームの対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ２０６に保持されている１フレーム前の縮小画像logＬclに基づいて補正し、得られる対数色信号［logＲu（ｐ），logＧu（ｐ），logＢu（ｐ）］を対数逆変換部２０８に出力する。対数逆変換部２０８は、コントラストが補正された対数色信号［logＲu（ｐ），logＧu（ｐ），logＢu（ｐ）］を、対数逆変換して、得られる通常軸の色信号［Ｒu（ｐ），Ｇu（ｐ），Ｂu（ｐ）］をガンマ補正部２０９に出力する。
【０１６１】
ガンマ補正部２０９は、対数逆変換部２０８から入力される色信号［Ｒu（ｐ），Ｇu（ｐ），Ｂu（ｐ）］に対して、再生デバイス（例えば、ディスプレイ１１）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の色信号［Ｒg（ｐ），Ｇu（ｐ），Ｂg（ｐ）］を輝度情報算出部２１０および輝度域正規化部２１２に出力する。輝度情報算出部２１０は、ガンマ補正部２０９から入力される１フレーム分の色信号［Ｒg（ｐ），Ｇu（ｐ），Ｂg（ｐ）］を輝度Ｙ（ｐ）に変換した後、輝度Ｙ（ｐ）の分布を示す輝度域情報を算出して輝度域情報メモリ２１１に保持させる。ここで、輝度域情報とは、１フレームにおける輝度Ｙ（ｐ）の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙdと、最も明るい方に近い輝度Ｙbを輝度域情報［Ｙd，Ｙb］として算出するようにする。
【０１６２】
輝度域正規化部２１２は、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２０９から入力される現フレームの色信号［Ｒg（ｐ），Ｇu（ｐ），Ｂg（ｐ）］を、その分布範囲が再生デバイス（例えば、ディスプレイ１１）が表現可能な範囲に合致するように変換し、得られる色信号［Ｒn（ｐ），Ｇn（ｐ），Ｂn（ｐ）］を、カラー画像である狭ＤＲ画像の画素値として後段に出力する。
【０１６３】
以下説明したように、カラー画像に対応するDSP７の第２の構成例は、デモザイク部２０１および色バランス部２０２が追加されていること以外、図２に示されたモノクロ画像に対応する第１の構成例とほぼ同様であるが、各部の内部の構成がカラー画像に対応するために若干変更されている。
【０１６４】
図２２は、トーンカーブ補正部２０４の第１の構成例を示している。当該第１の構成例において、輝度生成部２２１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器２２２−Ｒ乃至２２２−Ｂおよびテーブル参照部２２４に出力する。
【０１６５】
減算器２２２−Ｒは、対数色信号logＲb（ｐ）から対数輝度logＬb（ｐ）を減算して、乗算器２２５−Ｒに出力する。LUTメモリ２２３には、図４に示されたようなトーンカーブに相当するLUTとトーンカーブの傾きを示す代表値γが予め保持されている。テーブル参照部２２４は、LUTメモリ２２３に保持されているLUTに基づいて対数輝度logＬ（ｐ）を対数輝度logＬc（ｐ）に補正し、加算器２２６−Ｒ乃至２２６−Ｂに出力する。
【０１６６】
乗算器２２５−Ｒは、減算器２２２−Ｒの出力に、LUTメモリ２２３から入力される代表値γを乗算して、加算器２２６−Ｒに出力する。加算器２２６−Ｒは、乗算器２２５−Ｒの出力と、対数輝度logＬc（ｐ）との和を演算して、トーンカーブ補正後の対数色信号logＲc（ｐ）として後段に出力する。
【０１６７】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１６８】
図２３は、トーンカーブ補正部２０４の第２の構成例を示している。当該第２の構成例において、輝度生成部２３１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、平均輝度算出部２３２に出力する。平均輝度算出部２３２は、１フレーム分の対数輝度logＬ（ｐ）の平均値μを算出して、除算器２３３に出力する。除算器２３３は、所定の定数logＬTを平均値μで除算して代表値γを算出し、γメモリ２３４に保持させる。
【０１６９】
乗算器２３５−Ｒは、現フレームの対数色信号logＲb（ｐ）に、γメモリ２３４に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数色信号logＲc（ｐ）を算出する。
【０１７０】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１７１】
図２４は、トーンカーブ補正部２０４の第３の構成例を示している。当該第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、輝度生成部２４１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器２４２−Ｒ乃至２４２−Ｂおよびテーブル参照部２４４に出力する。
【０１７２】
減算器２４２−Ｒは、対数色信号logＲb（ｐ）から対数輝度logＬb（ｐ）を減算して、乗算器２５０−Ｒに出力する。LUTメモリ２４３には、図４に示されたようなトーンカーブに相当するLUTとトーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部２４４は、LUTメモリ２４３に保持されているLUTに基づいて対数輝度logＬ（ｐ）を、対数輝度logＬc'（ｐ）に補正して平均輝度算出部２４５および乗算器２４９に出力する。
【０１７３】
平均輝度算出部２４５は、１フレーム分の対数輝度logＬc'（ｐ）の平均値μを算出して、除算器２４６に出力する。除算器２４６は、所定の定数logＬTを平均値μで除算して代表値γ2を算出し、γ2メモリ２４７に保持させる。乗算器２４８は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）として後段のコントラスト補正部２０７に出力する。
【０１７４】
乗算器２４９は、現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ２４７に保持されている１フレーム前の代表値γ2を乗算してトーンカーブ補正後の対数輝度logＬc（ｐ）を算出市、加算器２５１−Ｒ乃至２５１−Ｂに出力する。
【０１７５】
乗算器２５０−Ｒは、減算器２４２−Ｒの出力に、乗算器２４８から入力される代表値γを乗算して、加算器２５１−Ｒに出力する。加算器２５１−Ｒは、乗算器２５０−Ｒの出力と、乗算器２４９の出力の積を演算し、トーンカーブ補正後の対数色信号logＲc（ｐ）として後段に出力する。
【０１７６】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１７７】
次に、図２５は、縮小画像生成部２０５の構成例を示している。縮小画像生成部２０５の輝度生成部２６１は、入力されるトーンカーブ補正後の対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］の線形和を演算することにより対数輝度logＬc（ｐ）を生成し、ソート部２６２に出力する。
【０１７８】
ソート部２６２は、対数輝度logＬc（ｐ）を、画像をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部２６３−１乃至２６３−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部２６３−１に供給され、２番目のブロックに分類されるものは平均値計算部２６３−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部２６３−Ｎに供給される。
【０１７９】
平均値計算部２６３−ｉ（ｉ＝１，２，…，Ｎ）は、１フレーム分の対数輝度logＬc（ｐ）のうち、ｉ番目のブロックに分類される対数輝度logＬc（ｐ）の平均値を算出して、合成部２６４に出力する。合成部２６４は、平均値計算部２６３−ｉからそれぞれ入力される対数輝度logＬc（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像logＬclを生成し、後段の縮小画像メモリ２０６に保持させる。
【０１８０】
次に、図２６は、コントラスト補正部２０７の構成例を示している。コントラスト補正部２５の輝度生成部２７０は、入力されるトーンカーブ補正後の対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］の線形和を演算することにより対数輝度logＬc（ｐ）を生成し、補間位置指定部２７１およびゲイン値設定部２７３に出力する。
【０１８１】
補間位置指定部２７１は、対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部２７２に出力する。補間部２７２は、縮小画像メモリ２０６に保持されている１フレーム前の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出して、減算器２７４−Ｒ乃至２７４−Ｂおよび加算器２７６−Ｒ乃至２７６−Ｂに出力する。
【０１８２】
ゲイン値設定部２７３は、トーンカーブ補正部２２から入力される前フレームに対する代表値γと、現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器２７５−Ｒ乃至２７５−Ｂに出力する。
【０１８３】
減算器２７４−Ｒは、対数色信号logＲc（ｐ）から補間値logＬcl（ｐ）を減算して、乗算器２７５−Ｒに出力する。乗算器２７５−Ｒは、減算器２７４−Ｒの出力に、ゲイン値ｇ（ｐ）を乗算して、加算器２７６−Ｒに出力する。加算器２７６−Ｒは、乗算器２７５−Ｒの出力に、補間値logＬcl（ｐ）を加算して、得られたコントラスト補正後の対数色信号logＲu（ｐ）を後段に出力する。
【０１８４】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１８５】
次に、図２７は、図２１のトーンカーブ補正部２０４、縮小画像生成部２０５、縮小画像メモリ２０６、およびコントラスト補正部２０７と置換することができる複合部３００の構成例を示している。
【０１８６】
複合部３００の輝度生成部３０１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器３０２−Ｒ乃至３０２−Ｂおよびテーブル参照部３０４に出力する。減算器３０２−Ｒは、対数色信号logＲb（ｐ）から、対数輝度logＬb（ｐ）を減算して乗算器３１６−Ｒに出力する。
【０１８７】
LUTメモリ３０３には、図４に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部３０４は、輝度生成部３０１から入力された対数輝度logＬ（ｐ）を、LUTメモリ３０３に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正し乗算器３０５および縮小画像生成部３０６に出力する。
【０１８８】
乗算器３０５は、テーブル参照部３０４から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ１６７に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出し、加算器３１７−Ｒ乃至３１７−Ｂに出力する。
【０１８９】
縮小画像生成部３０６は、対数輝度画像logＬc'をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度logＬc'（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ３０７に保持させる。
【０１９０】
平均輝度算出部３０８は、第１の縮小画像メモリ３０７に保持されている１フレーム前の第１の縮小画像の画素値の平均値μを算出して、除算器３０９に出力する。除算器３０９は、所定の定数logＬTを平均値μで除算し、代表値γ2を算出し、γ2メモリ３１０に保持させる。乗算器３１１は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）として求め、ゲイン値設定部３１５および乗算器３１６−Ｒ乃至３１６−Ｂに出力する。
【０１９１】
乗算器３１２は、第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、γ2メモリ３１０に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第２の縮小画像メモリ３１３に持させる。
【０１９２】
補間部３１４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像logＬclを用いて、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）に対応する画素logＬcl（ｐ）を補間により算出して、減算器３１８−Ｒ乃至３１８−Ｂおよび加算器３２０−Ｒ乃至３２０−Ｂに出力する。
【０１９３】
ゲイン値設定部３１５は、乗算器３１１から入力された前フレームに対する代表値γと、乗算器３０５から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器３１９−Ｒ乃至３１９−Ｂに出力する。
【０１９４】
乗算器３１６−Ｒは、減算器３０２−Ｒの出力と代表値γの積を演算して、加算器３１７−Ｒに出力する。加算器３１７−Ｒは、乗算器３１６−Ｒの出力と、乗算器３０５の出力との和を演算して、減算器３１８−Ｒに出力する。減算器３１８−Ｒは、加算器３１７−Ｒの出力から、補間値logＬcl（ｐ）を減算して、乗算器３１９−Ｒに出力する。乗算器３１９−Ｒは、減算器３１８−Ｒの出力にゲイン値ｇ（ｐ）を乗算して、加算器３２０−Ｒに出力する。加算器３２０−Ｒは、乗算器３１９−Ｒの出力と、補間値logＬcl（ｐ）の和を演算して、を加算して、得られたコントラスト補正後の対数色信号logＲu（ｐ）を後段に出力する。
【０１９５】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１９６】
この複合部３００を用いれば、平均輝度算出部３０８は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像logＬcの画素の平均値を算出する図２４の平均輝度算出部２４５に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。
【０１９７】
次に、図２８は、輝度域情報算出部２１０の構成例を示している。輝度域情報算出部２１０において、輝度生成部３３１は、ガンマ補正後の色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］の線形和を演算することにより輝度Ｙ（ｐ）を生成し、間引き部３３２に出力する。間引き部３３２は、輝度生成部３３１から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のMINソート部３３３およびMAXソート部３３６に供給する。
【０１９８】
MINソート部３３３は、比較部３３４とレジスタ３３５の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ３３５−１乃至３３５−ｋに保持するようになされている。
【０１９９】
例えば、比較部３３４−１は、間引き部３３２からの輝度Ｙ（ｐ）とレジスタ３３５−１の値を比較し、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３５−１の値よりも小さい場合、間引き部３３２からの輝度Ｙ（ｐ）を用いてレジスタ３３５−１の値を更新する。反対に、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３５−１の値よりも小さくない場合、間引き部３３２からの輝度Ｙ（ｐ）は後段の比較部３３４−２に供給される。
【０２００】
比較部３３４−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３３５−１に輝度Ｙ（ｐ）の最小値Ｙminが保持され、レジスタ３３５−２乃至３３５−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ３３５−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙdとして後段に出力される。
【０２０１】
MAXソート部３３６は、比較部３３７とレジスタ３３８の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ３３８−１乃至３３８−ｋに保持するようになされている。
【０２０２】
例えば、比較部３３７−１は、間引き部３３２からの輝度Ｙ（ｐ）とレジスタ３３８−１の値を比較し、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３８−１の値よりも大きい場合、間引き部３３２からの輝度Ｙ（ｐ）を用いてレジスタ３３８−１の値を更新する。反対に、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３８−１の値よりも大きくない場合、間引き部３３２からの輝度Ｙ（ｐ）は後段の比較部３３７−２に供給される。
【０２０３】
比較部３３７−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３３８−１に輝度Ｙ（ｐ）の最大値Ｙmaxが保持され、レジスタ３３８−２乃至３３８−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ３３８−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙbとして後段に出力される。
【０２０４】
なお、MINソート部３３３およびMAXソート部３３６に入力される輝度Ｙ（ｐ）は、間引き部３３２により間引きされたものであるので、間引きの間隔と、MINソート部３３３およびMAXソート部３３６の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば上下１％や0.1％などに相当する輝度値Ｙd，Ｙbを得ることが可能になる。
【０２０５】
次に、図２７に示された複合部３００が適用されたDSP７の第２の構成例による総合的な階調圧縮処理について、図２９のフローチャートを参照して説明する。
【０２０６】
ステップＳ４１において、DSP７（デモザイク部２０１）は、広ＤＲ色モザイク画像にデモザイク処理を施して、広ＤＲカラー画像を生成し、その画素値、すなわち、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］をラスタ順に色バランス調整部２０２に出力する。ステップＳ４２において、DSP７（色バランス調整部２０２）は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を生成する。
【０２０７】
ステップＳ４３おいて、DSP７は、入力される現フレームの広ＤＲカラー画像の色信号を、１フレーム前の広ＤＲカラー画像に対して算出され、保持されている中間情報（第２の縮小画像logＬc（ｐ）、代表値γ、輝度域情報［Ｙd，Ｙb］）を基づいて狭ＤＲカラー画像Ｙnに変換する。また、DSP７は、現フレームの広ＤＲカラー画像Ｌに対する中間情報を算出する。
【０２０８】
ステップＳ４４において、DSP７は、算出した現フレームの広ＤＲカラー画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広ＤＲカラー画像に対する中間情報を更新する。
【０２０９】
ステップＳ４５において、DSP７は、入力された現フレームの広ＤＲカラー画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ４１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。
【０２１０】
ステップＳ４２における画素単位の処理の詳細を、図３０のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置ｐ）に対して実行される。
【０２１１】
ステップＳ５１において、色バランス調整部２０２は、生成した色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を、対数変換部２０３に出力する。ステップＳ５２において、対数変換部２０３は、入力された色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を対数変換し、得られた対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］を複合部３００に出力する。
【０２１２】
ステップＳ５３において、複合部３００の輝度生成部３０１は、入力された対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器３０２−Ｒ乃至３０２−Ｂおよびテーブル参照部３０４に出力する。ステップＳ５４において、テーブル参照部３０４は、入力された対数輝度logＬ（ｐ）を、LUTメモリ３０３に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正して、乗算器３０５および縮小画像生成部３０６に出力する。
【０２１３】
ステップＳ５５において、縮小画像生成部３０６は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ2が算出される。また、生成された第１の縮小画像に算出された代表値γ2が乗算されて、第２の縮小画像logＬclが生成される。
【０２１４】
ステップＳ５６において、乗算器３０５は、テーブル参照部３０４から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ３１０に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。
【０２１５】
ステップＳ５７において、Ｒ成分については減算器３０２−Ｒ、乗算器３１６−Ｒ、および加算器３１７−Ｒの演算により、トーンカーブ補正後の対数色信号logＲc（ｐ）が生成される。Ｇ成分については減算器３０２−Ｇ、乗算器３１６−Ｇ、および加算器３１７−Ｇの演算により、トーンカーブ補正後の対数色信号logＧc（ｐ）が生成される。Ｂ成分については減算器３０２−Ｂ、乗算器３１６−Ｂ、および加算器３１７−Ｂの演算により、トーンカーブ補正後の対数色信号logＢc（ｐ）が生成される。
【０２１６】
ステップＳ５８において、ゲイン値設定部３１５は、乗算器３１１から入力された前フレームに対する代表値γと、乗算器３０５から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。ステップＳ５９において、補間部３１４は、第２の縮小画像メモリ３１３に保持されている１フレーム前の第２の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出する。
【０２１７】
ステップＳ６０において、Ｒ成分については減算器３１８−Ｒ、乗算器３１９−Ｒ、および加算器３２０−Ｒの演算により、コントラスト補正後の対数色信号logＲu（ｐ）が生成される。Ｇ成分については減算器３１８−Ｇ、乗算器３１９−Ｇ、および加算器３２０−Ｇの演算により、コントラスト補正後の対数色信号logＧu（ｐ）が生成される。Ｂ成分については減算器３１８−Ｂ、乗算器３１９−Ｂ、および加算器３２０−Ｂの演算により、コントラスト補正後の対数色信号logＢu（ｐ）が生成される。
【０２１８】
ステップＳ６１において、対数逆変換部２０８は、コントラスト補正後の対数色信号［logＲu（ｐ），logＧu（ｐ），logＢu（ｐ）］を、対数逆変換して、通常軸の色信号［Ｒu（ｐ），Ｇu（ｐ），Ｂu（ｐ）］を生成し、ガンマ補正部２０９に出力する。ステップＳ６２において、ガンマ補正部２０９は、所定のガンマ補正を行い、得られたガンマ補正後の色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を輝度情報算出部２１０および輝度域正規化部２１２に出力する。
【０２１９】
ステップＳ６３において、輝度域情報算出部２１０の輝度生成部３３１は、ガンマ補正後の色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を元にして輝度Ｙ（ｐ）を生成する。ステップＳ６４において、輝度域情報算出部２１０のMINソート部３３３およびMAXソート部３３６は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙd，Ｙb］を生成する。
【０２２０】
ステップＳ６５において、輝度域正規化部２１２は、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２０９から入力された色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を正規化して、色信号［Ｒn（ｐ），Ｇn（ｐ），Ｂn（ｐ）］を算出する。ステップＳ６６において、輝度域正規化部２１２は、算出した色信号［Ｒn（ｐ），Ｇn（ｐ），Ｂn（ｐ）］を、階調圧縮された狭ＤＲカラー画像の画素値として出力する。以上で、図２９のステップＳ４３処理の詳細な説明を終了する。
【０２２１】
次に、図２９のステップＳ４４の処理の詳細を、図３１のフローチャートを参照して説明する。ステップＳ７１において、縮小画像生成部３０６は、トーンカーブ補正後の１フレーム分の対数輝度logＬc'（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ３０７に保持されている第１の縮小画像を更新する。
【０２２２】
ステップＳ７２において、除算器３０９は、所定の定数logＬTを、平均輝度算出部１６５から入力された平均値μで除算して代表値γ2を算出し、算出した代表値γ2を用いて、γ2メモリ３１０に保持されている代表値γ2を更新する。
【０２２３】
ステップＳ７３において、乗算器３１２は、ステップＳ７１の処理で更新された第１の縮小画像メモリ３０７に保持されている第１の縮小画像の各画素に、ステップＳ７２の処理で更新されたγ2メモリ３１０に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第１の縮小画像メモリ３１３に保持されている第２の縮小画像logＬclを更新する。
【０２２４】
ステップＳ７４において、輝度域情報算出部２１０は、１フレーム分の［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を元にして生成した輝度域情報［Ｙd，Ｙb］を用いて、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］を更新する。以上で、図２９のステップＳ４４の処理の詳細な説明を終了する。
【０２２５】
以上で、DSP７の第２の構成例の説明を終了する。
【０２２６】
なお、例えば、図５に示された平均輝度算出部５１、図６に示された平均輝度算出部６３、図１７の平均輝度算出部１６５、図２３に示された平均輝度算出部２３２、図２４に示された平均輝度算出部２４５のそれぞれにおいては、輝度値の平均値を算出するようにしたが、平均値を求める演算に、重み付き平均を用いるようにしてもよい。例えば、画像の中央部分の重みを周辺部分の重みよりも大きくすることによって、画像の中央部分に存在する被写体の反射率に重点をおいた明るさ補正を行うことが可能になる。
【０２２７】
図１７に示された複合部１６０および図２７に示された複合部３００においては、生成された第１の縮小画像を保持するメモリと、生成された第１の縮小画像に代表値γ2を乗算して生成された第２の縮小画像を保持するメモリが設けられているが、第２の縮小画像が生成された時点で、第１の縮小画像を保持する必要がなくなるので、この２つのメモリを１つにまとめることも可能である。
【０２２８】
本実施の形態のように、本発明を、広ＤＲ画像を撮影し、その階調を圧縮して、狭いダイナミックレンジのディスプレイに表示可能な画像として出力するディジタルビデオカメラに適用すれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で階調圧縮処理を実現でき、かつ、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない出力画像を得ることができるようになる。
【０２２９】
このことによって、いままで実現できなかった高品質、かつ、安価なディジタルビデオカメラを実現することができる。
【０２３０】
なお、本発明は、ディジタルビデオカメラの他、ディジタルスチルカメラのような撮影装置や、画像データを処理するＡＶ装置やソフトウェアに適用することが可能である。
【０２３１】
また、本実施の形態においては、広ＤＲ画像を、ディスプレイ１１を再現デバイスに想定して、階調圧縮処理を施すようにしたが、例えば、ディジタルビデオカメラ１に外部接続するにモニタやプリンタの表現可能なダイナミックレンジに適合させて階調圧縮処理を施すことも可能である。
【０２３２】
ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２３３】
図３２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ３５０は、CPU(Central Processing Unit)３５１を内蔵している。CPU３５１にはバス３５４を介して、入出力インタフェース３５５が接続されている。バス３５４には、ROM(Read Only Memory)３５２およびRAM(Random Access Memory)３５３が接続されている。
【０２３４】
入出力インタフェース３５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部３５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部３５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３５８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部３５９が接続されている。また、磁気ディスク３６１（フレキシブルディスクを含む）、光ディスク３６２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３６３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３６４などの記録媒体に対してデータを読み書きするドライブ３６０が接続されている。
【０２３５】
CPU３５１は、ROM３５２に記憶されているプログラム、または磁気ディスク３６１乃至半導体メモリ３６４から読み出されて記憶部３５８にインストールされ、記憶部３５８からRAM３５３にロードされたプログラムに従って各種の処理を実行する。RAM３５３にはまた、CPU３５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３７】
【発明の効果】
以上のように、本発明によれば、使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるディジタルビデオカメラの構成例を示すブロック図である。
【図２】図１のDSPの第１の構成例を示すブロック図である。
【図３】図２のトーンカーブ補正部の第１の構成例を示すブロック図である。
【図４】トーンカーブの一例を示す図である。
【図５】図２のトーンカーブ補正部の第２の構成例を示すブロック図である。
【図６】図２のトーンカーブ補正部の第３の構成例を示すブロック図である。
【図７】図２の縮小画像生成部の構成例を示すブロック図である。
【図８】図７の平均値計算部の構成例を示すブロック図である。
【図９】図２のコントラスト補正部の構成例を示すブロック図である。
【図１０】図９の補間部の構成例を示すブロック図である。
【図１１】図９の補間部の処理を説明するための図である。
【図１２】図９のゲイン値設定部の構成例を示すブロック図である。
【図１３】図９のコントラスト強調部の構成例を示すブロック図である。
【図１４】図２の輝度域正規化部の処理を説明するための図である。
【図１５】図２の輝度域情報算出部の構成例を示すブロック図である。
【図１６】図２の輝度域正規化部の構成例を示すブロック図である。
【図１７】図２のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。
【図１８】 DSPの第１の構成例による階調圧縮処理を説明するフローチャートである。
【図１９】図１８のステップＳ１の処理の詳細を説明するフローチャートである。
【図２０】図１８のステップＳ２の処理の詳細を説明するフローチャートである。
【図２１】図１のDSPの第２の構成例を示すブロック図である。
【図２２】図２１のトーンカーブ補正部の第１の構成例を示すブロック図である。
【図２３】図２１のトーンカーブ補正部の第２の構成例を示すブロック図である。
【図２４】図２１のトーンカーブ補正部の第３の構成例を示すブロック図である。
【図２５】図２１の縮小画像生成部の構成例を示すブロック図である。
【図２６】図２１のコントラスト補正部の構成例を示すブロック図である。
【図２７】図２１のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。
【図２８】図２１の輝度域情報算出部の構成例を示すブロック図である。
【図２９】 DSPの第２の構成例による階調圧縮処理を説明するフローチャートである。
【図３０】図２９のステップＳ４３の処理の詳細を説明するフローチャートである。
【図３１】図２９のステップＳ４４の処理の詳細を説明するフローチャートである。
【図３２】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
７ DSP， ２１ 対数変換部， ２２ トーンカーブ補正部， ２３ 縮小画像生成部， ２４ 縮小画像メモリ， ２５ コントラスト補正部， ２６ 対数逆変換部， ２７ ガンマ補正部， ２８ 輝度域情報算出部， ２９ 輝度域情報メモリ， ３０ 輝度域正規化部， １６０ 複合部， ２０１ デモザイク部， ２０２ 色バランス調整部， ２０３ 対数変換部， ２０４ トーンカーブ補正部， ２０５ 縮小画像生成部， ２０６ 縮小画像メモリ， ２０７ コントラスト補正部， ２０８ 対数逆変換部， ２０９ ガンマ補正部， ２１０ 輝度域情報算出部， ２１１ 輝度域情報メモリ， ２１２ 輝度域正規化部， ３００ 複合部， ３５１ CPU， ３６１ 磁気ディスク，３６２ 光ディスク， ３６３ 光磁気ディスク， ３６４ 半導体メモリ
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、画素値のダイナミックレンジが通常よりも広い広ダイナミックレンジ画像を、画素値のダイナミックレンジがより狭い狭ダイナミックレンジ画像に変換する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、ＦＡ(Factory Automation)における部品検査装置、ME(Medical Electronics)における電子内視鏡などの光計測装置等に幅広く利用されている。
【０００３】
近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広ＤＲ画像と記述する）を得るための技術が多数提案されている（例えば、特許文献１参照）。
【０００４】
一方、動画像や静止画像を表示するCRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広ＤＲ画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。
【０００５】
そこで、当面においては、広ＤＲ画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭ＤＲ画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。
【０００６】
ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広ＤＲ画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。
【０００７】
しかしながら、上述したように、単に、広ＤＲ画像の画素値の階調を、狭いダイナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなってしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている３種類の階調圧縮技術について説明する。
【０００８】
第１の階調圧縮技術としては、入力する広ＤＲ画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第１の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるべく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しようとするものである（例えば、特許文献２参照）。
【０００９】
しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足のいく結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。
【００１０】
第２の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第２の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである（例えば、特許文献３参照）。
【００１１】
第２の階調圧縮技術は、第１の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、必ずしも良い画像が得られるとはいえない。
【００１２】
第３の階調変換技術としては、広ＤＲ画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを１つの画像に加算合成する技術を挙げることができる（例えば、特許文献４参照）。
【００１３】
第３の階調変換技術によれば、広ＤＲ画像の高周波成分はそのままであるので、階調変換によるコントラスト低下を防ぐことができる。しかしながら、第３の階調変換技術も、第２の階調変換技術と同様に、被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ（例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている（例えば、特許文献４参照）。
【００１４】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平９−３３１４６９号公報
【特許文献３】
特開２０００−１１５５３４号公報
【特許文献４】
特開平９−２１４７６６号公報
【００１５】
【発明が解決しようとする課題】
以上に説明した第１乃至第３の階調圧縮技術をまとめると、近傍の画素を利用する比較的局所的な処理で階調圧縮を行うもの（第１および第２の階調圧縮技術）と、画像全体または比較的大きな領域を使って階調圧縮を行うもの（第３の階調圧縮技術）に分けられる。前者によれば、ごく高周波成分のみが強調されたような不自然な画像となり、効果的な階調圧縮結果が得られるとは言い難い。また、後者によれば、高周波成分の強調にあわせて比較的低周波の成分も調整することが可能な分だけ、前者よりもより自然な画像が得られ、階調圧縮の効果は高いということができる。
【００１６】
しかしながら、後者によれば、その処理に、主にディレイラインまたはフレームメモリとして大量のメモリが必要となるので、ハードウェア化に適していないという問題があった。例えば、第３の階調圧縮技術は、輝度を複数の周波数成分に分離するときに空間フィルタが必要であるが、画像に対して比較的大きな空間フィルタを適用しなければ、人為的でない効果的な階調圧縮を施すことができないので、大きな空間フィルタを実装するために大量のディレイラインを回路に盛り込む必要がある。
【００１７】
ところで、例えば、ディジタルビデオカメラやディジタルスチルカメラのような撮影装置の出力部に、広ＤＲ画像に階調圧縮処理を施す機能を組み込むことを考慮した場合、例えば、ディジタルビデオカメラでは、所定のフレームレートを保証して映像信号を出力しなければならないので、高速な信号処理が必要となり、階調圧縮処理の機能をハードウェア化することの要請は高い。また、例えば、静止画を撮影するディジタルスチルカメラであっても、構図を決定するためにファインダにモニタ画像を所定のフレームレートで出力する必要があるので、階調圧縮処理が高速であることが望まれる。
【００１８】
以上のように、使用するメモリの容量がより小さく、演算も軽量でハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術が必要とされているが、従来そのような階調圧縮技術は提案されていない課題があった。
【００１９】
本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することを目的とする。
【００２０】
【課題を解決するための手段】
本発明の画像処理装置は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換手段と、変換手段によって生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成手段と、縮小画像生成手段によって生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持手段と、保持手段によって保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換手段によって生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正手段とを含む。
【００２１】
前記保持手段は、１フレーム前の画像に対応する縮小画像、および１フレーム前の画像に適用された変換関数の傾きを保持するようにすることができる。
【００２３】
前記１種類以上の変換関数のうち、少なくとも１種類の変換関数は、単調増加関数であるようにすることができる。
【００２４】
本発明の画像処理装置は、変換手段によって生成されたトーン変換画像の画素値の平均値を算出する平均値算出手段をさらに含むことができ、前記１種類以上の変換関数のうち、少なくとも１種類の変換関数の傾きは、平均値算出手段によって算出された平均値の逆数に比例するようにすることができる。
【００２５】
前記平均値算出手段は、トーン変換画像を複数のブロックに分割し、各ブロックの画素値の平均を算出して重み付け加算した値を、平均値として算出するようにすることができる。
【００２６】
前記縮小画像生成手段は、変換手段によって生成されたトーン変換画像を縮小して第１の縮小画像を生成し、第１の縮小画像の画素値の平均値の逆数に比例する値を第１の縮小画像の各画素値に乗算して、第２の縮小画像を生成し、生成した第２の縮小画像を縮小画像とするようにすることができる。
【００２７】
本発明の画像処理装置は、変換手段に供給される現フレームの画像の画素値を対数変換する対数変換手段と、補正手段によって生成されたコントラスト補正画像の画素値を対数逆変換する対数逆変換手段をさらに含むことができる。
【００２８】
本発明の画像処理装置は、補正手段によって生成されたコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。
【００２９】
前記輝度域情報算出手段は、ガンマ変換手段によってガンマ変換されたコントラスト補正画像の輝度成分の上限値および下限値を、輝度域情報として算出するようにし、前記正規化手段は、輝度域情報算出手段によって算出されたコントラスト補正画像の輝度成分の上限値および下限値が、それぞれ、想定される再現デバイスが再現可能な輝度成分の範囲の上限値および下限値に一致するように、コントラスト補正画像の画素値を変換するようにすることができる。
【００３０】
前記保持手段は、輝度域情報算出手段によって算出された１フレーム前の輝度域情報も保持するようにすることができる。
【００３１】
前記画像は、輝度成分を有する画素から構成されたモノクロ画像とすることができる。
【００３２】
前記画像は、複数の色成分を有する画素から構成されたカラー画像とすることができる。
【００３３】
前記変換手段は、カラー画像を元にして、輝度成分を有する画素から構成された第１の輝度画像を生成し、第１の輝度画像をトーン変換輝度画像に変換し、トーン変換輝度画像に基づいて、複数の色成分を有する画素から構成されたカラーのトーン変換画像を生成するようにすることができる。
【００３４】
前記変換手段は、カラー画像の各色成分の値と第１の輝度画像の輝度成分の値の差分値を算出し、差分値と変換関数の傾きとの積を算出し、積をトーン変換輝度画像の各色成分の値に加算して、トーン変換画像の各色成分を算出するようにすることができる。
【００３５】
前記変換手段は、第１の輝度画像の輝度成分の平均値を算出し、平均値の逆数に比例する係数を算出し、係数をカラー画像の各色成分の値に乗算して、トーン変換画像の各色成分を算出するようにすることができる。
【００３６】
前記補正手段は、変換手段によって生成されたカラーのトーン変換画像を元にして、輝度成分を有する画素から構成された第２の輝度画像を生成し、第２の輝度画像、保持手段によって保持された縮小画像、および変換関数の傾きに基づき、変換手段によって生成されたカラーのトーン変換画像のコントラストを補正して、カラーのコントラスト補正画像を生成するようにすることができる。
【００３７】
本発明の画像処理装置は、補正手段によって生成されたカラーのコントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像を元にして、輝度成分を有する画素から構成された第３の輝度画像を生成し、第３の輝度画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段によって算出された輝度域情報に基づき、ガンマ変換手段によってガンマ変換されたカラーのコントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段とをさらに含むことができる。
【００３８】
本発明の画像処理方法は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持ステップと、保持ステップの処理で保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む。
【００３９】
本発明の記録媒体は、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持ステップと、保持ステップの処理で保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００４０】
本発明のプログラムは、現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、変換ステップの処理で生成されたトーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、縮小画像生成ステップの処理で生成された縮小画像、および１種類以上の変換関数それぞれの傾きを保持する保持ステップと、保持ステップの処理で保持された１種類以上の変換関数それぞれの傾きの積と縮小画像に基づき、変換ステップの処理で生成されたトーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップとを含む処理をコンピュータに実行させる。
【００４１】
【発明の実施の形態】
以下、本発明の一実施の形態であるディジタルビデオカメラについて、図面を参照して説明する。
【００４２】
図１は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。このディジタルビデオカメラ１は、被写体を撮影して、画素値のダイナミックレンジが通常よりも広い広ＤＲ画像を生成し、所定の記憶媒体に記録するとともに、構図決定のファインダや映像モニタを兼ねる内蔵されたディスプレイ、あるいは外部機器に対しては、広ＤＲ画像を、画素値のダイナミックレンジがより狭い狭ＤＲ画像に変換して出力するものである。
【００４３】
ディジタルビデオカメラ１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００４４】
光学系は、被写体の光画像を集光するレンズ２、光画像の光量を調整する絞り３、および集光された光画像を所定のフレームレートで光電変換して広ＤＲ画像を生成するCCDイメージセンサ４から構成される。なお、以下においては、CCDイメージセンサ４が生成する広ＤＲ画像に関しては、１チャンネルの輝度信号からなるモノクロ画像である場合と、多チャンネル（例えば、３チャンネル）の輝度信号からなるカラー画像である場合の２通りについて説明する。
【００４５】
信号処理系は、CCDイメージセンサ４から出力された広ＤＲ画像をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（CDS）５、相関２重サンプリング回路５によってノイズが除去された広ＤＲ画像を、例えば１４乃至１６ビット程度のビット幅を有する値にＡＤ変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６が出力する広ＤＲ画像に対して階調圧縮処理を施すDSP(Digital Signal Processor)７から構成される。
【００４６】
Ａ／Ｄコンバータ６が出力する１４乃至１６ビットのビット幅を有する広ＤＲ画像のように、階調が多い画像信号は、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現しきれないが、DSP７による階調圧縮処理により、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現できる範囲に階調を圧縮されるようになされている。DSP７については、図２以降を参照して詳述する。
【００４７】
ディジタルビデオカメラ１の記録系は、DSP７から入力される広ＤＲ画像または狭ＤＲ画像をエンコードしてメモリ１３に記録したり、メモリ１３に記憶されている符号データを読み出してデコードし、DSP７に供給したりするCODEC(Compression/Decompression)１２、および、エンコードされた広ＤＲ画像または狭ＤＲ画像を記憶する、磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１３から構成される。
【００４８】
表示系は、DSP７から供給される狭ＤＲ画像をＤＡ変換するＤ／Ａコンバータ９、Ｄ／Ａコンバータ９が出力するアナログの狭ＤＲ画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してディスプレイ１１に出力するビデオエンコーダ１０、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１１から構成される。
【００４９】
制御系は、CCDイメージセンサ４乃至DSP７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）８、ユーザからの各種の操作を受け付けるインプットデバイス１５、およびディジタルビデオカメラ１の全体を制御するCPU(Central Processing Unit)１４から構成される。
【００５０】
次に、ディジタルビデオカメラ１の動作の概要について説明する。被写体の光学画像（入射光）は、レンズ２および絞り３を介してCCDイメージセンサ４に入射され、CCDイメージセンサ４によって光電変換され、得られた広ＤＲ画像の画素となる電気信号は、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、DSP７に供給される。
【００５１】
DSP７は、Ａ／Ｄコンバータ６から入力された広ＤＲ画像に対して階調圧縮処理を施し、狭ＤＲ画像を生成して、Ｄ／Ａコンバータ９またはCODEC１２、あるいは両方に出力する。Ｄ／Ａコンバータ９に供給された狭ＤＲ画像は、ＤＡ変換され、ビデエンコーダ１０により通常のビデオ信号に変換されて、その画像がディスプレイ１１に表示される。一方、CODEC１２に供給された狭ＤＲ画像は、符号化されてメモリ１３に記録される。以上で、ディジタルビデオカメラ１の動作概要の説明を終了する。
【００５２】
次に、本発明の主眼となるDSP７について説明する。
【００５３】
図２は、モノクロ画像である広ＤＲ画像に対応したDSP７の第１の構成例を示している。以下、DSP７に入力されるモノクロの広ＤＲ画像を、広ＤＲ輝度画像Ｌと記述する。また、広ＤＲ輝度画像の画素値（すなわち、輝度値）を、Ｌ（ｐ）と記述する。ここで、ｐは、ｐ＝（ｘ，ｙ）のように、画像における画素位置を示すベクトルまたは座標である。したがって、Ｌ（ｐ）は、画素位置と輝度値の両方の情報を含むものとして、広ＤＲ輝度画像を表すＬとは区別して用いることとする。後述するその他の画像とその画素値についても同様である。
【００５４】
DSP７には、広ＤＲ輝度画像Ｌの輝度Ｌ（ｐ）がラスタ順に入力されるものとする。
【００５５】
DSP７の第１の構成例において、対数変換部２１は、入力される輝度Ｌ（ｐ）を対数変換し、得られる対数輝度logＬ（p）をトーンカーブ補正部２２に出力する。トーンカーブ補正部２２は、入力される対数輝度logＬ（ｐ）に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数輝度logＬc（ｐ）を縮小画像生成部２３およびコントラスト補正部２５に出力する。また、トーンカーブ補正部２２は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部２５に出力する。以下、適用したトーンカーブの傾きを示す代表値γを、単に代表値γとも記述する。
【００５６】
縮小画像生成部２３は、トーンカーブ補正部２２から入力される１フレーム分の対数輝度logＬc（ｐ）に基づき、縮小画像logＬclを生成して、縮小画像メモリ２４に保持させる。
【００５７】
コントラスト補正部２５は、トーンカーブ補正部２２から入力される現フレームの対数輝度logＬc（ｐ）のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ２４に保持されている１フレーム前の縮小画像logＬclに基づいて補正し、得られる対数輝度logＬu（p）を対数逆変換部２６に出力する。対数逆変換部２６は、コントラストが補正された対数輝度logＬu（ｐ）を、対数逆変換して、得られる通常軸の輝度Ｌu（ｐ）をガンマ補正部２７に出力する。
【００５８】
ガンマ補正部２７は、対数逆変換部２６から入力される輝度Ｌu（ｐ）に対して、再生デバイス（例えば、ディスプレイ１１）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の輝度Ｙ（ｐ）を輝度情報算出部２８および輝度域正規化部３０に出力する。輝度情報算出部２８は、ガンマ補正部２７から入力される１フレーム分の輝度Ｙ（ｐ）に対して、それぞれ、輝度の分布を示す輝度域情報を算出して輝度域情報メモリ２９に保持させる。ここで、輝度域情報とは、１フレームにおける輝度の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙdと、最も明るい方に近い輝度Ｙbを輝度域情報［Ｙd，Ｙb］として算出するようにする。
【００５９】
輝度域正規化部３０は、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２７から入力される現フレームの輝度Ｙ（ｐ）を、その分布範囲が再生デバイス（例えば、ディスプレイ１１）が表現可能な範囲に合致するように変換し、得られる輝度Ｙn（ｐ）を、狭ＤＲ画像の画素値として後段に出力する。
【００６０】
以上説明したように、DSP７の第１の構成例による階調圧縮処理の過程において、縮小画像生成部２３により縮小画像logＬclが生成され、輝度域情報算出部２８により輝度域情報［Ｙd，Ｙb］が算出される。この縮小画像logＬclおよび輝度域情報［Ｙd，Ｙb］を以下、中間情報と記述する。
【００６１】
DSP７によれば、入力される広ＤＲ輝度画像の各フレーム対して中間情報が算出され、算出された中間情報が、１フレーム後の広ＤＲ輝度画像を処理するために用いられる。
【００６２】
一般に、階調圧縮を効果的に施すためには、画像全体または画像上で広域な範囲の輝度値に基づいて算出された情報が必要であるが、当該情報を算出するまでのタイムラグが大きくなることが実装上の問題となる。そこで、DSP７では、当該情報として、時間的に非常に変化し難いものを選ぶことによって、１フレーム前の中間情報を現フレームに対する階調圧縮に利用する。このような構成をとることにより、実装してもメモリ使用量や回路規模が大きくなることを回避することができる。
【００６３】
次に、DSP７の第１の構成例の各部の詳細について、図面を参照して説明する。
【００６４】
図３は、トーンカーブ補正部２２の第１の構成例を示している。当該第１の構成例において、LUTメモリ４１には、図４に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、LUTと記述する）とトーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部４２は、LUTメモリ４１に保持されているLUTに基づいて対数輝度logＬ（ｐ）を対数輝度logＬc（ｐ）に補正する。
【００６５】
図４は、トーンカーブの一例を示しており、横軸が入力輝度Ｌ（ｐ）を、縦軸がトーンカーブ補正後の輝度Ｌc（ｐ）を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、後述するコントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な狭ＤＲ画像が得られる。
【００６６】
なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。図４に示されたトーンカーブの場合、代表値γ＝０．６７である。
【００６７】
図５は、トーンカーブ補正部２２の第２の構成例を示している。当該第２の構成例は、第１の構成例のように予め用意されているLUTを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度logＬ（ｐ）を、対数輝度logＬc（ｐ）に補正するものである。第２の構成例において、平均輝度算出部５１は、１フレーム分の対数輝度logＬ（ｐ）の平均値μを算出する。除算器５２は、所定の定数logＬTを平均値μで除算し、代表値γを算出する。γメモリ５３は、除算器５２から入力された代表値γを保持する。乗算器５４は、現フレームの対数輝度logＬ（ｐ）に、γメモリ５３に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。
【００６８】
ここで、所定の定数logＬTを、中庸レベルの対数輝度と定めておけば、１フレーム分の対数輝度logＬ（ｐ）の平均値が、logＬTと等しい値のトーンカーブ補正後の対数輝度logＬc（ｐ）に変換されることになる。
【００６９】
代表値γはフレーム毎に算出されるが、現実的には各フレームの対数輝度logＬ（ｐ）の平均値μに基づいて決定されるので、前後のフレームではあまり変化がないことが期待できる。したがって、この代表値γも、上述した縮小画像logＬclおよび輝度域情報［Ｙd，Ｙb］と同様に、１フレーム前のものを、現フレームに対するトーンカーブ補正に用いるようにしている。以下、代表値γも、中間情報に含めることにする。
【００７０】
図６は、トーンカーブ補正部２２の第３の構成例を示している。当該第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、LUTメモリ６１には、図４に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部６２は、LUTメモリ６１に保持されているLUTに基づいて対数輝度logＬ（ｐ）を、対数輝度logＬc'（ｐ）に補正して平均輝度算出部６３および乗算器６６に出力する。
【００７１】
平均輝度算出部６３は、１フレーム分の対数輝度logＬc'（ｐ）の平均値μを算出して、除算器６４に出力する。除算器６４は、所定の定数logＬTを平均値μで除算し、代表値γ2を算出し、γ2メモリ６５に保持させる。乗算器６６は、現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ６５に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。乗算器６７は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）として後段のコントラスト補正部２５に出力する。
【００７２】
次に、図７は、縮小画像生成部２３の構成例を示している。縮小画像生成部２３のソート部７１は、前段のトーンカーブ補正部２２から入力された１フレーム分の対数輝度logＬc（ｐ）を、画像全体をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部７２−１乃至７２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部７２−１に供給され、２番目のブロックに分類されるものは平均値計算部７２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部７２−Ｎに供給される。以下、平均値計算部７２−１乃至７２−Ｎを個々に区別する必要がない場合、単に平均値計算部７２と記述する。
【００７３】
平均値計算部７２−ｉ（ｉ＝１，２，…，Ｎ）は、１フレーム分の対数輝度logＬc（ｐ）のうち、ｉ番目のブロックに分類される対数輝度logＬc（ｐ）の平均値を算出して、合成部７３に出力する。合成部７３は、平均値計算部７２−ｉからそれぞれ入力される対数輝度logＬc（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像logＬclを生成し、後段の縮小画像メモリ２４に保持させる。
【００７４】
図８は、平均値計算部７２の構成例を示している。平均値計算部７２の加算器８１は、前段のソート部７１から入力される対数輝度logＬc（ｐ）に、レジスタ（ｒ）８２が保持する値を加算して、レジスタ（ｒ）８２が保持する値を更新する。除算器８３は、レジスタ８２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の対数輝度logＬc（ｐ）の平均値を算出する。
【００７５】
次に、図９は、コントラスト補正部２５の構成例を示している。コントラスト補正部２５の補間位置指定部９１は、前段のトーンカーブ補正部２２から入力された対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部９２に出力する。補間部９２は、縮小画像メモリ２４に保持されている１フレーム前の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出してコントラスト強調部９４に出力する。
【００７６】
ゲイン値設定部９３は、トーンカーブ補正部２２からの前フレームに対する代表値γと、現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。コントラスト強調部９４は、現在フレームの対数輝度logＬc（ｐ）を、ゲイン値ｇ（ｐ）および縮小画像の補間値logＬcl（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度logＬu（ｐ）を算出する。
【００７７】
図１０は、補間部９２の構成例を示している。補間部９２は、１フレーム前の縮小画像logＬclの補間位置ｐの近傍の４×４画素を用いた双３次補間により、補間位置ｐに対応する画素logＬcl（ｐ）を補間するものである。
【００７８】
近傍選択部１０１は、補間位置ｐの入力を受けて、縮小画像メモリ２４に保持されている１フレーム前のｍ×ｎ画素の縮小画像logＬclから、補間位置ｐの近傍の４×４画素の画素値ａ[4][4]を取得して、積和部１０４に出力する。ここでａ[i][j]の表記は、画素値ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部１０１は、取得した画素値ａ[4][4]と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部１０２または垂直係数算出部１０３に出力する。
【００７９】
ここで、補間位置ｐ、近傍の画素値ａ[4][4]、位置ずれ量ｄｘ，ｄｙの関係について、図１１を参照して説明する。
【００８０】
図１１のｍ×ｎのマス目は、ｍ×ｎ画素の縮小画像logＬclを表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像logＬcl上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（画像logＬcの水平画素数／ｍ，画像logＬcの垂直画素数／ｎ）である。
【００８１】
補間位置ｐに対応する縮小画像上の位置ｑから近傍画素を得るには、図１１においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像logＬclの画素を取得すればよい。斜線で示された領域内の４×４の”＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。
【００８２】
図１０に戻る。水平係数算出部１０２は、近傍選択部１０１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋx[4]を計算する。同様に、垂直係数算出部１０３は、近傍選択部１０１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋy[4]を計算する。
【００８３】
例えば、水平方向の３次補間係数ｋx[4]は、次式（１）を用いて計算する。
【数１】
また、例えば、垂直方向の３次補間係数ｋy[4]は、次式（２）を用いて計算する。
【数２】
なお、３次補間係数ｋx[4]，ｋy[4]の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。
【００８６】
積和部１０４は、近傍の画素値ａ[4][4]と、水平方向の補間係数ｋx[4]および垂直方向の補間係数ｋy[4]との積和計算により、縮小画像logＬclの補間位置ｐの補間値Ｌcl（ｐ）を、次式（３）を用いて算出する。
【数３】
次に、ゲイン値設定部９３について説明する。ゲイン値設定部９３は、上述したように、後段のコントラスト強調部９４により低周波数域以外が強調される際の強調量を調節するゲイン値ｇ（ｐ）を設定するものである。ゲイン値ｇ（ｐ）＝１である場合、コントラスト強調部９４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。また、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。
【００８８】
ゲイン値設定の概略を説明する。画像のコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば、強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。
【００８９】
そこで、ゲイン値設定部９３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。
【００９０】
また、入力される対数輝度logＬc（ｐ）が白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力される対数輝度logＬc（ｐ）が白レベルまたは黒レベルに近くなるにしたがって、ゲイン値が１に近づくようする。
【００９１】
すなわち、代表値γの逆数１／γ＝ｇ0として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。
ｇ（ｐ）＝１＋（ｇ0−１）×attn（ｐ）…（４）
ここで、attn（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。
【数４】
なお、式（５）において、logＬgrayは、中庸なグレイレベルの対数輝度を示し、logＬwhiteは、白クリップレベル（最大の白レベル）の対数輝度を示しており、どちらも予め設定されている定数である。
【００９３】
図１２は、ゲイン値設定部９３の構成例を示している。除算器１１１は、前段から入力される代表値γの逆数１／γ＝ｇ0を算出して減算器１１２に出力する。減算器１１２は、（ｇ0−１）を演算して乗算器１１８に出力する。
【００９４】
減算器１１３は、対数輝度logＬc（ｐ）と、中庸なグレイレベルの対数輝度logＬgrayの差（logＬc（ｐ）−logＬgray）を演算して、除算器１１５に出力する。減算器１１４は、白クリップレベルの対数輝度logＬwhiteと、対数輝度logＬgrayの差（logＬwhite−logＬgray）を演算して、除算器１１５に出力する。除算器１１５は、減算器１１３の出力（logＬc（ｐ）−logＬgray）を、減算器１１４の出力（logＬwhite−logＬgray）で除算して、絶対値計算器１１６に出力する。絶対値計算器１１６は、除算器１１５の出力の絶対値を計算してクリップ器１１７に出力する。クリップ器１１７は、絶対値計算器１１６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器１１６の出力が１を超過しない場合、その値をそのまま、attn（ｐ）として乗算器１１８に出力する。
【００９５】
乗算器１１８は、減算器１１２の出力に、クリップ器１１７の出力を乗算して、加算器１１９に出力する。加算器１１９は、乗算器１１８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。
【００９６】
次に、図１３は、コントラスト強調部９４の構成例を示している。減算器１２１は、対数輝度logＬc（ｐ）と、縮小画像の補間値logＬcl（ｐ）との差（logＬc（ｐ）−logＬcl（ｐ））を演算して、乗算器１２２に出力する。乗算器１２２は、減算器１２１の出力とゲイン値ｇ（ｐ）との積を演算して、加算器１２３に出力する。加算器１２３は、乗算器１２２の出力に、縮小画像の補間値logＬcl（ｐ）を加算して、コントラスト補正がなされた対数輝度logＬu（ｐ）を後段に出力する。
【００９７】
なお、縮小画像の補間値logＬcl（ｐ）は、ｍ×ｎ画素の縮小画像を元にして補間された値であるから、縮小前の画像logＬcのごく低周波域成分だけをもつものである。
【００９８】
つまり、減算器１２１の出力（logＬc（ｐ）−logＬcl（ｐ））は、元の対数輝度logＬc（ｐ）からごく低域成分だけを差し引いたものである。このように輝度信号をごく低周波域の成分とそれ以外の成分の２つに分離し、そのうち、低周波域成分以外をゲイン値ｇ（ｐ）を乗算して強調した後、再び加算器１２３により合成したものが、コントラスト補正がなされた対数輝度logＬu（ｐ）である。
【００９９】
このように、コントラスト強調部９４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになっている。したがって、コントラスト補正がなされた対数輝度logＬu（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。
【０１００】
次に、輝度域情報算出部２８および輝度域正規化部３０について説明する。
【０１０１】
まず、輝度域正規化処理の概要を説明する。DSP７による階調圧縮処理の目的は広ＤＲ輝度画像を、ディスプレイ１１などの再生デバイスのダイナミックレンジに適合した狭ＤＲ画像に変換することであり、そのために、再生デバイスのダイナミックレンジにあわせたトーンカーブがトーンカーブ補正部２２に予め用意されている。これにより、撮影された大多数の広ＤＲ輝度画像を、適切に階調圧縮することができる。
【０１０２】
しかしながら、撮影する被写体によっては、入射光のダイナミックレンジが元々それほど大きくないこともあり得るので、その画像に階調圧縮処理を施した場合、必要以上に階調圧縮が行われてしまい、再生デバイスの再生可能なダイナミックレンジよりも狭いレンジに、輝度が押し込められてしまうこともあり得る。
【０１０３】
これを抑止するために、輝度域正規化部３０では、階調圧縮処理の最終段階の処理として、ガンマ補正後の輝度信号Ｙ（ｐ）のダイナミックレンジが、再生デバイスが再生可能なダイナミックレンジに一致するように、ガンマ補正後の輝度信号Ｙ（ｐ）を正規化する。
【０１０４】
図１４は、輝度域正規化部３０による輝度域正規化処理の様子を示している。同図の折れ線グラフは、横軸に輝度域正規化前のガンマ補正された輝度Ｙを示し、縦軸に輝度域正規化後の輝度Ｙnを示しており、階調変換曲線αは、輝度ＹをＹnに変換するときに用いる変換テーブルを示している。
【０１０５】
階調変換曲線αの求め方について説明する。折れ線グラフの下に示された斜線の図形１３１は、輝度域正規化前の輝度画像Ｙのヒストグラムの一例である。この例においては、ガンマ補正が行われた輝度域正規化前の段階で、ディジタルビデオカメラ１が生成し得る最低輝度Ｙminから最高輝度Ｙmaxまでのダイナミックレンジよりも狭いダイナミックレンジに階調圧縮された輝度画像が得られている。
【０１０６】
このダイナミックレンジのままで再生デバイスに出力すると、再生デバイスの再生可能なダイナミックレンジが有効に使われないので、輝度域正規化前の輝度画像Ｙの輝度分布が、再生デバイスのダイナミックレンジの全域に亘って分布するように正規化を実行する。
【０１０７】
そのためにまず、輝度域正規化前の輝度画像Ｙのヒストグラム形状１３１が分布する範囲［Ｙd，Ｙb］を、輝度域正規化前の輝度画像Ｙの輝度域情報として算出する。そして、再生デバイスの輝度域［Ｙnb，Ｙnc］の上下端よりも若干内側の輝度Ｙna，Ｙnsを設定し、横軸の輝度｛Ｙmin，Ｙd，Ｙb，Ｙmax｝が縦軸の輝度｛Ｙnb，Ｙna，Ｙns，Ｙnc｝に対応するように階調変換曲線αを決定する。
【０１０８】
この階調変換曲線αを用いて階調変換を行えば、折れ線グラフの左に示された斜線の図形１３２のようなヒストグラム形状をもつ輝度画像Ｙnを得ることができる。
【０１０９】
なお、輝度域正規化前の輝度域［Ｙd，Ｙb］を、再生デバイスの輝度域［Ｙnb，Ｙnc］よりも若干狭い輝度域［Ｙna，Ｙns］に写像するように、階調変換曲線αを決定したが、その理由は、輝度Ｙnb，Ｙnc付近での急激な輝度クリッピングが画像上に現れないようにするためである。
【０１１０】
ここで、輝度Ｙna，Ｙnsは、輝度Ｙnb，Ｙncに基づいて予め適切な値を設定されているものとする。
【０１１１】
なお、輝度域正規化前の輝度域［Ｙd，Ｙb］の取得は、輝度域情報算出部２８が行い、階調変換曲線αの決定および輝度Ｙn（ｐ）の算出は、輝度域正規化部３０が実行する。
【０１１２】
図１５は、輝度域情報算出部２８の構成例を示している。輝度域情報算出部２８において、間引き部１４１は、ガンマ補正部２７から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のMINソート部１４２およびMAXソート部１４５に供給する。
【０１１３】
MINソート部１４２は、比較部１４３とレジスタ１４４の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ１４４−１乃至１４４−ｋに保持するようになされている。
【０１１４】
例えば、比較部１４３−１は、間引き部１４１からの輝度Ｙ（ｐ）とレジスタ１４４−１の値を比較し、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも小さい場合、間引き部１４１からの輝度Ｙ（ｐ）を用いてレジスタ１４４−１の値を更新する。反対に、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも小さくない場合、間引き部１４１からの輝度Ｙ（ｐ）は後段の比較部１４３−２に供給される。
【０１１５】
比較部１４３−２は、比較部１４３−１からの輝度Ｙ（ｐ）とレジスタ１４４−２の値を比較し、比較部１４３−１からの輝度Ｙ（ｐ）がレジスタ１４４−２の値よりも小さい場合、比較部１４３−１からの輝度Ｙ（ｐ）を用いてレジスタ１４４−２の値を更新する。反対に、比較部１４３−１からの輝度Ｙ（ｐ）がレジスタ１４４−２の値よりも小さくない場合、比較部１４３−１からの輝度Ｙ（ｐ）は後段の比較部１４３−３に供給される。
【０１１６】
比較部１４３−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ１４４−１に輝度Ｙ（ｐ）の最小値Ｙminが保持され、レジスタ１４４−２乃至１４４−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ１４４−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙdとして後段に出力される。
【０１１７】
MAXソート部１４５は、比較部１４６とレジスタ１４７の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ１４７−１乃至１４７−ｋに保持するようになされている。
【０１１８】
例えば、比較部１４６−１は、間引き部１４１からの輝度Ｙ（ｐ）とレジスタ１４７−１の値を比較し、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４４−１の値よりも大きい場合、間引き部１４１からの輝度Ｙ（ｐ）を用いてレジスタ１４７−１の値を更新する。反対に、間引き部１４１からの輝度Ｙ（ｐ）がレジスタ１４７−１の値よりも大きくない場合、間引き部１４１からの輝度Ｙ（ｐ）は後段の比較部１４６−２に供給される。
【０１１９】
比較部１４６−２は、比較部１４６−１からの輝度Ｙ（ｐ）とレジスタ１４７−２の値を比較し、比較部１４６−１からの輝度Ｙ（ｐ）がレジスタ１４７−２の値よりも大きい場合、比較部１４６−１からの輝度Ｙ（ｐ）を用いてレジスタ１４７−２の値を更新する。反対に、比較部１４６−１からの輝度Ｙ（ｐ）がレジスタ１４７−２の値よりも大きくない場合、比較部１４６−１からの輝度Ｙ（ｐ）は後段の比較部１４６−３に供給される。
【０１２０】
比較部１４６−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ１４７−１に輝度Ｙ（ｐ）の最大値Ｙmaxが保持され、レジスタ１４７−２乃至１４７−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ１４７−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙbとして後段に出力される。
【０１２１】
なお、MINソート部１４２およびMAXソート部１４５に入力される輝度Ｙ（ｐ）は、間引き部１４１により間引きされたものであるので、間引きの間隔と、MINソート部１４２およびMAXソート部１４５の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば、上限および下限のそれぞれ１％等に相当する輝度Ｙd，Ｙbを得ることが可能になる。
【０１２２】
図１６は、輝度域正規化部３０の構成例を示している。輝度域正規化部３０は、上述したように、階調変換曲線αを決定し、階調変換曲線αを用いてガンマ補正後の輝度Ｙ（ｐ）を輝度域正規化後の輝度Ｙn（ｐ）に変換するものである。
【０１２３】
図１４に示されたように、階調変換曲線αは５本の線分で構成されているので、輝度域正規化部３０では、入力された輝度Ｙ（ｐ）がどの線分の範囲であるかを判別し、入力された輝度Ｙ（ｐ）に階調変換曲線αを構成する５本の線分のうちの１つを適用して、輝度域正規化後の輝度Ｙn（ｐ）に変換する。
【０１２４】
輝度域正規化部３０のセレクタ１５１は、入力端子ｉに入力される輝度Ｙ（ｐ）に基づき、入力端子ａ乃至ｈにそれぞれ入力される輝度Ｙmax，Ｙb，Ｙd，Ｙmin，Ｙnc，Ｙns，Ｙna，Ｙnbのうちの４つの輝度を、出力端子ｊ乃至ｍから出力する。この対応関係は、以下の通りである。
【数５】
減算器１５２は、出力端子ｋの出力と出力端子ｊの出力の差を演算して、除算器１５５に出力する。減算器１５３は、出力端子ｌの出力と減算器１５４の出力の差を演算して、除算器１５５に出力する。減算器１５４は、輝度Ｙ（ｐ）と出力端子ｍの出力との差を演算して、乗算器１５６に出力する。除算器１５５は、減算器１５２の出力と減算器１５３の出力の比を演算して乗算器１５６に出力する。乗算器１５６は、除算器１５５の出力と減算器１５４の出力の積を演算して、加算器１５７に出力する。加算器１５７は、出力端子ｊの出力と乗算器１５６の出力を加算して出力する。
【０１２６】
加算器１５７の出力Ｙn（ｐ）は、ガンマ補正後の輝度Ｙ（ｐ）に基づいて判別された階調変換曲線αの線分を示す次式（６）に示すとおりとなる。
【数６】
以上で、図２に示されたDSP７を構成する各部の説明を終了する。
【０１２８】
ところで、図６に示されたトーンカーブ補正部２２の平均輝度算出部６３と、図７に示された縮小画像生成部２３の平均輝度計算部７２が同様の計算を実行することに着目すれば、よりシンプルな回路構成で演算量を減少させることが可能である。具体的には、図２のトーンカーブ補正部２２、縮小画像生成部２３、縮小画像メモリ２４、およびコントラスト補正部２５を組み合わせて、図１７に示すような複合部を設ければよい。
【０１２９】
この複合部１６０は、図２に示されたトーンカーブ補正部２２、縮小画像生成部２３、縮小画像メモリ２４、およびコントラスト補正部２５と置換可能なものである。
【０１３０】
複合部１６０のLUTメモリ１６１には、図４に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部１６２は、上段から入力された対数輝度logＬ（ｐ）を、LUTメモリ１６１に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正して縮小画像生成部１６３および乗算器１７２に出力する。
【０１３１】
縮小画像生成部１６３は、対数輝度画像logＬc'をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度logＬc'（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ１６４に保持させる。
【０１３２】
平均輝度算出部６３は、第１の縮小画像メモリ１６４に保持されている１フレーム前の第１の縮小画像の画素値の平均値μを算出して、除算器１６６に出力する。除算器１６６は、所定の定数logＬTを平均値μで除算し、代表値γ2を算出し、γ2メモリ１６７に保持させる。乗算器１６８は、第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、γ2メモリ６５に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第２の縮小画像メモリ１６９に持させる。
【０１３３】
乗算器１７０は、テーブル参照部１６２から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ１６７に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。乗算器１７１は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）としてゲイン値設定部１７２に出力する。
【０１３４】
ゲイン値設定部１７２は、乗算器１７１から入力された前フレームに対する代表値γと、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。
【０１３５】
補間位置指定部１７３は、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部１７４に出力する。補間部１７４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出してコントラスト強調部１７５に出力する。
【０１３６】
コントラスト強調部１７５は、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）について、ゲイン値ｇ（ｐ）および縮小画像の補間値logＬcl（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度logＬu（ｐ）を算出する。
【０１３７】
この複合部１６０を用いれば、平均輝度算出部１６５は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像logＬcの画素の平均値を算出する図６の平均輝度算出部６３に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。
【０１３８】
次に、図１７に示された複合部１６０が適用されたDSP７の第１の構成例による総合的な階調圧縮処理について、図１８のフローチャートを参照して説明する。
【０１３９】
ステップＳ１において、DSP７は、入力された現フレームの広ＤＲ輝度画像Ｌを、１フレーム前の広ＤＲ輝度画像に対して算出され、保持されている中間情報（第２の縮小画像logＬc（ｐ）、代表値γ、輝度域情報［Ｙd，Ｙb］）を基づいて狭ＤＲ輝度画像Ｙnに変換する。また、DSP７は、現フレームの広ＤＲ輝度画像Ｌに対する中間情報を算出する。
【０１４０】
ステップＳ２において、DSP７は、算出した現フレームの広ＤＲ輝度画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広ＤＲ輝度画像に対する中間情報を更新する。
【０１４１】
ステップＳ３において、DSP７は、入力された現フレームの広ＤＲ輝度画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。
【０１４２】
ステップＳ１における画素単位の処理の詳細を、図１９のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置ｐ）に対して実行される。
【０１４３】
ステップＳ１１において、DSP７に注目画素（画素位置ｐ）の輝度Ｌ（ｐ）が入力される。ステップＳ１２において、対数変換部２１は、入力された輝度Ｌ（ｐ）を対数変換し、得られた対数輝度logＬ（ｐ）を複合部１６０に出力する。ステップＳ１３において、複合部１６０のテーブル参照部１６２は、対数変換部２１から入力された対数輝度logＬ（ｐ）を、LUTメモリ１６１に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正して縮小画像生成部１６３および乗算器１７２に出力する。これと同時に、LUTメモリ１６１は、トーンカーブの傾きの代表値γ1を乗算器１７１に出力する。乗算器１７１は、代表値γ1とγ2メモリ１６７に保持されている１フレーム前の第１の縮小画像に基づいて算出されたγ2の積を代表値γとしてゲイン値設定部１７２の出力する。
【０１４４】
ステップＳ１４において、縮小画像生成部１６３は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ2が算出される。また、生成された第１の縮小画像に算出された代表値γ2が乗算されて、第２の縮小画像logＬclが生成される。
【０１４５】
ステップＳ１５において、乗算器１７０は、テーブル参照部１６２から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ１６７に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。
【０１４６】
ステップＳ１６において、ゲイン値設定部１７２は、乗算器１７１から入力された前フレームに対する代表値γと、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。
【０１４７】
ステップＳ１７において、補間部１７４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出してコントラスト強調部１７５に出力する。ステップＳ１８において、コントラスト強調部１７５は、第２の縮小画像の補間値logＬcl（ｐ）およびゲイン値ｇ（ｐ）に基づき、トーンカーブ補正後の対数輝度logＬc（ｐ）の低周波域成分以外を強調し、その結果得られたコントラスト補正された対数輝度logＬu（ｐ）を後段の対数逆変換部２６に出力する。
【０１４８】
ステップＳ１９において、対数逆変換部２６は、コントラスト補正された対数輝度logＬu（Ｐ）を、通常軸の輝度Ｌu（Ｐ）に変換し、ガンマ補正部２７に出力する。ステップＳ２０において、ガンマ補正部２７は、所定のガンマ補正を行い、得られた輝度Ｙ（ｐ）を輝度域情報算出部２８および輝度域正規化部３０に出力する。
【０１４９】
ステップＳ２１において、輝度域情報算出部２８は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙd，Ｙb］を生成する。ステップＳ２２において、輝度域正規化部３０は、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２７から入力された輝度Ｙ（ｐ）を正規化して、輝度Ｙn（ｐ）を算出する。ステップＳ２３において、輝度域正規化部３０は、輝度Ｙn（ｐ）を、階調圧縮された狭ＤＲ輝度画像の画素値として出力する。以上で、図１８のステップＳ１の処理の詳細な説明を終了する。
【０１５０】
次に、図１８のステップＳ２の処理の詳細を、図２０のフローチャートを参照して説明する。ステップＳ３１において、縮小画像生成部１６３は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ１６４に保持されている第１の縮小画像を更新する。
【０１５１】
ステップＳ３２において、除算器１６６は、所定の定数logＬTを、平均輝度算出部１６５から入力された平均値μで除算して代表値γ2を算出し、算出した代表値γ2を用いて、γ2メモリ１６７に保持されている代表値γ2を更新する。
【０１５２】
ステップＳ３３において、乗算器１６８は、ステップＳ３１の処理で更新された第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、ステップＳ３２の処理で更新されたγ2メモリ６５に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第１の縮小画像メモリ１６９に保持されている第２の縮小画像logＬclを更新する。
【０１５３】
ステップＳ３４において、輝度域情報算出部２８は、１フレーム分の輝度Ｙ（ｐ）を元にして算出した輝度域情報［Ｙd，Ｙb］を用いて、輝度域情報メモリ２９に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］を更新する。以上で、図１８のステップＳ２の処理の詳細な説明を終了する。
【０１５４】
次に、図２１は、カラー画像である広ＤＲ画像に対応したDSP７の構成例を示している。なお、DSP７にラスタ順に入力される広ＤＲ画像は、全ての画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有しているのではなく、Ｒ，Ｇ，Ｂ成分のうちのいずれか１つを有しているものとする。以下、DSP７の第２の構成例に入力されるカラー画像である広ＤＲ画像を、広ＤＲ色モザイク画像と記述する。なお、広ＤＲ色モザイク画像の各画素がＲ，Ｇ，Ｂ成分のうちのいずれを有しているかは、画素位置によって決定されている。
【０１５５】
DSP７にラスタ順に入力される広ＤＲ色モザイク画像の画素値を、Ｌ（ｐ）と記述する。
【０１５６】
DSP７の当該第２の構成例において、デモザイク部２０１は、画素毎に異なる色成分を有する１フレーム分の画素値Ｌ（ｐ）を元に対し、全て画素がＲ，Ｇ，Ｂ成分を全て有するようにデモザイク処理を施して、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］を生成し、色バランス調整部２０２に出力する。以下、デモザイク部２０１から出力される色信号からなる画像を広ＤＲカラー画像と記述する。
【０１５７】
色バランス調整部２０２は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を生成する。なお、デモザイク部２０１および色バランス調整部２０２は、単板式CCDイメージセンサが搭載された一般的なディジタルビデオに実装されているものである。
【０１５８】
対数変換部２０３は、色バランス調整部２０２から入力される色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を対数変換し、得られる対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］をトーンカーブ補正部２０４に出力する。トーンカーブ補正部２０４は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］を縮小画像生成部２０５およびコントラスト補正部２０７に出力する。また、トーンカーブ補正部２０４は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部２０７に出力する。
【０１５９】
縮小画像生成部２０５は、トーンカーブ補正部２０４から入力される１フレーム分の対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］を元に、縮小画像logＬclを生成して、縮小画像メモリ２０６に保持させる。
【０１６０】
コントラスト補正部２０７は、トーンカーブ補正部２０４から入力される現フレームの対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ２０６に保持されている１フレーム前の縮小画像logＬclに基づいて補正し、得られる対数色信号［logＲu（ｐ），logＧu（ｐ），logＢu（ｐ）］を対数逆変換部２０８に出力する。対数逆変換部２０８は、コントラストが補正された対数色信号［logＲu（ｐ），logＧu（ｐ），logＢu（ｐ）］を、対数逆変換して、得られる通常軸の色信号［Ｒu（ｐ），Ｇu（ｐ），Ｂu（ｐ）］をガンマ補正部２０９に出力する。
【０１６１】
ガンマ補正部２０９は、対数逆変換部２０８から入力される色信号［Ｒu（ｐ），Ｇu（ｐ），Ｂu（ｐ）］に対して、再生デバイス（例えば、ディスプレイ１１）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の色信号［Ｒg（ｐ），Ｇu（ｐ），Ｂg（ｐ）］を輝度情報算出部２１０および輝度域正規化部２１２に出力する。輝度情報算出部２１０は、ガンマ補正部２０９から入力される１フレーム分の色信号［Ｒg（ｐ），Ｇu（ｐ），Ｂg（ｐ）］を輝度Ｙ（ｐ）に変換した後、輝度Ｙ（ｐ）の分布を示す輝度域情報を算出して輝度域情報メモリ２１１に保持させる。ここで、輝度域情報とは、１フレームにおける輝度Ｙ（ｐ）の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙdと、最も明るい方に近い輝度Ｙbを輝度域情報［Ｙd，Ｙb］として算出するようにする。
【０１６２】
輝度域正規化部２１２は、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２０９から入力される現フレームの色信号［Ｒg（ｐ），Ｇu（ｐ），Ｂg（ｐ）］を、その分布範囲が再生デバイス（例えば、ディスプレイ１１）が表現可能な範囲に合致するように変換し、得られる色信号［Ｒn（ｐ），Ｇn（ｐ），Ｂn（ｐ）］を、カラー画像である狭ＤＲ画像の画素値として後段に出力する。
【０１６３】
以下説明したように、カラー画像に対応するDSP７の第２の構成例は、デモザイク部２０１および色バランス部２０２が追加されていること以外、図２に示されたモノクロ画像に対応する第１の構成例とほぼ同様であるが、各部の内部の構成がカラー画像に対応するために若干変更されている。
【０１６４】
図２２は、トーンカーブ補正部２０４の第１の構成例を示している。当該第１の構成例において、輝度生成部２２１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器２２２−Ｒ乃至２２２−Ｂおよびテーブル参照部２２４に出力する。
【０１６５】
減算器２２２−Ｒは、対数色信号logＲb（ｐ）から対数輝度logＬb（ｐ）を減算して、乗算器２２５−Ｒに出力する。LUTメモリ２２３には、図４に示されたようなトーンカーブに相当するLUTとトーンカーブの傾きを示す代表値γが予め保持されている。テーブル参照部２２４は、LUTメモリ２２３に保持されているLUTに基づいて対数輝度logＬ（ｐ）を対数輝度logＬc（ｐ）に補正し、加算器２２６−Ｒ乃至２２６−Ｂに出力する。
【０１６６】
乗算器２２５−Ｒは、減算器２２２−Ｒの出力に、LUTメモリ２２３から入力される代表値γを乗算して、加算器２２６−Ｒに出力する。加算器２２６−Ｒは、乗算器２２５−Ｒの出力と、対数輝度logＬc（ｐ）との和を演算して、トーンカーブ補正後の対数色信号logＲc（ｐ）として後段に出力する。
【０１６７】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１６８】
図２３は、トーンカーブ補正部２０４の第２の構成例を示している。当該第２の構成例において、輝度生成部２３１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、平均輝度算出部２３２に出力する。平均輝度算出部２３２は、１フレーム分の対数輝度logＬ（ｐ）の平均値μを算出して、除算器２３３に出力する。除算器２３３は、所定の定数logＬTを平均値μで除算して代表値γを算出し、γメモリ２３４に保持させる。
【０１６９】
乗算器２３５−Ｒは、現フレームの対数色信号logＲb（ｐ）に、γメモリ２３４に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数色信号logＲc（ｐ）を算出する。
【０１７０】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１７１】
図２４は、トーンカーブ補正部２０４の第３の構成例を示している。当該第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、輝度生成部２４１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器２４２−Ｒ乃至２４２−Ｂおよびテーブル参照部２４４に出力する。
【０１７２】
減算器２４２−Ｒは、対数色信号logＲb（ｐ）から対数輝度logＬb（ｐ）を減算して、乗算器２５０−Ｒに出力する。LUTメモリ２４３には、図４に示されたようなトーンカーブに相当するLUTとトーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部２４４は、LUTメモリ２４３に保持されているLUTに基づいて対数輝度logＬ（ｐ）を、対数輝度logＬc'（ｐ）に補正して平均輝度算出部２４５および乗算器２４９に出力する。
【０１７３】
平均輝度算出部２４５は、１フレーム分の対数輝度logＬc'（ｐ）の平均値μを算出して、除算器２４６に出力する。除算器２４６は、所定の定数logＬTを平均値μで除算して代表値γ2を算出し、γ2メモリ２４７に保持させる。乗算器２４８は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）として後段のコントラスト補正部２０７に出力する。
【０１７４】
乗算器２４９は、現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ２４７に保持されている１フレーム前の代表値γ2を乗算してトーンカーブ補正後の対数輝度logＬc（ｐ）を算出市、加算器２５１−Ｒ乃至２５１−Ｂに出力する。
【０１７５】
乗算器２５０−Ｒは、減算器２４２−Ｒの出力に、乗算器２４８から入力される代表値γを乗算して、加算器２５１−Ｒに出力する。加算器２５１−Ｒは、乗算器２５０−Ｒの出力と、乗算器２４９の出力の積を演算し、トーンカーブ補正後の対数色信号logＲc（ｐ）として後段に出力する。
【０１７６】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１７７】
次に、図２５は、縮小画像生成部２０５の構成例を示している。縮小画像生成部２０５の輝度生成部２６１は、入力されるトーンカーブ補正後の対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］の線形和を演算することにより対数輝度logＬc（ｐ）を生成し、ソート部２６２に出力する。
【０１７８】
ソート部２６２は、対数輝度logＬc（ｐ）を、画像をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部２６３−１乃至２６３−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部２６３−１に供給され、２番目のブロックに分類されるものは平均値計算部２６３−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部２６３−Ｎに供給される。
【０１７９】
平均値計算部２６３−ｉ（ｉ＝１，２，…，Ｎ）は、１フレーム分の対数輝度logＬc（ｐ）のうち、ｉ番目のブロックに分類される対数輝度logＬc（ｐ）の平均値を算出して、合成部２６４に出力する。合成部２６４は、平均値計算部２６３−ｉからそれぞれ入力される対数輝度logＬc（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像logＬclを生成し、後段の縮小画像メモリ２０６に保持させる。
【０１８０】
次に、図２６は、コントラスト補正部２０７の構成例を示している。コントラスト補正部２５の輝度生成部２７０は、入力されるトーンカーブ補正後の対数色信号［logＲc（ｐ），logＧc（ｐ），logＢc（ｐ）］の線形和を演算することにより対数輝度logＬc（ｐ）を生成し、補間位置指定部２７１およびゲイン値設定部２７３に出力する。
【０１８１】
補間位置指定部２７１は、対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部２７２に出力する。補間部２７２は、縮小画像メモリ２０６に保持されている１フレーム前の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出して、減算器２７４−Ｒ乃至２７４−Ｂおよび加算器２７６−Ｒ乃至２７６−Ｂに出力する。
【０１８２】
ゲイン値設定部２７３は、トーンカーブ補正部２２から入力される前フレームに対する代表値γと、現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器２７５−Ｒ乃至２７５−Ｂに出力する。
【０１８３】
減算器２７４−Ｒは、対数色信号logＲc（ｐ）から補間値logＬcl（ｐ）を減算して、乗算器２７５−Ｒに出力する。乗算器２７５−Ｒは、減算器２７４−Ｒの出力に、ゲイン値ｇ（ｐ）を乗算して、加算器２７６−Ｒに出力する。加算器２７６−Ｒは、乗算器２７５−Ｒの出力に、補間値logＬcl（ｐ）を加算して、得られたコントラスト補正後の対数色信号logＲu（ｐ）を後段に出力する。
【０１８４】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１８５】
次に、図２７は、図２１のトーンカーブ補正部２０４、縮小画像生成部２０５、縮小画像メモリ２０６、およびコントラスト補正部２０７と置換することができる複合部３００の構成例を示している。
【０１８６】
複合部３００の輝度生成部３０１は、入力される対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器３０２−Ｒ乃至３０２−Ｂおよびテーブル参照部３０４に出力する。減算器３０２−Ｒは、対数色信号logＲb（ｐ）から、対数輝度logＬb（ｐ）を減算して乗算器３１６−Ｒに出力する。
【０１８７】
LUTメモリ３０３には、図４に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ1が予め保持されている。テーブル参照部３０４は、輝度生成部３０１から入力された対数輝度logＬ（ｐ）を、LUTメモリ３０３に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正し乗算器３０５および縮小画像生成部３０６に出力する。
【０１８８】
乗算器３０５は、テーブル参照部３０４から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ１６７に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出し、加算器３１７−Ｒ乃至３１７−Ｂに出力する。
【０１８９】
縮小画像生成部３０６は、対数輝度画像logＬc'をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度logＬc'（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ３０７に保持させる。
【０１９０】
平均輝度算出部３０８は、第１の縮小画像メモリ３０７に保持されている１フレーム前の第１の縮小画像の画素値の平均値μを算出して、除算器３０９に出力する。除算器３０９は、所定の定数logＬTを平均値μで除算し、代表値γ2を算出し、γ2メモリ３１０に保持させる。乗算器３１１は、代表値γ1，γ2の積を代表値γ（＝γ1・γ2）として求め、ゲイン値設定部３１５および乗算器３１６−Ｒ乃至３１６−Ｂに出力する。
【０１９１】
乗算器３１２は、第１の縮小画像メモリ１６４に保持されている第１の縮小画像の各画素に、γ2メモリ３１０に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第２の縮小画像メモリ３１３に持させる。
【０１９２】
補間部３１４は、第２の縮小画像メモリ１６９に保持されている１フレーム前の第２の縮小画像logＬclを用いて、乗算器１７０から入力された現在フレームの対数輝度logＬc（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）に対応する画素logＬcl（ｐ）を補間により算出して、減算器３１８−Ｒ乃至３１８−Ｂおよび加算器３２０−Ｒ乃至３２０−Ｂに出力する。
【０１９３】
ゲイン値設定部３１５は、乗算器３１１から入力された前フレームに対する代表値γと、乗算器３０５から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器３１９−Ｒ乃至３１９−Ｂに出力する。
【０１９４】
乗算器３１６−Ｒは、減算器３０２−Ｒの出力と代表値γの積を演算して、加算器３１７−Ｒに出力する。加算器３１７−Ｒは、乗算器３１６−Ｒの出力と、乗算器３０５の出力との和を演算して、減算器３１８−Ｒに出力する。減算器３１８−Ｒは、加算器３１７−Ｒの出力から、補間値logＬcl（ｐ）を減算して、乗算器３１９−Ｒに出力する。乗算器３１９−Ｒは、減算器３１８−Ｒの出力にゲイン値ｇ（ｐ）を乗算して、加算器３２０−Ｒに出力する。加算器３２０−Ｒは、乗算器３１９−Ｒの出力と、補間値logＬcl（ｐ）の和を演算して、を加算して、得られたコントラスト補正後の対数色信号logＲu（ｐ）を後段に出力する。
【０１９５】
なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。
【０１９６】
この複合部３００を用いれば、平均輝度算出部３０８は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像logＬcの画素の平均値を算出する図２４の平均輝度算出部２４５に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。
【０１９７】
次に、図２８は、輝度域情報算出部２１０の構成例を示している。輝度域情報算出部２１０において、輝度生成部３３１は、ガンマ補正後の色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］の線形和を演算することにより輝度Ｙ（ｐ）を生成し、間引き部３３２に出力する。間引き部３３２は、輝度生成部３３１から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のMINソート部３３３およびMAXソート部３３６に供給する。
【０１９８】
MINソート部３３３は、比較部３３４とレジスタ３３５の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ３３５−１乃至３３５−ｋに保持するようになされている。
【０１９９】
例えば、比較部３３４−１は、間引き部３３２からの輝度Ｙ（ｐ）とレジスタ３３５−１の値を比較し、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３５−１の値よりも小さい場合、間引き部３３２からの輝度Ｙ（ｐ）を用いてレジスタ３３５−１の値を更新する。反対に、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３５−１の値よりも小さくない場合、間引き部３３２からの輝度Ｙ（ｐ）は後段の比較部３３４−２に供給される。
【０２００】
比較部３３４−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３３５−１に輝度Ｙ（ｐ）の最小値Ｙminが保持され、レジスタ３３５−２乃至３３５−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ３３５−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙdとして後段に出力される。
【０２０１】
MAXソート部３３６は、比較部３３７とレジスタ３３８の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ３３８−１乃至３３８−ｋに保持するようになされている。
【０２０２】
例えば、比較部３３７−１は、間引き部３３２からの輝度Ｙ（ｐ）とレジスタ３３８−１の値を比較し、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３８−１の値よりも大きい場合、間引き部３３２からの輝度Ｙ（ｐ）を用いてレジスタ３３８−１の値を更新する。反対に、間引き部３３２からの輝度Ｙ（ｐ）がレジスタ３３８−１の値よりも大きくない場合、間引き部３３２からの輝度Ｙ（ｐ）は後段の比較部３３７−２に供給される。
【０２０３】
比較部３３７−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３３８−１に輝度Ｙ（ｐ）の最大値Ｙmaxが保持され、レジスタ３３８−２乃至３３８−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ３３８−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙbとして後段に出力される。
【０２０４】
なお、MINソート部３３３およびMAXソート部３３６に入力される輝度Ｙ（ｐ）は、間引き部３３２により間引きされたものであるので、間引きの間隔と、MINソート部３３３およびMAXソート部３３６の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば上下１％や0.1％などに相当する輝度値Ｙd，Ｙbを得ることが可能になる。
【０２０５】
次に、図２７に示された複合部３００が適用されたDSP７の第２の構成例による総合的な階調圧縮処理について、図２９のフローチャートを参照して説明する。
【０２０６】
ステップＳ４１において、DSP７（デモザイク部２０１）は、広ＤＲ色モザイク画像にデモザイク処理を施して、広ＤＲカラー画像を生成し、その画素値、すなわち、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］をラスタ順に色バランス調整部２０２に出力する。ステップＳ４２において、DSP７（色バランス調整部２０２）は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を生成する。
【０２０７】
ステップＳ４３おいて、DSP７は、入力される現フレームの広ＤＲカラー画像の色信号を、１フレーム前の広ＤＲカラー画像に対して算出され、保持されている中間情報（第２の縮小画像logＬc（ｐ）、代表値γ、輝度域情報［Ｙd，Ｙb］）を基づいて狭ＤＲカラー画像Ｙnに変換する。また、DSP７は、現フレームの広ＤＲカラー画像Ｌに対する中間情報を算出する。
【０２０８】
ステップＳ４４において、DSP７は、算出した現フレームの広ＤＲカラー画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広ＤＲカラー画像に対する中間情報を更新する。
【０２０９】
ステップＳ４５において、DSP７は、入力された現フレームの広ＤＲカラー画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ４１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。
【０２１０】
ステップＳ４２における画素単位の処理の詳細を、図３０のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタ順に入力される注目画素（画素位置ｐ）に対して実行される。
【０２１１】
ステップＳ５１において、色バランス調整部２０２は、生成した色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を、対数変換部２０３に出力する。ステップＳ５２において、対数変換部２０３は、入力された色信号［Ｒb（ｐ），Ｇb（ｐ），Ｂb（ｐ）］を対数変換し、得られた対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］を複合部３００に出力する。
【０２１２】
ステップＳ５３において、複合部３００の輝度生成部３０１は、入力された対数色信号［logＲb（ｐ），logＧb（ｐ），logＢb（ｐ）］の線形和を演算することにより対数輝度logＬb（ｐ）を生成し、減算器３０２−Ｒ乃至３０２−Ｂおよびテーブル参照部３０４に出力する。ステップＳ５４において、テーブル参照部３０４は、入力された対数輝度logＬ（ｐ）を、LUTメモリ３０３に保持されているLUTに基づいて対数輝度logＬc'（ｐ）に補正して、乗算器３０５および縮小画像生成部３０６に出力する。
【０２１３】
ステップＳ５５において、縮小画像生成部３０６は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ2が算出される。また、生成された第１の縮小画像に算出された代表値γ2が乗算されて、第２の縮小画像logＬclが生成される。
【０２１４】
ステップＳ５６において、乗算器３０５は、テーブル参照部３０４から入力された現フレームの対数輝度logＬc'（ｐ）に、γ2メモリ３１０に保持されている１フレーム前の代表値γ2を乗算して、トーンカーブ補正後の対数輝度logＬc（ｐ）を算出する。
【０２１５】
ステップＳ５７において、Ｒ成分については減算器３０２−Ｒ、乗算器３１６−Ｒ、および加算器３１７−Ｒの演算により、トーンカーブ補正後の対数色信号logＲc（ｐ）が生成される。Ｇ成分については減算器３０２−Ｇ、乗算器３１６−Ｇ、および加算器３１７−Ｇの演算により、トーンカーブ補正後の対数色信号logＧc（ｐ）が生成される。Ｂ成分については減算器３０２−Ｂ、乗算器３１６−Ｂ、および加算器３１７−Ｂの演算により、トーンカーブ補正後の対数色信号logＢc（ｐ）が生成される。
【０２１６】
ステップＳ５８において、ゲイン値設定部３１５は、乗算器３１１から入力された前フレームに対する代表値γと、乗算器３０５から入力された現在フレームの対数輝度logＬc（ｐ）に基づいて、現在フレームの対数輝度logＬc（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。ステップＳ５９において、補間部３１４は、第２の縮小画像メモリ３１３に保持されている１フレーム前の第２の縮小画像logＬclを用いて、補間位置ｐに対応する画素logＬcl（ｐ）を補間により算出する。
【０２１７】
ステップＳ６０において、Ｒ成分については減算器３１８−Ｒ、乗算器３１９−Ｒ、および加算器３２０−Ｒの演算により、コントラスト補正後の対数色信号logＲu（ｐ）が生成される。Ｇ成分については減算器３１８−Ｇ、乗算器３１９−Ｇ、および加算器３２０−Ｇの演算により、コントラスト補正後の対数色信号logＧu（ｐ）が生成される。Ｂ成分については減算器３１８−Ｂ、乗算器３１９−Ｂ、および加算器３２０−Ｂの演算により、コントラスト補正後の対数色信号logＢu（ｐ）が生成される。
【０２１８】
ステップＳ６１において、対数逆変換部２０８は、コントラスト補正後の対数色信号［logＲu（ｐ），logＧu（ｐ），logＢu（ｐ）］を、対数逆変換して、通常軸の色信号［Ｒu（ｐ），Ｇu（ｐ），Ｂu（ｐ）］を生成し、ガンマ補正部２０９に出力する。ステップＳ６２において、ガンマ補正部２０９は、所定のガンマ補正を行い、得られたガンマ補正後の色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を輝度情報算出部２１０および輝度域正規化部２１２に出力する。
【０２１９】
ステップＳ６３において、輝度域情報算出部２１０の輝度生成部３３１は、ガンマ補正後の色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を元にして輝度Ｙ（ｐ）を生成する。ステップＳ６４において、輝度域情報算出部２１０のMINソート部３３３およびMAXソート部３３６は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙd，Ｙb］を生成する。
【０２２０】
ステップＳ６５において、輝度域正規化部２１２は、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］に基づき、ガンマ補正部２０９から入力された色信号［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を正規化して、色信号［Ｒn（ｐ），Ｇn（ｐ），Ｂn（ｐ）］を算出する。ステップＳ６６において、輝度域正規化部２１２は、算出した色信号［Ｒn（ｐ），Ｇn（ｐ），Ｂn（ｐ）］を、階調圧縮された狭ＤＲカラー画像の画素値として出力する。以上で、図２９のステップＳ４３処理の詳細な説明を終了する。
【０２２１】
次に、図２９のステップＳ４４の処理の詳細を、図３１のフローチャートを参照して説明する。ステップＳ７１において、縮小画像生成部３０６は、トーンカーブ補正後の１フレーム分の対数輝度logＬc'（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ３０７に保持されている第１の縮小画像を更新する。
【０２２２】
ステップＳ７２において、除算器３０９は、所定の定数logＬTを、平均輝度算出部１６５から入力された平均値μで除算して代表値γ2を算出し、算出した代表値γ2を用いて、γ2メモリ３１０に保持されている代表値γ2を更新する。
【０２２３】
ステップＳ７３において、乗算器３１２は、ステップＳ７１の処理で更新された第１の縮小画像メモリ３０７に保持されている第１の縮小画像の各画素に、ステップＳ７２の処理で更新されたγ2メモリ３１０に保持されている代表値γ2を乗算して、第２の縮小画像logＬclを生成し、第１の縮小画像メモリ３１３に保持されている第２の縮小画像logＬclを更新する。
【０２２４】
ステップＳ７４において、輝度域情報算出部２１０は、１フレーム分の［Ｒg（ｐ），Ｇg（ｐ），Ｂg（ｐ）］を元にして生成した輝度域情報［Ｙd，Ｙb］を用いて、輝度域情報メモリ２１１に保持されている１フレーム前の輝度域情報［Ｙd，Ｙb］を更新する。以上で、図２９のステップＳ４４の処理の詳細な説明を終了する。
【０２２５】
以上で、DSP７の第２の構成例の説明を終了する。
【０２２６】
なお、例えば、図５に示された平均輝度算出部５１、図６に示された平均輝度算出部６３、図１７の平均輝度算出部１６５、図２３に示された平均輝度算出部２３２、図２４に示された平均輝度算出部２４５のそれぞれにおいては、輝度値の平均値を算出するようにしたが、平均値を求める演算に、重み付き平均を用いるようにしてもよい。例えば、画像の中央部分の重みを周辺部分の重みよりも大きくすることによって、画像の中央部分に存在する被写体の反射率に重点をおいた明るさ補正を行うことが可能になる。
【０２２７】
図１７に示された複合部１６０および図２７に示された複合部３００においては、生成された第１の縮小画像を保持するメモリと、生成された第１の縮小画像に代表値γ2を乗算して生成された第２の縮小画像を保持するメモリが設けられているが、第２の縮小画像が生成された時点で、第１の縮小画像を保持する必要がなくなるので、この２つのメモリを１つにまとめることも可能である。
【０２２８】
本実施の形態のように、本発明を、広ＤＲ画像を撮影し、その階調を圧縮して、狭いダイナミックレンジのディスプレイに表示可能な画像として出力するディジタルビデオカメラに適用すれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で階調圧縮処理を実現でき、かつ、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない出力画像を得ることができるようになる。
【０２２９】
このことによって、いままで実現できなかった高品質、かつ、安価なディジタルビデオカメラを実現することができる。
【０２３０】
なお、本発明は、ディジタルビデオカメラの他、ディジタルスチルカメラのような撮影装置や、画像データを処理するＡＶ装置やソフトウェアに適用することが可能である。
【０２３１】
また、本実施の形態においては、広ＤＲ画像を、ディスプレイ１１を再現デバイスに想定して、階調圧縮処理を施すようにしたが、例えば、ディジタルビデオカメラ１に外部接続するにモニタやプリンタの表現可能なダイナミックレンジに適合させて階調圧縮処理を施すことも可能である。
【０２３２】
ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２３３】
図３２は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ３５０は、CPU(Central Processing Unit)３５１を内蔵している。CPU３５１にはバス３５４を介して、入出力インタフェース３５５が接続されている。バス３５４には、ROM(Read Only Memory)３５２およびRAM(Random Access Memory)３５３が接続されている。
【０２３４】
入出力インタフェース３５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部３５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部３５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３５８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部３５９が接続されている。また、磁気ディスク３６１（フレキシブルディスクを含む）、光ディスク３６２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３６３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ３６４などの記録媒体に対してデータを読み書きするドライブ３６０が接続されている。
【０２３５】
CPU３５１は、ROM３５２に記憶されているプログラム、または磁気ディスク３６１乃至半導体メモリ３６４から読み出されて記憶部３５８にインストールされ、記憶部３５８からRAM３５３にロードされたプログラムに従って各種の処理を実行する。RAM３５３にはまた、CPU３５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３７】
【発明の効果】
以上のように、本発明によれば、使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、階調圧縮の効果が大きい階調圧縮技術を実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態であるディジタルビデオカメラの構成例を示すブロック図である。
【図２】図１のDSPの第１の構成例を示すブロック図である。
【図３】図２のトーンカーブ補正部の第１の構成例を示すブロック図である。
【図４】トーンカーブの一例を示す図である。
【図５】図２のトーンカーブ補正部の第２の構成例を示すブロック図である。
【図６】図２のトーンカーブ補正部の第３の構成例を示すブロック図である。
【図７】図２の縮小画像生成部の構成例を示すブロック図である。
【図８】図７の平均値計算部の構成例を示すブロック図である。
【図９】図２のコントラスト補正部の構成例を示すブロック図である。
【図１０】図９の補間部の構成例を示すブロック図である。
【図１１】図９の補間部の処理を説明するための図である。
【図１２】図９のゲイン値設定部の構成例を示すブロック図である。
【図１３】図９のコントラスト強調部の構成例を示すブロック図である。
【図１４】図２の輝度域正規化部の処理を説明するための図である。
【図１５】図２の輝度域情報算出部の構成例を示すブロック図である。
【図１６】図２の輝度域正規化部の構成例を示すブロック図である。
【図１７】図２のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。
【図１８】 DSPの第１の構成例による階調圧縮処理を説明するフローチャートである。
【図１９】図１８のステップＳ１の処理の詳細を説明するフローチャートである。
【図２０】図１８のステップＳ２の処理の詳細を説明するフローチャートである。
【図２１】図１のDSPの第２の構成例を示すブロック図である。
【図２２】図２１のトーンカーブ補正部の第１の構成例を示すブロック図である。
【図２３】図２１のトーンカーブ補正部の第２の構成例を示すブロック図である。
【図２４】図２１のトーンカーブ補正部の第３の構成例を示すブロック図である。
【図２５】図２１の縮小画像生成部の構成例を示すブロック図である。
【図２６】図２１のコントラスト補正部の構成例を示すブロック図である。
【図２７】図２１のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。
【図２８】図２１の輝度域情報算出部の構成例を示すブロック図である。
【図２９】 DSPの第２の構成例による階調圧縮処理を説明するフローチャートである。
【図３０】図２９のステップＳ４３の処理の詳細を説明するフローチャートである。
【図３１】図２９のステップＳ４４の処理の詳細を説明するフローチャートである。
【図３２】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
７ DSP， ２１ 対数変換部， ２２ トーンカーブ補正部， ２３ 縮小画像生成部， ２４ 縮小画像メモリ， ２５ コントラスト補正部， ２６ 対数逆変換部， ２７ ガンマ補正部， ２８ 輝度域情報算出部， ２９ 輝度域情報メモリ， ３０ 輝度域正規化部， １６０ 複合部， ２０１ デモザイク部， ２０２ 色バランス調整部， ２０３ 対数変換部， ２０４ トーンカーブ補正部， ２０５ 縮小画像生成部， ２０６ 縮小画像メモリ， ２０７ コントラスト補正部， ２０８ 対数逆変換部， ２０９ ガンマ補正部， ２１０ 輝度域情報算出部， ２１１ 輝度域情報メモリ， ２１２ 輝度域正規化部， ３００ 複合部， ３５１ CPU， ３６１ 磁気ディスク，３６２ 光ディスク， ３６３ 光磁気ディスク， ３６４ 半導体メモリ
Claims (20)
- 画像の画素値の階調を圧縮する画像処理装置において、
現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換手段と、
前記変換手段によって生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段によって生成された前記縮小画像、および前記１種類以上の変換関数それぞれの傾きを保持する保持手段と、
前記保持手段によって保持された前記１種類以上の変換関数それぞれの傾きの積と前記縮小画像に基づき、前記変換手段によって生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正手段と
を含む画像処理装置。 - 前記保持手段は、１フレーム前の画像に対応する前記縮小画像、および１フレーム前の画像に適用された前記変換関数の傾きを保持する
請求項１に記載の画像処理装置。 - 前記１種類以上の変換関数のうち、少なくとも１種類の前記変換関数は、単調増加関数である
請求項１に記載の画像処理装置。 - 前記変換手段によって生成された前記トーン変換画像の画素値の平均値を算出する平均値算出手段をさらに含み、
前記１種類以上の変換関数のうち、少なくとも１種類の変換関数の傾きは、前記平均値算出手段によって算出された前記平均値の逆数に比例する
請求項１に記載の画像処理装置。 - 前記平均値算出手段は、前記トーン変換画像を複数のブロックに分割し、各前記ブロックの画素値の平均を算出して重み付け加算した値を、前記平均値として算出する
請求項４に記載の画像処理装置。 - 前記縮小画像生成手段は、前記変換手段によって生成された前記トーン変換画像を縮小して第１の縮小画像を生成し、前記第１の縮小画像の画素値の平均値の逆数に比例する値を前記第１の縮小画像の各画素値に乗算して、第２の縮小画像を生成し、生成した前記第２の縮小画像を前記縮小画像とする
請求項１に記載の画像処理装置。 - 前記変換手段に供給される現フレームの前記画像の画素値を対数変換する対数変換手段と、
前記補正手段によって生成された前記コントラスト補正画像の画素値を対数逆変換する対数逆変換手段を
さらに含む請求項１に記載の画像処理装置。 - 前記補正手段によって生成された前記コントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、
前記ガンマ変換手段によってガンマ変換された前記コントラスト補正画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、
前記輝度域情報算出手段によって算出された前記輝度域情報に基づき、前記ガンマ変換手段によってガンマ変換された前記コントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段と
をさらに含む請求項１に記載の画像処理装置。 - 前記輝度域情報算出手段は、前記ガンマ変換手段によってガンマ変換された前記コントラスト補正画像の輝度成分の上限値および下限値を、前記輝度域情報として算出し、
前記正規化手段は、前記輝度域情報算出手段によって算出された前記コントラスト補正画像の輝度成分の上限値および下限値が、それぞれ、想定される再現デバイスが再現可能な輝度成分の範囲の上限値および下限値に一致するように、前記コントラスト補正画像の画素値を変換する
請求項８に記載の画像処理装置。 - 前記保持手段は、前記輝度域情報算出手段によって算出された１フレーム前の前記輝度域情報も保持する
請求項８に記載の画像処理装置。 - 前記画像は、輝度成分を有する画素から構成されたモノクロ画像である
請求項１に記載の画像処理装置。 - 前記画像は、複数の色成分を有する画素から構成されたカラー画像である
請求項１に記載の画像処理装置。 - 前記変換手段は、前記カラー画像を元にして、輝度成分を有する画素から構成された第１の輝度画像を生成し、前記第１の輝度画像をトーン変換輝度画像に変換し、前記トーン変換輝度画像に基づいて、複数の色成分を有する画素から構成されたカラーの前記トーン変換画像を生成する
請求項１２に記載の画像処理装置。 - 前記変換手段は、前記カラー画像の各色成分の値と前記第１の輝度画像の輝度成分の値の差分値を算出し、前記差分値と前記変換関数の傾きとの積を算出し、前記積を前記トーン変換輝度画像の各色成分の値に加算して、前記トーン変換画像の各色成分を算出する
請求項１３に記載の画像処理装置。 - 前記変換手段は、前記第１の輝度画像の輝度成分の平均値を算出し、前記平均値の逆数に比例する係数を算出し、前記係数を前記カラー画像の各色成分の値に乗算して、前記トーン変換画像の各色成分を算出する
請求項１３に記載の画像処理装置。 - 前記補正手段は、前記変換手段によって生成されたカラーの前記トーン変換画像を元にして、輝度成分を有する画素から構成された第２輝度画像を生成し、前記第２の輝度画像、前記保持手段によって保持された前記縮小画像、および前記変換関数の傾きに基づき、前記変換手段によって生成されたカラーの前記トーン変換画像のコントラストを補正して、カラーの前記コントラスト補正画像を生成する
請求項１２に記載の画像処理装置。 - 前記補正手段によって生成されたカラーの前記コントラスト補正画像の画素値をガンマ変換するガンマ変換手段と、
前記ガンマ変換手段によってガンマ変換されたカラーの前記コントラスト補正画像を元にして、輝度成分を有する画素から構成された第３の輝度画像を生成し、前記第３の輝度画像の輝度成分の分布範囲を示す輝度域情報を算出する輝度域情報算出手段と、
前記輝度域情報算出手段によって算出された前記輝度域情報に基づき、前記ガンマ変換手段によってガンマ変換されたカラーの前記コントラスト補正画像の画素値の分布を、所定の範囲に正規化する正規化手段と
をさらに含む請求項１２に記載の画像処理装置。 - 画像の画素値の階調を圧縮する画像処理方法において、
現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、
前記変換ステップの処理で生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップの処理で生成された前記縮小画像、および前記１種類以上の変換関数それぞれの傾きを保持する保持ステップと、
前記保持ステップの処理で保持された前記１種類以上の変換関数それぞれの傾きの積と前記縮小画像に基づき、前記変換ステップの処理で生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップと
を含む画像処理方法。 - 画像の画素値の階調を圧縮するためのプログラムであって、
現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、
前記変換ステップの処理で生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップの処理で生成された前記縮小画像、および前記１種類以上の変換関数それぞれの傾きを保持する保持ステップと、
前記保持ステップの処理で保持された前記１種類以上の変換関数それぞれの傾きの積と前記縮小画像に基づき、前記変換ステップの処理で生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 画像の画素値の階調を圧縮するためのプログラムであって、
現フレームの画像の画素値を、１種類以上の変換関数を段階的に用いて変換し、トーン変換画像を生成する変換ステップと、
前記変換ステップの処理で生成された前記トーン変換画像を縮小して、縮小画像を生成する縮小画像生成ステップと、
前記縮小画像生成ステップの処理で生成された前記縮小画像、および前記１種類以上の変換関数それぞれの傾きを保持する保持ステップと、
前記保持ステップの処理で保持された前記１種類以上の変換関数それぞれの傾きの積と前記縮小画像に基づき、前記変換ステップの処理で生成された前記トーン変換画像のコントラストを補正して、コントラスト補正画像を生成する補正ステップと
を含む処理をコンピュータに実行させるプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003003135A JP4161719B2 (ja) | 2003-01-09 | 2003-01-09 | 画像処理装置および方法、記録媒体、並びにプログラム |
| KR1020047014084A KR101051604B1 (ko) | 2003-01-09 | 2003-12-10 | 화상 처리 장치 및 방법 |
| US10/507,274 US7570390B2 (en) | 2003-01-09 | 2003-12-10 | Image processing device and method |
| PCT/JP2003/015758 WO2004064388A1 (ja) | 2003-01-09 | 2003-12-10 | 画像処理装置および方法 |
| EP03778755A EP1494462A4 (en) | 2003-01-09 | 2003-12-10 | IMAGE PROCESSING APPARATUS AND METHOD |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003003135A JP4161719B2 (ja) | 2003-01-09 | 2003-01-09 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004221645A JP2004221645A (ja) | 2004-08-05 |
| JP4161719B2 true JP4161719B2 (ja) | 2008-10-08 |
Family
ID=32894488
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003003135A Expired - Fee Related JP4161719B2 (ja) | 2003-01-09 | 2003-01-09 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4161719B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4687320B2 (ja) | 2005-08-11 | 2011-05-25 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
| WO2007069432A1 (ja) * | 2005-12-12 | 2007-06-21 | Konica Minolta Holdings, Inc. | 画像処理方法、画像処理装置及び画像処理プログラム |
| US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
| JP5003196B2 (ja) | 2007-02-19 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
| JP4894595B2 (ja) * | 2007-04-13 | 2012-03-14 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
| WO2009060517A1 (ja) | 2007-11-06 | 2009-05-14 | Fujitsu Limited | 画像処理装置、画像処理方法および画像処理プログラム |
| JP4947154B2 (ja) * | 2008-01-08 | 2012-06-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP5472734B2 (ja) * | 2010-03-24 | 2014-04-16 | ソニー株式会社 | 画像処理装置および方法、プログラム |
| JP2011203814A (ja) * | 2010-03-24 | 2011-10-13 | Sony Corp | 画像処理装置および方法、プログラム |
| JP6064776B2 (ja) * | 2013-05-07 | 2017-01-25 | 株式会社デンソー | 画像処理装置及び画像処理方法 |
| WO2014192577A1 (ja) * | 2013-05-31 | 2014-12-04 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP5887303B2 (ja) | 2013-06-19 | 2016-03-16 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置，撮像装置および画像処理プログラム |
-
2003
- 2003-01-09 JP JP2003003135A patent/JP4161719B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004221645A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101051604B1 (ko) | 화상 처리 장치 및 방법 | |
| JP4595330B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4687320B2 (ja) | 画像処理装置および方法、記録媒体、並びに、プログラム | |
| CN100366052C (zh) | 图像处理设备和方法 | |
| JP4894595B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| JP5003196B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| JP4083587B2 (ja) | 画質向上方法及びそのための装置 | |
| JP5476793B2 (ja) | 元画像のダイナミックレンジの圧縮方法と装置及びデジタルカメラ | |
| US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
| JP3828251B2 (ja) | 映像のダイナミックレンジ拡大装置 | |
| JP2001275015A (ja) | 画像処理回路及び画像処理方法 | |
| JP2011188391A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP4161719B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2021140663A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、および記憶媒体 | |
| JP2007180851A (ja) | Ｒａｗ画像の階調変換装置、プログラム、方法、および電子カメラ | |
| US10387999B2 (en) | Image processing apparatus, non-transitory computer-readable medium storing computer program, and image processing method | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6784643B2 (ja) | 映像信号変換装置およびそのプログラム、ならびに、映像表示装置 | |
| JP4632100B2 (ja) | 画像処理装置、画像処理方法、記録媒体、およびプログラム | |
| JP2000149014A (ja) | 画像処理装置及び画像処理方法 | |
| JP3965556B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP7332325B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080410 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080605 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |