JP4595330B2 - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、動画像のフレーム毎の輝度変動に対応した階調変換を実現できるようにした画像処理装置および方法、記録媒体、並びにプログラムに関する。

従来から、CCD(Charge Coupled Device)などの固体素子で撮像されたデータを、より低ダイナミックレンジなメディアに表示もしくは印刷するために階調を圧縮し、より見栄えの良くなるようにコントラストを強調するといった処理(階調変換)については、さまざまな方法が提案されてきた。例えば、撮像データからヒストグラムを作成し、ヒストグラムの最大値、最小値、分布全体の代表値を元にヒストグラムに対して適当な変形を施した後にLUT（Look Up Table）を構成し、このLUTを用いて階調変換を行うというものがある（例えば、特許文献１参照）。
特開平１０−２８３４７０号公報

しかしながら、既存の階調変換処理は静止画を前提として考えられているため、画像の輝度のヒストグラムの両端点を基準として階調変換を行なう場合、フレーム毎に大きなヒストグラムの変動があると、それにあわせて階調変換のカーブも変化するため、シーン全体の明るさがフレーム単位で頻繁に変化してしまい、非常に見苦しいものになってしまう。

より具体的に、例を挙げて説明する。図1乃至図３の各図の上部は、動画の連続した３フレームを示しており、さらに、図１乃至図３の各図の下部は、それぞれのフレームに対応する輝度値のヒストグラムを示している。

このフレーム単位の撮像データは、ある程度のダイナミックレンジを持ったデータであり、ここでは説明のため、単純に８bitにダイナミックレンジが圧縮された画像１として表示するものとする。

また、各フレーム中の輝度は、図２の物体２１ａ、図３の物体２１ｂで示される飛行機の機体部分が最も輝度が高く、次いで図１乃至図３の雲１１、空１２が順に明るく、屋根１３が最も暗いものとする。

このような撮像データに対して、ヒストグラムの上下５%点を出力画像の最高輝度値、最低輝度値に割り当てるといった、一般的なコントラスト強調処理を行なうものとする。図１乃至図３の各下部のそれぞれのフレームのヒストグラムにおいて、点線は、その幅にヒストグラム上下５%以内の画素が存在することを示しており、この部分が出力画像のダイナミックレンジ幅に割り当てられる。

従って、図１では、ヒストグラムの範囲Ｒ１が出力画像のダイナミックレンジに割り当てられるので、高コントラストの画像出力が期待される。一方、図２では、物体２１ａが画面内に入ることにより、ヒストグラムに高輝度成分が多く含まれることになり、出力画像に割り当てる輝度のダイナミックレンジ幅が広がる。そのため、最も輝度の高い物体２１ａが白レベルに割り当てられるので、図１の上部の画像で写っていた部分は、屋根１３を除いて全体的に暗めで、コントラストが多少失われたような画像となる。

同様に、図３の上部では、物体２１ａが移動した物体２１ｂが、高輝度な領域が減少し、出力画像に割り当てる輝度のダイナミックレンジ幅が狭まる。そのため、物体２１ｂ以外の画像領域が、多少明るく、コントラストが上昇したような階調変換結果となる。

このような、図１乃至図３の上部に示される階調変換結果を動画として見た場合、フレーム毎に明るさが変化し、それがちらつきとして感じられるため、非常に見苦しいものとなってしまうという課題があった。

以上で、階調変換処理によって起こりうる問題点について述べたが、その改善方法として、例えば過去数フレームの階調変換結果を保持しておき、現フレームの結果との平均を取ることによって、フレーム単位で発生する、シーン輝度の著しい変動を緩和する、といった方法が考えられるが、計算コストやメモリ量が大きくなってしまうと言う課題があった。

本発明はこのような状況に鑑みてなされたものであり、特に、階調変換処理において、各フレーム毎の輝度をコントロールしているパラメータを時間方向に平滑化することで、計算量、および、メモリ容量の低コスト化を図りつつ、フレーム毎のちらつきを抑制できるようにするものである。

本発明の第1の画像処理装置は、画像の平均輝度値を計算する平均輝度値計算手段と、平均輝度値計算手段により計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化手段と、平均輝度時系列平滑化手段により出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正手段と、補正手段により明るさが補正された画像の輝度分布の幅を表す輝度域情報を算出する輝度域情報算出手段と、輝度域情報算出手段により算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化手段と、輝度域情報平滑化手段により出力された平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて、画像の輝度を正規化する輝度域正規化手段とを備えることを特徴とする。

前記輝度域情報算出手段には、輝度域情報として、画像の輝度分布の低輝度端と高輝度端の輝度値を算出させるようにする。

前記輝度域情報平滑化手段には、平滑化しようとするフレームの輝度域情報と、フレームと時系列的に所定の前後関係となる複数のフレームの輝度域情報とに対して、所定の重みを用いた積和演算を施すことにより、平滑化しようとするフレームの輝度域情報を時系列に平滑化し、平滑化輝度域情報として時系列に出力させるようにすることができる。

前記輝度域情報平滑化手段には、平滑化しようとするフレームの輝度域情報と、フレームと時系列的に所定の前後関係となる複数のフレームの平滑化輝度域情報とに対して、所定の重みを用いた積和演算を施すことにより、平滑化しようとするフレームの輝度域情報を時系列に平滑化し、平滑化輝度域情報として時系列に出力させるようにすることができる。

前記平均輝度値計算手段には、画像をm×nのブロックに分割し、ブロック毎の輝度の平均を求め、ブロック毎の輝度の平均に対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値を計算させるようにすることができる。

前記画像の輝度値を対数変換する対数変換手段と、対数逆変換する対数逆変換手段をさらに設けるようにさせることができ、平均輝度値計算手段には、対数変換手段により対数変換された画像の平均輝度値を計算させるようにすることができ、対数逆変換手段には、明るさ補正手段により補正されている画像の輝度値を対数逆変換させるようにすることができる。

本発明の第１の画像処理方法は、画像の平均輝度値を計算する平均輝度値計算ステップと、平均輝度値計算ステップの処理により計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、平均輝度時系列平滑化ステップの処理により出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正ステップと、補正ステップの処理により明るさが補正された画像の輝度分布の幅を表す輝度域情報を算出する輝度域情報算出ステップと、輝度域情報算出ステップの処理で算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化ステップと、輝度域情報平滑化ステップの処理で出力された平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて、画像の輝度を正規化する輝度域正規化ステップとを含むことを特徴とする。

本発明の第１の記録媒体のプログラムは、画像の平均輝度値を計算する平均輝度値計算ステップと、平均輝度値計算ステップの処理により計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、平均輝度時系列平滑化ステップの処理により出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正ステップと、補正ステップの処理により明るさが補正された画像の輝度分布の幅を表す輝度域情報の算出する輝度域情報算出ステップと、輝度域情報算出ステップの処理で算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化ステップと、輝度域情報平滑化ステップの処理で出力された平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて、画像の輝度を正規化する輝度域正規化ステップとを含むことを特徴とする。

本発明の第１のプログラムは、画像の平均輝度値を計算する平均輝度値計算ステップと、平均輝度値計算ステップの処理により計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、平均輝度時系列平滑化ステップの処理により出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正ステップと、補正ステップの処理により明るさが補正された画像の輝度分布の幅を表す輝度域情報の算出する輝度域情報算出ステップと、輝度域情報算出ステップの処理で算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化ステップと、輝度域情報平滑化ステップの処理で出力された平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて、画像の輝度を正規化する輝度域正規化ステップとをコンピュータに実行させることを特徴とする。

本発明の第２の画像処理装置は、画像の平均輝度値を計算する平均輝度値計算手段と、平均輝度値計算手段により計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化手段と、平均輝度時系列平滑化手段により出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正手段とを備えることを特徴とする。

前記平均輝度値計算手段には、画像をm×nのブロックに分割し、ブロック毎の輝度の平均を求め、ブロック毎の輝度の平均に対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値を計算させるようにすることができる。

前記画像の輝度値を対数変換する対数変換手段と、対数逆変換する対数逆変換手段をさらに設けるようにさせることができ、平均輝度値計算手段には、対数変換手段により対数変換された画像の平均輝度値を計算させるようにすることができ、対数逆変換手段には、明るさ補正手段により補正されている画像の輝度値を対数逆変換させるようにすることができる。

本発明の第２の画像処理方法は、画像の平均輝度値を計算する平均輝度値計算ステップと、平均輝度値計算ステップの処理で計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、平均輝度時系列平滑化ステップの処理で出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正ステップとを含むことを特徴とする。

本発明の第２の記録媒体のプログラムは、画像の平均輝度値を計算する平均輝度値計算ステップと、平均輝度値計算ステップの処理で計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、平均輝度時系列平滑化ステップの処理で出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正ステップとを含むことを特徴とする。

本発明の第２のプログラムは、画像の平均輝度値を計算する平均輝度値計算ステップと、平均輝度値計算ステップの処理で計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、平均輝度時系列平滑化ステップの処理で出力された平滑化平均輝度値に基づいて、画像の明るさを補正する明るさ補正ステップとをコンピュータに実行させることを特徴とする。

本発明の第1の画像処理装置および方法、並びにプログラムにおいては、画像の輝度分布の幅を表す輝度域情報が算出され、算出される輝度域情報が時系列に平滑化され、平滑化輝度域情報として出力され、出力された平滑化輝度域情報に基づいて、画像を表示する表示装置の輝度域に合わせて、画像の輝度が正規化され、画像の平均輝度値が計算され、計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みが用いられた積和演算が施されることにより画像の平均輝度値が時系列に平滑化されて、平滑化平均輝度値として出力され、出力された平滑化平均輝度値に基づいて、画像の明るさが補正される。

本発明の第２の画像処理装置および方法、並びにプログラムにおいては、画像の平均輝度値が計算され、計算された、平滑化しようとするフレームの平均輝度値と、フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みが用いられた積和演算が施されることにより画像の平均輝度値、または、平滑化平均輝度値が時系列に平滑化され、平滑化平均輝度値として出力され、出力された平滑化平均輝度値に基づいて、画像の明るさが補正される。

本発明の画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。

本発明によれば、階調圧縮処理における計算量、および、メモリ容量の低コスト化を図りつつ、動画像のフレーム毎の輝度変動に対応してちらつきを抑制することが可能となる。

以下、本発明の一実施の形態であるデジタルビデオカメラについて、図面を参照して説明する。

図４は、本発明の一実施の形態であるデジタルビデオカメラの構成例を示している。このデジタルビデオカメラ１０１は、被写体を撮影して、画素値のダイナミックレンジが通常よりも広い広DR画像を生成し、所定の記憶媒体に記録するとともに、構図決定のファインダや映像モニタを兼ねる内蔵されたディスプレイ、あるいは外部機器に対しては、広DR画像を、画素値のダイナミックレンジがより狭い狭DR画像に変換して出力すると共に、フレーム間のちらつきを抑制するものである。

デジタルビデオカメラ１０１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。

光学系は、被写体の光画像を集光するレンズ１１１、光画像の光量を調整する絞り１１２、および集光された光画像を所定のフレームレートで光電変換して広DR画像を生成するCCDイメージセンサ１１３から構成される。なお、以下においては、CCDイメージセンサ１１３が生成する広DR画像に関しては、１チャンネルの輝度信号からなるモノクロ画像である場合と、多チャンネル（例えば、３チャンネル）の輝度信号からなるカラー画像である場合の２通りについて説明する。

信号処理系は、CCDイメージセンサ１１３から出力された広DR画像をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（CDS）１１４、相関２重サンプリング回路１１４によってノイズが除去された広DR画像を、例えば１４乃至１６ビット程度のビット幅を有する値にAD変換するA/Dコンバータ１１５、A/Dコンバータ１１５が出力する広DR画像に対して階調圧縮処理を施すDSP(Digital Signal Processor)１１６から構成される。

A/Dコンバータ１１５が出力する１４乃至１６ビットのビット幅を有する広DR画像のように、階調が多い画像信号は、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現しきれないが、DSP１１６による階調圧縮処理により、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号では再現できる範囲に階調を圧縮されるようになされている。DSP１１６については、図５以降を参照して詳述する。

デジタルビデオカメラ１０１の記録系は、DSP１１６から入力される広DR画像または狭DR画像をエンコードしてメモリ１２２に記録したり、メモリ１２２に記憶されている符号データを読み出してデコードし、DSP１１６に供給したりするCODEC(Compression/Decompression)１２１、および、エンコードされた広DR画像または狭DR画像を記憶する、磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１２２から構成される。

表示系は、DSP１１６から供給される狭DR画像をDA変換するD/Aコンバータ１１８、D/Aコンバータ１１８が出力するアナログの狭DR画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してディスプレイ１２０に出力するビデオエンコーダ１１９、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するLCD(Liquid Crystal Display)等よりなるディスプレイ１２０から構成される。

制御系は、CCDイメージセンサ１１３乃至DSP１１６の動作タイミングを制御するタイミングジェネレータ（TG）１１７、ユーザからの各種の操作を受け付けるインプットデバイス１２４、およびデジタルビデオカメラ１０１の全体を制御するCPU(Central Processing Unit)１２３から構成される。

次に、デジタルビデオカメラ１０１の動作の概要について説明する。被写体の光学画像（入射光）は、レンズ１１１および絞り１１２を介してCCDイメージセンサ１１３に入射され、CCDイメージセンサ１１３によって光電変換され、得られた広DR画像の画素となる電気信号は、相関２重サンプリング回路１１４によってノイズが除去され、A/Dコンバータ１１５によってデジタル化された後、DSP１１６に供給される。

DSP１１６は、A/Dコンバータ１１５から入力された広DR画像に対して階調圧縮処理を施し、狭DR画像を生成して、D/Aコンバータ１１８またはCODEC１２１、あるいは両方に出力する。D/Aコンバータ１１８に供給された狭DR画像は、DA変換され、ビデオエンコーダ１１９により通常のビデオ信号に変換されて、その画像がディスプレイ１２０に表示される。一方、CODEC１２１に供給された狭DR画像は、符号化されてメモリ１２２に記録される。

次に、本発明の主眼となるDSP１１６について説明する。

図５は、モノクロ画像である広DR画像に対応したDSP１１６の第１の構成例を示している。以下、DSP１１６に入力されるモノクロの広DR画像を、広DR輝度画像Ｌと記述する。また、広DR輝度画像の画素値（すなわち、輝度値）を、Ｌ（ｐ）と記述する。ここで、ｐは、ｐ＝（ｘ，ｙ）のように、画像における画素位置を示すベクトルまたは座標である。したがって、Ｌ（ｐ）は、画素位置と輝度値の両方の情報を含むものとして、広DR輝度画像を表すＬとは区別して用いることとする。後述するその他の画像とその画素値についても同様である。

DSP１１６には、広DR輝度画像Ｌの輝度Ｌ（ｐ）がラスタスキャン順に入力されるものとする。

DSP１１６の第１の構成例において、対数変換部１４１は、入力される輝度Ｌ（ｐ）を対数変換し、得られる対数輝度logＬ（p）をトーンカーブ補正部１４２に出力する。トーンカーブ補正部１４２は、入力される対数輝度logＬ（ｐ）に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数輝度logＬ_c（ｐ）を縮小画像生成部１４３およびコントラスト補正部１４５に出力する。また、トーンカーブ補正部１４２は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部１４５に出力する。以下、適用したトーンカーブの傾きを示す代表値γを、単に代表値γとも記述する。

縮小画像生成部１４３は、トーンカーブ補正部１４２から入力される１フレーム分の対数輝度logＬ_c（ｐ）に基づき、縮小画像logＬ_clを生成して、縮小画像メモリ１４４に保持させる。

コントラスト補正部１４５は、トーンカーブ補正部１４２から入力される現フレームの対数輝度logＬ_c（ｐ）のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ１４４に保持されている１フレーム前の縮小画像logＬ_clに基づいて補正し、得られる対数輝度logＬ_u（p）を対数逆変換部１４６に出力する。対数逆変換部１４６は、コントラストが補正された対数輝度logＬ_u（ｐ）を、対数逆変換して、得られる通常軸の輝度Ｌ_u（ｐ）をガンマ補正部１４７に出力する。

ガンマ補正部１４７は、対数逆変換部１４６から入力される輝度Ｌ_u（ｐ）に対して、再生デバイス（例えば、ディスプレイ１２０）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の輝度Ｙ（ｐ）を輝度域情報算出部１４８および輝度域正規化部１５１に出力する。

輝度域情報算出部１４８は、ガンマ補正部１４７から入力される１フレーム分の輝度Ｙ（ｐ）に対して、それぞれ、輝度の分布を示す輝度域情報を算出して輝度域情報平滑化部１４９に供給する。輝度域情報平滑化部１４９は、平滑化しようとするフレームの輝度域情報と、時間方向に所定の関係となるフレームの輝度域情報（または、平滑化された輝度域情報）を利用して、輝度域情報を平滑化し、輝度域情報メモリ１５０に保持させる。ここで、輝度域情報とは、１フレームにおける輝度の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙ_dと、最も明るい方に近い輝度Ｙ_bを輝度域情報［Ｙ_d，Ｙ_b］として算出するようにする。

輝度域正規化部１５１は、輝度域情報メモリ１５０に保持されている１フレーム前の輝度域情報［Ｙ_d，Ｙ_b］に基づき、ガンマ補正部１４７から入力される現フレームの輝度Ｙ（ｐ）を、その分布範囲が再生デバイス（例えば、ディスプレイ１２０）が表現可能な範囲に合致するように変換し、得られる輝度Ｙ_n（ｐ）を、狭DR画像の画素値として後段に出力する。

以上、説明したように、DSP１１６の第１の構成例による階調圧縮処理の過程において、縮小画像生成部１４３により縮小画像logＬ_clが生成され、輝度域情報算出部１４８により輝度域情報［Ｙ_d，Ｙ_b］が算出される。この縮小画像logＬ_clおよび輝度域情報［Ｙ_d，Ｙ_b］を以下、中間情報と記述する。

DSP１１６によれば、入力される広DR輝度画像の各フレーム対して中間情報が算出され、算出された中間情報が、１フレーム後の広DR輝度画像を処理するために用いられる。

一般に、階調圧縮を効果的に施すためには、画像全体または画像上で広域な範囲の輝度値に基づいて算出された情報が必要であるが、当該情報を算出するまでのタイムラグが大きくなることが実装上の問題となる。そこで、DSP１１６では、当該情報として、時間的に非常に変化し難いものを選ぶことによって、１フレーム前の中間情報を現フレームに対する階調圧縮に利用する。このような構成をとることにより、実装してもメモリ使用量や回路規模が大きくなることを回避することができる。

次に、DSP１１６の第１の構成例の各部の詳細について、図面を参照して説明する。

図６は、トーンカーブ補正部１４２の第１の構成例を示している。上述の第１の構成例において、LUTメモリ１７１には、図７に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、LUTと記述する）とトーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部１７２は、LUTメモリ１７１に保持されているLUTに基づいて対数輝度logＬ（ｐ）を対数輝度logＬ_c（ｐ）に補正する。

図７は、トーンカーブの一例を示しており、横軸が入力輝度Ｌ（ｐ）を、縦軸がトーンカーブ補正後の輝度Ｌ_c（ｐ）を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、後述するコントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な狭DR画像が得られる。

なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。図７に示されたトーンカーブの場合、代表値γ＝０．６７である。

図８は、トーンカーブ補正部１４２の第２の構成例を示している。第２の構成例は、第１の構成例のように予め用意されているLUTを用いるのではなく、フレーム毎に代表値γを算出して、対数輝度logＬ（ｐ）を、対数輝度logＬ_c（ｐ）に補正するものである。第２の構成例において、平均輝度算出部１９１は、１フレーム分の対数輝度logＬ（ｐ）の平均輝度値μを算出し、平均輝度平滑化部１９２に出力する。

平均輝度平滑化部１９２は、平均輝度算出部１９１より供給された平均輝度値μを、前後のフレームの平均輝度値μ、または、前後のフレームの平滑化された平均輝度値μを用いて平滑化し、除算器１９３に供給する。除算器１９３は、所定の定数logＬ_Tを平均輝度値μで除算し、代表値γを算出する。γメモリ１９４は、除算器１９３から入力された代表値γを保持する。乗算器１９５は、現フレームの対数輝度logＬ（ｐ）に、γメモリ１９４に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出する。

ここで、所定の定数logＬ_Tを、中央レベルの対数輝度と定めておけば、１フレーム分の対数輝度logＬ（ｐ）の平均値が、logＬ_Tと等しい値のトーンカーブ補正後の対数輝度logＬ_c（ｐ）に変換されることになる。

代表値γはフレーム毎に算出されるが、現実的には各フレームの対数輝度logＬ（ｐ）の平均輝度値μに基づいて決定されるので、前後のフレームではあまり変化がないことが期待できる。したがって、この代表値γも、上述した縮小画像logＬ_clおよび輝度域情報［Ｙ_d，Ｙ_b］と同様に、１フレーム前のものを、現フレームに対するトーンカーブ補正に用いるようにしている。以下、代表値γも、中間情報に含めることにする。

図９は、トーンカーブ補正部１４２の第３の構成例を示している。第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、LUTメモリ２１１には、図７に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ₁が予め保持されている。テーブル参照部２１２は、LUTメモリ２１１に保持されているLUTに基づいて対数輝度logＬ（ｐ）を、対数輝度logＬ_c'（ｐ）に補正して平均輝度算出部２１３および乗算器２１７に出力する。

平均輝度算出部２１３は、１フレーム分の対数輝度logＬ_c'（ｐ）の平均輝度値μを算出して、平均輝度平滑化部２１４に出力する。平均輝度平滑化部２１４は、平均輝度算出部２１３より供給された平均輝度値を、前後のフレームの平均輝度値、または、前後のフレームの平滑化された平均輝度値を用いて平滑化し、除算器２１５に供給する。

除算器２１５は、所定の定数logＬ_Tを平均輝度値μで除算し、代表値γ₂を算出し、γ₂メモリ３８８に保持させる。乗算器２１７は、現フレームの対数輝度logＬ_c'（ｐ）に、γ₂メモリ３８８に保持されている１フレーム前の代表値γ₂を乗算して、トーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出する。乗算器２１８は、代表値γ₁，γ₂の積を代表値γ（＝γ₁・γ₂）として後段のコントラスト補正部１４５に出力する。

次に、図１０を参照して、平均輝度平滑化部２１４の構成について説明する。平滑化計算部２３１は、平滑化しようとする時刻ｔのフレームの平均輝度値μ（ｔ）と、直前の時刻（ｔ−１）のフレームに対応する平滑化されている平均輝度値μ（ｔ−１）に、それぞれの重みを乗じた和を求めることにより、平滑化し、時刻（ｔ）に対応するフレームの平滑化された平均輝度値u’（ｔ）として、出力すると共に、バッファ２３２に供給する。バッファ２３２は、平均輝度値u’（ｔ）を平均輝度値μ（ｔ−１）として上書きして記憶し、上述のように、平滑化計算部２３１に供給する。この処理を順次繰り返すことにより、平滑化計算部２３１は、各フレームに対応する平均輝度値を順次平滑化する。

次に、図１１を参照して、縮小画像生成部１４３の構成について説明する。縮小画像生成部１４３のソート部２５１は、前段のトーンカーブ補正部１４２から入力された１フレーム分の対数輝度logＬ_c（ｐ）を、画像全体をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部２５２−１乃至２５２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部２５２−１に供給され、２番目のブロックに分類されるものは平均値計算部２５２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部２５２−Ｎに供給される。以下、平均値計算部２５２−１乃至２５２−Ｎを個々に区別する必要がない場合、単に平均値計算部２５２と称する。

平均値計算部２５２−ｉ（ｉ＝１，２，．．．，Ｎ）は、１フレーム分の対数輝度logＬ_c（ｐ）のうち、ｉ番目のブロックに分類される対数輝度logＬ_c（ｐ）の平均値を算出して、合成部２５３に出力する。合成部２５３は、平均値計算部２５２−ｉからそれぞれ入力される対数輝度logＬ_c（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像logＬ_clを生成し、後段の縮小画像メモリ１４４に保持させる。

図１２は、平均値計算部２５２の構成例を示している。平均値計算部２５２の加算器２７１は、前段のソート部２５１から入力される対数輝度logＬ_c（ｐ）に、レジスタ（ｒ）２７２が保持する値を加算して、レジスタ（ｒ）２７２が保持する値を更新する。除算器２７３は、レジスタ２７２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の対数輝度logＬ_c（ｐ）の平均値を算出する。

次に、図１３を参照して、コントラスト補正部１４５の構成について説明する。コントラスト補正部１４５の補間位置指定部２９１は、前段のトーンカーブ補正部１４２から入力された対数輝度logＬ_c（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部２９２に出力する。補間部２９２は、縮小画像メモリ１４４に保持されている１フレーム前の縮小画像logＬ_clを用いて、補間位置ｐに対応する画素logＬ_cl（ｐ）を補間により算出してコントラスト強調部２９４に出力する。

ゲイン値設定部２９３は、トーンカーブ補正部１４２からの前フレームに対する代表値γと、現在フレームの対数輝度logＬ_c（ｐ）に基づいて、現在フレームの対数輝度logＬ_c（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。コントラスト強調部２９４は、現在フレームの対数輝度logＬ_c（ｐ）を、ゲイン値ｇ（ｐ）および縮小画像の補間値logＬ_cl（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度logＬ_u（ｐ）を算出する。

次に、図１４を参照して、補間部２９２の構成を説明する。補間部２９２は、１フレーム前の縮小画像logＬ_clの補間位置ｐの近傍の４×４画素を用いた双３次補間により、補間位置ｐに対応する画素logＬ_cl（ｐ）を補間するものである。

近傍選択部３０１は、補間位置ｐの入力を受けて、縮小画像メモリ１４４に保持されている１フレーム前のｍ×ｎ画素の縮小画像logＬ_clから、補間位置ｐの近傍の４×４画素の画素値ａ[4][4]を取得して、積和部３０４に出力する。ここでａ[i][j]の表記は、画素値ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部３０１は、取得した画素値ａ[4][4]と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部３０２または垂直係数算出部３０３に出力する。

ここで、補間位置ｐ、近傍の画素値ａ[4][4]、位置ずれ量ｄｘ，ｄｙの関係について、図１５を参照して説明する。

図１５のｍ×ｎのマス目は、ｍ×ｎ画素の縮小画像logＬ_clを表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像logＬ_cl上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（画像logＬ_cの水平画素数／ｍ，画像logＬ_cの垂直画素数／ｎ）である。

補間位置ｐに対応する縮小画像上の位置ｑから近傍画素を得るには、図１５においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像logＬ_clの画素を取得すればよい。斜線で示された領域内の４×４の“＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。

図１４に戻る。水平係数算出部３０２は、近傍選択部３０１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋ_x[4]を計算する。同様に、垂直係数算出部３０３は、近傍選択部３０１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋ_y[4]を計算する。

例えば、水平方向の３次補間係数ｋ_x[4]は、次式（１）を用いて計算する。

・・・（１）
また、例えば、垂直方向の３次補間係数ｋ_y[4]は、次式（２）を用いて計算する。

・・・（２）

なお、３次補間係数ｋ_x[4]，ｋ_y[4]の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。

積和部３０４は、近傍の画素値ａ[4][4]と、水平方向の補間係数ｋ_x[4]および垂直方向の補間係数ｋ_y[4]との積和計算により、縮小画像logＬ_clの補間位置ｐの補間値Ｌ_cl（ｐ）を、次式（３）を用いて算出する。

・・・（３）

次に、ゲイン値設定部２９３について説明する。ゲイン値設定部２９３は、上述したように、後段のコントラスト強調部２９４により低周波数域以外が強調される際の強調量を調節するゲイン値ｇ（ｐ）を設定するものである。ゲイン値ｇ（ｐ）＝１である場合、コントラスト強調部２９４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。また、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。

ゲイン値設定の概略を説明する。画像のコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば、強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。

そこで、ゲイン値設定部２９３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。

また、入力される対数輝度logＬ_c（ｐ）が白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力される対数輝度logＬ_c（ｐ）が白レベルまたは黒レベルに近くなるにしたがって、ゲイン値が１に近づくようする。

すなわち、代表値γの逆数１／γ＝ｇ₀として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。
ｇ（ｐ）＝１＋（ｇ₀−１）×attn（ｐ）
・・・（４）
ここで、attn（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。

・・・（５）

なお、式（５）において、logＬ_grayは、中庸なグレイレベルの対数輝度を示し、logＬ_whiteは、白クリップレベル（最大の白レベル）の対数輝度を示しており、どちらも予め設定されている定数である。

図１６は、ゲイン値設定部２９３の構成例を示している。除算器３１１は、前段から入力される代表値γの逆数１／γ＝ｇ₀を算出して減算器３１２に出力する。減算器３１２は、（ｇ₀−１）を演算して乗算器３１８に出力する。

減算器３１３は、対数輝度logＬ_c（ｐ）と、中庸なグレイレベルの対数輝度logＬ_grayの差（logＬ_c（ｐ）−logＬ_gray）を演算して、除算器３１５に出力する。減算器３１４は、白クリップレベルの対数輝度logＬ_whiteと、対数輝度logＬ_grayの差（logＬ_white−logＬ_gray）を演算して、除算器３１５に出力する。除算器３１５は、減算器３１３の出力（logＬ_c（ｐ）−logＬ_gray）を、減算器３１４の出力（logＬ_white−logＬ_gray）で除算して、絶対値計算器３１６に出力する。絶対値計算器３１６は、除算器３１５の出力の絶対値を計算してクリップ器３１７に出力する。クリップ器３１７は、絶対値計算器３１６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器３１６の出力が１を超過しない場合、その値をそのまま、attn（ｐ）として乗算器３１８に出力する。

乗算器３１８は、減算器３１２の出力に、クリップ器３１７の出力を乗算して、加算器３１９に出力する。加算器３１９は、乗算器３１８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。

次に、図１７を参照して、コントラスト強調部２９４の構成について説明する。減算器３２１は、対数輝度logＬ_c（ｐ）と、縮小画像の補間値logＬ_cl（ｐ）との差（logＬ_c（ｐ）−logＬ_cl（ｐ））を演算して、乗算器３２２に出力する。乗算器３２２は、減算器３２１の出力とゲイン値ｇ（ｐ）との積を演算して、加算器３２３に出力する。加算器３２３は、乗算器３２２の出力に、縮小画像の補間値logＬ_cl（ｐ）を加算して、コントラスト補正がなされた対数輝度logＬ_u（ｐ）を後段に出力する。

なお、縮小画像の補間値logＬ_cl（ｐ）は、ｍ×ｎ画素の縮小画像を元にして補間された値であるから、縮小前の画像logＬ_cのごく低周波域成分だけをもつものである。

つまり、減算器３２１の出力（logＬ_c（ｐ）−logＬ_cl（ｐ））は、元の対数輝度logＬ_c（ｐ）からごく低域成分だけを差し引いたものである。このように輝度信号をごく低周波域の成分とそれ以外の成分の２つに分離し、そのうち、低周波域成分以外をゲイン値ｇ（ｐ）を乗算して強調した後、再び加算器３２３により合成したものが、コントラスト補正がなされた対数輝度logＬ_u（ｐ）である。

このように、コントラスト強調部２９４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになっている。したがって、コントラスト補正がなされた対数輝度logＬ_u（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。

次に、輝度域情報算出部１４８および輝度域正規化部１５１について説明する。

まず、輝度域正規化処理の概要を説明する。DSP１１６による階調圧縮処理の目的は広DR輝度画像を、ディスプレイ１２０などの再生デバイスのダイナミックレンジに適合した狭DR画像に変換することであり、そのために、再生デバイスのダイナミックレンジにあわせたトーンカーブがトーンカーブ補正部１４２に予め用意されている。これにより、撮影された大多数の広DR輝度画像を、適切に階調圧縮することができる。

しかしながら、撮影する被写体によっては、入射光のダイナミックレンジが元々それほど大きくないこともあり得るので、その画像に階調圧縮処理を施した場合、必要以上に階調圧縮が行われてしまい、再生デバイスの再生可能なダイナミックレンジよりも狭いレンジに、輝度が押し込められてしまうこともあり得る。

これを抑止するために、輝度域正規化部１５１では、階調圧縮処理の最終段階の処理として、ガンマ補正後の輝度信号Ｙ（ｐ）のダイナミックレンジが、再生デバイスが再生可能なダイナミックレンジに一致するように、ガンマ補正後の輝度信号Ｙ（ｐ）を正規化する。

図１８は、輝度域正規化部１５１による輝度域正規化処理の様子を示している。同図の折れ線グラフは、横軸に輝度域正規化前のガンマ補正された輝度Ｙを示し、縦軸に輝度域正規化後の輝度Ｙ_nを示しており、階調変換曲線αは、輝度ＹをＹ_nに変換するときに用いる変換テーブルを示している。

階調変換曲線αの求め方について説明する。折れ線グラフの下に示された斜線の図形Ｆ１は、輝度域正規化前の輝度画像Ｙのヒストグラムの一例である。この例においては、ガンマ補正が行われた輝度域正規化前の段階で、デジタルビデオカメラ１０１が生成し得る最低輝度Ｙ_minから最高輝度Ｙ_maxまでのダイナミックレンジよりも狭いダイナミックレンジに階調圧縮された輝度画像が得られている。

このダイナミックレンジのままで再生デバイスに出力すると、再生デバイスの再生可能なダイナミックレンジが有効に使われないので、輝度域正規化前の輝度画像Ｙの輝度分布が、再生デバイスのダイナミックレンジの全域に亘って分布するように正規化を実行する。

そのためにまず、輝度域正規化前の輝度画像Ｙの図形Ｆ１のようなヒストグラム形状が分布する範囲［Ｙ_d，Ｙ_b］を、輝度域正規化前の輝度画像Ｙの輝度域情報として算出する。そして、再生デバイスの輝度域［Ｙ_nb，Ｙ_nc］の上下端よりも若干内側の輝度Ｙ_na，Ｙ_nsを設定し、横軸の輝度｛Ｙ_min，Ｙ_d，Ｙ_b，Ｙ_max｝が縦軸の輝度｛Ｙ_nb，Ｙ_na，Ｙ_ns，Ｙ_nc｝に対応するように階調変換曲線αを決定する。

この階調変換曲線αを用いて階調変換を行えば、折れ線グラフの左に示された斜線の図形Ｆ２のようなヒストグラム形状をもつ輝度画像Ｙ_nを得ることができる。

なお、輝度域正規化前の輝度域［Ｙ_d，Ｙ_b］を、再生デバイスの輝度域［Ｙ_nb，Ｙ_nc］よりも若干狭い輝度域［Ｙ_na，Ｙ_ns］に写像するように、階調変換曲線αを決定したが、その理由は、輝度Ｙ_nb，Ｙ_nc付近での急激な輝度クリッピングが画像上に現れないようにするためである。

ここで、輝度Ｙ_na，Ｙ_nsは、輝度Ｙ_nb，Ｙ_ncに基づいて予め適切な値を設定されているものとする。

なお、輝度域正規化前の輝度域［Ｙ_d，Ｙ_b］の取得は、輝度域情報算出部１４８が行い、階調変換曲線αの決定および輝度Ｙ_n（ｐ）の算出は、輝度域正規化部１５１が実行する。また、輝度域正規化前の輝度域情報は、後述する輝度域情報平滑化部１４８により平滑化されている。

次に、図１９を参照して、輝度域情報算出部１４８の構成について説明する。輝度域情報算出部１４８において、間引き部３４１は、ガンマ補正部１４７から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のMINソート部３４２およびMAXソート部３４５に供給する。

MINソート部３４２は、比較部３４３とレジスタ３４４の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ３４４−１乃至３４４−ｋに保持するようになされている。

例えば、比較部３４３−１は、間引き部３４１からの輝度Ｙ（ｐ）とレジスタ３４４−１の値を比較し、間引き部３４１からの輝度Ｙ（ｐ）がレジスタ３４４−１の値よりも小さい場合、間引き部３４１からの輝度Ｙ（ｐ）を用いてレジスタ３４４−１の値を更新する。反対に、間引き部３４１からの輝度Ｙ（ｐ）がレジスタ３４４−１の値よりも小さくない場合、間引き部３４１からの輝度Ｙ（ｐ）は後段の比較部３４３−２に供給される。

比較部３４３−２は、比較部３４３−１からの輝度Ｙ（ｐ）とレジスタ３４４−２の値を比較し、比較部３４３−１からの輝度Ｙ（ｐ）がレジスタ３４４−２の値よりも小さい場合、比較部３４３−１からの輝度Ｙ（ｐ）を用いてレジスタ３４４−２の値を更新する。反対に、比較部３４３−１からの輝度Ｙ（ｐ）がレジスタ３４４−２の値よりも小さくない場合、比較部３４３−１からの輝度Ｙ（ｐ）は後段の比較部３４３−３に供給される。

比較部３４３−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３４４−１に輝度Ｙ（ｐ）の最小値Ｙ_minが保持され、レジスタ３４４−２乃至３４４−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ３４４−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_dとして後段に出力される。

MAXソート部３４５は、比較部３４６とレジスタ３４７の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ３４７−１乃至３４７−ｋに保持するようになされている。

例えば、比較部３４６−１は、間引き部３４１からの輝度Ｙ（ｐ）とレジスタ３４７−１の値を比較し、間引き部３４１からの輝度Ｙ（ｐ）がレジスタ３４４−１の値よりも大きい場合、間引き部３４１からの輝度Ｙ（ｐ）を用いてレジスタ３４７−１の値を更新する。反対に、間引き部３４１からの輝度Ｙ（ｐ）がレジスタ３４７−１の値よりも大きくない場合、間引き部３４１からの輝度Ｙ（ｐ）は後段の比較部３４６−２に供給される。

比較部３４６−２は、比較部３４６−１からの輝度Ｙ（ｐ）とレジスタ３４７−２の値を比較し、比較部３４６−１からの輝度Ｙ（ｐ）がレジスタ３４７−２の値よりも大きい場合、比較部３４６−１からの輝度Ｙ（ｐ）を用いてレジスタ３４７−２の値を更新する。反対に、比較部３４６−１からの輝度Ｙ（ｐ）がレジスタ３４７−２の値よりも大きくない場合、比較部３４６−１からの輝度Ｙ（ｐ）は後段の比較部３４６−３に供給される。

比較部３４６−３以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ３４７−１に輝度Ｙ（ｐ）の最大値Ｙ_maxが保持され、レジスタ３４７−２乃至３４７−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ３４７−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_bとして後段に出力される。

なお、MINソート部３４２およびMAXソート部３４５に入力される輝度Ｙ（ｐ）は、間引き部３４１により間引きされたものであるので、間引きの間隔と、MINソート部３４２およびMAXソート部３４５の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば、上限および下限のそれぞれ１％等に相当する輝度Ｙ_d，Ｙ_bを得ることが可能になる。

次に、図２０を参照して、輝度域情報平滑化部１４９の構成について説明する。尚、輝度域平滑化処理の説明においては、輝度域情報を規定する時刻ｔにおける輝度Ｙ_d，Ｙ_bは、統一してＹ（ｔ）として表現するものとする。従って、輝度域平滑化部１４９は、輝度域情報を規定する画素ｐの時刻ｔにおける輝度Ｙ_d，Ｙ_bに対して、それぞれについて同様に平滑化処理を行った後、後段の輝度域情報メモリ１５０に平滑化した輝度域情報として出力するものとする。

平滑化計算部３５１は、平滑化しようとする時刻ｔのフレームの輝度域情報Ｙ（ｔ）と、直前の時刻（ｔ−１）のフレームに対応する輝度域情報Ｙ（ｔ−１）に、それぞれの重みを乗じた和を求めることにより、輝度域情報Ｙ（ｔ）を平滑化し、時刻（ｔ）に対応するフレームの輝度域情報Ｙ’（ｔ）として、出力すると共に、バッファ３５２に供給する。バッファ３５２は、輝度域情報Ｙ’（ｔ）を輝度域情報Ｙ（Ｐ，ｔ−１）として上書きして記憶し、上述のように、平滑化計算部３５１に供給する。この処理を順次繰り返すことにより、平滑化計算部３５１は、各フレームに対応する平均輝度値を順次平滑化する。

図２１は、輝度域正規化部１５１の構成例を示している。輝度域正規化部１５１は、上述したように、階調変換曲線αを決定し、階調変換曲線αを用いてガンマ補正後の輝度Ｙ（ｐ）を輝度域正規化後の輝度Ｙ_n（ｐ）に変換するものである。

図１８に示されたように、階調変換曲線αは５本の線分で構成されているので、輝度域正規化部１５１では、入力された輝度Ｙ（ｐ）がどの線分の範囲であるかを判別し、入力された輝度Ｙ（ｐ）に階調変換曲線αを構成する５本の線分のうちの１つを適用して、輝度域正規化後の輝度Ｙ_n（ｐ）に変換する。

輝度域正規化部１５１のセレクタ３６１は、入力端子ｉに入力される輝度Ｙ（ｐ）に基づき、入力端子ａ乃至ｈにそれぞれ入力される輝度Ｙ_max，Ｙ_b，Ｙ_d，Ｙ_min，Ｙ_nc，Ｙ_ns，Ｙ_na，Ｙ_nbのうちの４つの輝度を、出力端子ｊ乃至ｍから出力する。この対応関係は、以下の通りである。

減算器３６２は、出力端子ｋの出力と出力端子ｊの出力の差を演算して、除算器３６５に出力する。減算器３６３は、出力端子ｌの出力と減算器３６４の出力の差を演算して、除算器３６５に出力する。減算器３６４は、輝度Ｙ（ｐ）と出力端子ｍの出力との差を演算して、乗算器３６６に出力する。除算器３６５は、減算器３６２の出力と減算器３６３の出力の比を演算して乗算器３６６に出力する。乗算器３６６は、除算器３６５の出力と減算器３６４の出力の積を演算して、加算器３６７に出力する。加算器３６７は、出力端子ｊの出力と乗算器３６６の出力を加算して出力する。

加算器３６７の出力Ｙ_n（ｐ）は、ガンマ補正後の輝度Ｙ（ｐ）に基づいて判別された階調変換曲線αの線分を示す次式（６）に示すとおりとなる。

・・・（６）

ところで、図９に示されたトーンカーブ補正部１４２の平均輝度算出部２１３と、図１１に示された縮小画像生成部１４３の平均値計算部２５２が同様の計算を実行することに着目すれば、よりシンプルな回路構成で演算量を減少させることが可能である。具体的には、図５のトーンカーブ補正部１４２、縮小画像生成部１４３、縮小画像メモリ１４４、およびコントラスト補正部１４５を組み合わせて、図２２に示すような複合部３７１を設ければよい。

この複合部３７１は、図５に示されたトーンカーブ補正部１４２、縮小画像生成部１４３、縮小画像メモリ１４４、およびコントラスト補正部１４５と置換可能なものである。

複合部３７１のLUTメモリ３８１には、図７に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ₁が予め保持されている。テーブル参照部３８２は、上段から入力された対数輝度logＬ（ｐ）を、LUTメモリ３８１に保持されているLUTに基づいて対数輝度logＬ_c'（ｐ）に補正して縮小画像生成部３８３および乗算器３９２に出力する。

縮小画像生成部３８３は、対数輝度画像logＬ_c'をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度logＬ_c'（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ３８４に保持させる。

平均輝度算出部３８５は、第１の縮小画像メモリ３８４に保持されている１フレーム前の第１の縮小画像の画素値の平均輝度値μを算出して、平均輝度平滑化部３８６に出力する。

平均輝度平滑化部３８６は、平均輝度算出部３８５より供給された平均輝度値を、前後のフレームの平均輝度値、または、前後のフレームの平滑化された平均輝度値を用いて平滑化し、除算器３８７に供給する。

除算器３８７は、所定の定数logＬ_Tを平滑化された平均輝度値μで除算し、代表値γ₂を算出し、γ₂メモリ３８８に保持させる。乗算器３８９は、第１の縮小画像メモリ３８４に保持されている第１の縮小画像の各画素に、γ₂メモリ３８８に保持されている代表値γ₂を乗算して、第２の縮小画像logＬ_clを生成し、第２の縮小画像メモリ３９０に持させる。

乗算器３９１は、テーブル参照部３８２から入力された現フレームの対数輝度logＬ_c'（ｐ）に、γ₂メモリ３８８に保持されている１フレーム前の代表値γ₂を乗算して、トーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出する。乗算器３９２は、代表値γ₁，γ₂の積を代表値γ（＝γ₁・γ₂）としてゲイン値設定部３９３に出力する。

ゲイン値設定部３９３は、乗算器３９２から入力された前フレームに対する代表値γと、乗算器３９１から入力された現在フレームの対数輝度logＬ_c（ｐ）に基づいて、現在フレームの対数輝度logＬ_c（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。

補間位置指定部３９４は、乗算器３９１から入力された現在フレームの対数輝度logＬ_c（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部１７４に出力する。補間部１７４は、第２の縮小画像メモリ３９０に保持されている１フレーム前の第２の縮小画像logＬ_clを用いて、補間位置ｐに対応する画素logＬ_cl（ｐ）を補間により算出してコントラスト強調部３９４に出力する。

コントラスト強調部３９４は、乗算器３９１から入力された現在フレームの対数輝度logＬ_c（ｐ）について、ゲイン値ｇ（ｐ）および縮小画像の補間値logＬ_cl（ｐ）に基づき、低周波数成分以外のコントラストが強調された対数輝度logＬ_u（ｐ）を算出する。

この複合部３７１を用いれば、平均輝度算出部３８５は、第１の縮小画像のｍ×ｎ画素の平均値を算出することになるので、本来の画像サイズの対数輝度画像logＬ_cの画素の平均値を算出する図９の平均輝度算出部２１３に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。

次に、図２２に示された複合部３７１が適用されたDSP１１６の第１の構成例による総合的な階調圧縮処理について、図２３のフローチャートを参照して説明する。

ステップＳ１において、DSP１１６は、入力された現フレームの広DR輝度画像Ｌを、１フレーム前の広DR輝度画像に対して算出され、保持されている中間情報（第２の縮小画像logＬ_c（ｐ）、代表値γ、輝度域情報［Ｙ_d，Ｙ_b］）を基づいて狭DR輝度画像Ｙ_nに変換する。また、DSP１１６は、現フレームの広DR輝度画像Ｌに対する中間情報を算出する。

ステップＳ２において、DSP１１６は、算出した現フレームの広DR輝度画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広DR輝度画像に対する中間情報を更新する。

ステップＳ３において、DSP１１６は、入力された現フレームの広DR輝度画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。

ステップＳ１における画素単位の処理の詳細を、図２４のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタスキャン順に入力される注目画素（画素位置ｐ）に対して実行される。

ステップＳ１１において、DSP１１６に注目画素（画素位置ｐ）の輝度Ｌ（ｐ）が入力される。ステップＳ１２において、対数変換部１４１は、入力された輝度Ｌ（ｐ）を対数変換し、得られた対数輝度logＬ（ｐ）を複合部３７１に出力する。ステップＳ１３において、複合部３７１のテーブル参照部３８２は、対数変換部１４１から入力された対数輝度logＬ（ｐ）を、LUTメモリ３８１に保持されているLUTに基づいて対数輝度logＬ_c'（ｐ）に補正して縮小画像生成部３８３および乗算器３９２に出力する。これと同時に、LUTメモリ３８１は、トーンカーブの傾きの代表値γ₁を乗算器３９２に出力する。乗算器３９２は、代表値γ₁とγ₂メモリ３８８に保持されている１フレーム前の第１の縮小画像に基づいて算出されたγ₂の積を代表値γとしてゲイン値設定部３９３の出力する。

ステップＳ１４において、縮小画像生成部３８３は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ₂が算出される。また、生成された第１の縮小画像に算出された代表値γ₂が乗算されて、第２の縮小画像logＬ_clが生成される。

ステップＳ１５において、乗算器３９１は、テーブル参照部３８２から入力された現フレームの対数輝度logＬ_c'（ｐ）に、γ₂メモリ３８８に保持されている１フレーム前の代表値γ₂を乗算して、トーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出する。

ステップＳ１６において、ゲイン値設定部３９３は、乗算器３９２から入力された前フレームに対する代表値γと、乗算器３９１から入力された現在フレームの対数輝度logＬ_c（ｐ）に基づいて、現在フレームの対数輝度logＬ_c（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。

ステップＳ１７において、補間部１７４は、第２の縮小画像メモリ３９０に保持されている１フレーム前の第２の縮小画像logＬ_clを用いて、補間位置ｐに対応する画素logＬ_cl（ｐ）を補間により算出してコントラスト強調部３９４に出力する。ステップＳ１８において、コントラスト強調部３９４は、第２の縮小画像の補間値logＬ_cl（ｐ）およびゲイン値ｇ（ｐ）に基づき、トーンカーブ補正後の対数輝度logＬ_c（ｐ）の低周波域成分以外を強調し、その結果得られたコントラスト補正された対数輝度logＬ_u（ｐ）を後段の対数逆変換部１４６に出力する。

ステップＳ１９において、対数逆変換部１４６は、コントラスト補正された対数輝度logＬ_u（Ｐ）を、通常軸の輝度Ｌ_u（Ｐ）に変換し、ガンマ補正部１４７に出力する。ステップＳ２０において、ガンマ補正部１４７は、所定のガンマ補正を行い、得られた輝度Ｙ（ｐ）を輝度域情報算出部１４８および輝度域正規化部１５１に出力する。

ステップＳ２１において、輝度域情報算出部１４８は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙ_d，Ｙ_b］を生成する。

ステップＳ２２において、輝度域情報平滑化部１４９は、輝度域情報平滑化処理を実行し、輝度域情報［Ｙ_d，Ｙ_b］を平滑化して、輝度域情報メモリ１５０に格納させる。尚、輝度域情報平滑化処理については、図２５のフローチャートを参照して、後述する。

ステップＳ２３において、輝度域正規化部１５１は、輝度域情報メモリ１５０に保持されている１フレーム前の平滑化されている輝度域情報［Ｙ_d，Ｙ_b］に基づき、ガンマ補正部１４７から入力された輝度Ｙ（ｐ）を正規化して、輝度Ｙ_n（ｐ）を算出する。ステップＳ２４において、輝度域正規化部１５１は、輝度Ｙ_n（ｐ）を、階調圧縮された狭DR輝度画像の画素値として出力する。

ここで、図２５のフローチャートを参照して、図２４のフローチャートにおけるステップＳ２３の処理である、輝度域情報平滑化処理について説明する。尚、以下の輝度域情報平滑化処理の説明において、時刻ｔにおける輝度域情報［Ｙ_d，Ｙ_b］の輝度Ｙ_d，Ｙ_bは、Ｙ（ｔ）として統一して説明するものとする。

ステップＳ３１において、輝度域情報平滑化部１４９の平滑化計算部３５１は、入力された、フレームの時刻ｔが０で有るか否かを判定する。すなわち、最初のフレームであるか否かを判定する。ステップＳ３１において、時刻ｔ＝０であると判定された場合、ステップＳ３２において、平滑化計算部３５１は、所定の定数Ｖ１を、時刻ｔに対応する平滑化した輝度域情報Ｙ’（ｔ）として出力すると共に、バッファ３５２に供給する。

ステップＳ３３において、バッファ３５２は、平滑化された輝度域情報Ｙ’（ｔ）を１フレーム前の平滑化された輝度域情報Ｙ’（ｔ−１）として上書き記憶する。

ステップＳ３１において、時刻ｔ＝０ではない、すなわち、最初のフレームではなく、いずれかのフレームに対応する輝度域情報Ｙ（ｔ）がそれ以前に供給されている状態であると判定された場合、ステップＳ３４において、平滑化計算部３５１は、時刻ｔ＝１であるか、すなわち、２フレーム目の輝度域情報Ｙ（ｔ）（ｔ＝１）であるか否かを判定し、例えば、２フレーム目の輝度域情報Ｙ（ｔ）（ｔ＝１）である場合、その処理は、ステップＳ３５に進む。

ステップＳ３５において、平滑化計算部３５１は、バッファ３５２に記憶されている直前のフレーム目の輝度域情報Ｙ（ｔ−１）（２フレーム目なので輝度域情報Ｙ（ｔ）（ｔ＝０））を、輝度域情報Ｙ（ｔ）の平滑化した結果として出力し、その処理は、ステップＳ３３に進む。

ステップＳ３４において、時刻ｔ＝１ではない、すなわち、３フレーム目以降であると判定された場合、その処理は、ステップＳ３６に進む。

ステップＳ３６において、平滑化計算部３５１は、今入力されたフレームの輝度域情報Ｙ（ｔ）と、バッファ３５２に記憶されている直前のフレームの平滑化された輝度域情報Ｙ’（ｔ−１）に基づいて、Ｃ１×Ｙ（ｔ）＋（１−Ｃ１）×Ｙ’（ｔ−１）を演算し、今入力されたフレームの平滑化された輝度域情報Ｙ’（ｔ）として出力し、その処理は、ステップＳ３３に進む。ここで、重み係数Ｃ１は、０より大きく１よりも小さい任意の値である。

以上の処理が繰り返されることにより、直前のフレームの平滑化された輝度域情報を考慮して、輝度域情報が順次平滑化されるので、動画像のフレーム毎の輝度変動に対応した階調変換を実現することが可能となる。尚、重み係数Ｃ１は、例えば、今の場合、１に近い値ほど、今現在のフレームの輝度域情報の値が考慮された状態で平滑化され、逆に、０に近い値ほど、直前のフレームの輝度域情報が考慮された状態で平滑化されることになる。また、今の例においては、直前に平滑化された輝度域情報と、今、入力された輝度域情報に基づいて、輝度域情報を平滑化する例について説明してきたが、さらに、多くのタイミングで平滑化された輝度域情報と今、入力された輝度域情報を用いて、平滑化するようにしても良い。

次に、図２３のステップＳ２の処理の詳細を、図２６のフローチャートを参照して説明する。ステップＳ４１において、縮小画像生成部３８３は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ３８４に保持されている第１の縮小画像を更新する。

ステップＳ４２において、平均輝度算出部３８５は、第1の縮小画像メモリ３８４の各画素の画素値に基づいて、平均輝度値μを計算し平均輝度平滑化部３８６に供給する。

ステップＳ４３において、平均輝度平滑化部３８６は、平均輝度平滑化処理を実行し、供給された平均輝度値μを平滑化して、除算器３８７に供給する。尚、平均輝度平滑化処理については、図２７のフローチャートを参照して、詳細を後述する。

ステップＳ４４において、除算器３８７は、所定の定数logＬ_Tを、平均輝度算出部３８５から入力された平滑化されている平均輝度値μで除算して代表値γ₂を算出し、算出した代表値γ₂を用いて、γ₂メモリ３８８に保持されている代表値γ₂を更新する。

ステップＳ４５において、乗算器３８９は、ステップＳ４１の処理で更新された第１の縮小画像メモリ３８４に保持されている第１の縮小画像の各画素に、ステップＳ４４の処理で更新されたγ₂メモリ３８８に保持されている代表値γ₂を乗算して、第２の縮小画像logＬ_clを生成し、第１の縮小画像メモリ３９０に保持されている第２の縮小画像logＬ_clを更新する。

ステップＳ４６において、輝度域情報算出部１４８は、１フレーム分の輝度Ｙ（ｐ）を元にして算出した輝度域情報［Ｙ_d，Ｙ_b］を用いて、輝度域情報メモリ１５０に保持されている１フレーム前の輝度域情報［Ｙ_d，Ｙ_b］を更新する。

ここで、図２７のフローチャートを参照して、図２６のフローチャートにおけるステップＳ４３の処理である、平均輝度平滑化処理について説明する。尚、以下の説明において、時刻ｔの平均輝度μをμ（ｔ）として説明する。

ステップＳ５１において、平均輝度平滑化部２１４の平滑化計算部２３１は、入力された、フレームの時刻ｔが０で有るか否かを判定する。すなわち、最初のフレームであるか否かを判定する。ステップＳ５１において、時刻＝０であると判定された場合、ステップＳ５２において、平滑化計算部２３１は、所定の定数Ｖ２を、時刻ｔに対応する平滑化した平均輝度μ’（ｔ）として出力すると共に、バッファ２３２に供給する。

ステップＳ５３において、バッファ２３２は、平滑化された平均輝度値μ’（ｔ）を１フレーム前の平滑化された平均輝度値μ’（ｔ−１）として上書き記憶する。

ステップＳ５１において、時刻ｔ＝０ではない、すなわち、最初のフレームではなく、いずれかのフレームに対応する平均輝度値μ（ｔ）がそれ以前に供給されている状態であると判定された場合、ステップＳ５４において、平滑化計算部２３１は、時刻ｔ＝１であるか、すなわち、２フレーム目の平均輝度値μ（１）であるか否かを判定し、例えば、２フレーム目の平均輝度値μ（１）である場合、その処理は、ステップＳ５５に進む。

ステップＳ５５において、平滑化計算部２３１は、バッファ２３２に記憶されている直前のフレーム目の平均輝度値μ（ｔ−１）（２フレーム目なので平均輝度値μ（０））を、平均輝度値μ（ｔ）の平滑化した結果として出力し、その処理は、ステップＳ５３に進む。

ステップＳ５４において、時刻ｔ＝１ではない、すなわち、３フレーム目以降であると判定された場合、その処理は、ステップＳ５６に進む。

ステップＳ５６において、平滑化計算部２３１は、今入力されたフレームの平均輝度値μ（ｔ）と、バッファ２３２に記憶されている直前のフレームの平滑化された平均輝度値μ’（ｔ−１）に基づいて、Ｃ２×μ（ｔ）＋（１−Ｃ２）×μ’（ｔ−１）を演算し、今入力されたフレームの平滑化された平均輝度値μ’（ｔ）として出力し、その処理は、ステップＳ５３に進む。ここで、重み係数Ｃ２は、０より大きく１よりも小さい任意の値である。

以上の処理が繰り返されることにより、直前のフレームの平滑化された平均輝度値を考慮して、平均輝度値が順次平滑化されるので、動画像のフレーム毎の輝度変動に対応した階調変換を実現することが可能となる。尚、重み係数Ｃ２は、例えば、今の場合、１に近い値ほど、今現在のフレームの平均輝度値の値が考慮された状態で平滑化され、逆に、０に近い値ほど、直前のフレームの平均輝度値が考慮された状態で平滑化されることになる。また、今の例においては、直前に平滑化された平均輝度値と、今、入力された平均輝度値に基づいて、平均輝度値μを平滑化する例について説明してきたが、さらに、多くのタイミングで平滑化された平均輝度値と今、入力された平均輝度値を用いて、平滑化するようにしても良い。

以上の処理においては、処理する以前の処理結果を使用して次フレームの平均輝度値を平滑化する手法について説明してきたが、この処理は、いわゆる無限インパルス応答(IIR)フィルタの一種であるため、計算に使用する係数によっては結果が不安定になる可能性が考えられる。

そこで、有限インパルス応答(FIR)型フィルタのように、過去の一定の入力フレームに対応する平均輝度値を利用して平滑化するようにして、結果を安定できるようにしてもよい。

図２８は、FIR型の平均輝度平滑化部２１４の構成を示している。

バッファ４１１−１乃至４１１−Nは、それぞれ基本的に同様のものである。バッファ４１１−１は、時刻ｔにおいて、平均輝度値μ（ｔ）が供給されると、それ以前のタイミングである時刻（ｔ−１）において記憶した平均輝度値μ（ｔ−１）を積和計算部４１２に供給すると共に、バッファ４１１−２に供給する。同様にして、バッファ４１１−ｎは、バッファ４１１−（ｎ−１）より供給された平均輝度値μ（ｔ）を、記憶すると共に、バッファ４１１−（ｎ＋１）に直前に記憶した平均輝度値μ（ｔ−１）を供給すると共に、積和計算部４１２に供給する。

結果として、バッファ４１１−１乃至４１１−Ｎは、今の時刻ｔから見て、時刻ｔ−Ｎまでの平均輝度値μ（ｔ−１）乃至μ（ｔ−Ｎ）をそれぞれ積和計算部４１２に供給する。

積和計算部４１２は、入力される平均輝度値μ（ｔ）乃至μ（ｔ−Ｎ）に基づいて、所定の重み係数を用いて、積和演算することにより、平均輝度値μ（ｔ）を平滑化して、平滑化された平均輝度値μ’（ｔ）として出力する。

次に、図２９のフローチャートを参照して、図２８の平均輝度平滑化部２１４による平均輝度平滑化処理について説明する。

ステップＳ７１において、図２８の平均輝度平滑化部２１４の積和計算部４１２は、入力された、フレームの時刻ｔが０で有るか否かを判定する。すなわち、最初のフレームであるか否かを判定する。ステップＳ７１において、時刻＝０であると判定された場合、ステップＳ７２において、積和計算部４１２は、所定の定数Ｖ２を、時刻ｔに対応する平滑化した平均輝度値μ’（ｔ）として出力すると共に、バッファ４１１−１が、入力された平均輝度値μ（ｔ）（＝平均輝度値μ（０））を記憶する。

ステップＳ７３において、バッファ４１１−ｎ（ｎ＝１，２，３・・・Ｎ）は、バッファ４１１−（ｎ＋１）に記憶している平均輝度値μ（ｔ−ｎ）を供給し、バッファ４１１−（ｎ−１）より供給された平均輝度値μ（ｔ）を平均輝度値μ（ｔ−ｎ）として上書きして記憶する。

ステップＳ７１において、時刻ｔ＝０ではない、すなわち、最初のフレームではなく、いずれかのフレームに対応する平均輝度値μ（ｔ）がそれ以前に供給されている状態であると判定された場合、ステップＳ７４において、積和計算部４１２は、時刻ｔ≦Ｎであるか、すなわち、バッファ４１１−１乃至４１１−Ｎの全てに平均輝度値μ（ｔ）が記憶されていない状態であるか否かを判定し、例えば、全てに平均輝度値が記憶されていない場合、その処理は、ステップＳ７５に進む。

ステップＳ７５において、積和計算部４１２は、バッファ４１１−１乃至４１１−Ｎのうち、既に平均輝度値μが記憶されているバッファ４１１−１乃至４１１−ｔの直前のフレームと今のフレームの平均輝度値μ（ｔ）乃至μ（０）に、それぞれ重み係数ａ₀乃至ａ_tを乗じて、平均輝度値μ（ｔ）を平滑化した平均輝度値μ’（ｔ）として出力し、その処理は、ステップＳ７３に進む。より詳細には、積和計算部４１２は、ａ₀μ（ｔ）＋ａ₁μ（ｔ−１）＋ａ₂μ（ｔ−２）＋・・・＋ａ_tμ（０）を演算し、平滑化した平均輝度値μ’（ｔ）として出力する。ここで、重み係数は、ａ₀＋ａ₁＋ａ₂＋・・・＋ａ_t＝１となり、それぞれ任意の値である。

ステップＳ７４において、時刻ｔ≦Nではない、すなわち、Ｎフレーム目以降であると判定された場合、その処理は、ステップＳ７６に進む。

ステップＳ７６において、積和計算部４１２は、バッファ４１１−１乃至４１１−Ｎに記憶されているフレームと今のフレームの平均輝度値μ（ｔ）乃至μ（０）に、それぞれ重み係数ａ₀乃至ａ_Nを乗じて、平均輝度値μ（ｔ）を平滑化した平均輝度値μ’（ｔ）として出力し、その処理は、ステップＳ７３に進む。より詳細には、積和計算部４１２は、ａ₀μ（ｔ）＋ａ₁μ（ｔ−１）＋ａ₂μ（ｔ−２）＋・・・＋ａ_nμ（ｔ−ｎ）を演算し、平滑化した平均輝度値μ’（ｔ）として出力する。ここで、重み係数は、ａ₀＋ａ₁＋ａ₂＋・・・＋ａ_n＝１となり、それぞれ任意の値である。

以上の処理が繰り返されることにより、直前のフレームの平滑化された平均輝度値を考慮して、平均輝度値が順次平滑化されるので、動画像のフレーム毎の輝度変動に対応した階調変換を実現することが可能となる。また、この処理は、有限インパルス応答(FIR)型フィルタのように、過去の一定の入力フレームに対応する平均輝度値を利用して平滑化するようにしているので、結果を安定させるようにすることができる。

以上においては、FIR型の平均輝度平滑化処理について説明してきたが、輝度域情報平滑化処理をFIR型とするようにしてもよい。

図３０は、FIR型の輝度域情報平滑化部１４９の構成を示している。

バッファ４３１−１乃至４３１−Mは、それぞれ基本的に同様のものである。バッファ４１１−１は、時刻ｔにおいて、輝度域情報Ｙ（ｔ）が供給されると、それ以前のタイミングである時刻（ｔ−１）において記憶した輝度域情報Ｙ（ｔ−１）を積和計算部４３２に供給すると共に、バッファ４３１−２に供給する。同様にして、バッファ４３１−ｎは、バッファ４３１−（ｎ−１）より供給された輝度域情報Ｙ（ｔ）を、記憶すると共に、バッファ４３１−（ｎ＋１）に直前に記憶した輝度域情報Ｙ（ｔ−１）を供給すると共に、積和計算部４３２に供給する。

結果として、バッファ４３１−１乃至４３１−Mは、今の時刻ｔから見て、時刻ｔ−Ｎまでの輝度域情報Ｙ（ｔ−１）乃至Ｙ（ｔ−Ｎ）をそれぞれ積和計算部４３２に供給する。

積和計算部４３２は、入力される輝度域情報Ｙ（ｔ）乃至Ｙ（ｔ−M）に基づいて、所定の重み係数を用いて、積和演算することにより、輝度域情報Ｙ（ｔ）を平滑化して、平滑化された輝度域情報Ｙ’（ｔ）として出力する。

次に、図３１のフローチャートを参照して、図３０の輝度域情報平滑化部１４９による平均輝度平滑化処理について説明する。

ステップＳ９１において、図３０の輝度域情報平滑化部１４９の積和計算部４３２は、入力された、フレームの時刻ｔが０で有るか否かを判定する。すなわち、最初のフレームであるか否かを判定する。ステップＳ９１において、時刻＝０であると判定された場合、ステップＳ９２において、積和計算部４３２は、所定の定数Ｖ１を、時刻ｔに対応する平滑化した輝度域情報Ｙ’（ｔ）として出力すると共に、バッファ４３１−１が、入力された輝度域情報Ｙ（ｔ）（＝輝度域情報Ｙ（ｔ）（ｔ＝０））を記憶する。

ステップＳ９３において、バッファ４３１−ｎ（ｎ＝１，２，３・・・M）は、バッファ４３１−（ｎ＋１）に記憶している輝度域情報Ｙ（ｔ−１）を供給し、バッファ４３１−（ｎ−１）より供給された輝度域情報Ｙ（ｔ）を輝度域情報Ｙ（ｔ−１）として上書きして記憶する。

ステップＳ９１において、時刻ｔ＝０ではない、すなわち、最初のフレームではなく、いずれかのフレームに対応する輝度域情報Ｙ（ｔ）がそれ以前に供給されている状態であると判定された場合、ステップＳ９４において、積和計算部４３２は、時刻ｔ≦Mであるか、すなわち、バッファ４３１−１乃至４３１−Mの全てに輝度域情報Ｙ（ｔ）が記憶されていない状態であるか否かを判定し、例えば、全てに輝度域情報Ｙが記憶されていない場合、その処理は、ステップＳ９５に進む。

ステップＳ９５において、積和計算部４３２は、バッファ４３１−１乃至４３１−Mのうち、既に輝度域情報Ｙが記憶されているバッファ４３１−１乃至４３１−ｔの直前のフレームと今のフレームの輝度域情報Ｙ（ｔ）乃至μ（０）に、それぞれ重み係数ｂ₀乃至ｂ_tを乗じて、輝度域情報Ｙ（ｔ）を平滑化した輝度域情報Ｙ’（ｔ）として出力し、その処理は、ステップＳ９３に進む。より詳細には、積和計算部４３２は、ｂ₀Ｙ（ｔ）＋ｂ₁Ｙ（ｔ−１）＋ｂ₂Ｙ（ｔ−２）＋・・・＋ｂ_tＹ（０）を演算し、平滑化した輝度域情報Ｙ’（ｔ）として出力する。ここで、重み係数は、ｂ₀＋ｂ₁＋ｂ₂＋・・・＋ｂ_t＝１となり、それぞれ任意の値である。

ステップＳ９４において、時刻ｔ≦Mではない、すなわち、Mフレーム目以降であると判定された場合、その処理は、ステップＳ９６に進む。

ステップＳ９６において、積和計算部４３２は、バッファ４３１−１乃至４３１−Ｍに記憶されているフレームと今のフレームの輝度域情報Ｙ（ｔ）乃至Ｙ（０）に、それぞれ重み係数ｂ₀乃至ｂ_Nを乗じて、輝度域情報Ｙ（ｔ）を平滑化した輝度域情報Ｙ’（ｔ）として出力し、その処理は、ステップＳ９３に進む。より詳細には、積和計算部４３２は、ｂ₀Ｙ（ｔ）＋ｂ₁Ｙ（ｔ−１）＋ｂ₂Ｙ（ｔ−２）＋・・・＋ｂ_MＹ（ｔ−M）を演算し、平滑化した輝度域情報Ｙ’（ｔ）として出力する。ここで、重み係数は、ｂ₀＋ｂ₁＋ｂ₂＋・・・＋ｂ_M＝１となり、それぞれ任意の値である。

以上の処理が繰り返されることにより、直前のフレームの平滑化された輝度域情報を考慮して、輝度域情報が順次平滑化されるので、動画像のフレーム毎の輝度変動に対応した階調変換を実現することが可能となる。また、この処理は、有限インパルス応答(FIR)型フィルタのように、過去の一定の入力フレームに対応する輝度域情報を利用して平滑化するようにしているので、結果を安定させるようにすることができる。

次に、図３２は、カラー画像である広DR画像に対応したDSP１１６の構成例を示している。なお、DSP１１６にラスタスキャン順に入力される広DR画像は、全ての画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有しているのではなく、Ｒ，Ｇ，Ｂ成分のうちのいずれか１つを有しているものとする。以下、DSP１１６の第２の構成例に入力されるカラー画像である広DR画像を、広DR色モザイク画像と記述する。なお、広DR色モザイク画像の各画素がＲ，Ｇ，Ｂ成分のうちのいずれを有しているかは、画素位置によって決定されている。

DSP１１６にラスタスキャン順に入力される広DR色モザイク画像の画素値を、Ｌ（ｐ）と記述する。

DSP１１６の当該第２の構成例において、デモザイク部４５１は、画素毎に異なる色成分を有する１フレーム分の画素値Ｌ（ｐ）を元に対し、全て画素がＲ，Ｇ，Ｂ成分を全て有するようにデモザイク処理を施して、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］を生成し、色バランス調整部４５２に出力する。以下、デモザイク部４５１から出力される色信号からなる画像を広DRカラー画像と記述する。

色バランス調整部４５２は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒ_b（ｐ），Ｇ_b（ｐ），Ｂ_b（ｐ）］を生成する。なお、デモザイク部４５１および色バランス調整部４５２は、単板式CCDイメージセンサが搭載された一般的なデジタルビデオに実装されているものである。

対数変換部４５３は、色バランス調整部４５２から入力される色信号［Ｒ_b（ｐ），Ｇ_b（ｐ），Ｂ_b（ｐ）］を対数変換し、得られる対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］をトーンカーブ補正部４５４に出力する。トーンカーブ補正部４５４は、入力される対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］に対し、予め用意されているトーンカーブを適用して階調を圧縮する方向に変換し、得られる対数色信号［logＲ_c（ｐ），logＧ_c（ｐ），logＢ_c（ｐ）］を縮小画像生成部４５５およびコントラスト補正部４５７に出力する。また、トーンカーブ補正部４５４は、適用したトーンカーブの傾きを示す代表値γをコントラスト補正部４５７に出力する。

縮小画像生成部４５５は、トーンカーブ補正部４５４から入力される１フレーム分の対数色信号［logＲ_c（ｐ），logＧ_c（ｐ），logＢ_c（ｐ）］を元に、縮小画像logＬ_clを生成して、縮小画像メモリ４５６に保持させる。

コントラスト補正部４５７は、トーンカーブ補正部４５４から入力される現フレームの対数色信号［logＲ_c（ｐ），logＧ_c（ｐ），logＢ_c（ｐ）］のトーンカーブ補正によって弱められているコントラストを、代表値γおよび縮小画像メモリ４５６に保持されている１フレーム前の縮小画像logＬ_clに基づいて補正し、得られる対数色信号［logＲ_u（ｐ），logＧ_u（ｐ），logＢ_u（ｐ）］を対数逆変換部４５８に出力する。対数逆変換部４５８は、コントラストが補正された対数色信号［logＲ_u（ｐ），logＧ_u（ｐ），logＢ_u（ｐ）］を、対数逆変換して、得られる通常軸の色信号［Ｒ_u（ｐ），Ｇ_u（ｐ），Ｂ_u（ｐ）］をガンマ補正部４５９に出力する。

ガンマ補正部４５９は、対数逆変換部４５８から入力される色信号［Ｒ_u（ｐ），Ｇ_u（ｐ），Ｂ_u（ｐ）］に対して、再生デバイス（例えば、ディスプレイ１２０）のガンマ特性を考慮したガンマ補正を施し、得られるガンマ補正後の色信号［Ｒ_g（ｐ），Ｇ_u（ｐ），Ｂ_g（ｐ）］を輝度情報算出部４６０および輝度域正規化部４６３に出力する。輝度情報算出部４６０は、ガンマ補正部４５９から入力される１フレーム分の色信号［Ｒ_g（ｐ），Ｇ_u（ｐ），Ｂ_g（ｐ）］を輝度Ｙ（ｐ）に変換した後、輝度Ｙ（ｐ）の分布を示す輝度域情報を算出して輝度域情報平滑化部４６１に供給する。

輝度域情報平滑化部４６１は、輝度域情報を平滑化しようとするフレームと、時間方向に所定の関係となるフレームの輝度域情報（または、平滑化された輝度域情報）を利用して、輝度域情報を平滑化し、輝度域情報メモリ４６１に保持させる。ここで、輝度域情報とは、１フレームにおける輝度Ｙ（ｐ）の分布の範囲を示す情報であって、例えば、最も暗い方に近い輝度Ｙ_dと、最も明るい方に近い輝度Ｙ_bを輝度域情報［Ｙ_d，Ｙ_b］として算出するようにする。

輝度域正規化部４６３は、輝度域情報メモリ４６１に保持されている１フレーム前の輝度域情報［Ｙ_d，Ｙ_b］に基づき、ガンマ補正部４５９から入力される現フレームの色信号［Ｒ_g（ｐ），Ｇ_u（ｐ），Ｂ_g（ｐ）］を、その分布範囲が再生デバイス（例えば、ディスプレイ１２０）が表現可能な範囲に合致するように変換し、得られる色信号［Ｒ_n（ｐ），Ｇ_n（ｐ），Ｂ_n（ｐ）］を、カラー画像である狭DR画像の画素値として後段に出力する。

以下説明したように、カラー画像に対応するDSP１１６の第２の構成例は、デモザイク部４５１および色バランス部２０２が追加されていること以外、図５に示されたモノクロ画像に対応する第１の構成例とほぼ同様であるが、各部の内部の構成がカラー画像に対応するために若干変更されている。

図３３は、トーンカーブ補正部４５４の第１の構成例を示している。第１の構成例において、輝度生成部４８１は、入力される対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］の線形和を演算することにより対数輝度logＬ_b（ｐ）を生成し、減算器４８２−Ｒ乃至４８２−Ｂおよびテーブル参照部４８４に出力する。

減算器４８２−Ｒは、対数色信号logＲ_b（ｐ）から対数輝度logＬ_b（ｐ）を減算して、乗算器４８５−Ｒに出力する。LUTメモリ４８３には、図４に示されたようなトーンカーブに相当するLUTとトーンカーブの傾きを示す代表値γが予め保持されている。テーブル参照部４８４は、LUTメモリ４８３に保持されているLUTに基づいて対数輝度logＬ（ｐ）を対数輝度logＬ_c（ｐ）に補正し、加算器４８６−Ｒ乃至４８６−Ｂに出力する。

乗算器４８５−Ｒは、減算器４８２−Ｒの出力に、LUTメモリ４８３から入力される代表値γを乗算して、加算器４８６−Ｒに出力する。加算器４８６−Ｒは、乗算器４８５−Ｒの出力と、対数輝度logＬ_c（ｐ）との和を演算して、トーンカーブ補正後の対数色信号logＲ_c（ｐ）として後段に出力する。

なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。

図３４は、トーンカーブ補正部４５４の第２の構成例を示している。第２の構成例において、輝度生成部５０１は、入力される対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］の線形和を演算することにより対数輝度logＬ_b（ｐ）を生成し、平均輝度算出部５０２に出力する。平均輝度算出部５０２は、１フレーム分の対数輝度logＬ（ｐ）の平均輝度値μを算出して、平均輝度平滑化部５０３に供給する。平均輝度平滑化部５０３は、平均輝度算出部５０２より供給された平均輝度値を、前後のフレームの平均輝度値、または、前後のフレームの平滑化された平均輝度値を用いて平滑化し、除算器５０４に出力する。除算器５０４は、所定の定数logＬ_Tを平均輝度値μで除算して代表値γを算出し、γメモリ５０５に保持させる。

乗算器５０６−Ｒは、現フレームの対数色信号logＲ_b（ｐ）に、γメモリ５０５に保持されている１フレーム前の代表値γを乗算して、トーンカーブ補正後の対数色信号logＲ_c（ｐ）を算出する。

なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。

図３５は、トーンカーブ補正部４５４の第３の構成例を示している。第３の構成例は、いわば、第１の構成例と第２の構成例を組み合わせたものである。第３の構成例において、輝度生成部５２１は、入力される対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］の線形和を演算することにより対数輝度logＬ_b（ｐ）を生成し、減算器５２２−Ｒ乃至５２２−Ｂおよびテーブル参照部５２４に出力する。

減算器５２２−Ｒは、対数色信号logＲ_b（ｐ）から対数輝度logＬ_b（ｐ）を減算して、乗算器５３１−Ｒに出力する。LUTメモリ５２３には、図４に示されたようなトーンカーブに相当するLUTとトーンカーブの傾きを示す代表値γ₁が予め保持されている。テーブル参照部５２４は、LUTメモリ５２３に保持されているLUTに基づいて対数輝度logＬ（ｐ）を、対数輝度logＬ_c'（ｐ）に補正して平均輝度算出部５２５および乗算器５３０に出力する。

平均輝度算出部５２５は、１フレーム分の対数輝度logＬ_c'（ｐ）の平均輝度値μを算出して、平均輝度平滑化部５２６に供給する。平均輝度平滑化部５２６は、平均輝度算出部５２５より供給された平均輝度値を、前後のフレームの平均輝度値、または、前後のフレームの平滑化された平均輝度値を用いて平滑化し、除算器５２７に供給する。

除算器５２７は、所定の定数logＬ_Tを平均輝度値μで除算して代表値γ₂を算出し、γ₂メモリ５２８に保持させる。乗算器５２９は、代表値γ₁，γ₂の積を代表値γ（＝γ₁・γ₂）として後段のコントラスト補正部４５７に出力する。

乗算器５３０は、現フレームの対数輝度logＬ_c'（ｐ）に、γ₂メモリ５２８に保持されている１フレーム前の代表値γ₂を乗算してトーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出し、加算器５３２−Ｒ乃至５３２−Ｂに出力する。

乗算器５３１−Ｒは、減算器５２２−Ｒの出力に、乗算器５２９から入力される代表値γを乗算して、加算器５３２−Ｒに出力する。加算器５３２−Ｒは、乗算器５３１−Ｒの出力と、乗算器５３０の出力の積を演算し、トーンカーブ補正後の対数色信号logＲ_c（ｐ）として後段に出力する。

なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。

次に、図３６は、縮小画像生成部４５５の構成例を示している。縮小画像生成部４５５の輝度生成部５５１は、入力されるトーンカーブ補正後の対数色信号［logＲ_c（ｐ），logＧ_c（ｐ），logＢ_c（ｐ）］の線形和を演算することにより対数輝度logＬ_c（ｐ）を生成し、ソート部５５２に出力する。

ソート部５５２は、対数輝度logＬ_c（ｐ）を、画像をｍ×ｎ個のブロックに分割したときに属するブロックに応じて分類し、平均値計算部５５３−１乃至５５３−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されるものは平均値計算部５５３−１に供給され、２番目のブロックに分類されるものは平均値計算部５５３−２に供給される。以下同様であり、Ｎ番目のブロックに分類されるものは平均値計算部５５３−Ｎに供給される。

平均値計算部５５３−ｉ（ｉ＝１，２，．．．，Ｎ）は、１フレーム分の対数輝度logＬ_c（ｐ）のうち、ｉ番目のブロックに分類される対数輝度logＬ_c（ｐ）の平均値を算出して、合成部２６４に出力する。合成部２６４は、平均値計算部５５３−ｉからそれぞれ入力される対数輝度logＬ_c（ｐ）の平均値を画素値とするｍ×ｎ画素の縮小画像logＬ_clを生成し、後段の縮小画像メモリ４５６に保持させる。

次に、図３７は、コントラスト補正部４５７の構成例を示している。コントラスト補正部４５７の輝度生成部５７０は、入力されるトーンカーブ補正後の対数色信号［logＲ_c（ｐ），logＧ_c（ｐ），logＢ_c（ｐ）］の線形和を演算することにより対数輝度logＬ_c（ｐ）を生成し、補間位置指定部５７１およびゲイン値設定部５７３に出力する。

補間位置指定部５７１は、対数輝度logＬ_c（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）を取得して、補間部５７２に出力する。補間部５７２は、縮小画像メモリ４５６に保持されている１フレーム前の縮小画像logＬ_clを用いて、補間位置ｐに対応する画素logＬ_cl（ｐ）を補間により算出して、減算器５７４−Ｒ乃至５７４−Ｂおよび加算器５７６−Ｒ乃至５７６−Ｂに出力する。

ゲイン値設定部５７３は、トーンカーブ補正部４５４から入力される前フレームに対する代表値γと、現在フレームの対数輝度logＬ_c（ｐ）に基づいて、現在フレームの対数輝度logＬ_c（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器５７５−Ｒ乃至５７５−Ｂに出力する。

減算器５７４−Ｒは、対数色信号logＲ_c（ｐ）から補間値logＬ_cl（ｐ）を減算して、乗算器５７５−Ｒに出力する。乗算器５７５−Ｒは、減算器５７４−Ｒの出力に、ゲイン値ｇ（ｐ）を乗算して、加算器５７６−Ｒに出力する。加算器５７６−Ｒは、乗算器５７５−Ｒの出力に、補間値logＬ_cl（ｐ）を加算して、得られたコントラスト補正後の対数色信号logＲ_u（ｐ）を後段に出力する。

なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。

次に、図３８は、図３２のトーンカーブ補正部４５４、縮小画像生成部４５５、縮小画像メモリ４５６、およびコントラスト補正部４５７と置換することができる複合部５９１の構成例を示している。

複合部５９１の輝度生成部６０１は、入力される対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］の線形和を演算することにより対数輝度logＬ_b（ｐ）を生成し、減算器６０２−Ｒ乃至６０２−Ｂおよびテーブル参照部６０４に出力する。減算器６０２−Ｒは、対数色信号logＲ_b（ｐ）から、対数輝度logＬ_b（ｐ）を減算して乗算器６１６−Ｒに出力する。

LUTメモリ６０３には、図７に示されたようなトーンカーブに相当するLUTと、トーンカーブの傾きを示す代表値γ₁が予め保持されている。テーブル参照部６０４は、輝度生成部６０１から入力された対数輝度logＬ（ｐ）を、LUTメモリ６０３に保持されているLUTに基づいて対数輝度logＬ_c'（ｐ）に補正し乗算器６０５および縮小画像生成部６０６に出力する。

乗算器６０５は、テーブル参照部６０４から入力された現フレームの対数輝度logＬ_c'（ｐ）に、γ₂メモリ６１１に保持されている１フレーム前の代表値γ₂を乗算して、トーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出し、加算器６１８−Ｒ乃至６１８−Ｂに出力する。

縮小画像生成部６０６は、対数輝度画像logＬ_c'をｍ×ｎ個のブロックに分割し、各ブロックに属する画素の対数輝度logＬ_c'（ｐ）の平均値を算出して、ｍ×ｎ画素の第１の縮小画像を生成し、第１の縮小画像メモリ６０７に保持させる。

平均輝度算出部６０８は、第１の縮小画像メモリ６０７に保持されている１フレーム前の第１の縮小画像の画素値の平均輝度値μを算出して、平均値平滑化部６０９に供給する。平均輝度平滑化部６０９は、平均輝度算出部６０８より供給された平均輝度値を、前後のフレームの平均輝度値、または、前後のフレームの平滑化された平均輝度値を用いて平滑化し、除算器６１０に供給する。除算器６１０は、所定の定数logＬ_Tを平均輝度値μで除算し、代表値γ₂を算出し、γ₂メモリ６１１に保持させる。乗算器６１２は、代表値γ₁，γ₂の積を代表値γ（＝γ₁・γ₂）として求め、ゲイン値設定部６１６および乗算器６１６−Ｒ乃至６１６−Ｂに出力する。

乗算器６１３は、第１の縮小画像メモリ６０７に保持されている第１の縮小画像の各画素に、γ₂メモリ６１１に保持されている代表値γ₂を乗算して、第２の縮小画像logＬ_clを生成し、第２の縮小画像メモリ６１４に持させる。

補間部６１５は、第２の縮小画像メモリ６１４に保持されている１フレーム前の第２の縮小画像logＬ_clを用いて、乗算器６０５から入力された現在フレームの対数輝度logＬ_c（ｐ）の画素位置ｐ（以下、補間位置ｐとも記述する）に対応する画素logＬ_cl（ｐ）を補間により算出して、減算器６１９−Ｒ乃至６１９−Ｂおよび加算器６２１−Ｒ乃至６２１−Ｂに出力する。

ゲイン値設定部６１６は、乗算器６１２から入力された前フレームに対する代表値γと、乗算器６０５から入力された現在フレームの対数輝度logＬ_c（ｐ）に基づいて、現在フレームの対数輝度logＬ_c（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出し、乗算器６２０−Ｒ乃至６２０−Ｂに出力する。

乗算器６１６−Ｒは、減算器６０２−Ｒの出力と代表値γの積を演算して、加算器６１８−Ｒに出力する。加算器６１８−Ｒは、乗算器６１６−Ｒの出力と、乗算器６０５の出力との和を演算して、減算器６１９−Ｒに出力する。減算器６１９−Ｒは、加算器６１８−Ｒの出力から、補間値logＬ_cl（ｐ）を減算して、乗算器６２０−Ｒに出力する。乗算器６２０−Ｒは、減算器６１９−Ｒの出力にゲイン値ｇ（ｐ）を乗算して、加算器６２１−Ｒに出力する。加算器６２１−Ｒは、乗算器６２０−Ｒの出力と、補間値logＬ_cl（ｐ）の和を演算して、を加算して、得られたコントラスト補正後の対数色信号logＲ_u（ｐ）を後段に出力する。

なお、Ｇ，Ｂ成分をそれぞれ処理する構成要素については、上述したＲ成分を処理する構成要素と同様であるので、その説明は省略する。

この複合部５９１を用いれば、平均輝度算出部６０８は、第１の縮小画像のｍ×ｎ画素の平均輝度値を算出することになるので、本来の画像サイズの対数輝度画像logＬ_cの画素の平均輝度値を算出する図３５の平均輝度算出部５２５に比較して、演算量を削減することができる。したがって、演算に起因する遅延時間を短縮することができる。

次に、図３９は、輝度域情報算出部４６０の構成例を示している。輝度域情報算出部４６０において、輝度生成部６３１は、ガンマ補正後の色信号［Ｒ_g（ｐ），Ｇ_g（ｐ），Ｂ_g（ｐ）］の線形和を演算することにより輝度Ｙ（ｐ）を生成し、間引き部６３２に出力する。間引き部６３２は、輝度生成部６３１から入力された輝度Ｙ（ｐ）を、その画素位置ｐに基づいて選別する。すなわち、予め設定された画素位置の画素の輝度だけを後段のMINソート部６３３およびMAXソート部６３６に供給する。

MINソート部６３３は、比較部６３４とレジスタ６３５の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を小さい順にレジスタ６３５−１乃至６３５−ｋに保持するようになされている。

例えば、比較部６３４−１は、間引き部６３２からの輝度Ｙ（ｐ）とレジスタ６３５−１の値を比較し、間引き部６３２からの輝度Ｙ（ｐ）がレジスタ６３５−１の値よりも小さい場合、間引き部６３２からの輝度Ｙ（ｐ）を用いてレジスタ６３５−１の値を更新する。反対に、間引き部６３２からの輝度Ｙ（ｐ）がレジスタ６３５−１の値よりも小さくない場合、間引き部６３２からの輝度Ｙ（ｐ）は後段の比較部６３４−２に供給される。

比較部６３４−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ６３５−１に輝度Ｙ（ｐ）の最小値Ｙ_minが保持され、レジスタ６３５−２乃至３３５−ｋに、輝度Ｙ（ｐ）が小さい順に保持されることになり、レジスタ６３５−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_dとして後段に出力される。

MAXソート部６３６は、比較部６３７とレジスタ６３８の組み合わせがｋ組直列に配置されており、入力された輝度Ｙ（ｐ）を大きい順にレジスタ６３８−１乃至３３８−ｋに保持するようになされている。

例えば、比較部６３７−１は、間引き部６３２からの輝度Ｙ（ｐ）とレジスタ６３８−１の値を比較し、間引き部６３２からの輝度Ｙ（ｐ）がレジスタ６３８−１の値よりも大きい場合、間引き部６３２からの輝度Ｙ（ｐ）を用いてレジスタ６３８−１の値を更新する。反対に、間引き部６３２からの輝度Ｙ（ｐ）がレジスタ６３８−１の値よりも大きくない場合、間引き部６３２からの輝度Ｙ（ｐ）は後段の比較部６３７−２に供給される。

比較部６３７−２以降においても同様であり、１フレーム分の輝度Ｙ（ｐ）が入力された段階で、レジスタ６３８−１に輝度Ｙ（ｐ）の最大値Ｙ_maxが保持され、レジスタ６３８−２乃至６３８−ｋに、輝度Ｙ（ｐ）が大きい順に保持されることになり、レジスタ６３８−ｋに保持された輝度Ｙ（ｐ）が、輝度域情報の輝度Ｙ_bとして後段に出力される。

なお、MINソート部６３３およびMAXソート部６３６に入力される輝度Ｙ（ｐ）は、間引き部６３２により間引きされたものであるので、間引きの間隔と、MINソート部６３３およびMAXソート部６３６の段数ｋを適切に調整すれば、１フレームの全画素のうち、例えば上下１％や0.1％などに相当する輝度値Ｙ_d，Ｙ_bを得ることが可能になる。

次に、図３８に示された複合部５９１が適用されたDSP１１６の第２の構成例による総合的な階調圧縮処理について、図４０のフローチャートを参照して説明する。

ステップＳ１１１において、DSP１１６（デモザイク部４５１）は、広DR色モザイク画像にデモザイク処理を施して、広DRカラー画像を生成し、その画素値、すなわち、色信号［Ｒ（ｐ），Ｇ（ｐ），Ｂ（ｐ）］をラスタスキャン順に色バランス調整部４５２に出力する。ステップＳ１１２において、DSP１１６（色バランス調整部４５２）は、画像全体の色バランスが適切になるように、Ｒ，Ｇ，Ｂ成分それぞれを調整して、色信号［Ｒ_b（ｐ），Ｇ_b（ｐ），Ｂ_b（ｐ）］を生成する。

ステップＳ１１３おいて、DSP１１６は、入力される現フレームの広DRカラー画像の色信号を、１フレーム前の広DRカラー画像に対して算出され、保持されている中間情報（第２の縮小画像logＬ_c（ｐ）、代表値γ、輝度域情報［Ｙ_d，Ｙ_b］）を基づいて狭DRカラー画像Ｙ_nに変換する。また、DSP１１６は、現フレームの広DRカラー画像Ｌに対する中間情報を算出する。

ステップＳ１１４において、DSP１１６は、算出した現フレームの広DRカラー画像Ｌに対する中間情報を用いて、保持していた１フレーム前の広DRカラー画像に対する中間情報を更新する。

ステップＳ１１５において、DSP１１６は、入力された現フレームの広DRカラー画像に、後続するフレームが存在するか否かを判定し、後続するフレームが存在すると判定した場合、ステップＳ４１に戻り、それ以降の処理を繰り返す。反対に、後続するフレームが存在しないと判定された場合、この階調圧縮処理は終了される。

ステップＳ１１２における画素単位の処理の詳細を、図４１のフローチャートを参照して説明する。以下に説明する各ステップの処理は、ラスタスキャン順に入力される注目画素（画素位置ｐ）に対して実行される。

ステップＳ１３１において、色バランス調整部４５２は、生成した色信号［Ｒ_b（ｐ），Ｇ_b（ｐ），Ｂ_b（ｐ）］を、対数変換部４５３に出力する。ステップＳ１３２において、対数変換部４５３は、入力された色信号［Ｒ_b（ｐ），Ｇ_b（ｐ），Ｂ_b（ｐ）］を対数変換し、得られた対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］を複合部５９１に出力する。

ステップＳ１３３において、複合部５９１の輝度生成部６０１は、入力された対数色信号［logＲ_b（ｐ），logＧ_b（ｐ），logＢ_b（ｐ）］の線形和を演算することにより対数輝度logＬ_b（ｐ）を生成し、減算器６０２−Ｒ乃至６０２−Ｂおよびテーブル参照部６０４に出力する。ステップＳ１３４において、テーブル参照部６０４は、入力された対数輝度logＬ（ｐ）を、LUTメモリ６０３に保持されているLUTに基づいて対数輝度logＬ_c'（ｐ）に補正して、乗算器６０５および縮小画像生成部６０６に出力する。

ステップＳ１３５において、縮小画像生成部６０６は、トーンカーブ補正後の１フレーム分の対数輝度logＬｃ’（ｐ）を元に、第１の縮小画像を生成する。ここで、生成された第１の縮小画像に基づき、代表値γ₂が算出される。また、生成された第１の縮小画像に算出された代表値γ₂が乗算されて、第２の縮小画像logＬ_clが生成される。

ステップＳ１３６において、乗算器６０５は、テーブル参照部６０４から入力された現フレームの対数輝度logＬ_c'（ｐ）に、γ₂メモリ６１１に保持されている１フレーム前の代表値γ₂を乗算して、トーンカーブ補正後の対数輝度logＬ_c（ｐ）を算出する。

ステップＳ１３７において、Ｒ成分については減算器６０２−Ｒ、乗算器６１６−Ｒ、および加算器６１８−Ｒの演算により、トーンカーブ補正後の対数色信号logＲ_c（ｐ）が生成される。Ｇ成分については減算器６０２−Ｇ、乗算器６１６−Ｇ、および加算器６１８−Ｇの演算により、トーンカーブ補正後の対数色信号logＧ_c（ｐ）が生成される。Ｂ成分については減算器６０２−Ｂ、乗算器６１６−Ｂ、および加算器６１８−Ｂの演算により、トーンカーブ補正後の対数色信号logＢ_c（ｐ）が生成される。

ステップＳ１３８において、ゲイン値設定部６１６は、乗算器６１２から入力された前フレームに対する代表値γと、乗算器６０５から入力された現在フレームの対数輝度logＬ_c（ｐ）に基づいて、現在フレームの対数輝度logＬ_c（ｐ）のコントラスト強調量を決めるゲイン値ｇ（ｐ）を算出する。ステップＳ１３９において、補間部６１５は、第２の縮小画像メモリ６１４に保持されている１フレーム前の第２の縮小画像logＬ_clを用いて、補間位置ｐに対応する画素logＬ_cl（ｐ）を補間により算出する。

ステップＳ１４０において、Ｒ成分については減算器６１９−Ｒ、乗算器６２０−Ｒ、および加算器６２１−Ｒの演算により、コントラスト補正後の対数色信号logＲ_u（ｐ）が生成される。Ｇ成分については減算器６１９−Ｇ、乗算器６２０−Ｇ、および加算器６２１−Ｇの演算により、コントラスト補正後の対数色信号logＧ_u（ｐ）が生成される。Ｂ成分については減算器６１９−Ｂ、乗算器６２０−Ｂ、および加算器６２１−Ｂの演算により、コントラスト補正後の対数色信号logＢ_u（ｐ）が生成される。

ステップＳ１４１において、対数逆変換部４５８は、コントラスト補正後の対数色信号［logＲ_u（ｐ），logＧ_u（ｐ），logＢ_u（ｐ）］を、対数逆変換して、通常軸の色信号［Ｒ_u（ｐ），Ｇ_u（ｐ），Ｂ_u（ｐ）］を生成し、ガンマ補正部４５９に出力する。ステップＳ１４２において、ガンマ補正部４５９は、所定のガンマ補正を行い、得られたガンマ補正後の色信号［Ｒ_g（ｐ），Ｇ_g（ｐ），Ｂ_g（ｐ）］を輝度情報算出部４６０および輝度域正規化部４６３に出力する。

ステップＳ１４３において、輝度域情報算出部４６０の輝度生成部６３１は、ガンマ補正後の色信号［Ｒ_g（ｐ），Ｇ_g（ｐ），Ｂ_g（ｐ）］を元にして輝度Ｙ（ｐ）を生成する。ステップＳ１４４において、輝度域情報算出部４６０のMINソート部６３３およびMAXソート部６３６は、１フレーム分の輝度Ｙ（ｐ）を元にして、輝度域情報［Ｙ_d，Ｙ_b］を生成する。

ステップＳ１４５において、輝度域情報平滑化部４６１は、輝度域情報平滑化処理を実行し、輝度域情報［Ｙ_d，Ｙ_b］を平滑化して、輝度域情報メモリ４６２に格納させる。尚、輝度域情報平滑化処理については、図２５のフローチャートを参照して、説明した処理と同様であるので、その説明は省略する。

ステップＳ１４６において、輝度域正規化部４６３は、輝度域情報メモリ４６１に保持されている１フレーム前の輝度域情報［Ｙ_d，Ｙ_b］に基づき、ガンマ補正部４５９から入力された色信号［Ｒ_g（ｐ），Ｇ_g（ｐ），Ｂ_g（ｐ）］を正規化して、色信号［Ｒ_n（ｐ），Ｇ_n（ｐ），Ｂ_n（ｐ）］を算出する。ステップＳ１４７において、輝度域正規化部４６３は、算出した色信号［Ｒ_n（ｐ），Ｇ_n（ｐ），Ｂ_n（ｐ）］を、階調圧縮された狭DRカラー画像の画素値として出力する。

次に、図４０のステップＳ１１４の処理の詳細を、図４２のフローチャートを参照して説明する。ステップＳ１６１において、縮小画像生成部６０６は、トーンカーブ補正後の１フレーム分の対数輝度logＬ_c'（ｐ）を元に生成した第１の縮小画像を用いて、第１の縮小画像メモリ６０７に保持されている第１の縮小画像を更新する。

ステップＳ１６２において、平均輝度算出部６０８は、第1の縮小画像メモリ６０７の各画素の画素値に基づいて、平均輝度値μを計算し平均輝度平滑化部６０９に供給する。

ステップＳ１６３において、平均輝度平滑化部６０９は、平均輝度平滑化処理を実行し、供給された平均輝度値μを平滑化して、除算器６１０に供給する。尚、平均輝度平滑化処理については、図２７のフローチャートを参照して、説明した処理と同様であるので、その説明は省略する。

ステップＳ１６４において、除算器６１０は、所定の定数logＬ_Tを、平均輝度平滑化部６０９から入力された平滑化されている平均輝度値μで除算して代表値γ₂を算出し、算出した代表値γ₂を用いて、γ₂メモリ６１１に保持されている代表値γ₂を更新する。

ステップＳ１６５において、乗算器６１３は、ステップＳ１６１の処理で更新された第１の縮小画像メモリ６０７に保持されている第１の縮小画像の各画素に、ステップＳ１６４の処理で更新されたγ₂メモリ６１１に保持されている代表値γ₂を乗算して、第２の縮小画像logＬ_clを生成し、第１の縮小画像メモリ６１４に保持されている第２の縮小画像logＬ_clを更新する。

ステップＳ１６６において、輝度域情報算出部４６０は、１フレーム分の［Ｒ_g（ｐ），Ｇ_g（ｐ），Ｂ_g（ｐ）］を元にして生成した輝度域情報［Ｙ_d，Ｙ_b］を用いて、輝度域情報メモリ４６１に保持されている１フレーム前の輝度域情報［Ｙ_d，Ｙ_b］を更新する。

なお、例えば、図８に示された平均輝度算出部１９１、図９に示された平均輝度算出部２１３、図２２の平均輝度算出部３８５、図３４に示された平均輝度算出部５０２、図３５に示された平均輝度算出部５２５のそれぞれにおいては、輝度値の平均値を算出するようにしたが、平均値を求める演算に、重み付き平均を用いるようにしてもよい。例えば、画像の中央部分の重みを周辺部分の重みよりも大きくすることによって、画像の中央部分に存在する被写体の反射率に重点をおいた明るさ補正を行うことが可能になる。

図２２に示された複合部３７１および図３８に示された複合部５９１においては、生成された第１の縮小画像を保持するメモリと、生成された第１の縮小画像に代表値γ₂を乗算して生成された第２の縮小画像を保持するメモリが設けられているが、第２の縮小画像が生成された時点で、第１の縮小画像を保持する必要がなくなるので、この２つのメモリを１つにまとめることも可能である。

本実施の形態のように、本発明を、広DR画像を撮影し、その階調を圧縮して、狭いダイナミックレンジのディスプレイに表示可能な画像として出力するデジタルビデオカメラに適用すれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で階調圧縮処理を実現でき、かつ、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない出力画像を得ることができるようになる。

このことによって、いままで実現できなかった高品質、かつ、安価なデジタルビデオカメラを実現することができる。

なお、本発明は、デジタルビデオカメラの他、デジタルスチルカメラのような撮影装置や、画像データを処理するＡＶ装置やソフトウェアに適用することが可能である。

また、本実施の形態においては、広DR画像を、ディスプレイ１２０を再現デバイスに想定して、階調圧縮処理を施すようにしたが、例えば、デジタルビデオカメラ１０１に外部接続するにモニタやプリンタの表現可能なダイナミックレンジに適合させて階調圧縮処理を施すことも可能である。

さらに、以上においては、直前のフレームの平滑化された平均輝度値、および、平滑化された輝度域情報を考慮して、平均輝度値、および、輝度域情報が順次平滑化するようにしてきたが、平均輝度値、または、輝度域情報のいずれか一方のみを平滑化するようにしてもよい。

また、以上においては、画像データの生成に、CCDイメージセンサを用いる場合について説明してきたが、これ以外のイメージセンサであってもよく、例えば、CCDイメージセンサ１１３の代わりに、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサを用いるようにしても良い。

以上によれば、直前のフレームの平滑化された平均輝度値、若しくは、平滑化された輝度域情報、または、その何れもが順次平滑化されるので、動画像のフレーム毎の輝度変動に対応した階調変換を実現することが可能となる。

ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図４３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク１０２１（フレキシブルディスクを含む）、光ディスク１０２２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１０２３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１０２４などの記録媒体に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク１０２１乃至半導体メモリ１０２４から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

画像と、その輝度値のヒストグラムを示す図である。 画像と、その輝度値のヒストグラムを示す図である。 画像と、その輝度値のヒストグラムを示す図である。 本発明の一実施の形態であるデジタルビデオカメラの構成例を示すブロック図である。 図４のDSPの第１の構成例を示すブロック図である。 図５のトーンカーブ補正部の第１の構成例を示すブロック図である。 トーンカーブの一例を示す図である。 図５のトーンカーブ補正部の第２の構成例を示すブロック図である。 図５のトーンカーブ補正部の第３の構成例を示すブロック図である。 図５の輝度域情報平滑化部の構成例を示すブロック図である。 図５の縮小画像生成部の構成例を示すブロック図である。 図１１の平均値計算部の構成例を示すブロック図である。 図５のコントラスト補正部の構成例を示すブロック図である。 図１３の補間部の構成例を示すブロック図である。 図１３の補間部の処理を説明するための図である。 図１３のゲイン値設定部の構成例を示すブロック図である。 図１３のコントラスト強調部の構成例を示すブロック図である。 図５の輝度域正規化部の処理を説明するための図である。 図５の輝度域情報算出部の構成例を示すブロック図である。 図５の輝度域情報平滑化部の構成例を示すブロック図である。 図５の輝度域正規化部の構成例を示すブロック図である。 図５のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。 DSPの第１の構成例による階調圧縮処理を説明するフローチャートである。 図２３のステップＳ１の処理の詳細を説明するフローチャートである。 図２４のステップＳ２２の処理の詳細を説明するフローチャートである。 図２３のステップＳ２の処理の詳細を説明するフローチャートである。 図２６のステップＳ４３の処理の詳細を説明するフローチャートである。 図５の輝度域情報平滑化部のその他の構成例を示すブロック図である。 図２６のステップＳ４３のその他の処理の詳細を説明するフローチャートである。 図５の輝度域情報平滑化部のその他の構成例を示すブロック図である。 図２４のステップＳ２２のその他の処理の詳細を説明するフローチャートである。 図１のDSPの第２の構成例を示すブロック図である。 図３２のトーンカーブ補正部の第１の構成例を示すブロック図である。 図３２のトーンカーブ補正部の第２の構成例を示すブロック図である。 図３２のトーンカーブ補正部の第３の構成例を示すブロック図である。 図３２の縮小画像生成部の構成例を示すブロック図である。 図３２のコントラスト補正部の構成例を示すブロック図である。 図３２のトーンカーブ補正部乃至コントラスト補正部と置換可能な複合部の構成例を示すブロック図である。 図３２の輝度域情報算出部の構成例を示すブロック図である。 DSPの第２の構成例による階調圧縮処理を説明するフローチャートである。 図４０のステップＳ１１３の処理の詳細を説明するフローチャートである。 図４０のステップＳ１１４の処理の詳細を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

７ DSP， １４１ 対数変換部， １４２ トーンカーブ補正部， １４３ 縮小画像生成部， １４４ 縮小画像メモリ， １４５ コントラスト補正部， １４６ 対数逆変換部， １４７ ガンマ補正部， １４８ 輝度域情報算出部， １４９ 輝度域情報平滑化部， １５０ 輝度域情報メモリ， １５１ 輝度域正規化部， ２３１ 平滑化計算部， ２３２ バッファ， ３５１ 平滑化計算部， ３５２ バッファ， ３７１ 複合部， ３８６ 平均輝度平滑化部， ４１１，４１１−１乃至４１１−Ｎ バッファ， ４１２ 積和演算部， ４３１，４３１−１乃至４３１−Ｍ バッファ， ４３２ 積和演算部， ４５１ デモザイク部， ４５２ 色バランス調整部， ４５３ 対数変換部， ４５４ トーンカーブ補正部， ４５５ 縮小画像生成部， ４５６ 縮小画像メモリ， ４５７ コントラスト補正部， ４５８ 対数逆変換部， ４５９ ガンマ補正部， ４６０ 輝度域情報算出部， ４６１ 輝度域情報平滑化部， ４６２ 輝度域情報メモリ， ４６３ 輝度域正規化部， ５９１ 複合部

Claims (15)

1. 画像の平均輝度値を計算する平均輝度値計算手段と、
   前記平均輝度値計算手段により計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化手段と、
   前記平均輝度時系列平滑化手段により出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正手段と、
   前記補正手段により明るさが補正された画像の輝度分布の幅を表す輝度域情報を算出する輝度域情報算出手段と、
   前記輝度域情報算出手段により算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化手段と、
   前記輝度域情報平滑化手段により出力された平滑化輝度域情報に基づいて、前記画像を表示する表示装置の輝度域に合わせて、前記画像の輝度を正規化する輝度域正規化手段と
   を備えることを特徴とする画像処理装置。
2. 前記輝度域情報算出手段は、前記輝度域情報として、前記画像の輝度分布の低輝度端と高輝度端の輝度値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度域情報平滑化手段は、平滑化しようとするフレームの輝度域情報と、前記フレームと時系列的に所定の前後関係となる複数のフレームの輝度域情報とに対して、所定の重みを用いた積和演算を施すことにより、前記平滑化しようとするフレームの輝度域情報を時系列に平滑化し、前記平滑化輝度域情報として時系列に出力する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記輝度域情報平滑化手段は、平滑化しようとするフレームの輝度域情報と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平滑化輝度域情報とに対して、所定の重みを用いた積和演算を施すことにより、前記平滑化しようとするフレームの輝度域情報を時系列に平滑化し、前記平滑化輝度域情報として時系列に出力する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記平均輝度値計算手段は、前記画像をm×nのブロックに分割し、前記ブロック毎の輝度の平均を求め、前記ブロック毎の輝度の平均に対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値を計算する
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像の輝度値を対数変換する対数変換手段と、
   対数逆変換する対数逆変換手段をさらに備え、
   前記平均輝度値計算手段は、前記対数変換手段により対数変換された画像の平均輝度値を計算し、
   前記対数逆変換手段は、前記明るさ補正手段により補正されている前記画像の輝度値を対数逆変換する
   ことを特徴とする請求項１に記載の画像処理装置。
7. 画像の平均輝度値を計算する平均輝度値計算ステップと、
   前記平均輝度値計算ステップの処理により計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、
   前記平均輝度時系列平滑化ステップの処理により出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正ステップと、
   前記補正ステップの処理により明るさが補正された画像の輝度分布の幅を表す輝度域情報を算出する輝度域情報算出ステップと、
   前記輝度域情報算出ステップの処理で算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化ステップと、
   前記輝度域情報平滑化ステップの処理で出力された平滑化輝度域情報に基づいて、前記画像を表示する表示装置の輝度域に合わせて、前記画像の輝度を正規化する輝度域正規化ステップと
   を含むことを特徴とする画像処理方法。
8. 画像の平均輝度値を計算する平均輝度値計算ステップと、
   前記平均輝度値計算ステップの処理により計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、
   前記平均輝度時系列平滑化ステップの処理により出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正ステップと、
   前記補正ステップの処理により明るさが補正された画像の輝度分布の幅を表す輝度域情報の算出する輝度域情報算出ステップと、
   前記輝度域情報算出ステップの処理で算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化ステップと、
   前記輝度域情報平滑化ステップの処理で出力された平滑化輝度域情報に基づいて、前記画像を表示する表示装置の輝度域に合わせて、前記画像の輝度を正規化する輝度域正規化ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
9. 画像の平均輝度値を計算する平均輝度値計算ステップと、
   前記平均輝度値計算ステップの処理により計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値、または平滑化平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値を時系列に平滑化し、平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、
   前記平均輝度時系列平滑化ステップの処理により出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正ステップと、
   前記補正ステップの処理により明るさが補正された画像の輝度分布の幅を表す輝度域情報の算出する輝度域情報算出ステップと、
   前記輝度域情報算出ステップの処理で算出される輝度域情報を時系列に平滑化し、平滑化輝度域情報として出力する輝度域情報平滑化ステップと、
   前記輝度域情報平滑化ステップの処理で出力された平滑化輝度域情報に基づいて、前記画像を表示する表示装置の輝度域に合わせて、前記画像の輝度を正規化する輝度域正規化ステップと
   をコンピュータに実行させることを特徴とするプログラム。
10. 画像の平均輝度値を計算する平均輝度値計算手段と、
    前記平均輝度値計算手段により計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、前記平滑化平均輝度値として出力する平均輝度時系列平滑化手段と、
    前記平均輝度時系列平滑化手段により出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正手段と
    を備えることを特徴とする画像処理装置。
11. 平均輝度値計算手段は、前記画像をm×nのブロックに分割し、前記ブロック毎の輝度の平均を求め、前記ブロック毎の輝度の平均に対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値を計算する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記画像の輝度値を対数変換する対数変換手段と、
    対数逆変換する対数逆変換手段をさらに備え、
    前記平均輝度値計算手段は、前記対数変換手段により対数変換された画像の平均輝度値を計算し、
    前記対数逆変換手段は、前記明るさ補正手段により補正されている前記画像の輝度値を対数逆変換する
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 画像の平均輝度値を計算する平均輝度値計算ステップと、
    前記平均輝度値計算ステップの処理で計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、前記平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、
    前記平均輝度時系列平滑化ステップの処理で出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正ステップと
    を含むことを特徴とする画像処理方法。
14. 画像の平均輝度値を計算する平均輝度値計算ステップと、
    前記平均輝度値計算ステップの処理で計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、前記平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、
    前記平均輝度平滑化ステップの処理で出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
15. 画像の平均輝度値を計算する平均輝度値計算ステップと、
    前記平均輝度値計算ステップの処理で計算された、平滑化しようとするフレームの平均輝度値と、前記フレームと時系列的に所定の前後関係となる複数のフレームの平均輝度値とに対して所定の重みを用いた積和演算を施すことにより前記画像の平均輝度値、または、平滑化平均輝度値を時系列に平滑化し、前記平滑化平均輝度値として出力する平均輝度時系列平滑化ステップと、
    前記平均輝度平滑化ステップの処理で出力された平滑化平均輝度値に基づいて、前記画像の明るさを補正する明るさ補正ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images