JP4214457B2

JP4214457B2 - Image processing apparatus and method, recording medium, and program

Info

Publication number: JP4214457B2
Application number: JP2003003134A
Authority: JP
Inventors: 知生光永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2009-01-28
Anticipated expiration: 2023-01-09
Also published as: CN1692629A; JP2004221644A; CN100366052C

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、見栄得を損なうことなく、画像のコントラストを強調する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、ＦＡ(Factory Automation)における部品検査装置、ME(Medical Electronics)における電子内視鏡などの光計測装置等に幅広く利用されている。
【０００３】
近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広ＤＲ画像と記述する）を得るための技術が多数提案されている（例えば、特許文献１参照）。
【０００４】
一方、動画像や静止画像を表示するCRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広ＤＲ画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。
【０００５】
そこで、当面においては、広ＤＲ画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭ＤＲ画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。
【０００６】
ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広ＤＲ画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。
【０００７】
しかしながら、上述したように、単に、広ＤＲ画像の画素値の階調を、狭いダイナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなってしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている３種類の階調圧縮技術について説明する。
【０００８】
第１の階調圧縮技術としては、入力する広ＤＲ画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第１の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるべく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しようとするものである（例えば、特許文献２参照）。
【０００９】
しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足が得られる結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。
【００１０】
第２の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第２の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである（例えば、特許文献３参照）。
【００１１】
第２の階調圧縮技術は、第１の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、見栄得が良い画像を得られないことがある。
【００１２】
第３の階調変換技術としては、広ＤＲ画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを１つの画像に加算合成する技術を挙げることができる（例えば、特許文献４参照）。
【００１３】
第３の階調変換技術によれば、広ＤＲ画像の高周波成分は階調圧縮を施さないので、生成される画像のコントラスト低下を防ぐことができる。しかしながら、第３の階調変換技術も、第２の階調変換技術と同様に、被写体の輪郭部分において輝度のオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ（例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている（例えば、特許文献４参照）。
【００１４】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平９−３３１４６９号公報
【特許文献３】
特開２０００−１１５５３４号公報
【特許文献４】
特開平９−２１４７６６号公報
【００１５】
【発明が解決しようとする課題】
以上に説明した第１乃至第３の階調圧縮技術をまとめると以下の課題が存在する。
【００１６】
第１に、高周波成分を強調することに伴い、被写体の輪郭部分において輝度のオーバーシュートが生じることである。これを抑止するためには、比較的大きいサイズ（２０×２０画素）の２次元非線形フィルタが必要であるが、このようなサイズの２次元非線形フィルタをソフトウェアとして実現するには演算コストが非常に大きくなる課題があり、ハードウェアとして実現するためにはディレイラインを大量に必要とするため回路規模が大きくなってしまう課題があった。
【００１７】
第２に、高輝度域および低輝度域における高周波成分のコントラスト強調量の制御についてである。上述した第２および第３の階調圧縮技術では、輝度を低周波成分と高周波成分に分離して、低周波成分を比較的抑制し、高周波成分を強調することにより、コントラストを保持した階調圧縮を行うことが共通している。
【００１８】
しかしながら、表示装置などが許容する最大輝度と最小輝度の近辺では高周波成分を強調することによって輝度のクリッピングが生じて結果的に画像のディテールが失われ、適切な階調変換が行われたとはいえないので、輝度のクリッピングが生じないような対処が必要である課題があった。
【００１９】
さらに、輝度のクリッピングが生じないような状態でも、コントラストの強調が強すぎれば、被写体の輪郭部分が不自然に強調された画像となってしまう課題があった。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、適切に画像のコントラストを強調できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正手段と、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化手段と、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段とを含み、平滑化手段は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小手段と、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間手段とを含む。
【００２２】
前記コントラスト補正手段は、コントラスト補正画像を構成する画素の輝度Ｌ_uを、次式
Ｌ_u＝ｇ・（Ｌ_c−Ｌ_l）＋Ｌ_l
に基づいて算出するようにすることができる。
【００２３】
前記縮小手段は、入力されたトーンカーブ補正画像を複数のブロックに分割し、各ブロックに属する画素の輝度の平均値を計算して、平均値を画素の輝度とする、ブロックの数と同数の画素から構成される縮小画像を生成する
請求項１に記載の画像処理装置。
【００２４】
前記補間手段は、平滑化手段によって補間される画素の位置である補間位置に対応する縮小画像上の位置を特定し、特定した位置の近傍に存在する縮小画像の画素を用いて、平滑化画像の画素の輝度Ｌ_lを演算するようにすることができる。
【００２５】
前記補間手段は、平滑化手段によって補間される画素の位置である補間位置に対応する縮小画像上の位置を特定し、特定した位置の近傍に存在する縮小画像の４×４画素を用いた双３次補間により、平滑化画像の画素の輝度Ｌ_lを演算するようにすることができる。
【００２６】
本発明の画像処理装置は、平滑化手段に入力する前のトーンカーブ補正画像を構成する画素の輝度Ｌ_cを対数変換する対数変換手段と、コントラスト補正手段によって出力されたコントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段とをさらに含むことができる。
【００２７】
本発明の画像処理方法は、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、平滑化ステップの処理は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間ステップとを含む。
【００２８】
本発明の記録媒体は、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、平滑化ステップの処理は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００２９】
本発明のプログラムは、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、平滑化ステップの処理は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間ステップとを含む処理をコンピュータに実行させる。
【００３０】
本発明においては、入力された画像の画素値が、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正されることにより、トーンカーブ補正画像が生成され、トーンカーブ補正画像の画素の輝度Ｌ_cが平滑化されて平滑化画像が生成され、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像が生成される。なお、平滑化の処理では、入力されたトーンカーブ補正画像が縮小されて縮小画像が生成され、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lが演算される。
【００５２】
【発明の実施の形態】
図１は、本発明を適用した画像処理システムの構成例を示している。この画像処理システム１は、被写体を撮影し、通常よりも広いダイナミックレンジの画素値（輝度）を有する画素から構成される広ＤＲ画像Ｌを生成するビデオカメラ２、ビデオカメラ２によって生成された広ＤＲ画像Ｌの階調を、ディスプレイ１１が表示可能な階調の範囲に圧縮する画像処理装置１０、および画像処理装置１０によって生成される階調圧縮画像Ｌ_uを表示するディスプレイ１１から構成される。
【００５３】
ビデオカメラ２は、被写体の光画像を集光するレンズ３、光画像の光量を調整する絞り４、集光された光画像を光電変換して輝度信号を生成するCCDイメージセンサ５、生成された輝度信号からノイズ成分を除去する前置増幅器(Pre-amp.)６、ノイズ成分が除去された輝度信号を、例えば１４乃至１６ビット程度のビット幅のディジタルデータに変換するＡＤコンバータ（Ａ／Ｄ）７、およびディジタル化された輝度を有する画素から構成される広ＤＲ画像Ｌを画像処理装置１０に出力するＩ／Ｏインタフェース（Ｉ／Ｏ）８から構成される。
【００５４】
図２は、画像処理システム１の動作概要を示している。ステップＳ１において、ビデオカメラ２は、被写体を撮影し、対応する広ＤＲ画像Ｌを生成して、画像処理装置１０に出力する。ステップＳ２において、画像処理装置１０は、広ＤＲ画像Ｌに階調圧縮処理を施して階調圧縮画像Ｌ_uを生成し、ディスプレイ１１に出力する。ステップＳ３において、ディスプレイ１１は、階調圧縮画像Ｌ_uを表示する。
【００５５】
次に、図３は、画像処理装置１０の第１の構成例を示している。画像処理装置１０のトーンカーブ補正部２１は、ビデオカメラ２から入力される広ＤＲ画像Ｌを、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正し、その結果として得られるトーンカーブ補正画像Ｌ_cを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。なお、このトーンカーブ補正画像Ｌ_cは、階調が圧縮されており、階調が圧縮されたことに起因して、コントラストが弱められたものとなっている。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００５６】
図４は、トーンカーブ補正部２１の構成例を示している。トーンカーブ補正部２１のLUTメモリ３１には、図５に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、LUTと記述する）と、トーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部３２は、LUTメモリ３１に保持されているLUTに基づき、広ＤＲ画像Ｌを、トーンカーブ補正画像Ｌ_cに補正する。
【００５７】
図５は、トーンカーブの一例を示しており、横軸が広ＤＲ画像Ｌの輝度を、縦軸が補正後のトーンカーブ補正画像Ｌ_cの輝度を、それぞれ［０，１］に正規化して表示している。図５に示されたトーンカーブは、正規化された広ＤＲ画像Ｌの輝度値が０．５よりも大きい場合にはその値を補正せず、正規化された広ＤＲ画像Ｌの輝度値が０．５よりも小さい場合には、その値が小さいほど、大きな補正量で補正する。つまり、ディスプレイ１１に表示されたとき、画像の中の暗い領域が黒くつぶれないように補正が行われる。なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。例えば、図５に示されたトーンカーブの代表値は、γ＝０．９４である。
【００５８】
図３に戻る。平滑化輝度生成部２２は、トーンカーブ補正画像Ｌ_cの輝度を平滑化し、得られる平滑化画像の輝度Ｌ_cl（ｐ）をコントラスト補正部２４に出力する。図６は、平滑化輝度生成部２２の構成例を示している。
【００５９】
平滑化輝度生成部２２の縮小画像生成部４１は、トーンカーブ補正部２１から入力されたトーンカーブ補正画像Ｌ_cの画素を、その画素位置に対応してｍ×ｎブロックに分類し、各ブロックに分類された画素の輝度の平均値を画素とする縮小画像Ｌ_clを生成する。縮小画像メモリ４２は、生成されたｍ×ｎ画素の縮小画像Ｌ_clを保持する。補間部４３は、順次指定される画素位置ｐの輝度を、縮小画像メモリ４２に保持されている縮小画像の画素を用いた補間処理により算出して、得られた補間値Ｌ_cl（ｐ）を、平滑化画像の画素の輝度としてコントラスト補正部２４に出力する。ここで、ｐ＝（ｘ，ｙ）は、画素位置を示す座標またはベクトルである。従って、補間部４３から出力される平滑化画像のサイズは、トーンカーブ補正画像Ｌ_cのサイズは同一である。
【００６０】
すなわち、平滑化輝度生成部２２では、トーンカーブ補正画像Ｌ_cが縮小されて縮小画像Ｌ_clが生成され、保持された縮小画像Ｌ_clが利用されて平滑化画像の輝度Ｌ_cl（ｐ）が１画素ずつ補間演算によって算出されることになる。
【００６１】
従来では、上述したように、効果的な階調圧縮処理を実施するためには比較的大きなサイズのフィルタ処理が必要であったが、平滑化輝度生成部２２では、ｍ×ｎ画素の縮小画像を保持する縮小画像メモリ４２を設ければ済むことになる。
【００６２】
図７は、図６の縮小画像生成部４１の構成例を示している。縮小画像生成部４１のソート部５１は、前段のトーンカーブ補正部２１から入力されたトーンカーブ補正画像Ｌ_cの画素を、その画素位置に応じてｍ×ｎ個のブロックに分類し、平均値計算部５２−１乃至５２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されたものは平均値計算部５２−１に供給され、２番目のブロックに分類されたものは平均値計算部５２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されたものは平均値計算部５２−Ｎに供給される。以下、平均値計算部５２−１乃至５２−Ｎを個々に区別する必要がない場合、単に平均値計算部７２と記述する。
【００６３】
平均値計算部５２−ｉ（ｉ＝１，２，…，Ｎ）は、ｉ番目のブロックに分類されたトーンカーブ補正画像Ｌ_cの画素の輝度の平均値を算出して、合成部５３に出力する。合成部５３は、平均値計算部５２−ｉからそれぞれ入力される輝度のの平均値を画素値とするｍ×ｎ画素の縮小画像を生成する。
【００６４】
図８は、図７の平均値計算部５２の構成例を示している。平均値計算部５２の加算器６１は、前段のソート部５１から入力されるトーンカーブ補正画像Ｌ_cの輝度に、レジスタ（ｒ）６２が保持する値を加算して、レジスタ（ｒ）６２が保持する値を更新する。除算器６３は、レジスタ６２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の画素の輝度の平均値を算出する。
【００６５】
図９は、図６の補間部４３の構成例を示している。補間部４３の近傍選択部７１は、補間位置ｐの入力を受けて、縮小画像メモリ４２に保持されているｍ×ｎ画素の縮小画像Ｌ_clから、補間位置ｐの近傍の４×４画素の輝度ａ[4][4]を取得して、積和部７４に出力する。
【００６６】
ここでａ[i][j]の表記は、輝度ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部７１は、取得した輝度ａ[4][4]と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部７２または垂直係数算出部７３に出力する。
【００６７】
ここで、補間位置ｐ、近傍の輝度ａ[4][4]、位置ずれ量ｄｘ，ｄｙの関係について、図１０を参照して説明する。
【００６８】
図１０のｍ×ｎのマス目は、縮小画像Ｌ_clを構成するｍ×ｎ画素を表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像Ｌ_cl上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（トーンカーブ補正画像Ｌ_cの水平画素数／ｍ，トーンカーブ補正画像Ｌ_cの垂直画素数／ｎ）である。
【００６９】
補間位置ｐに対応する縮小画像Ｌ_cl上の位置ｑから近傍の画素を得るには、図１０においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像Ｌ_clの画素を取得すればよい。斜線で示された領域内の４×４の”＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。
【００７０】
図９に戻る。水平係数算出部７２は、近傍選択部７１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋ_x[4]を計算する。同様に、垂直係数算出部７３は、近傍選択部７１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋ_y[4]を計算する。
【００７１】
例えば、水平方向の３次補間係数ｋ_x[4]は、次式（１）を用いて計算する。
【数１】

…（１）
【００７２】
また、例えば、垂直方向の３次補間係数ｋ_y[4]は、次式（２）を用いて計算する。
【数２】

…（２）
【００７３】
なお、３次補間係数ｋ_x[4]，ｋ_y[4]の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。
【００７４】
積和部７４は、近傍の画素の輝度ａ[4][4]と、水平方向の補間係数ｋ_x[4]および垂直方向の補間係数ｋ_y[4]との積和計算により、縮小画像Ｌ_clの補間位置ｐの補間値Ｌ_cl（ｐ）を、次式（３）を用いて算出する。
【数３】

…（３）
【００７５】
図３に戻る。ゲイン設定部２３は、トーンカーブ補正部２１から入力される代表値γに基づき、コントラスト補正部２４において平滑化画像の輝度Ｌ_cl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００７６】
ここで、ゲイン値ｇ（ｐ）について説明する。ゲイン値ｇ（ｐ）＝１である場合、コントラスト補正部２４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。反対に、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。
【００７７】
ゲイン値設定の概略を説明する。トーンカーブ補正画像Ｌ_cのコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。
【００７８】
そこで、ゲイン値設定部２３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。
【００７９】
また、入力されるトーンカーブ補正された輝度Ｌ_cが白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力されたトーンカーブ補正された輝度Ｌ_cが白レベルまたは黒レベルに近くなるに従って、ゲイン値が１に近づくようする。
【００８０】
すなわち、代表値γの逆数１／γ＝ｇ₀として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。

ここで、attn（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。
【数４】

…（５）
【００８１】
なお、式（５）において、Ｌ_grayは、中庸なグレイレベルの輝度を示し、Ｌ_whiteは、白クリップレベル（最大の白レベル）の輝度を示しており、どちらも予め設定されている定数である。
【００８２】
図１１は、ゲイン値設定部２３の構成例を示している。除算器８１は、前段から入力される代表値γの逆数１／γ＝ｇ₀を算出して減算器８２に出力する。減算器８２は、（ｇ₀−１）を演算して乗算器８８に出力する。
【００８３】
減算器８３は、トーンカーブ補正画像Ｌ_cの各輝度と、中庸なグレイレベルの輝度Ｌ_grayの差（Ｌ_c−Ｌ_gray）を演算して、除算器８５に出力する。減算器８４は、白クリップレベルの輝度Ｌ_whiteと、輝度Ｌ_grayの差（Ｌ_white−Ｌ_gray）を演算して、除算器８５に出力する。除算器８５は、減算器８３の出力（Ｌ_c−Ｌ_gray）を、減算器８４の出力（Ｌ_white−Ｌ_gray）で除算して、絶対値計算器８６に出力する。絶対値計算器８６は、除算器８５の出力の絶対値を計算してクリップ器８７に出力する。クリップ器８７は、絶対値計算器８６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器８６の出力が１を超過しない場合、その値をそのまま、attn（ｐ）として乗算器８８に出力する。
【００８４】
乗算器８８は、減算器８２の出力に、クリップ器８７の出力を乗算して、加算器８９に出力する。加算器８９は、乗算器８８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。
【００８５】
図３に戻る。コントラスト補正部２４は、ゲイン値設定部２３から入力される各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される平滑化画像の輝度Ｌ_cl（ｐ）に基づき、コントラストが弱められているトーンカーブ補正画像Ｌ_cのコントラストを強調して階調圧縮画像Ｌ_uを生成する。
【００８６】
図１２は、コントラスト補正部２４の構成例を示している。コントラスト補正部２４の減算器９１は、トーンカーブ補正画像Ｌ_cの各画素の輝度Ｌ_c（ｐ）と、平滑化画像の対応する画素の輝度（すなわち、縮小画像の補間値Ｌ_cl（ｐ））との差（Ｌ_c（ｐ）−Ｌ_cl（ｐ））を演算して、乗算器９２に出力する。乗算器９２は、減算器９１の出力と、ゲイン値設定部２３から入力されたゲイン値ｇ（ｐ）との積を演算して、加算器９３に出力する。加算器９３は、乗算器９２の出力に、平滑化画像の画素の輝度（縮小画像の補間値Ｌ_cl（ｐ））を加算して、その結果得られた輝度Ｌ_u（ｐ）を、コントラスト補正がなされた階調圧縮画像Ｌ_uを構成する画素の輝度として後段に出力する。
【００８７】
なお、平滑化画像の画素の輝度（縮小画像の補間値Ｌ_cl（ｐ））は、ｍ×ｎ画素の縮小画像Ｌ_clの画素を元にして補間された値であるから、縮小前のトーンカーブ補正画像Ｌ_cのごく低周波域成分だけをもつものである。
【００８８】
従って、減算器９１の出力（Ｌ_c（ｐ）−Ｌ_cl（ｐ））は、元のトーンカーブ補正画像logＬ_cから、ごく低域成分だけを差し引いたものとなる。このように輝度信号を、ごく低周波域の成分とそれ以外の成分に分離し、そのうち、低周波域成分以外（減算器９１の出力）を、ゲイン値ｇ（ｐ）を乗算することによってコントラストを強調した後、再び加算器９３により合成したものが、コントラスト補正がなされた階調圧縮画像の輝度Ｌ_u（ｐ）である。
【００８９】
このように、コントラスト補正部２４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになされている。従って、コントラスト補正がなされた階調圧縮画像の輝度Ｌ_u（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。
【００９０】
次に、画像処理装置１０の第１の構成例による階調圧縮画像生成処理（すなわち、図２のフローチャートを参照して上述したステップＳ２の処理）の詳細について、図１３のフローチャートを参照して説明する。
【００９１】
ステップＳ１１において、トーンカーブ補正部２１は、ビデオカメラ２から入力された広ＤＲ画像Ｌの輝度を、予め用意されているLUTに基づいて補正し、その結果として得られるトーンカーブ補正画像Ｌ_cを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００９２】
ステップＳ１２において、平滑化輝度生成部２２は、トーンカーブ補正画像Ｌ_cを縮小して、縮小画像Ｌ_clを生成し、さらに、縮小画像Ｌ_clの画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_cl（ｐ）を算出して、コントラスト補正部２４に出力する。
【００９３】
ステップＳ１３において、ゲイン設定部２３は、トーンカーブ補正部２１から入力された代表値γに基づき、コントラスト補正部２４において平滑化画像の輝度Ｌ_cl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００９４】
なお、ステップＳ１２の処理と、ステップＳ１３の処理は、並行して実施することが可能である。
【００９５】
ステップＳ１４において、コントラスト補正部２４は、ゲイン値設定部２３から入力された各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される平滑化画像の輝度Ｌ_cl（ｐ）に基づき、トーンカーブ補正画像Ｌ_cの輝度を補正して、階調圧縮画像Ｌ_uの画素の輝度Ｌ_u（ｐ）を算出する。このようにして得られた、コントラスト補正がなされた階調圧縮画像Ｌ_uは、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像となる。以上で、画像処理装置１０の第１の構成例による階調圧縮画像生成処理の説明を終了する。
【００９６】
次に、図１４は、画像処理装置１０の第２の構成例を示している。この第２の構成例は、図３に示された第１の構成例のトーンカーブ補正部２１の上段に、ビデオカメラ１から入力される広ＤＲ画像Ｌの輝度を対数変換する対数変換部１０１を設け、さらに、第１の構成例のコントラスト補正部２４の下段に、コントラスト補正部２４の出力を対数逆変換する対数逆変換部１０２を設けたものである。
【００９７】
画像処理装置１０の第２の構成例を構成する対数変換部１０１および対数逆変換部１０２以外の構成要素については、図３の第１の構成例と同等であるので、同一の符号を付しており、その説明は適宜省略する。ただし、第２の構成例において、トーンカーブ補正部２１乃至コントラスト補正部２４は、それぞれ対数変換された輝度を処理することになる。
【００９８】
図１５は、第２の構成例におけるトーンカーブ補正部２１で適用されるトーンカーブの一例であり、横軸が広ＤＲ画像Ｌの輝度を、縦軸がトーンカーブ補正画像Ｌ_cの輝度を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な階調圧縮画像Ｌ_uを得ることができる。図１５に示されたトーンカーブの場合、代表値γ＝０．６７である。
【００９９】
次に、画像処理装置１０の第２の構成例による階調圧縮画像生成処理の詳細について、図１６のフローチャートを参照して説明する。
【０１００】
ステップＳ２１において、対数変換部１０１は、ビデオカメラ２から入力された広ＤＲ画像Ｌの輝度を対数変換し、その結果得られた対数広ＤＲ画像logＬをトーンカーブ補正部２１に出力する。
【０１０１】
ステップＳ２２において、トーンカーブ補正部２１は、対数広ＤＲ画像logＬの輝度を、予め用意されている、例えば、図１５に示されたトーンカーブに相当するLUTに基づいて補正し、その結果として得られた対数トーンカーブ補正画像logＬ_cを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【０１０２】
ステップＳ２３において、平滑化輝度生成部２２は、対数トーンカーブ補正画像logＬ_cを縮小して、対数縮小画像logＬ_clを生成し、さらに、対数縮小画像logＬ_clの画素を用いた補間演算により、対数平滑化画像の画素の輝度logＬ_cl（ｐ）を算出して、コントラスト補正部２４に出力する。
【０１０３】
ステップＳ２４において、ゲイン設定部２３は、トーンカーブ補正部２１から入力された代表値γに基づき、コントラスト補正部２４において対数平滑化画像の輝度logＬ_cl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【０１０４】
なお、ステップＳ２３の処理と、ステップＳ２４の処理は、並行して実施することが可能である。
【０１０５】
ステップＳ２５において、コントラスト補正部２４は、ゲイン値設定部２３から入力された各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される対数平滑化画像の輝度logＬ_cl（ｐ）に基づき、対数トーンカーブ補正画像logＬ_cの輝度を補正して、対数階調圧縮画像logＬ_uの画素の輝度logＬ_u（ｐ）を算出し、対数逆変換部１０２に出力する。
【０１０６】
ステップＳ２６において、対数逆変換部１０２は、対数階調圧縮画像logＬ_uの画素の輝度logＬ_u（ｐ）を対数逆変換して、その結果得られたＬ_u（ｐ）を階調圧縮画像Ｌ_uの画素の輝度として出力する。
【０１０７】
このようにして得られた、コントラスト補正がなされた階調圧縮画像Ｌ_uは、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調となる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な画像となる。以上で、画像処理装置１０の第２の構成例による階調圧縮画像生成処理の説明を終了する。
【０１０８】
以上説明したように、本発明の一実施の形態である画像処理装置１０によれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で、通常よりも広いダイナミックレンジの輝度を有する広ＤＲ画像を、見栄得を損なうことなく、表示可能な輝度のダイナミックレンジがより狭いディスプレイ１１に表示させることができる階調圧縮画像に変換することが可能となる。また、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない階調圧縮画像を得ることができる。
【０１０９】
勿論、画像処理装置１０は、広ＤＲ画像を、ディスプレイ１１以外のプリンタやプロジェクタが表現可能なダイナミックレンジに適合させて、広ＤＲ画像を階調圧縮画像に変換することが可能である。
【０１１０】
なお、本発明は、例えば、ディジタルビデオカメラ、ディジタルスチルカメラの撮影デバイスの他、ディスプレイ、プリンタ、プロジェクタ等の表現デバイスに内蔵される画像信号処理回路に適用することができる。
【０１１１】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１２】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ１２０は、CPU(Central Processing Unit)１２１を内蔵している。CPU１２１にはバス１２４を介して、入出力インタフェース１２５が接続されている。バス１２４には、ROM(Read Only Memory)１２２およびRAM(Random Access Memory)１２３が接続されている。
【０１１３】
入出力インタフェース１２５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１２６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１２７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１２８、ビデオカメラ２等と画像データを通信するＩ／Ｏインタフェース１２９が接続されている。また、磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１３４などの記録媒体に対してデータを読み書きするドライブ１３０が接続されている。
【０１１４】
CPU１２１は、ROM１２２に記憶されているプログラム、または磁気ディスク１３１乃至半導体メモリ１３４から読み出されて記憶部１２８にインストールされ、記憶部１２８からRAM１２３にロードされたプログラムに従って各種の処理を実行する。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１７】
【発明の効果】
以上のように、本発明によれば、使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、適切に階調圧縮された画像のコントラストを強調することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図２】図１に示された画像処理システムの動作を説明するフローチャートである。
【図３】図１に示された画像処理装置の第１の構成例を示すブロック図である。
【図４】図３に示されたトーンカーブ補正部の構成例を示すブロック図である。
【図５】画像処理装置の第１の構成例において用いられるトーンカーブの一例を示す図である。
【図６】図３に示された平滑化輝度生成部の構成例を示すブロック図である。
【図７】図６に示された縮小画像生成部の構成例を示すブロック図である。
【図８】図７に示された平均値計算部部の構成例を示すブロック図である。
【図９】図６に示された補間部の構成例を示すブロック図である。
【図１０】図６に示された補間部の処理を説明するための図である。
【図１１】図３に示されたゲイン値設定部の構成例を示すブロック図である。
【図１２】図３に示されたコントラスト補正部の構成例を示すブロック図である。
【図１３】画像処理装置の第１の構成例による階調圧縮画像生成処理を説明するフローチャートである。
【図１４】図１に示された画像処理装置の第２の構成例を示すブロック図である。
【図１５】画像処理装置の第２の構成例において用いられるトーンカーブの一例を示す図である。
【図１６】画像処理装置の第２の構成例による階調圧縮画像生成処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１画像処理システム，２ビデオカメラ，５ CCDイメージセンサ，１０画像処理装置，１１ディスプレイ，２１トーンカーブ補正部，２２平滑化輝度生成部，２３ゲイン値設定部，２４コントラスト補正部，１０１対数変換部，１０２対数逆変換部，１２１ CPU，１３１磁気ディスク，１３２光ディスク，１３３光磁気ディスク，１３４半導体メモリ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and method, a recording medium, and a program, and more particularly, to an image processing apparatus and method, a recording medium, and a program that are suitable for enhancing the contrast of an image without impairing appearance. .
[0002]
[Prior art]
Conventionally, solid-state imaging devices such as CCD (Charge Coupled Device) and CMOS (Complementary Metal-Oxide Semiconductor) have been used for imaging equipment such as video cameras and still cameras, component inspection equipment in FA (Factory Automation), and electronics in ME (Medical Electronics). Widely used in optical measuring devices such as endoscopes.
[0003]
In recent years, many techniques for obtaining an image having a wide dynamic range of pixel values (hereinafter referred to as a wide DR image) comparable to an optical film photograph using these solid-state imaging devices have been proposed (for example, Patent Document 1).
[0004]
On the other hand, display devices such as CRT (Cathode Ray Tube) and LCD (Liquid Crystal Display) that display moving images and still images, projection devices such as projectors, and various printing devices are still compatible with dynamic pixel values. The range is not widened, and there is a limit to the luminance gradation that can be handled. For this reason, even if a wide DR image is taken, there is currently no apparatus capable of displaying, projecting, or printing in that state.
[0005]
Therefore, for the time being, the dynamic range of the pixel value of the wide DR image is narrowed, in other words, an image in which the luminance gradation is compressed and adapted to the dynamic range of a display device (hereinafter referred to as a narrow DR image). A technique (hereinafter referred to as a gradation compression technique) is required.
[0006]
Here, a conventionally proposed gradation compression technique will be described. The gradation compression technique is simply realized by redistributing the gradation of the pixel value of the wide DR image in accordance with a gradation of a narrower dynamic range that can be handled by a display device or the like.
[0007]
However, as described above, simply redistributing the gradation of the pixel values of the wide DR image evenly in a narrow dynamic range reduces the change in luminance of the entire image and reduces the contrast. It will be converted into an image with poor appearance. Therefore, several gradation compression techniques that can suppress a decrease in contrast have been proposed. Hereinafter, three types of conventionally proposed gradation compression techniques will be described.
[0008]
As a first gradation compression technique, a gradation redistribution rule is adaptively determined based on a luminance histogram of an input wide DR image (specifically, a gradation conversion curve is represented by an input image histogram). (Based on the calculation)). In the first gradation compression technique, assuming that the ratio of the area occupied by an important subject in the image is large, the gradation conversion curve is set so as to distribute as many gradations as possible to the luminance value near the peak of the histogram. The determination is made so as to suppress at least a decrease in contrast in an important subject (see, for example, Patent Document 2).
[0009]
However, it is difficult to obtain a satisfactory result in all situations by such a device with only gradation distribution. For example, when there are multiple important subjects in the image, and when the background is of uniform brightness and occupies a relatively large area (for example, blue sky), often sufficient gradation is allocated to the subject. May not be.
[0010]
As the second gradation compression technique, a technique for emphasizing high-frequency components in an image either before or after gradation conversion can be cited. The second tone compression technique estimates the contrast lost by tone conversion (or seems to be lost by tone conversion) from the image, and compensates for this by using a high-frequency enhancement filter such as unsharp masking. (For example, refer to Patent Document 3).
[0011]
The second gradation compression technique has an advantage that there is no problem depending on the composition of the image unlike the first gradation compression technique. However, the high-frequency emphasis filter has problems such as overshooting at the contour portion of the subject and noise enhancement at a flat portion, and an image with good appearance may not be obtained.
[0012]
As a third gradation conversion technique, the wide DR image is separated into a low-frequency component image and a high-frequency component image, and an appropriate gradation conversion process is performed on the low-frequency component image without changing the high-frequency component image. Finally, a technique of adding and combining them into one image can be given (for example, see Patent Document 4).
[0013]
According to the third gradation conversion technique, the high-frequency component of the wide DR image is not subjected to gradation compression, so that it is possible to prevent a decrease in contrast of the generated image. However, similarly to the second gradation conversion technique, the third gradation conversion technique has problems such as luminance overshoot in the contour portion of the subject and noise enhancement in the flat portion. Therefore, a method for solving this problem by using a non-linear filter (for example, a median filter) for the process of separating the low-frequency component image and the high-frequency component image has been proposed (for example, see Patent Document 4).
[0014]
[Patent Document 1]
JP-A-8-223491
[Patent Document 2]
JP-A-9-331469
[Patent Document 3]
JP 2000-115534 A
[Patent Document 4]
JP-A-9-214766
[0015]
[Problems to be solved by the invention]
Summarizing the first to third gradation compression techniques described above, the following problems exist.
[0016]
First, as the high-frequency component is emphasized, luminance overshoot occurs in the contour portion of the subject. In order to suppress this, a two-dimensional nonlinear filter having a relatively large size (20 × 20 pixels) is necessary. However, in order to realize such a two-dimensional nonlinear filter as software, the calculation cost is very high. There is a problem that the circuit scale becomes large because a large amount of delay lines are required to realize it as hardware.
[0017]
Secondly, the control of the contrast enhancement amount of the high frequency component in the high luminance region and the low luminance region. In the second and third gradation compression techniques described above, the brightness is separated into a low-frequency component and a high-frequency component, the low-frequency component is relatively suppressed, and the high-frequency component is emphasized, thereby maintaining the contrast. It is common to perform compression.
[0018]
However, in the vicinity of the maximum luminance and the minimum luminance allowed by a display device or the like, high-frequency components are emphasized to cause luminance clipping, resulting in loss of image details and appropriate gradation conversion. Therefore, there is a problem that needs to be dealt with so as not to cause clipping of luminance.
[0019]
Furthermore, even in a state where no luminance clipping occurs, there is a problem that if the contrast enhancement is too strong, the contour portion of the subject is unnaturally enhanced.
[0020]
The present invention has been made in view of such circumstances, so that the capacity of the memory to be used is smaller, the number of operations is small, hardware is easy, and the contrast of the image can be enhanced appropriately. The purpose is to do.
[0021]
[Means for Solving the Problems]
 The image processing apparatus of the present invention corrects a pixel value of an input image based on a tone curve prepared in advance in a direction in which gradation is compressed, thereby generating a tone curve corrected image. Means and luminance L of the pixel of the tone curve corrected image_cSmoothing means for generating a smoothed image, and the luminance L of the pixel of the tone curve corrected image_c, Luminance L of the pixels constituting the smoothed image_l,andSet using the inverse of the slope of the tone curveContrast correction means for generating a contrast-corrected image based on the gain value g, and the smoothing means reduces the input tone curve correction image to form a reduced image and a reduced image. The luminance L of the pixel of the smoothed image is obtained by interpolation using the pixel._lInterpolating means for calculating.
[0022]
The contrast correction means is a luminance L of pixels constituting a contrast corrected image._uThe following formula
L_u= G · (L_c-L_l) + L_l
It can be made to calculate based on.
[0023]
 The reduction means is inputTone curve correctionThe image is divided into a plurality of blocks, the average value of the luminance of the pixels belonging to each block is calculated, and a reduced image composed of the same number of pixels as the number of blocks is generated with the average value being the pixel luminance.
 ContractThe image processing apparatus according to claim 1.
[0024]
The interpolation means specifies a position on the reduced image corresponding to the interpolation position, which is the position of the pixel to be interpolated by the smoothing means, and uses the pixels of the reduced image existing in the vicinity of the specified position, Luminance L of the pixel_lCan be calculated.
[0025]
The interpolation means specifies a position on the reduced image corresponding to the interpolation position, which is the position of the pixel to be interpolated by the smoothing means, and uses the 4 × 4 pixels of the reduced image existing in the vicinity of the specified position. The luminance L of the smoothed image pixel is obtained by cubic interpolation._lCan be calculated.
[0026]
 Of the present inventionPaintingThe image processing apparatus is the one before input to the smoothing means.Tone curve correctionLuminance L of pixels constituting the image_cLogarithm conversion means for logarithmically converting the image, and logarithmic inverse conversion means for logarithmically inversely converting the luminance of the pixels constituting the contrast-corrected image output by the contrast correction means.
[0027]
 The image processing method of the present invention is a tone curve correction that generates a tone curve corrected image by correcting pixel values of an input image in a direction in which gradation is compressed based on a tone curve prepared in advance. Step and luminance L of the pixel of the tone curve corrected image_cSmoothing step for generating a smoothed image and the luminance L of the pixel of the tone curve corrected image_c, Luminance L of the pixels constituting the smoothed image_l,andSet using the inverse of the slope of the tone curveA contrast correction step for generating a contrast correction image based on the gain value g. The smoothing step processing reduces the input tone curve correction image to generate a reduced image; The luminance L of the pixel of the smoothed image is obtained by interpolation using the constituent pixels._lAn interpolation step for calculating.
[0028]
 The recording medium of the present invention is a tone curve correction step for generating a tone curve corrected image by correcting pixel values of an input image in a direction in which gradation is compressed based on a tone curve prepared in advance. And the luminance L of the pixel of the tone curve corrected image_cSmoothing step for generating a smoothed image and the luminance L of the pixel of the tone curve corrected image_c, Luminance L of the pixels constituting the smoothed image_l,andSet using the inverse of the slope of the tone curveA contrast correction step for generating a contrast correction image based on the gain value g. The smoothing step processing reduces the input tone curve correction image to generate a reduced image; The luminance L of the pixel of the smoothed image is obtained by interpolation using the constituent pixels._lA program for causing a computer to execute a process including an interpolation step for calculating is recorded.
[0029]
 The program of the present invention includes a tone curve correction step for generating a tone curve corrected image by correcting pixel values of an input image in a direction in which gradation is compressed based on a tone curve prepared in advance. , Pixel brightness L of tone curve correction image_cSmoothing step for generating a smoothed image and the luminance L of the pixel of the tone curve corrected image_c, Luminance L of the pixels constituting the smoothed image_l,andSet using the inverse of the slope of the tone curveA contrast correction step for generating a contrast correction image based on the gain value g. The smoothing step processing reduces the input tone curve correction image to generate a reduced image; The luminance L of the pixel of the smoothed image is obtained by interpolation using the constituent pixels._lThe computer is caused to execute processing including an interpolation step for calculating.
[0030]
 In the present invention, the tone value correction image is generated by correcting the pixel value of the input image in the direction of compressing the gradation based on the tone curve prepared in advance, and the tone curve correction image is generated. Luminance L of the pixel_cIs smoothed to generate a smoothed image, and the luminance L of the pixel of the tone curve corrected image_c, Luminance L of the pixels constituting the smoothed image_l,andSet using the inverse of the slope of the tone curveA contrast corrected image is generated based on the gain value g. In the smoothing process, the input tone curve correction image is reduced to generate a reduced image, and the luminance L of the pixel of the smoothed image is obtained by interpolation using the pixels constituting the reduced image._lIs calculated.
[0052]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration example of an image processing system to which the present invention is applied. The image processing system 1 shoots a subject and generates a wide DR image L composed of pixels having pixel values (brightness) having a wider dynamic range than usual, and a wide camera generated by the video camera 2 and the video camera 2. An image processing apparatus 10 that compresses the gradation of the DR image L to a range of gradations that can be displayed on the display 11, and a gradation compressed image L generated by the image processing apparatus 10_uIt is comprised from the display 11 which displays.
[0053]
The video camera 2 includes a lens 3 that collects a light image of a subject, a diaphragm 4 that adjusts the light amount of the light image, a CCD image sensor 5 that photoelectrically converts the collected light image to generate a luminance signal, and A preamplifier (Pre-amp.) 6 that removes noise components from the luminance signal, an AD converter (A / D) that converts the luminance signals from which the noise components have been removed, for example, into digital data having a bit width of about 14 to 16 bits. 7) and an I / O interface (I / O) 8 that outputs a wide DR image L composed of pixels having digitized luminance to the image processing apparatus 10.
[0054]
FIG. 2 shows an outline of the operation of the image processing system 1. In step S 1, the video camera 2 captures a subject, generates a corresponding wide DR image L, and outputs the wide DR image L to the image processing apparatus 10. In step S 2, the image processing apparatus 10 performs gradation compression processing on the wide DR image L to perform the gradation compressed image L._uIs output to the display 11. In step S3, the display 11 displays the gradation compressed image L._uIs displayed.
[0055]
Next, FIG. 3 shows a first configuration example of the image processing apparatus 10. The tone curve correction unit 21 of the image processing apparatus 10 corrects the wide DR image L input from the video camera 2 in the direction of compressing the gradation based on the tone curve prepared in advance, and obtains the result. Tone curve correction image L_cIs output to the smoothed luminance generation unit 22, the gain value setting unit 23, and the contrast correction unit 24. The tone curve corrected image L_cThe tone is compressed, and the contrast is weakened due to the compression of the tone. Further, the tone curve correction unit 21 outputs a representative value γ indicating the slope of the tone curve used for the correction to the gain value setting unit 23.
[0056]
FIG. 4 shows a configuration example of the tone curve correction unit 21. In the LUT memory 31 of the tone curve correction unit 21, a lookup table (hereinafter referred to as LUT) corresponding to a monotonically increasing tone curve as shown in FIG. 5 and a representative value γ indicating the slope of the tone curve are stored in advance. Is retained. Note that a function corresponding to a tone curve may be held instead of the LUT. The table reference unit 32 converts the wide DR image L into the tone curve corrected image L based on the LUT held in the LUT memory 31._cTo correct.
[0057]
FIG. 5 shows an example of the tone curve. The horizontal axis represents the brightness of the wide DR image L, and the vertical axis represents the tone curve corrected image L after correction._cAre normalized to [0, 1], respectively. The tone curve shown in FIG. 5 is not corrected when the brightness value of the normalized wide DR image L is larger than 0.5, and the brightness value of the normalized wide DR image L is not corrected. If it is smaller than 0.5, the smaller the value, the larger the correction amount. That is, when displayed on the display 11, the correction is performed so that the dark area in the image is not crushed black. Note that the representative value γ indicating the tone curve inclination may be obtained by, for example, obtaining the inclination of the entire luminance range and setting the average value thereof as the representative value γ. For example, the representative value of the tone curve shown in FIG. 5 is γ = 0.94.
[0058]
Returning to FIG. The smoothed luminance generation unit 22 generates the tone curve corrected image L_cThe brightness L of the smoothed image obtained by smoothing the brightness of_cl(P) is output to the contrast correction unit 24. FIG. 6 shows a configuration example of the smoothed luminance generation unit 22.
[0059]
The reduced image generation unit 41 of the smoothed luminance generation unit 22 receives the tone curve correction image L input from the tone curve correction unit 21._cAre classified into m × n blocks corresponding to the pixel positions, and the reduced image L having the average luminance value of the pixels classified in each block as a pixel._clIs generated. The reduced image memory 42 stores the generated reduced image L of m × n pixels._clHold. The interpolation unit 43 calculates the luminance of the pixel position p that is sequentially designated by the interpolation process using the pixels of the reduced image held in the reduced image memory 42, and obtains the obtained interpolation value L_cl(P) is output to the contrast correction unit 24 as the luminance of the pixel of the smoothed image. Here, p = (x, y) is a coordinate or vector indicating the pixel position. Accordingly, the size of the smoothed image output from the interpolation unit 43 is the tone curve corrected image L._cAre the same size.
[0060]
That is, in the smoothed luminance generation unit 22, the tone curve corrected image L_cReduced image L_clReduced image L generated and held_clIs used to obtain the brightness L of the smoothed image._cl(P) is calculated pixel by pixel by interpolation calculation.
[0061]
Conventionally, as described above, in order to perform effective gradation compression processing, filter processing of a relatively large size is necessary. However, the smoothed luminance generation unit 22 reduces the reduced image of m × n pixels. It is sufficient to provide a reduced image memory 42 that holds
[0062]
FIG. 7 shows a configuration example of the reduced image generation unit 41 in FIG. The sorting unit 51 of the reduced image generating unit 41 includes a tone curve corrected image L input from the preceding tone curve correcting unit 21._cAre classified into m × n blocks according to the pixel position, and supplied to the average value calculation units 52-1 to 52-N (= m × n). For example, those classified into the first block are supplied to the average value calculation unit 52-1, and those classified into the second block are supplied to the average value calculation unit 52-2. The same applies hereinafter, and those classified into the Nth block are supplied to the average value calculation unit 52-N. Hereinafter, when it is not necessary to individually distinguish the average value calculation units 52-1 to 52-N, they are simply referred to as the average value calculation unit 72.
[0063]
The average value calculation unit 52-i (i = 1, 2,..., N) calculates the tone curve corrected image L classified into the i-th block._cThe average value of the luminance of the pixels is calculated and output to the synthesis unit 53. The synthesizing unit 53 generates a reduced image of m × n pixels using the average value of the luminances input from the average value calculating unit 52-i as the pixel value.
[0064]
FIG. 8 shows a configuration example of the average value calculation unit 52 of FIG. The adder 61 of the average value calculation unit 52 is a tone curve correction image L input from the previous sorting unit 51._cThe value held by the register (r) 62 is added to the luminance of the value to update the value held by the register (r) 62. The divider 63 divides the value finally held by the register 62 by the number Q of pixels constituting one block, thereby averaging the luminances of the Q pixels classified into one block. Calculate the value.
[0065]
FIG. 9 shows a configuration example of the interpolation unit 43 of FIG. The neighborhood selection unit 71 of the interpolation unit 43 receives the input of the interpolation position p and receives a reduced image L of m × n pixels held in the reduced image memory 42._clThen, the luminance a [4] [4] of 4 × 4 pixels in the vicinity of the interpolation position p is acquired and output to the product-sum unit 74.
[0066]
Here, the notation a [i] [j] indicates that the luminance a is two-dimensional array data of i × j. In addition, the neighborhood selection unit 71 sets the horizontal position displacement amount dx and the vertical direction displacement amount dy between the acquired luminance a [4] [4] and the interpolation position p to the horizontal coefficient calculation unit 72 or the vertical position, respectively. It outputs to the coefficient calculation part 73.
[0067]
Here, the relationship between the interpolation position p, the nearby luminance a [4] [4], and the positional deviation amounts dx and dy will be described with reference to FIG.
[0068]
The m × n squares in FIG._clM × n pixels that constitutes. Now, assuming that the interpolation position p = (px, py) is given, the reduced image L corresponding to the interpolation position p._clThe upper position q is q = (qx, qy) = (px / bx−0.5, py / by−0.5). However, (bx, by) = (tone curve correction image L_cHorizontal pixel count / m, tone curve corrected image L_cOf vertical pixels / n).
[0069]
Reduced image L corresponding to the interpolation position p_clIn order to obtain neighboring pixels from the upper position q, the reduced image L positioned in the range of qx−2 <x <qx + 2 and qy−2 <y <qy + 2 indicated by hatching in FIG._clIt is sufficient to acquire the pixels. The position indicated by the 4 × 4 “+” mark in the hatched area is the pixel position to be acquired. The shift amount (dx, dy) between the neighboring pixel and the interpolation position p is a difference from the nearest pixel in the lower left direction of the interpolation position q. That is, the deviation amount (dx, dy) = (decimal part of qx, decimal part of qy).
[0070]
Returning to FIG. The horizontal coefficient calculation unit 72 is based on the horizontal direction shift amount dx input from the neighborhood selection unit 71, and the horizontal third-order interpolation coefficient k._xCalculate [4]. Similarly, the vertical coefficient calculating unit 73 is based on the vertical direction shift amount dy input from the neighborhood selecting unit 71 and the vertical third-order interpolation coefficient k._yCalculate [4].
[0071]
For example, horizontal cubic interpolation coefficient k_x[4] is calculated using the following equation (1).
[Expression 1]

... (1)
[0072]
Also, for example, the cubic interpolation coefficient k in the vertical direction_y[4] is calculated using the following equation (2).
[Expression 2]

... (2)
[0073]
The cubic interpolation coefficient k_x[4], k_yFor the calculation of [4], any calculation formula can be used as long as sufficiently smooth interpolation is obtained in addition to the above-described formulas (1) and (2).
[0074]
The product-sum unit 74 calculates the luminance a [4] [4] of the neighboring pixels and the horizontal interpolation coefficient k._x[4] and vertical interpolation coefficient k_yReduced image L by product-sum calculation with [4]_clInterpolation value L at the interpolation position p of_cl(P) is calculated using the following equation (3).
[Equation 3]

... (3)
[0075]
Returning to FIG. Based on the representative value γ input from the tone curve correction unit 21, the gain setting unit 23 performs the brightness L of the smoothed image in the contrast correction unit 24._clA gain value g (p) for adjusting a correction amount when correcting the contrast of (p) is calculated for each pixel position and output to the contrast correction unit 24.
[0076]
Here, the gain value g (p) will be described. When the gain value g (p) = 1, the contrast correction unit 24 does not enhance or suppress the contrast. When the gain value g (p)> 1, the contrast is enhanced corresponding to the value. On the other hand, when the gain value g (p) <1, the contrast is suppressed corresponding to the value.
[0077]
An outline of gain value setting will be described. Tone curve correction image L_cIs already suppressed by tone compression by tone curve correction, but the amount of suppression depends on the slope of the tone curve. For example, if a tone curve with a small inclination is applied so as to perform strong gradation compression, the suppression of contrast is also strong. For example, if a straight line having an inclination of 1 is applied as the tone curve, the image does not change, that is, the contrast is not suppressed.
[0078]
Therefore, in the gain value setting unit 23, when the representative value γ of the tone curve slope is smaller than 1, the reciprocal 1 / γ of the representative value γ of the tone curve slope is set so that the gain value is larger than 1. Adopted as a gain value.
[0079]
The input tone curve corrected luminance L_cIs close to the white level or the black level, if contrast enhancement similar to that in the intermediate luminance region is performed, clipping occurs and the image details are lost._cAs the value approaches the white level or the black level, the gain value approaches 1.
[0080]
That is, the reciprocal 1 / γ = g of the representative value γ₀The gain value g (p) is calculated as in the following equation (4).

Here, attn (p) is an attenuation coefficient, and is calculated using the following equation (5).
[Expression 4]

... (5)
[0081]
In equation (5), L_grayIndicates moderate gray level brightness and L_whiteIndicates the brightness of the white clip level (maximum white level), both of which are preset constants.
[0082]
FIG. 11 shows a configuration example of the gain value setting unit 23. The divider 81 is a reciprocal 1 / γ = g of the representative value γ input from the previous stage.₀Is calculated and output to the subtractor 82. The subtractor 82 (g₀-1) is calculated and output to the multiplier 88.
[0083]
The subtractor 83 generates the tone curve corrected image L_cBrightness and moderate gray level brightness L_grayDifference (L_c-L_gray) And output to the divider 85. The subtractor 84 generates a white clip level luminance L_whiteAnd luminance L_grayDifference (L_white-L_gray) And output to the divider 85. The divider 85 outputs the output (L_c-L_gray) Is output from the subtractor 84 (L_white-L_gray) And output to the absolute value calculator 86. The absolute value calculator 86 calculates the absolute value of the output of the divider 85 and outputs it to the clipper 87. The clipper 87 clips the value to 1 when the output of the absolute value calculator 86 exceeds 1, and when the output of the absolute value calculator 86 does not exceed 1, the clipper 87 keeps the value as it is and attn (p) To the multiplier 88.
[0084]
Multiplier 88 multiplies the output of subtractor 82 by the output of clipper 87 and outputs the result to adder 89. The adder 89 adds 1 to the output of the multiplier 88 and outputs the calculation result as a gain value g (p) to the subsequent stage.
[0085]
Returning to FIG. The contrast correction unit 24 receives the gain value g (p) of each pixel position p input from the gain value setting unit 23 and the brightness L of the smoothed image input from the smoothed brightness generation unit 22._clBased on (p), the tone curve corrected image L whose contrast is weakened_cTone compression image L with enhanced contrast_uIs generated.
[0086]
FIG. 12 shows a configuration example of the contrast correction unit 24. The subtractor 91 of the contrast correction unit 24 performs tone curve correction image L_cLuminance L of each pixel_c(P) and the brightness of the corresponding pixel of the smoothed image (that is, the interpolation value L of the reduced image)_cl(P)) and the difference (L_c(P) -L_cl(P)) is calculated and output to the multiplier 92. The multiplier 92 calculates the product of the output of the subtractor 91 and the gain value g (p) input from the gain value setting unit 23 and outputs the product to the adder 93. The adder 93 outputs the luminance of the pixel of the smoothed image (interpolated value L of the reduced image) to the output of the multiplier 92._cl(P)) is added and the resulting luminance L_u(P) is a tone-compressed image L with contrast corrected._uIs output to the subsequent stage as the luminance of the pixels constituting the.
[0087]
Note that the brightness of the pixel of the smoothed image (interpolated value L of the reduced image)_cl(P)) is a reduced image L of m × n pixels._clTone curve corrected image L before reduction_cIt has only very low frequency components.
[0088]
Accordingly, the output of the subtractor 91 (L_c(P) -L_cl(P)) is the original tone curve corrected image logL_cFrom which only the very low frequency components are subtracted. In this way, the luminance signal is separated into a very low frequency component and other components, and a component other than the low frequency component (the output of the subtractor 91) is multiplied by the gain value g (p). , And then synthesized again by the adder 93 is the brightness L of the tone-compressed image with the contrast corrected._u(P).
[0089]
As described above, the contrast correction unit 24 emphasizes the components from the low to medium frequency range to the high frequency range except the very low frequency range with the same gain value g (p). Accordingly, the brightness L of the gradation-compressed image with the contrast corrected._uIn (p), the local overshoot of the edge portion, which is noticeable when only the high frequency region is emphasized, does not occur, and an image in which the contrast is emphasized naturally is obtained.
[0090]
Next, details of the tone-compressed image generation process (that is, the process of step S2 described above with reference to the flowchart of FIG. 2) according to the first configuration example of the image processing apparatus 10 will be described with reference to the flowchart of FIG. explain.
[0091]
In step S11, the tone curve correction unit 21 corrects the luminance of the wide DR image L input from the video camera 2 based on a LUT prepared in advance, and the tone curve correction image L obtained as a result thereof._cIs output to the smoothed luminance generation unit 22, the gain value setting unit 23, and the contrast correction unit 24. Further, the tone curve correction unit 21 outputs a representative value γ indicating the slope of the tone curve used for the correction to the gain value setting unit 23.
[0092]
In step S12, the smoothed luminance generation unit 22 performs the tone curve correction image L._cTo reduce the reduced image L_clAnd a reduced image L_clThe luminance L of the pixel of the smoothed image is obtained by interpolation using the pixels of_cl(P) is calculated and output to the contrast correction unit 24.
[0093]
In step S 13, the gain setting unit 23 determines the brightness L of the smoothed image in the contrast correction unit 24 based on the representative value γ input from the tone curve correction unit 21._clA gain value g (p) for adjusting a correction amount when correcting the contrast of (p) is calculated for each pixel position and output to the contrast correction unit 24.
[0094]
In addition, the process of step S12 and the process of step S13 can be implemented in parallel.
[0095]
In step S 14, the contrast correction unit 24 receives the gain value g (p) of each pixel position p input from the gain value setting unit 23 and the luminance L of the smoothed image input from the smoothed luminance generation unit 22._clBased on (p), the tone curve corrected image L_cIs corrected, and the gradation compressed image L is corrected._uLuminance L of the pixel_u(P) is calculated. The tone-compressed image L with the contrast corrected obtained in this way._uIn this case, the local overshoot of the edge portion, which is conspicuous when only the high frequency region is emphasized, does not occur, and the image is enhanced with natural contrast. Above, description of the gradation compression image generation process by the 1st structural example of the image processing apparatus 10 is complete | finished.
[0096]
Next, FIG. 14 shows a second configuration example of the image processing apparatus 10. In the second configuration example, a logarithmic conversion unit 101 that performs logarithmic conversion on the luminance of the wide DR image L input from the video camera 1 is arranged on the upper stage of the tone curve correction unit 21 of the first configuration example shown in FIG. Furthermore, a logarithmic inverse conversion unit 102 that performs logarithmic inverse conversion of the output of the contrast correction unit 24 is provided in the lower stage of the contrast correction unit 24 of the first configuration example.
[0097]
The constituent elements other than the logarithmic conversion unit 101 and the logarithmic inverse conversion unit 102 constituting the second configuration example of the image processing apparatus 10 are the same as those in the first configuration example of FIG. The description thereof is omitted as appropriate. However, in the second configuration example, the tone curve correction unit 21 to the contrast correction unit 24 process the logarithmically converted luminance.
[0098]
FIG. 15 is an example of a tone curve applied by the tone curve correction unit 21 in the second configuration example. The horizontal axis represents the luminance of the wide DR image L, and the vertical axis represents the tone curve corrected image L._cAre normalized to [0, 1] and displayed on a logarithmic axis. As shown in this example, when a tone curve that is monotonically increasing and has a gentle inverted S-shape is applied, gradation compression does not work very strongly in the high luminance region and the low luminance region. A good color tone with little black blur is obtained. On the contrary, gradation compression works strongly in the intermediate luminance range, but because of that, contrast correction is sufficiently applied to the intermediate luminance range, so good gradation compression without contrast deterioration even in the intermediate luminance range Image L_uCan be obtained. In the case of the tone curve shown in FIG. 15, the representative value γ = 0.67.
[0099]
Next, details of the gradation compressed image generation processing according to the second configuration example of the image processing apparatus 10 will be described with reference to the flowchart of FIG.
[0100]
In step S 21, the logarithmic conversion unit 101 performs logarithmic conversion on the luminance of the wide DR image L input from the video camera 2, and outputs the logarithmic wide DR image logL obtained as a result to the tone curve correction unit 21.
[0101]
In step S22, the tone curve correction unit 21 corrects the brightness of the logarithmic wide DR image logL based on a LUT prepared in advance, for example, corresponding to the tone curve shown in FIG. Logarithmic tone curve correction image logL_cIs output to the smoothed luminance generation unit 22, the gain value setting unit 23, and the contrast correction unit 24. Further, the tone curve correction unit 21 outputs a representative value γ indicating the slope of the tone curve used for the correction to the gain value setting unit 23.
[0102]
In step S23, the smoothed luminance generation unit 22 performs logarithmic tone curve correction image logL._cLogarithmically reduced logL_clAnd logarithmically reduced image logL_clThe luminance of the logarithm smoothed image pixel logL_cl(P) is calculated and output to the contrast correction unit 24.
[0103]
In step S24, the gain setting unit 23 determines the luminance logL of the logarithmically smoothed image in the contrast correction unit 24 based on the representative value γ input from the tone curve correction unit 21._clA gain value g (p) for adjusting a correction amount when correcting the contrast of (p) is calculated for each pixel position and output to the contrast correction unit 24.
[0104]
In addition, the process of step S23 and the process of step S24 can be implemented in parallel.
[0105]
In step S 25, the contrast correction unit 24 receives the gain value g (p) of each pixel position p input from the gain value setting unit 23 and the luminance logL of the logarithmically smoothed image input from the smoothed luminance generation unit 22._clBased on (p), the logarithmic tone curve corrected image logL_cLogarithmic gradation compressed image logL_uLuminance of pixel logL_u(P) is calculated and output to the logarithmic inverse transform unit 102.
[0106]
In step S26, the logarithmic inverse transformation unit 102 performs logarithmic gradation compression image logL._uLuminance of pixel logL_uThe logarithm inverse transformation of (p) and the resulting L_u(P) represents the gradation compressed image L_uIs output as the luminance of the pixel.
[0107]
The tone-compressed image L with the contrast corrected obtained in this way._uIn the high luminance region and the low luminance region, gradation compression does not work so strongly, and therefore, even after gradation compression, a good color tone with little white and black blurring is obtained. Conversely, tone compression works strongly in the intermediate luminance range, but since the contrast correction is sufficiently applied to the intermediate luminance range, a good image with no contrast deterioration is obtained even in the intermediate luminance range. . Above, description of the gradation compression image generation process by the 2nd structural example of the image processing apparatus 10 is complete | finished.
[0108]
As described above, according to the image processing apparatus 10 according to an embodiment of the present invention, a large amount of memory (used as a delay line for frame memories and pixel series data, which is necessary for conventional gradation compression technology). And a wide DR image having a wider dynamic range than usual can be displayed on the display 11 having a narrower dynamic range of displayable brightness without impairing the appearance. It is possible to convert to a gradation compressed image. In addition, it is possible to obtain a gradation-compressed image that is not inferior to the gradation compression process that has been realized with a large filter process.
[0109]
Of course, the image processing apparatus 10 can convert the wide DR image into a gradation compressed image by adapting the wide DR image to a dynamic range that can be expressed by a printer or projector other than the display 11.
[0110]
The present invention can be applied to, for example, an image signal processing circuit incorporated in an expression device such as a display, a printer, or a projector, in addition to a photographing device of a digital video camera or a digital still camera.
[0111]
By the way, the series of processes described above can be executed by hardware, but can also be executed by software. When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0112]
FIG. 17 shows a configuration example of a general-purpose personal computer. The personal computer 120 includes a CPU (Central Processing Unit) 121. An input / output interface 125 is connected to the CPU 121 via the bus 124. A ROM (Read Only Memory) 122 and a RAM (Random Access Memory) 123 are connected to the bus 124.
[0113]
The input / output interface 125 includes an input unit 126 including an input device such as a keyboard and a mouse for a user to input an operation command, an output unit 127 for outputting a processing operation screen and an image of the processing result to a display device, a program and various data. An I / O interface 129 that communicates image data with a storage unit 128 including a hard disk drive and the like, a video camera 2 and the like is connected. Also, a magnetic disk 131 (including a flexible disk), an optical disk 132 (including a CD-ROM (Compact Disc-Read Only Memory), a DVD (Digital Versatile Disc)), and a magneto-optical disk 133 (including an MD (Mini Disc)). Alternatively, a drive 130 for reading / writing data from / to a recording medium such as the semiconductor memory 134 is connected.
[0114]
The CPU 121 executes various processes according to a program stored in the ROM 122 or a program read from the magnetic disk 131 to the semiconductor memory 134 and installed in the storage unit 128 and loaded from the storage unit 128 to the RAM 123. The RAM 123 also appropriately stores data necessary for the CPU 121 to execute various processes.
[0115]
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0116]
Further, in this specification, the system represents the entire apparatus constituted by a plurality of apparatuses.
[0117]
【The invention's effect】
As described above, according to the present invention, the capacity of a memory to be used is smaller, the amount of calculation is small, hardware implementation is easy, and the contrast of an image that is appropriately tone-compressed is emphasized. Is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of an image processing system to which the present invention is applied.
FIG. 2 is a flowchart for explaining the operation of the image processing system shown in FIG. 1;
FIG. 3 is a block diagram illustrating a first configuration example of the image processing apparatus illustrated in FIG. 1;
4 is a block diagram illustrating a configuration example of a tone curve correction unit illustrated in FIG. 3;
FIG. 5 is a diagram illustrating an example of a tone curve used in the first configuration example of the image processing apparatus.
6 is a block diagram illustrating a configuration example of a smoothed luminance generation unit illustrated in FIG. 3;
7 is a block diagram illustrating a configuration example of a reduced image generation unit illustrated in FIG. 6;
8 is a block diagram illustrating a configuration example of an average value calculation unit illustrated in FIG. 7;
9 is a block diagram illustrating a configuration example of an interpolation unit illustrated in FIG. 6;
10 is a diagram for explaining processing of an interpolation unit shown in FIG. 6;
11 is a block diagram illustrating a configuration example of a gain value setting unit illustrated in FIG. 3;
12 is a block diagram illustrating a configuration example of a contrast correction unit illustrated in FIG. 3;
FIG. 13 is a flowchart illustrating a gradation compressed image generation process according to the first configuration example of the image processing apparatus.
14 is a block diagram illustrating a second configuration example of the image processing apparatus illustrated in FIG. 1. FIG.
FIG. 15 is a diagram illustrating an example of a tone curve used in the second configuration example of the image processing apparatus.
FIG. 16 is a flowchart illustrating a gradation compressed image generation process according to the second configuration example of the image processing apparatus.
FIG. 17 is a block diagram illustrating a configuration example of a general-purpose personal computer.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image processing system, 2 Video camera, 5 CCD image sensor, 10 Image processing apparatus, 11 Display, 21 Tone curve correction part, 22 Smoothing luminance production | generation part, 23 Gain value setting part, 24 Contrast correction part, 101 Logarithm conversion part , 102 logarithmic inverse conversion unit, 121 CPU, 131 magnetic disk, 132 optical disk, 133 magneto-optical disk, 134 semiconductor memory

Claims

画像のコントラストを補正する画像処理装置において、
入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正手段と、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化手段と、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段とを含み、
前記平滑化手段は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小手段と、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間手段と
を含む画像処理装置。In an image processing apparatus for correcting the contrast of an image,
Tone curve correction means for generating a tone curve corrected image by correcting the pixel value of the input image in the direction of compressing gradation based on a tone curve prepared in advance;
Smoothing means for smoothing the luminance L _c of the pixels of the tone curve corrected image to generate a smoothed image;
A contrast-corrected image is obtained on the basis of a gain value g set using the luminance L _c of the pixel of the tone curve corrected image, the luminance L _{l of} the pixel constituting the smoothed image, and the inverse of the slope of the tone curve. A contrast correcting means for generating,
The smoothing means includes
Reduction means for reducing the input tone curve correction image and generating a reduced image;
An image processing apparatus comprising: interpolation means for calculating a luminance L _l of a pixel of the smoothed image by an interpolation calculation using pixels constituting the reduced image.

前記コントラスト補正手段は、前記コントラスト補正画像を構成する画素の輝度Ｌ_uを、次式
Ｌ_u＝ｇ・（Ｌ_c−Ｌ_l）＋Ｌ_l
に基づいて算出する
請求項１に記載の画像処理装置。The contrast correction means calculates the luminance L _u of the pixels constituting the contrast corrected image by the following formula: L _u = g · (L _c −L _l ) + L _l
The image processing device according to claim 1, wherein the image processing device is calculated based on the image processing device.

前記縮小手段は、入力された前記トーンカーブ補正画像を複数のブロックに分割し、各ブロックに属する画素の輝度の平均値を計算して、前記平均値を画素の輝度とする、前記ブロックの数と同数の画素から構成される前記縮小画像を生成する
請求項１に記載の画像処理装置。The reduction means divides the input tone curve correction image into a plurality of blocks, calculates an average value of luminance of pixels belonging to each block, and sets the average value as the luminance of the pixel. The image processing apparatus according to claim 1, wherein the reduced image including the same number of pixels is generated.

前記補間手段は、前記平滑化手段によって補間される画素の位置である補間位置に対応する前記縮小画像上の位置を特定し、特定した前記位置の近傍に存在する前記縮小画像の画素を用いて、前記平滑化画像の画素の輝度Ｌ_lを演算する
請求項１に記載の画像処理装置。The interpolation unit specifies a position on the reduced image corresponding to the interpolation position which is a pixel position to be interpolated by the smoothing unit, and uses the pixels of the reduced image existing in the vicinity of the specified position. The image processing apparatus according to claim 1, wherein a luminance L _l of a pixel of the smoothed image is calculated.

前記補間手段は、前記平滑化手段によって補間される画素の位置である補間位置に対応する前記縮小画像上の位置を特定し、特定した前記位置の近傍に存在する前記縮小画像の４×４画素を用いた双３次補間により、前記平滑化画像の画素の輝度Ｌ_lを演算する
請求項４に記載の画像処理装置。The interpolation means specifies a position on the reduced image corresponding to an interpolation position which is a position of a pixel to be interpolated by the smoothing means, and 4 × 4 pixels of the reduced image existing in the vicinity of the specified position The image processing apparatus according to claim 4, wherein a luminance L _l of a pixel of the smoothed image is calculated by bicubic interpolation using the.

前記平滑化手段に入力する前の前記トーンカーブ補正画像を構成する画素の輝度Ｌ_cを対数変換する対数変換手段と、
前記コントラスト補正手段によって出力された前記コントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段と
をさらに含む請求項１に記載の画像処理装置。Logarithmic conversion means for logarithmically converting the luminance L _c of the pixels constituting the tone curve corrected image before being input to the smoothing means;
The image processing apparatus according to claim 1, further comprising: a logarithmic inverse conversion unit that performs logarithmic inverse conversion on a luminance of a pixel constituting the contrast correction image output by the contrast correction unit.

画像のコントラストを補正する画像処理方法において、
入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、
前記平滑化ステップの処理は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間ステップと
を含む画像処理方法。In an image processing method for correcting the contrast of an image,
A tone curve correction step for generating a tone curve corrected image by correcting the pixel value of the input image based on a tone curve prepared in advance in a direction in which gradation is compressed;
A smoothing step of smoothing a luminance L _c of a pixel of the tone curve corrected image to generate a smoothed image;
A contrast-corrected image is obtained on the basis of a gain value g set using the luminance L _c of the pixel of the tone curve corrected image, the luminance L _{l of} the pixel constituting the smoothed image, and the inverse of the slope of the tone curve. Generating a contrast correction step,
The process of the smoothing step is
A reduction step of reducing the input tone curve correction image to generate a reduced image;
An image processing method comprising: an interpolation step of calculating a luminance L _l of a pixel of the smoothed image by an interpolation calculation using pixels constituting the reduced image.

入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、
前記平滑化ステップの処理は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。A tone curve correction step for generating a tone curve corrected image by correcting the pixel value of the input image based on a tone curve prepared in advance in a direction in which gradation is compressed;
A smoothing step of smoothing a luminance L _c of a pixel of the tone curve corrected image to generate a smoothed image;
A contrast-corrected image is obtained on the basis of a gain value g set using the luminance L _c of the pixel of the tone curve corrected image, the luminance L _{l of} the pixel constituting the smoothed image, and the inverse of the slope of the tone curve. Generating a contrast correction step,
The process of the smoothing step is
A reduction step of reducing the input tone curve correction image to generate a reduced image;
A recording medium on which a program for causing a computer to execute a process including an interpolation step of calculating a luminance L _l of a pixel of the smoothed image by an interpolation calculation using pixels constituting the reduced image is recorded.

入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、
前記平滑化ステップの処理は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間ステップと
を含む処理をコンピュータに実行させるプログラム。A tone curve correction step for generating a tone curve corrected image by correcting the pixel value of the input image based on a tone curve prepared in advance in a direction in which gradation is compressed;
A smoothing step of smoothing a luminance L _c of a pixel of the tone curve corrected image to generate a smoothed image;
A contrast-corrected image is obtained on the basis of a gain value g set using the luminance L _c of the pixel of the tone curve corrected image, the luminance L _{l of} the pixel constituting the smoothed image, and the inverse of the slope of the tone curve. Generating a contrast correction step,
The process of the smoothing step is
A reduction step of reducing the input tone curve correction image to generate a reduced image;
A program for causing a computer to execute a process including an interpolation step of calculating a luminance L _l of a pixel of the smoothed image by an interpolation calculation using pixels constituting the reduced image.