JP2011022656A

JP2011022656A - 画像処理装置及び画像処理プログラム

Info

Publication number: JP2011022656A
Application number: JP2009164825A
Authority: JP
Inventors: Norimitsu Asami; 典充浅見
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2009-07-13
Filing date: 2009-07-13
Publication date: 2011-02-03

Abstract

【課題】ハイライト部周辺の階調段差を効果的に目立たなくすることを目的とする。
【解決手段】画像中の注目画素の輝度値と、該注目画素の周辺に配置された周辺画素における平均輝度値との差分に基づいて第１係数を求める第１係数生成部と、前記第１係数とは異なる第２係数を前記注目画素に対して無作為に求める第２係数生成部と、前記第１係数及び前記第２係数を用いて、前記注目画素の輝度値を補正するディザ処理部とを備えた画像処理装置。
【選択図】図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

カメラでの撮影時、被写界中に際だって高輝度な物体が存在すると、撮影した画像の一部が白飛びする。この白飛び部分（ハイライト部）は、他の部分と異なり階調が全く無いので、階調段差により、その輪郭が浮き出して観察者に不自然な印象を与える。

特許文献１には、その輪郭を目立たなくする信号処理技術が開示されている。この技術は、飽和レベルに近い信号へ意図的にランダムノイズを加算するものである。これによって、ハイライト部の周辺にディザ効果（ざらつき感）を与え、その輪郭を曖昧にすることができる。

特開２００５−７２８３５号公報

しかし、この信号処理技術をそのままデジタルカメラへ適用しても、その適用方法や使用状況などにより、必ずしもディザ効果が現れないことがわかった。また、ディザ効果が現れなくても良い部分に現れるおそれがあった。

そこで、本発明の画像処理装置及び画像処理プログラムは、ハイライト部周辺の階調段差を効果的に目立たなくすることを目的とする。

本発明の画像処理装置は、画像中の注目画素の輝度値と、該注目画素の周辺に配置された周辺画素における平均輝度値との差分に基づいて第１係数を求める第１係数生成部と、前記第１係数とは異なる第２係数を前記注目画素に対して無作為に求める第２係数生成部と、前記第１係数及び前記第２係数を用いて、前記注目画素の輝度値を補正するディザ処理部とを備える。
なお、前記ディザ処理部は、少なくとも前記第１係数及び前記第２係数を用いて補正値を算出した後、算出した前記補正値を前記注目画素の輝度値に加算しても良い。
また、前記第１係数は、前記注目画素の輝度値と前記周辺画素の平均輝度値とが等しいときに０となるように設定されるとともに、前記第１係数が０となるとき、前記ディザ処理部により算出される前記補正値は０となっても良い。
また、前記第２係数が取り得る値として０が含まれるとともに、前記第２係数が０となるとき、前記ディザ処理部により算出される前記補正値は０となっても良い。
また、前記注目画素の輝度値に基づく第３係数を求める第３係数生成部をさらに備え、前記ディザ処理部は、前記第１係数及び前記第２係数の他に、前記第３係数を用いて前記補正値を算出しても良い。
また、前記第３係数は、前記注目画素の輝度値が予め定めた閾値以下となるときに０となるように設定されるとともに、前記第３係数が０となるとき、前記ディザ処理部により算出される前記補正値は０となっても良い。

本発明の画像処理プログラムは、画像中の注目画素の輝度値と、該注目画素の周辺に配置された周辺画素における平均輝度値との差分に基づいて第１係数を求める第1係数生成工程と、前記第１係数とは異なる第２係数を前記注目画素に対して無作為に求める第２係数生成工程と、前記第１係数及び前記第２係数を用いて、前記注目画素の輝度値を補正するディザ処理工程とをコンピュータで実現する。

本発明の画像処理装置及び画像処理プログラムによれば、ハイライト部周辺の階調段差を効果的に目立たなくすることができる。

本発明の実施形態におけるデジタルカメラ１０の構成を示すブロック図である。係数Ａを算出する際に用いられるＬＵＴ２７の一例である。係数Ｂを算出する際に用いられるＬＵＴ２８の一例である。係数Ｃを算出する際に用いられるＬＵＴ２９の一例である。ディザ処理時の流れを示すフローチャートである。（ａ）ディザ処理前のＪＰＥＧ画像３０の例を示す図である。（ｂ）ディザ処理前のＪＰＥＧ画像３０における直線Ｚ上に位置する画素のＸ座標値とＹ信号値との対応関係を示す図である。（ｃ）ディザ処理後のＪＰＥＧ画像３０における直線Ｚ上に位置する画素のＸ座標値とＹ’信号値との対応関係を示す図である。

以下、図面を用いて本発明の実施形態について説明する。なお、本実施形態では、本発明の画像処理装置の一例として、デジタルカメラを用いて説明する。図１は、本発明の実施形態におけるデジタルカメラ１０の構成を示すブロック図である。

図１に示すように、デジタルカメラ１０は、撮像レンズ１１、撮像素子１２、Ａ／Ｄ変換部１３、バッファメモリ１４、画像処理部１５、制御部１６、表示部１７、操作部１８、メモリ１９、記録Ｉ／Ｆ部２０、記録媒体２１、バス２２を備える。

撮像レンズ１１は、撮像素子１２の撮像面に被写体像を結像する。なお、撮像レンズ１１は、ズームレンズやフォーカスレンズ等の複数のレンズから構成されていても良い。撮像素子１２は、撮像レンズ１１を通過した被写体光を光電変換し、Ｒ、Ｇ、Ｂの各色に対応するアナログの画像信号を出力する。撮像素子１２は、後述するレリーズ釦２５が全押しされると、被写体についての画像を取得する。なお、画像としては、静止画像の他に、動画像が含まれる。

撮像素子１２から出力される画像信号は、Ａ／Ｄ変換部１３に入力される。Ａ／Ｄ変換部１３は、撮像素子１２から出力されるアナログの画像信号をＡ／Ｄ変換し、デジタルの画像信号に変更する。なお、このデジタルの画像信号は、１コマにまとめられ、画像データとしてバッファメモリ１４に記録される。バッファメモリ１４は、画像処理部１５による画像処理の前工程や後工程で画像データを一時的に記録する。

画像処理部１５は、バッファメモリ１４に記録された画像データに対して画像処理を施す。なお、この画像処理としては、周知のホワイトバランス調整、色補間、階調変換処理、輪郭強調処理等が挙げられる。また、画像処理部１５は、ＪＰＥＧ（Joint Photographic Experts Group）形式等で圧縮する処理や、圧縮された上記のデータを伸長復元する処理をも実行する。例えば、圧縮処理前の階調数は、１２ｂｉｔであり、圧縮処理後の階調数は８ｂｉｔである。以下、圧縮処理後の画像をＪＰＥＧ画像と称する。
また、画像処理部１５は、係数生成部２３、ディザ処理部２４の機能を有する。係数生成部２３は、ＪＰＥＧ画像に含まれる画素毎に、ルックアップテーブルＬＵＴ２７、ＬＵＴ２８、ＬＵＴ２９を用いて、ディザ処理に必要な係数Ａ、係数Ｂ、係数Ｃを算出する。係数の算出については、後述する。
ディザ処理部２４は、ＪＰＥＧ画像にディザ処理を行う。ＪＰＥＧ画像中の画素は、輝度成分（Ｙ）を示す画像信号値（以下、Ｙ信号値）と、色差成分を示す画像信号値（以下、Ｃｒ、Ｃｂ信号値）とにより構成される。ディザ処理部２４は、下記に示す（１）式に従って、ＪＰＥＧ画像を構成する各画素のＹ信号値にディザ信号値を加算することにより、ディザ処理を行う。なお、２^αは、係数Ｃの振幅である。

各係数は、以下のように求められる。なお、ディザ処理の対象となる画素を注目画素と称する。また、ＪＰＥＧ画像の横方向をＸ軸、縦方向をＹ軸とする。
まず、係数生成部２３は、ＬＵＴ２７を用いて、注目画素のＹ信号値に応じた係数Ａを算出する。図２は、ＬＵＴ２７の一例である。なお、横軸はＹ信号値であり、縦軸は係数Ａである。また、ＪＰＥＧ画像の階調数が８ｂｉｔである場合、０≦Ｙ信号値≦２５５となる。ＬＵＴ２７は、Ｙ信号値が閾値以下である（図２では、０≦Ｙ信号値≦２３０）場合、係数Ａ＝０となるように設定され、Ｙ信号値が閾値より高い（図２では、２３０＜Ｙ信号値≦２５５）場合、Ｙ信号値が高いほど、係数Ａが大きくなるように設定されている。
次に、係数Ｂは、以下のように求められる。最初に、係数生成部２３は、注目画素を中心とし、縦７画素×横７画素の領域を設定する。そして、係数生成部２３は、この領域に含まれる画素であって、注目画素を除く４８個の画素のＹ信号値の平均値を算出し、周辺画素の平均Ｙ信号値とする。さらに、係数生成部２３は、下式に従って、差分値Ｄを算出する。
差分値Ｄ＝｜周辺画素の平均Ｙ信号値−注目画素のＹ信号値｜
そして、係数生成部２３は、ＬＵＴ２８を用いて、注目画素のＹ信号値と周辺画素の平均Ｙ信号値との差分値Ｄに応じた係数Ｂを算出する。図３は、ＬＵＴ２８の一例である。なお、横軸は差分値Ｄであり、縦軸は係数Ｂである。ＬＵＴ２８は、差分値Ｄ＝０である場合、係数Ｂ＝０となるように設定され、差分値Ｄが大きいほど、係数Ｂが大きくなるように設定されている。
次に、係数生成部２３は、ＬＵＴ２９を用いて、注目画素のＸ座標値に応じた係数Ｃを算出する。図４は、ＬＵＴ２９の一例である。なお、横軸はＸ座標値であり、縦軸はランダムな値に予め決められている係数Ｃである。例えば、−２^α≦係数Ｃ≦＋２^αとする。図４の例では、α＝３である。

以上説明したように、ディザ信号値は、Ｙ信号値が飽和レベル近傍となる画素であって、該Ｙ信号値と周辺画素の平均Ｙ信号値とに差分がある画素に対し、Ｙ信号値のバラツキを与えるように設定されている。
制御部１６は、所定のシーケンスプログラムにしたがって、デジタルカメラ１０の統括的な制御を行う。表示部１７は、制御部１６の制御により各種の画像を表示する。表示部１７に表示される各種の画像は、撮像により取得した画像、後述する記録媒体２１に記録された画像、メニュー画像等を含む。操作部１８は、レリーズ釦２５、十字キー２６等を有する。メモリ１９は、ＬＵＴ２７、ＬＵＴ２８、ＬＵＴ２９などを記録している。レリーズ釦２５は、撮像時に操作される。十字キー２６は、上記のメニュー画像等で操作される。なお、レリーズ釦２５及び十字キー２６の状態は制御部１６により検知され、検知された釦やキーの状態に基づいたシーケンスが実行される。

記録Ｉ／Ｆ部２０は、記録媒体２１を接続するためのコネクタを備えている。この記録Ｉ／Ｆ部２０と記録媒体２１とが接続されることにより、記録媒体２１に対してデータの書き込み／読み出しを実行する。バス２２は、バッファメモリ１４、画像処理部１５、制御部１６、表示部１７、記録Ｉ／Ｆ部２０を相互に接続することにより、データや信号の出入力を実行する。

図５は、ディザ処理時の流れを示すフローチャートである。

ステップＳ１０１は、ＪＰＥＧ画像を読み出す処理である。制御部１６は、ディザ処理の対象となるＪＰＥＧ画像を記録媒体２１から読み出す。

ステップＳ１０２は、Ｙ信号値を算出する処理である。係数生成部２３は、注目画素のＹ信号値を算出する。

ステップＳ１０３は、係数Ａを算出する処理である。係数生成部２３は、ＬＵＴ２７を用いて、ステップＳ１０２で算出したＹ信号値に応じた係数Ａを算出する。

ステップＳ１０４は、係数Ａ≠０であるか否かを判定する処理である。係数生成部２３は、係数Ａ≠０である場合（ステップＳ１０４の判定がＹＥＳとなる場合）には、ステップＳ１０５に進む。一方、係数生成部２３は、係数Ａ＝０である場合（ステップＳ１０５の判定がＮＯとなる場合）には、後述するステップＳ１１１に進む。

ステップＳ１０５は、周辺画素の平均Ｙ信号値を算出する処理である。係数生成部２３は、注目画素の周辺画素の平均Ｙ信号値を算出する。

ステップＳ１０６は、差分値Ｄを算出する処理である。係数生成部２３は、注目画素のＹ信号値と周辺画素の平均Ｙ信号値との差分値Ｄを算出する。

ステップＳ１０７は、係数Ｂを算出する処理である。係数生成部２３は、ＬＵＴ２８を用いて、ステップＳ１０６で算出した差分値Ｄに応じた係数Ｂを算出する。

ステップＳ１０８は、係数Ｂ≠０であるか否かを判定する処理である。係数生成部２３は、係数Ｂ≠０である場合（ステップＳ１０８の判定がＹＥＳとなる場合）には、ステップＳ１０９に進む。一方、係数生成部２３は、係数Ｂ＝０である場合（ステップＳ１０８の判定がＮＯとなる場合）には、後述するステップＳ１１１に進む。

ステップＳ１０９は、Ｘ座標値を算出する処理である。係数生成部２３は、注目画素のＸ座標値を算出する。

ステップＳ１１０は、係数Ｃを算出する処理である。係数生成部２３は、ＬＵＴ２９を用いて、ステップＳ１０９で算出したＸ座標値に応じた係数Ｃを算出する。

ステップＳ１１１は、Ｙ’信号値を算出する処理である。ディザ処理部２４は、注目画素のＹ信号値、係数Ａ、係数Ｂ、係数Ｃを用いて、Ｙ’信号値を算出する。なお、ステップＳ１０４又はステップＳ１０８の判定がＮＯとなる場合には、ディザ信号値が０になる。そのため、このような画素では、ディザ処理前のＹ信号値と、ディザ処理後のＹ’信号値とは同じである。また、係数生成部２３は、注目画素のＣｂ、Ｃｒ信号値を算出する。

ステップＳ１１２は、全ての画素についてＹ’信号値を算出したか否かを判定する処理である。ディザ処理部２４は、全ての画素についてＹ’信号値を算出した場合（ステップＳ１１２の判定がＹＥＳとなる場合）には、ステップＳ１１３に進む。一方、ディザ処理部２４は、全ての画素についてＹ’信号値を算出していない場合（ステップＳ１１２の判定がＮＯとなる場合）には、ステップＳ１０２に戻る。

ステップＳ１１３は、ディザ処理後のＪＰＥＧ画像を記録する処理である。ディザ処理部２４は、ステップＳ１１１で算出したＹ’信号値とＣｂ、Ｃｒ信号値とを画素毎に合成し、ディザ処理後のＪＰＥＧ画像を生成する。そして、制御部１６は、ディザ処理後のＪＰＥＧ画像を記録媒体２１に記録し、一連の処理を終了する。
例えば、ディザ処理前のＪＰＥＧ画像３０の例を図６（ａ）に示す。領域Ｋに含まれる画素のＹ信号値は全て同じであり、例えば、Ｙ信号値＝２５５とする。同様に、領域Ｌに含まれる画素のＹ信号値は全て同じであり、例えば、Ｙ信号値＝２４５とする。また、領域Ｍに含まれる画素のＹ信号値は全て同じであり、Ｙ信号値＝２３０とする。また、領域Ｎに含まれる画素のＹ信号値は全て同じであり、Ｙ信号値＝２２０とする。図６（ｂ）は、ディザ処理前のＪＰＥＧ画像３０における直線Ｚ上に位置する画素のＸ座標値とＹ信号値との対応関係を示す図である。
この場合、領域Ｋ、Ｌ、Ｍは、Ｙ信号値が飽和レベル近傍である画素により構成される領域、すなわちハイライト部であり、領域Ｋと領域ＬとのＹ信号値の差分値、及び領域Ｌと領域ＭとのＹ信号値の差分値は大きい。そのため、領域Ｋと領域Ｌとの境界、及び領域Ｌと領域Ｍとの境界に、階調段差が生じる。

図６（ｃ）は、ディザ処理後のＪＰＥＧ画像３０における直線Ｚ上に位置する画素のＸ座標値とＹ’信号値との対応関係を示す図である。領域Ｋと領域Ｌとの境界、領域Ｌと境界Ｍとの境界は、ディザ処理により曖昧になる。一方、領域Ｋと領域Ｌとの境界、及び領域Ｌと境界Ｍとの境界以外の部分では、Ｙ’信号値は均一のままである。
上述したように、ディザ処理部２４は、Ｙ’信号値＝Ｙ信号値＋（係数Ａ×係数Ｂ×係数Ｃ）／２^αを算出する。例えば、注目画素のＹ信号値が高いほど、階調段差が目立つので、ディザ処理の必要性が高く、注目画素のＹ信号値が低いほどディザ処理の必要性は低い。上記の式では、注目画素のＹ信号値が低い場合、係数Ａ＝０となり、注目画素のＹ信号値が高いほど、係数Ａは大きくなる。そのため、ディザ処理部２４は、上記の式のように、係数Ａを乗じることにより、ハイライト部にのみディザ信号値を加算することができる。
また、注目画素のＹ信号値と周辺画素の平均Ｙ信号値との差分値Ｄが大きいほど、階調段差が目立つので、ディザ処理の必要性が高く、差分値Ｄが小さいほどディザ処理の必要性は低い。上記の式では、差分値Ｄ＝０である場合、係数Ｂ＝０となり、差分値Ｄが大きいほど、係数Ｂは大きくなる。そのため、ディザ処理部２４は、上記の式のように、係数Ｂを乗じることにより、Ｙ信号値に差がある境界部分にのみディザ信号値を加算することができる。
また、一般的に、被写界の画像には、空間的に近接した画素同士はＹ信号値も近接するという傾向がある。上記の式では、注目画素のＸ座標値に応じた係数Ｃを乗じる。これにより、ディザ処理部２４は、近接した画素同士でも、ランダムなディザ信号値を加算することができる。
すなわち、本実施形態のデジタルカメラ１０では、ハイライト部周辺以外には、ディザ効果が現れず、ハイライト部周辺にのみディザ効果が現れる。したがって、本実施形態のデジタルカメラ１０によれば、ハイライト部周辺の階調段差を効果的に目立たなくすることができる。また、ハイライト部の内側の領域など、ハイライト部周辺以外にディザ効果が現れないため、観察者に自然な印象を与えることができる。

なお、上記の実施形態では、ＬＵＴ２９を用いて、注目画素のＸ座標値に応じた係数Ｃを算出する例を示したが、これに限らない。例えば、ディザ処理部２４は、注目画素毎に乱数演算を行って、ランダム値を算出し、このランダム値を係数Ｃとする。

また、上記の実施形態では、ＬＵＴ２９において、α＝３である例を示したが、αの値は、これに限らない。また、ＩＳＯ感度、彩度、エッジの度合いを加味してαの値を設定しても良い。例えば、ＩＳＯ感度が高いと画像のＳＮ比は高くなり、画像中のハイライト部周辺の階調段差もあまり目立たない傾向にある。よって、αの値が小さく設定されても問題はない。また、彩度補正の強度が低いほど、αの値を大きくしても良いし、エッジ強調の強度が低いほど、αの値を大きくしても良い。

また、上記の実施形態では、周辺画素の平均Ｙ信号値を算出する際に、注目画素を除いた４８個の画素のＹ信号値の平均値を算出する例を示したが、これに限らない。例えば、注目画素を含む４９個の画素のＹ信号値の平均値を算出しても良い。また、縦７画素×横７画素の領域を設定する例を示したが、領域の大きさは、これに限らない。例えば、領域が小さいほど、図６（ｃ）に示すようなＹ’信号値の刻みが細かくなる。

また、上記の実施形態では、ＬＵＴ２７が曲線である例を示したが、これに限らない。例えば、一次関数の直線でも良い。また、２３０＜Ｙ信号値≦２４０の場合は、係数Ａ＝１とし、２４０＜Ｙ信号値≦２５５の場合は、係数Ａ＝２となるように設定しても良い。また、０≦係数Ａ≦２となる例を示したが、係数Ａの値は、限定されない。なお、ＬＵＴ２８、係数Ｂについても同様とする。

また、上記の実施形態では、係数Ａ、係数Ｂ、係数Ｃの順に、係数を算出する例を示したが、これに限らない。例えば、係数生成部２３は、係数Ｂ、係数Ａ、係数Ｃの順に係数を算出しても良いし、３つの係数を併行して算出しても良い。

また、上記の実施形態では、係数Ａ、係数Ｂ、係数Ｃを用いて、ディザ信号値を算出する例を示したが、これに限らない。例えば、ディザ処理部２４は、係数Ａを用いることなく、係数Ｂ及び係数Ｃのみを用いてディザ信号値を算出しても良い。

また、上記の実施形態では、係数Ａ、係数Ｂ、係数Ｃを乗算して、ディザ信号値を算出する例を示したが、これに限らない。例えば、加算、減算、除算などを用いて、係数Ａと係数Ｂと係数Ｃとのうち、少なくともいずれか１つが０となるときに、ディザ信号値が０となるような式を予め求めておく。そして、ディザ処理部２４は、この式により、ディザ信号値を算出しても良い。

また、上記の実施形態では、デジタルカメラ１０を例に挙げて説明したが、これに限らない。例えば、図１に示した以外の構成を有するデジタルカメラにも本発明を同様に適用することができる。また、図１に示す機能や、図５に示すフローチャートの流れを実行することが可能なコンピュータなどの画像処理装置であっても良い。この場合、例えば、メモリカードの記録媒体やデジタルカメラ等などの電子機器と電気的に接続可能にし、これらの記録媒体に記録された画像やデジタルカメラで取得された画像を取り込むことができるような形態であれば良い。また、図１に示す機能や、図５に示すフローチャートの流れをコンピュータにて実行することが可能なプログラムであっても良い。このようなプログラムの場合には、メモリカードや光学ディスクや磁気ディスクなどのコンピュータに読み取り可能な記録媒体に記録されていることが好ましい。

１０…デジタルカメラ、１５…画像処理部、１６…制御部、２３…係数生成部、２４…ディザ処理部

Claims

画像中の注目画素の輝度値と、該注目画素の周辺に配置された周辺画素における平均輝度値との差分に基づいて第１係数を求める第１係数生成部と、
前記第１係数とは異なる第２係数を前記注目画素に対して無作為に求める第２係数生成部と、
前記第１係数及び前記第２係数を用いて、前記注目画素の輝度値を補正するディザ処理部と、
を備えたことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記ディザ処理部は、少なくとも前記第１係数及び前記第２係数を用いて補正値を算出した後、算出した前記補正値を前記注目画素の輝度値に加算する
ことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記第１係数は、前記注目画素の輝度値と前記周辺画素の平均輝度値とが等しいときに０となるように設定されるとともに、
前記第１係数が０となるとき、前記ディザ処理部により算出される前記補正値は０となる
ことを特徴とする画像処理装置。
請求項２又は請求項３のいずれか１項に記載の画像処理装置において、
前記第２係数が取り得る値として０が含まれるとともに、
前記第２係数が０となるとき、前記ディザ処理部により算出される前記補正値は０となる
ことを特徴とする画像処理装置。
請求項２から請求項４のいずれか１項に記載の画像処理装置において、
前記注目画素の輝度値に基づく第３係数を求める第３係数生成部をさらに備え、
前記ディザ処理部は、前記第１係数及び前記第２係数の他に、前記第３係数を用いて前記補正値を算出する
ことを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記第３係数は、前記注目画素の輝度値が予め定めた閾値以下となるときに０となるように設定されるとともに、
前記第３係数が０となるとき、前記ディザ処理部により算出される前記補正値は０となる
ことを特徴とする画像処理装置。
画像中の注目画素の輝度値と、該注目画素の周辺に配置された周辺画素における平均輝度値との差分に基づいて第１係数を求める第1係数生成工程と、
前記第１係数とは異なる第２係数を前記注目画素に対して無作為に求める第２係数生成工程と、
前記第１係数及び前記第２係数を用いて、前記注目画素の輝度値を補正するディザ処理工程と、
をコンピュータで実現することを特徴とする画像処理プログラム。