JP4973428B2 - 画像処理装置、電子カメラ、および画像処理プログラム - Google Patents

Description

本発明は、処理対象の画像に画像処理を施す画像処理装置、その画像処理装置を備えた電子カメラ、および処理対象の画像に対する画像処理をコンピュータで実現するための画像処理プログラムに関する。

従来より、画像の光学的中心から画面周辺部に向けて略同心円状に光量が低下するいわゆる周辺減光を補正する技術が知られている。ところで、周辺減光を補正すると、画像周辺部におけるノイズが目立ちやすくなる。そこで、周辺減光補正を行った後に、像高を考慮したノイズ低減処理を行う技術が考えられている（例えば、特許文献１参照）。
特開２００５−２６９３７３号公報

しかし、特許文献１の発明では、周辺減光補正に伴い、常にノイズ低減処理を行う必要がある。

本発明の画像処理装置、電子カメラ、および画像処理プログラムは、周辺減光補正によりノイズが目立ちやすくなるのを簡便に抑えることを目的とする。

本発明の画像処理装置は、処理対象の画像の周辺減光補正にかかわるゲイン情報を取得する取得部と、前記ゲイン情報に応じた補間処理を前記処理対象の画像に対して施す補間部とを備え、前記補間部は、前記周辺減光補正が施された後の前記処理対象の画像に対して前記補間処理を施す。

なお、好ましくは、前記補間部は、補間時に、画像構造における方向判定を行い、画像構造を維持しつつ前記補間処理を行っても良い。
また、好ましくは、前記補間部は、前記ゲイン情報に応じて、像高が低いほど補間に用いる周辺画素情報が少なく、前記像高が高いほど補間に用いる周辺画素情報が多い補間処理を行っても良い。

なお、好ましくは、前記補間部は、前記ゲイン情報に応じて、像高が低いほどローパス効果が低く、前記像高が高いほどローパス効果が高い補間処理を行っても良い。

本発明の電子カメラは、撮影レンズを介して被写体像を撮像して画像を生成する撮像部と、上述した何れかの画像処理装置とを備え、前記取得部は、前記撮影レンズに関する情報に基づいて、前記ゲイン情報を取得し、前記補間部は、前記ゲイン情報に応じた補間処理を前記撮像部により生成した画像に対して施す。

本発明の画像処理プログラムは、処理対象の画像とともに、前記画像の周辺減光補正にかかわるゲイン情報と、前記ゲイン情報の算出に用いる情報との少なくとも一方を取得する取得ステップと、前記取得ステップにおいて取得した情報に応じた補間処理を前記周辺減光補正が施された後の前記処理対象の画像に対して施す補間ステップとをコンピュータで実現する。

本発明の画像処理装置、電子カメラ、および画像処理プログラムによれば、周辺減光補正によりノイズが目立ちやすくなるのを簡便に抑えることができる。

以下、図面を用いて本発明の実施形態について説明する。本実施形態では、電子カメラを例に挙げて説明する。

図１は、本実施形態の電子カメラの概略構成を示す図である。

図１において、電子カメラ１は、撮影レンズ１０、撮像素子１１、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）・ＤＦＥ（Ｄｉｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）１２、ホワイトバランス処理部（以下、「ＷＢ処理部」）１３、周辺減光補正部１４、補間処理部１５、画像処理部１６、記録部１７、操作部１８、表示部１９、制御部２０の各部を備える。

撮像素子１１は、図２に示すように、ベイヤ配列の画素配列を有する。なお、ストライプ配列など、ベイヤ配列以外の画素配列を有する場合にも、本発明を同様に適用することができる。この撮像素子１１により得られた画像データは、ＡＦＥ・ＤＦＥ１２を介してディジタル信号に変換され、ＷＢ処理部１３においてホワイトバランス処理が施された後に周辺減光補正部１４において周辺減光補正処理が施される。さらに、補間処理部１５において補間処理が施された後に、画像処理部１６において、画像処理が行われる。なお、周辺減光補正部１４および補間処理部１５による処理の詳細は後述する。また、画像処理部１６における画像処理にはガンマ処理、色再現処理、圧縮処理などが含まれる。これらの処理の詳細は公知技術と同様であるため説明を省略する。そして、画像処理部１６における画像処理が完了すると、画像処理後の画像データは、記録部１７に記録される。記録部１７は、不図示のメモリカードなどの記録媒体を備え、撮像により生成した画像を記録する。

操作部１８は、不図示のレリーズボタンや選択ボタンを含み、各種ユーザ操作を受け付ける。表示部１９は、不図示の表示素子などを備え、画像やメニュー画面などを表示する。制御部２０は、上述した各部を制御する。また、制御部２０には、各部の動作内容を示すプログラムが予め記録されている。プログラムは、記録媒体に記録されたものでも良いし、インターネットを介して伝送波としてダウンロードされたものでも良い。また、制御部２０には、後述する周辺減光情報が予め記録されている。

以上説明した電子カメラ１における撮像時の制御部２０の動作について説明する。図３は、電子カメラ１における撮像時の制御部２０の動作を示すフローチャートである。

ステップＳ１において、制御部２０は、操作部１６のレリーズボタンが半押しされたか否かを判定する。そして、レリーズボタンが半押しされたと判定すると、制御部２０は、ステップＳ２に進む。

ステップＳ２において、制御部２０は、各部から撮影条件を取得する。撮影条件には、撮影レンズ１０のレンズ情報、絞り値（Ｆ値）、焦点距離、ピント位置などが含まれる。

ステップＳ３において、制御部２０は、周辺減光情報を取得する。制御部２０は、ステップＳ２で取得した撮影条件に基づいて、予め記録された周辺減光情報を取得する。周辺減光情報とは、例えば、図４に示すような周辺減光カーブである。図４に示すように、像高（ｒ）が高くなるほど出力レベルは低下する。そして、この傾向は上述した撮影条件により異なる。制御部２０は、複数の周辺減光カーブを記録しており、ステップＳ２で取得した撮影条件に基づいて、何れかの周辺減光カーブを取得する。図４には、像高（ｒ）＝１で出力レベルが０．２５まで低下するカーブ（１）と、像高（ｒ）＝１で出力レベルが０．５０まで低下するカーブ（２）とを例示している。

ステップＳ４において、制御部２０は、ステップＳ３で取得した周辺減光情報に基づいて、周辺減光補正係数を決定する。周辺減光補正係数とは、例えば、像高（ｒ）に応じたゲインである。このゲインは像高（ｒ）が高い（周辺部分）ほど大きくなり、像高（ｒ）が低い（中央部分）ほど小さくなる。制御部２０は、上述した周辺減光カーブと補正後の目標ゲインとに応じて、像高（ｒ）に応じた周辺減光補正係数を決定する。

ステップＳ５において、制御部２０は、ステップＳ４で決定した周辺減光補正係数に基づいて、補間係数を決定する。

上述したように、撮像素子１１は、ベイヤ配列の画素配列を有するため、その出力は１画素につき１色である。そこで、周辺の別の色の画素の出力に基づいて、各画素３色（Ｒ，Ｇ，Ｂ）の出力を得る処理が補間処理である。この補間処理は、周辺画素の情報をもとに行う処理であるため、ローパスフィルター（ＬＰＦ）に近い平滑化効果を有する。そこで、本実施形態では、この平滑化効果に着目し、周辺減光補正により目立ちやすくなるノイズを抑えることができる補間処理を行う。周辺減光補正により目立ちやすくなるノイズは、像高（ｒ）に応じて多くなる。そこで、像高（ｒ）が高くなるほど平滑化効果の大きい補間処理を行うための補間係数を決定する。本実施形態において、補間処理に用いる補間係数には以下の３種類がある。

（１）補間に用いるカーネルサイズ
制御部２０は、補間に用いるカーネルのサイズを、ステップＳ４で決定した周辺減光補正係数に基づいて決定する。例えば、注目画素をＲとし、Ｇの出力を補間に用いる場合を考える。制御部２０は、例えば、図５に示すように、中央部（ゲイン＝１．０程度）では、カーネルサイズを”３×３”とし、周辺部（ゲイン＝４．０程度）では、カーネルサイズを”７×７”とする。また、中央部と周辺部との中間部（ゲイン＝２．０程度）では、カーネルサイズを”５×５”とする。このように、像高（ｒ）が高くなるほどカーネルサイズを大きくすることにより、補間に用いる周辺画素情報量を多くすることができる。

（２）方向判定における閾値
制御部２０は、補間時に、画像構造における方向判定を行い、画像構造を維持しつつ補間を行う。画像構造における方向判定は、まず、注目画素について、第１の評価値として、注目画素の上下に近接する同色の画素の画素値の差分を算出する。次に、第２の評価値として、注目画素の左右に近接する同色の画素の画素値の差分を算出する。さらに、第３の評価値として、第１の評価値と第２の評価値との差分を算出する。そして、この第３の評価値と所定の閾値とを比較して、画像構造における方向判定を行う。

制御部２０は、補間係数として、この閾値を、ステップＳ４で決定した周辺減光補正係数に基づいて決定する。制御部２０は、例えば、図６に示すように、中央部（ゲイン＝１．０程度）で、閾値を最小とし、周辺部（ゲイン＝４．０程度）では、閾値を最大とする。このように、像高（ｒ）が高くなるほど閾値を大きくすることにより、補間に用いる周辺画素情報量を多くすることができる。なお、図６では、図４で説明した周辺減光カーブの逆数と同様の傾向を有するカーブ（３）を例示している。また、像高（ｒ）に応じて、閾値をリニアに変更しても良い。また、中央部（ゲイン＝１．０程度、像高（ｒ）＝０近傍）における閾値に対して、ゲインの逆数を乗ずることにより閾値を決定しても良い。また、構造判定を斜め方向に関しても行っても良い。

（３）補間時の注目画素の画素値の重み付け量
制御部２０は、補間時の注目画素の画素値の重み付け量を、ステップＳ４で決定した周辺減光補正係数に基づいて決定する。例えば、図７に示すように、中央部（ゲイン＝１．０程度、像高（ｒ）＝０近傍）では、注目画素の画素値の重み付け量を１とし、周辺部（ゲイン＝４．０程度、像高（ｒ）＝１．０近傍）では、注目画素の画素値の重み付け量を０．２５程度とする。このように、像高（ｒ）が高くなるほど注目画素の画素値の重み付け量を小さくすることにより、ローパス効果を高くすることができる。なお、図７では、図４で説明した周辺減光カーブと同様の傾向を有するカーブ（４）を例示している。また、像高（ｒ）に応じて、注目画素の画素値の重み付け量をリニアに変更しても良い。

制御部２０は、上述した（１）〜（３）の補間係数を算出し、適宜組み合わせて最終的な補間係数を決定する。なお、上述した（１）〜（３）の補間係数を必ずしも全て利用する必要はなく、上述した（１）〜（３）の補間係数のうち、少なくとも１つを算出して利用しても良い。

ステップＳ６において、制御部２０は、操作部１６のレリーズボタンが全押しされたか否かを判定する。そして、レリーズボタンが全押しされたと判定すると、制御部２０は、ステップＳ７に進む。

ステップＳ７において、制御部２０は、各部を制御して被写体像を撮像する。

ステップＳ８において、制御部２０は、周辺減光補正部１４を制御して、周辺減光補正を行う。制御部２０は、ステップＳ４で決定した周辺減光補正係数を用いて、ステップＳ７の撮像により生成された画像に対して周辺減光補正を行う。なお、周辺減光補正の対象となるのは、ＷＢ処理部１３においてホワイトバランス処理が施された後の画像である。

ステップＳ９において、制御部２０は、補間処理部１５を制御して、補間処理を行う。制御部２０は、ステップＳ５で決定した補間係数を用いて、ステップＳ８で周辺減光補正が行われた画像に対して補間処理を行う。この補間処理により、上述したように、ステップＳ８で行われた周辺減光補正により目立ちやすくなったノイズを抑えることができる。

ステップＳ１０において、制御部２０は、画像処理部１６を制御して、ステップＳ９で補間処理が行われた画像に対して画像処理を行う。

ステップＳ１１において、制御部２０は、ステップＳ１０で画像処理が施された画像データを記録部１７に記録し、一連の処理を終了する。

なお、図３のフローチャートでは、レリーズボタンの半押し（ステップＳ１ＹＥＳ）後に行ったステップＳ２からステップＳ５の処理を、レリーズボタンの全押し後に行っても良い。

以上説明したように、本実施形態によれば、処理対象の画像の周辺減光補正にかかわるゲイン情報を取得し、取得したゲイン情報に応じた補間処理を処理対象の画像に対して施す。したがって、周辺減光補正によりノイズが目立ちやすくなるのを簡便に抑えることができる。また、ガンマ処理などのノイズを強調する処理に先立って、ノイズを抑えることができるため、効率的である。また、従来のノイズ低減処理を行う場合と比較して、画像の解像感の低下も抑えることができる。さらに、従来のノイズ低減処理を行う場合と比較して、演算の軽減効果および処理時間の短縮効果も期待できる。

なお、本実施形態では、周辺減光補正係数および補間係数を、制御部２０により自動で決定する例を示したが、ユーザ操作に基づいて決定する構成としても良い。また、自動で決定した周辺減光補正係数および補間係数を、ユーザ操作に基づいて調整可能な構成としても良い。

また、本実施形態では、周辺減光補正後に補間処理を行う例を示したが、補間処理を先に行い、後から周辺減光補正を行う構成としても良い。この場合、周辺減光補正によりノイズが目立つことを見越して補間処理係数を決定すれば良い。ただし、本実施形態で説明したように周辺減光補正後に補間処理を行う方が、解像感の維持には有効である。また、ホワイトバランス処理を周辺減光補正の後に行っても良い。

また、本実施形態で説明した処理の一部または全部をコンピュータにより実現しても良い。この場合、コンピュータに図３のフローチャートのステップＳ２からステップＳ５、および、ステップＳ７からステップＳ１１の処理の一部または全部を行うためのプログラムを予め記録しておく。そして、処理対象の画像とともに周辺減光補正にかかわるゲイン情報（周辺減光補正係数など）とゲイン情報の算出に用いる情報（撮影条件、周辺減光情報など）との少なくとも一方を取得することにより、上述した電子カメラ１と同様の処理を行うことができる。これらの情報は、処理対象の画像の付帯情報として記録されたものでも良いし、処理対象の画像とは独立に取得しても良い。また、撮影条件を取得する場合には、コンピュータに図４で説明した周辺減光情報などを記録しておけば良い。

さらに、例えば、電子カメラにおいてＲＡＷ画像とＪＰＥＧ画像とを関連付けて記録する際には、ＪＰＥＧ画像を生成した際のゲイン情報（周辺減光補正係数など）を記録しておき、ＲＡＷ画像に対してこれを適用することにより、ＲＡＷ画像とＪＰＥＧ画像とを同様に画像再現することができる。

このように、コンピュータにおいて本実施形態で説明した処理の一部または全部を実現する場合には、ユーザが手動で周辺減光補正量を決定する際にも、本発明を同様に適用することができる。

本実施形態の電子カメラ１の概略構成を示す図である。 ベイヤ配列を説明する図である。 本実施形態の電子カメラ１の動作を示すフローチャートである。 周辺減光情報を説明する図である。 補間に用いるカーネルのサイズを説明する図である。 方向判定における閾値を説明する図である。 注目画素の画素値の重み付け量を説明する図である。

符号の説明

１…電子カメラ，１０…撮影レンズ，１１…撮像素子，１４…周辺減光補正部，１５…補間処理部，２０…制御部

Claims (6)

1. 処理対象の画像の周辺減光補正にかかわるゲイン情報を取得する取得部と、
   前記ゲイン情報に応じた補間処理を前記処理対象の画像に対して施す補間部と
   を備え、
   前記補間部は、前記周辺減光補正が施された後の前記処理対象の画像に対して前記補間処理を施す
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記補間部は、補間時に、画像構造における方向判定を行い、画像構造を維持しつつ前記補間処理を行う
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記補間部は、前記ゲイン情報に応じて、像高が低いほど補間に用いる周辺画素情報が少なく、前記像高が高いほど補間に用いる周辺画素情報が多い補間処理を行う
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記補間部は、前記ゲイン情報に応じて、像高が低いほどローパス効果が低く、前記像高が高いほどローパス効果が高い補間処理を行う
   ことを特徴とする画像処理装置。
5. 撮影レンズを介して被写体像を撮像して画像を生成する撮像部と、
   請求項１から請求項４の何れか１項に記載の画像処理装置とを備え、
   前記取得部は、前記撮影レンズに関する情報に基づいて、前記ゲイン情報を取得し、
   前記補間部は、前記ゲイン情報に応じた補間処理を前記撮像部により生成した画像に対して施す
   ことを特徴とする電子カメラ。
6. 処理対象の画像とともに、前記画像の周辺減光補正にかかわるゲイン情報と、前記ゲイン情報の算出に用いる情報との少なくとも一方を取得する取得ステップと、
   前記取得ステップにおいて取得した情報に応じた補間処理を前記周辺減光補正が施された後の前記処理対象の画像に対して施す補間ステップと
   をコンピュータで実現することを特徴とする画像処理プログラム。

Images