JP5398667B2 - 画像処理装置 - Google Patents

Description

本発明の実施形態は、画像処理装置に関する。

近年、携帯電話に搭載されるカメラモジュール等は、低コスト化や薄型化のために、少ないレンズ枚数で構成されることや、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性の低いレンズが使用されることがある。デジタル信号処理によって画像のボケを見かけ上低減する手法としては、例えば、バンドパスフィルタ（ＢＰＦ）を使用するエッジ強調処理が知られている。エッジ強調処理は、ＢＰＦで抽出されたエッジ成分に所定の処理を施し、エッジ部分への加算によるオーバーシュート或いは減算によるアンダーシュートを付加することなどにより行う。ＭＴＦ特性の低いレンズの使用によって、鈍いエッジ部分を含む画像を得た場合に、その画像を基にするエッジ強調処理では、オーバーシュート、アンダーシュートの拡張によるボケや、ノイズの発生が問題となる。

かかる問題を解決するための手法として、例えば、ＥＤＯＦ（Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ｏｆ Ｆｉｅｌｄ）処理によるボケ補正を適用する場合がある。ＥＤＯＦ処理を適用するには、ＥＤＯＦ用の特殊なレンズの使用や、そのレンズ性能に適合し得るデジタル処理が必要となる。ＥＤＯＦ処理の適用は、ＥＤＯＦ技術に専用の構成を必要とすることによる汎用性の低下、回路規模の拡大、メモリの増大等を招来し、チップサイズや消費電力の観点における課題が問題となる。

特開２００４−２８２５９３号公報

本発明の一つの実施形態は、簡易な構成によって、画像に含まれるエッジ部分の鈍りを適切に補正可能とする画像処理装置を提供することを目的とする。

本発明の一つの実施形態によれば、画像処理装置は、エッジ情報抽出部とエッジ補正部とを有する。前記エッジ情報抽出部は、補間処理が実施される前の画像信号からエッジ情報を抽出する。前記エッジ補正部は、前記エッジ情報抽出部にて抽出された前記エッジ情報を基にするエッジ補正を実施する。前記エッジ補正部は、前記エッジ情報抽出部にて抽出された前記エッジ情報が正であって、かつ注目画素の信号レベル及び前記エッジ情報の和が最大値より大きい場合に、前記エッジ補正を前記最大値に制限する。前記最大値は、前記注目画素の周辺に位置する複数の周辺画素の信号レベルの最大値とする。前記エッジ補正部は、前記エッジ情報抽出部にて抽出された前記エッジ情報が負であって、かつ前記注目画素の信号レベル及び前記エッジ情報の和が最小値より小さい場合に、前記エッジ補正を前記最小値に制限する。前記最小値は、前記複数の周辺画素の信号レベルの最小値とする。

第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図。 エッジ補正部の詳細を示すブロック図。 エッジ補正について説明する図。 エッジ情報生成部の詳細を示すブロック図。 第２の実施形態の画像処理装置に適用されるエッジ補正部のブロック図。 第３の実施形態の画像処理装置を適用したカメラモジュールのブロック図。 エッジ補正部の詳細を示すブロック図。

以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態の画像処理装置を適用したカメラモジュールのブロック図である。カメラモジュールは、画像処理装置１、撮像レンズ３、センサ部４及びＡＤ変換器５を備える。撮像レンズ３は、被写体からの光を取り込み、センサ部４に被写体像を結像させる。

センサ部４は、被写体からの光を信号電荷に変換することにより、被写体像を撮像する。センサ部４は、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の信号レベルをベイヤー配列に対応する順序で取り込み、アナログ信号を生成する。ＡＤ変換器５は、センサ部４からのアナログ信号をデジタル信号に変換（ＡＤ変換）する。

画像処理装置１は、ＡＤ変換器５からのデジタル画像信号に対して、以下に説明する種々の画像処理を施す。キズ補正部１１は、センサ部４において正常に機能していない画素によるデジタル画像信号の欠損部分（キズ）を補正するためのキズ補正を実施する。ノイズキャンセル部１２は、ノイズを低減させるためのノイズキャンセル処理を実施する。

画素補間部１５は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、補間処理（デモザイク処理）を実施し、不足色成分の信号レベルを生成する。カラーマトリクス部１６は、色再現性を得るためのカラーマトリクス演算処理（色再現性処理）を実施する。ガンマ補正部２０は、画像の階調を補正するためのガンマ補正を実施する。

ＹＵＶ変換部２１は、Ｒ、Ｇ、Ｂの感度信号から輝度（Ｙ）信号及び色差（ＵＶ）信号を生成することにより、画像信号をＲＧＢ形式からＹＵＶ形式（例えば、ＹＵＶ４２２など）へ変換する。輪郭強調部２４は、センサ部４による撮像条件及び各画素の位置に基づいて算出した補正係数を用いて、輪郭強調処理を実施する。

ＡＥ／ＡＷＢ演算部１８は、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）のための各係数を算出する。レンズシェーディング演算部１９は、シェーディング補正のための係数を算出する。デジタルＡＭＰ係数回路１３は、ＡＥ／ＡＷＢ演算部１８で算出された係数と、レンズシェーディング演算部１９で算出された係数とを基にしてデジタルＡＭＰ係数を算出する。

ラインメモリ１０は、ＡＤ変換器５からのデジタル画像信号を一時的に貯える。キズ補正部１１及びノイズキャンセル部１２は、ラインメモリ１０を共用する。ラインメモリ１４は、デジタルＡＭＰ１３からのデジタル画像信号を一時的に貯える。画素補間部１５及びエッジ情報生成部１７は、ラインメモリ１４を共用する。ラインメモリ２２は、ＹＵＶ変換部２１からのＹ信号及びＵＶ信号を一時的に貯える。

エッジ情報生成部１７は、画素補間部１５における補間処理が実施される前の画像信号（以下、適宜「ＲＡＷ画像」と称する）からエッジ情報を生成する。エッジ補正部２３は、エッジ情報生成部１７で生成されたエッジ情報を基に、画像に含まれるエッジ部分の鈍り（ボケ）を低減させるためのエッジ補正を実施する。エッジ補正部２３は、ＹＵＶ変換部２１における変換により得られたＹ信号を対象として、エッジ補正を実施する。輪郭強調部２４は、エッジ補正部２３におけるエッジ補正を経たＹ信号を対象として、輪郭強調処理を実施する。

図２は、エッジ補正部の詳細を示すブロック図である。ラインメモリ２２は、２ライン分のデジタル画像信号を保持する。エッジ補正部２３には、ラインメモリ２２に保持された２ラインと、ラインメモリ２２へ入力される直前の１ラインと、の計３ラインのデータが入力される。

注目画素及び周辺画素は、水平方向及び垂直方向においてベイヤー配列された画素のうち、例えば、水平方向へ３個、垂直方向へ３個のマトリクスに含まれる。注目画素は、３×３のマトリクスの中心に位置する画素である。周辺画素は、注目画素の周辺に位置する８個の画素である。なお、周辺画素は、複数であればいくつであっても良いものとする。

最大値算出部３１は、８個の周辺画素の信号レベルのうちの最大値（以下、単に「最大値」と称する）を算出する。最小値算出部３２は、８個の周辺画素の信号レベルのうちの最小値（以下、単に「最小値」と称する）を算出する。エッジ補正部２３は、注目画素の信号レベル（本線信号）に、エッジ情報生成部１７で生成されたエッジ情報を加算する。制限処理部３３は、条件に応じて、エッジ補正の制限処理を実施する。

最大値算出部３１に接続された比較器（ＣＯＭＰ）３４は、最大値算出部３１で算出された最大値Ａと、注目画素の信号レベル及びエッジ情報の和Ｂとを比較する。Ａ＞Ｂが成立する場合、ＣＯＭＰ３４は、例えば「１」を出力する。Ａ＞Ｂが成立しない場合、ＣＯＭＰ３４は、例えば「０」を出力する。

最小値算出部３２に接続されたＣＯＭＰ３５は、最小値算出部３２で算出された最小値Ｃと、注目画素の信号レベル及びエッジ情報の和Ｂとを比較する。Ｃ＜Ｂが成立する場合、ＣＯＭＰ３５は、例えば「１」を出力する。Ｃ＜Ｂが成立しない場合、ＣＯＭＰ３５は、例えば「０」を出力する。

制限処理部３３は、エッジ情報の正負（例えば、負のときを「０」、正のときを「１」とする）と、ＣＯＭＰ３４、３５の比較結果とに応じて、注目画素に適用する信号レベルを選択する。エッジ情報は、注目画素の信号レベルを増大させるものである場合を正、信号レベルを減少させるものである場合を負、とする。

エッジ情報が正であって、かつＣＯＭＰ３４においてＡ＞Ｂが成立する場合、制限処理部３３は、注目画素の信号レベル及びエッジ情報の和Ｂを選択する。エッジ情報が正であって、かつＣＯＭＰ３４においてＡ＞Ｂが成立しない場合、制限処理部３３は、最大値Ａを選択する。このように、エッジ補正部２３は、エッジ情報が正である場合は、和Ｂが最大値Ａ以上であるときに、エッジ補正を最大値Ａに制限する。

エッジ情報が負であって、かつＣＯＭＰ３５においてＣ＜Ｂが成立する場合、制限処理部３３は、注目画素の信号レベル及びエッジ情報の和Ｂを選択する。エッジ情報が負であって、かつＣＯＭＰ３５においてＣ＜Ｂが成立しない場合、制限処理部３３は、最小値Ｃを選択する。このように、エッジ補正部２３は、エッジ情報が負である場合は、和Ｂが最小値Ｃ以下であるとき、エッジ補正を最小値Ｃに制限する。

図３は、エッジ補正について説明する図である。図３の（ａ）は、鮮鋭なエッジ部分にエッジ強調処理を施す場合の例を示す。信号レベルの変化が急峻であるほど、オーバーシュートやアンダーシュートの拡張は少なくなり、ボケが少なく理想的なエッジ強調が可能となる。

図３の（ｂ）に示すように信号レベルの変化が緩慢であるエッジ部分については、従来と同様にエッジ強調処理を実施したとすると、図３の（ｃ）の破線で示すように、オーバーシュート、アンダーシュートの拡張によるボケが顕著となる場合が生じる。また、鈍いエッジ部分を含む画像を基にするエッジ強調処理では、信号レベルの無理な持ち上げ、押し下げによるノイズ発生が問題となる。

本実施形態のエッジ補正部２３は、エッジ補正として注目画素に適用する信号レベルを、エッジ情報が正であるときは最大値を制限とし、エッジ情報が負であるときは最小値を制限とする。これにより、エッジ補正部２３は、図３の（ｄ）に示すように、エッジ部分の鈍りを抑制するようなエッジ補正が可能となる。

図４は、エッジ情報生成部の詳細を示すブロック図である。エッジ情報生成部１７は、ＢＰＦ４１及びエッジ情報処理部４２を有する。ＢＰＦ４１は、ＲＡＷ画像からエッジ情報を抽出するエッジ情報抽出部として機能する。エッジ情報処理部４２は、ＢＰＦ４１にて抽出されたエッジ情報に対して、ゲイン情報に連動させた処理を実施する。

ラインメモリ１４は、４ライン分のデジタル画像信号を保持する。ＢＰＦ４１には、ラインメモリ１４に保持された４ラインと、ラインメモリ１４へ入力される直前の１ラインと、の計５ラインのデータが入力される。

エッジ情報処理部４２は、ゲイン連動演算部４３、コアリング処理部４４及び非線形処理部４５を有する。コアリング処理部４４は、ＢＰＦ４１にて抽出されたエッジ情報にコアリング処理を実施する。非線形処理部４５は、コアリング処理部４４でのコアリング処理を経たエッジ情報に非線形処理を実施する。

ゲイン連動演算部４３は、エッジ情報処理部４２に予め保持されたコアリング設定値及びゲイン設定値を、ＡＥ演算ブロック４６で算出されたアナログゲインに連動して変化させる演算を実施する。ＡＥ演算ブロック４６は、図１に示すＡＥ／ＡＷＢ演算部１８に含まれる。ＡＥ演算ブロック４６は、エッジ情報生成部１７及びセンサ部４へ、アナログゲインを出力する。

コアリング処理部４４は、アナログゲインの増大とともに増大するような関連を持たせて算出されたコアリング値をコアリング処理に使用する。被写体が暗いほど、アナログゲインは高い値が設定されるものとする。非線形処理部４５は、アナログゲインの増大とともに減少するような関連を持たせて算出されたゲインを非線形処理に使用する。このように、エッジ情報処理部４２は、被写体が明るい場合と暗い場合とで、コアリング量と非線形特性とを変化させている。これにより、エッジ補正部２３は、被写体の明るさに適したエッジ補正が可能となる。

なお、コアリング値、非線形処理のためのゲインは、図５に示すようにアナログゲインの変化とともに直線的に変化する場合に限られず、いずれの態様でアナログゲインに連動するものであっても良い。エッジ情報処理部４２は、コアリング処理及び非線形処理の双方を実施する場合に限られず、少なくとも一方を実施するものであれば良いものとする。さらに、エッジ情報処理部４２は、ＢＰＦ４１で抽出されたエッジ情報に対して、コアリング処理及び非線形処理以外の処理を実施することとしても良い。

画像処理装置１は、エッジ補正部２３を適用することで、ＥＤＯＦ処理等のための特殊な構成を設ける場合に比較して簡易な構成により、エッジ部分のボケを低減させることができる。以上により、画像処理装置１は、簡易な構成によって、画像に含まれるエッジ部分の鈍りを適切に補正することが可能となる。

エッジ補正部２３は、ＢＰＦ４１で抽出されたエッジ情報、ＡＥ演算ブロック４６で算出されたゲイン情報、輝度情報等に応じて、エッジ補正のＯＮ、ＯＦＦを切り換えることとしても良い。これにより、画像処理装置１は、エッジ補正のＯＮ、ＯＦＦを撮影条件に応じて切り換えることで、誤補正を抑制させることが可能となる。

（第２の実施形態）
図５は、第２の実施形態の画像処理装置に適用されるエッジ補正部のブロック図である。本実施形態において、エッジ補正部５０は、最大値及び最小値にオフセットを持たせている。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。

エッジ補正部５０は、最大値算出部３１で算出された最大値に、予め設定されたオフセットの値を加算する。エッジ補正部５０は、エッジ情報が正であるとき、オフセットを加算した最大値によりエッジ補正を制限する。

また、エッジ補正部５０は、最小値算出部３２で算出された最小値から、予め設定されたオフセットの値を減算する。エッジ補正部５０は、エッジ補正が負であるとき、オフセットを減算した最小値によりエッジ補正を制限する。

画像処理装置１は、エッジ補正部５０を適用することで、簡易な構成によって、エッジ部分の鈍りの補正が可能となる。また、画像処理装置１は、エッジ補正の制限のための最大値及び最小値にオフセットを持たせることで、シュートの付加によるエッジ強調の効果を得ることも可能となる。

オフセットは、アナログゲインに連動させて変化させることとしても良い。これにより、エッジ補正部５０は、エッジ補正におけるノイズの影響を低減させることができる。エッジ補正部５０は、最大値及び最小値の双方についてオフセットを持つ場合に限られず、最大値及び最小値の少なくとも一方についてオフセットを持つものであれば良いものとする。これにより、画像処理装置１は、オーバーシュート及びアンダーシュートの少なくとも一方の付加によるエッジ強調の効果を得ることが可能となる。

（第３の実施形態）
図６は、第３の実施形態の画像処理装置を適用したカメラモジュールのブロック図である。本実施形態において、エッジ補正部６０は、ＲＡＷ画像を対象としてエッジ補正を実施する。第１の実施形態と同一の部分には同一の符号を付し、重複する説明を省略する。

画素補間部１５及びエッジ補正部６０は、ラインメモリ１４を共用する。エッジ補正部６０は、デジタルＡＭＰ１３を経たデジタル画像信号を対象として、エッジ補正を実施する。輪郭強調部２４は、ＹＵＶ変換部２１における変換により得られたＹ信号を対象として、輪郭強調処理を実施する。

図７は、エッジ補正部の詳細を示すブロック図である。ラインメモリ１４は、４ライン分のデジタル画像信号を保持する。エッジ補正部６０には、ラインメモリ１４に保持された４ラインと、ラインメモリ１４へ入力される直前の１ラインと、の計５ラインのデータが入力される。

注目画素及び周辺画素は、水平方向及び垂直方向においてベイヤー配列された画素のうち、例えば、水平方向へ５個、垂直方向へ５個のマトリクスに含まれる。注目画素は、５×５のマトリクスの中心に位置する画素である。周辺画素は、注目画素の周辺に位置する画素のうち、注目画素と同色の８個の画素である。なお、周辺画素は、注目画素と同色の画素である場合に限られず、注目画素とは異なる色の画素であっても良く、複数であればいくつであっても良いものとする。

エッジ補正部６０は、最大値算出部６１、最小値算出部６２、制限処理部６３、ＢＰＦ６４及びエッジ情報処理部６５を有する。最大値算出部６１は、８個の周辺画素の信号レベルのうちの最大値を算出する。最小値算出部６２は、８個の周辺画素の信号レベルのうちの最小値を算出する。制限処理部６３は、条件に応じて、エッジ補正の制限処理を実施する。

ＢＰＦ６４は、ＲＡＷ画像からエッジ情報を抽出するエッジ情報抽出部として機能する。ＢＰＦ６４には、ラインメモリ１４に保持された４ラインのうちの２ライン（一のラインは注目画素を含む）と、ラインメモリ１４へ入力される直前の１ラインと、の計３ラインのデータが入力される。エッジ情報処理部６５は、ＢＰＦ６４にて抽出されたエッジ情報に対して、ＡＥ演算ブロック４６で算出されたゲイン情報に連動させた処理を実施する。ＢＰＦ６４及びエッジ情報処理部６５は、エッジ情報を生成するエッジ情報生成部を構成する。

エッジ補正部６０は、注目画素の信号レベルに、エッジ情報処理部６５の処理を経たエッジ情報を加算する。制限処理部６３は、注目画素の信号レベル及びエッジ情報の和と、最大値、最小値との比較結果とに応じて、注目画素に適用する信号レベルを選択する。画素補間部１５は、エッジ補正部６０でのエッジ補正を経たＲＡＷ画像を対象として、補間処理を実施する。

画像処理装置２は、エッジ補正部６０を適用することで、簡易な構成によって、エッジ部分の鈍りの補正が可能となる。画像処理装置２は、エッジ補正部６０におけるエッジ補正の対象をＲＡＷ画像として、エッジ補正部６０と画素補間部１５とでラインメモリ１４を共用する構成とする。これにより、画像処理装置２は、画素補間処理用のラインメモリとは別にエッジ補正のためのラインメモリを設ける場合に比較して、回路規模を削減することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２ 画像処理装置、１５ 画素補間部、１７ エッジ情報生成部、２３、５０、６０ エッジ補正部、３１、６１ 最大値算出部、３２、６２ 最小値算出部、３３、６３ 制限処理部、４１、６４ ＢＰＦ、４２、６５ エッジ情報処理部。

Claims (6)

1. 補間処理が実施される前の画像信号からエッジ情報を抽出するエッジ情報抽出部と、
   前記エッジ情報抽出部にて抽出された前記エッジ情報を基にするエッジ補正を実施するエッジ補正部と、
   前記エッジ補正部での前記エッジ補正を経た信号を対象として、輪郭強調処理を実施する輪郭強調部と、を有し、
   前記エッジ補正部は、
   注目画素の周辺に位置する複数の周辺画素の信号レベルのうちの最大値を算出する最大値算出部と、
   前記複数の周辺画素の信号レベルのうちの最小値を算出する最小値算出部と、
   前記エッジ補正の制限処理を実施する制限処理部と、を備え、
   前記制限処理部は、
   前記エッジ情報抽出部にて抽出された前記エッジ情報が正であって、かつ前記注目画素の信号レベル及び前記エッジ情報の和が前記最大値より大きい場合に、前記注目画素に適用する信号レベルとして前記最大値を選択することで、前記エッジ補正を前記最大値に制限し、
   前記エッジ情報抽出部にて抽出された前記エッジ情報が負であって、かつ前記注目画素の信号レベル及び前記エッジ情報の和が前記最小値より小さい場合に、前記注目画素に適用する信号レベルとして前記最小値を選択することで、前記エッジ補正を前記最小値に制限することを特徴とする画像処理装置。
2. 前記画像信号を保持するラインメモリと、
   前記補間処理を実施する画素補間部と、をさらに有し、
   前記画素補間部及び前記エッジ情報抽出部は、前記ラインメモリを共用することを特徴とする請求項１に記載の画像処理装置。
3. 前記エッジ補正部は、前記補間処理を経た画像信号から得られる輝度信号を対象として前記エッジ補正を実施することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記エッジ補正部は、前記補間処理を経る前の画像信号を対象として前記エッジ補正を実施することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記エッジ情報抽出部にて抽出された前記エッジ情報に対して、ゲイン情報に連動させた処理を実施するエッジ情報処理部をさらに有することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記エッジ補正部は、前記最大値及び前記最小値の少なくとも一方にオフセットを持たせることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

Images