JP4942596B2

JP4942596B2 - 画像処理装置、撮像装置及び表示装置

Info

Publication number: JP4942596B2
Application number: JP2007239921A
Authority: JP
Inventors: 誠司岡田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2007-09-14
Filing date: 2007-09-14
Publication date: 2012-05-30
Anticipated expiration: 2027-09-14
Also published as: JP2009071714A

Description

本発明は、画像処理において輪郭強調を行う画像処理装置に関し、特に周波数の高さに応じて輪郭強調の強度を補正するものに関する。

従来、画像を撮影する撮像装置や、画像を再生する画像再生装置、画像を表示する表示装置において、画像中の被写体を明瞭に表示させるために、その輪郭を強調する画像処理が行われており、種々の方法が提案されている。

輪郭の強調は一般に、輝度信号からハイパスフィルタによって輪郭信号を検出し、その輪郭信号を元の輝度信号に加算することによって行われる。輝度信号の周波数が比較的高い場合、即ち輝度信号の強度の平坦度が比較的低い場合の輝度信号の強度の画像上の水平方向又は垂直方向に変化の一例を図１０に示す。図１０には、この場合の輪郭信号も併せて示している。この輪郭信号を輝度信号に加算して、輝度信号を輪郭を強調したものに補正するとすると図１１に示すようなものとなる。図１１には実線で示した輪郭を強調した信号と併せて、破線で輪郭を強調する前の輝度信号を示している。

又、輝度信号の周波数が比較的低い場合、即ち輝度信号の強度の平坦度が比較的高い場合の輝度信号の強度の画像上の水平方向又は垂直方向に変化の一例を図１２に示す。図１２には、この場合の輪郭信号も併せて示している。この輪郭信号を輝度信号に加算して、輝度信号を輪郭を強調したものに補正するとすると図１３に示すようなものとなる。図１３には実線で示した輪郭を強調した信号と併せて、破線で輪郭を強調する前の輝度信号を示している。

輝度信号の強度の平坦度が低い場合は図１１に示すように、輪郭強調処理を施した後でも輪郭信号によるオーバーシュートやアンダーシュートが目立たない。一方、輝度信号の強度の平坦度が高い場合は図１３に示すように輪郭部の周囲では、画素の信号強度が周囲より突出したオーバーシュートやアンダーシュートが目立つものとなり、補正後の画像は不自然なものとなる。

特許文献１では輪郭部の周囲における画像信号の波形の複雑さの度合いが低いほど、平坦な部分のオーバーシュートやアンダーシュートを抑制し、過度の輪郭強調を抑制することのできる補正方法が提案されている。
特開２００４−２６６７７５号公報

しかし、特許文献１で提案された方法では、オーバーシュートやアンダーシュートをその大きさにかかわらず抑制してしまうため、図１３に示すような輝度信号において輪郭信号の左右の信号強度の差が大きくない場合のように、オーバーシュート及びアンダーシュートが過度とならず輪郭強調が適度となるものも抑制されてしまう。

そこで、本発明は過度の輪郭強調の抑制が可能であり、かつ輪郭信号の周辺の画素における信号強度の差が大きくない場合にはオーバーシュート及びアンダーシュートを残す画像補正装置を提供することを目的とする。

上記目的を達成するために、本発明の画像処理装置は、複数の画素の各々についての画像信号から輪郭信号を検出する輪郭信号検出部と、前記画像信号に前記輪郭信号を加算して輪郭強調済信号を生成する加算部と、前記複数の画素のうち特定の画素に対する一方の周辺画素の平均信号強度と他方の周辺画素の平均信号強度の差と、前記特定の画素の前記輪郭強調済信号の強度と、前記平均信号強度の高い側の周辺画素における前記画像信号の強度の最大値及び前記平均信号強度の低い側の周辺画素における前記画像信号の強度の最小値のいずれか一方と、に基づいて抑制値を算出する抑制値算出部と、前記抑制値算出部で算出した抑制値に前記輪郭強調済信号を抑制して抑制済信号を生成する信号抑制部と、前記画像信号から平坦度を算出し、前記平坦度に基づいて信号加算比率を算出する信号加算比率算出部と、前記輪郭強調済信号と前記抑制済信号とを前記信号加算比率に基づいて加算して出力信号を生成する加重加算部と、を備えたことを特徴とする。

又、前記平坦度が高いほど、前記出力信号に占める前記輪郭強調済信号の比率が低く、前記抑制済信号の比率が高いものとしても構わない。

又、前記それぞれの周辺画素の平均信号強度の差が所定の値よりも小さい場合、前記抑制値による前記輪郭強調済信号の抑制量を０としても構わない。

又、前記輪郭信号検出部による輪郭信号の検出と、前記抑制値算出部による抑制値の算出と、前記信号加算比率算出部による前記平坦度の算出とが、前記複数の画素の配置方向のうち水平方向又は垂直方向の少なくとも一方向に行われるものとしても構わない。

又、前記輪郭信号検出部による輪郭信号の検出と、前記抑制値算出部による抑制値の算出と、前記信号加算比率算出部による前記平坦度の算出と、の対象となる画素が、前記複数の画素の配置方向のうち水平方向に３個以上、垂直方向に３個以上の前記特定の画素を中心とする複数の画素であるものとしても構わない。

又、前記特定の画素を含む前記輪郭信号を有する画素を境界として、一方の領域に属する画素と他方の領域に属する画素とについて前記平均信号強度及び平坦度を算出するものとしても構わない。

又、前記特定の画素及び前記特定の画素に隣接する前記輪郭信号を有する画素について、前記抑制値を算出し、前記特定の画素の前記抑制値と前記特定の画素に隣接する画素の前記抑制値との差が所定の値以上である場合に、前記特定の画素の前記抑制値を前記所定の値以下に補正するものとしても構わない。

又、本発明の撮像装置は、前記画像信号を取得する撮像部と、上記の画像処理装置とを備えることを特徴とする。

又、本発明の表示装置は、上記の画像処理装置と、前記出力信号による画像を出力可能な表示部とを備えることを特徴とする。

本発明によると、輪郭周辺のオーバーシュートやアンダーシュートを抑制する抑制値を、オーバーシュートやアンダーシュートの大きさのみならず、輪郭周辺の画素の平均信号強度の差にも基づいて調整するため、過度の輪郭強調を抑制しつつ、輪郭信号の周辺の画素における信号強度の差が大きくない場合にはオーバーシュート及びアンダーシュートを残して適度な輪郭強調を施すような補正が可能な画像補正装置を提供することができる。

〈第１の実施形態〉
本発明の第１の実施の形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの、音声及び映像の記録が可能な撮像装置を例に挙げて説明する。撮像装置は動画及び静止画のうち少なくとも一方の撮影が可能なものであればよい。

（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、第１の実施形態に係る撮像装置の内部構成を示すブロック図である。

図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を独立して電気信号に変換するマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、階調補正や輪郭強調等の各種画像処理を施す画像処理部５と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタン等のユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。

（撮像装置の基本動作静止画撮影、再生時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。プレビューモードとは、撮影対象となる画像を記録することなくディスプレイ部１２に表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、人物撮影に適したモードや移動物の撮影に適したモード、逆光での撮影に適したモード等、撮像装置の機能に応じたモードがユーザによって選択される。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする（ＳＴＥＰ２０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。

その後、シャッターボタンが全押しされると（ＳＴＥＰ２０９）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定する。（ＳＴＥＰ２１０）。イメージセンサ１から出力されるアナログ信号である画像信号（生データ）は、ＡＦＥ３でデジタル信号に変換され、画像処理部５内の前処理部で前処理が施される（ＳＴＥＰ２１１）。前処理とは、各画素位置のＲＧＢ成分を算出する色同時化処理、輝度信号生成処理、色信号生成処理等の処理のことである。画像処理部５において、前処理が施された画像信号に対して階調補正や輪郭強調等の各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２１２）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。

又、外部メモリ２２に記録された静止画像を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。

（撮像装置の基本動作動画撮影、再生時）
次に、この撮像装置の動画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが撮像装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ３０１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ３０２）。続いて撮影モードの入力待ち状態となる。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする（ＳＴＥＰ３０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。

続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ３０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ３０５）。

その後、操作部１９の録画開始ボタン（シャッターボタン兼用でも構わない）が全押しされ、撮像動作を行うことが指示されると（ＳＴＥＰ３０６）、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５内の前処理部で前処理が施される（ＳＴＥＰ３０７）。

画像処理部５では輝度信号及び色差信号の生成を行う信号変換処理などの各種画像処理が施され、その画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて、圧縮符号化し（ＳＴＥＰ３０８）、ドライバ部８に与えて、外部メモリ２２に記録させる（ＳＴＥＰ３０９）。画像信号及び音声補正制御を施した音声信号と共に、音声補正制御を施していない音声信号とインデックスとしてその信号を取得した時点のズーム倍率情報も記録してもよい。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。その後、再び操作部１９の録画開始ボタンが全押しされるとプレビューモードに戻る（ＳＴＥＰ３０２）。

このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。

又、外部メモリ２２に記録された動画を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。

（画像補正制御）
次に、本実施形態に係る画像補正制御について説明する。図４は本実施形態の画像処理部５の構成を示すブロック図である。

画像処理部５は、図４に示すように、ＡＦＥ３からの画像信号について前処理を施して輝度信号等の画像信号を生成する前処理部５０と、前処理部５０からの画像信号（例えば輝度信号）を受けて輪郭信号を検出するハイパスフィルタ（Ｈｉｇｈ−ｐａｓｓｆｉｌｔｅｒ：ＨＰＦ）等の輪郭信号検出部５１と、輪郭信号を検出するのに用いた前処理部５０からの画像信号と輪郭信号検出部５１で検出された輪郭信号とを加算して輪郭強調済信号を生成する加算器５２と、前処理部５０からの画像信号から最大シュート抑制値を算出する最大シュート抑制値算出部５３と、最大シュート抑制値算出部５３で算出した最大シュート抑制値にもとづいて輪郭強調済信号をクリップしてクリップ済信号を生成するするクリップ部５４と、前処理部５０からの画像信号から信号の平坦度を算出してそれに基づいて低域エッジ度を算出する低域エッジ度算出部５５と、低域エッジ度算出部５５で算出した低域エッジ度に基づいた比率で輪郭強調済信号とクリップ済信号とを加算する加重加算器５６と、を備える。輪郭信号検出部５１を構成するハイパスフィルタ等は画像の水平方向の輪郭信号を検出するものと、垂直方向の輪郭信号を検出するものの少なくとも一方を備える。加重加算器５６で加算された画像信号は圧縮処理部７に出力される。

（オーバーシュート及びアンダーシュートの抑制）
最大シュート抑制値算出部５３では、注目する画素とその周辺画素（水平処理時には注目する画素の右側及び左側の１個以上の画素、垂直処理時には注目する画素の上側及び下側の１個以上の画素）についての前処理部５０からの画像信号（例えば輝度信号）から、これらの双方の周辺画素の信号強度の最大値、最小値及び信号変化量を算出し、これらの数値、輪郭信号及び輪郭強調済信号とに基づいて、最大シュート抑制値を算出する。ここで、信号変化量とは、注目画素に対する一方の周辺画素の信号の平均値と他方の周辺画素の信号の平均値との差である。注目画素は、その時点で処理の対象とする画素のことであり、全ての画素が順次その対象となる。また、最大シュート抑制値とは、輪郭強調済信号の過度のオーバーシュートをクリップするための値及び輪郭強調済信号の過度のアンダーシュートを周囲の画素の信号強度から大幅に離れない所定の値に抑制するように修正、即ちクリップするための値のことである。以下において、最大シュート抑制値をクリップ値、オーバーシュート及びアンダーシュートの抑制をクリップとも表記する場合がある。

図５を用いてオーバーシュート及びアンダーシュートの抑制について一例を挙げて具体的に説明する。図５は画像の輪郭の周辺での画素の信号強度を示すグラフである。ここで、この時点での注目画素である中央の画素Ｍに対して左右４個ずつの画素Ｒ１〜Ｒ４、画素Ｌ１〜Ｌ４を周辺画素とし、輝度信号の強度をＹ、輪郭信号の強度をＡｐ、輝度信号の強度Ｙと輪郭信号の強度Ａｐとの和である輪郭強調済信号の強度をＹａ、注目画素Ｍに対する一方（信号強度の平均値が注目画素Ｍの信号強度よりも大きい方）の周辺画素Ｒ１〜Ｒ４の信号強度の最大値及び平均値をそれぞれＮｍａｘ、ＡｖｅＲ、注目画素Ｍに対する他方の周辺画素Ｌ１〜Ｌ４の信号強度の最小値及び平均値をそれぞれＮｍｉｎ、ＡｖｅＬ、ＡｖｅＲとＡｖｅＬとの差を信号変化量Ｄとする。図５では、中央の注目画素Ｍは輪郭部分に含まれ、注目画素Ｍに対して右側の周辺画素Ｒ１〜Ｒ４では輪郭信号Ａｐが０以上、左側の周辺画素Ｌ１〜Ｌ４では０又は０未満となっている。又、周辺画素Ｒ２、Ｒ３はＹａがＮｍａｘ以上即ちオーバーシュートを生じており、周辺画素Ｌ２、Ｌ３はＹａがＮｍｉｎ以下即ちアンダーシュートを生じているため、それぞれクリップの対象となる。注目画素Ｍ、周辺画素Ｒ１、Ｒ２、Ｌ１、Ｌ２はＹａがＮｍｉｎとＮｍａｘとの間にあるためクリップの対象とはしない。

最大シュート抑制値算出部５３では、図５において注目画素Ｍに対して右側の周辺画素Ｒ１〜Ｒ４の信号強度の最大値Ｎｍａｘと、注目画素Ｍに対して左側の周辺画素のＬ１〜Ｌ４の信号強度の最小値Ｎｍｉｎとを算出し、それぞれの値と注目画素Ｍの輪郭強調済信号Ｙａの強度とを比較して、シュート量Ｙａ−Ｎｍａｘ及びＮｍｉｎ−Ｙａを算出する。更に、注目画素Ｍに対して右側の周辺画素Ｒ１〜Ｒ４の信号強度の平均値ＡｖｅＲと注目画素Ｍに対して左側の周辺画素Ｌ１〜Ｌ４の信号強度の平均値ＡｖｅＬとの差である信号変化量Ｄを算出する。そして、シュート量と信号変化量Ｄから最大シュート抑制値Ｃを算出する。信号変化量Ｄが大きいとき、オーバーシュート又はアンダーシュートの抑制を強め、ＣをＮｍａｘ又はＮｍｉｎに近づくように設定する。

シュート量が０より大きい場合でＹａ−Ｎｍａｘ＞０の場合は生じているオーバーシュートを抑制するためＣをＮｍａｘに近づくように設定する。シュート量が０より大きい場合でＮｍｉｎ−Ｙａ＞０の場合は生じているアンダーシュートを抑制するＣをＮｍｉｎに近づくように設定する。シュート量が０以下の場合即ちＮｍｉｎ≦Ｙａ≦Ｎｍａｘの場合は、オーバーシュートもアンダーシュートも生じておらず、クリップは行わないため、Ｃ＝Ｙａである。

このような処理を、注目する画素を順に変更しながら行う。図５では、注目する画素が画素Ｒ２、Ｒ３のとき、Ｙａ−Ｎｍａｘ＞０でありオーバーシュートの抑制を行う。又、注目する画素が、画素Ｌ２、Ｌ３のとき、Ｎｍｉｎ−Ｙａ＞０でありアンダーシュートの抑制を行う。注目する画素が、画素Ｍ、Ｒ１、Ｒ４、Ｌ１、Ｌ４のときはクリップは行わない。

以上のように説明した最大シュート抑制値Ｃの算出方法を数式で表現すると以下のようになる。
Ｃ＝Ｎｍａｘ＋（Ｙａ−Ｎｍａｘ）×ｋ（Ａｐ≧０，Ｙａ＞Ｎｍａｘ）
Ｃ＝Ｙａ（Ａｐ≧０，Ｙａ≦Ｎｍａｘ）
Ｃ＝Ｎｍｉｎ−（Ｎｍｉｎ−Ｙａ）×ｋ（Ａｐ＜０，Ｎｍｉｎ≧Ｙａ）
Ｃ＝Ｙａ（Ａｐ＜０，Ｎｍｉｎ＜Ｙａ）
上記の数式においてｋは、信号変化量Ｄに応じて最大シュート抑制値Ｃを変化させる変数であり、クリップ係数と呼ぶ。

クリップ係数ｋと信号変化量Ｄとの関係の一例を図６のグラフに示す。クリップ係数ｋは、信号変化量Ｄが０以上かつ所定の値であるＤｔ１以下では１、Ｄｔ１よりも大きい所定の値であるＤｔ２以上では０でそれぞれ一定である。Ｄｔ１以上かつＤｔ２以下の場合は過渡領域であり、信号変化量Ｄが大きくなるにしたがってクリップ係数ｋは１から０まで減少する。

クリップ係数ｋを図６のように設定した場合、信号変化量Ｄが０≦Ｄ≦Ｄｔ１のときｋ＝１であるから、上述の式より最大シュート抑制値ＣはＣ＝Ｙａであり、クリップは行わない。信号変化量ＤがＤｔ２≦Ｄのときｋ＝０であるから、上述の式より最大シュート抑制値ＣはＣ＝Ｎｍａｘ又はＮｍｉｎであり、オーバーシュート又はアンダーシュートを完全にクリップする。また、信号変化量ＤがＤｔ１≦Ｄ≦Ｄｔ２のときは、オーバーシュート又はアンダーシュートを残すようにクリップする。つまり、信号変化量Ｄが大きいほどオーバーシュート及びアンダーシュートの抑制を強めることとなる。

このように最大シュート抑制値算出部５３で算出した最大シュート抑制値Ｃに基づいて、クリップ部５４で輪郭強調済信号Ｙａをクリップしてクリップ済信号Ｙａｃを生成する。

（低域エッジ度の算出）
低域エッジ度算出部５５では、注目する画素とその周辺画素についての前処理部５０からの画像信号（例えば輝度信号）から、信号の平坦度を算出してそれに基づいて低域エッジ度を算出する。信号の平坦度が高いほど信号の周波数は低く、信号の平坦度が低いほど信号の周波数は高い。

信号の平坦度の算出には、例えば注目画素及び注目画素に対する両側の周辺画素の信号のハイパスフィルタ出力を用いることができる。この場合は、ハイパスフィルタ出力の絶対値が小さいほど平坦度が高く、低域エッジ度が大きくなる。そのため、平坦度の数値としてはハイパスフィルタ出力の絶対値の逆数を用いることができる。ハイパスフィルタ出力の一例としては、ある画素の画像信号の強度をＳ_m、その画素に隣接する一直線上に位置する画素の画像信号の強度をＳ_m-1、Ｓ_m+1とした場合に、数式（−Ｓ_m-1＋２Ｓ_m−Ｓ_m+1）で表されるものが挙げられる。

又、例えば注目画素に対する一方の周辺画素の信号の平均偏差と他方の周辺画素の信号の平均偏差とを用いることができる。平均偏差とは、複数の数値を対象とし、これらの数値の平均値と各数値との差の絶対値の和である。この場合は、平均偏差が小さい方の周辺画素の平均偏差が小さいほど平坦度が高く、低域エッジ度が大きくなる。尚、平坦度の算出には、ハイパスフィルタ出力又は平均偏差の代わりに標準偏差を用いても構わない。これらの値も小さいほど平坦度が高いため、平坦度の数値としてはこれらの値の逆数を用いることができる。

低域エッジ度αと平坦度Ｅとの関係の一例を図７のグラフに示す。低域エッジ度αは、平坦度Ｅが０以上かつ所定の値であるＥｔ１以下では０、Ｅｔ１よりも大きい所定の値であるＥｔ２以上では１でそれぞれ一定である。Ｅｔ１以上Ｅｔ２以下は過渡領域であり、平坦度Ｅが大きくなるにしたがって低域エッジ度αは０から１まで増加する。

このようにして算出した低域エッジ度αに基づいた比率で加重加算器５６によって輪郭強調済信号Ｙａとクリップ済信号Ｙａｃとを加算して出力信号Ｙｏを生成する。図７のように低域エッジ度αを設定した場合、出力信号Ｙｏは次のような式することができる。
Ｙｏ＝（１−α）・Ｙａ＋α・Ｙａｃ

出力信号Ｙｏをこのように設定した場合、平坦度が高いほど即ち低域エッジ度αが高く画像信号の周波数が低いほど、出力信号Ｙｏに占める輪郭強調済信号Ｙａの比率が低く、クリップ済信号Ｙａｃの比率が高い。したがって、出力信号Ｙｏはオーバーシュート又はアンダーシュートが抑制されたものとなる。

一方、平坦度が低いほど即ち低域エッジ度αが低く画像信号の周波数が高いほど、出力信号Ｙｏに占める輪郭強調済信号Ｙａの比率が高く、クリップ済信号Ｙａｃの比率が低い。したがって、出力信号Ｙｏはオーバーシュート又はアンダーシュートが抑制されないものとなる。

このように構成することにより、輪郭信号によってオーバーシュート又はアンダーシュートが発生しても不自然な画像となりにくい画像信号の周波数の高い部分では輪郭を強調して解像度を高める一方で、輪郭信号によるオーバーシュート又はアンダーシュートによって不自然な画像となりやすい画像信号の周波数の低い部分ではオーバーシュート又はアンダーシュートを低減して輪郭強調の不自然さを軽減する。そのため、画像全体を不自然なものとならないようにしつつ解像度を高めることができる。

更に、輪郭の周辺での信号変化量が大きい部分では輪郭信号も大きいためオーバーシュート又はアンダーシュートを大きく抑制して輪郭強調の不自然さを軽減し、輪郭の周辺での信号変化量が小さい部分では輪郭信号も小さいためオーバーシュート又はアンダーシュートを大きく抑制しなくても輪郭強調は不自然なものではないため、オーバーシュート又はアンダーシュートの抑制を控えたものとすることができる。そのため、適度な輪郭強調が施された解像度の高い画像を得ることができる。

尚、本実施形態において、クリップ係数ｋの最大値を１ではなく、図６において破線で示すように０以上１未満の値としてもよい。これによると、オーバーシュート又はアンダーシュートを完全になくすのではないため、最も輪郭を抑制した場合でも輪郭を強調したものとすることができる。

〈第２の実施形態〉
本発明の第２の実施形態について図面を参照して説明する。本実施形態は、オーバーシュート及びアンダーシュートの抑制について、注目画素に対する周辺画素として注目画素周辺の平面領域の画素を利用している点が異なる以外は、注目画素の水平方向のみ又は垂直方向のみの周辺画素を対象とする第１の実施形態と画像処理部の構成も含めて同様である。

図８は画像を構成する画素の部分拡大図である。×を付した画素は輪郭信号を生成する輪郭に相当する部分の画素であり、そのうち中央の太線で示したものが注目画素である。白丸を付した画素は輪郭の画素よりも信号強度の高い画素であり、高強度領域を形成し、黒丸を付した画素は輪郭の画素よりも信号強度の低い画素であり、低強度領域を構成する。白丸を付した画素、黒丸を付した画素は、いずれも注目画素に対する周辺画素であり、各領域の信号強度の最小値、最大値の検出、各領域の信号の平均値、平坦度の算出、領域間の信号変化量の算出の対象である。

最大シュート抑制値算出部５３では、輪郭信号を有する注目画素とそれに隣接する輪郭信号を有する画素によって、各周辺画素を輪郭に区切られた複数の領域に区分する。この場合、隣接する画素とはある画素に対して上下左右に位置する４個の画素のみならず、右上、左上、左下、右下の斜め方向の４個の画素も含む、合計８個の画素のことである。図８の場合、白丸を付した領域と黒丸を付した領域とに区分する。そして、各領域の信号強度の最大値、最小値、平均値及び領域間の信号変化量を算出し、これらの数値、輪郭信号及び輪郭強調済信号とに基づいて、最大シュート抑制値を算出する。ここで、領域間の信号変化量とは、注目画素に対する一方の周辺画素領域の信号強度の平均値と他方の周辺画素領域の信号強度の平均値との差である。

次に、注目画素に隣接する輪郭信号を有する画素（図８では注目画素の右上及び左下の画素）について、同様にして最大シュート抑制値を算出する。そして、注目画素の最大シュート抑制値と、注目画素に隣接する輪郭信号を有する画素の最大シュート抑制値とを比較し、その差が所定の値以上に大きくならないよう、即ち輪郭が不自然に強調された画像とならないように注目画素の最大シュート抑制値を調整する。

この調整方法としては、例えば、最大シュート抑制値の平均化、ローパスフィルタ（Ｌｏｗ−ｐａｓｓｆｉｌｔｅｒ：ＬＰＦ）処理、変動幅の制限等が挙げられる。最大シュート抑制値の平均化とは、注目画素の最大シュート抑制値Ｃ_nと、注目画素に隣接する輪郭信号を有する画素の最大シュート抑制値Ｃ_n-1、Ｃ_n+1との平均値を算出して、注目画素の最大シュート抑制値をこの平均値に注目画素の最大シュート抑制値を調整するものである。またローパスフィルタ処理とは、例えば数式（Ｃ_n-1＋２Ｃ_n＋Ｃ_n）／４で表される数値に注目画素の最大シュート抑制値を調整するものである。そして変動幅の制限とは、最大値の設定や、周囲の画素の信号強度の平均値に対する所定の割合の変動幅の設定などである。

低域エッジ度算出部５５では、前処理部５０からの画像信号（例えば輝度信号）から、最大シュート抑制値算出部５３で区分された領域毎に信号の平坦度を算出してそれに基づいて低域エッジ度αを算出する。信号の平坦度としては、例えば各領域の信号の強度のハイパスフィルタ出力や平均偏差、標準偏差を用いることができる。

そして、このようにして算出した低域エッジ度αに基づいた比率で加重加算器５６によって輪郭強調済信号Ｙａとクリップ済信号Ｙａｃとを加算して出力信号Ｙｏを生成する。

このように構成することにより、輪郭信号を有する注目画素に隣接する輪郭信号を有する画素についての最大シュート抑制値を考慮して最大シュート抑制値を設定することにより、より自然な輪郭強調を施した画像を得ることができる。

尚、本実施形態において、画像処理の対象とする画素は、水平方向に３個以上垂直方向に３個以上の注目画素を中心とする複数の画素が好ましい。

（画像再生装置）
尚、、第１の実施形態及び第２の実施形態において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、撮像装置に限らず、画像処理の可能な液晶ディスプレイやプラズマテレビ等の表示装置や、画像処理の可能なＤＶＤプレーヤやビデオデッキ等のような映像の出力が可能な画像再生装置においても、本発明における画像処理方法を利用可能である。図４０に、第１の実施形態及び第２の実施形態に係る画像処理方法を行う画像処理装置（「画像処理部」に相当）を備えた画像再生装置の一例を示す。

図９に示す画像再生装置は、図１に示す撮像装置と同様に、ドライバ部８、伸長処理部９、ビデオ出力回路部１０、ビデオ出力端子１１、ディスプレイ部１２、音声出力回路部１３、音声出力端子１４、スピーカ部１５、ＴＧ１６、ＣＰＵ１７、メモリ１８、操作部１９、及び外部メモリ２２を備える。ディスプレイ部１２は画像再生装置に内蔵されたものであっても、外付けのものであっても構わない。そして、図１の撮像装置とは異なり、画像処理部５に代えて伸長処理部９で取得した画像信号を処理する画像処理装置５ａを備える。画像処理装置５ａは、図４の画像処理部５と同様の構成である。外部メモリ２２から出力された画像信号に対して、画像処理装置５ａにおいて第１の実施形態及び第２の実施形態に係る画像処理方法を行うことができる。

又、第１の実施形態、第２の実施形態及び上記の変形例において、図４の画像処理部５は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。

本発明は、画像処理において輪郭強調を行う撮像装置及び画像処理装置に適用することができる。

は、本発明の撮像装置の内部構成を示すブロック図である。は、本発明の撮像装置の静止画撮影時の基本動作を説明するためのフローチャートである。は、本発明の撮像装置の動画撮影時の基本動作を説明するためのフローチャートである。は、本発明の画像処理部の構成を示すブロック図である。は、画像の輪郭の周辺での画素の信号強度を示すグラフである。は、クリップ係数と信号変化量との関係の一例を示すグラフである。は、低域エッジ度と平坦度との関係の一例を示すグラフである。は、画像を構成する画素の部分拡大図である。は、本発明の画像再生装置の内部構成を示すブロック図である。は、輝度信号の周波数が比較的高い場合の輝度信号及び輪郭信号の強度を示すグラフである。は、輪郭を強調した図１０に示す輝度信号のグラフである。は、輝度信号の周波数が比較的低い場合の輝度信号及び輪郭信号の強度を示すグラフである。は、輪郭を強調した図１２に示す輝度信号のグラフである。

符号の説明

１イメージセンサ
２レンズ部
３ＡＦＥ
４マイク
５画像処理部
５ａ画像処理装置
６音声処理部
７圧縮処理部
８ドライバ部
９伸長処理部
１０ビデオ出力回路部
１１ビデオ出力端子
１２ディスプレイ部
１３音声出力回路部
１４音声出力端子
１５スピーカ部
１６タイミングジェネレータ（ＴＧ）
１７ＣＰＵ
１８メモリ
１９操作部
２０バス回線
２１バス回線
２２外部メモリ
５０前処理部
５１輪郭信号検出部
５２加算器
５３最大シュート抑制値算出部
５４クリップ部
５５低域エッジ度算出部
５６加重加算器

Claims

複数の画素の各々についての画像信号から輪郭信号を検出する輪郭信号検出部と、
前記画像信号に前記輪郭信号を加算して輪郭強調済信号を生成する加算部と、
前記複数の画素のうち特定の画素に対する一方の周辺画素の平均信号強度と他方の周辺画素の平均信号強度の差と、前記特定の画素の前記輪郭強調済信号の強度と、前記平均信号強度の高い側の周辺画素における前記画像信号の強度の最大値及び前記平均信号強度の低い側の周辺画素における前記画像信号の強度の最小値のいずれか一方と、に基づいて抑制値を算出する抑制値算出部と、
前記抑制値算出部で算出した抑制値に前記輪郭強調済信号を抑制して抑制済信号を生成する信号抑制部と、
前記画像信号から平坦度を算出し、前記平坦度に基づいて信号加算比率を算出する信号加算比率算出部と、
前記輪郭強調済信号と前記抑制済信号とを前記信号加算比率に基づいて加算して出力信号を生成する加重加算部と、
を備えたことを特徴とする画像処理装置。
前記平坦度が高いほど、前記出力信号に占める前記輪郭強調済信号の比率が低く、前記抑制済信号の比率が高いことを特徴とする請求項１に記載の画像処理装置。
前記それぞれの周辺画素の平均信号強度の差が所定の値よりも小さい場合、前記抑制値による前記輪郭強調済信号の抑制量を０とすることを特徴とする請求項１又は請求項２に記載の画像処理装置。
前記輪郭信号検出部による輪郭信号の検出と、前記抑制値算出部による抑制値の算出と、前記信号加算比率算出部による前記平坦度の算出とが、前記複数の画素の配置方向のうち水平方向又は垂直方向の少なくとも一方向に行われることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
前記輪郭信号検出部による輪郭信号の検出と、前記抑制値算出部による抑制値の算出と、前記信号加算比率算出部による前記平坦度の算出と、の対象となる画素が、前記複数の画素の配置方向のうち水平方向に３個以上、垂直方向に３個以上の前記特定の画素を中心とする複数の画素であることを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
前記特定の画素を含む前記輪郭信号を有する画素を境界として、一方の領域に属する画素と他方の領域に属する画素とについて前記平均信号強度及び平坦度を算出することを特徴とする請求項５に記載の画像処理装置。
前記特定の画素及び前記特定の画素に隣接する前記輪郭信号を有する画素について、前記抑制値を算出し、前記特定の画素の前記抑制値と前記特定の画素に隣接する画素の前記抑制値との差が所定の値以上である場合に、前記特定の画素の前記抑制値を前記所定の値以下に補正することを特徴とする請求項６に記載の画像処理装置。
前記画像信号を取得する撮像部と、請求項１〜７に記載の画像処理装置とを備えることを特徴とする撮像装置。
請求項１〜７に記載の画像処理装置と、前記出力信号による画像を出力可能な表示部とを備えることを特徴とする表示装置。