JP2007028468A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】画像のノイズを低減して縮小処理を行う。
【解決手段】処理対象となる画像の周波数特性を算出する周波数特性算出手段１０２と、算出した周波数特性に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段１０３と、生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段１０４とを備える。
【選択図】図１

Description

本発明は、画像信号の処理に関し、特に画像を縮小する画像処理を行う画像処理装置及び方法に関する。

従来、画像の高精細化への要求が高まっており、１フレーム１００万画素程度の動画カメラが実用化されている。一般的な固体撮像素子であるＣＣＤ（Charge Coupled Device、電荷結合素子）は、駆動速度を無制限に上げられないので、画像の画素数を多くする場合、画像更新速度を下げなければならない。４８万画素程度であれば、現行テレビジョン（以下、ＴＶと称す）規格に従った画像更新速度で出力することも可能だが、画素数が１００万画素を超えると困難である。ＣＣＤの信号読出し経路を増やす、といった工夫によって画像更新速度を向上させることは可能だが、回路の数及び規模等とのトレードオフとなる。

また、撮像系の高精細化が進んではいるが、表示系も同時に高精細化するわけではなく、現行ＴＶ規格対応表示機器も使用したい、といった要求が存在する。ＮＴＳＣ（National TV Standards Committee）やＰＡＬ（Phase Alternating Line）といったＴＶ規格によってライン数とフレームレートは決まっている。よって、例えば１フレームを構成する画素数はＴＶ規格より多いが、画像更新速度は遅いような画像を、現行ＴＶ規格に対応した表示機器に表示する場合には、画像の画素数と画像更新速度をＴＶ規格に合うように変換する必要がある。

従来の画像処理装置としては、画像の縮小に伴う画質の低下を防止し、縮小画像の画質を高品質に保つことができるようにした画像の縮小表示方法及びその装置が開示されている（例えば、特許文献１参照）。
特開２００２−７７７２４号公報

図5は、従来例による画像の縮小表示方法及びその装置の一実施形態を示すブロック図である。この画像処理装置は、画像サイズの縮小率に応じた帯域制限を画像データに施す帯域制限部１０と、帯域制限部１０を通った画像データから縮小率に応じてデータを間引く画像縮小処理部２０と、画像縮小処理部２０で得た画像データから画像の輪郭成分を抽出する輪郭抽出部３０と、画像サイズの縮小率に応じて輪郭信号レベルを制御する輪郭レベル制御部４０と、画像サイズの縮小率に応じて画像縮小処理部２０で得た画像データの彩度を調整する彩度調整部５０と、彩度調整された縮小画像にレベル調整された輪郭信号を加える加算器７０を設け、加算器７０は画像の動き検出器６０によって検出される動き情報で制御できる構成としている。縮小処理を施した画像を表示する際、その縮小画像に対して指定した画像サイズの縮小率に応じた高域補償と彩度補償をおこなうものであり、これにより、縮小処理に伴う視覚的な解像度の低下を補い、縮小画像に対して高域補償を施す。縮小画像の動領域での輪郭部分では、高域補償を停止することにより、高域補償した場合に発生する残像の強調が防止でき、画像の動画領域での輪郭部分に生ずる残像を解消できる。

しかしながら、上記従来の画像処理装置にあっては、画像輪郭成分すなわち画像の高周波成分を制御対象としており、それ以外についてはふれられていない。また、画像縮小後に制御対象成分を抽出しているため、画像縮小処理時の帯域制限フィルタ性能によって発生し得る折返し成分といった擬似信号などを誤検出し、これを処理対象とすることによる画質劣化を起こすという欠点があった。さらに、画像のノイズ低減には寄与しなかったという欠点があった。

従来の画像処理装置にあっては、画像輪郭成分すなわち画像の高周波成分を制御対象としており、それ以外についてはふれられていない。また、画像縮小後に制御対象成分を抽出しているため、画像縮小処理時の帯域制限フィルタ性能によって発生し得る折返し成分といった擬似信号などを誤検出し、これを処理対象とすることによる画質劣化を起こすというという事情があった。さらに、画像のノイズ低減には寄与しなかったというという事情があった。

本発明は前記従来の問題を解決するもので、画像のノイズを低減して縮小処理が可能な画像処理装置及び方法を提供することを目的とする。

本発明の画像処理装置は、画像の縮小処理を行う画像処理装置であって、処理対象となる画像の周波数特性を算出する周波数特性算出手段と、算出した周波数特性に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段と、生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段とを備える。

本発明の画像処理方法は、画像の縮小処理を行う画像処理方法であって、処理対象となる画像の周波数特性を算出し、算出した周波数特性に応じて帯域制限フィルタの係数を生成し、生成した係数で周波数帯域制限を行いダウンサンプリングする。

本発明のプログラムは、画像の縮小処理を行うプログラムであって、コンピュータを、処理対象となる画像の周波数特性を算出する周波数特性算出手段、算出した周波数特性に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段、生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段として機能させる。

この構成により、画像の縮小率に係わらず画像の周波数特性によって帯域制限フィルタ特性を制御することによって、画像のノイズを低減して縮小処理を行うことができる。

本発明の画像処理装置は、画像の縮小処理を行う画像処理装置であって、処理対象となる画像の輪郭強調信号を取得する手段と、取得した輪郭強調信号に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段と、生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段とを備える。

本発明の画像処理方法は、画像の縮小処理を行う画像処理方法であって、処理対象となる画像の輪郭強調信号を取得し、取得した輪郭強調信号に応じて帯域制限フィルタの係数を生成し、生成した係数で周波数帯域制限を行いダウンサンプリングする。

本発明のプログラムは、画像の縮小処理を行うプログラムであって、コンピュータを、処理対象となる画像の輪郭強調信号を取得する手段、取得した輪郭強調信号に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段、生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段として機能させる。

本発明は、画像の縮小率に係わらず帯域制限フィルタ特性を制御することによって、画像のノイズを低減して縮小処理を行う画像処理技術を提供することができる。

図１は、本発明の第一の実施形態の画像処理装置を説明するブロック図である。本発明の画像処理装置は、画像取得手段１０１、周波数特性算出手段１０２、フィルタ係数生成手段１０３、及び画像縮小手段１０４を備える。画像取得手段１０１は、画像信号を取得する。周波数特性算出手段１０２は、画像の周波数特性を算出する。フィルタ係数生成手段１０３は、帯域制限フィルタのフィルタ係数を生成する。画像縮小手段１０４は、周波数帯域制限を行いダウンサンプリング（リサンプリング）することによって画像を縮小する。

図２は、帯域制限フィルタ応答特性を示す。まず、一般的な画像の縮小について示す。一般に画像の縮小は、サンプリングレートの変換として与えられる。倍率がｍ／ｎ（ｍ、ｎは整数、ｍ＜ｎ）である縮小を行うとき、画像データを表すサンプル点の間ごとに（ｍ−１）個の０を挿入することによってサンプリングレートを上げ（アップサンプル）、画像縮小後に折返しひずみが発生しないように出力周波数の半分で帯域制限し、帯域制限されたサンプル列をｎ個ごとにリサンプル（ダウンサンプル）することによって、画像縮小にともなう折返しひずみが抑圧された、倍率ｍ／ｎの縮小を行うことができる。画像を縮小するためには、帯域制限フィルタに入力する画像信号と帯域制限フィルタとリサンプリングが必要である。

画像取得手段１０１は、画像信号を取得する。取得する画像信号は、カラーや白黒、時分割カラー（補色、原色）、標本化及び量子化の程度、飛び越しや順次といった走査方法等は問わない。画像信号は帯域制限フィルタリング可能なデータが得られるものとする。たとえば垂直方向の縮小を行う場合、帯域制限フィルタリングも垂直方向に行う必要があるので、フィルタがＦＩＲ（Finite Impulse Response）形式であるならば、フィルタタップ数分の画像データが入力されなければならない。

周波数特性算出手段１０２は、取得した画像信号の周波数特性を算出する。算出方法としては、フーリエ変換による解析を行っても良いし、高域通過フィルタ（ＨＰＦ：High Pass Filter）や特定の周波数範囲を通過させるフィルタ（ＢＰＦ：Band Pass Filter）によって、高周波数又は特定周波数を含む部分を検出するようにしても良い。本件実施形態では、ＨＰＦ出力を用いるものとして説明を行う。

画像縮小時に帯域制限を行うのは、リサンプリングによる折返しを抑圧するためだが、折返しひずみは原画像におけるリサンプリングレートの半分以上の周波数成分によって発生するので、縮小対象画像にリサンプリングレートの半分以上の周波数成分が存在しなければ、帯域制限を行わなくても折返しひずみは原理上発生しない。

周波数特性算出手段１０２は、縮小比率によって決定される帯域制限周波数以上の周波数成分を通過させるＨＰＦを構成し、折返しひずみの原因となる周波数成分を含む画像を検出する。

フィルタ係数生成手段１０３では、折返しひずみの原因となる周波数成分を含む画像信号が、帯域制限フィルタの処理対象にかかる場合には、正規の帯域制限（図２のＡ応答量）を行うフィルタ係数を生成し、帯域制限フィルタの処理対象にかからない、すなわち、折返しひずみの原因となる周波数成分を含まない場合には、制限する周波数帯域を狭く（例えば、図２のＢ応答量）する。カットオフ周波数が低いフィルタ係数を生成してもよいし、単純な平滑化フィルタ係数を用いても良い。帯域制限フィルタ係数は、周波数特性算出手段１０２の出力量にしたがって変化させても良い、例えば、図２におけるＡ応答量とＢ応答量の間で可変であってもよい。

折返しひずみの原因となる周波数成分を含まない画像信号部分では、カットオフ周波数が低い、又は単純な平滑化フィルタを用いることにより、画像縮小比率に従った正規の帯域制限を行うフィルタを適用する場合に比べて、画像のノイズ成分を抑圧する効果を大きくすることができる。

図３は、水平方向のみに簡略化した、帯域制限フィルタ特性適用範囲についての概略図を示す。画像信号レベルが急変している部分には、高い周波数が含まれている。高い周波数成分が含まれる区間Ａは、縮小率に基づいた帯域制限を行うフィルタを適用して、画像縮小に伴い発生する折返しひずみを抑圧する。高い周波数成分が含まれていない区間Ｂは、平滑化するフィルタを適用して、画像のノイズ成分を抑圧する。

本処理は、輝度信号のみに実施しても良いし、原色（赤、緑、青）や補色（シアン、マゼンタ、イエロー）といった色信号毎又は色信号のみに実施しても良い。

このような本発明の第一の実施形態おける画像処理装置は、従来の画像処理装置に比べて、画像の縮小率に係わらず画像の周波数特性によって帯域制限フィルタ特性を制御することによって、画像のノイズを低減することができるため、縮小画像を生成しながらノイズを抑圧できるという点で優れた効果を有する。

図４は、本発明の第二の実施形態における画像処理装置を示すブロック図である。第一の実施形態と第二の実施形態との相違点は、先に述べた第一の実施形態では周波数特性算出手段１０２を有していたが、第二の実施形態では周波数特性算出手段１０２を含まず、輝度色信号処理手段２０５を有する点である。その他は、同じ構成である。

第二の実施形態では、一般的なカメラの構成を想定している。画像取得手段２０１から得られた画像信号に、輝度色信号処理手段２０５によって輝度信号や色信号の生成処理、利得制御を含むガンマや階調補正といった非線形変換、輪郭強調、色位相調整、ホワイトバランス処理、等を行う。特に、輪郭強調処理は、画像の鮮明感を向上させるうえで必須の処理である。一般的な輪郭強調処理は、原信号又は必要に応じて輪郭強調信号生成用信号を生成し、そのＨＰＦ出力を輪郭強調信号として、利得制御した後、原信号に加算することで実現している。ＨＰＦのフィルタ特性によって、強調される周波数成分を調整することができる。第二の実施形態では、この輪郭強調信号に基づいて、フィルタ係数生成手段２０３によってフィルタ係数を制御する。画像縮小手段２０４は、画像を縮小する。

以上のように本発明の第二の実施形態の画像変換装置は、従来の画像処理装置に比べて、周波数特性算出のための処理回路を独立に持つことなく、画像の縮小率に係わらず画像の周波数特性によって帯域制限フィルタ特性を制御することによって、画像のノイズを低減することができるという点で優れた効果を有する。

なお、画像処理装置の機能は、磁気ディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、等の記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取って、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、等で実行することにより画像処理装置の機能を実現することができる。

以上説明したように、本発明の画像処理装置は、画像の縮小率に係わらず画像の周波数特性によって帯域制限フィルタ特性を制御することによって、画像のノイズを低減するという効果を有し、特に縮小画像を生成しながらノイズを抑圧できる利点がある。

本発明の画像処理装置及び方法は、画像の縮小率に係わらず帯域制限フィルタ特性を制御することによって、画像ノイズを低減させるので、縮小画像を生成しながらノイズを抑圧できる画像処理装置に有用である。

本発明の第一の実施形態の画像処理装置を説明するブロック図である。 帯域制限フィルタ応答特性である。 水平方向のみに簡略化した、帯域制限フィルタ特性適用範囲についての概略図である。 本発明の第二の実施形態における画像処理装置を示すブロック図である。 従来例による画像の縮小表示方法及びその装置の一実施形態を示すブロック図である。

符号の説明

１０１ 画像取得手段
１０２ 周波数特性算出手段
１０３ フィルタ係数生成手段
１０４ 画像縮小手段

Claims (7)

1. 画像の縮小処理を行う画像処理装置であって、
   処理対象となる画像の周波数特性を算出する周波数特性算出手段と、
   算出した周波数特性に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段と、
   生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段と、
   を備える画像処理装置。
2. 画像の縮小処理を行う画像処理装置であって、
   処理対象となる画像の輪郭強調信号を取得する手段と、
   取得した輪郭強調信号に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段と、
   生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段と、
   を備える画像処理装置。
3. 画像の縮小処理を行う画像処理方法であって、
   処理対象となる画像の周波数特性を算出し、算出した周波数特性に応じて帯域制限フィルタの係数を生成し、生成した係数で周波数帯域制限を行いダウンサンプリングする画像処理方法。
4. 画像の縮小処理を行う画像処理方法であって、
   処理対象となる画像の輪郭強調信号を取得し、取得した輪郭強調信号に応じて帯域制限フィルタの係数を生成し、生成した係数で周波数帯域制限を行いダウンサンプリングする画像処理方法。
5. 画像の縮小処理を行うプログラムであって、コンピュータを、
   処理対象となる画像の周波数特性を算出する周波数特性算出手段、
   算出した周波数特性に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段、
   生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段として機能させるプログラム。
6. 画像の縮小処理を行うプログラムであって、コンピュータを、
   処理対象となる画像の輪郭強調信号を取得する手段、
   取得した輪郭強調信号に応じて帯域制限フィルタの係数を生成するフィルタ係数生成手段、
   生成した係数で周波数帯域制限を行いダウンサンプリングする画像縮小手段として機能させるプログラム。
7. 請求項５または６記載のプログラムを格納するコンピュータ読み取り可能な記録媒体。
   

Images