JP2005217532A

JP2005217532A - 解像度変換方法及び解像度変換装置

Info

Publication number: JP2005217532A
Application number: JP2004018797A
Authority: JP
Inventors: Kazumi Suga; 和巳須賀; Hidekazu Matsuzaki; 英一松崎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-01-27
Filing date: 2004-01-27
Publication date: 2005-08-11
Also published as: US7536063B2; US20050163400A1; CN1649388A; EP1560438A1; KR20050077285A

Abstract

【課題】ブロックノイズを低減できると共に、該ブロックノイズ低減処理を簡略化しうる直交変換を用いた解像度変換方法及び解像度変換装置を提供する。
【解決手段】画像の水平、垂直拡大率を決定する（s2.1）。続いてＮｘＭ画素単位のブロックサイズでＤＣＴ等の直交変換処理をブロック単位に行って、時間空間領域の信号から周波数領域の信号へ変換する（s2.2）。各ブロックの右側及び下側の領域に該当する高周波領域成分のさらに外側に擬似的な高周波領域成分を付加する。さらに、擬似的な高周波成分が付加されたブロック単位にＩＤＣＴ等の逆直交変換を行って、周波数領域の信号から時間空間領域の信号へ変換する（s2.4）。そして拡大率（ＲＨ，ＲＶ）が予め定めた閾値よりも大きい場合（s2.5）にのみブロックノイズ低減処理を行う（s2.6）。
【選択図】図２

Description

本発明は、解像度変換方法及び解像度変換装置に関し、詳しくはDCT(直交変換)を用い
た解像度変換において、ブロックノイズを簡単に低減することが可能な解像度変換方法及び解像度変換装置に関する。

従来、解像度変換（画像拡大・縮小）方法としては、最近隣内挿法（Nearest Neighbor）、線形補間法(Bi-Linear)、３次畳み込み補間法（Cubic Convolution）等が一般的に用いられている。これらの方法は時間空間領域における離散的なサンプリングデータを、アップサンプリングもしくはダウンサンプリングし、折り返し歪みの発生を防止するためのローパスフィルタ処理として、ＦＩＲ(Finite Impulse Response)フィルターを用いる方
法である。これらＦＩＲフィルターを用いる方法では、如何に理想ローパス特性に近いＦＩＲフィルターを用いるかが鍵となる。一般的にはフィルターのタップ数を増やして、f=Sin(πx)/(πx)の特性を持つ所謂Sinc関数に近い特性を持つフィルターを有限長で近似して用いる。もちろん多タップのほうがよりSinc関数に近い特性が得られるが、それに伴いコストが増加する。

またさらに、上記時間空間領域ではなく、周波数領域においてなされる解像度変換方法も提案されている。図4を用いて、この周波数領域においてなされる解像度変換方法につ
いて説明する。例えばDCT(Discreet Cosine Transform)等の直交変換を用いて、入力画像データをあるブロック単位に周波数領域のデータへ変換する。図4(a)は、ＮｘＭ（例えば８ｘ８）のサイズでＤＣＴ変換した場合について示している。図4(b)は各ブロックのＤＣＴ係数を示しており、左上隅の画素がＤＣ成分であり、右及び下に行くに従ってＡＣ高周波成分となる。

拡大するためには、右側及び下側の高周波領域成分のさらに外側に擬似的な高周波領域成分を付加（図4(c)の例ではＮｘＭのブロックの外側にそれぞれＸ、Ｙ画素ずつ擬似高周波領域成分を付加して(N+X)x(M+Y)のブロックサイズとしている）して、この拡大された
ブロックごとに逆ＤＣＴ等の逆直交変換を行って再び時間空間領域へ変換する。一方縮小する場合には、逆に入力信号の高周波領域成分を捨て、この縮小されたブロックごとに逆ＤＣＴ等の逆直交変換を行う。

このようなＤＣＴ等の直交変換を用いた解像度変換方法としては、例えば特許文献１のように擬似高周波領域成分として０を付加する方法や、特許文献２のように、入力信号周波数成分を予め準備された予測ルールに基づいて変換したものを擬似高周波領域成分として付加する方法等が提案されている。

しかしながら、上述したＤＣＴを用いた解像度変換では、拡大時にブロックノイズと呼ばれる格子状のノイズが発生する。

このＤＣＴを用いた解像度変換におけるブロックノイズを低減する提案としては、特許文献３のようにブロックをオーバーラップさせてＤＣＴ、逆ＤＣＴを行う方法が提案されている。

一方で、デジタル放送に用いられているＭＰＥＧ(Moving Picture Experts Group)-2の圧縮時にも同様にブロックノイズが発生するが、この圧縮時のブロックノイズ低減処理に関しては多くの提案がなされている。ただし、このブロックノイズ低減処理を全てのブロ
ック境界に対して行うと画像のエッジ部分にボケが生じるため、通常はエッジ部分とブロックノイズ部分との判別処理を行ってからブロックノイズ低減処理を施す。例えば、特許文献４のように、各ブロックの境目の差分値を求め、差分値が小さい場合にはブロックノイズが発生していると判定し、ローパスフィルタ処理を行う方法や、特許文献５のように、高周波領域成分を閾値以下しか含まないブロックを検出し、このブロックのみブロックノイズ低減処理を行う方法が提案されている。
特開平２−７６４７２号公報特開平８−２９４００１号公報特開平１１−２５２３５６号公報特開平２−５７０６７号公報特開２０００−２９９８５９号公報

しかしながら、上述したブロックをオーバーラップさせる方法では、ブロックサイズを大きくすると加速的に処理負荷が重くなるという問題がある。また、上述したブロックの境目の差分値や、ブロック内の高周波成分をもとにブロックノイズが発生していることを検出し、ローパスフィルタ処理等のブロックノイズ低減処理を施す方法では、ブロックノイズの発生検出処理が必要であり、さらに正確な検出を行うことも難しかった。

本発明は上述の点に鑑み、ブロックノイズと画像エッジとの判別処理を必要とせず、簡単にブロックノイズを低減することが可能であり、しかもエッジ部分をブロック境界として誤認識することによるボケを生じることのない、すなわち、ブロックノイズを低減できると共に、該ブロックノイズ低減処理を簡略化しうる直交変換を用いた解像度変換方法及び解像度変換装置を提供することを目的とする。

本発明は、
画像の解像度を、直交変換を用いて変換する解像度変換方法において、該画像の拡大倍率に応じてブロックノイズ低減処理を行うことを特徴とする。

また、本発明は、
画像の解像度を変換する解像度変換装置において、入力信号を直交変換を用いて周波数領域の信号に変換する直交変換手段と、
前記変換された周波数領域の信号の高周波領域側に、前記画像の拡大率に応じた擬似高周波領域成分を生成する擬似高周波成分付加手段と、
前記擬似高周波領域成分が付加された信号を逆直交変換を用いて時間空間領域の信号へ変換する逆直交変換手段と、
前記画像の拡大率に応じてブロックノイズ低減処理を行う画像処理手段と、
前記画像の拡大率に応じて上記直交変換手段、擬似高周波成分付加手段、逆直交変換手段及び画像処理手段を制御する制御手段とを有することを特徴とする。

本発明によれば、直交変換を用いた解像度変換方式においてブロックノイズを低減できると共に、該ブロックノイズ低減処理を従来技術よりも簡略化することが可能となる。

＜第1の実施の形態＞
図1のブロック図および図２のフロー図を参照して本発明第1の実施の形態にかかる解像度変換方法及び解像度変換装置について説明する。

まず、図２のフロー図を参照して、本発明第1の実施の形態にかかる解像度変換方法の
処理の流れについて説明する。

画像の水平、垂直拡大率（それぞれＲＨ，ＲＶとする）は入力信号の解像度および表示装置（図示せず）の解像度から決定される（s2.1）。例えば入力信号の解像度が６４０ｘ４８０画素であり、表示装置の解像度が１２８０ｘ７２０画素であれば、ＲＨは２、ＲＶは1.5となる。

続いてＮｘＭ（例えばＮ，Ｍともに8）画素単位のブロックサイズでＤＣＴ等の直交変
換処理をブロック単位に行って、時間空間領域の信号から周波数領域の信号へ変換する（s2.2）。

そして図４に示すように、各ブロックの右側及び下側の領域に該当する高周波領域成分のさらに外側に擬似的な高周波領域成分を付加する（s2.3、図4(c)の例ではＮｘＭのブロックの外側にそれぞれＸ、Ｙ画素ずつ擬似高周波領域成分を付加して(N+X)x(M+Y)のブロ
ックサイズとしている）。ここでＮ，Ｍともに８、拡大率が上記の例の場合（ＲＨ：２、ＲＶ：1.5）、Ｘは８、Ｙは４となる。

さらに、上記擬似的な高周波成分が付加されたブロック単位にＩＤＣＴ（逆ＤＣＴ）等の逆直交変換を行って、周波数領域の信号から時間空間領域の信号へ変換する（s2.4）。

そして本発明第１の実施の形態においては、上記拡大率（ＲＨ，ＲＶ）が予め定めた閾値よりも大きい場合（s2.5）にのみブロックノイズ低減処理を行う（s2.6）。

続いて本発明第1の実施の形態にかかる解像度変換装置について、図１のブロック図を
参照して説明する。

図1のブロックは、直交変換手段1.1、擬似高周波成分付加手段1.2、逆直交変換手段1.3、画像処理手段1.4、制御手段1.5から構成される。

（直交変換手段）
直交変換手段1.1は、入力された時間空間領域の信号を直交変換して空間周波数領域の
信号に変換する。直交変換の方法としては、高速フーリエ変換（FFT）、離散コサイン変
換（DCT）、アダマール変換、ハール変換等がある。このうち工業応用の分野で最もよく
用いられる離散コサイン変換の変換式を（１）式に示す。以下、本発明の実施の形態における直交変換方式として、ＤＣＴを想定して説明するが、該直交変換方式が本発明にかかる解像度変換方法を限定するものではない。

(1)

ここで

である。

式（１）においてＮ、Ｍはそれぞれ１ブロックの水平、垂直サイズを示しており、図4(a)のように、1フレームの入力画像を水平Ｎ画素、垂直Ｍ画素からなるブロック単位に分
割して処理がなされる。信号のうち、輝度信号の場合、ブロックノイズ等の観点から、ブロックサイズとして水平、垂直ともに１６画素以上とすることが好ましい。もちろんブロックに分けずに画像全体を１つのブロックとしても良いが、ブロックサイズを大きくするに従って回路規模は指数関数的に増大する。

（擬似高周波成分付加手段）
次に擬似高周波成分付加手段1.2について説明する。擬似高周波成分付加手段1.2では、拡大する倍率に応じて、擬似高周波成分を入力信号の高周波領域側に付加する。上述したように、例えば図4に示す例では、図4(c)において、ＮｘＭのブロックの外側にそれぞれ
Ｘ、Ｙ画素ずつ擬似高周波領域成分を付加して(N+X)x(M+Y)のブロックサイズとしている
。今、NおよびMがそれぞれ８で、１．５倍に拡大する場合であれば、XおよびYはそれぞれ４となる。ここで付加する擬似高周波成分としては、上述したように０値でも良いし、それ以外の例えば、入力信号のエイリアス成分でもかまわない。この付加する擬似高周波成分の種類により本発明は限定されない。

なお、入力された信号成分はそのまま低域側の成分とされるが、拡大される倍率に応じてゲインの調整を行う。すなわち、例えば1.5倍に拡大される場合であれば、信号のゲイ
ンを1.5倍にする必要がある。

（逆直交変換手段）
逆直交変換手段1.3は、上述した擬似高周波成分付加手段1.2において、直交変換後の入力信号の高周波領域側に、擬似高周波成分が付加された信号に対して逆直交変換を行い、時間空間領域の信号へ変換する。ただし、該逆直交変換も上述した直交変換手段1.1同様
、ブロック単位に分割してなされ、上記擬似高周波成分付加手段1.2において説明したよ
うに、例えば、入力信号を８ｘ８のブロックサイズで直交変換し、拡大率が1.5倍の場合
、個々のブロックサイズは擬似高周波成分が高周波領域側に付加されるため12x12となり
（図４参照）、該12x12のブロックに対してそれぞれ逆直行変換がなされる。

（画像処理手段）
続いて画像処理手段1.4について説明する。画像処理手段1.4は、上述した直交変換手段1.1、擬似高周波成分付加手段1.2、および逆直交変換手段1.3により拡大された画像信号
に、後述する制御手段1.5の制御によりブロックノイズ低減処理を施す。

ここで上述した従来技術において必要であった、画像のエッジ部分とブロックノイズとの判別処理を、本発明が必要としない理由について説明する。

そもそもブロックノイズの発生は、例えばMPEGの圧縮の場合について言えば、圧縮率が高くなるにつれて、高周波成分が０値になって行き、ブロック内の平均輝度であるDC成分の誤差が大きくなり、ブロックの境界に階調段差が生じるのが発生のメカニズムであった
。本発明にかかる直交変換を用いた解像度変換処理の場合においても、拡大率が大きくなるにつれて高周波成分として０値、もしくは入力信号のエイリアス成分等が挿入されるため、DC成分の誤差が大きくなり、ブロックノイズが強く発生するようになる。従って拡大率が大きくなるにつれて、ブロックノイズが強く発生することになる。本発明はこのことに着目し、拡大率に応じてブロックノイズ低減処理を施すか否かを決定する。このようにすることで、ブロックノイズの発生の検出処理が不要になり、処理が簡略化できる。なお、縮小の場合にはブロックノイズの発生は問題ないため、本発明にかかるブロックノイズ低減処理は拡大時についてのみケアしている。

それでは画像処理手段1.4について図面を参照して説明する。本発明第１の実施の形態
においては、後述する制御手段1.5からの制御により、拡大率が予め定めた閾値以上の場
合に、ブロックノイズ低減処理を施すように制御される。

ここでなされるブロックノイズ低減処理の例について図３を用いて説明する。

本発明の第１の実施の形態において拡大率が予め定めた閾値以上の場合になされるブロックノイズ低減処理は、例えば周辺画素を用いた平均化処理である。図３の左図は垂直方向のブロック境界、図３の右図は水平、垂直方向ともに境界（コーナー）の場合について示している。垂直方向（水平方向の場合ももちろん同様）のブロック境界にある画素Ｓ２はその両側の画素Ｓ１、Ｓ３の平均値により置き換えられる。また、水平、垂直方向ともに境界である画素Ｓ３は、その周辺画素Ｓ１、Ｓ２、Ｓ４、Ｓ５の平均により置き換えられる。上記ブロックノイズ低減処理は、いわゆるボックスカーローパスフィルタの場合について説明しているが、本発明第１の実施の形態においては、このブロックノイズ低減処理の方法はその他の方法でも良い。本発明第１の実施の形態は、このブロックノイズ低減処理方法により制限されない。

（制御手段）
制御手段1.5は入力信号の解像度および表示装置の解像度から、水平、垂直拡大率を求
める。ここで入力信号の解像度は、制御手段1.5の外部より与えても良いし、図１に示す
ように入力同期信号の周波数および極性から制御手段1.5において判定しても良い。また
もちろん倍率として外部から与えても良い。

そして予め定めたブロックサイズでＤＣＴ処理されるように上記直交変換手段1.1を制
御し、上記擬似高周波成分付加手段1.2および、上記逆直交変換手段1.3において、それぞれ上記拡大率に応じた擬似高周波成分付加処理、逆直交変換処理がなされるように制御する。

さらに、上述したように、上記拡大率が予め定めた閾値よりも大きい場合、上記画像処理手段1.4を制御してブロックノイズ低減処理がなされるように制御する。

＜第２の実施の形態＞
続いて本発明第２の実施の形態について説明する。本発明第１の実施の形態では、拡大率が予め定めた閾値よりも大きい場合にのみ、画像処理手段1.4においてブロックノイズ
低減処理を行ったが、本発明第２の実施の形態においては、ブロックノイズ低減処理をオン、オフの２段階でなく、閾値付近で軽い低減処理を施すモードを追加し、オフ、第１のブロックノイズ低減処理、第２のブロックノイズ低減処理の3段階で行う。

それでは、図５のフロー図を参照して、本発明第２の実施の形態にかかる解像度変換方法の処理の流れについて説明する。

画像の水平、垂直拡大率（それぞれＲＨ，ＲＶとする）は第１の実施の形態同様、入力信号の解像度および表示装置（図示せず）の解像度から決定される（s5.1）。

続いて第１の実施の形態同様、ＮｘＭ（例えばＮ，Ｍともに8）画素単位のブロックサ
イズでＤＣＴ等の直交変換処理を行って、時間空間領域の信号から周波数領域の信号へ変換する（s5.2）。

そして第１の実施の形態同様、図４に示すように、各ブロックの右側及び下側の高周波領域成分のさらに外側に擬似的な高周波領域成分を付加する（s5.3、図4(c)の例ではＮｘＭのブロックの外側にそれぞれＸ、Ｙ画素ずつ擬似高周波領域成分を付加して(N+X)x(M+Y)のブロックサイズとしている）。ここでＮ，Ｍともに８、拡大率が上記の場合、Ｘは８
、Ｙは４となる。

さらに、第１の実施の形態同様、上記擬似的な高周波成分が付加されたブロック単位にＩＤＣＴ（逆ＤＣＴ）等の逆直交変換を行って、周波数領域の信号から時間空間領域の信号へ変換する（s5.4）。

そして本発明第２の実施の形態においては、上記拡大率（ＲＨ，ＲＶ）が予め定めた第１の閾値よりも小さい場合（s5.5）、ブロックノイズ低減処理は施されず、第１の閾値よりも大きく、第２の閾値よりも小さい場合（s5.6）、第１のブロックノイズ低減処理が施される（s5.7）。またさらに第２の閾値よりも大きい場合、第２のブロックノイズ低減処理が施される(s5.8)。ただし、第１の閾値は第２の閾値よりも小さいものとする。

ここで、上記第１のブロックノイズ低減処理および第２のブロックノイズ低減処理について説明する。第１のブロックノイズ低減処理は、比較的ブロックノイズの発生が弱い場合に好適な処理を施し、第２のブロックノイズ低減処理は、ブロックノイズが強く発生している場合に好適な処理を施す。

上記第１のブロックノイズ低減処理の例としては、例えばメディアンフィルタ処理を施す。ここで該メディアンフィルタ処理を施す場合の例について図３を参照して説明する。

図３の左図は垂直方向のブロック境界、図３の右図は水平、垂直方向ともに境界（コーナー）の場合について示している。垂直方向（水平方向の場合ももちろん同様）のブロック境界にある画素Ｓ２は、その両側の画素Ｓ１、Ｓ３を含めた３画素のうち、真中の画素レベルの画素値により置き換えられる。例えば、Ｓ１の画素レベルが３０、Ｓ２の画素レベルが５０、Ｓ３の画素レベルが４０であれば、Ｓ３の画素レベル４０が境界にある画素Ｓ２の位置の画素値として置き換えられる。また、水平、垂直方向ともに境界である画素Ｓ３は同様に、その周辺画素Ｓ１、Ｓ２、Ｓ４、Ｓ５を含めた５画素のうち真中の画素レベルの値により置き換えられる。

また、上記第２のブロックノイズ低減処理の例としては、例えば本発明第１の実施の形態で説明した平均化処理（ボックスカーローパスフィルター）を用いる。

上述したように、第１、第２のブロックノイズ低減処理として、それぞれメディアンフィルタ、平均化処理を用いる例について説明したが、本発明第２の実施の形態においては、このブロックノイズ低減処理の方法は、第１のブロックノイズ低減処理が比較的ブロックノイズの発生が弱い場合に好適な処理であり、第２のブロックノイズ低減処理が、ブロックノイズが強く発生している場合に好適な処理である限り、その他の方法でも良い。本発明第２の実施の形態は、このブロックノイズ低減処理方法により制限されない。

そして本発明第２の実施の形態にかかる解像度変換装置の構成例については、本発明第１の実施の形態と同様であるため説明を省略する。

本発明の第1の実施の形態にかかる解像度変換装置の構成例を示すブロック図である。本発明の第１の実施の形態にかかる解像度変換方法について説明するためのフロー図である。本発明の実施の形態にかかるブロックノイズ低減処理について説明するための概念図である。本発明の実施の形態にかかる直交変換手段・逆直交変換手段でなされる処理について説明するための概念図である。本発明第２の実施の形態にかかる解像度変換方法について説明するためのフロー図である。

符号の説明

1.1 直交変換手段
1.2 擬似高周波成分付加手段
1.3 逆直交変換手段
1.4 画像処理手段
1.5 制御手段

Claims

画像の解像度を、直交変換を用いて変換する解像度変換方法において、該画像の拡大倍率に応じてブロックノイズ低減処理を行うことを特徴とする解像度変換方法。
前記画像の拡大倍率が、所定倍率以上のときはブロックノイズ低減処理を行い、該所定倍率未満のときには該ブロックノイズ低減処理を行わない請求項１記載の解像度変換方法。
前記画像の拡大倍率が、所定範囲の倍率であるときには第１のブロックノイズ低減処理
を行い、該所定範囲より大きい倍率のときには該第１のブロックノイズ低減処理とは異な
る第２のブロックノイズ低減処理を行い、該所定範囲より小さい倍率のときにはブロックノイズ低減処理を行わない請求項１記載の解像度変換方法。
画像の解像度を変換する解像度変換装置において、
入力信号を直交変換を用いて周波数領域の信号に変換する直交変換手段と、
前記変換された周波数領域の信号の高周波領域側に、前記画像の拡大率に応じた擬似高周波領域成分を生成する擬似高周波成分付加手段と、
前記擬似高周波領域成分が付加された信号を逆直交変換を用いて時間空間領域の信号へ変換する逆直交変換手段と、
前記画像の拡大率に応じてブロックノイズ低減処理を行う画像処理手段と、
前記画像の拡大率に応じて前記直交変換手段、擬似高周波成分付加手段、逆直交変換手段及び画像処理手段を制御する制御手段と、
を有することを特徴とする解像度変換装置。
前記制御手段は、前記画像の拡大倍率が所定倍率以上のときはブロックノイズ低減処理を行い、該所定倍率未満のときには該ブロックノイズ低減処理を行わないよう前記画像処理手段を制御する機能を有する請求項４に記載の解像度変換装置。
前記制御手段は、前記画像の拡大倍率が、所定範囲の倍率であるときは第１のブロック
ノイズ低減処理を行い、該所定範囲より大きい倍率のときには該第１のブロックノイズ低
減処理とは異なる第２のブロックノイズ低減処理を行い、該所定範囲より小さい倍率のときにはブロックノイズ低減処理を行わないよう前記画像処理手段を制御する機能を有する請求項４に記載の解像度変換装置。