JPH11514122A - 固定サイズブロックプロセッサを用いた大型カーネルフィルタリング - Google Patents

固定サイズブロックプロセッサを用いた大型カーネルフィルタリング

Info

Publication number
JPH11514122A
JPH11514122A JP10509667A JP50966798A JPH11514122A JP H11514122 A JPH11514122 A JP H11514122A JP 10509667 A JP10509667 A JP 10509667A JP 50966798 A JP50966798 A JP 50966798A JP H11514122 A JPH11514122 A JP H11514122A
Authority
JP
Japan
Prior art keywords
filter
block
blocks
generating
small
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10509667A
Other languages
English (en)
Inventor
エイ. ウォバー,モニブ
Original Assignee
ポラロイド コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ポラロイド コーポレイション filed Critical ポラロイド コーポレイション
Publication of JPH11514122A publication Critical patent/JPH11514122A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 画像化システムのハードウェア能力より大きいフィルタを有するデジタル画像をフィルタリングする方法およびシステムは、大型フィルタをそれぞれがシステムによって個別に処理され得る多くの小型フィルタにサブ分割することによって作動し得る。方法は、デジタル画像を所定サイズのデータブロックに区分するステップと、隣接するデータブロックを所定の画素数だけ重複させるステップと、予め選択されたフィルタカーネルを提供するステップと、フィルタカーネルの予め選択された成分群を処理することによって小型フィルタを生成するステップと、小型フィルタのそれぞれを各重複データブロックに与えて、成分データブロックを生成するステップと、所定の特定基準に従って該成分データブロックをマージおよび保存して、フィルタリング済デジタル画像を表すフィルタリング済データブロックを形成するステップとを包含する。

Description

【発明の詳細な説明】 固定サイズブロックプロセッサを用いた大型カーネルフィルタリング 発明の背景 1.発明の分野 本発明は、一般に、デジタル画像処理のための改良された方法および装置に関 する。詳しくは、本発明は、従来、大き過ぎるため備えられた(resident)ブロ ック処理ハードウェアでは使用できないと考えられているフィルタカーネルを用 いて周波数領域のデジタル画像をフィルタリングする新規の方法および装置に関 する。 2.従来技術の説明 デジタル画像は、離散フーリエ変換(DFT)または離散偶数コサイン変換(DCT)な どの周波数領域内でのフィルタリングを含む多くの方法で電子的にフィルタリン グされ得る。典型的には、DCT領域内で画像をフィルタリングすることにより、 空間領域内での数学的たたみ込みと同じ結果が得られる。 当業者には理解されるように、画像のたたみ込みは、2つの離散信号をポイン ト毎に乗算し、次に適切な限度値を超える積を合算することによって、空間領域 内でフィルタリングを行うプロセスである。一般に、たたみ込みにより、画像を 先鋭化または平滑化することによるフィルタリングが得られる。先鋭化は、特に 、画像内のエッジを表す高周波成分を高めることによってぼやけた画像の画質を 高める。平滑化は、画像のエッジをなめらかにする。 空間領域でのたたみ込みに数学的に等価な方法でDCT領域内のデジタル画像を フィルタリングするのに必要なステップは、Munib A.WoberおよびMichael L.R eischによって1993年11月30日に出願された米国特許出願第08/159,795号に詳述 されている。ステップは一般に以下のように進む。 デジタル画像は先ず、MおよびNが予め選択された整数であるとき、M×Nの画 素ブロックに区分される。これは、ブロックサイズを市販のチップの処理限度に 適合させるために行われる。例えば、8×8の処理チップブロックは、JPEG(Join t Photographic Experts Group)およびMPEG(Motion Picture Experts Group) によって設定される国際圧縮基準に適合する。隣接する画素ブロックは、典型的 には、空間領域で重複される。重複量は、フィルタのサイズおよびDCTのサイズ に依存して可変である。次に重複ブロックは、各重複ブロックのDCTを行うこと によって周波数領域のDCTマトリックスまたはブロックに変換される。 奇数の対称フィルタが選択され、先鋭化または平滑化などの特定のフィルタリ ング動作を行うために使用されるフィルタの信号値として定義されるフィルタカ ーネルによって表される。フィルタカーネルの離散奇数コサイン変換(DOCT)が行 われ、DOCT係数のDOCTマトリックスが生成される。次に、各DCTマトリックスにD OCTマトリックスを掛けるマスク乗算(すなわち、ポイント毎の乗算)によって マスク乗算マトリックスが生成される。最後に、マスク乗算されたマトリックス に逆離散コサイン変換(IDCT)が行われ、空間領域内に再構成フィルタリング済画 素ブロックを生成する。これらのIDCT係数がフィルタリング済画像を表す。 フィルタリング済ブロックのいくつかのポイントのみが保存される。フィルタ リング済ブロック内の他のポイントは無視される。詳しくは、各ブロックの保存 ポイント数は以下によって与えられる。 G=N−(K−1) (1) ここで、Gはフィルタリング後に各ブロック内に保存されるポイント数、Nはブ ロックサイズ、Kはフィルタの長さ(もしくはカーネルまたはフィルタカーネル と呼ばれる)、そして(K-1)/2は隣接するブロック間の重複量である。また、対 称であるため、フィルタ内の独立係数の数(すなわち自由度)は{K-(K-1)/2}に 等しいことに留意されたい。例えば、N=8およびK=5の場合、保存ポイント数Gは 4に等しい。つまり、ブロックサイズ8を5ポイントのフィルタと共に用いると き、各フィルタリング済ブロックから4個のフィルタリング済ポイントが保存さ れる。等式(1)から明らかなように、いかなる保存ポイントGを生成するために もNはKより大きいかまたはKに等しくなければならない、すなわち、フィルタ の長さは画素ブロックの長さより長くなってはいけない。当然ながら、上記の原 理は多次元フィルタリングにも拡大される。 従来の画像フィルタリングの1つの欠点は、利用可能なプロセッサの処理能力 が選択されたフィルタ長より小さいときに生じる。このハードウェアの制約は、 フィルタリングが空間領域で行われても周波数領域で行われても存在する。グラ フィックアートおよび医療用画像化で使用される場合などの高画質画像をフィル タリングするときは、大型フィルタ(例えば9ポイントまたは13ポイント)が所 望されることが多いが、利用可能なプロセッサは、例えば、8×8の画像データブ ロックの処理に限定され得る。 従って、本発明の主な目的は、関連するチップの処理能力よりサイズが大きい フィルタを用いて空間領域または周波数領域内のデジタル画像をフィルタリング する方法および装置を提供することである。上記のおよび他の目的は、下記の詳 細な説明および図面から明らかとなり得る。 発明の要旨 画像化システムのハードウェア能力より大きいフィルタによりデジタル画像を フィルタリングする方法およびシステムは、大型フィルタを、それぞれがシステ ムによって個別に処理され得る多くの小型フィルタにサブ分割することによって 作動し得る。この方法は、デジタル画像を所定サイズのデータブロックに区分す るステップと、隣接するデータブロックを所定画素数だけ重複させるステップと 、予め選択されたフィルタカーネルを提供するステップと、予め選択されたフィ ルタカーネル成分群を処理することによって小型フィルタを生成するステップと 、小型フィルタのそれぞれを重複データブロックのそれぞれに適用して成分デー タブロックを生成するステップと、所定の特定基準に従って成分データブロック をマージおよび保存して、フィルタリング済デジタル画像を表すフィルタリング 済データブロックを形成するステップとを包含する。 図面の簡単な説明 本発明の上述の局面および他の特徴を、添付の図面に関連して以下に詳述する 。図面において、対応する構成要素を示すためには同じ参照番号が用いられる。 図1Aは、本発明の方法のブロック図である。 図1Bは、図1の本発明の方法の1つの好適な実施形態のブロック図である。 図2〜図19Dはすべて、図1Bの好適な実施形態に関する。 図2は、0≦i≦15および0≦j≦15のとき、1画像のある領域内の9個の個別の 8×8画素ブロックを示す図である。 図3A、図3B、および図3Cは、図2の画素ブロックの水平重複を示す図である。 図4A、図4B、および図4Cは、図2の画素ブロックの垂直重複を示す図である。 図5は、図2の隣接する画素ブロックの垂直および水平重複を示す図である。 図6は、フィルタリングされた8×8画素ブロックを表す模式図である。 図7は、DCT処理前および処理後の9個の8×8画素ブロックを示す図である。 図8〜図12は、5×5ポイントの大型フィルタカーネルおよびこれから生成され る小型フィルタ係数を表す模式図である。 図13は、小型フィルタカーネルSMALL1のマトリックス表示である。 図14は、小型フィルタカーネルSMALL2のマトリックス表示である。 図15は、小型フィルタカーネルSMALL3のマトリックス表示である。 図16は、3つのフィルタリング済DCTブロックセットを生成するために3つの 小型フィルタのそれぞれによって乗算される9個の8×8DCTブロックを示す図で ある。 図17は、図16の3つのフィルタリング済8×8DCTブロックセットをIDCTを介し て空間領域に変換することを示す図である。 図18は、8×8フィルタリング済画素ブロックの保存領域の表示である。 図19Aは、図18の保存領域の左上部分のためのα値の導出の模式図である。 図19Bは、図18の保存領域の左下部分のためのβ値の導出の模式図である。 図19Cは、図18の保存領域の右上部分のためのγ値の導出の模式図である。 図19Dは、図18の保存領域の右下部分のためのμ値の導出の模式図である。 好適な実施形態の詳細な説明 本開示において詳述される主要な実施例は、DCT変換を用いた本発明の1つの 好適な実施形態に関連するが、本発明のプロセスはDCT処理に限定されない。 1.DCT 数学的処理 本セクションでは、順および逆離散コサイン変換に関連するいくつかの基本的 な概念について述べる。 画像は、典型的には、画素または画像データポイントと呼ばれる2次元のP×Q 記述子アレイよりなる。ここで、Pは画像を表す行数であり、Qは列数である。 画像は、空間領域内の画像データポイントかまたは周波数領域内の対応するDCT 係数によって表され得る。順DCTは、画像データポイントの離散偶数コサイン変 換(DECT、省略してDCTと呼ばれる)を行うことによってDCT係数を生成する。反 対に、逆離散偶数コサイン変換(IDECT、省略してIDCTと呼ばれる)は、DCT係数 の逆離散コサイン変換を行うことによってIDCT係数(すなわち再構成画像データ ポイント)を生成する。 当業者には理解されるように、DCT変換はいかなる次元においても行われ得る 。以下の1次元の例では、N個の画素データポイントs(j)の行(もっと一般的に はセグメントと呼ばれる)が、以下の等式(2)により空間領域から周波数領域内 の対応するDCT係数S(v)に変換され得る。 ここで、jは整数、vは整数、 0≦v≦(N-1)、 s(j)はセグメント内の画像データポイントのマトリックスを表し、 S(v)は対応するDCT係数マトリックスを表し、 Nはセグメント内の画像データポイント数を表し、 v=0のときCv=1/√2、そして v≠0のときCv=1である。 DCT係数S(v)は等式(2)から決定される。等式(2)では、N個の画像データポイ ントを有するセグメントに対して、正規化されたコサイン基礎項が引き出される 。v=0ではS(0)の値は、0≦j≦(N-1)のとき画像データポイントs(j)のそれぞれに 基礎関数のコサイン項を掛けたものを加算することによって決定される。v=1で はS (1)の値は、画像データポイントs(j)にコサイン項を掛けたものを合算すること により決定される。先ずvについて、次にjについてインデックス化するこの手 順が、DCT係数S(0)からS(N-1)までの導出に対して繰り返される。 対応する1次元IDCTの等式は、0≦j≦7のとき以下で表される。 ここで、s'(j)は再構成画像データポイントを表す。 1次元離散奇数コサイン変換(DOCT)マトリックスH(u)は、0≦v≦(N-1)のとき 等式(4)で示される。等式(4)では、h(i)は奇数対称フィルタカーネルである。 ここで、Nは使用されるDCTブロックのサイズを表し、 |j|〉(k-1)/2のときh(j)=0、 J=0のときdj=2、 i=1,2,...(N-1)のときdj=1、 j、uおよびNは整数、そして kはカーネルサイズである。 2.方法 1次元処理 利用可能なプロセッサの処理能力より大きいフィルタを用いて画像をフィルタ リングする本発明のフィルタリング方法の1つの好適な実施形態のブロック図を 図1に示す。このプロセッサは、1次元または2次元の画像データポイントブロ ックを処理するために使用され得る標準8×8DCTチップ(例えば、MPEGまたはJPE Gチップ)である。ブロック10でデジタル画像が、例えばデジタルカメラ、スキ ャナー、またはメモリから得られる。 ブロック12で、画像は8ポイント画素ブロックに区分される。このとき、ブロ ック14で、隣接する画素ブロック間で4画素重複が与えられる。例えば、第1の 8ポイントブロックは{s0,s1,s2,s3,s4,s5,s6,s7}として表され、第2の 重複8ポイントブロックは{s4,s5,s6,s7,s8,s9,s10,s11}として表され得 る、などである。ブロック16で、各8ポイント画素ブロックにDCTが行われる。 ブロック22で、大型フィルタ(すなわち、ハードウェア処理能力より大きい、こ の場合には、9ポイント対称フィルタ)が選択される。典型的には、この特定の 画像化システムおよび問題の適用に対して大型フィルタ値が決定され、これらの 値は検索が容易なように長期メモリに格納され得る。しかし、通常の場合には、 いかなるサイズのプロセッサより大きいものであればいかなるサイズのフィルタ でも選択され得る。 選択された9ポイント対称フィルタは、以下の集合として表され得る。 LARGE={f4,f3,f2,f1,f0,f1,f2,f3f4} (5) 9ポイント画素ブロックは以下の集合として表され得る。 IMAGE={s-2,s-1,s0,s1,s2,s3,s4,s5,s6,} (6) また、フィルタリングされた中央画素s2を決定するためのIMAGEにLARGEを掛ける ポイント毎のフィルタリングにより以下が得られる。 s2={f4s-2+f3s-1+f2s0+f1s1+f0s2+f1s3+f2s4+f3s5+f4s6} (7) ここで、s2はフィルタリングされた中央要素s2を表す。 9ポイント対称フィルタは、5の自由度を有する5ポイントフィルタカーネル {f0,f1,f2,f3,f4}として表され得る。従って、9ポイントフィルタを、利用 可能なハードウェアによって容易に処理され得る多くのもっと小さいフィルタに 変換する本発明の方法の目的を達成するためには、選択される小型フィルタは、 9ポイントフィルタを適切にエミュレートするために5の自由度を持たなければ ならない。 小型フィルタのうちの1つであるSMALL1が、標準8×8ブロックプロセッサを用 いて実現され得る5ポイントフィルタとして選択される。 SMALL1={p0 2,p0 1,p0 0,p0 1,p0 2} (8) SMALL1は、3の自由度{p0 0,p0 1,p0 2}を有するフィルタカーネルによって表さ れ得る。中央画素要素CENTERを決定するためのIMAGEにSMALL1を掛けるポイント 毎 のフィルタリングにより、以下が生成される。 CENTER={p0 2s0+p0 1s1+p0 0s2+p0 1s3+p0 2s4} (9) 本方法によれば、大型フィルタをエミュレートするために小型フィルタのいかな る組み合わせに対しても合計5の自由度を得るためには、さらに2度の自由度が 必要である。例えば、第2の5ポイントの小型フィルタ、 SMALL2={p1 2,p1 1,p1 0,p1 1,p1 2} (10) は、中央要素p1 0がゼロに設定されるとき2度の自由度を与える。対称性を維持 するためには、SMALL2はIMAGEの左右両側に適用されるべきである。処理は9ポ イントフィルタリングに等価であるため、IMAGEの9個のポイントがそれぞれS2 でこれらの効果に対して考慮される。従って、SMALL2によってポイント毎にフィ ルタリングされるIMAGEの左側は以下によって表される。 LEFT={p1 2s-2+p1 1s-1+p1 0s0+p1 1s1+p1 2s2} (11) ここで、p1 0=0であり、SMALL2によってポイント毎にフィルタリングされるIMAGE の右側は以下によって表される。 RIGHT={p1 2s2+p1 1s3+p1 0s4+p1 1s5+p1 2s6} (12) ここで、p1 0=0である。小型フィルタのいずれも、システムの8ポイント処理能 力より大きい画素群の処理は行わない。 s2の9ポイントフィルタリングをエミュレートするためには、2つの小型フィ ルタSMALL1およびSMALL2による処理の効果を組み合わすことができ、これにより 以下が得られる。 s2=CENTER+LEFT+RIGHT ={p0 2s0,p0 1s1,p0 0s2,p0 1s3,p0 2s4} +{p1 2s-2+p1 1s-1+p1 0s0+p1 1s1+p1 2s2} +{p1 2s2+p1 1s3+p1 0s4+p1 1s5+p1 2s6} (14) 等式(14)を解くことにより、LARGEフィルタカーネル係数{f0,f1,f2,f3,f4} と、SMALL1およびSMALL2フィルタカーネル係数{p0 0,p0 1,p0 2}および{p1 1,p1 2 }それぞれとの間の以下の関係が得られる。 f0=p1 1、 f2=p0 2、 f3=p1 1、 f4=p1 2、 p0 0=f0-2f4、 p0 1=f1-f3、 p0 2=f2、 p1 1=f3、および p1 2=f4 大型フィルタ係数は既知の値であるため、小型フィルタ係数は容易に得られる。 小型フィルタが生成されると、図1のブロック26で小型フィルタSMALL1、SMAL L2、...SMALLNのそれぞれのDOCTが行われ、それぞれDOCTフィルタH1(v)、H2(v) 、...HN(v)が生成される。ブロック18では、マスク乗算されるDCTブロックX1、X 2、X3、X4、X5、X6、X7およびX8それぞれに、DOCTフィルタH1、 H2、...HNのそ れぞれ1つを掛けて、マスク乗算ブロックX1、X2、...X8を生成する。この時点で 、ブロック20で、各マスク乗算ブロックX1、X2、...X8にIDCTが行われ、再構成 画像データポイントの対応する空間領域ブロックs'(j)を生成する。DCT領域ブロ ックは大文字で示され、空間領域ブロックは小文字で示される。本実施例での本 来の画素ブロックのそれぞれは、ここでは、各DCTブロックにDOCTフィルタH1お よびH2を掛けるマスク乗算の結果である3個の個別の8ポイントフィルタリング 済ブロックによって表される。本来の8ポイントブロックそれぞれに対応する3 個のフィルタリング済ブロックはここで、図1にブロック28で示すようにまとめ てマージされて単一の8ポイントフィルタリング済ブロックが形成されなければ ならない。 上述の手順が、すべての画素がフィルタリングされ保存されるまで各8ポイン ト画像ブロックに対して行われる。当然ながら、画像の左右エッジの画素は従来 通りに、例えば隣接する画素からの情報を外挿することによって、または単に隣 接する画素値を複製することによって取り扱われ得る。2次元処理 上述の1次元の数学的処理は、当業者には理解されるように、多次元に容易に 拡大され得る。さらに、小型フィルタカーネルの自由度の和を大型フィルタカー ネルの合計自由度と等しくするという条件を維持する場合、小型フィルタの選択 (および数)は可変である。 図1のブロック図は、多次元での方法を示す場合も等しく適用可能である。標 準8×8DCTチップは、2次元の画像データポイントブロックを処理し得る。先ず 、ブロック10で、デジタル画像が、例えばデジタルカメラ、スキャナー、または メモリから得られる。ブロック12で、画像は8×8画素ブロックに区分される。こ の後、ブロック14で、隣接画素ブロックが各次元で4画素だけ重複される。重複 手順を図2〜図5に示す。0≦i≦15および0≦j≦15のとき画像の本来の部分は、 図2に示す9個の8×8重複画素ブロック(ブロックx0,x1,x2,x3,x4,x5,x6 ,x7およびx8)に分割される。このとき、ブロックx0は0≦i≦7、0≦j≦7に対す る値を含み、ブロックx1は4≦i≦11、0≦j≦7に対する値を含む、などである。 図3Aは、ブロックx1のブロックx0およびx2との4ポイント水平重複を示す。図3B は、ブロックx4のブロックx3およびx5との4ポイント水平重複を示す。そして図 3Cは、ブロックx7のブロックx6およびx8との4ポイント水平重複を示す。図4Aは 、ブロックx3のブロックx0およびx6との4ポイント垂直重複を示す。図4Bは、ブ ロックx4のブロックx1およびx7との4ポイント垂直重複を示す。そして図4Cは、 ブロックx5のブロックx2およびx8との4ポイント垂直重複を示す。図5は、図2 の9個のブロックの水平および垂直両方の4ポイント重複の結果を示す。 図2に示す9個の8×8重複画素ブロックx0,x1,x2,x3,x4,x5,x6,x7およ びx8はそれぞれ、図1のブロック16で離散コサイン変換が行われ、図7に示すよ うに、9個のそれぞれ対応する8×8DCTブロックX0,X1,X2,X3,X4,X5,X6,X 7およびX8を生成する。ブロック18でのマスク乗算を行う前に、フィルタを選択 し処理しなければならない。 ブロック22で、大型フィルタ(すなわち、利用可能なハードウェア処理能力よ り大きなフィルタ)が選択される。この実施例では、標準JPEG8×8ポイントプロ セッサによる処理のために、9×9ポイント奇数対称フィルタが選択される。 選択された大型フィルタは、ブロック24で、小型フィルタのサブセットに分割 される。画像処理に必要な小型フィルタの数を最小限にすることによって、最大 効率が得られるが、場合によっては、所望であれば小型フィルタを追加して使用 することもできる。2次元処理において、合同して大型フィルタをエミュレート する適切な小型フィルタを生成するプロセスについて以下に述べる。当業者であ れば、以下に述べる2次元処理を、所望に応じて高次元処理に容易に拡大し得る 。 図8〜図15は、9×9フィルタを用いた8×8画像データポイントブロックの2次 元フィルタリングのために、小型フィルタ係数がどのように決定されるかを理解 するための補助となるものである。図13は、第1の小型フィルタSMALL1に対応す る3×3フィルタカーネルを示す。図14は、第2の小型フィルタSMALL2に対応する 3×3フィルタカーネルを示す。そして図15は、第3の小型フィルタSMALL3に対応 する3×3フィルタカーネルを示す。既知の大型フィルタ係数から小型フィルタの 様々な係数が導出される。図8〜図12のそれぞれは、選択された9×9の大型フィ ルタのフィルタカーネルを示す。上述のような連立方程式を解くことを含む数学 的処理により、既知の大型フィルタ係数によって小型フィルタ係数{a,b,c,d ,e,g,k,l,m,n,p,w,x,y,z}が生成される。 小型フィルタが生成されると、図1のブロック26で、小型フィルタSMALL1、SM ALL2、...SMALLNのそれぞれの離散奇数コサイン変換(DOCT)が行われ、DOCTフィ ルタH1(v,u),H2(v,u),...HN(v,u)が生成される。2次元画像ブロックのDOCTを 生成する方法は、例えば上述の米国特許第08/159.795号に記載されているように 当該分野では既知である。小型フィルタの8×8画素ブロックとの乗算を促進する ために、小型フィルタにはゼロが補填される。次に、0≦u≦(N-1)および0≦v≦( N-1)のとき、以下のように小型フィルタのそれぞれに2次元DOCTが行われる。 ここで、hp(j,i)は2次元の補填された小型フィルタであり、 Nは第1次元でのhp(j,i)の要素数であり、 Mは第2次元でのhp(j,i)の要素数であり、 i =0のときdi=1/2、 i =1,2,...(N-1)のときdi=1、 j =0のときdj=1/2、 j =1,2,...(M-1)のときdj=1、 i、j、u、v、N、Mは整数、そして |i|または|j|〉(k-1)/2のときkp(j,i)=0である。 本実施例では、hp(j,i)は補填された小型フィルタSMALLN(Nは整数)を表し 、H(v,u)はH1(v,u),H2(v,u),...HN(v,u)に対して計算される。 図1のブロック18では、マスク乗算されるDCTマトリックスX0,X1,X2,X3,X 4,X5,X6,X7およびX8のそれぞれにDOCTマトリックスH(v,u)のそれぞれ1つを 掛けて、これにより、図16に示されるマスク乗算ブロック(X00,X10,...X82)を 生成する。この時点で、ブロック20で、各マスク乗算ブロック(X00,X10,...X8 2 )にIDCTが行われ、図17に示すような対応する空間領域ブロック(x00,x10,... x82)が生成される。DCT領域ブロックは大文字で示され、空間領域ブロックは小 文字で示されることに留意されたい。本来の画素ブロックのそれぞれは、ここで は、各DCTブロックに3個のDOCTフィルタH(v,u)を掛けるマスク乗算の結果であ る3個の個別の8×8フィルタリング済ブロックによって表される。本来の8×8ブ ロックそれぞれに対応する3個のフィルタリング済ブロックはここで、図1にブ ロック28で示されるように、まとめてマージされて単一の8×8フィルタリング済 ブロックが形成されなければならない。 各8×8画素ブロックの完全な処理の結果は、図18に示すような4×4のフィルタ リングおよび保存された領域である。この保存された領域は、4個のα値を有す る左上部分と、4個のγ値を有する右上部分と、4個のβ値を有する左下部分と 、4個のμ値を有する右下部分とに分割される。保存された領域の各サブ部分は 以下のように個別に計算される。 4個のα値は、i={3,4}およびj={3,4}のとき図19Aに示すブロックのそれぞれを 評価することによって決定される。9個のブロックx40,x11,x12,x41,x42,x41 ,x32,x31およびx02のそれぞれは、図8に示すようにブロック20(図1参照) でのIDCTの結果から得られる。具体的には、i=3およびj=3のときは、α(0,0)は 、x40(3,3),x11(3,5),x12(5,5),x41(5,3),x42(5,5),x41(3,5),x32(5,5), x31(5,3)およびx02(5,5)の和に等しい。i=3およびj=4のときは、α(0,1)は、x40 (3,4),x11(3,6),x12(5,6),x41(5,4),x42(5,6),x41(3,6),x32(5,6),x31(5 ,4)およびx02(5,6) の和に等しい。i=4およびj=3のときは、α(1,0)は、x40(4,3),x11(4,5),x12(6 ,5),x41(6,3),x42(6,5),x41(4,5),x32(6,5),x31(6,3)およびx02(6,5)の和 に等しい。i=4およびj=4のときは、α(1,1)は、x40(4,4),x11(4,6),x12(6,6) ,x41(6,4),x42(6,6),x41(4,6),x32(6,6),x31(6,4)およびx02(6,6)の和に等 しい。 4個のβ値は、i={3,4}およびj={5,6}のとき図19Bに示すブロックのそれぞれ を評価することによって決定される。ブロックx40,x41,x42,x41,x72,x71, x62,x31およびx32のそれぞれは、図8に示すようにブロック20(図1参照)でのI DCTの結果から得られる。具体的には、i=3およびj=5のときは、β(0,0)は、x40( 3,5),x41(3,3),x42(5,3),x41(5,5),x72(5,3),x71(3,3),x62(5,3),x31(5, 5)およびx32(5,3)の和に等しい。i=3およびj=6のときは、β(0,1)は、x40(3,6) ,x41(3,5),x42(5,4),x41(5,6),x72(5,4),x71(3,4),x62(5,4),x31(5,6)お よびx32(5,4)の和に等しい。i=4およびj=5のときは、β(1,0)は、x40(4,5),x41 (4,3),x42(6,3),x41(6,5),x72(6,3),x71(4,3),x62(6,3),x31(6,5)およびx32 (6,3)の和に等しい。i=4およびj=6のときは、β(1,1)は、x40(4,6),x41(4,4) ,x42(6,4),x41(6,6),x72(6,4),x71(4,4),x62(6,4),x31(6,6)およびx32(6, 4)の和に等しい。 4個のγ値は、i={5,6}およびj={3,4}のとき図19Cに示すブロックのそれぞれ を評価することによって決定される。ブロックx40,x41,x42,x41,x52,x51, x22,x11およびx12のそれぞれは、図8に示すようにブロック20(図1参照)でのI DCTの結果から得られる。具体的には、i=5およびj=3のときは、γ(0,0)は、x40( 5,3),x41(3,3),x42(3,5),x41(5,5),x52(3,5),x51(3,3),x22(3,5),x11(5, 5)およびx12(3,5)の和に等しい。i=5およびj=4のときは、γ(0,1)は、x40(5,4) ,x41(3,4),x42(3,6),x41(5,6),x52(3,6),x51(3,4),x22(3,6),x11(5,6)お よびx12(3,6)の和に等しい。i=6およびj=3のときは、γ(1,0)は、x40(6,3),x41 (4,3),x42(4,5),x41(6,5),x52(4,5),x51(4,3),x22(4,5),x11(6,5)およびx12 (4,5)の和に等しい。i=6およびj=4のときは、γ(1,1)は、x40(6,4),x41(4,4) ,x42(4,6),x41(6,6),x52(4,6),x51(4,6),x22(4,6),x11(6,6)およびx12(4, 6)の和に等しい。 4個のμ値は、i={5,6}およびj={5,6}のとき図19Dに示すブロックのそれぞれ を評価することによって決定される。ブロックx40,x41,x72,x71,x82,x51, x52,x41およびx42のそれぞれは、図8に示すようにブロック20(図1参照)でのI DCTの 結果から得られる。具体的には、i=5およびj=5のときは、μ(0,0)は、x40(5,5) ,x41(3,5),x72(3,3),x71(5,3),x82(3,3),x51(3,5),x52(3,3),x41(5,3)お よびx42(3,3)の和に等しい。i=5およびj=6のときは、μ(0,1)は、x40(5,6),x41 (3,6),x72(3,4),x71(5,4),x82(3,4),x51(3,6),x52(3,4),x41(5,4)よびx42 (3,4)の和に等しい。i=6およびj=5のときは、μ(1,0)は、x40(6,5),x41(4,5), x72(4,3),x71(6,3),x82(4,3),x51(4,5),x52(4,3),x41(6,3)およびx42(4,5) の和に等しい。i=6およびj=6のときは、μ(1,1)は、x40(6,6),x41(4,6),x72(4 ,4),x71(6,4),x82(4,4),x51(4,6),x52(4,4),x41(6,4)およびx42(4,4)の和 に等しい。 上述の手順が、画像のすべての画素がフィルタリングされ保存されるまで各8 ×8画像ブロックに対して行われる。当然ながら、画像の縁部の画素は従来通り に、例えば隣接する画素からの情報を外挿することによって、または単に隣接す る画素値を複製することによって取り扱われ得る。 上述の実施形態は単に本発明を例示するものであり、本発明の原理を適用し得 る制限された数の可能な特定の実施形態を表すものであることは理解されたい。 これらの原理に従って多くの様々な他の構成が、請求の範囲に示されるような本 発明の精神および範囲から外れることなく当業者によって容易に考案され得る。

Claims (1)

  1. 【特許請求の範囲】 1.デジタル画像をフィルタリングする方法であって、 該画像を所定のサイズのデータブロックに区分するステップと、 隣接する該データブロックを所定の画素数だけ重複させるステップと、 予め選択されたフィルタカーネルを提供するステップと、 該フィルタカーネルの予め選択された成分群を処理することによって小型フィ ルタを生成するステップと、 該小型フィルタのそれぞれを該重複データブロックのそれぞれに適用して、成 分データブロックを生成するステップと、 所定の特定基準に従って該成分データブロックをマージおよび保存して、フィ ルタリング済デジタル画像を表すフィルタリング済データブロックを形成するス テップとを包含する方法。 2.デジタル画像をフィルタリングする方法であって、 該画像を所定のサイズのデータブロックに区分するステップと、 隣接する該データブロックを所定の画素数だけ重複させるステップと、 該重複データブロックのそれぞれに離散コサイン変換(DCT)を行うことによっ てDCTブロックを生成するステップと、 予め選択されたフィルタカーネルを提供するステップと、 該フィルタカーネルの予め選択された成分群を処理することによって小型フィ ルタを生成するステップと、 該小型フィルタのそれぞれに離散奇数コサイン変換(DOCT)を行うことによって DOCTフィルタを生成するステップと、 各DCTブロックに各DOCTフィルタを掛けるマスク乗算を行うことによってマス ク乗算ブロックを生成するステップと、 各該マスク乗算ブロックに逆離散コサイン変換(IDCT)を行うことによってIDCT ブロックを生成するステップと、 所定の特定基準に従って該IDCTブロックをマージおよび保存して、フィルタリ ング済デジタル画像を表すフィルタリング済データブロックを形成するステップ とを包含する方法。 3.デジタル画像をフィルタリングする方法であって、 該画像を所定のサイズのデータブロックに区分するステップと、 隣接する該データブロックを所定の画素数だけ重複させて重複ブロックを生成 するステップと、 所定の自由度を有する大型フィルタカーネルによって表される、所定の大型フ ィルタ係数を有する大型フィルタを提供するステップと、 小型フィルタ係数を有する多くの小型フィルタを生成して、該大型フィルタ係 数と該小型フィルタ係数との間に数学的な関係を確立することによって該大型フ ィルタをエミュレートする、小型フィルタを生成するステップと、 該重複ブロックを該小型フィルタによりポイント毎にフィルタリングすること によって成分データブロックを生成するステップと、 該成分データブロックを組み合わせることによって該大型フィルタによる該画 像のフィルタリングをエミュレートするステップとを包含する方法。 4.前記小型フィルタを生成するステップは、 前記画像を前記大型フィルタによりポイント毎にフィルタリングすることによ って、前記大型フィルタ係数によって表される1つのフィルタリング済画素値を 決定するステップと、 前記所定の自由度を得る(account)ことによって該大型フィルタをエミュレ ートするために該小型フィルタを選択するステップと、 該小型フィルタ係数によって表される値を得るために、該小型フィルタをポイ ント毎のフィルタリングを介して該画像の一部に適用するステップと、 該1つのフィルタリング済画素値を該値に等しくすることによって該小型フィ ルタ係数を決定し、次に該等式に該大きなカーネル係数を代入するステップとを 包含する、請求項3に記載の方法。 5.前記重複データブロックのそれぞれに離散コサイン変換(DCT)を行うこと によってDCTブロックを生成するステップと、 前記小型フィルタのそれぞれに離散奇数コサイン変換(DOCT)を行うことによっ てDOCTフィルタを生成するステップと、 該DCTブロックに該DOCTフィルタを掛けるマスク乗算を行うことによってマス ク乗算ブロックを生成するステップと、 該マスク乗算ブロックのそれぞれに逆離散コサイン変換(IDCT)を行うことによ ってIDCTブロックを生成するステップと、 所定の基準に従って該IDCTブロックをマージおよび保存して、フィルタリング デジタル画像を表すフィルタリング済データを形成する、マージおよび保存する ステップとをさらに包含する、請求項3に記載の方法。 6.前記マージおよび保存するステップは、小型フィルタの数に等しいかまた はこれより多い数のIDCTブロック数を選択するステップを包含する、請求項5に 記載の方法。 7.前記マージおよび保存するステップは、前記選択されたIDCTブロックの各 1つから1つの予め選択された画素値を組み合わせることによって、前記フィル タリング済データを得るステップをさらに包含する、請求項6に記載の方法。
JP10509667A 1996-08-13 1996-10-31 固定サイズブロックプロセッサを用いた大型カーネルフィルタリング Pending JPH11514122A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US08/696,172 1996-08-13
US08/696,172 US5748792A (en) 1996-08-13 1996-08-13 Large kernel filtering using a fixed-size block processor
PCT/US1996/017634 WO1998007117A1 (en) 1996-08-13 1996-10-31 Large kernel filtering using a fixed-size block processor

Publications (1)

Publication Number Publication Date
JPH11514122A true JPH11514122A (ja) 1999-11-30

Family

ID=24796000

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10509667A Pending JPH11514122A (ja) 1996-08-13 1996-10-31 固定サイズブロックプロセッサを用いた大型カーネルフィルタリング

Country Status (4)

Country Link
US (1) US5748792A (ja)
EP (1) EP0855066A1 (ja)
JP (1) JPH11514122A (ja)
WO (1) WO1998007117A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036731A (ja) * 1999-07-21 2001-02-09 Nec Corp デジタル画像処理方法、デジタル画像処理装置、および記録媒体
JP2016035636A (ja) * 2014-08-01 2016-03-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991865A (en) * 1996-12-31 1999-11-23 Compaq Computer Corporation MPEG motion compensation using operand routing and performing add and divide in a single instruction
WO1998051084A1 (de) * 1997-05-07 1998-11-12 Siemens Aktiengesellschaft Verfahren zur codierung und decodierung eines digitalisierten bildes
US6246783B1 (en) * 1997-09-17 2001-06-12 General Electric Company Iterative filter framework for medical images
JP3748489B2 (ja) * 1998-03-11 2006-02-22 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US6421097B1 (en) * 1998-07-31 2002-07-16 Intel Corporation Method and apparatus for reducing flicker in a video image sequence
US6798910B1 (en) 2001-05-17 2004-09-28 The United States Of America As Represented By The Secretary Of The Air Force Self-optimizing edge detection in blurred, high-noise images
ES2309379T3 (es) * 2002-11-15 2008-12-16 Qualcomm Incorporated Aparato y procedimiento para codificacion por multiples descripciones.
EP1573653B1 (en) * 2002-11-15 2013-07-10 Warner Bros. Entertainment Inc. Method for digitally rendering skin or like materials
JP3860545B2 (ja) * 2003-02-07 2006-12-20 誠 小川 画像処理装置及び画像処理方法
US7995849B2 (en) * 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
KR102668253B1 (ko) * 2018-12-24 2024-05-21 구글 엘엘씨 비트레이트 감소를 위한 비디오 스트림 적응형 필터링

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4442454A (en) * 1982-11-15 1984-04-10 Eastman Kodak Company Image processing method using a block overlap transformation procedure
US4918742A (en) * 1988-04-22 1990-04-17 The Boeing Company Image processing using multi-pass convolution with small kernels
US4984286A (en) * 1989-12-12 1991-01-08 Analogic Corporation Spatial filter system
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
US5563718A (en) * 1993-11-30 1996-10-08 Polaroid Corporation Image coding by use of discrete cosine transforms

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036731A (ja) * 1999-07-21 2001-02-09 Nec Corp デジタル画像処理方法、デジタル画像処理装置、および記録媒体
JP2016035636A (ja) * 2014-08-01 2016-03-17 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
US5748792A (en) 1998-05-05
WO1998007117A1 (en) 1998-02-19
EP0855066A1 (en) 1998-07-29

Similar Documents

Publication Publication Date Title
EP0731957B1 (en) Method for scaling and filtering images using discrete cosine transforms
EP1227437A2 (en) A multiresolution based method for removing noise from digital images
KR19990064158A (ko) 이산 코사인 변환을 사용한 이미지 크기 재설정 방법 및 장치
JPH06326987A (ja) データ圧縮を伴った画像を表現する方法及び装置
WO1995015531A1 (en) Image coding by use of discrete cosine transforms
JPH11514122A (ja) 固定サイズブロックプロセッサを用いた大型カーネルフィルタリング
EP0720104A2 (en) Apparatus for inverse discrete cosine transform
JPH11510339A (ja) フィルタリングを有するjpeg圧縮回路
US6870885B2 (en) Apparatus and method for decoding and computing a discrete cosine transform using a butterfly processor
JP4019201B2 (ja) ディスクリートコサイン変換を用いた色調回復のためのシステムおよび方法
US8873884B2 (en) Method and system for resizing an image
EP0817098B1 (en) Wavelet transform method and apparatus
Van De Ville et al. Least-squares spline resampling to a hexagonal lattice
US6678708B1 (en) Method and apparatus for two-dimensional separable symmetric filtering
CN110365866B (zh) 彩色图像加密方法和装置
EP0278175B1 (en) Image processing
US5506693A (en) Addressing mechanism for interfacing spatially defined imagery data with sequential memory
WO1995015530A1 (en) Image coding by use of discrete cosine transforms
US6021228A (en) Integer-only short-filter length signal analysis/synthesis method and apparatus
KR102337745B1 (ko) 이중 도메인 뉴럴 네트워크 기반 영상 내 모아레 무늬 제거 장치 및 방법
EP1057142A1 (en) Image processing method using a block overlap transformation procedure
US6882752B1 (en) Image compression and expansion apparatus and pixel number increasing apparatus
Merhav et al. A fast algorithm for DCT domain filtering
KR100775422B1 (ko) 비균일 표본화된 영상의 압축/복원 방법
Foltz et al. Diagonal forms of symmetric convolution matrices for asymmetric multidimensional sequences