JP4558409B2 - Filter device, filtering method, and filtering program - Google Patents
Filter device, filtering method, and filtering program Download PDFInfo
- Publication number
- JP4558409B2 JP4558409B2 JP2004243487A JP2004243487A JP4558409B2 JP 4558409 B2 JP4558409 B2 JP 4558409B2 JP 2004243487 A JP2004243487 A JP 2004243487A JP 2004243487 A JP2004243487 A JP 2004243487A JP 4558409 B2 JP4558409 B2 JP 4558409B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- processing
- resolution conversion
- image signal
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 141
- 238000001914 filtration Methods 0.000 title description 48
- 238000006243 chemical reaction Methods 0.000 claims description 159
- 230000015654 memory Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 14
- 101150065825 CMPK1 gene Proteins 0.000 description 10
- 101100453619 Danio rerio cmpk gene Proteins 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101000712600 Homo sapiens Thyroid hormone receptor beta Proteins 0.000 description 1
- 102100033451 Thyroid hormone receptor beta Human genes 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、フィルタ装置、特にノイズリダクション(NR)フィルタを用いたフィルタ装置に関する。また、別の本発明は、NRフィルタを用いたフィルタリング方法、およびフィルタリングプログラムに関する。 The present invention relates to a filter device, and more particularly to a filter device using a noise reduction (NR) filter. Another embodiment of the present invention relates to a filtering method using an NR filter and a filtering program.
DVDレコーダなどの符号化画像信号を扱う製品では、画質向上のために、ブロックノイズやモスキートノイズを低減するノイズリダクション(NR)フィルタを用いるものがある。特に、符号化画像信号を復号処理したあとに用いられるNRフィルタは、ポストフィルタと呼ばれている。 Some products that handle encoded image signals, such as DVD recorders, use a noise reduction (NR) filter that reduces block noise and mosquito noise in order to improve image quality. In particular, an NR filter used after decoding an encoded image signal is called a post filter.
〈フィルタ装置400〉
図21に、NR処理を行うフィルタ装置400について説明するブロック図を示す。
フィルタ装置400は、復号画像信号310に対して水平・垂直NR処理を行いNR処理信号312を出力するポストフィルタ部300と、NR処理信号312の垂直解像度変換を行い表示画像信号313を出力する垂直解像度変換部303とを備えている。
<
FIG. 21 is a block diagram illustrating a
The
〈ポストフィルタ部300〉
ポストフィルタ部300は、復号画像信号310を入力とし水平NR処理信号311を出力とする水平NR処理部301と、水平NR処理信号311を入力としNR処理信号312を出力とする垂直NR処理部302とを備えている。
<
The
水平NR処理部301は、復号画像信号310の水平NR処理を行う部分であり、条件判定部304と、水平NR処理実行部305とを備えている。条件判定部304は、設定された閾値315に基づいて、復号画像信号310に水平NRフィルタを適用するか否かの適用条件を判定する。水平NR処理実行部305は、復号画像信号310と条件判定部304の判定結果318とに基づいて、復号画像信号310の水平NR処理を実行し、水平NR処理信号311を出力する。
The horizontal
垂直NR処理部302は、水平NR処理信号311の垂直NR処理を行う部分であり、条件判定部306と、垂直NR処理実行部307とを備えている。条件判定部306は、設定された閾値316に基づいて、水平NR処理信号311に垂直NRフィルタを適用するか否かの適用条件を判定する。垂直NR処理実行部307は、水平NR処理信号311と条件判定部306の判定結果319とに基づいて、水平NR処理信号311の垂直NR処理を実行し、NR処理信号312を出力する。
The vertical
図22に、垂直NR処理部302で用いられる垂直NRフィルタ部の構成を説明するブロック図を示す。垂直NR処理部302は、フィルタタップ数が[3]の6つの垂直NRフィルタ部321〜326を有している。垂直NRフィルタ部321〜326には、水平NR処理信号311が入力される。より具体的には、水平NR処理信号311の水平方向同位置の8ライン分の画素値Y(y−3)〜Y(y+4)が3ラインずつ垂直NRフィルタ部321〜326に入力される。
FIG. 22 is a block diagram illustrating the configuration of the vertical NR filter unit used in the vertical
それぞれの垂直NRフィルタ部321〜326では、入力された画素値Y(y−3)〜Y(y+4)と設定された閾値316とに基づいて、水平NR処理信号311に垂直NRフィルタを適用するか否かの判定を行い、NR処理信号312を出力する。NR処理信号312は、垂直NRフィルタ部321〜326のそれぞれから画素値Y’(y−2)〜Y’(y+3)として出力される。すなわち、それぞれの垂直NRフィルタ部321〜326は、条件判定部306と垂直NR処理実行部307として動作する。
Each of the vertical
図23を用いて、垂直NRフィルタ部321〜326におけるフィルタ適用判定について説明する。例えば、垂直NRフィルタ部323は、画素値Y(y)のフィルタ適用画素「y」に対して、画素「y−1」〜画素「y+1」の3画素を参照するフィルタタップ数[3]の垂直NRフィルタを有している。フィルタ適用画素「y」に対して、垂直NRフィルタ部323において垂直NRフィルタを適用するか否かは、フィルタ適用条件F1を用いて判定される。フィルタ適用条件F1の値が[1]の場合、画素「y−1」〜画素「y+1」に対して、フィルタ係数[1,2,1]のフィルタが適用され、画素値Y’(y)が出力される。なお、フィルタ適用条件F1中、CMP(y)は、数式F3で定義される比較関数である。さらに、THは、閾値316である。
The filter application determination in the vertical
他の垂直NRフィルタ部321,322,324〜326についても、基本的な動作は同様である。また、水平NR処理部301において用いられる水平NRフィルタ部についても、基本的な動作は同様である。
〈垂直解像度変換部303〉
ポストフィルタ部300(図21参照)から出力されたNR処理信号312は、垂直解像度変換部303に入力される。入力されたNR処理信号312は、垂直解像度変換フィルタを用いて垂直解像度変換され、表示画像信号313として出力される。垂直解像度変換部303では、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号317に基づいて選択される。
The basic operations of the other vertical
<
The
図24を用いて、垂直解像度変換部303が有する3つの解像度変換フィルタについて説明する。垂直解像度変換部303は、解像度変換フィルタ選択信号317が指定する3つの値[0]〜[2]に応じて、解像度変換フィルタを選択する。例えば、値[0]が指定される場合、NR処理信号312の解像度変換は行われず、表示画像信号313としてY”(y)=Y’(y)となる画素値Y”(y)が出力される。値[1]が指定される場合、NR処理信号312の6つの画素値Y’(y−2)〜Y’(y+3)から算出される画素値Y”(y)が出力される。ここで、値[1]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無い場合などに指定される。値[2]が指定される場合、NR処理信号312の4つの画素値Y’(y−1)〜Y’(y+2)から算出される画素値Y”(y)が出力される。ここで、値[2]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する場合などに指定される。
The three resolution conversion filters included in the vertical
〈ブロックNRフィルタ〉
一方、NR効果を向上させる目的、特にブロックノイズを低減させる目的で複数のフィルタを切り換えて用いる技術が知られている(例えば、非特許文献1参照。)。
図25を用いて、非特許文献1に記載されているブロックノイズの低減を目的とするデブロックフィルタについて説明する。非特許文献1のデブロックフィルタは、画像信号の処理単位である8×8画素の画像ブロック(例えば、符号化ブロック)のブロック境界を挟む8つの画素「k+1」〜画素「k+8」(画素値Y(k+1)〜画素値Y(k+8))についてフィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)を算出する。具体的には、画素「k+1」〜画素「k+8」について、隣接画素差分を算出し、隣接画素差分を用いた条件判断でフィルタを切り換える。ここで、条件判断は、数式F5に基づいて行われる。なお、数式F5中、φ(γ)は、数式F6で定義される比較関数である。すなわち、数式F6では、隣接画素差分絶対値が閾値THR1以下であるか否かが判断される。
<Block NR filter>
On the other hand, a technique for switching and using a plurality of filters for the purpose of improving the NR effect, particularly for the purpose of reducing block noise is known (for example, see Non-Patent Document 1).
A deblocking filter for reducing block noise described in
数式F5の値eq_cntが閾値THR2以上、かつ数式F10が真の場合、フィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)は、数式F11により算出される値となる。ここで、数式F10中、YmaxおよびYminは、それぞれ画素値Y(k+1)〜画素値Y(k+8)の最大値および最小値である。また、QPは、量子化パラメータである。さらに、数式F11中、p(k,i+j)およびbjは、数式F12および数式F13で定義される。ここで、数式F13中、「//」は、少数点以下を四捨五入する除算を示している(以下、同様)。なお、数式中、「/」は、小数点以下を切り捨てる除算を示している(以下、同様)。 When the value eq_cnt of the equation F5 is equal to or greater than the threshold value THR2 and the equation F10 is true, the filtered pixel value Y ′ (k + 1) to pixel value Y ′ (k + 8) are values calculated by the equation F11. Here, in the formula F10, Ymax and Ymin are the maximum value and the minimum value of the pixel value Y (k + 1) to the pixel value Y (k + 8), respectively. QP is a quantization parameter. Further, in the formula F11, p (k, i + j) and bj are defined by the formula F12 and the formula F13. Here, in the formula F13, “//” indicates division that rounds off decimals (hereinafter the same). In the formula, “/” indicates a division that rounds off the decimal part (the same applies hereinafter).
一方、数式F5の値eq_cntが閾値THR2未満の場合、フィルタ後の画素値Y’(k+1)〜画素値Y’(k+8)は、数式F15により算出される値となる。ここで、数式F15中、〈d〉は、数式F16により算出される値となる。またここで、数式F16中、a3,0’は、数式F17および数式F18に基づいて定められる値であり、CLIP(,,)は、数式F19で定められる関数である。
上記説明したフィルタ装置においては、ハードウェアコスト削減、フィルタ処理の処理負荷削減が求められる。
特に、垂直NR処理をハードウェアにより実現する場合にハードウェアコストを削減すること、あるいは十分なNR効果を得るため複数のNRフィルタを切り換えて用いる場合に、ハードウェアを簡易に構成する、あるいはソフトウェアの処理を簡易にすることなどが求められる。
The filter device described above is required to reduce hardware costs and filter processing load.
Especially when the vertical NR processing is realized by hardware, the hardware cost is reduced, or when a plurality of NR filters are used in order to obtain a sufficient NR effect, the hardware is simply configured, or software It is required to simplify the process.
そこで、本発明では、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することを課題とする。 Therefore, an object of the present invention is to provide a filter device, a filtering method, and a filtering program that further reduce the hardware cost or further reduce the processing load by software.
請求項1に記載のフィルタ装置は、NR処理手段と、解像度変換手段と、NR処理判定手段とを備えている。NR処理手段は、入力された入力画像信号に対して出力画像信号を出力する。解像度変換手段は、複数の解像度変換フィルタを有し、出力画像信号を参照して解像度変換を行う。NR処理判定手段は、解像度変換手段に対して、複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、NR処理手段に入力画像信号のNR処理を行わせるか否かを判定する。
The filter device according to
NR処理とは、例えば、入力画像信号のうちNR処理の対象となる画素に対する入力画像信号の他の画素(垂直方向隣接画素あるいは水平方向隣接画素など)との平滑化処理などである(以下、この欄において同じ。)。また、解像度変換フィルタ選択信号は、例えば、入力画像信号の画像サイズや出力画像信号の表示サイズなどから必要とされる解像度変換比率に基づいて供給される信号である(以下、この欄において同じ。)。複数の解像度変換フィルタとは、例えば、解像度の変換を行わないフィルタや、出力画像信号のうち複数の画素を用いて、表示のための画素1つを出力する解像度変換フィルタなどを含んでいる(以下、この欄において同じ。)。 The NR processing is, for example, smoothing processing with other pixels (vertical adjacent pixels or horizontal adjacent pixels, etc.) of the input image signal with respect to the pixels to be subjected to NR processing in the input image signal (hereinafter, referred to as the “NR processing”). Same in this column). Further, the resolution conversion filter selection signal is a signal supplied based on a resolution conversion ratio required from the image size of the input image signal, the display size of the output image signal, and the like (hereinafter, the same applies to this column). ). The plurality of resolution conversion filters include, for example, a filter that does not perform resolution conversion and a resolution conversion filter that outputs one pixel for display using a plurality of pixels in the output image signal ( The same applies hereinafter in this column.)
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常にNR処理されない状態で参照される出力画像信号に対しては、NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。
請求項2に記載のフィルタ装置は、請求項1に記載のフィルタ装置であって、NR処理判定手段は、解像度変換フィルタ選択信号が複雑な解像度変換フィルタを選択する場合には、NR処理を行わないと判定する。
In the filter device of the present invention, it is not necessary to provide a means for performing NR processing on the output image signal referred to in the resolution conversion filter without being subjected to NR processing at all times. Hardware costs can be reduced.
The filter device according to
複雑な解像度変換フィルタとは、例えば、出力画像信号のうち参照する画素数が多いフィルタや、変換比率が整数倍や整数分の1倍といった簡単な変換比率ではないフィルタである。複雑な解像度変換フィルタが選択されるのは、例えば、DVDソフト再生時など入力画像信号のノイズが少ない場合が多い。このため、入力画像信号にNR処理を行わないでも画質は維持される。 The complex resolution conversion filter is, for example, a filter having a large number of pixels to be referred to in the output image signal, or a filter having a conversion ratio that is not a simple conversion ratio such as an integer multiple or a fraction of an integer. The complex resolution conversion filter is selected in many cases, for example, when there is little noise in the input image signal such as during DVD software playback. For this reason, the image quality is maintained even if NR processing is not performed on the input image signal.
本発明のフィルタ装置では、画質を維持し、かつハードウェアコストを削減するフィルタ装置を提供することが可能となる。
請求項3に記載のフィルタ装置は、請求項1又は2に記載のフィルタ装置であって、NR処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同じ数の入力画像信号の画素を用いてNR処理を行う。
With the filter device of the present invention, it is possible to provide a filter device that maintains image quality and reduces hardware costs.
The filter device according to
従来では、出力画像信号は、全てNR処理された信号である。このため、出力画像信号を得るため用いられる入力画像信号の画素数は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数よりも多くなる。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられる入力画像信号の画素数を削減することが可能となる。すなわち、NR処理に必要な入力画像信号を供給するためのメモリおよびメモリより画像信号を取得する信号線を削減することが可能となる。
Conventionally, all output image signals are signals subjected to NR processing. For this reason, the number of pixels of the input image signal used for obtaining the output image signal is larger than the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
In the filter device of the present invention, a part of the output image signal is the output of the input image signal as it is. For this reason, it becomes possible to reduce the number of pixels of the input image signal used for obtaining the same number of output image signals as in the prior art. That is, it is possible to reduce a memory for supplying an input image signal necessary for NR processing and a signal line for acquiring the image signal from the memory.
請求項4に記載のフィルタ装置は、請求項1〜3のいずれかに記載のフィルタ装置であって、NR処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数より少ない個数のNRフィルタ手段を有している。
ここで、NRフィルタ手段とは、例えば、1つのNRフィルタにより、あるいは複数のNRフィルタを切り換えて入力画像信号にNR処理を行うものであってもよい。
A filter device according to a fourth aspect is the filter device according to any one of the first to third aspects, wherein the NR processing means is a number smaller than a maximum number of pixels of an output image signal referred to by a plurality of resolution conversion filters. NR filter means.
Here, the NR filter means may perform, for example, NR processing on the input image signal by one NR filter or by switching a plurality of NR filters.
従来では、出力画像信号は、全てNR処理された信号である。このため、出力画像信号を得るため用いられるNRフィルタは、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同数となる。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられるNRフィルタの個数を削減することが可能となる。
Conventionally, all output image signals are signals subjected to NR processing. For this reason, the number of NR filters used for obtaining the output image signal is the same as the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
In the filter device of the present invention, a part of the output image signal is the output of the input image signal as it is. For this reason, it is possible to reduce the number of NR filters used to obtain the same number of output image signals as in the prior art.
請求項5に記載のフィルタ装置は、請求項1〜4のいずれかに記載のフィルタ装置であって、NR処理手段は、入力画像信号の垂直方向のNR処理を行い、解像度変換手段は、出力画像信号の垂直方向の解像度変換を行う。
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常に垂直NR処理されない状態で参照される出力画像信号に対しては、垂直NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。例えば、NR処理に必要な入力画像信号を供給するためのラインメモリおよびラインメモリから画像信号を取得する信号線を削減することが可能となる。
A filter device according to a fifth aspect is the filter device according to any one of the first to fourth aspects, wherein the NR processing means performs NR processing in the vertical direction of the input image signal, and the resolution conversion means outputs the output. Performs resolution conversion in the vertical direction of the image signal.
In the filter device of the present invention, it is necessary to provide means for performing vertical NR processing on output image signals referred to by the resolution conversion filter for output image signals that are always referred to without being subjected to vertical NR processing. Therefore, the hardware cost can be reduced. For example, a line memory for supplying an input image signal necessary for NR processing and a signal line for acquiring an image signal from the line memory can be reduced.
請求項6に記載のフィルタリング方法は、入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法であって、NR処理判定ステップと、NR処理ステップとを備えている。NR処理判定ステップは、出力画像信号の解像度変換を行う解像度変換フィルタを複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、入力画像信号のNR処理を行うか否かを判定する。NR処理ステップは、NR処理判定ステップの判定結果に基づいて、入力画像信号のNR処理を行う。 According to a sixth aspect of the present invention, there is provided a filtering method for outputting an output image signal to an inputted input image signal, comprising an NR processing determination step and an NR processing step. In the NR processing determination step, whether to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one of a plurality of resolution conversion filters as a resolution conversion filter for performing resolution conversion of the output image signal. Determine whether. The NR processing step performs NR processing of the input image signal based on the determination result of the NR processing determination step.
本発明のフィルタリング方法では、解像度変換フィルタに参照される出力画像信号のうち、常にNR処理されない状態で参照される出力画像信号に対しては、NR処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。また、フィルタリング方法をソフトウェアで実現する場合にも、ソフトウェアによる処理負荷が軽減される。 In the filtering method of the present invention, it is not necessary to provide means for performing NR processing on the output image signal referred to by the resolution conversion filter in the state where the NR processing is not always performed, Hardware costs can be reduced. Also, when the filtering method is realized by software, the processing load by the software is reduced.
請求項7に記載のフィルタリングプログラムは、入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法を行うためのフィルタリングプログラムであって、コンピュータに、NR処理判定ステップと、NR処理ステップとを備えるフィルタリング方法を行わせるものである。NR処理判定ステップは、出力画像信号の解像度変換を行う解像度変換フィルタを複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、入力画像信号のNR処理を行うか否かを判定する。NR処理ステップは、NR処理判定ステップの判定結果に基づいて、入力画像信号のNR処理を行う。
A filtering program according to
本発明のフィルタリングプログラムでは、解像度変換フィルタに参照される出力画像信号のうち、常にNR処理されない状態で参照される出力画像信号に対しては、NR処理を行うための手段を設ける必要がなく、ソフトウェアによる処理負荷が軽減される。
請求項8に記載のフィルタ装置は、NR処理実行手段と、NRフィルタ選択手段とを備えている。NR処理実行手段は、複数のNRフィルタを有する。NRフィルタ選択手段は、複数のNRフィルタのそれぞれに対し、NRフィルタの参照する参照画素範囲に応じて定められた範囲の画素を用いて画像特徴量を算出し、この各画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、NR処理実行手段の複数のNRフィルタの中から1つを選択する。
In the filtering program of the present invention, it is not necessary to provide a means for performing NR processing on an output image signal referred to by the resolution conversion filter in an output image signal that is not always subjected to NR processing, Software processing load is reduced.
According to an eighth aspect of the present invention, there is provided a filter device comprising NR processing execution means and NR filter selection means. The NR process execution means has a plurality of NR filters. The NR filter selection unit calculates an image feature amount for each of the plurality of NR filters by using pixels in a range determined according to a reference pixel range referred to by the NR filter. One of the plurality of NR filters of the NR processing execution means is selected based on the threshold value of the image feature amount set for each of the NR filters.
画像特徴量とは、垂直あるいは水平方向の隣接画素の画素値に基づいて定められる値であり、さらに言えば、隣接画素間の差分に基づいて定められる値である。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される(以下、この欄において同じ。)。 The image feature amount is a value determined based on the pixel value of adjacent pixels in the vertical or horizontal direction, and more specifically, a value determined based on a difference between adjacent pixels. More specifically, for example, it is calculated as the absolute value of the adjacent pixel difference, the square of the adjacent pixel difference, or the like (hereinafter the same applies to this column).
本発明のフィルタ装置では、NRフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、NRフィルタの選択に際しての処理が簡易化される。すなわち、NRフィルタの選択に際しての処理を実現するハードウェアコストを削減することが可能となる。 In the filter device of the present invention, it is possible to share the image feature amount calculation method when selecting the NR filter. This simplifies the processing when selecting the NR filter. That is, it is possible to reduce the hardware cost for realizing the processing when selecting the NR filter.
請求項9に記載のフィルタ装置は、請求項8に記載のフィルタ装置であって、各画像特徴量は、対応する各NRフィルタの参照画素範囲の画素を用いて算出される。
本発明のフィルタ装置では、画像特徴量の算出に必要な画素と複数のNRフィルタのそれぞれが参照する画素とを共通化することが可能となる。このため、これらの画素を記憶あるいは取得するためのハードウェアを共通化することが可能となる。
A filter device according to a ninth aspect is the filter device according to the eighth aspect, wherein each image feature amount is calculated using a pixel in a reference pixel range of each corresponding NR filter.
In the filter device of the present invention, it is possible to share the pixels necessary for calculating the image feature amount and the pixels to which each of the plurality of NR filters refers. Therefore, it is possible to share hardware for storing or acquiring these pixels.
請求項10に記載のフィルタ装置は、請求項8又は9に記載のフィルタ装置であって、複数のNRフィルタのそれぞれの参照画素範囲の大きさは、フィルタ強度の大きさに伴って単調増加し、複数のNRフィルタのそれぞれに対して設定された閾値の大きさは、フィルタ強度が大きいNRフィルタほど、NRフィルタ選択手段により選択されにくくなるように決定されている。
The filter device according to
ここで、フィルタ強度とは、ノイズ低減の度合いを意味しており、フィルタ強度が大きくなるにつれて、画素がより平滑化される。
本発明のフィルタ装置では、画像の平坦度が大きいほど強いフィルタを適用することが可能となる。このため、適切なNR効果を得ることが可能となる。
Here, the filter strength means the degree of noise reduction, and the pixels are smoothed as the filter strength increases.
In the filter device of the present invention, it is possible to apply a stronger filter as the flatness of the image increases. For this reason, it is possible to obtain an appropriate NR effect.
請求項11に記載のフィルタ装置は、請求項8〜10のいずれかに記載のフィルタ装置であって、NRフィルタ選択手段は、複数のNRフィルタの中から参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタを優先的に選択する。
本発明のフィルタ装置では、よりNR効果の高いフィルタを優先的に適用することが可能となる。
The filter device according to
In the filter device of the present invention, it is possible to preferentially apply a filter having a higher NR effect.
請求項12に記載のフィルタ装置は、請求項8〜11のいずれかに記載のフィルタ装置であって、複数のNRフィルタは、それぞれのフィルタ係数の和が等しい。
本発明のフィルタ装置では、複数のNRフィルタのフィルタ係数適用後の除算処理を共通化することが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
A filter device according to a twelfth aspect is the filter device according to any one of the eighth to eleventh aspects, wherein the plurality of NR filters have the same sum of filter coefficients.
In the filter device of the present invention, it is possible to share the division processing after applying the filter coefficients of a plurality of NR filters. For this reason, it becomes possible to simply configure the hardware.
請求項13に記載のフィルタ装置は、請求項8〜12のいずれかに記載のフィルタ装置であって、NRフィルタ選択手段は、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
ここで、ブロック境界とは、例えば、入力画像信号が符号化されていた際の符号化ブロックなどの境界である。
A filter device according to a thirteenth aspect is the filter device according to any one of the eighth to twelfth aspects, wherein the NR filter selection unit positions a pixel used to calculate an image feature amount at a block boundary. The NR filter is selected using the threshold set for the block boundary.
Here, the block boundary is a boundary of an encoded block or the like when the input image signal is encoded, for example.
本発明のフィルタ装置では、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、NRフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。また、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合には、フィルタを適用する画素がブロック境界から離れていても、NRフィルタをより適用しやすくすることが可能である。このため、平坦な領域に生じるブロックノイズを効果的に低減することが可能となる。 In the filter device of the present invention, it is possible to more easily apply the NR filter to the pixels on the block boundary by using the threshold for the block boundary. For this reason, it is possible to appropriately reduce block noise. In addition, when the pixel used to calculate the image feature amount is located at the block boundary, the NR filter can be more easily applied even if the pixel to which the filter is applied is separated from the block boundary. . For this reason, it is possible to effectively reduce block noise generated in a flat region.
請求項14に記載のフィルタ装置は、請求項8〜13のいずれかに記載のフィルタ装置であって、複数のNRフィルタは、NR処理の対象となる画素がブロック境界の近傍に位置する場合にのみ適用されるブロック境界用のNRフィルタを含んでいる。
本発明のフィルタ装置では、ブロック境界の画素に対して、よりフィルタ強度の強いNRフィルタを適用することが可能となる。このため、より適切にブロックノイズの低減を行うことが可能となる。
A filter device according to a fourteenth aspect is the filter device according to any one of the eighth to thirteenth aspects, wherein the plurality of NR filters are provided when a pixel to be subjected to NR processing is located in the vicinity of a block boundary. NR filters for block boundaries that are only applied.
In the filter device of the present invention, it is possible to apply an NR filter having a higher filter strength to the pixels at the block boundary. For this reason, it becomes possible to reduce block noise more appropriately.
請求項15に記載のフィルタ装置は、請求項14に記載のフィルタ装置であって、複数のNRフィルタは、NR処理の対象となる画素がブロック境界の近傍に位置しない場合にのみ適用される非ブロック境界用のNRフィルタをさらに含んでいる。
本発明のフィルタ装置では、より適切なNRフィルタを適用することが可能となる。より具体的には、非ブロック境界用のNRフィルタ、例えば、モスキートノイズを低減するフィルタなどを必要に応じて用いることが可能となる。
The filter device according to
In the filter device of the present invention, a more appropriate NR filter can be applied. More specifically, an NR filter for a non-block boundary, for example, a filter for reducing mosquito noise can be used as necessary.
請求項16に記載のフィルタリング方法は、NRフィルタ選択ステップと、NR処理実行ステップとを備えている。NRフィルタ選択ステップは、複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のNRフィルタの中から1つを選択する。NR処理実行ステップは、選択されたNRフィルタを用いて、画像信号のNR処理を行う。 A filtering method according to a sixteenth aspect includes an NR filter selection step and an NR process execution step. The NR filter selection step is set for each of the image feature amount calculated using pixels in a range determined according to the reference pixel range to which each of the plurality of NR filters refers, and each of the plurality of NR filters. One of the plurality of NR filters is selected based on the threshold value of the image feature amount. In the NR processing execution step, NR processing of the image signal is performed using the selected NR filter.
本発明のフィルタリング方法では、NRフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、NRフィルタの選択に際しての処理が簡易化される。すなわち、NRフィルタの選択に際しての処理を実現するハードウェアコストを削減する、あるいはNRフィルタの選択に際してのソフトウェアの処理負荷を低減することが可能となる。 In the filtering method of the present invention, it is possible to share the image feature amount calculation method when selecting the NR filter. This simplifies the processing when selecting the NR filter. That is, it is possible to reduce the hardware cost for realizing the processing when selecting the NR filter, or to reduce the software processing load when selecting the NR filter.
請求項17に記載のフィルタリング方法は、請求項16に記載のフィルタリング方法であって、NRフィルタ選択ステップは、複数のNRフィルタの中から参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う。
The filtering method according to
本発明のフィルタリング方法では、よりNR効果の高いフィルタを優先的に適用することが可能となる。
請求項18に記載のフィルタリング方法は、請求項16又は17に記載のフィルタリング方法であって、NRフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
In the filtering method of the present invention, it is possible to preferentially apply a filter having a higher NR effect.
The filtering method according to
本発明のフィルタリング方法では、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、NRフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。
請求項19に記載のフィルタリングプログラムは、複数のNRフィルタの中から選択された1つのNRフィルタを用いて、画像信号のNR処理を行うためのフィルタリングプログラムであって、コンピュータに、NRフィルタ選択ステップと、NR処理実行ステップとを備えるフィルタリング方法を行わせるものである。NRフィルタ選択ステップは、複数のNRフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のNRフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のNRフィルタの中から1つを選択する。NR処理実行ステップは、選択されたNRフィルタを用いて、画像信号のNR処理を行う。
In the filtering method of the present invention, it is possible to more easily apply the NR filter to the pixels on the block boundary by using the threshold for the block boundary. For this reason, it is possible to appropriately reduce block noise.
The filtering program according to claim 19 is a filtering program for performing NR processing of an image signal by using one NR filter selected from a plurality of NR filters, wherein a NR filter selection step is performed in a computer. And a filtering method comprising an NR process execution step. The NR filter selection step is set for each of the image feature amount calculated using pixels in a range determined according to the reference pixel range to which each of the plurality of NR filters refers, and each of the plurality of NR filters. One of the plurality of NR filters is selected based on the threshold value of the image feature amount. In the NR process execution step, the NR process of the image signal is performed using the selected NR filter.
本発明のフィルタリングプログラムでは、NRフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、NRフィルタの選択に際しての処理が簡易化される。すなわち、NRフィルタの選択に際してのソフトウェアの処理負荷を低減することが可能となる。 In the filtering program of the present invention, it is possible to share an image feature amount calculation method when selecting an NR filter. This simplifies the processing when selecting the NR filter. That is, it is possible to reduce the software processing load when selecting the NR filter.
請求項20に記載のフィルタリングプログラムは、請求項19に記載のフィルタリングプログラムであって、NRフィルタ選択ステップは、複数のNRフィルタの中から参照画素範囲の大きいNRフィルタ、あるいはフィルタ強度の大きいNRフィルタについて優先的に選択処理を行う。
The filtering program according to
本発明のフィルタリングプログラムでは、よりNR効果の高いフィルタを優先的に適用することが可能となる。
請求項21に記載のフィルタリングプログラムは、請求項19又は20に記載のフィルタリングプログラムであって、NRフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてNRフィルタを選択する。
In the filtering program of the present invention, it is possible to preferentially apply a filter having a higher NR effect.
The filtering program according to claim 21 is the filtering program according to claim 19 or 20, wherein the NR filter selection step is performed when the pixel used to calculate the image feature amount is located at a block boundary. An NR filter is selected using a threshold set for the boundary.
本発明のフィルタリングプログラムでは、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、NRフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。 In the filtering program of the present invention, it is possible to more easily apply the NR filter to the pixels on the block boundary by using the threshold for the block boundary. For this reason, it is possible to appropriately reduce block noise.
本発明では、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することが可能となる。 According to the present invention, it is possible to provide a filter device, a filtering method, and a filtering program that further reduce the hardware cost or further reduce the processing load by software.
[第1実施形態]
図1〜図4を用いて、本発明の第1実施形態としてのフィルタ装置10について説明する。図1に示すフィルタ装置10は、垂直NR処理を行うか否かを垂直解像度変換フィルタの選択信号に基づいて判断する点に特徴を有している。
[First Embodiment]
The
〈フィルタ装置10の構成〉
フィルタ装置10は、復号画像信号25に対して水平・垂直NR処理を行いNR処理信号27を出力するポストフィルタ部11と、NR処理信号27の垂直解像度変換を行い表示画像信号28を出力する垂直解像度変換部12と、ポストフィルタ部11に垂直NR処理を行わせるか否かを判定する垂直NR処理判定部20とを備えている。
<Configuration of
The
ポストフィルタ部11は、復号画像信号25を入力とし水平NR処理信号26を出力とする水平NR処理部13と、水平NR処理信号26を入力としNR処理信号27を出力とする垂直NR処理部14とを備えている。
水平NR処理部13は、復号画像信号25の水平NR処理を行う部分であり、条件判定部15と、水平NR処理実行部16とを備えている。条件判定部15は、復号画像信号25を第1の入力、設定された閾値30を第2の入力とし、復号画像信号25に水平NRフィルタを適用するか否かの判定結果37を出力する。水平NR処理実行部16は、復号画像信号25を第1の入力、判定結果37を第2の入力とし、復号画像信号25に判定結果37に応じた水平NR処理を施した水平NR処理信号26を出力する。
The
The horizontal
垂直NR処理部14は、水平NR処理信号26の垂直NR処理を行う部分であり、条件判定部17と、垂直NR処理実行部18とを備えている。条件判定部17は、水平NR処理信号26を第1の入力、設定された閾値31を第2の入力、垂直NR処理判定部20の判定結果33を第3の入力とし、水平NR処理信号26に垂直NRフィルタを適用するか否かの判定結果38を出力する。垂直NR処理実行部18は、水平NR処理信号26を第1の入力、判定結果38を第2の入力とし、水平NR処理信号26に判定結果38に応じた垂直NR処理を施したNR処理信号27を出力する。
The vertical
垂直解像度変換部12は、NR処理信号27を第1の入力、解像度変換フィルタ選択信号32を第2の入力とし、NR処理信号27に解像度変換フィルタ選択信号32に応じた解像度変換処理を施した表示画像信号28を出力する。
垂直NR処理判定部20は、解像度変換フィルタ選択信号32を入力とし、ポストフィルタ部11に垂直NR処理を行わせるか否かの判定結果33を出力する。
The
The vertical NR
〈フィルタ装置10の動作〉
水平NR処理部13は、復号画像信号25の水平NR処理を行う。条件判定部15は、設定された閾値30に基づいて、復号画像信号25に水平NRフィルタを適用するか否かの適用条件を判定する。水平NR処理実行部16は、復号画像信号25と条件判定部15の判定結果とに基づいて、復号画像信号25の水平NR処理を実行し、水平NR処理信号26を出力する。
<Operation of
The horizontal
垂直NR処理部14は、水平NR処理信号26の垂直NR処理を行う。条件判定部17は、設定された閾値31と垂直NR処理判定部20の判定結果33とに基づいて、水平NR処理信号26に垂直NRフィルタを適用するか否かの適用条件を判定する。垂直NR処理実行部18は、水平NR処理信号26と条件判定部17の判定結果とに基づいて、水平NR処理信号26の垂直NR処理を実行し、NR処理信号27を出力する。
The vertical
図2に、垂直NR処理部14で用いられる垂直NRフィルタ部の構成を説明するブロック図を示す。垂直NR処理部14には、水平NR処理信号26が入力される。水平NR処理信号26は、水平NR処理信号26をライン毎に記憶するラインメモリ(図示せず)から、水平方向同位置の6ライン分の画素値Y(y−2)〜画素値Y(y+3)として入力される。なお、ラインメモリ(図示せず)は、水平NR処理信号26を記憶する代わりに復号画像信号25を記憶し、水平NR処理信号26はラインメモリ(図示せず)を介さずに垂直NR処理部へ入力されてもよい。さらに、ラインメモリ(図示せず)の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ(図示せず)を用いても良い。
FIG. 2 is a block diagram illustrating the configuration of the vertical NR filter unit used in the vertical
垂直NR処理部14は、4つの垂直NRフィルタ部41〜44を有している。それぞれの垂直NRフィルタ部41〜44は、フィルタタップ数[3]の垂直NRフィルタを有しており、画素値Y(y−2)〜画素値Y(y+3)のラインが3ラインずつ入力される。
垂直NRフィルタ部41〜44は、入力された画素値Y(y−2)〜画素値Y(y+3)と、設定された閾値31と、垂直NR処理判定部20の判定結果33とに基づいて、フィルタ処理を実行し、フィルタ処理後の画素値Y’(y−1)〜Y’(y+2)をNR処理信号27として出力する。
The vertical
The vertical
具体的には、垂直NR処理判定部20の判定結果33が垂直NRフィルタを適用しない(フィルタスルー)と判定する場合、Y’(y)=Y(y)となる画素値Y’(y)が垂直NRフィルタ部41〜44から出力される。一方、判定結果33が垂直NRフィルタを適用すると判定する場合、それぞれの垂直NRフィルタ部41〜44は、図23に示して説明したのと同様にフィルタ処理を実行する。例えば、垂直NRフィルタ部42は、画素値Y(y)のフィルタ適用画素「y」に対して、画素「y−1」〜画素「y+1」の3画素を参照するフィルタタップ数[3]の垂直NRフィルタを有している。フィルタ適用画素「y」に対して、垂直NRフィルタを適用するか否かは、図23に示すフィルタ適用条件F1を用いて判定される。
Specifically, when the
図23に示すフィルタ適用条件F1は、定数パラメータTH_d、比較関数CMP(y)の関数である。フィルタ適用条件F1は、画像特徴量F2や定数パラメータなどに基づいて、フィルタ適用画素「y」が画像中の平坦な領域に含まれると判断される場合に、フィルタの適用を示す値(例えば、値[1])を出力する関数である。より具体的には、比較関数CMP(y−1)とCMP(y)との値の四則演算、あるいはその他の演算の結果を閾値TH_dと比較することにより、フィルタの適用を示す値を出力する。なお、フィルタ適用条件F1では、比較関数CMP(y−1)とCMP(y)との値の四則演算、あるいはその他の演算の結果が特定の値となる場合にフィルタの適用を示すとしてもよい。 A filter application condition F1 shown in FIG. 23 is a function of a constant parameter TH_d and a comparison function CMP (y). The filter application condition F1 is a value indicating the application of a filter (for example, when the filter application pixel “y” is determined to be included in a flat region in the image based on the image feature amount F2 or a constant parameter) (for example, Value [1]). More specifically, a value indicating the application of the filter is output by comparing the four arithmetic operations of the values of the comparison functions CMP (y−1) and CMP (y), or the result of other operations with the threshold value TH_d. . Note that the filter application condition F1 may indicate that the filter is applied when the four arithmetic operations of the values of the comparison functions CMP (y−1) and CMP (y), or the result of other operations have a specific value. .
ここで画像特徴量は、例えば、フィルタ適用画素「y」の平坦度を示す値であり、隣接画素間の差分に基づいて定められる値である。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される。さらに、比較関数CMP(y)は、閾値と画像特徴量との比較を行い、比較結果を示す値を出力する。CMP(y)は、例えば、閾値の方が大きい場合に、値[1]を出力する。 Here, the image feature amount is, for example, a value indicating the flatness of the filter application pixel “y”, and is a value determined based on a difference between adjacent pixels. More specifically, for example, it is calculated as the adjacent pixel difference absolute value, the square of the adjacent pixel difference, or the like. Further, the comparison function CMP (y) compares the threshold value and the image feature amount, and outputs a value indicating the comparison result. For example, CMP (y) outputs the value [1] when the threshold value is larger.
フィルタ適用条件F1の値が[1]の場合、画素「y−1」〜画素「y+1」に対して、フィルタ係数[1,2,1]のフィルタが適用され、画素値Y’(y)が出力される。すなわち、それぞれの垂直NRフィルタ部41〜44は、条件判定部17と垂直NR処理実行部18として動作する。
When the value of the filter application condition F1 is [1], the filter of the filter coefficient [1, 2, 1] is applied to the pixel “y−1” to the pixel “y + 1”, and the pixel value Y ′ (y) Is output. That is, each of the vertical
一方、垂直NR処理部14に入力された水平NR処理信号26のうち、画素値Y(y−2)と画素値Y(y+3)とは、そのままNR処理信号27として出力される。
垂直解像度変換部12は、ポストフィルタ部11から出力されたNR処理信号27を垂直解像度変換し、表示画像信号28を出力する。垂直解像度変換部12は、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号32に基づいて選択される。解像度変換フィルタ選択信号32とそれぞれの垂直解像度変換フィルタの動作とは、図24を用いて説明したのと同様である。すなわち、垂直解像度変換部12は、解像度変換フィルタ選択信号32が指定する3つの値[0]〜[2]に応じて、解像度変換フィルタを選択する。例えば、値[0]が指定される場合、解像度変換は行われず、表示画像信号28としてY”(y)=Y’(y)となる画素値Y”(y)が出力される。値[1]が指定される場合、6つの画素値Y(y−2),Y’(y−1)〜Y’(y+2),Y(y+3)から算出される画素値Y”(y)が出力される。ここで、値[1]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無く、フィルタタップ数が多い場合、もしくは、簡易な変換比率を有する変換であるが、高画質化のためタップ数の多いフィルタを用いる場合などに指定される。値[2]が指定される場合、4つの画素値Y’(y−1)〜Y’(y+2)から算出される画素値Y”(y)が出力される。ここで、値[2]は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有し、フィルタタップ数が少ない場合などに指定される。
On the other hand, the pixel value Y (y−2) and the pixel value Y (y + 3) in the horizontal
The vertical
ここで、解像度変換フィルタ選択信号32は、復号画像信号25(図1参照)の復号化を行った復号化装置などから取得される。より具体的には、復号化装置が復号画像信号25を復号化する際に、復号画像信号25の画像サイズ、アスペクト比などから解像度の変換比率が判断され、これに基づいて解像度変換フィルタ選択信号32が供給される。
Here, the resolution conversion
垂直NR処理判定部20は、解像度変換フィルタ選択信号32に基づいて、垂直NRフィルタを適用するか否かの判定を行う。図3に、解像度変換フィルタ選択信号32と垂直NR処理判定部20の判定結果33との関係を示す。解像度変換フィルタ選択信号32が値[1]を示す場合には、垂直NR処理判定部20は、垂直NRフィルタを適用しない(フィルタスルー)と判定し、判定結果33として値[1]を出力する(図3(a)参照)。解像度変換フィルタ選択信号32が値[0]または値[2]を示す場合には、垂直NR処理判定部20は、垂直NRフィルタを適用すると判定し、判定結果33として値[0]を出力する(図3(b)参照)。
The vertical NR
なお、解像度変換フィルタ選択信号、判定結果、フィルタ適用条件F1などの値は、上記したものに限定されるものではない。
〈フィルタリング方法〉
図4に、フィルタ装置10におけるフィルタリング方法、特に垂直NR処理判定部20と垂直NR処理部14とにおけるフィルタリング方法を説明するフローチャートを示す。
Note that values such as the resolution conversion filter selection signal, the determination result, and the filter application condition F1 are not limited to those described above.
<Filtering method>
FIG. 4 is a flowchart illustrating a filtering method in the
このフィルタリング方法は、垂直NRフィルタ部41〜44から出力されるNR処理信号27の画素を単位とする処理である(ステップS11〜S14)。垂直NR処理判定部20は、解像度変換フィルタ選択信号32を取得し(ステップS11)、垂直NR処理部14に垂直NR処理を行わせるか否かの判定を行う(ステップS12)。垂直NR処理部14は、判定結果33が値[0]を示す場合(ステップS13)、水平NR処理信号26の垂直NR処理を実行する(ステップS14)。一方、垂直NR処理部14は、判定結果33が値[1]を示す場合(ステップS13)、水平NR処理信号26の垂直NR処理を行わず、次のフィルタ適用画素についての処理(ステップS11〜S14)を開始する。
This filtering method is processing in units of pixels of the
以上のフィルタリング方法は、フィルタ装置10のみでなく、コンピュータを用いてプログラムとして実現することも可能である。
〈第1実施形態の効果〉
(1)
垂直解像度変換部12に参照されるNR処理信号27のうち、常に垂直NR処理されない状態で参照されるY(y−2)およびY(y+3)に対しては、垂直NRフィルタ部を設ける必要がない。すなわち、従来の垂直NR処理部302(図22参照)に比して、ハードウェアコストを削減することが可能となる。
The above filtering method can be realized as a program using not only the
<Effects of First Embodiment>
(1)
Of the NR processing signals 27 referred to by the vertical
(2)
垂直解像度の変換が「整数倍」あるいは「整数分の1倍」などと言った簡易な変換比率を有する変換で無い場合などには、タップ数の多い、複雑な解像度変換フィルタが選択される。ここで、アスペクト比4:3からアスペクト比16:9の変換など複雑な変換比率が必要となるのは、DVDソフト再生時などというように復号画像信号25のノイズが少ない場合が多い。このため、水平NR処理信号26に垂直NR処理を行わないでも表示画像信号28の画質の維持が可能となる。
(2)
When the vertical resolution conversion is not a conversion having a simple conversion ratio such as “integer multiple” or “one integer multiple”, a complex resolution conversion filter having a large number of taps is selected. Here, a complicated conversion ratio such as conversion from an aspect ratio of 4: 3 to an aspect ratio of 16: 9 is often required when there is little noise in the decoded
(3)
従来の垂直NR処理部302では、NR処理信号312は、全て垂直NR処理される可能性のある信号である。このため、例えば、6ライン分のNR処理信号312を出力するために8ライン分の水平NR処理信号311を必要とする(図22参照)。すなわち、NR処理信号312を得るために必要な水平NR処理信号311のライン数は、NR処理信号312のライン数よりも多くなる。
(3)
In the conventional vertical
一方、本発明の垂直NR処理部14では、NR処理信号27の一部(図2の画素値Y(y−2)およびY(y+3))は、常に水平NR処理信号26の一部をそのまま出力した信号である。このため、従来と同じく6ライン分のNR処理信号27を得るためには、6ライン分の水平NR処理信号26を必要とする。すなわち、NR処理信号27を得るために必要な水平NR処理信号26のライン数は、NR処理信号27のライン数と同じライン数であり、従来と同じ本数のNR処理信号27を得るために用いられる水平NR処理信号26のライン数を削減することが可能となる。この結果、垂直NR処理に必要な水平NR処理信号26を得るためのラインメモリの個数を削減することが可能となる。
On the other hand, in the vertical
(4)
従来の垂直NR処理部302では、NR処理信号312は、全て垂直NR処理される可能性のある信号である。このため、NR処理信号を得るために用いられる垂直NRフィルタ部の個数は、NR処理信号312の本数、すなわち垂直解像度変換部303が垂直解像度変換に用いるNR処理信号312のライン数の最大値と同数となる。
(4)
In the conventional vertical
一方、本発明の垂直NR処理部14では、NR処理信号27の一部は、常に水平NR処理信号26をそのまま出力したものである。このため、従来と同じく6ライン分のNR処理信号27を得るために必要な垂直NRフィルタ部の個数は4つであり、垂直NRフィルタ部の個数を削減することが可能となる。
On the other hand, in the vertical
〈変形例〉
(1)
垂直NR処理部14は、垂直NRフィルタ部41〜44に代えて、1つの垂直NRフィルタ部を用いて複数回のNR処理を行うものであってもよい。
<Modification>
(1)
The vertical
この場合には、NR処理の処理量を削減することが可能となる。
(2)
条件判定部17は、復号画像信号25を用いて条件判定を行うものであってもよい。この場合、水平NR処理の完了前に、水平NR処理と並行して条件判定部17が動作可能となり、フィルタ装置10全体の処理速度を向上させることが可能となる。
In this case, the amount of NR processing can be reduced.
(2)
The
(3)
上記実施形態で記載したのと同様の構成を水平NR処理部13に対して適用することも可能である。
[第2実施形態]
フィルタ装置が備える水平・垂直NRフィルタは、複数のフィルタ候補の中から1つのフィルタを選択して適用されるものであってもよい。このNRフィルタについて、図5〜図13を用いて説明する。
(3)
The same configuration as described in the above embodiment can be applied to the horizontal
[Second Embodiment]
The horizontal / vertical NR filter included in the filter device may be one selected from a plurality of filter candidates and applied. This NR filter will be described with reference to FIGS.
〈フィルタ装置50の構成〉
図5に、複数のフィルタ候補の中から1つのフィルタを選択して適用される水平・垂直NRフィルタを備えるフィルタ装置50を示す。
フィルタ装置50は、復号画像信号65に対して水平・垂直NR処理を行いNR処理信号67を出力するポストフィルタ部51と、NR処理信号67の垂直解像度変換を行い表示画像信号68を出力する垂直解像度変換部52とを備えている。
<Configuration of
FIG. 5 shows a
The
ポストフィルタ部51は、復号画像信号65を入力とし水平NR処理信号66を出力とする水平NR処理部53と、水平NR処理信号66を入力としNR処理信号67を出力とする垂直NR処理部54とを備えている。
水平NR処理部53は、復号画像信号65の水平NR処理を行う部分であり、条件判定部55と、水平NR処理実行部56とを備えている。条件判定部55は、復号画像信号65を第1の入力、設定された閾値70を第2の入力とし、復号画像信号65に適用する水平NRフィルタを選択し、選択結果74を出力する。水平NR処理実行部56は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74に応じた水平NR処理を施した水平NR処理信号66を出力する。
The
The horizontal
垂直NR処理部54は、水平NR処理信号66の垂直NR処理を行う部分であり、条件判定部57と、垂直NR処理実行部58とを備えている。条件判定部57は、水平NR処理信号66を第1の入力、設定された閾値71を第2の入力とし、水平NR処理信号66に適用する垂直NRフィルタを選択し、選択結果75を出力する。垂直NR処理実行部58は、水平NR処理信号66を第1の入力、選択結果75を第2の入力とし、水平NR処理信号66に選択結果75に応じた垂直NR処理を施したNR処理信号67を出力する。
The vertical
垂直解像度変換部52は、NR処理信号67を第1の入力、解像度変換フィルタ選択信号72を第2の入力とし、NR処理信号67に解像度変換フィルタ選択信号72に応じた解像度変換処理を施した表示画像信号68を出力する。
〈NRフィルタおよびNRフィルタ選択〉
水平NR処理部53および垂直NR処理部54が備えるNRフィルタおよびNRフィルタの選択について説明する。本発明では、水平NR処理部53および垂直NR処理部54は、複数のNRフィルタ候補を備え、複数のNRフィルタ候補の中から一つのNRフィルタを選択してフィルタ適用画素に対するNR処理を行う。
The vertical
<Selection of NR filter and NR filter>
The NR filter and selection of the NR filter included in the horizontal
複数のフィルタ候補FH1〜FH3,・・・に対しては、それぞれフィルタタップ数FH1tap〜FH3tap,・・・、およびフィルタ適用の閾値TH1〜TH3,・・・が定められている。ここで、フィルタ候補FHkのフィルタ強度は、kの値が大きくなるほど弱いものとする。また、フィルタタップ数FHktapの大きさは、kに関して単調減少するものとし、閾値THkおよび閾値TH_dkの大きさは、それぞれkに関して単調増加するものとする。ここで、閾値THkおよび閾値TH_dkは、それぞれ値が大きいほどNRフィルタの適用を行うと判定されやすいとする。すなわち、より大きいkの値を有するフィルタ候補ほどNRフィルタの適用を行うと判定されやすくなる。 For the plurality of filter candidates FH1 to FH3,..., Filter tap numbers FH1tap to FH3tap,... And filter application thresholds TH1 to TH3,. Here, it is assumed that the filter strength of the filter candidate FHk is weaker as the value of k increases. Also, the magnitude of the filter tap number FHktap is assumed to monotonically decrease with respect to k, and the magnitudes of the threshold THk and the threshold TH_dk are assumed to monotonically increase with respect to k, respectively. Here, it is assumed that the threshold value THk and the threshold value TH_dk are determined to be more easily applied as the NR filter is applied. That is, it becomes easier to determine that the NR filter is applied to a filter candidate having a larger value of k.
図6に、画素値Y(x)のフィルタ適用画素「x」に対して、フィルタFHkを適用するか否かを判定するフィルタ適用条件F30を示す。フィルタ適用条件F30は、定数パラメータTH_dk、比較関数CMPk(x)(数式F32参照)の関数である。フィルタ適用条件F30は、画像特徴量DIFF(x)や定数パラメータTHkなどに基づいて、フィルタ適用画素「x」が画像中の平坦な領域に含まれると判断される場合に、フィルタの適用を示す値(例えば、値[1])を出力する関数である。より具体的には、比較関数CMPk(x)のそれぞれの値の四則演算、あるいはその他の演算の結果を閾値TH_dkと比較することにより、フィルタの適用を示す値を出力する。なお、フィルタ適用条件F30では、比較関数CMPk(x)のそれぞれの値の四則演算、あるいはその他の演算の結果が特定の値となる場合にフィルタの適用を示すとしてもよい。 FIG. 6 shows a filter application condition F30 for determining whether or not to apply the filter FHk to the filter application pixel “x” having the pixel value Y (x). The filter application condition F30 is a function of a constant parameter TH_dk and a comparison function CMPk (x) (see Formula F32). The filter application condition F30 indicates application of a filter when it is determined that the filter application pixel “x” is included in a flat region in the image based on the image feature amount DIFF (x), the constant parameter THk, and the like. It is a function that outputs a value (for example, value [1]). More specifically, a value indicating the application of the filter is output by comparing the results of the four arithmetic operations of the respective values of the comparison function CMPk (x) or the other operations with the threshold value TH_dk. Note that the filter application condition F30 may indicate that the filter is applied when the result of the four arithmetic operations of the values of the comparison function CMPk (x) or other operations becomes a specific value.
ここで画像特徴量DIFF(x)は、数式F31で定義される値であり、例えば、フィルタ適用画素「x」の平坦度を示す。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される。さらに、THk,TH_dkは、フィルタ候補毎の閾値である。比較関数CMPk(x)は、閾値と画像特徴量との比較を行い、比較結果を示す値を出力する。CMPk(x)は、例えば、閾値の方が大きい場合に、値[1]を出力する。 Here, the image feature amount DIFF (x) is a value defined by Formula F31, and indicates, for example, the flatness of the filter application pixel “x”. More specifically, for example, it is calculated as the adjacent pixel difference absolute value, the square of the adjacent pixel difference, or the like. Furthermore, THk and TH_dk are threshold values for each filter candidate. The comparison function CMPk (x) compares the threshold value and the image feature amount, and outputs a value indicating the comparison result. For example, CMPk (x) outputs the value [1] when the threshold value is larger.
フィルタ適用条件F30の値が[1]の場合、フィルタ適用画素「x」に対して、フィルタFHkが適用される。さらに、フィルタ適用条件F30の値が[1]となるフィルタFHkが複数ある場合、kの値の小さいもの、即ちフィルタ強度の強いものあるいはフィルタタップ数の多いものが優先的に選択される。 When the value of the filter application condition F30 is [1], the filter FHk is applied to the filter application pixel “x”. Further, when there are a plurality of filters FHk having a filter application condition F30 value of [1], a filter having a small value of k, that is, a filter having a strong filter strength or a large number of filter taps is preferentially selected.
〈水平NR処理部53の構成〉
図7〜図9を用いて、図6のNRフィルタおよびNRフィルタ選択を実現する具体的なハードウェアの構成について説明する。水平NR処理部53では、画素単位で順次入力される復号画像信号65に対して、NRフィルタの選択とNR処理の実行とを行う。
<Configuration of Horizontal
A specific hardware configuration for realizing the NR filter and NR filter selection of FIG. 6 will be described with reference to FIGS. 7 to 9. The horizontal
図7に、水平NR処理部53において切り換えて適用される3つの水平NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数および閾値を示す。水平NRフィルタFH1は、フィルタタップ数FH1tap=[7]、フィルタ係数[1,1,1,2,1,1,1]、閾値TH1=[8]の水平NRフィルタである。水平NRフィルタFH2は、フィルタタップ数FH2tap=[5]、フィルタ係数[1,1,4,1,1]、閾値TH2=[16]の水平NRフィルタである。水平NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[2,4,2]、閾値TH3=[32]の水平NRフィルタである。
FIG. 7 shows the number of filter taps, filter coefficients, and threshold values of the three horizontal NR filters FH1 to FH3 that are applied by being switched in the horizontal
図8に、条件判定部55のハードウェア構成図を示す。条件判定部55は、復号画像信号65を第1の入力、設定された閾値70(TH1〜TH3)を第2の入力とし、復号画像信号65に適用する水平NRフィルタFH1〜FH3を選択し、選択結果74を出力する。条件判定部55は、1画素分の遅延器80a〜80fと、隣接する画素の画素値に基づいて画像特徴量を計算する演算器81a〜81fと、数式F32で定義される比較関数CMPk(x)を実現する比較器82a〜82lと、フィルタ適用条件F30を実現する判定器83a〜83cと、フィルタ適用条件F30を満たす水平NRフィルタFHkからフィルタ処理に適用される水平NRフィルタ1つを選択するアンドゲート83d,83eとから構成される。
In FIG. 8, the hardware block diagram of the
遅延器80a〜80fは、復号画像信号65に対して直列に接続される1画素分の遅延器であり、復号画像信号65として入力される画素値Y(x+3)に対して、過去6画素分の画素値Y(x+2)〜画素値Y(x−3)を出力する。
演算器81a〜81fは、それぞれの遅延器80a〜80fの入力と出力とから画像特徴量を計算する。すなわち、演算器81a〜81fは、画素値Y(x+3)〜画素値Y(x−3)のそれぞれに対して、数式F31で定義される画像特徴量DIFF(x+2)〜DIFF(x−3)を計算する。
The
The
比較器82a〜82fは、画像特徴量DIFF(x+2)〜DIFF(x−3)を第1の入力、水平NRフィルタFH1の閾値TH1を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+2)〜DIFF(x−3)と水平NRフィルタFH1の閾値TH1との比較を行い、比較結果を判定器83aに出力する。比較器82g〜82jは、画像特徴量DIFF(x+1)〜DIFF(x−2)を第1の入力、水平NRフィルタFH2の閾値TH2を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+1)〜DIFF(x−2)と水平NRフィルタFH2の閾値TH2との比較を行い、比較結果を判定器83bに出力する。比較器82k,82lは、画像特徴量DIFF(x),DIFF(x−1)を第1の入力、水平NRフィルタFH3の閾値TH3を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x),DIFF(x−1)と水平NRフィルタFH3の閾値TH3との比較を行い、比較結果を判定器83cに出力する。
The
判定器83aは、比較器82a〜82fのそれぞれの出力と、それらの出力に対する閾値TH_d1とを入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「x+3」〜画素「x−3」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH1がフィルタ適用条件F30を満たすことを示す。判定器83bは、比較器82g〜82jのそれぞれの出力と、それらの出力に対する閾値TH_d2とを入力とし、フィルタ適用条件F30を演算する。具体的には、画素「x+2」〜画素「x−2」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH2がフィルタ適用条件F30を満たすことを示す。判定器83cは、比較器82k,82lのそれぞれの出力と、それらの出力に対する閾値TH_d3とを入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「x+1」〜画素「x−1」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH3がフィルタ適用条件F30を満たすことを示す。
The
ここで、判定器83aの出力は、選択結果74として水平NR処理実行部56に出力される。すなわち、判定器83aの出力が値[1]を出力する場合、フィルタ適用画素「x」に水平NRフィルタFH1が適用されることを示す。判定器83bの出力は、アンドゲート83dに入力される。アンドゲート83dは、判定器83aの出力値の否定を第1の入力、判定器83bの出力値を第2の入力とし、選択結果74を出力する。すなわち判定器83aの出力が値[0]を示し、かつ、判定器83bの出力が値[1]を示す場合に、アンドゲート83dは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH2が適用されることを示す。判定器83cの出力は、アンドゲート83eに入力される。アンドゲート83eは、判定器83aの出力値の否定を第1の入力、判定器83bの出力値の否定を第2の入力、判定器83cの出力値を第3の入力とし、選択結果74を出力する。すなわち判定器83aおよび83bの出力が値[0]を示し、かつ、判定器83cの出力が値[1]を示す場合に、アンドゲート83eは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH3が適用されることを示す。以上のように、選択結果74は、水平NRフィルタFH1〜FH3のそれぞれについて、適用および非適用を示す値を出力する。
Here, the output of the
図9に、水平NR処理実行部56のハードウェア構成図を示す。水平NR処理実行部56は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74に応じた水平NR処理を施した水平NR処理信号66を出力する。水平NR処理実行部56は、1画素分の遅延器85a〜85fと、信号の加算処理を行う加算器87a〜87fと、フィルタ係数の乗算処理を行う乗算器88a〜88dと、フィルタ係数を指定するスイッチ86a〜86dと、フィルタ係数と復号画像信号65との積和値に対し除算処理を行う除算器90とから構成される。
FIG. 9 shows a hardware configuration diagram of the horizontal NR
遅延器85a〜85fは、復号画像信号65に対して直列に接続される1画素分の遅延器であり、復号画像信号65として入力される画素値Y(x+3)に対して、過去6画素分の画素値Y(x+2)〜画素値Y(x−3)を出力する。加算器87a〜87cは、いずれの水平NRフィルタFH1〜FH3を用いた場合であっても乗算されるフィルタ係数の等しい画素値について加算処理を行う。加算器87aでは、画素値Y(x+3)と画素値Y(x−3)とが加算される。加算器87bでは、画素値Y(x+2)と画素値Y(x−2)とが加算される。加算器87cでは、画素値Y(x+1)と画素値Y(x−1)とが加算される。
The
乗算器88a〜88dは、加算器87a〜87cおよび遅延器85cの出力に対して、条件判定部55の選択結果74が示す水平NRフィルタのフィルタ係数をそれぞれ乗算する。乗算器88aは、加算器87aの出力を第1の入力、スイッチ86aの出力を第2の入力とし、それぞれの入力を乗算する。乗算器88bは、加算器87bの出力を第1の入力、スイッチ86bの出力を第2の入力とし、それぞれの入力を乗算する。乗算器88cは、加算器87cの出力を第1の入力、スイッチ86cの出力を第2の入力とし、それぞれの入力を乗算する。乗算器88cは、遅延器85cの出力(画素値Y(x))を第1の入力、スイッチ86dの出力を第2の入力とし、それぞれの入力を乗算する。
The
スイッチ86a〜86dは、条件判定部55の選択結果74に応じて動作するスイッチであり、スイッチの動作により、加算器87a〜87cおよび遅延器85cの出力に乗じるフィルタ係数を指定する。スイッチ86a〜86dは、水平NRフィルタFH1が適用される場合には、上段のフィルタ係数を指定し、水平NRフィルタFH2が適用される場合には、中段のフィルタ係数を指定し、水平NRフィルタFH3が適用される場合には、下段のフィルタ係数を指定する。
The
加算器87d〜87fは、乗算器88a〜88dの出力をすべて加算する。加算結果は、除算器90において、フィルタ係数の和で除算される。ここで、フィルタ係数の和は、水平NRフィルタFH1〜FH3のいずれが選択された場合であっても値[8]となるよう設定されている。このため、除算器90では、3ビットのシフト演算により除算処理を行うことができる。除算器90の除算結果は、水平NR処理信号66として出力される。
The
〈垂直NR処理部54の構成〉
図10〜図12を用いて、図6のNRフィルタおよびNRフィルタ選択を実現する具体的なハードウェアの構成について説明する。垂直NR処理部54では、水平NR処理部53から画素単位で出力される水平NR処理信号66を図示しないラインメモリにライン毎に記憶し、記憶されたラインに含まれるフィルタ適用画素に対して、NRフィルタの選択とNR処理の実行とを行う。なお、ラインメモリ(図示せず)は、水平NR処理信号26を記憶する代わりに復号画像信号25を記憶し、水平NR処理信号26はラインメモリ(図示せず)を介さずに垂直NR処理部へ入力されてもよい。さらに、ラインメモリ(図示せず)の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ(図示せず)を用いても良い。
<Configuration of Vertical
A specific hardware configuration for realizing the NR filter and NR filter selection of FIG. 6 will be described with reference to FIGS. In the vertical
垂直NR処理部54は、複数の垂直NRフィルタ部を備えている。垂直NR処理部54が備える垂直NRフィルタ部の個数は、垂直解像度変換部52が垂直解像度変換処理に用いる垂直NR処理後のライン数に依存する。例えば、垂直解像度変換部52が図22の垂直解像度変換部303と同様に最大6ラインの垂直NR処理後のラインを必要とする場合、垂直NRフィルタ部の個数は6となる。
The vertical
以下、画素値Y(y)のフィルタ適用画素「y」に対する垂直NRフィルタ部について説明する。他の垂直NRフィルタ部については、同様であるため説明を省略する。
図10に、垂直NR処理部54において切り換えて適用される3つの垂直NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数および閾値を示す。垂直NRフィルタFH1は、フィルタタップ数FH1tap=[3]、フィルタ係数[3,2,3]、閾値TH1=[8]の垂直NRフィルタである。垂直NRフィルタFH2は、フィルタタップ数FH2tap=[3]、フィルタ係数[2,4,2]、閾値TH2=[16]の垂直NRフィルタである。垂直NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[1,6,1]、閾値TH3=[32]の垂直NRフィルタである。
Hereinafter, the vertical NR filter unit for the filter application pixel “y” having the pixel value Y (y) will be described. The other vertical NR filter units are the same and will not be described.
FIG. 10 shows the number of filter taps, filter coefficients, and threshold values of the three vertical NR filters FH1 to FH3 that are switched and applied in the vertical
図11に、条件判定部57のハードウェア構成図を示す。条件判定部57は、ライン単位で記憶された水平NR処理信号66を第1の入力、設定された閾値71(TH1〜TH3)を第2の入力とし、水平NR処理信号66に適用する垂直NRフィルタFH1〜FH3を選択し、選択結果75を出力する。第1の入力であるライン単位で記憶された水平NR処理信号66は、図示しない3つのラインメモリに記憶された水平方向同位置の画素値Y(y−1)〜Y(y+1)である。
FIG. 11 shows a hardware configuration diagram of the
条件判定部57は、数式F31で定義される画像特徴量を計算する演算器93a,93bと、数式F32で定義される比較関数CMPk(x)を実現する比較器94a〜94fと、フィルタ適用条件F30を実現する判定器95a〜95cと、フィルタ適用条件F30を満たす垂直NRフィルタFHkからフィルタ処理に適用される垂直NRフィルタ1つを選択するアンドゲート95d,95eとから構成される。
The
演算器93a,93bは、フィルタ適用画素「y」と垂直方向に隣り合う画素「y−1」および「y+1」とから画像特徴量を計算する。すなわち、演算器93a,93bは、画素値Y(y−1)〜画素値Y(y+1)のそれぞれに対して、数式F31で定義される画像特徴量DIFF(y−1)およびDIFF(y)を計算する。
The
比較器94a,94bは、画像特徴量DIFF(y−1),DIFF(y)を第1の入力、垂直NRフィルタFH1の閾値TH1を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(y−1),DIFF(y)と垂直NRフィルタFH1の閾値TH1との比較を行い、比較結果を判定器95aに出力する。比較器94c,94dは、画像特徴量DIFF(y−1),DIFF(y)を第1の入力、垂直NRフィルタFH2の閾値TH2を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(y−1),DIFF(y)と垂直NRフィルタFH2の閾値TH2との比較を行い、比較結果を判定器95bに出力する。比較器94e,94fは、画像特徴量DIFF(y−1),DIFF(y)を第1の入力、垂直NRフィルタFH3の閾値TH3を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(y−1),DIFF(y)と垂直NRフィルタFH3の閾値TH3との比較を行い、比較結果を判定器95cに出力する。
The
判定器95aは、比較器94a,94bのそれぞれの出力と、それらの出力に対する閾値TH_d1を入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「y−1」〜画素「y+1」が平坦であると判断される場合に、値[1]を出力し、垂直NRフィルタFH1がフィルタ適用条件F30を満たすことを示す。判定器95bは、比較器94c,94dのそれぞれの出力と、それらの出力に対する閾値TH_d2を入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「y−1」〜画素「y+1」が平坦であると判断される場合に、値[1]を出力し、垂直NRフィルタFH2がフィルタ適用条件F30を満たすことを示す。判定器95cは、比較器94e,94fのそれぞれの出力と、それらの出力に対する閾値TH_d3を入力とし、フィルタ適用条件F30を演算する。具体的には、例えば、画素「y−1」〜画素「y+1」が平坦であると判断される場合に、値[1]を出力し、垂直NRフィルタFH3がフィルタ適用条件F30を満たすことを示す。
The
ここで、判定器95aの出力は、選択結果75として垂直NR処理実行部58に出力される。すなわち、判定器95aの出力が値[1]を出力する場合、フィルタ適用画素「y」に垂直NRフィルタFH1が適用されることを示す。判定器95bの出力は、アンドゲート95dに入力される。アンドゲート95dは、判定器95aの出力値の否定を第1の入力、判定器95bの出力値を第2の入力とし、選択結果75を出力する。すなわち判定器95aの出力が値[0]を示し、かつ、判定器95bの出力が値[1]を示す場合に、アンドゲート95dは、値[1]を出力し、フィルタ適用画素「y」に垂直NRフィルタFH2が適用されることを示す。判定器95cの出力は、アンドゲート95eに入力される。アンドゲート95eは、判定器95aの出力値の否定を第1の入力、判定器95bの出力値の否定を第2の入力、判定器95cの出力値を第3の入力とし、選択結果75を出力する。すなわち判定器95aおよび95bの出力が値[0]を示し、かつ、判定器95cの出力が値[1]を示す場合に、アンドゲート95eは、値[1]を出力し、フィルタ適用画素「y」に垂直NRフィルタFH3が適用されることを示す。以上のように、選択結果75は、垂直NRフィルタFH1〜FH3のそれぞれについて、適用および非適用を示す値を出力する。
Here, the output of the
図12に、垂直NR処理実行部58のハードウェア構成図を示す。垂直NR処理実行部58は、図示しない3つのラインメモリに記憶された水平方向同位置の画素値Y(y−1)〜Y(y+1)を第1の入力、選択結果75を第2の入力とし、画素値Y(y)のフィルタ適用画素「y」に選択結果75に応じた垂直NR処理を施したNR処理信号67(画素値Y’(y))を出力する。垂直NR処理実行部58は、信号の加算処理を行う加算器96a,96bと、フィルタ係数の乗算処理を行う乗算器97a,97bと、フィルタ係数を指定するスイッチ98a,98bと、フィルタ係数の乗算された水平NR処理信号66の除算処理を行う除算器100とから構成される。
FIG. 12 shows a hardware configuration diagram of the vertical NR
加算器96aは、いずれの垂直NRフィルタFH1〜FH3を用いた場合であっても乗算されるフィルタ係数の等しい画素値について加算処理を行う。加算器96aでは、画素値Y(y−1)と画素値Y(y+1)とが加算される。
乗算器97a,97bは、加算器96aおよびフィルタ適用画素「y」の画素値Y(y)に対して、条件判定部57の選択結果75が示す垂直NRフィルタのフィルタ係数をそれぞれ乗算する。乗算器97aは、加算器96aの出力を第1の入力、スイッチ98aの出力を第2の入力とし、それぞれの入力を乗算する。乗算器97bは、フィルタ適用画素「y」の画素値Y(y)を第1の入力、スイッチ98bの出力を第2の入力とし、それぞれの入力を乗算する。
The
The
スイッチ98a,98bは、条件判定部57の選択結果75に応じて動作するスイッチであり、スイッチの動作により、加算器96aの出力および画素値Y(y)に乗じるフィルタ係数を指定する。スイッチ98a,98bは、垂直NRフィルタFH1が適用される場合には、上段のフィルタ係数を指定し、垂直NRフィルタFH2が適用される場合には、中段のフィルタ係数を指定し、垂直NRフィルタFH3が適用される場合には、下段のフィルタ係数を指定する。
The
加算器96bは、乗算器97a,97bの出力を加算する。加算結果は、除算器100において、フィルタ係数の和で除算される。ここで、フィルタ係数の和は、垂直NRフィルタFH1〜FH3のいずれが選択された場合であっても値[8]となるよう設定されている。このため、除算器100では、3ビットのシフト演算により除算処理を行うことができる。除算器100の除算結果は、NR処理信号67として出力される。
The
〈フィルタリング方法〉
図13に、フィルタ装置50におけるフィルタリング方法、特に水平NR処理部53と垂直NR処理部54とにおけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号65として水平NR処理部53に入力される画素あるいは図示しないラインメモリから垂直NR処理部54に入力される画素を単位とする処理である(ステップS20〜S25)。以下、水平NR処理部53におけるフィルタリング方法について説明する。なお、以下説明する処理は、垂直NR処理部54においても同様である。
<Filtering method>
FIG. 13 shows a flowchart for explaining a filtering method in the
This filtering method is processing in units of pixels input to the horizontal
条件判定部55は、水平NRフィルタFH1〜FH3について順次フィルタ適用条件F30の値が[1]であるかを判断する(ステップS21)。フィルタ適用条件F30の値が[1]であるかについての判断は、フィルタ参照画素のそれぞれに対する処理により行われる(ステップS21a〜S21d)。(−FHktap/2)以上(FHktap/2)未満の〈i〉について、数式F31で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、THk(〈k〉は、ステップS20で対象としているフィルタ候補の番号)との比較が行われる(ステップS21b)。さらに、比較結果を用いて、数式F30で定義されるフィルタ適用条件が計算される(ステップS21d)。返り値[1]が出力される場合、フィルタFHkがフィルタ適用画素「x」に適用され(ステップS25)、次のフィルタ適用画素についての処理が開始される。一方、返り値[0]が出力される場合、次のフィルタ候補FHk+1を用意し(ステップS22,S23)、同様の処理を行う(ステップS21)。また、いずれのフィルタ候補についてもフィルタ適用条件F30の値が[1]とならない場合、水平NRフィルタFH1〜FH3の適用は行われず、次のフィルタ適用画素についての処理が開始される。
The
以上のフィルタリング方法は、フィルタ装置50のみでなく、コンピュータを用いてプログラムとして実現することも可能である。
〈第2実施形態の効果〉
(1)
フィルタ装置50では、複数のNRフィルタ候補の中から1つのNRフィルタを選択してNR処理を行うため、適切なNR効果を得ることが可能である。
The above filtering method can be realized as a program using not only the
<Effects of Second Embodiment>
(1)
Since the
(2)
複数のNRフィルタ候補の中から1つのNRフィルタを選択するに際し、画像特徴量の算出方法を共通化することが可能である。例えば、図8の演算器81a〜81f、図11の演算器93a,93bの計算結果をそれぞれのNRフィルタの選択に際して共通して用いることが可能であり、ハードウェアコストの削減、処理の簡易化が実現される。
(2)
When selecting one NR filter from among a plurality of NR filter candidates, it is possible to share an image feature amount calculation method. For example, the calculation results of the
(3)
複数のNRフィルタ候補の中から1つのNRフィルタを選択するに際し、画像特徴量の算出に必要な画素と複数のNRフィルタのそれぞれが参照する画素とが共通化されている。例えば、条件判定部55が画像特徴量の算出に必要とする画素値は、画素値Y(x+3)〜Y(x−3)であり、水平NR処理実行部56が参照する画素値は、画素値Y(x+3)〜Y(x−3)である。このため図8および図9において、遅延器80a〜80fと遅延器85a〜85fとを同一の遅延器として構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
(3)
When one NR filter is selected from a plurality of NR filter candidates, a pixel necessary for calculating an image feature amount and a pixel referred to by each of the plurality of NR filters are shared. For example, the pixel values necessary for the calculation of the image feature amount by the
また、条件判定部57と垂直NR処理実行部58とにおいて必要とされる画素値は、画素値Y(y−1)〜Y(y+1)である。このため、これらの画素値を取得するためのラインメモリを同一のラインメモリとして構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
The pixel values required in the
(4)
フィルタ装置50では、画像の平坦度が大きいほど強いフィルタを適用する結果となる。このため、物体の輪郭がフィルタ参照画素に含まれている場合などにも、適切なNR効果を得ることが可能となる。
(4)
In the
(5)
フィルタ装置50では、それぞれのNRフィルタのフィルタ係数の和が同じ値となる。このため、フィルタ係数和による画素値の除算処理を共通化することが可能となる。また、フィルタ係数和を[8]とし、3ビットのシフト演算で除算処理を行うことが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
(5)
In the
(6)
フィルタ装置50では、フィルタ強度が強くなるに従って、フィルタタップ数FHktapが大きくなり、フィルタ適用条件F30の閾値THkが小さくなる。このためフィルタ装置50におけるフィルタリング方法、フィルタリングプログラムでは、よりNR効果の高いフィルタを優先的に適用するためのソフトウェアの構成が簡易になる。
(6)
In the
〈第2実施形態の変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
(1)
本発明の効果は、水平・垂直NRフィルタの候補が3つの場合に限定されるものではない。NRフィルタ候補の数の増減は、図8,9,11,12に示したハードウェアの構成要素の数の増減により常識的に対応することが可能である。
<Modification of Second Embodiment>
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the scope of the invention.
(1)
The effects of the present invention are not limited to three horizontal / vertical NR filter candidates. Increasing or decreasing the number of NR filter candidates can be dealt with in common sense by increasing or decreasing the number of hardware components shown in FIGS.
(2)
NRフィルタ候補は、フィルタ強度が強くなるに従って、フィルタタップ数FHktapが大きくならず、またフィルタ適用条件F30の閾値THkが小さくならないものであってもよい。この場合であっても、第2実施形態に示したフィルタ装置50のハードウェア構成を常識的に拡張して対応することが可能である。
(2)
The NR filter candidate may be one in which the filter tap number FHktap does not increase and the threshold value THk of the filter application condition F30 does not decrease as the filter strength increases. Even in this case, the hardware configuration of the
(3)
図11および図12を用いて説明した垂直NRフィルタを図2の垂直NRフィルタ部41〜44として用いることも可能である。この場合、垂直NR処理判定部20からの判定結果33を取得し、取得結果に応じてフィルタ適用画素の画素値を出力する(フィルタスルー)構成を付加することにより対応することが可能である。
(3)
The vertical NR filter described with reference to FIGS. 11 and 12 can also be used as the vertical
(4)
条件判定部57は、復号画像信号65を用いて条件判定を行うものであってもよい。この場合、水平NR処理の完了前に、水平NR処理と並行して条件判定部57が動作可能となり、フィルタ装置50全体の処理速度を向上させることが可能となる。
[第3実施形態]
NRフィルタの選択およびフィルタ処理の実行に際して、フィルタ適用画素が符号化ブロックのブロック境界に位置するか否かにより、フィルタ適用条件F30において用いる閾値を変更する、あるいはブロック境界用のフィルタを適用することが可能である。図1に示す水平NR処理部13、垂直NR処理部14、図5に示す水平NR処理部53、垂直NR処理部54において、このような機能を実現することが可能である。
(4)
The
[Third Embodiment]
When selecting the NR filter and executing the filter process, the threshold used in the filter application condition F30 is changed depending on whether or not the filter application pixel is located at the block boundary of the encoded block, or the filter for the block boundary is applied. Is possible. Such functions can be realized in the horizontal
図14〜図16を用いて、水平NR処理部53(図5参照)の変形例としての、水平NR処理部について説明する。変形例としての水平NR処理部では、画素単位で順次入力される復号画像信号65に対して、NRフィルタの選択とNR処理の実行とを行う。
図14に、水平NR処理部において切り換えて適用される3つの水平NRフィルタFH1〜FH3のフィルタタップ数、フィルタ係数を示す。水平NRフィルタFH1は、フィルタタップ数FH1tap=[5]、フィルタ係数[1,2,2,2,1]の水平NRフィルタである。水平NRフィルタFH1は、フィルタ適用画素がブロック境界隣接画素である場合にのみ適用される。水平NRフィルタFH2は、フィルタタップ数FH2tap=[5]、フィルタ係数[1,1,4,1,1]の水平NRフィルタである。水平NRフィルタFH2は、フィルタ適用画素がブロック境界隣接画素であるか否かに関係なく適用される。水平NRフィルタFH3は、フィルタタップ数FH3tap=[3]、フィルタ係数[2,4,2]の水平NRフィルタである。水平NRフィルタFH3は、フィルタ適用画素がブロック境界隣接画素でない場合にのみ適用される。
A horizontal NR processing unit as a modification of the horizontal NR processing unit 53 (see FIG. 5) will be described with reference to FIGS. The modified horizontal NR processing unit selects an NR filter and executes NR processing on the decoded
FIG. 14 shows the number of filter taps and filter coefficients of the three horizontal NR filters FH1 to FH3 applied by switching in the horizontal NR processing unit. The horizontal NR filter FH1 is a horizontal NR filter having a filter tap number FH1tap = [5] and a filter coefficient [1, 2, 2, 2, 1]. The horizontal NR filter FH1 is applied only when the filter application pixel is a block boundary adjacent pixel. The horizontal NR filter FH2 is a horizontal NR filter having a filter tap number FH2tap = [5] and a filter coefficient [1, 1, 4, 1, 1]. The horizontal NR filter FH2 is applied regardless of whether the filter application pixel is a block boundary adjacent pixel. The horizontal NR filter FH3 is a horizontal NR filter having a filter tap number FH3tap = [3] and a filter coefficient [2, 4, 2]. The horizontal NR filter FH3 is applied only when the filter application pixel is not a block boundary adjacent pixel.
図15に、条件判定部55の変形例としての条件判定部104のハードウェア構成図を示す。条件判定部104は、復号画像信号65を第1の入力、設定された閾値114(TH1〜TH3,THb)を第2の入力、画素「x−2」〜画素「x+2」の間にブロック境界が存在することを示すブロック境界フラグ115(blk(x−2)〜blk(x+1):blk(x)は、画素「x」と画素「x+1」との間にブロック境界が存在する場合に値[1]を出力する関数)を第3の入力とし、復号画像信号65に適用する水平NRフィルタFH1〜FH3を選択し、選択結果74を出力する。ここで、ブロック境界フラグ115は、画素のアドレス情報に基づいて、その画素がブロック境界に位置するか否かを判断して得られる情報である。画素のアドレス情報は、例えば、復号画像信号65を復号化する復号化装置などを供給手段として供給される情報である。
FIG. 15 shows a hardware configuration diagram of the
条件判定部104は、1画素分の遅延器105a〜105dと、隣接する画素の画素値に基づいて画像特徴量を計算する演算器106a〜106dと、数式F32で定義される比較関数CMPk(x)を実現する比較器107a〜107jと、ブロック境界フラグ115の値により比較器107b,107c,107e〜107hに与える基準値を切り換えるスイッチ108a〜108fと、オアゲート110と、フィルタ適用条件F30を実現する判定器111a〜111cと、アンドゲート111d〜111fとから構成される。
The
遅延器105a〜105dは、復号画像信号65に対して直列に接続される1画素分の遅延器であり、復号画像信号65として入力される画素値Y(x+2)に対して、過去4画素分の画素値Y(x+1)〜画素値Y(x−2)を出力する。
演算器106a〜106dは、それぞれの遅延器105a〜105dの入力と出力とから画像特徴量を計算する。すなわち、演算器106a〜106dは、画素値Y(x+2)〜画素値Y(x−2)のそれぞれに対して、数式F31(図6参照)で定義される画像特徴量DIFF(x+1)〜DIFF(x−2)を計算する。
The
The
比較器107a,107dは、画像特徴量DIFF(x+1),DIFF(x−2)を第1の入力、水平NRフィルタFH1の閾値TH1を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+1),DIFF(x−2)と水平NRフィルタFH1の閾値TH1との比較を行い、比較結果を判定器111aに出力する。比較器107b,107cは、画像特徴量DIFF(x),DIFF(x−1)を第1の入力、スイッチ108a,108bの出力を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x),DIFF(x−1)とスイッチ108a,108bの出力との比較を行い、比較結果を判定器111aに出力する。
The
比較器107e〜107hは、画像特徴量DIFF(x+1)〜DIFF(x−2)を第1の入力、スイッチ108c〜108fの出力を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x+1)〜DIFF(x−2)とスイッチ108c〜108fの出力との比較を行い、比較結果を判定器111bに出力する。
The
比較器107i,107jは、画像特徴量DIFF(x),DIFF(x−1)を第1の入力、水平NRフィルタFH3の閾値TH3を第2の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量DIFF(x),DIFF(x−1)と水平NRフィルタFH3の閾値TH3との比較を行い、比較結果を判定器111cに出力する。
The
スイッチ108a,108bは、ブロック境界フラグ115のうちblk(x),blk(x−1)を第1の入力、水平NRフィルタFH1の閾値TH1を第2の入力、ブロック境界用の閾値THbを第3の入力とし、blk(x),blk(x−1)が値[0]の場合、閾値TH1を出力し、blk(x),blk(x−1)が値[1]の場合、ブロック境界用の閾値THbを出力する。スイッチ108c〜108fは、ブロック境界フラグ115のそれぞれ(blk(x+1)〜blk(x−2))を第1の入力、水平NRフィルタFH2の閾値TH2を第2の入力、ブロック境界用の閾値THbを第3の入力とし、それぞれの第1の入力が値[0]の場合、閾値TH2を出力し、それぞれの第1の入力が値[1]の場合、ブロック境界用の閾値THbを出力する。
The
オアゲート110は、ブロック境界フラグ115のうちblk(x)を第1の入力、blk(x−1)を第2の入力とする。すなわち、オアゲート110は、ブロック境界がフィルタ適用画素「x」に隣接する場合に値[1]を出力する。オアゲート110の出力は、アンドゲート111fに入力される。また、オアゲート110の出力の否定は、アンドゲート111eに入力される。
The OR
判定器111aは、比較器107a〜107dのそれぞれの出力と、それらの値に対する閾値TH_d1とを入力とする。具体的には、例えば、画素「x+2」〜画素「x−2」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH1がフィルタ適用条件を満たすことを示す。ここで、フィルタ適用条件は、図6に示したフィルタ適用条件F30とほぼ同様であり、フィルタ適用条件F30中の比較関数CMPk(x)の基準値として、閾値TH1とブロック境界用の閾値THbとが切り換えて用いられる。
The
判定器111bは、比較器107e〜107hのそれぞれの出力と、それらの値に対する閾値TH_d2とを入力とする。具体的には、例えば、画素「x+2」〜画素「x−2」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH2がフィルタ適用条件を満たすことを示す。ここで、フィルタ適用条件は、図6に示したフィルタ適用条件F30とほぼ同様であり、フィルタ適用条件F30中の比較関数CMPk(x)の基準値として、閾値TH2とブロック境界用の閾値THbとが切り換えて用いられる。
The determiner 111b receives the outputs of the
判定器111cは、比較器107i,107jのそれぞれの出力と、それらの値に対する閾値TH_d3とを入力とする。具体的には、例えば、画素「x+1」〜画素「x−1」が平坦であると判断される場合に、値[1]を出力し、水平NRフィルタFH3がフィルタ適用条件F30を満たすことを示す。
The
ここで、判定器111aの出力は、アンドゲート111fに入力される。アンドゲート111fは、判定器111aの出力値を第1の入力、オアゲート110の出力値を第2の入力とし、選択結果74を出力する。すなわち、判定器111aの出力が値[1]を示し、かつ、オアゲート110の出力が値[1]を示す場合に、アンドゲート111fは、値[1]を示し、フィルタ適用画素「x」に水平NRフィルタFH1が適用されることを示す。
Here, the output of the
判定器111bの出力は、アンドゲート111dに入力される。アンドゲート111dは、アンドゲート111fの出力値の否定を第1の入力、判定器111bの出力値を第2の入力とし、選択結果74を出力する。すなわちアンドゲート111fの出力が値[0]を示し、かつ、判定器111bの出力が値[1]を示す場合に、アンドゲート111dは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH2が適用されることを示す。
The output of the determiner 111b is input to the AND
判定器111cの出力は、アンドゲート111eに入力される。アンドゲート111eは、アンドゲート111fの出力値の否定を第1の入力、判定器111bの出力値の否定を第2の入力、判定器111cの出力値を第3の入力、オアゲート110の出力値の否定を第4の入力とし、選択結果74を出力する。すなわちアンドゲート111fおよび判定器111bの出力が値[0]を示し、かつ、判定器111cの出力が値[1]を示し、かつ、オアゲート110の出力が値[0]を示す場合に、アンドゲート111eは、値[1]を出力し、フィルタ適用画素「x」に水平NRフィルタFH3が適用されることを示す。以上のように、選択結果74は、水平NRフィルタFH1〜FH3のそれぞれについて、適用および非適用を示す値を出力する。
The output of the
選択結果74は、水平NR処理実行部56の変形例としての水平NR処理実行部(図示せず)に入力される。水平NR処理実行部は、復号画像信号65を第1の入力、選択結果74を第2の入力とし、復号画像信号65に選択結果74応じた水平NR処理を施した水平NR処理信号66を出力する。ここで、水平NR処理実行部の構成は、図9の水平NR処理実行部56とほぼ同様であり、遅延器の個数、フィルタ係数などにおいて相違点を有するのみであるため説明は省略する。
The
〈フィルタリング方法〉
図16に、水平NR処理部53の変形例としての水平NR処理部におけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号65として水平NR処理部に入力される画素を単位とする処理である(ステップS30〜S35)。条件判定部104は、水平NRフィルタFH1〜FH3について順次第2フィルタ適用条件の値が[1]であるかを判断する(ステップS31)。
<Filtering method>
FIG. 16 is a flowchart illustrating a filtering method in the horizontal NR processing unit as a modification of the horizontal
This filtering method is processing in units of pixels input to the horizontal NR processing unit as the decoded image signal 65 (steps S30 to S35). The
第2フィルタ適用条件の値が[1]であるかについては、ステップS31a〜ステップS31lの処理に基づいて判断される。まず、フィルタ適用画素「x」がブロック境界の画素か否かが判断される(ステップS31a)。
フィルタ適用画素「x」がブロック境界の画素で無い場合、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタ(例えば、図14の水平NRフィルタFH2またはFH3)であるか否かが判断され(ステップS31b)、水平NRフィルタFHkがブロック境界の画素についてのみ適用される水平NRフィルタである場合(例えば、図14の水平NRフィルタFH1)、返り値[0]を出力し(ステップS31c)、ステップS32〜ステップS34の処理を行う。一方、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタである場合、ステップS31f〜S31jのフィルタ参照画素についての処理が行われる。
Whether or not the value of the second filter application condition is [1] is determined based on the processing in steps S31a to S31l. First, it is determined whether the filter application pixel “x” is a pixel at the block boundary (step S31a).
If the filter application pixel “x” is not a pixel at the block boundary, whether or not the horizontal NR filter FHk is a horizontal NR filter applied to a pixel that is not at the block boundary (for example, the horizontal NR filter FH2 or FH3 in FIG. 14). Is determined (step S31b), and when the horizontal NR filter FHk is a horizontal NR filter that is applied only to pixels at the block boundary (for example, the horizontal NR filter FH1 in FIG. 14), the return value [0] is output (step S31b). S31c), processing of step S32 to step S34 is performed. On the other hand, when the horizontal NR filter FHk is a horizontal NR filter that is applied to a pixel that is not a block boundary, the processing for the filter reference pixel in steps S31f to S31j is performed.
フィルタ適用画素「x」がブロック境界の画素である場合(ステップS31a)、水平NRフィルタFHkがブロック境界で無い画素について適用される水平NRフィルタであるか否かが判断され(ステップS31d)、水平NRフィルタFHkがブロック境界で無い画素についてのみ適用される水平NRフィルタである場合、返り値[0]を出力し(ステップS31e)、ステップS32〜ステップS34の処理が行われる。一方、水平NRフィルタFHkがブロック境界の画素について適用される水平NRフィルタである場合、ステップS31f〜S31lのフィルタ参照画素についての処理が行われる。 When the filter application pixel “x” is a pixel at the block boundary (step S31a), it is determined whether or not the horizontal NR filter FHk is a horizontal NR filter applied to a pixel that is not at the block boundary (step S31d). When the NR filter FHk is a horizontal NR filter that is applied only to pixels that are not block boundaries, the return value [0] is output (step S31e), and the processes of steps S32 to S34 are performed. On the other hand, when the horizontal NR filter FHk is a horizontal NR filter applied to pixels at the block boundary, the process for the filter reference pixels in steps S31f to S31l is performed.
条件判定部104は、画素「x+i」(i:−FHktap/2≦i<FHktap/2)と画素「x+i+1」との間にブロック境界が存在するか否かを判断する(ステップS31f)。
判断結果が否定的である場合、数式F31(図6参照)で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、閾値THk(〈k〉は、ステップS30で対象としているフィルタ候補の番号)との比較が行われる(ステップS31h)。
The
If the determination result is negative, DIFF (x + i) defined by Formula F31 (see FIG. 6) is calculated, and DIFF (x + i) and the threshold value THk (<k>) are the filter candidates targeted in step S30. The number is compared with the number (step S31h).
判断結果が肯定的で有る場合、数式F31で定義されるDIFF(x+i)が計算され、DIFF(x+i)と、ブロック境界用の閾値THbとの比較が行われる(ステップS31i)。さらに、比較結果を用いて、数式F30で定義されるフィルタ適用条件が計算される(ステップS31k)。 If the determination result is affirmative, DIFF (x + i) defined by Formula F31 is calculated, and DIFF (x + i) is compared with the block boundary threshold value THb (step S31i). Further, the filter application condition defined by Formula F30 is calculated using the comparison result (step S31k).
返り値[0]が出力される場合(ステップS31l)、ステップS32〜ステップS34の処理が行われる。ステップS32〜S34では、次のフィルタ候補FHk+1が用意され(ステップS32、S33)、同様の処理が開始される(ステップS30)。
返り値[1]が出力される場合(ステップS31l)、フィルタFHkがフィルタ適用画素「x」に適用され(ステップS35)、次のフィルタ適用画素「x+1」についての処理が開始される。
When the return value [0] is output (step S31l), the processing from step S32 to step S34 is performed. In steps S32 to S34, the next filter candidate FHk + 1 is prepared (steps S32 and S33), and the same processing is started (step S30).
When the return value [1] is output (step S31l), the filter FHk is applied to the filter application pixel “x” (step S35), and the process for the next filter application pixel “x + 1” is started.
以上のフィルタリング方法は、水平NR処理部53の変形例としての水平NR処理部のみでなく、図1に示す水平NR処理部13、垂直NR処理部14、図5に示す垂直NR処理部54においても同様に適用可能である。また、コンピュータを用いてプログラムとして実現することも可能である。
The above filtering method is applied not only to the horizontal NR processing unit as a modification of the horizontal
〈第3実施形態の効果〉
(1)
第3実施形態として説明した水平NR処理部あるいは垂直NR処理部を備えるフィルタ装置では、例えば、ブロック境界の画素に対して、よりフィルタ強度の強いブロック境界用のNRフィルタを適用することが可能となる。これにより、より強いブロックノイズの低減を行うことが可能となる
(2)
THbを通常の閾値TH1〜TH3などより大きい値とすることにより、ブロック境界の画素に対して、よりNRフィルタの適用が行われやすくすることが可能である。これにより、ブロックノイズの低減をさらに行うことが可能となる。
<Effect of the third embodiment>
(1)
In the filter device including the horizontal NR processing unit or the vertical NR processing unit described as the third embodiment, for example, it is possible to apply a block boundary NR filter having higher filter strength to pixels at the block boundary. Become. This makes it possible to reduce block noise more strongly (2)
By setting THb to a value larger than the normal threshold values TH1 to TH3, it is possible to more easily apply the NR filter to the pixels at the block boundary. Thereby, it is possible to further reduce the block noise.
(3)
また、非ブロック境界用のNRフィルタ(例えば、図14の水平NRフィルタFH3など)を用い、より適切なNRフィルタを適用してNR処理を行うことが可能となる。
(4)
図15に示す条件判定部104では、NRフィルタの適用を判断するため計算される画像特徴量は、図25を用いて説明した従来のフィルタ処理を実現するための装置よりも簡易に計算できる。このため、ハードウェアコストの低減が可能となる。また、ソフトウェアにより同様の処理を行うプログラムにおいても、処理が簡易であり、処理負荷を低減することが可能となる。
(3)
In addition, it is possible to perform NR processing by using a more appropriate NR filter using a non-block boundary NR filter (for example, the horizontal NR filter FH3 in FIG. 14).
(4)
In the
〈第3実施形態の変形例〉
(1)
図14を用いて説明した水平NRフィルタにおいて、水平NRフィルタFH1は、フィルタ適用画素がブロック境界に隣接する場合にのみ適用されるとした。ここで、ブロック境界用の水平NRフィルタは、フィルタ適用画素がブロック境界に隣接する場合に限らず、1画素を挟んでブロック境界に隣接する場合に適用されるものであってもよい。また、ブロック境界から何画素離れているかで、フィルタを切り換えてもよい。ブロック境界付近でフィルタ強度の強いフィルタを使用することにより、より高いブロックノイズの低減が可能となる。
<Modification of Third Embodiment>
(1)
In the horizontal NR filter described with reference to FIG. 14, the horizontal NR filter FH1 is applied only when the filter application pixel is adjacent to the block boundary. Here, the horizontal NR filter for the block boundary is not limited to the case where the filter application pixel is adjacent to the block boundary, and may be applied to the case where the pixel is adjacent to the block boundary across one pixel. The filter may be switched depending on how many pixels are away from the block boundary. By using a filter having a strong filter strength near the block boundary, a higher block noise can be reduced.
(2)
それぞれのフィルタ候補FH1〜FH3は、異なる値のブロック境界用の閾値THbを用いてもよい。
[第4実施形態]
本発明の第4実施形態として、フィルタ装置、フィルタリング方法、およびフィルタリングプログラムの応用例と、それを用いたシステムとを図17〜図20を用いて説明する。
(2)
Each of the filter candidates FH1 to FH3 may use a threshold value THb for a block boundary having a different value.
[Fourth Embodiment]
As a fourth embodiment of the present invention, an application example of a filter device, a filtering method, and a filtering program, and a system using the same will be described with reference to FIGS.
図17は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107〜ex110が設置されている。
このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107〜ex110を介して、コンピュータex111、PDA(personal digital assistant)ex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。
FIG. 17 is a block diagram showing an overall configuration of a content supply system ex100 that implements a content distribution service. A communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed wireless stations, are installed in each cell.
The content supply system ex100 includes, for example, a computer ex111, a personal digital assistant (PDA) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex101, the Internet service provider ex102, the telephone network ex104, and the base stations ex107 to ex110. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムex100は図19のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107〜ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。
カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDC(Personal Digital Communications)方式、CDMA(Code Division Multiple Access)方式、W−CDMA(Wideband−Code Division Multiple Access)方式、若しくはGSM(Global System for Mobile Communications)方式の携帯電話機、またはPHS(Personal Handyphone System)等であり、いずれでも構わない。
However, the content supply system ex100 is not limited to the combination as shown in FIG. 19, and may be connected in combination. Also, each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
The camera ex113 is a device capable of shooting a moving image such as a digital video camera. In addition, the mobile phone may be a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a W-CDMA (Wideband-Code Division Multiple Access) system, or a GSM (Global Mobile System). Alternatively, PHS (Personal Handyphone System) or the like may be used.
また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってモードちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディア(CD−ROM、フレキシブルディスク、ハードディスクなど)に組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。 In addition, the streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live distribution or the like based on the encoded data transmitted by the user using the camera ex113 becomes possible. The encoded processing of the captured data may be performed by the camera ex113, or may be performed by a server or the like that performs data transmission processing. The moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device such as a digital camera that can shoot still images and moving images. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111, and the mode may be used. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116. Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, or the like) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile phone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ(例えば、音楽ライブを撮影した映像等)を符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを用いてもよい。例えば、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等は、上記実施形態で示したフィルタ装置およびフィルタリングプログラムを備えていてもよい。 In the content supply system ex100, the content (for example, a video image of music live) captured by the user with the camera ex113, the camera ex116, and the like is encoded and transmitted to the streaming server ex103, while the streaming server ex103. Distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, and a mobile phone ex114 that can decode the encoded data. In this way, the content supply system ex100 can receive and play back the encoded data at the client, and can also receive a private broadcast by receiving, decoding, and playing back at the client in real time. It is a system that becomes possible. Further, when reproducing the content, the filter device, the filtering method, and the filtering program of the above embodiment may be used. For example, the computer ex111, the PDA ex112, the camera ex113, the mobile phone ex114, and the like may include the filter device and the filtering program described in the above embodiment.
一例として携帯電話について説明する。
図18は、上記実施形態のメディアデータ表示装置を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROM(Electrically Erasable and Programmable Read Only Memory)の一種であるフラッシュメモリ素子を格納したものである。
A mobile phone will be described as an example.
FIG. 18 is a diagram showing a mobile phone ex115 using the media data display device of the above embodiment. The mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a video from a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display that displays data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for audio output, and audio input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording media ex207 and mobile phone ex115 with recording media ex207 And a slot portion ex206 to ability. The recording medium ex207 stores a flash memory element which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) which is a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
さらに、携帯電話ex115について図19を用いて説明する。携帯電話ex115は表示部ex202および操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCD(Liquid Crystal Display)制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306および音声処理部ex305が同期バスex313を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. The mobile phone ex115 controls the main control unit ex311 which controls the respective units of the main body unit including the display unit ex202 and the operation key ex204. The power supply circuit unit ex310, the operation input control unit ex304, and the image encoding Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / playback unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ex310は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。
携帯電話ex115は、CPU、ROMおよびRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。
When the end of call and the power key are turned on by a user operation, the power supply circuit ex310 starts up the camera-equipped digital mobile phone ex115 in an operable state by supplying power from the battery pack to each unit. .
The cellular phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305. After conversion into a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 of the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex110 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303およびLCD制御部ex302を介して表示部ex202に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ex312は、カメラ部ex203から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。 The image encoding unit ex312 converts the image data supplied from the camera unit ex203 into encoded image data by compression encoding, and sends this to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the voice input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 via the voice processing unit ex305 as digital voice data.
多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナex201を介して送信する。 The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the resulting multiplexed data is a modulation / demodulation circuit unit Spread spectrum processing is performed in ex306, digital analog conversion processing and frequency conversion processing are performed in the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。 When receiving data of a moving image file linked to a homepage or the like in the data communication mode, the received signal received from the base station ex110 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resulting multiplexing is obtained. Data is sent to the demultiplexing unit ex308.
また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bit stream of image data and an encoded bit stream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ex309は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。 Next, the image decoding unit ex309 generates reproduction moving image data by decoding the encoded bit stream of the image data, and supplies this to the display unit ex202 via the LCD control unit ex302. The moving image data included in the moving image file linked to the home page is displayed.
また、画像復号化部ex309は、上記実施形態のフィルタ装置としての機能を果たすものであっても良い。
このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
The image decoding unit ex309 may fulfill the function as the filter device of the above embodiment.
At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図20に示すようにディジタル放送用システムにも上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ(受信機)ex401またはセットトップボックス(STB)ex407などの装置が上記実施形態のフィルタ装置を備えていてもよい。また、上記実施形態のフィルタリング方法を用いるものであってもよい。さらに、上記実施形態のフィルタリングプログラムを備えていてもよい。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に上記実施形態のフィルタ装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内にフィルタ装置を組み込んでも良い。また、アンテナex411を有する車ex412で放送衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。 Note that the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. 20, the digital broadcasting system also includes the filtering device, filtering method, and filtering of the above-described embodiment. A program can be incorporated. Specifically, in the broadcasting station ex409, a coded bit stream of video information is transmitted to a communication or broadcasting satellite ex410 via radio waves. Receiving this, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bitstream and reproduces it. Here, a device such as the television (receiver) ex401 or the set top box (STB) ex407 may include the filter device of the above embodiment. Moreover, you may use the filtering method of the said embodiment. Furthermore, you may provide the filtering program of the said embodiment. In addition, the filter device, the filtering method, and the filtering program of the above-described embodiment may be mounted on the playback device ex403 that reads and decodes the encoded bitstream recorded on the storage medium ex402 such as a CD or DVD that is a recording medium. Is possible. In this case, the reproduced video signal is displayed on the monitor ex404. In addition, a configuration in which the filter device of the above-described embodiment is mounted in a set-top box ex407 connected to a cable ex405 for cable television or an antenna ex406 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex408 of the television is also conceivable. . At this time, a filter device may be incorporated in the television instead of the set top box. It is also possible to receive a signal from the broadcasting satellite ex410 or the base station ex107 by the car ex412 having the antenna ex411 and reproduce a moving image on a display device such as the car navigation ex413 that the car ex412 has.
さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。さらにSDカードex422に記録することもできる。また、DVDディスクex421やSDカードex422に記録した画像信号を上記実施形態のフィルタ装置を介して再生し、モニタex408に表示することができる。 Furthermore, an image signal can be encoded and recorded on a recording medium. Specific examples include a recorder ex420 such as a DVD recorder that records image signals on a DVD disk ex421 and a disk recorder that records images on a hard disk. Further, it can be recorded on the SD card ex422. Further, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced via the filter device of the above embodiment and displayed on the monitor ex408.
なお、カーナビゲーションex413の構成は例えば図19に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ(受信機)ex401等でも考えられる。 For example, the configuration of the car navigation ex413 may be a configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 in the configuration illustrated in FIG. 19, and the same applies to the computer ex111 and the television (receiver). ) Ex401 can also be considered.
また、上記携帯電話ex114等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。
このように、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three mounting formats, that is, a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
As described above, the filter device, the filtering method, and the filtering program of the above-described embodiment can be used for any of the above-described devices and systems, and the effects described in the above-described embodiments can be obtained.
なお、ブロック図の各機能ブロック(図1,2,5,19)や、ハードウェア構成(図8,9,11,12,15,)は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。例えば、メモリ以外の機能ブロックが1チップ化されていても良い。 Each functional block (FIGS. 1, 2, 5, and 19) in the block diagram and hardware configuration (FIGS. 8, 9, 11, 12, and 15) are typically realized as an LSI that is an integrated circuit. . These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. For example, the functional blocks other than the memory may be integrated into one chip.
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明にかかるフィルタ装置は、ハードウェアコストをより削減することが求められるフィルタ装置、特にノイズリダクション(NR)フィルタを用いたフィルタ装置などとして有用である。また、本発明のフィルタリング方法、およびフィルタリングプログラムは、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減することが求められるNRフィルタを用いたフィルタリング方法、およびフィルタリングプログラムなどとして有用である。 The filter device according to the present invention is useful as a filter device that is required to further reduce the hardware cost, particularly as a filter device using a noise reduction (NR) filter. The filtering method and filtering program of the present invention are useful as a filtering method and a filtering program using an NR filter that are required to further reduce hardware costs or to reduce processing load by software. .
10 フィルタ装置
11 ポストフィルタ部
12 垂直解像度変換部
13 水平NR処理部
14 垂直NR処理部
15 条件判定部
16 水平NR処理実行部
17 条件判定部
18 垂直NR処理実行部
20 垂直NR処理判定部
25 復号画像信号
26 水平NR処理信号
27 NR処理信号
28 表示画像信号
32 解像度変換フィルタ選択信号
33 判定結果
41〜44 垂直NRフィルタ部
DESCRIPTION OF
Claims (8)
それぞれ異なる変換比率を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換手段と、
前記複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記NR処理手段に前記入力画像信号のNR処理を行わせるか否かを判定するNR処理判定手段と、
を備え、
前記NR処理判定手段は、前記解像度変換フィルタ選択信号が、複雑な変換比率の解像度変換フィルタを選択するものである場合に、前記NR処理手段に前記入力画像信号のNR処理を行わせないと判定する、
フィルタ装置。 NR processing means for outputting an output image signal to the input image signal,
Resolution conversion means having a plurality of resolution conversion filters each having a different conversion ratio, and performing resolution conversion with reference to the output image signal;
Based on the resolution conversion filter selection signal for selecting one of said plurality of resolution conversion filter, and NR processing determining means for determining whether or not to perform the NR processing of the input image signal to the NR processing means,
Equipped with a,
The NR processing determination unit determines that the NR processing unit does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a complex conversion ratio. To
Filter device.
異なるフィルタタップ数を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換手段と、 Resolution conversion means having a plurality of resolution conversion filters having different numbers of filter taps, and performing resolution conversion with reference to the output image signal;
前記複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記NR処理手段に前記入力画像信号のNR処理を行わせるか否かを判定するNR処理判定手段と、 NR processing determination means for determining whether to cause the NR processing means to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one from the plurality of resolution conversion filters;
を備え、With
前記NR処理判定手段は、前記解像度変換フィルタ選択信号が、フィルタタップ数の多い解像度変換フィルタを選択するものである場合に、前記NR処理手段に前記入力画像信号のNR処理を行わせないと判定する、 The NR processing determination unit determines that the NR processing unit does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a large number of filter taps. To
フィルタ装置。 Filter device.
請求項1または2に記載のフィルタ装置。 The NR processing means performs the NR processing using the same number of pixels of the input image signal as the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
The filter device according to claim 1 or 2 .
請求項1から3のいずれか1項に記載のフィルタ装置。 The NR processing means has a number of NR filter means smaller than the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
Filter apparatus according to any one of claims 1 to 3.
前記解像度変換手段は、前記出力画像信号の垂直方向の解像度変換を行う、
請求項1から4のいずれか1項に記載のフィルタ装置。 The NR processing means performs vertical NR processing of the input image signal,
The resolution conversion means performs resolution conversion in the vertical direction of the output image signal.
Filter apparatus according to any one of claims 1 to 4.
それぞれ異なる変換比率を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換ステップと、 A resolution conversion step having a plurality of resolution conversion filters each having a different conversion ratio, and performing resolution conversion with reference to the output image signal;
前記複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記NR処理ステップに前記入力画像信号のNR処理を行わせるか否かを判定するNR処理判定ステップと、 An NR processing determination step for determining whether or not to cause the NR processing step to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one of the plurality of resolution conversion filters;
を有し、Have
前記NR処理判定ステップは、前記解像度変換フィルタ選択信号が、複雑な変換比率の解像度変換フィルタを選択するものである場合に、前記NR処理手段に前記入力画像信号のNR処理を行わせないと判定する、 The NR processing determination step determines that the NR processing means does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a complex conversion ratio. To
フィルタ方法。 Filter method.
異なるフィルタタップ数を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換ステップと、 A resolution conversion step having a plurality of resolution conversion filters having different numbers of filter taps, and performing resolution conversion with reference to the output image signal;
前記複数の解像度変換フィルタから1つを選択させるための解像度変換フィルタ選択信号に基づいて、前記NR処理手段に前記入力画像信号のNR処理を行わせるか否かを判定するNR処理判定ステップと、 An NR processing determination step for determining whether to cause the NR processing means to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one of the plurality of resolution conversion filters;
を有し、Have
前記NR処理判定ステップは、前記解像度変換フィルタ選択信号が、フィルタタップ数の多い解像度変換フィルタを選択するものである場合に、前記NR処理手段に前記入力画像信号のNR処理を行わせないと判定する、 The NR processing determination step determines that the NR processing means does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a large number of filter taps. To
フィルタ方法。 Filter method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004243487A JP4558409B2 (en) | 2003-08-27 | 2004-08-24 | Filter device, filtering method, and filtering program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003302554 | 2003-08-27 | ||
JP2004243487A JP4558409B2 (en) | 2003-08-27 | 2004-08-24 | Filter device, filtering method, and filtering program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010117459A Division JP5116803B2 (en) | 2003-08-27 | 2010-05-21 | Filter device, filtering method, and filtering program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005102179A JP2005102179A (en) | 2005-04-14 |
JP4558409B2 true JP4558409B2 (en) | 2010-10-06 |
Family
ID=34467201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004243487A Expired - Fee Related JP4558409B2 (en) | 2003-08-27 | 2004-08-24 | Filter device, filtering method, and filtering program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4558409B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE48845E1 (en) | 2002-04-01 | 2021-12-07 | Broadcom Corporation | Video decoding system supporting multiple standards |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7636493B2 (en) * | 2003-08-27 | 2009-12-22 | Panasonic Corporation | Filter device, filtering method and filtering program product |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63102467A (en) * | 1986-10-17 | 1988-05-07 | Canon Inc | Converting device for resolution of picture data |
JPH0738762A (en) * | 1993-07-26 | 1995-02-07 | Japan Radio Co Ltd | Control system for post-processing filter for video codec |
JPH08317389A (en) * | 1995-05-15 | 1996-11-29 | Matsushita Electric Ind Co Ltd | Block distortion remover |
JPH09186993A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Filter device and decoder using it |
JPH10191335A (en) * | 1996-12-27 | 1998-07-21 | Sony Corp | Block distortion reducing method and device |
WO2002023915A1 (en) * | 2000-09-12 | 2002-03-21 | Matsushita Electric Industrial Co., Ltd. | Noise reducing method, noise reducing device, medium, and program |
JP2003087640A (en) * | 2001-09-10 | 2003-03-20 | Canon Inc | Imaging apparatus, signal processor, and control method |
-
2004
- 2004-08-24 JP JP2004243487A patent/JP4558409B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63102467A (en) * | 1986-10-17 | 1988-05-07 | Canon Inc | Converting device for resolution of picture data |
JPH0738762A (en) * | 1993-07-26 | 1995-02-07 | Japan Radio Co Ltd | Control system for post-processing filter for video codec |
JPH08317389A (en) * | 1995-05-15 | 1996-11-29 | Matsushita Electric Ind Co Ltd | Block distortion remover |
JPH09186993A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Filter device and decoder using it |
JPH10191335A (en) * | 1996-12-27 | 1998-07-21 | Sony Corp | Block distortion reducing method and device |
WO2002023915A1 (en) * | 2000-09-12 | 2002-03-21 | Matsushita Electric Industrial Co., Ltd. | Noise reducing method, noise reducing device, medium, and program |
JP2003087640A (en) * | 2001-09-10 | 2003-03-20 | Canon Inc | Imaging apparatus, signal processor, and control method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USRE48845E1 (en) | 2002-04-01 | 2021-12-07 | Broadcom Corporation | Video decoding system supporting multiple standards |
Also Published As
Publication number | Publication date |
---|---|
JP2005102179A (en) | 2005-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100358366C (en) | Filtering intensity decision method, moving picture encoding method, and moving picture decoding method | |
CN101438575B (en) | Visual processing apparatus, visual processing method, and display device | |
JP4657375B2 (en) | Encoding distortion removal method | |
JP4439890B2 (en) | Image decoding method, apparatus and program | |
CN100380979C (en) | Variable length encoding method and variable length decoding method | |
EP1788817A1 (en) | Decoder, encoder, decoding method and encoding method | |
EP1422928A2 (en) | Motion compensated interpolation of digital video signals | |
KR101027825B1 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
EP1662802A1 (en) | Moving picture encoding method and moving picture decoding method | |
JP5116803B2 (en) | Filter device, filtering method, and filtering program | |
JPWO2006013854A1 (en) | Image decoding apparatus and image encoding apparatus | |
EP1816870A1 (en) | Video encoding method, and video decoding method | |
JP2006074777A (en) | Moving picture coding method and decoding method | |
EP1534016A2 (en) | Using motion vectors and the occurrence of coefficient quantization levels to drive a noise removal image postprocessing | |
JP4313710B2 (en) | Image encoding method and image decoding method | |
JP4558409B2 (en) | Filter device, filtering method, and filtering program | |
JP2007316630A (en) | Visual processing apparatus, visual processing method, program, recording medium, display apparatus, and integrated circuit | |
CN101453544B (en) | Gray-scale transformation processing apparatus | |
CN114175659A (en) | Apparatus and method for bit width control of bi-directional optical flow | |
JP2007143178A (en) | Method for removing coding distortion | |
JPWO2006003873A1 (en) | Image encoding method and image decoding method | |
JP2006236317A (en) | Image processing method | |
JP2005176337A (en) | Method, device and program for processing image signal, and integrated circuit device | |
JP2005159947A (en) | Prediction image generation method, image encoding method and image decoding method | |
JP2008125106A (en) | Visual processing apparatus, visual processing method, program, recording medium, display, and integrated circuit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070615 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100114 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100521 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100521 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100721 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |