JP4558409B2 - Filter device, filtering method, and filtering program - Google Patents
Filter device, filtering method, and filtering program Download PDFInfo
- Publication number
- JP4558409B2 JP4558409B2 JP2004243487A JP2004243487A JP4558409B2 JP 4558409 B2 JP4558409 B2 JP 4558409B2 JP 2004243487 A JP2004243487 A JP 2004243487A JP 2004243487 A JP2004243487 A JP 2004243487A JP 4558409 B2 JP4558409 B2 JP 4558409B2
- Authority
- JP
- Japan
- Prior art keywords
- filter
- processing
- resolution conversion
- image signal
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 141
- 238000001914 filtration Methods 0.000 title description 48
- 238000006243 chemical reaction Methods 0.000 claims description 159
- 230000015654 memory Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 23
- 230000000694 effects Effects 0.000 description 14
- 101150065825 CMPK1 gene Proteins 0.000 description 10
- 101100453619 Danio rerio cmpk gene Proteins 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241000255925 Diptera Species 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 101000712600 Homo sapiens Thyroid hormone receptor beta Proteins 0.000 description 1
- 102100033451 Thyroid hormone receptor beta Human genes 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
本発明は、フィルタ装置、特にノイズリダクション（ＮＲ）フィルタを用いたフィルタ装置に関する。また、別の本発明は、ＮＲフィルタを用いたフィルタリング方法、およびフィルタリングプログラムに関する。 The present invention relates to a filter device, and more particularly to a filter device using a noise reduction (NR) filter. Another embodiment of the present invention relates to a filtering method using an NR filter and a filtering program.
ＤＶＤレコーダなどの符号化画像信号を扱う製品では、画質向上のために、ブロックノイズやモスキートノイズを低減するノイズリダクション（ＮＲ）フィルタを用いるものがある。特に、符号化画像信号を復号処理したあとに用いられるＮＲフィルタは、ポストフィルタと呼ばれている。 Some products that handle encoded image signals, such as DVD recorders, use a noise reduction (NR) filter that reduces block noise and mosquito noise in order to improve image quality. In particular, an NR filter used after decoding an encoded image signal is called a post filter.
〈フィルタ装置４００〉
図２１に、ＮＲ処理を行うフィルタ装置４００について説明するブロック図を示す。
フィルタ装置４００は、復号画像信号３１０に対して水平・垂直ＮＲ処理を行いＮＲ処理信号３１２を出力するポストフィルタ部３００と、ＮＲ処理信号３１２の垂直解像度変換を行い表示画像信号３１３を出力する垂直解像度変換部３０３とを備えている。
<
FIG. 21 is a block diagram illustrating a
The
〈ポストフィルタ部３００〉
ポストフィルタ部３００は、復号画像信号３１０を入力とし水平ＮＲ処理信号３１１を出力とする水平ＮＲ処理部３０１と、水平ＮＲ処理信号３１１を入力としＮＲ処理信号３１２を出力とする垂直ＮＲ処理部３０２とを備えている。
<
The
水平ＮＲ処理部３０１は、復号画像信号３１０の水平ＮＲ処理を行う部分であり、条件判定部３０４と、水平ＮＲ処理実行部３０５とを備えている。条件判定部３０４は、設定された閾値３１５に基づいて、復号画像信号３１０に水平ＮＲフィルタを適用するか否かの適用条件を判定する。水平ＮＲ処理実行部３０５は、復号画像信号３１０と条件判定部３０４の判定結果３１８とに基づいて、復号画像信号３１０の水平ＮＲ処理を実行し、水平ＮＲ処理信号３１１を出力する。
The horizontal
垂直ＮＲ処理部３０２は、水平ＮＲ処理信号３１１の垂直ＮＲ処理を行う部分であり、条件判定部３０６と、垂直ＮＲ処理実行部３０７とを備えている。条件判定部３０６は、設定された閾値３１６に基づいて、水平ＮＲ処理信号３１１に垂直ＮＲフィルタを適用するか否かの適用条件を判定する。垂直ＮＲ処理実行部３０７は、水平ＮＲ処理信号３１１と条件判定部３０６の判定結果３１９とに基づいて、水平ＮＲ処理信号３１１の垂直ＮＲ処理を実行し、ＮＲ処理信号３１２を出力する。
The vertical
図２２に、垂直ＮＲ処理部３０２で用いられる垂直ＮＲフィルタ部の構成を説明するブロック図を示す。垂直ＮＲ処理部３０２は、フィルタタップ数が［３］の６つの垂直ＮＲフィルタ部３２１〜３２６を有している。垂直ＮＲフィルタ部３２１〜３２６には、水平ＮＲ処理信号３１１が入力される。より具体的には、水平ＮＲ処理信号３１１の水平方向同位置の８ライン分の画素値Ｙ（ｙ−３）〜Ｙ（ｙ＋４）が３ラインずつ垂直ＮＲフィルタ部３２１〜３２６に入力される。
FIG. 22 is a block diagram illustrating the configuration of the vertical NR filter unit used in the vertical
それぞれの垂直ＮＲフィルタ部３２１〜３２６では、入力された画素値Ｙ（ｙ−３）〜Ｙ（ｙ＋４）と設定された閾値３１６とに基づいて、水平ＮＲ処理信号３１１に垂直ＮＲフィルタを適用するか否かの判定を行い、ＮＲ処理信号３１２を出力する。ＮＲ処理信号３１２は、垂直ＮＲフィルタ部３２１〜３２６のそれぞれから画素値Ｙ’（ｙ−２）〜Ｙ’（ｙ＋３）として出力される。すなわち、それぞれの垂直ＮＲフィルタ部３２１〜３２６は、条件判定部３０６と垂直ＮＲ処理実行部３０７として動作する。
Each of the vertical
図２３を用いて、垂直ＮＲフィルタ部３２１〜３２６におけるフィルタ適用判定について説明する。例えば、垂直ＮＲフィルタ部３２３は、画素値Ｙ（ｙ）のフィルタ適用画素「ｙ」に対して、画素「ｙ−１」〜画素「ｙ＋１」の３画素を参照するフィルタタップ数［３］の垂直ＮＲフィルタを有している。フィルタ適用画素「ｙ」に対して、垂直ＮＲフィルタ部３２３において垂直ＮＲフィルタを適用するか否かは、フィルタ適用条件Ｆ１を用いて判定される。フィルタ適用条件Ｆ１の値が［１］の場合、画素「ｙ−１」〜画素「ｙ＋１」に対して、フィルタ係数［１，２，１］のフィルタが適用され、画素値Ｙ’（ｙ）が出力される。なお、フィルタ適用条件Ｆ１中、ＣＭＰ（ｙ）は、数式Ｆ３で定義される比較関数である。さらに、ＴＨは、閾値３１６である。
The filter application determination in the vertical
他の垂直ＮＲフィルタ部３２１，３２２，３２４〜３２６についても、基本的な動作は同様である。また、水平ＮＲ処理部３０１において用いられる水平ＮＲフィルタ部についても、基本的な動作は同様である。
〈垂直解像度変換部３０３〉
ポストフィルタ部３００（図２１参照）から出力されたＮＲ処理信号３１２は、垂直解像度変換部３０３に入力される。入力されたＮＲ処理信号３１２は、垂直解像度変換フィルタを用いて垂直解像度変換され、表示画像信号３１３として出力される。垂直解像度変換部３０３では、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号３１７に基づいて選択される。
The basic operations of the other vertical
<
The
図２４を用いて、垂直解像度変換部３０３が有する３つの解像度変換フィルタについて説明する。垂直解像度変換部３０３は、解像度変換フィルタ選択信号３１７が指定する３つの値［０］〜［２］に応じて、解像度変換フィルタを選択する。例えば、値［０］が指定される場合、ＮＲ処理信号３１２の解像度変換は行われず、表示画像信号３１３としてＹ”（ｙ）＝Ｙ’（ｙ）となる画素値Ｙ”（ｙ）が出力される。値［１］が指定される場合、ＮＲ処理信号３１２の６つの画素値Ｙ’（ｙ−２）〜Ｙ’（ｙ＋３）から算出される画素値Ｙ”（ｙ）が出力される。ここで、値［１］は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の１倍」などと言った簡易な変換比率を有する変換で無い場合などに指定される。値［２］が指定される場合、ＮＲ処理信号３１２の４つの画素値Ｙ’（ｙ−１）〜Ｙ’（ｙ＋２）から算出される画素値Ｙ”（ｙ）が出力される。ここで、値［２］は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の１倍」などと言った簡易な変換比率を有する場合などに指定される。
The three resolution conversion filters included in the vertical
〈ブロックＮＲフィルタ〉
一方、ＮＲ効果を向上させる目的、特にブロックノイズを低減させる目的で複数のフィルタを切り換えて用いる技術が知られている（例えば、非特許文献１参照。）。
図２５を用いて、非特許文献１に記載されているブロックノイズの低減を目的とするデブロックフィルタについて説明する。非特許文献１のデブロックフィルタは、画像信号の処理単位である８×８画素の画像ブロック（例えば、符号化ブロック）のブロック境界を挟む８つの画素「ｋ＋１」〜画素「ｋ＋８」（画素値Ｙ（ｋ＋１）〜画素値Ｙ（ｋ＋８））についてフィルタ後の画素値Ｙ’（ｋ＋１）〜画素値Ｙ’（ｋ＋８）を算出する。具体的には、画素「ｋ＋１」〜画素「ｋ＋８」について、隣接画素差分を算出し、隣接画素差分を用いた条件判断でフィルタを切り換える。ここで、条件判断は、数式Ｆ５に基づいて行われる。なお、数式Ｆ５中、φ（γ）は、数式Ｆ６で定義される比較関数である。すなわち、数式Ｆ６では、隣接画素差分絶対値が閾値ＴＨＲ１以下であるか否かが判断される。
<Block NR filter>
On the other hand, a technique for switching and using a plurality of filters for the purpose of improving the NR effect, particularly for the purpose of reducing block noise is known (for example, see Non-Patent Document 1).
A deblocking filter for reducing block noise described in
数式Ｆ５の値ｅｑ＿ｃｎｔが閾値ＴＨＲ２以上、かつ数式Ｆ１０が真の場合、フィルタ後の画素値Ｙ’（ｋ＋１）〜画素値Ｙ’（ｋ＋８）は、数式Ｆ１１により算出される値となる。ここで、数式Ｆ１０中、ＹｍａｘおよびＹｍｉｎは、それぞれ画素値Ｙ（ｋ＋１）〜画素値Ｙ（ｋ＋８）の最大値および最小値である。また、ＱＰは、量子化パラメータである。さらに、数式Ｆ１１中、ｐ（ｋ，ｉ＋ｊ）およびｂｊは、数式Ｆ１２および数式Ｆ１３で定義される。ここで、数式Ｆ１３中、「／／」は、少数点以下を四捨五入する除算を示している（以下、同様）。なお、数式中、「／」は、小数点以下を切り捨てる除算を示している（以下、同様）。 When the value eq_cnt of the equation F5 is equal to or greater than the threshold value THR2 and the equation F10 is true, the filtered pixel value Y ′ (k + 1) to pixel value Y ′ (k + 8) are values calculated by the equation F11. Here, in the formula F10, Ymax and Ymin are the maximum value and the minimum value of the pixel value Y (k + 1) to the pixel value Y (k + 8), respectively. QP is a quantization parameter. Further, in the formula F11, p (k, i + j) and bj are defined by the formula F12 and the formula F13. Here, in the formula F13, “//” indicates division that rounds off decimals (hereinafter the same). In the formula, “/” indicates a division that rounds off the decimal part (the same applies hereinafter).
一方、数式Ｆ５の値ｅｑ＿ｃｎｔが閾値ＴＨＲ２未満の場合、フィルタ後の画素値Ｙ’（ｋ＋１）〜画素値Ｙ’（ｋ＋８）は、数式Ｆ１５により算出される値となる。ここで、数式Ｆ１５中、〈ｄ〉は、数式Ｆ１６により算出される値となる。またここで、数式Ｆ１６中、ａ３，０’は、数式Ｆ１７および数式Ｆ１８に基づいて定められる値であり、ＣＬＩＰ（，，）は、数式Ｆ１９で定められる関数である。
上記説明したフィルタ装置においては、ハードウェアコスト削減、フィルタ処理の処理負荷削減が求められる。
特に、垂直ＮＲ処理をハードウェアにより実現する場合にハードウェアコストを削減すること、あるいは十分なＮＲ効果を得るため複数のＮＲフィルタを切り換えて用いる場合に、ハードウェアを簡易に構成する、あるいはソフトウェアの処理を簡易にすることなどが求められる。
The filter device described above is required to reduce hardware costs and filter processing load.
Especially when the vertical NR processing is realized by hardware, the hardware cost is reduced, or when a plurality of NR filters are used in order to obtain a sufficient NR effect, the hardware is simply configured, or software It is required to simplify the process.
そこで、本発明では、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することを課題とする。 Therefore, an object of the present invention is to provide a filter device, a filtering method, and a filtering program that further reduce the hardware cost or further reduce the processing load by software.
請求項１に記載のフィルタ装置は、ＮＲ処理手段と、解像度変換手段と、ＮＲ処理判定手段とを備えている。ＮＲ処理手段は、入力された入力画像信号に対して出力画像信号を出力する。解像度変換手段は、複数の解像度変換フィルタを有し、出力画像信号を参照して解像度変換を行う。ＮＲ処理判定手段は、解像度変換手段に対して、複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、ＮＲ処理手段に入力画像信号のＮＲ処理を行わせるか否かを判定する。
The filter device according to
ＮＲ処理とは、例えば、入力画像信号のうちＮＲ処理の対象となる画素に対する入力画像信号の他の画素（垂直方向隣接画素あるいは水平方向隣接画素など）との平滑化処理などである（以下、この欄において同じ。）。また、解像度変換フィルタ選択信号は、例えば、入力画像信号の画像サイズや出力画像信号の表示サイズなどから必要とされる解像度変換比率に基づいて供給される信号である（以下、この欄において同じ。）。複数の解像度変換フィルタとは、例えば、解像度の変換を行わないフィルタや、出力画像信号のうち複数の画素を用いて、表示のための画素１つを出力する解像度変換フィルタなどを含んでいる（以下、この欄において同じ。）。 The NR processing is, for example, smoothing processing with other pixels (vertical adjacent pixels or horizontal adjacent pixels, etc.) of the input image signal with respect to the pixels to be subjected to NR processing in the input image signal (hereinafter, referred to as the “NR processing”). Same in this column). Further, the resolution conversion filter selection signal is a signal supplied based on a resolution conversion ratio required from the image size of the input image signal, the display size of the output image signal, and the like (hereinafter, the same applies to this column). ). The plurality of resolution conversion filters include, for example, a filter that does not perform resolution conversion and a resolution conversion filter that outputs one pixel for display using a plurality of pixels in the output image signal ( The same applies hereinafter in this column.)
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常にＮＲ処理されない状態で参照される出力画像信号に対しては、ＮＲ処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。
請求項２に記載のフィルタ装置は、請求項１に記載のフィルタ装置であって、ＮＲ処理判定手段は、解像度変換フィルタ選択信号が複雑な解像度変換フィルタを選択する場合には、ＮＲ処理を行わないと判定する。
In the filter device of the present invention, it is not necessary to provide a means for performing NR processing on the output image signal referred to in the resolution conversion filter without being subjected to NR processing at all times. Hardware costs can be reduced.
The filter device according to
複雑な解像度変換フィルタとは、例えば、出力画像信号のうち参照する画素数が多いフィルタや、変換比率が整数倍や整数分の１倍といった簡単な変換比率ではないフィルタである。複雑な解像度変換フィルタが選択されるのは、例えば、ＤＶＤソフト再生時など入力画像信号のノイズが少ない場合が多い。このため、入力画像信号にＮＲ処理を行わないでも画質は維持される。 The complex resolution conversion filter is, for example, a filter having a large number of pixels to be referred to in the output image signal, or a filter having a conversion ratio that is not a simple conversion ratio such as an integer multiple or a fraction of an integer. The complex resolution conversion filter is selected in many cases, for example, when there is little noise in the input image signal such as during DVD software playback. For this reason, the image quality is maintained even if NR processing is not performed on the input image signal.
本発明のフィルタ装置では、画質を維持し、かつハードウェアコストを削減するフィルタ装置を提供することが可能となる。
請求項３に記載のフィルタ装置は、請求項１又は２に記載のフィルタ装置であって、ＮＲ処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同じ数の入力画像信号の画素を用いてＮＲ処理を行う。
With the filter device of the present invention, it is possible to provide a filter device that maintains image quality and reduces hardware costs.
The filter device according to
従来では、出力画像信号は、全てＮＲ処理された信号である。このため、出力画像信号を得るため用いられる入力画像信号の画素数は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数よりも多くなる。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられる入力画像信号の画素数を削減することが可能となる。すなわち、ＮＲ処理に必要な入力画像信号を供給するためのメモリおよびメモリより画像信号を取得する信号線を削減することが可能となる。
Conventionally, all output image signals are signals subjected to NR processing. For this reason, the number of pixels of the input image signal used for obtaining the output image signal is larger than the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
In the filter device of the present invention, a part of the output image signal is the output of the input image signal as it is. For this reason, it becomes possible to reduce the number of pixels of the input image signal used for obtaining the same number of output image signals as in the prior art. That is, it is possible to reduce a memory for supplying an input image signal necessary for NR processing and a signal line for acquiring the image signal from the memory.
請求項４に記載のフィルタ装置は、請求項１〜３のいずれかに記載のフィルタ装置であって、ＮＲ処理手段は、複数の解像度変換フィルタが参照する出力画像信号の最大画素数より少ない個数のＮＲフィルタ手段を有している。
ここで、ＮＲフィルタ手段とは、例えば、１つのＮＲフィルタにより、あるいは複数のＮＲフィルタを切り換えて入力画像信号にＮＲ処理を行うものであってもよい。
A filter device according to a fourth aspect is the filter device according to any one of the first to third aspects, wherein the NR processing means is a number smaller than a maximum number of pixels of an output image signal referred to by a plurality of resolution conversion filters. NR filter means.
Here, the NR filter means may perform, for example, NR processing on the input image signal by one NR filter or by switching a plurality of NR filters.
従来では、出力画像信号は、全てＮＲ処理された信号である。このため、出力画像信号を得るため用いられるＮＲフィルタは、複数の解像度変換フィルタが参照する出力画像信号の最大画素数と同数となる。
本発明のフィルタ装置では、出力画像信号の一部は、常に入力画像信号をそのまま出力したものである。このため、従来と同じ数の出力画像信号を得るために用いられるＮＲフィルタの個数を削減することが可能となる。
Conventionally, all output image signals are signals subjected to NR processing. For this reason, the number of NR filters used for obtaining the output image signal is the same as the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
In the filter device of the present invention, a part of the output image signal is the output of the input image signal as it is. For this reason, it is possible to reduce the number of NR filters used to obtain the same number of output image signals as in the prior art.
請求項５に記載のフィルタ装置は、請求項１〜４のいずれかに記載のフィルタ装置であって、ＮＲ処理手段は、入力画像信号の垂直方向のＮＲ処理を行い、解像度変換手段は、出力画像信号の垂直方向の解像度変換を行う。
本発明のフィルタ装置では、解像度変換フィルタに参照される出力画像信号のうち、常に垂直ＮＲ処理されない状態で参照される出力画像信号に対しては、垂直ＮＲ処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。例えば、ＮＲ処理に必要な入力画像信号を供給するためのラインメモリおよびラインメモリから画像信号を取得する信号線を削減することが可能となる。
A filter device according to a fifth aspect is the filter device according to any one of the first to fourth aspects, wherein the NR processing means performs NR processing in the vertical direction of the input image signal, and the resolution conversion means outputs the output. Performs resolution conversion in the vertical direction of the image signal.
In the filter device of the present invention, it is necessary to provide means for performing vertical NR processing on output image signals referred to by the resolution conversion filter for output image signals that are always referred to without being subjected to vertical NR processing. Therefore, the hardware cost can be reduced. For example, a line memory for supplying an input image signal necessary for NR processing and a signal line for acquiring an image signal from the line memory can be reduced.
請求項６に記載のフィルタリング方法は、入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法であって、ＮＲ処理判定ステップと、ＮＲ処理ステップとを備えている。ＮＲ処理判定ステップは、出力画像信号の解像度変換を行う解像度変換フィルタを複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、入力画像信号のＮＲ処理を行うか否かを判定する。ＮＲ処理ステップは、ＮＲ処理判定ステップの判定結果に基づいて、入力画像信号のＮＲ処理を行う。 According to a sixth aspect of the present invention, there is provided a filtering method for outputting an output image signal to an inputted input image signal, comprising an NR processing determination step and an NR processing step. In the NR processing determination step, whether to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one of a plurality of resolution conversion filters as a resolution conversion filter for performing resolution conversion of the output image signal. Determine whether. The NR processing step performs NR processing of the input image signal based on the determination result of the NR processing determination step.
本発明のフィルタリング方法では、解像度変換フィルタに参照される出力画像信号のうち、常にＮＲ処理されない状態で参照される出力画像信号に対しては、ＮＲ処理を行うための手段を設ける必要がなく、ハードウェアコストを削減することが可能となる。また、フィルタリング方法をソフトウェアで実現する場合にも、ソフトウェアによる処理負荷が軽減される。 In the filtering method of the present invention, it is not necessary to provide means for performing NR processing on the output image signal referred to by the resolution conversion filter in the state where the NR processing is not always performed, Hardware costs can be reduced. Also, when the filtering method is realized by software, the processing load by the software is reduced.
請求項７に記載のフィルタリングプログラムは、入力された入力画像信号に対して出力画像信号を出力するフィルタリング方法を行うためのフィルタリングプログラムであって、コンピュータに、ＮＲ処理判定ステップと、ＮＲ処理ステップとを備えるフィルタリング方法を行わせるものである。ＮＲ処理判定ステップは、出力画像信号の解像度変換を行う解像度変換フィルタを複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、入力画像信号のＮＲ処理を行うか否かを判定する。ＮＲ処理ステップは、ＮＲ処理判定ステップの判定結果に基づいて、入力画像信号のＮＲ処理を行う。
A filtering program according to
本発明のフィルタリングプログラムでは、解像度変換フィルタに参照される出力画像信号のうち、常にＮＲ処理されない状態で参照される出力画像信号に対しては、ＮＲ処理を行うための手段を設ける必要がなく、ソフトウェアによる処理負荷が軽減される。
請求項８に記載のフィルタ装置は、ＮＲ処理実行手段と、ＮＲフィルタ選択手段とを備えている。ＮＲ処理実行手段は、複数のＮＲフィルタを有する。ＮＲフィルタ選択手段は、複数のＮＲフィルタのそれぞれに対し、ＮＲフィルタの参照する参照画素範囲に応じて定められた範囲の画素を用いて画像特徴量を算出し、この各画像特徴量と、複数のＮＲフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、ＮＲ処理実行手段の複数のＮＲフィルタの中から１つを選択する。
In the filtering program of the present invention, it is not necessary to provide a means for performing NR processing on an output image signal referred to by the resolution conversion filter in an output image signal that is not always subjected to NR processing, Software processing load is reduced.
According to an eighth aspect of the present invention, there is provided a filter device comprising NR processing execution means and NR filter selection means. The NR process execution means has a plurality of NR filters. The NR filter selection unit calculates an image feature amount for each of the plurality of NR filters by using pixels in a range determined according to a reference pixel range referred to by the NR filter. One of the plurality of NR filters of the NR processing execution means is selected based on the threshold value of the image feature amount set for each of the NR filters.
画像特徴量とは、垂直あるいは水平方向の隣接画素の画素値に基づいて定められる値であり、さらに言えば、隣接画素間の差分に基づいて定められる値である。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される（以下、この欄において同じ。）。 The image feature amount is a value determined based on the pixel value of adjacent pixels in the vertical or horizontal direction, and more specifically, a value determined based on a difference between adjacent pixels. More specifically, for example, it is calculated as the absolute value of the adjacent pixel difference, the square of the adjacent pixel difference, or the like (hereinafter the same applies to this column).
本発明のフィルタ装置では、ＮＲフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、ＮＲフィルタの選択に際しての処理が簡易化される。すなわち、ＮＲフィルタの選択に際しての処理を実現するハードウェアコストを削減することが可能となる。 In the filter device of the present invention, it is possible to share the image feature amount calculation method when selecting the NR filter. This simplifies the processing when selecting the NR filter. That is, it is possible to reduce the hardware cost for realizing the processing when selecting the NR filter.
請求項９に記載のフィルタ装置は、請求項８に記載のフィルタ装置であって、各画像特徴量は、対応する各ＮＲフィルタの参照画素範囲の画素を用いて算出される。
本発明のフィルタ装置では、画像特徴量の算出に必要な画素と複数のＮＲフィルタのそれぞれが参照する画素とを共通化することが可能となる。このため、これらの画素を記憶あるいは取得するためのハードウェアを共通化することが可能となる。
A filter device according to a ninth aspect is the filter device according to the eighth aspect, wherein each image feature amount is calculated using a pixel in a reference pixel range of each corresponding NR filter.
In the filter device of the present invention, it is possible to share the pixels necessary for calculating the image feature amount and the pixels to which each of the plurality of NR filters refers. Therefore, it is possible to share hardware for storing or acquiring these pixels.
請求項１０に記載のフィルタ装置は、請求項８又は９に記載のフィルタ装置であって、複数のＮＲフィルタのそれぞれの参照画素範囲の大きさは、フィルタ強度の大きさに伴って単調増加し、複数のＮＲフィルタのそれぞれに対して設定された閾値の大きさは、フィルタ強度が大きいＮＲフィルタほど、ＮＲフィルタ選択手段により選択されにくくなるように決定されている。
The filter device according to
ここで、フィルタ強度とは、ノイズ低減の度合いを意味しており、フィルタ強度が大きくなるにつれて、画素がより平滑化される。
本発明のフィルタ装置では、画像の平坦度が大きいほど強いフィルタを適用することが可能となる。このため、適切なＮＲ効果を得ることが可能となる。
Here, the filter strength means the degree of noise reduction, and the pixels are smoothed as the filter strength increases.
In the filter device of the present invention, it is possible to apply a stronger filter as the flatness of the image increases. For this reason, it is possible to obtain an appropriate NR effect.
請求項１１に記載のフィルタ装置は、請求項８〜１０のいずれかに記載のフィルタ装置であって、ＮＲフィルタ選択手段は、複数のＮＲフィルタの中から参照画素範囲の大きいＮＲフィルタ、あるいはフィルタ強度の大きいＮＲフィルタを優先的に選択する。
本発明のフィルタ装置では、よりＮＲ効果の高いフィルタを優先的に適用することが可能となる。
The filter device according to
In the filter device of the present invention, it is possible to preferentially apply a filter having a higher NR effect.
請求項１２に記載のフィルタ装置は、請求項８〜１１のいずれかに記載のフィルタ装置であって、複数のＮＲフィルタは、それぞれのフィルタ係数の和が等しい。
本発明のフィルタ装置では、複数のＮＲフィルタのフィルタ係数適用後の除算処理を共通化することが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
A filter device according to a twelfth aspect is the filter device according to any one of the eighth to eleventh aspects, wherein the plurality of NR filters have the same sum of filter coefficients.
In the filter device of the present invention, it is possible to share the division processing after applying the filter coefficients of a plurality of NR filters. For this reason, it becomes possible to simply configure the hardware.
請求項１３に記載のフィルタ装置は、請求項８〜１２のいずれかに記載のフィルタ装置であって、ＮＲフィルタ選択手段は、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてＮＲフィルタを選択する。
ここで、ブロック境界とは、例えば、入力画像信号が符号化されていた際の符号化ブロックなどの境界である。
A filter device according to a thirteenth aspect is the filter device according to any one of the eighth to twelfth aspects, wherein the NR filter selection unit positions a pixel used to calculate an image feature amount at a block boundary. The NR filter is selected using the threshold set for the block boundary.
Here, the block boundary is a boundary of an encoded block or the like when the input image signal is encoded, for example.
本発明のフィルタ装置では、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、ＮＲフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。また、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合には、フィルタを適用する画素がブロック境界から離れていても、ＮＲフィルタをより適用しやすくすることが可能である。このため、平坦な領域に生じるブロックノイズを効果的に低減することが可能となる。 In the filter device of the present invention, it is possible to more easily apply the NR filter to the pixels on the block boundary by using the threshold for the block boundary. For this reason, it is possible to appropriately reduce block noise. In addition, when the pixel used to calculate the image feature amount is located at the block boundary, the NR filter can be more easily applied even if the pixel to which the filter is applied is separated from the block boundary. . For this reason, it is possible to effectively reduce block noise generated in a flat region.
請求項１４に記載のフィルタ装置は、請求項８〜１３のいずれかに記載のフィルタ装置であって、複数のＮＲフィルタは、ＮＲ処理の対象となる画素がブロック境界の近傍に位置する場合にのみ適用されるブロック境界用のＮＲフィルタを含んでいる。
本発明のフィルタ装置では、ブロック境界の画素に対して、よりフィルタ強度の強いＮＲフィルタを適用することが可能となる。このため、より適切にブロックノイズの低減を行うことが可能となる。
A filter device according to a fourteenth aspect is the filter device according to any one of the eighth to thirteenth aspects, wherein the plurality of NR filters are provided when a pixel to be subjected to NR processing is located in the vicinity of a block boundary. NR filters for block boundaries that are only applied.
In the filter device of the present invention, it is possible to apply an NR filter having a higher filter strength to the pixels at the block boundary. For this reason, it becomes possible to reduce block noise more appropriately.
請求項１５に記載のフィルタ装置は、請求項１４に記載のフィルタ装置であって、複数のＮＲフィルタは、ＮＲ処理の対象となる画素がブロック境界の近傍に位置しない場合にのみ適用される非ブロック境界用のＮＲフィルタをさらに含んでいる。
本発明のフィルタ装置では、より適切なＮＲフィルタを適用することが可能となる。より具体的には、非ブロック境界用のＮＲフィルタ、例えば、モスキートノイズを低減するフィルタなどを必要に応じて用いることが可能となる。
The filter device according to
In the filter device of the present invention, a more appropriate NR filter can be applied. More specifically, an NR filter for a non-block boundary, for example, a filter for reducing mosquito noise can be used as necessary.
請求項１６に記載のフィルタリング方法は、ＮＲフィルタ選択ステップと、ＮＲ処理実行ステップとを備えている。ＮＲフィルタ選択ステップは、複数のＮＲフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のＮＲフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のＮＲフィルタの中から１つを選択する。ＮＲ処理実行ステップは、選択されたＮＲフィルタを用いて、画像信号のＮＲ処理を行う。 A filtering method according to a sixteenth aspect includes an NR filter selection step and an NR process execution step. The NR filter selection step is set for each of the image feature amount calculated using pixels in a range determined according to the reference pixel range to which each of the plurality of NR filters refers, and each of the plurality of NR filters. One of the plurality of NR filters is selected based on the threshold value of the image feature amount. In the NR processing execution step, NR processing of the image signal is performed using the selected NR filter.
本発明のフィルタリング方法では、ＮＲフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、ＮＲフィルタの選択に際しての処理が簡易化される。すなわち、ＮＲフィルタの選択に際しての処理を実現するハードウェアコストを削減する、あるいはＮＲフィルタの選択に際してのソフトウェアの処理負荷を低減することが可能となる。 In the filtering method of the present invention, it is possible to share the image feature amount calculation method when selecting the NR filter. This simplifies the processing when selecting the NR filter. That is, it is possible to reduce the hardware cost for realizing the processing when selecting the NR filter, or to reduce the software processing load when selecting the NR filter.
請求項１７に記載のフィルタリング方法は、請求項１６に記載のフィルタリング方法であって、ＮＲフィルタ選択ステップは、複数のＮＲフィルタの中から参照画素範囲の大きいＮＲフィルタ、あるいはフィルタ強度の大きいＮＲフィルタについて優先的に選択処理を行う。
The filtering method according to
本発明のフィルタリング方法では、よりＮＲ効果の高いフィルタを優先的に適用することが可能となる。
請求項１８に記載のフィルタリング方法は、請求項１６又は１７に記載のフィルタリング方法であって、ＮＲフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてＮＲフィルタを選択する。
In the filtering method of the present invention, it is possible to preferentially apply a filter having a higher NR effect.
The filtering method according to
本発明のフィルタリング方法では、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、ＮＲフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。
請求項１９に記載のフィルタリングプログラムは、複数のＮＲフィルタの中から選択された１つのＮＲフィルタを用いて、画像信号のＮＲ処理を行うためのフィルタリングプログラムであって、コンピュータに、ＮＲフィルタ選択ステップと、ＮＲ処理実行ステップとを備えるフィルタリング方法を行わせるものである。ＮＲフィルタ選択ステップは、複数のＮＲフィルタのそれぞれが参照する参照画素範囲に応じて定められた範囲の画素を用いて算出された画像特徴量と、複数のＮＲフィルタのそれぞれに対して設定された画像特徴量の閾値とに基づいて、複数のＮＲフィルタの中から１つを選択する。ＮＲ処理実行ステップは、選択されたＮＲフィルタを用いて、画像信号のＮＲ処理を行う。
In the filtering method of the present invention, it is possible to more easily apply the NR filter to the pixels on the block boundary by using the threshold for the block boundary. For this reason, it is possible to appropriately reduce block noise.
The filtering program according to claim 19 is a filtering program for performing NR processing of an image signal by using one NR filter selected from a plurality of NR filters, wherein a NR filter selection step is performed in a computer. And a filtering method comprising an NR process execution step. The NR filter selection step is set for each of the image feature amount calculated using pixels in a range determined according to the reference pixel range to which each of the plurality of NR filters refers, and each of the plurality of NR filters. One of the plurality of NR filters is selected based on the threshold value of the image feature amount. In the NR process execution step, the NR process of the image signal is performed using the selected NR filter.
本発明のフィルタリングプログラムでは、ＮＲフィルタの選択に際して、画像特徴量の算出方法を共通化することが可能である。これにより、ＮＲフィルタの選択に際しての処理が簡易化される。すなわち、ＮＲフィルタの選択に際してのソフトウェアの処理負荷を低減することが可能となる。 In the filtering program of the present invention, it is possible to share an image feature amount calculation method when selecting an NR filter. This simplifies the processing when selecting the NR filter. That is, it is possible to reduce the software processing load when selecting the NR filter.
請求項２０に記載のフィルタリングプログラムは、請求項１９に記載のフィルタリングプログラムであって、ＮＲフィルタ選択ステップは、複数のＮＲフィルタの中から参照画素範囲の大きいＮＲフィルタ、あるいはフィルタ強度の大きいＮＲフィルタについて優先的に選択処理を行う。
The filtering program according to
本発明のフィルタリングプログラムでは、よりＮＲ効果の高いフィルタを優先的に適用することが可能となる。
請求項２１に記載のフィルタリングプログラムは、請求項１９又は２０に記載のフィルタリングプログラムであって、ＮＲフィルタ選択ステップは、画像特徴量を算出するのに用いた画素がブロック境界に位置する場合、ブロック境界用に設定された閾値を用いてＮＲフィルタを選択する。
In the filtering program of the present invention, it is possible to preferentially apply a filter having a higher NR effect.
The filtering program according to claim 21 is the filtering program according to claim 19 or 20, wherein the NR filter selection step is performed when the pixel used to calculate the image feature amount is located at a block boundary. An NR filter is selected using a threshold set for the boundary.
本発明のフィルタリングプログラムでは、ブロック境界用の閾値を用いることにより、ブロック境界の画素に対して、ＮＲフィルタをより適用しやすくすることが可能である。このため、適切にブロックノイズの低減を行うことが可能となる。 In the filtering program of the present invention, it is possible to more easily apply the NR filter to the pixels on the block boundary by using the threshold for the block boundary. For this reason, it is possible to appropriately reduce block noise.
本発明では、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減するフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを提供することが可能となる。 According to the present invention, it is possible to provide a filter device, a filtering method, and a filtering program that further reduce the hardware cost or further reduce the processing load by software.
［第１実施形態］
図１〜図４を用いて、本発明の第１実施形態としてのフィルタ装置１０について説明する。図１に示すフィルタ装置１０は、垂直ＮＲ処理を行うか否かを垂直解像度変換フィルタの選択信号に基づいて判断する点に特徴を有している。
[First Embodiment]
The
〈フィルタ装置１０の構成〉
フィルタ装置１０は、復号画像信号２５に対して水平・垂直ＮＲ処理を行いＮＲ処理信号２７を出力するポストフィルタ部１１と、ＮＲ処理信号２７の垂直解像度変換を行い表示画像信号２８を出力する垂直解像度変換部１２と、ポストフィルタ部１１に垂直ＮＲ処理を行わせるか否かを判定する垂直ＮＲ処理判定部２０とを備えている。
<Configuration of
The
ポストフィルタ部１１は、復号画像信号２５を入力とし水平ＮＲ処理信号２６を出力とする水平ＮＲ処理部１３と、水平ＮＲ処理信号２６を入力としＮＲ処理信号２７を出力とする垂直ＮＲ処理部１４とを備えている。
水平ＮＲ処理部１３は、復号画像信号２５の水平ＮＲ処理を行う部分であり、条件判定部１５と、水平ＮＲ処理実行部１６とを備えている。条件判定部１５は、復号画像信号２５を第１の入力、設定された閾値３０を第２の入力とし、復号画像信号２５に水平ＮＲフィルタを適用するか否かの判定結果３７を出力する。水平ＮＲ処理実行部１６は、復号画像信号２５を第１の入力、判定結果３７を第２の入力とし、復号画像信号２５に判定結果３７に応じた水平ＮＲ処理を施した水平ＮＲ処理信号２６を出力する。
The
The horizontal
垂直ＮＲ処理部１４は、水平ＮＲ処理信号２６の垂直ＮＲ処理を行う部分であり、条件判定部１７と、垂直ＮＲ処理実行部１８とを備えている。条件判定部１７は、水平ＮＲ処理信号２６を第１の入力、設定された閾値３１を第２の入力、垂直ＮＲ処理判定部２０の判定結果３３を第３の入力とし、水平ＮＲ処理信号２６に垂直ＮＲフィルタを適用するか否かの判定結果３８を出力する。垂直ＮＲ処理実行部１８は、水平ＮＲ処理信号２６を第１の入力、判定結果３８を第２の入力とし、水平ＮＲ処理信号２６に判定結果３８に応じた垂直ＮＲ処理を施したＮＲ処理信号２７を出力する。
The vertical
垂直解像度変換部１２は、ＮＲ処理信号２７を第１の入力、解像度変換フィルタ選択信号３２を第２の入力とし、ＮＲ処理信号２７に解像度変換フィルタ選択信号３２に応じた解像度変換処理を施した表示画像信号２８を出力する。
垂直ＮＲ処理判定部２０は、解像度変換フィルタ選択信号３２を入力とし、ポストフィルタ部１１に垂直ＮＲ処理を行わせるか否かの判定結果３３を出力する。
The
The vertical NR
〈フィルタ装置１０の動作〉
水平ＮＲ処理部１３は、復号画像信号２５の水平ＮＲ処理を行う。条件判定部１５は、設定された閾値３０に基づいて、復号画像信号２５に水平ＮＲフィルタを適用するか否かの適用条件を判定する。水平ＮＲ処理実行部１６は、復号画像信号２５と条件判定部１５の判定結果とに基づいて、復号画像信号２５の水平ＮＲ処理を実行し、水平ＮＲ処理信号２６を出力する。
<Operation of
The horizontal
垂直ＮＲ処理部１４は、水平ＮＲ処理信号２６の垂直ＮＲ処理を行う。条件判定部１７は、設定された閾値３１と垂直ＮＲ処理判定部２０の判定結果３３とに基づいて、水平ＮＲ処理信号２６に垂直ＮＲフィルタを適用するか否かの適用条件を判定する。垂直ＮＲ処理実行部１８は、水平ＮＲ処理信号２６と条件判定部１７の判定結果とに基づいて、水平ＮＲ処理信号２６の垂直ＮＲ処理を実行し、ＮＲ処理信号２７を出力する。
The vertical
図２に、垂直ＮＲ処理部１４で用いられる垂直ＮＲフィルタ部の構成を説明するブロック図を示す。垂直ＮＲ処理部１４には、水平ＮＲ処理信号２６が入力される。水平ＮＲ処理信号２６は、水平ＮＲ処理信号２６をライン毎に記憶するラインメモリ（図示せず）から、水平方向同位置の６ライン分の画素値Ｙ（ｙ−２）〜画素値Ｙ（ｙ＋３）として入力される。なお、ラインメモリ（図示せず）は、水平ＮＲ処理信号２６を記憶する代わりに復号画像信号２５を記憶し、水平ＮＲ処理信号２６はラインメモリ（図示せず）を介さずに垂直ＮＲ処理部へ入力されてもよい。さらに、ラインメモリ（図示せず）の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ（図示せず）を用いても良い。
FIG. 2 is a block diagram illustrating the configuration of the vertical NR filter unit used in the vertical
垂直ＮＲ処理部１４は、４つの垂直ＮＲフィルタ部４１〜４４を有している。それぞれの垂直ＮＲフィルタ部４１〜４４は、フィルタタップ数［３］の垂直ＮＲフィルタを有しており、画素値Ｙ（ｙ−２）〜画素値Ｙ（ｙ＋３）のラインが３ラインずつ入力される。
垂直ＮＲフィルタ部４１〜４４は、入力された画素値Ｙ（ｙ−２）〜画素値Ｙ（ｙ＋３）と、設定された閾値３１と、垂直ＮＲ処理判定部２０の判定結果３３とに基づいて、フィルタ処理を実行し、フィルタ処理後の画素値Ｙ’（ｙ−１）〜Ｙ’（ｙ＋２）をＮＲ処理信号２７として出力する。
The vertical
The vertical
具体的には、垂直ＮＲ処理判定部２０の判定結果３３が垂直ＮＲフィルタを適用しない（フィルタスルー）と判定する場合、Ｙ’（ｙ）＝Ｙ（ｙ）となる画素値Ｙ’（ｙ）が垂直ＮＲフィルタ部４１〜４４から出力される。一方、判定結果３３が垂直ＮＲフィルタを適用すると判定する場合、それぞれの垂直ＮＲフィルタ部４１〜４４は、図２３に示して説明したのと同様にフィルタ処理を実行する。例えば、垂直ＮＲフィルタ部４２は、画素値Ｙ（ｙ）のフィルタ適用画素「ｙ」に対して、画素「ｙ−１」〜画素「ｙ＋１」の３画素を参照するフィルタタップ数［３］の垂直ＮＲフィルタを有している。フィルタ適用画素「ｙ」に対して、垂直ＮＲフィルタを適用するか否かは、図２３に示すフィルタ適用条件Ｆ１を用いて判定される。
Specifically, when the
図２３に示すフィルタ適用条件Ｆ１は、定数パラメータＴＨ＿ｄ、比較関数ＣＭＰ（ｙ）の関数である。フィルタ適用条件Ｆ１は、画像特徴量Ｆ２や定数パラメータなどに基づいて、フィルタ適用画素「ｙ」が画像中の平坦な領域に含まれると判断される場合に、フィルタの適用を示す値（例えば、値［１］）を出力する関数である。より具体的には、比較関数ＣＭＰ（ｙ−１）とＣＭＰ（ｙ）との値の四則演算、あるいはその他の演算の結果を閾値ＴＨ＿ｄと比較することにより、フィルタの適用を示す値を出力する。なお、フィルタ適用条件Ｆ１では、比較関数ＣＭＰ（ｙ−１）とＣＭＰ（ｙ）との値の四則演算、あるいはその他の演算の結果が特定の値となる場合にフィルタの適用を示すとしてもよい。 A filter application condition F1 shown in FIG. 23 is a function of a constant parameter TH_d and a comparison function CMP (y). The filter application condition F1 is a value indicating the application of a filter (for example, when the filter application pixel “y” is determined to be included in a flat region in the image based on the image feature amount F2 or a constant parameter) (for example, Value [1]). More specifically, a value indicating the application of the filter is output by comparing the four arithmetic operations of the values of the comparison functions CMP (y−1) and CMP (y), or the result of other operations with the threshold value TH_d. . Note that the filter application condition F1 may indicate that the filter is applied when the four arithmetic operations of the values of the comparison functions CMP (y−1) and CMP (y), or the result of other operations have a specific value. .
ここで画像特徴量は、例えば、フィルタ適用画素「ｙ」の平坦度を示す値であり、隣接画素間の差分に基づいて定められる値である。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される。さらに、比較関数ＣＭＰ（ｙ）は、閾値と画像特徴量との比較を行い、比較結果を示す値を出力する。ＣＭＰ（ｙ）は、例えば、閾値の方が大きい場合に、値［１］を出力する。 Here, the image feature amount is, for example, a value indicating the flatness of the filter application pixel “y”, and is a value determined based on a difference between adjacent pixels. More specifically, for example, it is calculated as the adjacent pixel difference absolute value, the square of the adjacent pixel difference, or the like. Further, the comparison function CMP (y) compares the threshold value and the image feature amount, and outputs a value indicating the comparison result. For example, CMP (y) outputs the value [1] when the threshold value is larger.
フィルタ適用条件Ｆ１の値が［１］の場合、画素「ｙ−１」〜画素「ｙ＋１」に対して、フィルタ係数［１，２，１］のフィルタが適用され、画素値Ｙ’（ｙ）が出力される。すなわち、それぞれの垂直ＮＲフィルタ部４１〜４４は、条件判定部１７と垂直ＮＲ処理実行部１８として動作する。
When the value of the filter application condition F1 is [1], the filter of the filter coefficient [1, 2, 1] is applied to the pixel “y−1” to the pixel “y + 1”, and the pixel value Y ′ (y) Is output. That is, each of the vertical
一方、垂直ＮＲ処理部１４に入力された水平ＮＲ処理信号２６のうち、画素値Ｙ（ｙ−２）と画素値Ｙ（ｙ＋３）とは、そのままＮＲ処理信号２７として出力される。
垂直解像度変換部１２は、ポストフィルタ部１１から出力されたＮＲ処理信号２７を垂直解像度変換し、表示画像信号２８を出力する。垂直解像度変換部１２は、垂直解像度の変換比率に応じて適用される複数の垂直解像度変換フィルタを有している。複数の垂直解像度変換フィルタは、解像度変換フィルタ選択信号３２に基づいて選択される。解像度変換フィルタ選択信号３２とそれぞれの垂直解像度変換フィルタの動作とは、図２４を用いて説明したのと同様である。すなわち、垂直解像度変換部１２は、解像度変換フィルタ選択信号３２が指定する３つの値［０］〜［２］に応じて、解像度変換フィルタを選択する。例えば、値［０］が指定される場合、解像度変換は行われず、表示画像信号２８としてＹ”（ｙ）＝Ｙ’（ｙ）となる画素値Ｙ”（ｙ）が出力される。値［１］が指定される場合、６つの画素値Ｙ（ｙ−２），Ｙ’（ｙ−１）〜Ｙ’（ｙ＋２），Ｙ（ｙ＋３）から算出される画素値Ｙ”（ｙ）が出力される。ここで、値［１］は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の１倍」などと言った簡易な変換比率を有する変換で無く、フィルタタップ数が多い場合、もしくは、簡易な変換比率を有する変換であるが、高画質化のためタップ数の多いフィルタを用いる場合などに指定される。値［２］が指定される場合、４つの画素値Ｙ’（ｙ−１）〜Ｙ’（ｙ＋２）から算出される画素値Ｙ”（ｙ）が出力される。ここで、値［２］は、例えば、垂直解像度の変換が「整数倍」あるいは「整数分の１倍」などと言った簡易な変換比率を有し、フィルタタップ数が少ない場合などに指定される。
On the other hand, the pixel value Y (y−2) and the pixel value Y (y + 3) in the horizontal
The vertical
ここで、解像度変換フィルタ選択信号３２は、復号画像信号２５（図１参照）の復号化を行った復号化装置などから取得される。より具体的には、復号化装置が復号画像信号２５を復号化する際に、復号画像信号２５の画像サイズ、アスペクト比などから解像度の変換比率が判断され、これに基づいて解像度変換フィルタ選択信号３２が供給される。
Here, the resolution conversion
垂直ＮＲ処理判定部２０は、解像度変換フィルタ選択信号３２に基づいて、垂直ＮＲフィルタを適用するか否かの判定を行う。図３に、解像度変換フィルタ選択信号３２と垂直ＮＲ処理判定部２０の判定結果３３との関係を示す。解像度変換フィルタ選択信号３２が値［１］を示す場合には、垂直ＮＲ処理判定部２０は、垂直ＮＲフィルタを適用しない（フィルタスルー）と判定し、判定結果３３として値［１］を出力する（図３（ａ）参照）。解像度変換フィルタ選択信号３２が値［０］または値［２］を示す場合には、垂直ＮＲ処理判定部２０は、垂直ＮＲフィルタを適用すると判定し、判定結果３３として値［０］を出力する（図３（ｂ）参照）。
The vertical NR
なお、解像度変換フィルタ選択信号、判定結果、フィルタ適用条件Ｆ１などの値は、上記したものに限定されるものではない。
〈フィルタリング方法〉
図４に、フィルタ装置１０におけるフィルタリング方法、特に垂直ＮＲ処理判定部２０と垂直ＮＲ処理部１４とにおけるフィルタリング方法を説明するフローチャートを示す。
Note that values such as the resolution conversion filter selection signal, the determination result, and the filter application condition F1 are not limited to those described above.
<Filtering method>
FIG. 4 is a flowchart illustrating a filtering method in the
このフィルタリング方法は、垂直ＮＲフィルタ部４１〜４４から出力されるＮＲ処理信号２７の画素を単位とする処理である（ステップＳ１１〜Ｓ１４）。垂直ＮＲ処理判定部２０は、解像度変換フィルタ選択信号３２を取得し（ステップＳ１１）、垂直ＮＲ処理部１４に垂直ＮＲ処理を行わせるか否かの判定を行う（ステップＳ１２）。垂直ＮＲ処理部１４は、判定結果３３が値［０］を示す場合（ステップＳ１３）、水平ＮＲ処理信号２６の垂直ＮＲ処理を実行する（ステップＳ１４）。一方、垂直ＮＲ処理部１４は、判定結果３３が値［１］を示す場合（ステップＳ１３）、水平ＮＲ処理信号２６の垂直ＮＲ処理を行わず、次のフィルタ適用画素についての処理（ステップＳ１１〜Ｓ１４）を開始する。
This filtering method is processing in units of pixels of the
以上のフィルタリング方法は、フィルタ装置１０のみでなく、コンピュータを用いてプログラムとして実現することも可能である。
〈第１実施形態の効果〉
（１）
垂直解像度変換部１２に参照されるＮＲ処理信号２７のうち、常に垂直ＮＲ処理されない状態で参照されるＹ（ｙ−２）およびＹ（ｙ＋３）に対しては、垂直ＮＲフィルタ部を設ける必要がない。すなわち、従来の垂直ＮＲ処理部３０２（図２２参照）に比して、ハードウェアコストを削減することが可能となる。
The above filtering method can be realized as a program using not only the
<Effects of First Embodiment>
(1)
Of the NR processing signals 27 referred to by the vertical
（２）
垂直解像度の変換が「整数倍」あるいは「整数分の１倍」などと言った簡易な変換比率を有する変換で無い場合などには、タップ数の多い、複雑な解像度変換フィルタが選択される。ここで、アスペクト比４：３からアスペクト比１６：９の変換など複雑な変換比率が必要となるのは、ＤＶＤソフト再生時などというように復号画像信号２５のノイズが少ない場合が多い。このため、水平ＮＲ処理信号２６に垂直ＮＲ処理を行わないでも表示画像信号２８の画質の維持が可能となる。
(2)
When the vertical resolution conversion is not a conversion having a simple conversion ratio such as “integer multiple” or “one integer multiple”, a complex resolution conversion filter having a large number of taps is selected. Here, a complicated conversion ratio such as conversion from an aspect ratio of 4: 3 to an aspect ratio of 16: 9 is often required when there is little noise in the decoded
（３）
従来の垂直ＮＲ処理部３０２では、ＮＲ処理信号３１２は、全て垂直ＮＲ処理される可能性のある信号である。このため、例えば、６ライン分のＮＲ処理信号３１２を出力するために８ライン分の水平ＮＲ処理信号３１１を必要とする（図２２参照）。すなわち、ＮＲ処理信号３１２を得るために必要な水平ＮＲ処理信号３１１のライン数は、ＮＲ処理信号３１２のライン数よりも多くなる。
(3)
In the conventional vertical
一方、本発明の垂直ＮＲ処理部１４では、ＮＲ処理信号２７の一部（図２の画素値Ｙ（ｙ−２）およびＹ（ｙ＋３））は、常に水平ＮＲ処理信号２６の一部をそのまま出力した信号である。このため、従来と同じく６ライン分のＮＲ処理信号２７を得るためには、６ライン分の水平ＮＲ処理信号２６を必要とする。すなわち、ＮＲ処理信号２７を得るために必要な水平ＮＲ処理信号２６のライン数は、ＮＲ処理信号２７のライン数と同じライン数であり、従来と同じ本数のＮＲ処理信号２７を得るために用いられる水平ＮＲ処理信号２６のライン数を削減することが可能となる。この結果、垂直ＮＲ処理に必要な水平ＮＲ処理信号２６を得るためのラインメモリの個数を削減することが可能となる。
On the other hand, in the vertical
（４）
従来の垂直ＮＲ処理部３０２では、ＮＲ処理信号３１２は、全て垂直ＮＲ処理される可能性のある信号である。このため、ＮＲ処理信号を得るために用いられる垂直ＮＲフィルタ部の個数は、ＮＲ処理信号３１２の本数、すなわち垂直解像度変換部３０３が垂直解像度変換に用いるＮＲ処理信号３１２のライン数の最大値と同数となる。
(4)
In the conventional vertical
一方、本発明の垂直ＮＲ処理部１４では、ＮＲ処理信号２７の一部は、常に水平ＮＲ処理信号２６をそのまま出力したものである。このため、従来と同じく６ライン分のＮＲ処理信号２７を得るために必要な垂直ＮＲフィルタ部の個数は４つであり、垂直ＮＲフィルタ部の個数を削減することが可能となる。
On the other hand, in the vertical
〈変形例〉
（１）
垂直ＮＲ処理部１４は、垂直ＮＲフィルタ部４１〜４４に代えて、１つの垂直ＮＲフィルタ部を用いて複数回のＮＲ処理を行うものであってもよい。
<Modification>
(1)
The vertical
この場合には、ＮＲ処理の処理量を削減することが可能となる。
（２）
条件判定部１７は、復号画像信号２５を用いて条件判定を行うものであってもよい。この場合、水平ＮＲ処理の完了前に、水平ＮＲ処理と並行して条件判定部１７が動作可能となり、フィルタ装置１０全体の処理速度を向上させることが可能となる。
In this case, the amount of NR processing can be reduced.
(2)
The
（３）
上記実施形態で記載したのと同様の構成を水平ＮＲ処理部１３に対して適用することも可能である。
［第２実施形態］
フィルタ装置が備える水平・垂直ＮＲフィルタは、複数のフィルタ候補の中から１つのフィルタを選択して適用されるものであってもよい。このＮＲフィルタについて、図５〜図１３を用いて説明する。
(3)
The same configuration as described in the above embodiment can be applied to the horizontal
[Second Embodiment]
The horizontal / vertical NR filter included in the filter device may be one selected from a plurality of filter candidates and applied. This NR filter will be described with reference to FIGS.
〈フィルタ装置５０の構成〉
図５に、複数のフィルタ候補の中から１つのフィルタを選択して適用される水平・垂直ＮＲフィルタを備えるフィルタ装置５０を示す。
フィルタ装置５０は、復号画像信号６５に対して水平・垂直ＮＲ処理を行いＮＲ処理信号６７を出力するポストフィルタ部５１と、ＮＲ処理信号６７の垂直解像度変換を行い表示画像信号６８を出力する垂直解像度変換部５２とを備えている。
<Configuration of
FIG. 5 shows a
The
ポストフィルタ部５１は、復号画像信号６５を入力とし水平ＮＲ処理信号６６を出力とする水平ＮＲ処理部５３と、水平ＮＲ処理信号６６を入力としＮＲ処理信号６７を出力とする垂直ＮＲ処理部５４とを備えている。
水平ＮＲ処理部５３は、復号画像信号６５の水平ＮＲ処理を行う部分であり、条件判定部５５と、水平ＮＲ処理実行部５６とを備えている。条件判定部５５は、復号画像信号６５を第１の入力、設定された閾値７０を第２の入力とし、復号画像信号６５に適用する水平ＮＲフィルタを選択し、選択結果７４を出力する。水平ＮＲ処理実行部５６は、復号画像信号６５を第１の入力、選択結果７４を第２の入力とし、復号画像信号６５に選択結果７４に応じた水平ＮＲ処理を施した水平ＮＲ処理信号６６を出力する。
The
The horizontal
垂直ＮＲ処理部５４は、水平ＮＲ処理信号６６の垂直ＮＲ処理を行う部分であり、条件判定部５７と、垂直ＮＲ処理実行部５８とを備えている。条件判定部５７は、水平ＮＲ処理信号６６を第１の入力、設定された閾値７１を第２の入力とし、水平ＮＲ処理信号６６に適用する垂直ＮＲフィルタを選択し、選択結果７５を出力する。垂直ＮＲ処理実行部５８は、水平ＮＲ処理信号６６を第１の入力、選択結果７５を第２の入力とし、水平ＮＲ処理信号６６に選択結果７５に応じた垂直ＮＲ処理を施したＮＲ処理信号６７を出力する。
The vertical
垂直解像度変換部５２は、ＮＲ処理信号６７を第１の入力、解像度変換フィルタ選択信号７２を第２の入力とし、ＮＲ処理信号６７に解像度変換フィルタ選択信号７２に応じた解像度変換処理を施した表示画像信号６８を出力する。
〈ＮＲフィルタおよびＮＲフィルタ選択〉
水平ＮＲ処理部５３および垂直ＮＲ処理部５４が備えるＮＲフィルタおよびＮＲフィルタの選択について説明する。本発明では、水平ＮＲ処理部５３および垂直ＮＲ処理部５４は、複数のＮＲフィルタ候補を備え、複数のＮＲフィルタ候補の中から一つのＮＲフィルタを選択してフィルタ適用画素に対するＮＲ処理を行う。
The vertical
<Selection of NR filter and NR filter>
The NR filter and selection of the NR filter included in the horizontal
複数のフィルタ候補ＦＨ１〜ＦＨ３，・・・に対しては、それぞれフィルタタップ数ＦＨ１ｔａｐ〜ＦＨ３ｔａｐ，・・・、およびフィルタ適用の閾値ＴＨ１〜ＴＨ３，・・・が定められている。ここで、フィルタ候補ＦＨｋのフィルタ強度は、ｋの値が大きくなるほど弱いものとする。また、フィルタタップ数ＦＨｋｔａｐの大きさは、ｋに関して単調減少するものとし、閾値ＴＨｋおよび閾値ＴＨ＿ｄｋの大きさは、それぞれｋに関して単調増加するものとする。ここで、閾値ＴＨｋおよび閾値ＴＨ＿ｄｋは、それぞれ値が大きいほどＮＲフィルタの適用を行うと判定されやすいとする。すなわち、より大きいｋの値を有するフィルタ候補ほどＮＲフィルタの適用を行うと判定されやすくなる。 For the plurality of filter candidates FH1 to FH3,..., Filter tap numbers FH1tap to FH3tap,... And filter application thresholds TH1 to TH3,. Here, it is assumed that the filter strength of the filter candidate FHk is weaker as the value of k increases. Also, the magnitude of the filter tap number FHktap is assumed to monotonically decrease with respect to k, and the magnitudes of the threshold THk and the threshold TH_dk are assumed to monotonically increase with respect to k, respectively. Here, it is assumed that the threshold value THk and the threshold value TH_dk are determined to be more easily applied as the NR filter is applied. That is, it becomes easier to determine that the NR filter is applied to a filter candidate having a larger value of k.
図６に、画素値Ｙ（ｘ）のフィルタ適用画素「ｘ」に対して、フィルタＦＨｋを適用するか否かを判定するフィルタ適用条件Ｆ３０を示す。フィルタ適用条件Ｆ３０は、定数パラメータＴＨ＿ｄｋ、比較関数ＣＭＰｋ（ｘ）（数式Ｆ３２参照）の関数である。フィルタ適用条件Ｆ３０は、画像特徴量ＤＩＦＦ（ｘ）や定数パラメータＴＨｋなどに基づいて、フィルタ適用画素「ｘ」が画像中の平坦な領域に含まれると判断される場合に、フィルタの適用を示す値（例えば、値［１］）を出力する関数である。より具体的には、比較関数ＣＭＰｋ（ｘ）のそれぞれの値の四則演算、あるいはその他の演算の結果を閾値ＴＨ＿ｄｋと比較することにより、フィルタの適用を示す値を出力する。なお、フィルタ適用条件Ｆ３０では、比較関数ＣＭＰｋ（ｘ）のそれぞれの値の四則演算、あるいはその他の演算の結果が特定の値となる場合にフィルタの適用を示すとしてもよい。 FIG. 6 shows a filter application condition F30 for determining whether or not to apply the filter FHk to the filter application pixel “x” having the pixel value Y (x). The filter application condition F30 is a function of a constant parameter TH_dk and a comparison function CMPk (x) (see Formula F32). The filter application condition F30 indicates application of a filter when it is determined that the filter application pixel “x” is included in a flat region in the image based on the image feature amount DIFF (x), the constant parameter THk, and the like. It is a function that outputs a value (for example, value [1]). More specifically, a value indicating the application of the filter is output by comparing the results of the four arithmetic operations of the respective values of the comparison function CMPk (x) or the other operations with the threshold value TH_dk. Note that the filter application condition F30 may indicate that the filter is applied when the result of the four arithmetic operations of the values of the comparison function CMPk (x) or other operations becomes a specific value.
ここで画像特徴量ＤＩＦＦ（ｘ）は、数式Ｆ３１で定義される値であり、例えば、フィルタ適用画素「ｘ」の平坦度を示す。より具体的には、例えば、隣接画素差分絶対値や隣接画素差分の二乗などとして算出される。さらに、ＴＨｋ，ＴＨ＿ｄｋは、フィルタ候補毎の閾値である。比較関数ＣＭＰｋ（ｘ）は、閾値と画像特徴量との比較を行い、比較結果を示す値を出力する。ＣＭＰｋ（ｘ）は、例えば、閾値の方が大きい場合に、値［１］を出力する。 Here, the image feature amount DIFF (x) is a value defined by Formula F31, and indicates, for example, the flatness of the filter application pixel “x”. More specifically, for example, it is calculated as the adjacent pixel difference absolute value, the square of the adjacent pixel difference, or the like. Furthermore, THk and TH_dk are threshold values for each filter candidate. The comparison function CMPk (x) compares the threshold value and the image feature amount, and outputs a value indicating the comparison result. For example, CMPk (x) outputs the value [1] when the threshold value is larger.
フィルタ適用条件Ｆ３０の値が［１］の場合、フィルタ適用画素「ｘ」に対して、フィルタＦＨｋが適用される。さらに、フィルタ適用条件Ｆ３０の値が［１］となるフィルタＦＨｋが複数ある場合、ｋの値の小さいもの、即ちフィルタ強度の強いものあるいはフィルタタップ数の多いものが優先的に選択される。 When the value of the filter application condition F30 is [1], the filter FHk is applied to the filter application pixel “x”. Further, when there are a plurality of filters FHk having a filter application condition F30 value of [1], a filter having a small value of k, that is, a filter having a strong filter strength or a large number of filter taps is preferentially selected.
〈水平ＮＲ処理部５３の構成〉
図７〜図９を用いて、図６のＮＲフィルタおよびＮＲフィルタ選択を実現する具体的なハードウェアの構成について説明する。水平ＮＲ処理部５３では、画素単位で順次入力される復号画像信号６５に対して、ＮＲフィルタの選択とＮＲ処理の実行とを行う。
<Configuration of Horizontal
A specific hardware configuration for realizing the NR filter and NR filter selection of FIG. 6 will be described with reference to FIGS. 7 to 9. The horizontal
図７に、水平ＮＲ処理部５３において切り換えて適用される３つの水平ＮＲフィルタＦＨ１〜ＦＨ３のフィルタタップ数、フィルタ係数および閾値を示す。水平ＮＲフィルタＦＨ１は、フィルタタップ数ＦＨ１ｔａｐ＝［７］、フィルタ係数［１，１，１，２，１，１，１］、閾値ＴＨ１＝［８］の水平ＮＲフィルタである。水平ＮＲフィルタＦＨ２は、フィルタタップ数ＦＨ２ｔａｐ＝［５］、フィルタ係数［１，１，４，１，１］、閾値ＴＨ２＝［１６］の水平ＮＲフィルタである。水平ＮＲフィルタＦＨ３は、フィルタタップ数ＦＨ３ｔａｐ＝［３］、フィルタ係数［２，４，２］、閾値ＴＨ３＝［３２］の水平ＮＲフィルタである。
FIG. 7 shows the number of filter taps, filter coefficients, and threshold values of the three horizontal NR filters FH1 to FH3 that are applied by being switched in the horizontal
図８に、条件判定部５５のハードウェア構成図を示す。条件判定部５５は、復号画像信号６５を第１の入力、設定された閾値７０（ＴＨ１〜ＴＨ３）を第２の入力とし、復号画像信号６５に適用する水平ＮＲフィルタＦＨ１〜ＦＨ３を選択し、選択結果７４を出力する。条件判定部５５は、１画素分の遅延器８０ａ〜８０ｆと、隣接する画素の画素値に基づいて画像特徴量を計算する演算器８１ａ〜８１ｆと、数式Ｆ３２で定義される比較関数ＣＭＰｋ（ｘ）を実現する比較器８２ａ〜８２ｌと、フィルタ適用条件Ｆ３０を実現する判定器８３ａ〜８３ｃと、フィルタ適用条件Ｆ３０を満たす水平ＮＲフィルタＦＨｋからフィルタ処理に適用される水平ＮＲフィルタ１つを選択するアンドゲート８３ｄ，８３ｅとから構成される。
In FIG. 8, the hardware block diagram of the
遅延器８０ａ〜８０ｆは、復号画像信号６５に対して直列に接続される１画素分の遅延器であり、復号画像信号６５として入力される画素値Ｙ（ｘ＋３）に対して、過去６画素分の画素値Ｙ（ｘ＋２）〜画素値Ｙ（ｘ−３）を出力する。
演算器８１ａ〜８１ｆは、それぞれの遅延器８０ａ〜８０ｆの入力と出力とから画像特徴量を計算する。すなわち、演算器８１ａ〜８１ｆは、画素値Ｙ（ｘ＋３）〜画素値Ｙ（ｘ−３）のそれぞれに対して、数式Ｆ３１で定義される画像特徴量ＤＩＦＦ（ｘ＋２）〜ＤＩＦＦ（ｘ−３）を計算する。
The
The
比較器８２ａ〜８２ｆは、画像特徴量ＤＩＦＦ（ｘ＋２）〜ＤＩＦＦ（ｘ−３）を第１の入力、水平ＮＲフィルタＦＨ１の閾値ＴＨ１を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ＋２）〜ＤＩＦＦ（ｘ−３）と水平ＮＲフィルタＦＨ１の閾値ＴＨ１との比較を行い、比較結果を判定器８３ａに出力する。比較器８２ｇ〜８２ｊは、画像特徴量ＤＩＦＦ（ｘ＋１）〜ＤＩＦＦ（ｘ−２）を第１の入力、水平ＮＲフィルタＦＨ２の閾値ＴＨ２を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ＋１）〜ＤＩＦＦ（ｘ−２）と水平ＮＲフィルタＦＨ２の閾値ＴＨ２との比較を行い、比較結果を判定器８３ｂに出力する。比較器８２ｋ，８２ｌは、画像特徴量ＤＩＦＦ（ｘ），ＤＩＦＦ（ｘ−１）を第１の入力、水平ＮＲフィルタＦＨ３の閾値ＴＨ３を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ），ＤＩＦＦ（ｘ−１）と水平ＮＲフィルタＦＨ３の閾値ＴＨ３との比較を行い、比較結果を判定器８３ｃに出力する。
The
判定器８３ａは、比較器８２ａ〜８２ｆのそれぞれの出力と、それらの出力に対する閾値ＴＨ＿ｄ１とを入力とし、フィルタ適用条件Ｆ３０を演算する。具体的には、例えば、画素「ｘ＋３」〜画素「ｘ−３」が平坦であると判断される場合に、値［１］を出力し、水平ＮＲフィルタＦＨ１がフィルタ適用条件Ｆ３０を満たすことを示す。判定器８３ｂは、比較器８２ｇ〜８２ｊのそれぞれの出力と、それらの出力に対する閾値ＴＨ＿ｄ２とを入力とし、フィルタ適用条件Ｆ３０を演算する。具体的には、画素「ｘ＋２」〜画素「ｘ−２」が平坦であると判断される場合に、値［１］を出力し、水平ＮＲフィルタＦＨ２がフィルタ適用条件Ｆ３０を満たすことを示す。判定器８３ｃは、比較器８２ｋ，８２ｌのそれぞれの出力と、それらの出力に対する閾値ＴＨ＿ｄ３とを入力とし、フィルタ適用条件Ｆ３０を演算する。具体的には、例えば、画素「ｘ＋１」〜画素「ｘ−１」が平坦であると判断される場合に、値［１］を出力し、水平ＮＲフィルタＦＨ３がフィルタ適用条件Ｆ３０を満たすことを示す。
The
ここで、判定器８３ａの出力は、選択結果７４として水平ＮＲ処理実行部５６に出力される。すなわち、判定器８３ａの出力が値［１］を出力する場合、フィルタ適用画素「ｘ」に水平ＮＲフィルタＦＨ１が適用されることを示す。判定器８３ｂの出力は、アンドゲート８３ｄに入力される。アンドゲート８３ｄは、判定器８３ａの出力値の否定を第１の入力、判定器８３ｂの出力値を第２の入力とし、選択結果７４を出力する。すなわち判定器８３ａの出力が値［０］を示し、かつ、判定器８３ｂの出力が値［１］を示す場合に、アンドゲート８３ｄは、値［１］を出力し、フィルタ適用画素「ｘ」に水平ＮＲフィルタＦＨ２が適用されることを示す。判定器８３ｃの出力は、アンドゲート８３ｅに入力される。アンドゲート８３ｅは、判定器８３ａの出力値の否定を第１の入力、判定器８３ｂの出力値の否定を第２の入力、判定器８３ｃの出力値を第３の入力とし、選択結果７４を出力する。すなわち判定器８３ａおよび８３ｂの出力が値［０］を示し、かつ、判定器８３ｃの出力が値［１］を示す場合に、アンドゲート８３ｅは、値［１］を出力し、フィルタ適用画素「ｘ」に水平ＮＲフィルタＦＨ３が適用されることを示す。以上のように、選択結果７４は、水平ＮＲフィルタＦＨ１〜ＦＨ３のそれぞれについて、適用および非適用を示す値を出力する。
Here, the output of the
図９に、水平ＮＲ処理実行部５６のハードウェア構成図を示す。水平ＮＲ処理実行部５６は、復号画像信号６５を第１の入力、選択結果７４を第２の入力とし、復号画像信号６５に選択結果７４に応じた水平ＮＲ処理を施した水平ＮＲ処理信号６６を出力する。水平ＮＲ処理実行部５６は、１画素分の遅延器８５ａ〜８５ｆと、信号の加算処理を行う加算器８７ａ〜８７ｆと、フィルタ係数の乗算処理を行う乗算器８８ａ〜８８ｄと、フィルタ係数を指定するスイッチ８６ａ〜８６ｄと、フィルタ係数と復号画像信号６５との積和値に対し除算処理を行う除算器９０とから構成される。
FIG. 9 shows a hardware configuration diagram of the horizontal NR
遅延器８５ａ〜８５ｆは、復号画像信号６５に対して直列に接続される１画素分の遅延器であり、復号画像信号６５として入力される画素値Ｙ（ｘ＋３）に対して、過去６画素分の画素値Ｙ（ｘ＋２）〜画素値Ｙ（ｘ−３）を出力する。加算器８７ａ〜８７ｃは、いずれの水平ＮＲフィルタＦＨ１〜ＦＨ３を用いた場合であっても乗算されるフィルタ係数の等しい画素値について加算処理を行う。加算器８７ａでは、画素値Ｙ（ｘ＋３）と画素値Ｙ（ｘ−３）とが加算される。加算器８７ｂでは、画素値Ｙ（ｘ＋２）と画素値Ｙ（ｘ−２）とが加算される。加算器８７ｃでは、画素値Ｙ（ｘ＋１）と画素値Ｙ（ｘ−１）とが加算される。
The
乗算器８８ａ〜８８ｄは、加算器８７ａ〜８７ｃおよび遅延器８５ｃの出力に対して、条件判定部５５の選択結果７４が示す水平ＮＲフィルタのフィルタ係数をそれぞれ乗算する。乗算器８８ａは、加算器８７ａの出力を第１の入力、スイッチ８６ａの出力を第２の入力とし、それぞれの入力を乗算する。乗算器８８ｂは、加算器８７ｂの出力を第１の入力、スイッチ８６ｂの出力を第２の入力とし、それぞれの入力を乗算する。乗算器８８ｃは、加算器８７ｃの出力を第１の入力、スイッチ８６ｃの出力を第２の入力とし、それぞれの入力を乗算する。乗算器８８ｃは、遅延器８５ｃの出力（画素値Ｙ（ｘ））を第１の入力、スイッチ８６ｄの出力を第２の入力とし、それぞれの入力を乗算する。
The
スイッチ８６ａ〜８６ｄは、条件判定部５５の選択結果７４に応じて動作するスイッチであり、スイッチの動作により、加算器８７ａ〜８７ｃおよび遅延器８５ｃの出力に乗じるフィルタ係数を指定する。スイッチ８６ａ〜８６ｄは、水平ＮＲフィルタＦＨ１が適用される場合には、上段のフィルタ係数を指定し、水平ＮＲフィルタＦＨ２が適用される場合には、中段のフィルタ係数を指定し、水平ＮＲフィルタＦＨ３が適用される場合には、下段のフィルタ係数を指定する。
The
加算器８７ｄ〜８７ｆは、乗算器８８ａ〜８８ｄの出力をすべて加算する。加算結果は、除算器９０において、フィルタ係数の和で除算される。ここで、フィルタ係数の和は、水平ＮＲフィルタＦＨ１〜ＦＨ３のいずれが選択された場合であっても値［８］となるよう設定されている。このため、除算器９０では、３ビットのシフト演算により除算処理を行うことができる。除算器９０の除算結果は、水平ＮＲ処理信号６６として出力される。
The
〈垂直ＮＲ処理部５４の構成〉
図１０〜図１２を用いて、図６のＮＲフィルタおよびＮＲフィルタ選択を実現する具体的なハードウェアの構成について説明する。垂直ＮＲ処理部５４では、水平ＮＲ処理部５３から画素単位で出力される水平ＮＲ処理信号６６を図示しないラインメモリにライン毎に記憶し、記憶されたラインに含まれるフィルタ適用画素に対して、ＮＲフィルタの選択とＮＲ処理の実行とを行う。なお、ラインメモリ（図示せず）は、水平ＮＲ処理信号２６を記憶する代わりに復号画像信号２５を記憶し、水平ＮＲ処理信号２６はラインメモリ（図示せず）を介さずに垂直ＮＲ処理部へ入力されてもよい。さらに、ラインメモリ（図示せず）の代わりに、水平方向同位置の複数ラインの画素が同時に取得可能なタイプのフレームメモリ（図示せず）を用いても良い。
<Configuration of Vertical
A specific hardware configuration for realizing the NR filter and NR filter selection of FIG. 6 will be described with reference to FIGS. In the vertical
垂直ＮＲ処理部５４は、複数の垂直ＮＲフィルタ部を備えている。垂直ＮＲ処理部５４が備える垂直ＮＲフィルタ部の個数は、垂直解像度変換部５２が垂直解像度変換処理に用いる垂直ＮＲ処理後のライン数に依存する。例えば、垂直解像度変換部５２が図２２の垂直解像度変換部３０３と同様に最大６ラインの垂直ＮＲ処理後のラインを必要とする場合、垂直ＮＲフィルタ部の個数は６となる。
The vertical
以下、画素値Ｙ（ｙ）のフィルタ適用画素「ｙ」に対する垂直ＮＲフィルタ部について説明する。他の垂直ＮＲフィルタ部については、同様であるため説明を省略する。
図１０に、垂直ＮＲ処理部５４において切り換えて適用される３つの垂直ＮＲフィルタＦＨ１〜ＦＨ３のフィルタタップ数、フィルタ係数および閾値を示す。垂直ＮＲフィルタＦＨ１は、フィルタタップ数ＦＨ１ｔａｐ＝［３］、フィルタ係数［３，２，３］、閾値ＴＨ１＝［８］の垂直ＮＲフィルタである。垂直ＮＲフィルタＦＨ２は、フィルタタップ数ＦＨ２ｔａｐ＝［３］、フィルタ係数［２，４，２］、閾値ＴＨ２＝［１６］の垂直ＮＲフィルタである。垂直ＮＲフィルタＦＨ３は、フィルタタップ数ＦＨ３ｔａｐ＝［３］、フィルタ係数［１，６，１］、閾値ＴＨ３＝［３２］の垂直ＮＲフィルタである。
Hereinafter, the vertical NR filter unit for the filter application pixel “y” having the pixel value Y (y) will be described. The other vertical NR filter units are the same and will not be described.
FIG. 10 shows the number of filter taps, filter coefficients, and threshold values of the three vertical NR filters FH1 to FH3 that are switched and applied in the vertical
図１１に、条件判定部５７のハードウェア構成図を示す。条件判定部５７は、ライン単位で記憶された水平ＮＲ処理信号６６を第１の入力、設定された閾値７１（ＴＨ１〜ＴＨ３）を第２の入力とし、水平ＮＲ処理信号６６に適用する垂直ＮＲフィルタＦＨ１〜ＦＨ３を選択し、選択結果７５を出力する。第１の入力であるライン単位で記憶された水平ＮＲ処理信号６６は、図示しない３つのラインメモリに記憶された水平方向同位置の画素値Ｙ（ｙ−１）〜Ｙ（ｙ＋１）である。
FIG. 11 shows a hardware configuration diagram of the
条件判定部５７は、数式Ｆ３１で定義される画像特徴量を計算する演算器９３ａ，９３ｂと、数式Ｆ３２で定義される比較関数ＣＭＰｋ（ｘ）を実現する比較器９４ａ〜９４ｆと、フィルタ適用条件Ｆ３０を実現する判定器９５ａ〜９５ｃと、フィルタ適用条件Ｆ３０を満たす垂直ＮＲフィルタＦＨｋからフィルタ処理に適用される垂直ＮＲフィルタ１つを選択するアンドゲート９５ｄ，９５ｅとから構成される。
The
演算器９３ａ，９３ｂは、フィルタ適用画素「ｙ」と垂直方向に隣り合う画素「ｙ−１」および「ｙ＋１」とから画像特徴量を計算する。すなわち、演算器９３ａ，９３ｂは、画素値Ｙ（ｙ−１）〜画素値Ｙ（ｙ＋１）のそれぞれに対して、数式Ｆ３１で定義される画像特徴量ＤＩＦＦ（ｙ−１）およびＤＩＦＦ（ｙ）を計算する。
The
比較器９４ａ，９４ｂは、画像特徴量ＤＩＦＦ（ｙ−１），ＤＩＦＦ（ｙ）を第１の入力、垂直ＮＲフィルタＦＨ１の閾値ＴＨ１を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｙ−１），ＤＩＦＦ（ｙ）と垂直ＮＲフィルタＦＨ１の閾値ＴＨ１との比較を行い、比較結果を判定器９５ａに出力する。比較器９４ｃ，９４ｄは、画像特徴量ＤＩＦＦ（ｙ−１），ＤＩＦＦ（ｙ）を第１の入力、垂直ＮＲフィルタＦＨ２の閾値ＴＨ２を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｙ−１），ＤＩＦＦ（ｙ）と垂直ＮＲフィルタＦＨ２の閾値ＴＨ２との比較を行い、比較結果を判定器９５ｂに出力する。比較器９４ｅ，９４ｆは、画像特徴量ＤＩＦＦ（ｙ−１），ＤＩＦＦ（ｙ）を第１の入力、垂直ＮＲフィルタＦＨ３の閾値ＴＨ３を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｙ−１），ＤＩＦＦ（ｙ）と垂直ＮＲフィルタＦＨ３の閾値ＴＨ３との比較を行い、比較結果を判定器９５ｃに出力する。
The
判定器９５ａは、比較器９４ａ，９４ｂのそれぞれの出力と、それらの出力に対する閾値ＴＨ＿ｄ１を入力とし、フィルタ適用条件Ｆ３０を演算する。具体的には、例えば、画素「ｙ−１」〜画素「ｙ＋１」が平坦であると判断される場合に、値［１］を出力し、垂直ＮＲフィルタＦＨ１がフィルタ適用条件Ｆ３０を満たすことを示す。判定器９５ｂは、比較器９４ｃ，９４ｄのそれぞれの出力と、それらの出力に対する閾値ＴＨ＿ｄ２を入力とし、フィルタ適用条件Ｆ３０を演算する。具体的には、例えば、画素「ｙ−１」〜画素「ｙ＋１」が平坦であると判断される場合に、値［１］を出力し、垂直ＮＲフィルタＦＨ２がフィルタ適用条件Ｆ３０を満たすことを示す。判定器９５ｃは、比較器９４ｅ，９４ｆのそれぞれの出力と、それらの出力に対する閾値ＴＨ＿ｄ３を入力とし、フィルタ適用条件Ｆ３０を演算する。具体的には、例えば、画素「ｙ−１」〜画素「ｙ＋１」が平坦であると判断される場合に、値［１］を出力し、垂直ＮＲフィルタＦＨ３がフィルタ適用条件Ｆ３０を満たすことを示す。
The
ここで、判定器９５ａの出力は、選択結果７５として垂直ＮＲ処理実行部５８に出力される。すなわち、判定器９５ａの出力が値［１］を出力する場合、フィルタ適用画素「ｙ」に垂直ＮＲフィルタＦＨ１が適用されることを示す。判定器９５ｂの出力は、アンドゲート９５ｄに入力される。アンドゲート９５ｄは、判定器９５ａの出力値の否定を第１の入力、判定器９５ｂの出力値を第２の入力とし、選択結果７５を出力する。すなわち判定器９５ａの出力が値［０］を示し、かつ、判定器９５ｂの出力が値［１］を示す場合に、アンドゲート９５ｄは、値［１］を出力し、フィルタ適用画素「ｙ」に垂直ＮＲフィルタＦＨ２が適用されることを示す。判定器９５ｃの出力は、アンドゲート９５ｅに入力される。アンドゲート９５ｅは、判定器９５ａの出力値の否定を第１の入力、判定器９５ｂの出力値の否定を第２の入力、判定器９５ｃの出力値を第３の入力とし、選択結果７５を出力する。すなわち判定器９５ａおよび９５ｂの出力が値［０］を示し、かつ、判定器９５ｃの出力が値［１］を示す場合に、アンドゲート９５ｅは、値［１］を出力し、フィルタ適用画素「ｙ」に垂直ＮＲフィルタＦＨ３が適用されることを示す。以上のように、選択結果７５は、垂直ＮＲフィルタＦＨ１〜ＦＨ３のそれぞれについて、適用および非適用を示す値を出力する。
Here, the output of the
図１２に、垂直ＮＲ処理実行部５８のハードウェア構成図を示す。垂直ＮＲ処理実行部５８は、図示しない３つのラインメモリに記憶された水平方向同位置の画素値Ｙ（ｙ−１）〜Ｙ（ｙ＋１）を第１の入力、選択結果７５を第２の入力とし、画素値Ｙ（ｙ）のフィルタ適用画素「ｙ」に選択結果７５に応じた垂直ＮＲ処理を施したＮＲ処理信号６７（画素値Ｙ’（ｙ））を出力する。垂直ＮＲ処理実行部５８は、信号の加算処理を行う加算器９６ａ，９６ｂと、フィルタ係数の乗算処理を行う乗算器９７ａ，９７ｂと、フィルタ係数を指定するスイッチ９８ａ，９８ｂと、フィルタ係数の乗算された水平ＮＲ処理信号６６の除算処理を行う除算器１００とから構成される。
FIG. 12 shows a hardware configuration diagram of the vertical NR
加算器９６ａは、いずれの垂直ＮＲフィルタＦＨ１〜ＦＨ３を用いた場合であっても乗算されるフィルタ係数の等しい画素値について加算処理を行う。加算器９６ａでは、画素値Ｙ（ｙ−１）と画素値Ｙ（ｙ＋１）とが加算される。
乗算器９７ａ，９７ｂは、加算器９６ａおよびフィルタ適用画素「ｙ」の画素値Ｙ（ｙ）に対して、条件判定部５７の選択結果７５が示す垂直ＮＲフィルタのフィルタ係数をそれぞれ乗算する。乗算器９７ａは、加算器９６ａの出力を第１の入力、スイッチ９８ａの出力を第２の入力とし、それぞれの入力を乗算する。乗算器９７ｂは、フィルタ適用画素「ｙ」の画素値Ｙ（ｙ）を第１の入力、スイッチ９８ｂの出力を第２の入力とし、それぞれの入力を乗算する。
The
The
スイッチ９８ａ，９８ｂは、条件判定部５７の選択結果７５に応じて動作するスイッチであり、スイッチの動作により、加算器９６ａの出力および画素値Ｙ（ｙ）に乗じるフィルタ係数を指定する。スイッチ９８ａ，９８ｂは、垂直ＮＲフィルタＦＨ１が適用される場合には、上段のフィルタ係数を指定し、垂直ＮＲフィルタＦＨ２が適用される場合には、中段のフィルタ係数を指定し、垂直ＮＲフィルタＦＨ３が適用される場合には、下段のフィルタ係数を指定する。
The
加算器９６ｂは、乗算器９７ａ，９７ｂの出力を加算する。加算結果は、除算器１００において、フィルタ係数の和で除算される。ここで、フィルタ係数の和は、垂直ＮＲフィルタＦＨ１〜ＦＨ３のいずれが選択された場合であっても値［８］となるよう設定されている。このため、除算器１００では、３ビットのシフト演算により除算処理を行うことができる。除算器１００の除算結果は、ＮＲ処理信号６７として出力される。
The
〈フィルタリング方法〉
図１３に、フィルタ装置５０におけるフィルタリング方法、特に水平ＮＲ処理部５３と垂直ＮＲ処理部５４とにおけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号６５として水平ＮＲ処理部５３に入力される画素あるいは図示しないラインメモリから垂直ＮＲ処理部５４に入力される画素を単位とする処理である（ステップＳ２０〜Ｓ２５）。以下、水平ＮＲ処理部５３におけるフィルタリング方法について説明する。なお、以下説明する処理は、垂直ＮＲ処理部５４においても同様である。
<Filtering method>
FIG. 13 shows a flowchart for explaining a filtering method in the
This filtering method is processing in units of pixels input to the horizontal
条件判定部５５は、水平ＮＲフィルタＦＨ１〜ＦＨ３について順次フィルタ適用条件Ｆ３０の値が［１］であるかを判断する（ステップＳ２１）。フィルタ適用条件Ｆ３０の値が［１］であるかについての判断は、フィルタ参照画素のそれぞれに対する処理により行われる（ステップＳ２１ａ〜Ｓ２１ｄ）。（−ＦＨｋｔａｐ／２）以上（ＦＨｋｔａｐ／２）未満の〈ｉ〉について、数式Ｆ３１で定義されるＤＩＦＦ（ｘ＋ｉ）が計算され、ＤＩＦＦ（ｘ＋ｉ）と、ＴＨｋ（〈ｋ〉は、ステップＳ２０で対象としているフィルタ候補の番号）との比較が行われる（ステップＳ２１ｂ）。さらに、比較結果を用いて、数式Ｆ３０で定義されるフィルタ適用条件が計算される（ステップＳ２１ｄ）。返り値［１］が出力される場合、フィルタＦＨｋがフィルタ適用画素「ｘ」に適用され（ステップＳ２５）、次のフィルタ適用画素についての処理が開始される。一方、返り値［０］が出力される場合、次のフィルタ候補ＦＨｋ＋１を用意し（ステップＳ２２，Ｓ２３）、同様の処理を行う（ステップＳ２１）。また、いずれのフィルタ候補についてもフィルタ適用条件Ｆ３０の値が［１］とならない場合、水平ＮＲフィルタＦＨ１〜ＦＨ３の適用は行われず、次のフィルタ適用画素についての処理が開始される。
The
以上のフィルタリング方法は、フィルタ装置５０のみでなく、コンピュータを用いてプログラムとして実現することも可能である。
〈第２実施形態の効果〉
（１）
フィルタ装置５０では、複数のＮＲフィルタ候補の中から１つのＮＲフィルタを選択してＮＲ処理を行うため、適切なＮＲ効果を得ることが可能である。
The above filtering method can be realized as a program using not only the
<Effects of Second Embodiment>
(1)
Since the
（２）
複数のＮＲフィルタ候補の中から１つのＮＲフィルタを選択するに際し、画像特徴量の算出方法を共通化することが可能である。例えば、図８の演算器８１ａ〜８１ｆ、図１１の演算器９３ａ，９３ｂの計算結果をそれぞれのＮＲフィルタの選択に際して共通して用いることが可能であり、ハードウェアコストの削減、処理の簡易化が実現される。
(2)
When selecting one NR filter from among a plurality of NR filter candidates, it is possible to share an image feature amount calculation method. For example, the calculation results of the
（３）
複数のＮＲフィルタ候補の中から１つのＮＲフィルタを選択するに際し、画像特徴量の算出に必要な画素と複数のＮＲフィルタのそれぞれが参照する画素とが共通化されている。例えば、条件判定部５５が画像特徴量の算出に必要とする画素値は、画素値Ｙ（ｘ＋３）〜Ｙ（ｘ−３）であり、水平ＮＲ処理実行部５６が参照する画素値は、画素値Ｙ（ｘ＋３）〜Ｙ（ｘ−３）である。このため図８および図９において、遅延器８０ａ〜８０ｆと遅延器８５ａ〜８５ｆとを同一の遅延器として構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
(3)
When one NR filter is selected from a plurality of NR filter candidates, a pixel necessary for calculating an image feature amount and a pixel referred to by each of the plurality of NR filters are shared. For example, the pixel values necessary for the calculation of the image feature amount by the
また、条件判定部５７と垂直ＮＲ処理実行部５８とにおいて必要とされる画素値は、画素値Ｙ（ｙ−１）〜Ｙ（ｙ＋１）である。このため、これらの画素値を取得するためのラインメモリを同一のラインメモリとして構成することが可能となり、ハードウェアコストの削減、処理の簡易化が実現される。
The pixel values required in the
（４）
フィルタ装置５０では、画像の平坦度が大きいほど強いフィルタを適用する結果となる。このため、物体の輪郭がフィルタ参照画素に含まれている場合などにも、適切なＮＲ効果を得ることが可能となる。
(4)
In the
（５）
フィルタ装置５０では、それぞれのＮＲフィルタのフィルタ係数の和が同じ値となる。このため、フィルタ係数和による画素値の除算処理を共通化することが可能となる。また、フィルタ係数和を［８］とし、３ビットのシフト演算で除算処理を行うことが可能となる。このため、ハードウェアを簡易に構成することが可能となる。
(5)
In the
（６）
フィルタ装置５０では、フィルタ強度が強くなるに従って、フィルタタップ数ＦＨｋｔａｐが大きくなり、フィルタ適用条件Ｆ３０の閾値ＴＨｋが小さくなる。このためフィルタ装置５０におけるフィルタリング方法、フィルタリングプログラムでは、よりＮＲ効果の高いフィルタを優先的に適用するためのソフトウェアの構成が簡易になる。
(6)
In the
〈第２実施形態の変形例〉
本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変形が可能である。
（１）
本発明の効果は、水平・垂直ＮＲフィルタの候補が３つの場合に限定されるものではない。ＮＲフィルタ候補の数の増減は、図８，９，１１，１２に示したハードウェアの構成要素の数の増減により常識的に対応することが可能である。
<Modification of Second Embodiment>
The present invention is not limited to the above embodiment, and various modifications can be made without departing from the scope of the invention.
(1)
The effects of the present invention are not limited to three horizontal / vertical NR filter candidates. Increasing or decreasing the number of NR filter candidates can be dealt with in common sense by increasing or decreasing the number of hardware components shown in FIGS.
（２）
ＮＲフィルタ候補は、フィルタ強度が強くなるに従って、フィルタタップ数ＦＨｋｔａｐが大きくならず、またフィルタ適用条件Ｆ３０の閾値ＴＨｋが小さくならないものであってもよい。この場合であっても、第２実施形態に示したフィルタ装置５０のハードウェア構成を常識的に拡張して対応することが可能である。
(2)
The NR filter candidate may be one in which the filter tap number FHktap does not increase and the threshold value THk of the filter application condition F30 does not decrease as the filter strength increases. Even in this case, the hardware configuration of the
（３）
図１１および図１２を用いて説明した垂直ＮＲフィルタを図２の垂直ＮＲフィルタ部４１〜４４として用いることも可能である。この場合、垂直ＮＲ処理判定部２０からの判定結果３３を取得し、取得結果に応じてフィルタ適用画素の画素値を出力する（フィルタスルー）構成を付加することにより対応することが可能である。
(3)
The vertical NR filter described with reference to FIGS. 11 and 12 can also be used as the vertical
（４）
条件判定部５７は、復号画像信号６５を用いて条件判定を行うものであってもよい。この場合、水平ＮＲ処理の完了前に、水平ＮＲ処理と並行して条件判定部５７が動作可能となり、フィルタ装置５０全体の処理速度を向上させることが可能となる。
［第３実施形態］
ＮＲフィルタの選択およびフィルタ処理の実行に際して、フィルタ適用画素が符号化ブロックのブロック境界に位置するか否かにより、フィルタ適用条件Ｆ３０において用いる閾値を変更する、あるいはブロック境界用のフィルタを適用することが可能である。図１に示す水平ＮＲ処理部１３、垂直ＮＲ処理部１４、図５に示す水平ＮＲ処理部５３、垂直ＮＲ処理部５４において、このような機能を実現することが可能である。
(4)
The
[Third Embodiment]
When selecting the NR filter and executing the filter process, the threshold used in the filter application condition F30 is changed depending on whether or not the filter application pixel is located at the block boundary of the encoded block, or the filter for the block boundary is applied. Is possible. Such functions can be realized in the horizontal
図１４〜図１６を用いて、水平ＮＲ処理部５３（図５参照）の変形例としての、水平ＮＲ処理部について説明する。変形例としての水平ＮＲ処理部では、画素単位で順次入力される復号画像信号６５に対して、ＮＲフィルタの選択とＮＲ処理の実行とを行う。
図１４に、水平ＮＲ処理部において切り換えて適用される３つの水平ＮＲフィルタＦＨ１〜ＦＨ３のフィルタタップ数、フィルタ係数を示す。水平ＮＲフィルタＦＨ１は、フィルタタップ数ＦＨ１ｔａｐ＝［５］、フィルタ係数［１，２，２，２，１］の水平ＮＲフィルタである。水平ＮＲフィルタＦＨ１は、フィルタ適用画素がブロック境界隣接画素である場合にのみ適用される。水平ＮＲフィルタＦＨ２は、フィルタタップ数ＦＨ２ｔａｐ＝［５］、フィルタ係数［１，１，４，１，１］の水平ＮＲフィルタである。水平ＮＲフィルタＦＨ２は、フィルタ適用画素がブロック境界隣接画素であるか否かに関係なく適用される。水平ＮＲフィルタＦＨ３は、フィルタタップ数ＦＨ３ｔａｐ＝［３］、フィルタ係数［２，４，２］の水平ＮＲフィルタである。水平ＮＲフィルタＦＨ３は、フィルタ適用画素がブロック境界隣接画素でない場合にのみ適用される。
A horizontal NR processing unit as a modification of the horizontal NR processing unit 53 (see FIG. 5) will be described with reference to FIGS. The modified horizontal NR processing unit selects an NR filter and executes NR processing on the decoded
FIG. 14 shows the number of filter taps and filter coefficients of the three horizontal NR filters FH1 to FH3 applied by switching in the horizontal NR processing unit. The horizontal NR filter FH1 is a horizontal NR filter having a filter tap number FH1tap = [5] and a filter coefficient [1, 2, 2, 2, 1]. The horizontal NR filter FH1 is applied only when the filter application pixel is a block boundary adjacent pixel. The horizontal NR filter FH2 is a horizontal NR filter having a filter tap number FH2tap = [5] and a filter coefficient [1, 1, 4, 1, 1]. The horizontal NR filter FH2 is applied regardless of whether the filter application pixel is a block boundary adjacent pixel. The horizontal NR filter FH3 is a horizontal NR filter having a filter tap number FH3tap = [3] and a filter coefficient [2, 4, 2]. The horizontal NR filter FH3 is applied only when the filter application pixel is not a block boundary adjacent pixel.
図１５に、条件判定部５５の変形例としての条件判定部１０４のハードウェア構成図を示す。条件判定部１０４は、復号画像信号６５を第１の入力、設定された閾値１１４（ＴＨ１〜ＴＨ３，ＴＨｂ）を第２の入力、画素「ｘ−２」〜画素「ｘ＋２」の間にブロック境界が存在することを示すブロック境界フラグ１１５（ｂｌｋ（ｘ−２）〜ｂｌｋ（ｘ＋１）：ｂｌｋ（ｘ）は、画素「ｘ」と画素「ｘ＋１」との間にブロック境界が存在する場合に値［１］を出力する関数）を第３の入力とし、復号画像信号６５に適用する水平ＮＲフィルタＦＨ１〜ＦＨ３を選択し、選択結果７４を出力する。ここで、ブロック境界フラグ１１５は、画素のアドレス情報に基づいて、その画素がブロック境界に位置するか否かを判断して得られる情報である。画素のアドレス情報は、例えば、復号画像信号６５を復号化する復号化装置などを供給手段として供給される情報である。
FIG. 15 shows a hardware configuration diagram of the
条件判定部１０４は、１画素分の遅延器１０５ａ〜１０５ｄと、隣接する画素の画素値に基づいて画像特徴量を計算する演算器１０６ａ〜１０６ｄと、数式Ｆ３２で定義される比較関数ＣＭＰｋ（ｘ）を実現する比較器１０７ａ〜１０７ｊと、ブロック境界フラグ１１５の値により比較器１０７ｂ，１０７ｃ，１０７ｅ〜１０７ｈに与える基準値を切り換えるスイッチ１０８ａ〜１０８ｆと、オアゲート１１０と、フィルタ適用条件Ｆ３０を実現する判定器１１１ａ〜１１１ｃと、アンドゲート１１１ｄ〜１１１ｆとから構成される。
The
遅延器１０５ａ〜１０５ｄは、復号画像信号６５に対して直列に接続される１画素分の遅延器であり、復号画像信号６５として入力される画素値Ｙ（ｘ＋２）に対して、過去４画素分の画素値Ｙ（ｘ＋１）〜画素値Ｙ（ｘ−２）を出力する。
演算器１０６ａ〜１０６ｄは、それぞれの遅延器１０５ａ〜１０５ｄの入力と出力とから画像特徴量を計算する。すなわち、演算器１０６ａ〜１０６ｄは、画素値Ｙ（ｘ＋２）〜画素値Ｙ（ｘ−２）のそれぞれに対して、数式Ｆ３１（図６参照）で定義される画像特徴量ＤＩＦＦ（ｘ＋１）〜ＤＩＦＦ（ｘ−２）を計算する。
The
The
比較器１０７ａ，１０７ｄは、画像特徴量ＤＩＦＦ（ｘ＋１），ＤＩＦＦ（ｘ−２）を第１の入力、水平ＮＲフィルタＦＨ１の閾値ＴＨ１を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ＋１），ＤＩＦＦ（ｘ−２）と水平ＮＲフィルタＦＨ１の閾値ＴＨ１との比較を行い、比較結果を判定器１１１ａに出力する。比較器１０７ｂ，１０７ｃは、画像特徴量ＤＩＦＦ（ｘ），ＤＩＦＦ（ｘ−１）を第１の入力、スイッチ１０８ａ，１０８ｂの出力を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ），ＤＩＦＦ（ｘ−１）とスイッチ１０８ａ，１０８ｂの出力との比較を行い、比較結果を判定器１１１ａに出力する。
The
比較器１０７ｅ〜１０７ｈは、画像特徴量ＤＩＦＦ（ｘ＋１）〜ＤＩＦＦ（ｘ−２）を第１の入力、スイッチ１０８ｃ〜１０８ｆの出力を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ＋１）〜ＤＩＦＦ（ｘ−２）とスイッチ１０８ｃ〜１０８ｆの出力との比較を行い、比較結果を判定器１１１ｂに出力する。
The
比較器１０７ｉ，１０７ｊは、画像特徴量ＤＩＦＦ（ｘ），ＤＩＦＦ（ｘ−１）を第１の入力、水平ＮＲフィルタＦＨ３の閾値ＴＨ３を第２の入力とし、それぞれの比較結果を出力する。すなわち、画像特徴量ＤＩＦＦ（ｘ），ＤＩＦＦ（ｘ−１）と水平ＮＲフィルタＦＨ３の閾値ＴＨ３との比較を行い、比較結果を判定器１１１ｃに出力する。
The
スイッチ１０８ａ，１０８ｂは、ブロック境界フラグ１１５のうちｂｌｋ（ｘ），ｂｌｋ（ｘ−１）を第１の入力、水平ＮＲフィルタＦＨ１の閾値ＴＨ１を第２の入力、ブロック境界用の閾値ＴＨｂを第３の入力とし、ｂｌｋ（ｘ），ｂｌｋ（ｘ−１）が値［０］の場合、閾値ＴＨ１を出力し、ｂｌｋ（ｘ），ｂｌｋ（ｘ−１）が値［１］の場合、ブロック境界用の閾値ＴＨｂを出力する。スイッチ１０８ｃ〜１０８ｆは、ブロック境界フラグ１１５のそれぞれ（ｂｌｋ（ｘ＋１）〜ｂｌｋ（ｘ−２））を第１の入力、水平ＮＲフィルタＦＨ２の閾値ＴＨ２を第２の入力、ブロック境界用の閾値ＴＨｂを第３の入力とし、それぞれの第１の入力が値［０］の場合、閾値ＴＨ２を出力し、それぞれの第１の入力が値［１］の場合、ブロック境界用の閾値ＴＨｂを出力する。
The
オアゲート１１０は、ブロック境界フラグ１１５のうちｂｌｋ（ｘ）を第１の入力、ｂｌｋ（ｘ−１）を第２の入力とする。すなわち、オアゲート１１０は、ブロック境界がフィルタ適用画素「ｘ」に隣接する場合に値［１］を出力する。オアゲート１１０の出力は、アンドゲート１１１ｆに入力される。また、オアゲート１１０の出力の否定は、アンドゲート１１１ｅに入力される。
The OR
判定器１１１ａは、比較器１０７ａ〜１０７ｄのそれぞれの出力と、それらの値に対する閾値ＴＨ＿ｄ１とを入力とする。具体的には、例えば、画素「ｘ＋２」〜画素「ｘ−２」が平坦であると判断される場合に、値［１］を出力し、水平ＮＲフィルタＦＨ１がフィルタ適用条件を満たすことを示す。ここで、フィルタ適用条件は、図６に示したフィルタ適用条件Ｆ３０とほぼ同様であり、フィルタ適用条件Ｆ３０中の比較関数ＣＭＰｋ（ｘ）の基準値として、閾値ＴＨ１とブロック境界用の閾値ＴＨｂとが切り換えて用いられる。
The
判定器１１１ｂは、比較器１０７ｅ〜１０７ｈのそれぞれの出力と、それらの値に対する閾値ＴＨ＿ｄ２とを入力とする。具体的には、例えば、画素「ｘ＋２」〜画素「ｘ−２」が平坦であると判断される場合に、値［１］を出力し、水平ＮＲフィルタＦＨ２がフィルタ適用条件を満たすことを示す。ここで、フィルタ適用条件は、図６に示したフィルタ適用条件Ｆ３０とほぼ同様であり、フィルタ適用条件Ｆ３０中の比較関数ＣＭＰｋ（ｘ）の基準値として、閾値ＴＨ２とブロック境界用の閾値ＴＨｂとが切り換えて用いられる。
The determiner 111b receives the outputs of the
判定器１１１ｃは、比較器１０７ｉ，１０７ｊのそれぞれの出力と、それらの値に対する閾値ＴＨ＿ｄ３とを入力とする。具体的には、例えば、画素「ｘ＋１」〜画素「ｘ−１」が平坦であると判断される場合に、値［１］を出力し、水平ＮＲフィルタＦＨ３がフィルタ適用条件Ｆ３０を満たすことを示す。
The
ここで、判定器１１１ａの出力は、アンドゲート１１１ｆに入力される。アンドゲート１１１ｆは、判定器１１１ａの出力値を第１の入力、オアゲート１１０の出力値を第２の入力とし、選択結果７４を出力する。すなわち、判定器１１１ａの出力が値［１］を示し、かつ、オアゲート１１０の出力が値［１］を示す場合に、アンドゲート１１１ｆは、値［１］を示し、フィルタ適用画素「ｘ」に水平ＮＲフィルタＦＨ１が適用されることを示す。
Here, the output of the
判定器１１１ｂの出力は、アンドゲート１１１ｄに入力される。アンドゲート１１１ｄは、アンドゲート１１１ｆの出力値の否定を第１の入力、判定器１１１ｂの出力値を第２の入力とし、選択結果７４を出力する。すなわちアンドゲート１１１ｆの出力が値［０］を示し、かつ、判定器１１１ｂの出力が値［１］を示す場合に、アンドゲート１１１ｄは、値［１］を出力し、フィルタ適用画素「ｘ」に水平ＮＲフィルタＦＨ２が適用されることを示す。
The output of the determiner 111b is input to the AND
判定器１１１ｃの出力は、アンドゲート１１１ｅに入力される。アンドゲート１１１ｅは、アンドゲート１１１ｆの出力値の否定を第１の入力、判定器１１１ｂの出力値の否定を第２の入力、判定器１１１ｃの出力値を第３の入力、オアゲート１１０の出力値の否定を第４の入力とし、選択結果７４を出力する。すなわちアンドゲート１１１ｆおよび判定器１１１ｂの出力が値［０］を示し、かつ、判定器１１１ｃの出力が値［１］を示し、かつ、オアゲート１１０の出力が値［０］を示す場合に、アンドゲート１１１ｅは、値［１］を出力し、フィルタ適用画素「ｘ」に水平ＮＲフィルタＦＨ３が適用されることを示す。以上のように、選択結果７４は、水平ＮＲフィルタＦＨ１〜ＦＨ３のそれぞれについて、適用および非適用を示す値を出力する。
The output of the
選択結果７４は、水平ＮＲ処理実行部５６の変形例としての水平ＮＲ処理実行部（図示せず）に入力される。水平ＮＲ処理実行部は、復号画像信号６５を第１の入力、選択結果７４を第２の入力とし、復号画像信号６５に選択結果７４応じた水平ＮＲ処理を施した水平ＮＲ処理信号６６を出力する。ここで、水平ＮＲ処理実行部の構成は、図９の水平ＮＲ処理実行部５６とほぼ同様であり、遅延器の個数、フィルタ係数などにおいて相違点を有するのみであるため説明は省略する。
The
〈フィルタリング方法〉
図１６に、水平ＮＲ処理部５３の変形例としての水平ＮＲ処理部におけるフィルタリング方法を説明するフローチャートを示す。
このフィルタリング方法は、復号画像信号６５として水平ＮＲ処理部に入力される画素を単位とする処理である（ステップＳ３０〜Ｓ３５）。条件判定部１０４は、水平ＮＲフィルタＦＨ１〜ＦＨ３について順次第２フィルタ適用条件の値が［１］であるかを判断する（ステップＳ３１）。
<Filtering method>
FIG. 16 is a flowchart illustrating a filtering method in the horizontal NR processing unit as a modification of the horizontal
This filtering method is processing in units of pixels input to the horizontal NR processing unit as the decoded image signal 65 (steps S30 to S35). The
第２フィルタ適用条件の値が［１］であるかについては、ステップＳ３１ａ〜ステップＳ３１ｌの処理に基づいて判断される。まず、フィルタ適用画素「ｘ」がブロック境界の画素か否かが判断される（ステップＳ３１ａ）。
フィルタ適用画素「ｘ」がブロック境界の画素で無い場合、水平ＮＲフィルタＦＨｋがブロック境界で無い画素について適用される水平ＮＲフィルタ（例えば、図１４の水平ＮＲフィルタＦＨ２またはＦＨ３）であるか否かが判断され（ステップＳ３１ｂ）、水平ＮＲフィルタＦＨｋがブロック境界の画素についてのみ適用される水平ＮＲフィルタである場合（例えば、図１４の水平ＮＲフィルタＦＨ１）、返り値［０］を出力し（ステップＳ３１ｃ）、ステップＳ３２〜ステップＳ３４の処理を行う。一方、水平ＮＲフィルタＦＨｋがブロック境界で無い画素について適用される水平ＮＲフィルタである場合、ステップＳ３１ｆ〜Ｓ３１ｊのフィルタ参照画素についての処理が行われる。
Whether or not the value of the second filter application condition is [1] is determined based on the processing in steps S31a to S31l. First, it is determined whether the filter application pixel “x” is a pixel at the block boundary (step S31a).
If the filter application pixel “x” is not a pixel at the block boundary, whether or not the horizontal NR filter FHk is a horizontal NR filter applied to a pixel that is not at the block boundary (for example, the horizontal NR filter FH2 or FH3 in FIG. 14). Is determined (step S31b), and when the horizontal NR filter FHk is a horizontal NR filter that is applied only to pixels at the block boundary (for example, the horizontal NR filter FH1 in FIG. 14), the return value [0] is output (step S31b). S31c), processing of step S32 to step S34 is performed. On the other hand, when the horizontal NR filter FHk is a horizontal NR filter that is applied to a pixel that is not a block boundary, the processing for the filter reference pixel in steps S31f to S31j is performed.
フィルタ適用画素「ｘ」がブロック境界の画素である場合（ステップＳ３１ａ）、水平ＮＲフィルタＦＨｋがブロック境界で無い画素について適用される水平ＮＲフィルタであるか否かが判断され（ステップＳ３１ｄ）、水平ＮＲフィルタＦＨｋがブロック境界で無い画素についてのみ適用される水平ＮＲフィルタである場合、返り値［０］を出力し（ステップＳ３１ｅ）、ステップＳ３２〜ステップＳ３４の処理が行われる。一方、水平ＮＲフィルタＦＨｋがブロック境界の画素について適用される水平ＮＲフィルタである場合、ステップＳ３１ｆ〜Ｓ３１ｌのフィルタ参照画素についての処理が行われる。 When the filter application pixel “x” is a pixel at the block boundary (step S31a), it is determined whether or not the horizontal NR filter FHk is a horizontal NR filter applied to a pixel that is not at the block boundary (step S31d). When the NR filter FHk is a horizontal NR filter that is applied only to pixels that are not block boundaries, the return value [0] is output (step S31e), and the processes of steps S32 to S34 are performed. On the other hand, when the horizontal NR filter FHk is a horizontal NR filter applied to pixels at the block boundary, the process for the filter reference pixels in steps S31f to S31l is performed.
条件判定部１０４は、画素「ｘ＋ｉ」（ｉ：−ＦＨｋｔａｐ／２≦ｉ＜ＦＨｋｔａｐ／２）と画素「ｘ＋ｉ＋１」との間にブロック境界が存在するか否かを判断する（ステップＳ３１ｆ）。
判断結果が否定的である場合、数式Ｆ３１（図６参照）で定義されるＤＩＦＦ（ｘ＋ｉ）が計算され、ＤＩＦＦ（ｘ＋ｉ）と、閾値ＴＨｋ（〈ｋ〉は、ステップＳ３０で対象としているフィルタ候補の番号）との比較が行われる（ステップＳ３１ｈ）。
The
If the determination result is negative, DIFF (x + i) defined by Formula F31 (see FIG. 6) is calculated, and DIFF (x + i) and the threshold value THk (<k>) are the filter candidates targeted in step S30. The number is compared with the number (step S31h).
判断結果が肯定的で有る場合、数式Ｆ３１で定義されるＤＩＦＦ（ｘ＋ｉ）が計算され、ＤＩＦＦ（ｘ＋ｉ）と、ブロック境界用の閾値ＴＨｂとの比較が行われる（ステップＳ３１ｉ）。さらに、比較結果を用いて、数式Ｆ３０で定義されるフィルタ適用条件が計算される（ステップＳ３１ｋ）。 If the determination result is affirmative, DIFF (x + i) defined by Formula F31 is calculated, and DIFF (x + i) is compared with the block boundary threshold value THb (step S31i). Further, the filter application condition defined by Formula F30 is calculated using the comparison result (step S31k).
返り値［０］が出力される場合（ステップＳ３１ｌ）、ステップＳ３２〜ステップＳ３４の処理が行われる。ステップＳ３２〜Ｓ３４では、次のフィルタ候補ＦＨｋ＋１が用意され（ステップＳ３２、Ｓ３３）、同様の処理が開始される（ステップＳ３０）。
返り値［１］が出力される場合（ステップＳ３１ｌ）、フィルタＦＨｋがフィルタ適用画素「ｘ」に適用され（ステップＳ３５）、次のフィルタ適用画素「ｘ＋１」についての処理が開始される。
When the return value [0] is output (step S31l), the processing from step S32 to step S34 is performed. In steps S32 to S34, the next filter candidate FHk + 1 is prepared (steps S32 and S33), and the same processing is started (step S30).
When the return value [1] is output (step S31l), the filter FHk is applied to the filter application pixel “x” (step S35), and the process for the next filter application pixel “x + 1” is started.
以上のフィルタリング方法は、水平ＮＲ処理部５３の変形例としての水平ＮＲ処理部のみでなく、図１に示す水平ＮＲ処理部１３、垂直ＮＲ処理部１４、図５に示す垂直ＮＲ処理部５４においても同様に適用可能である。また、コンピュータを用いてプログラムとして実現することも可能である。
The above filtering method is applied not only to the horizontal NR processing unit as a modification of the horizontal
〈第３実施形態の効果〉
（１）
第３実施形態として説明した水平ＮＲ処理部あるいは垂直ＮＲ処理部を備えるフィルタ装置では、例えば、ブロック境界の画素に対して、よりフィルタ強度の強いブロック境界用のＮＲフィルタを適用することが可能となる。これにより、より強いブロックノイズの低減を行うことが可能となる
（２）
ＴＨｂを通常の閾値ＴＨ１〜ＴＨ３などより大きい値とすることにより、ブロック境界の画素に対して、よりＮＲフィルタの適用が行われやすくすることが可能である。これにより、ブロックノイズの低減をさらに行うことが可能となる。
<Effect of the third embodiment>
(1)
In the filter device including the horizontal NR processing unit or the vertical NR processing unit described as the third embodiment, for example, it is possible to apply a block boundary NR filter having higher filter strength to pixels at the block boundary. Become. This makes it possible to reduce block noise more strongly (2)
By setting THb to a value larger than the normal threshold values TH1 to TH3, it is possible to more easily apply the NR filter to the pixels at the block boundary. Thereby, it is possible to further reduce the block noise.
（３）
また、非ブロック境界用のＮＲフィルタ（例えば、図１４の水平ＮＲフィルタＦＨ３など）を用い、より適切なＮＲフィルタを適用してＮＲ処理を行うことが可能となる。
（４）
図１５に示す条件判定部１０４では、ＮＲフィルタの適用を判断するため計算される画像特徴量は、図２５を用いて説明した従来のフィルタ処理を実現するための装置よりも簡易に計算できる。このため、ハードウェアコストの低減が可能となる。また、ソフトウェアにより同様の処理を行うプログラムにおいても、処理が簡易であり、処理負荷を低減することが可能となる。
(3)
In addition, it is possible to perform NR processing by using a more appropriate NR filter using a non-block boundary NR filter (for example, the horizontal NR filter FH3 in FIG. 14).
(4)
In the
〈第３実施形態の変形例〉
（１）
図１４を用いて説明した水平ＮＲフィルタにおいて、水平ＮＲフィルタＦＨ１は、フィルタ適用画素がブロック境界に隣接する場合にのみ適用されるとした。ここで、ブロック境界用の水平ＮＲフィルタは、フィルタ適用画素がブロック境界に隣接する場合に限らず、１画素を挟んでブロック境界に隣接する場合に適用されるものであってもよい。また、ブロック境界から何画素離れているかで、フィルタを切り換えてもよい。ブロック境界付近でフィルタ強度の強いフィルタを使用することにより、より高いブロックノイズの低減が可能となる。
<Modification of Third Embodiment>
(1)
In the horizontal NR filter described with reference to FIG. 14, the horizontal NR filter FH1 is applied only when the filter application pixel is adjacent to the block boundary. Here, the horizontal NR filter for the block boundary is not limited to the case where the filter application pixel is adjacent to the block boundary, and may be applied to the case where the pixel is adjacent to the block boundary across one pixel. The filter may be switched depending on how many pixels are away from the block boundary. By using a filter having a strong filter strength near the block boundary, a higher block noise can be reduced.
（２）
それぞれのフィルタ候補ＦＨ１〜ＦＨ３は、異なる値のブロック境界用の閾値ＴＨｂを用いてもよい。
［第４実施形態］
本発明の第４実施形態として、フィルタ装置、フィルタリング方法、およびフィルタリングプログラムの応用例と、それを用いたシステムとを図１７〜図２０を用いて説明する。
(2)
Each of the filter candidates FH1 to FH3 may use a threshold value THb for a block boundary having a different value.
[Fourth Embodiment]
As a fourth embodiment of the present invention, an application example of a filter device, a filtering method, and a filtering program, and a system using the same will be described with reference to FIGS.
図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
FIG. 17 is a block diagram showing an overall configuration of a content supply system ex100 that implements a content distribution service. A communication service providing area is divided into desired sizes, and base stations ex107 to ex110, which are fixed wireless stations, are installed in each cell.
The content supply system ex100 includes, for example, a computer ex111, a personal digital assistant (PDA) ex112, a camera ex113, a mobile phone ex114, a camera via the Internet ex101, the Internet service provider ex102, the telephone network ex104, and the base stations ex107 to ex110. Each device such as the attached mobile phone ex115 is connected.
しかし、コンテンツ供給システムｅｘ１００は図１９のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
However, the content supply system ex100 is not limited to the combination as shown in FIG. 19, and may be connected in combination. Also, each device may be directly connected to the telephone network ex104 without going through the base stations ex107 to ex110 which are fixed wireless stations.
The camera ex113 is a device capable of shooting a moving image such as a digital video camera. In addition, the mobile phone may be a PDC (Personal Digital Communications) system, a CDMA (Code Division Multiple Access) system, a W-CDMA (Wideband-Code Division Multiple Access) system, or a GSM (Global Mobile System). Alternatively, PHS (Personal Handyphone System) or the like may be used.
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってモードちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。 In addition, the streaming server ex103 is connected from the camera ex113 through the base station ex109 and the telephone network ex104, and live distribution or the like based on the encoded data transmitted by the user using the camera ex113 becomes possible. The encoded processing of the captured data may be performed by the camera ex113, or may be performed by a server or the like that performs data transmission processing. The moving image data shot by the camera ex116 may be transmitted to the streaming server ex103 via the computer ex111. The camera ex116 is a device such as a digital camera that can shoot still images and moving images. In this case, the encoding of the moving image data may be performed by the camera ex116 or the computer ex111, and the mode may be used. The encoding process is performed in the LSI ex117 included in the computer ex111 and the camera ex116. Note that image encoding / decoding software may be incorporated into any storage medium (CD-ROM, flexible disk, hard disk, or the like) that is a recording medium readable by the computer ex111 or the like. Furthermore, you may transmit moving image data with the mobile phone ex115 with a camera. The moving image data at this time is data encoded by the LSI included in the mobile phone ex115.
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。また、コンテンツの再生に際しては、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを用いてもよい。例えば、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等は、上記実施形態で示したフィルタ装置およびフィルタリングプログラムを備えていてもよい。 In the content supply system ex100, the content (for example, a video image of music live) captured by the user with the camera ex113, the camera ex116, and the like is encoded and transmitted to the streaming server ex103, while the streaming server ex103. Distributes the content data to the requested client. Examples of the client include a computer ex111, a PDA ex112, a camera ex113, and a mobile phone ex114 that can decode the encoded data. In this way, the content supply system ex100 can receive and play back the encoded data at the client, and can also receive a private broadcast by receiving, decoding, and playing back at the client in real time. It is a system that becomes possible. Further, when reproducing the content, the filter device, the filtering method, and the filtering program of the above embodiment may be used. For example, the computer ex111, the PDA ex112, the camera ex113, the mobile phone ex114, and the like may include the filter device and the filtering program described in the above embodiment.
一例として携帯電話について説明する。
図１８は、上記実施形態のメディアデータ表示装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
A mobile phone will be described as an example.
FIG. 18 is a diagram showing a mobile phone ex115 using the media data display device of the above embodiment. The mobile phone ex115 includes an antenna ex201 for transmitting and receiving radio waves to and from the base station ex110, a video from a CCD camera, a camera unit ex203 capable of taking a still image, a video shot by the camera unit ex203, and an antenna ex201. A display unit ex202 such as a liquid crystal display that displays data obtained by decoding received video and the like, a main body unit composed of a group of operation keys ex204, an audio output unit ex208 such as a speaker for audio output, and audio input To store encoded data or decoded data such as a voice input unit ex205 such as a microphone, captured video or still image data, received mail data, video data or still image data, etc. Recording media ex207 and mobile phone ex115 with recording media ex207 And a slot portion ex206 to ability. The recording medium ex207 stores a flash memory element which is a kind of EEPROM (Electrically Erasable and Programmable Read Only Memory) which is a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
さらに、携帯電話ｅｘ１１５について図１９を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２および操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６および音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。 Further, the cellular phone ex115 will be described with reference to FIG. The mobile phone ex115 controls the main control unit ex311 which controls the respective units of the main body unit including the display unit ex202 and the operation key ex204. The power supply circuit unit ex310, the operation input control unit ex304, and the image encoding Unit ex312, camera interface unit ex303, LCD (Liquid Crystal Display) control unit ex302, image decoding unit ex309, demultiplexing unit ex308, recording / playback unit ex307, modulation / demodulation circuit unit ex306, and audio processing unit ex305 via a synchronization bus ex313 Are connected to each other.
電源回路部ｅｘ３１０は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭおよびＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理およびアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
When the end of call and the power key are turned on by a user operation, the power supply circuit ex310 starts up the camera-equipped digital mobile phone ex115 in an operable state by supplying power from the battery pack to each unit. .
The cellular phone ex115 converts the voice signal collected by the voice input unit ex205 in the voice call mode into digital voice data by the voice processing unit ex305 based on the control of the main control unit ex311 including a CPU, a ROM, a RAM, and the like. The modulation / demodulation circuit unit ex306 performs spread spectrum processing, the transmission / reception circuit unit ex301 performs digital analog conversion processing and frequency conversion processing, and then transmits the result via the antenna ex201. In addition, the cellular phone ex115 amplifies the received signal received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-digital conversion processing, performs spectrum despreading processing by the modulation / demodulation circuit unit ex306, and analog audio by the voice processing unit ex305. After conversion into a signal, this is output via the audio output unit ex208.
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。 Further, when an e-mail is transmitted in the data communication mode, text data of the e-mail input by operating the operation key ex204 of the main body is sent to the main control unit ex311 via the operation input control unit ex304. The main control unit ex311 performs spread spectrum processing on the text data in the modulation / demodulation circuit unit ex306, performs digital analog conversion processing and frequency conversion processing in the transmission / reception circuit unit ex301, and then transmits the text data to the base station ex110 via the antenna ex201.
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３およびＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。 When transmitting image data in the data communication mode, the image data captured by the camera unit ex203 is supplied to the image encoding unit ex312 via the camera interface unit ex303. When image data is not transmitted, the image data captured by the camera unit ex203 can be directly displayed on the display unit ex202 via the camera interface unit ex303 and the LCD control unit ex302.
画像符号化部ｅｘ３１２は、カメラ部ｅｘ２０３から供給された画像データを圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。 The image encoding unit ex312 converts the image data supplied from the camera unit ex203 into encoded image data by compression encoding, and sends this to the demultiplexing unit ex308. At the same time, the cellular phone ex115 sends the sound collected by the voice input unit ex205 during imaging by the camera unit ex203 to the demultiplexing unit ex308 via the voice processing unit ex305 as digital voice data.
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理および周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。 The demultiplexing unit ex308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 by a predetermined method, and the resulting multiplexed data is a modulation / demodulation circuit unit Spread spectrum processing is performed in ex306, digital analog conversion processing and frequency conversion processing are performed in the transmission / reception circuit unit ex301, and then transmitted through the antenna ex201.
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。 When receiving data of a moving image file linked to a homepage or the like in the data communication mode, the received signal received from the base station ex110 via the antenna ex201 is subjected to spectrum despreading processing by the modulation / demodulation circuit unit ex306, and the resulting multiplexing is obtained. Data is sent to the demultiplexing unit ex308.
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。 In addition, in order to decode the multiplexed data received via the antenna ex201, the demultiplexing unit ex308 separates the multiplexed data to generate an encoded bit stream of image data and an encoded bit stream of audio data. The encoded image data is supplied to the image decoding unit ex309 via the synchronization bus ex313, and the audio data is supplied to the audio processing unit ex305.
次に、画像復号化部ｅｘ３０９は、画像データの符号化ビットストリームを復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。 Next, the image decoding unit ex309 generates reproduction moving image data by decoding the encoded bit stream of the image data, and supplies this to the display unit ex202 via the LCD control unit ex302. The moving image data included in the moving image file linked to the home page is displayed.
また、画像復号化部ｅｘ３０９は、上記実施形態のフィルタ装置としての機能を果たすものであっても良い。
このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
The image decoding unit ex309 may fulfill the function as the filter device of the above embodiment.
At the same time, the audio processing unit ex305 converts the audio data into an analog audio signal, and then supplies the analog audio signal to the audio output unit ex208. Thus, for example, the audio data included in the moving image file linked to the home page is reproduced. The
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２０に示すようにディジタル放送用システムにも上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。ここで、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置が上記実施形態のフィルタ装置を備えていてもよい。また、上記実施形態のフィルタリング方法を用いるものであってもよい。さらに、上記実施形態のフィルタリングプログラムを備えていてもよい。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に上記実施形態のフィルタ装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内にフィルタ装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で放送衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。 Note that the present invention is not limited to the above-described system, and recently, digital broadcasting using satellites and terrestrial waves has become a hot topic. As shown in FIG. 20, the digital broadcasting system also includes the filtering device, filtering method, and filtering of the above-described embodiment. A program can be incorporated. Specifically, in the broadcasting station ex409, a coded bit stream of video information is transmitted to a communication or broadcasting satellite ex410 via radio waves. Receiving this, the broadcasting satellite ex410 transmits a radio wave for broadcasting, and receives the radio wave with a home antenna ex406 having a satellite broadcasting receiving facility, such as a television (receiver) ex401 or a set top box (STB) ex407. The device decodes the encoded bitstream and reproduces it. Here, a device such as the television (receiver) ex401 or the set top box (STB) ex407 may include the filter device of the above embodiment. Moreover, you may use the filtering method of the said embodiment. Furthermore, you may provide the filtering program of the said embodiment. In addition, the filter device, the filtering method, and the filtering program of the above-described embodiment may be mounted on the playback device ex403 that reads and decodes the encoded bitstream recorded on the storage medium ex402 such as a CD or DVD that is a recording medium. Is possible. In this case, the reproduced video signal is displayed on the monitor ex404. In addition, a configuration in which the filter device of the above-described embodiment is mounted in a set-top box ex407 connected to a cable ex405 for cable television or an antenna ex406 for satellite / terrestrial broadcasting, and this is reproduced on the monitor ex408 of the television is also conceivable. . At this time, a filter device may be incorporated in the television instead of the set top box. It is also possible to receive a signal from the broadcasting satellite ex410 or the base station ex107 by the car ex412 having the antenna ex411 and reproduce a moving image on a display device such as the car navigation ex413 that the car ex412 has.
さらに、画像信号を符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。さらにＳＤカードｅｘ４２２に記録することもできる。また、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を上記実施形態のフィルタ装置を介して再生し、モニタｅｘ４０８に表示することができる。 Furthermore, an image signal can be encoded and recorded on a recording medium. Specific examples include a recorder ex420 such as a DVD recorder that records image signals on a DVD disk ex421 and a disk recorder that records images on a hard disk. Further, it can be recorded on the SD card ex422. Further, the image signal recorded on the DVD disc ex421 or the SD card ex422 can be reproduced via the filter device of the above embodiment and displayed on the monitor ex408.
なお、カーナビゲーションｅｘ４１３の構成は例えば図１９に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。 For example, the configuration of the car navigation ex413 may be a configuration excluding the camera unit ex203, the camera interface unit ex303, and the image encoding unit ex312 in the configuration illustrated in FIG. 19, and the same applies to the computer ex111 and the television (receiver). ) Ex401 can also be considered.
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施形態のフィルタ装置、フィルタリング方法、およびフィルタリングプログラムを上述したいずれの機器・システムに用いることは可能であり、上記実施形態で説明した効果を得ることができる。
In addition to the transmission / reception type terminal having both the encoder and the decoder, the terminal such as the mobile phone ex114 has three mounting formats, that is, a transmitting terminal having only an encoder and a receiving terminal having only a decoder. Can be considered.
As described above, the filter device, the filtering method, and the filtering program of the above-described embodiment can be used for any of the above-described devices and systems, and the effects described in the above-described embodiments can be obtained.
なお、ブロック図の各機能ブロック（図１，２，５，１９）や、ハードウェア構成（図８，９，１１，１２，１５，）は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えば、メモリ以外の機能ブロックが１チップ化されていても良い。 Each functional block (FIGS. 1, 2, 5, and 19) in the block diagram and hardware configuration (FIGS. 8, 9, 11, 12, and 15) are typically realized as an LSI that is an integrated circuit. . These may be individually made into one chip, or may be made into one chip so as to include a part or all of them. For example, the functional blocks other than the memory may be integrated into one chip.
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
The name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
Further, the method of circuit integration is not limited to LSI, and implementation with a dedicated circuit or a general-purpose processor is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。 Further, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied.
本発明にかかるフィルタ装置は、ハードウェアコストをより削減することが求められるフィルタ装置、特にノイズリダクション（ＮＲ）フィルタを用いたフィルタ装置などとして有用である。また、本発明のフィルタリング方法、およびフィルタリングプログラムは、ハードウェアコストをより削減する、あるいはソフトウェアによる処理負荷をより削減することが求められるＮＲフィルタを用いたフィルタリング方法、およびフィルタリングプログラムなどとして有用である。 The filter device according to the present invention is useful as a filter device that is required to further reduce the hardware cost, particularly as a filter device using a noise reduction (NR) filter. The filtering method and filtering program of the present invention are useful as a filtering method and a filtering program using an NR filter that are required to further reduce hardware costs or to reduce processing load by software. .
１０ フィルタ装置
１１ ポストフィルタ部
１２ 垂直解像度変換部
１３ 水平ＮＲ処理部
１４ 垂直ＮＲ処理部
１５ 条件判定部
１６ 水平ＮＲ処理実行部
１７ 条件判定部
１８ 垂直ＮＲ処理実行部
２０ 垂直ＮＲ処理判定部
２５ 復号画像信号
２６ 水平ＮＲ処理信号
２７ ＮＲ処理信号
２８ 表示画像信号
３２ 解像度変換フィルタ選択信号
３３ 判定結果
４１〜４４ 垂直ＮＲフィルタ部
DESCRIPTION OF
Claims (8)
それぞれ異なる変換比率を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換手段と、
前記複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせるか否かを判定するＮＲ処理判定手段と、
を備え、
前記ＮＲ処理判定手段は、前記解像度変換フィルタ選択信号が、複雑な変換比率の解像度変換フィルタを選択するものである場合に、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせないと判定する、
フィルタ装置。 NR processing means for outputting an output image signal to the input image signal,
Resolution conversion means having a plurality of resolution conversion filters each having a different conversion ratio, and performing resolution conversion with reference to the output image signal;
Based on the resolution conversion filter selection signal for selecting one of said plurality of resolution conversion filter, and NR processing determining means for determining whether or not to perform the NR processing of the input image signal to the NR processing means,
Equipped with a,
The NR processing determination unit determines that the NR processing unit does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a complex conversion ratio. To
Filter device.
異なるフィルタタップ数を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換手段と、 Resolution conversion means having a plurality of resolution conversion filters having different numbers of filter taps, and performing resolution conversion with reference to the output image signal;
前記複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせるか否かを判定するＮＲ処理判定手段と、 NR processing determination means for determining whether to cause the NR processing means to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one from the plurality of resolution conversion filters;
を備え、With
前記ＮＲ処理判定手段は、前記解像度変換フィルタ選択信号が、フィルタタップ数の多い解像度変換フィルタを選択するものである場合に、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせないと判定する、 The NR processing determination unit determines that the NR processing unit does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a large number of filter taps. To
フィルタ装置。 Filter device.
請求項１または２に記載のフィルタ装置。 The NR processing means performs the NR processing using the same number of pixels of the input image signal as the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
The filter device according to claim 1 or 2 .
請求項１から３のいずれか１項に記載のフィルタ装置。 The NR processing means has a number of NR filter means smaller than the maximum number of pixels of the output image signal referred to by the plurality of resolution conversion filters.
Filter apparatus according to any one of claims 1 to 3.
前記解像度変換手段は、前記出力画像信号の垂直方向の解像度変換を行う、
請求項１から４のいずれか１項に記載のフィルタ装置。 The NR processing means performs vertical NR processing of the input image signal,
The resolution conversion means performs resolution conversion in the vertical direction of the output image signal.
Filter apparatus according to any one of claims 1 to 4.
それぞれ異なる変換比率を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換ステップと、 A resolution conversion step having a plurality of resolution conversion filters each having a different conversion ratio, and performing resolution conversion with reference to the output image signal;
前記複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、前記ＮＲ処理ステップに前記入力画像信号のＮＲ処理を行わせるか否かを判定するＮＲ処理判定ステップと、 An NR processing determination step for determining whether or not to cause the NR processing step to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one of the plurality of resolution conversion filters;
を有し、Have
前記ＮＲ処理判定ステップは、前記解像度変換フィルタ選択信号が、複雑な変換比率の解像度変換フィルタを選択するものである場合に、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせないと判定する、 The NR processing determination step determines that the NR processing means does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a complex conversion ratio. To
フィルタ方法。 Filter method.
異なるフィルタタップ数を有する、複数の解像度変換フィルタを有し、前記出力画像信号を参照して解像度変換を行う解像度変換ステップと、 A resolution conversion step having a plurality of resolution conversion filters having different numbers of filter taps, and performing resolution conversion with reference to the output image signal;
前記複数の解像度変換フィルタから１つを選択させるための解像度変換フィルタ選択信号に基づいて、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせるか否かを判定するＮＲ処理判定ステップと、 An NR processing determination step for determining whether to cause the NR processing means to perform NR processing of the input image signal based on a resolution conversion filter selection signal for selecting one of the plurality of resolution conversion filters;
を有し、Have
前記ＮＲ処理判定ステップは、前記解像度変換フィルタ選択信号が、フィルタタップ数の多い解像度変換フィルタを選択するものである場合に、前記ＮＲ処理手段に前記入力画像信号のＮＲ処理を行わせないと判定する、 The NR processing determination step determines that the NR processing means does not perform NR processing of the input image signal when the resolution conversion filter selection signal selects a resolution conversion filter having a large number of filter taps. To
フィルタ方法。 Filter method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004243487A JP4558409B2 (en) | 2003-08-27 | 2004-08-24 | Filter device, filtering method, and filtering program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003302554 | 2003-08-27 | ||
| JP2004243487A JP4558409B2 (en) | 2003-08-27 | 2004-08-24 | Filter device, filtering method, and filtering program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010117459A Division JP5116803B2 (en) | 2003-08-27 | 2010-05-21 | Filter device, filtering method, and filtering program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005102179A JP2005102179A (en) | 2005-04-14 |
| JP4558409B2 true JP4558409B2 (en) | 2010-10-06 |
Family
ID=34467201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004243487A Expired - Fee Related JP4558409B2 (en) | 2003-08-27 | 2004-08-24 | Filter device, filtering method, and filtering program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4558409B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE48845E1 (en) | 2002-04-01 | 2021-12-07 | Broadcom Corporation | Video decoding system supporting multiple standards |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7636493B2 (en) * | 2003-08-27 | 2009-12-22 | Panasonic Corporation | Filter device, filtering method and filtering program product |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63102467A (en) * | 1986-10-17 | 1988-05-07 | Canon Inc | Converting device for resolution of picture data |
| JPH0738762A (en) * | 1993-07-26 | 1995-02-07 | Japan Radio Co Ltd | Control system for post-processing filter for video codec |
| JPH08317389A (en) * | 1995-05-15 | 1996-11-29 | Matsushita Electric Ind Co Ltd | Block distortion remover |
| JPH09186993A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Filter device and decoder using it |
| JPH10191335A (en) * | 1996-12-27 | 1998-07-21 | Sony Corp | Block distortion reducing method and device |
| WO2002023915A1 (en) * | 2000-09-12 | 2002-03-21 | Matsushita Electric Industrial Co., Ltd. | Noise reducing method, noise reducing device, medium, and program |
| JP2003087640A (en) * | 2001-09-10 | 2003-03-20 | Canon Inc | Imaging apparatus, signal processor, and control method |
-
2004
- 2004-08-24 JP JP2004243487A patent/JP4558409B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63102467A (en) * | 1986-10-17 | 1988-05-07 | Canon Inc | Converting device for resolution of picture data |
| JPH0738762A (en) * | 1993-07-26 | 1995-02-07 | Japan Radio Co Ltd | Control system for post-processing filter for video codec |
| JPH08317389A (en) * | 1995-05-15 | 1996-11-29 | Matsushita Electric Ind Co Ltd | Block distortion remover |
| JPH09186993A (en) * | 1995-12-28 | 1997-07-15 | Canon Inc | Filter device and decoder using it |
| JPH10191335A (en) * | 1996-12-27 | 1998-07-21 | Sony Corp | Block distortion reducing method and device |
| WO2002023915A1 (en) * | 2000-09-12 | 2002-03-21 | Matsushita Electric Industrial Co., Ltd. | Noise reducing method, noise reducing device, medium, and program |
| JP2003087640A (en) * | 2001-09-10 | 2003-03-20 | Canon Inc | Imaging apparatus, signal processor, and control method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE48845E1 (en) | 2002-04-01 | 2021-12-07 | Broadcom Corporation | Video decoding system supporting multiple standards |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005102179A (en) | 2005-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100358366C (en) | Filtering intensity decision method, moving picture encoding method, and moving picture decoding method | |
| CN101438575B (en) | Visual processing apparatus, visual processing method, and display device | |
| JP4657375B2 (en) | Encoding distortion removal method | |
| JP4439890B2 (en) | Image decoding method, apparatus and program | |
| CN100380979C (en) | Variable length encoding method and variable length decoding method | |
| EP1788817A1 (en) | Decoder, encoder, decoding method and encoding method | |
| EP1422928A2 (en) | Motion compensated interpolation of digital video signals | |
| KR101027825B1 (en) | Visual processing device, visual processing method, visual processing program, and semiconductor device | |
| EP1662802A1 (en) | Moving picture encoding method and moving picture decoding method | |
| JP5116803B2 (en) | Filter device, filtering method, and filtering program | |
| JPWO2006013854A1 (en) | Image decoding apparatus and image encoding apparatus | |
| EP1816870A1 (en) | Video encoding method, and video decoding method | |
| JP2006074777A (en) | Moving picture coding method and decoding method | |
| EP1534016A2 (en) | Using motion vectors and the occurrence of coefficient quantization levels to drive a noise removal image postprocessing | |
| JP4313710B2 (en) | Image encoding method and image decoding method | |
| JP4558409B2 (en) | Filter device, filtering method, and filtering program | |
| JP2007316630A (en) | Visual processing apparatus, visual processing method, program, recording medium, display apparatus, and integrated circuit | |
| CN101453544B (en) | Gray-scale transformation processing apparatus | |
| CN114175659A (en) | Apparatus and method for bit width control of bi-directional optical flow | |
| JP2007143178A (en) | Method for removing coding distortion | |
| JPWO2006003873A1 (en) | Image encoding method and image decoding method | |
| JP2006236317A (en) | Image processing method | |
| JP2005176337A (en) | Method, device and program for processing image signal, and integrated circuit device | |
| JP2005159947A (en) | Prediction image generation method, image encoding method and image decoding method | |
| JP2008125106A (en) | Visual processing apparatus, visual processing method, program, recording medium, display, and integrated circuit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070615 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100521 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100521 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100721 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |