JP2015080024A - Moving picture decoder, program, and method - Google Patents
Moving picture decoder, program, and method Download PDFInfo
- Publication number
- JP2015080024A JP2015080024A JP2013214699A JP2013214699A JP2015080024A JP 2015080024 A JP2015080024 A JP 2015080024A JP 2013214699 A JP2013214699 A JP 2013214699A JP 2013214699 A JP2013214699 A JP 2013214699A JP 2015080024 A JP2015080024 A JP 2015080024A
- Authority
- JP
- Japan
- Prior art keywords
- image
- boundary strength
- decoded image
- saliency
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、動画像復号装置、プログラム及び方法に関し、例えば、画像を複数のブロックに分割して符号化処理した動画像の符号化データを復号することに適用することができる。 The present invention relates to a moving image decoding apparatus, program, and method, and can be applied to, for example, decoding encoded data of a moving image that has been encoded by dividing an image into a plurality of blocks.
近年、インターネットの普及に伴い動画をストリーミング配信する需要が高まっている。また、現在、動画像のストリームにおいて動画像の圧縮符号化により復号画像の限られた帯域における主観劣化が課題となっている。 In recent years, with the spread of the Internet, there is an increasing demand for streaming video distribution. At present, subjectivity degradation in a limited band of a decoded image due to compression encoding of the moving image in a moving image stream is a problem.
例えば、H.264 AVC(Advanced Video Coding)(非特許文献1、2参照)では、主にブロック境界に発生する不自然な色変化であるブロックノイズを軽減するために、符号化時と復号時にデブロッキングフィルタを適用することができる。
For example, H.M. In H.264 AVC (Advanced Video Coding) (see Non-Patent
ところで、H.264では、デブロッキングフィルタの強さを決定する境界強度Bsが、境界を含むマクロブロックの予測情報や、量子化パラメータをフィルタ情報の一部として符号化データに含まれており、復号処理に用いられる。 H. In H.264, the boundary strength Bs that determines the strength of the deblocking filter is included in the encoded data as a part of the prediction information of the macroblock including the boundary and the quantization parameter as filter information, and is used for decoding processing. It is done.
しかしながら、H.264では、境界強度の決定には実際の画素値を使用しないためこの境界が実際に量子化誤差によるブロックノイズを有しているかを判定する精度が低く、ブロックノイズが弱いブロック境界に強いフィルタを適用してノイズでない成分を消してしまったり、逆にブロックノイズが強いブロック境界に弱いフィルタしか適用せずノイズが目立つままにしてしまう場合があった。 However, H.C. In H.264, an actual pixel value is not used to determine the boundary strength, so that the accuracy of determining whether the boundary actually has block noise due to quantization error is low, and a strong filter is applied to the block boundary where the block noise is weak. In some cases, non-noise components are removed by application, or conversely, only weak filters are applied to block boundaries where block noise is strong, leaving the noise conspicuous.
そのため、動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減することができる動画像復号装置、プログラム及び方法が望まれている。 Therefore, a moving image decoding apparatus, program, and method that can reduce degradation of decoding quality due to block noise when decoding encoded data obtained by encoding each image of a moving image into a plurality of blocks is desired. It is rare.
第1の本発明の動画像復号装置は、(1)動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、(2)各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、(3)上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、(4)上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、(5)上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段とを有することを特徴とする。
The moving image decoding apparatus according to the first aspect of the present invention is (1) decoding encoded data obtained by dividing and encoding each image constituting a moving image into blocks, and regarding each image constituting the moving image. Decoding means for obtaining a first decoded image; and (2) a saliency that calculates a saliency value indicating a degree of saliency for each area of the first decoded image based on the first decoded image of each image. Sex calculating means;
Boundary strength acquisition means for acquiring a boundary strength indicating the strength of a filter that removes block noise for each region of the first decoded image; and (3) at least the saliency calculation for each region of the first decoded image. A boundary strength correction unit that corrects the boundary strength acquired by the boundary strength acquisition unit using the saliency value calculated by the unit, and (4) a boundary strength after correction corrected by the boundary strength correction unit, Block noise removing means for performing a process of removing block noise from the first decoded image and generating a second decoded image; and (5) outputting the second decoded image as a decoding result of the moving image decoding apparatus. Output means.
第2の本発明の動画像復号プログラムは、コンピュータを、(1)動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、(2)各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、(3)上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、(4)上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、(5)上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、(6)上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段として機能させることを特徴とする。 The moving picture decoding program according to the second aspect of the present invention comprises: (1) decoding encoded data obtained by dividing and encoding each image constituting a moving picture into block units to form the moving picture. Decoding means for obtaining a first decoded image for each image; and (2) a saliency value indicating a degree of saliency for each region of the first decoded image based on the first decoded image of each image. Saliency calculation means for calculating; (3) boundary strength acquisition means for acquiring boundary strength indicating the strength of a filter that removes block noise for each region of the first decoded image; and (4) the first decoding. Boundary strength correcting means for correcting the boundary strength acquired by the boundary strength acquiring means using at least the saliency value calculated by the saliency calculating means for each region of the image; and (5) correction by the boundary strength correcting means. After correction Block noise removing means for performing a process of removing block noise from the first decoded image by using field strength and generating a second decoded image; and (6) decoding the second decoded image with the moving image decoding It is made to function as an output means which outputs as a decoding result of an apparatus.
第3の本発明は、動画像復号装置が行う動画像復号方法において、(1)動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号工程と、(2)各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出工程と、(3)上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得工程と、(4)上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出工程で算出された顕著性値を用いて上記境界強度取得工程で取得された境界強度を補正する境界強度補正工程と、(5)上記境界強度補正工程で補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去工程と、(6)上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力工程とを有することを特徴とする。 According to a third aspect of the present invention, in the moving image decoding method performed by the moving image decoding apparatus, (1) the encoded data obtained by dividing and encoding each image constituting the moving image into blocks is decoded A decoding step of obtaining a first decoded image for each image constituting the image; and (2) a degree of saliency for each region of the first decoded image based on the first decoded image of each image. A saliency calculation step of calculating a saliency value; (3) a boundary strength acquisition step of acquiring a boundary strength indicating the strength of a filter for removing block noise for each region of the first decoded image; and (4) the above A boundary strength correction step of correcting the boundary strength acquired in the boundary strength acquisition step using at least the saliency value calculated in the saliency calculation step for each region of the first decoded image; and (5) the above Compensation corrected in the boundary strength correction process A block noise removing step of performing a process of removing block noise from the first decoded image using a later boundary strength and generating a second decoded image; and (6) the second decoded image is converted into the moving image. And an output step of outputting as a decoding result of the image decoding device.
本発明によれば、動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減することができる。 According to the present invention, it is possible to reduce deterioration in decoding quality due to block noise when decoding encoded data obtained by dividing each image of a moving image into a plurality of blocks and performing encoding processing.
(A)主たる実施形態
以下、本発明による動画像復号装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
(A) Main Embodiment Hereinafter, an embodiment of a moving picture decoding apparatus, a program, and a method according to the present invention will be described in detail with reference to the drawings.
(A−1)実施形態の構成
図1は、この実施形態の動画像復号装置1の機能的構成について示したブロック図である。
(A-1) Configuration of Embodiment FIG. 1 is a block diagram showing a functional configuration of a
動画像復号装置1は、動画像が符号化されストリーム化されたストリームデータSDを復号して、復号動画像DGを得るものである。ここでは、動画像復号装置1は、復号動画像DGの映像信号を表示部2に入力する構成となっているものとする。ここでは、表示部2は、例えば、LCDディスプレイ(液晶ディスプレイ)等のディスプレイで構成されており、動画像復号装置1から供給された復号動画像DGの映像信号に基づく映像(動画像)を表示出力する構成となっているものとする。
The moving
なお、動画像復号装置1において、ストリームデータSDが入力される方式は限定されないものである。例えば、動画像復号装置1に、図示しない動画像符号化装置からネットワーク経由でリアルタイムにストリームデータSDが入力されるようにしても良いし、図示しないデータ記録媒体(例えば、HDDやDVD等)を用いて、動画像復号装置1に、ストリームデータSDを入力するようにしてもよい。
In the moving
また、動画像復号装置1から動画像の復号結果を出力する形式(信号形式、データ形式)については限定されないものである。例えば、動画像復号装置1は、復号動画像DGに基づいた動画像データをデータ記録媒体に記録したり、通信により他の装置に送信するようにしてもよい。
Further, the format (signal format, data format) for outputting the video decoding result from the
次に、動画像復号装置1内部の構成について説明する。
Next, the internal configuration of the
動画像復号装置1は、ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、参照画像蓄積部15、及びポストフィルタ部16を有している。また、ポストフィルタ部16は、顕著性算出部161、及び補正フィルタ部162を有している。
The moving
なお、動画像復号装置1は、CPUやメモリ等を備えるコンピュータ(プログラムの実施構成)に、図1に示す各構成要素に対応する処理プログラム(実施形態の動画像復号プログラム)を含むプログラムを実行させることにより実現するようにしてもよい。また、動画像復号装置1は、一部又は全部をソフトウェアで実現するようにしてもよい。
Note that the moving
なお、図1において、ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、参照画像蓄積部15の構成については、非特許文献1、2のデコードの構成を適用することができる。
In FIG. 1, the configurations of the
ストリーム入力部11は、入力されたストリームデータSDから予測情報を取り出し予測画像生成部12へ送信する。
The
ストリーム入力部11は入力されたストリームデータSDから係数情報を取り出し残差算出部13へ送信する。
The
ストリーム入力部11は入力されたストリームデータSDからフィルタ情報を取り出しデブロッキングフィルタ部14へ送信する。
The
予測画像生成部12は予測情報と、存在する場合は参照画像として蓄積されたフィルタ処理済みの画像(以下、「ローカルデコード画像LG2」と呼ぶ)も用いて、予測画像を生成し残差算出部13へ送信する。
The predicted
残差算出部13は係数情報から残差を算出し予測画像に加算してフィルタ処理前のローカルデコード画像(以下、「ローカルデコード画像LG1」と呼ぶ)を生成しデブロッキングフィルタ部14及びポストフィルタ部16へ供給する。
The
デブロッキングフィルタ部14はフィルタ情報からローカルデコード画像LG1にフィルタ処理を施し、フィルタ処理済みのローカルデコード画像LG2を、参照画像蓄積部15に供給する。
The
参照画像蓄積部15はフィルタ処理済みの画像を蓄積し予測画像生成部12へ送信する。
The reference
ポストフィルタ部16は、ローカルデコード画像LG1について、後述する顕著性マップを利用して、デブロッキングフィルタで用いる境界強度(ストリームデータSDに含まれるシンタックス要素を構成する境界強度)を補正する。そして、ポストフィルタ部16は、補正後の境界強度を用いて、ローカルデコード画像LG1をデブロッキングフィルタ処理して、画像(以下、「ローカルデコード画像LG3」と呼ぶ)を取得する処理を行う。
The
ここで、顕著性マップについて説明する。 Here, the saliency map will be described.
顕著性マップとは、任意の画像の領域ごとに、人間が無意識のうちに注目する(注意を引く)度合いの分布を示したものである。すなわち、人間が無意識に視覚的に注目する(注意を引く)度合いが高い場合、顕著性の度合いが高いと言える。なお、顕著性マップに関する参考文献としては、参考文献1(L. Itti, C. Koch, and E. Niebur、”A Model of Saliency−based Visual Attention for Rapid Scene Analysis,”,IEEE Trans. On PAMI, vol. 20, No.11, pp.1254−1259, Nov.,1998)、参考文献2(特開2007−12047号公報)、参考文献3(特開2011−39778号公報)、参考文献4(「画像処理(3) 顕著性マップ」、[Online]、INTERNET、[2013年10月10日検索],<URL: http://fussy.web.fc2.com/algo/algo12-3.htm>)等がある。 The saliency map indicates a distribution of the degree of attention (attention) of a human unconsciously for each region of an arbitrary image. In other words, when the degree of human visual attention (attracting attention) is high, the degree of saliency is high. In addition, as a reference about the saliency map, Reference 1 (L. Itti, C. Koch, and E. Niebur, “A Model of Salientity-based Visual Attention for Rapid Scene Analysis,” IEE O. Tr. vol. 20, No. 11, pp. 1254-1259, Nov., 1998), Reference 2 (JP 2007-12047 A), Reference 3 (JP 2011-39778 A), Reference 4 ( “Image processing (3) Saliency map”, [Online], INTERNET, [October 10, 2013 search], <URL: http://fussy.web.fc2.com/algo/algo12-3.htm> ) Etc.
現在、画像処理分野において、顕著性マップ等のボトムアップ型注意を、客観指標値として算出する方法が研究されている。ボトムアップ型注意で得られる顕著性マップ(指標値)は、例えば、ロボットが物体への接近を瞬時に検出する技術(上述の参考文献2参照)や、視覚コンテンツの評価技術(上述の参考文献3参照)に利用されている。ここで、ボトムアップ型注意とは、人や動物が瞬間的に注目領域を特定する反応をいう。画像中の点や領域に対して、人間が瞬間的に注目する度合い、すなわち顕著性の高さを数値化した顕著性値を算出する方法として、上述の参考文献1に記載の顕著性モデルが存在する。参考文献1には、目の網膜にある網膜神経節細胞の中に、受容野(Receptive Field)と呼ばれる領域があり、この受容野に光による刺激を受けると、その情報が脳に伝達される旨記載されている。また、参考文献1の記載によれば、受容野は、中央にある円形の部分(center)とその周辺領域(surround)との2つで構成されており、受容野に置ける仕組みを応用し、Centerとsurroundとの刺激により信号が強くなる箇所(注意を引く場所)を数値化するようなモデルを構築して顕著性マップとしている。
Currently, in the field of image processing, a method for calculating a bottom-up type attention such as a saliency map as an objective index value is being studied. The saliency map (index value) obtained by bottom-up attention is, for example, a technique in which a robot instantaneously detects an approach to an object (see the above-mentioned reference 2) or a visual content evaluation technique (the above-mentioned reference). 3). Here, bottom-up attention refers to a reaction in which a person or animal instantaneously specifies a region of interest. As a method for calculating a saliency value obtained by quantifying the degree to which a human instantaneously pays attention to a point or region in an image, that is, the level of saliency, the saliency model described in
以上のように、顕著性マップは人間の視覚をよくモデル化するためブロックノイズの検知に期待ができる。そこで、この実施形態のポストフィルタ部16は、ローカルデコード画像LG1について、顕著性マップを利用して、デブロッキングフィルタで用いる境界強度を補正するものとする。また、ポストフィルタ部16は、ローカルデコード画像LG3に基づく映像信号又は画像データを表示部2に供給する。
As described above, since the saliency map models human vision well, it can be expected to detect block noise. Therefore, the
顕著性算出部161はフィルタ処理前のローカルデコード画像LG1の各領域について顕著性値を算出して、ローカルデコード画像LG1に係る顕著性マップ(以下、「顕著性マップMs」と呼ぶ)を生成する。
The
そして、顕著性算出部161は、ローカルデコード画像LG1及び顕著性マップMsを、補正フィルタ部162に供給する。
Then, the
ここでは、顕著性算出部161は、ローカルデコード画像LG1の画素(ピクセル、ドット)単位で顕著性の度合いを示す値(以下、「顕著性値Vs」と呼ぶ)を算出し、画素ごとの顕著性値Vsをまとめて顕著性マップMsとして生成するものとする。
Here, the
顕著性算出部161は、例えば、上述の参考文献1の記載技術を用いることにより、ローカルデコード画像LG1の顕著性マップMsを取得することができる。
The
補正フィルタ部162は、供給されたローカルデコード画像LG1の各画素に係る境界強度Bsについて少なくとも顕著性値Vsを用いて補正する。そして、補正フィルタ部162は、補正後の境界強度Bsを用いて、ローカルデコード画像LG1に対して、デブロッキングフィルタ処理(ブロックノイズを除去する処理)を施し、ローカルデコード画像LG3を生成し、復号動画像DGとして出力(表示部2に供給)する処理を行う。
The
H.264に従って符号化されたストリームデータSDには、シンタックス要素を構成するフィルタ情報に、各画像を構成するマクロブロック(符号化側で符号化の際に適用されたブロックサイズのブロック)ごとの量子化パラメータと境界強度のデータが含まれている。そして、補正フィルタ部162は、ストリームデータSDのフィルタ情報から、ローカルデコード画像LG1を構成するマクロブロックごとの量子化パラメータの値、及び境界強度の値を取得して、ローカルデコード画像LG1の各マクロブロックに対応する量子化パラメータの値(以下、「量子化パラメータQP」と呼ぶ)及び補正前の境界強度の値(以下、「境界強度Bs1」と呼ぶ)を取得することができる。
H. In the stream data SD encoded according to H.264, the quantum information for each macroblock (block size block applied at the time of encoding on the encoding side) included in each image is added to the filter information forming the syntax element. Data for boundary parameters and boundary strength are included. Then, the
以下では、ローカルデコード画像LG1の各マクロブロックに係る量子化パラメータQPを1画像分(1フレーム分)まとめたマップを「量子化パラメータマップMQP」と呼ぶ。また、ローカルデコード画像LG1の各画素に係る補正前の境界強度Bs1を1画像分(1フレーム分)まとめたマップを「境界強度マップMBs1」と呼ぶものとする。量子化パラメータマップMQPでは、各マクロブロック内では量子化パラメータQPは同じ値となる。また、境界強度マップMBs1についても同様に各マクロブロック内では、境界強度Bs1の値は同じとなる。 Hereinafter, a map in which the quantization parameters QP related to each macroblock of the local decoded image LG1 are collected for one image (one frame) is referred to as a “quantization parameter map MQP”. Further, a map in which the boundary strength Bs1 before correction relating to each pixel of the local decoded image LG1 is collected for one image (one frame) is referred to as a “boundary strength map MBs1”. In the quantization parameter map MQP, the quantization parameter QP has the same value in each macroblock. Similarly, the boundary strength map MBs1 has the same boundary strength Bs1 within each macroblock.
補正フィルタ部162は、境界強度マップMBs1を構成する各境界強度Bs1について、顕著性マップMS及び量子化パラメータマップMQPを用いて補正する。以下では、この補正後の各画素に対応する境界強度を「境界強度Bs2」と呼ぶものとする。また、画素ごとの補正後の境界強度Bs2を1画像分(1フレーム分)まとめたマップを「境界強度マップMBs2」と呼ぶものとする。補正フィルタ部162による境界強度マップMBs1の補正処理の詳細については後述する。
The
そして、補正フィルタ部162は、補正後の境界強度マップMBs2を用いて、ローカルデコード画像LG1にデブロッキングフィルタ処理を施して、ローカルデコード画像LG3を生成する。このとき、補正フィルタ部162が行うデブロッキングフィルタ処理は、適用する境界強度が境界強度マップMBs2となるだけで、その他の処理はデブロッキングフィルタ部14(すなわち、H.264に従って種々のデブロッキングフィルタ処理)と同様の処理を適用することができる。
Then, the
次に、補正フィルタ部162が行う境界強度マップMBs1の補正処理の具体例について説明する。
Next, a specific example of the correction process of the boundary strength map MBs1 performed by the
なお、ここでは、ストリームデータSDに係るマクロブロックのサイズは16画素×16画素であるものとする。そして、補正フィルタ部162は、4画素×4画素のブロック単位で、境界強度マップMBs1の各境界強度を補正するものとする。以下では、補正フィルタ部162が境界強度マップMBs1を補正する際のブロックサイズ(ここでは4画素×4画素)のブロックを「補正ブロック」と呼ぶものとする。したがって、ここでは、1つのマクロブロック内に4つの16個の補正ブロックが存在することになる。
Here, it is assumed that the size of the macroblock related to the stream data SD is 16 pixels × 16 pixels. And the
(A−2)実施形態の動作
次に、以上のような構成を有するこの実施形態の動画像復号装置1の動作(実施形態の動画像復号方法)を説明する。
(A-2) Operation of Embodiment Next, the operation (moving image decoding method of the embodiment) of the moving
まず、図1を用いて、動画像復号装置1の全体の動作を説明した後に、ポストフィルタ部16の詳細動作について説明する。ここでは、動画像復号装置1を構成するポストフィルタ部16以外の構成要素(ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、及び参照画像蓄積部15)の動作を説明した後、ポストフィルタ部16の動作について説明する。なお、ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、及び参照画像蓄積部15の動作は、H.264に従って符号化されたストリームデータSDを復号する種々の処理を適用することができるため、詳細な説明については省略して説明する。
First, the overall operation of the moving
ストリーム入力部11は入力されたストリームデータSDから予測情報を取り出し予測画像生成部12へ供給する。
The
ストリーム入力部11は入力されたストリームから係数情報を取り出し残差算出部13へ供給する。
The
ストリーム入力部11は入力されたストリームからフィルタ情報を取り出して、デブロッキングフィルタ部14およびポストフィルタ部16(補正フィルタ部162)へ供給する。
The
予測画像生成部12は予測情報と、存在する場合は参照画像として蓄積されたフィルタ処理済みのローカルデコード画像LG2も用いて、予測画像を生成し残差算出部13へ供給する。
The predicted
残差算出部13は係数情報から残差を算出し予測画像に加算してフィルタ処理前のローカルデコード画像LG1を生成しデブロッキングフィルタ部14、及びポストフィルタ部16(顕著性算出部161)へ供給する。
The
デブロッキングフィルタ部14はフィルタ情報からフィルタ処理前のローカルデコード画像LG1にフィルタ処理を実施しフィルタ処理済みのローカルデコード画像LG2として参照画像蓄積部15へ供給する。
The
参照画像蓄積部15はフィルタ処理済みのローカルデコード画像LG2を蓄積し予測画像生成部12へ供給する。
The reference
次に、ポストフィルタ部16の処理について図2のフローチャートを用いて説明する。
Next, the processing of the
ここでは、ポストフィルタ部16では、任意のフレームに係るローカルデコード画像LG1が残差算出部13に供給されているものとする。また、ポストフィルタ部16(補正フィルタ部162)では、ストリームデータSDに基づいて、当該ローカルデコード画像LG1に係るマクロブロックごとの境界強度及び量子化パラメータから補正前の境界強度マップMBs1、及び量子化パラメータマップMQPは得られているものとして説明する。
Here, it is assumed that the
まず、顕著性算出部161により、ローカルデコード画像LG1に基づき各画素に対応する顕著性値VSが算出され、顕著性マップMSが取得される(S101)。
First, the
次に、補正フィルタ部162により、顕著性マップMS及び量子化パラメータマップMQPを用いた、境界強度マップMBs1の補正処理が施され、境界強度マップMBs2が取得される(S102)。補正フィルタ部162による境界強度マップMBs1の補正処理の詳細については後述する。
Next, the
次に、補正フィルタ部162により、境界強度マップMBs2を用いたローカルデコード画像LG1に対するデブロッキングフィルタ処理が実行され、デブロッキングフィルタ処理後のローカルデコード画像LG3が取得される(S103)。
Next, the
次に、補正フィルタ部162により、ローカルデコード画像LG3に基づく映像信号又は画像データが、表示部2に復号動画像DGとして供給(出力)される(S104)。
Next, the
次に、上述のステップS103で、補正フィルタ部162が行う補正処理の詳細について図3のフローチャートを用いて説明する。
Next, details of the correction processing performed by the
上述の通り、ここでは、ストリームデータSDに係るマクロブロックのサイズは16画素×16画素であり、補正フィルタ部162が補正処理を行う補正ブロックのサイズは4画素×4画素であるものとする。
As described above, here, the size of the macroblock related to the stream data SD is 16 pixels × 16 pixels, and the size of the correction block on which the
まず、補正フィルタ部162は、補正ブロックごとに、顕著性値VSの合計値を算出する(S201)。ここでは、各補正ブロックは4×4=16個の画素で構成されているため、各画素の顕著性値VSの合計値が当該補正ブロックに係る顕著性値VSの合計値となる。以下では、各補正ブロックに係る顕著性値VSの合計値を、「合計顕著性値VSsum」と呼ぶものとする。
First, the
次に、補正フィルタ部162は、補正ブロックごとに、合計顕著性値VSsumと閾値sとを比較する(S202)。閾値sとしては、例えば0.5を適用するようにしてもよい。
Next, the
次に、補正フィルタ部162は、補正ブロックごとに、当該補正ブロックが所属するマクロブロックに係る量子化パラメータQPと、閾値tを比較する(S203)。なお、ここでは、補正フィルタ部162は、マクロブロックごとにだけ、量子化パラメータQPと、閾値tを比較し、その結果を当該マクロブロックに所属する補正ブロックに適用するようにしてもよい。また、閾値tとしては、例えば、35を適用するようにしてもよい。
Next, for each correction block, the
次に、補正フィルタ部162は、補正ブロックごとに、ステップS201、S202の比較結果に基づき、当該補正ブロック内に含まれるブロックノイズ成分の量を判定する(S204)。具体的には、補正フィルタ部162は、ブロックノイズの成分の量に応じて、各補正ブロックを、ブロックノイズの成分の量の多い順に、「高ノイズブロック」、「通常ブロック」、「低ノイズブロック」の3段階に分類する。なお、補正フィルタ部162が行う、ブロックノイズの成分の量に応じた分類の数は限定されないものである。例えば、補正フィルタ部162は、低ノイズブロックに係る判定をせずに、高ノイズブロック以外の補正ブロックを通常ブロックと分類するようにしてもよい。
Next, the
補正フィルタ部162は、合計顕著性値VSsumが閾値sより大きく、かつ量子化パラメータQPが閾値tより大きい補正ブロックについては、高ノイズブロックであると判定するものとする。
The
また、補正フィルタ部162は、合計顕著性値VSsumが閾値sより小さく、4かつ量子化パラメータQPが閾値tより小さい補正ブロックについては、低ノイズブロックであると判定するものとする。
In addition, the
さらに、補正フィルタ部162は、高ノイズブロックにも、低ノイズブロックにも該当しない補正ブロックについては、通常ブロックであると判定するものとする。
Furthermore, the
次に、補正フィルタ部162は、ステップS204の分類結果に応じて、各補正ブロックに隣接する境界強度Bs1を補正する(S205)。
Next, the
補正フィルタ部162は、通常ブロックと判定された補正ブロックに隣接する境界強度Bs1については補正(変更)せずに、境界強度Bs2とするものとする。
The
また、補正フィルタ部162は、高ノイズブロックと判定された補正ブロックの各画素に係る境界強度Bs1に1加算して、補正後の境界強度Bs2とするものとする。
In addition, the
さらに、補正フィルタ部162は、低ノイズブロックと判定された補正ブロックの各画素に係る境界強度Bs1を1減算して、補正後の境界強度Bs2とするものとする。
Further, the
なお、H.264では、境界強度Bsは0〜4の間のいずれかの値(整数)が適用されるため、補正フィルタ部162においても、境界強度Bsの値をその規則に従った範囲内に設定するものとする。したがって、補正フィルタ部162は、境界強度Bs1を補正した値が4を越える場合は、補正後の境界強度Bs2を最大値である4とする。また、補正フィルタ部162は、境界強度Bs1を補正した値が0を下回る場合には、補正後の境界強度Bs2を最小値である0とする。
H. In H.264, since any value (integer) between 0 and 4 is applied as the boundary strength Bs, the
以上のように、補正フィルタ部162は、境界強度マップMBs1を構成する各境界強度Bs1を補正して境界強度マップMBs2を得ることがきる。
As described above, the
(A−3)実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
(A-3) Effects of Embodiment According to this embodiment, the following effects can be achieved.
動画像復号装置1では、ポストフィルタ部16により、顕著性マップMSと量子化パラメータマップMQPとを用いて、ブロックノイズの成分の度合を高い確度で判定でき、その判定結果からデブロッキングフィルタで用いる境界強度を補正している。これにより、動画像復号装置1では、ポストフィルタ部16で補正しない場合と比較して、復号画像の観者にとっての主観画質を向上させることができる。言い換えると、動画像復号装置1では、ポストフィルタ部16により、デブロッキングフィルタ部14が出力するローカルデコード画像LG2よりも観者の主観的な画質の高いローカルデコード画像LG3を出力することができる。
In the
また、動画像復号装置1では、H.264に準拠した動画像復号の構成(ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、参照画像蓄積部15)に、ポストフィルタ部16を追加するだけで実現することができる。例えば、既存のH.264に準拠した動画像復号装置に、ポストフィルタ部16の処理を行う構成(プログラム又は専用チップ)を追加するだけで、容易にこの実施形態の動画像復号装置1を実現することができる。したがって、この実施形態の動画像復号装置1は、低コストで実現することができる。
In the moving
(B)他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments The present invention is not limited to the above-described embodiments, and may include modified embodiments as exemplified below.
(B−1)上記の実施形態において、補正フィルタ部162は、境界強度Bs1を1ずつ補正するものとして説明するが2以上補正するようにしてもよい。また、補正後の境界強度Bs2は、境界強度Bs1の値の相対的な値(境界強度Bs1を加減算した値)ではなく、定数値としてもよい。例えば、高ノイズブロックの境界強度Bs2を4、通常ブロックの境界強度Bs2を2、低ノイズブロックの境界強度Bs2を0といった定数値に設定するようにしてもよい。
(B-1) In the above embodiment, the
さらに、上記の実施形態では、境界強度Bs2が、0〜4の整数値になるように修正する例で説明したが範囲修正を行わず、かつ0〜4以外の新たな値と処理内容を定義して適用してもよい。例えば、補正フィルタ部162は5以上の境界強度を設定するようにしてもよい。その場合、補正フィルタ部162は、境界強度Bs2=5に対応するデブロッキングフィルタ処理(境界強度Bs2=4の場合よりも強いデブロッキングフィルタ処理)を行うようにしてもよい。
Furthermore, in the above embodiment, the example has been described in which the boundary strength Bs2 is corrected so as to be an integer value of 0 to 4, but the range is not corrected, and a new value other than 0 to 4 and the processing content are defined. And may be applied. For example, the
(B−2)上記の各実施形態では、ストリームデータSDが、H.264である場合を例としたため、境界強度Bsおよび量子化パラメータQPを用いた説明を行ったが、その他の符号化データで同様の性質のパラメータを用いて、同様の処理を行うようにしてもよい。例えば、MPEG−H HEVC/H.265のような同様の性質のデブロッキングフィルタ及びパラメータ(フィルタ情報等のシンタックス要素)を備える動画像符号化方式(映像符号化方式)で符号化された符号化データの復号に本発明の動画像復号装置を適用するようにしてもよい。 (B-2) In each of the above embodiments, the stream data SD is H.264. Since the case of H.264 is taken as an example, the description has been made using the boundary strength Bs and the quantization parameter QP. However, the same processing may be performed using parameters having similar properties in other encoded data. Good. For example, MPEG-H HEVC / H. The moving image according to the present invention is used for decoding encoded data encoded by a moving image encoding method (video encoding method) having a deblocking filter and parameters (syntax elements such as filter information) having similar properties such as H.265. An image decoding device may be applied.
(B−3)上記の実施形態では、補正フィルタ部162が量子化パラメータQPと比較する閾値sを静的な値であるものとして説明したが、動的な値を適用するようにしてもよい。例えば、補正フィルタ部162では、イントラマクロブロックに係る復号に用いる閾値sと、インターマクロブロックに係る復号に用いる閾値sを異なる値としてもよい。
(B-3) In the above embodiment, the threshold value s that the
(B−4)上記の実施形態では、補正ブロックサイズを4画素×4画素であるものとして説明したが、他のサイズ(例えば、8画素×8画素、16画素×16画素)としてもよい。 (B-4) In the above embodiment, the correction block size has been described as being 4 pixels × 4 pixels, but other sizes (for example, 8 pixels × 8 pixels, 16 pixels × 16 pixels) may be used.
(B−5)上記の実施形態では、補正フィルタ部162は、顕著性値の算出に上述の参考文献1を適用する例について説明したが、同様の性質の値を算出することができれば、その他の顕著性算出方式を適用するようにしてもよい。
(B-5) In the above embodiment, the
(B−6)上記の実施形態では、動画像復号装置1に、デブロッキングフィルタ処理を行うポストフィルタ部を付加する構成として説明したが、デブロッキングフィルタ以外の処理を行うポストフィルタ部(顕著性値を用いたパラメータの補正処理を行うポストフィルタ)を付加するようにしてもよい。例えば、動画像復号装置1において、顕著性値に応じてパラメータが変動するガウシアンフィルタを付加するようにしてもよい。なお、その場合デブロッキングフィルタとして動作するポストフィルタ部16については省略するようにしてもよい。
(B-6) In the above-described embodiment, the post-filter unit that performs the deblocking filter process is added to the
1…動画像復号装置、11…ストリーム入力部、12…予測画像生成部、13…残差算出部、14…デブロッキングフィルタ部、15…参照画像蓄積部、16…ポストフィルタ部、161…顕著性算出部、162…補正フィルタ部、2…表示部。
DESCRIPTION OF
Claims (6)
各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、
上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、
上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、
上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段と
を有することを特徴とする動画像復号装置。 Decoding means for decoding encoded data obtained by dividing and encoding each image constituting the moving image into blocks, and obtaining a first decoded image for each image constituting the moving image;
Saliency calculating means for calculating a saliency value indicating a degree of saliency for each region of the first decoded image, based on a first decoded image of each image;
Boundary strength acquisition means for acquiring boundary strength indicating the strength of a filter for removing block noise for each region of the first decoded image;
Boundary strength correction means for correcting the boundary strength acquired by the boundary strength acquisition means using at least the saliency value calculated by the saliency calculation means for each region of the first decoded image;
A block noise removing unit that performs a process of removing block noise from the first decoded image using the corrected boundary strength corrected by the boundary strength correcting unit, and generates a second decoded image;
A moving picture decoding apparatus comprising: output means for outputting the second decoded picture as a decoding result of the moving picture decoding apparatus.
上記第1の復号画像は、上記所定の仕様に従ってブロックノイズを除去する処理を行う前の画像である
ことを特徴とする請求項1に記載の動画像復号装置。 The decoding means performs a process of decoding encoded data encoded according to a predetermined specification,
The moving image decoding apparatus according to claim 1, wherein the first decoded image is an image before performing a process of removing block noise in accordance with the predetermined specification.
上記境界強度補正手段は、上記顕著性算出手段の検出結果に加えて、上記符号化データに含まれる上記第1の復号画像に係る量子化パラメータも利用して、上記第1の復号画像の領域ごとの境界強度を補正する
ことを特徴とする請求項2に記載の動画像復号装置。 The decoding means is H.264. A process of decoding encoded data encoded according to the H.264 specification,
The boundary strength correction unit uses the quantization parameter related to the first decoded image included in the encoded data in addition to the detection result of the saliency calculating unit, and uses the quantization parameter related to the first decoded image. The moving picture decoding apparatus according to claim 2, wherein the boundary strength is corrected for each.
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、
各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、
上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、
上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、
上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段と
して機能させることを特徴とする動画像復号プログラム。 Computer
Decoding means for decoding encoded data obtained by dividing and encoding each image constituting the moving image into blocks, and obtaining a first decoded image for each image constituting the moving image;
Saliency calculating means for calculating a saliency value indicating a degree of saliency for each region of the first decoded image, based on a first decoded image of each image;
Boundary strength acquisition means for acquiring boundary strength indicating the strength of a filter for removing block noise for each region of the first decoded image;
Boundary strength correction means for correcting the boundary strength acquired by the boundary strength acquisition means using at least the saliency value calculated by the saliency calculation means for each region of the first decoded image;
A block noise removing unit that performs a process of removing block noise from the first decoded image using the corrected boundary strength corrected by the boundary strength correcting unit, and generates a second decoded image;
A moving picture decoding program that causes the second decoded picture to function as output means for outputting the decoding result of the moving picture decoding apparatus.
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号工程と、
各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出工程と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得工程と、
上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出工程で算出された顕著性値を用いて上記境界強度取得工程で取得された境界強度を補正する境界強度補正工程と、
上記境界強度補正工程で補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去工程と、
上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力工程と
を有することを特徴とする動画像復号方法。 In the video decoding method performed by the video decoding device,
A decoding step of decoding encoded data obtained by dividing and encoding each image constituting the moving image into blocks, and obtaining a first decoded image for each image constituting the moving image;
A saliency calculation step of calculating a saliency value indicating a degree of saliency for each region of the first decoded image, based on a first decoded image of each image;
A boundary strength acquisition step of acquiring a boundary strength indicating a strength of a filter that removes block noise for each region of the first decoded image;
A boundary strength correction step for correcting the boundary strength acquired in the boundary strength acquisition step using at least the saliency value calculated in the saliency calculation step for each region of the first decoded image;
A block noise removing step of performing a process of removing block noise from the first decoded image using the corrected boundary strength corrected in the boundary strength correcting step, and generating a second decoded image;
An output step of outputting the second decoded image as a decoding result of the moving image decoding apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013214699A JP2015080024A (en) | 2013-10-15 | 2013-10-15 | Moving picture decoder, program, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013214699A JP2015080024A (en) | 2013-10-15 | 2013-10-15 | Moving picture decoder, program, and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015080024A true JP2015080024A (en) | 2015-04-23 |
Family
ID=53011137
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013214699A Pending JP2015080024A (en) | 2013-10-15 | 2013-10-15 | Moving picture decoder, program, and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015080024A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019201256A (en) * | 2018-05-14 | 2019-11-21 | シャープ株式会社 | Image filter device |
JP2022105577A (en) * | 2018-05-14 | 2022-07-14 | シャープ株式会社 | Image filter device |
-
2013
- 2013-10-15 JP JP2013214699A patent/JP2015080024A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019201256A (en) * | 2018-05-14 | 2019-11-21 | シャープ株式会社 | Image filter device |
JP2022105577A (en) * | 2018-05-14 | 2022-07-14 | シャープ株式会社 | Image filter device |
JP7332753B2 (en) | 2018-05-14 | 2023-08-23 | シャープ株式会社 | image filter device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shahid et al. | No-reference image and video quality assessment: a classification and review of recent approaches | |
KR101547201B1 (en) | Apparatus and method of sample adaptive offset for video coding | |
US9967556B2 (en) | Video coding method using at least evaluated visual quality and related video coding apparatus | |
JP6334006B2 (en) | System and method for high content adaptive quality restoration filtering for video coding | |
US9143776B2 (en) | No-reference video/image quality measurement with compressed domain features | |
CN103141094B (en) | Adaptive loop filter method and apparatus | |
JP5524423B2 (en) | Apparatus and method for efficient sample adaptive offset | |
CN112913237A (en) | Artificial intelligence encoding and decoding method and apparatus using deep neural network | |
US20140321552A1 (en) | Optimization of Deblocking Filter Parameters | |
KR20170016929A (en) | Method and decoder for predicting and filtering color components in pictures | |
JP2005080301A (en) | Dynamic image encoding method and dynamic image decoding method | |
TW201424405A (en) | Multi-view video coding method, and multi-view video decoding method | |
EP3117607A1 (en) | Improved screen content and mixed content coding | |
CN102119401A (en) | Method and apparatus for banding artifact detection | |
US9344729B1 (en) | Selective prediction signal filtering | |
EP2960854A1 (en) | Method and device for determining a set of modifiable elements in a group of pictures | |
US20130235931A1 (en) | Masking video artifacts with comfort noise | |
JP2014239338A (en) | Video encoder, video decoder, video system, video coding method, video decoding method, and program | |
KR20150103072A (en) | Method and apparatus of reducing compression noise in digital video streams | |
RU2628133C2 (en) | Coding and decoding of slides in video-stream images | |
Wang et al. | Perceptually quasi-lossless compression of screen content data via visibility modeling and deep forecasting | |
JP2015080024A (en) | Moving picture decoder, program, and method | |
JPWO2020145117A1 (en) | Image processing equipment and methods | |
CN104168482B (en) | A kind of video coding-decoding method and device | |
KR20190062284A (en) | Method and apparatus for image processing based on perceptual characteristic |