JP2015080024A - Moving picture decoder, program, and method - Google Patents

Moving picture decoder, program, and method Download PDF

Info

Publication number
JP2015080024A
JP2015080024A JP2013214699A JP2013214699A JP2015080024A JP 2015080024 A JP2015080024 A JP 2015080024A JP 2013214699 A JP2013214699 A JP 2013214699A JP 2013214699 A JP2013214699 A JP 2013214699A JP 2015080024 A JP2015080024 A JP 2015080024A
Authority
JP
Japan
Prior art keywords
image
boundary strength
decoded image
saliency
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013214699A
Other languages
Japanese (ja)
Inventor
貴明 畠中
Takaaki Hatanaka
貴明 畠中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2013214699A priority Critical patent/JP2015080024A/en
Publication of JP2015080024A publication Critical patent/JP2015080024A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To reduce a deterioration in decoding quality due to block noise generated in dividing each picture of moving pictures into a plurality of blocks to decode coded data subjected to coding processing.SOLUTION: The present invention relates to a moving picture decoder. The moving picture decoder of the present invention include means for decoding coded data of moving pictures to acquire a first decoded image, means for calculating a conspicuousness value on the basis of the first decoded image, means for acquiring the boundary strength for each area of the first decoded image, means for correcting the boundary strength for each area of the first decoded image by using at least the conspicuousness value, and means for performing processing to eliminate block noise from the first decoded image by using the boundary strength after the correction and outputting the first decoded image.

Description

本発明は、動画像復号装置、プログラム及び方法に関し、例えば、画像を複数のブロックに分割して符号化処理した動画像の符号化データを復号することに適用することができる。   The present invention relates to a moving image decoding apparatus, program, and method, and can be applied to, for example, decoding encoded data of a moving image that has been encoded by dividing an image into a plurality of blocks.

近年、インターネットの普及に伴い動画をストリーミング配信する需要が高まっている。また、現在、動画像のストリームにおいて動画像の圧縮符号化により復号画像の限られた帯域における主観劣化が課題となっている。   In recent years, with the spread of the Internet, there is an increasing demand for streaming video distribution. At present, subjectivity degradation in a limited band of a decoded image due to compression encoding of the moving image in a moving image stream is a problem.

例えば、H.264 AVC(Advanced Video Coding)(非特許文献1、2参照)では、主にブロック境界に発生する不自然な色変化であるブロックノイズを軽減するために、符号化時と復号時にデブロッキングフィルタを適用することができる。   For example, H.M. In H.264 AVC (Advanced Video Coding) (see Non-Patent Documents 1 and 2), a deblocking filter is used at the time of encoding and decoding in order to reduce block noise, which is an unnatural color change mainly occurring at the block boundary. Can be applied.

ISO/IEC 14496−10、“Advanced Video Coding,”、ITU−T Recommendation H.264 2003.ISO / IEC 14496-10, “Advanced Video Coding,” ITU-T Recommendation H. H.264 2003. 社団法人 電波産業会、デジタル放送システム開発部会、CSデジタル放送高度化作業班、映像符号化方式作業班、「情報源符号化部H.264 MPEG-4 AVC規格の概要」、[Online]、INTERNET、[2013年10月10日検索],<URL: http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/bunkakai/pdf/060720_3_1-2_sa2.pdf>Radio Industry Association, Digital Broadcasting System Development Subcommittee, CS Digital Broadcast Advancement Working Group, Video Coding System Working Group, “Information Source Coding Department Overview of H.264 MPEG-4 AVC Standard”, [Online], INTERNET [Search October 10, 2013], <URL: http://www.soumu.go.jp/main_sosiki/joho_tsusin/policyreports/joho_tsusin/bunkakai/pdf/060720_3_1-2_sa2.pdf>

ところで、H.264では、デブロッキングフィルタの強さを決定する境界強度Bsが、境界を含むマクロブロックの予測情報や、量子化パラメータをフィルタ情報の一部として符号化データに含まれており、復号処理に用いられる。   H. In H.264, the boundary strength Bs that determines the strength of the deblocking filter is included in the encoded data as a part of the prediction information of the macroblock including the boundary and the quantization parameter as filter information, and is used for decoding processing. It is done.

しかしながら、H.264では、境界強度の決定には実際の画素値を使用しないためこの境界が実際に量子化誤差によるブロックノイズを有しているかを判定する精度が低く、ブロックノイズが弱いブロック境界に強いフィルタを適用してノイズでない成分を消してしまったり、逆にブロックノイズが強いブロック境界に弱いフィルタしか適用せずノイズが目立つままにしてしまう場合があった。   However, H.C. In H.264, an actual pixel value is not used to determine the boundary strength, so that the accuracy of determining whether the boundary actually has block noise due to quantization error is low, and a strong filter is applied to the block boundary where the block noise is weak. In some cases, non-noise components are removed by application, or conversely, only weak filters are applied to block boundaries where block noise is strong, leaving the noise conspicuous.

そのため、動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減することができる動画像復号装置、プログラム及び方法が望まれている。   Therefore, a moving image decoding apparatus, program, and method that can reduce degradation of decoding quality due to block noise when decoding encoded data obtained by encoding each image of a moving image into a plurality of blocks is desired. It is rare.

第1の本発明の動画像復号装置は、(1)動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、(2)各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、(3)上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、(4)上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、(5)上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段とを有することを特徴とする。
The moving image decoding apparatus according to the first aspect of the present invention is (1) decoding encoded data obtained by dividing and encoding each image constituting a moving image into blocks, and regarding each image constituting the moving image. Decoding means for obtaining a first decoded image; and (2) a saliency that calculates a saliency value indicating a degree of saliency for each area of the first decoded image based on the first decoded image of each image. Sex calculating means;
Boundary strength acquisition means for acquiring a boundary strength indicating the strength of a filter that removes block noise for each region of the first decoded image; and (3) at least the saliency calculation for each region of the first decoded image. A boundary strength correction unit that corrects the boundary strength acquired by the boundary strength acquisition unit using the saliency value calculated by the unit, and (4) a boundary strength after correction corrected by the boundary strength correction unit, Block noise removing means for performing a process of removing block noise from the first decoded image and generating a second decoded image; and (5) outputting the second decoded image as a decoding result of the moving image decoding apparatus. Output means.

第2の本発明の動画像復号プログラムは、コンピュータを、(1)動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、(2)各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、(3)上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、(4)上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、(5)上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、(6)上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段として機能させることを特徴とする。   The moving picture decoding program according to the second aspect of the present invention comprises: (1) decoding encoded data obtained by dividing and encoding each image constituting a moving picture into block units to form the moving picture. Decoding means for obtaining a first decoded image for each image; and (2) a saliency value indicating a degree of saliency for each region of the first decoded image based on the first decoded image of each image. Saliency calculation means for calculating; (3) boundary strength acquisition means for acquiring boundary strength indicating the strength of a filter that removes block noise for each region of the first decoded image; and (4) the first decoding. Boundary strength correcting means for correcting the boundary strength acquired by the boundary strength acquiring means using at least the saliency value calculated by the saliency calculating means for each region of the image; and (5) correction by the boundary strength correcting means. After correction Block noise removing means for performing a process of removing block noise from the first decoded image by using field strength and generating a second decoded image; and (6) decoding the second decoded image with the moving image decoding It is made to function as an output means which outputs as a decoding result of an apparatus.

第3の本発明は、動画像復号装置が行う動画像復号方法において、(1)動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号工程と、(2)各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出工程と、(3)上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得工程と、(4)上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出工程で算出された顕著性値を用いて上記境界強度取得工程で取得された境界強度を補正する境界強度補正工程と、(5)上記境界強度補正工程で補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去工程と、(6)上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力工程とを有することを特徴とする。   According to a third aspect of the present invention, in the moving image decoding method performed by the moving image decoding apparatus, (1) the encoded data obtained by dividing and encoding each image constituting the moving image into blocks is decoded A decoding step of obtaining a first decoded image for each image constituting the image; and (2) a degree of saliency for each region of the first decoded image based on the first decoded image of each image. A saliency calculation step of calculating a saliency value; (3) a boundary strength acquisition step of acquiring a boundary strength indicating the strength of a filter for removing block noise for each region of the first decoded image; and (4) the above A boundary strength correction step of correcting the boundary strength acquired in the boundary strength acquisition step using at least the saliency value calculated in the saliency calculation step for each region of the first decoded image; and (5) the above Compensation corrected in the boundary strength correction process A block noise removing step of performing a process of removing block noise from the first decoded image using a later boundary strength and generating a second decoded image; and (6) the second decoded image is converted into the moving image. And an output step of outputting as a decoding result of the image decoding device.

本発明によれば、動画像の各画像を複数のブロックに分割して符号化処理した符号化データを復号する際のブロックノイズによる復号品質の劣化を低減することができる。   According to the present invention, it is possible to reduce deterioration in decoding quality due to block noise when decoding encoded data obtained by dividing each image of a moving image into a plurality of blocks and performing encoding processing.

実施形態に係る動画像復号装置の機能的構成について示したブロック図である。It is the block diagram shown about the functional structure of the moving image decoding apparatus which concerns on embodiment. 実施形態に係る動画像復号装置の全体の動作について示したフローチャートである。It is the flowchart shown about the whole operation | movement of the moving image decoding apparatus which concerns on embodiment. 実施形態に係る動画像復号装置のポストフィルタ部の動作について示したフローチャートである。It is the flowchart shown about operation | movement of the post filter part of the moving image decoding apparatus which concerns on embodiment.

(A)主たる実施形態
以下、本発明による動画像復号装置、プログラム及び方法の一実施形態を、図面を参照しながら詳述する。
(A) Main Embodiment Hereinafter, an embodiment of a moving picture decoding apparatus, a program, and a method according to the present invention will be described in detail with reference to the drawings.

(A−1)実施形態の構成
図1は、この実施形態の動画像復号装置1の機能的構成について示したブロック図である。
(A-1) Configuration of Embodiment FIG. 1 is a block diagram showing a functional configuration of a video decoding device 1 of this embodiment.

動画像復号装置1は、動画像が符号化されストリーム化されたストリームデータSDを復号して、復号動画像DGを得るものである。ここでは、動画像復号装置1は、復号動画像DGの映像信号を表示部2に入力する構成となっているものとする。ここでは、表示部2は、例えば、LCDディスプレイ(液晶ディスプレイ)等のディスプレイで構成されており、動画像復号装置1から供給された復号動画像DGの映像信号に基づく映像(動画像)を表示出力する構成となっているものとする。   The moving image decoding apparatus 1 decodes the stream data SD obtained by encoding and streaming a moving image to obtain a decoded moving image DG. Here, it is assumed that the video decoding device 1 is configured to input a video signal of the decoded video DG to the display unit 2. Here, the display unit 2 is configured by a display such as an LCD display (liquid crystal display), for example, and displays a video (moving image) based on the video signal of the decoded moving image DG supplied from the moving image decoding device 1. Assume that the output is configured.

なお、動画像復号装置1において、ストリームデータSDが入力される方式は限定されないものである。例えば、動画像復号装置1に、図示しない動画像符号化装置からネットワーク経由でリアルタイムにストリームデータSDが入力されるようにしても良いし、図示しないデータ記録媒体(例えば、HDDやDVD等)を用いて、動画像復号装置1に、ストリームデータSDを入力するようにしてもよい。   In the moving picture decoding apparatus 1, the method for inputting the stream data SD is not limited. For example, stream data SD may be input to the moving picture decoding apparatus 1 from a moving picture encoding apparatus (not shown) via a network in real time, or a data recording medium (for example, HDD or DVD) (not shown) may be used. The stream data SD may be input to the video decoding device 1 by using it.

また、動画像復号装置1から動画像の復号結果を出力する形式(信号形式、データ形式)については限定されないものである。例えば、動画像復号装置1は、復号動画像DGに基づいた動画像データをデータ記録媒体に記録したり、通信により他の装置に送信するようにしてもよい。   Further, the format (signal format, data format) for outputting the video decoding result from the video decoding device 1 is not limited. For example, the moving image decoding apparatus 1 may record moving image data based on the decoded moving image DG on a data recording medium or transmit it to another apparatus by communication.

次に、動画像復号装置1内部の構成について説明する。   Next, the internal configuration of the video decoding device 1 will be described.

動画像復号装置1は、ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、参照画像蓄積部15、及びポストフィルタ部16を有している。また、ポストフィルタ部16は、顕著性算出部161、及び補正フィルタ部162を有している。   The moving image decoding apparatus 1 includes a stream input unit 11, a predicted image generation unit 12, a residual calculation unit 13, a deblocking filter unit 14, a reference image storage unit 15, and a post filter unit 16. The post filter unit 16 includes a saliency calculating unit 161 and a correction filter unit 162.

なお、動画像復号装置1は、CPUやメモリ等を備えるコンピュータ(プログラムの実施構成)に、図1に示す各構成要素に対応する処理プログラム(実施形態の動画像復号プログラム)を含むプログラムを実行させることにより実現するようにしてもよい。また、動画像復号装置1は、一部又は全部をソフトウェアで実現するようにしてもよい。   Note that the moving image decoding apparatus 1 executes a program including a processing program (moving image decoding program of the embodiment) corresponding to each component shown in FIG. 1 on a computer (execution configuration of the program) including a CPU, a memory, and the like. You may make it implement | achieve by doing. The moving picture decoding apparatus 1 may be realized partially or entirely by software.

なお、図1において、ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、参照画像蓄積部15の構成については、非特許文献1、2のデコードの構成を適用することができる。   In FIG. 1, the configurations of the stream input unit 11, the predicted image generation unit 12, the residual calculation unit 13, the deblocking filter unit 14, and the reference image storage unit 15 are the decoding configurations of Non-Patent Documents 1 and 2. Can be applied.

ストリーム入力部11は、入力されたストリームデータSDから予測情報を取り出し予測画像生成部12へ送信する。   The stream input unit 11 extracts prediction information from the input stream data SD and transmits the prediction information to the predicted image generation unit 12.

ストリーム入力部11は入力されたストリームデータSDから係数情報を取り出し残差算出部13へ送信する。   The stream input unit 11 extracts coefficient information from the input stream data SD and transmits it to the residual calculation unit 13.

ストリーム入力部11は入力されたストリームデータSDからフィルタ情報を取り出しデブロッキングフィルタ部14へ送信する。   The stream input unit 11 extracts filter information from the input stream data SD and transmits it to the deblocking filter unit 14.

予測画像生成部12は予測情報と、存在する場合は参照画像として蓄積されたフィルタ処理済みの画像(以下、「ローカルデコード画像LG2」と呼ぶ)も用いて、予測画像を生成し残差算出部13へ送信する。   The predicted image generation unit 12 generates a predicted image using the prediction information and a filtered image (hereinafter referred to as “local decoded image LG2”) that is accumulated as a reference image, if present, and generates a residual image calculation unit. 13 to send.

残差算出部13は係数情報から残差を算出し予測画像に加算してフィルタ処理前のローカルデコード画像(以下、「ローカルデコード画像LG1」と呼ぶ)を生成しデブロッキングフィルタ部14及びポストフィルタ部16へ供給する。   The residual calculation unit 13 calculates a residual from the coefficient information and adds it to the predicted image to generate a local decoded image before filtering (hereinafter referred to as “local decoded image LG1”), and generates a deblocking filter unit 14 and a post filter. Supply to unit 16.

デブロッキングフィルタ部14はフィルタ情報からローカルデコード画像LG1にフィルタ処理を施し、フィルタ処理済みのローカルデコード画像LG2を、参照画像蓄積部15に供給する。   The deblocking filter unit 14 performs filtering on the local decoded image LG1 from the filter information, and supplies the filtered local decoded image LG2 to the reference image storage unit 15.

参照画像蓄積部15はフィルタ処理済みの画像を蓄積し予測画像生成部12へ送信する。   The reference image storage unit 15 stores the filtered image and transmits it to the predicted image generation unit 12.

ポストフィルタ部16は、ローカルデコード画像LG1について、後述する顕著性マップを利用して、デブロッキングフィルタで用いる境界強度(ストリームデータSDに含まれるシンタックス要素を構成する境界強度)を補正する。そして、ポストフィルタ部16は、補正後の境界強度を用いて、ローカルデコード画像LG1をデブロッキングフィルタ処理して、画像(以下、「ローカルデコード画像LG3」と呼ぶ)を取得する処理を行う。   The post filter unit 16 corrects the boundary strength (boundary strength constituting the syntax element included in the stream data SD) used in the deblocking filter using the saliency map described later for the local decoded image LG1. Then, the post filter unit 16 performs a process of deblocking the local decoded image LG1 using the corrected boundary strength to obtain an image (hereinafter referred to as “local decoded image LG3”).

ここで、顕著性マップについて説明する。   Here, the saliency map will be described.

顕著性マップとは、任意の画像の領域ごとに、人間が無意識のうちに注目する(注意を引く)度合いの分布を示したものである。すなわち、人間が無意識に視覚的に注目する(注意を引く)度合いが高い場合、顕著性の度合いが高いと言える。なお、顕著性マップに関する参考文献としては、参考文献1(L. Itti, C. Koch, and E. Niebur、”A Model of Saliency−based Visual Attention for Rapid Scene Analysis,”,IEEE Trans. On PAMI, vol. 20, No.11, pp.1254−1259, Nov.,1998)、参考文献2(特開2007−12047号公報)、参考文献3(特開2011−39778号公報)、参考文献4(「画像処理(3) 顕著性マップ」、[Online]、INTERNET、[2013年10月10日検索],<URL: http://fussy.web.fc2.com/algo/algo12-3.htm>)等がある。   The saliency map indicates a distribution of the degree of attention (attention) of a human unconsciously for each region of an arbitrary image. In other words, when the degree of human visual attention (attracting attention) is high, the degree of saliency is high. In addition, as a reference about the saliency map, Reference 1 (L. Itti, C. Koch, and E. Niebur, “A Model of Salientity-based Visual Attention for Rapid Scene Analysis,” IEE O. Tr. vol. 20, No. 11, pp. 1254-1259, Nov., 1998), Reference 2 (JP 2007-12047 A), Reference 3 (JP 2011-39778 A), Reference 4 ( “Image processing (3) Saliency map”, [Online], INTERNET, [October 10, 2013 search], <URL: http://fussy.web.fc2.com/algo/algo12-3.htm> ) Etc.

現在、画像処理分野において、顕著性マップ等のボトムアップ型注意を、客観指標値として算出する方法が研究されている。ボトムアップ型注意で得られる顕著性マップ(指標値)は、例えば、ロボットが物体への接近を瞬時に検出する技術(上述の参考文献2参照)や、視覚コンテンツの評価技術(上述の参考文献3参照)に利用されている。ここで、ボトムアップ型注意とは、人や動物が瞬間的に注目領域を特定する反応をいう。画像中の点や領域に対して、人間が瞬間的に注目する度合い、すなわち顕著性の高さを数値化した顕著性値を算出する方法として、上述の参考文献1に記載の顕著性モデルが存在する。参考文献1には、目の網膜にある網膜神経節細胞の中に、受容野(Receptive Field)と呼ばれる領域があり、この受容野に光による刺激を受けると、その情報が脳に伝達される旨記載されている。また、参考文献1の記載によれば、受容野は、中央にある円形の部分(center)とその周辺領域(surround)との2つで構成されており、受容野に置ける仕組みを応用し、Centerとsurroundとの刺激により信号が強くなる箇所(注意を引く場所)を数値化するようなモデルを構築して顕著性マップとしている。   Currently, in the field of image processing, a method for calculating a bottom-up type attention such as a saliency map as an objective index value is being studied. The saliency map (index value) obtained by bottom-up attention is, for example, a technique in which a robot instantaneously detects an approach to an object (see the above-mentioned reference 2) or a visual content evaluation technique (the above-mentioned reference). 3). Here, bottom-up attention refers to a reaction in which a person or animal instantaneously specifies a region of interest. As a method for calculating a saliency value obtained by quantifying the degree to which a human instantaneously pays attention to a point or region in an image, that is, the level of saliency, the saliency model described in Reference Document 1 described above is used. Exists. In Reference 1, there is a region called a receptive field in the retinal ganglion cells in the retina of the eye. When this receptive field is stimulated by light, the information is transmitted to the brain. It is stated. In addition, according to the description in Reference 1, the receptive field is composed of a circular part (center) in the center and a surrounding area (surround), and a mechanism that can be placed in the receptive field is applied. A saliency map is constructed by constructing a model that quantifies a place where a signal becomes strong (a place where attention is drawn) due to stimulation by Center and surround.

以上のように、顕著性マップは人間の視覚をよくモデル化するためブロックノイズの検知に期待ができる。そこで、この実施形態のポストフィルタ部16は、ローカルデコード画像LG1について、顕著性マップを利用して、デブロッキングフィルタで用いる境界強度を補正するものとする。また、ポストフィルタ部16は、ローカルデコード画像LG3に基づく映像信号又は画像データを表示部2に供給する。   As described above, since the saliency map models human vision well, it can be expected to detect block noise. Therefore, the post filter unit 16 of this embodiment corrects the boundary strength used in the deblocking filter by using the saliency map for the local decoded image LG1. Further, the post filter unit 16 supplies a video signal or image data based on the local decoded image LG3 to the display unit 2.

顕著性算出部161はフィルタ処理前のローカルデコード画像LG1の各領域について顕著性値を算出して、ローカルデコード画像LG1に係る顕著性マップ(以下、「顕著性マップMs」と呼ぶ)を生成する。   The saliency calculating unit 161 calculates a saliency value for each region of the local decoded image LG1 before the filter processing, and generates a saliency map (hereinafter referred to as “saliency map Ms”) related to the local decoded image LG1. .

そして、顕著性算出部161は、ローカルデコード画像LG1及び顕著性マップMsを、補正フィルタ部162に供給する。   Then, the saliency calculating unit 161 supplies the local decoded image LG1 and the saliency map Ms to the correction filter unit 162.

ここでは、顕著性算出部161は、ローカルデコード画像LG1の画素(ピクセル、ドット)単位で顕著性の度合いを示す値(以下、「顕著性値Vs」と呼ぶ)を算出し、画素ごとの顕著性値Vsをまとめて顕著性マップMsとして生成するものとする。   Here, the saliency calculating unit 161 calculates a value indicating the degree of saliency in units of pixels (pixels, dots) of the local decoded image LG1 (hereinafter referred to as “saliency value Vs”), and saliency for each pixel. It is assumed that the sex values Vs are collectively generated as the saliency map Ms.

顕著性算出部161は、例えば、上述の参考文献1の記載技術を用いることにより、ローカルデコード画像LG1の顕著性マップMsを取得することができる。   The saliency calculating unit 161 can acquire the saliency map Ms of the local decoded image LG1 by using, for example, the technique described in Reference Document 1 described above.

補正フィルタ部162は、供給されたローカルデコード画像LG1の各画素に係る境界強度Bsについて少なくとも顕著性値Vsを用いて補正する。そして、補正フィルタ部162は、補正後の境界強度Bsを用いて、ローカルデコード画像LG1に対して、デブロッキングフィルタ処理(ブロックノイズを除去する処理)を施し、ローカルデコード画像LG3を生成し、復号動画像DGとして出力(表示部2に供給)する処理を行う。   The correction filter unit 162 corrects the boundary strength Bs related to each pixel of the supplied local decoded image LG1 using at least the saliency value Vs. Then, the correction filter unit 162 performs deblocking filter processing (processing for removing block noise) on the local decoded image LG1 using the corrected boundary strength Bs, generates a local decoded image LG3, and performs decoding. A process of outputting (supplying to the display unit 2) as a moving image DG is performed.

H.264に従って符号化されたストリームデータSDには、シンタックス要素を構成するフィルタ情報に、各画像を構成するマクロブロック(符号化側で符号化の際に適用されたブロックサイズのブロック)ごとの量子化パラメータと境界強度のデータが含まれている。そして、補正フィルタ部162は、ストリームデータSDのフィルタ情報から、ローカルデコード画像LG1を構成するマクロブロックごとの量子化パラメータの値、及び境界強度の値を取得して、ローカルデコード画像LG1の各マクロブロックに対応する量子化パラメータの値(以下、「量子化パラメータQP」と呼ぶ)及び補正前の境界強度の値(以下、「境界強度Bs1」と呼ぶ)を取得することができる。   H. In the stream data SD encoded according to H.264, the quantum information for each macroblock (block size block applied at the time of encoding on the encoding side) included in each image is added to the filter information forming the syntax element. Data for boundary parameters and boundary strength are included. Then, the correction filter unit 162 obtains the quantization parameter value and the boundary strength value for each macroblock constituting the local decoded image LG1 from the filter information of the stream data SD, and each macro of the local decoded image LG1. The value of the quantization parameter corresponding to the block (hereinafter referred to as “quantization parameter QP”) and the value of the boundary strength before correction (hereinafter referred to as “boundary strength Bs1”) can be acquired.

以下では、ローカルデコード画像LG1の各マクロブロックに係る量子化パラメータQPを1画像分(1フレーム分)まとめたマップを「量子化パラメータマップMQP」と呼ぶ。また、ローカルデコード画像LG1の各画素に係る補正前の境界強度Bs1を1画像分(1フレーム分)まとめたマップを「境界強度マップMBs1」と呼ぶものとする。量子化パラメータマップMQPでは、各マクロブロック内では量子化パラメータQPは同じ値となる。また、境界強度マップMBs1についても同様に各マクロブロック内では、境界強度Bs1の値は同じとなる。   Hereinafter, a map in which the quantization parameters QP related to each macroblock of the local decoded image LG1 are collected for one image (one frame) is referred to as a “quantization parameter map MQP”. Further, a map in which the boundary strength Bs1 before correction relating to each pixel of the local decoded image LG1 is collected for one image (one frame) is referred to as a “boundary strength map MBs1”. In the quantization parameter map MQP, the quantization parameter QP has the same value in each macroblock. Similarly, the boundary strength map MBs1 has the same boundary strength Bs1 within each macroblock.

補正フィルタ部162は、境界強度マップMBs1を構成する各境界強度Bs1について、顕著性マップMS及び量子化パラメータマップMQPを用いて補正する。以下では、この補正後の各画素に対応する境界強度を「境界強度Bs2」と呼ぶものとする。また、画素ごとの補正後の境界強度Bs2を1画像分(1フレーム分)まとめたマップを「境界強度マップMBs2」と呼ぶものとする。補正フィルタ部162による境界強度マップMBs1の補正処理の詳細については後述する。   The correction filter unit 162 corrects each boundary strength Bs1 constituting the boundary strength map MBs1 using the saliency map MS and the quantization parameter map MQP. Hereinafter, the boundary strength corresponding to each pixel after the correction is referred to as “boundary strength Bs2”. A map in which the corrected boundary strength Bs2 for each pixel is collected for one image (one frame) is referred to as a “boundary strength map MBs2”. Details of the correction processing of the boundary strength map MBs1 by the correction filter unit 162 will be described later.

そして、補正フィルタ部162は、補正後の境界強度マップMBs2を用いて、ローカルデコード画像LG1にデブロッキングフィルタ処理を施して、ローカルデコード画像LG3を生成する。このとき、補正フィルタ部162が行うデブロッキングフィルタ処理は、適用する境界強度が境界強度マップMBs2となるだけで、その他の処理はデブロッキングフィルタ部14(すなわち、H.264に従って種々のデブロッキングフィルタ処理)と同様の処理を適用することができる。   Then, the correction filter unit 162 performs a deblocking filter process on the local decoded image LG1 using the corrected boundary strength map MBs2, and generates a local decoded image LG3. At this time, the deblocking filter processing performed by the correction filter unit 162 is merely that the boundary strength to be applied is the boundary strength map MBs2, and other processing is performed according to the deblocking filter unit 14 (that is, various deblocking filters according to H.264). Processing similar to (Processing) can be applied.

次に、補正フィルタ部162が行う境界強度マップMBs1の補正処理の具体例について説明する。   Next, a specific example of the correction process of the boundary strength map MBs1 performed by the correction filter unit 162 will be described.

なお、ここでは、ストリームデータSDに係るマクロブロックのサイズは16画素×16画素であるものとする。そして、補正フィルタ部162は、4画素×4画素のブロック単位で、境界強度マップMBs1の各境界強度を補正するものとする。以下では、補正フィルタ部162が境界強度マップMBs1を補正する際のブロックサイズ(ここでは4画素×4画素)のブロックを「補正ブロック」と呼ぶものとする。したがって、ここでは、1つのマクロブロック内に4つの16個の補正ブロックが存在することになる。   Here, it is assumed that the size of the macroblock related to the stream data SD is 16 pixels × 16 pixels. And the correction filter part 162 shall correct | amend each boundary intensity | strength of the boundary intensity | strength map MBs1 per block of 4 pixels x 4 pixels. Hereinafter, a block having a block size (here, 4 pixels × 4 pixels) when the correction filter unit 162 corrects the boundary intensity map MBs1 is referred to as a “correction block”. Therefore, four 16 correction blocks exist in one macroblock here.

(A−2)実施形態の動作
次に、以上のような構成を有するこの実施形態の動画像復号装置1の動作(実施形態の動画像復号方法)を説明する。
(A-2) Operation of Embodiment Next, the operation (moving image decoding method of the embodiment) of the moving image decoding apparatus 1 of this embodiment having the above-described configuration will be described.

まず、図1を用いて、動画像復号装置1の全体の動作を説明した後に、ポストフィルタ部16の詳細動作について説明する。ここでは、動画像復号装置1を構成するポストフィルタ部16以外の構成要素(ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、及び参照画像蓄積部15)の動作を説明した後、ポストフィルタ部16の動作について説明する。なお、ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、及び参照画像蓄積部15の動作は、H.264に従って符号化されたストリームデータSDを復号する種々の処理を適用することができるため、詳細な説明については省略して説明する。   First, the overall operation of the moving image decoding apparatus 1 will be described with reference to FIG. Here, components other than the post filter unit 16 constituting the video decoding device 1 (stream input unit 11, predicted image generation unit 12, residual calculation unit 13, deblocking filter unit 14, and reference image storage unit 15). After describing the operation, the operation of the post filter unit 16 will be described. The operations of the stream input unit 11, the predicted image generation unit 12, the residual calculation unit 13, the deblocking filter unit 14, and the reference image storage unit 15 Since various processes for decoding the stream data SD encoded according to H.264 can be applied, detailed description will be omitted.

ストリーム入力部11は入力されたストリームデータSDから予測情報を取り出し予測画像生成部12へ供給する。   The stream input unit 11 extracts prediction information from the input stream data SD and supplies the prediction information to the predicted image generation unit 12.

ストリーム入力部11は入力されたストリームから係数情報を取り出し残差算出部13へ供給する。   The stream input unit 11 extracts coefficient information from the input stream and supplies it to the residual calculation unit 13.

ストリーム入力部11は入力されたストリームからフィルタ情報を取り出して、デブロッキングフィルタ部14およびポストフィルタ部16(補正フィルタ部162)へ供給する。   The stream input unit 11 extracts filter information from the input stream and supplies the filter information to the deblocking filter unit 14 and the post filter unit 16 (correction filter unit 162).

予測画像生成部12は予測情報と、存在する場合は参照画像として蓄積されたフィルタ処理済みのローカルデコード画像LG2も用いて、予測画像を生成し残差算出部13へ供給する。   The predicted image generation unit 12 generates a predicted image using the prediction information and the filtered local decoded image LG2 accumulated as a reference image if present, and supplies the predicted image to the residual calculation unit 13.

残差算出部13は係数情報から残差を算出し予測画像に加算してフィルタ処理前のローカルデコード画像LG1を生成しデブロッキングフィルタ部14、及びポストフィルタ部16(顕著性算出部161)へ供給する。   The residual calculation unit 13 calculates a residual from the coefficient information, adds the residual to the predicted image, generates a local decoded image LG1 before the filter process, and outputs it to the deblocking filter unit 14 and the post filter unit 16 (saliency calculation unit 161). Supply.

デブロッキングフィルタ部14はフィルタ情報からフィルタ処理前のローカルデコード画像LG1にフィルタ処理を実施しフィルタ処理済みのローカルデコード画像LG2として参照画像蓄積部15へ供給する。   The deblocking filter unit 14 performs a filtering process on the local decoded image LG1 before the filtering process based on the filter information, and supplies the filtered local decoded image LG2 to the reference image storage unit 15.

参照画像蓄積部15はフィルタ処理済みのローカルデコード画像LG2を蓄積し予測画像生成部12へ供給する。   The reference image storage unit 15 stores the filtered local decoded image LG2 and supplies it to the predicted image generation unit 12.

次に、ポストフィルタ部16の処理について図2のフローチャートを用いて説明する。   Next, the processing of the post filter unit 16 will be described with reference to the flowchart of FIG.

ここでは、ポストフィルタ部16では、任意のフレームに係るローカルデコード画像LG1が残差算出部13に供給されているものとする。また、ポストフィルタ部16(補正フィルタ部162)では、ストリームデータSDに基づいて、当該ローカルデコード画像LG1に係るマクロブロックごとの境界強度及び量子化パラメータから補正前の境界強度マップMBs1、及び量子化パラメータマップMQPは得られているものとして説明する。   Here, it is assumed that the post-filter unit 16 supplies the locally decoded image LG1 related to an arbitrary frame to the residual calculation unit 13. Further, the post filter unit 16 (correction filter unit 162) based on the stream data SD, the boundary strength map MBs1 before correction from the boundary strength and the quantization parameter for each macroblock related to the local decoded image LG1, and the quantization The parameter map MQP will be described as being obtained.

まず、顕著性算出部161により、ローカルデコード画像LG1に基づき各画素に対応する顕著性値VSが算出され、顕著性マップMSが取得される(S101)。   First, the saliency calculation unit 161 calculates the saliency value VS corresponding to each pixel based on the local decoded image LG1, and acquires the saliency map MS (S101).

次に、補正フィルタ部162により、顕著性マップMS及び量子化パラメータマップMQPを用いた、境界強度マップMBs1の補正処理が施され、境界強度マップMBs2が取得される(S102)。補正フィルタ部162による境界強度マップMBs1の補正処理の詳細については後述する。   Next, the correction filter unit 162 corrects the boundary strength map MBs1 using the saliency map MS and the quantization parameter map MQP, and acquires the boundary strength map MBs2 (S102). Details of the correction processing of the boundary strength map MBs1 by the correction filter unit 162 will be described later.

次に、補正フィルタ部162により、境界強度マップMBs2を用いたローカルデコード画像LG1に対するデブロッキングフィルタ処理が実行され、デブロッキングフィルタ処理後のローカルデコード画像LG3が取得される(S103)。   Next, the correction filter unit 162 executes the deblocking filter process on the local decoded image LG1 using the boundary strength map MBs2, and acquires the local decoded image LG3 after the deblocking filter process (S103).

次に、補正フィルタ部162により、ローカルデコード画像LG3に基づく映像信号又は画像データが、表示部2に復号動画像DGとして供給(出力)される(S104)。   Next, the correction filter unit 162 supplies (outputs) a video signal or image data based on the local decoded image LG3 to the display unit 2 as a decoded moving image DG (S104).

次に、上述のステップS103で、補正フィルタ部162が行う補正処理の詳細について図3のフローチャートを用いて説明する。   Next, details of the correction processing performed by the correction filter unit 162 in step S103 described above will be described with reference to the flowchart of FIG.

上述の通り、ここでは、ストリームデータSDに係るマクロブロックのサイズは16画素×16画素であり、補正フィルタ部162が補正処理を行う補正ブロックのサイズは4画素×4画素であるものとする。   As described above, here, the size of the macroblock related to the stream data SD is 16 pixels × 16 pixels, and the size of the correction block on which the correction filter unit 162 performs correction processing is 4 pixels × 4 pixels.

まず、補正フィルタ部162は、補正ブロックごとに、顕著性値VSの合計値を算出する(S201)。ここでは、各補正ブロックは4×4=16個の画素で構成されているため、各画素の顕著性値VSの合計値が当該補正ブロックに係る顕著性値VSの合計値となる。以下では、各補正ブロックに係る顕著性値VSの合計値を、「合計顕著性値VSsum」と呼ぶものとする。   First, the correction filter unit 162 calculates the total value of the saliency values VS for each correction block (S201). Here, since each correction block is composed of 4 × 4 = 16 pixels, the total value of the saliency values VS of each pixel is the total value of the saliency values VS related to the correction block. Hereinafter, the total value of the saliency values VS related to each correction block is referred to as a “total saliency value VSsum”.

次に、補正フィルタ部162は、補正ブロックごとに、合計顕著性値VSsumと閾値sとを比較する(S202)。閾値sとしては、例えば0.5を適用するようにしてもよい。   Next, the correction filter unit 162 compares the total saliency value VSsum with the threshold value s for each correction block (S202). For example, 0.5 may be applied as the threshold value s.

次に、補正フィルタ部162は、補正ブロックごとに、当該補正ブロックが所属するマクロブロックに係る量子化パラメータQPと、閾値tを比較する(S203)。なお、ここでは、補正フィルタ部162は、マクロブロックごとにだけ、量子化パラメータQPと、閾値tを比較し、その結果を当該マクロブロックに所属する補正ブロックに適用するようにしてもよい。また、閾値tとしては、例えば、35を適用するようにしてもよい。   Next, for each correction block, the correction filter unit 162 compares the quantization parameter QP related to the macroblock to which the correction block belongs with the threshold t (S203). Here, the correction filter unit 162 may compare the quantization parameter QP with the threshold t only for each macroblock, and apply the result to the correction block belonging to the macroblock. Further, as the threshold t, for example, 35 may be applied.

次に、補正フィルタ部162は、補正ブロックごとに、ステップS201、S202の比較結果に基づき、当該補正ブロック内に含まれるブロックノイズ成分の量を判定する(S204)。具体的には、補正フィルタ部162は、ブロックノイズの成分の量に応じて、各補正ブロックを、ブロックノイズの成分の量の多い順に、「高ノイズブロック」、「通常ブロック」、「低ノイズブロック」の3段階に分類する。なお、補正フィルタ部162が行う、ブロックノイズの成分の量に応じた分類の数は限定されないものである。例えば、補正フィルタ部162は、低ノイズブロックに係る判定をせずに、高ノイズブロック以外の補正ブロックを通常ブロックと分類するようにしてもよい。   Next, the correction filter unit 162 determines the amount of the block noise component included in the correction block based on the comparison result of steps S201 and S202 for each correction block (S204). Specifically, the correction filter unit 162 assigns each correction block to “high noise block”, “normal block”, “low noise” in descending order of the block noise component amount according to the block noise component amount. It is classified into three stages of “block”. Note that the number of classifications according to the amount of block noise components performed by the correction filter unit 162 is not limited. For example, the correction filter unit 162 may classify correction blocks other than the high noise block as normal blocks without making a determination related to the low noise block.

補正フィルタ部162は、合計顕著性値VSsumが閾値sより大きく、かつ量子化パラメータQPが閾値tより大きい補正ブロックについては、高ノイズブロックであると判定するものとする。   The correction filter unit 162 determines that a correction block whose total saliency value VSsum is larger than the threshold value s and whose quantization parameter QP is larger than the threshold value t is a high noise block.

また、補正フィルタ部162は、合計顕著性値VSsumが閾値sより小さく、4かつ量子化パラメータQPが閾値tより小さい補正ブロックについては、低ノイズブロックであると判定するものとする。   In addition, the correction filter unit 162 determines that a correction block whose total saliency value VSsum is smaller than the threshold s and 4 and whose quantization parameter QP is smaller than the threshold t is a low noise block.

さらに、補正フィルタ部162は、高ノイズブロックにも、低ノイズブロックにも該当しない補正ブロックについては、通常ブロックであると判定するものとする。   Furthermore, the correction filter unit 162 determines that a correction block that does not correspond to a high noise block or a low noise block is a normal block.

次に、補正フィルタ部162は、ステップS204の分類結果に応じて、各補正ブロックに隣接する境界強度Bs1を補正する(S205)。   Next, the correction filter unit 162 corrects the boundary strength Bs1 adjacent to each correction block according to the classification result of step S204 (S205).

補正フィルタ部162は、通常ブロックと判定された補正ブロックに隣接する境界強度Bs1については補正(変更)せずに、境界強度Bs2とするものとする。   The correction filter unit 162 assumes the boundary strength Bs2 without correcting (changing) the boundary strength Bs1 adjacent to the correction block determined to be a normal block.

また、補正フィルタ部162は、高ノイズブロックと判定された補正ブロックの各画素に係る境界強度Bs1に1加算して、補正後の境界強度Bs2とするものとする。   In addition, the correction filter unit 162 adds 1 to the boundary strength Bs1 related to each pixel of the correction block determined to be a high noise block to obtain a corrected boundary strength Bs2.

さらに、補正フィルタ部162は、低ノイズブロックと判定された補正ブロックの各画素に係る境界強度Bs1を1減算して、補正後の境界強度Bs2とするものとする。   Further, the correction filter unit 162 subtracts 1 from the boundary strength Bs1 associated with each pixel of the correction block determined to be a low noise block to obtain a corrected boundary strength Bs2.

なお、H.264では、境界強度Bsは0〜4の間のいずれかの値(整数)が適用されるため、補正フィルタ部162においても、境界強度Bsの値をその規則に従った範囲内に設定するものとする。したがって、補正フィルタ部162は、境界強度Bs1を補正した値が4を越える場合は、補正後の境界強度Bs2を最大値である4とする。また、補正フィルタ部162は、境界強度Bs1を補正した値が0を下回る場合には、補正後の境界強度Bs2を最小値である0とする。   H. In H.264, since any value (integer) between 0 and 4 is applied as the boundary strength Bs, the correction filter unit 162 sets the value of the boundary strength Bs within a range according to the rule. And Therefore, when the value obtained by correcting the boundary strength Bs1 exceeds 4, the correction filter unit 162 sets the corrected boundary strength Bs2 to 4 which is the maximum value. Further, when the value obtained by correcting the boundary strength Bs1 is less than 0, the correction filter unit 162 sets the corrected boundary strength Bs2 to 0 which is the minimum value.

以上のように、補正フィルタ部162は、境界強度マップMBs1を構成する各境界強度Bs1を補正して境界強度マップMBs2を得ることがきる。   As described above, the correction filter unit 162 can obtain the boundary strength map MBs2 by correcting each boundary strength Bs1 constituting the boundary strength map MBs1.

(A−3)実施形態の効果
この実施形態によれば、以下のような効果を奏することができる。
(A-3) Effects of Embodiment According to this embodiment, the following effects can be achieved.

動画像復号装置1では、ポストフィルタ部16により、顕著性マップMSと量子化パラメータマップMQPとを用いて、ブロックノイズの成分の度合を高い確度で判定でき、その判定結果からデブロッキングフィルタで用いる境界強度を補正している。これにより、動画像復号装置1では、ポストフィルタ部16で補正しない場合と比較して、復号画像の観者にとっての主観画質を向上させることができる。言い換えると、動画像復号装置1では、ポストフィルタ部16により、デブロッキングフィルタ部14が出力するローカルデコード画像LG2よりも観者の主観的な画質の高いローカルデコード画像LG3を出力することができる。   In the video decoding device 1, the post filter unit 16 can determine the degree of the block noise component with high accuracy using the saliency map MS and the quantization parameter map MQP, and uses the determination result for the deblocking filter. The boundary strength is corrected. Thereby, in the moving image decoding apparatus 1, compared with the case where it does not correct by the post filter part 16, the subjective image quality for the viewer of a decoded image can be improved. In other words, in the moving image decoding apparatus 1, the post filter unit 16 can output the local decoded image LG3 having a subjective subjective image quality higher than the local decoded image LG2 output from the deblocking filter unit 14.

また、動画像復号装置1では、H.264に準拠した動画像復号の構成(ストリーム入力部11、予測画像生成部12、残差算出部13、デブロッキングフィルタ部14、参照画像蓄積部15)に、ポストフィルタ部16を追加するだけで実現することができる。例えば、既存のH.264に準拠した動画像復号装置に、ポストフィルタ部16の処理を行う構成(プログラム又は専用チップ)を追加するだけで、容易にこの実施形態の動画像復号装置1を実現することができる。したがって、この実施形態の動画像復号装置1は、低コストで実現することができる。   In the moving picture decoding apparatus 1, H.264 H.264 compliant moving image decoding (stream input unit 11, predicted image generation unit 12, residual calculation unit 13, deblocking filter unit 14, reference image storage unit 15) is simply added with a post filter unit 16. Can be realized. For example, existing H.264. The moving picture decoding apparatus 1 according to this embodiment can be easily realized simply by adding a configuration (program or dedicated chip) that performs processing of the post filter unit 16 to the moving picture decoding apparatus compliant with H.264. Therefore, the moving picture decoding apparatus 1 of this embodiment can be realized at low cost.

(B)他の実施形態
本発明は、上記の実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
(B) Other Embodiments The present invention is not limited to the above-described embodiments, and may include modified embodiments as exemplified below.

(B−1)上記の実施形態において、補正フィルタ部162は、境界強度Bs1を1ずつ補正するものとして説明するが2以上補正するようにしてもよい。また、補正後の境界強度Bs2は、境界強度Bs1の値の相対的な値(境界強度Bs1を加減算した値)ではなく、定数値としてもよい。例えば、高ノイズブロックの境界強度Bs2を4、通常ブロックの境界強度Bs2を2、低ノイズブロックの境界強度Bs2を0といった定数値に設定するようにしてもよい。 (B-1) In the above embodiment, the correction filter unit 162 is described as correcting the boundary strength Bs1 one by one. However, two or more corrections may be made. The corrected boundary strength Bs2 may be a constant value instead of a relative value of the boundary strength Bs1 (a value obtained by adding or subtracting the boundary strength Bs1). For example, the boundary strength Bs2 of the high noise block may be set to a constant value of 4, the boundary strength Bs2 of the normal block may be set to 2, and the boundary strength Bs2 of the low noise block may be set to 0.

さらに、上記の実施形態では、境界強度Bs2が、0〜4の整数値になるように修正する例で説明したが範囲修正を行わず、かつ0〜4以外の新たな値と処理内容を定義して適用してもよい。例えば、補正フィルタ部162は5以上の境界強度を設定するようにしてもよい。その場合、補正フィルタ部162は、境界強度Bs2=5に対応するデブロッキングフィルタ処理(境界強度Bs2=4の場合よりも強いデブロッキングフィルタ処理)を行うようにしてもよい。   Furthermore, in the above embodiment, the example has been described in which the boundary strength Bs2 is corrected so as to be an integer value of 0 to 4, but the range is not corrected, and a new value other than 0 to 4 and the processing content are defined. And may be applied. For example, the correction filter unit 162 may set a boundary strength of 5 or more. In that case, the correction filter unit 162 may perform a deblocking filter process corresponding to the boundary strength Bs2 = 5 (a deblocking filter process stronger than the case of the boundary strength Bs2 = 4).

(B−2)上記の各実施形態では、ストリームデータSDが、H.264である場合を例としたため、境界強度Bsおよび量子化パラメータQPを用いた説明を行ったが、その他の符号化データで同様の性質のパラメータを用いて、同様の処理を行うようにしてもよい。例えば、MPEG−H HEVC/H.265のような同様の性質のデブロッキングフィルタ及びパラメータ(フィルタ情報等のシンタックス要素)を備える動画像符号化方式(映像符号化方式)で符号化された符号化データの復号に本発明の動画像復号装置を適用するようにしてもよい。 (B-2) In each of the above embodiments, the stream data SD is H.264. Since the case of H.264 is taken as an example, the description has been made using the boundary strength Bs and the quantization parameter QP. However, the same processing may be performed using parameters having similar properties in other encoded data. Good. For example, MPEG-H HEVC / H. The moving image according to the present invention is used for decoding encoded data encoded by a moving image encoding method (video encoding method) having a deblocking filter and parameters (syntax elements such as filter information) having similar properties such as H.265. An image decoding device may be applied.

(B−3)上記の実施形態では、補正フィルタ部162が量子化パラメータQPと比較する閾値sを静的な値であるものとして説明したが、動的な値を適用するようにしてもよい。例えば、補正フィルタ部162では、イントラマクロブロックに係る復号に用いる閾値sと、インターマクロブロックに係る復号に用いる閾値sを異なる値としてもよい。 (B-3) In the above embodiment, the threshold value s that the correction filter unit 162 compares with the quantization parameter QP has been described as a static value. However, a dynamic value may be applied. . For example, in the correction filter unit 162, the threshold s used for decoding related to the intra macroblock may be different from the threshold s used for decoding related to the inter macroblock.

(B−4)上記の実施形態では、補正ブロックサイズを4画素×4画素であるものとして説明したが、他のサイズ(例えば、8画素×8画素、16画素×16画素)としてもよい。 (B-4) In the above embodiment, the correction block size has been described as being 4 pixels × 4 pixels, but other sizes (for example, 8 pixels × 8 pixels, 16 pixels × 16 pixels) may be used.

(B−5)上記の実施形態では、補正フィルタ部162は、顕著性値の算出に上述の参考文献1を適用する例について説明したが、同様の性質の値を算出することができれば、その他の顕著性算出方式を適用するようにしてもよい。 (B-5) In the above embodiment, the correction filter unit 162 has been described with respect to an example in which the above-described Reference Document 1 is applied to the calculation of the saliency value. The saliency calculation method may be applied.

(B−6)上記の実施形態では、動画像復号装置1に、デブロッキングフィルタ処理を行うポストフィルタ部を付加する構成として説明したが、デブロッキングフィルタ以外の処理を行うポストフィルタ部(顕著性値を用いたパラメータの補正処理を行うポストフィルタ)を付加するようにしてもよい。例えば、動画像復号装置1において、顕著性値に応じてパラメータが変動するガウシアンフィルタを付加するようにしてもよい。なお、その場合デブロッキングフィルタとして動作するポストフィルタ部16については省略するようにしてもよい。 (B-6) In the above-described embodiment, the post-filter unit that performs the deblocking filter process is added to the video decoding device 1; however, the post-filter unit that performs processes other than the deblocking filter (saliency) A post filter that performs parameter correction processing using values may be added. For example, in the video decoding device 1, a Gaussian filter whose parameters vary according to the saliency value may be added. In this case, the post filter unit 16 that operates as a deblocking filter may be omitted.

1…動画像復号装置、11…ストリーム入力部、12…予測画像生成部、13…残差算出部、14…デブロッキングフィルタ部、15…参照画像蓄積部、16…ポストフィルタ部、161…顕著性算出部、162…補正フィルタ部、2…表示部。   DESCRIPTION OF SYMBOLS 1 ... Moving image decoding apparatus, 11 ... Stream input part, 12 ... Prediction image generation part, 13 ... Residual calculation part, 14 ... Deblocking filter part, 15 ... Reference image storage part, 16 ... Post filter part, 161 ... Remarkable Sex calculation unit, 162 ... correction filter unit, 2 ... display unit.

Claims (6)

動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、
各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、
上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、
上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、
上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段と
を有することを特徴とする動画像復号装置。
Decoding means for decoding encoded data obtained by dividing and encoding each image constituting the moving image into blocks, and obtaining a first decoded image for each image constituting the moving image;
Saliency calculating means for calculating a saliency value indicating a degree of saliency for each region of the first decoded image, based on a first decoded image of each image;
Boundary strength acquisition means for acquiring boundary strength indicating the strength of a filter for removing block noise for each region of the first decoded image;
Boundary strength correction means for correcting the boundary strength acquired by the boundary strength acquisition means using at least the saliency value calculated by the saliency calculation means for each region of the first decoded image;
A block noise removing unit that performs a process of removing block noise from the first decoded image using the corrected boundary strength corrected by the boundary strength correcting unit, and generates a second decoded image;
A moving picture decoding apparatus comprising: output means for outputting the second decoded picture as a decoding result of the moving picture decoding apparatus.
上記復号手段は、所定の仕様に従って符号化された符号化データを復号する処理を行い、
上記第1の復号画像は、上記所定の仕様に従ってブロックノイズを除去する処理を行う前の画像である
ことを特徴とする請求項1に記載の動画像復号装置。
The decoding means performs a process of decoding encoded data encoded according to a predetermined specification,
The moving image decoding apparatus according to claim 1, wherein the first decoded image is an image before performing a process of removing block noise in accordance with the predetermined specification.
上記復号手段は、H.264の仕様に従った符号化された符号化データを復号する処理を行い、
上記境界強度補正手段は、上記顕著性算出手段の検出結果に加えて、上記符号化データに含まれる上記第1の復号画像に係る量子化パラメータも利用して、上記第1の復号画像の領域ごとの境界強度を補正する
ことを特徴とする請求項2に記載の動画像復号装置。
The decoding means is H.264. A process of decoding encoded data encoded according to the H.264 specification,
The boundary strength correction unit uses the quantization parameter related to the first decoded image included in the encoded data in addition to the detection result of the saliency calculating unit, and uses the quantization parameter related to the first decoded image. The moving picture decoding apparatus according to claim 2, wherein the boundary strength is corrected for each.
上記境界強度補正手段は、上記第1の復号画像の領域ごとに、顕著性値及び量子化パラメータを用いて、ブロック境界ノイズの度合を判定し、その判定結果に応じて、当該領域に係る境界強度を補正することを特徴とする請求項3に記載の動画像復号装置。   The boundary strength correction unit determines the degree of block boundary noise using the saliency value and the quantization parameter for each region of the first decoded image, and according to the determination result, the boundary related to the region The moving picture decoding apparatus according to claim 3, wherein the intensity is corrected. コンピュータを、
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号手段と、
各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出手段と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得手段と、
上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出手段が算出した顕著性値を用いて上記境界強度取得手段が取得した境界強度を補正する境界強度補正手段と、
上記境界強度補正手段により補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去手段と、
上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力手段と
して機能させることを特徴とする動画像復号プログラム。
Computer
Decoding means for decoding encoded data obtained by dividing and encoding each image constituting the moving image into blocks, and obtaining a first decoded image for each image constituting the moving image;
Saliency calculating means for calculating a saliency value indicating a degree of saliency for each region of the first decoded image, based on a first decoded image of each image;
Boundary strength acquisition means for acquiring boundary strength indicating the strength of a filter for removing block noise for each region of the first decoded image;
Boundary strength correction means for correcting the boundary strength acquired by the boundary strength acquisition means using at least the saliency value calculated by the saliency calculation means for each region of the first decoded image;
A block noise removing unit that performs a process of removing block noise from the first decoded image using the corrected boundary strength corrected by the boundary strength correcting unit, and generates a second decoded image;
A moving picture decoding program that causes the second decoded picture to function as output means for outputting the decoding result of the moving picture decoding apparatus.
動画像復号装置が行う動画像復号方法において、
動画像を構成する各画像がブロック単位に分割して符号化された符号化データを復号して、上記動画像を構成する各画像について第1の復号画像を取得する復号工程と、
各画像の第1の復号画像に基づいて、上記第1の復号画像の領域ごとの顕著性の度合いを示す顕著性値を算出する顕著性算出工程と、
上記第1の復号画像の領域ごとのブロックノイズを除去するフィルタの強度を示す境界強度を取得する境界強度取得工程と、
上記第1の復号画像の領域ごとに、少なくとも上記顕著性算出工程で算出された顕著性値を用いて上記境界強度取得工程で取得された境界強度を補正する境界強度補正工程と、
上記境界強度補正工程で補正された補正後の境界強度を用いて、上記第1の復号画像からブロックノイズを除去する処理を行い、第2の復号画像を生成するブロックノイズ除去工程と、
上記第2の復号画像を当該動画像復号装置の復号結果として出力する出力工程と
を有することを特徴とする動画像復号方法。
In the video decoding method performed by the video decoding device,
A decoding step of decoding encoded data obtained by dividing and encoding each image constituting the moving image into blocks, and obtaining a first decoded image for each image constituting the moving image;
A saliency calculation step of calculating a saliency value indicating a degree of saliency for each region of the first decoded image, based on a first decoded image of each image;
A boundary strength acquisition step of acquiring a boundary strength indicating a strength of a filter that removes block noise for each region of the first decoded image;
A boundary strength correction step for correcting the boundary strength acquired in the boundary strength acquisition step using at least the saliency value calculated in the saliency calculation step for each region of the first decoded image;
A block noise removing step of performing a process of removing block noise from the first decoded image using the corrected boundary strength corrected in the boundary strength correcting step, and generating a second decoded image;
An output step of outputting the second decoded image as a decoding result of the moving image decoding apparatus.
JP2013214699A 2013-10-15 2013-10-15 Moving picture decoder, program, and method Pending JP2015080024A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013214699A JP2015080024A (en) 2013-10-15 2013-10-15 Moving picture decoder, program, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013214699A JP2015080024A (en) 2013-10-15 2013-10-15 Moving picture decoder, program, and method

Publications (1)

Publication Number Publication Date
JP2015080024A true JP2015080024A (en) 2015-04-23

Family

ID=53011137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013214699A Pending JP2015080024A (en) 2013-10-15 2013-10-15 Moving picture decoder, program, and method

Country Status (1)

Country Link
JP (1) JP2015080024A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019201256A (en) * 2018-05-14 2019-11-21 シャープ株式会社 Image filter device
JP2022105577A (en) * 2018-05-14 2022-07-14 シャープ株式会社 Image filter device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019201256A (en) * 2018-05-14 2019-11-21 シャープ株式会社 Image filter device
JP2022105577A (en) * 2018-05-14 2022-07-14 シャープ株式会社 Image filter device
JP7332753B2 (en) 2018-05-14 2023-08-23 シャープ株式会社 image filter device

Similar Documents

Publication Publication Date Title
Shahid et al. No-reference image and video quality assessment: a classification and review of recent approaches
KR101547201B1 (en) Apparatus and method of sample adaptive offset for video coding
US9967556B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP6334006B2 (en) System and method for high content adaptive quality restoration filtering for video coding
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
CN103141094B (en) Adaptive loop filter method and apparatus
JP5524423B2 (en) Apparatus and method for efficient sample adaptive offset
CN112913237A (en) Artificial intelligence encoding and decoding method and apparatus using deep neural network
US20140321552A1 (en) Optimization of Deblocking Filter Parameters
KR20170016929A (en) Method and decoder for predicting and filtering color components in pictures
JP2005080301A (en) Dynamic image encoding method and dynamic image decoding method
TW201424405A (en) Multi-view video coding method, and multi-view video decoding method
EP3117607A1 (en) Improved screen content and mixed content coding
CN102119401A (en) Method and apparatus for banding artifact detection
US9344729B1 (en) Selective prediction signal filtering
EP2960854A1 (en) Method and device for determining a set of modifiable elements in a group of pictures
US20130235931A1 (en) Masking video artifacts with comfort noise
JP2014239338A (en) Video encoder, video decoder, video system, video coding method, video decoding method, and program
KR20150103072A (en) Method and apparatus of reducing compression noise in digital video streams
RU2628133C2 (en) Coding and decoding of slides in video-stream images
Wang et al. Perceptually quasi-lossless compression of screen content data via visibility modeling and deep forecasting
JP2015080024A (en) Moving picture decoder, program, and method
JPWO2020145117A1 (en) Image processing equipment and methods
CN104168482B (en) A kind of video coding-decoding method and device
KR20190062284A (en) Method and apparatus for image processing based on perceptual characteristic