JP2016201824A - 画像フィルタ装置、フィルタ方法および動画像復号装置 - Google Patents
画像フィルタ装置、フィルタ方法および動画像復号装置 Download PDFInfo
- Publication number
- JP2016201824A JP2016201824A JP2016139240A JP2016139240A JP2016201824A JP 2016201824 A JP2016201824 A JP 2016201824A JP 2016139240 A JP2016139240 A JP 2016139240A JP 2016139240 A JP2016139240 A JP 2016139240A JP 2016201824 A JP2016201824 A JP 2016201824A
- Authority
- JP
- Japan
- Prior art keywords
- offset
- value
- unit
- type
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 175
- 238000001914 filtration Methods 0.000 title abstract description 7
- 238000012545 processing Methods 0.000 claims description 240
- 230000003044 adaptive effect Effects 0.000 abstract description 194
- 230000015654 memory Effects 0.000 abstract description 140
- 238000006243 chemical reaction Methods 0.000 description 133
- 238000013139 quantization Methods 0.000 description 84
- 230000008569 process Effects 0.000 description 81
- 238000003860 storage Methods 0.000 description 70
- 238000010586 diagram Methods 0.000 description 65
- 239000013598 vector Substances 0.000 description 61
- 238000004364 calculation method Methods 0.000 description 49
- 238000005192 partition Methods 0.000 description 46
- 230000005540 biological transmission Effects 0.000 description 34
- 230000000694 effects Effects 0.000 description 20
- 238000009795 derivation Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000001514 detection method Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000012937 correction Methods 0.000 description 9
- 230000007423 decrease Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 238000012217 deletion Methods 0.000 description 6
- 230000037430 deletion Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000018109 developmental process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 241000209094 Oryza Species 0.000 description 4
- 235000007164 Oryza sativa Nutrition 0.000 description 4
- 101100029969 Plasmodium berghei (strain Anka) PMVI gene Proteins 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 235000009566 rice Nutrition 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
(符号化データ#1)
本実施形態に係る動画像符号化装置2及び動画像復号装置1の詳細な説明に先立って、動画像符号化装置2によって生成され、動画像復号装置1によって復号される符号化データ#1のデータ構造について説明を行う。
ピクチャレイヤでは、処理対象のピクチャPICT(以下、対象ピクチャとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。ピクチャPICTは、図2の(a)に示すように、ピクチャヘッダPH、及び、スライスS1〜SNSを含んでいる(NSはピクチャPICTに含まれるスライスの総数)。
スライスレイヤでは、処理対象のスライスS(対象スライスとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。スライスSは、図2の(b)に示すように、スライスヘッダSH、及び、ツリーブロックTBLK1〜TBLKNC(NCはスライスSに含まれるツリーブロックの総数)のシーケンスを含んでいる。
ツリーブロックレイヤでは、処理対象のツリーブロックTBLK(以下、対象ツリーブロックとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。なお、ツリーブロックのことを最大符号化単位(LCU:Largest Cording Unit)と呼ぶこともある。
ツリーブロックヘッダTBLKHには、対象ツリーブロックの復号方法を決定するために動画像復号装置1が参照する符号化パラメータが含まれる。具体的には、図2の(c)に示すように、対象ツリーブロックの各CUへの分割パターンを指定するツリーブロック分割情報SP_TBLK、および、量子化ステップの大きさを指定する量子化パラメータ差分Δqp(qp_delta)が含まれる。
CUレイヤでは、処理対象のCU(以下、対象CUとも称する)を復号するために動画像復号装置1が参照するデータの集合が規定されている。
続いて、図2の(d)を参照しながらCU情報CUに含まれるデータの具体的な内容について説明する。図2の(d)に示すように、CU情報CUは、具体的には、スキップフラグSKIP、PT情報PTI、および、TT情報TTIを含む。
処理2:処理1にて得られた変換係数を量子化する;
処理3:処理2にて量子化された変換係数を可変長符号化する;
なお、上述した量子化パラメータqpは、動画像符号化装置2が変換係数を量子化する際に用いた量子化ステップQPの大きさを表す(QP=2qp/6)。
上述のとおり、予測情報PInfoには、インター予測情報およびイントラ予測情報の2種類がある。
また、本実施の形態において、各ピクチャまたは各スライスは、4分木構造によって複数のオフセット単位(QAOU:Quad Adaptive Offset Unitとも呼ぶ)に再帰的に分割される。ここで、QAOUとは、本実施の形態に係る適応オフセットフィルタによるオフセットフィルタ処理の処理単位である。
sao_type_idx及びsao_offsetの引数であるsao_curr_depthは、QAOUの分割深度を表すインデックスであり、ys及びxsは、それぞれ、QAOU(または後述するQAOMU)のy方向の位置及びx方向の位置を表すためのインデックスである。
sao_type_idx[sao_curr_depth][ys][xs]は、上述のオフセットタイプ指定情報OTIに対応するものであり、各QAOUについてのオフセットタイプを指定するためのシンタックスである。以下では、sao_type_idxのことを単にオフセットタイプと呼称することもある。
sao_offset[sao_curr_depth][ys][xs][i]は、本実施の形態に係る適応オフセットフィルタによるオフセットフィルタ処理において、対象QAOUに含まれる各画素に加算されるオフセットの具体的な値を表すシンタックスである。本実施の形態では、sao_offsetのことを単にオフセットと呼称することもある。
以下では、本実施の形態に係る動画像復号装置1について図1及び図5〜図13を参照して説明する。動画像復号装置1は、その一部に、H.264/MPEG−4.AVCに採用されている方式、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式、その後継コーデックであるTMuC(Test Model under Consideration)ソフトウェアに採用されている方式、及び、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
図1は、適応オフセットフィルタ60の構成を示すブロック図である。図1に示すように、適応オフセットフィルタ60は、適応オフセットフィルタ情報復号部61及び適応オフセットフィルタ処理部62を備えている。
まず、QAOU制御部622は、オフセット情報格納部621からQAOU構造情報を取得する。
続いて、QAOU制御部622は、処理対象とする対象QAOMUのQAOMU番号をループ変数とする第1のループを開始する。
QAOU制御部622は、オフセットタイプ導出部623にQAOMU番号を供給する。QAOU制御部622による制御に基づき、オフセットタイプ導出部623は、QAOU制御部622から供給されたQAOMU番号によって指定されるオフセットタイプを、オフセット情報格納部621のマップメモリ及びリストメモリから読み出す。また、オフセットタイプ導出部623は、読み出したオフセットタイプを、クラス分類部624に供給する。
続いて、QAOU制御部622は、対象QAOMUに含まれる各画素の画素番号をループ変数とする第2のループを開始する。ここで、画素番号とは、対象QAOMUに含まれる画素を互いに識別するためのものであって、例えば、対象QAOMUに含まれる各画素に対して、所定のスキャン順に付されたものを用いることができる。また、そのような画素番号に代えて、対象QAOMUに含まれる各画素のx座標及びy座標をループ変数としてもよい。
続いて、クラス分類部624は、QAOU制御部622による制御に基づき、処理対象の画素を、オフセットタイプ導出部623から供給されるオフセットタイプにおいて選択可能な複数のクラスの何れかに分類する。また、当該オフセットタイプと、処理対象の画素が分類されたクラスを示すクラスインデックスとをオフセット導出部625に供給する。
続いて、オフセット導出部625は、QAOU制御部622による制御に基づき、処理対象の画素に対して加算すべきオフセットをオフセット情報格納部621から読み出す。すなわち、クラス分類部624から供給されるオフセットタイプ及びクラスインデックスによって指定されるオフセットを読み出す。また、処理対象の画素について導出されたオフセットをオフセット属性設定部613から供給されるシフト値だけ左側へビットシフトすることで逆量子化したオフセットを、オフセット加算部626に供給する。
続いて、オフセット加算部626は、QAOU制御部622による制御に基づき、デブロック済復号画像P_DBの処理対象画素の画素値に対して、オフセット導出部625から供給されるオフセットを加算する。
本ステップは、第2のループの終端である。
本ステップは、第1のループの終端である。
続いて、オフセット(sao_offset)の格納に必要なビット数について説明する。画素ビット深度が10ビットで、オフセットのビット深度が9ビットである場合、オフセットは-29〜29-1の値を取り、オフセット1つあたりのビット数は10ビットと大きなビット数を有することになる。このように大きなビット数のオフセットを復号する場合、オフセット情報格納部621は、オフセットを格納しておくためのメモリサイズとして、1ピクチャあたり最大で、
(1ピクチャあたりのQAOMUの総数)×(クラス数)×(オフセットあたりのビット数)=256×16×10(ビット)=40960(ビット)
を有していることが要求される。1ピクチャあたりのQAOMUの総数は、復号装置では256個であるが、後述する符号化装置では341個用いるため、さらに大きなメモリが必要になる。このように、オフセットの値域を制限せず、オフセットのビット深度で可能な値域を用いる場合には、オフセットのビット数が大きいため、オフセットを格納しておくための大きなメモリサイズが必要になる。
SAO_DEPTHとPIC_DEPTHとは、量子化誤差の観点で互いに密接な関係がある。適応オフセットフィルタ60の出力画像のビット深度は、画素ビット深度PIC_DEPTHであり、SAO_DEPTHは画素に加えるオフセットのビット深度であるから、画素ビット深度を超える精度のオフセットを用いても出力過程で捨てられてしまうため、オフセットの精度であるSAO_DEPTHは、PIC_DEPTH以下で設定されることが好ましい。また、SAO_DEPTHがPIC_DEPTHよりも小さい場合には、入力画像をフィルタにより補正可能な精度(PIC_DEPTH)よりも粗い補正しか行うことができないため、フィルタ効果は減少する。
パターンS1では、図9(a)に示すように、オフセットのビット深度SAO_DEPTHを画素ビット深度PIC_DEPTHと等しくする。オフセットの精度の最大値は画素ビット深度となることから、パターンS1は最大の精度でオフセットを符号化することになる。
パターンS2では、図9(b)に示すように、PIC_DEPTHが10ビット以下の時は、SAO_DEPTHをPIC_DEPTHと等しくし、PIC_DEPTHが11ビット以上の時は、SAO_DEPTHを10とする。パターンS2でオフセットのビット深度の上限を10ビットとしている。発明者の知見により、復号画像の量子化ステップQPの値が小さいとき(ビットレートが高いとき)、オフセットのビット深度が画素ビット深度と同一である場合の方が、オフセットのビット深度を小さくする場合に比較して、符号化効率が高く、逆に、量子化ステップQPの値が大きいとき、オフセットのビット深度が画素ビット深度よりも小さい方が、画素ビット深度と同じ場合よりも符号化効率が高くなる。発明者の実験では、量子化パラメータqpが12から27の領域において、オフセットのビット深度をパターンS2のように定めることにより、画素ビット深度が9ビット以下のときにオフセットのビット深度が8ビットであり、画素ビット深度が10ビット以上のときにオフセットのビット深度が9ビットである場合と比較して、符号化効率が向上することが確認された。したがって、パターンS2において、10ビットを境に画素ビット深度への依存性を変化させることで、パターンS1のようにオフセットのビット深度と画素ビット深度を等しくした場合に比べて、オフセットの符号量を小さくすることができ、高い符号化効率を得ることが可能である。
パターンS3にでは、図9(c)に示すように、PIC_DEPTHが9ビット以下の時は、SAO_DEPTHをPIC_DEPTHと等しくし、PIC_DEPTHが10ビット以上の時は、SAO_DEPTHを9とする。パターンS3でオフセットのビット深度の上限を9ビットとしている。パターンS3においても、パターンS2と同様に、オフセットの符号量を小さくすることができ、高い符号化効率を得ることが可能である。
パターンS4では、図9(d)に示すように、PIC_DEPTHが10ビット以下の時は、SAO_DEPTHをPIC_DEPTHと等しくし、PIC_DEPTHが11ビット以上の時は、SAO_DEPTHを10-floor((PIC_DEPTH-10)/STEP)とする。ここで関数floor(x)はx以下の最大の整数を与える関数である。パターンS4では、画素ビット深度が11ビット以上において、画素ビットがSTEPビットだけ増加(減少)する毎にオフセットのビット深度が1ビットだけ増加(減少)することを意味する。図9(e)では、パターンS4におけるSTEP=2の場合を示していて、画素ビット深度が2ビット増加する毎に、オフセットのビット深度は1ビット増加している。このような構成とすることで、画素ビット深度の大きさを考慮しつつ、ビットレートの大きさに対して、パターンS2及びパターンS3より自由度の高い対応が可能である。
パターンS5ではオフセットのビット深度を明示的に符号化する。具体的には、オフセットのビット深度と所定の値の差を符号化する。所定の値は8、もしくは、画素ビット深度が適当であり、前者の場合、SAO_DEPTH−8が符号化され、後者の場合はPIC_DEPTH−SAO_DEPTHが適当である。なお、オフセットのビット深度は、符号化データの各種パラメータ情報やヘッダもしくは、QAOU情報の一部として符号化しても構わない。QAOU情報の一部としては、リーフQAOUに画素ビット深度を含めておいても良いし、所定の階層(例えば最上位階層のQAOU、や、第1階層のQAOU)のQAOU情報に画素ビット深度を含めておいても構わない。符号化データの一部として符号化することにより、復号装置および符号化装置でビット深度を最適な値に設定することによって符号化効率を最大化させる効果が得られる。また、ビット深度をQAOU情報で符号化する場合には、QAOUの深度sao_curr_depthに応じてビット深度を変更することによりオフセットを格納するメモリの低減が可能である。多くのオフセットが出現する可能性があるのはsao_curr_depthが大きい場合であるから、sao_curr_depthが大きい場合にビット深度を小さくし、sao_curr_depthが小さい場合にビット深度を大きく設定することによって必要なメモリサイズの削減が可能である。例えば、sao_curr_depth=0〜1の場合には、オフセットのビット深度=画素ビット深度(パターンS1)とし、sao_curr_depth=2〜4では、オフセットのビット深度に上限を設定する(パターンS2)などが適当であり、このようにビット深度を符号化する。また、QAOUの深度毎にオフセットのビット深度を符号化するか、QAOUの深度によらずオフセットのビット深度を1つ用いるかを示すフラグを符号化し、QAOUの深度毎に符号化するか否かを切り替えることも適当である。
パターンS6では、明示的な符号化なく、sao_curr_depthに応じてビット深度を決定する。例えば、sao_curr_depth=0〜1の場合には、オフセットのビット深度=画素ビット深度(パターンS1)とし、sao_curr_depth=2〜4では、オフセットのビット深度に上限を設定する(パターンS2)などが適当である。
パターンC1では、SAO_DEPTHに応じてオフセット値域を設定する。以下ではオフセット値域の値を表す最大のビット長をCLIP_BITとする。具体的には、CLIP_BIT=SAO_DEPTH−Kの計算により、オフセット値域を-2CLIP_BIT-1〜2CLIP_BIT-1-1と定める。発明者の実験によれば、K=4が適当であることが見出された。すなわち、K=4の場合には、オフセット値域によりオフセットの範囲を制限しても符号化効率の低下がないことを確認した。K=4は、最も良く使用される画素のビット深度が8の場合に適当である。画素ビット深度が8の場合、オフセットのビット深度SAO_DEPTHも8であり、CLIP_BIT=8−K=4となる。1つのオフセットが4ビットで格納できることは、8ビットのバイトを単位として扱うソフトウェア等で、1バイトに2つのオフセットをパッキングして格納することが可能であり、簡易にメモリサイズの削減が可能である。
パターンC2では、SAO_DEPTHに依らずオフセット値域を設定する。具体的には、CLIP_BIT=8として、オフセット値域を-27〜27-1と定める。
パターンC3では、オフセット値域を、QAOUの階層に応じて決定する。sao_curr_depthが小さい場合(例えば0〜1)には、オフセットのビット深度によらずオフセット値域を決定とし、sao_curr_depthが大きい場合(例えば2〜4)にはオフセットのビット深度によって決定する、が適当である。例えば、前者はCLIP_BIT=8(パターンC2)、後者はSAO_DEPTH−Kビット(パターンC1)とする方法がある。なお、オフセットのビット深度をQAOUの階層に応じて変更する場合には、結果として固定のビット数でも構わないことがある。例えば、CLIP_BIT=4とすることが適当である。
続いて、本実施の形態に係るオフセット(sao_offset)のビット数の第1の具体例について説明する。本例においては、画素ビット深度を10ビットとし、シフト値の設定をパターンS2により行い、オフセット値域の設定をパターンC1により行う場合を説明する。パターンS2ではオフセットのビット深度は10ビットに設定され、パターンC1ではオフセット値域は10−4=6ビットに設定される。オフセット1つあたりのビット数が6ビットであるとは、オフセットのとり得る値を、−32から31までの値に制限することに対応する。本例の場合、オフセット情報格納部621は、オフセットを格納しておくためのメモリサイズとして、1ピクチャあたり最大で、
(1ピクチャあたりのQAOMUの総数)×(クラス数)×(オフセットあたりのビット数)=256×16×6(ビット)=24576(ビット)
を有していれば足りる。
続いて、本実施の形態に係るオフセット(sao_offset)のビット数の第2の具体例について説明する。本例においては、画素ビット深度を10ビットとし、シフト値の設定をパターンS2により行い、オフセット値域の設定をパターンC2により行う例を説明する。パターンS2よりオフセットのビット深度は10ビットに設定され、パターンC2よりオフセット値域は8ビットに設定される。オフセット1つあたりのビット数が8ビットであるとは、オフセットのとり得る値を、例えば−128から127までの値に制限することに対応する。本例の場合、オフセット情報格納部621は、オフセットを格納しておくためのメモリサイズとして、1ピクチャあたり最大で、
(1ピクチャあたりのQAOMUの総数)×(クラス数)×(オフセットあたりのビット数)=256×16×8(ビット)=32768(ビット)
を有していれば足りる。
続いて、オフセット(sao_offset)のビット数の第3の具体例について説明する。本例パターンC1、C2何れかにおいては、オフセットタイプが、エッジオフセット(オフセットタイプ=1〜4)であるのか、バンドオフセット(オフセットタイプ=5〜6)であるのかに応じて、オフセットのビット数に対して異なる値を設定する。ここでは、画素ビット深度を10ビットとする場合を例に、シフト値の設定をパターンS2により行い、エッジオフセットのオフセット値域の設定をパターンC2により行い、バンドオフセットのオフセット値域の設定をパターンC1により行う方法を説明する。
クラス分類部624による分類処理の第1の例について、図10(a)〜(d)から図12を参照して説明する。
オフセットタイプ導出部623から供給されるオフセットタイプが1〜4の何れかであるとき、クラス分類部624は、処理対象の画素の近傍にエッジが存在するか否か、及びエッジが存在する場合にはエッジの種類を判定し、判定した結果に応じて、当該処理対象の画素を、複数のクラスの何れかに分類する。
Sign(pic[x]−pic[a])、及び
Sign(pic[x]−pic[b])
を算出する。ここで、Sign(z)は、
Sign(z)=+1 (z>0のとき)
Sign(z)=0 (z=0のとき)
Sign(z)=−1 (z<0のとき)
の各値をとる関数である。また、何れの画素を画素a及び画素bとして用いるかは、具体的はオフセットタイプに依存し、以下のように定められる。
図10(a)に示すように、処理対象画素xの左側に隣接する画素を画素aとし、処理対象画素の右側に隣接する画素を画素bとする。
図10(b)に示すように、処理対象画素xの上側に隣接する画素を画素aとし、処理対象画素の下側に隣接する画素を画素bとする。
図10(c)に示すように、処理対象画素xの左上の頂点を共有する画素を画素aとし、処理対象画素の右下の頂点を共有する画素を画素bとする。
図10(d)に示すように、処理対象画素xの左下の頂点を共有する画素を画素aとし、処理対象画素の右上の頂点を共有する画素を画素bとする。
図11(b)は、処理対象画素xの画素値と、画素a及びbの画素値との大小関係を示すグラフ、及びその大小関係に応じたEgdeTypeの値を示す図である。図11(b)において、各グラフの中心の黒丸は、処理対象画素xの画素値を示しており、両端の黒丸は、画素a及びbの画素値を示している。また、図11(b)に示すグラフにおける上下方向は、画素値の大小を示している。
ここで、EoTbl[EdgeType]は、EdgeTypeからclass_idxを導出するために用いられる変換テーブルである。当該変換テーブルEoTblの具体例を図11(d)に示す。
オフセットタイプ導出部623から供給されるオフセットタイプが5〜6の何れかであるとき、クラス分類部624は、処理対象画素xの画素値pic[x]に応じて、当該処理対象画素の画素値を複数のクラスの何れかに分類する。
クラス分類部624は、処理対象画素xの画素値pic[x]が、
(max×1/4)≦pic[x]≦(max×3/4)
を満たしている場合に、当該処理対象画素をクラス0以外のクラスに分類する。すなわち、処理対象画素の画素値が、図12(a)における斜線の範囲内である場合に、当該処理対象画素をクラス0以外のクラスに分類する。なお、上記maxは、処理対象画素xの画素値の取り得る最大値を表しており、例えば、max=255である。また、max=255であるとき、上記の条件は、
8≦(pic[x]/8)≦23
と表現することもできる。
クラス分類部624は、処理対象画素xの画素値pic[x]が、
pic[x]≦(max×1/4)または(max×3/4)≦pic[x]
を満たしている場合に、当該処理対象画素をクラス0以外のクラスに分類する。すなわち、処理対象画素の画素値が、図12(b)における斜線の範囲内である場合に、当該処理対象画素をクラス0以外のクラスに分類する。なお、上記maxは、処理対象画素xの画素値の取り得る最大値を表しており、例えば、max=255である。また、max=255であるとき、上記の条件は、
(pic[x]/8)≦7または24≦(pic[x]/8)
と表現することもできる。
ここで、BoTbl[sao_type_idx][pic[x]/8]は、処理対象画素xの画素値pic[x]とsao_type_idxとから、class_idxを導出するために用いられる変換テーブルである。当該変換テーブルBoTblの具体例を図12に示す。図12(c)において「BO_1」は、sao_type_index=5であることを示しており、「BO_2」は、sao_type_index=6であることを示している。
続いて、クラス分類部624による分類処理の第2の例について説明する。
ここで、「>>」は右ビットシフトを表しており、「shift」は、ビットシフトの大きさを表している。「shift」の具体的な値は、例えば、画素値のビット深度と正の相関を有するように定めることができる。
続いて、クラス分類部624による分類処理の第3の例について説明する。
Sign(z)=0 (−th≦z≦thのとき)
Sign(z)=−1 (z<−thのとき)
ここで、thは、予め定められた値を有する閾値である。閾値thの具体的な値は、その絶対値が、例えば、画素値のビット深度と正の相関を有するように定めることができる。
続いて、クラス分類部624による分類処理の第4の例について説明する。
・MIN=15、MAX=240
・MIN=16、MAX=239
・MIN=16、MAX=235
の何れかの組み合わせを用いることが好ましい。
以下では、符号化対象画像を符号化することによって符号化データ#1を生成する動画像符号化装置2について、図14から図18(a)〜(d)を参照して説明する。動画像符号化装置2は、その一部に、H.264/MPEG−4.AVCに採用されている方式、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式、その後継コーデックであるTMuC(Test Model under Consideration)ソフトウェアに採用されている方式、及び、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
図15は、適応オフセットフィルタ80の構成を示すブロック図である。図15に示すように、適応オフセットフィルタ80は、適応オフセットフィルタ情報設定部81及び適応オフセットフィルタ処理部82を備えている。
オフセット算出部811は、対象の処理単位(例えばLCU)に含まれる所定の分割深度までの全てのQAOMUに対して、全てのオフセットタイプ及び全てのクラスについてのオフセットを算出する。ここで、オフセットタイプ及びクラスは、動画像復号装置1の説明において説明したものと同じものを指す。
まず、オフセット算出部811は、処理対象とする対象QAOMUのQAOMU番号をループ変数とする第1のループを開始する。例えば、図7(a)〜(e)に示した例の場合、当該第1のループは、QAOMU番号=0からQAOMU番号=340までのループである。
続いて、オフセット算出部811は、対象QAOMUに対して選択可能なオフセットタイプをループ変数とする第2のループを開始する。当該第2のループは、オフセットタイプ1からオフセットタイプ6までのループである。
続いて、オフセット算出部811は、対象QAOMUに含まれる画素を単位とする第3のループを開始する。
続いて、オフセット算出部811は、対象画素を複数のクラスの何れかに分類する。より具体的には、第2のループ変数であるオフセットタイプが1〜4であるとき、対象画素をクラス1〜4の何れかに分類する。本ステップにおける分類処理は、動画像復号装置1における適応オフセットフィルタ60の備えるクラス分類部624による分類処理例1〜分類処理例4の何れかと同じ処理である。
続いて、オフセット算出部811は、対象画素におけるデブロック済復号画像P_DBの画素値と該対象画素における符号化対象画像#10の画素値との差分をとることによって該対象画素における差分画素値を算出する。より具体的には、対象画素の位置を(x、y)としたとき、P_DB(x、y)−Org(x、y)を算出する。ここで、P_DB(x、y)は、対象画素におけるデブロック済復号画像P_DBの画素値を表しており、Org(x、y)は、対象画素における符号化対象画像#10の画素値を表している。
本ステップは、第3のループの終端である。本ステップが終了した時点で、対象QAOMUに含まれる全ての画素に関して、差分画素値が算出されていることになる。
続いて、オフセット算出部811は、対象QAOMUに含まれる各画素についての差分画素値のクラス毎の総和を、該クラスの分類回数で除算することによってオフセットを算出する。より具体的には、オフセット算出部811は、対象QAOMU、対象オフセットタイプ、及び対象クラスについてのオフセットoffset[part_idx][sao_type_idx][class_idx]を以下の式を用いて算出する。
ここで、記号Σは、part_idxによって指定される対象QAOMU、及びsao_type_idxによって指定される対象オフセットタイプにおいて、class_idxによって指定される対象クラスに分類された画素についての和をとることを示している。
本ステップは第2のループの終端である。
本ステップは第1のループの終端である。
((分割深度0のQAOMUの総数)+...+(分割深度4のQAOMUの総数))×((EOのオフセットタイプ数)×(EOのクラス数)+(BOのオフセットタイプ数)×(BOのクラス数))=(1+4+16+64+256)×((4×4)+(2×16))=16368(個)
のオフセットを算出することになる。ここで、各オフセットのビット数は例えば10ビットである。
オフセットシフト部816は、オフセット算出部811から供給されるオフセット情報に含まれる各オフセットの量子化を行う。量子化はオフセットを右側へビットシフトすることで、オフセットを画素ビット深度の精度からオフセットのビット深度の精度へ変換する。なお、シフト処理におけるシフト量は、後述するオフセット属性設定部815によって供給されるシフト値により決定される。
オフセットクリップ部812は、後述するオフセット属性設定部815から供給されるオフセット値域へ制限するために、オフセットシフト部816から供給されるオフセットに対して以下に示すようなクリップ処理1、クリップ処理2の何れかの処理によってクリップの処理を行う。
オフセットクリップ部812は、オフセットシフト部816から供給されるオフセット情報に含まれる各オフセットに対してクリップ処理を行う。オフセットクリップ部812は、オフセットシフト部816から供給される各オフセットを例えば−8から7までの値にクリップすることによって、各オフセットを4ビットで表現する。クリップされた各オフセットは、オフセット情報選択部813に供給される。クリップするビット幅は、動画像復号装置1と同様、画像のビット深度とオフセットのビット深度に応じて設定される。
また、オフセットクリップ部812は、オフセットシフト部816から供給される各オフセットのクリップ範囲を、オフセットタイプに応じて異なる値を設定する構成としてもよい。
オフセット情報選択部813は、RDコスト(Rate-Distorsion cost)がより小さくなるオフセットタイプ、クラス、オフセットの組み合わせ、及び、それに対応するQAOU分割構造を決定し、決定したオフセットタイプ、クラス、オフセット及び、それに対応するQAOM分割構造を示すQAOU情報を可変長符号符号化部22に供給する。また、オフセット情報選択部813は、決定したオフセットをQAOU毎又はQAOMU毎に適応オフセットフィルタ処理部82に供給する。
まず、オフセット情報選択部813は、処理対象とする対象QAOMUのQAOMU番号をループ変数とする第1のループを開始する。
続いて、オフセット情報選択部813は、対象QAOMUに対して選択可能なオフセットタイプをループ変数とする第2のループを開始する。当該第2のループは、オフセットタイプ1からオフセットタイプ6までのループである。
続いて、オフセット情報選択部813は、対象オフセットタイプについて、対象QAOMUにおけるオフセットフィルタ済復号画像P_OFと符号化対象画像#10との二乗誤差を対算出する。
本ステップは第2のループの終端である。
本ステップは第1のループの終端である。第1及び第2のループが終了した時点で、各QAOMUに関して、全てのオフセットタイプについての二乗誤差が算出されることになる。
続いて、オフセット情報選択部813は、対象の処理単位(例えばLCU)をQAOUに分割するQAOU分割構造のうち、RDコストがより小さくなるQAOU分割構造を決定する。
オフセット属性設定部815は、図示されない画素ビット深度を入力としてオフセットのビット深度を決定する。決定されたオフセットのビット深度により、オフセット値域及びシフト値を設定する。オフセット値域は適応オフセットフィルタ処理部82に供給され、シフト値はオフセットシフト部816に供給される。オフセット値域及びシフト値の設定は上述したオフセット属性設定部613と同一の処理のため、ここでは説明を省略する。
適応オフセットフィルタ処理部82は、対象QAOUにおけるデブロック済復号画像P_DBの各画素に対して、オフセット情報選択部813から供給されるオフセットを加算する。適応オフセットフィルタ処理部82は、デブロック済復号画像P_DBに含まれる全てのQAOUに対して処理を行って得られる画像をオフセットフィルタ済復号画像P_OFとして出力する。なお、適応オフセットフィルタ処理部82の構成は、適応オフセットフィルタ処理部62と同一のため、ここでは説明を省略する。ここで図示されない適応オフセットフィルタ処理部82に含まれるオフセット情報格納部に格納される各オフセットは、オフセット属性設定部815によって設定されるオフセット値域に制限される。
実施の形態1では、符号化データ#1に含まれるsao_offset[sao_curr_depth][ys][xs][i]は、適応オフセットフィルタによるオフセットフィルタ処理において、対象QAOUに含まれる各画素に加算されるオフセットの具体的な値を表すシンタックスであるものとした。
本実施の形態に係る符号化データは、実施の形態1に係る符号化データ#1に含まれるsao_offset[sao_curr_depth][ys][xs][i]に代えて、オフセット残差sao_offset_residual[sao_curr_depth][ys][xs][i]を含んでいる。本実施の形態に係る符号化データのその他の構成は、実施の形態1に係る符号化データ#1の構成と同様である。以下では、本実施の形態に係る符号化データを符号化データ#3と表記することもある。
オフセット残差sao_offset_residual[sao_curr_depth][ys][xs][i]は、本実施の形態に係る適応オフセットフィルタによるオフセットフィルタ処理において対象QAOUに含まれる各画素に加算されるオフセットの値と、該オフセットの値の予測値との重みつき差分値であり、sao_offset_residual[sao_type_idx][class_idx]とも表記する。
sao_offset_residual[sao_type_idx][class_idx]
= Offset[sao_type_idx][class_idx]
- a*pred_offset[merge_tbl[sao_type_idx]][class_idx]
によって与えられる。ここで、aは、予測値pred_offsetに乗ぜられる重み係数であり、merge_tblは、sao_type_idxを引数とする関数である。a及びmerge_tblの具体例については後述するためここでは説明を省略する。
本実施の形態に係る動画像復号装置は、実施の形態1に係る動画像復号装置1の備える適応オフセットフィルタ60に代えて、適応オフセットフィルタ60’を備えている。本実施の形態に係る動画像復号装置のその他の構成は、実施の形態1に係る動画像復号装置1の構成と同様である。
オフセット情報復号部611’は、符号化データ#3に含まれているQAOU情報を参照し、QAOU情報に含まれているオフセット情報OIを復号する。また、オフセット情報OIを復号することによって得られたオフセット残差sao_offset_residual[sao_type_idx][class_idx]と、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]とを用いて、適応オフセットフィルタ処理に用いられるオフセットOffset[sao_type_idx][class_idx]を、
Offset[sao_type_idx][class_idx]
=a*pred_offset[merge_tbl[sao_type_idx]][class_idx]
+ sao_offset_residual[sao_type_idx][class_idx]
によって算出し、算出したオフセットOffset[sao_type_idx][class_idx]を、オフセット情報格納部621に格納する。ここで、pred_offset[merge_tbl[sao_type_idx]][class_idx]は、Offset[sao_type_idx][class_idx]の予測値である。merge_tbl[sao_type_idx]は、sao_type_idx=1〜6に対して、インデックスが与えられるテーブルであり、1つ以上のsao_type_idxを同一のグループとしてみなすことが可能である。
pred_offset[merge_tbl[sao_type_idx]][class_idx]の第1の具体例について説明する。本例では、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]を、
pred_offset[merge_tbl[sao_type_idx]][class_idx]
= Offset'[sao_type_idx][class_idx]
によって定める。ここで、Offset'[sao_type_idx][class_idx]は、復号済みのオフセットであって、オフセットタイプインデックスsao_type_idx、及び、クラスインデックスclass_idxに関連付けられたオフセットを表している。
pred_offset[merge_tbl[sao_type_idx]][class_idx]の第2の具体例について説明する。本例では、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]を、
pred_offset[merge_tbl[sao_type_idx]][class_idx]
= (pred_offset'[merge_tbl[sao_type_idx]][class_idx]*W1
+ Offset'[sao_type_idx][class_idx]*W2) >> log2(W1+W2)
によって定める。ここで、pred_offset'[merge_tbl[sao_type_idx]][class_idx]は、復号済みのオフセットOffset'[sao_type_idx][class_idx]を算出する際に用いた予測値を表している。また、「*」は、積をとる演算記号を表しており、「>>」は右ビットシフトを表している。また、W1及びW2は、それぞれ重み係数を表しており、例えば、W1=3、W2=1ととることができる。W1及びW2の具体的な値は、符号化効率がより高くなるように定めればよい。
pred_offset[merge_tbl[sao_type_idx]][class_idx]の第3の具体例について説明する。本例では、予測値pred_offset[merge_tbl[sao_type_idx]][class_idx]を、
pred_offset[merge_tbl[sao_type_idx]][class_idx]
= clip3(-th、 th、 pred_offset[merge_tbl[sao_type_idx]][class_idx])
によって定める。ここで、clip3(A、B、C)は、値Cを下限値A及び上限値Bでクリップすることを示している。また、clip3の引数のpred_offset[merge_tbl[sao_type_idx]]は、例えば、上記具体例1または2のように定められるものとする。また、閾値thは、例えば、画素値のビット深度bit_depthに依存して以下のように定められる。
th = 8 (bit_depth > 8)
このように、本例では、上限値及び下限値でクリップした予測値を用いることによって、大きすぎる予測値や小さすぎる予測値が生じることがないので、符号化効率の向上を図ることが出来る。また、上限値及び下限値の絶対値は、画素値のビットが大きいときに大きくなるように設定されているので、画素値のビット深度に応じて、適切なクリップ処理を行うことができ、画質の劣化を防止することができる。
図20(a)は、関数merge_tbl[sao_type_idx]の第1の具体例を示す表である。図20(a)に示すように、本例に係るmerge_tbl[sao_type_idx]は、sao_type_idx=0のときには値をとらず、sao_type_idx=1〜6のとき、それぞれ、0〜5の値をとる。したがって、本例に係るmerge_tbl[sao_type_idx]は、
merge_tbl[sao_type_idx] = sao_type_idx - 1
と表現することもできる。
図20(b)は、関数merge_tbl[sao_type_idx]の第2の具体例を示す表である。図20(b)に示すように、本例に係るmerge_tbl[sao_type_idx]は、エッジオフセット(sao_type_idx=1〜4)のとき、0の値をとり、バンドオフセット(sao_type_idx=5〜6)のとき、1〜2の値をとる。
復号対象のオフセットに関連付けられたクラスと同じクラスの復号済みのオフセットから当該復号対象のオフセットの予測値を算出する。ここで、復号対象のオフセットと予測値とはクラスが同じであれば、オフセットタイプは異なっていてもよい。したがって、あるオフセットタイプのオフセットを算出するために設定された予測値を、当該あるオフセットとは異なるオフセットタイプのオフセットを算出するために用いることができるので、予測値を設定するための処理が軽減される。
復号対象のオフセットに関連付けられたオフセットタイプ及びクラスと同じオフセットタイプ及びクラスのオフセットから当該復号対象のオフセットの予測値を算出する。
予測値pred_offsetに乗ぜられる重み係数aは、オフセットタイプによらずに1を用いてもよいし、オフセットタイプに依存して異なる値を用いてもよい。
a=1(エッジオフセットのとき)
a=0.5(バンドオフセットのとき)
としてもよい。より一般には、エッジオフセットが指定された場合の係数aを、a(edge)と表し、バンドオフセットが指定された場合の係数aを、a(band)と表すことにすると、
a(edge)>a(band)
を満たすものを用いればよい。
本実施の形態に係る動画像符号化装置は、実施の形態1に係る動画像符号化装置2の備える適応オフセットフィルタ80に代えて、適応オフセットフィルタ80’を備えている。本実施の形態に係る動画像符号化装置のその他の構成は、実施の形態1に係る動画像符号化装置2の構成と同様である。
オフセット残差導出部814は、オフセット情報選択部813から供給されるオフセットと、当該オフセットの予測値との差分をとることによって、オフセット残差を算出する。当該オフセット残差は、QAOU情報の一部として、可変長符号符号化部22によって符号化される。
本発明は以下のように記載することもできる。
まず、本実施の形態におけるオフセット情報OIについて、図23を参照して説明する。図23(a)は、オフセット情報OI(図23(a)において“sao_offset_param()”と表記)のシンタクスを示す図である。
“sao_type_idx”および“sao_offset”の引数である“sao_curr_depth”は、QAOUの分割深度を表すパラメータであり、“ys”および“xs”は、それぞれ、QAOU(または後述するQAOMU)のy方向の位置およびx方向の位置を表すためのパラメータである。
次に、本実施の形態に係る動画像復号装置1’について、図22および図24〜図29を参照して説明する。なお、上記の実施の形態において示した部材と同一の機能を有する部材には、同一の符号を付し、その説明を省略する。
次に、適応オフセットフィルタ60’の詳細について、図22を参照して説明する。図22は、適応オフセットフィルタ60’の構成を示すブロック図である。図22に示すように、適応オフセットフィルタ60’は、適応オフセットフィルタ情報復号部61’および適応オフセットフィルタ処理部62’を含む構成である。
シフト値 = PIC_DEPTH―MIN(PIC_DEPTH、10)
また、一つの構成として、オフセットの値域(ここでは、最大値)を以下の式で決定する。
但し、Kは所定の定数とする(後述)。
SAO_DEPTH = MIN(PIC_DEPTH、10)
シフト値 = PIC_DEPTH―MIN(PIC_DEPTH、10)
として、QAOUの階層の深度が閾値以上である場合のオフセットの精度を、
SAO_DEPTH = MIN(PIC_DEPTH、8)
シフト値 = PIC_DEPTH―MIN(PIC_DEPTH、8)
のようにすれば、オフセットの精度を異なるものとすることができる。
オフセットタイプ導出部623から供給されるオフセットタイプが1〜4の何れかであるときのクラス分類部624の処理は、上記で図10を参照して説明した通りである。
これにより、図26(b)に示すように、画素値pic[x]に対し、画素aおよびbのいずれの画素値も大きい場合は、EgdeType=0となる。また、画素値pic[x]に対し、画素aおよびbのうち、一方の画素値が大きく、他方の画素値が同じ場合は、EgdeType=1となる。また、画素値pic[x]に対し、画素aおよびbのうち、一方の画素値が小さく、他方の画素値が同じ場合は、EgdeType=3となる。また、画素値pic[x]に対し、画素aおよびbのいずれの画素値も小さい場合は、EgdeType=4となる。また、画素値pic[x]に対し、画素aおよびbのうち、一方の画素値が小さく、他方の画素値が大きい場合、または、画素値pic[x]に対し、画素aおよびbのいずれの画素値も同じ場合は、EgdeType=2となる。
ここで、EoTbl[EdgeType]は、EdgeTypeからclass_idxを導出するために用いられる変換テーブルである。当該変換テーブルEoTblの具体例を図26(d)〜(f)に示す。
オフセットタイプ導出部623から供給されるオフセットタイプが5または6であるとき、クラス分類部624は、処理対象画素xの画素値pic[x]に応じて、当該処理対象画素の画素値を複数のクラスの何れかに分類する。
クラス分類部624は、処理対象画素xの画素値pic[x]が、
(max×1/4)≦pic[x]≦(max×3/4)
を満たしている場合に、当該処理対象画素をクラス0以外のクラスに分類する。すなわち、処理対象画素の画素値が、図27(a)における斜線の範囲内である場合に、当該処理対象画素をクラス0以外のクラスに分類する。なお、上記maxは、処理対象画素xの画素値の取り得る最大値を表しており、例えば、max=255である。また、max=255であるとき、上記の条件は、8≦(pic[x]/8)≦23と表現することもできるし、4≦(pic[x]/16)≦11と表現することもできる。
クラス分類部624は、処理対象画素xの画素値pic[x]が、
pic[x]≦(max×1/4)または(max×3/4)≦pic[x]
を満たしている場合に、当該処理対象画素をクラス0以外のクラスに分類する。すなわち、処理対象画素の画素値が、図27(b)における斜線の範囲内である場合に、当該処理対象画素をクラス0以外のクラスに分類する。なお、上記maxは、処理対象画素xの画素値の取り得る最大値を表しており、例えば、max=255である。また、max=255であるとき、上記の条件は、(pic[x]/8)≦7または24≦(pic[x]/8)と表現することもできるし、(pic[x]/16)≦3または12≦(pic[x]/16)と表現することもできる。
・処理対象のQAOUの階層の深度が閾値よりも小さい場合
class_idx=EoTbl[sao_type_idx][pic[x]/>>BoRefBit32]
・処理対象のQAOUの階層の深度が閾値以上の場合
class_idx=EoTbl[sao_type_idx][pic[x]/>>BoRefBit16]
ここで、EoTbl[sao_type_idx][pic[x]/>>BoRefBit32]、およびEoTbl[sao_type_idx][pic[x]/>>BoRefBit16]は、処理対象画素xの画素値pic[x]とsao_type_idxとから、class_idxを導出するために用いられる変換テーブルである。BoRefBit32とBoRefBit16は、画像ビット深度をPIC_DEPTHとする場合に、各々PIC_DEPTH−5、PIC_DEPTH−4で導出される値であり、画素値を32段階もしくは16段階の値に量子化したものである。量子化された画素値はpixquantとも記述する。BoRefBit32およびBoRefBit16で右シフトすることは、1<<BoRefBit32および1<<BoRefBit16で除算することに対応する。この量子化幅は画素値のビット深度が8ビットの場合にはそれぞれ、1<<(8-5)=8、1<<(8-4)=16である。以下、量子化幅が8の場合を説明する。また、この量子化幅をクラスの幅と呼ぶ。
(オフセット情報復号部611の構成)
図41は、適応オフセットのパラメータの種類(パラメータ条件)に応じて、使用するオフセットタイプを変更する、かつ/もしくは、適応オフセットのパラメータ条件に応じて、クラスの分類数を変更するオフセット情報復号部611のブロック図である。オフセット情報復号部611は、適応的オフセットタイプ復号部6111、使用オフセットタイプ選択部6112、オフセットタイプ復号部6113、適応的オフセット復号部6114、使用オフセット数選択部6115、オフセット復号部6116から構成される。なお、パラメータ条件とは、画素値から算出される値以外のパラメータであり、上記で説明した階層、オフセットタイプの他、後述の付記事項にて説明するブロックサイズ(QAOUサイズ)、色成分(コンポーネント)、QPがある。
図43は、クラス分類部624の構成を示すブロック図である。
次に、符号化対象画像を符号化することによって符号化データ#1を生成する動画像符号化装置2’について、図30、31を参照して説明する。動画像符号化装置2’は、動画像符号化装置2と同様に、その一部に、H.264/MPEG−4.AVCに採用されている方式、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式、その後継コーデックであるTMuC(Test Model under Consideration)ソフトウェアに採用されている方式、および、HM(HEVC TestModel)ソフトウェアに採用されている技術を含んでいる。
次に、適応オフセットフィルタ80’について、図30を参照して説明する。図30は、適応オフセットフィルタ80’の構成を示すブロック図である。図30に示すように、適応オフセットフィルタ80’は、適応オフセットフィルタ情報設定部81’および適応オフセットフィルタ処理部82’を含む構成である。
オフセット算出部811は、対象の処理単位(例えばLCU)に含まれる所定の分割深度までの全てのQAOUに対して、処理対象のQAOUの階層に応じて存在する全てのオフセットタイプおよび全てのクラスについてのオフセットを算出する。ここで、オフセットタイプおよびクラスは、動画像復号装置1の説明において説明したものと同じものを指す。
オフセットクリップ部812は、オフセット算出部811から供給されるオフセットに対して以下に示すようなクリップ処理1、クリップ処理2の何れかの処理によってクリップの処理を行う。
オフセットクリップ部812は、オフセット算出部811から供給される各オフセットを例えば−8から7までの値にクリップすることによって、各オフセットを4ビットで表現する。クリップされた各オフセットは、オフセット情報選択部813に供給される。クリップするビット幅は、動画像復号装置1と同様、画像のビット深度とオフセットのビット深度に応じて設定される。
また、オフセットクリップ部812は、オフセット算出部811から供給される各オフセットのクリップ範囲を、オフセットタイプに応じて異なる値を設定する構成としてもよい。
オフセット情報選択部813は、RDコスト(Rate-Distortion cost)がより小さくなるオフセットタイプ、クラス、オフセットの組み合わせ、および、それに対応するQAOU分割構造を決定し、決定したオフセットタイプ、クラス、オフセットおよび、それに対応するQAOM分割構造を示すQAOU情報を可変長符号符号化部22に供給する。また、オフセット情報選択部813は、決定したオフセットをQAOU毎に適応オフセットフィルタ処理部82に供給する。
適応オフセットフィルタ処理部82’は、対象QAOUにおけるデブロック済復号画像P_DBの各画素に対して、オフセット情報選択部813から供給されるオフセットを加算する。適応オフセットフィルタ処理部82’は、デブロック済復号画像P_DBに含まれる全てのQAOUに対して処理を行って得られる画像をオフセットフィルタ済復号画像P_OFとして出力する。なお、適応オフセットフィルタ処理部82’の構成は、適応オフセットフィルタ処理部62’と同一のため、ここでは説明を省略する。
また、上述したように、QAOUの階層の深度に応じてとは、QAOUのサイズに応じてということもできる。すなわち、QAOUのサイズに応じてSAOのタイプ数、クラス数やオフセット精度を異ならせてもよい。
また、輝度値に対してオフセットを加えるQAOU(以下、輝度ユニットとも言う)のサイズと、色差に対してオフセットを加えるQAOU(以下、色差ユニットとも言う)のサイズとを異ならせ、色差ユニットでは、輝度ユニットよりも、SAOのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。
SAO_DEPTH = MIN(PIC_DEPTH、AY)
シフト値 = PIC_DEPTH―MIN(PIC_DEPTH、AY)
として、色差成分の場合には、オフセットの精度、シフト値を、
SAO_DEPTH = MIN(PIC_DEPTH、THC)
シフト値 = PIC_DEPTH―MIN(PIC_DEPTH、AC)
のように求める場合に、精度を制御する変数AY、ACとしてAY>ACを用いることが適当である。例えば、AY=10もしくは9、AC=8とする。この場合、輝度成分のオフセットの精度は、色差成分よりも大きいものとなる。シフト値については輝度成分のシフト値が、色差成分よりも小さい値となる。
また、CUの量子化パラメータqpの値(qp値)が閾値以上の場合に、SAOのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。qp値は、ピクチャの初期のQP値を用いてもよいし、SAOの処理対象QAOUがLCUやCUの境界に沿っている場合には、QAOUの左上座標もしくは中心座標に対応する位置のCUのqp値を用いてもよい。
また、特定タイプのピクチャ、例えばBピクチャや非参照ピクチャ(IDRピクチャ)では、SAOのタイプの種類、タイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。
また、画面上におけるQAOUの位置に応じて、SAOのタイプ数、クラス数、オフセット精度、および分割の最大階層を制限する構成であってもよい。
本発明の他の実施の形態について図32に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、画素値に応じて、EOとBOとを切り換える点である。
・“sao_type_idx”=1:(BO_EO_0) 実施の形態1のEO_0+BOに相当
・“sao_type_idx”=2:(BO_EO_1) 実施の形態1のEO_1+BOに相当
・“sao_type_idx”=3:(BO_EO_2) 実施の形態1のEO_2+BOに相当
・“sao_type_idx”=4:(BO_EO_3) 実施の形態1のEO_3+BOに相当
また、実施の形態1におけるEO_0〜3、および BO_0,1は用いない。
本発明の他の実施の形態について図33、34、42に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、EOのクラス分類において、エッジの判定に用いる画素を、判定対象の画素の水平方向に存在する画素のみに限定する点である。
s1=sign(x1−x0)−sign(x2−x1)
次に、画素値x2の画素について、両隣との差分を算出すると、以下の通りとなる。
s2=sign(x2−x1)−sign(x3−x2)
ここで、s1、s2はx1、x2におけるエッジのクラス分類に用いられる値である。
Sign(z)=0 (−th≦z≦thのとき)
Sign(z)=−1 (z<−thのとき)
ここで、thは、予め定められた値を有する閾値である。
本発明の他の実施の形態について図35〜37に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、色差の画素値の中央付近において、オフセット精度を向上させるか、またはクラスの分割を細かくしている点である。
また、オフセットの加算を、無彩色(=色差の画素値128)に近づける方向に行う構成であってもよい。すなわち、オフセット加算部626は、画素値が128以上と128未満とで、加算するオフセットの符号を逆にして扱ってもよい。例えば、オフセットa のとき、x’=x+a(x<128),x’=x−a(x≧128)としてもよい。
また、色差において、中間階調域とその他の値域とに分けてオフセットを加算する構成であってもよい。例えば、図37(a)に示すように、無彩色の画素値を考慮してクラス分類を行ってもよい。図37(a)に示す例では、“sao_type_idx”=5(BO_0)の場合、中間階調域にクラスが割り当てられ、“sao_type_idx”=6(BO_1)の場合、中間階調域以外の値域にクラスが割り当てられている。
本発明の他の実施の形態について図38〜40に基づいて説明すれば、以下のとおりである。本実施形態において、上記実施形態と異なるのは、オフセットの値そのものではなく、オフセットの値を予測符号化、すなわち、オフセットの値と当該オフセットの値の予測値とを用いて算出されるオフセット残差を符号化する点、およびオフセット予測値に「0」を設ける点である。
給された予測値および符号化予測値算出部663から供給された予測値から、オフセット復元部652に供給する予測値を選択する。
“Offset”=“pred”+“sao_offset”
ここで、分類される画素がないクラス(空のクラス)がある場合に、符号量が増えてしまう理由について、図39を参照して説明する。図39は、空のクラスがある場合の概要を示す図である。図39に示すように、空でないクラスには、当該クラスのオフセットが符号化されている。そして、クラス毎に、前回のオフセットを予測値として該予測値とオフセットとの差分が符号化される。しかしながら、空のクラスがあると、予測値が「0」となり、差分値が大きくなってしまう。これにより、符号量が増大してしまう。
また、上記実施の形態3〜7において、イントラ予測モードを用いて、LCU単位で、エッジオフセットのクラスを推定したり、制限したり、並べ替えを行ったりしてもよい。
従来の適応オフセットフィルタでは、オフセットの種類(タイプ、クラス)が多いため、大きなメモリサイズが必要となってしまう可能性がある。そこで、本実施の形態では、メモリサイズの増大を抑制しつつ、ブロック歪みを低減することのできる画像フィルタ装置等を実現している。
、メモリの使用量を削減することができる。また、選択可能なオフセット数が少なくなる
ことで、符号量が削減でき、符号化効率が向上する。
上述した動画像復号装置1(1’)および動画像符号化装置2(2’)は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像(CGおよびGUIを含む)であってもよい)。
最後に、動画像復号装置1(1’)および動画像符号化装置2(2’)の各ブロック、特に可変長符号復号部13、動きベクトル復元部14、インター予測画像生成部16、イントラ予測画像生成部17、予測方式決定部18、逆量子化・逆変換部19、デブロッキングフィルタ41、適応フィルタ50、適応オフセットフィルタ60(60’)、変換・量子化部21、可変長符号符号化部22、逆量子化・逆変換部23、イントラ予測画像生成部25、インター予測画像生成部26、動きベクトル検出部27、予測方式制御部28、動きベクトル冗長性削除部29、デブロッキングフィルタ33、適応フィルタ70、適応オフセットフィルタ80(80’)は、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現していてもよいし、CPU(central processing unit)を用いてソフトウェア的に実現してもよい。
41 デブロッキングフィルタ
50 適応フィルタ
60、60’ 適応オフセットフィルタ(画像フィルタ装置)
611、611’ オフセット情報復号部(オフセット復号装置、決定手段、オフセット属性設定手段、オフセット復号手段、オフセット残差復号手段、予測値導出手段)
612 QAOU構造復号部
613 オフセット属性設定部(オフセット属性設定手段)
621 オフセット情報格納部
622 QAOU制御部
623 オフセットタイプ導出部
624 クラス分類部(算出手段、ビットシフト手段、分類手段)
625 オフセット導出部(オフセット逆シフト手段)
626 オフセット加算部(オフセット手段)
2 動画像符号化装置(符号化装置)
33 デブロッキングフィルタ
70 適応フィルタ
80、80’ 適応オフセットフィルタ(画像フィルタ装置)
811 オフセット算出部
812 オフセットクリップ部
813 オフセット情報選択部
814 オフセット残差導出部
815 オフセット属性設定部(オフセット属性設定手段)
816 オフセットシフト部(オフセットシフト手段)
Claims (15)
- 符号化データを参照し、オフセット値域およびシフト値を設定するオフセット属性設定部と、
設定された上記オフセット値域に制限されたオフセットを復号するオフセット復号部と、
上記シフト値に応じて上記オフセットを左シフトし、複数の単位領域から構成される入力画像の各画素値に、上記左シフトされたオフセットを加算するフィルタ処理部とを備えることを特徴とする画像フィルタ装置。 - 上記符号化データは、少なくとも上記入力画像の画素値のビット深度を含み、
上記オフセット属性設定部は、上記画素値のビット深度に応じて、上記オフセット値域を設定することを特徴とする請求項1に記載の画像フィルタ装置。 - 上記オフセット属性設定部は、オフセットビット深度を、上記画素値のビット深度が10以下の場合、上記画素値のビット深度と等しい値に設定し、上記画素値のビット深度が11以上の場合、10に設定し、上記オフセット属性設定部は、上記オフセット値域の最大値が、−2(オフセットビット深度−K−1)から2(オフセットビット深度−K−1)−1の範囲となるように設定することを特徴とする請求項2に記載の画像フィルタ装置。
- 上記Kの値は、4であることを特徴とする請求項3に記載の画像フィルタ装置。
- 上記シフト値は(画素値のビット深度−(画素値のビット深度と10の小さい方))に設定されることを特徴とする請求項3または4に記載の画像フィルタ装置。
- 符号化データを参照し、オフセット値域およびシフト値を設定するステップと、
設定された上記オフセット値域に制限されたオフセットを復号するステップと、
上記オフセットを左シフトし、複数の単位領域から構成される入力画像の各画素値に、上記左シフトされたオフセットを加算するステップとを少なくとも含むことを特徴とするフィルタ方法。 - 上記符号化データは、少なくとも上記入力画像の画素値のビット深度を含み、
上記オフセット値域は上記画素値のビット深度に応じて設定されることを特徴とする請求項6に記載のフィルタ方法。 - オフセットビット深度は、上記画素値のビット深度が10以下の場合、上記画素値のビット深度と等しい値に設定され、上記画素値のビット深度が11以上の場合、10に設定され、上記オフセット値域の最大値は、−2(オフセットビット深度−K−1)から2(オフセットビット深度−K−1)−1の範囲となるように設定されることを特徴とする請求項7に記載のフィルタ方法。
- 上記Kの値は、4であることを特徴とする請求項8に記載のフィルタ方法。
- 上記シフト値は(画素値のビット深度−(画素値のビット深度と10の小さい方))に設定されることを特徴とする請求項8または9に記載のフィルタ方法。
- 符号化データを参照し、オフセット値域およびシフト値を設定するオフセット属性設定部と、
設定された上記オフセット値域に制限されたオフセットを復号するオフセット復号部と、
上記シフト値に応じて上記オフセットを左シフトし、複数の単位領域から構成される入力画像の各画素値に、上記左シフトされたオフセットを加算するフィルタ処理部とを備えることを特徴とする動画像復号装置。 - 上記符号化データは、少なくとも上記入力画像の画素値のビット深度を含み、
上記オフセット属性設定部は、上記画素値のビット深度に応じて上記オフセット値域を設定することを特徴とする請求項11に記載の動画像復号装置。 - 上記オフセット属性設定部は、オフセットビット深度を、上記画素値のビット深度が10以下の場合、上記画素値のビット深度と等しい値に設定し、上記画素値のビット深度が11以上の場合、10に設定し、上記オフセット属性設定部は、上記オフセット値域の最大値が、−2(オフセットビット深度−K−1)から2(オフセットビット深度−K−1)−1の範囲となるように設定することを特徴とする請求項12に記載の動画像復号装置。
- 上記Kの値は、4であることを特徴とする請求項13に記載の動画像復号装置。
- 上記シフト値は(画素値のビット深度−(画素値のビット深度と10の小さい方))に設定されることを特徴とする請求項13または14に記載の動画像復号装置。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139961 | 2011-06-23 | ||
JP2011139961 | 2011-06-23 | ||
JP2011215476 | 2011-09-29 | ||
JP2011215476 | 2011-09-29 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013521650A Division JP5973434B2 (ja) | 2011-06-23 | 2012-06-22 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017254838A Division JP6496802B2 (ja) | 2011-06-23 | 2017-12-28 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016201824A true JP2016201824A (ja) | 2016-12-01 |
JP6272402B2 JP6272402B2 (ja) | 2018-01-31 |
Family
ID=47422737
Family Applications (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013521650A Active JP5973434B2 (ja) | 2011-06-23 | 2012-06-22 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2016139240A Active JP6272402B2 (ja) | 2011-06-23 | 2016-07-14 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2017254838A Active JP6496802B2 (ja) | 2011-06-23 | 2017-12-28 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2019043705A Active JP6780046B2 (ja) | 2011-06-23 | 2019-03-11 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2020173208A Active JP6957715B2 (ja) | 2011-06-23 | 2020-10-14 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2021164831A Active JP7200320B2 (ja) | 2011-06-23 | 2021-10-06 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2022204706A Pending JP2023024631A (ja) | 2011-06-23 | 2022-12-21 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013521650A Active JP5973434B2 (ja) | 2011-06-23 | 2012-06-22 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
Family Applications After (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017254838A Active JP6496802B2 (ja) | 2011-06-23 | 2017-12-28 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2019043705A Active JP6780046B2 (ja) | 2011-06-23 | 2019-03-11 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2020173208A Active JP6957715B2 (ja) | 2011-06-23 | 2020-10-14 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2021164831A Active JP7200320B2 (ja) | 2011-06-23 | 2021-10-06 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
JP2022204706A Pending JP2023024631A (ja) | 2011-06-23 | 2022-12-21 | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
Country Status (18)
Country | Link |
---|---|
US (9) | US9497455B2 (ja) |
EP (6) | EP3720127A1 (ja) |
JP (7) | JP5973434B2 (ja) |
KR (5) | KR102005212B1 (ja) |
CN (3) | CN103636210B (ja) |
AU (4) | AU2012274326B2 (ja) |
CA (1) | CA2840045C (ja) |
CY (1) | CY1123096T1 (ja) |
DK (2) | DK3361725T3 (ja) |
ES (2) | ES2699974T3 (ja) |
HR (2) | HRP20181975T1 (ja) |
HU (2) | HUE049411T2 (ja) |
LT (1) | LT3361725T (ja) |
PL (2) | PL3361725T3 (ja) |
PT (2) | PT3361725T (ja) |
RS (1) | RS58082B1 (ja) |
SI (2) | SI3361725T1 (ja) |
WO (1) | WO2012176910A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10827172B2 (en) | 2017-09-19 | 2020-11-03 | Fujitsu Limited | Information processing apparatus, information processing method, and information processing program |
JPWO2019135294A1 (ja) * | 2018-01-05 | 2020-12-17 | 株式会社ソシオネクスト | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
Families Citing this family (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010017199A2 (en) | 2008-08-04 | 2010-02-11 | Liquidpiston, Inc. | Isochoric heat addition engines and methods |
CN106028050B (zh) * | 2011-05-16 | 2019-04-26 | 寰发股份有限公司 | 用于亮度和色度分量的样本自适应偏移的方法和装置 |
US20120294353A1 (en) | 2011-05-16 | 2012-11-22 | Mediatek Inc. | Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components |
EP4075799B1 (en) | 2011-06-14 | 2024-04-10 | LG Electronics Inc. | Apparatus for encoding and decoding image information |
JP5973434B2 (ja) | 2011-06-23 | 2016-08-23 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
KR102104594B1 (ko) * | 2011-06-24 | 2020-04-24 | 엘지전자 주식회사 | 영상 정보 부호화 및 복호화 방법 |
CA2837827C (en) * | 2011-06-27 | 2019-01-15 | Panasonic Corporation | Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding-decoding apparatus |
MX2014000046A (es) | 2011-06-28 | 2014-02-17 | Samsung Electronics Co Ltd | Metodo de codificacion de video que utiliza ajustes de desplazamiento de comformidad clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello. |
JP5907367B2 (ja) | 2011-06-28 | 2016-04-26 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP6031736B2 (ja) * | 2011-07-21 | 2016-11-24 | 富士ゼロックス株式会社 | 物体識別システム及びプログラム |
GB201119206D0 (en) * | 2011-11-07 | 2011-12-21 | Canon Kk | Method and device for providing compensation offsets for a set of reconstructed samples of an image |
US9277194B2 (en) * | 2011-11-08 | 2016-03-01 | Texas Instruments Incorporated | Method and apparatus for image and video coding using hierarchical sample adaptive band offset |
RU2602986C2 (ru) | 2012-01-17 | 2016-11-20 | Инфобридж Пте. Лтд. | Способ применения краевого смещения |
JP6226863B2 (ja) * | 2012-04-13 | 2017-11-08 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 |
CA2864570A1 (en) * | 2012-04-16 | 2013-10-24 | Mediatek Inc. | Method and apparatus for sample adaptive offset coding with separate sign and magnitude |
KR102164698B1 (ko) * | 2013-03-25 | 2020-10-14 | 광운대학교 산학협력단 | 입력 버퍼를 재사용하는 샘플 적응적 오프셋 처리 장치 및 샘플 적응적 오프셋 처리 장치의 동작 방법 |
US20140301447A1 (en) * | 2013-04-08 | 2014-10-09 | Research In Motion Limited | Methods for reconstructing an encoded video at a bit-depth lower than at which it was encoded |
US9674538B2 (en) * | 2013-04-08 | 2017-06-06 | Blackberry Limited | Methods for reconstructing an encoded video at a bit-depth lower than at which it was encoded |
US10334253B2 (en) * | 2013-04-08 | 2019-06-25 | Qualcomm Incorporated | Sample adaptive offset scaling based on bit-depth |
CN104184645B (zh) * | 2013-05-27 | 2018-05-04 | 华为技术有限公司 | 一种生成操作请求的方法、设备及*** |
DK3005696T3 (da) * | 2013-05-30 | 2023-07-31 | Huawei Tech Co Ltd | Forskudte dynamiske intervalbegrænsninger til kantforskudt sao-filtrering |
US9300967B2 (en) | 2013-06-19 | 2016-03-29 | Apple Inc. | Sample adaptive offset control |
US10708588B2 (en) * | 2013-06-19 | 2020-07-07 | Apple Inc. | Sample adaptive offset control |
JP6328759B2 (ja) * | 2013-07-15 | 2018-05-23 | 寰發股▲ふん▼有限公司HFI Innovation Inc. | ビデオ符号化のサンプル適応オフセット処理の方法 |
US20150049821A1 (en) * | 2013-08-16 | 2015-02-19 | Qualcomm Incorporated | In-loop depth map filtering for 3d video coding |
JP2015076866A (ja) * | 2013-10-11 | 2015-04-20 | 日本放送協会 | 画像符号化装置、画像復号装置、及びプログラム |
JP6253406B2 (ja) * | 2013-12-27 | 2017-12-27 | キヤノン株式会社 | 画像符号化装置、撮像装置、画像符号化方法、及びプログラム |
US9628822B2 (en) | 2014-01-30 | 2017-04-18 | Qualcomm Incorporated | Low complexity sample adaptive offset encoding |
CN110177283B (zh) * | 2014-04-04 | 2021-08-03 | 北京三星通信技术研究有限公司 | 对像素标识进行处理的方法和装置 |
JP2015216626A (ja) * | 2014-04-23 | 2015-12-03 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP2015216627A (ja) * | 2014-04-23 | 2015-12-03 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
CN105409221B (zh) | 2014-04-29 | 2020-03-06 | 微软技术许可有限责任公司 | 用于样本自适应偏移滤波的编码器侧决策 |
CN105208300B (zh) * | 2014-06-23 | 2018-06-22 | 上海箩箕技术有限公司 | 图像传感器、非晶硅tft像素单元的读取电路及方法 |
CN104202533B (zh) * | 2014-09-24 | 2019-05-21 | 中磊电子(苏州)有限公司 | 移动检测装置及移动检测方法 |
JP6269431B2 (ja) * | 2014-10-10 | 2018-01-31 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理システム |
KR20170078682A (ko) * | 2014-11-04 | 2017-07-07 | 삼성전자주식회사 | 에지 타입의 오프셋을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US10785475B2 (en) * | 2014-11-05 | 2020-09-22 | Mediatek Singapore Pte. Ltd. | Method and apparatus of video coding with prediction offset |
US10057587B2 (en) * | 2015-01-31 | 2018-08-21 | Qualcomm Incorporated | Coding escape pixels for palette mode coding |
MX2017011439A (es) | 2015-03-10 | 2018-06-27 | Liquidpiston Inc | Motor rotatorio epitrocoidal de alta densidad de potencia y eficiencia. |
US20170006283A1 (en) * | 2015-06-30 | 2017-01-05 | Microsoft Technology Licensing, Llc | Computationally efficient sample adaptive offset filtering during video encoding |
JP6094838B2 (ja) * | 2015-08-31 | 2017-03-15 | ソニー株式会社 | 画像処理装置および方法、プログラム、並びに記録媒体 |
ES2844525B1 (es) * | 2015-09-11 | 2022-07-05 | Kt Corp | Metodo para decodificar un video |
KR20180064423A (ko) * | 2015-11-04 | 2018-06-14 | 엘지전자 주식회사 | 영상 코딩 시스템에서 영상 디코딩 방법 및 장치 |
CN106817583B (zh) * | 2015-12-02 | 2020-01-10 | 福州瑞芯微电子股份有限公司 | 一种hevc sao计算方法和装置 |
EP3220643A1 (en) * | 2016-03-14 | 2017-09-20 | Thomson Licensing | Method and device for encoding at least one image unit, and method and device for decoding a stream representative of at least one image unit |
JP6634936B2 (ja) * | 2016-04-05 | 2020-01-22 | 富士通株式会社 | 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法、画像復号プログラムおよび画像伝送システム |
US10812791B2 (en) * | 2016-09-16 | 2020-10-20 | Qualcomm Incorporated | Offset vector identification of temporal motion vector predictor |
EP3324543B1 (en) * | 2016-11-18 | 2020-01-08 | Nxp B.V. | Adaptive filter and method of operating an adaptive filter |
EP3324542B1 (en) | 2016-11-18 | 2019-10-23 | Nxp B.V. | Adaptive filter with manageable resource sharing |
KR20180074150A (ko) * | 2016-12-23 | 2018-07-03 | 삼성전자주식회사 | Sao 필터링을 포함하는 비디오 데이터의 부호화를 위한 방법 및 장치 |
KR20230085949A (ko) * | 2016-12-27 | 2023-06-14 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 |
CN110114803B (zh) * | 2016-12-28 | 2023-06-27 | 松下电器(美国)知识产权公司 | 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置 |
JP6769302B2 (ja) * | 2016-12-28 | 2020-10-14 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム |
KR20220127948A (ko) | 2017-03-22 | 2022-09-20 | 한양대학교 산학협력단 | 적응적인 화소 분류 기준에 따른 인루프 필터링 방법 |
US11593918B1 (en) * | 2017-05-16 | 2023-02-28 | Apple Inc. | Gradient-based noise reduction |
US11631199B2 (en) * | 2017-08-10 | 2023-04-18 | Sharp Kabushiki Kaisha | Image filtering apparatus, image decoding apparatus, and image coding apparatus |
US10728549B2 (en) * | 2017-11-06 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Adaptive loop filtering for high-dynamic range video |
JP7476104B2 (ja) * | 2018-01-19 | 2024-04-30 | インターデジタル ヴイシー ホールディングス, インコーポレイテッド | 点群処理 |
WO2019167849A1 (en) * | 2018-02-28 | 2019-09-06 | Sharp Kabushiki Kaisha | Systems and methods for partitioning regions of a picture for video coding using different coding unit sizes |
US11216984B2 (en) * | 2019-01-09 | 2022-01-04 | Samsung Electronics Co., Ltd. | Patch splitting for improving video-based point cloud compression performance |
WO2020186084A1 (en) | 2019-03-12 | 2020-09-17 | Tencent America LLC | Method and apparatus for color transform in vvc |
CN110225339A (zh) * | 2019-05-10 | 2019-09-10 | 上海德衡数据科技有限公司 | 一种hevc视频序列编解码加速方法 |
KR102655352B1 (ko) * | 2019-08-22 | 2024-04-04 | 엘지전자 주식회사 | 영상 디코딩 방법 및 그 장치 |
US11140388B2 (en) * | 2019-09-06 | 2021-10-05 | Tencent America LLC | Method and apparatus for non-linear loop filtering |
CN113298843B (zh) * | 2020-02-24 | 2024-05-14 | 中科寒武纪科技股份有限公司 | 数据量化处理方法、装置、电子设备和存储介质 |
WO2021200921A1 (ja) * | 2020-03-31 | 2021-10-07 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 |
US20230239504A1 (en) * | 2020-06-02 | 2023-07-27 | Sharp Kabushiki Kaisha | Video decoding apparatus and video coding apparatus |
EP4272446A1 (en) * | 2020-12-29 | 2023-11-08 | Innopeak Technology, Inc. | Method and apparatus for extended precision weighted prediction for vvc high bit depth coding |
EP4315863A1 (en) * | 2021-03-30 | 2024-02-07 | Innopeak Technology, Inc. | Weighted prediction for video coding |
EP4349016A1 (en) * | 2021-06-03 | 2024-04-10 | Innopeak Technology, Inc. | Quantization level binarization in video coding |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4284265B2 (ja) | 2004-11-02 | 2009-06-24 | 株式会社東芝 | 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法 |
US7876833B2 (en) * | 2005-04-11 | 2011-01-25 | Sharp Laboratories Of America, Inc. | Method and apparatus for adaptive up-scaling for spatially scalable coding |
WO2007116551A1 (ja) | 2006-03-30 | 2007-10-18 | Kabushiki Kaisha Toshiba | 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法 |
WO2007114368A1 (ja) * | 2006-03-30 | 2007-10-11 | Kabushiki Kaisha Toshiba | 画像符号化装置及び方法並びに画像復号化装置及び方法 |
WO2008049446A1 (en) | 2006-10-25 | 2008-05-02 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Quality scalable coding |
US7983496B2 (en) | 2007-06-26 | 2011-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes |
US8331663B2 (en) | 2007-06-28 | 2012-12-11 | Qualcomm Incorporated | Efficient image compression scheme to minimize storage and bus bandwidth requirements |
US8208560B2 (en) * | 2007-10-15 | 2012-06-26 | Intel Corporation | Bit depth enhancement for scalable video coding |
KR101365444B1 (ko) | 2007-11-19 | 2014-02-21 | 삼성전자주식회사 | 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치 |
US8750378B2 (en) | 2008-09-23 | 2014-06-10 | Qualcomm Incorporated | Offset calculation in switched interpolation filters |
KR101196920B1 (ko) | 2009-04-08 | 2012-11-05 | 한국전자통신연구원 | 적응적 비트 심도 감소를 통한 부호화와 복호화 방법 및 그 장치 |
US20120251012A1 (en) | 2009-12-18 | 2012-10-04 | Tomohiro Ikai | Image filter, encoding device, decoding device, and data structure |
JP5513221B2 (ja) | 2010-04-01 | 2014-06-04 | 岡本化学工業株式会社 | 保護層形成用組成物およびそれを用いた感光性平版印刷版 |
JP2011223302A (ja) | 2010-04-09 | 2011-11-04 | Sony Corp | 画像処理装置と画像処理方法 |
CN101924938B (zh) * | 2010-08-11 | 2012-09-05 | 上海交通大学 | 视频解码宏块预测与边界滤波中相邻块信息的处理方法 |
US9055305B2 (en) | 2011-01-09 | 2015-06-09 | Mediatek Inc. | Apparatus and method of sample adaptive offset for video coding |
ES2715782T3 (es) | 2011-04-21 | 2019-06-06 | Hfi Innovation Inc | Procedimiento y aparato para un filtrado en bucle mejorado |
JP5539258B2 (ja) | 2011-04-25 | 2014-07-02 | 株式会社イトーキ | 机 |
US9008170B2 (en) | 2011-05-10 | 2015-04-14 | Qualcomm Incorporated | Offset type and coefficients signaling method for sample adaptive offset |
JP5973434B2 (ja) | 2011-06-23 | 2016-08-23 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 画像フィルタ装置、フィルタ方法および動画像復号装置 |
-
2012
- 2012-06-22 JP JP2013521650A patent/JP5973434B2/ja active Active
- 2012-06-22 PL PL18160110T patent/PL3361725T3/pl unknown
- 2012-06-22 KR KR1020187036558A patent/KR102005212B1/ko active IP Right Grant
- 2012-06-22 KR KR1020187020857A patent/KR101931675B1/ko active IP Right Grant
- 2012-06-22 EP EP19220154.9A patent/EP3720127A1/en active Pending
- 2012-06-22 DK DK18160110.5T patent/DK3361725T3/da active
- 2012-06-22 CN CN201280030994.0A patent/CN103636210B/zh active Active
- 2012-06-22 AU AU2012274326A patent/AU2012274326B2/en active Active
- 2012-06-22 ES ES12802275T patent/ES2699974T3/es active Active
- 2012-06-22 ES ES18160110T patent/ES2788690T3/es active Active
- 2012-06-22 LT LTEP18160110.5T patent/LT3361725T/lt unknown
- 2012-06-22 RS RS20181435A patent/RS58082B1/sr unknown
- 2012-06-22 PT PT181601105T patent/PT3361725T/pt unknown
- 2012-06-22 KR KR1020187002934A patent/KR101881869B1/ko active IP Right Grant
- 2012-06-22 EP EP22194947.2A patent/EP4135322A1/en active Pending
- 2012-06-22 EP EP22194948.0A patent/EP4135323A1/en active Pending
- 2012-06-22 PL PL12802275T patent/PL2725797T3/pl unknown
- 2012-06-22 US US14/127,889 patent/US9497455B2/en active Active
- 2012-06-22 SI SI201231773T patent/SI3361725T1/sl unknown
- 2012-06-22 CA CA2840045A patent/CA2840045C/en active Active
- 2012-06-22 HU HUE18160110A patent/HUE049411T2/hu unknown
- 2012-06-22 HU HUE12802275A patent/HUE041898T2/hu unknown
- 2012-06-22 SI SI201231467T patent/SI2725797T1/sl unknown
- 2012-06-22 CN CN201611014962.8A patent/CN106851318B/zh active Active
- 2012-06-22 DK DK12802275.3T patent/DK2725797T3/da active
- 2012-06-22 EP EP23155769.5A patent/EP4199513A1/en active Pending
- 2012-06-22 CN CN201611014918.7A patent/CN106604038B/zh active Active
- 2012-06-22 PT PT12802275T patent/PT2725797T/pt unknown
- 2012-06-22 EP EP18160110.5A patent/EP3361725B1/en active Active
- 2012-06-22 WO PCT/JP2012/066082 patent/WO2012176910A1/ja active Application Filing
- 2012-06-22 EP EP12802275.3A patent/EP2725797B1/en active Active
- 2012-06-22 KR KR1020177027760A patent/KR101826215B1/ko active IP Right Grant
- 2012-06-22 KR KR1020147001188A patent/KR101785770B1/ko active IP Right Grant
-
2016
- 2016-07-14 JP JP2016139240A patent/JP6272402B2/ja active Active
- 2016-10-13 US US15/293,078 patent/US9866833B2/en active Active
-
2017
- 2017-06-20 AU AU2017204165A patent/AU2017204165B2/en active Active
- 2017-11-22 US US15/820,903 patent/US10390012B2/en active Active
- 2017-12-28 JP JP2017254838A patent/JP6496802B2/ja active Active
-
2018
- 2018-04-04 AU AU2018202384A patent/AU2018202384B2/en active Active
- 2018-06-04 US US15/997,261 patent/US10440362B2/en active Active
- 2018-10-12 US US16/158,602 patent/US10477209B2/en active Active
- 2018-11-23 HR HRP20181975TT patent/HRP20181975T1/hr unknown
-
2019
- 2019-02-01 AU AU2019200704A patent/AU2019200704B2/en active Active
- 2019-03-11 JP JP2019043705A patent/JP6780046B2/ja active Active
- 2019-07-24 US US16/520,735 patent/US10764580B2/en active Active
-
2020
- 2020-04-28 HR HRP20200675TT patent/HRP20200675T1/hr unknown
- 2020-04-29 CY CY20201100389T patent/CY1123096T1/el unknown
- 2020-08-31 US US17/008,475 patent/US11089302B2/en active Active
- 2020-10-14 JP JP2020173208A patent/JP6957715B2/ja active Active
-
2021
- 2021-07-20 US US17/381,035 patent/US11765350B2/en active Active
- 2021-10-06 JP JP2021164831A patent/JP7200320B2/ja active Active
-
2022
- 2022-12-21 JP JP2022204706A patent/JP2023024631A/ja active Pending
-
2023
- 2023-07-18 US US18/354,533 patent/US20230370593A1/en active Pending
Non-Patent Citations (3)
Title |
---|
CHIH-MING FU, ET AL.: "CE13: Sample Adaptive Offset with LCU-Independent Decoding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH M, vol. JCTVC-E049, JPN6012037768, 16 March 2011 (2011-03-16) * |
CHIH-MING FU, ET AL.: "CE8 Subset3: Picture Quadtree Adaptive Offset", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH M, vol. JCTVC-D122, JPN6012037770, 20 January 2011 (2011-01-20) * |
TAKANORI YAMAZAKI, TOMOHIRO IKAI, YUKINOBU YASUGI, TOMOYUKI YAMAMOTO: "Improvement of Sample Adaptive Offset with modified bit accuracy and restricted offsets", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH M, vol. JCTVC-F396r2, JPN6012037766, 14 July 2011 (2011-07-14) * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10827172B2 (en) | 2017-09-19 | 2020-11-03 | Fujitsu Limited | Information processing apparatus, information processing method, and information processing program |
JPWO2019135294A1 (ja) * | 2018-01-05 | 2020-12-17 | 株式会社ソシオネクスト | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
JP7147788B2 (ja) | 2018-01-05 | 2022-10-05 | 株式会社ソシオネクスト | 符号化方法、復号方法、符号化装置、復号装置、符号化プログラム及び復号プログラム |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6496802B2 (ja) | 画像フィルタ装置、フィルタ方法および動画像復号装置 | |
JP2013236358A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 | |
WO2013046990A1 (ja) | オフセット復号装置、オフセット符号化装置、画像フィルタ装置、および、データ構造 | |
JP2013138395A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、および、データ構造 | |
JP2013251827A (ja) | 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171228 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6272402 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |