JP2013150215A - 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム - Google Patents

動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム Download PDF

Info

Publication number
JP2013150215A
JP2013150215A JP2012010465A JP2012010465A JP2013150215A JP 2013150215 A JP2013150215 A JP 2013150215A JP 2012010465 A JP2012010465 A JP 2012010465A JP 2012010465 A JP2012010465 A JP 2012010465A JP 2013150215 A JP2013150215 A JP 2013150215A
Authority
JP
Japan
Prior art keywords
block
parallel
processing
unit
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012010465A
Other languages
English (en)
Inventor
Tomohito Shimada
智史 島田
Kimihiko Kazui
君彦 数井
Junpei Koyama
純平 小山
Akira Nakagawa
章 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012010465A priority Critical patent/JP2013150215A/ja
Priority to PCT/JP2013/051225 priority patent/WO2013108922A2/en
Priority to MX2014008778A priority patent/MX338369B/es
Priority to BR112014017608-6A priority patent/BR112014017608B1/pt
Priority to KR1020157033513A priority patent/KR101684207B1/ko
Priority to EP13703155.5A priority patent/EP2805499B1/en
Priority to CN201380005990.1A priority patent/CN104067619B/zh
Priority to MX2015017522A priority patent/MX347422B/es
Priority to CA2935332A priority patent/CA2935332C/en
Priority to CA2863170A priority patent/CA2863170C/en
Priority to US14/372,851 priority patent/US9628825B2/en
Priority to CN201710196786.2A priority patent/CN107241605B/zh
Priority to EP19215560.4A priority patent/EP3661203A1/en
Priority to KR1020157033518A priority patent/KR101684208B1/ko
Priority to EP19215559.6A priority patent/EP3644607A1/en
Priority to MX2015017523A priority patent/MX348224B/es
Priority to EP19215562.0A priority patent/EP3641313A1/en
Priority to KR1020157033522A priority patent/KR101684209B1/ko
Priority to MX2015017519A priority patent/MX347421B/es
Priority to AU2013210274A priority patent/AU2013210274B2/en
Priority to KR1020147020171A priority patent/KR101684038B1/ko
Priority to CA2935336A priority patent/CA2935336C/en
Priority to EP19215563.8A priority patent/EP3641314A1/en
Priority to CA2935331A priority patent/CA2935331C/en
Priority to CN201710197475.8A priority patent/CN107318026B/zh
Priority to MX2015017521A priority patent/MX347419B/es
Publication of JP2013150215A publication Critical patent/JP2013150215A/ja
Priority to AU2015213342A priority patent/AU2015213342B2/en
Priority to AU2015213343A priority patent/AU2015213343B2/en
Priority to AU2015213340A priority patent/AU2015213340B2/en
Priority to AU2015213341A priority patent/AU2015213341B2/en
Priority to US15/337,196 priority patent/US9743088B2/en
Priority to US15/475,234 priority patent/US9973756B2/en
Priority to US15/852,322 priority patent/US10051273B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】QP予測値の算出処理を並列化することを可能とし、ブロックライン並列処理の効率を向上させる。
【解決手段】動画像復号装置であって、ブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号する並列エントロピー復号部と、各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、各ブロックに対し、復号されたデータと予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する並列復号処理部と、を備え、並列QP予測部は、N個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの位置を、K番目のブロックラインの処理ブロックの位置よりも少なくとも1ブロック以上先に処理し、処理ブロックに対して、並列処理で処理完了ブロックを参照して予測値を算出する。
【選択図】図5

Description

本発明は、各ピクチャを複数のブロックに分割してブロックごとに処理する動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラムに関する。
近年の動画像符号化では、画像をブロックに分割し、ブロックに含まれる画素を予測して予測差分を符号化することで高い圧縮率を達成している。符号化対象のピクチャ内の画素から予測画素を構成する予測モードをイントラ予測といい、動き補償と呼ばれる過去に符号化した参照画像から予測画素を構成する予測モードをインター予測という。
動画像符号化装置において、インター予測では、予測画素として参照する領域を動きベクトルという水平成分・垂直成分の2次元座標データで表現し、動きベクトルと画素の予測差分データを符号化する。動きベクトルは、その符号量を抑えるため、符号化対象ブロックに隣接するブロックの動きベクトルから予測ベクトルを生成し、動きベクトルと予測ベクトルとの差分ベクトルを符号化する。
MPEG(Moving Picture Experts Group)−4 AVC/H.264(以下、H.264ともいう)、規格化作業中のHEVC(High Efficiency Video Coding)に代表される動画像標準規格では、各ブロックはラスタ順序でアドレスづけされて、処理順序はそのアドレスの順序で規定される。
動画像符号化・復号処理では、1秒あたりの処理画素数が膨大で、特に動き補償や直交変換などに、高い演算性能が必要となるため、並列化処理が重要である。動画像符号化においては、上記した予測ベクトルのように処理済みの周辺ブロックから各種予測値を算出するために、ブロック間に依存関係が存在する。よって、ブロックごとに並列処理を行うことは難しい。
標準規格上の処理順序やブロックの依存関係に影響を与えずに、ブロックごとの並列処理を達成する手法として、処理ブロックの水平位置をずらしながらブロックラインごとに並列処理する方法が挙げられる。
以下では、このような並列化処理をブロックライン並列処理と呼ぶこととする。次に、2ブロックラインのブロックライン並列処理を行う場合に関して簡単に説明する。
動画像処理装置は、ブロックラインを並列処理するため、ブロックライン単位に処理する処理ユニットを持ち、ユニット1とユニット2とする。例えばユニット1は、奇数ブロックライン、ユニット2は、偶数ブロックラインを処理する。
図1は、ブロックライン並列処理を説明するための図である。図1に示すように、ユニット1が処理する1番目のブロックライン(1ブロックライン目)のブロックの水平アドレスと、ユニット2が処理する2番目のブロックライン(2ブロックライン目)のブロックの水平アドレスとを2ブロック以上ずらす。
これにより、ユニット2の処理ブロックXに注目すると、その処理ブロックXの左ブロックAとともに、ユニット1が処理する左上ブロックBと上ブロックCと右上ブロックDは処理済みである。ブロックXでは、これらの処理済みブロックの符号化結果を利用することができる。
例えば、奇数ブロックラインの終了を待たずに、偶数ブロックラインの処理を開始できるため、動き予測や直交変換などの処理に関して並列化を達成することができる。以上では、2ブロックライン並列処理の場合を説明したが、Nブロックライン並列処理にした場合も、動画像処理装置に対し、Nブロックライン単位にN個のユニットを割り当てればよい。
なお、プログラムとしてブロックライン並列処理を実行する場合、処理ユニットは、スレッドとしてもよいし、CPU(Central Processing Unit)としてもよい。
H.264では、エントロピー符号化に関しては、出力ビット系列の順序を、標準規格上の処理ブロックの順序で処理する。そのため、動画像処理装置は、上記のブロックライン並列処理を行った結果を一旦保存し、標準規格上の処理ブロックの順序でエントロピー符号化処理する。
これに対し、HEVCにおいては、出力ビット系列の順序をブロックラインごとにインターリーブする技術が開示されている。図2は、HEVCにおけるエントロピー処理部のブロックライン並列処理を説明するための図である。図2に示すように、エントロピー符号化・復号処理に関しても、ブロックラインごとに並列化処理を行うことができる。
ISO/IEC 14496-10 (MPEG-4 Part 10) / ITU-T Rec.H.264 Thomas Wiegand、Woo-Jin Han、Benjamin Bross、Jens-Rainer Ohm、Gary J. Sullivan、"Working Draft 5 of High-Efficiency Video Coding" JCTVC-G1103, JCT-VC 7th Meeting, 2011年12月 HEVC参照ソフトウェア HM5.0 "https://hevc.hhi.fraunhofer.de/svn/svn_HEVCSoftware/tags/HM-5.0/" MPEG-2, Test Model 5 (TM5), Doc. ISO/IEC JTC1/SC29/WG11/N0400, Test Model Editing Committee, April 1993.
H.264やHEVCに代表される動き補償と直交変換処理(例えばDCT(Discrete Cosine Transform))とを組み合わせたハイブリッド符号化方式では、画像をブロックに分割し、各ブロックの予測画素を生成し、原画素と予測画素の差分画素に対して、DCTなどの直交変換を行い、直交変換の出力係数を量子化することで、圧縮を実現する。
情報量を制御するために、量子化の精度を調整する量子化パラメータ(QP(Quantization Parameter)とも呼ぶ)を用意し、ブロックごとにQP値を符号化する。
ただし、変換係数が全て0のブロックの場合、逆量子化した結果も全て0となり、復号処理においてQPを必要としないため、このような場合には、このQPは無効となり、QP値は符号化されない。
各ブロックで、QPの予測値(QP予測値とも呼ぶ)が生成されるため、処理ブロックのQPが無効となった場合、処理ブロックのQP値は、QPの予測値に設定される。ブロックごとのQP値の決定方法としては、非特許文献4に記載されたTM5で用いられるアルゴリズムが知られている。
H.264やHEVCにおける、QP値の符号化方法は、処理ブロックのQP値とQP予測値との差分値QP_DELTAを符号化する。QP予測値は、例えば、ラスタ順序で処理ブロックの直前のQP値であるQPprevである。QP_DELTAは、次の式(1)で算出される。
QP_DELTA=QP−QPprev ・・・式(1)
動画像復号装置は、動画像符号化装置においてエントロピー符号化されたQP_DELTAを復号し、式(2)においてQP値を復元する。
QP=QP_DELTA+QPprev ・・・式(2)
処理ピクチャの最初のブロックなど直前のブロックが存在しない場合、QPprevは、最初のブロックの処理に先だって決定することができる値とすればよい。例えば、H.264においては、ピクチャ先頭ブロックのQPprevは、Sliceというヘッダ情報に記載されたSliceQP値となる。
また、H.264やHEVCでは、直交変換の量子化以外にも、デブロッキングフィルタのフィルタ強度決定に、各ブロックのQP値を使用する。無効になったQPは、動画像復号装置に通知されないため、QPが無効になったブロックのQP値は、QPprevとして処理される。
ここで、ブロックライン並列処理の、K−1ブロックラインと、Kブロックラインに着目する。Kブロックラインの処理開始時に、Kブロックラインの先頭のXブロックを処理するとき、K−1ブロックラインの2ブロックずれた程度しか処理が完了していない。Kブロックラインの先頭ブロックのラスタ順序で前に位置するブロックは、K−1ブロックラインの最終ブロックYであるため、Yブロックの処理はまだ終わっていない。
このため、Xブロックを処理するときには、QPprevが確定しないという課題がある。XブロックのQPprevが確定しないため、Xブロックの次のブロックのQPprevも確定しない。
よって、QP予測値の算出は、ブロックラインごとに並列にできずに、逐次処理となってしまう。図3は、従来のブロックライン並列処理を行う動画像処理装置の概略構成を示すブロック図である。
図3Aは、従来のブロックライン並列処理を行う符号化装置の概略構成を示すブロック図である。図3Bは、従来のブロックライン並列処理を行う復号装置の概略構成を示すブロック図である。
図3に示すように、従来の動画像処理装置では、QP予測値を算出するQP予測部がボトルネックとなってしまう。
図4Aは、QP予測処理におけるブロックライン並列処理(その1)を示す図である。図4Aに示す例では、1番目のブロックラインと2番目のブロックラインを並列処理しているとする。このとき、2番目のブロックラインの処理ブロックをXとしたときに、XのQP予測値を算出するには、ブロックYの処理完了まで待機する必要がある。2番目のブロックラインの処理は、1番目のブロックラインの処理を完了しないと開始することができない。
図4Bは、QP予測処理におけるブロックライン並列処理(その2)を示す図である。図4Bに示すように、ブロックYの処理が完了すると、2番目のブロックラインの処理が開始できるようになる。
図4Cは、QP予測処理におけるブロックライン並列処理(その3)を示す図である。図4Cに示す例では、1番目のブロックラインを処理していたQP予測部が、3番目のブロックラインのブロックWのQP値を算出するためには、2番目のブロックラインのブロックVの処理が完了するまで待機する。
すなわち、3番目のブロックラインの処理は、2番目のブロックラインの処理が完了しないと開始することはできない。このように、K番目のブロックラインの処理を開始するにはK−1番目のブロックラインの処理が完了していることが要求されるため、従来技術では、このQP予測値を算出する処理は逐次処理となってしまう。
符号化処理部を並列化し、QP予測部を逐次的に処理する場合、次のような問題が発生する。ブロックXにおけるQPprevが確定していないため、例えば、K番目のブロックラインの先頭でQP_DELTAが算出できずに、ブロックYの処理が完了するまで、ブロックXのエントロピー処理が開始できないという問題が発生する。
よって、エントロピー処理の開始が遅延するため、符号化処理部の結果を保存しておくバッファが増加してしまう。同様に、デブロックキングフィルタの処理を開始することができないという問題も発生する。
動画像復号装置について、同様にブロックライン並列処理を考える。HEVCにおいては、エントロピー復号処理は、ブロックラインごとに並列に処理することができる。上記と同様に、K−1番目のブロックラインとK番目のブロックラインに着目し、K番目のブロックラインの先頭ブロックXのQP復元処理を考えると、ブロックXのQP_DELTAが復号できた時点では、ブロックYのQP_DELTAは復号できていないため、YのQP値を復元することはできない。
ブロックXのQP予測値であるQPprevは、ブロックYのQP値であるため、ブロックXのQP予測値の算出は行うことができず、ブロックXのQP値が復元できない。このため、動画像符号化装置と同様に各ブロックのQP予測値の算出は、逐次処理となってしまい、並列処理のボトルネックとなる。
そこで、開示の技術は、QP予測値の算出処理を並列化することを可能とし、ブロックライン並列処理の効率を向上させることを目的とする。
開示の一態様における動画像復号装置は、複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置であって、前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号する並列エントロピー復号部と、前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号部により復号されたデータと、前記並列QP予測部により算出された予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する並列復号処理部と、を備え、前記並列QP予測部は、2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する。
また、他の態様における動画像符号化装置は、画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置であって、前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データを、ブロックライン毎に並列に生成する並列符号化処理部と、前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う並列エントロピー符号化部と、を備え、前記並列QP予測部は、2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する。
開示の技術によれば、QP予測値の算出処理を並列化することを可能とし、ブロックライン並列処理の効率を向上させることができる。
ブロックライン並列処理を説明するための図。 HEVCにおけるエントロピー処理部のブロックライン並列処理を説明するための図。 従来のブロックライン並列処理を行う符号化装置の概略構成を示すブロック図。 従来のブロックライン並列処理を行う復号装置の概略構成を示すブロック図。 QP予測処理におけるブロックライン並列処理(その1)を示す図。 QP予測処理におけるブロックライン並列処理(その2)を示す図。 QP予測処理におけるブロックライン並列処理(その3)を示す図。 実施例1における動画像復号装置の構成の一例を示すブロック図。 実施例1における並列復号部の各部の構成の一例を示すブロック図。 実施例1における復号処理部の構成の一例を示すブロック図。 N=3の場合の並列QP予測処理における利用可能ブロックの一例を示す図。 実施例1におけるQP予測部の構成の一例を示すブロック図。 実施例1におけるQP予測処理(その1)の一例を示す図。 実施例1におけるQP予測処理(その2)の一例を示す図。 実施例1におけるブロック復号処理の一例を示すフローチャート。 実施例2における動画像符号化装置の構成の一例を示すブロック図。 実施例2における並列符号化部の各部の構成の一例を示すブロック図。 実施例2における符号化処理部の構成の一例を示すブロック図。 実施例2におけるQP予測部の構成の一例を示すブロック図。 実施例2におけるブロック符号化処理の一例を示すフローチャート。 実施例3における動画像処理装置の構成の一例を示すブロック図。
以下、添付図面を参照しながら各実施例について詳細に説明する。なお、動画像に含まれる画像(ピクチャ)は、フレーム又はフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
また、処理対象の動画像は、カラー動画像であってもよく、又はモノクロ動画像であってもよい。
[実施例1]
<構成>
図5は、実施例1における動画像復号装置の構成の一例を示すブロック図である。図5に示す例では、動画像復号装置10は、並列復号部101と、復号画素記憶部105とを有する。並列復号部101は、並列エントロピー復号部102と、並列QP予測部103と、並列復号処理部104とを有する。
なお、動画像復号装置10は、N個のブロックラインを並列処理することとする。また、ブロックラインとは、例えば画像内における水平方向のブロック列をいう。
並列復号部101の各部は、各ブロックラインにおいて処理するブロックを同一のブロックとする。また、例えば、K−1番目のブロックラインの処理ブロックの水平位置は、K番目のブロックラインの処理ブロックの水平位置よりも2ブロック以上先とする。
これは、ブロックライン間で、水平位置が2ブロック以上ずれるようにすることで、各ブロックラインを並列に復号処理したとしても、処理ブロックの上と右上のブロックの復号情報が利用できるようにするためである。上ブロックのみの復号情報を利用する場合は、ブロックライン間の水平位置のずれ量は1ブロックでよい。以下では、上ブロックは、処理ブロックの1ブロック上のブロックを示し、右上ブロックは、処理ブロックの1ブロック上のブロックの右に隣接するブロックを示す。
並列復号部101は、複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを、例えばN個のブロックラインで並列処理して復号する。ブロックラインのブロック毎に復号された画素は、復号画素記憶部105に出力される。復号された画素を復号画素という。
並列エントロピー復号部102は、入力されたストリームに対し、ブロックライン毎に分割し、ブロックライン毎に、このブロックラインに含まれるブロックのストリームを並列にエントロピー復号する。並列エントロピー復号部102は、エントロピー復号されたデータを並列復号処理部104に出力する。
並列QP予測部103は、ブロックラインに含まれる各ブロックの量子化パラメータ(QP)の予測値(QP予測値)を、ブロックライン毎に並列に算出する。算出されたQP予測値を並列復号処理部104に出力する。
並列復号処理部104は、ブロックラインに含まれる各ブロックに対し、並列エントロピー復号部102により復号されたデータと、並列QP予測部103により算出されたQP予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する。生成された復号画素は復号画素記憶部105に出力される。
復号画素記憶部105は、並列復号部101から出力された各ブロックの復号画素を記憶する。復号画素は、画像単位で集合すると画像(ピクチャ)となる。復号画素記憶部105は、1ピクチャ分の復号処理が完了したときに、復号された画像が出力される。
《並列復号部》
次に、並列復号部101について説明する。図6は、実施例1における並列復号部101の各部の構成の一例を示すブロック図である。図6に示す例では、並列エントロピー復号部102は、第1エントロピー復号部221と、第2エントロピー復号部222と、第Nエントロピー復号部223とを有する。
図6に示す例では、並列QP予測部103は、第1QP予測部231と、第2QP予測部232と、第NQP予測部233とを有する。図6に示す例では、並列復号処理部104は、第1復号処理部241と、第2復号処理部242と、第N復号処理部243と、ブロック情報保持部244とを有する。
ここで、L=1〜Nに対して、第Lエントロピー復号部と、第LQP予測部と、第L復号処理部とは、1つのブロックラインをそれぞれ対応して処理する。以下では、第Lエントロピー復号部と、第LQP予測部と、第L復号処理部とを総称してブロックライン復号処理部と呼ぶ。例えば、ブロックライン復号処理部201は、第1エントロピー復号部221と、第1QP予測部231と、第1復号処理部241とを有する。
ブロックライン復号処理部は、K番目のブロックラインを処理すると、次は、K+N番目のブロックラインを処理する。
並列エントロピー復号部102は、入力されたストリームをブロックライン毎に分割する。各エントロピー復号部221〜223は、分割されたストリームにおけるNブロックライン単位で、各ブロックラインを並列にエントロピー復号する。各エントロピー復号部221〜223は、動画像符号化装置でのエントロピー符号化処理に対応するエントロピー復号処理を行う。
各復号処理部241〜243は、ブロックライン単位で並列に復号処理を行う。図7は、実施例1における復号処理部の構成の一例を示すブロック図である。各復号処理部241〜243は、いずれも同様の処理を行うため、以下では、第1復号処理部241を用いて説明する。
第1復号処理部241は、QP復元部301と、逆量子化部302と、逆直交変換部303と、動きベクトル復元部304と、予測画素生成部305と、復号画素生成部306とを有する。
QP復元部301は、後述する第1QP予測部231から入力されたQP予測値と、第1エントロピー復号部221から入力されたQP差分値とを用いてQP値を復元する(例えば式(2)参照)。復元されたQP値は、逆量子化部302に出力される。
逆量子化部302は、復元されたQP値と直交変換係数とを乗算することで逆量子化を行う。逆量子化された直交変換係数は、逆直交変換部303に出力される。
逆直交変換部303は、逆量子化部302から入力された直交変換係数に対して、逆直交変換処理を行い、予測誤差画素を生成する。生成された予測誤差画素は、復号画素生成部306に出力される。
動きベクトル復元部304は、ブロック情報記憶部244から、処理ブロックの周辺ブロックの動きベクトル情報を取得し、予測ベクトルを算出する。動きベクトル復元部304は、予測ベクトルと、第1エントロピー復号部221から入力された差分ベクトルとを加算することにより、動きベクトルが復元される。復元された動きベクトルは、予測画素生成部305に出力される。
予測画素生成部305は、過去に復号したピクチャが保存されている復号画素記憶部105から動きベクトルが指す参照ピクチャの画素データを取得し、予測画素を生成する。生成された予測画素は、復号画素生成部306に出力される。
復号画素生成部306は、予測画素生成部305から入力された予測画素と、逆直交変換部303から入力された予測誤差画素とを加算し、復号画素を生成する。生成された復号画素は、復号画素記憶部105に記憶される。
次に、各QP予測部の処理について説明する。まず、各QP予測部による予測処理で、利用可能なブロックを説明する。図8は、N=3の場合の並列QP予測処理における利用可能ブロックの一例を示す図である。図8に示す例では、N=3であり、各ブロックラインで、2ブロックずつ遅延させて並列処理される。
このとき、処理ブロックXに対し、利用可能なブロックは、図8に示す網掛けブロックである。図8に示す網掛けブロックは、処理ブロックを処理する際に、既に処理が完了しているブロック、つまり利用可能なブロックを示す。図8に示す太線枠のブロックは、処理対象のブロック(処理ブロックとも呼ぶ)を示す。各QP予測部は、処理ブロックのQP予測値を算出する際、利用可能ブロック(処理完了ブロック)を参照することでQP予測値を求める。以下では、このQP予測値の求め方について詳述する。
図9は、実施例1におけるQP予測部の構成の一例を示すブロック図である。各QP予測部231〜233は、いずれも同様の処理を行うため、以下では、第1QP予測部231を用いて説明する。
図9に示す第1QP予測部231は、直前QP記憶部401と、QP選択部402と、上QP取得部403とを有する。
直前QP記憶部401は、現在の処理ブロックの直前に処理されたブロックのQP値をQP復元部301から受け取り、記憶している。直前QP記憶部401が記憶しているQP値は、ピクチャ処理開始時に初期化される。
例えば、H.264と同様にSliceヘッダ情報に符号化されたSliceQP値で初期化する。Sliceは、1ピクチャに属するブロックをグループに分割したときの単位である。
上QP取得部403は、ブロック情報記憶部244から、例えば、処理ブロックの上に位置するブロックのQP値を取得する。
QP選択部402は、直前QP記憶部401か、あるいは、上QP取得部403かのいずれかの出力するQP値を選択して、QP予測値としてQP復元部301に出力する。
例えば、QP選択部402は、処理ブロックがブロックライン先頭のブロックであれば、上QP取得部403から出力されたQP値を選択し、処理ブロックがブロックライン先頭以外のブロックであれば、直前QP記憶部401から出力されたQP値を選択する。QP選択部402は、選択したQP値をQP予測値として、QP復元部301に出力する。
上記例の場合のQP値の予測(選択)について図を用いて説明する。図10Aは、実施例1におけるQP予測処理(その1)の一例を示す図である。図10Aに示す例では、処理ブロックXの位置を処理ブロックとしたとき、図10Aに示すように処理ブロックXが先頭ブロックであるときには、上ブロックAのQP値がQP選択部402により選択される。
図10Bは、実施例1におけるQP予測処理(その2)の一例を示す図である。図10Bに示すように、処理ブロックXが、先頭ブロック以外の場合では、直前に処理したブロックBのQP値がQP選択部402により選択される。
ここで、処理ブロックXに近いブロックのQP値がQP予測値として使用されるため、ラスタ順序で直前のQP値を使用した場合と比較して、QP値の予測効率はほとんど低下しない。
上記例では、ブロックラインの先頭以外では直前に処理したブロックのQP値を用いてQP予測値を生成したが、処理ブロックに隣接するブロックから予測するのであれば、他の方法でQP値を生成してもよい。
また、QP選択部402の処理は、次のような処理であってもよい。処理するブロックラインが2〜N番目のブロックラインのときは、直前QP記憶部401が保存しているQP値はSliceQP値であり、Slice単位に1つ定まる値である。そのため、各ブロックのQP予測値として、SliceQP値を採用するには、予測効率があまりよくないと考えられる。
そこで、QP選択部402は、処理するブロックラインが2〜N番目のブロックラインの先頭ブロックが処理されるときは、上QP取得部403が取得したQP値を選択し、それ以外では、直前QP記憶部401が保持したQP値を選択してもよい。
また、QP選択部402は、N+1番目以降のブロックラインの先頭ブロックを処理するときは、直前QP記憶部401が保持しているQP値を選択する。このときの直前QP記憶部401が保持しているQP値は、処理ブロックのNブロック上に位置するブロックラインの最後のブロック(最終ブロックとも呼ぶ)のQP値である。
K番目のブロックラインとK+N番目のブロックラインは、同一の復号処理部とQP予測部とエントロピー復号部とで処理されるため、K番目のブロックラインの処理ブロックの直前に処理したブロックは、K−N番目のブロックラインの最後のブロックである。
さらに、QP選択部402は、ブロックラインの先頭ブロックでは、常に直前QP記憶部401に記憶されるQP値を採用するようにしてもよい。また、QP選択部402は、処理するブロックラインが1〜N番目のブロックラインの先頭ブロックであるときは、QP予測値はSliceQP値としてもよい。
このとき、同様にN+1番目のブロックラインの先頭ブロックのQP予測値は、Nブロック上に位置するブロックラインの最後のブロックのQP値としてもよい。
以上の構成を有することで、量子化パラメータの予測値を求める処理を、ブロックライン毎に並列処理することができる。
<動作>
次に、実施例1における動画像復号装置10の動作について説明する。図11は、実施例1におけるブロック復号処理の一例を示すフローチャートである。図11に示すブロック復号処理は、1ブロックの処理である。
ステップS101で、各エントロピー復号部は、入力されたストリームから各ブロックの差分動きベクトル、QP差分値、量子化された直交変換係数などの符号化情報をエントロピー復号する。これらのエントロピー復号された情報は、処理されたエントロピー復号部に対応する復号処理部に出力する。
ステップS102で、復号処理部の動きベクトル復元部304は、ブロック情報記憶部244から周辺ブロックの動きベクトル情報を取得し、予測ベクトルを算出する。
ステップS103で、動きベクトル復元部304は、差分動きベクトルと予測ベクトルとを加算することで、動きベクトルを復元する。復元された動きベクトルの情報は、ブロック情報記憶部244に記憶される。
ステップS104で、予測画素生成部305は、過去に復号されたピクチャが保存されている復号画素記憶部105から動きベクトルが指す参照ピクチャの画素データを取得し、予測画素を生成する。
ステップS105で、各QP予測部は、処理ブロックのQP予測値を生成し、QP復元部301に入力する。
ステップS106で、QP復元部301は、入力されたQP予測値とQP差分値とからQP値を復元する。QP値は、逆量子化部302に入力されるとともにブロック情報記憶部244に保存される。QP予測値は、処理ブロックの上ブロックあるいは、ブロックライン復号処理部201が過去に処理したブロックのQP値とすることで、QP予測値の生成を待機する必要がなくなり、並列処理の効率が向上する。
ステップS107で、逆量子化部302は、量子化された直交変換係数と、QP値とを乗算する。
ステップS108で、逆直交変換部303は、逆量子化された直交変換係数に対し、逆直交変換処理を行い、予測誤差画素を生成する。
ステップS109で、復号画素生成部306は、予測誤差画素と予測画素とを加算し、復号画素を生成する。
ステップS110で、復号画素記憶部105は、復号画素を記憶する。以上の処理で、ブロックの復号処理が終了し、次のブロックの復号処理に移行する。1ピクチャに含まれるすべてのブロックの復号処理が終了したときに、復号画素記憶部105に記憶された復号画像は、例えばディスプレイなどの表示部に出力される。
以上、実施例1によれば、動画像復号装置において、QP予測値の算出処理を並列化することを可能とし、ブロックライン並列処理の効率を向上させることができる。
[実施例2]
次に、実施例2における動画像符号化装置について説明する。実施例2では、実施例1に対応して、ブロックライン単位でQPの予測処理を並列化する。
<構成>
図12は、実施例2における動画像符号化装置50の構成の一例を示すブロック図である。図12に示す例では、動画像復号装置50は、並列符号化部501と、復号画素記憶部505とを有する。並列符号化部501は、並列符号化処理部502と、並列QP予測部503と、並列エントロピー符号化部504とを有する。なお、動画像符号化装置50は、N個のブロックラインを並列処理することとする。
並列符号化部501の各部は、各ブロックラインにおいて処理するブロックを同一のブロックとする。また、例えば、K−1番目のブロックラインの処理ブロックの水平位置は、K番目のブロックラインの処理ブロックの水平位置よりも2ブロック以上先とする。
これは、ブロックライン間で、水平位置が2ブロック以上ずれるようにすることで、各ブロックラインを並列に符号化処理したとしても、処理ブロックの上と右上のブロックの符号化情報が利用できるようにするためである。上ブロックのみの復号情報を利用する場合は、ブロックライン間の水平位置のずれ量は1ブロックでよい。
並列符号化部501は、画像を複数のブロックに分割し、動画像符号化方式を用いて例えばN個のブロックラインで並列処理して符号化する。並列符号化部501で、局所復号された復号画素は、復号画素記憶部505に記憶される。
並列符号化処理部502は、ブロックライン毎に、このブロックラインに含まれるブロックに対し、量子化された直交変換係数、差分動きベクトル情報などを並列に生成する。生成された直交変換係数や差分動きベクトル情報(符号化データとも呼ぶ)は、並列エントロピー符号化部504に出力される。量子化で用いられたQP値は、並列QP予測部503に出力される。
並列QP予測部503は、ブロックラインに含まれる各ブロックの量子化パラメータ(QP)の予測値(QP予測値)を、ブロックライン毎に並列に算出する。算出されたQP予測値を並列エントロピー符号化部504に出力する。
並列エントロピー符号化部504は、ブロックラインに含まれる各ブロックに対し、量子化された直交変換係数、QP値とQP予測値との差分であるQP差分値、差分動きベクトル情報などを用いてエントロピー符号化を、ブロックライン単位で並列に行う。並列エントロピー符号化部504で符号化されたストリームは、動画像復号装置10などに出力される。
復号画素記憶部505は、並列符号化部501から出力された各ブロックの局所的な復号画素を記憶する。局所的な復号は、ローカルデコードなどとも呼ばれる。
《並列符号化部》
次に、並列符号化部501について説明する。図13は、実施例2における並列符号化部501の各部の構成の一例を示すブロック図である。図13に示す例では、並列符号化処理部502は、第1符号化処理部621と、第2符号化処理部622と、第N符号化処理部623と、ブロック情報記憶部624とを有する。
図13に示す例では、並列QP予測部503は、第1QP予測部631と、第2QP予測部632と、第NQP予測部633とを有する。図13に示す例では、並列エントロピー符号化部504は、第1エントロピー符号化部641と、第2エントロピー符号化部642と、第Nエントロピー符号化部643とを有する。
ここで、L=1〜Nに対して、第L符号化処理部と、第LQP予測部と、第Lエントロピー符号化部とは、1つのブロックラインをそれぞれ対応して処理する。以下では、第L符号化処理部と、第LQP予測部と、第Lエントロピー符号化部とを総称してブロックライン符号化処理部と呼ぶ。
例えば、ブロックライン符号化処理部601は、第1符号化処理部621と、第1QP予測部631と、第1エントロピー符号化部641とを有する。
ブロックライン符号化処理部は、K番目のブロックラインを符号化処理すると、次は、K+N番目のブロックラインを符号化処理する。
並列符号化処理部502は、入力された画像を複数のブロックラインに分割する。各符号化処理部621〜623は、ブロックライン単位で並列に符号化処理を行う。符号化処理は、例えばH.264やHEVCなどの符号化処理である。
図14は、実施例2における符号化処理部の構成の一例を示すブロック図である。各符号化処理部621〜623は、いずれも同様の処理を行うため、以下では、第1符号化処理部621を用いて説明する。
第1符号化処理部621は、予測差分部701と、直交変換部702と、量子化部703と、QP確定部704と、逆量子化部705と、逆直交変換部706と、復号画素生成部707と、動き検出部708と、予測信号生成部709と、差分ベクトル生成部710とを有する。
動き検出部708は、復号画素記憶部505から参照ピクチャの画素データを取得し、動きベクトルの検出を行う。検出された動きベクトルの情報は、ブロック情報記憶部624に記憶され、次のブロックの符号化に利用される。
予測信号生成部709は、入力された参照画像の領域位置情報に基づいて、復号画素記憶部505から参照画素を取得し、予測画素信号を生成する。生成された予測画素信号は、予測差分部701に出力される。
差分ベクトル生成部710は、予測ベクトルを生成する。予測ベクトルは、一例として処理ブロックの左と上と、右上に位置するブロックの動きベクトルをブロック情報記憶部624から取得し、3つの動きベクトルのうち、中間値を予測ベクトルとする。
上述したように、各ブロックラインは、例えば水平に2ブロックずつずれて処理しているため、処理ブロックの上と右上のブロックの符号化処理は完了している。そのため、差分ベクトル生成部710は、周辺ブロックの動きベクトルを取得することができる。
差分ベクトル生成部710は、動き検出部708から処理ブロックの動きベクトルを取得し、動きベクトルと予測ベクトルとの差分ベクトルを生成する。生成された差分ベクトルは、第1エントロピー符号化部641に出力される。
予測差分部701は、原画像と、予測画素信号との差分を算出することで、予測誤差信号を生成する。予測誤差信号は、直交変換部702に出力される。
直交変換部702は、予測誤差信号に対して、例えば離散コサイン変換などの直交変換処理を行う。変換された直交変換係数は、量子化部703に出力される。
量子化部703は、量子化パラメータ(QP)値に基づいて、直交変換係数を量子化する。量子化手法の一例としては、直交変換係数をQPで定まる値によって除算し、整数値に丸める方法である。量子化された直交変換係数をQP値で乗算すれば、逆量子化することができる。丸める処理によって、量子化は不可逆な変換となる。量子化された直交変換係数は、第1エントロピー符号化部641に出力される。
また、量子化部703は、量子化された直交変換係数がすべて0であった否かのフラグ情報を生成し、量子化で使用したQP値とともに、QP確定部704に出力する。QP値は、逆量子化部705、第1QP予測部631に出力される。
第1QP予測部631は、処理ブロックのQP予測値を生成する。生成されたQP予測値は、QP確定部704及び第1エントロピー符号化部641に出力される。
QP予測値は、処理ブロックの上ブロックあるいは、第1QP予測部631が所属しているブロックライン符号化処理部が過去に処理したブロックのQP値とすることで、QP予測値の生成を待機する必要がなくなり、並列処理の効率が向上する。
QP確定部704は、量子化部703から入力されたQP値とQP予測値とから、処理ブロックのQPを確定する。直交変換係数がすべて0であった場合、QP差分情報は、エントロピー符号化されないため、量子化部703で使用したQP値は、復号装置側に通知されないので無効になる。
例えば、QP確定部704は、量子化部703が生成した量子化された直交変換係数がすべて0であったか否かのフラグ情報を取得する。QP確定部704は、すべて0を示すフラグ情報を取得した場合、処理ブロックのQP値はQP予測値に設定する。QP確定部704は、すべて0ではないことを示すフラグ情報を取得した場合、処理ブロックのQP値は、量子化部703で使用されたQP値に設定する。QP確定部704が確定したQP値は、ブロック情報記憶部624に記憶される。
逆量子化部705は、量子化された直交変換係数に対し、逆量子化処理を行う。逆量子化された直交変換係数は、逆直交変換部706に出力される。
逆直交変換部706は、逆量子化された直交変換係数に対し、逆直交変換処理を行う。逆直交変換された信号を復号画素生成部707に出力する。
復号画素生成部707は、逆直交変換された信号に、予測信号生成部709から取得した予測画素信号を加算することで、局所的な復号画素を生成する。生成された復号画素は、復号画素記憶部505に記憶される。
次に、各QP予測部の処理について説明する。図15は、実施例2におけるQP予測部の構成の一例を示すブロック図である。各QP予測部631〜633は、いずれも同様の処理を行うため、以下では、第1QP予測部631を用いて説明する。
図15に示す第1QP予測部631は、直前QP記憶部801と、QP選択部802と、上QP取得部803とを有する。
直前QP記憶部801は、現在の処理ブロックの直前に処理したブロックのQP値をQP確定部704から受け取り、記憶している。直前QP記憶部801が記憶しているQP値は、ピクチャ処理開始時に初期化される。
例えば、H.264と同様にSliceヘッダ情報に符号化されたSliceQP値で初期化する。Sliceは、1ピクチャに属するブロックをグループに分割したときの単位である。
上QP取得部803は、ブロック情報記憶部624から、処理ブロックの上に位置するブロックのQP値を取得する。
QP選択部802は、直前QP記憶部801か、あるいは、上QP取得部803かのいずれかの出力するQP値を選択して、QP予測値としてQP確定部704や第1エントロピー符号化部641に出力する。
例えば、QP選択部802は、処理ブロックがブロックライン先頭のブロックであれば、上QP取得部803から出力されたQP値を選択し、処理ブロックがブロックライン先頭以外のブロックであれば、直前QP記憶部801から出力されたQP値を選択する。QP選択部802は、選択したQP値をQP予測値として、QP確定部704や第1エントロピー符号化部641に出力する。
上記例の場合のQP値の予測(選択)については、図10A及び図10Bに示す通りである。ここで、処理ブロックXに近いブロックのQP値がQP予測値として使用されるため、ラスタ順序で直前のQP値を使用した場合と比較して、QP値の予測効率はほとんど低下しない。
上記例では、ブロックラインの先頭以外では直前に処理したブロックのQP値を用いてQP予測値を生成したが、処理ブロックに隣接するブロックから予測するのであれば、他の方法でQP値を生成してもよい。
なお、動画像復号装置10の実施例1と同様に、QP選択部802の処理は次のような処理あってもよい。処理するブロックラインが2〜N番目のブロックラインのときは、直前QP記憶部801が保存しているQP値はSliceQP値であり、Slice単位に1つ定まる値である。そのため、各ブロックのQP予測値として、SliceQP値を採用するとき、予測効率はそれほどよくない場合がある。
そこで、QP選択部802は、処理するブロックラインが2〜N番目のブロックラインの先頭ブロックを処理するときは、上QP取得部803が取得したQP値を選択し、それ以外では、直前QP記憶部801が保持したQP値を選択してもよい。
また、QP選択部802は、N+1番目以降のブロックラインの先頭ブロックを処理するときは、直前QP記憶部801が保持しているQP値を選択する。このときの直前QP記憶部801が保持しているQP値は、処理ブロックのNブロック上に位置するブロックラインの最後のブロックのQP値である。
K番目のブロックラインとK+N番目のブロックラインは、同一の復号処理部とQP予測部とエントロピー復号部とで処理されるため、K番目のブロックラインの処理ブロックの直前に処理したブロックは、K−N番目のブロックラインの最後のブロックである。
さらに、QP選択部802は、ブロックラインの先頭ブロックでは、常に直前QP記憶部801に記憶されるQP値を採用するようにしてもよい。また、QP選択部802は、処理するブロックラインが1〜N番目のブロックラインの先頭ブロックであるときは、QP予測値はSliceQP値としてもよい。
このとき、同様にN+1番目のブロックラインの先頭ブロックのQP予測値は、Nブロック上に位置するブロックラインの最後のブロック(最終ブロック)のQP値としてもよい。
各エントロピー符号化部641〜643は、各ブロックの差分動きベクトル、QP差分値、量子化された直交変換係数などを、ブロックライン毎にエントロピー符号化する。
以上の構成を有することで、量子化パラメータの予測値を求める処理を、ブロックライン毎に並列処理することができる。
<動作>
次に、実施例2における動画像符号化装置50の動作について説明する。図16は、実施例2におけるブロック符号化処理の一例を示すフローチャートである。図16に示すブロック符号化処理は、1ブロックの処理である。
ステップS201で、各符号化処理部に処理対象のブロック(処理ブロック)が入力される。動き検出部708は、復号画素記憶部505から参照ピクチャの画素データを取得し、動きベクトルが検出される。
ステップS202で、差分ベクトル生成部710は、検出された動きベクトルと、生成した予測ベクトルとの差分ベクトルを生成する。
ステップS203で、動き検出部708は、検出された動きベクトルをブロック情報記憶部624に記憶する。
ステップS204で、予測信号生成部709は、動き検出部708で検出された動きベクトルが参照する参照画像の領域位置情報を取得し、予測画素信号を生成する。
ステップS205で、予測差分部701は、予測信号生成部709により生成された予測画素信号と、入力された原画像との差分をとり、予測誤差信号を生成する。
ステップS206で、直交変換部702は、予測差分部701で生成された予測誤差信号に対し、直交変換処理を行い、直交変換係数を生成する。
ステップS207で、量子化部703は、直交変換係数に対し、量子化パラメータ(QP)値に基づいて量子化する。
ステップS208で、各QP予測部は、処理ブロックのQP予測値を生成する。QP予測値は、例えば、処理ブロックの上ブロック、あるいはQP予測部が属するブロックライ
符号化部が過去に処理したブロックのQP値とする。
ステップS209で、QP確定部704は、量子化部703から取得したQP値と、QP予測部から取得したQP予測値とのいずれかに、処理ブロックのQP値を確定する。確定の仕方は上述した通りである。
ステップS210で、各エントロピー符号化部は、処理ブロックの量子化された直交変換係数、QP差分値、差分ベクトルなどをエントロピー符号化する。
ステップS211で、逆量子化部705と逆直交変換部706とは、量子化された直交変換係数に対し、逆量子化処理を行い、逆直交変換処理を行って、予測誤差信号に相当する信号を生成する。
ステップS212で、復号画素生成部707は、予測信号生成部709から取得した予測画素信号と、逆直交変換部706から取得した信号とを加算し、局所的な復号画素を生成する。
ステップS213で、復号画素記憶部505は、生成された復号画素を記憶する。以上の処理で、ブロックの符号化処理が終了し、次のブロックの符号化処理に移行する。
以上、実施例2によれば、動画像符号化装置において、QP予測値の算出処理を並列化することを可能とし、ブロックライン並列処理の効率を向上させることができる。
[実施例3]
図17は、動画像処理装置の構成の一例を示すブロック図である。動画像処理装置90は、各実施例で説明した動画像符号化装置、又は動画像復号装置の一例である。図17に示すように、動画像処理装置90は、制御部901、主記憶部902、補助記憶部903、ドライブ装置904、ネットワークI/F部906、入力部907、表示部908を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
制御部901は、コンピュータの中で、各装置の制御やデータの演算、加工を行うCPUである。また、制御部901は、主記憶部902や補助記憶部903に記憶されたプログラムを実行する演算装置であり、入力部907や記憶装置からデータを受け取り、演算、加工した上で、表示部908や記憶装置などに出力する。
主記憶部902は、ROM(Read Only Memory)やRAM(Random Access Memory)などであり、制御部901が実行する基本ソフトウェアであるOSやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部903は、HDD(Hard Disk Drive)などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
ドライブ装置904は、記録媒体905、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
また、記録媒体905は、所定のプログラムを格納する。この記録媒体905に格納されたプログラムは、ドライブ装置904を介して動画像処理装置90にインストールされる。インストールされた所定のプログラムは、動画像処理装置90により実行可能となる。
ネットワークI/F部906は、有線及び/又は無線回線などのデータ伝送路により構築されたLAN(Local Area Network)、WAN(Wide Area Network)などのネットワークを介して接続された通信機能を有する周辺機器と動画像処理装置90とのインターフェースである。
入力部907は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部908の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部907は、ユーザが制御部901に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
表示部908は、LCD(Liquid Crystal Display)等を有し、制御部901から入力される表示データに応じた表示が行われる。なお、表示部908は、外部に設けられてもよく、その場合は、動画像処理装置90は、表示制御部を有する。
このように、前述した実施例で説明した動画像符号化処理又は動画像復号処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、前述した動画像符号化処理又は動画像復号処理を実現することができる。
また、この動画像符号化プログラム又は動画像復号プログラムを記録媒体905に記録し、このプログラムが記録された記録媒体905をコンピュータや携帯端末に読み取らせて、前述した動画像符号化処理又は動画像復号処理を実現させることも可能である。
なお、記録媒体905は、CD−ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。なお、記録媒体805には、搬送波は含まれない。
動画像処理装置90で実行されるプログラムは、各実施例で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部901が補助記憶部903からプログラムを読み出して実行することにより上記各部のうち1又は複数の各部が主記憶部902上にロードされ、1又は複数の各部が主記憶部902上に生成されるようになっている。
また、前述した各実施例で説明した動画像符号化処理又は動画像復号処理は、1つ又は複数の集積回路に実装してもよい。
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
なお、以上の実施例に関し、さらに以下の付記を開示する。
(付記1)
複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置であって、
前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号する並列エントロピー復号部と、
前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、
前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号部により復号されたデータと、前記並列QP予測部により算出された予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する並列復号処理部と、を備え、
前記並列QP予測部は、
2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像復号装置。
(付記2)
前記並列QP予測部は、
前記画像の上から2番目以降のブロックラインの先頭ブロックを処理する場合、前記先頭ブロックの1ブロック上のブロックを参照する付記1記載の動画像復号装置。
(付記3)
前記並列QP予測部は、
前記画像の上から2〜N番目のブロックラインの先頭ブロックを処理する場合、前記先頭ブロックの1ブロック上のブロックを参照し、N+1番目以降のブロックラインの前記先頭ブロックを処理する場合、前記先頭ブロックのNブロック上のブロックラインにおける最終ブロックを参照する付記1記載の動画像復号装置。
(付記4)
前記予測値は、
前記画像の上から1〜N番目のブロックラインの先頭ブロックを処理する場合、該画像のヘッダ情報に含まれる量子化パラメータ値とし、N+1番目以降のブロックラインの前記先頭ブロックを処理する場合、前記先頭ブロックのNブロック上のブロックラインにおける最終ブロックの量子化パラメータ値とする付記1記載の動画像復号装置。
(付記5)
画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置であって、
前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データを、ブロックライン毎に並列に生成する並列符号化処理部と、
前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、
前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う並列エントロピー符号化部と、を備え、
前記並列QP予測部は、
2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像符号化装置。
(付記6)
複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置が実行する動画像復号方法であって、
前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号し、
前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号処理により復号されたデータと、前記予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する処理を有し、
前記予測値を算出する処理は、
2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像復号方法。
(付記7)
画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置が実行する動画像符号化方法であって、
前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データを、ブロックライン毎に並列に生成し、
前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う処理を有し、
前記予測値を算出する処理は、
2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像符号化方法。
(付記8)
複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置に実行させるための動画像復号プログラムであって、
前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号し、
前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号処理により復号されたデータと、前記予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する処理を有し、
前記予測値を算出する処理は、
2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像復号プログラム。
(付記9)
画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置に実行させるための動画像符号化プログラムであって、
前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データを、ブロックライン毎に並列に生成し、
前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う処理を有し、
前記予測値を算出する処理は、
2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像符号化プログラム。
10 動画像復号装置
50 動画像符号化装置
90 動画像処理装置
101 並列復号部
102 並列エントロピー復号部
103 並列QP予測部
104 並列復号処理部
105 復号画素記憶部
201 ブロックライン復号処理部
244 ブロック情報記憶部
301 QP復元部
401 直前QP記憶部
402 QP選択部
403 上QP取得部
501 並列符号化部
502 並列符号化処理部
503 並列QP予測部
504 並列エントロピー符号化部
505 復号画素記憶部
601 ブロックライン符号化処理部
624 ブロック情報記憶部
704 QP確定部
801 直前QP記憶部
802 QP選択部
803 上QP取得部
901 制御部
902 主記憶部
903 補助記憶部

Claims (9)

  1. 複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置であって、
    前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号する並列エントロピー復号部と、
    前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、
    前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号部により復号されたデータと、前記並列QP予測部により算出された予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する並列復号処理部と、を備え、
    前記並列QP予測部は、
    2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像復号装置。
  2. 前記並列QP予測部は、
    前記画像の上から2番目以降のブロックラインの先頭ブロックを処理する場合、前記先頭ブロックの1ブロック上のブロックを参照する請求項1記載の動画像復号装置。
  3. 前記並列QP予測部は、
    前記画像の上から2〜N番目のブロックラインの先頭ブロックを処理する場合、前記先頭ブロックの1ブロック上のブロックを参照し、N+1番目以降のブロックラインの前記先頭ブロックを処理する場合、前記先頭ブロックのNブロック上のブロックラインにおける最終ブロックを参照する請求項1記載の動画像復号装置。
  4. 前記予測値は、
    前記画像の上から1〜N番目のブロックラインの先頭ブロックを処理する場合、前記画像のヘッダ情報に含まれる量子化パラメータ値とし、N+1番目以降のブロックラインの前記先頭ブロックを処理する場合、前記先頭ブロックのNブロック上のブロックラインにおける最終ブロックの量子化パラメータ値とする請求項1記載の動画像復号装置。
  5. 画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置であって、
    前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データを、ブロックライン毎に並列に生成する並列符号化処理部と、
    前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出する並列QP予測部と、
    前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う並列エントロピー符号化部と、を備え、
    前記並列QP予測部は、
    2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像符号化装置。
  6. 複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置が実行する動画像復号方法であって、
    前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号し、
    前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
    前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号処理により復号されたデータと、前記予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する処理を有し、
    前記予測値を算出する処理は、
    2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像復号方法。
  7. 画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置が実行する動画像符号化方法であって、
    前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データを、ブロックライン毎に並列に生成し、
    前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
    前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う処理を有し、
    前記予測値を算出する処理は、
    2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像符号化方法。
  8. 複数のブロックに分割された画像に対し、動画像符号化方式を用いて符号化されたストリームを復号する動画像復号装置に実行させるための動画像復号プログラムであって、
    前記ブロックの列を示すブロックラインに含まれるブロックのストリームを、ブロックライン毎に並列にエントロピー復号し、
    前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
    前記ブロックラインに含まれる各ブロックに対し、前記並列エントロピー復号処理により復号されたデータと、前記予測値とを用いて復号処理した復号画素を、ブロックライン毎に並列に生成する処理を有し、
    前記予測値を算出する処理は、
    2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像復号プログラム。
  9. 画像を複数のブロックに分割し、該ブロック毎に動画像符号化処理を行う動画像符号化装置に実行させるための動画像符号化プログラムであって、
    前記ブロックの列を示すブロックラインに含まれるブロックに対し、量子化された直交変換係数を含む符号化データ、ブロックライン毎に並列に生成し、
    前記ブロックラインに含まれる各ブロックの量子化パラメータの予測値を、ブロックライン毎に並列に算出し、
    前記ブロックラインに含まれる各ブロックに対し、前記符号化データと前記予測値とを用いてエントロピー符号化を、ブロックライン毎に並列に行う処理を有し、
    前記予測値を算出する処理は、
    2以上の値を示すN個のブロックラインずつ並列処理する場合、K−1番目のブロックラインの処理ブロックの水平位置を、K番目のブロックラインの処理ブロックの水平位置よりも少なくとも1ブロック以上先に処理し、前記処理ブロックに対して、前記並列処理で処理が完了しているブロックを参照して前記予測値を算出する動画像符号化プログラム。
JP2012010465A 2012-01-20 2012-01-20 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム Pending JP2013150215A (ja)

Priority Applications (33)

Application Number Priority Date Filing Date Title
JP2012010465A JP2013150215A (ja) 2012-01-20 2012-01-20 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
EP13703155.5A EP2805499B1 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
MX2015017519A MX347421B (es) 2012-01-20 2013-01-16 Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
BR112014017608-6A BR112014017608B1 (pt) 2012-01-20 2013-01-16 Decodificador de vídeo para decodificar um fluxo codificado com um sistema de codificação de vídeo
KR1020157033513A KR101684207B1 (ko) 2012-01-20 2013-01-16 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
KR1020157033522A KR101684209B1 (ko) 2012-01-20 2013-01-16 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
CN201380005990.1A CN104067619B (zh) 2012-01-20 2013-01-16 视频解码器、视频解码方法以及视频解码程序的记录介质
MX2015017522A MX347422B (es) 2012-01-20 2013-01-16 Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
MX2014008778A MX338369B (es) 2012-01-20 2013-01-16 Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
CA2863170A CA2863170C (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
AU2013210274A AU2013210274B2 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
CN201710196786.2A CN107241605B (zh) 2012-01-20 2013-01-16 视频编码器以及视频编码方法
EP19215560.4A EP3661203A1 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
KR1020157033518A KR101684208B1 (ko) 2012-01-20 2013-01-16 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
EP19215559.6A EP3644607A1 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
MX2015017523A MX348224B (es) 2012-01-20 2013-01-16 Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
EP19215562.0A EP3641313A1 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
PCT/JP2013/051225 WO2013108922A2 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
CA2935332A CA2935332C (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
US14/372,851 US9628825B2 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
KR1020147020171A KR101684038B1 (ko) 2012-01-20 2013-01-16 동화상 복호 장치, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 부호화 방법
CA2935336A CA2935336C (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
EP19215563.8A EP3641314A1 (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
CA2935331A CA2935331C (en) 2012-01-20 2013-01-16 Video decoder, video encoder, video decoding method, and video encoding method
CN201710197475.8A CN107318026B (zh) 2012-01-20 2013-01-16 视频编码器以及视频编码方法
MX2015017521A MX347419B (es) 2012-01-20 2013-01-16 Decodificador de video, codificador de video, metodo de decodificacion de video, y metodo de codificacion de video.
AU2015213342A AU2015213342B2 (en) 2012-01-20 2015-08-13 Video decoder, video encoder, video decoding method, and video encoding method
AU2015213343A AU2015213343B2 (en) 2012-01-20 2015-08-13 Video decoder, video encoder, video decoding method, and video encoding method
AU2015213340A AU2015213340B2 (en) 2012-01-20 2015-08-13 Video decoder, video encoder, video decoding method, and video encoding method
AU2015213341A AU2015213341B2 (en) 2012-01-20 2015-08-13 Video decoder, video encoder, video decoding method, and video encoding method
US15/337,196 US9743088B2 (en) 2012-01-20 2016-10-28 Video encoder and video encoding method
US15/475,234 US9973756B2 (en) 2012-01-20 2017-03-31 Video encoder and video encoding method
US15/852,322 US10051273B2 (en) 2012-01-20 2017-12-22 Video decoder and video decoding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012010465A JP2013150215A (ja) 2012-01-20 2012-01-20 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2015219839A Division JP2016054514A (ja) 2015-11-09 2015-11-09 動画像符号化装置、動画像符号化方法、動画像符号化プログラム
JP2015219837A Division JP6065090B2 (ja) 2015-11-09 2015-11-09 動画像復号装置、動画像復号方法、動画像復号プログラム
JP2015219838A Division JP6317720B2 (ja) 2015-11-09 2015-11-09 動画像符号化装置、動画像符号化方法、動画像符号化プログラム

Publications (1)

Publication Number Publication Date
JP2013150215A true JP2013150215A (ja) 2013-08-01

Family

ID=47678961

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012010465A Pending JP2013150215A (ja) 2012-01-20 2012-01-20 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム

Country Status (9)

Country Link
US (4) US9628825B2 (ja)
EP (5) EP3641313A1 (ja)
JP (1) JP2013150215A (ja)
KR (4) KR101684208B1 (ja)
CN (3) CN107318026B (ja)
AU (5) AU2013210274B2 (ja)
CA (4) CA2935331C (ja)
MX (5) MX347422B (ja)
WO (1) WO2013108922A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047375A1 (ja) * 2014-09-24 2016-03-31 株式会社日立情報通信エンジニアリング 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
JP2017028731A (ja) * 2012-01-30 2017-02-02 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6080375B2 (ja) * 2011-11-07 2017-02-15 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
AU2013403225B2 (en) 2013-10-14 2018-06-14 Microsoft Technology Licensing, Llc Features of base color index map mode for video and image coding and decoding
KR102170169B1 (ko) 2013-10-14 2020-10-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
US10110910B2 (en) * 2013-10-21 2018-10-23 Vid Scale, Inc. Parallel decoding method for layered video coding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10542274B2 (en) 2014-02-21 2020-01-21 Microsoft Technology Licensing, Llc Dictionary encoding and decoding of screen content
BR112016018814A8 (pt) 2014-03-04 2020-06-23 Microsoft Technology Licensing Llc dispositivo de computação, método em dispositivo de computação com decodificador de vídeo ou decodificador de imagem e meio legível por computador
JP2015185897A (ja) 2014-03-20 2015-10-22 パナソニックIpマネジメント株式会社 画像符号化方法及び画像符号化装置
KR102413529B1 (ko) 2014-06-19 2022-06-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 통합된 인트라 블록 카피 및 인터 예측 모드
CN105874795B (zh) 2014-09-30 2019-11-29 微软技术许可有限责任公司 在波前并行处理被启用时对图片内预测模式的规则
CN104320667B (zh) * 2014-11-03 2017-11-03 浙江泰立媒科技有限公司 多过程最优化编转码***及方法
US9591325B2 (en) 2015-01-27 2017-03-07 Microsoft Technology Licensing, Llc Special case handling for merged chroma blocks in intra block copy prediction mode
CN106664405B (zh) 2015-06-09 2020-06-09 微软技术许可有限责任公司 用调色板模式对经逸出编码的像素的稳健编码/解码
CN105592314B (zh) * 2015-12-17 2018-07-10 清华大学 并行解码方法和并行解码装置
CN105992008B (zh) * 2016-03-30 2019-08-30 南京邮电大学 一种在多核处理器平台上的多层次多任务并行解码方法
JP6769302B2 (ja) * 2016-12-28 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化用コンピュータプログラム、動画像復号装置及び動画像復号方法ならびに動画像復号用コンピュータプログラム
CN109756733B (zh) * 2017-11-06 2022-04-12 华为技术有限公司 视频数据解码方法及装置
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
CN108111862B (zh) * 2018-01-12 2020-04-28 北京数码视讯软件技术发展有限公司 视频编码方法及装置
WO2021084679A1 (ja) * 2019-10-31 2021-05-06 株式会社ソシオネクスト 動画像符号化方法、符号化処理方法、動画像符号化装置および符号化処理装置
CN113382238A (zh) * 2020-02-25 2021-09-10 北京君正集成电路股份有限公司 一种加快残差系数部分比特数计算速度的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129284A (ja) * 2004-10-29 2006-05-18 Sony Corp 符号化及び復号装置並びに符号化及び復号方法
JP2007312427A (ja) * 2006-04-17 2007-11-29 Toshihiro Minami 動画像符号化装置
JP2009150808A (ja) * 2007-12-21 2009-07-09 Yamatake Corp 曇り検出装置および鏡面冷却式露点計
JP2010035146A (ja) * 2008-07-02 2010-02-12 Canon Inc 符号化装置および符号化方法
WO2010067505A1 (ja) * 2008-12-08 2010-06-17 パナソニック株式会社 画像復号化装置および画像復号化方法
JP2013123206A (ja) * 2011-11-07 2013-06-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL110020A (en) 1994-06-15 1999-07-14 S D L Technologies Sol Ltd Apparatus and method for purifying waste water
AU2342300A (en) 1998-09-24 2000-05-01 Schlumberger Technology Corporation Initiation of explosive devices
CN101160972B (zh) * 2005-04-13 2010-05-19 汤姆逊许可公司 利用公共预测器的亮度和色度编码
JP4784188B2 (ja) 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8625914B2 (en) 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
US9042457B2 (en) * 2008-06-10 2015-05-26 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus and image coding apparatus wth parallel decoding
RU2471306C2 (ru) * 2008-06-27 2012-12-27 Сони Корпорейшн Устройство обработки изображений и способ обработки изображений
EP2249571A1 (en) * 2009-05-04 2010-11-10 Thomson Licensing SA Method and device for encoding an image frame comprising macroblocks
US8588297B2 (en) * 2009-12-23 2013-11-19 Oracle America, Inc. Quantization parameter prediction
WO2011160251A1 (en) * 2010-06-21 2011-12-29 Thomson Broadband R&D (Beijing) Co., Ltd. Method and apparatus for encoding/decoding image data
JP2012010465A (ja) 2010-06-23 2012-01-12 Jtekt Corp モータ制御装置及び車両用操舵装置
CN102148989B (zh) * 2011-04-22 2012-07-25 西安交通大学 一种h.264中全零块检测的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129284A (ja) * 2004-10-29 2006-05-18 Sony Corp 符号化及び復号装置並びに符号化及び復号方法
JP2007312427A (ja) * 2006-04-17 2007-11-29 Toshihiro Minami 動画像符号化装置
JP2009150808A (ja) * 2007-12-21 2009-07-09 Yamatake Corp 曇り検出装置および鏡面冷却式露点計
JP2010035146A (ja) * 2008-07-02 2010-02-12 Canon Inc 符号化装置および符号化方法
WO2010067505A1 (ja) * 2008-12-08 2010-06-17 パナソニック株式会社 画像復号化装置および画像復号化方法
JP2013123206A (ja) * 2011-11-07 2013-06-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GORDON CLARE, ET AL.: "Wavefront Parallel Processing for HEVC Encoding and Decoding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH M, vol. JCTVC-F274, JPN6016016654, 16 July 2011 (2011-07-16), ISSN: 0003312644 *
MUHAMMED COBAN, ET AL.: "CE9 Subtest 1: Spatial QP prediction (test 1.3.e): combination of test 1.3.b and test 1.3.d", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH M, vol. [JCTVC-G728], JPN6015020040, 15 November 2011 (2011-11-15), pages 1 - 8, ISSN: 0003078609 *
SATOSHI SHIMADA, ET AL.: "On derivation of luma QP predictor for Wavefront Parallel Processing", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 8TH M, vol. [JCTVC-H0226], JPN6015020043, 9 February 2012 (2012-02-09), pages 1 - 3, ISSN: 0003078610 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017028731A (ja) * 2012-01-30 2017-02-02 サムスン エレクトロニクス カンパニー リミテッド ビデオ復号化装置
US10045025B2 (en) 2012-01-30 2018-08-07 Samsung Electronics Co., Ltd. Method and apparatus for hierarchical data unit-based video encoding and decoding comprising quantization parameter prediction
WO2016047375A1 (ja) * 2014-09-24 2016-03-31 株式会社日立情報通信エンジニアリング 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法
JP2016066850A (ja) * 2014-09-24 2016-04-28 株式会社日立情報通信エンジニアリング 動画像符号化装置、動画像復号装置、および動画像符号化・復号化方法

Also Published As

Publication number Publication date
MX2014008778A (es) 2014-10-13
WO2013108922A3 (en) 2014-07-10
AU2013210274B2 (en) 2015-09-03
KR101684038B1 (ko) 2016-12-07
CN107318026B (zh) 2019-12-24
EP3641314A1 (en) 2020-04-22
KR101684207B1 (ko) 2016-12-07
EP3644607A1 (en) 2020-04-29
CN107241605B (zh) 2020-03-06
AU2013210274A1 (en) 2014-08-07
CN104067619A (zh) 2014-09-24
AU2015213343A1 (en) 2015-09-03
CA2863170C (en) 2017-01-03
EP2805499A2 (en) 2014-11-26
CA2935332A1 (en) 2013-07-25
KR20140110958A (ko) 2014-09-17
AU2015213340B2 (en) 2016-06-16
AU2015213342A1 (en) 2015-09-03
US20170208329A1 (en) 2017-07-20
KR101684209B1 (ko) 2016-12-07
CN107241605A (zh) 2017-10-10
BR112014017608A2 (ja) 2017-06-20
CA2863170A1 (en) 2013-07-25
MX347419B (es) 2017-04-26
AU2015213340A1 (en) 2015-09-03
EP2805499B1 (en) 2020-09-02
MX347422B (es) 2017-04-26
US20170048524A1 (en) 2017-02-16
CA2935336A1 (en) 2013-07-25
US20150049804A1 (en) 2015-02-19
CA2935336C (en) 2018-07-17
CA2935331C (en) 2018-08-28
EP3661203A1 (en) 2020-06-03
AU2015213342B2 (en) 2016-07-28
CN104067619B (zh) 2017-08-18
MX348224B (es) 2017-05-31
BR112014017608A8 (pt) 2017-07-11
AU2015213341A1 (en) 2015-09-03
US9973756B2 (en) 2018-05-15
WO2013108922A2 (en) 2013-07-25
CA2935332C (en) 2018-07-03
KR20150139621A (ko) 2015-12-11
KR101684208B1 (ko) 2016-12-07
CA2935331A1 (en) 2013-07-25
US9743088B2 (en) 2017-08-22
AU2015213343B2 (en) 2016-07-14
US10051273B2 (en) 2018-08-14
CN107318026A (zh) 2017-11-03
EP3641313A1 (en) 2020-04-22
KR20150138421A (ko) 2015-12-09
AU2015213341B2 (en) 2016-06-30
US9628825B2 (en) 2017-04-18
MX338369B (es) 2016-04-12
KR20150138422A (ko) 2015-12-09
MX347421B (es) 2017-04-26
US20180124405A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
US10051273B2 (en) Video decoder and video decoding method
JP6317720B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム
JP6065090B2 (ja) 動画像復号装置、動画像復号方法、動画像復号プログラム
JP6311821B2 (ja) 動画像処理装置及び動画像処理方法
JP2016054514A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160510