JP5416277B2 - 階層的映像符号化における空間予測方法及び装置 - Google Patents

階層的映像符号化における空間予測方法及び装置 Download PDF

Info

Publication number
JP5416277B2
JP5416277B2 JP2012519482A JP2012519482A JP5416277B2 JP 5416277 B2 JP5416277 B2 JP 5416277B2 JP 2012519482 A JP2012519482 A JP 2012519482A JP 2012519482 A JP2012519482 A JP 2012519482A JP 5416277 B2 JP5416277 B2 JP 5416277B2
Authority
JP
Japan
Prior art keywords
block
mode
spatial prediction
adjacent
activity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012519482A
Other languages
English (en)
Other versions
JP2012533209A (ja
Inventor
チェー，ウン−イル
チョウ，デ−ソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2012533209A publication Critical patent/JP2012533209A/ja
Application granted granted Critical
Publication of JP5416277B2 publication Critical patent/JP5416277B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は階層的映像(video)符号化方法及び装置に関するもので、特に階層的映像符号化における空間予測方法及び装置に関する。
一般的に、コーデック(codec)技術は、オーディオ及びビデオデータを圧縮するための技術に使われている。コーデック技術の依存度は、特にデータ量が多くの映像処理技術で一層高い。
一方、コーデック技術における性能を評価する重要な要素のうちの一つは圧縮効率であるので、コーデックによるデータ圧縮率を高めるために、多くの努力がなされている。
現在映像処理に広く使用されているコーデックは、４：２：０映像又は８ビットのビット深さ(bit depth)を有する映像を処理できる。一方、映像フォーマットが４：２：２映像又は４：４：４映像、あるいは１６ビットのビット深さに拡張された高画質の映像を処理できる新たなコーデックに関する研究が活発に進んでいる。加えて、新たなコーデックですべての映像フォーマット又はビット深さを有する入力映像を効率的に符号化及び復号化できる多くの研究が進行している。
したがって、本発明は上記した従来技術の問題点に鑑みてなされたものであって、その目的は、階層的映像符号化で生成された剰余(residual)映像を効率的に符号化するための空間予測方法及び装置を提供することにある。
また、本発明の目的は、階層的映像符号化で圧縮効率を高めるように入力映像を符号化するための空間予測方法及び装置を提供することにある。
上記のような目的を達成するために、本発明の一態様によれば、階層的映像符号化における剰余映像を符号化するための空間予測方法であって、剰余映像に含まれたブロックのうち、第１のブロックに隣接して位置した少なくとも一つの隣接ブロックの活動度に基づいてデフォルトモード、水平モード、及び垂直モードのうち少なくとも一つを空間予測モードとして選択するステップと、空間予測モードに基づいて構成された予測ブロックの画素と第１のブロックの画素との間の差を符号化するステップとを有する。上記少なくとも一つの隣接ブロックは、第１のブロックの左側に位置する第１の隣接ブロックと第１のブロックの上側に位置する第２の隣接ブロックとを含む。
本発明の他の態様によれば、階層的映像符号化における剰余映像を符号化するための空間予測装置であって、剰余映像に含まれたブロックのうちの第１のブロックに隣接して位置した少なくとも一つの隣接ブロックの活動度に基づいてデフォルトモード、水平モード、及び垂直モードのうち少なくとも一つを空間予測モードとして選択するブロック活動度判断部と、空間予測モードによって構成された予測ブロックの画素と第１のブロックの画素との間の差を符号化する空間予測部とを含む。上記少なくとも一つの隣接ブロックは、第１のブロックの左側に位置する第１の隣接ブロックと第１のブロックの上側に位置する第２の隣接ブロックとを含む。
本発明は、階層的映像符号化の際に、基本階層から復元された復元映像と入力映像との差から生成された剰余映像内に存在する画素又はブロック間の空間相関度を用いて空間予測を遂行することで、入力映像の圧縮率を向上させることができる。
本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるであろう。
本発明が適用される階層的映像コーダを示す図である。 本発明が適用される階層的映像デコーダを示す図である。 本発明の実施形態による空間予測を遂行する第２の符号化部１０９の構成を示す図である。 本発明の実施形態による空間予測を遂行するために必要な隣接ブロックの位置及び画素に基づいて空間予測の実施形態を示す図である。 本発明の実施形態による空間予測を遂行するために必要な隣接ブロックの位置及び画素に基づいて空間予測の実施形態を示す図である。 本発明の実施形態による空間予測を遂行するために必要な隣接ブロックの位置及び画素に基づいた空間予測の実施形態を示す図である。 本発明の実施形態による空間予測方法を示す図である。
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
図面において、同一の構成要素に対してはできるだけ同一の参照符号及び参照番号を付して説明する。次の説明において、具体的な構成及び要素のような特定詳細は、単に実施形態の全般的な理解を助けるために提供される。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。“少なくとも一つの”との表現は、要素のリストを先行する場合に、要素のリスト全体を変更し、上記リストの各々の要素を変更しないことである。
後述する本発明の実施形態では、階層映像処理システムは、低解像度映像と高解像度映像を同時に処理する映像処理システムとして考えられる。しかしながら、本実施形態は、低解像度映像と高解像度映像を共に処理するすべての映像処理システムに適用が可能であることはもちろんである。
階層映像処理システムは、オリジナル映像を用いて低解像度映像と高解像度映像をサポートする。例えば、低解像度映像は順次走査(progressive)方式による映像であり、高解像度映像は飛び越し走査(interlace)方式による映像であることが一つの例である。
本発明の実施形態は、階層的映像の符号化中に、基本階層の映像から復元された映像(以下、“復元映像”と称する）と入力映像との差から生成された剰余映像(residual image)内に存在するブロック間の空間相関度を用いて空間予測を遂行し、それによって入力映像の圧縮率を向上させるためのものである。ここで、基本階層の映像は、低解像度の映像であり、入力映像は高解像度の映像であり得る。
以下、添付の図面を参照して本発明の実施形態による階層的映像の符号化方法及び装置について詳細に説明する。
図１は階層的映像コーダを示し、図２は階層的映像デコータを示す。２個の階層的構成は、説明の便宜のために図１及び図２に示すが、本実施形態は、一般的なＭ個の階層的構成(ここで、Ｍ＞２)に適用可能である。図１の階層的映像コーダ及び図２の階層的映像デコーダは、データ圧縮率を向上させてデータ送受信時に伝送効率を増加させる動作を遂行する。
階層的映像コーダは、高解像度映像を受信し、符号化された低解像度映像と剰余映像を出力する。符号化段階以前の剰余映像は、入力される高解像度映像と階層的映像コーダで復元された高解像度映像の差によって獲得された画素値として定義される。
階層的映像デコーダは、階層的映像コーダから提供される基本階層の符号化された低解像度映像と拡張階層の符号化された剰余映像を受信し、復元された低解像度映像と復元された高解像度映像を出力する。
まず、図１を参照すると、階層的ビデオコーダは、ダウンサンプリング部１０１、第１の符号化部１０３、アップサンプリング部１０５、加減部１０７、及び第２の符号化部１０９を含む。
ダウンサンプリング部１０１は、高解像度映像である入力映像１００をダウンサンプリングして基本階層の映像、すなわち低解像度映像を生成し、この生成された低解像度映像を第１の符号化部１０３に提供する。
第１の符号化部１０３は、提供された低解像度映像を符号化して第１のビットストリーム１３０を生成し、この生成された第１のビットストリーム１３０を図２の階層的映像デコーダに提供する。第１の符号化部１０３は、符号化された低解像度映像に対するビットストリームを復元し、この復元された第１の復元映像をアップサンプリング部１０５に提供する。
アップサンプリング部１０５は、提供された第１の復元映像に対してダウンサンプリングの逆プロセスに該当するアップサンプリングを遂行して第２の復元映像を生成し、生成された第２の復元映像を加減部１０７に提供する。加減部１０７は、入力映像１００から提供された第２の復元映像を差し引き、入力映像１００と第２の復元映像の差に対応する剰余映像を第２の符号化部１０９に提供する。
第２の符号化部１０９は、提供された剰余映像を符号化して第２のビットストリーム１５０を生成し、この生成された第２のビットストリーム１５０を図２の階層的ビデオデコーダに提供する。
階層的映像コーダの構成において、第１の符号化部１０３は、低解像度映像を符号化するための基本階層に該当し、第２の符号化部１０９は、高解像度映像を処理する拡張階層に該当することが、必要不可欠ではないが、好ましい。
図２を参照すると、階層的映像デコーダは、第１のデコーダ２０１、アップサンプリング部２０３、第２のデコーダ２０５、及び加減部２０７を含む。
第１のデコーダ２０１は、図１の階層的映像コーダから低解像度又は低画質映像に該当する第１のビットストリーム１３０を受信し、入力された第１のビットストリーム１３０を復元し、第１の復元映像をアップサンプリング部２０３に提供する。アップサンプリング部２０３は、提供された第１の復元映像をアップサンプリングして第２の復元映像を生成し、この生成された第２の復元映像を加減部２０７に提供する。
第２のデコーダ２０５は、図１の階層的映像コーダから剰余映像に該当する第２のビットストリーム１５０を受信し、入力された第２のビットストリーム１５０に対して、図１の第２の符号化部１０９での符号化に対応するように復号化し、復元された剰余映像を加減部２０７に提供する。
加減部２０７は、提供された第２の復元映像に復元された剰余映像を加算し、第２の復元映像と復元された剰余映像の加算に対応する第３の復元映像２００をユーザーに提供する。第３の復元映像２００は、高解像度又は高画質映像に該当する。
図１の階層的映像符号化の場合に、剰余映像は、基本階層から復元された第２の復元映像を入力映像１００から差し引いて獲得されても、画像(picture)間の時間相関度だけでなく画素内の空間相関度も有する。その理由は、剰余映像が一般的に図１のダウンサンプリング部１０１で低域フィルタリングによって除去される高周波成分で構成され、このような剰余映像の高周波成分はまだ空間相関度を有しているためである。
これに基づき、本実施形態は、剰余映像の高周波成分に存在する空間相関度を効果的に利用することによって、入力映像１００の圧縮率を高める新たな方法を提供する。このために、本発明の実施形態では、第２の符号化部１０９は、図３乃至図７に従って剰余映像の高周波成分に存在している空間相関度を用いて空間予測を遂行する。
図３は、本発明の実施形態による空間予測を遂行する第２の符号化部１０９の構成を示す。図３を参照すると、本発明の実施形態による第２の符号化部１０９は、ブロック活動度判断部３０１、空間予測モード決定部３０３、及び空間予測部３０５を含む。
ブロック活動度判断部３０１は、剰余映像の空間予測のために、剰余映像をブロック単位に分割し、分割された各ブロックに対して、隣接ブロックに関する情報(例えば、隣接ブロックの画素の活動度(activity))を用いて現在ブロックに適用する少なくとも一つの空間予測モードを選択する。この空間予測モードは、水平方向に空間予測を遂行するための水平(HORIZONTAL)モード、垂直方向に空間予測を遂行する垂直(VERTICAL)モード、及び隣接ブロックの画素の代わりに予め設定された特定値を用いて空間予測を遂行するデフォルト(DEFAULT)モードを含む。
空間予測モード決定部３０３は、ブロック活動度判断部３０１で選択された少なくとも一つの空間予測モードの中で最適モードを決定する。空間予測部３０５は、決定された最適モードによって剰余映像内の現在ブロックに対して空間予測を遂行する。空間予測モード決定部３０３は、階層的映像デコーダに含まれていない。その代わりに、階層的映像デコーダは、階層的映像コーダにより決定された最適モードによるビットストリームを復号化するための最小化動作を遂行する。
空間予測を遂行するための各装置３０１〜３０５の詳細動作を説明すると、次のようである。
ブロック活動度判断部３０１は、入力される剰余映像で図４に示すように、現在ブロックＸの周辺に形成されたブロックＡ及びＢに関する情報(下記の条件１〜５のうちいずれか一つ)を用いてブロックＡ及びブロックＢの活動度を判断し、その判断結果によって、現在ブロックＸに適用される少なくとも一つの空間予測モードを選択する。
図４乃至図６は、本発明の実施形態による空間予測を遂行するために必要な隣接ブロックの位置及び画素に基づいて空間予測の実施形態を示す。８×８ブロックが一例として図４乃至図６に使用されるが、このブロックは、サイズに制限をおかない。一般的に、本発明の実施形態は、Ｎ×Ｎブロックに適用されることができる。
図４に示すように、現在ブロックＸの左側に位置した隣接ブロックＡと現在ブロックＸの上側に位置したブロックＢが、空間予測に使用される。具体的に説明すると、現在ブロックＸの隣接ブロックＡ及びＢの画素のうち、ブロックＡ内の現在ブロックＸに隣接した画素Ａ１〜Ａ８及びブロックＢ内の現在ブロックＸに隣接した画素Ｂ１〜Ｂ８が、空間予測に使用される。
８×８予測ブロックは、水平方向に空間予測モードを遂行するための水平モードでは、図５に示すようにブロックＡの画素Ａ１〜Ａ８を用いて構成され、垂直方向に空間予測を遂行するための垂直モードでは、図６に示すようでブロックＢの画素Ｂ１〜Ｂ８を用いて構成される。これら予測ブロックは、空間予測部３０５でブロックＸの空間予測値として使用される。
図３のブロック活動度判断部３０１を更に説明すると、ブロック活動度判断部３０１は、図４に示すように、ブロックＡ及びＢの画素Ａ１〜Ａ８及び画素Ｂ１〜Ｂ８、及びブロックＡ及びＢの符号化モード情報を用いてブロックＡ及びＢの活動度を、次のように判断する。
これらブロックは、その活動度によって高活動度ブロックと低活動度(low-activity)ブロックに分類される。次の条件(Condition)１〜５のうちいずれか一つは、ブロック活動度を判断する基準として使用される。任意の一つの条件が使用される場合、ブロックＡ及びＢに与えられたブロックＫ(画素Ａ１〜Ａ８を含むブロック及び画素Ｂ１〜Ｂ８を含むブロック)が該当条件を満たすと、ブロックＫは、低活動度と判断され、そうでない場合には高活動度(high-activity)と判断される。
条件１：ブロックＫのすべての画素の値が０である。
条件２：ブロックＫのＣＢＰ(Coded Block Pattern)値が０である。
条件３：ブロックＫがＳＫＩＰモードにある。
条件４：ブロックＫの空間予測に使用される画素の値がすべて同一である。(例えば、Ｋ１＝Ｋ２＝Ｋ３＝Ｋ４＝Ｋ５＝Ｋ６＝Ｋ７＝Ｋ８)
条件５：ブロックＫの空間予測に使用される画素の値間の差がしきい値ＴＨより小さい場合、その関係は、式(１)のように示される。
Figure 0005416277
 ブロック活動度判断部３０１は、条件１〜５のうちいずれか一つを用いて、ブロックＫを含むブロックＡ及びＢのブロック活動度を判断し、一例として、表１のように判断されるブロックＡ及びＢのブロック活動度によって剰余映像の現在ブロックＸの空間予測に適用されるように少なくとも一つの空間予測モードを選択する。
Figure 0005416277
 表１に示すように、ブロックＡ及びＢ両方が低活動度ブロックとして判断される場合に、ブロック活動度判断部３０１は、現在ブロックＸに対する空間予測モードとしてデフォルトモードを選択する。ブロックＡが高活動度ブロックとして判断され、かつブロックＢが低活動度ブロックとして判断される場合、ブロック活動度判断部３０１は、現在ブロックＸに対する空間予測モードとしてデフォルトと水平モードを選択する。ブロックＡが低活動度ブロックとして判断され、かつブロックＢが高活動度ブロックとして判断された場合、ブロック活動度判断部３０１は、現在ブロックＸに対する空間予測モードとしてデフォルト
、垂直モードを選択する。ブロックＡ及びＢ両方が高活動度ブロックとして判断される場合に、ブロック活動度判断部３０１は、現在ブロックＸに対する空間予測モードとしてデフォルト
、水平、及び垂直モードを選択する。
ブロック活動度判断部３０１は、選択された空間予測モードに関する情報を空間予測モード決定部３０３にブロック単位で提供する。ブロック活動度判断部３０１は、空間予測モードのタイプが上記表１に示したように隣接ブロックのブロック活動度によって変更されるため、空間予測モードに対するエントロピー符号化も隣接ブロックの活動度条件に基づいて選択的に遂行する。例えば、ブロック活動度判断部３０１は、ブロックＡ及びＢが共に低活動度ブロックとして判断された場合、空間予測モードとしてデフォルトモードのみが選択されるので、空間予測モードに関する情報を伝送しない。ブロックＡが高活動度ブロックとして判断され、かつブロックＢが低活動度ブロックとして判断された場合、ブロック活動度判断部３０１は、デフォルトモード及び水平モードの両モードが選択されるので、モード情報を１ビットで表す。同様に、ブロックＡが低活動度ブロックとして判断され、かつブロックＢが高活動度ブロックとして判断された場合、ブロック活動度判断部３０１は、デフォルト及び垂直モード両方が選択されるので、モード情報を１ビットで表す。加えて、ブロックＡ及びＢがすべて高活動度ブロックとして判断された場合には、ブロック活動度判断部３０１は、デフォルト
、水平、及び垂直モードが選択されるので、モード情報を２ビット(デフォルト＝００、水平＝１０、垂直＝０１)で表す。
空間予測モード決定部３０３は、剰余映像の圧縮率及び歪み(distortion）を考慮して選択された少なくとも一つの空間予測モードの中で最適モードを決定する。最適モードの選択方法は、映像コーダで一般的に使用される最適モードの決定方法に従う。例えば、ＭＰＥＧ-４又はＨ.２６４映像圧縮コーデックで使用される、圧縮率-歪みに基づいた最適モード決定方法を使うことができる。空間予測モード決定部３０３は、ビット率Ｒ及び歪み率Ｄを用いて式(１)によって定義されたＲＤコストを計算できる。符号化時に発生するビット率に対応するビット率Ｒは、選択された少なくとも一つの空間予測モードで遂行される。オリジナル映像と符号化及び復号化を遂行する場合に復元された映像との間の歪みに対応する歪み率Ｄは、選択された少なくとも一つの空間予測モードで遂行される。
ＲＤｃｏｓｔ＝Ｒ×λ＋Ｄ （２)
ここで、Ｄは、オリジナル映像と復元映像との間のＳＳＥ(Sum of Squared Error)を意味し、λは所定の定数を意味する。
空間予測モード決定部３０３は、選択された少なくとも一つの空間予測モードに対してＲＤコストを計算し、最小値である計算されたＲＤコストに対応する空間予測モードを最適モードとして決定する。
空間予測部３０５は、決定された最適モードによって剰余映像の現在ブロックに対する空間予測を遂行する。例えば、決定された最適モードがデフォルトモードである場合、空間予測部３０５は、ブロックＡ又はＢを利用せずに、一例として１２８のように予め設定された値と現在ブロックの各画素との間の差を計算し、この計算された差を符号化して空間予測を遂行する。剰余映像の現在ブロックに対して決定された最適モードが水平モードである場合、空間予測部３０５は、図５に示すように空間予測のための予測ブロックを構成し、現在ブロックと構成された予測ブロックの画素との間の差を計算し、計算された差を符号化して空間予測を遂行する。剰余映像の現在ブロックに対して決定された最適モードが垂直モードである場合、空間予測部３０５は、図６に示すように空間予測のための予測ブロックを構成し、現在ブロックの各画素と構成された予測ブロックの画素との間の差を計算し、この計算された差を符号化して空間予測を遂行する。
図７は、本発明の実施形態による空間予測方法を示す。図７を参照すると、ステップ５０１で剰余映像が入力される場合、ブロック活動度判断部３０１は、ステップ５０３で剰余映像をブロックに分割する。
ステップ５０５で、ブロック活動度判断部３０１は、剰余映像に含まれたすべてのブロックに対して、条件１〜５のうちいずれか一つを用いて現在ブロックＸの隣接ブロックＡ及びＢのブロック活動度を判断した後、表１に定義されたように空間予測モードにマッピングされている、判断されたブロックＡ及びＢの活動度によって少なくとも一つの空間予測モードを選択する。
さらに、剰余映像に含まれた各ブロックに対して、階層的映像符号化部に含まれた空間予測モード決定部３０３は、式(２)を用いて選択された少なくとも一つの空間予測モードの中で最適モードを決定する。
ステップ５０７で、空間予測部５０５は、入力された剰余映像に含まれた各ブロックに対して、決定された最適モードによって空間予測のための予測ブロックを構成し、現在ブロックＸの画素と予測ブロックの画素との差を計算し、計算された差を符号化して空間予測を遂行する。
その結果、本発明の実施形態では、階層的映像符号化の際に、基本階層から復元された復元映像と入力映像との差から生成された剰余映像内に存在する画素又はブロック間の空間相関度を用いて空間予測を遂行することで、入力映像の圧縮率を向上させることができる。
以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲の記載及びこれと均等なものに基づいて定められる本発明の範囲及び精神を逸脱することなく、形式や細部の様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

Claims (14)

  1. 階層的映像符号化における剰余映像を符号化するための空間予測方法であって、
    前記剰余映像に含まれたブロックのうち、第１のブロックに隣接して位置した第１の隣接ブロックの活動度と所定のしきい値との比較結果と、第２の隣接ブロックの活動度と前記しきい値との比較結果とを組み合わせてデフォルトモード、水平モード、及び垂直モードのうち少なくとも一つを空間予測モードとして選択するステップと、
    前記空間予測モードに基づいて構成された予測ブロックの画素と前記第１のブロックの画素との間の差を符号化するステップと、を有することを特徴とする空間予測方法。
  2. 前記空間予測モードを最適モードとして決定するステップをさらに有することを特徴とする請求項１に記載の空間予測方法。
  3. 前記第１及び第２の隣接ブロックの活動度は、前記第１及び第２の隣接ブロックで所定のブロックの画素活動度、符号化ブロックパターン(ＣＢＰ)、スキップモード情報のうち少なくとも一つによって判断されることを特徴とする請求項１に記載の空間予測方法。
  4. 前記第１の隣接ブロックの所定ブロックは前記第１のブロックの左側に隣接した画素を含み、前記第２の隣接ブロックの所定ブロックは前記第１のブロックの上側に隣接した画素を含むことを特徴とする請求項３に記載の空間予測方法。
  5. 前記選択するステップは、
    前記決定された第１及び第２の隣接ブロックの活動度が所定のしきい値より低い場合、前記デフォルトモードを選択するステップと、
    前記決定された第１の隣接ブロックの活動度が前記所定のしきい値より高く、第２の隣接ブロックの活動度が前記所定のしきい値より低い場合、前記デフォルトモード及び前記水平モードを選択するステップと、
    前記決定された第１の隣接ブロックの活動度が前記所定のしきい値より低く、第２の隣接ブロックの活動度が前記所定のしきい値より高い場合、前記デフォルトモード及び前記垂直モードを選択するステップと、
    前記決定された前記第１及び第２の隣接ブロックの活動度が前記所定のしきい値より高い場合、前記デフォルトモード、前記水平モード、及び前記垂直モードを選択するステップと、
    を有することを特徴とする請求項１に記載の空間予測方法。
  6. 前記符号化するステップは、
    前記決定された最適モードに基づいて予測ブロックを構成するステップと、
    前記第１のブロックの画素と前記予測ブロックの画素との間の差を計算するステップと、
    前記計算された差を符号化するステップと、
    を有する請求項２に記載の空間予測方法。
  7. 前記予測ブロックを構成するステップは、
    前記決定された最適モードが前記デフォルトモードである場合、所定のデフォルト値を含む予測ブロックを構成するステップと、
    前記決定された最適モードが前記水平モードである場合、前記第１のブロックに隣接した前記第１の隣接ブロックの画素を含む予測ブロックを構成するステップと、
    前記決定された最適モードが前記垂直モードである場合、前記第１のブロックに隣接した第２の隣接ブロックの画素を含む予測ブロックを構成するステップと、
    を有することを特徴とする請求項６に記載の空間予測方法。
  8. 階層的映像符号化における剰余映像を符号化するための空間予測装置であって、
    前記剰余映像に含まれたブロックのうちの第１のブロックに隣接して位置した第１の隣接ブロックの活動度と所定のしきい値との比較結果と、第２の隣接ブロックの活動度と前記しきい値との比較結果とを組み合わせてデフォルトモード、水平モード、及び垂直モードのうち少なくとも一つを空間予測モードとして選択するブロック活動度判断部と、
    前記空間予測モードによって構成された予測ブロックの画素と前記第１のブロックの画素との間の差を符号化する空間予測部と、を含むことを特徴とする空間予測装置。
  9. 前記空間予測モードを最適のモードとして決定する空間予測モード決定部をさらに含むことを特徴とする請求項８に記載の空間予測装置。
  10. 前記第１及び第２の隣接ブロックの活動度は、前記第１及び第２の隣接ブロックで所定ブロックの画素活動度、符号化ブロックパターン(ＣＢＰ)、スキップモード情報のうち少なくとも一つによって判断されることを特徴とする請求項８に記載の空間予測装置。
  11. 前記第１の隣接ブロックの所定ブロックは前記第１のブロックの左側に隣接した画素を含み、前記第２の隣接ブロックの所定ブロックは前記第１のブロックの上側に隣接した画素を含むことを特徴とする請求項１０に記載の空間予測装置。
  12. 前記ブロック活動度判断部は、
    前記判断された前記第１及び第２の隣接ブロックの活動度がしきい値より低い場合、前記デフォルトモードを選択し、
    前記判断された第１の隣接ブロックの活動度が前記しきい値より高く、第２の隣接ブロックの活動度が前記しきい値より低い場合、前記デフォルトモード及び前記水平モードを選択し、
    前記判断された第１の隣接ブロックの活動度が前記しきい値より低く、第２の隣接ブロックの活動度が前記しきい値より高い場合、前記デフォルトモード及び前記垂直モードを選択し、
    前記判断された第１及び第２の隣接ブロックの活動度が前記しきい値より高い場合、前記デフォルトモード、前記水平モード、及び前記垂直モードを選択することを特徴とする請求項８に記載の空間予測装置。
  13. 前記空間予測部は、
    前記決定された最適モードに基づいて予測ブロックを構成し、
    前記第１のブロックの画素と前記予測ブロックの画素との間の差を計算し、
    前記計算された差を符号化することを特徴とする請求項９に記載の空間予測装置。
  14. 前記空間予測部は、前記予測ブロックの構成時に、
    前記決定された最適モードが前記デフォルトモードである場合、所定のデフォルト値を含む予測ブロックを構成し、
    前記決定された最適モードが前記水平モードである場合、前記第１のブロックに隣接した第１の隣接ブロックの画素を含む予測ブロックを構成し、
    前記決定された最適モードが前記垂直モードである場合、前記第１のブロックに隣接した第２の隣接ブロックの画素を含む予測ブロックを構成することを特徴とする請求項１３に記載の空間予測装置。
JP2012519482A 2009-07-10 2010-07-12 階層的映像符号化における空間予測方法及び装置 Expired - Fee Related JP5416277B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22460309P 2009-07-10 2009-07-10
US61/224,603 2009-07-10
PCT/KR2010/004503 WO2011005063A2 (en) 2009-07-10 2010-07-12 Spatial prediction method and apparatus in layered video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013236137A Division JP5710733B2 (ja) 2009-07-10 2013-11-14 階層的映像符号化における空間予測方法及び装置

Publications (2)

Publication Number Publication Date
JP2012533209A JP2012533209A (ja) 2012-12-20
JP5416277B2 true JP5416277B2 (ja) 2014-02-12

Family

ID=43427457

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012519482A Expired - Fee Related JP5416277B2 (ja) 2009-07-10 2010-07-12 階層的映像符号化における空間予測方法及び装置
JP2013236137A Expired - Fee Related JP5710733B2 (ja) 2009-07-10 2013-11-14 階層的映像符号化における空間予測方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013236137A Expired - Fee Related JP5710733B2 (ja) 2009-07-10 2013-11-14 階層的映像符号化における空間予測方法及び装置

Country Status (7)

Country Link
US (1) US8767816B2 (ja)
EP (1) EP2452501B1 (ja)
JP (2) JP5416277B2 (ja)
KR (1) KR101686958B1 (ja)
CN (1) CN102474620A (ja)
MX (1) MX2012000533A (ja)
WO (1) WO2011005063A2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140029672A1 (en) * 2011-01-21 2014-01-30 Thomson Licensing Method of coding a sequence of images and corresponding reconstruction method
US9426494B2 (en) * 2011-07-18 2016-08-23 Ziilabs Inc., Ltd. Systems and methods with early variance measure used to optimize video encoding
US8977065B2 (en) * 2011-07-21 2015-03-10 Luca Rossato Inheritance in a tiered signal quality hierarchy
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
WO2015133320A1 (ja) * 2014-03-05 2015-09-11 ソニー株式会社 画像符号化装置および方法
US10142647B2 (en) 2014-11-13 2018-11-27 Google Llc Alternating block constrained decision mode coding
KR102517570B1 (ko) * 2015-02-11 2023-04-05 한국전자통신연구원 3dtv 방송 송수신 장치
US11190774B1 (en) * 2020-05-29 2021-11-30 Microsoft Technology Licensing, Llc Screen content encoding mode evaluation including intra-block evaluation of multiple potential encoding modes
CN113271467B (zh) * 2021-07-19 2021-10-22 成都索贝数码科技股份有限公司 一种支持高效编辑的超高清视频分层编解码方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5515377A (en) * 1993-09-02 1996-05-07 At&T Corp. Adaptive video encoder for two-layer encoding of video signals on ATM (asynchronous transfer mode) networks
US6842483B1 (en) * 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
EP1351510A4 (en) * 2001-09-14 2008-12-10 Ntt Docomo Inc ENCODING METHOD, DECODING METHOD, ENCODING APPARATUS, DECODING APPARATUS, IMAGE PROCESSING SYSTEM, ENCODING PROGRAM, AND DECODING PROGRAM
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
EP2290989B1 (en) * 2002-05-28 2015-01-28 Sharp Kabushiki Kaisha Method and systems for image intra-prediction mode estimation, communication, and organization
JP2004140473A (ja) 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
JP2004304724A (ja) * 2003-04-01 2004-10-28 Sony Corp 画像処理装置とその方法、並びに符号化装置
KR100995398B1 (ko) * 2004-01-20 2010-11-19 삼성전자주식회사 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
WO2005099273A1 (en) * 2004-04-08 2005-10-20 Koninklijke Philips Electronics N.V. Monochrome frame detection method and corresponding device
US8467459B2 (en) * 2004-10-13 2013-06-18 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
KR101108681B1 (ko) * 2005-01-19 2012-01-25 삼성전자주식회사 동영상 코덱에서의 주파수 변환 계수 예측 방법 및 장치,이를 구비한 부호화 및 복호화 장치와 방법
US8265141B2 (en) * 2005-05-17 2012-09-11 Broadcom Corporation System and method for open loop spatial prediction in a video encoder
RU2411689C2 (ru) * 2005-07-11 2011-02-10 Томсон Лайсенсинг Способ и устройство для адаптивного к макроблоку межслойного предсказания внутренней текстуры
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
JP4565392B2 (ja) * 2005-12-22 2010-10-20 日本ビクター株式会社 映像信号階層復号化装置、映像信号階層復号化方法、及び映像信号階層復号化プログラム
KR100791299B1 (ko) * 2006-04-11 2008-01-04 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법 및 장치
US7864219B2 (en) * 2006-06-15 2011-01-04 Victor Company Of Japan, Ltd. Video-signal layered coding and decoding methods, apparatuses, and programs with spatial-resolution enhancement
FR2907630A1 (fr) * 2006-10-19 2008-04-25 Thomson Licensing Sas Dispositif et procede de codage sous forme scalable d'une sequence d'images et dispositif et procede de decodage correspondants
EP2119236A1 (en) * 2007-03-15 2009-11-18 Nokia Corporation System and method for providing improved residual prediction for spatial scalability in video coding
US8208558B2 (en) * 2007-06-11 2012-06-26 Texas Instruments Incorporated Transform domain fast mode search for spatial prediction in advanced video coding
JP2009111520A (ja) * 2007-10-26 2009-05-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
EP2924994B1 (en) * 2008-05-07 2016-09-21 LG Electronics, Inc. Method and apparatus for decoding video signal
US8660176B2 (en) * 2008-09-26 2014-02-25 Qualcomm Incorporated Resolving geometric relationships among video data units

Also Published As

Publication number Publication date
JP5710733B2 (ja) 2015-04-30
US8767816B2 (en) 2014-07-01
WO2011005063A3 (en) 2011-03-31
CN102474620A (zh) 2012-05-23
JP2014045515A (ja) 2014-03-13
EP2452501A2 (en) 2012-05-16
EP2452501B1 (en) 2020-09-02
MX2012000533A (es) 2012-03-14
KR20110005665A (ko) 2011-01-18
EP2452501A4 (en) 2013-05-01
KR101686958B1 (ko) 2016-12-16
JP2012533209A (ja) 2012-12-20
US20110007806A1 (en) 2011-01-13
WO2011005063A2 (en) 2011-01-13

Similar Documents

Publication Publication Date Title
JP5416277B2 (ja) 階層的映像符号化における空間予測方法及び装置
JP4991699B2 (ja) ビデオ信号のスケーラブルなエンコーディング方法およびデコーディング方法
EP2319241B1 (en) Skip modes for inter-layer residual video coding and decoding
JP5335833B2 (ja) 複数層を使用するマルチメディア・データのスケーリング可能なエンコーディング及びデコーディングのためのシステム及び方法
JP4908180B2 (ja) 動画像符号化装置
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
JP5180298B2 (ja) 映像符号化装置及び方法と、映像復号化装置及び方法
JP2005507587A (ja) 空間的にスケーラブルな圧縮
JP2015065688A (ja) スケーラブルビデオコーディングのためのテクスチャ予想及びリサンプリングの方法及び装置
KR20070032111A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR20110015002A (ko) 향상 계층 비디오 코딩을 위한 적응 양자화
JP2009533938A (ja) 多階層基盤のビデオエンコーディング方法および装置
KR101621854B1 (ko) Tsm 율-왜곡 최적화 방법, 그를 이용한 인코딩 방법 및 장치, 그리고 영상 처리 장치
US20140247890A1 (en) Encoding device, encoding method, decoding device, and decoding method
KR20130107861A (ko) 인터 레이어 인트라 예측 방법 및 장치
KR100856392B1 (ko) 현재 영상의 복원영역을 참조하는 동영상 부호화/복호화장치 및 그 방법
US20160127738A1 (en) Techniques in backwards compatible multi-layer compression of hdr video
KR20090103675A (ko) 영상의 인트라 예측 모드 부호화/복호화 방법 및 장치
KR20100009718A (ko) 예측 방향을 이용한 영상 부호화/복호화 장치 및 방법
JP2010010917A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、及び動画像復号方法
WO2015055495A1 (en) Methods and devices for coding video data in a scalable bitstream
KR20080013843A (ko) 동영상의 무손실 부호화, 복호화 방법 및 장치
KR20160053848A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
Micallef et al. Reducing correlation noise in Wyner-Ziv video coding
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131114

R150 Certificate of patent or registration of utility model

Ref document number: 5416277

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees