JP2012531808A - 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置 - Google Patents

適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置 Download PDF

Info

Publication number
JP2012531808A
JP2012531808A JP2012517494A JP2012517494A JP2012531808A JP 2012531808 A JP2012531808 A JP 2012531808A JP 2012517494 A JP2012517494 A JP 2012517494A JP 2012517494 A JP2012517494 A JP 2012517494A JP 2012531808 A JP2012531808 A JP 2012531808A
Authority
JP
Japan
Prior art keywords
geometric
partition
region
subset
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012517494A
Other languages
English (en)
Other versions
JP2012531808A5 (ja
JP5826747B2 (ja
Inventor
グオ,リーウェイ
イン,ペン
ソレ,ジョエル
チェン,ユンフェン
ルー,シャオアン
スー,チエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2012531808A publication Critical patent/JP2012531808A/ja
Publication of JP2012531808A5 publication Critical patent/JP2012531808A5/ja
Application granted granted Critical
Publication of JP5826747B2 publication Critical patent/JP5826747B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/543Motion estimation other than block-based using regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

適応的な幾何学的な分割を使用した、ビデオ符号化及び復号化のための方法及び装置が提供される。装置は、適応的な幾何学的な分割を使用してピクチャにおける領域のピクチャデータを符号化するエンコーダ100を含み、前記領域のピクチャデータを符号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定され、距離は、領域における定義された点と分割の境界の間で測定され、角度は、前記領域における定義された点から分割の境界に延びる直線に関して測定される。

Description

本発明は、映像符号化及び復号化に関するものであり、より詳細には、適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置に関する。
本出願は、2009年6月26日に提出された米国特許仮出願61/220,918号(attorney docket No.PU090067)の利益を特許請求するものであり、この内容は、引用により本明細書に盛り込まれる。
フレーム分割(frame partitioning)は、効果的な映像符号化における重要な鍵となるプロセスである。大部分の現在の映像圧縮技術は、ツリーに基づいたフレーム分割を使用する。1つの例となる現在の映像圧縮技術は、ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)MPEG-4(Moving Picture Experts Group-4)Part10 AVC(Advanced Video Coding)規格/ITU-T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下、“MPEG-4 AVC”規格と呼ぶ)を含む。MPEG-4 AVC規格におけるフレーム分割は、シンプルな一様なブロック分割よりも効果的であり、後者は、MPEG-2のような旧型の映像符号化規格で一般的に使用されている。しかし、ツリーに基づいたフレーム分割は、2次元(2D)データの幾何学的構造を捕捉することができないので、十分に効率的に映像情報を符号化しない。
幾何学的に適応型のブロック分割は、符号化効率を改善するために提案されているが、複雑さという代償を払って符号化効率を改善している。改善された性能を得るため、第一の従来のアプローチは、それぞれの距離と角度とに基づいて全ての分割モードをサポートする。第一の従来のアプローチでは、あるブロックを分割するためのシンプルな適応モデルが使用される。更に詳細において、予測可能な領域に依存して局所的な幾何学的な統計量を捕捉するため、角度及び位置を調節するために直線モデルが使用される。直線符号化は、2つのインデックスを送出することで実行される。これらの2つのインデックスのそれぞれ1つは、ブロックの中心への角度及び距離の値に対応する。距離Δρ及び角度Δθの量子化ステップは、分割を符号化するために費やされたビットにおいて、最良のレート歪み(R-D)の妥協(及び、必要に応じて、最大の許容される計算上の複雑度)を有するため、ハイシンタックスで固定される。
第二の従来のアプローチは、角度Δθを垂直、水平又は対角方向に制限することで、分割モードの複雑度を低減しようとする。しかし、これは、第一の従来のアプローチに比較して、性能を低下させる。
係る制限を解決するため、第一の従来のアプローチは、その2Dの幾何学的な形状を考慮することで、2D映像データを良好に表現及び符号化する方法を提示する。すなわち、第一の従来のアプローチは、インター予測(INTER 16×16 GEO,INTER 8×8 GEO)及びイントラ予測(INTRA 16×16 GEO,INTRA 8×8 GEO)の両者について新たなモードのセットのウェッジ分割(すなわち、任意の直線又は曲線により分離される2つの領域におけるブロックの分割)を使用する。
ブロック内の幾何学的な分割は、ある直線の暗黙的な定式化によりモデル化される。従って、分割は、以下のように定義される。
Figure 2012531808
ここでρ及びθは、原点から境界線f(x,y)までの、f(x,y)に対して直交する方向における距離、f(x,y)に対して直交する方向の水平方向の座標軸xとの角度をそれぞれ表す。
それぞれのブロック画素(x,y)は、以下のように分類される。
Figure 2012531808
符号化のために、可能性のある幾何学的な分割(又は幾何学的なモード)のディクショナリ(定義された編集又はリスト)は、事前に定義される。これは、以下のように、f(x,y)のそれぞれのパラメータについて値の範囲及びサンプリング精度を決定することで形式的に定義される。
Figure 2012531808
ここでΔρ及びΔθは、選択された量子化(パラメータ解像度)ステップであり、MBSIZEは、θ及びρの量子化されたインデックスは、分割境界線を符号化するために伝送される情報である。しかし、モード16×8及び8×16が符号化手順において使用される場合、ρ=0の場合について角度0及び90は、可能性のあるエッジのセットから除かれる。
第一の従来のアプローチで提示された実施の形態において、幾何学的に適応的な動き補償モードについて、それぞれの分割のθ,ρ及び動きベクトルのサーチは、最良のコンフィギュレーションを発見するために実行される。フルサーチ方法は、それぞれのθとρのペアについて、最良の動きベクトルがサーチされるように、2つのステージで実行される。幾何学的に適応的なイントラ予測モードにおいて、それぞれの分割のθ,ρ及び最良の予測子(方向予測、又は統計等)は、最良のコンフィギュレーションを発見するために実行される。
エンコーダ側で、幾何学的なモードの計算上の複雑度は、フルサーチが使用される場合に非常に高い。デコーダ側で、デコーダは、全ての分割モードをサポートするのを必要とする。モード形状のオンザフライでの計算を低減するためにルックアップテーブルが使用される場合、テーブルが非常に大きくなる。
第二の従来のアプローチで記載される他の幾何学的な分割の研究は、垂直、水平又は対角線(+45°又は-45°)の方向のみを可能にすることで、幾何学的なモードの数を低減しようとする。これは、決定の計算を減少させるが、符号化のパフォーマンスが低下するという代償を払って決定の計算を減少させる。
従来技術のこれらの問題点及び課題、並びに他の問題点及び課題は、本発明により対処され、本発明は、適応的な幾何学的分割を使用した映像符号化及び復号化のための方法及び装置に向けられる。
本発明の態様によれば、装置が提供される。本装置は、適応的な幾何学的な分割(パーティショニング)を使用して、あるピクチャにおけるある領域のピクチャデータを符号化するエンコーダを含み、前記領域のピクチャデータを符号化するために使用される幾何学的な分割(パーティション)のサブセットは、距離及び角度の少なくとも1つに応じて決定される。距離は、前記領域における定義された点から分割の境界まで測定される。角度は、前記領域における定義された点から分割の境界まで延びる直線に関して測定される。
本発明の別の態様によれば、ビデオエンコーダにおける方法が提供される。本方法は、適応的な幾何学的な分割を使用して、あるピクチャにおけるある領域のピクチャデータを符号化するステップを含み、前記領域のピクチャデータを符号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定される。距離は、前記領域における定義された点から分割の境界まで測定される。角度は、前記領域における定義された点から分割の境界に延びる直線に関して測定される。
本発明の更に別の態様によれば、装置が提供される。本装置は、適応的な幾何学的な分割を使用して、あるピクチャにおけるある領域のピクチャデータを復号化するデコーダを含み、前記領域のピクチャデータを復号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定される。距離は、前記領域における定義された点から分割の境界まで測定される。角度は、前記領域における定義された点から分割の境界に延びる直線に関して測定される。
本発明の更に別の態様によれば、ビデオデコーダにおける方法が提供される。本方法は、適応的な幾何学的な分割を使用して、あるピクチャにおけるある領域のピクチャデータを復号化することを含み、前記領域のピクチャデータを復号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定される。距離は、前記領域における定義された点から分割の境界まで測定される。角度は、前記領域における定義された点から分割の境界まで延びる直線に関して測定される。
本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、以下の例示的な実施の形態の詳細な説明から明らかとなるであろう。
本発明は、以下の添付図面に従って理解される。
本発明の実施の形態に係る、本発明が適用される例示的なエンコーダのブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的なデコーダのブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的な画像ブロックの幾何学的な分割のブロック図である。 本発明の実施の形態に係る、適応的な幾何学的な分割を使用して、ピクチャデータを符号化する例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用して、エンコーダ側で最良の分割をサーチする例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードのエントロピー符号化の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを符号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応型の幾何学的な分割のディクショナリを使用してピクチャデータを符号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを符号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用したピクチャデータを符号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを符号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用したピクチャデータを復号化する例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する別の例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する例示的な方法のフローダイアグラムである。 本発明の実施の形態に係る、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する例示的な方法のフローダイアグラムである。
本発明は、適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置に向けられる。
本実施の形態の記載は、本発明を例示するものである。従って、当業者であれば、本実施の形態で明示的に記載又は図示されていないが、本発明の精神及び範囲に含まれる本発明を実施する様々な構成を創作することができることを理解されたい。
本実施の形態で引用される全ての例及び条件付き言語は、当該技術分野を促進するために本発明者により寄与される本発明及び概念の理解において読者を支援することが意図され、特に記載される例及び条件に限定されないものとして解釈されるべきである。
さらに、本発明の原理、態様及び実施の形態、及び本発明の特定の例を示す全ての説明は、本発明の構造的且つ機能的に等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在知られている等価な概念と同様に、将来に開発される等価なもの、すなわち構造に係らず、同じ機能を実行する開発されたエレメントを含むことが意図される。
従って、例えば、本実施の形態で提示されるブロック図は、本発明を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な媒体で実質的に表され、コンピュータ又はプロセッサが明示的に図示されているか否かに係らず、コンピュータ又はプロセッサにより実行されることを理解されるであろう。
図示される様々なエレメントの機能は、専用ハードウェアと同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアの使用を介して提供される。プロセッサにより提供されたとき、機能は、単一の専用プロセッサにより提供されるか、単一の共有プロセッサにより提供されるか、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるものではなく、限定されることなしに、デジタルシグナルプロセッサ(DSP)ハードウェア、ソフトウェアを記憶するリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性ストレージを暗黙的に含むように解釈されるべきである。
コンベンショナル及び/又はカスタムの他のハードウェアも含まれる場合がある。同様に、図示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用のロジックを通して、プログラム制御と専用ロジックの相互作用を通して、更に手動的に実行され、特定の技術は、文脈からより詳細に理解されるように、実現者により選択可能である。
本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、a)その機能を実行する回路エレメントの組み合わせ、又はb)その機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形式でのソフトウェア、を含む機能を実行する任意の方法を包含することが意図される。請求項により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項が要求するやり方で互いに纏められる事実にある。従って、それらの機能を提供する任意の手段は本実施の形態で図示されるものに等価であると見なされる。
明細書における本発明の「1実施の形態」又は「実施の形態」への参照は、本発明の他のバリエーションと同様に、本実施の形態に関連して特定の特徴、構造、特性等が本発明の少なくとも1つの実施の形態に含まれる。従って、記載「1実施の形態において」又は「実施の形態において」の出願は、明細書を通して様々な位置に出現する任意の他の変形と同様に、必ずしも、同じ実施の形態を全て示すものではない。
例えば、「A/B」、「A及び/又はB」並びに「A及びBの少なくとも1つ」の場合、「/」、「及び/及び」、及び「少なくとも1つの」の何れかの使用は、第一の列挙されたオプション(A)のみの選択、又は第二の列挙されたオプション(B)のみの選択、或いは、両方のオプション(A及びB)の選択を包含することが意図されることを理解されたい。更なる例として、「A、B及び/又はC」、「A、B及び/又はCの少なくとも1つ」の場合、係る記載は、第一の列挙されたオプション(A)のみの選択、又は第二の列挙されたオプション(B)のみの選択、第三の列挙されたオプション(C)のみの選択、又は、第一及び第二の列挙されたオプション(A及びB)のみの選択、或いは、第二及び第三の列挙されたオプション(B及びC)のみの選択、或いは、全ての3つのオプション(A及びB及びC)の選択を包含することが意図される。これは、当業者により容易に明らかであるように、列挙された多くのアイテムについて拡張される場合がある。
さらに、本発明の1以上の実施の形態はMPEG-4 AVC規格に関して記載されたが、本発明はこの規格にのみ限定されるものではなく、従って、本発明の精神を維持しつつ、他の映像符号化規格、勧告、及び、MPEG-4 AVC規格の拡張を含めて、その拡張に関して利用される場合がある。
また、本実施の形態で使用されたとき、単語「ピクチャ」及び「画像」は、交換可能に使用され、映像系列からの静止画像又はピクチャを示す。知られているように、ピクチャは、フレーム又はフィールドである場合がある。
本実施の形態で使用されるように、「高水準シンタックス」は、マクロブロックレイヤよりも階層的に上にあるビットストリームに存在するシンタックスを示す。たとえば、たとえば、本実施の形態で使用されたとき、高水準シンタックスは、限定されるものではないが、スライスヘッダレベル、SEI(Supplemental Enhancement Information)レベル、PPS(Picture Parameter Set)レベル及びNAL(Network Abstraction Layer)ユニットヘッダレベルにあるシンタックスを示す場合がある。
さらに、本明細書で使用されたとき、単語「信号」は、対応するデコーダに何かを示すことを示す。たとえば、エンコーダは、どの特定のサブセットがエンコーダ側で使用されたかをデコーダに知らせるため、幾何学的な分割の複数のサブセットのうちから、幾何学的な分割の特定の1つのサブセットを信号伝達する。このように、同じサブセットがエンコーダ側とデコーダ側の両者で使用される。従って、例えば、エンコーダは、デコーダが同じ特定のサブセットを使用するように、デコーダにサブセットを送出するか、又は、デコーダは、他の同様に特定のサブセットを既に有する場合に、デコーダが特定のサブセットを知り、選択するのを可能にするため、(送信することなしに)信号伝達が使用される場合がある。実際のサブセットの送信を回避することで、ビットの節約が実現される。様々なやり方で信号伝達が達成されることを理解されたい。例えば、対応するデコーダに情報を信号伝達するため、1以上のシンタックスエレメント、フラグ等が使用される。
さらに、本実施の形態で使用されるように、記載「ピクチャ領域」(又は単に略して「領域」)は、例えば1以上のブロック又は任意のサイズの任意の形状を包含するピクチャの一部、及び/又は1以上のブロック又は任意のサイズの任意の形状から定式化されるピクチャの一部を示す。1以上のブロックは、例えばスーパーマクロブロック、マクロブロック、マクロブロックの分割、サブマクロブロックの分割等を示す。1つの例では、ある領域は、あるブロックであり、この場合、ある分割の境界は、ブロックのエッジである。(あるピクチャにおける)ある領域と考えられるもの、該領域の分割の境界と考えられるもののこれら及び他のバリエーションは、本発明の精神を維持しつつ、本実施の形態で提供される本発明の教示が与えられると、当業者により容易に決定される場合がある。
さらに、本明細書で使用されたとき、記載「後続の領域」は、未だ符号化又は復号化されていないピクチャ又はビデオ系列における領域を示す。この記載は、符号化又は復号化されている(現在の)領域を区別するために使用される。
さらに、本実施の形態では使用されたとき、記載「幾何学的な分割のサブセット」は、総当りの計算又はリスト作成で利用可能な全ての幾何学的な分割未満である幾何学的な分割のグループを示す。このように、対応するエンコーダ又はデコーダにより考慮される必要がある幾何学的な分割の全体の数が低減される。
また、本実施の形態で使用されたとき、記載「距離空間」は、幾何学的モードの距離パラメータについて全ての許容される値のセットを示す。例えば、16×16ブロックについて、距離の最大値は、11.312(メインの対角線の長さ:16×1.414/2)であり、負となることはできないために最小の値は0である。距離パラメータについて余りに多くの選択が存在するとき、幾何学的な分割のディクショナリを構築するとき、全体の空間から制限された数の値を選択する(この「選択」は、いわゆる「サンプル」である)。
さらに、本実施の形態で使用されたとき、記載「角度空間」は、角パラメータについて全ての許容される値のセットを示す。距離パラメータが0であるとき、角度空間は
<外1>
Figure 2012531808
(すなわち0以上であって、180よりも小さい任意の数)である。距離パラメータは、0よりも大きいとき、角度空間は、
<外2>
Figure 2012531808
(すなわち0以上であって、360よりも小さい任意の数)である。
上述されたように、本発明は、幾何学的な分割を使用した映像符号化及び復号化の方法及び装置に向けられる。
図1を参照して、MPEG-4 AVC規格に従う映像符号化を実行可能なビデオエンコーダは、参照符号100により示される。ビデオエンコーダ100は、加算器185の非反転入力と接続される出力を有するフレームオーダリングバッファ110を含む。加算器185の出力は、幾何学的な拡張をもつ変換器及び量子化器125の第一の入力と接続される。幾何学的な拡張をもつ変換器及び量子化器125の出力は、幾何学的な拡張をもつエントロピーコーダ145の第一の入力と、幾何学的な拡張をもつ逆変換及び逆量子化器150の第一の入力と接続される。幾何学的な拡張をもつエントロピーコーダ145の出力は、加算器190の第一の非反転入力と接続される。加算器190の出力は、出力バッファ135の第一の入力と接続される。
幾何学的な拡張をもつエンコーダコントローラ105の第一の出力は、フレームオーダリングバッファ110の第二の入力、幾何学的な拡張をもつ逆変換及び逆量子化器150の第二の入力、ピクチャタイプ判定モジュール115の入力、幾何学的な拡張をもつマクロブロックタイプ(MBタイプ)判定モジュールの第一の入力、幾何学的な拡張をもつイントラ予測モジュール160の第二の入力、幾何学的な拡張をもつデブロッキングフィルタ165の第二の入力、幾何学的な拡張をもつ動き補償器170の第一の入力、幾何学的な拡張をもつ動き予測器175の第一の入力、及び参照ピクチャバッファ180の第二の入力に接続される。
幾何学的な拡張をもつエンコーダコントローラ105の第二の出力は、SEI(Supplemental Enhancement Information)挿入器130の第一の入力、幾何学的な拡張をもつ変換器及び量子化器125の第二の入力、幾何学的な拡張をもつエントロピーコーダ145の第二の入力、出力バッファ135の第二の入力、並びに、SPS(Sequence Parameter Set)及びPPS(Picture Parameter Set)挿入器140の入力に接続される。
SEI挿入器130の出力は、加算器190の第二の非反転入力と接続される。
ピクチャタイプ判定モジュール115の第一の出力は、フレームオーダリングバッファ110の第三の入力と接続される。ピクチャタイプ判定モジュール115の第二の出力は、幾何学的な拡張をもつマクロブロックタイプの判定モジュール120の第二の入力と接続される。
SPS(Sequence Parameter Set)及びPicture Parameter Set(PPS)挿入器140の出力は、加算器190の第三の非反転入力と接続される。
幾何学的な拡張をもつ逆量子化及び逆変換器150の出力は、加算器119の第一の非反転出力に接続される。加算器119の出力は、幾何学的な拡張をもつイントラ予測モジュール160の第一の入力、幾何学的な拡張をもつデブロッキングフィルタ165の第一の入力に接続される。幾何学的な拡張をもつデブロッキングフィルタ165の出力は、参照ピクチャバッファ180の第一の入力と接続される。参照ピクチャバッファ180の出力は、幾何学的な拡張をもつ動き予測器175の第二の入力、幾何学的な拡張をもつ動き補償器170の第三の入力と接続される。幾何学的な拡張をもつ動き予測器175の第一の出力は、幾何学的な拡張をもつ動き補償器170の第二の入力と接続される。幾何学的な拡張をもつ動き予測器175の第二の出力は、幾何学的な拡張をもつエントロピーコーダ145の第三の入力に接続される。
幾何学的な拡張をもつ動き予測器175の出力は、スイッチ197の第一の入力に接続される。幾何学的な拡張をもつイントラ予測モジュール160の出力は、スイッチ197の第二の入力に接続される。幾何学的な拡張をもつマクロブロックタイプ判定モジュール120の出力は、スイッチ197の第三の入力に接続される。スイッチ197の第三の入力は、(制御入力、すなわち「第三の入力」に比較して)スイッチの「データ」入力が幾何学的な拡張をもつ動き補償器170により提供されるべきか、又は幾何学的な拡張をもつイントラ予測モジュール160により提供されるべきかを判定する。スイッチ197の出力は、加算器119の第二の非反転入力及び加算器185の反転入力に接続される。
フレームオーダリングバッファ110の第一の入力及び幾何学的な拡張をもつエンコーダコントローラ105の入力は、入力ピクチャ101を受信するため、エンコーダ100の入力として利用可能である。さらに、SEI(Supplemental Enhancement Information)挿入器130の第二の入力は、メタデータを受信するため、エンコーダ100の入力として利用可能である。出力バッファ135の出力は、ビットストリームを出力するため、エンコーダ100の出力として利用可能である。
図2を参照して、MPEG-4 AVC規格に従う映像符号化を実行可能なビデオデコーダは、参照符号200により示される。ビデオデコーダ200は、幾何学的な拡張をもつエントロピーデコーダ245の第一の入力と接続される出力を有する入力バッファ210を含む。幾何学的な拡張をもつエントロピーデコーダ245の第一の出力は、幾何学的な拡張をもつ逆変換器及び逆量子化器250の第一の入力と接続される。幾何学的な拡張をもつ逆変換器及び逆量子化器250の出力は、加算器225の第二の非反転入力に接続される。加算器225の出力は、幾何学的な拡張をもつデブロッキングフィルタ265の第二の入力と、幾何学的な拡張をもつイントラ予測モジュール260の第一の入力と接続される。幾何学的な拡張をもつデブロッキングフィルタ265の第二の出力は、参照ピクチャバッファ280の第一の入力と接続される。参照ピクチャバッファ280の出力は、幾何学的な拡張をもつ動き補償器270の第二の入力と接続される。
幾何学的な拡張をもつエントロピーデコーダ245の第二の出力は、幾何学的な拡張をもつ動き補償器270の第三の入力と、幾何学的な拡張をもつデブロッキングフィルタ265の第一の入力と接続される。幾何学的な拡張をもつエントロピーデコーダ245の第三の出力は、幾何学的な拡張をもつデコーダコントローラ205の入力と接続される。幾何学的な拡張をもつデコーダコントローラの第一の出力は、幾何学的な拡張をもつエントロピーデコーダ245の第二の入力と接続される。幾何学的な拡張をもつデコーダコントローラ205の第二の出力は、幾何学的な拡張をもつ逆変換器及び逆量子化器の第二の入力に接続される。幾何学的な拡張をもつデコーダコントローラ205の第三の出力は、幾何学的な拡張をもつデブロッキングフィルタ265の第三の入力に接続される。幾何学的な拡張をもつデコーダコントローラ205の第四の出力は、幾何学的な拡張をもつイントラ予測モジュール260の第二の入力、幾何学的な拡張をもつ動き補償器270の第一の入力、及び参照ピクチャバッファ280の第二の入力と接続される。
幾何学的な拡張をもつ動き補償器270の出力は、スイッチ297の第一の入力と接続される。幾何学的な拡張をもつイントラ予測モジュール260の出力は、スイッチ297の第二の入力と接続される。スイッチ297の出力は、加算器225の第一の非反転入力と接続される。
入力バッファ210の入力は、入力ビットストリームを受信するため、デコーダ200の入力として利用可能である。幾何学的な拡張をもつデブロッキングフィルタ265の第一の出力は、出力ピクチャを出力するため、デコーダ200の出力として利用可能である。
上述されたように、幾何学的な領域分割を使用したインター予測及びイントラ予測は、映像符号化の改善に関して調査の方向性を約束するが、増加される計算上の複雑度の問題が手ごわいものであり、解決すべき問題を残している。従って、本発明の実施の形態では、適応的な幾何学的な領域分割のディクショナリ(たとえば、総当りのアプローチにより規定されるサブセットである、定義された編集物又はリスト)を使用したスキームが提案される。符号化効率を維持する一方、エンコーダ及びデコーダにおいて考慮される幾何学的な分割の数を低減することで、エンコーダ及びデコーダの両者での利益がもたらされる。
従って、実施の形態では、良好な符号化効率をなお維持する一方で、考慮される幾何学的なモードの数を減少するため、適応的な幾何学的な分割のディクショナリ(たとえば定義された編集物又はリスト)が提供される。この背後にある基本的な概念は、総当り的な計算又はリストにより利用可能な全ての距離と角度の組み合わせについて分割を一様にサポートしないことである。代わりに、距離のステップ及び角度のステップは、あるブロック(又は領域)の定義された点から(たとえば中心又は原点から)、境界線までの距離の関数である。以下の用語が使用され、すなわちΔρ=h(ρ)、Δθ=g(ρ)であり、h()及びg()は、線形及び/又は非線形関数である。さらに、上述されたように、ρ及びθは、原点から、境界線f(x,y)に垂直となる方向におけるf(x,y)までの距離、f(x,y)に垂直となる方向の水平方向の座標軸xとの角度をそれぞれ表す(例えば図8及びス13を参照されたい)。
図3を参照して、画像ブロックの例示的な幾何学的な分割は、参照符号300により示される。全体の画像ブロックは、参照符号320により示され、対角線350の反対側に位置される画像ブロック320の2つの分割は、参照符号330,340によりそれぞれ示される。
実施の形態では、ρがブロックの中心(原点)に近いときに密な距離をサポートし(Δρは小さい)、ρがブロックの中心(原点)から離れているときに疎な距離をサポートする(Δρは大きい)(例えば図8及び図13を参照されたい)。
実施の形態では、ρがブロックの中心に近いときに密な角度をサポートし、ρがブロックの中心から離れているときに疎な角度をサポートする(例えば図8及び図13を参照されたい)。
実施の形態では、(例えば定義された編集物又はリストといった)デフォルトのディクショナリで開始される。実施の形態は、トレーニングフェーズ及び符号化フェーズを含むように考慮することができる。Mtraining個のフレーム、スライス又はブロックを符号化した後(トレーニングフェーズに対応することが考慮される)、既に符号化されたブロックにより選択された分割の統計量を分析し、後続するNcoding個のフレーム、スライス又はブロックの符号化のためのディクショナリを再び確定する(符号化フェーズに対応することが考慮される)。次いで、別のサイクル(符号化フェーズにより後続されるトレーニングフェーズ)が開始される。Mtraining及びNcodingの数は、1以上の高水準のシンタックスエレメントにより指定される(例えば、スライスヘッダ、SEIメッセージ、PPS、SPS、NALユニットヘッダ等)。また、これらは、エンコーダ及びデコーダの両者に知られている予め定義された定数とすることもできる。同じ手順は、デコーダで適用される(例えば図9及び図14を参照されたい)。
実施の形態では、デフォルトのディクショナリから開始する。現在のブロックの符号化を終了した後、次のブロックを符号化するためのディクショナリは、現在のブロックについて選択された分割に従って調節される。この調節は、現在のブロックについて選択された分割から離れている幾つかの分割を除くことである。また、この調節は、以下とすることができる。現在のブロックの選択された分割は、次のブロックの分割を予測するために外挿され、次のブロックのディクショナリは、この予測された分割に基づく。同じ手順は、デコーダで適用される(例えば図9及び図14を参照されたい)。
実施の形態では、デフォルトディクショナリから開始する。1つのブロックについて、幾つかのレート歪みの基準に基づいて、デフォルトのセットから最良の分割を選択し、動き補償を実行して残差を取得し、残差を符号化する。予測の残差は、エンコーダで再構成され、選択された分割及び幾つかの他の分割を含む新たな分割のディクショナリを推定するために分析され、分割のインデックスは、デコーダに送出される。新たなディクショナリは、選択された分割をデコーダに伝達するために少ないビットが必要とされるように、デフォルトのセットよりも少ない分割を含むことが想定される。デコーダ側で、エンコーダで使用されるのと同じであるディクショナリを推定するため、残差は再構成され、分析される。受信されたインデックスにより、ブロックの再構成のために、このディクショナリから分割が選択される。
時間的又は空間的に隣接するブロックは、類似した内容を有しており、従って、デフォルトのディクショナリにおいて制限された数の分割から選択する傾向にある。多くの分割をもつデフォルトのディクショナリを使用するのを比較して、少ない分割を持つ小さなディクショナリを使用することは、符号化時間と、幾何学的な分割モードを示すためのビットとの両者を節約することができる。実施の形態では、エンコーダとデコーダの両者で予め記憶される幾何学的な分割のディクショナリの数が予め定義される。これらのディクショナリのそれぞれは、デフォルトのディクショナリのサブセットである。どのディクショナリがエンコーダで現在使用されているかを示すためにインデックスが使用され、このインデックスは、デコーダがエンコーダと同期することができるように、1以上の高水準のシンタックスエレメント(例えばスライスヘッダ、SEIメッセージ、PPS、SPS、NALユニットヘッダ等)で指定される。幾何学的な分割モードを送出することにおけるオーバヘッドを低減するため、ディクショナリにおいて幾何学的な分割が選択される(例えば、図11及び図16を参照されたい)。
実施の形態において、ユーザにより定義されたディクショナリは、エンコーダに適用され、デコーダに送信されるため、例えば1以上の高水準シンタックスエレメント(例えばスライスヘッダ、SEIメッセージ、PPS、SPS、NALユニットヘッダ等)を使用して、ビットストリームにおいて指定される(例えば、図10及び図15を参照されたい)。
全ての上記実施の形態は、選択された幾何学的な分割の明示的な指示を必要とする。分割のインデックスを他の符号化情報に埋め込むことができる場合、符号化ビットを節約することができ、符号化効率を改善することができる。実施の形態では、デフォルトのディクショナリから開始する。1つのブロックについて、幾つかのレート歪みの基準に基づいて、デフォルトのセットから最良の分割が選択され、幾何学的な動き補償を行って残差が取得され、残差が符号化される。エンコーダ側で、幾何学的な分割の情報は、変換係数又は量子化係数に埋め込まれる。デコーダは、復号化されたビットストリームから幾何学的な分割を推定するために同じルールに従う。変換係数又は量子化係数に幾何学的な分割のインデックスを埋め込む1つの例は、以下の通りである。分割インデックス情報は、係数の合計Mに埋め込まれる。分割のインデックスがnである場合、M%kであるように幾つかの係数を変更する。ここでkはエンコーダ及びデコーダの両者に知られている定数であり、%はモジュール操作である。提案される係数は、デコーダに送信され、デコーダは、同じ残差を正確に再構成することができる。次いで、幾何学的な分割が推定される。従って、幾何学的な分割のビットが節約される(例えば、図12及び図17参照)。
以下は、適応的な幾何学的な分割のディクショナリがどのように構築され、圧縮システムで使用されるかに関する説明する特定の例である。以下の例は、上述されたようにMPEG-4 AVC規格に基づいているが、本発明は、他の映像符号化規格、勧告及びその拡張にも適用される場合がある。
[適応型ディクショナリの構築]
符号化ブロックユニットのサイズは16×16であるとする。幾何学的な分割のデフォルトのディクショナリについて、角度のパラメータ及び距離のパラメータの両者に同期サンプリング(uniform sampling)が適用されるとする。この場合、Δθ=11.25及びΔρ=1である。このディクショナリにおける可能性のある分割の全体数は、274である。
この例における適応型ディクショナリの構築において、距離ρの非同期サンプリング(non-uniform sampling)がはじめに実行される。異なるρの値(距離)について、角度のサンプリングの密度Δθを異なるものとし、したがってΔθはρの関数であり、Δθ=g(ρ)である。
特に、16×16符号化ブロックユニットの想定下で、図3から計算される最大の距離ρは、11である(主要な対角線の長さの半分よりも小さい最も大きな整数16×1.414/2=11.312)。ディクショナリのサイズを低減するため、ρ≦7のとき、距離のサンプリング空間が低減され、幾何学的な分割のみが考慮される。同様に、角度のサンプリング空間が低減される。
異なるρの値について、オーバヘッドを最小にする一方、幾何学的な分割の効率を最大に利用するため、異なるサンプリング密度が使用される。表1は、以下のように、本発明の実施の形態に係る1つの例示的なサンプリング方法に対応する。
Figure 2012531808
表1に示されるサンプリング方法は、ρ≦7、且つ非同期のρに依存するθのサンプリングに対応しており、全体で46の可能性のある分割を生じている。ルールは事前に想定され、エンコーダとデコーダの両者は、そのエレメントがデフォルトのディクショナリのエレメントよりも非常に少ないディクショナリを構築することができる。
[適応型ディクショナリを使用した符号化及び復号化]
エンコーダ側で、はじめに、((ρ,θ)で表される)最良の分割及び関連する動きベクトルを発見するためにサーチが行われる。次いで、幾つかのエントロピー符号化方法を使用して、ローが符号化される。1つの可能性のあるエントロピー符号化方法は、Expo-Golomb符号を含むが、本発明は、この符号に限定されるものではなく、従って他の符号が使用される場合があることを理解されたい。その後、ρ及び予め定義されたルールΔθ=g(ρ)により、全体の可能性のあるθの数及びθのインデックスが計算される。これに応じて、エントロピー符号化方法が設計される。1つの可能性のあるエントロピー符号化方法は、Nビットの固定長符号化であり、Nはρ及びΔθから計算することができる。
デコーダ側で、はじめにρが復号化される。ρ及び予め定義されたルールΔθ=g(ρ)により、全体の可能なθの数は、θのシンタックスを解析し、その値を再構成するために計算される。
[シンタックス]
表2は、本発明の実施の形態に係る例示的なスライスレベルのシンタックスを示す。
Figure 2012531808
この例では、デフォルトのディクショナリに加えて、予め定義された適応型ディクショナリがエンコーダ及びデコーダの両者で記憶されるものとする。
[adaptive_dictionary_flag]
1に等しいadaptive_dictionary_flagは、適応型ディクショナリがこのスライスにおける全ての幾何学的に分割されたブロックの復号化で利用されることを指定する。復号化の動作は、関数Geo_partition_derivation_adaptive()で定義され、この場合、分割のインデックスがビットストリームから解析され、ある分割が予め定義された適応型ディクショナリから選択される。
0に等しいadaptive_dictionary_flagは、デフォルトのディクショナリがこのスライスにおける全ての幾何学的に分割されたブロックの復号化で利用されることを指定する。復号化の動作は、関数Geo_partition_derivation_default()で定義され、この場合、分割のインデックスがビットストリームから解析され、ある分割が予め定義されたデフォルトのディクショナリから選択される。
図4を参照して、適応的な幾何学的な分割を使用してピクチャデータを符号化する例示的な方法は、参照符号400により示される。本方法400は、機能ブロック410に制御を移す開始ブロック405を含む。機能ブロック410は、適応的な幾何学的な分割のディクショナリを構築し、機能ブロック415に制御を移す。機能ブロック415は、適応的な幾何学的な分割のディクショナリで最良の幾何学的な分割をサーチし、機能ブロック420に制御を移す。機能ブロック420は、正規の符号化モードを使用して最良の予測をサーチし、正規の符号化モードで得られた予測を幾何学的な予測と比較して、最良の予測を選択し、判定ブロック425に制御を移す。判定ブロック425は、最良の予測モードが幾何学的な予測モードであるか否かを判定する。最良の予測モードが幾何学的な予測モードであると判定された場合、機能ブロック430に制御を移す。最良の予測モードが幾何学的な予測モードでないと判定された場合、機能ブロック435に制御を移す。
機能ブロック430は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについてエントロピー符号化を行い、終了ブロック499に制御を移す。
機能ブロック435は、正規の(コンベンショナルな)エントロピー符号化を行い、機能ブロック499に制御を移す。
図5を参照して、適応的な幾何学的な分割のディクショナリを使用してエンコーダ側で最良の予測をサーチする例示的な方法は、参照符号500により示される。本方法500は、ルールリミットブロック510に制御を移す開始ブロック505を含む。ループリミットブロック510は、ディクショナリにおける可能性のある距離ρについてループ1を開始し、ループリミットブロック515に制御を移す。ループリミットブロック515は、ディクショナリにおける距離ρについて可能性のある角度θについてループ2を開始し、機能ブロック520に制御を移す。機能ブロック520は、パラメータセット(ρ,θ)による分割を生成し、機能ブロック525に制御を移す。機能ブロック525は、分割のセットから最良の予測をサーチし、ループリミットブロック530に制御を移す。ループリミットブロック530は、ループ1を終了し、ループリミットブロック535に制御を移す。ループリミットブロック535は、ループ2を終了し、終了ブロック599に制御を移す。
図6を参照して、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて、エントロピー符号化の例示的な方法は、参照符号600により示される。本方法600は、機能ブロック610に制御を移す開始ブロック605を含む。機能ブロック610は、選択された距離ρについて、ディクショナリを見て、対応するインデックスを探し、インデックスを符号化し、機能ブロック615に制御を移す。機能ブロック615は、選択された角度について、ディクショナリを見て、対応するインデックスを探し、インデックスを符号化し、機能ブロック620に制御を移す。機能ブロック620は、個のブロックの残りのモード情報を符号化し、機能ブロック625に制御を移す。機能ブロック625は、このブロックの予測誤差(残差)を符号化し、終了ブロック699に制御を移す。
図7を参照して、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する例示的な方法は、参照符号700により示される。本方法700は、機能ブロック710に制御を移す開始ブロック705を含む。機能ブロック710は、適応的な幾何学的な分割のディクショナリを構築し、判定ブロック715に制御を移す。判定ブロック715は、現在のモードが幾何学的な分割モードであるか否かを判定する。現在のモードが幾何学的な分割モードであると判定された場合、機能ブロック720に制御を移す。現在のモードが幾何学的な分割モードであると判定されない場合、機能ブロック730に制御を移す。
機能ブロック720は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードのブロックについて、エントロピー復号化を行い、機能ブロック725に制御を移す。機能ブロック725は、適応的な分割のディクショナリにより幾何学的な分割モードのブロックについて予測及び再構成を行い、終了ブロック799に制御を移す。
機能ブロック730は、正規の(コンベンショナルな)エントロピー復号化を行い、機能ブロック735に制御を移す。機能ブロック735は、正規の(コンベンショナルな)予測及び再構成を行い、終了ブロック799に制御を移す。
図8を参照して、適応的な幾何学的な分割を使用してピクチャデータを符号化する例示的な方法は、参照符号800により示される。方法800では、適応的な幾何学的な分割のディクショナリは、分割の境界の角度及び/又はブロックにおける定義された点までのその距離に基づいている。本方法800は、機能ブロック810に制御を移す開始ブロック805を含む。機能ブロック810は、分割の境界の角度及び/又はブロックにおける定義された点までのその距離に基づいて、適応的な幾何学的な分割のディクショナリを構築するために多数の分割を選択し、機能ブロック815に制御を移す。機能ブロック815は、適応的な幾何学的な分割のディクショナリによる最良の幾何学的な予測をサーチし、機能ブロック820に制御を移す。機能ブロック820は、正規の(すなわち非幾何学的ではない)符号化モードについて最良の予測をサーチし、正規の符号化モードの予測を幾何学的な予測と比較して、最良の予測を選択し(例えばレート歪み(RD)コストに基づく)、判定ブロック825に制御を移す。判定ブロック825は、最良の予測が幾何学的な予測モードで得られたか否かを判定する。最良の予測が幾何学的な予測モードで得られたと判定した場合、機能ブロック830に制御を移す。さもなければ、機能ブロック835に制御を移す。機能ブロック830は、適応的な幾何学的な分割のディクショナリにより幾何学的な分割モードについて、シンタックスエレメントをエントロピー符号化し、終了ブロック899に制御を移す。機能ブロック835は、正規の(コンベンショナルな)エントロピー符号化を行い、終了ブロック899に制御を移す。
図9を参照して、適応的な幾何学的な分割を使用してピクチャデータを符号化する別の例示的な方法は、参照符号900により示される。本方法900では、適応的な幾何学的な分割のディクショナリは、前に符号化された領域の情報に基づいている。本方法900は、機能ブロック910に制御を移す開始ブロック905を含む。機能ブロック910は、例えば選択された分割及び/又は前に符号化された他の領域について選択された分割の統計量といった、前に符号化された領域の情報に基づいて、(符号化される)現在のブロックについて適応的な幾何学的な分割のディクショナリを構築し、機能ブロック915に制御を移す。機能ブロック915は、適応的な幾何学的な分割のディクショナリによる最良の幾何学的な予測をサーチし、機能ブロック920に制御を移す。機能ブロック920は、正規の(すなわち非幾何学的な)符号化モードについて最良の予測をサーチし、正規の符号化モードの予測を幾何学的な予測と比較して最良の予測を選択し(例えばレート歪み(RD)コストに基づく)、判定ブロック925に制御を移す。判定ブロック925は、最良の予測が幾何学的な予測モードで得られたか否かを判定する。最良の予測が幾何学的な予測モードで得られたと判定した場合、機能ブロック930に制御を移す。最良の予測が幾何学的な予測モードで得られていないと判定した場合、機能ブロック935に制御を移す。機能ブロック930は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについてシンタックスエレメントをエントロピー符号化し、終了ブロック999に制御を移す。機能ブロック935は、正規の(コンベンショナルな)エントロピー符号化を行い、終了ブロック999に制御を移す。
図10を参照して、適応的な幾何学的な分割を使用してピクチャデータを符号化する別の例示的な方法は、参照符号1000により示される。本方法1000では、適応的な幾何学的な分割のディクショナリは、ユーザにより定義されており、デコーダに送信される。本方法1000は、機能ブロック1010に制御を移す開始ブロック1005を含む。機能ブロック1010は、ユーザ入力に基づいて(符号化される)現在のブロックについて適応的な幾何学的な分割のディクショナリを構築し、機能ブロック1015に制御を移す。機能ブロック1015は、ユーザにより定義されたディクショナリをデコーダに送出し、ループリミットブロック1020に制御を移す。ループリミットブロック1020は、(例えば現在のピクチャにおける)1からブロックの数までの範囲を有する変数Iを使用して、例えば現在のピクチャにおけるブロックを通してループを開始し、機能ブロック1025に制御を移す。機能ブロック1025は、適応的な幾何学的な分割のディクショナリにより最良の幾何学的な予測をサーチし、機能ブロック1030に制御を移す。機能ブロック1030は、正規の(すなわち非幾何学的な)符号化モードについて最良の予測をサーチし、正規の符号化モードの予測を幾何学的な予測と比較して、最良の予測を選択し(例えばレート歪み(RD)コストに基づいて)、判定ブロック1035に制御を移す。判定ブロック1035は、最良の予測が幾何学的な予測モードで得られたか否かを判定する。最良の予測が幾何学的な予測モードで得られたと判定した場合、機能ブロック1040に制御を移す。最良の予測が幾何学的な予測モードで得られていないと判定した場合、機能ブロック1045に制御を移す。機能ブロック1040は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて、シンタックスエレメントをエントロピー符号化し、ループリミットブロック1050に制御を移す。機能ブロック1045は、正規の(コンベンショナルな)エントロピー符号化を行い、ループリミットブロック1050に制御を移す。ループリミットブロック1050は、ループを終了し、終了ブロック1099に制御を移す。
図11を参照して、適応的な幾何学的な分割を使用してピクチャデータを符号化する別の例示的な方法は、参照符号1100により示される。本方法1100では、適応的な幾何学的な分割のディクショナリ(すなわち幾何学的な分割のサブセット)は、複数のサブセットから選択され(それぞれのサブセットは、例えば総当り的なアプローチを使用して得られルデフォルトのディクショナリから得られる)、サブセット又はサブセットのインデックスは、デコーダに示される。本方法1100は、機能ブロック1110に制御を移す開始ブロック1105を含む。機能ブロック1110は、適応的な幾何学的な分割のディクショナリ(すなわちサブセット)を複数のサブセットから構築し、機能ブロック1115に制御を移す。機能ブロック1115は、選択された幾何学的な分割のサブセットを示すか、又は選択されたサブセットのインデックスを示し、ループリミットブロック1120に制御を移す。ループリミットブロック1120は、1から(例えば現在のピクチャにおける)ブロックの数(#)までの範囲を有する変数Iを使用して、例えば現在のピクチャにおけるブロックを通してループを開始する。機能ブロック1125は、適応的な幾何学的な分割のディクショナリによる最良の幾何学的な予測をサーチし、機能ブロック1130に制御を移す。機能ブロック1130は、正規の(すなわち非幾何学的な)符号化モードについて最良の予測をサーチし、正規の符号化モードの予測を幾何学的な予測とを比較して最良の予測を選択し(レート歪み(RD)コストに基づいて)、判定ブロック1135に制御を移す。判定ブロック1135は、最良の予測が幾何学的な予測モードで得られたか否かを判定する。最良の予測が幾何学的な予測モードで得られたと判定した場合、機能ブロック1140に制御を移す。さもなければ、機能ブロック1145に制御を移す。機能ブロック1140は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについてシンタックスエレメントをエントロピー符号化し、ループリミットブロック1150に制御を移す。機能ブロック1145は、正規の(コンベンショナルな)エントロピー符号化を行い、ループリミットブロック1150に制御を移す。ループリミットブロック1150は、ループを終了し、終了ブロック1199に制御を移す。
図12を参照して、適応的な幾何学的な分割を使用してピクチャデータを符号化する別の例示的な方法は、参照符号1200により示される。本方法1200では、幾何学的な分割モードは、復号化された残差からデコーダにより推定される。本方法200は、機能ブロック1210に制御を移す開始ブロック1205を含む。機能ブロック1210は、デフォルトの幾何学的な分割のディクショナリによる最良の幾何学的な予測をサーチし、機能ブロック1215に制御を移す。機能ブロック1215は、最良の幾何学的な分割を使用して現在のブロックを符号化し、選択された分割のみがデコーダで復号化された残差から推定することができるように残差を処理し、機能ブロック1220に制御を移す。機能ブロック1220は、正規の(すなわち非幾何学的な)符号化モードについて最良の予測をサーチし、正規の符号化モードの予測を幾何学的な予測と比較し、最良の予測を選択し(例えばレート歪み(RD)コストに基づく)、判定ブロック1225に制御を移す。判定ブロック1225は、最良の予測が幾何学的な予測モードで得られたか否かを判定する。最良の予測が幾何学的な予測モードで得られたと判定した場合、機能ブロック1230に制御を移す。最良の予測が幾何学的な予測モードで得られていないと判定した場合、機能ブロック1240に制御を移す。機能ブロック1230は、選択された幾何学的な分割モードについて残差の係数をエントロピー符号化し、機能ブロック1235に制御を移す。機能ブロック1235は、分割のインデックスを除いて、幾何学的な分割モードについて他のシンタックスエレメントをエントロピー符号化し、終了ブロック1299に制御を移す。機能ブロック1240は、正規の(コンベンショナルな)エントロピー符号化を行い、終了ブロック1299に制御を移す。
ここで、選択された分割のみがデコーダで復号化された残差から推定することができるように、残差をどのように処理すべきかに関する1つの例が与えられる。分割の情報を係数の総和Mに埋め込まれる。分割のインデックスがnである場合、M%kとなるように幾つかの係数が変更される。ここでkはエンコーダとデコーダの両者で知られている定数であり、%はモジュール操作である。処理された係数は、デコーダに送信され、デコーダは、同じ残差を正確に再構成することができる。次いで、デコーダは、幾何学的な分割を推定することができる。
図13を参照して、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する例示的な方法は、参照符号1300により示される。本方法1300では、適応的な幾何学的な分割のディクショナリは、分割の境界の角度及び/又はブロックにおける定義された点までの距離に基づいている。本方法1300は、機能ブロック1310に制御を移す開始ブロック1305を含む。機能ブロック1310は、分割の境界の角度及び/又はブロックにおける予め定義された点までの距離に基づいて多数の分割を選択することで、適応的な幾何学的な分割のディクショナリを構築し、判定ブロック1315に制御を移す。判定ブロック1315は、現在の予測モードが幾何学的な予測モードであるか否かを判定する。現在の予測モードが幾何学的な予測モードであると判定した場合、機能ブロック1320に制御を移す。現在の予測モードが幾何学的な予測モードであると判定されない場合、機能ブロック1330に制御を移す。機能ブロック1320は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについてシンタックスエレメントをエントロピー符号化し、機能ブロック1325に制御を移す。機能ブロック1325は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて予測及び再構成を行い、終了ブロック1399に制御を移す。機能ブロック1330は、正規の(コンベンショナルな)エントロピー符号化を行い、機能ブロック1335に制御を移す。機能ブロック1335は、正規の(コンベンショナルな)予測及び再構成を行い、終了ブロック1399に制御を移す。
図14を参照して、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する別の例示的な方法は、参照符号1400により示される。方法1400では、適応的な幾何学的な分割のディクショナリは、前に復号化された領域の情報に基づいている。本方法1400は、機能ブロック1410に制御を移す開始ブロック1405を含む。機能ブロック1410は、例えば選択された分割及び/又は前に符号化された他の領域について選択された分割の統計量といった、前に復号化された領域の情報に基づいて、(復号化される)現在のブロックについて適応的な幾何学的な分割のディクショナリを構築し、判定ブロック1415に制御を移す。判定ブロック1415は、現在の予測モードが幾何学的な予測モードであるか否かを判定する。現在の予測モードが幾何学的な予測モードであると判定された場合、機能ブロック1420に制御を移す。現在の予測モードが幾何学的な予測モードであると判定されない場合、機能ブロック1430に制御を移す。機能ブロック1420は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについてシンタックスエレメントを復号化するためにエントロピー復号化を行い、機能ブロック1425に制御を移す。機能ブロック1425は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて予測及び再構成を行い、終了ブロック1499に制御を移す。機能ブロック1430は、正規の(コンベンショナルな)エントロピー符号化を行い、機能ブロック1435に制御を移す。機能ブロック1435は、正規の(コンベンショナルな)予測及び再構成を行い、終了ブロック1499に制御を移す。
図15を参照して、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する別の例示的な方法は、参照符号1500により示される。本方法1500では、適応的な幾何学的な分割のディクショナリがビットストリームで送信され、デコーダにより解析される。本方法1500は、機能ブロック1510に制御を移す開始ブロック1505を含む。機能ブロック1510は、ビットストリームからユーザにより定義された適応的な幾何学的な分割のディクショナリを解析し、ループリミットブロック1515に制御を移す。ループリミットブロック1515は、1から(例えば現在のピクチャにおける)ブロックの数(#)までの範囲を有する変数Iを使用して、例えば現在のピクチャにおけるブロックを通してループを開始し、判定ブロック1520に制御を移す。判定ブロック1520は、現在の予測モードが幾何学的な予測モードであるか否かを判定する。現在の予測モードが幾何学的な予測モードであると判定した場合、機能ブロック1525に制御を移す。現在の予測モードが幾何学的な予測モードでないと判定した場合、機能ブロック1535に制御を移す。機能ブロック1525は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについてシンタックスエレメントを復号化するためにエントロピー復号化を行い、機能ブロック1530に制御を移す。機能ブロック1530は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて予測及び再構成を行い、ループリミットブロック1545に制御を移す。機能ブロック1535は、正規の(コンベンショナルな)エントロピー符号化を行い、機能ブロック1540に制御を移す。機能ブロック1540は、正規の(コンベンショナルな)予測及び再構成を行い、ループリミットブロック1545に制御を移す。ループリミットブロック1545はループを終了し、終了ブロック1599に制御を移す。
図16を参照して、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する別の例示的な方法は、参照符号1600により示される。本方法1600では、適応的な幾何学的な分割のディクショナリのインデックスがビットストリームで送信され、デコーダにより解析される。本方法1600は、機能ブロック1610に制御を移す開始ブロック1605を含む。機能ブロック1610は、正しいサブセットを選択して、適応的な幾何学的な分割のディクショナリを構築するためにサブセットのインデックスを解析し、ルームリミットブロック1615に制御を移す。ループリミットブロック1615は、1から(例えば現在のピクチャにおける)ブロックの数(#)までの範囲を有する変数Iを使用して、例えば現在のピクチャにおけるブロックを通してループを開始し、判定ブロック1620に制御を移す。判定ブロック1620は、現在の予測モードが幾何学的な予測モードであるか否かを判定する。現在の予測モードが幾何学的な予測モードであると判定した場合、機能ブロック1625に制御を移す。現在の予測モードが幾何学的な予測モードでないと判定した場合、機能ブロック1635に制御を移す。機能ブロック1625は、適応的な幾何学的な分割のディレクトリによる幾何学的な分割モードについてシンタックスエレメントを復号化するためにエントロピー復号化を行い、機能ブロック1630に制御を移す。機能ブロック1630は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて予測及び再構成を行い、ループリミットブロック1645に制御を移す。機能ブロック1635は、正規の(コンベンショナルな)エントロピー符号化を行い、機能ブロック1640に制御を移す。機能ブロック1640は、正規の(コンベンショナルな)予測及び再構成を行い、ループリミットブロック1645に制御を移す。ループリミットブロック1645は、ループを終了し、終了ブロック1699に制御を移す。
図17を参照して、適応的な幾何学的な分割のディクショナリを使用してピクチャデータを復号化する別の例示的な方法は、参照符号1700により示される。本方法1700では、デコーダは、復号化された残差から幾何学的な分割モードを推定する。本方法1700は、判定ブロック1710に制御を移す開始ブロック1705を含む。判定ブロック1710は、現在の予測モードが幾何学的な予測モードであるか否かを判定する。現在の予測モードが幾何学的な予測モードであると判定した場合、機能ブロック1715に制御を移す。現在の予測モードが幾何学的な予測モードでないと判定した場合、機能ブロック1730に制御を移す。機能ブロック1715は、残差の係数を復号化するためにエントロピー復号化を行い、再構成された残差から分割のインデックスを推定し、機能ブロック1720に制御を移す。機能ブロック1720は、幾何学的な分割モードについて他のシンタックスエレメントを復号化するためにエントロピー復号化を行い、機能ブロック1725に制御を移す。機能ブロック1725は、適応的な幾何学的な分割のディクショナリによる幾何学的な分割モードについて予測及び再構成を行い、終了ブロックに制御を移す。機能ブロック1730は、正規の(コンベンショナルな)エントロピー符号化を行い、終了ブロック1799に制御を移す。機能ブロック1735は、通常の予測及び再構成を行い、終了ブロック1799に制御を移す。
以下、本発明の多くの付随する利点/特徴の幾つかに関する記載が与えられ、そのうちの幾つかは、先に記載されている。たとえば、1つの利点/特徴は、適応的な幾何学的な分割を使用してピクチャにおける領域についてピクチャデータを符号化するエンコーダを有する装置である、前記領域のピクチャデータを符号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定される。距離は、前記領域における定義された点から分割の境界までで測定される。角度は、前記領域における定義された点から分割の境界に延びる直線に関して測定される。
別の利点/特徴は、上述されたエンコーダを有する装置であり、前記領域における定義された点は、前記領域の中心であり、幾何学的な分割のサブセットは、前記領域の中心から分割の境界までの距離に応じて決定される。
更に別の利点/特徴は、エンコーダを有する装置であり、前記領域における定義された点は、前記領域の中心であり、幾何学的な分割のサブセットは、上述されたように前記領域の中心から分割の境界までの距離に応じて決定され、距離ステップ及び角度ステップは、適応的な幾何学的な分割の距離空間及び角度空間をサンプリングし、幾何学的な分割のディクショナリを構築するために使用される。距離ステップ及び角度ステップは、定義された点から分割の境界までの距離の関数であり、幾何学的な分割のサブセットは、幾何学的な分割のディクショナリよりも少ない幾何学的な分割を有する。
更に別の利点/特徴は、エンコーダを有する装置であり、前記領域における定義された点は前記領域の中心であり、幾何学的な分割のサブセットは、上述されたように、前記領域の中心から分割の境界までの距離に応じて決定され、幾何学的な分割のサブセットは、閾値となる距離に等しいか又は閾値となる距離よりも短い定義された点から分割の境界までの距離を有する幾何学的な分割を含む。
更なる利点/特徴は、上述されたエンコーダを有する装置であり、幾何学的な分割のサブセットは、前記領域及びピクチャにおける前に符号化された他の領域の少なくとも1つの前に符号化された情報に基づいている。
なお更なる利点/特徴は、エンコーダを有する装置であり、幾何学的な分割のサブセットは、前記領域及びピクチャにおける前に符号化された他の領域の少なくとも1つの前に符号化された情報に基づいており、幾何学的な分割のサブセットは、前に符号化された他の領域について選択された分割に基づいている。
さらに、別の利点/特徴は、エンコーダを有する装置であり、幾何学的な分割のサブセットは、上述されたように、前に符号化された他の領域について選択された分割に基づいており、前記領域について選択された分割は、後続する領域についてある分割を予測するために外挿され、後続する領域を符号化するために幾何学的な分割のサブセットは、後続する領域について予測された分割に基づいている。
さらに、別の利点/特徴は、エンコーダを有する装置であり、幾何学的な分割のサブセットは、上述されたように、前記領域及び前に符号化された他の領域の少なくとも1つの前に符号化された情報に基づいており、幾何学的な分割のサブセットは、前に符号化された他の領域について選択された分割の統計量に基づいて導出される。
また、別の利点/特徴は、エンコーダを有する装置であり、幾何学的な分割のサブセットは、上述されたように、前に符号化された他の領域について選択された分割の統計量に基づいて導出され、前記ピクチャは、ビデオ系列に含まれ、それぞれが領域をもたないビデオ系列におけるピクチャのセットは、総当り的な分割の計算のアプローチに対応する幾何学的な分割のデフォルトのディクショナリを使用して符号化され、ピクチャのセットについて選択された分割の統計量は、前記領域について幾何学的な分割のサブセットを構築するために使用され、サブセットは、デフォルトのディクショナリよりも少ない幾何学的な分割を有する。
さらに、別の利点/特徴は、上述されたエンコーダを有する装置であり、適応的な幾何学的な分割について利用可能にされる幾何学的な分割のサブセットは、ユーザ定義されており、結果として得られるビットストリームで明示的に指示される。
さらに、別の利点/特徴は、上述されたエンコーダを有する装置であり、サブセットは、複数のサブセットのうちの1つであり、前記サブセット及び複数のサブセットは、全体として全ての可能な分割よりも少ない分割を表し、複数のサブセットは、予め記憶されており、エンコーダは、1以上の高水準のシンタックスエレメントを使用してデコーダにインデックスを送出し、インデックスは、復号化のために使用される複数のサブセットのうちの特定の1以上のサブセットを示す。
さらに、別の利点/特徴は、幾何学的な分割のサブセットは、前記領域について少なくともピクチャデータを復号化することにおいてデコーダにより使用するため、デコーダにビットストリームで送信される。
また、別の利点/特徴は、上述されたエンコーダを有する装置であり、エンコーダは、レート歪みの基準に基づいて幾何学的な分割のデフォルトのディクショナリから前記領域の分割を選択し、幾何学的な動き補償を実行して前記領域の残差を取得し、幾何学的な分割のデフォルトのディクショナリにおける複数の利用可能な分割から、選択された分割のみがデコーダでの残差の後続の再構成から推定することができるように、残差を再構成する。
本発明のこれらの特徴及び利点並びに他の特徴及び利点は、本明細書の教示に基づいて当業者により容易に確認される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途のプロセッサ又はその組み合わせの様々な形態で実現されることを理解されたい。
最も好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを備えるマシンにアップロードされ、該マシンにより実行される。好ましくは、マシンは、1以上の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、及び入力/出力(I/O)インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載される様々なプロセス及び機能は、CPUにより実行されるマイクロ命令コードの一部、アプリケーションプログラムの一部、又はその組み合わせである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される。
添付図面に示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいため、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合がある。本明細書における教示が与えられると、当業者であれば、本発明のこれらの実現又はコンフィギュレーション及び類似の実現又はコンフィギュレーションを創作することができるであろう。
例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明はそれら正確な実施の形態に限定されるものではなく、様々な変形及び変更は、本発明の範囲又は精神を逸脱することなしに当業者により実施される場合がある。全ての係る変形及び変更は、特許請求の範囲で述べた本発明の範囲に含まれることが意図される。

Claims (24)

  1. 適応的な幾何学的な分割を使用して、あるピクチャにおける領域のピクチャデータを符号化するエンコーダを備える装置であって、
    前記領域の前記ピクチャデータを符号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定され、前記距離は、前記領域におけるある点と分割の境界の間で測定され、前記角度は、前記領域における前記点から前記分割の境界に延びる直線に関して測定される、
    ことを特徴とする装置。
  2. ビデオエンコーダにおける方法であって、
    適応的な幾何学的な分割を使用して、あるピクチャにおける領域のピクチャデータを符号化するステップを含み、
    前記領域の前記ピクチャデータを符号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定され、前記距離は、前記領域におけるある点と分割の境界の間で測定され、前記角度は、前記領域における前記点から前記分割の境界に延びる直線に関して測定される、
    ことを特徴とする方法。
  3. 前記領域における点は、前記領域の中心であり、
    前記幾何学的な分割のサブセットは、前記領域の中心から前記分割の境界までの距離に応じて決定される、
    請求項2記載の方法。
  4. 前記適応的な幾何学的な分割について距離空間と角度空間とをサンプリングして、幾何学的な分割のディクショナリを構築するために距離のステップと角度のステップが使用され、
    前記距離のステップと前記角度のステップは、前記点から前記分割の境界までの距離の関数であり、前記幾何学的な分割のサブセットは、前記幾何学的な分割のディクショナリよりも少ない幾何学的な分割を有する、
    請求項3記載の方法。
  5. 前記幾何学的な分割のサブセットは、閾値となる距離に等しいか又は閾値となる距離よりも短い前記点から前記分割の境界までの距離を有する幾何学的な分割を含む、
    請求項3記載の方法。
  6. 前記幾何学的な分割のサブセットは、前記領域及び前記ピクチャにおける前に符号化された他の領域の少なくとも1つの前に符号化された情報に基づく、
    請求項2記載の方法。
  7. 前記幾何学的な分割のサブセットは、前記前に符号化された他の領域について選択された分割に基づく、
    請求項6記載の方法。
  8. 前記領域について選択された分割は、後続する領域について分割を予測するために推定され、前記後続の領域を符号化するための幾何学的な分割のサブセットは、前記後続の領域について予測された分割に基づく、
    請求項7記載の方法。
  9. 前記幾何学的な分割のサブセットは、前記前に符号化された他の領域について選択された分割の統計量に基づいて導出される、
    請求項6記載の方法。
  10. 前記ピクチャはビデオ系列に含まれており、
    前記ビデオ系列におけるピクチャのセットは、それぞれ前記領域を含まず、総当りの計算アプローチに対応する幾何学的な分割からなるデフォルトのディクショナリを使用して符号化され、
    前記ピクチャのセットについて選択される分割の統計量は、前記領域について幾何学的な分割のサブセットを構築するために使用され、
    前記サブセットは、前記デフォルトのディクショナリよりも少ない幾何学的な分割を有する、
    請求項9記載の方法。
  11. 前記適応的な幾何学的な分割について利用可能に幾何学的な分割のサブセットは、ユーザにより定義され、結果として得られるビットストリームにおいて明示的に示される、
    請求項2記載の方法。
  12. 前記サブセットは、複数のサブセットのうちの1つであり、
    前記サブセット及び前記複数のサブセットは、全体として全ての可能な分割よりも少ない分割を表し、
    前記複数のサブセットは、予め記憶されており、
    当該方法は、1以上の高水準のシンタックスエレメントを使用してデコーダにインデックスを送出するステップを更に含み、
    前記インデックスは、復号化のために使用される前記複数のサブセットのうちの特定の1以上のサブセットを含む、
    請求項2記載の方法。
  13. 前記領域の少なくとも前記ピクチャデータの復号化において前記デコーダにより使用される前記幾何学的な分割のサブセットを、ビットストリームでデコーダに送信するステップを更に含む、
    請求項2記載の方法。
  14. 前記符号化するステップは、
    レート歪みの基準に基づいて、幾何学的な分割からなるデフォルトのディクショナリから前記領域の分割を選択するステップと、
    前記領域の残差を得るために幾何学的な動き補償を行うステップと、
    前記幾何学的な分割からなるデフォルトのディクショナリにおける複数の利用可能な分割から選択された分割のみが、デコーダで前記残差の後続する再構築から推定できるように前記残差を再構築するステップと、
    を含む請求項2記載の方法。
  15. 適応的な幾何学的な分割を使用して、あるピクチャにおける領域のピクチャデータを復号化するデコーダを備える装置であって、
    前記領域の前記ピクチャデータを復号化するために使用される幾何学的な分割のサブセットは、距離と角度の少なくとも1つに応じて決定され、
    前記距離は、前記領域におけるある点から分割の境界まで測定され、
    前記角度は、前記領域における前記点から前記分割の境界に延びる直線に関して測定される、
    ことを特徴とする装置。
  16. ビデオデコーダにおける方法であって、
    適応的な幾何学的な分割を使用して、あるピクチャにおける領域のピクチャデータを復号化するステップを含み、
    前記領域の前記ピクチャデータを復号化するために使用される幾何学的な分割のサブセットは、距離と角度の少なくとも1つに応じて決定され、
    前記距離は、前記領域におけるある点から分割の境界まで測定され、
    前記角度は、前記領域における前記点から前記分割の境界に延びる直線に関して測定される、
    ことを特徴とする方法。
  17. 前記領域における点は、前記領域の中心であり、
    前記幾何学的な分割のサブセットは、前記領域の中心から前記分割の境界までの距離に応じて決定される、
    請求項16記載の方法。
  18. 前記適応的な幾何学的な分割について距離空間と角度空間とをサンプリングして、幾何学的な分割のディクショナリを構築するために距離のステップと角度のステップが使用され、
    前記距離のステップと前記角度のステップは、前記点から前記分割の境界までの距離の関数であり、前記幾何学的な分割のサブセットは、前記幾何学的な分割のディクショナリよりも少ない幾何学的な分割を有する、
    請求項17記載の方法。
  19. 前記幾何学的な分割のサブセットは、閾値となる距離に等しいか又は閾値となる距離よりも短い前記点から前記分割の境界までの距離を有する幾何学的な分割を含む、
    請求項17記載の方法。
  20. 前記幾何学的な分割のサブセットは、前記領域及び前記ピクチャにおける前に符号化された他の領域の少なくとも1つの前に符号化された情報に基づく、
    請求項16記載の方法。
  21. 前記サブセットは、複数のサブセットのうちの1つであり、
    前記サブセット及び前記複数のサブセットは、全体として全ての可能な分割よりも少ない分割を表し、
    前記複数のサブセットは、予め記憶されており、
    当該方法は、1以上の高水準のシンタックスエレメントにおいてインデックスを受信するステップを更に含み、
    前記インデックスは、復号化のために使用される前記複数のサブセットのうちの特定の1以上のサブセットを示す、
    請求項16記載の方法。
  22. 前記幾何学的な分割のサブセットは、前記領域の少なくとも前記ピクチャデータの復号化において使用するため、ビットストリームでエンコーダから受信される、
    請求項16記載の方法。
  23. 前記復号化するステップは、ビットストリームにおいて残差を受信するステップを含み、
    前記受信するステップは、
    レート歪みの基準に基づいて、幾何学的な分割からなるデフォルトのディクショナリから前記領域の分割を選択するステップと、
    前記領域の残差を得るために幾何学的な動き補償を行うステップと、
    前記幾何学的な分割からなるデフォルトのディクショナリにおける複数の利用可能な分割から選択された分割のみが、デコーダで前記残差の後続する再構築から推定できるように前記残差を再構築するステップと、
    を含む請求項16記載の方法。
  24. 符号化されたビデオ信号を記録した記録媒体であって、
    適応的な幾何学的な分割を使用して符号化されたピクチャにおける、ある領域のピクチャデータを含み、
    前記領域の前記ピクチャデータを符号化するために使用される幾何学的な分割のサブセットは、距離及び角度の少なくとも1つに応じて決定され、前記距離は、前記領域におけるある点と分割の境界の間で測定され、前記角度は、前記領域における前記点から前記分割の境界に延びる直線に関して測定される、
    ことを特徴とする記録媒体。
JP2012517494A 2009-06-26 2010-06-25 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置 Active JP5826747B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US22091809P 2009-06-26 2009-06-26
US61/220,918 2009-06-26
PCT/US2010/001829 WO2010151334A1 (en) 2009-06-26 2010-06-25 Methods and apparatus for video encoding and decoding using adaptive geometric partitioning

Publications (3)

Publication Number Publication Date
JP2012531808A true JP2012531808A (ja) 2012-12-10
JP2012531808A5 JP2012531808A5 (ja) 2013-08-08
JP5826747B2 JP5826747B2 (ja) 2015-12-02

Family

ID=42617514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012517494A Active JP5826747B2 (ja) 2009-06-26 2010-06-25 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置

Country Status (6)

Country Link
US (1) US9326003B2 (ja)
EP (1) EP2446627B1 (ja)
JP (1) JP5826747B2 (ja)
KR (1) KR101740039B1 (ja)
CN (1) CN102484706B (ja)
WO (1) WO2010151334A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022551091A (ja) * 2019-10-03 2022-12-07 華為技術有限公司 幾何学的パーティション・モードのためのコーディング・プロセス

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US20120147961A1 (en) * 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
US9167274B1 (en) * 2012-03-21 2015-10-20 Google Inc. Generating synchronized dictionaries for sparse coding
US9137528B1 (en) * 2012-09-28 2015-09-15 Google Inc. Synchronizing sparse coding dictionaries for use in communication sessions
US20160073107A1 (en) * 2013-04-15 2016-03-10 Intellectual Discovery Co., Ltd Method and apparatus for video encoding/decoding using intra prediction
CN103561276B (zh) * 2013-11-07 2017-01-04 北京大学 一种图像视频编解码方法
WO2015133838A1 (ko) * 2014-03-05 2015-09-11 엘지전자(주) 폴리곤 유닛 기반 영상 인코딩/디코딩 방법 및 이를 위한 장치
US10715574B2 (en) * 2015-02-27 2020-07-14 Divx, Llc Systems and methods for frame duplication and frame extension in live video encoding and streaming
KR20180045530A (ko) * 2016-10-26 2018-05-04 디지털인사이트 주식회사 임의의 블록 분할을 사용하는 비디오 코딩 방법 및 장치
WO2018128239A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
CN110809888B (zh) 2017-06-30 2022-12-06 华为技术有限公司 用于处理视频序列帧的编码器和解码器
CN110832863B (zh) * 2017-06-30 2023-01-06 华为技术有限公司 用于处理视频序列帧的编码器、解码器、计算机程序和计算机程序产品
CA3151032A1 (en) * 2017-06-30 2019-01-03 Huawei Technologies Co., Ltd. Motion vector determination for video frame block inter-prediction
US20200137422A1 (en) * 2017-06-30 2020-04-30 Sharp Kabushiki Kaisha Systems and methods for geometry-adaptive block partitioning of a picture into video blocks for video coding
WO2019050418A1 (en) * 2017-09-11 2019-03-14 Nyriad Limited COMPRESSION OF DATA BASED ON A DICTIONARY
CN111213379B (zh) 2017-10-16 2023-11-21 数字洞察力有限公司 用于将图像编码/解码的方法、装置和存储比特流的记录介质
WO2019164031A1 (ko) 2018-02-22 2019-08-29 엘지전자 주식회사 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
US11695967B2 (en) 2018-06-22 2023-07-04 Op Solutions, Llc Block level geometric partitioning
JP7277579B2 (ja) 2018-11-02 2023-05-19 北京字節跳動網絡技術有限公司 Hmvp候補記憶装置のための表の保守
WO2020094050A1 (en) 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Using inter prediction with geometric partitioning for video processing
WO2020098803A1 (en) * 2018-11-15 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Harmonization between affine mode and other inter coding tools
CN117880495A (zh) * 2018-12-03 2024-04-12 北京字节跳动网络技术有限公司 候选的最大数量的指示方法
CN113170166B (zh) 2018-12-30 2023-06-09 北京字节跳动网络技术有限公司 具有几何分割的帧间预测在视频处理中有条件的应用
CN113647104A (zh) 2019-01-28 2021-11-12 Op方案有限责任公司 在以自适应区域数量进行的几何分区中的帧间预测
KR20230135185A (ko) * 2019-06-21 2023-09-22 후아웨이 테크놀러지 컴퍼니 리미티드 서브 블록 파티셔닝 모드를 위한 인코더, 디코더 및 대응 방법
CA3144792A1 (en) * 2019-06-24 2020-12-30 Huawei Technologies Co., Ltd. Sample distance calculation for geometric partition mode
CA3152030A1 (en) * 2019-08-26 2021-03-04 Huawei Technologies Co., Ltd. Method and apparatus for motion information storage
US11533498B2 (en) 2019-11-21 2022-12-20 Tencent America LLC Geometric partitioning mode in video coding
CN117729330A (zh) * 2019-11-30 2024-03-19 抖音视界(北京)有限公司 使用几何分割的简化的帧间预测
US11317094B2 (en) * 2019-12-24 2022-04-26 Tencent America LLC Method and apparatus for video coding using geometric partitioning mode
WO2021129694A1 (en) 2019-12-24 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. High level syntax for inter prediction with geometric partitioning
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems
WO2021196220A1 (zh) * 2020-04-03 2021-10-07 Oppo广东移动通信有限公司 一种帧间预测方法、编码器、解码器及存储介质
CN114586366A (zh) * 2020-04-03 2022-06-03 Oppo广东移动通信有限公司 帧间预测方法、编码器、解码器及存储介质
WO2022047099A1 (en) * 2020-08-28 2022-03-03 Op Solutions, Llc Methods and systems of adaptive geometric partitioning
WO2023033603A1 (ko) * 2021-09-02 2023-03-09 한국전자통신연구원 기하학적 분할을 사용하는 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체
WO2024111964A1 (ko) * 2022-11-21 2024-05-30 현대자동차주식회사 기하학적 분할 모드에서 적응적으로 블렌딩 영역을 결정하는 비디오 코딩을 위한 방법 및 장치
WO2024144319A1 (ko) * 2022-12-29 2024-07-04 엘지전자 주식회사 Gpm을 이용한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008127568A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Methods and apparatus for fast geometric mode decision in a video encoder

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144688A (en) * 1990-03-23 1992-09-01 Board Of Regents, The University Of Texas System Method and apparatus for visual pattern image coding
JP3480971B2 (ja) * 1993-10-17 2003-12-22 ヒューレット・パッカード・カンパニー 画像データの生成方法及び復元方法
KR100327412B1 (ko) * 1999-08-02 2002-03-13 서평원 에러 정정을 위한 영상 부호화 및 복호화 방법
US7728878B2 (en) * 2004-12-17 2010-06-01 Mitsubishi Electric Research Labortories, Inc. Method and system for processing multiview videos for view synthesis using side information
JP2009545920A (ja) * 2006-08-02 2009-12-24 トムソン ライセンシング ビデオ符号化処理のためにアダブティブなジオメトリック分割を行う方法および装置
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008127568A2 (en) * 2007-04-12 2008-10-23 Thomson Licensing Methods and apparatus for fast geometric mode decision in a video encoder

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022551091A (ja) * 2019-10-03 2022-12-07 華為技術有限公司 幾何学的パーティション・モードのためのコーディング・プロセス
JP7414975B2 (ja) 2019-10-03 2024-01-16 華為技術有限公司 幾何学的パーティション・モードのためのコーディング・プロセス
US11936862B2 (en) 2019-10-03 2024-03-19 Huawei Technologies Co., Ltd. Coding process for geometric partition mode

Also Published As

Publication number Publication date
WO2010151334A1 (en) 2010-12-29
US9326003B2 (en) 2016-04-26
EP2446627B1 (en) 2017-09-13
KR101740039B1 (ko) 2017-05-25
KR20120096458A (ko) 2012-08-30
CN102484706B (zh) 2015-09-16
CN102484706A (zh) 2012-05-30
JP5826747B2 (ja) 2015-12-02
US20120106627A1 (en) 2012-05-03
EP2446627A1 (en) 2012-05-02

Similar Documents

Publication Publication Date Title
JP5826747B2 (ja) 適応的な幾何学的な分割を使用した映像符号化及び復号化の方法及び装置
KR101839629B1 (ko) 비디오 인코딩 및 디코딩을 위한 적응적 템플릿 매칭 예측 방법 및 장치
JP5801054B2 (ja) スライスデータ用のマルチパスビデオのシンタックス構造をサポートする方法及び装置
JP2022172145A (ja) ビデオ符号化およびビデオ復号における変換の選択のための方法および装置
KR101409145B1 (ko) 비디오 인코딩 및 디코딩
BR112013025398B1 (pt) Método para decodificar uma imagem em modo de intrapredição
JP5805097B2 (ja) 映像符号化及び復号化のためのdcイントラ予測モードのための方法及び装置
KR101482896B1 (ko) 최적화된 디블록킹 필터
BR112013021612B1 (pt) Método e dispositivo para decodificar dados de vídeo de acordo com um modo de fusão, método e dispositivo para codificar dados de vídeo de acordo com um modo de fusão e memória legível por computador
KR20130006616A (ko) 비디오 인코딩 및 디코딩을 위한 암시적인 적응 움직임 벡터 예측자 선택을 위한 방법 및 장치
WO2009051668A2 (en) Methods and apparatus for video encoding and decoding geometrically partitioned bi-predictive mode partitions
KR20130129452A (ko) 모션 벡터 저장 방법 및 장치, 인코딩 및 디코딩 방법, 인코딩 및 디코딩 장치, 및 기록 매체
KR20100136962A (ko) 비디오 인코딩 및 디코딩시 묵시적 블록 분할을 위한 방법 및 장치
KR20110017302A (ko) 움직임 벡터의 정확도 조절을 이용한 영상 부호화, 복호화 방법 및 장치
US20170041606A1 (en) Video encoding device and video encoding method
EP3918784A1 (en) Shape adaptive discrete cosine transform for geometric partitioning with an adaptive number of regions
CN113965763A (zh) 视频转码的跨编解码器编码优化
JP2024003175A (ja) 画像復号装置、画像復号方法及びプログラム
JP2014230031A (ja) 画像符号化装置、及び画像符号化プログラム
CN114175653B (zh) 用于视频编解码中的无损编解码模式的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130621

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140430

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140730

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150915

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151014

R150 Certificate of patent or registration of utility model

Ref document number: 5826747

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250