JP5063684B2 - ビデオ信号のデコーディング／エンコーディング方法及び装置 - Google Patents

ビデオ信号のデコーディング／エンコーディング方法及び装置 Download PDF

Info

Publication number
JP5063684B2
JP5063684B2 JP2009511957A JP2009511957A JP5063684B2 JP 5063684 B2 JP5063684 B2 JP 5063684B2 JP 2009511957 A JP2009511957 A JP 2009511957A JP 2009511957 A JP2009511957 A JP 2009511957A JP 5063684 B2 JP5063684 B2 JP 5063684B2
Authority
JP
Japan
Prior art keywords
layer
information
prediction
inter
information indicating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009511957A
Other languages
English (en)
Other versions
JP2009538085A (ja
Inventor
ムーン ジョン，ビョン
ウーク パク，スン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2009538085A publication Critical patent/JP2009538085A/ja
Application granted granted Critical
Publication of JP5063684B2 publication Critical patent/JP5063684B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオ信号のコーディング技術に関する。
圧縮符号化とは、デジタル化した情報を、通信回線を通じて転送したり、保存媒体に適合した形態で保存したりする一連の信号処理技術を意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術を‘ビデオ映像圧縮’と称する。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を持っている点にある。
その中でも、スケーラブルビデオコーディングされたビットストリームは、その一部分のみを選択的にデコーディング可能である。例えば、低い複雑度のデコーダは、基本的なレイヤをデコーディングでき、低い転送率のビットストリームは、制限された容量を持つネットワークを通じた転送のために抽出可能である。徐々に高い解像度のイメージを生成できるようにするためには映像の画質を段階別に増加させる必要がある。
本発明は、ビデオ信号のコーディング効率を上げることに関する。
本発明の目的は、ビデオ信号をコーディングする時にコーディング効率を向上させるための方法を提供することにある。
本発明の他の目的は、参照レイヤに対応するエンハンスドレイヤの領域がない場合に、レイヤ間予測と関連した情報の転送を最小限にする方法を提供することにある。
本発明のさらに他の目的は、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
本発明のさらに他の目的は、レイヤ間予測が行われるか否かを示す情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
本発明のさらに他の目的は、クオリティ識別情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にする方法を提供することにある。
本発明のさらに他の目的は、スライス境界の取り扱いを示す情報を定義することによって、ビデオ信号のコーディング効率を上げる方法を提供することにある。
本発明のさらに他の目的は、スケーラブルビデオコーディングされたビットストリームの属性情報を適切な位置で確認することによって、ビデオ信号のコーディング効率を上げることのできる方法を提供することにある。
上記目的を達成するために本発明は、第１レイヤのビットストリームをデコーディングする段階、第２レイヤの現在ブロックに対してレイヤ間予測が行われるか否かを示すフラグ情報を得る段階、フラグ情報に基づいてレイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の位置差を示すオフセット情報を得る段階、及びオフセット情報を用いて第１レイヤをアップサンプリングする段階を含むことを特徴とするビデオ信号デコーディング方法を提供する。
また、上記ビデオ信号デコーディング方法は、アップサンプリング過程のためのパラメータが当該領域に存在するか否かを示す情報を得る段階をさらに含み、オフセット情報は、前記パラメータが当該領域に存在するか否かを示す情報に基づいて得られることを特徴とする。
また、上記ビデオ信号デコーディング方法は、パラメータが当該領域に存在するか否かを示す情報に基づいて色差信号の位相変化に関する情報を得る段階をさらに含み、前記色差信号の位相変化に関する情報を用いて前記第１レイヤをアップサンプリングすることを特徴とする。
また、色差信号の位相変化に関する情報は、水平方向に関する情報と垂直方向に関する情報をいずれも含むことを特徴とする。
また、色差信号の位相変化に関する情報は、映像フォーマットを示す情報に基づいて得られることを特徴とする。
また、上記ビデオ信号デコーディング方法は、第２レイヤの現在ブロックに対するクオリティを特定する情報を得る段階をさらに含み、オフセット情報は、クオリティ識別情報に基づいて得られることを特徴とする。
本発明は、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認することによって、エンハンスドレイヤの現在ブロックがレイヤ間予測を使用しない場合には、レイヤ間予測に用いられるコーディング情報を転送する必要がなくなるので、コーディング効率を上げることができる。また、スケーラブルビデオコーディングされたビットストリームの属性情報を適切な位置で確認することによって、レイヤ間予測に関連した情報の転送を最小化できる。例えば、レイヤ間予測が行われるか否かを示す情報及び／またはクオリティ識別情報を確認することによって、レイヤ間予測に関連した情報の転送を最小限にすることができる。また、本発明は、スライス境界に対する取り扱いを示す情報を定義することによって、パラレルプロセシング（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ）が可能になる。このような様々な方法を用いてビデオ信号のコーディング効率を顕著に向上させることができる。
ビデオ信号データを圧縮符号化する技術は、空間的冗長性、時間的冗長性、スケーラブルな冗長性、視点間に存在する冗長性を考慮している。スケーラブルな冗長性を考慮する圧縮コーディングに関する技術は本発明の実施例に過ぎず、本発明の技術的思想は、時間的冗長性、空間的冗長性、視点間冗長性等にも適用することができる。また、本明細書でいうコーディングとは、エンコーディングとデコーディングの概念を両方とも含み、本発明の技術的思想及び技術的範囲によって柔軟に解釈されうる。
ビデオ信号のビット列構成について説明すると、動画像符号化処理それ自体を扱うＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｌａｙｅｒ；ビデオ符号化階層）と、符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（Ｎｅｔｗｏｒｋ Ａｂｓｔｒａｃｔｉｏｎ Ｌａｙｅｒ；ネットワーク抽象階層）との分離した階層構造で定義されている。符号化過程の出力はＶＣＬデータで、転送したり保存したりする前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ；動画像圧縮の結果データ）を含む。
ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰとの２部分で構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示すフラグ情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）と、ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）とが含まれている。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの末尾にＲＢＳＰ埋め草ビットを付加する。このようなＮＡＬ単位の種類にはＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ；瞬間復号リフレッシュ）ピクチャ、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；シーケンスパラメータセット)、ＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ；ピクチャパラメータセット)、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ；補充的付加情報）などがある。
したがって、ＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）が、スケーラブルビデオコーディングされたスライスであることを表す場合、スケーラブルコーディングに関する様々な属性情報を追加することによってコーディング効率を上げることができる。例えば、現在アクセスユニットが瞬間復号リフレッシュ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ；以下、‘ＩＤＲ’という。）アクセスユニットか否かを示すフラグ情報、空間的スケーラビリティを示す識別情報、クオリティ識別情報、レイヤ間予測が使われるか否かを示すフラグ情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報、時間的スケーラビリティを示す識別情報、優先順位識別情報などを追加することができる。これについては、図２で詳細に後述する。
また、規格では、対象製品を適当な費用で実現可能とすべく様々なプロファイル及びレベルで制約しているが、復号器は、当該プロファイルとレベルで定められた制約を満たさなければならない。このように、復号器がどんな圧縮映像の範囲まで対応できるかを表現する機能またはパラメータを表すためにプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別子とは、ビットストリームが基盤としているプロファイルを表すフラグを意味する。例えば、Ｈ．２６４／ＡＶＣでは、プロファイル識別子が６６であればベースラインプロファイルに基づくということを意味し、７７であればメインプロファイルに基づくということを意味し、８８であれば拡張プロファイルに基づくということを意味する。これらのプロファイル識別子はシーケンスパラメータセットに含まれうる。
したがって、スケーラブル映像を扱うためには、入力されるビットストリームがスケーラブル映像に関するプロファイルか否かを識別し、スケーラブル映像に関するプロファイルとして識別されると、スケーラブル映像に関する一つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、スケーラブル映像に関するプロファイルとは、Ｈ．２６４／ＡＶＣの追加方式であって、スケーラブルビデオを扱うプロファイルモードを示す。ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）は、既存ＡＶＣ技術に対する追加方式であるから、無条件のシンタックスを追加するよりもＳＶＣモードに対する追加情報としてシンタックスを追加する方がより効率的となりうる。例えば、ＡＶＣのプロファイル識別子がスケーラブル映像に関するプロファイルを表す時にスケーラブル映像に関する情報を追加すると、符号化効率を上げることができる。
以下、ビデオ信号の効率的なデコーディング方法を提供するための多様な実施例について説明する。
図１は、本発明が適用されるスケーラブルビデオコーディングシステムを示す概略的なブロック図である。
多様な通信環境と多様な端末機に最適化された映像を提供するためには、端末機に提供される映像もまた多様に用意されなければならない。端末機ごとにそれに最適化した映像を提供するということは、一つの映像源を、秒当たり転送フレーム数、解像度、ピクセル当たりビット数など様々な変数の組み合わせられた値に対して具備していなければならないということを意味するので、コンテンツプロバイダには負担とならざるを得ない。このような理由から、コンテンツプロバイダは原映像を高速ビットレートの圧縮映像データにエンコーディングしておき、端末機から映像要請が受信される場合に原映像をデコーディングした後、端末機の映像処理能力に合う映像データに再びエンコーディングして提供することができる。しかし、このようなトランスコーディングでは、エンコーディング−デコーディング−エンコーディングというプロセスが行われるから、映像提供において時間遅延が生じ、よって、複雑なハードウェアのデバイスとアルゴリズムがさらに要求される。
これに対し、スケーラブルビデオコーディング（ＳＶＣ）方式は、ビデオ信号のエンコーディングにおいて、最高画質でエンコーディングするが、その結果として生成されたピクチャシーケンスの部分シーケンスのみをデコーディングして使用しても映像表現が可能となるようにする方式である。ここで、部分シーケンスとは、シーケンス全体から間欠的に選択されたフレームからなるシーケンスを意味するものである。ＳＶＣでエンコーディングされたピクチャシーケンスは、低いビットレートに対して空間的スケーラビリティを用いて映像のサイズを縮めることもできる。また、クオリティスケーラビリティを用いて映像の画質を落とすこともできる。このとき、小画面及び／または秒当たりフレーム数などが少ないピクチャシーケンスをベースレイヤとし、相対的に大画面及び／または秒当たりフレーム数などが多いシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
ところが、上述したようなスケーラブル方式でエンコーディングされたピクチャシーケンスは、その部分シーケンスのみを受信して処理するだけで低画質の映像表現が可能であるが、ビットレートが低くなる場合には画質低下が大きく現れる。これを解消するために、低い転送率のための別の補助ピクチャシーケンス、例えば、小画面及び／または秒当たりフレーム数などが少ないピクチャシーケンスを提供しても良い。このような補助シーケンスをベースレイヤとし、主ピクチャシーケンスをエンハンスドまたはエンハンスメントレイヤとすることができる。
本明細書では、レイヤ間予測のための様々な実施例の説明において、第１レイヤと第２レイヤという概念が適用される。例えば、第２レイヤは、第１レイヤと異なる空間解像度または異なる画面比率を持つことができる。または、第２レイヤは、第１レイヤと異なる画質を持つことができる。具体的な例として、第１レイヤはベースレイヤで、第２レイヤはエンハンスドレイヤであってもよい。または、レイヤ間予測を行う際に、第１レイヤは参照レイヤ、第２レイヤは現在レイヤであってもよい。したがって、以下で説明するベースレイヤとエンハンスドレイヤは一実施例に過ぎず、これに限定して解釈してはならない。
次に、スケーラブルビデオコーディングシステムについてより具体的に説明する。スケーラブルビデオコーディングシステムは、エンコーディング装置１０２とデコーディング装置１１０とを含む。エンコーディング装置１０２は、ベースレイヤエンコーディング部１０４、エンハンスドレイヤエンコーディング部１０６及びマルチプレクシング部１０８を含み、デコーディング装置１１０は、デマルチプレクシング部１１２、ベースレイヤデコーディング部１１４及びエンハンスドレイヤデコーディング部１１６を含むことができる。ベースレイヤエンコーディング部１０４は、入力された映像信号Ｘ（ｎ）を圧縮してベースビットストリームを生成することができる。エンハンスドレイヤエンコーディング部１０６は、入力映像信号Ｘ（ｎ）とベースレイヤエンコーディング部１０４により生成される情報とを用いてエンハンスドレイヤビットストリームを生成することができる。マルチプレクシング部１０８は、ベースレイヤビットストリームとエンハンスドレイヤビットストリームとを用いてスケーラブルビットストリームを生成することができる。
このようにして生成されたスケーラブルビットストリームは、所定チャネルを通じてデコーディング装置１１０に転送され、転送されたスケーラブルビットストリームは、デコーディング装置１１０のデマルチプレクシング部１１２によりエンハンスドレイヤビットストリームとベースレイヤビットストリームとに区分できる。ベースレイヤデコーディング部１１４は、ベースレイヤビットストリームを受信し、イントラマクロブロックの映像信号とインターブロックのレジデュアル及び動き情報を復号する。このとき、シングルループデコーディング方式に基づいて復号すれば良い。
エンハンスドレイヤデコーディング部１１６は、エンハンスドレイヤビットストリームを受信し、ベースレイヤデコーディング部１１４で復元された信号を参照して出力映像信号Ｘｅ（ｎ）を復号する。ここで、出力映像信号Ｘｂ（ｎ）は、出力映像信号Ｘｅ（ｎ）に比べて画質が低いか解像度が低い映像信号になる。
上記エンハンスドレイヤデコーディング部１１６は、第１ヘッダ情報取得部、第２ヘッダ情報取得部、デブロッキングフィルタ部及びアップサンプリング部を含むことができる。第１ヘッダ情報取得部では、ＮＡＬのヘッダからビットストリームの属性情報を得ることができる。例えば、クオリティ識別情報、レイヤ間予測が用いられるか否かを示す情報などを得ることができる。第２ヘッダ情報取得部では、スライスヘッダからビットストリームの属性情報を得ることができる。例えば、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報、デブロッキングフィルタの動作に関連した情報、色差信号の位相変化に関する情報、ピクチャ間の位置差を示すオフセット情報及び適応予測を行うか否かを示す情報などを得ることができる。デブロッキングフィルタ部では、デブロッキングフィルタの動作に関連した情報を用いてデブロッキングフィルタリングを行うことができる。アップサンプリング部では、レイヤ間予測のためにピクチャ間の位置差を示すオフセット情報を用いて第１レイヤをアップサンプリングできる。このようにアップサンプリングされた第１レイヤの情報を用いてレイヤ間予測を行うことができる。
このように、エンハンスドレイヤエンコーディング部１０６とエンハンスドレイヤデコーディング部１１６では、レイヤ間予測方法を用いてコーディングを行うこととなる。レイヤ間予測とは、ベースレイヤの動き情報及び／またはテキスチャ情報を用いてエンハンスドレイヤの映像信号を予測することを意味する。ここで、テキスチャ情報とは、イメージデータあるいはマクロブロックに属するピクセル値を意味する。ベースレイヤのテキスチャ情報を用いるレイヤ間予測方法には、例えば、イントラベース予測モードとレジデュアル予測モードとがある。イントラベース予測モードとは、ベースレイヤの対応する領域を基礎にしてエンハンスドレイヤのブロックを予測するモードを意味する。このとき、ベースレイヤの対応する領域は、イントラモードでコーディングされた領域を意味する。一方、レジデュアル予測モードは、イメージ差値であるレジデュアルデータを持つようにコーディングされた、ベースレイヤの対応領域を用いることができる。このとき、ベースレイヤの対応領域はサンプリングを通じて拡大または縮小して使用できる。サンプリングとは、イメージ解像度を変化させることを意味する。このサンプリングは、リサンプリング、ダウンサンプリング、アップサンプリングなどを含むことができる。例えば、レイヤ間予測を行うためにイントラサンプルをリサンプリングすることができる。または、ダウンサンプリングフィルタを用いてピクセルデータを再生成することによってイメージ解像度を小さくすることができるが、これをダウンサンプリングという。または、アップサンプリングフィルタを用いていくつかの追加的なピクセルデータを生成することによってイメージ解像度を大きくすることができるが、これをアップサンプリングという。リサンプリングはダウンサンプリングとアップサンプリングの概念を含むことができる。本明細書でサンプリングという言葉は、実施例の技術的思想及び技術的範囲によって適切に解釈することができる。
一方、同一の映像コンテンツに対して相互に異なる用途または目的のためにベースレイヤとエンハンスドレイヤが生成され、よって、空間的解像度、フレームレート、ビットレートなどが互いに異なっていてもよい。レイヤ間予測方法によって映像信号をコーディングするとき、エンハンスドレイヤとベースレイヤとの空間的解像度の割合が２の倍数でない場合（ｎｏｎ−ｄｙａｄｉｃ ｃａｓｅ）を、拡張された空間的スケーラビリティ（ＥＳＳ：Ｅｘｔｅｎｄｅｄ Ｓｐａｔｉａｌ Ｓｃａｌａｂｉｌｉｔｙ）と呼ぶ。例えば、横：縦が１６:９の比率の映像信号に対してレイヤ間予測方法によってエンハンスドレイヤをコーディングするとき、４：３の比率の画面にコーディングされたベースレイヤを用いなければならない場合が起こり得る。この場合、ベースレイヤは、原映像信号の一部が切り取られた状態でコーディングされるため、レイヤ間予測のために拡大されてもエンハンスドレイヤの一部領域はカバーできなくなる。したがって、エンハンスドレイヤの一部領域は、アップサンプリングされるベースレイヤで対応する領域がないため、ベースレイヤを利用できなくなることがある。すなわち、これは、一部領域に対してはレイヤ間予測方法を適用できないということを意味する。このような場合、レイヤ間予測に用いられるコーディング情報を転送しなくても良い。これについての具体的な実施例は、図５〜図８で詳細に後述する。
図２及び図３は、本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加可能なスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。
図２には、スケーラブル映像に関する属性情報が追加されることのできるＮＡＬ単位の構成の一例を示す。まず、ＮＡＬ単位は、ＮＡＬ単位のヘッダとＲＢＳＰ（Ｒａｗ Ｂｙｔｅ Ｓｅｑｕｅｎｃｅ Ｐａｙｌｏａｄ：動画像圧縮の結果データ）とで構成することができる。そして、ＮＡＬ単位のヘッダでは、ＮＡＬ単位が参照ピクチャのスライスを含んでいるか否かを示す識別情報（ｎａｌ＿ｒｅｆ＿ｉｄｃ）とＮＡＬ単位のタイプを示す情報（ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）とを含むことができる。また、制限的にＮＡＬ単位ヘッダの拡張領域も含むことができる。例えば、ＮＡＬ単位のタイプを示す情報がスケーラブルビデオコーディングと関連している場合、またはｐｒｅｆｉｘ ＮＡＬ単位を表す場合に、ＮＡＬ単位はＮＡＬ単位ヘッダの拡張領域を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝２０または１４のとき、ＮＡＬ単位は、ＮＡＬ単位ヘッダの拡張領域も含むことができる。また、ＮＡＬ単位ヘッダの拡張領域内では、ＳＶＣビットストリームなのか否かを識別できるフラグ情報（ｓｖｃ＿ｍｖｃ＿ｆｌａｇ）によってスケーラブル映像に関する属性情報を追加できる。
他の例として、ＮＡＬ単位のタイプを示す情報がサブセットシーケンスパラメータセットを示す情報である場合、ＲＢＳＰはサブセットシーケンスパラメータセットに関する情報を含むことができる。具体的な例として、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ＝１５の場合、ＲＢＳＰはサブセットシーケンスパラメータセットに関する情報、スライスレイヤに関する情報などを含むことができる。このとき、プロファイル情報によってサブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。例えば、プロファイル情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）がスケーラブルビデオコーディングに関連したプロファイルである場合、サブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことができる。または、プロファイル情報によってシーケンスパラメータセットがシーケンスパラメータセットの拡張領域を含むことができる。シーケンスパラメータセットの拡張領域はレイヤ間予測のためのデブロッキングフィルタの特性を制御する情報、アップサンプリング過程のためのパラメータ関連情報などを含むことができる。次に、スケーラブル映像に関する様々な属性情報、例えば、ＮＡＬ単位ヘッダの拡張領域、シーケンスパラメータセットの拡張領域、またはスライスレイヤに含まれうる属性情報について具体的に説明する。
例えば、レイヤ間予測のためのデブロッキングフィルタの特性を制御する情報が存在するか否かを示すフラグ情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）をシーケンスパラメータセットの拡張領域から得ることができる。上記デブロッキングフィルタの特性を制御する情報については図８で詳細に説明するものとする。また、アップサンプリング過程のためのパラメータ関連情報の位置を示す情報（ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ）をシーケンスパラメータセットの拡張領域から得ることができる。具体的な例として、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝０なら、アップサンプリング過程のためのいかなるパラメータもシーケンスパラメータセットやスライスヘッダに存在しないということを意味する。そして、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝１なら、アップサンプリング過程のためのパラメータがシーケンスパラメータセットに存在するということを意味する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ＝２なら、アップサンプリング過程のためのパラメータがスライスヘッダに存在するということを意味する。上記アップサンプリング過程のためのパラメータについては図９で詳細に説明するものとする。
まず、レイヤ間予測が用いられるか否かを示す情報（４）とは、コーディングされたスライスをデコーディングする際にレイヤ間予測が用いられるか否かを示すフラグ情報を意味する。このフラグ情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、フラグ情報が１の場合、レイヤ間予測が用いられないということを意味する。そして、フラグ情報が０の場合には、マクロブロックレイヤでのコーディング方式によってレイヤ間予測が用いられても良く、用いられなくても良い。これは、マクロブロック単位でレイヤ間予測が用いられても良く、用いられなくても良いためである。
クオリティ識別情報（３）とは、ＮＡＬ単位に対するクオリティを特定する情報を意味する。この属性情報を説明するに当たって図３を用いることができる。例えば、一つのピクチャを相互に異なるクオリティのレイヤにコーディングできる。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤがいずれもそれぞれ異なるクオリティのレイヤにコーディングすることができる。具体的な例として、ＮＡＬ単位に対するクオリティを特定する情報をｑｕａｌｉｔｙ＿ｉｄとするとき、Ｂ１，Ｂ２，…，Ｂ１０レイヤはｑｕａｌｉｔｙ＿ｉｄ＝０とし、Ｑ１，Ｑ２，…，Ｑ１０レイヤはｑｕａｌｉｔｙ＿ｉｄ＝１とすることができる。すなわち、Ｂ１，Ｂ２，…，Ｂ１０レイヤは画質の最も低いレイヤを意味することができる。これをベースピクチャという。Ｑ１，Ｑ２，…，Ｑ１０レイヤはそれぞれ、Ｂ１，Ｂ２，…，Ｂ１０レイヤを含みながらＢ１，Ｂ２，…，Ｂ１０レイヤよりも画質の高いレイヤに該当する。このようなクオリティ識別情報は多様に定義できる。例えば、１６段階で表現されることができる。
空間的スケーラビリティを示す識別情報とは、ＮＡＬ単位に対する依存関係を特定する情報を意味する。この属性情報を、図３を参照しつつ説明すると、次の通りである。例えば、空間的解像度によって依存関係が異なっていてもよい。図３で、Ｓｐａ＿Ｌａｙｅｒ０、Ｓｐａ＿Ｌａｙｅｒ１のそれぞれに在るレイヤはそれぞれ、同一の解像度を持つことができる。Ｓｐａ＿Ｌａｙｅｒ０に在るレイヤは、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤをダウンサンプリングして得られたピクチャを含むことができる。具体的な例として、ＮＡＬ単位に対する依存関係を特定する情報をｄｅｐｅｎｄｅｎｃｙ＿ｉｄとするとき、Ｓｐａ＿Ｌａｙｅｒ０に在るレイヤのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝０とすることができ、Ｓｐａ＿Ｌａｙｅｒ１に在るレイヤのｄｅｐｅｎｄｅｎｃｙ＿ｉｄ＝１とすることができる。このような依存関係識別情報は様々に定義することができる。このように、依存関係を特定する情報と同一の値を持っているＮＡＬ単位をディペンデンシ・リプレゼンテーションと表示することができる。
上記のクオリティ識別情報と依存関係を特定する情報によって一つのレイヤを定義することができる。このとき、クオリティ識別情報及び依存関係を特定する情報と同一の値を持っているＮＡＬ単位をレイヤ・リプレゼンテーションと表示することができる。
また、時間的スケーラビリティを示す識別情報とは、ＮＡＬ単位に対する時間的レベルを特定する情報を意味する。この時間的レベルは、階層的Ｂピクチャ構造で説明することができる。例えば、図３のＳｐａ＿Ｌａｙｅｒ０で（Ｂ１，Ｑ１）レイヤと（Ｂ３，Ｑ３）レイヤは同一の時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）を持つことができる。（Ｂ５，Ｑ５）レイヤが（Ｂ１，Ｑ１）レイヤと（Ｂ３，Ｑ３）レイヤを参照する場合、この（Ｂ５，Ｑ５）レイヤは（Ｂ１、Ｑ１）レイヤと（Ｂ３、Ｑ３）ピクチャの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ０）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ１）を持つことができる。同様に、（Ｂ７，Ｑ７）レイヤが（Ｂ１，Ｑ１）レイヤと（Ｂ５，Ｑ５）レイヤを参照する場合、この（Ｂ７、Ｑ７）レイヤは、（Ｂ５，Ｑ５）レイヤの時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）よりも高い時間的レベル（Ｔｅｍ＿Ｌａｙｅｒ２）を持つことができる。一つのアクセスユニット内に在る全てのＮＡＬ単位は、同一の時間的レベル値を持つことができる。また、ＩＤＲアクセスユニットの場合には、時間的レベル値が０になりうる。
参照ベースピクチャが参照ピクチャとして用いられるか否かを示すフラグ情報は、レイヤ間予測過程で参照ベースピクチャが参照ピクチャとして用いられるか、それともデコーディングされたピクチャが参照ピクチャとして用いられるかを表す。このフラグ情報は、同一のレイヤ上に在る、すなわち依存関係を特定する情報が同一であるＮＡＬ単位に対しては同一の値を持つことができる。
優先順位識別情報とは、ＮＡＬ単位の優先順位を特定する情報を意味する。これを用いてレイヤ間拡張性またはピクチャ間拡張性を提供することができる。例えば、優先順位識別情報を用いて使用者に様々な時間的レベル及び空間的レベルの映像を提供することができる。したがって、使用者は、所望する時間及び空間の映像のみを見ることもでき、異なる制限条件による映像のみを見ることもできる。この優先順位情報は、その基準条件によって様々な方法で設定することができる。また、この優先順位情報は、特別な基準によらずに任意に設定されても良く、デコーディング装置によって決定されても良い。
また、ＮＡＬ単位ヘッダの拡張領域に含まれることのできる属性情報には、現在アクセスユニットがＩＤＲアクセスユニットか否かを示すフラグ情報が含まれる。
また、スライスレイヤではレイヤ間予測のための様々な情報を含むことができる。例えば、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報（５）、デブロッキングフィルタの動作に関連した情報（６）、色差信号の位相変化に関する情報（７）、ピクチャ間の位置差を表すオフセット情報（８）及び適応予測を行うか否かを示す情報（９）などを含むことができる。これらの情報はスライスヘッダから得ることができる。
デブロッキングフィルタの動作に関連した情報（６）の例としては、デブロッキングフィルタの動作方法を示す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）、デブロッキングフィルタリング時に必要なオフセット情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２）等がある。
そして、色差信号の位相変化に関する情報（７）の例として、レイヤ間予測に用いられるピクチャの色差成分の水平、垂直位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｘ＿ｐｌｕｓ１、ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｙ＿ｐｌｕｓ１）がある。また、ピクチャ間の位置差を示すオフセット情報（８）の例として、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上、下、左、右の位置差を示すオフセット情報（ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）がある。
また、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報（５）の例として、第１レイヤに在る対応ブロックが第２レイヤの２個以上のスライスに亘っている場合、第２レイヤに在る現在ブロックに対して第１レイヤに在るイントラブロックを用いたレイヤ間予測使用制限の有無を示す情報（ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇ）がある。
また、適応予測を行うか否かを示す情報（９）は、スライスヘッダとマクロブロックレイヤ内に予測関連情報の存否を表すことができる。この適応予測を行うか否かを示す情報によっていかなる適応予測方法が用いられるかが決定されうる。これについては、図８で詳細に後述する。
図４は、本発明が適用される実施例で、サンプリングされたベースレイヤとエンハンスドレイヤとのクロッピング関係を示す図である。
スケーラブルビデオコーディングにおいて、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認することができる。例えば、現在ブロック内の全てのピクセルに対応する領域がベースレイヤに在るか否かを確認することができる。この確認の結果、エンハンスドレイヤの現在ブロックがレイヤ間予測に用いられない場合には、レイヤ間予測に用いられるコーディング情報を転送する必要がなくなるので、コーディング効率を上げることができる。
このように、エンハンスドレイヤの現在ブロックがレイヤ間予測を用いることができるか否かを確認できる関数を定義することができる。例えば、現在ブロック内の全てのピクセルに対応する領域がベースレイヤに在るか否かを確認できる関数として、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）を定義することができる。エンハンスドレイヤにおいて水平方向のマクロブロックインデックスをｍｂＩｄｘＸとし、垂直方向のマクロブロックインデックスをｍｂＩｄｘＹとするとき、下記の条件を満足すると関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）は‘ＴＲＵＥ’（または‘１’）値を返すことができる。
mbIdxX ≧ (ScaledBaseLeftOffset + 15) / 16
mbIdxX ≦ (ScaledBaseLeftOffset + ScaledBaseWidth - 1) / 16
mbIdxY ≧ (ScaledBaseTopOffset + 15) / 16
mbIdxY ≦ (ScaledBaseTopOffset + ScaledBaseHeight - 1) / 16
ｍｂＩｄｘＸは、マクロブロックアドレスと水平方向のマクロブロック個数を用いて導出できる。ｍｂＩｄｘＹは、マクロブロック適応型フレームフィールドが適用されるか否かによって異なる方式で導出されうる。例えば、マクロブロック適応型フレーム-フィールドが適用される場合には、マクロブロック対を考慮して導出されうる。このマクロブロック対を考慮するとき、上位マクロブロック（ｔｏｐ ｍａｃｒｏｂｌｏｃｋ）のインデックスをｍｂＩｄｘＹ０とし、下位マクロブロック（ｂｏｔｔｏｍ ｍａｃｒｏｂｌｏｃｋ）のインデックスをｍｂＩｄｘＹ１とする。ｍｂＩｄｘＹ０はレイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を示すオフセット情報と水平方向のマクロブロック個数情報から導出されうる。このとき、水平方向のマクロブロック個数情報は、現在ピクチャがフレームピクチャかフィールドピクチャかによってその値が異なっていてもよい。そして、ｍｂＩｄｘＹ１は、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を示すオフセット情報と垂直方向のマクロブロック個数情報から導出されうる。一方、マクロブロック適応型フレームフィールドが適用されない場合には、ｍｂＩｄｘＹ０とｍｂＩｄｘＹ１は同一の値を持つことができる。
また、ＳｃａｌｅｄＢａｓｅＬｅｆｔＯｆｆｓｅｔは、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の左側位置差を示すオフセット情報を表す。このＳｃａｌｅｄＢａｓｅＴｏｐＯｆｆｓｅｔは、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上側位置差を示すオフセット情報を表す。ＳｃａｌｅｄＢａｓｅＷｉｄｔｈは、アップサンプリングされたピクチャの水平方向幅を表し、ＳｃａｌｅｄＢａｓｅＨｅｉｇｈｔは、アップサンプリングされたピクチャの垂直方向高さを表す。
上の条件を一つでも満足しない場合、関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）は‘ＦＡＬＳＥ’（または‘０’）値を返すことができる。
現在ブロック（ＣｕｒｒＭｂＡｄｄｒ）内の少なくとも一つ以上のピクセルに対して対応するピクセルがアップサンプリングされたベースレイヤにない場合、すなわち、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘ＦＡＬＳＥ’値を返す場合、レイヤ間予測と関連した一部情報は、エンハンスドレイヤで使用されなくなり、よって、このような情報は転送しなくても良い。したがって、本発明の実施例では、iｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて対応するベースレイヤ領域がないと確認されると、当該映像ブロックに対してはレイヤ間予測と関連した情報の転送を省略することができる。
本発明の一実施例として、上記関数ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（）を用いてコーディングする場合について説明すると、下記の通りである。
エンハンスドレイヤエンコーディング部１０６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在ブロックに対応する領域がベースレイヤに存在すると確認される場合、ベースレイヤのテキスチャ及び／または動き情報を用いてレイヤ間予測を行う。このとき、動き情報には、参照インデックス情報、動きベクトル情報、パーティション情報などが含まれうる。
また、エンハンスドレイヤエンコーディング部１０６は、テキスチャ及び／または動き情報に対してベースレイヤのものをそのまま用いるか、またはそれから導出する場合、それを指示する指示情報をエンハンスドレイヤのデータストリームに追加し、デコーダ１１０に知らせることができる。しかし、エンハンスドレイヤエンコーディング部１０６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認される場合、レイヤ間予測なしでエンハンスドレイヤを生成できる。一方、デコーダ１１０においてｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在ブロックに対応する領域がベースレイヤに存在しないと確認されると、デコーダ１１０は、指示情報が転送されなかったと判断する。
図５及び図６は、本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。
レイヤ間予測を行うようになる場合、現在ＮＡＬのスライスデータにおいてレイヤ間予測と関連した情報がデコーダに転送される。例えば、エンハンスドレイヤの現在ブロックの動きベクトル予測時に、ベースレイヤの動きベクトルを用いるか否かを表すフラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌｘ）をマクロブロックレイヤから得ることができる。本発明の実施例で、デコーダではｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を確認することによってレイヤ間予測に関連した情報がエンコーダから転送されたのか否かがわかる（５１０，６１０）。例えば、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）によって現在映像ブロックに対応する領域がベースレイヤに存在しない場合、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌ０／ｌ１フラグは、ビットストリームで転送しなくても良い（５２０／５３０、６２０／６３０）。
また、動きベクトル予測と関連した情報がマクロブロック内に存在するか否かを表すフラグ（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）が、現在ＮＡＬのスライスデータから得ることができる。本発明の実施例では、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇとｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を全て確認することによって、レイヤ間予測に関連した情報はエンコーダから転送されなくてもよい（５１０）。例えば、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）によって現在映像ブロックに対応する領域がベースレイヤに存在しないか、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇによって動きベクトル予測と関連した情報がマクロブロック内に存在しない場合には、ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌ０／ｌ１フラグを転送しなくても良い（５２０／５３０、６２０／６３０））。このような技術的思想は、図６に示すサブマクロブロック予測でも同様に適用することができる。
このように、上記の２つの情報を全て確認し、２つの条件をいずれも満足する場合にのみレイヤ間予測と関連した情報を転送することによって、コーディング効率を上げることができる。
図７は、本発明が適用される実施例で、レイヤ間予測を通じたレジデュアル予測と関連したシンタックスを示す図である。
レイヤ間予測を行うようになる場合、現在ＮＡＬのスライスデータにおいてレイヤ間予測と関連した情報がデコーダに転送される。例えば、現在ブロックのレジデュアル信号を予測する場合、ベースレイヤのレジデュアル信号を用いるか否かを表すフラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）をマクロブロックレイヤから得ることができる（７４０）。このとき、ベースレイヤは、レイヤ・リプレゼンテーション情報よりわかる。本発明の実施例では、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を確認することによって、レイヤ間予測に関連した情報がエンコーダによって転送されなくてもよい。
例えば、マクロブロック内にレジデュアル信号の予測と関連した情報が存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）及び現ブロックのスライスタイプの情報によって（７１０）、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを得ることができる。ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇに従って得ることもできる。また、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、現在マクロブロックのタイプ（ｍｂ＿ｔｙｐｅ）がベースレイヤの対応領域から導出される場合であるか否かを示す（７２０）。ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、現在マクロブロックのタイプ及びｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）の機能に従って得ることもできる。例えば、マクロブロックとサブマクロブロックのタイプがイントラモードでなく（MbPartPredType(mb_type,0)!=Intra_16x16(8x8及び4x4)）、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）の値が‘ｔｒｕｅ’である場合、即ち現在マクロブロックに対応する領域がベースレイヤに存在することを示す場合に、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを得ることができる（７３０）。現在マクロブロックのタイプがイントラモードではないか、現在マクロブロックに対応する領域がベースレイヤに存在しない場合（ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘０’である場合）には、ｒｅｓｉｄｕａｌ予測は実行されない。そして、エンコーダ１０２では、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを含めない状態でエンハンスドレイヤを生成することとなる。
ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが‘１’である場合、レジデュアル信号はベースレイヤのレジデュアル信号から予測されるが、‘０’である場合にレジデュアル信号は予測されずにそのままエンコーディングされる。また、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが存在しない場合には、次のように導出することができる。例えば、下記のような条件をいずれも満たす場合に限ってｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇが、あらかじめ定められた値（ｄｅｆａｕｌｔ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）として導出できる。第一に、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇが‘１’であるか、または現在マクロブロックのタイプがイントラモードであってはならない。第二に、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘１’でなければならない。第三に、レイヤ間予測が用いられるか否かを表すフラグ（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）が‘０’でなければならない。第四に、スライスタイプがＥＩスライスであってはならない。そうでなければ‘０’と導出できる。
一方、エンハンスドレイヤデコーディング部１１６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認した場合、マクロブロックまたはサブマクロブロック内に動き予測フラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）情報が存在しないと判断し、レイヤ間予測無しでエンハンスドレイヤのデータビットストリームのみで映像信号を復元することができる。また、エンハンスドレイヤデコーディング部１１６は、レジデュアル予測に関するシンタックスエレメントがエンハンスドレイヤのデータビットストリームに含まれていない場合にレジデュアル予測フラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を導出することができる。このとき、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）を通じて、現在映像ブロックに対応する領域がベースレイヤに存在するか否かを考慮することができる。そして、エンハンスドレイヤデコーディング部１１６は、ｉｎ＿ｃｒｏｐ＿ｗｉｎｄｏｗ（ＣｕｒｒＭｂＡｄｄｒ）が‘０’である場合、現在映像ブロックに対応する領域がベースレイヤに存在しないと確認することができる。この場合、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇを‘０’として導出し、ベースレイヤのレジデュアル信号を用いるレジデュアル予測なしでエンハンスドレイヤのデータのみで映像信号を復元することができる。
図８は、本発明が適用される実施例で、レイヤ間予測を行うか否かによってデブロッキングフィルタリングを行うためのシンタックス構造を示す図である。
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報をエンコーダから転送しなくて済むことができる。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）とクオリティ識別情報（ｑｕａｌｉｔｙ＿ｉｄ）によって（８１０）、デブロッキングフィルタの動作に関連した情報を得ることができる。デブロッキングフィルタの動作に関連した情報の例としては、デブロッキングフィルタの動作方法を示す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）、デブロッキングフィルタリング時に必要なオフセット情報（ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２、ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２）などがある。
まず、デブロッキングフィルタの動作方法を示す情報は、デブロッキングフィルタの特性を制御する情報に基づいて得ることができる。デブロッキングフィルタの特性を制御する情報は、図２で説明したように、シーケンスパラメータセットの拡張領域から得ることができる。例えば、デブロッキングフィルタの特性を制御する情報として、レイヤ間予測のためのデブロッキングフィルタの特性を制御する情報が存在するか否かを示すフラグ情報（ｉｎｔｅｒ＿ｌａｙｅｒ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿Ｃｏｎｔｒｏｌ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ）がある（８２０）。このフラグ情報によってデブロッキングフィルタの動作方法を示す情報を得ることができることとなる（８３０）。
具体的な例として、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝０の場合、現在ピクチャの全ての輝度信号と色差信号のブロックエッジに対してフィルタリングを行うことができる。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝１の場合には、現在ピクチャの全てのブロックエッジに対してフィルタリングを行わなくても良い。また、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝２の場合には、スライス境界が重なるブロックエッジを除外した全てのブロックエッジに対してフィルタリングを行うことができる。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝３の場合には、まず、スライス境界が重ならないブロックエッジに対してフィルタリングを行った後、続いてスライス境界が重なるブロックエッジに対してフィルタリングを行うことができる。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝４の場合には、輝度信号のブロックエッジに対してのみフィルタリングを行い、色差信号のブロックエッジに対してはフィルタリングを行わなくても良い。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝５の場合には、スライス境界が重なるブロックエッジを除外した全ての輝度信号のブロックエッジに対してフィルタリングを行い、色差信号のブロックエッジに対してはフィルタリングを行わなくても良い。ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝６の場合には、色差信号のブロックエッジに対してはフィルタリングを行わずに輝度信号のブロックエッジに対してのみフィルタリングを行うことができる。まず、スライス境界が重ならない輝度信号のブロックエッジに対してフィルタリングを行った後、続いてスライス境界が重なる輝度信号のブロックエッジに対してフィルタリングを行うことができる。
上記デブロッキングフィルタの動作方法を示す情報に基づいて、デブロッキングフィルタリング時に必要なオフセット情報を得ることができる。例えば、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ値が１の場合には、全てのブロックエッジに対してデブロッキングフィルタリングを行わないので、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ値が１でない場合にのみ、デブロッキングフィルタリング時に必要なオフセット情報を得ることができる（８４０）。例えば、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ａｌｐｈａ＿ｃ０＿ｏｆｆｓｅｔ＿ｄｉｖ２とｉｎｔｅｒ＿ｌａｙｅｒ＿ｓｌｉｃｅ＿ｂｅｔａ＿ｏｆｆｓｅｔ＿ｄｉｖ２は、レイヤ間予測時にマクロブロック内でデブロッキングフィルタテーブルをアクセスする時に用いられるオフセット情報を意味する（８５０）。したがって、得られたオフセット情報を用いてデブロッキングフィルタリングを行うことが可能になる。
図９は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、アップサンプリングされたピクチャと現在ピクチャ間の位置差を示すオフセット情報を得るためのシンタックス構造を示す図である。
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、エンコーダはレイヤ間予測に関連した情報を転送しなくてもよい。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）とクオリティ識別情報（ｑｕａｌｉｔｙ＿ｉｄ）によって（９１０）、アップサンプリング過程のためのパラメータ関連情報を得ることができる。このアップサンプリング過程のためのパラメータ関連情報の例としては、色差信号の位相変化に関する情報（９３０）、ピクチャ間の位置差を示すオフセット情報（９４０）などがある。パラメータ関連情報はシーケンスパラメータセットの拡張領域及びスライスヘッダから得ることができる。
色差信号の位相変化に関する情報（９３０）の例として、レイヤ間予測に用いられるピクチャの色差成分の水平位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｘ＿ｐｌｕｓ１）と垂直位相変化に関する情報（ｒｅｆ＿ｌａｙｅｒ＿ｃｈｒｏｍａ＿ｐｈａｓｅ＿ｙ＿ｐｌｕｓ１）がある。また、ピクチャ間の位置差を示すオフセット情報（９４０）の例として、レイヤ間予測に用いられるアップサンプリングされたピクチャと現在ピクチャ間の上、下、左、右位置差を示すオフセット情報（ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔ、ｓｃａｌｅｄ＿ｒｅｆ＿ｌａｙｅｒ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ）がある。
これらのパラメータ関連情報は、パラメータ関連情報の位置を示す情報（ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙ）に基づいて得ることができる。例えば、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが０であれば、アップサンプリング過程のためのパラメータ情報は、シーケンスパラメータセットとスライスヘッダのどこにも存在しないということを意味する。ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１であれば、パラメータ情報は、シーケンスパラメータセットには存在するが、スライスヘッダには存在しないということを意味する。また、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが２であれば、パラメータ情報は、スライスヘッダには存在するが、シーケンスパラメータセットには存在しないということを意味する。したがって、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが２の場合に、スライスヘッダ内でパラメータ情報を制御できる（９２０）。また、ｅｘｔｅｎｄｅｄ＿ｓｐａｔｉａｌ＿ｓｃａｌａｂｉｌｉｔｙが１の場合には、シーケンスパラメータセット内でパラメータ情報を制御できることとなる。
色差信号の位相変化に関する情報（９３０）とピクチャ間の位置差を示すオフセット情報（９４０）は、アップサンプリング過程で用いることができる。
図１０は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、参照レイヤに在るイントラブロックの使用制限の有無を示すフラグ情報を得るためのシンタックス構造を示す図である。
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、エンコーダはレイヤ間予測に関連した情報を転送しなくてもよい。このスケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）とクオリティ識別情報（ｑｕａｌｉｔｙ＿ｉｄ）によって（１０１０）、アップサンプリング過程においてスライス境界に対する取り扱いを示す情報を得ることができる。スライス境界に対する取り扱いを示す情報の例としては、第２レイヤに在る現在ブロックに対して第１レイヤに在るイントラブロックの使用制限の有無を示す情報（ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇ）がある（１０２０）。イントラブロックの使用制限の有無を示す情報を定義することによって、パラレルプロセシングを行う時にデコーディング速度を向上させることができる。このようなイントラブロックの使用制限の有無を示す情報はスライスヘッダから得ることができる。
このイントラブロックの使用制限の有無を示す情報は、スライスヘッダから得ることができるため、その値が１であっても、各マクロブロックに対応する第１レイヤの領域が、第１レイヤの特定スライス内に含まれるか否かを確認する必要がある。したがって、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇが１のとき、現在ブロックに対応する第１レイヤの領域が、第１レイヤの特定スライス内に含まれるか否かを確認することができる。例えば、第１レイヤに在る対応ブロックが少なくとも２つのスライスに亘っている場合、現在ブロックは、第１レイヤに在るイントラブロックを利用できないと記録される。すなわち、現在ブロックは、イントラベース予測モードを用いてコーディングすることができない。ここで、イントラベース予測モードとは、ベースレイヤの対応する領域に基づいてエンハンスドレイヤのブロックを予測するモードを意味する。このとき、ベースレイヤの対応する領域はイントラモードでコーディングされた領域を意味する。または、対応する第１レイヤの領域が第１レイヤの特定スライス内に含まれる場合には、第１レイヤに在るイントラブロックを用いて現在ブロックをデコーディングすることができる。このとき、現在ブロックはイントラベース予測モードを利用できると記録される。
また、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇが１のとき、図８で説明したデブロッキングフィルタの動作方法を示す情報（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）が制限されうる。例えば、ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ値としては、１、２または４の値のみを持つことができる。
一方、ｃｏｎｓｔｒａｉｎｅｄ＿ｉｎｔｒａ＿ｒｅｓａｍｐｌｉｎｇ＿ｆｌａｇが０の時は、第１レイヤに在る対応ブロックが少なくとも２つのスライスに亘っていても、第２レイヤに在る現在ブロックは、第１レイヤに在るイントラブロックを用いてデコーディングすることができる。
上記の実施例は、輝度信号だけでなく色差信号にも同じ方式で適用することができる。
図１１は、本発明が適用される実施例で、レイヤ間予測を行うか否かによって、適応予測情報を得るためのシンタックス構造を示す図である。
本発明の実施例では、スケーラブルビデオコーディングされたビットストリームの属性情報を確認することによって、レイヤ間予測に関連した情報はエンコーダから転送されなくてもよい。スケーラブルビデオコーディングされたビットストリームの属性情報は、ＮＡＬヘッダの拡張領域から得ることができる。例えば、レイヤ間予測が用いられるか否かを示す情報（ｎｏ＿ｉｎｔｅｒ＿ｌａｙｅｒ＿ｐｒｅｄ＿ｆｌａｇ）に基づいて適応予測情報を得ることができる（１１１０）。適応予測情報は、予測と関連したシンタックスが対応する位置に存在するか否かを表すことができる。例えば、スライスヘッダとマクロブロックレイヤに予測と関連したシンタックスが存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）、動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）、レジデュアル予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）などがある。
レイヤ間予測が用いられるか否かを示す情報によってレイヤ間予測が行われる場合、まず、スライスデータの存在の有無を示す情報（ｓｌｉｃｅ＿ｓｋｉｐ＿ｆｌａｇ）を得ることができる（１１２０）。スライスデータの存在の有無を示す情報を確認することによって、レイヤ間予測を行うべくマクロブロック内の情報を導出するか否かを決定することができる。このスライスデータの存在の有無を示す情報によってスライス内にスライスデータが存在する場合（１１３０）、適応予測フラグ（ａｄａｐｔｉｖｅ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる（１１４０）。そして、マクロブロックレイヤにレジデュアル予測と関連したシンタックスが存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）も得ることができる（１１８０）。適応予測フラグによって、ベースレイヤの対応ブロックから動き情報などを予測するか否かを示す情報をどのように導出するかを示す情報（ｄｅｆａｕｌｔ＿ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇ）を得ることができる（１１５０）。これにより、ベースレイヤの対応ブロックから動き情報などが予測されない場合（１１５５）、動き予測に関連するシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる（１１６０）。また、動き予測と関連したシンタックスがマクロブロックレイヤに存在しない場合（１１６５）、動き予測フラグ情報をどのように推測するかを示す情報（ｄｅｆａｕｌｔ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる（１１７０）。
この動き予測と関連したシンタックスがマクロブロックレイヤに存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）とマクロブロックレイヤにレジデュアル予測と関連したシンタックスが存在するか否かを示す情報（ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）は、マクロブロックレイヤ内で用いられる。例えば、ａｄａｐｔｉｖｅ＿ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいてベースレイヤの動きベクトルを使用するか否かを表すフラグ（ｍｏｔｉｏｎ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ＿ｌｘ）を得ることができる。また、ａｄａｐｔｉｖｅ＿ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇに基づいてベースレイヤのレジデュアル信号を用いるか否かを表すフラグ（ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇ）を得ることができる。
以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送の送／受信装置に備えられ、ビデオ信号及びデータ信号などを復号化するのに使用できる。また、マルチメディア放送の送／受信装置は、移動通信端末機を含んでいてもよい。
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行できるようなプログラムとして作成され、コンピュータが読み取り可能な記録媒体に記憶することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータが読み取り可能な記録媒体に記憶することができる。このコンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが記憶される全ての種類の記憶装置を含む。コンピュータが読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた転送）の形態で実現されるものも含む。また、上記エンコーディング方法によって生成されたビットストリームは、コンピュータが読み取り可能な記録媒体に記憶したり、有／無線通信網を介して転送したりすることができる。
以上説明してきた本発明の好適な実施例は、例示の目的で開示されたもので、添付の特許請求の範囲上に開示された本発明の技術的思想とその技術的範囲内で、様々な他の実施例として改良、変更、代替または付加などが可能であるということは、当業者にとっては明らかである。
本発明が適用されるスケーラブルビデオコーディングシステムを示す概略的なブロック図である。 本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加されることのできるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。 本発明が適用される実施例で、スケーラブルビデオコーディングされたビットストリームに追加されることのできるスケーラブル映像に関する属性情報及びこれを説明するためのピクチャの構造を示す図である。 本発明が適用される実施例で、サンプリングされたベースレイヤとエンハンスドレイヤとのクロッピング関係を示す図である。 それぞれ本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。 それぞれ本発明が適用される実施例で、レイヤ間予測を通じたマクロブロック予測及びサブマクロブロック予測と関連したシンタックスを示す図である。 本発明が適用される実施例で、レイヤ間予測を通じたレジデュアル予測と関連したシンタックスを示す図である。 本発明が適用される実施例で、レイヤ間予測を行うか否かによってデブロッキングフィルタリングを行うためのシンタックス構造を示す図である。 本発明が適用される実施例で、レイヤ間予測を行うか否かによって、アップサンプリングされたピクチャと現在ピクチャ間の位置差を示すオフセット情報を得るためのシンタックス構造を示す図である。 本発明が適用される実施例で、レイヤ間予測を行うか否かによって、参照レイヤに在るイントラブロックの使用制限の有無を示すフラグ情報を得るためのシンタックス構造を示す図である。 本発明が適用される実施例で、レイヤ間予測を行うか否かによって、適応予測情報を得るためのシンタックス構造を示す図である。

Claims (8)

  1. デコーディング装置が、第１レイヤのビットストリームをデコーディングし、
    前記デコーディング装置が、第２レイヤに対してレイヤ間予測が行われるか否かを示すフラグ情報を取得し、
    前記デコーディング装置が、前記第２レイヤの画質を識別するためのクオリティ識別情報を取得し、
    前記デコーディング装置が、パラメータの取得位置を示す情報を取得し、前記パラメータは、前記レイヤ間予測に用いられる第１レイヤのアップサンプリングされたピクチャと、第２レイヤの現在ピクチャとの間の位置差を示す少なくとも１つのオフセット情報を含み、
    前記デコーディング装置が、前記フラグ情報と、前記クオリティ識別情報と、前記パラメータの取得位置を示す情報と、に基づいて、前記の少なくとも１つのオフセット情報を取得し、
    前記デコーディング装置が、第１レイヤの参照ピクチャをアップサンプリングし、
    前記デコーディング装置が、前記のアップサンプリングされた参照ピクチャと、前記の少なくとも１つのオフセット情報と、を用いて、前記第２レイヤの現在ピクチャについて前記レイヤ間予測を実行する、
    ことを特徴とするビデオ信号のデコーディング方法。
  2. 前記パラメータの取得位置を示す情報は、前記パラメータが、シーケンスパラメータセットに存在するか、スライスヘッダに存在するか、前記シーケンスパラメータセット及び前記スライスヘッダの何れにも存在しないか、を示す、請求項１に記載のビデオ信号のデコーディング方法。
  3. 前記オフセット情報は、前記レイヤ間予測に用いられる前記第１レイヤのアップサンプリングされたピクチャと、前記第２レイヤの現在ピクチャとの間の、左側位置差を示すオフセット情報と、上側位置差を示すオフセット情報と、右側位置差を示すオフセット情報と、下側位置差を示すオフセット情報と、を含む、請求項１に記載のビデオ信号のデコーディング方法。
  4. 前記第２レイヤは、前記第１レイヤとは画面比率または空間解像度が異なり、前記第１レイヤは、前記第２レイヤのビデオ信号と同一のビデオ信号から生成される、請求項１に記載のビデオ信号のデコーディング方法。
  5. 第１レイヤのビットストリームをデコーディングするベースレイヤデコーディング部と、
    第２レイヤに対してレイヤ間予測が行われるか否かを示すフラグ情報を取得し、前記第２レイヤの画質を識別するためのクオリティ識別情報を取得する第１ヘッダ情報取得部と、
    前記レイヤ間予測に用いられる第１レイヤのアップサンプリングされたピクチャと、第２レイヤの現在ピクチャとの間の位置差を示す少なくとも１つのオフセット情報を含むパラメータの取得位置を示す情報を取得し、前記フラグ情報と、前記クオリティ識別情報と、前記パラメータの取得位置を示す情報と、に基づいて、前記の少なくとも１つのオフセット情報を取得する第２ヘッダ情報取得部と、
    第１レイヤの参照ピクチャをアップサンプリングするアップサンプリング部と、
    前記第１レイヤのアップサンプリングされた参照ピクチャと、前記の少なくとも１つのオフセット情報と、を用いて、前記第２レイヤの現在ピクチャについて前記レイヤ間予測を実行するエンハンスドレイヤデコーディング部と、
    を含むことを特徴とするビデオ信号のデコーディング装置。
  6. 前記ビデオ信号が、放送信号として受信される、請求項１に記載のビデオ信号のデコーディング方法。
  7. 前記ビデオ信号が、デジタル媒体を通じて受信される、請求項１に記載のビデオ信号のデコーディング方法。
  8. 請求項１に記載された方法を実行させるためのプログラムを記録した、コンピュータ読取可能記憶媒体。
JP2009511957A 2006-11-17 2007-11-19 ビデオ信号のデコーディング／エンコーディング方法及び装置 Expired - Fee Related JP5063684B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US85953206P 2006-11-17 2006-11-17
KR20060132282 2006-12-22
US89705107P 2007-01-24 2007-01-24
US60/897,051 2007-01-24
PCT/KR2007/005812 WO2008060126A1 (en) 2006-11-17 2007-11-19 Method and apparatus for decoding/encoding a video signal

Publications (2)

Publication Number Publication Date
JP2009538085A JP2009538085A (ja) 2009-10-29
JP5063684B2 true JP5063684B2 (ja) 2012-10-31

Family

ID=39401884

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2009511956A Pending JP2009538084A (ja) 2006-11-17 2007-11-19 ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2009511958A Pending JP2009538086A (ja) 2006-11-17 2007-11-19 ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2009511957A Expired - Fee Related JP5063684B2 (ja) 2006-11-17 2007-11-19 ビデオ信号のデコーディング／エンコーディング方法及び装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2009511956A Pending JP2009538084A (ja) 2006-11-17 2007-11-19 ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2009511958A Pending JP2009538086A (ja) 2006-11-17 2007-11-19 ビデオ信号のデコーディング／エンコーディング方法及び装置

Country Status (5)

Country Link
US (4) US8229274B2 (ja)
EP (3) EP1985121A4 (ja)
JP (3) JP2009538084A (ja)
KR (4) KR100896290B1 (ja)
WO (3) WO2008060125A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961353B2 (en) 2013-07-17 2018-05-01 Thomson Licensing Method and device for decoding a scalable stream representative of an image sequence and corresponding coding method and device

Families Citing this family (136)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US7587287B2 (en) * 2003-04-04 2009-09-08 Abbott Diabetes Care Inc. Method and system for transferring analyte test data
KR20060059782A (ko) * 2004-11-29 2006-06-02 엘지전자 주식회사 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법
US8289370B2 (en) 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
KR100904444B1 (ko) * 2006-09-07 2009-06-26 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
US8054885B2 (en) * 2006-11-09 2011-11-08 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
WO2008060125A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US8144997B1 (en) * 2006-12-21 2012-03-27 Marvell International Ltd. Method for enhanced image decoding
EP3518547B1 (en) * 2007-04-12 2021-10-06 InterDigital VC Holdings, Inc. Methods and apparatus for video usability information (vui) for scalable video coding (svc)
US20140072058A1 (en) * 2010-03-05 2014-03-13 Thomson Licensing Coding systems
US20090003431A1 (en) * 2007-06-28 2009-01-01 Lihua Zhu Method for encoding video data in a scalable manner
JP5026584B2 (ja) * 2007-04-18 2012-09-12 トムソン ライセンシング 符号化システム
TWI330987B (en) * 2007-05-18 2010-09-21 Via Tech Inc Method and apparatus for determining whether adjacent macroblocks are located in the same slice
US9848209B2 (en) 2008-04-02 2017-12-19 Microsoft Technology Licensing, Llc Adaptive error detection for MPEG-2 error concealment
US9788018B2 (en) * 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
US9924184B2 (en) * 2008-06-30 2018-03-20 Microsoft Technology Licensing, Llc Error detection, protection and recovery for video decoding
US9131241B2 (en) * 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
US8300705B2 (en) * 2008-12-08 2012-10-30 Electronics And Telecommunications Research Institute Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video
KR101593569B1 (ko) * 2009-02-02 2016-02-15 삼성전자주식회사 콘텐츠 오브젝트 구성 방법 및 시스템
MY154325A (en) * 2009-04-28 2015-05-29 Panasonic Corp Image decoding method, and image decoding apparatus
US9723319B1 (en) * 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US8340510B2 (en) 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US20110216829A1 (en) * 2010-03-02 2011-09-08 Qualcomm Incorporated Enabling delta compression and modification of motion estimation and metadata for rendering images to a remote display
US9049493B2 (en) * 2010-09-13 2015-06-02 Intel Corporation Techniques enabling video slice alignment for low-latecy video transmissions over mmWave communications
CN103098471B (zh) * 2010-09-14 2016-07-06 三星电子株式会社 用于多层画面编码/解码的设备和方法
US9060174B2 (en) 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
CN103416003B (zh) 2011-01-14 2015-05-27 维德约股份有限公司 改进的nal单元头部
CN103430458B (zh) 2011-03-10 2016-03-02 维德约股份有限公司 可伸缩视频编码的依存参数集
MX2013014951A (es) 2011-06-14 2014-07-09 Lg Electronics Inc Metodo para codificar y decodificar informacion de imagenes.
WO2013002709A1 (en) * 2011-06-30 2013-01-03 Telefonaktiebolaget L M Ericsson (Publ) Indicating bit stream subsets
CN103636137A (zh) * 2011-06-30 2014-03-12 维德约股份有限公司 可伸缩视频编码技术
KR20130034566A (ko) * 2011-09-28 2013-04-05 한국전자통신연구원 제한된 오프셋 보상 및 루프 필터를 기반으로 하는 영상 부호화 및 복호화 방법 및 그 장치
US9148663B2 (en) 2011-09-28 2015-09-29 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9204148B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9204171B1 (en) 2011-09-28 2015-12-01 Electronics And Telecommunications Research Institute Method for encoding and decoding images based on constrained offset compensation and loop filter, and apparatus therefor
US9185404B2 (en) * 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
US20130107962A1 (en) 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
US9892188B2 (en) * 2011-11-08 2018-02-13 Microsoft Technology Licensing, Llc Category-prefixed data batching of coded media data in multiple categories
EP2595382B1 (en) 2011-11-21 2019-01-09 BlackBerry Limited Methods and devices for encoding and decoding transform domain filters
US20140344470A1 (en) * 2011-11-23 2014-11-20 Electronics And Telecommunications Research Institute Method and apparatus for streaming service for providing scalability and view information
US20130195201A1 (en) * 2012-01-10 2013-08-01 Vidyo, Inc. Techniques for layered video encoding and decoding
US9451252B2 (en) 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
US9538200B2 (en) 2012-01-19 2017-01-03 Qualcomm Incorporated Signaling of deblocking filter parameters in video coding
US9476970B1 (en) * 2012-03-19 2016-10-25 Google Inc. Camera based localization
KR20130107861A (ko) * 2012-03-23 2013-10-02 한국전자통신연구원 인터 레이어 인트라 예측 방법 및 장치
KR20130116782A (ko) 2012-04-16 2013-10-24 한국전자통신연구원 계층적 비디오 부호화에서의 계층정보 표현방식
WO2013165215A1 (ko) * 2012-05-04 2013-11-07 엘지전자 주식회사 영상 정보 저장 방법 및 영상 정보 파싱 방법 그리고 이를 이용하는 장치
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
US20130318251A1 (en) * 2012-05-22 2013-11-28 Alimuddin Mohammad Adaptive multipath content streaming
BR112014000369B1 (pt) 2012-05-25 2023-04-25 Sun Patent Trust Método de decodificação de imagem em movimento, aparelho de decodificação de imagem em movimento, método de codificação de imagem em movimento e aparelho de codificação de imagem em movimento
AU2013273044B2 (en) 2012-06-04 2016-09-15 Sun Patent Trust Video image encoding method, video image encoding device, video image decoding method, and video image decoding device
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
WO2014002375A1 (ja) * 2012-06-26 2014-01-03 三菱電機株式会社 動画像符号化・復号装置及び方法
US20150208092A1 (en) * 2012-06-29 2015-07-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding scalable video, and method and apparatus for decoding scalable video
CA2878254C (en) 2012-07-03 2020-09-08 Samsung Electronics Co., Ltd. Method and apparatus for coding video having temporal scalability, and method and apparatus for decoding video having temporal scalability
JP2015167267A (ja) * 2012-07-03 2015-09-24 シャープ株式会社 画像復号装置、および画像符号化装置
US9769450B2 (en) 2012-07-04 2017-09-19 Intel Corporation Inter-view filter parameters re-use for three dimensional video coding
KR20210129266A (ko) * 2012-07-09 2021-10-27 브이아이디 스케일, 인크. 멀티 레이어 비디오 코딩용 코덱 아키텍처
US9973751B2 (en) * 2012-08-16 2018-05-15 Vid Scale, Inc. Slice base skip mode signaling for multiple layer video coding
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
UA111797C2 (uk) * 2012-09-27 2016-06-10 Долбі Лабораторіс Лайсензін Корпорейшн Обробка міжрівневого еталонного зображення для масштабованості стандартів кодування
US9432664B2 (en) 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
CN109510988B (zh) * 2012-09-28 2023-04-14 索尼公司 图像处理装置和方法
US10375405B2 (en) * 2012-10-05 2019-08-06 Qualcomm Incorporated Motion field upsampling for scalable coding based on high efficiency video coding
JP2015536119A (ja) * 2012-10-09 2015-12-17 インテレクチュアル ディスカバリー カンパニー リミテッド マルチレイヤ動画のレイヤ間予測方法およびレイヤ間予測装置
US10097825B2 (en) * 2012-11-21 2018-10-09 Qualcomm Incorporated Restricting inter-layer prediction based on a maximum number of motion-compensated layers in high efficiency video coding (HEVC) extensions
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
CN109905704B (zh) 2012-12-14 2022-12-16 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
US9247256B2 (en) 2012-12-19 2016-01-26 Intel Corporation Prediction method using skip check module
JPWO2014104242A1 (ja) * 2012-12-28 2017-01-19 シャープ株式会社 画像復号装置、および画像符号化装置
GB2509705B (en) * 2013-01-04 2016-07-13 Canon Kk Encoding and decoding methods and devices, and corresponding computer programs and computer readable media
KR101806216B1 (ko) 2013-01-04 2017-12-08 지이 비디오 컴프레션, 엘엘씨 효율적인 확장가능한 코딩 개념
CN104904211B (zh) * 2013-01-04 2018-06-12 索尼公司 Jctvc-l0227：带有profile-tier-level语法结构的更新的vps_extension
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
CN104885454B (zh) * 2013-01-04 2017-09-15 维迪奥股份有限公司 用于视频解码的方法、装置以及***
US9270991B2 (en) * 2013-01-07 2016-02-23 Qualcomm Incorporated Inter-layer reference picture generation for HLS-only scalable video coding
WO2014106641A1 (en) * 2013-01-07 2014-07-10 Thomson Licensing Video coding and decoding methods and corresponding devices including flag for enhancement layer
KR20140095442A (ko) * 2013-01-23 2014-08-01 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9584808B2 (en) * 2013-02-22 2017-02-28 Qualcomm Incorporated Device and method for scalable coding of video information
EP2961167A4 (en) * 2013-02-25 2016-08-10 Samsung Electronics Co Ltd DEVICE AND METHOD FOR EVOLVING VIDEO ENCODING USING MEMORY BANDWIDTH AND QUANTITY OF CALCULATION, AND DEVICE AND METHOD FOR EVOLVING VIDEO DECODING
US10284842B2 (en) 2013-03-05 2019-05-07 Qualcomm Incorporated Inter-layer reference picture construction for spatial scalability with different aspect ratios
US9294776B2 (en) * 2013-03-05 2016-03-22 Qualcomm Incorporated Parallel processing for video coding
US20140254659A1 (en) 2013-03-11 2014-09-11 Mediatek Inc. Video coding method using at least evaluated visual quality and related video coding apparatus
WO2014148310A1 (ja) * 2013-03-21 2014-09-25 ソニー株式会社 画像符号化装置および方法、並びに、画像復号装置および方法
US9992493B2 (en) * 2013-04-01 2018-06-05 Qualcomm Incorporated Inter-layer reference picture restriction for high level syntax-only scalable video coding
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
US9473771B2 (en) 2013-04-08 2016-10-18 Qualcomm Incorporated Coding video data for an output layer set
EP2984839B1 (en) 2013-04-08 2020-05-27 GE Video Compression, LLC Coding concept allowing efficient multi-view/layer coding
US9503732B2 (en) 2013-04-10 2016-11-22 Arris Enterprises, Inc. Re-sampling with phase offset adjustment for luma and chroma to select filters in scalable video coding
CA2909445C (en) * 2013-04-15 2024-02-20 Luca Rossato Hybrid backward-compatible signal encoding and decoding
US9813723B2 (en) * 2013-05-03 2017-11-07 Qualcomm Incorporated Conditionally invoking a resampling process in SHVC
CN105393542B (zh) * 2013-06-18 2019-04-09 Vid拓展公司 Hevc扩展的层间参数集
US10412419B2 (en) * 2013-07-12 2019-09-10 Qualcomm Incorporated Adaptive filtering in video coding
WO2015005136A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像符号化装置および方法、並びに、画像復号装置および方法
US10085034B2 (en) * 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
CA2918456C (en) * 2013-07-16 2018-09-04 Arris Enterprises, Inc. Resampling filters for scalable video coding with phase offset adjustment and signaling of same
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
JP5999773B2 (ja) * 2013-09-03 2016-09-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR101530774B1 (ko) 2013-09-30 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015053287A1 (ja) * 2013-10-08 2015-04-16 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
EP3056004A2 (en) * 2013-10-11 2016-08-17 VID SCALE, Inc. High level syntax for hevc extensions
US20150103878A1 (en) * 2013-10-14 2015-04-16 Qualcomm Incorporated Device and method for scalable coding of video information
WO2015060616A1 (ko) 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR102248848B1 (ko) * 2013-10-26 2021-05-06 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
WO2015064989A1 (ko) * 2013-10-29 2015-05-07 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR101530782B1 (ko) 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
WO2015083987A1 (ko) * 2013-12-03 2015-06-11 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR101782454B1 (ko) 2013-12-06 2017-09-28 후아웨이 테크놀러지 컴퍼니 리미티드 이미지 복호화 장치, 이미지 부호화 장치, 및 부호화된 데이터 변환 장치
CN105850126B (zh) 2013-12-24 2019-03-26 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
AU2014373904B2 (en) 2014-01-03 2018-03-08 Commscope Uk Limited Conditionally parsed extension syntax for HEVC extension processing
CN112887738B (zh) * 2014-01-03 2024-04-02 康普英国有限公司 用于hevc扩展处理的条件解析扩展语法
US10469853B2 (en) 2014-01-09 2019-11-05 Samsung Electronics Co., Ltd. Scalable video encoding/decoding method and apparatus
US9813724B2 (en) 2014-03-18 2017-11-07 Arris Enterprises Llc Scalable video coding using reference and scaled reference layer offsets
CN106105213B (zh) 2014-03-24 2019-09-10 株式会社Kt 多层视频信号编码/解码方法和装置
TWI589152B (zh) * 2014-04-25 2017-06-21 夏普股份有限公司 圖像解碼裝置、圖像編碼裝置以及編碼資料轉換裝置
WO2015168581A1 (en) 2014-05-01 2015-11-05 Arris Enterprises, Inc. Reference layer and scaled reference layer offsets for scalable video coding
WO2015184470A1 (en) 2014-05-30 2015-12-03 Arris Enterprises, Inc. Reference layer offset parameters for inter-layer prediction in scalable video coding
US9747673B2 (en) 2014-11-05 2017-08-29 Dolby Laboratories Licensing Corporation Systems and methods for rectifying image artifacts
KR102553320B1 (ko) * 2015-03-05 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
KR102553316B1 (ko) 2015-03-06 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
KR102553322B1 (ko) * 2015-04-20 2023-07-10 한국전자통신연구원 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법
US20160337662A1 (en) * 2015-05-11 2016-11-17 Qualcomm Incorporated Storage and signaling resolutions of motion vectors
US10200713B2 (en) 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
CA3104173C (en) * 2015-09-04 2023-06-27 Sharp Kabushiki Kaisha Method for signaling caption asset information and device for signaling caption asset information
WO2017204469A1 (ko) * 2016-05-23 2017-11-30 엘지전자 주식회사 비직교 다중 접속 기법이 적용되는 무선통신시스템에서 경쟁 기반으로 상향링크 데이터를 전송하는 방법 및 장치
TWI621354B (zh) * 2016-12-12 2018-04-11 Chunghwa Telecom Co Ltd Multi-network video uninterrupted set-top box system and method
CN110213650B (zh) * 2019-05-17 2022-02-15 芯原微电子（成都）有限公司 一种软件快速搜索视频码流中同步字的方法及装置
US11356707B2 (en) * 2019-09-23 2022-06-07 Qualcomm Incorporated Signaling filters for video processing
CA3156987A1 (en) * 2019-10-07 2021-02-04 Huawei Technologies Co., Ltd. Avoidance of redundant signaling in multi-layer video bitstreams
US11863789B2 (en) 2020-03-31 2024-01-02 Tencent America LLC Method for signaling rectangular slice partitioning in coded video stream
US11412256B2 (en) * 2020-04-08 2022-08-09 Tencent America LLC Method and apparatus for video coding

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US776933A (en) * 1903-12-12 1904-12-06 Uriah Clinton Pipes Musical instrument.
US5122875A (en) 1991-02-27 1992-06-16 General Electric Company An HDTV compression system
JPH0779436A (ja) 1993-09-07 1995-03-20 Toshiba Corp 動きベクトル検出装置
DE644698T1 (de) 1993-09-14 1995-08-03 Gold Star Co B-Bild Verarbeitungsvorrichtung mit halbpixel Bewegungskompensation für einen Bildkodierer.
JPH09102954A (ja) 1995-10-04 1997-04-15 Matsushita Electric Ind Co Ltd １つまたは２つの予測ブロックからブロックの画素値を計算する方法
US6043846A (en) * 1996-11-15 2000-03-28 Matsushita Electric Industrial Co., Ltd. Prediction apparatus and method for improving coding efficiency in scalable video coding
JPH10276437A (ja) 1997-03-31 1998-10-13 Matsushita Electric Ind Co Ltd 階層的動画像信号符号化／復号化方法及び装置
RU2201654C2 (ru) 1997-12-23 2003-03-27 Томсон Лайсенсинг С.А. Способ низкошумового кодирования и декодирования
KR20010105361A (ko) * 1999-12-28 2001-11-28 요트.게.아. 롤페즈 Ｓｎｒ 스케일가능 비디오 엔코딩 방법 및 대응 디코딩 방법
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6944222B2 (en) * 2002-03-04 2005-09-13 Koninklijke Philips Electronics N.V. Efficiency FGST framework employing higher quality reference frames
US6907079B2 (en) 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
JP2004289745A (ja) 2003-03-25 2004-10-14 Toshiba Corp 動画像復号化方法および装置
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
KR20060105408A (ko) * 2005-04-01 2006-10-11 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
IL162740A (en) * 2003-06-26 2010-06-16 Given Imaging Ltd Device, method and system for reduced transmission imaging
JP2007503775A (ja) * 2003-08-26 2007-02-22 トムソン ライセンシング ハイブリッド・イントラ・インター符号化ブロックを符号化する方法及び装置
WO2005027495A2 (en) 2003-09-07 2005-03-24 Microsoft Corporation Slice layer in video codec
US7415069B2 (en) * 2003-12-09 2008-08-19 Lsi Corporation Method for activation and deactivation of infrequently changing sequence and picture parameter sets
KR100619822B1 (ko) 2003-12-24 2006-09-13 엘지전자 주식회사 영상처리 장치 및 방법
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7664176B2 (en) * 2004-07-09 2010-02-16 Nokia Corporation Method and system for entropy decoding for scalable video bit stream
US8340177B2 (en) * 2004-07-12 2012-12-25 Microsoft Corporation Embedded base layer codec for 3D sub-band coding
KR100679011B1 (ko) 2004-07-15 2007-02-05 삼성전자주식회사 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
US20060078049A1 (en) 2004-10-13 2006-04-13 Nokia Corporation Method and system for entropy coding/decoding of a video bit stream for fine granularity scalability
US8467459B2 (en) 2004-10-13 2013-06-18 Thomson Licensing Method and apparatus for complexity scalable video encoding and decoding
KR100886191B1 (ko) * 2004-12-06 2009-02-27 엘지전자 주식회사 영상 블록을 디코딩 하는 방법
KR100679035B1 (ko) 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20060153295A1 (en) 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
KR100703744B1 (ko) * 2005-01-19 2007-04-05 삼성전자주식회사 디블록을 제어하는 ｆｇｓ 기반의 비디오 인코딩 및디코딩 방법 및 장치
KR100913088B1 (ko) 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703749B1 (ko) * 2005-01-27 2007-04-05 삼성전자주식회사 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치
CN100345450C (zh) 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP5213456B2 (ja) * 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
WO2006087314A1 (en) 2005-02-18 2006-08-24 Thomson Licensing Method for deriving coding information for high resolution images from low resoluton images and coding and decoding devices implementing said method
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
EP1862010A4 (en) * 2005-03-25 2011-08-17 Korea Electronics Telecomm HIERARCHICAL VIDEO ENCODING / DECODING METHOD FOR COMPLETE SCALE VARIABILITY AND APPARATUS THEREOF
KR20080006607A (ko) * 2005-04-12 2008-01-16 노키아 코포레이션 편차 제어를 통한 움직임 보상된 미세 입도 규모 가변성비디오 부호화를 위한 방법 및 시스템
US20060256863A1 (en) * 2005-04-13 2006-11-16 Nokia Corporation Method, device and system for enhanced and effective fine granularity scalability (FGS) coding and decoding of video data
WO2006108863A2 (en) 2005-04-13 2006-10-19 Thomson Licensing Process for scalable coding of images
KR100746007B1 (ko) * 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
KR100770704B1 (ko) * 2005-08-04 2007-10-29 삼성전자주식회사 픽쳐 스킵 방법 및 장치
US7797540B2 (en) * 2005-10-03 2010-09-14 Bea Systems, Inc. Predictive support system for software
MY152568A (en) * 2005-10-12 2014-10-31 Thomson Licensing Region of interest h.264 scalable video coding
EP1977612A2 (en) * 2006-01-09 2008-10-08 Nokia Corporation Error resilient mode decision in scalable video coding
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8170116B2 (en) * 2006-03-27 2012-05-01 Nokia Corporation Reference picture marking in scalable video encoding and decoding
US20070230564A1 (en) 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US20090225826A1 (en) * 2006-03-29 2009-09-10 Purvin Bibhas Pandit Multi-View Video Coding Method and Device
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
US7535383B2 (en) * 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US8253752B2 (en) * 2006-07-20 2012-08-28 Qualcomm Incorporated Method and apparatus for encoder assisted pre-processing
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US7643560B2 (en) * 2006-10-23 2010-01-05 Vidyo, Inc. System and method for scalable video coding using telescopic mode flags
CN105357528B (zh) * 2006-11-08 2018-10-09 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US8054885B2 (en) * 2006-11-09 2011-11-08 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
WO2008060125A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9961353B2 (en) 2013-07-17 2018-05-01 Thomson Licensing Method and device for decoding a scalable stream representative of an image sequence and corresponding coding method and device

Also Published As

Publication number Publication date
KR20080093426A (ko) 2008-10-21
KR100896291B1 (ko) 2009-05-07
KR20090039795A (ko) 2009-04-22
KR100896290B1 (ko) 2009-05-07
US8229274B2 (en) 2012-07-24
WO2008060127A1 (en) 2008-05-22
KR100896289B1 (ko) 2009-05-07
US7742532B2 (en) 2010-06-22
US7742524B2 (en) 2010-06-22
KR101349836B1 (ko) 2014-01-10
US8184698B2 (en) 2012-05-22
JP2009538084A (ja) 2009-10-29
WO2008060126A1 (en) 2008-05-22
US20090060040A1 (en) 2009-03-05
JP2009538086A (ja) 2009-10-29
KR20080093425A (ko) 2008-10-21
EP2082580A1 (en) 2009-07-29
EP1980107A1 (en) 2008-10-15
JP2009538085A (ja) 2009-10-29
EP1985121A1 (en) 2008-10-29
US20090010332A1 (en) 2009-01-08
EP1980107A4 (en) 2010-01-13
US20100158116A1 (en) 2010-06-24
US20090010331A1 (en) 2009-01-08
EP1985121A4 (en) 2010-01-13
KR20080099245A (ko) 2008-11-12
EP2082580A4 (en) 2010-01-13
WO2008060125A1 (en) 2008-05-22

Similar Documents

Publication Publication Date Title
JP5063684B2 (ja) ビデオ信号のデコーディング／エンコーディング方法及び装置
KR100900294B1 (ko) 비디오 신호의 디코딩/인코딩 방법 및 장치
TWI392368B (zh) 視訊訊號之解碼方法、解碼裝置及其電腦可讀取媒介
AU2020352513B2 (en) Method for signaling output layer set with sub picture
EP3942803A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
JP2023129535A (ja) ビデオデータをコーディングするための方法、装置、およびコンピュータプログラム
AU2023204022A1 (en) Method for Parameter Set Reference Constraints in Coded Video Stream
CA3137350A1 (en) Method for indication of sublayer numbers in multilayered video stream
RU2787213C1 (ru) Способ ограничения ссылки на набор параметров в кодированном потоке видео

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110830

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111130

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120807

R150 Certificate of patent or registration of utility model

Ref document number: 5063684

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees