JP5688773B2 - Method and apparatus for motion compensation using smooth reference frames in bit depth scalability - Google Patents
Method and apparatus for motion compensation using smooth reference frames in bit depth scalability Download PDFInfo
- Publication number
- JP5688773B2 JP5688773B2 JP2011547887A JP2011547887A JP5688773B2 JP 5688773 B2 JP5688773 B2 JP 5688773B2 JP 2011547887 A JP2011547887 A JP 2011547887A JP 2011547887 A JP2011547887 A JP 2011547887A JP 5688773 B2 JP5688773 B2 JP 5688773B2
- Authority
- JP
- Japan
- Prior art keywords
- base layer
- prediction
- inter
- tone mapping
- residual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2009年2月3日出願の米国仮出願第61/149495号の利益を主張するものであり、これを参照することによりその開示内容全体が本明細書中に組み込まれる。 This application claims the benefit of US Provisional Application No. 61 / 149,495, filed Feb. 3, 2009, the entire disclosure of which is incorporated herein by reference.
本発明の原理は、一般にビデオの符号化および復号に関し、さらに詳細には、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置に関する。 The principles of the present invention generally relate to video encoding and decoding, and more particularly to a method and apparatus for motion compensation using smooth reference frames in bit depth scalability.
近年、例えば医療用画像処理、プロダクションおよびポストプロダクションにおけるディジタル映画ワークフロー、ホーム・シアター関連分野など、多くの応用分野において、8より大きいビット深度を有するディジタル画像/ビデオがますます望ましくなっている。将来の何れかの時点で従来の8ビット深度と高ビット深度のディジタル撮像システムとが共存するようになることを考えると、ビット深度のスケーラビリティが有用である可能性がある。8ビット・ビデオと10ビット・ビデオとの共存に対処する方法はいくつかある。第1の従来の解決策では、10ビット符号化ビット・ストリームのみを伝送し、10ビット・プレゼンテーションにトーン・マッピング方法を適用することにより、標準的な8ビット表示装置用の8ビット表現を得る。第2の従来技術の解決策では、8ビット符号化プレゼンテーションと10ビット符号化プレゼンテーションとを含む同時放送ビット・ストリームを伝送する。どちらのビット深度を選んで復号するかは、デコーダの選好による。例えば、10ビット対応デコーダは10ビット・ビデオを復号して出力することができるが、8ビットにしか対応していない通常のデコーダは、8ビット・ビデオしか出力することができない。第1の従来技術の解決策は、本質的に、国際標準化機構国際電気標準会議(ISO/IEC)MPEG−4(Moving Picture Experts Group−4) Part10 AVC(Advanced Video Coding)標準、国際電気通信連合電気通信標準化セクター(ITU−T)H.264勧告(以下「MPEG−4 AVC標準」)の8ビット・プロファイルに準拠していない。第2の従来技術の解決策は、現行の全ての標準に準拠しているが、必要なオーバヘッドが多くなる。しかしながら、ビット削減と後方標準互換性との間の良好な兼ね合いが、スケーラブルな解決策となる可能性がある。MPEG−4 AVC標準のスケーラブルな拡張とも呼ばれるスケーラブル・ビデオ符号化(SVC)は、ビット深度スケーラビリティのサポートを考慮している。ビット深度スケーラブル符号化には、後処理(post−processing)や同時放送(simulcast)に優る利点が少なくとも3つある。1つの利点は、ビット深度スケーラブル符号化では、MPEG−4 AVC標準のハイ・プロファイルとの後方互換性を維持した状態で、10ビット・ビデオが可能であることである。第2の利点は、ビット深度スケーラブル符号化では、様々なネットワーク帯域幅または装置の機能への適応が可能であることである。第3の利点は、ビット深度スケーラブル符号化は、複雑でなく、効率が高く、柔軟性が高いことである。 In recent years, digital images / videos with bit depths greater than 8 have become increasingly desirable in many applications such as medical image processing, digital movie workflow in production and post-production, home theater related fields and the like. Considering the fact that conventional 8-bit depth and high-bit depth digital imaging systems will coexist at some point in the future, bit depth scalability may be useful. There are several ways to deal with coexistence of 8-bit video and 10-bit video. In the first conventional solution, only the 10-bit coded bit stream is transmitted and the tone mapping method is applied to the 10-bit presentation to obtain an 8-bit representation for a standard 8-bit display device. . A second prior art solution transmits a simultaneous broadcast bit stream that includes an 8-bit encoded presentation and a 10-bit encoded presentation. Which bit depth is selected for decoding depends on the preference of the decoder. For example, a 10-bit decoder can decode and output 10-bit video, while a normal decoder that supports only 8 bits can output only 8-bit video. The first prior art solution is essentially the International Organization for Standardization International Electrotechnical Commission (ISO / IEC) MPEG-4 (Moving Picture Experts Group-4) Part 10 AVC (Advanced Video Coding) standard, International Telecommunication Union Telecommunications Standardization Sector (ITU-T) It does not conform to the 8-bit profile of the H.264 recommendation (hereinafter referred to as “MPEG-4 AVC standard”). The second prior art solution is compliant with all current standards, but requires more overhead. However, a good tradeoff between bit reduction and backwards standard compatibility can be a scalable solution. Scalable video coding (SVC), also referred to as scalable extension of the MPEG-4 AVC standard, considers support for bit depth scalability. Bit depth scalable coding has at least three advantages over post-processing and simulcast. One advantage is that bit depth scalable coding allows 10-bit video while maintaining backward compatibility with the high profile of the MPEG-4 AVC standard. A second advantage is that bit depth scalable coding allows adaptation to various network bandwidths or device functions. A third advantage is that bit depth scalable coding is not complex, efficient and flexible.
MPEG−4 AVC SVC拡張
MPEG−4 AVC標準のSVC拡張の現在のバージョンでは、単一ループ復号をサポートして、復号の複雑さを軽減している。動き補償予測およびデブロッキングも含めたインター符号化マクロブロックの完全な復号は、現在の空間的または粗粒子スケーラビリティ(CGS;coarse−grain scalability)レイヤに必要なだけである。これは、インターレイヤ・イントラ・テクスチャ予測を、低レイヤ・ピクチャのイントラ・マクロブロックで符号化された部分に制限することによって行われる。ビット深度スケーラビリティのためにインターレイヤ・イントラ・テクスチャ予測を拡張するためには、逆トーン・マッピングが使用される。SVCも、インターレイヤ残差予測をサポートしている。トーン・マッピングは、通常はピクセル領域で使用されるので、残差領域における対応する逆トーン・マッピングを見つけるのは極めて困難である。第3および第4の従来技術の手法では、インターレイヤ残差予測のためにビット・シフトを使用している。
MPEG-4 AVC SVC Extension The current version of the SVC extension of the MPEG-4 AVC standard supports single loop decoding to reduce decoding complexity. Complete decoding of inter-coded macroblocks including motion compensated prediction and deblocking is only necessary for the current spatial or coarse-grain scalability (CGS) layer. This is done by limiting inter-layer intra texture prediction to the portion encoded with the intra-macroblock of the low-layer picture. In order to extend inter-layer intra texture prediction for bit depth scalability, inverse tone mapping is used. SVC also supports inter-layer residual prediction. Since tone mapping is typically used in the pixel domain, finding the corresponding inverse tone mapping in the residual domain is extremely difficult. The third and fourth prior art approaches use bit shifts for inter-layer residual prediction.
MPEG−4 AVC標準のスケーラブル・ビデオ符号化(SVC)拡張のジョイント・ドラフト8(JD8)では、以下では第3の従来技術の手法とも呼ぶ、平滑参照予測(SRP;smooth reference prediction)と呼ばれる技術を提案している。シンタックス要素residual_prediction_flagおよびbase_mode_flagの両方が設定されたときに、1ビット・シンタックス要素smoothed_reference_flagが送信される。smoothed_reference_flag=1であるときには、デコーダにおいて以下のステップを行い、再構築されたビデオ・ブロックを取得する。
1.エンハンスメント・レイヤ・リファレンスフレームおよびベース・レイヤからのアップサンプリング動きベクトルを用いて、予測ブロックPを取得する。
2.対応するベース・レイヤ残差ブロックrbをアップサンプリングし、U(rb)をPに付加してP+U(rb)を形成する。
3.タップ[1,2,1]の平滑化フィルタを、最初に水平方向に、次いで垂直方向に適用して、S(P+U(rb))を取得する。
4.直前のステップ(3)の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックR=S(P+U(rb))+reを取得する。
In the joint draft 8 (JD8) of the scalable video coding (SVC) extension of the MPEG-4 AVC standard, a technique called smooth reference prediction (SRP), which is also referred to as a third prior art technique in the following. Has proposed. When both the syntax elements residual_prediction_flag and base_mode_flag are set, the 1-bit syntax element smoothed_reference_flag is transmitted. When smoothed_reference_flag = 1, the decoder performs the following steps to obtain a reconstructed video block.
1. A prediction block P is obtained using the upsampling motion vectors from the enhancement layer reference frame and the base layer.
2. Corresponding base layer residual block r b to the up-sampling, by adding U a (r b) to P to form a P + U (r b).
3. The smoothing filter of tap [1, 2, 1] is applied first in the horizontal direction and then in the vertical direction to obtain S (P + U (r b )).
4). An enhancement layer residual block is added to the result of the immediately preceding step (3) to obtain a reconstructed block R = S (P + U (r b )) + r e .
さらに、第4の従来技術の手法は、BDS(ビット深度スケーラビリティ)のためのインターレイヤ残差予測の技術を提案するものである。この第4の従来技術の手法では、インターレイヤ残差予測のために逆トーン・マッピングの問題を残差領域からピクセル領域に変換する。インターレイヤ残差予測を用いる場合には、トーン・マッピング補償済み予測とベース・レイヤからのアップサンプリング残差の合計に逆トーン・マッピングを適用する。インターレイヤ残差予測を用いるときには、デコーダにおいて以下のステップを行い、再構築されたビデオ・ブロックを取得する。
1.エンハンスメント・レイヤ・リファレンスフレームを用いて予測ブロックPを取得し、次いでPをベース・レイヤ・ビット深度にトーン・マッピングしてT(P)を取得する。
2.対応するベース・レイヤ残差ブロックrbを空間的にアップサンプリングし、U(rb)をPに付加してT(P)+U(rb)を形成する。
3.フィルタを使用して、S(T(P)+U(rb))を取得する。
4.次いで、逆トーン・マッピングを適用して、T−1(S(T(P)+U(rb)))を取得する。
5.直前のステップ(4)の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックR=T−1(S(T(P)+U(rb)))+reを取得する。
Furthermore, the fourth prior art technique proposes an inter-layer residual prediction technique for BDS (Bit Depth Scalability). In this fourth prior art approach, the inverse tone mapping problem is transformed from the residual region to the pixel region for inter-layer residual prediction. When using inter layer residual prediction, inverse tone mapping is applied to the sum of the tone mapping compensated prediction and the upsampling residual from the base layer. When using inter-layer residual prediction, the following steps are performed at the decoder to obtain a reconstructed video block.
1. Obtain the prediction block P using the enhancement layer reference frame, then tone map P to the base layer bit depth to obtain T (P).
2. The corresponding base layer residual block r b spatially upsampled adds U to (r b) to P to form a T (P) + U (r b).
3. Use the filter to obtain S (T (P) + U (r b )).
4). Inverse tone mapping is then applied to obtain T −1 (S (T (P) + U (r b ))).
5. An enhancement layer residual block is added to the result of the immediately preceding step (4) to obtain a reconstructed block R = T −1 (S (T (P) + U (r b ))) + r e .
しかしながら、上述の従来技術の解決策は全て不十分である。例えば、第3の従来技術の手法では、トーン・マッピング演算および逆トーン・マッピング演算が欠けているために、エンハンスメント・レイヤとベース・レイヤとにおいて異なるビット深度を扱うことができない。さらに、第4の従来技術の手法に関しては、エンハンスメント・レイヤ予測の正確さにおいて改善の余地がある。 However, all of the above prior art solutions are inadequate. For example, the third prior art approach cannot handle different bit depths in the enhancement layer and the base layer due to lack of tone mapping and inverse tone mapping operations. Furthermore, with regard to the fourth prior art technique, there is room for improvement in the accuracy of enhancement layer prediction.
本発明の原理は、従来技術の上記その他の欠点および不都合に対処するものであり、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置を対象とするものである。 The principles of the present invention address the above and other shortcomings and disadvantages of the prior art and are directed to a method and apparatus for motion compensation using smooth reference frames in bit depth scalability.
本発明の原理の一態様によれば、装置が提供される。この装置は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するエンコーダを有する。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。 In accordance with one aspect of the principles of the present invention, an apparatus is provided. The apparatus encodes picture data of a portion of a picture by generating an inter-layer residual prediction of at least a portion of the picture using an inverse tone mapping operation performed in the pixel domain for bit depth scalability Having an encoder. The inverse tone mapping operation is shifted from the residual region to the pixel region.
本発明の原理の他の一態様によれば、方法が提供される。この方法は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するステップを含む。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。 In accordance with another aspect of the present principles, a method is provided. The method encodes picture data of a portion of the picture by generating an inter-layer residual prediction of at least a portion of the picture using an inverse tone mapping operation performed in the pixel domain for bit depth scalability. Including the steps of: The inverse tone mapping operation is shifted from the residual region to the pixel region.
本発明の原理のさらに他の一態様によれば、装置が提供される。この装置は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを復号するデコーダを有する。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。 In accordance with yet another aspect of the present principles, an apparatus is provided. The apparatus decodes picture data of a portion of the picture by generating an inter-layer residual prediction of at least a portion of the picture using an inverse tone mapping operation performed in the pixel domain for bit depth scalability. It has a decoder. The inverse tone mapping operation is shifted from the residual region to the pixel region.
本発明の原理のさらに他の一態様によれば、方法が提供される。この方法は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを復号するステップを含む。ここで逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。 According to yet another aspect of the present principles, a method is provided. The method decodes picture data of a portion of the picture by generating an inter-layer residual prediction of at least a portion of the picture using an inverse tone mapping operation performed in the pixel domain for bit depth scalability. Includes steps. Here, the inverse tone mapping operation is shifted from the residual region to the pixel region.
本発明の原理の上記その他の特徴、特性および利点は、以下の例示的な実施例の詳細な説明を添付の図面と関連付けて読むことにより明らかになるであろう。 These and other features, characteristics and advantages of the principles of the present invention will become apparent from the following detailed description of illustrative embodiments, when read in conjunction with the accompanying drawings.
本発明の原理は、以下の例示的な図面によってより理解することができる。 The principles of the present invention may be better understood with reference to the following illustrative drawings.
本発明の原理は、ビット深度スケーラビリティにおける平滑参照フレームを用いた動き補償のための方法および装置を対象とするものである。 The principles of the present invention are directed to a method and apparatus for motion compensation using smooth reference frames in bit depth scalability.
本明細書は、本発明の原理を例示するものである。従って、本明細書に明示的には記述または図示していなくても、本発明の趣旨および範囲に含まれる本発明の原理を実現する様々な構成を、当業者なら考案することができることを理解されたい。 This specification exemplifies the principles of the invention. Accordingly, it will be understood by those skilled in the art that various configurations that implement the principles of this invention within the spirit and scope of this invention can be devised without explicitly describing or illustrating herein. I want to be.
本明細書に記載する全ての例および条件に関する表現は、本発明の原理と、当技術分野をさらに進歩させるために発明者(等)が与える概念とを、読者が理解するのを助けるという教育的な目的を有するものであって、これらの具体的に列挙した例および条件に限定されるわけではないものと解釈されたい。 All examples and conditions expressed in this specification are intended to help the reader understand the principles of the invention and the concepts given by the inventors (etc.) to further advance the art. It should be construed that the invention has a specific purpose and is not limited to these specifically listed examples and conditions.
さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的な均等物および機能的な均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物だけでなく、将来開発されるであろう均等物も含まれる、すなわち、その構造に関わらず、同じ機能を実行する将来開発される任意の要素も含まれるものとする。 Moreover, all statements herein reciting principles, features and embodiments of the invention, as well as specific examples of the invention, are intended to include both structural and functional equivalents thereof. In addition, these equivalents include not only currently known equivalents, but also equivalents that will be developed in the future, ie, any future developed that performs the same function, regardless of its structure. Elements are also included.
従って、例えば、当業者なら、本明細書に示すブロック図が本発明の原理を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示してある場合もしていない場合もあるコンピュータまたはプロセッサによって実質的に実行される様々なプロセスを表すことも理解されたい。 Thus, for example, those skilled in the art will appreciate that the block diagrams presented herein represent conceptual diagrams of exemplary circuits that implement the principles of the invention. Similarly, any flowcharts, flowcharts, state transition diagrams, pseudocode, etc. may be substantially represented in computer-readable media and substantially executed by a computer or processor, which may or may not be explicitly stated. It should also be understood that it represents various processes.
図面に示す様々な要素の機能は、専用のハードウェアを使用することによって、またソフトウェアを実行することができるハードウェアを適当なソフトウェアと関連付けて使用することによって、実現することができる。プロセッサによってそれらの機能を実現するときには、単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実現することもできる。さらに、「プロセッサ」または「制御装置(コントローラ)」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ(DSP)ハードウェア、ソフトウェアを記憶するための読取り専用メモリ(ROM)、ランダム・アクセス・メモリ(RAM)および不揮発性記憶装置(ただしこれらに限定されない)を黙示的に含むことがある。 The functions of the various elements shown in the drawings can be realized by using dedicated hardware and by using hardware capable of executing software in association with appropriate software. When these functions are realized by a processor, they can be realized by a single dedicated processor, by a single shared processor, or by a plurality of individual processors that can share part of them. You can also. Furthermore, the explicit use of the terms “processor” or “controller” should not be construed as referring only to hardware capable of executing software, but as a digital signal processor (DSP). ) May implicitly include hardware, read-only memory (ROM) for storing software, random access memory (RAM), and non-volatile storage (but not limited to).
従来の、かつ/または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理との相互作用によっても、あるいは手作業でも実施することができ、インプリメンタ(implementer)が、前後関係から適宜判断して特定の技術を選択することができる。 Traditional and / or custom hardware may also be included. Similarly, any switches shown in the drawings are conceptual only. These functions can be performed by the operation of program logic, by dedicated logic, by interaction between program control and dedicated logic, or by manual operation. Judgment can be made to select a specific technology.
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、当該機能を実行する任意の方法を含むものとする。例えば、(a)当該機能を実行する回路素子の組合せや、(b)ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含むものとする。特許請求の範囲によって定義される本発明の原理は、記載した様々な手段が実施する機能を、特許請求の範囲が要求する仕方で組み合わせ、まとめることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。 In the claims of this specification, any element expressed as a means for performing a specific function shall include any method for performing that function. For example, (a) a combination of circuit elements that execute the function, or (b) any form of software including firmware, microcode, etc., combined with an appropriate circuit that executes the function and executes the function Including food. The principle of the invention, as defined by the claims, is to combine and group the functions performed by the various means described in the manner required by the claims. Accordingly, any means that can perform these functions are considered equivalents of the means shown herein.
本明細書において、本発明の原理の「一実施例」または「実施例」あるいはその変形例と述べている場合、それは、当該実施例に関連して述べられる特定の特性、構造、特徴などが、本発明の原理の少なくとも1つの実施例に含まれるという意味である。従って、本明細書の様々な箇所に見られる「一実施例において」または「実施例において」という表現、あるいはそうした表現の変形表現は、その全てが必ずしも同じ実施例のことを指しているわけではない。 In this specification, references to “one embodiment” or “an embodiment” or variations thereof to the principles of the invention may include certain characteristics, structures, features, etc. described in connection with the embodiment. , Which is meant to be included in at least one embodiment of the present principles. Accordingly, the expressions “in one embodiment” or “in an embodiment” or variations of such expressions appearing in various places in the specification are not necessarily all referring to the same embodiment. Absent.
例えば「A/B」、「Aおよび/またはB」ならびに「AおよびBの少なくとも1つ」の場合など、「/」、「および/または」ならびに「の少なくとも1つ」の何れかを使用している場合、それは、最初に挙げた選択肢(A)のみを選択すること、2番目に挙げた選択肢(B)のみを選択すること、または両方の選択肢(AおよびB)を選択することを含むものであることを理解されたい。さらに別の例として、「A、Bおよび/またはC」ならびに「A、BおよびCの少なくとも1つ」の場合には、この表現は、最初に挙げた選択肢(A)のみを選択すること、2番目に挙げた選択肢(B)のみを選択すること、3番目に挙げた選択肢(C)のみを選択すること、最初と2番目の選択肢(AおよびB)のみを選択すること、最初と3番目の選択肢(AおよびC)のみを選択すること、2番目と3番目の選択肢(BおよびC)のみを選択すること、または3つ全ての選択肢(AおよびBおよびC)を選択することを含むものである。当技術分野および関連技術分野の当業者には容易に分かるように、このことは、列挙されている項目の数に応じて拡張することができる。 For example, in the case of “A / B”, “A and / or B” and “at least one of A and B”, any of “/”, “and / or” and “at least one of” is used. If so, it involves selecting only the first listed option (A), selecting only the second listed option (B), or selecting both options (A and B). Please understand that As yet another example, in the case of “A, B and / or C” and “at least one of A, B and C”, the expression selects only the first listed option (A); Select only the second option (B), select only the third option (C), select only the first and second options (A and B), first and 3 Select only the first option (A and C), select only the second and third options (B and C), or select all three options (A and B and C). Is included. This can be extended depending on the number of items listed, as will be readily appreciated by those skilled in the art and related art.
本発明の原理および従来技術を説明するために、本明細書では低ビット深度および高ビット深度という用語を使用する。これらの用語は、2つの異なるレベルのビット深度定義を定義するためのものである。高ビット深度は、低ビット深度より高いビット深度であることを特徴とするので、相対的な用語である。説明および例示のために、低ビット深度は8ビット、高ビット深度は10ビットであるものと仮定する。低ビット深度および高ビット深度という、これらの用語の相対的な性質から容易に分かるように、ここで求められる要件は、低ビット深度が高ビット深度未満であるということであり、それ以外の点に関しては、この用語は任意である。従って、例えば、低ビット深度は、4ビットでも6ビットでも、さらには12ビットでも良い。想定する高ビット深度が低ビット深度より大きいことが唯一の要件であるからである。従って、12ビットのビット深度を低ビット深度として定義すると仮定した場合には、高ビット深度は、14ビットや16ビットなど、12より大きいその他の任意のビット深度であると考えることができる。ここで、本発明の原理の説明および例示において低ビット深度が8ビットに等しいと仮定する場合には、高ビット深度の要件は、8ビットを超えていれば何ビットでも良いということになる(ここでは説明のために10ビットを仮定するが、12ビットや14ビットのビット深度など、8より大きいその他の任意のビット深度を含むことができる)。低ビット深度と高ビット深度の比較を説明する別の方法は、ベース・レイヤ・ビット深度と、ベース・レイヤ・ビット深度より大きいエンハンスト・レイヤ・ビット深度である。従って、本発明の原理の1つまたは複数の実施例では10ビット・ピクチャを高ビット深度の例として使用するが、本発明の原理はこれに限定されるわけではなく、従って、本発明の原理で使用する高ビット深度は、12ビットや14ビットなど(ただしこれらに限定されない)を含む8より大きいその他の値(10以外の値)を取ることもできることを、理解されたい。 To describe the principles and prior art of the present invention, the terms low bit depth and high bit depth are used herein. These terms are for defining two different levels of bit depth definitions. High bit depth is a relative term because it is characterized by a bit depth that is higher than a low bit depth. For purposes of explanation and illustration, assume that the low bit depth is 8 bits and the high bit depth is 10 bits. As can be readily seen from the relative nature of these terms, low bit depth and high bit depth, the requirement here is that the low bit depth is less than the high bit depth, otherwise With respect to, this term is arbitrary. Thus, for example, the low bit depth may be 4 bits, 6 bits or even 12 bits. This is because the only requirement is that the assumed high bit depth is greater than the low bit depth. Thus, assuming that a bit depth of 12 bits is defined as a low bit depth, the high bit depth can be considered to be any other bit depth greater than 12, such as 14 bits or 16 bits. Here, in the explanation and illustration of the principle of the present invention, assuming that the low bit depth is equal to 8 bits, the requirement for the high bit depth may be any number of bits as long as it exceeds 8 bits ( Here, 10 bits are assumed for purposes of illustration, but any other bit depth greater than 8 can be included, such as 12 or 14 bit depth). Another way to describe the comparison of low and high bit depth is the base layer bit depth and an enhanced layer bit depth that is greater than the base layer bit depth. Thus, although one or more embodiments of the principles of the present invention use a 10-bit picture as an example of a high bit depth, the principles of the present invention are not so limited, and therefore the principles of the present invention It should be understood that the high bit depth used in can take other values greater than 8 (other than 10), including but not limited to 12 bits, 14 bits, and the like.
さらに、本明細書で使用する「ピクチャ」および「画像」という用語は入れ替えて使用しても良く、ビデオ・シーケンスに含まれる静止画像またはピクチャを指している。既知の通り、ピクチャは、フレームであってもフィールドであっても良い。 Further, as used herein, the terms “picture” and “image” may be used interchangeably and refer to still images or pictures included in a video sequence. As is known, a picture may be a frame or a field.
さらに、本明細書では、MPEG−4 AVC標準のスケーラブル・ビデオ符号化(SVC)拡張に関連して本発明の原理の1つまたは複数の実施例について述べるが、本発明の原理は、この拡張および/またはこの標準のみに限定されるわけではなく、従って、本発明の原理の趣旨を維持しながら、その他のビデオ符号化標準および勧告、ならびにそれらの拡張について利用することもできる。 Further, although this specification describes one or more embodiments of the principles of the present invention in connection with the scalable video coding (SVC) extension of the MPEG-4 AVC standard, the principles of the present invention are described in this extension. And / or is not limited to this standard alone, and thus can be utilized for other video coding standards and recommendations, and extensions thereof, while maintaining the spirit of the principles of the present invention.
図1を参照すると、ビット深度スケーラビリティのためにインターレイヤ残差予測を用いた例示的なビデオ・エンコーダの全体が、参照番号100で示されている。ビデオ・エンコーダ100は、変換器110の入力部と信号通信する出力部を有する結合器105を含む。変換器110の出力部は、量子化器115の入力部に信号通信するように接続されている。量子化器115の出力部は、エントロピ符号化器120の第1の入力部および逆量子化器/逆変換器125の入力部に信号通信するように接続されている。逆量子化器/逆変換器125の出力部は、結合器130の第1の非反転入力部に信号通信するように接続されている。結合器130の出力部は、ループ・フィルタ135の入力部に信号通信するように接続されている。ループ・フィルタ135の出力は、インターレイヤ動き推定またはインターレイヤ動き予測決定を行う装置140の入力部に信号通信するように接続されている。装置140の出力部は、エントロピ符号化器120の第2の入力部および動き補償器145の入力部に信号通信するように接続されている。動き補償器145の出力部は、結合器130の第2の非反転入力部および結合器105の反転入力部に信号通信するように接続されている。装置140および動き補償器145は、装置133に含まれる。リファレンス・プロバイダ(reference provider)222は、平滑リファレンス・プロバイダ150およびオリジナル・リファレンス・プロバイダ155を含む。オリジナル・リファレンス・プロバイダ155の出力部は、スイッチ160の第1の入力部に信号通信するように接続されている。平滑リファレンス・プロバイダ150の出力部は、スイッチ160の第2の入力部に信号通信するように接続されている。スイッチ160の出力部は装置133に信号通信するように接続されており、スイッチ160の出力は装置140および/または動き補償器145に供給されることが可能である。結合器105の非反転入力部は、高ビット深度信号を受信するための、ビデオ・エンコーダ100の入力部として利用することができる。エントロピ符号化器120の出力部は、高ビット深度ビット・ストリームを出力するための、ビデオ・エンコーダ100の出力部として利用することができる。
Referring to FIG. 1, an exemplary video encoder using inter-layer residual prediction for bit depth scalability is indicated generally by the
図2を参照すると、ビット深度スケーラビリティのためにインターレイヤ残差予測を使用する例示的なビデオ・デコーダの全体が、参照番号200で示されている。ビデオ・デコーダ200は、逆変換器および逆量子化器210の入力部と信号通信するように接続されている第1の出力部を有するエントロピ・デコーダ205を含んでいる。逆変換器および逆量子化器210の出力部は、結合器215の第1の非反転入力部に信号通信するように接続されている。結合器215の出力部は、ループ・フィルタ220の入力部に信号通信するように接続されている。ループ・フィルタ220の第1の出力部は、リファレンス・プロバイダ222の入力部に信号通信するように接続されている。リファレンス・プロバイダ222は、オリジナル・リファレンス・プロバイダ230および平滑リファレンス・プロバイダ225を含んでいる。オリジナル・リファレンス・プロバイダ230の出力部は、スイッチ235の第1の入力部に信号通信するように接続されている。平滑リファレンス・プロバイダ225の出力部は、スイッチ235の第2の入力部に信号通信するように接続されている。スイッチの出力部は、動き補償器240の第1の入力部に接続されている。動き補償器240の出力部は、結合器215の第2の非反転入力部に信号連絡で接続されている。エントロピ・デコーダ205の第2の出力部は、動き補償器240の第2の入力部に信号通信するように接続されている。エントロピ・デコーダ205の入力部は、高ビット深度ビット・ストリームを受信するための、ビデオ・デコーダ200の入力部として利用することができる。ループ・フィルタ220の第2の出力部は、高ビット深度ピクチャを出力するための、ビデオ・デコーダ200の出力部として利用することができる。
Referring to FIG. 2, an exemplary video decoder that uses inter-layer residual prediction for bit depth scalability is indicated generally by the
本発明の原理に従って、発明者等は、逆トーン・マッピングした平滑参照を動き補償の参照フレームとして使用することを提案する。一実施例では、発明者等は、逆トーン・マッピング問題を、インターレイヤ残差予測のために残差領域からピクセル領域に変換する。例示のために、本明細書では、ビット深度スケーラビリティのみを含み、単一ループ復号アーキテクチャを使用する1つまたは複数の実施例について説明する。しかし、本発明の原理はこれらに限定されるわけではなく、従って、本明細書に与える本発明の原理の教示があれば、当技術分野および関連技術分野の当業者なら、本発明の原理の趣旨を維持したまま、ビット深度スケーラビリティと空間的スケーラビリティなどのスケーラビリティの組合せ、および複数ループ復号アーキテクチャを含むように、本発明の原理を容易に拡張することができることを理解されたい。 In accordance with the principles of the present invention, the inventors propose to use an inverse tone mapped smooth reference as a reference frame for motion compensation. In one embodiment, the inventors convert the inverse tone mapping problem from a residual domain to a pixel domain for inter-layer residual prediction. For purposes of illustration, this document describes one or more embodiments that include only bit depth scalability and that use a single loop decoding architecture. However, the principles of the present invention are not limited thereto, and therefore, given the teachings of the principles of the present invention provided herein, one of ordinary skill in the art and related arts will be able to understand the principles of the present invention. It should be understood that the principles of the present invention can be easily extended to include a combination of scalability, such as bit depth scalability and spatial scalability, and a multi-loop decoding architecture, while maintaining the spirit.
発明者等は、代替の平滑参照を動き補償に使用する符号化モードを追加することも提案する。この代替の平滑参照は、エンハンスメント・レイヤの参照フレーム、ならびにベース・レイヤの動きデータおよび残差データを用いて構築される。 The inventors also propose to add a coding mode that uses an alternative smooth reference for motion compensation. This alternative smooth reference is constructed using the enhancement layer reference frame and the base layer motion and residual data.
図3を参照すると、オリジナル・リファレンスおよびベース・レイヤ残差情報を用いた平滑リファレンスの作成の一例の全体が、参照番号300で示されている。オリジナル・フレーム・バッファからのエンハンスメント・レイヤ予測pe305をトーン・マッピングして、pb=T(pe)310を取得する。トーン・マッピング・フレームpb310は、結合器315の第1の非反転入力部に入力される。ベース・レイヤ残差rb320は、結合器315の第2の非反転入力部に入力される。結合器315の出力は、平滑ベース・レイヤ・フレームpb+rb325を含む。平滑ベース・レイヤ・フレームpb+rb325を逆トーン・マッピングして、Pe,smooth=T−1(pb+rb)330を得る。
Referring to FIG. 3, an example of creating a smooth reference using original reference and base layer residual information is indicated generally by the
本発明の原理の一実施例によるビデオ符号化手順は、以下の通りである。
1.以下のサブステップを用いて、各ブロックごとに代替の参照フレームREFaltを作成する。
a.配列(collocated)ベース・レイヤ・ブロックがイントラ符号化されている場合には、逆トーン・マッピング復号ブロックをコピーする。そうでない場合には、以下のサブステップbまたはcの一方を実行する。
b.一実施例では、10ビット・エンハンスメント・レイヤ・リファレンスピクチャおよびベース・レイヤ・アップサンプリング動きデータを使用して動き補償を実行して、予測ブロックPを作成する。次いで、Pを8ビット・バージョン画像T(P)にトーン・マッピングする。
c.他の実施例では、エンハンスメント・レイヤからの8ビット・トーン・マッピング参照ピクチャおよびベース・レイヤからのアップサンプリング動きデータを使用して動き補償を実行して、予測ブロックT(P)を形成する。
d.対応するベース・レイヤ残差フレームrbを、U(rb)まで空間的にアップサンプリングする。次いで、U(rb)をT(P)に付加して、T(P)+U(rb)を形成する。
e.フィルタを使用して、S(T(P)+U(rb))を取得する。
f.次いで、逆トーン・マッピングを適用して、T−1(S(T(P)+U(rb)))を取得する。
2.次いで、REFaltを参照フレームとして使用して、動き推定を適用する。動きベクトルmvおよび残差reを符号化して伝送する。
A video encoding procedure according to one embodiment of the principles of the present invention is as follows.
1. An alternative reference frame REF alt is created for each block using the following sub-steps.
a. If the collocated base layer block is intra-coded, copy the inverse tone mapping decoded block. Otherwise, perform one of the following substeps b or c.
b. In one embodiment, motion compensation is performed using a 10-bit enhancement layer reference picture and base layer upsampled motion data to create a prediction block P. P is then tone mapped to an 8-bit version image T (P).
c. In another embodiment, motion compensation is performed using 8-bit tone mapping reference pictures from the enhancement layer and upsampled motion data from the base layer to form the prediction block T (P).
d. The corresponding base layer residual frame r b, spatially upsampled to U (r b). U (r b ) is then added to T (P) to form T (P) + U (r b ).
e. Use the filter to obtain S (T (P) + U (r b )).
f. Inverse tone mapping is then applied to obtain T −1 (S (T (P) + U (r b ))).
2. Motion estimation is then applied using REF alt as a reference frame. The motion vector mv and residual r e encoded and transmitted.
マクロブロック(MB)レベル・シンタックスにおけるフラグsmooth_ref_flagは、この符号化モードを使用していることを示すために使用される。 The flag smooth_ref_flag in the macroblock (MB) level syntax is used to indicate that this encoding mode is being used.
他の実施例では、この符号化モードをINTER符号化プロセスに埋め込み、代替のリファレンスを示すエントリが、エンハンスメント・レイヤのリファレンス・リストにもう1つ追加されるようにすることができる。この実施例では、この符号化モードを使用していることを示すフラグは必要ない。 In other embodiments, this encoding mode may be embedded in the INTER encoding process so that another entry indicating an alternative reference is added to the enhancement layer reference list. In this embodiment, a flag indicating that this encoding mode is used is not necessary.
図4を参照すると、ビデオ・エンコーダにおいてビット深度スケーラビリティのためのインターレイヤ残差予測を行う例示的な方法の全体が、参照番号400で示されている。この方法400は、機能ブロック415に制御をパスする開始ブロック405を含んでいる。機能ブロック415は、ベース・レイヤ動きベクトル(mv)を使用し、制御を機能ブロック420にパスする。機能ブロック420は、ベース・レイヤ動きベクトルをアップサンプリングし、制御を機能ブロック425にパスする。機能ブロック425は、現在のブロックに対応する動き補償済みブロックPを取得し、制御を機能ブロック430にパスする。機能ブロック430は、動き補償済みブロックに対してトーン・マッピングを実行して低ビット深度予測T(P)を取得して、制御を機能ブロック435にパスする。機能ブロック435は、ベース・レイヤ・テクスチャ残差rbを読み取り、制御を機能ブロック440にパスする。機能ブロック440は、ベース・レイヤ・テクスチャ残差rbを低ビット深度予測T(P)に結合して、平滑参照ピクチャ、すなわちP’=T(P)+rbを取得して、制御を決定ブロック445にパスする。決定ブロック445は、平滑参照を適用するか否かを判定する。適用する場合には、制御は機能ブロック450に移る。そうでない場合には、制御は機能ブロック455に移る。
Referring to FIG. 4, an exemplary method for performing inter-layer residual prediction for bit depth scalability in a video encoder is indicated generally by the
機能ブロック450は、平滑参照ピクチャP’に平滑フィルタを適用し、制御を機能ブロック455にパスする。
The
機能ブロック455は、P’に対して逆トーン・マッピングを実行して高ビット深度予測T−1(P’)を取得して、制御を機能ブロック460にパスする。機能ブロック460は、T’(P’)をリファレンス(参照)として使用して動き推定を実行して動きベクトル(mv)およびエンハンスメント残差reを取得して、制御を終了ブロック499にパスする。
The
図5を参照すると、平滑参照復号の一例の全体が、参照番号500で示されている。オリジナル・フレーム・バッファ505の出力部および平滑フレーム・バッファ510の出力部が、結合器515の第1の非反転入力部に信号通信するように接続されている。結合器515の出力部は、動き補償器520の第1の入力部に信号通信するように接続されている。動き補償器520の出力部は、結合器525の第1の非反転入力部に信号通信するように接続されている。結合器515の第2の非反転入力部は、smooth_ref_flagを受信するための、平滑参照復号500の入力部として利用することができる。動き補償器520の第2の入力部は、動きベクトルを受信するための、平滑参照復号500の入力部として利用することができる。結合器525の第2の非反転入力部は、エンハンスメント・レイヤ残差を受信するための、平滑参照復号500の入力部として利用することができる。結合器525の出力部は、再構築ブロックRを出力するための、平滑参照復号500の出力部として利用することができる。オリジナル・フレーム・バッファ505および平滑フレーム・バッファ510は、メモリ577に含まれる。オリジナル・フレーム・バッファ505および平滑フレーム・バッファ510の両方を単一のメモリ577に関して示しているが、これらのバッファ505および510は、別個のメモリに記憶することもできる。このような変形形態およびその他の変形形態は、本発明の原理の趣旨に含まれる。
Referring to FIG. 5, an example of smooth reference decoding is indicated generally by the
本発明の原理の一実施例によるビデオ復号手順は、以下の通りである。
1.以下のサブステップを用いて、各ブロックごとに代替の参照フレームREFaltを作成する。
a.配列ベース・レイヤ・ブロックがイントラ符号化されている場合には、逆トーン・マッピング復号ブロックをコピーする。そうでない場合には、以下のサブステップbまたはcの一方を実行する。
b.一実施例では、10ビット・エンハンスメント・レイヤ・リファレンスピクチャおよびベース・レイヤ・アップサンプリング動きデータを使用して動き補償を実行して、予測ブロックPを作成する。次いで、Pを8ビット・バージョン画像T(P)にトーン・マッピングする。
c.他の実施例では、エンハンスメント・レイヤからの8ビット・トーン・マッピング参照ピクチャおよびベース・レイヤからのアップサンプリング動きデータを使用して動き補償を実行して、予測ブロックT(P)を形成する。
d.対応するベース・レイヤ残差フレームrbを、U(rb)まで空間的にアップサンプリングする。次いで、U(rb)をT(P)に付加して、T(P)+U(rb)を形成する。
e.フィルタを使用して、S(T(P)+U(rb))を取得する。
f.次いで、逆トーン・マッピングを適用して、T−1(S(T(P)+U(rb)))を取得する。
2.次いで、動き補償を適用してMC(REFalt,mv)を取得する。ここで、mvは動きベクトルである。
3.直前のステップ(2)の結果にエンハンスメント・レイヤ残差ブロックを付加して、再構築ブロックR=MC(REFalt,mv)+reを取得する。
A video decoding procedure according to one embodiment of the principles of the present invention is as follows.
1. An alternative reference frame REF alt is created for each block using the following sub-steps.
a. If the sequence base layer block is intra-coded, copy the inverse tone mapping decoded block. Otherwise, perform one of the following substeps b or c.
b. In one embodiment, motion compensation is performed using a 10-bit enhancement layer reference picture and base layer upsampled motion data to create a prediction block P. P is then tone mapped to an 8-bit version image T (P).
c. In another embodiment, motion compensation is performed using 8-bit tone mapping reference pictures from the enhancement layer and upsampled motion data from the base layer to form the prediction block T (P).
d. The corresponding base layer residual frame r b, spatially upsampled to U (r b). U (r b ) is then added to T (P) to form T (P) + U (r b ).
e. Use the filter to obtain S (T (P) + U (r b )).
f. Inverse tone mapping is then applied to obtain T −1 (S (T (P) + U (r b ))).
2. Then, MC (REF alt , mv) is obtained by applying motion compensation. Here, mv is a motion vector.
3. By adding the enhancement layer residual blocks to the result of the previous step (2), reconstructed block R = MC (REF alt, mv ) acquires + r e.
図6を参照すると、ビデオ・デコーダにおいてビット深度スケーラビリティのためにインターレイヤ残差予測を行う例示的な方法の全体が、参照番号600で示されている。この方法600は、制御を機能ブロック615にパスする開始ブロック605を含んでいる。機能ブロック615は、ベース・レイヤ動きベクトル(mv)を読み取り、エントロピ復号して、制御を機能ブロック620にパスする。機能ブロック620は、ベース・レイヤ動きベクトル(mv)をアップサンプリングして、制御を機能ブロック625にパスする。機能ブロック625は、動き補償済みブロックPを取得して、制御を機能ブロック630にパスする。機能ブロック630は、Pに対してトーン・マッピングを実行して低ビット深度予測T(P)を取得して、制御を機能ブロック635にパスする。機能ブロック635は、ベース・レイヤ・テクスチャ残差rbを読み取り、エントロピ復号し、制御を機能ブロック640にパスする。機能ブロック640は、ベース・レイヤ・テクスチャ残差rbを低ビット深度予測T(P)に結合して平滑参照ピクチャすなわちP’=T(P)+rbを取得して、制御を決定ブロック645にパスする。決定ブロック645は、平滑参照フラグが真であるか否かを判定する。真である場合には、制御は機能ブロック650にパスされる。そうでない場合には、制御は機能ブロック655にパスされる。
Referring to FIG. 6, an exemplary method for performing inter-layer residual prediction for bit depth scalability in a video decoder is indicated generally by the
機能ブロック650は、平滑参照ピクチャP’に平滑フィルタを適用し、制御を機能ブロック655にパスする。
The
機能ブロック655は、P’に逆トーン・マッピングを実行して高ビット深度予測T−1(P’)を取得して、制御を機能ブロック660にパスする。機能ブロック660は、動きベクトル(mv)およびエンハンスメント・レイヤ残差reを読み取り、エントロピ復号し、制御を機能ブロック665にパスする。機能ブロック665は、動き補償を実行してブロックR’を取得して、機能ブロック670に移行する。機能ブロック670は、高ビット深度予測T−1(P’)をエンハンスメント・レイヤ残差reに結合することによって得られた現在のブロックの再構築ブロックR、すなわちR=T−1(P’)+reを生成し、制御を終了ブロック699にパスする。
The
一部については上記で述べたが、本発明に付属する多数の利点/特性の一部を次に説明する。例えば、1つの利点/特性は、ビット深度スケーラビリティのためにピクセル領域において実行される逆トーン・マッピング演算を用いてピクチャの少なくとも一部分のインターレイヤ残差予測を生成することによってピクチャの当該部分のピクチャ・データを符号化するエンコーダを有する装置である。逆トーン・マッピング演算は、残差領域からピクセル領域にシフトされる。 Although some have been described above, some of the many advantages / properties associated with the present invention will now be described. For example, one advantage / characteristic is that a picture of that portion of the picture by generating an inter-layer residual prediction of at least a portion of the picture using an inverse tone mapping operation performed in the pixel domain for bit depth scalability A device having an encoder that encodes data. The inverse tone mapping operation is shifted from the residual region to the pixel region.
他の利点/特性は、上述のエンコーダを有する装置であって、このエンコーダは、エンハンスメント・レイヤ・リファレンスを用いた動き補償を実行してエンハンスメント・レイヤ予測を生成し、エンハンスメント・レイヤ予測をベース・レイヤ・リファレンスにトーン・マッピングしてトーン・マッピング予測を生成し、上記部分のベース・レイヤ残差をトーン・マッピング予測に結合して平滑ベース・レイヤ・リファレンスを取得し、平滑ベース・レイヤ・リファレンスを逆トーン・マッピングして逆トーン・マッピング予測を生成することによって、上記インターレイヤ残差予測を生成する装置である。エンコーダは、逆トーン・マッピング予測を用いた動き推定および動き補償を実行して動きベクトルを取得し、動きベクトルならびに逆トーン・マッピング予測と入力ピクチャとの間の誤差を符号化して伝送する。 Another advantage / characteristic is an apparatus having the above-described encoder, which performs motion compensation using an enhancement layer reference to generate an enhancement layer prediction, and based on the enhancement layer prediction. Tone-mapping to layer reference to generate tone-mapping prediction, combining the base layer residual of the above part with tone-mapping prediction to obtain smooth base layer reference, smooth base layer reference Is a device that generates the inter-layer residual prediction by performing reverse tone mapping to generate a reverse tone mapping prediction. The encoder performs motion estimation and motion compensation using inverse tone mapping prediction to obtain a motion vector, and encodes and transmits the motion vector and an error between the inverse tone mapping prediction and the input picture.
さらに他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、この動き補償をエンハンスメント・レイヤ・リファレンスおよびベース・レイヤ・アップサンプリング動きデータを用いて実行してエンハンスメント・レイヤ予測を生成する装置である。このエンハンスメント・レイヤ・リファレンスはベース・レイヤ・リファレンスと同じビット深度を有する。 Yet another advantage / characteristic is an apparatus having an encoder that performs motion compensation at least as described above, wherein the motion compensation is performed using enhancement layer reference and base layer upsampled motion data. An apparatus for generating enhancement layer prediction. This enhancement layer reference has the same bit depth as the base layer reference.
さらに他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、この動き補償をエンハンスメント・レイヤ・リファレンスおよびベース・レイヤ・アップサンプリング動きデータを用いて実行してエンハンスメント・レイヤ予測を生成する装置である。このエンハンスメント・レイヤ・リファレンスはベース・レイヤ・リファレンスより大きいビット深度を有する。 Yet another advantage / characteristic is an apparatus having an encoder that performs motion compensation at least as described above, wherein the motion compensation is performed using enhancement layer reference and base layer upsampled motion data. An apparatus for generating enhancement layer prediction. This enhancement layer reference has a bit depth greater than the base layer reference.
さらに、他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、ベース・レイヤ残差を空間的にアップサンプリングして、空間的にアップサンプリングされたベース・レイヤ残差を取得し、空間的にアップサンプリングされたベース・レイヤ残差をトーン・マッピング予測に結合して平滑ベース・レイヤ・リファレンスを取得する装置である。 Yet another advantage / characteristic is an apparatus having an encoder that performs motion compensation at least as described above, wherein the base layer residual is spatially upsampled and the spatially upsampled base An apparatus that obtains a layer residual and combines a spatially upsampled base layer residual with tone mapping prediction to obtain a smooth base layer reference.
さらに、他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、マクロブロック・レベル・シンタックスのフラグを使用して、インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを使用していることを示す装置である。 In addition, another advantage / characteristic is an apparatus having an encoder that performs motion compensation at least as described above, and supports generation of inter-layer residual prediction using macroblock level syntax flags. The inter-layer residual prediction mode is used.
また、他の利点/特性は、少なくとも上述のように動き補償を実行するエンコーダを有する装置であって、平滑ベース・レイヤ・リファレンスを指すエントリがエンハンスメント・レイヤの既存のリファレンス・リストに追加されるように、インターレイヤ残差予測の生成に対応するインターレイヤ残差予測モードを既存のインター・モードに埋め込んだ状態で送信する装置である。 Another advantage / characteristic is an apparatus having an encoder that performs motion compensation at least as described above, and an entry pointing to a smooth base layer reference is added to the enhancement layer's existing reference list. As described above, the inter-layer residual prediction mode corresponding to the generation of the inter-layer residual prediction is transmitted in a state where it is embedded in the existing inter-mode.
本発明の原理の上記その他の特性および利点は、本明細書の教示に基づいて、当業者であれば容易に確かめることができる。これらの本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサ、またはそれらの様々な組合せの形態で実施することができる。 These and other features and advantages of the present principles can be readily ascertained by one of ordinary skill in the art based on the teachings herein. These teachings of the present principles may be implemented in the form of hardware, software, firmware, special purpose processors, or various combinations thereof.
本発明の原理の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備える機械にアップロードして実行することができる。この機械は、1つまたは複数の中央処理装置(CPU)、ランダム・アクセス・メモリ(RAM)、および入出力(I/O)インタフェースなどのハードウェアを有するコンピュータ・プラットフォームで実施されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードも備えることができる。本明細書に記載する様々なプロセスおよび機能は、CPUによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの組合せの何れかにすることができる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺装置をコンピュータ・プラットフォームに接続することもできる。 Most preferably, the teachings of the principles of the present invention are implemented as a combination of hardware and software. Further, the software can be implemented as an application program implemented in a program storage device. Application programs can be uploaded and executed on machines with any suitable architecture. The machine is preferably implemented on a computer platform having hardware such as one or more central processing units (CPUs), random access memory (RAM), and input / output (I / O) interfaces. . The computer platform can also include an operating system and microinstruction code. The various processes and functions described herein can be either part of the microinstruction code or part of the application program or combinations thereof that can be executed by the CPU. In addition, various other peripheral devices may be connected to the computer platform such as an additional data storage device and a printing device.
さらに、添付の図面に示す構成要素となるシステム構成要素および方法の一部は、ソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続は、本発明の原理をプログラミングする方法によって異なっていてもよいことも理解されたい。本明細書の教示があれば、当業者なら、本発明の原理の上記の実施態様または構成およびそれと同様の実施態様または構成を思いつくことができるであろう。 Further, since some of the system components and methods that are components shown in the accompanying drawings are preferably implemented in software, the actual connection between system components or between process functional blocks is an implementation of the principles of the present invention. It should also be understood that the method of programming may vary. Given the teachings herein, one of ordinary skill in the related art will be able to contemplate these and similar embodiments or configurations of the principles of the invention.
本明細書では、添付の図面を参照して例示的な実施例について述べたが、本発明の原理は、これらの具体的な実施例に限定されるわけではなく、当業者なら、本発明の原理の範囲または趣旨を逸脱することなく様々な変更および修正をそれらの実施例に加えることができることを理解されたい。そうした変更および修正は全て、添付の特許請求の範囲に記載する本発明の原理の範囲に含まれる。 Although exemplary embodiments have been described herein with reference to the accompanying drawings, the principles of the present invention are not limited to these specific embodiments, and those skilled in the art will recognize the present invention. It should be understood that various changes and modifications can be made to the examples without departing from the scope or spirit of the principles. All such changes and modifications are included within the scope of the present principles as set forth in the appended claims.
Claims (20)
前記逆トーン・マッピング演算が行われる領域が残差領域から前記ピクセル領域にシフトされる、前記装置。 The enhancement layer reference frame tone mapping coupled to the base layer residual to produce a smooth base layer reference frame, for the smoothing base layer reference frame to be performed in the pixel domain for bit depth scalability by using the inverse tone mapping operation, and at least by generating the inter-layer residual prediction inverse tone mapping of a portion, apparatus having an encoder for encoding the frame data of the portion of the frame,
The apparatus, wherein an area in which the inverse tone mapping operation is performed is shifted from a residual area to the pixel area.
前記逆トーン・マッピング演算が行われる領域が残差領域から前記ピクセル領域にシフトされる、前記方法。 The enhancement layer reference frame tone mapping coupled to the base layer residual to produce a smooth base layer reference frame, for the smoothing base layer reference frame to be performed in the pixel domain for bit depth scalability by using the inverse tone mapping operation by generating an inter-layer residual prediction inverse tone mapping for at least a portion of the frame, a method comprising the step of encoding the frame data of said portion,
The method, wherein a region where the inverse tone mapping operation is performed is shifted from a residual region to the pixel region.
トーン・マッピングしていないエンハンスメント・レイヤ参照フレームを用いた動き補償を実行してエンハンスメント・レイヤ予測を生成するステップと、
前記エンハンスメント・レイヤ予測をベース・レイヤ参照フレームにトーン・マッピングしてトーン・マッピング予測を生成するステップと、
前記部分に関する前記ベース・レイヤ残差を前記トーン・マッピング予測に結合して前記平滑ベース・レイヤ参照フレームを取得するステップと、
前記平滑ベース・レイヤ参照フレームを逆トーン・マッピングするステップとを含み、
前記符号化するステップが、
前記逆トーン・マッピングしたインターレイヤ残差予測を用いて動き推定および動き補償を実行して動きベクトルを取得するステップと、
前記動きベクトルならびに前記逆トーン・マッピングしたインターレイヤ残差予測と前記フレームとの間の誤差を符号化して伝送するステップとをさらに含む、請求項7に記載の方法。 Generation of the inverse tone mapped inter-layer residual prediction,
Performing motion compensation using enhancement layer reference frames that have not been tone mapped to generate enhancement layer predictions;
Tone mapping the enhancement layer prediction to a base layer reference frame to generate a tone mapping prediction;
A step of acquiring the smoothing base layer reference frame coupled to the base layer residual for said portion to said tone mapping prediction,
And a step wherein Ru smoothing base layer reference frames inverse tone mapping Goes,
Said encoding step comprises:
Performing motion estimation and compensation using the inverse tone mapped inter-layer residual prediction to obtain a motion vector;
8. The method of claim 7, further comprising encoding and transmitting an error between the motion vector and the inverse tone mapped inter-layer residual prediction and the frame .
As the entry point to the smoothing base layer reference frames are added to the existing reference list of the enhancement layer, inter-layer residual prediction mode corresponding to the generation of inter-layer residual prediction that the inverse tone mapping The device of claim 2, wherein the device is received embedded in an existing inter mode.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14949509P | 2009-02-03 | 2009-02-03 | |
US61/149,495 | 2009-02-03 | ||
PCT/US2009/006528 WO2010090630A1 (en) | 2009-02-03 | 2009-12-11 | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014214124A Division JP5918332B2 (en) | 2009-02-03 | 2014-10-21 | Method and apparatus for motion compensation using smooth reference frames in bit depth scalability |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012517140A JP2012517140A (en) | 2012-07-26 |
JP2012517140A5 JP2012517140A5 (en) | 2013-01-31 |
JP5688773B2 true JP5688773B2 (en) | 2015-03-25 |
Family
ID=42542313
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011547887A Expired - Fee Related JP5688773B2 (en) | 2009-02-03 | 2009-12-11 | Method and apparatus for motion compensation using smooth reference frames in bit depth scalability |
JP2014214124A Active JP5918332B2 (en) | 2009-02-03 | 2014-10-21 | Method and apparatus for motion compensation using smooth reference frames in bit depth scalability |
JP2016076400A Pending JP2016167828A (en) | 2009-02-03 | 2016-04-06 | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
JP2018167508A Ceased JP2018191354A (en) | 2009-02-03 | 2018-09-07 | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014214124A Active JP5918332B2 (en) | 2009-02-03 | 2014-10-21 | Method and apparatus for motion compensation using smooth reference frames in bit depth scalability |
JP2016076400A Pending JP2016167828A (en) | 2009-02-03 | 2016-04-06 | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
JP2018167508A Ceased JP2018191354A (en) | 2009-02-03 | 2018-09-07 | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
Country Status (7)
Country | Link |
---|---|
US (1) | US9681142B2 (en) |
EP (1) | EP2394432A4 (en) |
JP (4) | JP5688773B2 (en) |
KR (1) | KR101660558B1 (en) |
CN (1) | CN102308579B (en) |
BR (1) | BRPI0924292A2 (en) |
WO (1) | WO2010090630A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016167828A (en) * | 2009-02-03 | 2016-09-15 | トムソン ライセンシングThomson Licensing | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4762938B2 (en) * | 2007-03-06 | 2011-08-31 | 三菱電機株式会社 | Data embedding device, data extracting device, data embedding method, and data extracting method |
GB2500835B (en) * | 2010-12-10 | 2014-02-12 | Ibm | High-dynamic range video tone mapping |
WO2013003143A2 (en) * | 2011-06-30 | 2013-01-03 | Vidyo, Inc. | Motion prediction in scalable video coding |
US9392274B2 (en) | 2012-03-22 | 2016-07-12 | Qualcomm Incorporated | Inter layer texture prediction for video coding |
US9516309B2 (en) * | 2012-07-09 | 2016-12-06 | Qualcomm Incorporated | Adaptive difference domain spatial and temporal reference reconstruction and smoothing |
US9124899B2 (en) | 2012-09-28 | 2015-09-01 | Sharp Laboratories Of America, Inc. | Motion derivation and coding for scaling video |
TWI618397B (en) | 2012-12-21 | 2018-03-11 | 杜比實驗室特許公司 | High precision up-sampling in scalable coding of high bit-depth video |
KR20140121315A (en) | 2013-04-04 | 2014-10-15 | 한국전자통신연구원 | Method and apparatus for image encoding and decoding based on multi-layer using reference picture list |
EP3410715A1 (en) * | 2013-04-05 | 2018-12-05 | Vid Scale, Inc. | Inter-layer reference picture enhancement for multiple layer video coding |
US8958477B2 (en) * | 2013-04-05 | 2015-02-17 | Vidyo, Inc. | Multiple reference layer prediction signaling techniques |
US11076171B2 (en) | 2013-10-25 | 2021-07-27 | Microsoft Technology Licensing, Llc | Representing blocks with hash values in video and image coding and decoding |
EP3072288B1 (en) | 2013-11-22 | 2019-06-12 | Dolby Laboratories Licensing Corporation | Methods and systems for inverse tone mapping |
KR102185245B1 (en) * | 2014-03-04 | 2020-12-01 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Hash table construction and availability checking for hash-based block matching |
WO2015131326A1 (en) | 2014-03-04 | 2015-09-11 | Microsoft Technology Licensing, Llc | Encoder-side decisions for block flipping and skip mode in intra block copy prediction |
JP6330507B2 (en) * | 2014-06-19 | 2018-05-30 | ソニー株式会社 | Image processing apparatus and image processing method |
EP3158751B1 (en) | 2014-06-23 | 2019-07-31 | Microsoft Technology Licensing, LLC | Encoder decisions based on results of hash-based block matching |
EP3202142B1 (en) | 2014-09-30 | 2020-11-11 | Microsoft Technology Licensing, LLC | Hash-based encoder decisions for video coding |
EP3185556A1 (en) * | 2015-12-21 | 2017-06-28 | Thomson Licensing | Method and apparatus for combined adaptive resolution and internal bit-depth increase coding |
US10390039B2 (en) | 2016-08-31 | 2019-08-20 | Microsoft Technology Licensing, Llc | Motion estimation for screen remoting scenarios |
US11095877B2 (en) | 2016-11-30 | 2021-08-17 | Microsoft Technology Licensing, Llc | Local hash-based motion estimation for screen remoting scenarios |
GB2572595B (en) * | 2018-04-04 | 2023-03-22 | British Broadcasting Corp | Video encoding and decoding |
US11202085B1 (en) | 2020-06-12 | 2021-12-14 | Microsoft Technology Licensing, Llc | Low-cost hash table construction and hash-based block matching for variable-size blocks |
WO2022211374A1 (en) * | 2021-03-31 | 2022-10-06 | 현대자동차주식회사 | Mapping-based video coding method and apparatus |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3014445A (en) | 1959-01-21 | 1961-12-26 | Metal Box Co Ltd | Apparatus for forming can bodies |
KR100888963B1 (en) * | 2004-12-06 | 2009-03-17 | 엘지전자 주식회사 | Method for scalably encoding and decoding video signal |
US20060153300A1 (en) | 2005-01-12 | 2006-07-13 | Nokia Corporation | Method and system for motion vector prediction in scalable video coding |
KR100763205B1 (en) * | 2006-01-12 | 2007-10-04 | 삼성전자주식회사 | Method and apparatus for motion prediction using motion reverse |
US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
JP5039142B2 (en) | 2006-10-25 | 2012-10-03 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | Quality scalable coding method |
US8199812B2 (en) * | 2007-01-09 | 2012-06-12 | Qualcomm Incorporated | Adaptive upsampling for scalable video coding |
JP5273824B2 (en) * | 2007-04-04 | 2013-08-28 | トムソン ライセンシング | Reference picture list management |
US8085852B2 (en) * | 2007-06-26 | 2011-12-27 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding |
US7983496B2 (en) | 2007-06-26 | 2011-07-19 | Mitsubishi Electric Research Laboratories, Inc. | Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes |
CN101796841B (en) | 2007-06-27 | 2012-07-18 | 汤姆逊许可公司 | Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction |
KR101366249B1 (en) * | 2007-06-28 | 2014-02-21 | 삼성전자주식회사 | Scalable video encoding apparatus and method and scalable video decoding apparatus and method |
WO2009003499A1 (en) * | 2007-06-29 | 2009-01-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Scalable video coding supporting pixel value refinement scalability |
KR101365441B1 (en) * | 2007-10-11 | 2014-02-19 | 삼성전자주식회사 | Video encoding apparatus and method and video decoding apparatus and method |
US8385412B2 (en) | 2007-10-15 | 2013-02-26 | Thomson Licensing | Method and apparatus for inter-layer residue prediction for scalable video |
BRPI0818650A2 (en) * | 2007-10-19 | 2015-04-07 | Thomson Licensing | Spatial and Depth Scalability of Combined Bit |
US8953673B2 (en) * | 2008-02-29 | 2015-02-10 | Microsoft Corporation | Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers |
BRPI0924292A2 (en) * | 2009-02-03 | 2016-01-26 | Thomson Licensing | methods and apparatus for attenuated reference frame motion compensation at bit depth scalability |
-
2009
- 2009-12-11 BR BRPI0924292A patent/BRPI0924292A2/en active Search and Examination
- 2009-12-11 EP EP09839791.2A patent/EP2394432A4/en not_active Withdrawn
- 2009-12-11 JP JP2011547887A patent/JP5688773B2/en not_active Expired - Fee Related
- 2009-12-11 CN CN200980156004.6A patent/CN102308579B/en not_active Expired - Fee Related
- 2009-12-11 KR KR1020117020609A patent/KR101660558B1/en active IP Right Grant
- 2009-12-11 WO PCT/US2009/006528 patent/WO2010090630A1/en active Application Filing
- 2009-12-11 US US13/138,342 patent/US9681142B2/en not_active Expired - Fee Related
-
2014
- 2014-10-21 JP JP2014214124A patent/JP5918332B2/en active Active
-
2016
- 2016-04-06 JP JP2016076400A patent/JP2016167828A/en active Pending
-
2018
- 2018-09-07 JP JP2018167508A patent/JP2018191354A/en not_active Ceased
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016167828A (en) * | 2009-02-03 | 2016-09-15 | トムソン ライセンシングThomson Licensing | Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability |
Also Published As
Publication number | Publication date |
---|---|
US20110293013A1 (en) | 2011-12-01 |
JP2012517140A (en) | 2012-07-26 |
KR20110116206A (en) | 2011-10-25 |
JP2018191354A (en) | 2018-11-29 |
WO2010090630A1 (en) | 2010-08-12 |
EP2394432A1 (en) | 2011-12-14 |
BRPI0924292A2 (en) | 2016-01-26 |
CN102308579A (en) | 2012-01-04 |
JP2015039225A (en) | 2015-02-26 |
JP2016167828A (en) | 2016-09-15 |
US9681142B2 (en) | 2017-06-13 |
EP2394432A4 (en) | 2016-12-14 |
JP5918332B2 (en) | 2016-05-18 |
CN102308579B (en) | 2017-06-06 |
KR101660558B1 (en) | 2016-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5918332B2 (en) | Method and apparatus for motion compensation using smooth reference frames in bit depth scalability | |
JP6214511B2 (en) | Bit depth scalable video encoding and decoding method and apparatus using tone mapping and inverse tone mapping | |
JP5534521B2 (en) | Method and apparatus for performing inter-layer residual prediction for scalable video | |
JP5409640B2 (en) | Method and apparatus for artifact removal for bit depth scalability | |
JP5801363B2 (en) | Apparatus and method for encoding and decoding, and computer program | |
JP5451626B2 (en) | Integrated spatial and bit depth scalability | |
JP5281076B2 (en) | Inter-view prediction with downsampled reference pictures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131204 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140225 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140723 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20141016 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141021 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20141023 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141217 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5688773 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |