JP5124583B2 - 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置 - Google Patents

明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置 Download PDF

Info

Publication number
JP5124583B2
JP5124583B2 JP2009533320A JP2009533320A JP5124583B2 JP 5124583 B2 JP5124583 B2 JP 5124583B2 JP 2009533320 A JP2009533320 A JP 2009533320A JP 2009533320 A JP2009533320 A JP 2009533320A JP 5124583 B2 JP5124583 B2 JP 5124583B2
Authority
JP
Japan
Prior art keywords
compensation
color
luminance
picture
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009533320A
Other languages
English (en)
Other versions
JP2010507334A (ja
Inventor
キム,ジェフン
スー,イェピン
イン,ペン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2010507334A publication Critical patent/JP2010507334A/ja
Application granted granted Critical
Publication of JP5124583B2 publication Critical patent/JP5124583B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

〈関連出願への相互参照〉
本願は、2006年10月18日に出願された米国仮出願第60/852,530号の利益を主張するものであり、同仮出願はここに参照によってその全体において組み込まれるものである。さらに、本願は本願と同時に出願される「明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置」と題する米国特許出願(代理人整理番号PU070243)に関係する。
〈技術分野〉
本願の原理は、概括的にはビデオのエンコードおよびデコードに、より詳細には明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置に関する。
マルチビュー・ビデオ符号化(MVC: Multi-view Video Coding)が、たとえば自由な視点および3Dのビデオ・アプリケーション、家庭用娯楽および監視を含む幅広い多様なアプリケーションに役立つことは広く認識されるようになっている。そうしたマルチビュー・アプリケーションでは、関わるビデオ・データの量は典型的には非常に大きい。よって、複数の独立したビューのサイマルキャストを実行する並行ビデオ符号化ソリューションの符号化効率を改善する効率的な圧縮技術が必要とされている。
マルチビュー・ビデオ・ソースは同じシーンの複数のビューを含むので、それら複数のビューの画像の間には高度な相関がある。したがって、時間的な冗長性に加えてビューの冗長性を活用でき、異なるビューにまたがってビュー予測を実行することによって実現できる。
実際的なシナリオでは、多数のカメラに関わるマルチビュー・ビデオ・システムは雑多なカメラ、あるいは完璧には較正されていないカメラを使って構築されることになる。このことは、シーンの同じ部分を異なるカメラから見るときのルミナンスおよびクロミナンスの差につながる。さらに、異なるアングルから知覚されると同じ表面が光を異なる仕方で反射しうるという意味において、カメラの距離および配置も輝度に影響する。こうしたシナリオのもとで、ルミナンスおよびクロミナンスの差はビュー横断予測の効率を低下させることになる。
画像対の間での輝度不一致問題を解決するためにいくつかの手法が提案されている。以下で第一の従来技術の手法と呼ぶそうした手法の一つでは、16×16マクロブロックについてのスケール/オフセット・パラメータおよびこれらのパラメータの予測符号化が使用されうる。また、この第一の従来技術の手法では、レート‐ゆがみのコストに基づく有効化スイッチが使用されうる。しかしながら、第一の従来技術の手法は時間的なビデオ・シーケンスに焦点を当てている。ビデオ・シーケンスにおいて、輝度不一致問題は典型的には、ビュー横断予測におけるように一貫しては起こらない。他の従来技術の手法では、マルチビュー・ビデオ符号化のための局所的な輝度補償方法が提案される。たとえば、各信号ブロックについてオフセットが予測符号化され、ビュー横断予測における輝度差を補償するために信号伝達される。
輝度補償に向けた多くの従来技術の手法は、輝度補償を達成するために信号伝達ビット(signaling bits)を使う。信号伝達された情報は、輝度不一致をよりよく表現できるが、その情報を送ることにおける余分のオーバーヘッドが、よりよい予測を得るという利益に対するペナルティーとなる。
従来技術のこれらおよびその他の欠点および不都合な点が本願の原理によって対処される。本願の原理は、明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置に向けられる。
本願の原理のある側面によれば、装置が提供される。本装置は、明示的な信号伝達を使うことなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを可能にすることによってピクチャをエンコードするエンコーダを含む。
本願の原理のもう一つの側面によれば、方法が提供される。本方法は、明示的な信号伝達を使うことなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを可能にすることによってピクチャをエンコードすることを含む。
本願の原理のさらにもう一つの側面によれば、装置が提供される。本装置は、対応するいかなる明示的な信号伝達をも受け取ることなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを可能にすることによってピクチャをデコードするデコーダを含む。
本願の原理のさらにもう一つの側面によれば、方法が提供される。本方法は、対応するいかなる明示的な信号伝達をも受け取ることなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを可能にすることによってピクチャをエンコードすることを含む。
本願の原理のさらにもう一つの側面によれば、装置が提供される。本装置は、ピクチャのある領域についての輝度補償情報および色補償情報のうちの少なくとも一つを、当該ピクチャと一つまたは複数の関係するピクチャとのうちの少なくとも一つにおける一つまたは複数の他の領域からの輝度情報および色情報に基づいて導出することによってピクチャをエンコードするエンコーダを含む。
本願の原理の追加的な側面によれば、方法が提供される。本方法は、ピクチャのある領域についての輝度補償情報および色補償情報のうちの少なくとも一つを、当該ピクチャと一つまたは複数の関係するピクチャとのうちの少なくとも一つにおける一つまたは複数の他の領域からの輝度情報および色情報に基づいて導出することによってピクチャをエンコードすることを含む。
本願の原理のさらなる追加的な側面によれば、装置が提供される。本装置は、ピクチャのある領域についての輝度補償情報および色補償情報のうちの少なくとも一つを、当該ピクチャと一つまたは複数の関係するピクチャとのうちの少なくとも一つにおける一つまたは複数の他の領域からの輝度情報および色情報に基づいて導出することによってピクチャをデコードするデコーダを含む。
本願の原理のさらなる追加的な側面によれば、方法が提供される。本方法は、ピクチャのある領域についての輝度補償情報および色補償情報のうちの少なくとも一つを、当該ピクチャと一つまたは複数の関係するピクチャとのうちの少なくとも一つにおける一つまたは複数の他の領域からの輝度情報および色情報に基づいて導出することによってピクチャをデコードすることを含む。
本願の原理のさらなる側面によれば、装置が提供される。本装置は、ピクチャのある画像ブロックについての予測の少なくとも一つの色成分についての輝度補償および色補償のうちの少なくとも一つの有効化を暗黙的に合図するかどうかを選択的に決定することによってピクチャをエンコードするエンコーダを含む。
本願の原理のさらなる側面によれば、方法が提供される。本方法は、ピクチャのある画像ブロックについての予測の少なくとも一つの色成分についての輝度補償および色補償のうちの少なくとも一つの有効化を暗黙的に合図するかどうかを選択的に決定することによってピクチャをエンコードすることを含む。
本願の原理のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき、例示的な実施形態の以下の詳細な記述から明白となるであろう。
本願の原理は以下の例示的な図面に基づいてよりよく理解されうる。
本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なマルチビュー・ビデオ符号化(MVC)エンコーダのブロック図である。 本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なマルチビュー・ビデオ符号化(MVC)デコーダのブロック図である。 本願の原理のある実施形態に基づく、輝度補償および色補償の少なくとも一つを使ってピクチャをエンコードする例示的な方法の流れ図である。 本願の原理のある実施形態に基づく、輝度補償および色補償の少なくとも一つを使ってピクチャをデコードする例示的な方法の流れ図である。
本願の原理は、明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置に向けられる。
本記載は、本願の原理を例解するものである。よって、当業者が、本稿に明示的に記載や図示はされていなくても本願の原理を具現し、その精神および範囲内に含まれるさまざまな構成を考案できるであろうことは理解されるであろう。
本稿に記載されるすべての例および条件的な言辞は、読者が、技術進歩のために発明者によって寄与される本願の原理および概念を理解するのを助ける教育的な目的を意図されており、そのように個別的に記載される例および条件に限定されることなく解釈されるものとする。
さらに、本稿において本願の原理、側面および実施形態ならびにその個別的な例を記載するあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は、現在知られている等価物および将来開発される等価物の両方、すなわち構造に関わりなく同じ機能を実行する開発された任意の要素を含むよう意図されている。
よって、たとえば、当業者は、本稿に呈示されるブロック図は本願の原理を具現する例示的な回路の概念図を表していることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはコンピュータ可読媒体において実質的に表現され、よってコンピュータやプロセッサが明示的に示されているかどうかによらずコンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことも理解されるであろう。
図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて、またソフトウェアを実行する機能をもつハードウェアを適切なソフトウェアと関連させたものの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共用プロセッサによって、あるいは一部が共用されていてもよい複数の個別プロセッサによって提供されてもよい。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行する機能をもつハードウェアのみを排他的に指すと解釈すべきではなく、これに限られないが、デジタル信号プロセッサ(「DSP」)ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ(「ROM」)、ランダム・アクセス・メモリ(「RAM」)および不揮発性記憶装置を暗黙的に含むこともありうる。
通常のものおよび/またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。
本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばa)その機能を実行する回路素子の組み合わせまたはb)任意の形の、したがってファームウェア、マイクロコードなどを含む、当該機能を実行するソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを包含することが意図されている。そのような請求項によって定義される本願の原理は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本願で示されている手段と等価であると見なされる。
明細書における本願の原理の「一つの実施形態」または「ある実施形態」への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に現れる「一つの実施形態では」または「ある実施形態では」といった句の出現は、必ずしもみな同じ実施形態を指すのではない。
「マルチビュー・ビデオ・シーケンス」という句は、複数の異なる視点から同じシーンを取り込む二つ以上のビデオ・シーケンスの組をいう。
「ビュー横断(cross-view)」および「ビュー間(inter-view)」という句は、本稿では交換可能に使われ、いずれも現在ビューとは異なるビューに属するピクチャをいう。
たとえば「Aおよび/またはB」の場合のような用語「および/または」の使用は、最初に挙げられるオプション(A)の選択、二番目に挙げられるオプション(B)の選択または両方のオプション(AおよびB)の選択を包含することが意図されている。さらなる例として、「A、Bおよび/またはC」の場合には、そのような表現は、最初に挙げられるオプション(A)の選択、二番目に挙げられるオプション(B)の選択、三番目に挙げられるオプション(C)の選択、最初と二番目に挙げられるオプションの選択(AおよびB)、最初と三番目に挙げられるオプション(AおよびC)の選択、二番目と三番目に挙げられるオプション(BおよびC)の選択または三つすべてのオプション(AおよびBおよびC)の選択を包含することが意図されている。
さらに、本稿では本願の原理の一つまたは複数の実施形態がMPEG-4 AVC規格に関して記載されるものの、本願の原理はこの規格のみに限定されるものではなく、本願の原理の精神を維持しながら、他のビデオ符号化の規格、勧告およびMPEG-4 AVC規格のマルチビュー(および非マルチビュー)拡張といった拡張を含むその拡張に関して利用されてもよいことは理解されるものとする。
また、本稿では本願の原理の一つまたは複数の実施形態が動き補償(motion compensation)および視差補償(disparity compensation)が有効にされたMPEG-4 AVC規格のマルチビュー・ビデオ符号化(MVC)拡張に適用される観点で記載されるが、本願の原理は上記のみに限られるものではなく、よって視差補償が有効にされているいかなるマルチビュー・ビデオ符号化方式に関しても利用されうることは理解されるものとする。
さらに、本願の原理は、ビデオ圧縮および/またはビデオ圧縮解除に加えて、および/またはその代わりにビデオ処理に有利に適用されうることは理解されるものとする。たとえば、本願の原理は、輝度および/または色の補償に関わるいかなるビデオ・プロセッサおよび/またはビデオ処理と一緒にでも容易に利用されうる。
さらに、本願の原理が画像位置合わせ(image registration)およびカメラ較正(camera calibration)に有利に適用されうることは理解されるものとする。本願の原理のこれらおよびその他の応用は、本稿に与えられる本願の原理の教示を与えられれば、当技術分野および関係する技術分野の当業者によって容易に決定される。
さらに、本願の原理が輝度および/または色の補償に関して適用されうることは理解されるものとする。
さらに、本願の原理がマルチビューおよび単一ビューのビデオ符号化および復号(たとえば単一ビュー・ビデオ符号化における時間的予測)に関して使用されうることは理解されるものとする。
本稿での用法では、「関係するピクチャ」という句は、時間的な参照ピクチャおよび/またはビュー横断的な参照ピクチャをいう。
さらに、本稿での用法では、「局所的な信号ブロック」という句は、空間的な近隣ブロックおよび/またはビュー/時間的に同位置/近隣のブロックをいう。
また、提案される輝度および/または色の補償手法は主として各信号ブロックについてのオフセットに関して記載されるが、そのような手法は、当技術分野および関連する技術分野の当業者にはすぐ明白であるように、本願の原理の精神を維持しながら、オフセットおよびスケーリングのスケール因子および/または組み合わせを含むよう容易に拡張されうる。
図1に目を向けると、本願の原理が適用されうる例示的なマルチビュー・ビデオ符号化(MVC)エンコーダが概括的に参照符号100によって示されている。エンコーダ100は、変換器(transformer)110の入力と信号通信で接続された出力をもつ組み合わせ器(combiner)105を含む。変換器110の出力は量子化器115と信号通信で接続されている。量子化器115の出力は、エントロピー符号化器120の入力および逆量子化器125の入力と信号通信で接続されている。逆量子化器の出力125は、逆変換器130の入力と信号通信で接続されている。逆変換器130の出力は、組み合わせ器135の第一の非反転入力と信号通信で接続されている。組み合わせ器135の出力は、イントラ予測器145の入力およびブロック解除フィルタ(deblocking filter)150の入力と信号通信で接続されている。ブロック解除フィルタ150の出力は、(ビューiについての)参照ピクチャ記憶155の入力と信号通信で接続されている。参照ピクチャ記憶155の出力は、動き補償器175の第一の入力および動き推定器180の第一の入力と信号通信で接続されている。動き推定器180の出力は、動き補償器175の第二の入力と信号通信で接続されている。
(他のビューについての)参照ピクチャ記憶160の出力は視差/輝度推定器170の第一の入力および視差/輝度補償器165の第一の入力と信号通信で接続されている。視差/輝度推定器170の出力は、視差/輝度補償器165の第二の入力と信号通信で接続されている。
エントロピー・エンコーダ120の出力は、エンコーダ100の出力として利用可能である。組み合わせ器105の非反転入力は、エンコーダ100の入力として利用可能であり、視差/輝度推定器170の第二の入力および動き推定器180の第二の入力と信号通信で接続されている。スイッチ185の出力は、組み合わせ器135の第二の非反転入力および組み合わせ器105の反転入力と信号通信で接続されている。スイッチ185は、動き補償器175の出力と信号通信で接続されている第一の入力、視差/輝度補償器165の出力と信号通信で接続されている第二の入力およびイントラ予測器145の出力と信号通信で接続されている第三の入力を含む。
モード決定モジュール140は、スイッチ185によってどの入力が選択されるかを制御するための、スイッチ185に接続された出力をもつ。
図2に目を向けると、本願の原理が適用されうる例示的なマルチビュー・ビデオ符号化(MVC)デコーダが、参照符号200によって概括的に示されている。デコーダ200は、逆量子化器210の入力と信号通信で接続された出力をもつエントロピー・デコーダ205を含む。逆量子化器の出力は、逆変換器215の入力と信号通信で接続されている。逆変換器215の出力は、組み合わせ器220の第一の非反転入力と信号通信で接続されている。組み合わせ器220の出力は、ブロック解除フィルタ225の入力およびイントラ予測器230の入力と信号通信で接続されている。ブロック解除フィルタ225の出力は、(ビューiについての)参照ピクチャ記憶240の入力と信号通信で接続されている。参照ピクチャ記憶240の出力は、動き補償器235の第一の入力と信号通信で接続されている。
(他のビューについての)参照ピクチャ記憶245の出力は、視差/輝度補償器250の第一の入力と信号通信で接続されている。
エントロピー・デコーダ205の入力は、デコーダ200への入力として、残留ビットストリーム(residual bitstream)を受領するために利用可能である。さらに、デコーダ200への入力として、スイッチ255によってどの入力が選択されるかを制御する制御シンタックスを受領するために、モード・モジュール260の入力も利用可能である。さらに、動き補償器235の第二の入力は、デコーダ200の入力として、動きベクトルを受領するために利用可能である。また、視差/輝度補償器250の第二の入力が、デコーダ200への入力として、視差ベクトル(disparity vector)および輝度補償シンタックスを受領するために利用可能である。
スイッチ255の出力は、組み合わせ器220の第二の非反転入力と信号通信で接続されている。スイッチ255の第一の入力は、視差/輝度補償器250の出力と信号通信で接続されている。スイッチ255の第二の入力は、動き補償器235の出力と信号通信で接続されている。スイッチ255の第三の入力は、イントラ予測器230の出力と信号通信で接続されている。モード・モジュール260の出力は、スイッチ255によってどの入力が選択されるかを制御するために、スイッチ255と信号通信で接続されている。ブロック解除フィルタ225の出力は、当該デコーダの出力として利用可能である。
上記のように、本願の原理は、明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置に向けられる。本願の原理は、マルチビューおよび単一ビューのビデオ・シーケンスに関して利用されうる。さらに、本願の原理は実装されうる。
ある実施形態では、局所的な信号について、いかなる追加的情報を明示的に信号伝達することもなく因果的に利用可能な近隣情報に基づいて、「暗黙的な」輝度および/または色の補償が実行できる。
少なくとも一つの実施形態によって対処されるある問題は、マルチビュー・ビデオ・シーケンスの効率的な符号化である。上記のように、マルチビュー・ビデオ・シーケンスは、異なる複数の視点から同じシーンを取り込む二つ以上のビデオ・シーケンスの組である。
MPEG-4 AVC規格のマルチビュー・ビデオ符号化(MVC)拡張に向けられる輝度補償および/または色補償に関わる本願の原理のある例示的な実施形態では、例示的な枠組みは以下のように述べられる。スライス・レベルでは、現在スライスについて輝度補償(illumination compensation)および色補償(color compensation)がそれぞれ有効にされているかどうかを示すために、新しいシンタックス要素(ic_prediction_flagおよび/またはcc_prediction_flag)が導入される。マクロブロック・レベルでは新しいシンタックス要素が導入される。すなわち、各ブロックについてそれぞれ輝度補償および色補償の利用を示すためにic_enableおよび/またはcc_enableが導入され、輝度オフセット・パラメータおよび色オフセット・パラメータをそれぞれ伝達するためにic_symおよび/またはcc_symが導入される。まとめると、ic_enableおよび/またはcc_enable、ic_sym、および/またはcc_symが、輝度および色補償について合図するために必要な新しいシンタックス要素である。
このように、ある実施形態では、局所的な信号の予測プロセスにおいて、いかなる輝度および/または色の補償の特定の情報も信号伝達する必要なしに、輝度補償および/または色補償を可能にする方法を提案する。すなわち、ic_enableおよび/またはcc_enable、is_sym、および/またはcc_symについてのシンタックス要素を送る必要はないのである。そうした要素は本願発明を使って導出される。
ある実施形態では、輝度および/または色補償は、MPEG-4 AVC規格における可変ブロック・サイズ機能と完全に統合される。
〈ビュー横断予測プロセスの一部としての輝度補償〉
符号化アプリケーションに関わるある実施形態では、輝度補償は視差補償プロセスの一部と考えられる。このシナリオでは、ビュー横断予測は典型的には、異なるビューからのピクチャの間の視差場(disparity field)の計算に関わる。ビュー横断予測における視差場は、時間的予測における動き場に対応するものと考えてもよい。簡単のため、以下では、ビュー横断予測および拡張により視差推定が、ブロック・ベースで実行されるとする。開示される方法、特徴および側面を標本値の他のグループに拡張することは、当技術分野および関係する技術分野の当業者にはストレートなことであろう。そのような標本値の他のグループは、たとえば、単一ピクセル、二つ以上のピクセルをもつブロック、フレーム、ピクチャなどを含む。
あるブロックの視差補償において輝度補償が使われるとき、輝度補償された参照ブロックは次のように計算される:
Br(x,y)=R(x+Δx,y+Δy)+ic_offset
ここで、R(x,y)はビュー横断参照ピクチャ、(Δx,Δy)は視差ベクトル(DV: disparity vector)である。ic_offsetは、現在信号と参照信号との間の不一致に対処するために参照ブロックに加えられるオフセットの量である。
〈明示的な信号伝達なしでの局所的な輝度補償〉
本願の原理の一つまたは複数の実施形態がMPEG-4 AVC規格のマルチビュー・ビデオ符号化(MVC)拡張に適用されるとすると、いかなる輝度補償特定または色補償特定の情報も明示的に信号伝達することなく輝度補償(IC: illumination compensation)および/または色補償(CC: color compensation)を実行できる。これはたとえば、デコーダ側で因果的に利用可能な(たとえば復号済みの)現在信号のまわりの時間的、ビュー的および/または空間的近傍における信号統計を利用することによって達成できる。通例、信号統計は時間的、ビュー的および/または空間的近傍においては高度に相関しており、この特性が、明示的な信号伝達なしで現在信号について輝度補償および/または色補償を導出するために利用できる。特に、以下の例示では信号統計の例として輝度補償オフセットを使い、輝度補償情報は、ICを有効にするかどうかおよび適用するICの量を含む。もちろん、同じことは色補償についてもあてはまるが、本稿では簡潔のため部分的には記載しない。
ある実施形態では、信号統計の例として輝度補償を使う一つの可能性は、空間的に隣接するブロックにおける以前に処理/復号された輝度補償オフセットを使うことである。空間的に隣接するブロックは他のビューからのもの、あるいは時間的に異なるピクチャ(同じビューでも異なるビューでも)からのものでもよい。輝度補償を有効にするかどうかおよび現在ブロックについて使われる輝度補償の量は、隣接する輝度補償オフセットから、平均、メジアン・フィルタリングおよび/または他の型のフィルタリングによって導出できる。フィルタリングがたとえば線形または非線形でありうることを注意しておく。
もう一つの実施形態では、信号統計の例として輝度補償を使うもう一つの可能性は、以前に処理/復号されたピクチャ(時間的に異なるピクチャ)における同位置の信号ブロックにおける処理済み/復号済みの輝度補償オフセットを使うことである。輝度補償を有効にするかどうかおよび現在ブロックについて使われる輝度補償の量は、それらの同位置の輝度補償オフセットから、平均、メジアン・フィルタリングおよび/または他の型のフィルタリングによって導出できる。同位置の信号ブロックは(上記からの空間的に隣接するブロックと同様に)、同じビュー内の以前に処理/復号されたピクチャからのもの、または他のビューにおける以前に処理/復号されたピクチャからのものであることができる。また、輝度補償オフセットが導出されるもとになる信号位置が変位ベクトル(displacement vector)によって指定できることも考えられる。変位ベクトルは、信号伝達されることも、空間的な近傍から導出されることもでき、この変位ベクトルを用いて、よりよく相関した信号がそれが指すピクチャ内において位置特定されうる。
ブロック(同位置、空間的に隣接するおよび/またはその他)は、他のビューにおける現在ピクチャから、またさらには将来の(時間的に進んだ)ピクチャから使用されてもよい。しかしながら、そのような実装は追加的な処理および/または遅延を導入しうる。
輝度補償シンタックスについての明示的な信号伝達がないので、提案される暗黙的な輝度補償方法は、MPEG-4 AVC規格における既存のスキップ(Skip)および/または直接(Direct)モードまたはその任意の拡張と組み合わせることができる。スキップおよび直接モードについては、輝度補償オフセットおよび動き情報が導出され、次いで現在信号を再構成するために使用されることができる。信号伝達のオーバーヘッドなしで輝度補償情報を導出できることは、圧縮効率の面で非常に効率的である。この暗黙的な輝度補償モードに加えて、時間的、ビューおよび/または空間的近隣からの導出された輝度補償情報が、明示的な輝度補償モードにおける輝度補償パラメータの予測符号化における予測子として使用されることができる。
MPEG-4 AVC規格に向けられる実施形態において、マクロブロック・ベースのスキップ・モードおよび直接モードについての輝度補償の導出プロセスを以下に例解する。
Pスキップ・モードについては、現在マクロブロックについて輝度補償が有効にされるかどうか(ic_flag)および適用される輝度補償の量(ic_offset)が隣接するマクロブロックから導出される。シンタックスic_flagは、上のマクロブロックまたは左のマクロブロックについて輝度補償が有効にされている場合に1にセットされ、逆にic_flagは上のマクロブロックについても左のマクロブロックについても輝度補償が有効にされていない場合に0にセットされる。両方の隣接マクロブロックが輝度補償を使う場合には、上および左のマクロブロックからのic_offsetの平均値が、現在マクロブロックの輝度補償パラメータとして使用される。一方の隣接マクロブロックのみが輝度補償を使う場合、そのマクロブロックのic_offsetが現在マクロブロックについて使用される。数学的には、輝度補償プロセスは:
Br(x,y)=R(x+Δx,y+Δy)+ic_flag?ic_offset:0
と表せる。ここで、ic_flagおよびic_offsetの両方は明示的な信号伝達なしで近隣マクロブロックから導出される。
同じ原理は、本質的にはB_SLICE〔Bスライス〕中の直接モードにも適用できる。B_SLICE中のDirect_16x16およびDirect_8x8モードの両方について、ic_flagおよびic_offsetは近隣の復号された信号ブロックから導出される。
他の実施形態が変換領域(transform domain)で実行できることは理解されるものとする。より特定的には、ある実施形態では、ピクセル領域での輝度補償オフセットは、変換領域における離散コサイン(DC: Discrete Cosine)係数と等価である。その場合、提案される暗黙的な輝度補償方法は次のように実行できる。
(ステップ1)隣接ブロックのICの量が変換領域におけるそれぞれのDC係数から抽出される;
(ステップ2)次いで、現在ブロックについて輝度補償を有効にするかどうかおよび使用される輝度補償の量がステップ1で得られた情報から導出できる;
(ステップ3)現在ブロックについての輝度補償プロセスがステップ2の結果を使って変換領域において実行できる。
変換領域ベースのアプローチがピクセル領域ベースのアプローチと組み合わされることができることは理解されるものとする。たとえば、ある個別的な設計では、ステップ(3)はピクセル領域において実行できるが、ステップ(1)は変換領域において実行できる。
導出された輝度補償情報をもつスキップおよび直接モードについては、動きベクトルは導出され、よってエンコーダ側で関わってくる輝度補償適応動き補償はない。これらのモードのためには、導出された輝度補償情報が、導出された動きベクトルによってポイントされる参照ブロックに適用される。
MPEG-4 AVC規格に基づく実施形態では、複数参照ピクチャの存在が、提案される暗黙的な輝度補償方法において考慮に入れられることができる。たとえば、最も相関のある輝度補償情報を利用するために、輝度補償オフセットの導出がたとえば、同じ参照ピクチャから予測される隣接ブロックに、あるいは何らかの計量に基づいて似ていると考えられる複数の参照ピクチャの一つから予測されるブロックに制約されることができる。あるいはまた、どの参照ピクチャがどのブロックから予測されるかに関わりなく、(たとえばある近傍内の)すべてのブロックが利用されることができる。さらに、動きベクトル予測のために複数の参照ピクチャがどのように考慮されるかを記述するのと同じ規則を任意的に適用することができる。
MPEG-4 AVC規格は、ブロック・サイズが16×16から4×4の範囲の可変ブロック・サイズの動き補償をサポートする。提案される暗黙的輝度補償方法は、信号における輝度変化の性質および許容されるエンコーダ/デコーダの複雑さに依存して、一つまたは複数のブロック・サイズに適用できる。
また、輝度不一致の度合いは画像によって変わる。よって、提案される暗黙的な輝度補償方法を常に有効にすることが効率的ではないことがありうる。その目的に資するため、シーケンス/ピクチャ/スライス・レベルのシンタックスが、そのシーケンス/ピクチャ/スライスについて提案される暗黙的な輝度補償方法が利用されるかどうかを示すために信号伝達されることができる。
〈提案される暗黙的なIC方法のためのエンコーダ設計〉
提案される暗黙的な輝度補償方法がどのように使用できるかをよりよく例解するため、エンコード方法の実施形態の記述が与えられる。もちろん、本願の原理はこのエンコード方法に限定されるものではなく、本稿に与えられる本願の原理の教示を与えられれば、本技術分野および関連分野の当業者は、本願の原理の精神を維持しながら、これらおよびその他のエンコード方法およびその変形を考えるであろう。現在、block_i〔ブロックi〕を符号化しており、輝度補償を有効にしているいくつかの隣接ブロックがあり、それぞれICオフセットはic_offset_jであるとする。オフセットはたとえばあるブロック内の全ピクセルにわたる、そのブロック中のピクセルと参照ピクチャの対応するブロック内の対応するピクセルとの間の差の平均として計算されうる。エンコーダは、導出された輝度補償オフセットを使うかどうかを選ぶ、すなわち以下の二つの動作モードから選ぶ柔軟性をもつ。選択はデコーダに一つまたは複数のビットを使って伝達されてもよいし、全くビットを使うことなく暗黙的に伝達されてもよい。たとえば、受領されたデータが新しいブロックに対応するときなどを知っており直前のブロックが輝度補償および/または色補償のための信号伝達情報を有していなかったと暗黙的に判断できるデコーダが使うのは0ビットであってもよい。
ある実施形態では、ic_offset_iは、隣接するic_offset_jを使って、たとえばそれらを平均することによって導出される。すると導出されたic_offset_iは今度は、処理順序においてのちのブロックについてICを導出するために使用されることができる。
もう一つの実施形態では、ic_offset_iは次を計算することにより計算され、信号伝達される:
ic_offset_i=平均(B(x,y)−R(x+Δx,y+Δy))
ここで、Bは現在ブロック、Rは参照ピクチャを表す。計算されたic_offset_iは、予測符号化および/または量子化によってさらに処理されることができる。量子化を含む場合には、再構成される(reconstructed)値ic_offset_recon_iが、処理順序でのちのブロックについて輝度補償を導出するために使用されることになり、そうでない場合にはic_offset_iが使用されることになる。
エンコーダは、ある種の基準、たとえばレート‐ゆがみコストに基づいて、上の二つの動作モードから選ぶことができる。暗黙的な輝度補償方法(オプション1)は、輝度差を補償するという意味では最良のモードではないかもしれない。しかしながら、暗黙的な輝度補償方法(オプション1)はいかなる追加的なオーバーヘッドのコストもないので、レートとゆがみの兼ね合いの観点からは明示的な輝度補償方法(オプション2)よりもよいことがありうる。
たとえばプロセス/方法、装置、命令セット、命令を担持する媒体および信号のようなさまざまな実装がなされうる。さらに、本稿で記載されるさまざまな実装、特徴および側面は、組み合わせて追加的な実装を形成してもよく、特徴が追加、省略、修正されてもよい。さらに、本開示の見出しは、いかなる形であれ限定的であることは意図されていない。たとえばある節に記載される特徴をその節のみに限定することは意図されていない。
図3に目を転じると、輝度補償および色補償の少なくとも一つを使ってピクチャをエンコードする例示的な方法が、概括的に参照符号300によって示されている。
方法300は開始ブロック305を含む。開始ブロック305はループ端ブロック310に制御を渡す。ループ端ブロック310は、現在ピクチャ内の各マクロブロックにわたる、変数mb(0からMacroBlocksInSlice−1までの値をもつ)を初期化することを含むループを実行し、制御を判断ブロック315に渡す。該判断ブロックは輝度補償および/または色補償がこのスライスについて有効にされているかどうかを判別する。もしそうであれば、制御は機能ブロック320に渡される。もしそうでなければ、制御は機能ブロック355に渡される。
機能ブロック320は動き推定およびモード決定を、明示的な輝度補償および/または明示的な色補償をもって実行し、レート‐ゆがみ(RD: rate-distortion)コストを取得し、制御を判断ブロック325に渡す。判断ブロック325は、暗黙的な輝度補償および/または暗黙的な色補償がこのモードについて有効にされているかどうかを判別する。もしそうであれば、制御は機能ブロック330に渡される。もしそうでなければ、制御は機能ブロック355に渡される。
機能ブロック330は、輝度補償および/または色補償を使うかどうかを、空間的/時間的/ビュー横断的近隣ブロックから導出して、制御を機能ブロック335に渡す。機能ブロック335は導出された輝度補償情報および/または色補償情報を動き補償において適用し、レート‐ゆがみ(RD)コストを取得し、制御を機能ブロック340に渡す。機能ブロック340はモード決定を実行し、制御を機能ブロック345に渡す。機能ブロック345はシンタックス書き込みを実行し、制御をループ端ブロック350に渡す。ループ端ブロック350は、現在ピクチャ内の各マクロブロックにわたるループを終了し、制御を終了ブロック399に渡す。
機能ブロック355は、輝度補償および色補償なしで動き推定およびモード決定を実行し、レート‐ゆがみ(RD)コストを取得し、制御を機能ブロック340に渡す。
図4に目を転じると、輝度補償および色補償のうちの少なくとも一方を使ってピクチャをデコードする例示的な方法が、概括的に参照符号400によって示されている。
方法400は開始ブロック405を含み、開始ブロック405はループ端ブロック410に制御を渡す。ループ端ブロック410は、現在ピクチャ内の各マクロブロックにわたる、変数mb(0からMacroBlocksInSlice−1までの値をもつ)を初期化することを含むループを実行し、制御を機能ブロック415に渡す。該機能ブロック415はシンタックス読み取りを実行し、制御を判断ブロック420に渡す。該判断ブロック420は輝度補償および/または色補償がこのスライスについて有効にされているかどうかを判別する。もしそうであれば、制御は判断ブロック425に渡される。もしそうでなければ、制御は機能ブロック445に渡される。
判断ブロック425は、現在モードについて暗黙的な輝度補償および/または暗黙的な色補償が有効にされているかどうかを判別する。もしそうであれば、制御は機能ブロック420に渡され、もしそうでなければ、制御は判断ブロック450に渡される。
機能ブロック430は、空間的/時間的/ビュー横断的な近隣ブロックからの輝度補償および色補償の量からそれぞれ、輝度補償および/または色補償を使うかどうかを導出し、制御を機能ブロック435に渡す。機能ブロック435は、導出された輝度補償および/または色補償情報を、輝度補償および/または色補償をもつ動き補償において適用し、制御をループ端ブロック440に渡す。ループ端ブロック440は、現在ピクチャ内で各マクロブロックにわたるループを終了し、制御を終了ブロック499に渡す。
機能ブロック445は、輝度補償および色補償なしで動き補償を実行し、制御をループ端ブロック440に渡す。
判断ブロック450は、輝度補償および/または色補償が有効にされているかどうかを判別する。もしそうであれば、制御は機能ブロック455に渡される。もしそうでなければ、制御は機能ブロック445に渡される。
機能ブロック455は、輝度補償予測子ic_offset_pおよび/または色補償予測子cc_offset_pを形成し、制御を機能ブロック460に渡す。機能ブロック460はic_symおよび/またはcc_symを逆量子化し、ic_offsetおよび/またはcc_offsetを差分的に(differentially)デコードし、制御を機能ブロック465に渡す。機能ブロック465は輝度補償および/または色補償をもって動き補償を実行し、制御をループ端ブロック440に渡す。
ここで、本発明の多くの付随する利点/特徴のいくつかの記載を与えておく。そのいくつかはすでに上述されている。たとえば、一つの利点/特徴は、明示的な信号伝達を使うことなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを有効にすることによってピクチャをエンコードするエンコーダを有する装置である。
もう一つの利点/特徴は、上記のようなエンコーダを有する装置であって、前記ピクチャが、同じまたは類似のシーンについてのマルチビュー・コンテンツ、単一ビュー・コンテンツおよび同じシーンについてのスケーラブル・ビデオ・レイヤーに対応する、装置である。
さらにもう一つの利点/特徴は、上記のようなエンコーダを有する装置であって、前記エンコーダが、色補償および輝度補償のうちの前記少なくとも一つを有効にすることを、前記ピクチャに対応するピクセルのグループと局所的な信号ブロックとのうちの少なくとも一つに基づいて行う、装置である。
さらに、もう一つの利点/特徴は、上記のような、色補償および輝度補償のうちの前記少なくとも一つを有効にすることを、前記ピクチャに対応するピクセルのグループと局所的な信号ブロックとのうちの少なくとも一つに基づいて行うエンコーダを有する装置であって、前記少なくとも一つの色成分についての色補償情報および輝度補償情報の少なくとも一方がオフセットおよびスケール因子の少なくとも一方として表現される、装置である。
さらに、もう一つの利点/特徴は、上記のような、前記少なくとも一つの色成分についての色補償情報および輝度補償情報の少なくとも一方がオフセットおよびスケール因子の少なくとも一方として表現される、装置であって、前記エンコーダが、前記色補償情報および前記輝度補償情報の前記少なくとも一方を導出するために、その画像ブロックに対応する空間的な近傍、ビュー近傍および時間的な近傍の少なくとも一つにおける信号統計を使う導出プロセスを使用する、装置である。
また、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、平均化フィルタおよびメジアン・フィルタの少なくとも一方が前記導出プロセスにおいて使用される、装置である。
また、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、前記導出プロセスが変換領域において実行される、装置である。
さらに、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、前記導出プロセスが、前記画像ブロックと前記画像ブロックに対して隣接する画像ブロックのうちの少なくとも一方をエンコードの間に使って複数の参照ピクチャを評価することを含む、装置である。
さらに、もう一つの利点/特徴は、上記のような複数の参照ピクチャを評価する導出プロセスを使用するエンコーダを有する装置であって、前記導出プロセスが、前記複数の参照ピクチャのうちからの同じ参照ピクチャから予測される隣接画像ブロックを使う、装置である。
また、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、色補償および輝度補償のうちの前記少なくとも一つを有効にするかどうかの指示と、前記少なくとも一つの色成分に適用されるべき色補償および輝度補償の前記少なくとも一方の量とを含む、装置である。
さらに、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、国際標準化機関/国際電気標準会議(ISO/IEC)動画像専門家グループ4(MPEG-4)パート10の先進ビデオ符号化(AVC)規格/国際電気通信連合・電気通信部門(ITU-T)H.264勧告のあるモードに適用される、装置である。
さらに、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、国際標準化機関/国際電気標準会議(ISO/IEC)動画像専門家グループ4(MPEG-4)パート10の先進ビデオ符号化(AVC)規格/国際電気通信連合・電気通信部門(ITU-T)H.264勧告のあるモードに適用される、装置である。
さらに、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、国際標準化機関/国際電気標準会議(ISO/IEC)動画像専門家グループ4(MPEG-4)パート10の先進ビデオ符号化(AVC)規格/国際電気通信連合・電気通信部門(ITU-T)H.264勧告におけるスキップ・モードに適用される、装置である。
さらに、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、国際標準化機関/国際電気標準会議(ISO/IEC)動画像専門家グループ4(MPEG-4)パート10の先進ビデオ符号化(AVC)規格/国際電気通信連合・電気通信部門(ITU-T)H.264勧告における直接モードに適用される、装置である。
また、もう一つの利点/特徴は、上記のような導出プロセスを使用するエンコーダを有する装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、前記少なくとも一つの色成分に適用される、装置である。
さらに、もう一つの利点/特徴は、上記のようなエンコーダを有する装置であって、色補償および輝度補償のうちの前記少なくとも一つは、暗黙的な信号伝達(implicit signaling)および明示的な信号伝達(explicit signaling)の少なくとも一方を使って有効にされる、装置である。
さらに、もう一つの利点/特徴は、上記のような、色補償および輝度補償のうちの前記少なくとも一つが暗黙的な信号伝達および明示的な信号伝達の少なくとも一方を使って有効にされるエンコーダを有する装置であって、前記エンコーダが、明示的な信号伝達および暗黙的な信号伝達の少なくとも一つを使用する決定を、所定の基準に基づいて行う、装置である。
さらに、もう一つの利点/特徴は、上記のような、明示的な信号伝達および暗黙的な信号伝達の少なくとも一つを使用する決定を所定の基準に基づいて行うエンコーダを有する装置であって、前記所定の基準がレート‐ゆがみのコストである装置である。
さらに、ある利点/特徴は、ピクチャ内のある領域についての輝度補償情報および色補償情報の少なくとも一方を、そのピクチャと一つまたは複数の関係するピクチャとのうちの少なくとも一つにおける一つまたは複数の他の領域からの輝度情報および色情報に基づいて導出することによってピクチャをエンコードするエンコーダを有する装置である。
さらに、もう一つの利点/特徴は、上記のようなエンコーダを有する装置であって、前記ピクチャ内の前記領域が画像ブロックであり、前記一つまたは複数の他の領域が、同じビューまたは異なるビューからの空間的に隣接する画像ブロックおよび時間的に隣接する画像ブロックの少なくとも一方を含む、装置である。
また、ある利点/特徴は、ピクチャのある画像ブロックについての予測の少なくとも一つの色成分について輝度補償および色補償のうちの少なくとも一つの有効化を暗黙的に信号伝達する(signal)かどうかを選択的に決定することによってピクチャをエンコードするエンコーダを有する装置である。
さらに、もう一つの利点/特徴は、上記のようなエンコーダを有する装置であって、前記エンコーダが、前記ピクチャの前記画像ブロックについての予測の前記少なくとも一つの色成分について輝度補償情報および色補償情報のうちの少なくとも一つを、前記ピクチャ内の一つまたは複数の他の画像ブロックと関係するピクチャ内の一つまたは複数の他の画像ブロックとのうちの少なくとも一つについての輝度情報および色情報に基づいて導出し(derive)、前記少なくとも一つの色成分について輝度補償情報および色補償情報のうちの少なくとも一つを計算し(calculate)、導出された輝度補償情報の計算された輝度情報との比較および導出された色補償情報の計算された色補償情報との比較のうち少なくとも一方を実行し、比較の結果に基づいて輝度補償および色補償のうちの前記少なくとも一つの有効化を信号伝達するかどうかを決定する、装置である。
本願の原理のこれらおよびその他の特徴および利点は、本願の教示に基づいて当業者によって容易に認識されうる。本願の原理の教示がハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組み合わせのさまざまな形で実装されうることは理解されるものとする。
最も好ましくは、本願の原理の教示はハードウェアおよびソフトウェアの組み合わせとして実装される。さらに、ソフトウェアは、プログラム記憶ユニット上に具体的に具現されたアプリケーション・プログラムとして実装されてもよい。該アプリケーション・プログラムはいかなる好適なアーキテクチャを有する機械にアップロードされ、該機械によって実行されてもよい。好ましくは、前記機械は、一つまたは複数の中央処理ユニット(「CPU」)、ランダム・アクセス・メモリ(「RAM」)および入出力(「I/O」)インターフェースといったハードウェアをもつコンピュータ・プラットフォーム上で実装される。前記コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含みうる。本稿に記載されたさまざまなプロセスおよび機能はマイクロ命令コードの一部もしくはアプリケーション・プログラムの一部またはそれらの任意の組み合わせであってよく、CPUによって実行されてよい。さらに、追加的なデータ記憶ユニットおよび印刷ユニットといったさまざまな他の周辺ユニットがコンピュータ・プラットフォームに接続されていてもよい。
付属の図面に描かれている構成システム・コンポーネントおよび方法のいくつかは好ましくはソフトウェアにおいて実装されるので、システム・コンポーネントまたはプロセス機能ブロックの間の実際の接続は、本願の原理がプログラムされる仕方に依存して異なることがありうる。本稿の教示を与えられれば、当業者は、本願の原理のこれらおよび同様の実装または構成を考えることができるであろう。
本稿では例示的な実施形態が付属の図面を参照して記載されてきたが、本願の原理はそうした厳密な実施形態に限定されるものではなく、当業者は本願の原理の範囲や精神から外れることなくそれにさまざまな変更および修正を実施しうることは理解されるものである。そのようなすべての変更および修正は付属の請求項に記載される本発明の範囲内に含まれることが意図されている。

Claims (20)

  1. 明示的な信号伝達を使うことなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを有効にすることによってピクチャをエンコードするエンコーダを有する装置であって、補償情報は同じビューまたは他のビューからの以前に復号された時間的に異なるピクチャにおける同位置のブロックにおける復号された補償オフセットに基づく、装置
  2. 請求項1記載の装置であって、前記エンコーダが、色補償および輝度補償のうちの前記少なくとも一つを有効にすることを、前記ピクチャに対応するピクセルのグループと局所的な信号ブロックとのうちの少なくとも一つに基づいて行う、装置。
  3. 請求項2記載の装置であって、前記少なくとも一つの色成分についての色補償情報および輝度補償情報の少なくとも一方がオフセットおよびスケール因子の少なくとも一方として表現される、装置。
  4. 請求項3記載の装置であって、前記エンコーダが、前記色補償情報および前記輝度補償情報の前記少なくとも一方を導出するために、その画像ブロックに対応する空間的な近傍、ビュー近傍および時間的な近傍の少なくとも一つにおける信号統計を使う導出プロセスを使用する、装置。
  5. 請求項4記載の装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、色補償および輝度補償のうちの前記少なくとも一つを有効にするかどうかの指示と、前記少なくとも一つの色成分に適用されるべき色補償および輝度補償の前記少なくとも一方の量とを含む、装置。
  6. 明示的な信号伝達を使うことなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを有効にすることによってピクチャをエンコードする段階を有する方法であって、補償情報は同じビューまたは他のビューからの以前に復号された時間的に異なるピクチャにおける同位置のブロックにおける復号された補償オフセットに基づく、方法
  7. 請求項6記載の方法であって、前記有効にする段階が、色補償および輝度補償のうちの前記少なくとも一つを有効にすることを、前記ピクチャに対応するピクセルのグループと局所的な信号ブロックとのうちの少なくとも一つに基づいて行う、方法。
  8. 請求項7記載の方法であって、前記少なくとも一つの色成分についての色補償情報および輝度補償情報の少なくとも一方がオフセットおよびスケール因子の少なくとも一方として表現される、方法。
  9. 請求項8記載の方法であって、前記有効にする段階が、前記色補償情報および前記輝度補償情報の前記少なくとも一方を導出するために、その画像ブロックに対応する空間的な近傍、ビュー近傍および時間的な近傍の少なくとも一つにおける信号統計を使う導出プロセスを使用する、方法。
  10. 請求項9記載の方法であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、色補償および輝度補償のうちの前記少なくとも一つを有効にするかどうかの指示と、前記少なくとも一つの色成分に適用されるべき色補償および輝度補償の前記少なくとも一方の量とを含む、方法。
  11. 対応するいかなる明示的な信号伝達をも受け取ることなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを有効にすることによってピクチャをデコードするデコーダを有する、装置であって、補償情報は同じビューまたは他のビューからの以前に復号された時間的に異なるピクチャにおける同位置のブロックにおける復号された補償オフセットに基づく、装置
  12. 請求項11記載の装置であって、前記デコーダが、色補償および輝度補償のうちの前記少なくとも一つを有効にすることを、前記ピクチャに対応するピクセルのグループと局所的な信号ブロックとのうちの少なくとも一つに基づいて行う、装置。
  13. 請求項12記載の装置であって、前記少なくとも一つの色成分についての色補償情報および輝度補償情報の少なくとも一方がオフセットおよびスケール因子の少なくとも一方として表現される、装置。
  14. 請求項13記載の装置であって、前記デコーダが、前記色補償情報および前記輝度補償情報の前記少なくとも一方を導出するために、その画像ブロックに対応する空間的な近傍、ビュー近傍および時間的な近傍の少なくとも一つにおける信号統計を使う導出プロセスを使用する、装置。
  15. 請求項14記載の装置であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、色補償および輝度補償のうちの前記少なくとも一つを有効にするかどうかの指示と、前記少なくとも一つの色成分に適用されるべき色補償および輝度補償の前記少なくとも一方の量とを含む、装置。
  16. 対応するいかなる明示的な信号伝達をも受け取ることなくピクチャの画像ブロックについての予測の少なくとも一つの色成分の色補償および輝度補償のうちの少なくとも一つを有効にすることによってピクチャをデコードする段階を有する、方法であって、補償情報は同じビューまたは他のビューからの以前に復号された時間的に異なるピクチャにおける同位置のブロックにおける復号された補償オフセットに基づく、方法
  17. 請求項16記載の方法であって、前記有効にする段階が、色補償および輝度補償のうちの前記少なくとも一つを有効にすることを、前記ピクチャに対応するピクセルのグループと局所的な信号ブロックとのうちの少なくとも一つに基づいて行う、方法。
  18. 請求項17記載の方法であって、前記少なくとも一つの色成分についての色補償情報および輝度補償情報の少なくとも一方がオフセットおよびスケール因子の少なくとも一方として表現される、方法。
  19. 請求項18記載の方法であって、前記有効にする段階が、前記色補償情報および前記輝度補償情報の前記少なくとも一方を導出するために、その画像ブロックに対応する空間的な近傍、ビュー近傍および時間的な近傍の少なくとも一つにおける信号統計を使う導出プロセスを使用する、方法。
  20. 請求項19記載の方法であって、導出された色補償情報および導出された輝度補償情報の前記少なくとも一方が、色補償および輝度補償のうちの前記少なくとも一つを有効にするかどうかの指示と、前記少なくとも一つの色成分に適用されるべき色補償および輝度補償の前記少なくとも一方の量とを含む、方法。
JP2009533320A 2006-10-18 2007-10-11 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置 Active JP5124583B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US85253006P 2006-10-18 2006-10-18
US60/852,530 2006-10-18
PCT/US2007/021803 WO2008048487A2 (en) 2006-10-18 2007-10-11 Local illumination and color compensation without explicit signaling

Publications (2)

Publication Number Publication Date
JP2010507334A JP2010507334A (ja) 2010-03-04
JP5124583B2 true JP5124583B2 (ja) 2013-01-23

Family

ID=39226625

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009533320A Active JP5124583B2 (ja) 2006-10-18 2007-10-11 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
JP2009533322A Active JP5421113B2 (ja) 2006-10-18 2007-10-11 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2009533322A Active JP5421113B2 (ja) 2006-10-18 2007-10-11 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置

Country Status (6)

Country Link
US (2) US9456222B2 (ja)
EP (2) EP2082584B1 (ja)
JP (2) JP5124583B2 (ja)
CN (2) CN101529921B (ja)
BR (2) BRPI0719860B1 (ja)
WO (2) WO2008048490A2 (ja)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7856148B2 (en) * 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
KR101276847B1 (ko) 2006-01-12 2013-06-18 엘지전자 주식회사 다시점 비디오의 처리
US20070177671A1 (en) * 2006-01-12 2007-08-02 Lg Electronics Inc. Processing multiview video
WO2008007917A1 (en) * 2006-07-12 2008-01-17 Lg Electronics, Inc. A method and apparatus for processing a signal
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
CN101911705B (zh) * 2007-12-28 2012-08-29 夏普株式会社 运动图像编码装置及运动图像解码装置
EP2232877B1 (en) * 2008-01-10 2018-08-08 Thomson Licensing DTV Methods and apparatus for illumination compensation of intra-predicted video
US20110135006A1 (en) * 2008-08-08 2011-06-09 Tomoyuki Yamamoto Moving image encoding device and moving image decoding device
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
EP2394437B1 (en) * 2009-02-06 2015-04-08 Thomson Licensing Methods and apparatus for implicit and semi-implicit intra mode signaling for video encoders and decoders
KR101287458B1 (ko) 2009-02-12 2013-07-19 니폰덴신뎅와 가부시키가이샤 다시점 화상 부호화 방법, 다시점 화상 복호 방법, 다시점 화상 부호화 장치, 다시점 화상 복호 장치, 다시점 화상 부호화 프로그램 및 다시점 화상 복호 프로그램
TWI517674B (zh) 2009-02-23 2016-01-11 日本電信電話股份有限公司 多視點圖像編碼方法及多視點圖像解碼方法
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
US9819358B2 (en) 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US20110206118A1 (en) 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9609342B2 (en) 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
BR112012020993A2 (pt) * 2010-02-24 2016-05-03 Nippon Telegraph & Telephone método de codificação de vídeo de múltiplas visões , método de decodificação de vídeo de múltiplas visões, aparelho de codificação de vídeo de múltiplas visões, aparelho de decodificação de vídeo de múltiplas visões , e programa
CN102215389B (zh) * 2010-04-09 2013-04-17 华为技术有限公司 一种局部亮度补偿的视频编解码方法及装置
US9161041B2 (en) * 2011-01-09 2015-10-13 Mediatek Inc. Apparatus and method of efficient sample adaptive offset
US8861875B1 (en) * 2011-07-29 2014-10-14 Teradici Corporation Method and apparatus for encoding changed image regions
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
JP2013110555A (ja) * 2011-11-21 2013-06-06 Sharp Corp 画像符号化装置、画像復号装置、並びにそれらの方法及びプログラム
EP2741502A1 (en) 2012-12-07 2014-06-11 Thomson Licensing Method and apparatus for color transfer between images
US9615089B2 (en) 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
WO2015139187A1 (en) * 2014-03-17 2015-09-24 Mediatek Inc. Low latency encoder decision making for illumination compensation and depth look-up table transmission in video coding
US10554967B2 (en) 2014-03-21 2020-02-04 Futurewei Technologies, Inc. Illumination compensation (IC) refinement based on positional pairings among pixels
US10356416B2 (en) * 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
US10631002B2 (en) * 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
US10834409B2 (en) * 2018-04-06 2020-11-10 Arris Enterprises Llc System and method of implementing multiple prediction models for local illumination compensation
CN112771874A (zh) * 2018-09-19 2021-05-07 交互数字Vc控股公司 用于画面编码和解码的方法和设备
EP3963884A4 (en) * 2019-05-21 2022-08-10 Huawei Technologies Co., Ltd. METHOD AND APPARATUS FOR LOCAL ILLUMINATION COMPENSATION FOR INTER PREDICTION
US11272200B2 (en) * 2019-06-24 2022-03-08 Tencent America LLC Method and apparatus for video coding
EP3820133A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549650B1 (en) * 1996-09-11 2003-04-15 Canon Kabushiki Kaisha Processing of image obtained by multi-eye camera
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US7277486B2 (en) * 2002-05-03 2007-10-02 Microsoft Corporation Parameterization for fading compensation
EP1843602A3 (en) * 2002-12-12 2007-12-05 Samsung Electronics Co., Ltd. Method and apparatus for generating illumination characteristic data around image display device, and method and apparatus for compensating for color variation using the method and apparatus
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
CN100508625C (zh) * 2004-11-01 2009-07-01 晨星半导体股份有限公司 影像对比加强的装置及方法
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US8031766B2 (en) * 2005-08-02 2011-10-04 Lsi Corporation Performance adaptive video encoding with concurrent decoding
WO2007014477A2 (de) 2005-08-04 2007-02-08 Inventio Ag Verfahren zur zuteilung eines benutzers zu einer aufzugsanlage
KR100873636B1 (ko) * 2005-11-14 2008-12-12 삼성전자주식회사 단일 부호화 모드를 이용하는 영상 부호화/복호화 방법 및장치
US7856148B2 (en) * 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치

Also Published As

Publication number Publication date
JP2010507334A (ja) 2010-03-04
EP2084912B1 (en) 2023-02-22
CN101529921A (zh) 2009-09-09
BRPI0719860A2 (pt) 2014-06-03
EP2082584B1 (en) 2023-07-19
CN101529920A (zh) 2009-09-09
US9456222B2 (en) 2016-09-27
CN101529921B (zh) 2013-07-03
BRPI0719860B1 (pt) 2021-09-08
US9456223B2 (en) 2016-09-27
US20090257669A1 (en) 2009-10-15
WO2008048487A2 (en) 2008-04-24
EP2082584A2 (en) 2009-07-29
US20100027881A1 (en) 2010-02-04
WO2008048490A3 (en) 2008-12-31
BRPI0719856A2 (pt) 2015-05-26
WO2008048487A3 (en) 2008-12-18
BRPI0719856B1 (pt) 2020-09-15
EP2084912A2 (en) 2009-08-05
WO2008048490A2 (en) 2008-04-24
JP2010507336A (ja) 2010-03-04
JP5421113B2 (ja) 2014-02-19
CN101529920B (zh) 2013-10-02

Similar Documents

Publication Publication Date Title
JP5124583B2 (ja) 明示的な信号伝達なしでの局所的な輝度および色の補償のための方法および装置
JP6112523B2 (ja) マルチビュービデオ符号化のための低解像度アップデートモードを提供する方法及び装置
US8532175B2 (en) Methods and apparatus for reducing coding artifacts for illumination compensation and/or color compensation in multi-view coded video
JP5535485B2 (ja) 削減された分解能更新モードをマルチビュー・ビデオ符号化に提供する方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120524

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5124583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250