JP2015527806A - ビデオ信号処理方法及び装置 - Google Patents

Abstract

【課題】多視点映像における視点間インター予測の正確度を高める方法を提供する。【解決手段】本発明は、現在のテクスチャブロックの予測値を獲得し、第１補償係数、第２補償係数を用いて現在のテクスチャブロックの予測値を視点間補償することを特徴とし、第１補償係数は、現在のテクスチャブロックの隣接ピクセル及び参照ブロックの隣接ピクセルを用いて獲得され、第２補償係数は、現在のテクスチャブロックの隣接ピクセル、参照ブロックの隣接ピクセル及び第１補償係数を用いて獲得されることを特徴とするビデオ信号処理方法及び装置に関する。本発明は、多視点映像の撮影時に照明またはカメラのような撮影条件によって生じた視点間の差を補償して視点間インター予測時の正確度を高めることを特徴とする。【選択図】図６

Description

本発明は、ビデオ信号のコーディング方法及び装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

本発明は、現在のテクスチャブロックの予測値に対する視点間補償過程を行うことで視点間インター予測の正確度を高めることを特徴とする。

本発明は、視点間補償過程を行うための第１補償係数及び第２補償係数を、現在のテクスチャブロックの周辺ピクセル値と参照ブロックの周辺ピクセル値を用いて獲得することができる。

本発明は、現在のピクチャと参照ピクチャとのピクセル値の分布の差を比較して、視点間補償を行うか否かを決定することができる。

本発明は、現在のピクチャと参照ピクチャとのピクセル値のＳＡＤと、既決定の閾値とを比較して、視点間補償を行うか否かを決定することができる。

本発明は、正規化相関値と既決定の閾値とを比較して、視点間補償を行うか否かを決定することができる。

本発明は、多視点映像の撮影時に照明またはカメラのような撮影条件によって発生した視点間の差を補償して、視点間インター予測の正確度を高めることを特徴とする。

本発明は、視点間補償過程を行うか否かを判断して、視点間補償過程の実行によって発生し得るコーディング性能の低下及び複雑度の増加を防止することができる。

本発明が適用される一実施例であって、ビデオデコーダーの概略的なブロック図である。 本発明が適用される一実施例であって、インター予測の種類として時間的インター予測の例を示す図である。 本発明が適用される一実施例であって、インター予測の種類として視点間インター予測の例を示す図である。 本発明が適用される一実施例であって、視点間の差の補償過程で使用される現在のテクスチャブロック、参照ブロック、現在のテクスチャブロックの周辺ピクセル、参照ブロックの周辺ピクセルの例を示す図である。 本発明が適用される一実施例であって、現在のピクチャと参照ピクチャのそれぞれのヒストグラムを示した例を示す図である。 本発明が適用される一実施例であって、視点間補償方法に関するフローチャートを示す図である。 本発明が適用される一実施例であって、視点間補償フラグを獲得する方法に関するフローチャートを示す図である。

本発明は、視点間モーションベクトルを用いて参照ブロックの位置を獲得し、参照ブロックを用いて現在のテクスチャブロックの予測値を獲得し、補償係数を獲得し、第１補償係数、第２補償係数を用いて現在のテクスチャブロックの予測値を視点間補償し、視点間補償された現在のテクスチャブロックの予測値を用いて現在のテクスチャブロックをデコーディングし、第１補償係数は、現在のテクスチャブロックの隣接ピクセル及び参照ブロックの隣接ピクセルを用いて獲得され、第２補償係数は、現在のテクスチャブロックの隣接ピクセル、参照ブロックの隣接ピクセル及び第１補償係数を用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。

本発明は、視点間補償フラグを獲得し、視点間補償フラグを用いて視点間補償を行うか否かを決定するステップをさらに含むことを特徴とするビデオ信号処理方法及び装置である。

本発明の視点間補償フラグは、スライスヘッダから獲得されることを特徴とするビデオ信号処理方法及び装置である。

本発明の視点間補償フラグは、ピクチャパラメータセットまたはビデオパラメータセットから獲得されることを特徴とするビデオ信号処理方法及び装置である。

本発明の視点間補償フラグは、現在のテクスチャブロックが含まれた現在のピクチャのピクセル値と、参照ブロックが含まれた参照ピクチャのピクセル値との差を用いて獲得されることを特徴とするビデオ信号処理方法及び装置である。

本発明の視点間補償フラグは、現在のテクスチャブロックが含まれた現在のピクチャのピクセル値と参照ブロックが含まれた参照ピクチャのピクセル値との差に対する絶対値の和と、既決定の閾値とを比較して獲得されることを特徴とするビデオ信号処理方法及び装置である。

本発明の視点間モーションベクトルは、現在のテクスチャブロックの視点間インター予測でコーディングされた隣接ブロックから獲得されることを特徴とするビデオ信号処理方法及び装置である。

本発明の隣接ブロックは、空間的隣接ブロック及び時間的隣接ブロックを含むことを特徴とするビデオ信号処理方法及び装置である。

多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内においてデプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書においてコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。

図１は、本発明が適用される一実施例であって、ビデオデコーダーの概略的なブロック図を示したものである。

図１を参照すると、ビデオデコーダーは、ＮＡＬパージング部１００、エントロピーデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、インループフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００を含むことができる。ＮＡＬパージング部１００は、多視点テクスチャデータを含んだビットストリームを受信することができる。また、デプスデータがテクスチャデータのコーディングに必要な場合、エンコーディングされたデプスデータを含んだビットストリームをさらに受信することもできる。このとき、入力されるテクスチャデータ及びデプスデータは、１つのビットストリームで伝送されてもよく、または別個のビットストリームで伝送されてもよい。ＮＡＬパージング部１００は、入力されたビットストリームを復号化するためにＮＡＬ単位でパージングを行うことができる。入力されたビットストリームが多視点関連データ（例えば、３−Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｄｅｏ）である場合、入力されたビットストリームはカメラパラメータをさらに含むことができる。カメラパラメータとしては、固有のカメラパラメータ（ｉｎｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）及び非固有のカメラパラメータ（ｅｘｔｒｉｎｓｉｃ ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）があり得る。固有のカメラパラメータは、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）、縦横比（ａｓｐｅｃｔ ｒａｔｉｏ）、主点（ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ）などを含むことができ、非固有のカメラパラメータは、世界座標系でのカメラの位置情報などを含むことができる。

エントロピーデコーディング部２００は、エントロピーデコーディングを通じて、量子化された変換係数、テクスチャピクチャの予測のためのコーディング情報などを抽出することができる。

逆量子化／逆変換部３００では、量子化された変換係数に量子化パラメータを適用して変換係数を獲得し、変換係数を逆変換してテクスチャデータまたはデプスデータを復号化することができる。ここで、復号化されたテクスチャデータまたはデプスデータは、予測処理によるレジデュアルデータを含むことができる。また、デプスブロックに対する量子化パラメータは、テクスチャデータの複雑度を考慮して設定することができる。例えば、デプスブロックに対応するテクスチャブロックが複雑度の高い領域である場合には、低い量子化パラメータを設定し、複雑度の低い領域である場合には、高い量子化パラメータを設定することができる。

イントラ予測部４００は、現在のテクスチャピクチャ内の復元されたテクスチャデータを用いて画面内予測を行うことができる。デプスピクチャに対してもテクスチャピクチャと同様の方式で画面内予測を行うことができる。例えば、テクスチャピクチャの画面内予測のために用いられるコーディング情報をデプスピクチャでも同一に用いることができる。ここで、画面内予測のために用いられるコーディング情報は、イントラ予測モード、イントラ予測のパーティション情報を含むことができる。

インループフィルタ部５００は、ブロック歪み現象を減少させるために、それぞれのコーディングされたブロックにインループフィルタを適用することができる。フィルターは、ブロックの縁部を滑らかにすることでデコーディングされたピクチャの画質を向上させることができる。フィルタリングを経たテクスチャピクチャまたはデプスピクチャは出力するか、または参照ピクチャとして用いるために復号ピクチャバッファ部６００に格納してもよい。

復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ ｕｎｉｔ）６００では、画面間予測を行うために、以前にコーディングされたテクスチャピクチャまたはデプスピクチャを格納したり開放したりするなどの役割を果たす。このとき、復号ピクチャバッファ部６００に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）を用いることができる。さらに、デプスコーディングにおいて、以前にコーディングされたピクチャの中には、現在のデプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、デプスピクチャの視点を識別する視点識別情報を用いることもできる。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でテクスチャピクチャと区別するために別途の表示でマーキングすることができ、マーキング過程で各デプスピクチャを識別するための情報を用いることができる。

インター予測部７００は、復号ピクチャバッファ部６００に格納された参照ピクチャ及びモーション情報を用いて現在のブロックのモーション補償を行うことができる。

図２は、本発明が適用される一実施例であって、インター予測の種類として時間的インター予測の例を示したものである。

時間的インター予測（ｔｅｍｐｏｒａｌ ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）は、現在のテクスチャブロックと同じ視点及び異なる時間帯に位置した参照ピクチャ、及び現在のテクスチャブロックのモーション情報を用いたインター予測を意味することができる。

本明細書では、理解の便宜のため、時間的インター予測に用いられる時間モーション情報は、時間モーションベクトル（ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）、時間レファレンスインデックス（ｔｅｍｐｏｒａｌ ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ）情報を含む概念として柔軟に解釈することができる。

図３は、本発明が適用される一実施例であって、インター予測の種類として視点間インター予測の例を示したものである。

複数個のカメラにより撮影された多視点映像の場合、時間的インター予測だけでなく、異なる視点間のインター予測である視点間インター予測をさらに行うことができる。

視点間インター予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）は、現在のテクスチャブロックと異なる視点に位置した参照ピクチャ、及び現在のテクスチャブロックのモーション情報を用いたインター予測を意味することができる。

本明細書では、理解の便宜のため、視点間インター予測に用いられる視点モーション情報を、視点間モーションベクトル（ｉｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）、視点間レファレンスインデックス（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｉｎｄｅｘ）情報を含む概念として柔軟に解釈することができる。

以下では、隣接ブロックが視点間インター予測でコーディングされたか否かを判別する方法について説明する。

一実施例として、視点間インター予測でコーディングされるか否かは、当該隣接ブロックが視点間参照ピクチャリストを用いるかに基づいて判別することができる。視点間参照ピクチャリストは、当該隣接ブロックの視点と異なる視点に位置した参照ピクチャで構成されたリストを意味することができる。または、当該隣接ブロックのレファレンスインデックス情報に基づいて判別することもできる。例えば、当該隣接ブロックのレファレンスインデックス情報が、当該隣接ブロックの視点と異なる視点に位置した参照ピクチャを特定する場合、当該隣接ブロックは、視点間インター予測でコーディングされることを特定することができる。または、当該隣接ブロックを含んだピクチャのＰＯＣと、当該隣接ブロックの参照ピクチャのＰＯＣとが同一であるか否かに基づいて判別することもできる。ＰＯＣは、出力順序情報であり、同一アクセスユニット（ａｃｃｅｓｓ ｕｎｉｔ）内のピクチャは、同じＰＯＣを有することができる。したがって、両者のＰＯＣが同一であるということは、当該隣接ブロックを含んだピクチャと参照ピクチャとが互いに異なる視点に位置することを意味するはずであり、この場合、当該隣接ブロックは、視点間インター予測でコーディングされるものと特定することができる。

互いに異なる視点間の予測である視点間インター予測の場合、現在の視点と異なる視点である参照視点から参照ブロックを探し、参照ブロックのピクセル値を現在のテクスチャブロックの予測値として使用する。視点間インター予測によるコーディング時に参照視点の参照ブロックを予測値として使用する場合、多視点映像の撮影時に、各異なる視点において照明やカメラの特性などの撮影条件による視点間の差によって、視点間インター予測の正確度が低くなることがあるため、差を補償する必要がある。視点間インター予測を行う場合、視点間の差を補償処理する過程を通じて視点間インター予測の正確度を高めることができる。

以下では、視点間の差を補償する過程について説明する。

図４は、本発明が適用される一実施例であって、視点間の差を補償する過程で使用される現在のテクスチャブロック、参照ブロック、現在のテクスチャブロックの周辺ピクセル、参照ブロックの周辺ピクセルの例を示したものである。

現在のテクスチャブロックは、現在コーディングしようとするブロックを示すことができる。参照ブロックは、現在のテクスチャブロックと同じ時間、異なる視点に位置したブロックを示すことができる。現在のテクスチャブロックの周辺ピクセルは、現在のテクスチャブロックの左側及び上側ピクセルのうち少なくとも１つを示すことができる。参照ブロックの周辺ピクセルは、参照ブロックの左側ピクセル及び上側ピクセルのうち少なくとも１つを示すことができる。

現在のテクスチャブロックをデコーディングする場合、参照ブロックのピクセル値を、現在のテクスチャブロックの予測値として用いることができる。現在のテクスチャブロックの周辺ピクセル値と異なる視点の参照ブロックの周辺ピクセル値を反映して、数式１を通じて現在のテクスチャブロックの補償された予測値を獲得することができる。

数式１において、ｘ、ｙは、参照ブロック及び現在のテクスチャブロックの内部での座標を意味する。Ｒｅｆ［ｘ，ｙ］は、参照ブロックのピクセル値を意味し、Ｐｒｅｄ［ｘ，ｙ］は、現在のテクスチャブロックの予測値を意味する。αは、第１補償係数であり、βは、第２補償係数である。α、βは、現在のテクスチャブロックの周辺ピクセル及び参照ブロックの周辺ピクセルによって得ることができる。α、βを獲得する方式は、線形最小二乗法による数式２の解を得て用いる方法があり得る。

αは、数式２を通じて、現在のテクスチャブロックの予測値の周辺ピクセル値であるＰｒｅｄ_N（ｉ）、及び参照ブロックのピクセル値の周辺ピクセル値であるＲｅｆ_N（ｉ）を用いて獲得することができる。βは、数式２を通じて、現在のテクスチャブロックの予測値の周辺ピクセル値であるＰｒｅｄ_N（ｉ）、参照ブロックのピクセル値の周辺ピクセル値であるＲｅｆ_N（ｉ）及びαを用いて獲得することができる。数式２において、ｉは、現在のテクスチャブロックの隣接ピクセルと参照ブロックの隣接ピクセルに割り当てられたインデックスを意味する。Ｐｒｅｄ_N（ｉ）は、現在のテクスチャブロックの周辺ピクセル値を意味し、Ｒｅｆ_N（ｉ）は、参照ブロックの周辺ピクセル値を意味する。

視点間、ピクチャ間のピクセル値の分布の差が大きくない場合の視点間補償は、コーディング性能の低下及び複雑度の増加を招くことがある。したがって、現在コーディングされるピクチャと視点間参照ピクチャとのピクセル分布の差を見て視点間補償を行うか否かを示す視点間補償フラグを定義して、き損を防止することができる。

図５は、本発明が適用される一実施例であって、現在のピクチャと参照ピクチャのそれぞれのヒストグラムを示した例を示す。

分布の差を計算する方式の例として、現在のピクチャと参照ピクチャのそれぞれのヒストグラムの絶対差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）を用いる方式があり得る。絶対差分和は、各ピクセルの差の絶対値を合算した値を示す。

現在のピクチャ及び参照ピクチャのピクセル値の分布を示すヒストグラムを生成する。ヒストグラムは、各ピクチャにおいて該当のピクセル値が現れた回数を表示する。

現在のピクチャと参照ピクチャのヒストグラムの各ピクセル値での差を求め、差の絶対値を合算する。

ヒストグラムの絶対差分和（ＳＡＤ）が既決定の閾値以上である場合、視点間補償フラグを１に設定して補償を行うようにし、既決定の閾値以下である場合、視点間補償フラグを０に設定して補償を行わないようにする。

また、正規化相関（ｎｏｒｍａｌｉｚｅｄ ｃｏｒｒｅｌａｔｉｏｎ）値と既決定の閾値とを比較して視点間補償を行うか否かを決定する方式を使用することもできる。正規化相関値は、現在のピクチャと参照ピクチャの各ピクセル間の相互相関（ｃｒｏｓｓ−ｃｏｒｒｅｌａｔｉｏｎ）値を現在のピクチャの自己相関（ａｕｔｏ−ｃｏｒｒｅｌａｔｉｏｎ）値で割って求めることができる。相互相関値は、参照ピクチャと現在のピクチャの各ピクセル間の積の和で獲得することができる。自己相関値は、現在のピクチャの各ピクセルの積の和で獲得することができる。

正規化相関値が既決定の閾値以上である場合、視点間補償フラグを１に設定して補償を行うようにし、閾値以下である場合、視点間補償フラグを０に設定して補償を行わないようにする。

また、視点間補償フラグをピクチャパラメータセット（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）またはビデオパラメータセット（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）から獲得することができる。エンコーダーは、ピクチャパラメータセットまたはビデオパラメータセットに視点間補償フラグを含ませてデコーダーに伝送することができる。現在のテクスチャブロックが上位レベル（ピクチャパラメータセットまたはビデオパラメータセット）と異なる視点間補償フラグを有する場合、スライスヘッダに視点間補償フラグを含ませてデコーダーに伝送することができる。デコーダーは、ピクチャパラメータセットまたはビデオパラメータセットから視点間補償フラグを獲得するか、またはスライスヘッダから視点間補償フラグを獲得することができる。デコーダーは、ピクチャパラメータセットまたはビデオパラメータセットの視点間補償フラグとスライスヘッダの視点間補償フラグとが異なる場合、スライスヘッダの視点間補償フラグを用いてデコーディングすることができる。

図６は、本発明が適用される一実施例であって、視点間補償方法に関するフローチャートを示したものである。

参照ブロックを特定するための視点間モーションベクトルを獲得することができる（Ｓ６００）。視点間モーションベクトルは、現在のテクスチャブロックから参照ブロックを指し示すベクトルとして定義することができる。参照ブロックは、現在のテクスチャブロックと異なる視点である参照視点内に含まれ得る。視点間モーションベクトルは、現在のテクスチャブロックの空間的隣接ブロックまたは時間的隣接ブロックから獲得することができる。

空間的隣接ブロックは、現在のテクスチャブロックの左側下端隣接ブロック、左側隣接ブロック、右側上端隣接ブロック、上端隣接ブロック、左側上端隣接ブロックのうち少なくとも１つを含むことができる。そして、空間的隣接ブロック間の優先順位を考慮して、視点間モーションベクトルを探索することができる。したがって、左側隣接ブロック、上端隣接ブロック、右側上端隣接ブロック、左側下端隣接ブロック、左側上端隣接ブロックの順に空間的隣接ブロックの探索を行うことができる。例えば、現在のテクスチャブロックの視点間モーションベクトルを隣接ブロックから誘導しようとするとき、左側隣接ブロックが視点間インター予測でコーディングされたブロックである場合、左側隣接ブロックの視点間モーションベクトルを現在のテクスチャブロックの視点間モーションベクトルとして獲得し、探索を終了することができる。しかし、探索結果、左側隣接ブロックが視点間インター予測でコーディングされていない場合には、上端隣接ブロックが視点間インター予測でコーディングされているか否かを確認することができる。または、左側下端隣接ブロック、左側隣接ブロック、右側上端隣接ブロック、上端隣接ブロック、左側上端隣接ブロックの順に、視点間インター予測でコーディングされたブロックを見つけるまで探索を行うこともできる。ただし、空間的隣接ブロック間の優先順位は、実施例に限定されない。

時間的隣接ブロックは、現在のテクスチャブロックの中心ピクセルの位置に対応する位置を含む参照ピクチャ内でのブロックとして定義することができる。ここで、参照ピクチャは、現在のテクスチャブロックを含む現在のピクチャと同じ視点、異なる時間のピクチャである。本発明の時間的隣接ブロックは、同じ位置のブロックに限定されず、同じ位置のブロックに隣接した隣接ブロックを意味することもできる。一方、時間的隣接ブロックの候補者として言及した、ａ）同じ位置のブロック、ｂ）同じ位置のブロックに隣接した隣接ブロック、優先順位を考慮して時間的隣接ブロックを探索することができる。

また、視点間モーションベクトルは、現在のテクスチャブロックに対応するデプスデータを用いて求めることができる。デプスデータとカメラパラメータを用いて現在のテクスチャブロックの変移ベクトルを誘導することができる。具体的な誘導方法は、数式３及び４に基づいて説明する。

数式３を参照すると、Ｚは、該当ピクセルのカメラからの距離を意味し、Ｄは、Ｚを量子化した値であって、本発明のデプスデータに対応する。Ｚ_near及びＺ_farは、デプスピクチャが属する視点に対して定義されたＺの最小値及び最大値をそれぞれ意味する。また、Ｚ_near及びＺ_farは、シーケンスパラメータセット、スライスヘッダなどを通じてビットストリームから抽出することができ、デコーダー内に予め定義された情報であってもよい。したがって、該当ピクセルのカメラからの距離Ｚを２５６レベルに量子化した場合、数式３のように、デプスデータ、Ｚ_near及びＺ_farを用いてＺを復元することができる。その後、復元されたＺを用いて、数式４のように現在のテクスチャブロックに対する変移ベクトルを誘導することができる。

数式４において、ｆは、カメラの焦点距離を意味し、Ｂは、カメラ間の距離を意味する。ｆ及びＢは、全てのカメラに対して同一であると仮定することができ、したがって、デコーダーに予め定義された情報であり得る。

視点間モーションベクトルを用いて参照ブロックの位置を特定し、参照ブロックを用いて現在のテクスチャブロックの予測値を獲得することができる（Ｓ６１０）。現在のテクスチャブロックにおいて視点間モーションベクトルが指し示すブロックを参照ブロックとして決定することができる。参照ブロックは、現在のテクスチャブロックとは異なる視点の同一時間にあり得る。参照ブロックのピクセル値を現在のテクスチャブロックの予測値として獲得することができる。Ｓ６１０で獲得された現在のテクスチャブロックの予測値は、参照ブロックのピクセル値と同一であり得る。

現在のテクスチャブロックの周辺ピクセル及び参照ブロックの周辺ピクセルを用いて補償係数を獲得することができる（Ｓ６２０）。図４で説明した現在のテクスチャブロック、参照ブロック、現在のテクスチャブロックの周辺ピクセル、参照ブロックの周辺ピクセルを用いて現在のテクスチャブロックの予測値を補償するための補償係数を獲得することができる。補償係数は、数式２を用いて獲得することができる。補償係数は、第１補償係数及び第２補償係数を含むことができる。本明細書において、αは第１補償係数、βは第２補償係数として定義することができる。

補償係数を用いて現在のテクスチャブロックの予測値を補償することができる（Ｓ６３０）。Ｓ６２０で獲得された補償係数を用いて、数式１を通じて現在のテクスチャブロックの予測値を補償することができる。

補償された予測値を用いて現在のテクスチャブロックをデコーディングすることができる（Ｓ６４０）。現在のテクスチャブロックのレジデュアルをさらに獲得することができ、獲得されたレジデュアルとＳ６３０で補償された予測値を用いて現在のテクスチャブロックをデコーディングすることができる。

現在のテクスチャブロックの周辺ピクセル及び参照ブロックの周辺ピクセルを用いて補償係数を獲得するステップ（Ｓ６２０）の前に、視点間補償フラグを獲得するステップを追加することができる。視点間補償フラグは、現在のテクスチャブロックの予測値に対して視点間補償ステップを行うか否かを示す情報である。例えば、視点間補償フラグが１である場合、視点間補償ステップを行って第１補償係数、第２補償係数を獲得するステップを行うことができる。視点間補償フラグが０である場合、視点間補償ステップを行わないか、または第１補償係数を１に、第２補償係数を０に設定することができる。以下では、視点間補償フラグを獲得する方法について説明する。

図７は、本発明が適用される一実施例であって、視点間補償フラグを獲得する方法に関するフローチャートを示したものである。

現在のピクチャのピクセル値及び参照ピクチャのピクセル値の分布を獲得する（Ｓ６１１）。現在のピクチャは、現在のテクスチャブロックが含まれたピクチャを意味し、参照ピクチャは、参照ブロックが含まれたピクチャを意味する。現在のピクチャのピクセル値及び参照ピクチャのピクセル値の分布は、図５で示したヒストグラムで表すことができる。ヒストグラムにおいてピクセル値の分布は、ピクチャ内で該当ピクセル値の回数で表すことができる。

現在のピクチャのピクセル値と参照ピクチャのピクセル値との差の絶対値を合算する（Ｓ６１２）。Ｓ６１１で獲得されたヒストグラムを用いて、各ピクセル値において現在のピクチャの回数と参照ピクチャの回数との差を獲得する。各ピクセル値での差の絶対値を合算して絶対差分和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）を獲得する。

絶対差分和と既決定の閾値とを比較して視点間補償フラグを獲得する（Ｓ６１３）。Ｓ６１２で獲得された絶対差分和が既決定の閾値よりも大きいと、現在のピクチャと参照ピクチャとの差が大きいことを示し、絶対差分和が既決定の閾値よりも小さいと、現在のピクチャと参照ピクチャとの差が小さいことを示す。絶対差分和が既決定の閾値よりも大きい場合、現在のピクチャと参照ピクチャとの差を補償する必要があるので、視点間補償フラグを１に設定して視点間補償ステップを行うようにすることができる。逆に、絶対差分和が既決定の閾値よりも小さい場合、現在のピクチャと参照ピクチャとの差を補償する必要がないので、視点間補償フラグを０に設定して視点間補償ステップを行わないようにすることができる。または、視点間補償フラグを０に設定して、第１補償係数を１に、第２補償係数を０に設定することができる。

現在のテクスチャブロックをデコーディングする場合、エンコーダーから伝送された視点間補償フラグをデコーダーに伝送するか、またはデコーダーで視点間補償フラグ獲得方法を用いて視点間補償フラグを誘導することができる。

デコーディング装置の場合、インター予測部で視点間モーションベクトルを獲得し、視点間モーションベクトルを用いて参照ブロックを獲得し、参照ブロックを用いて現在のテクスチャブロックの予測値を獲得することができる。インター予測部において、第１補償係数は、現在のテクスチャブロックの隣接ピクセル及び参照ブロックの隣接ピクセルを用いて獲得し、第２補償係数は、現在のテクスチャブロックの隣接ピクセル、参照ブロックの隣接ピクセル及び第１補償係数を用いて獲得することができる。インター予測部において、第１補償係数、第２補償係数を用いて現在のテクスチャブロックの予測値を視点間補償し、視点間補償された現在のテクスチャブロックの予測値を用いて現在のテクスチャブロックをデコーディングすることができる。

そして、インター予測部は、視点間補償フラグを獲得し、視点間補償フラグを用いて視点間補償を行うか否かを決定することができる。

以上で説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送送／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに用いることができる。また、マルチメディア放送送／受信装置は移動通信端末機を含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、エンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有／無線通信網を用いて伝送されてもよい。

本発明は、ビデオ信号をコーディングするのに用いることができる。

Claims (15)

1. 視点間モーションベクトルを獲得するステップと、
   前記視点間モーションベクトルを用いて参照ブロックを獲得するステップであって、前記参照ブロックは参照視点に位置するステップと、
   前記参照ブロックを用いて現在のテクスチャブロックの予測値を獲得するステップと、
   第１補償係数を獲得するステップと、
   第２補償係数を獲得するステップと、
   前記第１補償係数、前記第２補償係数を用いて前記現在のテクスチャブロックの予測値を視点間補償するステップと、
   前記視点間補償された現在のテクスチャブロックの予測値を用いて現在のテクスチャブロックをデコーディングするステップと、を含み、
   前記第１補償係数は、前記現在のテクスチャブロックの隣接ピクセル及び前記参照ブロックの隣接ピクセルを用いて獲得され、
   前記第２補償係数は、前記現在のテクスチャブロックの隣接ピクセル、前記参照ブロックの隣接ピクセル及び前記第１補償係数を用いて獲得されることを特徴とする、ビデオ信号処理方法。
2. 視点間補償フラグを獲得するステップと、
   前記視点間補償フラグを用いて視点間補償を行うか否かを決定するステップと、をさらに含む、請求項１に記載のビデオ信号処理方法。
3. 前記視点間補償フラグはスライスヘッダから獲得される、請求項２に記載のビデオ信号処理方法。
4. 前記視点間補償フラグは、ピクチャパラメータセットまたはビデオパラメータセットから獲得される、請求項２に記載のビデオ信号処理方法。
5. 前記視点間補償フラグは、前記現在のテクスチャブロックが含まれた現在のピクチャのピクセル値と、前記参照ブロックが含まれた参照ピクチャのピクセル値との差を用いて獲得される、請求項２に記載のビデオ信号処理方法。
6. 前記視点間補償フラグは、前記現在のテクスチャブロックが含まれた現在のピクチャのピクセル値と前記参照ブロックが含まれた参照ピクチャのピクセル値との差に対する絶対値の和と、既決定の閾値とを比較して獲得される、請求項２に記載のビデオ信号処理方法。
7. 前記視点間モーションベクトルは、現在のテクスチャブロックの視点間インター予測でコーディングされた隣接ブロックから獲得される、請求項１に記載のビデオ信号処理方法。
8. 前記隣接ブロックは、空間的隣接ブロック及び時間的隣接ブロックを含む、請求項７に記載のビデオ信号処理方法。
9. 視点間モーションベクトルを獲得するインター予測部を含み、
   前記インター予測部は、前記視点間モーションベクトルを用いて、参照視点に位置する参照ブロックを獲得し、前記参照ブロックを用いて現在のテクスチャブロックの予測値を獲得し、第１補償係数を獲得し、第２補償係数を獲得し、前記第１補償係数及び前記第２補償係数を用いて前記現在のテクスチャブロックの予測値を視点間補償し、前記視点間補償された現在のテクスチャブロックの予測値を用いて現在のテクスチャブロックをデコーディングし、
   前記第１補償係数は、前記現在のテクスチャブロックの隣接ピクセル及び前記参照ブロックの隣接ピクセルを用いて獲得され、
   前記第２補償係数は、前記現在のテクスチャブロックの隣接ピクセル、前記参照ブロックの隣接ピクセル及び前記第１補償係数を用いて獲得されることを特徴とする、ビデオ信号処理装置。
10. 視点間補償フラグを獲得し、前記視点間補償フラグを用いて視点間補償を行うか否かを決定する前記インター予測部をさらに含む、請求項９に記載のビデオ信号処理装置。
11. 前記視点間補償フラグはスライスヘッダから獲得される、請求項１０に記載のビデオ信号処理装置。
12. 前記視点間補償フラグは、ピクチャパラメータセットまたはビデオパラメータセットから獲得される、請求項１０に記載のビデオ信号処理装置。
13. 前記視点間補償フラグは、前記現在のテクスチャブロックが含まれた現在のピクチャのピクセル値と、前記参照ブロックが含まれた参照ピクチャのピクセル値との差を用いて獲得される、請求項１０に記載のビデオ信号処理装置。
14. 前記視点間補償フラグは、前記現在のテクスチャブロックが含まれた現在のピクチャのピクセル値と前記参照ブロックが含まれた参照ピクチャのピクセル値との差の絶対値の和と、既決定の閾値とを比較して獲得される、請求項１０に記載のビデオ信号処理装置。
15. 前記視点間モーションベクトルは、現在のテクスチャブロックの視点間インター予測でコーディングされた隣接ブロックから獲得され、
    前記隣接ブロックは、空間的隣接ブロック及び時間的隣接ブロックを含む、請求項９に記載のビデオ信号処理装置。

Images