JP2016528808A - ビデオ信号処理方法およびビデオ信号処理装置 - Google Patents

Abstract

【課題】ビデオ信号のコーディング効率を高めることを実現する。【解決手段】本発明は、ビデオ信号処理方法および装置に関し、現ブロックの視点間動きベクトルを獲得し、視点間動きベクトルを用いて第１対応ブロックを獲得し、第１対応ブロックの予測方法を識別し、第１対応ブロックが時間インター予測でコーディングされていない場合、第２対応ブロックを獲得し、第２対応ブロックの時間動きベクトルを獲得し、第２対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得し、現ブロックの時間動きベクトルを用いて現ブロックをデコーディングすることができる。【選択図】図４

Description

本発明は、ビデオ信号のコーディング方法および装置に関する。

圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性および視点間冗長性を有する点にある。

本発明の目的は、ビデオ信号のコーディング効率を高めることにある。

本発明は、対応ブロックの予測方法を通じて、対応ブロックが時間インター予測でコーディングされたか否かを識別し、対応ブロックが時間インター予測でコーディングされた場合、対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することを特徴とする。

また、本発明は、対応ブロックが時間インター予測でコーディングされていない場合、現ブロックの視点間動きベクトルを修正して、識別された対応ブロックとは異なる対応ブロックを獲得することを特徴とする。

本発明で達成しようとする技術的課題は、以上で言及した技術的課題に制限されず、言及していない他の技術的課題は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。

本発明は、最初の対応ブロックに対応する時間動きベクトルがない場合にも、時間動きベクトルがある対応ブロックを獲得することによって、現ブロックの時間動きベクトルが獲得されない場合が発生しないようにすることができる。

本発明から得られる効果は、以上で言及した効果に制限されず、言及していない他の効果は、下記の記載から、本発明の属する技術分野における通常の知識を有する者に明確に理解されるであろう。

本発明が適用される実施例であって、デプスコーディングが適用される放送受信器の内部ブロック図である。 本発明が適用される一実施例であって、ビデオデコーダの概略ブロック図である。 本発明が適用される一実施例であって、現ブロックの動きベクトルを獲得して現ブロックをデコーディングする実施例のフローチャートである。 本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例を示す図である。 本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートである。 本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートである。

本発明は、現ブロックの視点間動きベクトルを獲得し、視点間動きベクトルを用いて第１対応ブロックを獲得し、第１対応ブロックの予測方法を識別し、第１対応ブロックが時間インター予測でコーディングされていない場合、第２対応ブロックを獲得し、第２対応ブロックの時間動きベクトルを獲得し、第２対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得し、現ブロックの時間動きベクトルを用いて現ブロックをデコーディングするビデオ信号処理方法および装置である。

また、本発明は、第２対応ブロックを獲得するために視点間動きベクトルを修正し、修正された視点間動きベクトルを用いて第２対応ブロックを獲得するビデオ信号処理方法および装置である。

また、本発明は、第１対応ブロックが時間インター予測でコーディングされた場合、第１対応ブロックの時間動きベクトルを獲得し、第１対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得するビデオ信号処理方法および装置である。

また、本発明は、現ブロックの視点間動きベクトルは、現ブロックの隣接ブロックから獲得されることを特徴とするビデオ信号処理方法および装置である。

また、本発明は、現ブロックの視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス（深度、奥行）（depth）値を用いて獲得されることを特徴とするビデオ信号処理方法および装置である。

多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性および視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。勿論、デプスデータをコーディングする際、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできる。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内において、デプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書においてコーディングとは、エンコーディングおよびデコーディングの概念を全て含むことができ、本発明の技術的思想および技術的範囲によって柔軟に解釈することができる。

図１は、本発明が適用される実施例であって、デプスコーディングが適用される放送受信器の内部ブロック図を示す。

本実施例に係る放送受信器は、地上波放送信号を受信して映像を再生するためのものである。上記放送受信器は、受信したデプス関連情報を用いて３次元コンテンツを生成することができる。上記放送受信器は、チューナ１００、復調／チャネルデコーダ１０２、トランスポート逆多重化部１０４、パケット解除部１０６、オーディオデコーダ１０８、ビデオデコーダ１１０、ＰＳＩ／ＰＳＩＰ処理部１１４、３Ｄレンダリング部１１６、フォーマッタ１２０およびディスプレイ部１２２を含む。

チューナ１００は、アンテナ（図示せず）を介して入力される多数の放送信号のうち、ユーザが選局したいずれか１つのチャネルの放送信号を選択して出力する。復調／チャネルデコーダ１０２は、チューナ１００からの放送信号を復調し、復調された信号に対してエラー訂正デコーディングを行ってトランスポートストリーム（ＴＳ）を出力する。トランスポート逆多重化部１０４は、トランスポートストリームを逆多重化して、ビデオＰＥＳとオーディオＰＥＳとを分離し、ＰＳＩ／ＰＳＩＰ情報を抽出する。パケット解除部１０６は、ビデオＰＥＳおよびオーディオＰＥＳに対してパケットを解除し、ビデオＥＳおよびオーディオＥＳを復元する。オーディオデコーダ１０８は、オーディオＥＳをデコーディングしてオーディオビットストリームを出力する。オーディオビットストリームは、デジタル−アナログ変換器（図示せず）によってアナログ音声信号に変換され、増幅器（図示せず）によって増幅された後、スピーカ（図示せず）を介して出力される。ビデオデコーダ１１０は、ビデオＥＳをデコーディングして元の映像を復元する。上記オーディオデコーダ１０８および上記ビデオデコーダ１１０のデコーディング手順（過程）（procedure）は、ＰＳＩ／ＰＳＩＰ処理部１１４によって確認されるパケットＩＤ（ＰＩＤ）をベースとして行われてもよい。デコーディング手順において、上記ビデオデコーダ１１０はデプス情報を抽出することができる。また、仮想カメラ視点の映像を生成するのに必要な付加情報、例えば、カメラ情報、または相対的に前にある客体によって遮られる領域（Occlusion）を推定するための情報（例えば、客体の輪郭などの幾何学的情報、客体の透明度情報およびカラー情報）などを抽出して３Ｄレンダリング部１１６に提供することができる。しかし、本発明の他の実施例においては、上記デプス情報および／または付加情報がトランスポート逆多重化部１０４によって分離されてもよい。

ＰＳＩ／ＰＳＩＰ処理部１１４は、トランスポート逆多重化部１０４からのＰＳＩ／ＰＳＩＰ情報を受信し、これをパージングしてメモリ（図示せず）またはレジスタに格納することによって、格納された情報をベースとして放送が再生されるようにする。３Ｄレンダリング部１１６は、復元された映像、デプス情報、付加情報およびカメラパラメータを用いて、仮想カメラ位置でのカラー情報、デプス情報などを生成することができる。

また、３Ｄレンダリング部１１６は、復元された映像、および上記復元された映像に対するデプス情報を用いて３Ｄワーピング（Warping）を行うことによって、仮想カメラ位置での仮想映像を生成する。本実施例では、上記３Ｄレンダリング部１１６が上記ビデオデコーダ１１０と別個のブロックとして構成されて説明されているが、これは一実施例に過ぎず、上記３Ｄレンダリング部１１６は、上記ビデオデコーダ１１０に含まれてもよい。

フォーマッタ１２０は、デコーディング手順で復元した映像、すなわち、実際にカメラによって撮影された映像、および３Ｄレンダリング部１１６によって生成された仮想映像を当該受信器でのディスプレイ方式に合わせてフォーマットし、ディスプレイ部１２２を介して３Ｄ映像が表示されるようにする。ここで、上記３Ｄレンダリング部１１６による仮想カメラ位置でのデプス情報および仮想映像の合成、そして、フォーマッタ１２０による映像フォーマットが、ユーザの命令に応答して選択的に行われてもよい。すなわち、視聴者は、リモコン（図示せず）を操作して合成映像が表示されないようにしてもよく、映像合成が行われる時点を指定することもできる。

上記で説明したように、３Ｄ映像を生成するために、デプス情報は３Ｄレンダリング部１１６で用いられているが、他の実施例として、上記ビデオデコーダ１１０で用いられてもよい。以下では、上記ビデオデコーダ１１０でデプス情報を用いる様々な実施例を説明する。

図２は、本発明が適用される実施例であって、ビデオデコーダの概略ブロック図を示す。

図２を参照すると、上記ビデオデコーダ１１０は、大体、エントロピーデコーディング部２１０、逆量子化部２２０、逆変換部２３０、デブロッキングフィルタ部２４０、復号ピクチャバッファ部２５０、インター予測部２６０およびイントラ予測部２７０を含むことができる。ここで、実線はカラーピクチャデータの流れを意味し、点線はデプスピクチャデータの流れを意味する。このように、図２では、カラーピクチャデータとデプスピクチャデータとを分け（区分し）て示したが、これは、別個のビットストリームを意味し得るか、または、１つのビットストリーム内でデータの流れのみを分けたものと見ることもできる。すなわち、上記カラーピクチャデータと上記デプスピクチャデータとは、１つのビットストリームまたは別個のビットストリームとして送信（伝送）（transmit）されてもよく、図２では、データの流れを示しているだけで、１つのデコーダ内で全て行われるものに限定されない。

まず、受信したデプスビットストリーム２００を復号するために、ＮＡＬ単位でパージングを行う。このとき、ＮＡＬヘッダ領域、ＮＡＬヘッダの拡張領域、シーケンスヘッダ領域（例えば、シーケンスパラメータセット）、シーケンスヘッダの拡張領域、ピクチャヘッダ領域（例えば、ピクチャパラメータセット）、ピクチャヘッダの拡張領域、スライスヘッダ領域、スライスヘッダの拡張領域、スライスデータ領域、またはマクロブロック領域には、デプスに関連する種々の属性情報が含まれてもよい。デプスコーディングには、別個のコーデックが用いられてもよいが、既存のコーデックと互換であれば、デプスビットストリームである場合に限って、デプスに関連する種々の属性情報を追加することがより効率的であり得る。例えば、上記シーケンスヘッダ領域（例えば、シーケンスパラメータセット）またはシーケンスヘッダの拡張領域において、デプスビットストリームであるか否かを識別できるデプス識別情報を追加することができる。上記デプス識別情報に応じて、入力されたビットストリームがデプスコーディングされたビットストリームである場合に限って、デプスシーケンスに関する属性情報を追加することができる。

パージングされたデプスビットストリーム２００は、エントロピーデコーディング部２１０を介してエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部２２０は、受信して量子化された値に一定の定数を乗じて変換された係数値を獲得し、逆変換部２３０は、上記係数値を逆変換してデプスピクチャのデプス情報を復元するようになる。イントラ予測部２７０は、現デプスピクチャの復元されたデプス情報を用いて画面内予測を行う。一方、デブロッキングフィルタ部２４０は、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックにデブロッキングフィルタリングを適用する。フィルタは、ブロックの縁部を滑らかにすることで、デコーディングされたフレームの画質を向上させる。フィルタリング手順の選択は、境界の強度（boundary strength）および境界の周囲のイメージサンプルの変化度（gradient）によって左右される。フィルタリングを経たデプスピクチャは、出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部２５０に格納されたりする。

復号ピクチャバッファ部（Decoded Picture Buffer unit）２５０は、画面間予測を行うために、以前にコーディングされたデプスピクチャを格納したり開放したりする役割などを行う。このとき、復号ピクチャバッファ部２５０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ_ｎｕｍおよびＰＯＣ（Picture Order Count）を用いる。したがって、デプスコーディングにおいて、上記以前にコーディングされたピクチャの中には現デプスピクチャと異なる視点にあるデプスピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、上記ｆｒａｍｅ_ｎｕｍおよびＰＯＣだけでなく、デプスピクチャの視点を識別するデプス視点情報も共に用いることができる。

また、上記復号ピクチャバッファ部２５０は、デプスピクチャの視点間予測のための参照ピクチャリストを生成するために、デプス視点に関する情報を用いることができる。例えば、デプス−ビュー（視点）参照情報（depth-view reference information）を用いることができる。デプス−ビュー参照情報とは、デプスピクチャの視点間依存関係を示すために用いられる情報のことをいう。例えば、全デプス視点の数、デプス視点識別番号、デプス−ビュー参照ピクチャの数、デプス−ビュー参照ピクチャのデプス視点識別番号などがあり得る。

上記復号ピクチャバッファ部２５０は、より柔軟に画面間予測を実現するために参照ピクチャを管理する。例えば、適応メモリ管理方法（Memory Management Control Operation Method）および移動ウィンドウ方法（Sliding Window Method）を用いることができる。これは、参照ピクチャおよび非参照ピクチャのメモリを１つのメモリに統一して管理し、少ないメモリで効率的に管理するためである。デプスコーディングにおいて、デプスピクチャは、復号ピクチャバッファ部内でカラーピクチャと区別するために別の指示（indication）でマークされてもよく、上記マーキング手順で各デプスピクチャを識別するための情報が用いられてもよい。このような手順を通じて管理される参照ピクチャは、インター予測部２６０においてデプスコーディングに用いられてもよい。

図２を参照すると、インター予測部２６０は、動き補償部２６１、仮想視点合成部２６２およびデプスピクチャ生成部２６３を含むことができる。

動き補償部２６１は、エントロピーデコーディング部２１０から送信された情報を用いて現ブロックの動きを補償する。ビデオ信号から現ブロックに隣接するブロックの動きベクトルを抽出し、上記現ブロックの動きベクトル予測値を獲得する。上記動きベクトル予測値および上記ビデオ信号から抽出される差分（difference）ベクトルを用いて、現ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われてもよく、または複数のピクチャを用いて行われてもよい。デプスコーディングにおいて、現デプスピクチャが異なる視点にあるデプスピクチャを参照する場合、上記復号ピクチャバッファ部２５０に格納されているデプスピクチャの視点間予測のための参照ピクチャリストに関する情報を用いて、動き補償を行うことができる。また、そのデプスピクチャの視点を識別するデプス視点情報を用いて、動き補償を行ってもよい。

また、仮想視点合成部（Virtual View Synthesizing Unit）２６２は、現カラーピクチャの視点に隣接する視点のカラーピクチャを用いて仮想視点のカラーピクチャを合成する。互いに隣接する視点のカラーピクチャを用いるため、または所望の特定の視点のカラーピクチャを用いるために、上記カラーピクチャの視点を示す視点識別情報を用いることができる。上記仮想視点のカラーピクチャを生成する場合、上記仮想視点のカラーピクチャを生成するか否かを示すフラグ情報を定義することができる。上記フラグ情報が、上記仮想視点のカラーピクチャを生成することを示す場合、上記視点識別情報を用いて仮想視点のカラーピクチャを生成することができる。上記仮想視点合成部２６２を介して獲得された仮想視点のカラーピクチャは、レファレンス（参照）ピクチャとして用いられてもよく、この場合、勿論、上記仮想視点のカラーピクチャにも上記視点識別情報を割り当てることができる。

他の実施例として、上記仮想視点合成部２６２は、現デプスピクチャの視点に隣接する視点にあるデプスピクチャを用いて、仮想視点のデプスピクチャを合成することができる。同様に、デプスピクチャの視点を示すためにデプス視点識別情報を用いることができる。ここで、上記デプス視点識別情報は、対応するカラーピクチャの視点識別情報から誘導され得る。例えば、上記対応するカラーピクチャは、現デプスピクチャと同一のピクチャ出力順序情報および同一の視点識別情報を有することができる。

デプスピクチャ生成部２６３は、デプスコーディング情報を用いて現デプスピクチャを生成することができる。ここで、上記デプスコーディング情報は、カメラと客体との間の距離を示す距離変数（例えば、カメラ座標系上のＺ座標値など）、デプスコーディングのためのマクロブロックタイプ情報、デプスピクチャ内の境界線識別情報、ＲＢＳＰ内のデータがデプスコーディングされたデータを含んでいるか否かを示す情報、または、データタイプがデプスピクチャデータであるか、カラーピクチャデータであるか、もしくはパララックス（視差）（parallax）データであるかを示す情報などを含むことができる。また、上記デプスコーディング情報を用いて現デプスピクチャを予測することもできる。すなわち、現デプスピクチャに隣接するデプスピクチャを用いたインター予測が可能であり、現デプスピクチャ内のデコーディングされたデプス情報を用いたイントラ予測が可能である。

上述した動き補償部２６１は、現ブロックの隣接視点に位置する対応ブロックから動きベクトル予測値を獲得することもできる。ここで、対応ブロックは、現ブロックが位置する現在の視点とは異なる視点に位置するブロックとして定義することができる。対応ブロックは、現ブロックに対応する視点間動きベクトルを用いて獲得したり、その位置を特定したりすることができる。本発明において、対応ブロックは、第１対応ブロック〜第６対応ブロックを含むことができる。動き補償部２６１は、対応ブロックが時間インター予測でコーディングされた場合に、対応ブロックの動きベクトルを予測値として獲得することができる。しかし、対応ブロックがイントラ予測でコーディングされた場合、対応ブロックの動きベクトルを用いることができない。

これによって、本発明では、対応ブロックが動きベクトルを有していない場合に、現ブロックの動きベクトルを獲得して現ブロックをデコーディングする方法、およびその方法を用いる装置を提案する。

図３は、本発明が適用される一実施例であって、現ブロックの動きベクトルを獲得して現ブロックをデコーディングする実施例のフローチャートを示したものである。

現ブロックに対応する第１視点間動きベクトルを獲得することができる（Ｓ３１０）。ここで、第１視点間動きベクトルは、現ブロックから参照視点の参照ピクチャ内の対応ブロックを指示する動きベクトルとして定義することができる。第１視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得され得る。または、第１視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。

視点間動きベクトルを用いて対応ブロックを獲得することができる（Ｓ３２０）。ここで、対応ブロックは、現在の視点に隣接する参照視点の参照ピクチャ内のブロックであって、視点間動きベクトルに対応するブロックを示すことができる。本発明において、視点間動きベクトルは、ステップＳ３１０で獲得された視点間動きベクトルだけでなく、後述するステップＳ３４０で修正された視点間動きベクトルを含む。また、本発明において、対応ブロックは、ステップＳ３１０で獲得された第１視点間動きベクトルに対応する第１対応ブロック、およびステップＳ３４０で修正された視点間動きベクトルに対応する第２対応ブロックを含むことができる。動き補償部２６１は、視点間動きベクトルを現ブロックに対応させて、対応ブロックの位置を特定し獲得することができる。

対応ブロックの予測方法を識別することができる（Ｓ３３０）。対応ブロックの予測方法は、イントラ予測とインター予測とに分けることができる。詳細には、対応ブロックの予測方法は、イントラ予測、視点間インター予測または時間インター予測などに分けることができる。対応ブロックの予測方法は、予測タイプ情報、対応ブロックに対応する動きベクトル情報、または参照ピクチャ情報などを用いて識別されてもよい。

予測タイプ情報は、どのような予測方法によって対応ブロックがコーディングされたかを示す情報として定義することができる。したがって、予測タイプ情報が示す予測方法に応じて対応ブロックの予測方法を識別することができる。例えば、予測タイプ情報が時間インター予測を示す場合、対応ブロックが時間インター予測でコーディングされたことを識別することができる。

動きベクトル情報は、対応ブロックの動きベクトルの有無、視点間動きベクトルであるか否か、および時間動きベクトルであるか否かなどの情報を少なくとも１つ含むと定義することができる。例えば、動きベクトル情報が、対応ブロックの動きベクトルがあり、動きベクトルが時間動きベクトルであることを示す場合、対応ブロックが時間インター予測でコーディングされたことを識別することができる。

参照ピクチャ情報は、対応ブロックの参照ピクチャの有無、参照ピクチャが対応ブロックと同一の視点にあるか否かなどの情報を少なくとも１つ含むと定義することができる。例えば、参照ピクチャ情報が、対応ブロックの参照ピクチャがあり、参照ピクチャが対応ブロックと同一の視点にあることを示す場合、対応ブロックが時間インター予測でコーディングされたことを識別することができる。

対応ブロックが時間インター予測でコーディングされていない場合、現ブロックの視点間動きベクトルを修正することができる（Ｓ３４０）。対応ブロックが時間インター予測でコーディングされず、イントラ予測または視点間インター予測でコーディングされた場合に、現ブロックの時間動きベクトルを獲得するための時間動きベクトルが存在しないことがある。したがって、対応ブロックが時間インター予測でコーディングされていない場合、他の対応ブロックを獲得するために、現ブロックの視点間動きベクトルを修正することができる。修正された視点間動きベクトルを第２視点間動きベクトルとして定義することができる。以下では、現ブロックの視点間動きベクトルを修正する一例について説明する。

現ブロックの視点間動きベクトルは、予め決定された視点間動きベクトル修正情報を用いて修正されてもよい。予め決定された視点間動きベクトル修正情報は、現在の視点の視点間動きベクトルに適用されて、修正された視点間動きベクトルを生成するために用いられるもので、修正された視点間動きベクトルと、最初に獲得された現在の視点の視点間動きベクトルとの差として定義することができる。

したがって、視点間動きベクトル修正情報を獲得し、視点間動きベクトル修正情報を、最初に獲得した現ブロックの視点間動きベクトルに適用することで、修正された視点間動きベクトルを獲得することができる。例えば、修正された視点間動きベクトルは、最初に獲得された現ブロックの視点間動きベクトルの左側または右側を指示することができる。

修正された視点間動きベクトルを用いて、最初に獲得した対応ブロックと異なる位置の対応ブロック（以下、第２対応ブロックという）を獲得することができる。そして、第２対応ブロックの予測方法を識別して（ステップＳ３３０と同一の方法で対応ブロックの予測方法を識別できる）、第２対応ブロックが時間インター予測でコーディングされた場合、ステップＳ３５０を実行して対応ブロックの時間動きベクトルを獲得することができる。もし、第２対応ブロックが時間インター予測でコーディングされていない場合、また、他の対応ブロック（第Ｎ対応ブロック）を獲得するために、現ブロックの視点間動きベクトルを再び修正することができる。

ステップＳ３４０は、時間インター予測でコーディングされた対応ブロックが識別されるまで行うことができる。更に他の実施例として、ステップＳ３４０は、予め決定された回数だけ、時間インター予測でコーディングされた対応ブロックを識別し、予め決定された回数内で、時間インター予測でコーディングされた対応ブロックを識別できなかった場合に、修正を中断することもできる。

対応ブロックが時間インター予測でコーディングされた場合、対応ブロックの時間動きベクトルを獲得することができる（Ｓ３５０）。対応ブロックが時間インター予測でコーディングされた場合、対応ブロックは、時間動きベクトルを含む動き情報を含むことができる。ここで、時間動きベクトルは、対応ブロックと同一の視点、異なる時間の参照ピクチャ内の参照ブロックを指示する動きベクトルとして定義することができる。

対応ブロックの時間動きベクトルを用いて、現ブロックの時間動きベクトルを獲得することができる（Ｓ３６０）。現ブロックの時間動きベクトルは、対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差（レジデュアル）（residual）を用いて獲得され得る。または、現ブロックの時間動きベクトルは、対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。ここで、動きベクトルの残差は、元の動きベクトルと、動きベクトル予測値との差として定義することができる。動きベクトルの残差は、ビットストリームから獲得することができる。

現ブロックの時間動きベクトルを用いて、現ブロックをデコーディングすることができる（Ｓ３７０）。例えば、時間動きベクトルが指示する参照ブロックのピクセル値を予測値として獲得し、予測値を用いて現ブロックのピクセル値を獲得することができる。

図４は、本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例を示したものである。

現ブロック４１０は、現在の視点Ｖ１の現ピクチャ４２０に含まれている。そして、現ブロックの視点間動きベクトル４３０が獲得されると、視点間動きベクトル４３０が指示する第１対応ブロック４４０を獲得することができる。もし、第１対応ブロック４４０が時間動きベクトルを用いてコーディングされたブロックではない場合、現ブロックの視点間動きベクトル４３０を修正し、修正された視点間動きベクトル４５０を獲得することができる。そして、修正された視点間動きベクトル４５０が指示する第２対応ブロック４６０を獲得することができる。第２対応ブロック４６０の時間インター予測に用いられる時間動きベクトル４７０を獲得することができる。獲得された第２対応ブロックの時間動きベクトル４７０を用いて現ブロックの時間動きベクトル４８０を獲得することができる。時間動きベクトル４８０を用いた時間インター予測を通じて、現ブロックをデコーディングすることができる。

以下では、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする更に他の実施例について、図５および図６を用いて説明する。図５および図６の実施例では、現ブロックに対応する視点間動きベクトルが少なくとも２つ以上存在することを仮定する。

図５は、本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートを示したものである。

現ブロックに対応する複数の視点間動きベクトルを獲得することができる（Ｓ５１０）。現ブロックに対応する複数の視点間動きベクトルは、現ブロックに対応する、それぞれ異なる視点間動きベクトルを示すことができる。例えば、現ブロックに対応する複数の視点間動きベクトルは、第３視点間動きベクトルおよび第４視点間動きベクトルを含むことができる。一例として、第３視点間動きベクトルが、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得される場合に、第４視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。他の一例として、第３視点間動きベクトルが現ブロックに対応するデプスブロックのデプス値を用いて獲得される場合に、第４視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得されてもよい。他の一例として、第４視点間動きベクトルは、第３視点間動きベクトルを修正して獲得されてもよい。

第３視点間動きベクトルを用いて第３対応ブロックを獲得することができる（Ｓ５２０）。第３対応ブロックは、現ブロックに第３視点間動きベクトルを対応させて指示される、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる（The third corresponding block may correspond to a block in a reference picture of a neighboring reference view of a current view, which is indicated in a manner of making the third interview motion vector correspond to the current block）。

第３対応ブロックの予測方法を識別することができる（Ｓ５３０）。第３対応ブロックの予測方法は、イントラ予測とインター予測とに分けることができる。詳細には、対応ブロックの予測方法は、イントラ予測、視点間インター予測または時間インター予測などに分けることができる。対応ブロックの予測方法は、予測タイプ情報、対応ブロックに対応する動きベクトル情報、または参照ピクチャ情報などを用いて識別されてもよい。予測方法を識別する方法は、図３のＳ３４０で説明した方法と同一である。

第３対応ブロックが時間インター予測でコーディングされた場合、第３対応ブロックの時間動きベクトルを獲得し（Ｓ５４０）、第３対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる（Ｓ５５０）。現ブロックの時間動きベクトルは、第３対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第３対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。

第３対応ブロックが時間インター予測でコーディングされていない場合、第４対応ブロックの時間動きベクトルを獲得することができる（Ｓ５６０）。第４対応ブロックは、現ブロックに第４視点間動きベクトルを対応させて指示される（indicated in a manner of making a fourth interview motion vector correspond to the current block）、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる。

第４対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる（Ｓ５７０）。現ブロックの時間動きベクトルは、第４対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第４対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。

現ブロックの時間動きベクトルを用いて現ブロックをデコーディングすることができる（Ｓ５８０）。例えば、時間動きベクトルが指示する参照ブロックのピクセル値を予測値として獲得し、予測値を用いて現ブロックのピクセル値を獲得することができる。

図６は、本発明が適用される一実施例であって、現ブロックの時間動きベクトルを獲得して現ブロックをデコーディングする一実施例のフローチャートを示したものである。

現ブロックの第５視点間動きベクトルを獲得することができる（Ｓ６１０）。第５視点間動きベクトルは、現ブロックに対応する視点間動きベクトルであって、現ブロックから参照視点の参照ピクチャ内の対応ブロックを指示する動きベクトルとして定義することができる。第５視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得され得る。または、第５視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。

第５視点間動きベクトルを用いて第５対応ブロックを獲得することができる（Ｓ６２０）。第５対応ブロックは、現ブロックに第５視点間動きベクトルを対応させて指示される（indicated in a manner of making a fifth interview motion vector correspond to the current block）、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる。

第５対応ブロックの予測方法を識別することができる（Ｓ６３０）。第５対応ブロックの予測方法は、イントラ予測とインター予測とに分けることができる。詳細には、対応ブロックの予測方法は、イントラ予測、視点間インター予測または時間インター予測などに分けることができる。対応ブロックの予測方法は、予測タイプ情報、対応ブロックに対応する動きベクトル情報、または参照ピクチャ情報などを用いて識別されてもよい。予測方法を識別する方法は、図３のＳ３４０で説明した方法と同一である。

第５対応ブロックが時間インター予測でコーディングされた場合、第５対応ブロックの時間動きベクトルを獲得し（Ｓ６４０）、第５対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる（Ｓ６５０）。現ブロックの時間動きベクトルは、第５対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第５対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。

第５対応ブロックが時間インター予測でコーディングされていない場合、現ブロックの第６視点間動きベクトルを獲得することができる（Ｓ６６０）。第６視点間動きベクトルは、現ブロックに対応する視点間動きベクトルであって、現ブロックから参照視点の参照ピクチャ内の対応ブロックを指示する動きベクトルとして定義することができる。第６視点間動きベクトルは、現ブロックに隣接する隣接ブロックの視点間動きベクトルを用いて獲得され得る。または、第６視点間動きベクトルは、現ブロックに対応するデプスブロックのデプス値を用いて獲得されてもよい。または、第６視点間動きベクトルは、第５視点間動きベクトルを修正して獲得されてもよい。

第６対応ブロックの時間動きベクトルを獲得することができる（Ｓ６７０）。第６対応ブロックは、現ブロックに第６視点間動きベクトルを対応させて指示される（indicated in a manner of making a sixth interview motion vector correspond to the current block）、現在の視点に隣接する参照視点の参照ピクチャ内のブロックを示すことができる。

第６対応ブロックの時間動きベクトルを用いて現ブロックの時間動きベクトルを獲得することができる（Ｓ６８０）。現ブロックの時間動きベクトルは、第６対応ブロックの時間動きベクトルを予測値として用い、動きベクトルの残差を用いて獲得され得る。または、現ブロックの時間動きベクトルは、第６対応ブロックの時間動きベクトルをそのまま用いて獲得されてもよい。

現ブロックの時間動きベクトルを用いて現ブロックをデコーディングすることができる（Ｓ６９０）。例えば、時間動きベクトルが指示する参照ブロックのピクセル値を予測値として獲得し、予測値を用いて現ブロックのピクセル値を獲得することができる。

以上で説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Digital Multimedia Broadcasting）などのマルチメディア放送送受信装置に備えられ、ビデオ信号およびデータ信号などをデコーディングするのに用いることができる。また、上記マルチメディア放送送受信装置は、移動通信端末機を含むことができる。

また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるプログラムとして製作され、コンピュータ読取可能記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ読取可能記録媒体に格納することができる。上記コンピュータ読取可能記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ読取可能記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、上記エンコーティング方法により生成されたビットストリームは、コンピュータ読取可能記録媒体に格納されるか、または有／無線通信網を用いて伝送されてもよい。

本発明は、ビデオ信号をコーディングするのに用いることができる。

Claims (10)

1. 現ブロックの視点間動きベクトルを獲得するステップと、
   前記視点間動きベクトルを用いて第１対応ブロックを獲得するステップと、
   前記第１対応ブロックの予測方法を識別するステップと、
   前記第１対応ブロックが時間インター予測でコーディングされていない場合、第２対応ブロックを獲得するステップと、
   前記第２対応ブロックの時間動きベクトルを獲得するステップと、
   前記第２対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得するステップと、
   前記現ブロックの時間動きベクトルを用いて現ブロックをデコーディングするステップと、を有する、ビデオ信号処理方法。
2. 前記第２対応ブロックを獲得するステップは、
   前記視点間動きベクトルを修正するステップと、
   前記修正された視点間動きベクトルを用いて前記第２対応ブロックを獲得するステップと、を有する、請求項１に記載のビデオ信号処理方法。
3. 前記第１対応ブロックが時間インター予測でコーディングされた場合、前記第１対応ブロックの時間動きベクトルを獲得するステップと、
   前記第１対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得するステップと、をさらに有する、請求項１に記載のビデオ信号処理方法。
4. 前記現ブロックの視点間動きベクトルは、前記現ブロックの隣接ブロックから獲得される、請求項１に記載のビデオ信号処理方法。
5. 前記現ブロックの視点間動きベクトルは、前記現ブロックに対応するデプスブロックのデプス値を用いて獲得される、請求項１に記載のビデオ信号処理方法。
6. 現ブロックの視点間動きベクトルを獲得し、前記視点間動きベクトルを用いて第１対応ブロックを獲得し、前記第１対応ブロックの予測方法を識別し、前記第１対応ブロックが時間インター予測でコーディングされていない場合、第２対応ブロックを獲得し、前記第２対応ブロックの時間動きベクトルを獲得し、前記第２対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得し、前記現ブロックの時間動きベクトルを用いて現ブロックをデコーディングする、インター予測部を有する、ビデオ信号処理装置。
7. 前記インター予測部は、前記視点間動きベクトルを修正し、前記修正された視点間動きベクトルを用いて前記第２対応ブロックを獲得する、請求項６に記載のビデオ信号処理装置。
8. 前記インター予測部は、前記第１対応ブロックが時間インター予測でコーディングされた場合、前記第１対応ブロックの時間動きベクトルを獲得し、前記第１対応ブロックの時間動きベクトルを用いて前記現ブロックの時間動きベクトルを獲得する、請求項６に記載のビデオ信号処理装置。
9. 前記現ブロックの視点間動きベクトルは、前記現ブロックの隣接ブロックから獲得される、請求項６に記載のビデオ信号処理装置。
10. 前記現ブロックの視点間動きベクトルは、前記現ブロックに対応するデプスブロックのデプス値を用いて獲得される、請求項６に記載のビデオ信号処理装置。

Images