JP5273816B2 - 高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置 - Google Patents

Description

関連出願の相互参照
本願は、２００７年１月４日出願の米国仮特許出願第６０／８８３４５４号の特典を請求するものであり、その全体を参照により組み込む。

本発明は、一般に、ビデオの符号化および復号に関し、より詳細には、高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置に関する。

破損したビットストリームにおいてピクチャが失われたとき、いくつかのピクチャ単位のエラー隠蔽方法を使用して、失われたピクチャを隠蔽することができる。隠蔽を実行するためには、ピクチャが失われたと判定し、当該ピクチャの位置を決定しなければならない。

シングル・ビューの場合には、ピクチャの損失を検出する方法はいくつかある。ＩＳＯ／ＩＥＣ ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）標準／ＩＴＵ−Ｔ Ｈ．２６４勧告（以下「ＭＰＥＧ−４ ＡＶＣ標準」と呼ぶ）では、ｆｒａｍｅ＿ｎｕｍの概念が参照ピクチャの損失を検出する目的に適う。さらに、リカバリ・ポイントＳＥＩメッセージ、サブシーケンスＳＥＩメッセージ、リカバリ・ポイントＳＥＩメッセージ、参照ピクチャ・マーキング反復ＳＥＩメッセージなどの付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）メッセージ、ピクチャ・オーダ・カウント（ＰＯＣ）設計、およびマルチ・リファレンス・ピクチャ・バッファリング（ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒｉｎｇ）も、ピクチャ損失検出のために使用することができる。

ただし、これらの方法は、マルチ・ビューの場合には拡張されていない。

本発明は、従来技術の上記その他の欠点および不利に対処するものであり、高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置に関するものである。

本発明の１つの特徴によれば、装置が提供される。この装置は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備える。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダは、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定する。既存のシンタックス要素は、前記少なくとも１つのビューを含む前記ビットストリーム内の符号化ビューの数を示す。

本発明の別の特徴によれば、方法が提供される。この方法は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含む。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。復号ステップは、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定するステップを含む。既存のシンタックス要素は、前記少なくとも１つのビューを含む前記ビットストリーム内の符号化ビューの数を示す。

本発明の上記その他の特徴、特色および利点は、以下の例示的な実施例の詳細な説明を添付の図面と関連付けて読めば明らかになる。

本発明は、以下の例示的な図面によってより深く理解することができる。

本発明の一実施例による、本発明を適用することができる例示的なマルチ・ビュー・ビデオ符号化（ＭＶＣ）デコーダを示すブロック図である。 本発明の一実施例による、本発明を適用することができるビューの数が８個であるマルチ・ビュー・ビデオ符号化システムのタイム・ファースト（ｔｉｍｅ−ｆｉｒｓｔ）符号化構造を示す図である。 本発明の一実施例による、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する例示的な方法を示す流れ図である。 本発明の一実施例による、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する別の例示的な方法を示す流れ図である。

本発明は、高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置に関する。

本明細書では、本発明について説明する。従って、本明細書に明示的に記述または図示してはいないが本発明を実施し、本発明の趣旨および範囲内に含まれる様々な構成を、当業者なら考案することができることを理解されたい。

本明細書に記載する全ての例および条件に関する表現は、本発明と発明者が与える当技術分野をさらに進歩させるための概念とを読者が理解するのを助けるという教育的な目的を有するものであり、これらの具体的に列挙した例および条件に限定されないものと解釈されたい。

さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物と将来開発されるであろう均等物の両方が含まれる、すなわち、その構造にかかわらず同じ機能を実行する、将来開発される任意の要素が含まれるものとする。

従って、例えば、当業者なら、本明細書に示すブロック図が本発明を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示される場合もされない場合もあるコンピュータまたはプロセッサによって実行される様々なプロセスを表すことも理解されたい。

図面に示す様々な要素の機能は、専用のハードウェア、および適当なソフトウェアと連動してソフトウェアを実行することができるハードウェアを使用して実現することができる。プロセッサによって実現するときには、これらの機能は単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実施することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。

従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、開発者が前後関係から具体的に判断して特定の技術を選択することができる。

本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含む、当該機能を実行する任意の態様を含むものとする。特許請求の範囲によって定義される本発明は、列挙する様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。

本明細書において、本発明の「一実施例」または「実施例」と述べていれば、それは、当該実施例と関連づけて述べられる特定の特色、構造、特性などが、本発明の少なくとも１つの実施例には含まれているということを意味する。従って、本明細書では様々な箇所で「一実施例では」または「実施例では」という表現が出てくるが、それら全てが必ずしも同じ実施例のことを言っているとは限らない。

本明細書で用いる「高レベル・シンタックス」という用語は、階層的にマクロブロック・レイヤの上位に位置するビットストリームに存在するシンタックスを指す。例えば、本明細書で用いる「高レベル・シンタックス」という用語は、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックス、および付加拡張情報（ＳＥＩ）メッセージのシンタックスを指すことができる。ただし、これらに限定されるわけではない。

説明のため、また簡潔にするために、本明細書では、以下の実施例を、シーケンス・パラメータ・セットを使用する場合に関連して説明する。ただし、本発明は、本明細書に開示する改良した信号方式に関するシーケンス・パラメータ・セットの使用のみに限定されるわけではなく、従って、この改良した信号方式は、本発明の趣旨を維持しながら、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックス、および付加拡張情報（ＳＥＩ）メッセージのシンタックスなど（ただしこれらに限定されない）、少なくとも上述したタイプの高レベル・シンタックスに関して実施することができることを理解されたい。

さらに、本明細書では本発明の１つまたは複数の実施例をＭＰＥＧ−４ ＡＶＣ標準に関連して説明しているが、本発明はこの標準のみに限定されるわけではなく、従って、本発明の趣旨を維持しながら、ＭＰＥＧ―４ ＡＶＣ標準の拡張など、その他のビデオ符号化標準、勧告およびそれらの拡張に関連して利用することもできることも理解されたい。

さらに、「および／または」という表現、例えば「Ａおよび／またはＢ」という表現を使用するのは、記載した第１の選択肢（Ａ）を選択する場合、記載した第２の選択肢（Ｂ）を選択する場合、または両選択肢（ＡおよびＢ）を選択する場合を含むものとすることを理解されたい。別の例として、「Ａ、Ｂおよび／またはＣ」の場合には、この表現は、記載した第１の選択肢（Ａ）を選択する場合、記載した第２の選択肢（Ｂ）を選択する場合、記載した第３の選択肢（Ｃ）を選択する場合、記載した第１および第２の選択肢（ＡおよびＢ）を選択する場合、記載した第１および第３の選択肢（ＡおよびＣ）を選択する場合、記載した第２および第３の選択肢（ＢおよびＣ）を選択する場合、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択する場合を含むものとする。これは、当技術分野および関連技術分野の当業者には明らかなように、列挙した項目の数だけ拡張することができる。

図１を参照すると、例示的なマルチ・ビュー・ビデオ符号化（ＭＶＣ）デコーダの全体を、参照番号１００で示してある。デコーダ１００は、逆量子化器１１０の入力に信号通信で接続された出力を有するエントロピ・デコーダ１０５を備える。逆量子化器の出力は、逆変換器１１５の入力に信号通信で接続される。逆変換器１１５の出力は、合成器１２０の第１の非反転入力に信号通信で接続される。合成器１２０の出力は、デブロッキング・フィルタ１２５の入力およびイントラ予測器１３０の入力に信号通信で接続される。デブロッキング・フィルタ１２５の出力は、参照ピクチャ記憶装置１４０（ビューｉ用）の入力に信号通信で接続される。参照ピクチャ記憶装置１４０の出力は、動き補償器１３５の第１の入力に信号通信で接続される。

参照ピクチャ記憶装置１４５（その他のビュー用）の出力は、視差／照度補償器１５０の第１の入力に信号通信で接続される。

エントロピ・コーダ１０５の入力は、デコーダ１００への入力として利用して、残余ビットストリームを受信することができる。さらに、モード・モジュール１６０の入力は、デコーダ１００への入力として利用して、どの入力をスイッチ１５５が選択するかを制御する制御シンタックスを受信することができる。さらに、動き補償器１３５の第２の入力は、デコーダ１００の入力として利用して、動きベクトルを受信することができる。また、視差／照度補償器１５０の第２の入力は、デコーダ１００への入力として利用して、視差ベクトルおよび照度補償シンタックスを受信することができる。

スイッチ１５５の出力は、合成器１２０の第２の非反転入力に信号通信で接続される。スイッチ１５５の第１の入力は、視差／照度補償器１５０の出力に信号通信で接続される。スイッチ１５５の第２の入力は、動き補償器１３５の出力に信号通信で接続される。スイッチ１５５の第３の入力は、イントラ予測器１３０の出力に信号通信で接続される。モード・モジュール１６０の出力は、スイッチ１５５に信号通信で接続されて、どの入力をスイッチ１５５が選択するかを制御する。デブロッキング・フィルタ１２５の出力は、デコーダの出力として利用することができる。

本発明によれば、高レベル・シンタックスを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置が提供される。本発明は、最低でも、マルチ・ビュー符号化ビデオの場合にピクチャ損失を検出する問題に対処するものである。本明細書では、マルチ・ビュー符号化ビデオ・シーケンスの伝送中に１つのビューのどのピクチャが欠落している、失われている、または落ちているかを特定／検出する方法および装置が提供される。

インターネットや無線ネットワークなど、エラーの生じやすい伝送環境では、伝送されるビデオ・ビットストリームは、例えばチャネル障害などによって生じる破損を受ける恐れがある。一部の実用システムが共通して経験する状況は、特定の圧縮ビデオ・ピクチャがビットストリームから落ちることである。これは、特に、リアルタイム転送プロトコル（ＲＴＰ）パケットなどの伝送単位にまで符号化できるほどピクチャが小さい、ビット・レートの低い応用分野に当てはまる。受信機側では、ロバストなビデオ・デコーダが、このような損失を検出して、隠蔽することができなければならない。

マルチ・ビュー・ビデオ符号化（ＭＶＣ）では、符号化ビデオ・シーケンス中にいくつかのビューが存在する。ＭＰＥＧ−４ ＡＶＣ標準のこのＭＶＣ拡張の場合には、各ピクチャは、それが属しているビューを識別するためのビュー識別子と関連付けられている。表１は、スケーラブル・ビデオ符号化（ＳＶＣ）／マルチ・ビュー・ビデオ符号化（ＭＶＣ）拡張シンタックスのネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダを示す。さらに（ＭＰＥＧ−４ ＡＶＣ標準のシンタックスに加えて）、様々なビューのピクチャの復号に援用されるいくつかの高レベル・シンタックスがある。これらのシンタックスは、シーケンス・パラメータ・セット（ＳＰＳ）拡張に存在する。表２は、ＭＰＥＧ−４ ＡＶＣ標準のマルチ・ビュー・ビデオ符号化（ＭＶＣ）拡張のシーケンス・パラメータ・セット（ＳＰＳ）を示す。

従って、ＭＰＥＧ−４ ＡＶＣ標準に基づくマルチ・ビュー・ビデオ符号化の今回の提案（以下「ＭＰＥＧ−４ ＡＶＣに関する今回のＭＶＣ提案」と呼ぶ）は、シーケンス・パラメータ・セット（ＳＰＳ）に高レベル・シンタックスを含み、当該シーケンス中の符号化ビューの数を示す。さらに、ＭＰＥＧ−４ ＡＶＣに関する今回のＭＶＣ提案は、ビューについてビュー間参照情報を含む。ＭＰＥＧ−４ ＡＶＣに関する今回のＭＶＣ提案ではさらに、参照ビュー識別子を別個に送信することにより、アンカー・ピクチャと非アンカー・ピクチャを区別する。これを表２に示す。表２には、どのビューが特定のビューの参照として使用されているかという情報が示されている。発明者等は、マルチ・ビュー符号化ビデオの場合に、この情報（符号化ビューの数）を使用してピクチャ損失を検出することができることを知り、これを提案する。

このＭＰＥＧ−４ ＡＶＣ標準のマルチ・ビュー・ビデオ符号化（ＭＶＣ）拡張では、全てのビューについて、特定の時刻に属するピクチャが最初に符号化されるものとされている。図２を参照すると、ビューの数が８個であるマルチ・ビュー・ビデオ符号化システムのタイム・ファースト符号化構造の全体を、参照番号２００で示してある。図２の例では、異なるビューに含まれる同時刻の全てのピクチャが、連続的に符号化される。従って、時刻Ｔ０の全てのピクチャ（Ｓ０〜Ｓ７）が最初に符号化され、その後に時刻Ｔ８のピクチャ（Ｓ０〜Ｓ７）が符号化され、以下同様に続く。これをタイム・ファースト符号化と呼ぶ。失われたピクチャを適時隠蔽することは、その他のビューの客観的品質のために重要である。

これ（タイム・ファースト符号化）と、シーケンス・パラメータ・セット（ＳＰＳ）のシーケンス内の符号化ビューの数とを知ることにより、ピクチャの損失を検出することができる。さらに、図示の実施例では、全てのビューが同じフレーム・レートを有すると仮定している。ただし、本発明は同じフレーム・レートを有するビデオを含む応用分野のみに限定されるわけではなく、従って、本発明の趣旨を維持しながら、フレーム・レートの異なるビデオを含む応用分野にも容易に適用することができることを理解されたい。フレーム・レート情報は、シーケンス・パラメータ・セットに存在するビデオ・ユーザビリティ情報（ＶＵＩ）パラメータ内に存在する。これらのパラメータは任意選択のものであるので、存在することもあれば存在しないこともある。これらのパラメータが存在する場合には、フレーム・レートの異なるビューについては別のシーケンス・パラメータ・セットを通信する必要がある。デコーダは、異なるフレーム・レートを有するビューの存在を知ったら、エラー検出方法を呼び出してもよいし、単純にそのエラー検出方法の結果を無視してもよい。さらに、デコーダは、そのピクチャを隠蔽することを選択することができるが、そのピクチャを表示のために使用することはできない。

この検出アルゴリズムの実施例は、以下の通りである。シーケンス・パラメータ・セットから、符号化されたビューの数（ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１）が分かる。また、特定の時刻の全てのピクチャが最初に符号化される（タイム・ファースト符号化）ことも分かっている。従って、各時刻について、各ビューの全てのピクチャを最初にバッファリングすることができる（例えば時間Ｔ０）。その時刻に到着したピクチャの数のカウント（Ｎ）およびそれらのピクチャのビュー識別子（ｖｉｅｗ＿ｉｄ）は保持される。シーケンス・パラメータ・セット・シンタックスから、符号化されたビューの数は分かっているので、これらの値を比較して、損失があるかどうか判定する。ＮがＳＰＳに示される値未満であれば、損失があると分かる。さらに、到着したｖｉｅｗ＿ｉｄは常に把握しているので、どのｖｉｅｗ＿ｉｄが欠落しているか判定することができる。

また、ＭＰＥＧ−４ ＡＶＣ標準に適合したビューが最初に符号化されるビューであると仮定した場合には、２つのＭＰＥＧ−４ ＡＶＣ標準に適合したＮＡＬユニットの間に、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１個のビューがあることが予想されることが分かる。この情報も、ピクチャの損失を検出するために使用することができる。上述の実施例と同様に、次いで、欠落している（１つまたは複数の）ｖｉｅｗ＿ｉｄを決定することができる。

別の実施例では、ビットストリームの開始時、または符号化順序が変更された後に一度、バッファリングを実行するだけでよい。最初のバッファリング期間の間にｖｉｅｗ＿ｉｄ順序を参照することによって符号化順序を決定したら、その後の時刻については、到着するピクチャが予想されるｖｉｅｗ＿ｉｄを有するかどうかを確認するだけでよい。予想されるｖｉｅｗ＿ｉｄを有していないと判定されれば、その予想されるｖｉｅｗ＿ｉｄに属するピクチャが失われ、従ってその他のピクチャを復号する前にそれを隠蔽する必要があることが分かる。

図３を参照すると、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する例示的な方法の全体を、参照番号３００で示してある。

方法３００は、機能ブロック３１０に制御を渡す開始ブロック３０５を含む。機能ブロック３１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または任意の付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック３１５に渡す。機能ブロック３１５では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、制御を判定ブロック３２０に渡す。判定ブロック３２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック３９９に渡される。そうでない場合には、制御は機能ブロック３２５に渡される。

機能ブロック３２５では、次の複数のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、制御を判定ブロック３３０に渡す。判定ブロック３３０では、変数ＣｕｒｒＰＯＣが変数ＰｒｅｖＰＯＣに等しいかどうかを判定する。等しい場合には、制御は機能ブロック３３５に渡される。そうでない場合には、制御は機能ブロック３４０に渡される。

機能ブロック３３５では、現在のピクチャをバッファリングし、制御を機能ブロック３２５に戻す。

機能ブロック３４０では、現在のピクチャをバッファリングし、変数ＣｕｒｒＰＯＣに等しい変数ＰｒｅｖＰＯＣを設定し、制御を判定ブロック３４５に渡す。判定ブロック３４５では、変数ＲｅｃｖＰｉｃが変数ＮｕｍＶｉｅｗｓに等しいかどうかを判定する。等しい場合には、制御は判定ブロック３５５に渡される。そうでない場合には、制御は機能ブロック３５０に渡される。

判定ブロック３５５では、変数ＲｅｃｖＰｉｃがゼロに等しいかどうかを判定する。等しい場合には、制御は機能ブロック３６０に渡される。そうでない場合には、制御は機能ブロック３７０に渡される。

機能ブロック３６０では、次のピクチャを解析し、制御を機能ブロック３６５に渡す。機能ブロック３６５では、現在のピクチャを復号し、制御を判定ブロック３５５に渡す。

機能ブロック３５０では、欠落しているｖｉｅｗ＿ｉｄを確認して記憶し、制御を判定ブロック３５５に渡す。

機能ブロック３７０では、欠落しているｖｉｅｗ＿ｉｄに対応するピクチャを隠蔽し、制御を判定ブロック３２０に戻す。

図４を参照すると、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する別の例示的な方法の全体を、参照番号４００で示してある。

方法４００は、機能ブロック４１０に制御を渡す開始ブロック４０５を含む。機能ブロック４１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または任意の付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック４１５に渡す。機能ブロック４１５では、ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、ゼロに等しい変数ＶｉｅｗＣｏｄｉｎｇＯｒｄｅｒを設定し、制御を判定ブロック４２０に渡す。判定ブロック４２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック４９９に渡される。そうでない場合には、制御は機能ブロック４２５に渡される。

機能ブロック４２５では、次の複数のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、制御を判定ブロック４３０に渡す。判定ブロック４３０では、変数ＣｕｒｒＰＯＣが変数ＰｒｅｖＰＯＣに等しいかどうかを判定する。等しい場合には、制御は判定ブロック４３５に渡される。そうでない場合には、制御は機能ブロック４５０に渡される。

判定ブロック４３５では、変数ＶｉｅｗＣｏｄｉｎｇＯｒｄｅｒが１に等しいかどうかを判定する。等しい場合には、制御は判定ブロック４４０に渡される。そうでない場合には、制御は機能ブロック４８５に渡される。

判定ブロック４４０では、隠蔽が必要かどうかを判定する。必要である場合には、制御は機能ブロック４４５に渡される。そうでない場合には、制御は機能ブロック４９０に渡される。

機能ブロック４４５では、欠落しているｖｉｅｗ＿ｉｄのピクチャを隠蔽し、制御を判定ブロック４２０に戻す。

機能ブロック４５０では、現在のピクチャをバッファリングし、変数ＣｕｒｒＰＯＣに等しい変数ＰｒｅｖＰＯＣを設定し、制御を判定ブロック４５５に渡す。判定ブロック４５５では、変数ＲｅｃｖＰｉｃが変数ＮｕｍＶｉｅｗｓに等しいかどうかを判定する。等しい場合には、制御は機能ブロック４６０に渡される。そうでない場合には、制御は機能ブロック４８０に渡される。

機能ブロック４６０では、ビュー符号化順序を記憶し、１に等しいＶｉｅｗＣｏｄｉｎｇＯｒｄｅｒを設定し、制御を判定ブロック４６５に渡す。判定ブロック４６５では、ＲｅｃｖＰｉｃがゼロに等しいかどうかを判定する。等しい場合には、制御は機能ブロック４７０に渡される。そうでない場合には、制御は機能ブロック４４５に渡される。

機能ブロック４７０では、次のピクチャを解析し、制御を機能ブロック４７５に渡す。機能ブロック４７５では、現在のピクチャを復号し、制御を判定ブロック４６５に戻す。

機能ブロック４８５では、現在のピクチャをバッファリングし、制御を機能ブロック４２５に戻す。

機能ブロック４８０では、欠落しているｖｉｅｗ＿ｉｄを確認して記憶し、制御を判定ブロック４６５に渡す。

機能ブロック４９０では、現在のピクチャを復号し、制御を判定ブロック４２０に戻す。

次に、その一部については上記で既に説明した、本発明の多くの付随的な利点／特色の一部について説明する。例えば、１つの利点／特色は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備える装置である。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダは、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを、既存のシンタックス要素を用いて判定する。前記既存のシンタックス要素は、前記少なくとも１つのビューを含む前記ビットストリーム内の符号化ビューの数を示す。

別の利点／特色は、デコーダを備えた上述の装置であって、前記既存のシンタックス要素がマルチ・ビュー・ビデオ符号化シンタックス要素である装置である。

さらに別の利点／特色は、前記既存のシンタックス要素がマルチ・ビュー・ビデオ符号化シンタックス要素であるデコーダを備えた上述の装置であって、マルチ・ビュー・ビデオ符号化シンタックス要素が、国際標準化機構／国際電気標準会議ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する装置である。

さらに別の利点／特色は、デコーダを備えた上述の装置であって、前記既存のシンタックス要素が高レベルに存在する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、前記高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、前記異なる時刻の前記特定の１つに対応するピクチャの何れかがバッファリングされ、デコーダが、前記異なる時刻の前記特定の１つの時刻に到着したピクチャのカウントを保持する装置である。

また、別の利点／特色は、前記異なる時刻の前記特定の１つに対応するピクチャの何れかがバッファリングされ、前記デコーダが前記異なる時刻の前記特定の１つの時刻に到着したピクチャのカウントを保持する、デコーダを備えた上述の装置であって、前記デコーダが前記カウントの値と前記既存のシンタックス要素の値とを比較する装置である。

さらに、別の利点／特色は、前記カウントの値と前記既存のシンタックス要素の値とを比較するデコーダを備えた上述の装置であって、前記特定のピクチャのカウントの値が前記既存のシンタックス要素の値と等しくないときに、前記ピクチャの特定の１つが失われたものとして指定される装置である。

さらに、別の利点／特色は、前記特定のピクチャのカウントの値が前記既存のシンタックス要素の値と等しくないときに前記ピクチャの特定の１つが失われたものとして指定される、デコーダを備えた上述の装置であって、前記デコーダが、前記ビットストリームに対応する到着した１組のビュー識別子の中から欠落しているビュー識別子を探索することにより、失われたものとして指定されたピクチャの前記特定の１つのビュー識別子を決定する装置である。

さらに、別の利点／特色は、デコーダを備えた上述の装置であって、前記ビットストリームのピクチャを復号するために前記デコーダが前記ピクチャを一度だけバッファリングする装置である。

また、別の利点／特色は、前記ビットストリームのピクチャを復号するために前記ピクチャを一度だけバッファリングするデコーダを備えた上述の装置であって、前記デコーダが前記ビットストリームの開始時に一度だけ前記ピクチャをバッファリングする装置である。

さらに、別の利点／特色は、前記ビットストリームのピクチャを復号するために前記ピクチャを一度だけバッファリングするデコーダを備えた上述の装置であって、前記デコーダが符号化順序の変更の後に一度だけ前記ピクチャをバッファリングする装置である。

さらに、別の利点／特色は、前記ビットストリームのピクチャを復号するために前記ピクチャを一度だけバッファリングするデコーダを備えた上述の装置であって、前記デコーダが前記バッファリングの後で前記ピクチャのビュー識別子の順序を保持する装置である。

さらに、別の利点／特色は、前記バッファリングの後で前記ピクチャのビュー識別子の順序を保持するデコーダを備えた上述の装置であって、前記デコーダが、前記異なる時刻のうちの後続の時刻についての保持された順序を使用して前記異なる時刻のうちの後続の時刻に対応するピクチャの何れかが失われたかどうかを判定し、前記異なる時刻のうちの前記後続の時刻が、前記異なる時刻の前記特定の１つより後の時刻である装置である。

また、別の利点／特色は、デコーダを備えた上述の装置であって、前記少なくとも１つのビューが少なくとも２つのビューを含み、前記少なくとも１つのビューのうちの第１の符号化ビューおよび前記２つのビューが国際標準化機構／国際電気標準会議ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に関して適合するビューであるときに、前記デコーダが、前記２つのビューの間でいくつかのビューを使用して前記ピクチャの何れかが失われたかどうかを判定し、前記第１の符号化ビューが、前記２つのビューのうちの一方のビューまたは別のビューである装置である。

本発明の上記その他の特色および利点は、当業者なら本明細書の教示に基づいて容易に確認することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組合せといった様々な形態で実施することができることを理解されたい。

本発明の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に物理的に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備えるマシンにアップロードし、このマシンによって実行することができる。このマシンは、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームに実装されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードを含むこともできる。本明細書に記載の様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せとすることもできる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺機器をコンピュータ・プラットフォームに接続することもできる。

さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続形態は、本発明を実施する態様によって変わることがあることを理解されたい。本明細書の教示があれば、当業者なら、上記の、またそれに類する本発明の実施態様または構成を思いつくことができるであろう。

本明細書では添付の図面を参照しながら例示的な実施例について説明したが、本発明はこれらの具体的な実施例に限定されるものではなく、当業者なら、本発明の趣旨または範囲を逸脱することなく様々な変更および修正を加えることができることを理解されたい。これらの変更および修正は全て、添付の特許請求の範囲に記載する本発明の範囲に含まれるものとする。

Claims (30)

1. ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備え、前記ピクチャがビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかがビデオ・シーケンス内の異なる時刻に対応し、特定の時刻に対応するピクチャを有する、タイム・ファースト符号化構造の符号化されたビデオ・シーケンスは、全てのビューについて最初に符号化されている、装置であって、
   前記デコーダが、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを、各々の時刻について、各々のビューのすべてのピクチャをバッファリングし、各々対応するビューの次に受け取ったピクチャと関連するマルチ・ビュー・ビデオ符号化シンタックス要素を比較し、各々のビューの受信したピクチャの連続を確認することにより、判定する、前記装置。
2. 前記シンタックス要素が、マルチ・ビュー・ビデオ符号化シンタックス要素である、請求項１に記載の装置。
3. 前記マルチ・ビュー・ビデオ符号化シンタックス要素が、国際標準化機構／国際電気標準会議ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する、請求項２に記載の装置。
4. 前記シンタックス要素が、高レベルである、請求項１に記載の装置。
5. 前記高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する、請求項１に記載の装置。
6. 前記異なる時刻の前記特定の１つに対応するピクチャの何れかがバッファリングされ、前記デコーダが、前記異なる時刻の前記特定の１つの時刻に到着したピクチャのカウントを保持する、請求項１に記載の装置。
7. 前記デコーダが、前記カウントの値と、前記シンタックス要素の値とを比較する、請求項６に記載の装置。
8. 前記特定のピクチャのカウントの値が前記シンタックス要素の値と等しくないときに、前記ピクチャの特定の１つが失われたものとして指定される、請求項７に記載の装置。
9. 前記デコーダが、前記ビットストリームに対応する到着した１組のビュー識別子の中から欠落しているビュー識別子を探索することにより、失われたものとして指定されたピクチャの前記特定の１つのビュー識別子を決定する、請求項８に記載の装置。
10. 前記ビットストリームのピクチャを復号するために、前記デコーダが前記ピクチャを一度だけバッファリングする、請求項１に記載の装置。
11. 前記デコーダが、前記ビットストリームの開始時に、一度だけ前記ピクチャをバッファリングする、請求項１０に記載の装置。
12. 前記デコーダが、符号化順序の変更の後に、一度だけ前記ピクチャをバッファリングする、請求項１０に記載の装置。
13. 前記デコーダが、前記バッファリングの後で、前記ピクチャのビュー識別子の順序を保持する、請求項１０に記載の装置。
14. 前記デコーダが、前記異なる時刻のうちの後続の時刻についての保持された順序を使用して、前記異なる時刻のうちの後続の時刻に対応するピクチャの何れかが失われたかどうかを判定し、前記異なる時刻のうちの前記後続の時刻が、前記異なる時刻の前記特定の１つより後の時刻である、請求項１３に記載の装置。
15. 前記少なくとも１つのビューが少なくとも２つのビューを含み、前記少なくとも１つのビューのうちの第１の符号化ビューおよび前記２つのビューが国際標準化機構／国際電気標準会議ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に関して適合するビューであるときに、前記デコーダが、前記２つのビューの間でいくつかのビューを使用して前記ピクチャの何れかが失われたかどうかを判定し、前記第１の符号化ビューが、前記２つのビューのうちの一方のビューまたは別のビューである、請求項１に記載の装置。
16. ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含み、前記ピクチャがビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかがビデオ・シーケンス内の異なる時刻に対応し、特定の時刻に対応するピクチャを有する、タイム・ファースト符号化構造の符号化されたビデオ・シーケンスは、全てのビューについて最初に符号化されている方法であって、
    前記復号ステップが、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを、各々の時刻について、各々のビューのすべてのピクチャをバッファリングし、各々対応するビューの次に受け取ったピクチャと関連するマルチ・ビュー・ビデオ符号化シンタックス要素を比較し、各々のビューの受信したピクチャの連続を確認することにより、判定する、前記方法。
17. 前記シンタックス要素が、マルチ・ビュー・ビデオ符号化シンタックス要素である、請求項１６に記載の方法。
18. 前記マルチ・ビュー・ビデオ符号化シンタックス要素が、国際標準化機構／国際電気標準会議ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する、請求項１７に記載の方法。
19. 前記シンタックス要素が、高レベルである、請求項１６に記載の方法。
20. 前記高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する、請求項１６に記載の方法。
21. 前記異なる時刻の前記特定の１つに対応するピクチャの何れかがバッファリングされ、前記復号ステップが、前記異なる時刻の前記特定の１つの時刻に到着したピクチャのカウントを保持するステップを含む、請求項１６に記載の方法。
22. 前記復号ステップが、前記カウントの値と、前記シンタックス要素の値とを比較するステップを含む、請求項２１に記載の方法。
23. 前記特定のピクチャのカウントの値が前記シンタックス要素の値と等しくないときに、前記ピクチャの特定の１つが失われたものとして指定される、請求項２２に記載の方法。
24. 前記復号ステップが、前記ビットストリームに対応する到着した１組のビュー識別子の中から欠落しているビュー識別子を探索することにより、失われたものとして指定されたピクチャの前記特定の１つのビュー識別子を決定するステップを含む、請求項２３に記載の方法。
25. 前記ビットストリームのピクチャを復号するために、前記復号ステップが前記ピクチャを一度だけバッファリングするステップを含む、請求項１６に記載の方法。
26. 前記デコーダが、前記ビットストリームの開始時に、一度だけ前記ピクチャをバッファリングする、請求項２５に記載の方法。
27. 前記デコーダが、符号化順序の変更の後に、一度だけ前記ピクチャをバッファリングする、請求項２５に記載の方法。
28. 前記復号ステップが、前記バッファリングの後で、前記ピクチャのビュー識別子の順序を保持するステップを含む、請求項２５に記載の方法。
29. 前記復号ステップが、前記異なる時刻のうちの後続の時刻についての保持された順序を使用して、前記異なる時刻のうちの後続の時刻に対応するピクチャの何れかが失われたかどうかを判定するステップを含み、前記異なる時刻のうちの前記後続の時刻が、前記異なる時刻の前記特定の１つより後の時刻である、請求項２８に記載の方法。
30. 前記少なくとも１つのビューが少なくとも２つのビューを含み、前記少なくとも１つのビューのうちの第１の符号化ビューおよび前記２つのビューが国際標準化機構／国際電気標準会議ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告に関して適合するビューであるときに、前記復号ステップで、前記２つのビューの間でいくつかのビューを使用して前記ピクチャの何れかが失われたかどうかを判定し、前記第１の符号化ビューが、前記２つのビューのうちの一方のビューまたは別のビューである、請求項１６に記載の方法。
    

Images