JP2005535203A - デジタルビデオ信号を符号化する方法及び装置 - Google Patents

Abstract

本発明は、デジタルビデオシーケンスを符号化する方法及び符号化器に関する。前記デジタルビデオシーケンスは視差マップを含む幾つかの組の画像を有し、この視差マップは、一組の画像におけるある画像を、当該組の画像の他の画像から復元するのに用いられる。この方法は、画像の復元に用いられる視差マップの形式を符号化するステップと、この視差マップを復号するステップとを有する。

Description

本発明は、デジタルビデオシーケンスを符号化する方法に関するものであり、前記デジタルビデオシーケンスは、視差マップを含む幾つかの組の画像を有し、視差マップは、一組の画像におけるある画像を当該組の画像の基準画像から復元するのに用いられる。本発明は符号化器にも関する。この符号化器は前記方法を実施する。

上記方法は、例えばＭＰＥＧ規格内の３Ｄビデオアプリケーション用のビデオ通信システムにおいて使用される。

ビデオ通信システムは通例、符号化器を備える送信機と、復号器を備える受信機とを有する。このようなシステムは入力デジタルビデオシーケンスを入力し、前記シーケンスを符号化器を介して復号し、この符号化されたシーケンスを受信機に送信する、次いでこの送信されたシーケンスを復号器を介して復号し、出力デジタルビデオシーケンスを生じさせる。これは入力デジタルビデオシーケンスの復元されるシーケンスである。受信機は次いで前記出力デジタルビデオシーケンスを表示する。３Ｄデジタルビデオシーケンスはオブジェクトを備える幾つかの組の画像、通常は視差画像又は視差マップと呼ばれる他の組の画像と一緒にテクスチャ画像(texture image)のある最初の組を幾つか有する。１つの画像は幾つかのピクセルを有する。

デジタルビデオ信号の各画像は、異なる一般的なコーディング方式に従って符号化される。この方式はＭＰＥＧの範囲内で既に提唱されている。例えば、”Draft amendment N^o3 to 13818-2 Multu-view profile-JTC1/SC29/WG11N1088” edited by ISO/IEC in November 1995 during the MPEG Meeting of Dallas(Texas)に参照されるＭＰＥＧ２規格は、同じビデオシーケンスの異なるビューの符号化に基礎を置いている。これの主な原理は、殆どの慣例的なビデオコード化方式におけるのと同じように、あるビデオシーケンス内において時間及び空間的冗長を使用することだけでなく、ビデオシーケンス内の異なる視点間に冗長を使用することでもあり、ここで各視点は画像、例えば右のカメラ及び左のカメラによりそれぞれ撮られる右画像及び左画像である。２つの僅かに異なる視点から見られるビデオシーケンスのオブジェクトがそんなに異ならないので、視差ベクトルとも呼ばれる予測ベクトルのおかげで、基準の視点から大部分の視点を予測することが可能である。

全てが同じ方向に沿っている視差ベクトルを持つことが常に可能であるため、水平な視差ベクトルだけしかないことがしばしば推測される。この場合、視差ベクトルは、視差値と呼ばれる単独の値により規定される。視差マップは、視差値が各ピクセルに割り当てられる画像である。

これら視差値は符号化器により符号化され、復号器に送られる。基準の画像、例えば左画像も復号器に送られる。前記復号器は、他のパラメタ間において、視差値を使用し、この基準画像から右画像を復元する。

画像を符号化するのに用いられる、ＤＣＴベースの無損失実行長符号化方式又はメッシュベースの方式のような当業者によく知られる様々な符号化方式が存在する。これら符号化方式の全てにおいて、視差値は通常、整数値ｎ、しばしば２５６のグレイレベルを表す８ビットデータで符号化される。

これら符号化方式の１つの不都合は、受信機側において、ある方式がこれらグレイレベルのデータから単独でテクスチャ画像の視差マップを変換する方法を正確に知らないことである。

確かに、ビデオシーケンスのコンテンツに依存して、テクスチャ画像の視差マップは、劇的に変化することができ、それゆえに変換となる。

ビデオシーケンスが非常に近い距離で撮影されたオブジェクトのみを含む場合、視差は、サブピクセルの精度でかなり正確にする必要がある。反対に、カメラがきれいな遠くにあるオブジェクトに焦点を合わせる場合、サブピクセルの精度はあまり重要ではない一方、幾つかは非常に高い視差の値となる。最後に、混在した状態では、場面内の異なる興味の範囲及び視差値の非線形に変化する組が必要となる。

これにより、受信機側における、従来の視差マップの変換の問題によって、
−復元されたビデオシーケンスを３Ｄで正しく見るので、復元された画像は、本来の画像と等しい又は本来の画像と比べ幾らか歪んでいる、及び／又は
−例えばこれら２つのビデオシーケンスがこれらシーケンスに割り当てられた完全に異なる視差値を持つ場合、２つの放送局により送られる、先行する３Ｄビデオシーケンスの後の第２の３Ｄビデオシーケンスを３Ｄで正しく見るために、
３Ｄ表示の手動での同調がしばしば行われる。

この手動での同調が非常に頻繁に行われなければならない場合、３Ｄビデオシーケンスの視聴者に不快を与える。

これにより、本発明の目的は、デジタルビデオシーケンスを符号化する方法及び符号化器を提供することであり、このデジタルビデオシーケンスは、視差マップを含む幾つかの組の画像を有し、視差マップは、一組の画像におけるある画像を当該組の画像の基準画像から復元するのに用いられ、これは視差マップの正確な変換を可能にする。

この目的のために、前記方法は、
−画像の復元に使用される視差マップの形式を符号化するステップと、
−前記視差マップを符号化するステップと、
を有する。

加えて、画像の復元に使用される視差マップの形式を符号化する第１の符号化手段と、この視差マップを符号化する第２の符号化手段とを有する。

詳細に見られるように、視差マップの形式を符号化すること、さらに正確には８ビットのグレイレベルから視差値を計算する方法を符号化することにより、３Ｄビデオシーケンスの視差マップは、効率的に表され、ビデオチェーンの表示側における視差マップの処理が自動的に行われる。

本発明の追加のオブジェクト、特徴及び利点は、以下の詳細な説明を読むことに続き、及び付随する図面を参照することに続き明白となるであろう。

以下の記述において、当業者によく知られた機能又は構造が本発明を不必要な詳細で曖昧にしてしまうので、これらは詳細には記載されない。

本発明は、デジタルビデオシーケンスを符号化する方法に関し、このデジタルビデオシーケンスは、通常は視差画像又は視差マップと呼ばれる他の組の画像と一緒に第１の組のテクスチャ画像のような、幾つかの組の画像を有する。視差マップは、一組のテクスチャ画像のある画像をこの組のテクスチャ画像の基準画像から復元するのに用いられる。

上記方法は、ＭＰＥＧ２又はＭＰＥＧ４における３Ｄビデオアプリケーションに対するビデオ通信システムSYS内において使用され、このビデオ通信システムは、送信機TRANS、送信媒体CH及び受信機RECEIVを有する。前記送信機TRANS及び前記受信機RECEIVはそれぞれ符号化器ENC及び復号器DECを有する。

送信媒体CHを介して幾つかのビデオシーケンスを効率的に送信するために、前記符号化器ＥＮＣは、ビデオシーケンスを符号化し、その後この符号化したビデオシーケンスが当該シーケンスを復号する復号器DECに送られる。最後に、受信機RECEIVが前記ビデオシーケンスを表示する。

３Ｄビデオシーケンスはオブジェクトと共に数個の組の画像を有し、ここで画像は複数のピクセルにより表される。

２つの僅かに異なる視点から見たビデオシーケンスの１つのオブジェクトは、そんなに違いはない。これにより、視点の大半は、視差ベクトルとも呼ばれる予測ベクトルによって基準の視点から予測される。

エピポーラ拘束(epipolar constraint)に従って本来のステレオペアを整流(rectification)することにより、全て同じ方向に沿っている視差ベクトルを持つことが常に可能であるため、例えば、（ビデオカメラの“パラレルステレオ設定”の一般的な場合）水平な視差ベクトルしか存在しないと仮定することができる。この場合、視差ベクトルは、視差値と呼ばれる単独の値により規定される。この記述の残りにおいて、視差ベクトルは視差値と呼ばれる。無論、これが決して制限的となるべきではない。視差マップは、全ピクセルに視差値が割り当てられた画像である。

これら視差値は、例えば基準画像及び他の画像がビデオシーケンスの同じ場面の２つの異なる視点を表すような時間ｔにおいて、これら基準画像と他の画像との間におけるオブジェクトのピクセルのシフトを規定することが可能である。ある場面の２つの視点は、異なる場所に置かれた２つのカメラにより生じる。

圧縮アルゴリズムにより効率的にコード化されるために、視差値は、ｎ個の整数値により、しばしば２５６のグレイレベルを表す８ビットのデータで表される。この主な争点は、符号化されたｎ個の整数値と視差値との間の変換が異なる形式であってもよいことである。

この視差マップは、画像のオブジェクトの深さにも関係している。おおよそは、３Ｄ画像の最も模範的な表現において、基準画像においてオブジェクトが遠くにある（深さが大きくなる）ほど、復元される画像におけるこのオブジェクトの移動は明らかになり難い。一方、基準画像においてオブジェクトが近くにあるほど、復元される画像におけるこのオブジェクトの移動が明らかになる。

送信媒体を介して送信される情報を減少させるために、視点間の冗長が用いられる。これにより、２つの異なる視点から見られるオブジェクトがそんなに違わないので、一方の視点を他の視点から予測することが可能である。一方の視点（基準の視点）は、符号化され、送信媒体CHを介して受信器RECEIVに送られる。前記受信器RECEIVはその視点を復号し、本来の基準の視点を復元し、視差ベクトル又は前記基準の視点に割り当てられた値により前記基準の視点から他の視点を導き出す。

符号化器ENCは、画像の復元に用いられる視差マップの形式を符号化するのに適合する第１の符号化手段と、この視差マップを符号化する第２の符号化手段とを有する。

ビデオシーケンスの符号化は、以下のように行われ、図２に説明されている。

第１のステップ１）において、視差マップの形式が符号化され、ここでこの形式は、視差値が変換される、すなわち計算されるやり方を表している。非制限的な実施例において、フラグＣ１は、この形式の視差マップを符号化する。前記実施例の第１の変形モードにおいて、前記フラグＣ１はビデオシーケンス内の各画像に対し設定される。前記実施例の第２の変形モードにおいて、前記フラグＣ１は画像のグループに対し、例えば画像のグループのヘッダに設定される。このヘッダは、”ISO/IEC 13818-2:2000 Information technology − Generic coding of moving pictures and associated audio information: Video”を参照する標準的なＭＰＥＧ２に規定されている。

この画像のグループは、ＧＯＰ(Group Of Pictures)とも呼ばれ、同じ視差マップ表現を持つ、すなわち視差値が同じ方式で計算される特異性を持つ。この形式のフラグは、例えば視差マップを表示するために、３ビットでコード化される。それもまた可変長を持つ。

視差マップ、アフィン(affine)、対数、多項式、区分平面に対する以下の非制限的な実施例が適用される。

例えば、アフィン表現の場合、視差値は以下の公式を用いて計算される。
視差値＝（整数Ｎ−シフト）／ダイナミック(dynamic)
ここで、整数Ｎは８ビットでコード化された２５６のグレイレベルを表し、シフトはテレビジョンのようなビデオシステムのユーザに関して、８ビットでコード化される画像の３Ｄステレオ特性（スクリーンに入る又はスクリーンから出るという印象を与える３Ｄ画像）を表し、ダイナミックは、４ビットでコード化される、それらの中のオブジェクトの深さを表す。

第２のステップ２）において、視差マップの表現が幾つかのパラメタを必要とする場合、これらパラメタも符号化される。

例えば、アフィン表現の場合、シフト値及びダイナミック値は符号化された２つのパラメタＰ１及びＰ２である。

第３及び最後のステップ３）において、視差マップ、すなわちグレイレベルは、ＤＣＴ、無損失方法、メッシュ方法のような一般的なコード化方法を用いて符号化される。

好ましくは、フラグＣ１及び関連するパラメタＰ１及びＰ２は、符号化される視差マップの前に置かれる。これらは、必ずしも視差マップの直前に送信される必要はない。

フラグ及び場合によっては関連するパラメタＰ１、Ｐ２は、関連する画像又は画像のグループと共に送信されることに注意されたい。

復号器DEC側において、フラグの形式を知ることは、追加のパラメタを待たなければならないかを前記復号器に知らせることである。

これにより、本発明の１つの利点は、画像上において視差表現を正確に使用して、一組のテクスチャ画像の画像を他の画像から復元する方法を復号器、従って受信器に知らせることである。

フラグを用いることは、視差マップの形式を簡単に規定することを可能にする。その上、それはテーブルを用いるのとは反対に、それ程メモリを使用しない。これは、グレイレベルの各値、例えばピクセルを動かす方法に関する説明に寄与する。

上記テーブルは、視差マップ表現が変化するたびに送信される不便さ、言い換えると、多数のビットが送信されなければならない不便さも持っている。

本発明の他の利点は、基準の視点及び関連する視差マップに基づく視点の復元を改善することである。確かに、フラグＣ１及び場合によってはパラメタを用いて、復元される視点の復元がさらに正確になり、これにより、復元される視点が本来の視点とさらによく適合する。視差マップが解釈される方法を説明するためにフラグを利用することは、変換機能が本来は視差値を符号化するのに用いられていたかに関わらず、閲覧者への３Ｄ効果を制限することを可能にする。

最後に、本発明の第３の利点は、基準のビュー及び関連する視差マップに基づくあるビューの復元となる場合、前記基準のビューでは見られない復元されたビューの一部に対応する穴(hole)を塞がなければならないことである。これら穴の幅は、前記視差の前記ダイナミックに依存する、及びこれにより視差マップの表現に依存する。あるビューが復元されたビューにおける穴を塞ぐのに充てられる画像のエンハンスメント層を構築したい場合、視差値を計算する方法に対する正確な基準が利用可能となる。

本発明は、前述した実施例に制限されず、添付される特許請求の範囲に規定されるような本発明の意図及び範囲から外れることなく、変形及び修正を行ってもよいと理解される。この点において、以下の閉めの言葉が行われる。

本発明は、先述した３Ｄビデオアプリケーションに制限されないと理解されるべきである。信号を処理するシステムを使用する如何なるアプリケーション内に用いられることができ、この信号は加熱信号のようなグレイレベルにより特徴付けられる。

本発明による方法は前述した実施に制限されないと理解されるべきである。

ハードウェア又はソフトウェアの単一アイテムが幾つかの機能を実行することができるならば、ハードウェア又はソフトウェアのアイテム、又はそれら両方を用いて本発明による方法の機能を実施する様々なやり方がある。ハードウェア又はソフトウェアのアイテム、又はそれら両方の組立体は、ある機能を実行し、これにより、本発明によるビデオ信号を処理する方法を修正することなく単一の機能を形成することは排除しない。

前記ハードウェア又はソフトウェアのアイテムは、例えば、有線の電子回路又は適切にプログラミングされた集積回路を夫々用いることにより、幾つかのやり方で実施されることができる。この集積回路は、コンピュータ又は符号化器に含まれてもよい。２番目（符号化器）の場合、符号化器は、画像の復元に用いられるべき視差マップの形式を符号化する第１の符号化手段と、前述されたように、この手段が上述されたハードウェア又はソフトウェアのアイテムであるような視差マップを符号化する第２の符号化手段とを有する。

集積回路は一組の命令を有する。これにより、例えばコンピュータプログラミングしたメモリ又は符号化器のメモリに含まれる前記組の命令は、コンピュータ又は符号化器に復号方法の異なるステップを実行させてもよい。

この命令の組は、例えばディスクのようなデータ担体を読み取ることにより、前記プログラミングしたメモリにロードされてもよい。サービスプロバイダは、例えばインターネットのような通信ネットワークを介してこの命令の組を利用可能にすることもできる。

特許請求の範囲における如何なる参照符号もこの特許請求の範囲を制限すると解釈されるべきではない。“有する”という動詞及びそれの同義語を用いることが特許請求の範囲に規定されるステップ又は要素に加え、他のステップ又は要素があることを排除することではないことは明らかである。要素又はステップを単数形で表現することは、このような要素又はステップが複数あることを排除することではない。

本発明による符号化器及び復号器を有するビデオ通信システムを説明する。 図１の符号化器により行われる符号化方法の概略図。

Claims (7)

1. デジタルビデオシーケンスを符号化する方法であって、前記デジタルビデオシーケンスは視差マップを含む幾つかの組の画像を有し、前記視差マップは、一組の画像におけるある画像を当該組の画像の基準画像から復元するのに用いられる方法において、
   −画像の前記復元に用いられる前記視差マップの形式を符号化するステップと、
   −前記視差マップを復号するステップと、
   を有することを特徴とする方法。
2. 前記視差マップの形式の符号化は、フラグを用いて行われることを特徴とする請求項１に記載のデジタルビデオシーケンスを処理する方法。
3. 前記視差マップの形式の符号化は、一組のパラメタの後に行われることを特徴とする請求項１に記載のデジタルビデオシーケンスを処理する方法。
4. 符号化器に対するコンピュータプログラムにおいて、前記符号化器にロードされる場合、前記符号化器に請求項１、２又は３に記載の方法を実行させる一組の命令を有するコンピュータプログラム。
5. コンピュータに対するコンピュータプログラムにおいて、前記コンピュータにロードされる場合、前記コンピュータに請求項１、２又は３に記載の方法を実行させる一組の命令を有するコンピュータプログラム。
6. デジタルビデオシーケンスを符号化する符号化器であって、前記デジタルビデオシーケンスは、視差マップを含む幾つかの組の画像を有し、前記視差マップは、一組の画像におけるある画像を当該組の画像の基準画像から復元するのに用いられる符号化器において、画像の前記復元に用いられる前記視差マップの形式を符号化する第１の符号化手段と、前記視差マップを符号化する第２の符号化手段とを有することを特徴とする符号化器。
7. デジタルビデオシーケンスを入力することができるビデオ通信システムにおいて、前記ビデオ信号を符号化する請求項６に記載の符号化器と、前記符号化されたビデオ信号を送信する送信チャンネルと、前記符号化されたビデオ信号を復号する復号器とを有するシステム。

Images