JP2009105894A

JP2009105894A - 参照映像を用いた深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体

Info

Publication number: JP2009105894A
Application number: JP2008269484A
Authority: JP
Inventors: Yo Sung Ho; ヨソン、ホ; Sang Tae Na; サンテ、ナ; Kwan Jung Oh; カンジャン、オー; Cheon Lee; チェオン、リー
Original assignee: Gwangju Institute of Science and Technology
Current assignee: Gwangju Institute of Science and Technology
Priority date: 2007-10-19
Filing date: 2008-10-20
Publication date: 2009-05-14
Also published as: EP2059053A3; KR100918862B1; KR20090040032A; US20090103616A1; EP2059053A2

Abstract

【課題】１つ以上のカメラを用いて取得した参照映像を用いて効果的にビット発生率を減少させ、符号化効率を向上させられる深さ映像符号化方法に係る深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体を提供する。
【解決手段】深さ映像を生成する方法であって、（ａ）ある１つの視点（ｖｉｅｗｐｏｉｎｔ）における深さ映像を取得して参照映像に設定するステップ；（ｂ）前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成するステップ；および（ｃ）前記予測生成された深さ映像に存在するホールを除去するステップを含むことを特徴とする。
【選択図】図１

Description

本発明は、参照映像を用いた深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体に関するものである。より詳しくは、１つ以上のカメラを用いて取得した参照映像を用いて効果的にビット発生率を減少させ、符号化効率を向上させられる深さ映像符号化方法に係る深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体に関するものである。

３次元ビデオ処理技術は次世代情報通信サービス分野の核心技術であり、情報産業社会への発達と共にその需要および技術開発の競争が激しい最先端技術である。このような３次元ビデオ処理技術はマルチメディア応用において高品質の映像サービスを提供するために必須要素であるが、今日ではこのような情報通信分野のみならず、放送、医療、教育（または訓練）、軍事、ゲーム、アニメーション、バーチャルリアリティなど、その応用分野が非常に多様化している。その上、３次元ビデオ処理技術は様々な分野において共通に要求される次世代実感３次元立体マルチメディア情報通信の中核技術としても位置づけられ、先進国を中心にその研究が活発に進行している。

一般的に３次元ビデオは次の通りに２つの観点から定義付けることができる。第１に、３次元ビデオとは映像に深さ（ｄｅｐｔｈ）に対する情報を適用し、映像の一部が画面から突出する感じをユーザが感じられるように構成されるビデオであると定義することができる。第２に、３次元ビデオとはユーザに様々な視点を提供し、これによりユーザが映像から現実感（すなわち、立体感）を感じられるように構成されるビデオであると定義することができる。このような３次元ビデオは、獲得方式、深さ感（ＤｅｐｔｈＩｍｐｒｅｓｓｉｏｎ）、ディスプレイ方式などにより、両眼式、多眼式、ＩＰ（ＩｎｔｅｇｒａｌＰｈｏｔｏｇｒａｐｈｙ）、多視点（オムニ（Ｏｍｎｉ）、パノラマ（Ｐａｎｏｒａｍａ））、ホログラムなどに分類することができる。また、このような３次元ビデオを表現する方法には、大きく、映像ベース表現法（Ｉｍａｇｅ−ＢａｓｅｄＲｅｃｏｎｓｔｒｕｃｔｉｏｎ）とメッシュベース表現法（Ｍｅｓｈ−ＢａｓｅｄＲｅｐｒｅｓｅｎｔａｔｉｏｎ）がある。

最近ではこのような３次元ビデオを表現する方法として深さ映像ベースレンダリング（ＤＩＢＲ；ＤｅｐｔｈＩｍａｇｅ−ＢａｓｅｄＲｅｎｄｅｒｉｎｇ）が脚光を浴びている。深さ映像ベースレンダリングとは関連した各画素ごとに深さや差分角などの情報を有した参照映像を用いて他の視点における場面らを創り出す方法をいう。このような深さ映像ベースレンダリングは３次元モデルの表現し難くて複雑な形状を容易にレンダリングするだけでなく、一般的な映像フィルタリング（Ｆｉｌｔｅｒｉｎｇ）のような信号処理方法を適用することができ、高品質の３次元ビデオを生産できる長所を持っている。このような深さ映像ベースレンダリングは上記したようなことを実現するためにデプスカメラ（ＤｅｐｔｈＣａｍｅｒａ）およびマルチビューカメラ（Ｍｕｌｔｉ−ｖｉｅｗＣａｍｅｒａ）を介して獲得される深さ映像（ＤｅｐｔｈＩｍａｇｅ（ｏｒＤｅｐｔｈＭａｐ））とテクスチャ映像（ＴｅｘｔｕｒｅＩｍａｇｅ（ｏｒＣｏｌｏｒＩｍａｇｅ））を利用する。ここで、特に、深さ映像は３次元モデルをより実感できるように表現するのに用いられる（すなわち、より立体感のある３次元ビデオを生成するために用いられる）。

深さ映像は３次元空間上に位置するオブジェクトとそのオブジェクトを撮影するカメラとの間の距離を白黒の単位で示す映像であると定義することができる。このような深さ映像は深さ情報とカメラパラメータを介して３次元復元技術または３次元ワーピング（Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌｗａｒｐｉｎｇ）技術に多く用いられる。その他にも、深さ映像は様々な分野に応用されるが、その代表的な例が自由視点ＴＶである。自由視点ＴＶとは定められた１つの視点のみで映像を鑑賞するものではなくユーザの選択に応じて任意の視点で映像を鑑賞できるようにするＴＶをいう。自由視点ＴＶのこのような特徴は、いくつかのカメラを用いて撮影した多視点映像とその映像に符合する多視点深さ映像を参酌して、任意の視点における映像を創作することを可能にする。

しかし、深さ映像は単一視点における深さ情報を含む場合もあるが、一般的には多視点における深さ情報を含まないと上述したようなことを成し遂げることができない。その上、テクスチャ映像に比べて単純に構成されるとしても多視点深さ映像は符号化によるデータ量が膨大である。よって、深さ映像には効果的なビデオ圧縮機術が必須である。

従来には上述したようなことを参酌し、単一視点に基づく深さ映像の符号化に対する研究が多く進行された。その例としては、テクスチャ映像と深さ映像の相関関係、特に、動きベクトルの相関関係を用いた方法が挙げられる。この方法はテクスチャ映像と深さ映像の動きベクトルが類似するという条件下で、先行して符号化されたテクスチャ映像の動きベクトルを用いて深さ映像を符号化する時、そのビット数を減少させることを主な内容とする方法である。しかし、このような方法は後述する２つの短所を持っている。第１に、深さ映像の符号化よりテクスチャ映像の符号化が先行しなければならないということである。また、第２に、テクスチャ映像の画質に深さ映像の画質が依存するということである。

一方、最近になってＭＰＥＧ標準化機構を中心に多視点深さ映像符号化に対する研究が推し進められている。その一例として、隣接する映像間の高い関係性を参酌して、１つの場面に対して複数のカメラで撮影したテクスチャ映像を用いる方法がある。この方法は前記テクスチャ映像から取得した余剰情報が多いために符号化効率を向上させることができる。さらに、時間方向や空間方向の相関関係を考慮すると符号化効率をさらに高めることができる。しかし、このような方法は時間側面や費用側面で非常に非効率的な問題を抱えている。

一方、多視点深さ映像符号化方法に対する研究結果中には、ＰｈｉｌｌｉｐＭｅｒｋｌｅ、ＡｌｊｏｓｃｈａＳｍｏｌｉｃ、ＫａｒｓｔｅｎＭｕｌｌｅｒ、およびＴｈｏｍａｓＷｉｅｇａｎｄが２００７年５月ＩＥＥＥ３ＤＴＶＣｏｎｆｅｒｅｎｃｅ、Ｋｏｓ、Ｇｒｅｅｃｅで発表した「Ｅｆｆｉｃｉｅｎｔｃｏｍｐｒｅｓｓｉｏｎｏｆｍｕｌｔｉ−ｖｉｅｗｄｅｐｔｈｄａｔａｂａｓｅｄｏｎＭＶＣ」論文もある。この論文によれば、多視点深さ映像を符号化する時、それぞれの視点を別に符号化することなく視点方向の関係性を考慮して符号化を行う。また、この論文によれば、多視点映像符号化方法の符号化順を多視点深さ映像符号化方法に用いる。しかし、この論文に提案された多視点深さ映像符号化方法は隣接する多視点映像の代わりにそれと類似する特徴を有する視点方向の関係性を考慮するという側面から見る時、既存の多視点映像符号化方法をそのまま踏襲していると言える。

本発明は、前記問題点を解決するために導き出されたものであり、テクスチャ映像に比べて単純な画素値を有する深さ映像の大きさを縮小させるダウンサンプリング（Ｄｏｗｎｓａｍｐｌｉｎｇ）方法を用いることを特徴とする、参照映像を用いた深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体を提供することをその目的とする。

また、本発明は、３Ｄワーピング技術を用いて参照映像から特定視点方向の深さ映像を予測する方法を用いることを特徴とする、参照映像を用いた深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体を提供することを他の目的とする。

また、本発明は、予測された深さ映像に発生したホール（ｈｏｌｅ）を参照映像とホール周辺の画素値を用いて満たす方法を用いることを特徴とする、参照映像を用いた深さ映像生成方法およびその装置、生成された深さ映像を符号化／復号化する方法およびそのためのエンコーダ／デコーダ、並びに前記方法によって生成される映像を記録する記録媒体を提供することをまた他の目的とする。

本発明は、深さ映像を生成する方法であって、（ａ）ある１つの視点（ｖｉｅｗｐｏｉｎｔ）における深さ映像を取得して参照映像に設定するステップ；（ｂ）前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成するステップ；および（ｃ）前記予測生成された深さ映像に存在するホールを除去するステップを含むことを特徴とする深さ映像生成方法を提供する。
好ましくは、前記（ａ）ステップにおいては前記参照映像をダウンサンプリングすることを特徴とする。

好ましくは、前記（ｂ）ステップは、（ｂ１）前記参照映像に存在する画素値の位置を３次元空間上に投影させるステップ；（ｂ２）前記投影された３次元空間上の位置値を目標映像の一定位置に再投影させるステップ；および（ｂ３）前記参照映像の画素位置に対応する前記目標映像の画素位置に前記参照映像の画素値を伝達するステップを含む方法によって前記特定視点における深さ映像を予測生成することを特徴とする。

好ましくは、前記（ｃ）ステップは、前記参照映像が１つである場合には、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用して前記ホールを除去し、前記参照映像が複数である場合には、特定参照映像から予測生成された深さ映像のホールに他の参照映像の対応する部分の画素値を適用して前記ホールを除去することを特徴とする。

また、本発明は、ある１つの視点における深さ映像を取得して参照映像として格納する深さ映像格納部；前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成する深さ映像予測部；および前記深さ映像予測部によって予測生成された深さ映像に存在するホールを除去するホール除去部を含む深さ映像生成装置を提供する。
好ましくは、前記深さ映像格納部の前記参照映像をダウンサンプリングするダウンサンプリング部をさらに含むことを特徴とする。

好ましくは、前記深さ映像予測部は、前記参照映像に存在する画素値の位置を３次元空間上に投影させ、前記投影された３次元空間上の位置値を目標映像の一定位置に再投影させ、前記参照映像の画素位置に対応する前記目標映像の画素位置に前記参照映像の画素値を伝達することによって前記特定視点における深さ映像を予測生成することを特徴とする。

好ましくは、前記ホール除去部は、前記参照映像が１つである場合には、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用して前記ホールを除去し、前記参照映像が複数である場合には、特定参照映像から予測生成された深さ映像のホールに他の参照映像の対応する部分の画素値を適用して前記ホールを除去することを特徴とする。

また、本発明は、特定視点における深さ映像を用いたエンコーディング方法であって、前記深さ映像は、（ａ）ある１つの視点（ｖｉｅｗｐｏｉｎｔ）における深さ映像を取得して参照映像に設定するステップ；（ｂ）前記参照映像に対し３Ｄワーピング法を適用して特定視点における前記深さ映像を予測生成するステップ；および（ｃ）前記予測生成された深さ映像に存在するホールを除去するステップを含んで生成されることを特徴とするエンコーディング方法を提供する。

また、本発明は、インタープリディクションとイントラプリディクションを行う映像予測部；前記映像予測部から取得した予測サンプルを変換して量子化する映像Ｔ／Ｑ部；前記映像Ｔ／Ｑ部によって量子化された映像データを符号化するエントロピー符号化部；および前記映像予測部によって特定視点の深さ映像を生成する深さ映像生成部を含むエンコーダであって、前記深さ映像生成部は、ある１つの視点における深さ映像を参照映像にし、前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成する深さ映像予測部と、前記深さ映像予測部によって予測生成された深さ映像に存在するホールを除去するホール除去部とを含むことを特徴とするエンコーダを提供する。
また、本発明は、前記エンコーディング方法またはエンコーダによって符号化された映像を復号化するデコーティング方法とデコーダを提供する。

本発明は前記目的および実施構成により次のような効果がある。第１に、深さ映像を符号化する場合に発生するビット発生率を効果的に減少させる。第２に、深さ映像の符号化効率を向上させる。第３に、前景が背景によって隠される現象を除去することができる。第４に、従来のような深さ映像の符号化にテクスチャ映像を用いることとは異なり、深さ映像が有している特徴だけで符号化効率を向上させることができる。第５に、カメラパラメータを除いた他の附加情報がなくても特定視点における深さ映像を生成することができる。

以下、本発明の好ましい実施形態について添付図面を参照して詳細に説明する。先ず、各図面の構成要素に参照符号を付する際に、同一構成要素に対しては他の図面上に表示されていても可能な限り同一符号を付するようにしていることを留意しなければならない。また、本発明を説明するにおいて、関連の公知構成または機能に対する具体的な説明が本発明の要旨を濁す恐れがあると判断される場合にはその詳細な説明は省略する。また、以下では本発明の好ましい実施形態について説明するが、本発明の技術的思想はそれに限定および制限されることなく、当業者によって様々に変形および実施され得ることは勿論である。

本発明は特定視点における深さ映像を１つ以上の参照映像から生成することを特徴とする。具体的に、本発明は、テクスチャ映像に比べて単純な画素値を有する深さ映像である参照映像の大きさを縮小させるダウンサンプリングステップ、３Ｄワーピング法を用いて前記参照映像から特定視点の深さ映像を予測するステップ、予測された深さ映像にホールが発生する場合に参照映像とホール周辺の画素値を用いてホールを除去するステップなどを順次実行して、所望の視角から見られる深さ映像を生成することを主な内容とする。以下、図面を参照してそれについてより詳細に説明する。

図１は、本発明の好ましい実施形態に係る深さ映像生成方法に対するフローチャートである。以下、図１を参照し、参照映像を用いた深さ映像生成方法について説明する。
先ず、デプスカメラ（Ｄｅｐｔｈｃａｍｅｒａ）を用いてある１つの視点における深さ映像を撮影する（Ｓ１００）。この深さ映像はその後の本発明の実施形態において参照映像として活用される．この場合、マルチビューカメラ（Ｍｕｌｔｉ−ｖｉｅｗｃａｍｅｒａ）を用いてテクスチャ映像関連情報を取得し、ステレオマッチング方法（Ｓｔｅｒｅｏｍａｔｃｈｉｎｇｍｅｔｈｏｄ）を考慮して取得されたものを撮影した深さ映像に適用することができる。この方法は深さ映像がより正確な深さ値を持つようにする役割をする。一方、前記において、ステレオマッチング方法とは、空間的に相異なる平面から取得された２次元映像を用いて３次元映像を生成する方法をいう。一方、参照映像を用いた深さ映像生成方法において、参照映像は予め取得することもできるので上述したＳ１００ステップは省略することができる。

次に、参照映像をダウンサンプリングする（Ｓ１０５）。一般的に参照映像はテクスチャ映像に比べて単純な画素値を有する。よって、参照映像はその後に展開される符号化（ｅｎｃｏｄｉｎｇ）、伝送（Ｔｒａｎｓｍｉｓｓｉｏｎ）、復号化（ｄｅｃｏｄｉｎｇ）などの過程を考慮する時、ダウンサンプリングを適用することが好ましい。ダウンサンプリング時のサンプリング比率は１／２または１／４であることが好ましい。その理由はこの比率が最適な深さ値を格納するためである。一方、符号化後に伝送された参照映像は即時にまたは復号化過程で本来サイズにアップサンプリング（Ｕｐｓａｍｐｌｉｎｇ）して利用するようになる。

次に、３Ｄワーピング法を用いて参照映像から特定視点方向における深さ映像を予測生成する（Ｓ１１０）。以下、この方法を３Ｄワーピング法を用いた深さ映像合成予測方法と定義する。通常、深さ映像は３Ｄワーピングに必要な深さ情報を含んでいるため、カメラパラメータを除いた他の附加情報がなくても目的とする特定視点方向における深さ映像を生成することができる。特定視点方向における深さ映像を生成するためには次の一般式（１）と一般式（２）が用いられる。

前記一般式（１）および一般式（２）において、Ｐ_ＷＣ、Ｐ_{ｒｅｆｅｒｅｎｃｅ}、Ｐ_{ｔａｒｇｅｔ}は各々３次元空間における座標情報、参照映像、目標映像を示す。その他、Ｒ、Ａ、Ｄ、ｔは各々回転変数、カメラの固有変数、深さ情報、移動変数を示す。

以下、図２を参照し、深さ映像合成予測方法について説明する。先ず、一般式（１）を用いて、２次元映像である参照映像２００に存在する画素値の位置を３次元空間上２２０に投影させる（図２のａ）。その次、一般式（２）を用いて、投影された３次元空間上２２０の位置値を２次元映像である目標映像２１０の好適な位置に再投影させる（図２のｂ）。その次、参照映像２００の画素位置に対応すると判断される目標映像２１０の画素位置に参照映像２００の画素値を伝達する（図２のｃ）。上述したａ、ｂ、ｃの過程を順次に経ると、本発明に係る特定視点方向における深さ映像を生成することができる。

その次、予測生成された深さ映像に存在するホールを除去する（Ｓ１１５）。前記Ｓ１１０ステップを経て予測生成された深さ映像には閉鎖領域によりホールが生じ得る。そこで、本発明に係る深さ映像生成方法は、ａ〜ｃ過程後にホールを除去する過程をさらに含む。ホールを除去する過程は図３〜図５を参照して以下で説明する。

（１）参照映像が単数である場合
ａ〜ｃ過程を経て生成された深さ映像が参照映像として左側視点映像３００を用いた場合には、図３（ａ）のように深さ映像３０５の左側に大小のホールが発生する。その一方、ａ〜ｃ過程を経て生成された深さ映像が参照映像として右側視点映像３１０を用いた場合には、図３（ｂ）のように深さ映像３０５の右側に大小のホールが発生する。このようなホールの発生は左側視点映像３００や右側視点映像３１０が表現できない部分（すなわち、閉鎖領域）を仮想に設定する過程で発生する。よって、参照映像が単一映像である場合にはこのホールに該当する値を原則的に求めることが不可能である。

そこで、本発明では、図４に示すように、ホール（Ｈｏｌｅ）周辺の８個の画素値のうちの利用可能であると判断される値の中間値を取る。中間値を求めるにはメジアンフィルター（ＭｅｄｉａｎＦｉｌｔｅｒ）を活用することができる。但し、ホールが前景と背景の境界をなす領域で発生する場合、中間値を取ると境界が崩れる現象が生じ得る。その時にはホールの前後左右値に基づいてホールが前景に属するか或いは背景に属するかを判断し、ホール周辺の画素値のうちの特定領域に属する値だけで中間値を取ることが好ましい。

（２）参照映像が複数である場合
参照映像としてある１つの視点映像を用いると、それと関連した部分にホールが発生することは前記（１）で既に言及した。しかし、例えば参照映像として左側視点映像３００を用いた場合、他の参照映像として右側視点映像３１０が備えられると、深さ映像３０５の左側に発生したホールの画素値を満たすことが非常に容易である。その理由はこのホールの画素値を右側視点映像３１０から予測できるためである。よって、この場合、ホールを除去する方法は図５に示すように展開される。

第１ステップにおいて、特定視点の参照映像３２０を用いて生成した深さ映像３２５は一側にホールが発生している。次に、第２ステップにおいて、他の視点の参照映像３３０を用いて前記深さ映像３２５のホールを除去する。この場合、映像を合成する時、参照映像において２つ以上の画素値が目標映像の１点の画素値にマッピングされる時、前景と背景を深さ値を用いて区別することが好ましい。第１ステップおよび第２ステップを経ると、一般的に深さ映像３２５のホールは除去される。しかし、深さ映像３２５から除去されないホールがあり得る。この場合には上述したメジアンフィルター適用方法を利用することが好ましい。

Ｓ１１５ステップまで経ると、本発明に係る特定視点方向における深さ映像を生成することができる（Ｓ１２０）。この深さ映像は、図６のように、その後、Ｐ視点またはＢ視点における映像を符号化する時に附加的な参考映像として用いることができる。よって、この深さ映像は窮極的に符号化効率を向上させる機能をする。

次に、図１〜図６を参照し、生成した深さ映像を符号化するエンコーダ（Ｅｎｃｏｄｅｒ）、エンコーダを用いてエンコーディング（Ｅｎｃｏｄｉｎｇ）する方法、復号化するデコーダ（Ｄｅｃｏｄｅｒ）、デコーダを用いてデコーディング（Ｄｅｃｏｄｉｎｇ）する方法などについて説明する。先ず、エンコーダについて説明する。

図７は本発明の好ましい実施形態に係るエンコーダの内部構成を示すブロック図である。図７を参照すれば、本発明の好ましい実施形態に係るエンコーダ７００はダウンサンプリング部７０２、深さ映像予測部７０４、ホール除去部７０６、映像予測部７１０、映像Ｔ／Ｑ部７３０、およびエントロピー符号化部７４０を含む。

本発明に係るエンコーダ７００は容易な実施構成を参酌して２次元ビデオエンコーダとして実現することができる。しかし、必ずしもそれに限定されるものではなく、３次元ビデオエンコーダとして実現することもできる。特に、エンコーダ７００はより高いデータ圧縮効率を考慮してＨ．２６４エンコーダとして実現することが好ましい。
ダウンサンプリング部７０２は本発明の実施形態において参照映像をダウンサンプリングする機能をする。

深さ映像予測部７０４はダウンサンプリングされた参照映像に基づいて３Ｄワーピング法を用いて特定視点方向における深さ映像を予測生成する機能をする。これに対する詳細な説明は一般式（１）、一般式（２）、および図２を参照して上述したので省略する。

ホール除去部７０６は本発明の実施形態において予測生成された深さ映像に存在するホールを除去する機能をする。これに対する詳細な説明も図３〜図５を参照して上述したので省略する。一方、本発明の実施形態において、ホール除去部７０６は深さ映像をＨ．２６４エンコーダが支援する形態のフレームに変換する機能をさらに行うことができる。

映像予測部（ＩｍａｇｅＰｒｅｄｉｃｔｉｏｎＢｌｏｃｋ；７１０）は、本発明の実施形態において、インタープリディクション（ＩｎｔｅｒＰｒｅｄｉｃｔｉｏｎ）とイントラプリディクション（ＩｎｔｒａＰｒｅｄｉｃｔｉｏｎ）を行う。ここで、インタープリディクションとは、復号化（Ｄｅｃｏｄｉｎｇ）およびジブロッキングフィルタリング（ＤｅｂｌｏｃｋｉｎｇＦｉｌｔｅｒｉｎｇ）された後、バッファに格納された参照映像フレームＦ_ｎ−１を用いて深さ映像フレームＦ_ｎのブロック予測を行うことをいう。また、イントラプリディクションとは、復号化された深さ映像フレームＦ_ｎ内で予測しようとするブロックに隣接したブロックのピクセルデータを用いてブロック予測行うことをいう。このような映像予測部７１０は、本発明の実施形態において、従来のＨ．２６４エンコーダの場合のように、減算器７１２ａ、加算器７１２ｂ、動き予想部（ＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎＳｅｃｔｉｏｎ；７１４）、動き補正部（ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎＵｎｉｔ；７１６）、フレーム内予想選択部７１８、イントラプリディクション実行部７２０、フィルタ７２２、逆変換部７２４、および逆量子化部７２６を備える。ここで、動き予想部７１４と動き補正部７１６は模様と大きさが相異なるブロックを提供し、１／４ＰｉｘｅｌＭｏｔｉｏｎＥｓｔｉｍａｔｉｏｎ、ＭｕｌｔｉｐｌｅＲｅｆｅｒｅｎｃｅＦｒａｍｅＳｅｌｅｃｔｉｏｎ、ＭｕｌｔｉｐｌｅＢｉｄｉｒｅｃｔｉｏｎａｌＭｏｄｅＳｅｌｅｃｔｉｏｎなどを支援するように設計することができる。このような動き予想部７１４と動き補正部７１６は模様と大きさが同一なブロックを提供することもできる。映像予測部７１０およびそれを構成する各部（７１２ａ〜７２６）は当業者によって容易に実現することができるので、本発明ではこれに対する詳細な説明は省略する。

映像Ｔ／Ｑ部７３０は、本発明の実施形態において、映像予測部７１０によって予測を行って取得した予測サンプルを変換して量子化する機能をする。このために映像Ｔ／Ｑ部７３０は変換部（ＴｒａｎｓｆｏｒｍＢｌｏｃｋ；７３２）と量子化部（ＱｕａｎｔｉｚａｔｉｏｎＢｌｏｃｋ；７３４）とを備える。ここで、変換部７３２は、従来のビデオ圧縮標準が主に用いられたＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）の代わりにＳＩＴ（ＳｅｐａｒａｂｌｅＩｎｔｅｇｅｒＴｒａｎｓｆｏｒｍ）を用いるように設計することができる。これは、変換部７３２の高速演算作業を可能にするだけでなく、ＩｎｖｅｒｓｅＴｒａｎｓｆｏｒｍにおけるＭｉｓｍａｔｃｈによる歪み現象も除去する。また、これも前記で記述したように当業者によって容易に実現できるので詳しい説明は省略する。

エントロピー符号化部（ＥｎｔｒｏｐｙＣｏｄｉｎｇＢｌｏｃｋ；７４０）は、本発明の実施形態において、量子化されたビデオデータを一定方式に応じて符号化してビットストリーム（ＢｉｔＳｔｒｅａｍ）を生成する機能をする。このためにエントロピー符号化部７４０は再整列部７４２およびエントロピー符号化器７４４を備える。ここで、エントロピー符号化器７４４はＵＶＬＣ（ＵｎｉｖｅｒｓａｌＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）、ＣＡＶＬＣ（ＣｏｎｔｅｘｔＡｄａｐｔｉｖｅＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）、ＣＡＢＡＣ（ＣｏｎｔｅｘｔＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ）のようなエントロピー符号化方式を採択してより効率的な圧縮が行われるように設計することができる。また、これも従来のＨ．２６４エンコーダに備えられる構成部に該当するため、当業者によって容易に実現することができるのでここでは詳細な説明を省略する。

次に、エンコーダ７００の符号化方法について説明する。図８は本発明の好ましい実施形態に係るエンコーダの符号化方法を順次記述したフローチャートである。以下、図８を参照して説明する。
先ず、ダウンサンプリング部７０２が参照映像をダウンサンプリングする（Ｓ８００）。その次、深さ映像予測部７０４がダウンサンプリングされた参照映像に基づいて３Ｄワーピング法を用いて特定視点方向における深さ映像を予測生成する（Ｓ８０５）。その次、ホール除去部７０６が予測生成された深さ映像に存在するホールを除去する（Ｓ８１０）。

Ｓ８００ステップ〜Ｓ８１０ステップを経て生成された深さ映像のフレームＦ_ｎが入力されれば、映像予測部７１０および映像Ｔ／Ｑ部７３０は伝達されたマクロブロックをフレーム内モード（ＩｎｔｒａＭｏｄｅ）またはフレーム間モード（ＩｎｔｅｒＭｏｄｅ）のうちのいずれか１つのモードを用いてエンコーディングを行う（Ｓ８１５）。いずれのモードを用いても予想マクロブロックＰが生成される（Ｓ８２０）。どのモードを用いるかはフレーム内予想選択部７１８によって決定される。先ず、フレーム内モードの場合、深さ映像フレームＦ_ｎは映像Ｔ／Ｑ部７３０の変換部７３２と量子化部７３４で処理される。その次、処理されたフレームＦ_ｎは映像予測部７１０の逆量子化部７２６と逆変換部７２４を介してフレームを再構成する。そうすると、これによりマクロブロックＰが生成される。次にフレーム間モードの場合、映像予測部７１０の動き予想部７１４は深さ映像フレームＦ_ｎと１つ以上の参照映像フレームＦ_ｎ−１に基づいて深さ映像フレームＦ_ｎの動きを予測する。そうすると、動き補正部７１６は深さ映像フレームＦ_ｎの動きを補正してマクロブロックＰを生成する。

予想マクロブロックＰが生成されると、それと深さ映像フレームＦ_ｎのマクロブロックを減算器７１２ａに入力して差分値マクロブロックＤ_ｎを取得する（Ｓ８２５）。次に、差分値マクロブロックは周波数領域変換部７３２によってＩＢＴ変換された後、量子化部７３４において一定の量子化ステップ（Ｑｓｔｅｐ）で量子化される（Ｓ８３０）。

量子化されたマクロブロックはエントロピー符号化部７４０の再整列部７４２を介して一定方式（例えば、ジグザグ方式）にスキャンされ量子化された変換係数が順次に整列される。その次、整列された一連の変換係数はエントロピー符号化器７４４を介して符号化された後、ビットストリームの形態で出力される（Ｓ８３５）。一方、この時またはその後にエントロピー符号化器７４４はサンプリング比率も共に伝送する。

一方、前記で再構成されたフレームｕＦ’_ｎはフィルタ７２２を通過した後に特定バッファ７５０に格納される。これは、その後の他のフレームをエンコーディングするために用いられる。一方、前記でフィルタ７２２とは再構成されたフレームｕＦ’_ｎのマクロブロックの間で生じる歪み現象を緩和させるためのジブロッキングフィルタ（ＤｅｂｌｏｃｋｉｎｇＦｉｌｔｅｒ）をいう。このようなフィルタ７２２は、特に、ビデオの主観的品質改善および圧縮効率の増加が同時に可能になるようにＡｄａｐｔｉｖｅＩｎ−ＬｏｏｐＦｉｌｔｅｒとして実現されることが好ましい。

次に、デコーダについて説明する。図９は本発明の好ましい実施形態に係るデコーダの内部構成を示すブロック図である。図９を参照すれば、本発明の好ましい実施形態に係るデコーダ９００はアップサンプリング部９０５、エントロピー復号化器９１０、再整列部７４２、逆量子化部７２６、逆変換部７２４、加算器７１２ｂ、動き補正部７１６、イントラプリディクション実行部７２０、フィルタ７２２、およびバッファ７５０を含んでなっている。

本発明に係るデコーダ９００は伝送される映像がダウンサンプリングされたものであるため、これをアップサンプリングするためのアップサンプリング部９０５をさらに備えることを特徴とする。

アップサンプリング部９０５は、本発明の実施形態において、フィルタ７２２を通過した映像をアップサンプリングする機能をする。しかし、アップサンプリング部９０５が前記機能を行うためにはサンプリング比率を知るべきである。サンプリング比率はビットストリームの伝達時に共にまたはその後にエンコーダ７００から伝達されることが一般的であるが、予め決定されてエンコーダ７００とデコーダ９００の各々に格納されていることも可能である。
エントロピー復号化器９１０は、本発明の実施形態において、ビットストリームが入力されれば、それに基づいてマクロブロックの変換係数を再構成する機能をする。

再整列部７４２、逆量子化部７２６、逆変換部７２４、加算器７１２ｂ、動き補正部７１６、イントラプリディクション実行部７２０、フィルタ７２２、およびバッファ７５０は図７を参照して機能について上述したのでここでは詳しい説明を省略する。
次に、デコーダ９００の復号化方法について説明する。図１０は本発明の好ましい実施形態に係るデコーダの復号化方法を順次記述したフローチャートである。以下、図１０を参照して説明する。

先ず、デコーダ９００にビットストリームが入力されれば（Ｓ１０００）、エントロピー復号化器９１０がそれに基づいてマクロブロックの変換係数を再構成する（Ｓ１００５）。再構成された変換係数はその後再整列部７４２においてマクロブロックの形態で構成される（Ｓ１０１０）。Ｓ１００５ステップを経て構成されるマクロブロックは逆量子化部７２６と逆変換部７２４を経て差分値マクロブロックＤ_ｎとして生成される（Ｓ１０１５）。

一方、参照映像フレームＦ_ｎ−１を参酌して動き補正部７１６がフレーム間モード（Ｉｎｔｅｒｍｏｄｅ）に応じて生成するにせよ、イントラプリディクション実行部７２０がフレーム内モード（Ｉｎｔｒａｍｏｄｅ）に応じて生成するにせよ、予想マクロブロックＰが生成されることは既に説明した通りである（Ｓ１０２０）。このように生成された予想マクロブロックＰはＳ１０１５ステップで生成された差分値マクロブロックＤ_ｎと加算器７１２ｂを介して合算される。そうすると、これにより再構成されたフレームｕＦ’_ｎが生成される（Ｓ１０２５）。再構成されたフレームｕＦ’_ｎはジブロッキングフィルタ７２２を介してフィルタリングされ、その後アップサンプリング部９０５を介してアップサンプリングされる。そうすると、本発明に係る深さ映像が生成され、この深さ映像はバッファ７５０に格納される（以上、Ｓ１０３０）。

一方、本発明の実施形態に係る深さ映像生成方法、エンコーダ、エンコーディング方法、デコーダ、デコーディング方法などによって生成される深さ映像はコンピュータで読み取り可能な記録媒体（例えば、ＣＤやＤＶＤなど）に格納される。また、前記深さ映像に基づいて生成される３次元ビデオも記録媒体に格納され得ることは勿論である。

一方、本発明においては図１〜図６を参照して生成される深さ映像を作る装置を実現することができる。具体的に、前記装置は参照映像をダウンサンプリングするダウンサンプリング部、ダウンサンプリングされた参照映像から３Ｄワーピング法を用いて特定視点方向における深さ映像を予測生成する深さ映像予測部、予測生成された深さ映像に存在するホールを除去するホール除去部などを含んでなり得る。

以上の説明は本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野で通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲内で様々な修正、変更、および置き換えすることができるはずである。よって、本発明に開示された実施形態および添付図面は本発明の技術思想を限定するためのものではなく説明するためのものであって、このような実施形態および添付図面によって本発明の技術思想の範囲が限定されるものではない。本発明の保護範囲は請求範囲によって解釈すべきであり、それと同等範囲内にある全ての技術思想は本発明の権利範囲に含まれると解釈しなければならない。

本発明によって生成される深さ映像は３次元復元技術や３次元ワーピング技術に応用することができる。また、本発明に係る深さ映像の符号化は３次元ＴＶや自由視点ＴＶなどのような映像媒体（または映像シアター）に用いることができる。さらに、本発明に係る深さ映像または深さ映像の符号化方法は各種の放送技術に参酌することができるため、その産業上の利用可能性は非常に高いと言える。

本発明の好ましい実施形態に係る深さ映像生成方法に対するフローチャートである。本発明の好ましい実施形態に係る３Ｄワーピング法を用いた深さ映像合成予測方法を説明するための概念図である。本発明の好ましい実施形態に係る深さ映像からホールを除去する方法を説明するための概念図である。本発明の好ましい実施形態に係る深さ映像からホールを除去する方法を説明するための概念図である。本発明の好ましい実施形態に係る深さ映像からホールを除去する方法を説明するための概念図である。本発明の好ましい実施形態に係る深さ映像を多視点深さ映像符号化方法に適用する過程を説明するための概念図である。本発明の好ましい実施形態に係るエンコーダの内部構成を示すブロック図である。本発明の好ましい実施形態に係るエンコーダの符号化方法を順次記述したフローチャートである。本発明の好ましい実施形態に係るデコーダの内部構成を示すブロック図である。本発明の好ましい実施形態に係るデコーダの復号化方法を順次記述したフローチャートである。

符号の説明

２００：参照映像
２１０：目標映像
２２０：３次元空間上
３００：左側視点映像
３０５：深さ映像
３１０：右側視点映像
３２０：特定視点の参照映像
３２５：特定視点の参照映像から生成された深さ映像
３３０：他の視点の参照映像
７００：エンコーダ
７０２：ダウンサンプリング部
７０４：深さ映像予測部
７０６：ホール除去部
７１０：映像予測部
７３０：映像Ｔ／Ｑ部
７４０：エントロピー符号化部
７５０：バッファ
９００：デコーダ
９０５：アップサンプリング部
９１０：エントロピー復号化器

Claims

深さ映像を生成する方法であって、
（ａ）ある１つの視点（ｖｉｅｗｐｏｉｎｔ）における深さ映像を取得して参照映像に設定するステップ；
（ｂ）前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成するステップ；および
（ｃ）前記予測生成された深さ映像に存在するホールを除去するステップ
を含むことを特徴とする深さ映像生成方法。
前記（ａ）ステップにおいては前記参照映像をダウンサンプリングすることを特徴とする、請求項１に記載の深さ映像生成方法。
前記（ｂ）ステップは、
（ｂ１）前記参照映像に存在する画素値の位置を３次元空間上に投影させるステップ；
（ｂ２）前記投影された３次元空間上の位置値を目標映像の一定位置に再投影させるステップ；および
（ｂ３）前記参照映像の画素位置に対応する前記目標映像の画素位置に前記参照映像の画素値を伝達するステップ
を含む方法によって前記特定視点における深さ映像を予測生成することを特徴とする、請求項１に記載の深さ映像生成方法。
前記（ｃ）ステップは、前記参照映像が１つである場合に、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用して前記ホールを除去することを特徴とする、請求項１に記載の深さ映像生成方法。
前記（ｃ）ステップは、前記参照映像が複数である場合に、特定参照映像から予測生成された深さ映像のホールに他の参照映像の対応する部分の画素値を適用して前記ホールを除去することを特徴とする、請求項１に記載の深さ映像生成方法。
前記予測生成された深さ映像から前記ホールが除去されない場合、
（ｃ１）前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用するステップ；および
（ｃ２）前記ホールに反映された画素値を抽出して前記予測生成された深さ映像に適用するステップ
を含む方法によって前記ホールを除去することを特徴とする、請求項５に記載の深さ映像生成方法。
ある１つの視点における深さ映像を取得して参照映像として格納する深さ映像格納部；
前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成する深さ映像予測部；および
前記深さ映像予測部によって予測生成された深さ映像に存在するホールを除去するホール除去部
を含む深さ映像生成装置。
前記深さ映像格納部の前記参照映像をダウンサンプリングするダウンサンプリング部をさらに含むことを特徴とする、請求項７に記載の深さ映像生成装置。
前記深さ映像予測部は、前記参照映像に存在する画素値の位置を３次元空間上に投影させ、前記投影された３次元空間上の位置値を目標映像の一定位置に再投影させ、前記参照映像の画素位置に対応する前記目標映像の画素位置に前記参照映像の画素値を伝達することによって前記特定視点における深さ映像を予測生成することを特徴とする、請求項８に記載の深さ映像生成装置。
前記ホール除去部は、前記参照映像が１つである場合に、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用して前記ホールを除去することを特徴とする、請求項７に記載の深さ映像生成装置。
前記ホール除去部は、前記参照映像が複数である場合に、特定参照映像から予測生成された深さ映像のホールに他の参照映像の対応する部分の画素値を適用して前記ホールを除去することを特徴とする、請求項７に記載の深さ映像生成装置。
前記予測生成された深さ映像から前記ホールが除去されない場合、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用し、前記ホールに反映された画素値を抽出して前記予測生成された深さ映像に適用することによって前記ホールを除去することを特徴とする、請求項１１に記載の深さ映像生成装置。
特定視点における深さ映像を用いたエンコーディング方法であって、
前記深さ映像は、
（ａ）ある１つの視点（ｖｉｅｗｐｏｉｎｔ）における深さ映像を取得して参照映像に設定するステップ；
（ｂ）前記参照映像に対し３Ｄワーピング法を適用して特定視点における前記深さ映像を予測生成するステップ；および
（ｃ）前記予測生成された深さ映像に存在するホールを除去するステップ
を含んで生成されることを特徴とするエンコーディング方法。
前記（ｂ）ステップは、
（ｂ１）前記参照映像に存在する画素値の位置を３次元空間上に投影させるステップ；
（ｂ２）前記投影された３次元空間上の位置値を目標映像の一定位置に再投影させるステップ；および
（ｂ３）前記参照映像の画素位置に対応する前記目標映像の画素位置に前記参照映像の画素値を伝達するステップ
を含む方法によって前記特定視点における深さ映像を予測生成することを特徴とする、請求項１３に記載のエンコーディング方法。
前記（ｃ）ステップは、前記参照映像が１つである場合には、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用して前記ホールを除去し、前記参照映像が複数である場合には、特定参照映像から予測生成された深さ映像のホールに他の参照映像の対応する部分の画素値を適用して前記ホールを除去して、深さ映像を生成することを特徴とする、請求項１３に記載のエンコーディング方法。
インタープリディクションとイントラプリディクションを行う映像予測部；
前記映像予測部から取得した予測サンプルを変換して量子化する映像Ｔ／Ｑ部；
前記映像Ｔ／Ｑ部によって量子化された映像データを符号化するエントロピー符号化部；および
前記映像予測部によって特定視点の深さ映像を生成する深さ映像生成部を含むエンコーダであって、
前記深さ映像生成部は、ある１つの視点における深さ映像を参照映像にし、前記参照映像に対し３Ｄワーピング法を適用して特定視点における深さ映像を予測生成する深さ映像予測部と、
前記深さ映像予測部によって予測生成された深さ映像に存在するホールを除去するホール除去部とを含むことを特徴とするエンコーダ。
前記深さ映像予測部は、前記参照映像に存在する画素値の位置を３次元空間上に投影させ、前記投影された３次元空間上の位置値を目標映像の一定位置に再投影させ、前記参照映像の画素位置に対応する前記目標映像の画素位置に前記参照映像の画素値を伝達することによって前記特定視点における深さ映像を予測生成することを特徴とする、請求項１６に記載のエンコーダ。
前記ホール除去部は、前記参照映像が１つである場合には、前記ホール周辺の画素値のうちの利用できる値の中間値を前記ホールに適用して前記ホールを除去し、前記参照映像が複数である場合には、特定参照映像から予測生成された深さ映像のホールに他の参照映像の対応する部分の画素値を適用して前記ホールを除去して、深さ映像を生成することを特徴とする、請求項１６に記載のエンコーダ。
請求項１３〜１５のうちのいずれか１つの方法によってエンコーディングされた映像を復号化することを特徴とするデコーディング方法。
請求項１３〜１５のうちのいずれか１つの方法によってエンコーディングされた映像を復号化することを特徴とするデコーダ。
コンピュータで読み取り可能な記録媒体であって、
請求項１〜６のうちのいずれか一項の方法によって実現される映像を格納する記録媒体。