JP2000078611A - 立体映像受信装置及び立体映像システム - Google Patents

Abstract

(57)【要約】 【課題】 立体映像受信装置のコストを下げるととも
に、受信された映像情報をリアルタイムで処理して立体
映像を生成する。 【解決手段】 ２次元映像から立体映像を生成する処理
において、立体映像送信装置１０１は、２次元映像から
立体映像を生成する上で必要な２次元映像における各画
素あるいは各要素の奥行き値等の付加情報を抽出する前
処理を行い、この前処理で得られた付加情報と２次元映
像とを符号化した信号として立体映像受信装置１０５へ
送信する。立体映像受信装置１０５は、送信された信号
を受信して２次元映像と付加情報とをそれぞれ復号化
し、復号化された２次元映像と付加情報とに基づいて、
視差情報を用いた立体映像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、２次元映像信号
から抽出された奥行き情報等の付加情報と２次元映像信
号とに基づいて立体映像を生成する立体映像受信装置及
び立体映像システムに関する。

【０００２】

【従来の技術】従来、民生用の立体映像表示装置（立体
ディスプレイ）の開発が進む一方で民生用の立体映像用
ソフトの量は少なく、立体映像を表示するためには新規
に立体映像を制作する必要がある。

【０００３】そこで、従来の２次元映像の資産を活かす
方法として、従来の２次元映像を立体映像に変換するも
のが提案されている。２次元映像を３次元映像に変換す
る構成を図１０に示す。送信装置１００１は、２次元映
像信号を伝送するのと同じ方法で２次元映像信号を符号
化装置１００２で符号化し送信する。受信装置１００３
は、送信装置１００１からの符号化された信号を受信し
て復号化装置１００４で２次元映像信号を復号化した
後、視差映像生成器１００５で２つの視差映像信号を生
成する。つまり、受信装置１００３で立体映像への変換
処理の全てを受け持つ。

【０００４】立体映像を生成する方法としては、例え
ば、画面の中心付近が奥行き方向で常に手前にあるもの
と仮定し、中心付近が常に手前に見えるように立体映像
を生成する方法がある。

【０００５】また、他の方法としては動いている領域が
手前にあるものと仮定し、動きが左から右方向の場合に
は、右眼に与える映像は左眼に対して数フィールド遅れ
たものとすることで、動いている領域が手前に知覚され
ることになる。

【０００６】現在、上記のような映像処理技術が発展を
遂げ、動画、静止画に関わらず２次元映像から３次元形
状を推定する研究が盛んに行われている。一方、映像の
符号化に関してはＭＰＥＧ４の規格化がなされている。
その構成を図１１に示す。まず、図１２（ａ）に示すよ
うな２次元映像が送信装置１０１１に入力される。演算
装置１０１２では、図１２（ｂ）〜（ｄ）に示すよう
に、画像を構成要素に分解し、符号化装置１０１３で各
要素の符号化を行なうとともに各要素間の位置関係の情
報も符号化する。符号化した各信号は多重化装置１０１
４で多重され送信装置より送信（伝送）される。この送
信された信号は受信装置１０１５により受信され、ま
ず、多重分離装置１０１６で各要素毎に分離される。分
離した各要素は復号化装置１０１７により復号化され、
同時に、要素間の位置関係の情報も復号化する。復号化
した信号は、図１２（ｅ）に示すように、合成部１０１
８にて位置関係の情報に基づいて合成され、原画像と同
様な映像として出力される。

【０００７】

【発明が解決しようとする課題】しかし、上記図１１の
装置は、あくまでも出力が２次元映像である。そこで、
２次元映像をよりリアル性のある３次元映像に変換する
処理を立体映像受信装置で全て行おうとすると、立体映
像受信装置が高額となったり、処理量が多くリアルタイ
ムでの処理が困難となるという欠点がある。

【０００８】そこで、本発明は、立体映像受信装置のコ
ストを下げることができ、受信された映像情報をリアル
タイムで処理して立体映像を生成することができる立体
映像受信装置及び立体映像システムを提供することを目
的とする。

【０００９】

【課題を解決するための手段】上記した課題を解決する
ために、この発明の立体映像受信装置は、送信装置から
送信された映像情報に基づいて、立体映像を生成するも
のにおいて、前記送信装置から送信される２次元映像情
報と立体映像を生成するための付加情報とが符号化され
た信号とを受信する受信手段、この受信手段により受信
された信号から前記２次元映像情報と付加情報とをそれ
ぞれ復号化する復号化手段、およびこの復号化手段によ
り復号化された前記２次元映像情報と前記付加情報とを
用いて、視差情報を用いた立体映像を生成する生成手段
から構成する。

【００１０】上記の手段により、送信装置から２次元映
像情報と付加情報とが送られてくるため、受信装置で
は、２次元映像情報を用いて立体映像を作るための情報
を改めて作る必要はなく、送られてきた付加情報をすぐ
に用いることができるので、受信装置での信号処理が大
きく簡略化できることになる。

【００１１】

【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照して説明する。図１は、この発明の第１
の実施の形態について説明するための構成図である。こ
の立体映像システムは、映像情報を送信する送信装置
（立体映像送信装置）と、この送信装置から送信される
映像情報を受信してその映像を表示する受信装置（立体
映像受信装置）からなる。例えば、送信装置としては、
テレビジョンの放送局における送信装置、ビデオカメ
ラ、あるいはビデオテープレコーダ（ＶＴＲ）等であ
る。このような送信装置から送信される映像情報を受信
して表示する受信装置としては、立体ディスプレイ等の
立体表示装置がある。

【００１２】図１に示すように、送信側の送信装置１０
１は、演算装置１０２、符号化装置１０３、多重化装置
１０４により構成し、受信側の受信装置１０５は、多重
分離装置１０６、復号化装置１０７、および視差映像生
成装置１０８により構成する。

【００１３】まず、送信側の送信装置１０１内の演算装
置１０２に送信すべき２次元映像信号を入力する。演算
装置１０２では立体映像の生成に必要な前処理を行い、
立体映像の生成に有効な付加情報を算出する。立体映像
の生成に有用な情報としては、直接的には２次元映像か
ら推定した３次元形状があり、これは、例えば、２次元
映像の各画素に対する奥行き値で示す。

【００１４】２次元映像から３次元形状をいかに抽出す
るかは、現在、コンピュータビジョンの分野で多く研究
が行われている。この第１の実施の形態の上記演算装置
１０２には、時間軸方向で変化する２次元映像信号が入
力されるため、３次元形状を推定する上でのパラメータ
としては運動視差、陰影、テクスチャの勾配、線遠近、
要素の２次元形状、要素間の重なり、要素の配置および
大きさ等である。さらに、運動視差、要素の２次元形
状、要素間の重なりを推定する上のパラメータとして動
きベクトルや動きベクトル間の変位などがあり、上記パ
ラメータがお互いに関連し合っている。そのため、立体
映像生成に有効な付加情報として、奥行き値の他にも上
記の全てのパラメータが相当することとなる。つまり、
立体映像を生成するために最低限必要な３次元要素のパ
ラメータが送信装置１０１で判断し、受信装置１０５に
送信する。

【００１５】上記のような２次元映像からの３次元形状
の推定に絡む付加情報の演算は多くの処理を必要とする
が、この第１の実施の形態では、これらの処理を送信側
に持たせるためにリアルタイム性が必要とされないケー
スが多く、かつ送信側では受信側に比べ能力の高い演算
装置を用いる。このため、より精度の高い立体映像の生
成が可能になる。よって、２次元映像からの３次元形状
の推定には、上記説明した演算によって自動的に生成す
るのが望ましいが、この他に、人が手動で２次元映像に
合わせ奥行きを設定し、それを付加情報としても良い。

【００１６】また、上記演算装置１０２にて生成した付
加情報は、２次元映像情報とともに符号化装置１０３に
て符号化する。この符号化した２つの信号は、多重化装
置１０４にて多重化し、送信装置１０１から受信装置１
０５に送信する。

【００１７】そして、送信装置１０１から伝送された信
号は、受信装置１０５にて受信する。この信号は、ま
ず、受信装置１０５の多重分離装置１０６にて２次元映
像信号と付加情報信号に分離し、復号化装置１０７にて
それぞれの信号の復号化を行う。復号化された信号は視
差映像生成装置１０８に入力して、立体映像の生成に必
要な後処理を行って、２つの視差映像が生成された後、
観察者の別々の眼に対して提供する。

【００１８】図２は、付加情報として各画素毎の奥行き
値を用いた場合の概念図を示す。図２（ａ）〜（ｄ）に
示すように、送信装置１０１に入力される２次元映像信
号１１１と、この２次元映像信号１１１から算出された
画素毎の奥行き値（付加情報）１１２とを受信装置１０
５に伝送する。受信装置１０５では受信された情報から
生成した視差映像（左映像）１１３、視差映像（右映
像）１１４を外部に出力する。

【００１９】また、各画素毎の奥行き値が既知の場合、
２次元映像の各画素が視差映像のどの位置に変換される
かはスクリーンの大きさ、観察者の観察距離および両眼
間の距離から一意的に求まる。

【００２０】例えば、図３に示すように、２次元映像の
元の位置の画素をその奥行き値に応じて、右眼用の画素
位置および左眼用の画素位置に移動させて幾何学的配置
を位置を求める。また、２次元映像を視差映像に変換す
る際、２次元映像に存在しない画素を生成する必要もあ
る。この場合は、例えば、隣接画素から補間して生成す
る。

【００２１】以上述べてきたように、２次元映像から立
体映像を生成する際、送信側と受信側で処理を分担す
る。処理負荷の高い奥行き値の判断を非リアルタイムで
送信側で行い、表示装置の形状や観察距離によって変化
させる必要がある奥行き値から視差映像の生成を受信側
で行う。

【００２２】これにより、受信装置での精度の高い立体
映像の生成がリアルタイムで可能になる。また、奥行き
値は通常の２次元映像信号の付加情報として送られてく
るので、２次元映像しか表示できないテレビとも互換性
が保てる。

【００２３】次に、図４はこの発明の第２の実施の形態
について説明するための構成図である。まず、送信側の
送信装置２０１内の演算装置２０２に送信すべき２次元
映像信号を入力する。演算装置２０２では、入力された
２次元映像信号をパターン認識し、映像の画面を要素毎
に領域分割する。領域分割の手法は、例えば、映像処理
ハンドブック（昭和６２年発行 昭晃社）などで、様々
な手法が紹介されている。また、演算装置２０２では、
同時に、各要素毎の奥行きを推定する処理を行う。

【００２４】演算装置２０２にて要素毎に分解された映
像信号は、符号化装置２０３にて要素毎に符号化され
る。なお、この符号化装置２０３は、図４に示すよう
に、内部に複数個の符号化処理部を配置し並列に処理す
るように示されているが、１つの符号化処理部で複数の
要素を順次処理しても良い。

【００２５】符号化装置２０３は、各要素を符号化する
とともに各要素をどのような配置で合成するかという位
置関係情報もまた符号化する。この符号化の手法は、Ｍ
ＰＥＧ４で規格化されているシーン記述言語（ＢＩＦ
Ｓ：Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ
ｓ）を用いてもよい。

【００２６】また、符号化装置２０３は、付加情報とし
て各要素毎の奥行き値も符号化する。この符号化フォー
マットの一例を図５に示す。図５に示すように、インデ
ックス（ｉｎｄｅｘ）は、その信号が奥行き値の情報で
あることを示す識別コードで信号の長さを示す値も格納
する。名前（ｎａｍｅ）は、各要素毎の識別コードであ
る。深さ（ｄｅｐｔｈ）は、その要素の奥行き値を示
す。ここでは、奥行き値の情報が位置情報とは別の付加
情報として扱われているが、上記シーン記述言語でも各
要素の３次元空間の配置が指定できるのでシーン記述言
語内で奥行き値を指定しても良い。

【００２７】そして、符号化装置２０３にて符号化され
た各信号は、多重化装置２０４で多重化し、伝送フォー
マットに変換された後、伝送装置２０１より伝送（送
信）する。

【００２８】この伝送された信号は、受信装置２０５内
の多重分離装置２０６により受信し、多重化されている
各要素毎に分離する。この分離された各要素は、復号化
装置２０７において復号化し、同時に、位置関係および
各要素の奥行き値を示す付加情報も復号化する。

【００２９】復号化装置２０７は、図４に示すように、
内部に複数個の復号化処理部を配置し、並列に復号化の
処理を行うが、この処理がリアルタイム内で処理できれ
ば１つの復号化処理部で複数の要素を順次処理しても良
い。

【００３０】復号化装置２０７により復号化された信号
は、視差映像生成器２０８に入力され、視差映像生成装
置２０８により立体映像生成に必要な後処理を行い、２
つの視差映像が生成された後、観察者の別々の眼に提供
する。

【００３１】図６は、付加情報として各要素毎の奥行き
値を用いた場合の概念図である。すなわち、図６（ａ）
に示すように、２次元映像の原画像２２１に対して、図
６（ｂ）〜（ｄ）に示すように、原画像２２１中の背景
の映像２２２、家の映像２２３、バスの映像２２４に分
割する。この分割された各要素および各要素の奥行き情
報として、奥から背景の映像２２２、家の映像２２３、
バスの映像２２４の順に奥行き値を決定する。そして、
これらの各要素の位置関係情報と、各要素の奥行き値と
を原画像ともに、符号化して受信装置に伝送する。受信
装置は、符号化されて伝送されてきた２次元映像信号、
各要素間の位置関係情報、および各要素の奥行き値を復
号化し、それらの情報に基づいて、図６（ｅ）、（ｆ）
に示すように、視差映像としての右映像２２５、左映像
２２６を生成する。

【００３２】次に、視差映像を変換する際に、生じる画
素の無い領域の補間方法を図７に示す。つまり、立体効
果を出すために被写体像を回転あるいは移動させて立体
像を作成した場合、必ずしも元の２次元表示面積と、立
体像のための面積が一致するとは限らない。このため、
背景画像に対して画素の無い無画部が生じることがあ
る。

【００３３】例えば、図７（ａ）、（ｂ）に示すよう
に、送信装置にて原画像２３１に対して、背景の映像２
３２、家の映像２３３に分解された各要素を受信装置が
受信し、その各要素の画像と奥行き値に従って、視差映
像を生成する。すると、図７（ｃ）に示すように、画素
の無い無画部が発生する場合がある。この場合、図７
（ｄ）に示すように、家の映像２３３を空間軸方向で拡
大することにより補間する。また、画素の無い領域を隣
接画素から補間することも可能である。

【００３４】図８は、この発明の第３の実施の形態につ
いて説明するための構成図である。尚、図１と同一部分
は同一符号を付しその説明を省略する。この実施の形態
では、図８に示すように、受信装置３０１において、観
察者が調整する視差調整入力装置３０３によりユーザが
入力した視差情報に基づいて、視差映像生成装置３０２
により立体映像を生成する。これにより、観察者の好み
に合わせた立体映像を提供することが可能となる。つま
り、ユーザは、視差情報を調整し、立体像の奥行き感を
調整することができる。

【００３５】図９（ａ）〜（ｃ）は、視差調整の一例を
説明するための図である。受信装置３０１には、図９
（ａ）に示すように、スクリーン面３１１に対して送信
装置１０１の演算装置１０２の前処理により奥行き値３
１２を指定する。

【００３６】そして、図９（ｂ）に示すように、ユーザ
が奥行きの基準面を調整する場合、ユーザが視差調整入
力装置３０３にて奥行きの基準面の調整値を入力する。
すると、受信装置３０１の視差映像生成装置３０２は、
奥行き値の基準面を奥行き値３１２から奥行き値３１３
に変更して視差映像を生成する。これにより、送信装置
１０１により指定される奥行き値を観察者が入力する奥
行きの基準面の調整値に従って変更し、生成される映像
を全体に奥に見える映像あるいは手前に見える映像に変
更することができ、観察者の好みに応じた立体映像を提
供することができる。

【００３７】また、ユーザが奥行き量を調整する場合、
ユーザが視差調整入力装置３０３にて奥行き量の調整量
を入力する。すると、受信装置３０１の視差映像生成装
置３０２は、奥行き値３１２を調整量に応じて増減させ
て奥行き値３１４に変更して視差映像を生成する。これ
により、送信装置により指定される奥行き値を観察者が
入力する奥行き量の調整量に従って変更し、生成する映
像を遠近感の大きい映像あるいは遠近感の小さい映像に
変更でき、観察者の好みに応じた立体映像を提供でき
る。

【００３８】上記第１〜第３の各実施の形態で説明した
ように、２次元映像から立体映像を生成する処理におい
て、立体映像送信装置は、２次元映像から立体映像を生
成する上で必要な２次元映像における各画素あるいは各
要素の奥行き値等の付加情報を抽出する前処理を行い、
この前処理で得られた付加情報と２次元映像とを符号化
した信号として立体映像受信装置へ送信する。立体映像
受信装置は、送信された信号を受信して２次元映像と付
加情報とをそれぞれ復号化し、復号化された２次元映像
と付加情報とに基づいて、視差情報を用いた立体映像を
生成するようになっている。

【００３９】これにより、多くの演算を要する奥行き値
の推定などの付加情報を抽出する処理を送信装置で非リ
アルタイムで行い、精度の高い付加情報を得ることがで
き、受信装置では、映像情報を受信した際に、リアルタ
イムで高精度の立体映像が生成できる。

【００４０】また、送信側で得られた奥行き値等の付加
情報に基づいて立体映像の生成する際に、受信側で奥行
き値等の付加情報を観察者が変更できるため、観察者の
好みに合わせた立体映像の提供が可能となる。

【００４１】

【発明の効果】以上詳述したように、この発明によれ
ば、立体映像受信装置のコストを下げることができ、受
信した映像情報をリアルタイムで処理して立体映像を生
成することができる。

【図面の簡単な説明】

【図１】 この発明の第１の実施の形態に係わるシステ
ム構成図。

【図２】 この発明の第１の実施の形態の概念を説明す
るための説明図。

【図３】 知覚する奥行きと生成する視差映像の幾何学
的関係を示す図。

【図４】 この発明の第２の実施の形態に係わるシステ
ム構成図。

【図５】 要素毎に奥行き値を付加情報とした場合の伝
送フォーマットを示す図。

【図６】 第２の実施の形態の概念を説明するための
図。

【図７】 画素の無い無画部の補間を説明するための
図。

【図８】 第３の実施の形態に係わる立体映像システム
の構成を示す図。

【図９】 画像の奥行きの調整方法を説明するための
図。

【図１０】 従来の２次元映像から立体映像を生成する
システムの構成を示す図。

【図１１】 従来の２次元映像を伝送する際の構成を説
明するための図。

【図１２】 従来の２次元映像を伝送する際の構成を説
明するための図。

【符号の説明】

１０１（２０１）…送信装置 １０２（２０２）…演算装置 １０３（２０３）…符号化装置 １０４（２０４）…多重化装置 １０５（２０５、３０１）…受信装置 １０６（２０６）…多重分離装置 １０７（２０７）…復号化装置 １０８（２０８、３０２）…視差映像生成装置 ３０３…視差調整入力装置

Claims (7)

【特許請求の範囲】
1. 【請求項１】 送信装置から送信された映像情報に基づ
   いて、立体映像を生成する立体映像受信装置において、 前記送信装置から送信される２次元映像情報と立体映像
   を生成するための付加情報とが符号化された信号とを受
   信する受信手段と、 この受信手段により受信された信号から前記２次元映像
   情報と前記付加情報とをそれぞれ復号化する復号化手段
   と、 この復号化手段により復号化された前記２次元映像情報
   と前記付加情報とを用いて、視差情報を用いた立体映像
   を生成する生成手段と、を具備したことを特徴とする立
   体映像受信装置。
2. 【請求項２】 前記付加情報は、２次元映像の各画素に
   対応する奥行き値であることを特徴とする請求項１記載
   の立体映像受信装置。
3. 【請求項３】 前記奥行き値を基準として、観察者に指
   定される値に基づいて前記奥行き値を変更する手段を有
   することを特徴とする請求項２記載の立体映像受信装
   置。
4. 【請求項４】 送信装置から送信される映像情報に基づ
   いて、立体映像を生成する立体映像受信装置において、 前記送信装置から送信される要素毎に分割された２次元
   映像情報と、各要素間の位置関係を示す位置情報と、各
   要素の奥行き値とが符号化された信号とを受信する受信
   手段と、 この受信手段により受信した信号から前記２次元映像情
   報、位置情報、及び奥行き値をそれぞれ復号化する復号
   化手段と、 この復号化手段により復号化した各要素毎の前記２次元
   映像情報、各要素間の位置情報、及び各要素毎の奥行き
   値に基づいて、各要素を合成して視差情報を用いた立体
   映像を生成する生成手段と、を具備したことを特徴とす
   る立体映像受信装置。
5. 【請求項５】 前記受信手段により受信した前記奥行き
   値を基準として、観察者に指定される値に基づいて前記
   奥行き値を変更する手段を有したことを特徴とする請求
   項４記載の立体映像受信装置。
6. 【請求項６】 映像情報を送信する送信装置と、この送
   信装置から送信される映像情報を受信して立体映像を生
   成する受信装置とからなる立体映像システムにおいて、 前記送信装置は、 前処理として２次元映像信号から像の３次元形状を判断
   して立体映像を生成するための付加情報を生成する前処
   理手段と、 前記２次元映像信号を符号化するとともに、前記前処理
   手段により生成された付加情報を符号化する符号化手段
   と、 この符号化手段により２次元映像信号と付加情報とを符
   号化した信号を前記受信装置に送信する送信手段とから
   なり、 前記受信装置は、 前記送信装置から送信される信号を受信する受信手段
   と、 この受信手段により受信した信号から前記２次元映像信
   号と付加情報とをそれぞれ復号化する復号化手段と、 この復号化手段により復号化した前記２次元映像信号と
   付加情報とに基づいて、視差情報を用いた立体映像を生
   成する生成手段とからなることを特徴とする立体映像シ
   ステム。
7. 【請求項７】 映像情報を送信する送信装置と、この送
   信装置から送信される映像情報を受信して立体映像を生
   成する受信装置とからなる立体映像システムにおいて、 前記送信装置は、 前処理として２次元映像信号を映像の内容に従って要素
   毎に分割して、各要素の奥行き値を判断する前処理手段
   と、 この前処理手段により分割された各要素毎の２次元映像
   信号及び各要素間の位置情報を符号化するとともに、各
   要素毎の奥行き値を符号化する符号化手段と、 この符号化手段により前記各要素毎の２次元映像信号、
   各要素間の位置情報、及び各要素毎の奥行き値を符号化
   した信号を送信する送信手段とからなり、 前記受信装置は、 前記送信装置から送信された信号を受信する受信手段
   と、 この受信手段により受信した信号から前記各要素毎の２
   次元映像信号、各要素間の位置情報、及び各要素毎の奥
   行き値をそれぞれ復号化する復号化手段と、 この復号化手段により復号化した前記各要素毎の２次元
   映像信号、各要素間の位置情報および各要素毎の奥行き
   値に基づいて、各要素を合成して視差情報を用いた立体
   映像を生成する生成手段とからなることを特徴とする立
   体映像システム。