JP2001359119A - 立体映像生成方法 - Google Patents

立体映像生成方法

Info

Publication number
JP2001359119A
JP2001359119A JP2000179545A JP2000179545A JP2001359119A JP 2001359119 A JP2001359119 A JP 2001359119A JP 2000179545 A JP2000179545 A JP 2000179545A JP 2000179545 A JP2000179545 A JP 2000179545A JP 2001359119 A JP2001359119 A JP 2001359119A
Authority
JP
Japan
Prior art keywords
depth
contrast
area
image
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000179545A
Other languages
English (en)
Inventor
Toru Sugiyama
徹 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2000179545A priority Critical patent/JP2001359119A/ja
Publication of JP2001359119A publication Critical patent/JP2001359119A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 誤った奥行き値で立体映像が生成されるのを
防ぐ立体画像生成方法を提供する。 【解決手段】 映像のコントラストが低い領域では奥行
き推定の精度が低下するが、映像のコントラストの低い
領域においては、もともと奥行き知覚ができない。そこ
で、奥行き知覚ができないようなコントラストの低い領
域においては、奥行き推定を行わず、周辺の奥行き値で
補間する。これにより誤った奥行き値で立体映像が生成
されるのを防ぐとともに、奥行き推定に要する演算を削
減することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、2次元映像を用
いて立体映像を生成する立体映像生成方法に関するもの
で、特に2次元映像から奥行きを推定して立体映像を得
る場合の、奥行きの推定方法に関する。
【0002】
【従来の技術】現在、民生用の立体ディスプレィの開発
が進む一方で、民生用の立体映像ソフトの量は少なく、
立体映像を表示するためには新規に立体映像を制作する
必要がある。
【0003】そこで従来の2次元映像の資産を活かす方
法として、従来の2次元映像から立体映像を生成する方
法が提案されている。2次元映像から立体映像を生成す
る方法としては、本件出願人が先に出願した特願平11-5
6891号がある。これによれば、2次元映像から動きベク
トルを算出し、動きベクトルの値を参照して2次元映像
の奥行きを推定し、推定した奥行きに基づいて立体映像
を生成する。
【0004】しかしながら、例えばブロックマッチング
を用いて動きベクトルを検出する場合、各ブロック内で
の隣接画素間とのコントラストが低いと正確な動きベク
トルの検出が行えず、誤った奥行き推定に基づいて立体
映像を生成するという、不具合が生じる場合がある。
【0005】
【発明が解決しようとする課題】上記した構成において
は、ブロックマッチングを用いて動きベクトルを検出す
る場合、各ブロック内での隣接画素間とのコントラスト
が低いと正確な動きベクトルの検出が行えない。誤った
奥行き推定に従って立体映像を生成するという、不具合
が生じる場合があった。
【0006】この発明は、誤った奥行き値で立体映像が
生成されるのを防ぐことを可能とする立体映像生成方法
を提供することにある。
【0007】
【課題を解決するための手段】上記した課題を解決する
ために、この発明の立体映像生成方法では、映像のコン
トラストが低い領域においては奥行き推定の精度が低下
するが、映像のコントラストの低い領域においては、も
ともと奥行き知覚ができない。そこで、奥行き知覚がで
きないようなコントラストの低い領域においては、奥行
き推定を行わず、周辺の奥行き値で補間する。
【0008】これにより誤った奥行き値で立体映像が生
成されるのを防ぐとともに、奥行き推定に要する演算を
削減することができる。
【0009】
【発明の実施の形態】以下、この発明の実施の形態につ
いて図面を参照しながら詳細に説明するが、その前に、
図16を参照して本発明の前提とする立体視の特性につ
いて説明する。
【0010】例えば、3次元被写体1601、1602を観察者
1603が観察する。観察者が知覚する像は左眼が1604、右
眼が1605となる。この場合手前に位置する被写体1601と
背景の被写体1602との間に画像差があるため、1604と16
05で被写体1602を検出し、2枚の像のズレ量から被写体
1602が手前に位置することを観察者1603は知覚できる。
一方、3次元被写体1606、1607を観察者1608が観察する
場合、手前に位置する被写体1607と背景に位置する被写
体1606との間に画像差がないため、1609と1610間での被
写体1607のズレ量を検出できず、被写体1607が手前に位
置することを観察者1608は知覚できない。本発明はこの
特性を利用し、奥行き知覚ができないような領域におい
ては、奥行きを推定し再現しても奥行きが知覚されない
ため、この領域に関しては奥行きの推定を行わず、周辺
からの奥行き値で補間することを本発明の主旨とする。
【0011】図1は、この発明の第1の実施の形態を示
す構成図である。2次元映像信号は2次元映像信号復号
部101に入力する。2次元映像信号復号部101は、例えば
圧縮のために符号化されている映像信号を復号する復号
部である。
【0012】2次元映像信号復号部101で復号された2
次元映像信号は、コントラスト算出部102に入力する。
コントラスト算出部102では2次元映像の各領域でのコ
ントラストを算出する。図2にコントラスト算出部の動
作の概念図を示す。図2aのように2次元映像を一定の
大きさの矩形領域に分割し、各領域内で隣接画素間との
画素値の差分を求めることで各領域のコントラストを算
出する。さらにコントラストの算出結果に従って、コン
トラスト値がA>B>Cとなるように各領域をラベル付
けする(図2b)。
【0013】動きベクトル検出部103ではコントラスト
算出部102においてAとBにラベル付けされた領域に対
してのみ動きベクトルを算出する。動きベクトルが算出
された様子を図3に示す。
【0014】背景領域抽出部104ではコントラスト算出
部102においてBとラベル付けされた領域を背景領域と
判断し、背景ベクトル算出部105では背景領域での動き
ベクトルの平均を算出し、背景ベクトルとする。背景ベ
クトルが算出された様子を図4に示す。
【0015】相対動きベクトル算出部106では、AとB
にラベル付けされた領域に対し、動きベクトルから背景
ベクトルを減算することで相対動きベクトルを算出す
る。相対動きベクトルが算出された様子を図5に示す。
【0016】奥行き設定部107ではAとBにラベル付け
された領域に対して相対動きベクトルの値を参照して奥
行き値を推定する。例えば相対動きベクトルが大きい領
域では手前、相対動きベクトルが小さい領域では奥と判
断する。この様子を図6に示す。奥行き補間部108では
Cにラベル付けされた領域に対して、隣接領域の奥行き
値で補間する。例えば隣接領域の奥行き値のうち多数を
占める奥行き値で補間する。この様子を図7に示す。
【0017】視差画像生成部109では推定した奥行き値
に従って左眼用映像と右眼用映像を生成する。例えば奥
行き値に従って2次元映像の画素を水平方向にずらすこ
とで左眼用映像と右眼用映像を生成する。
【0018】図8はこの発明の第2の実施の形態を示す
構成図である。第1の実施例との違いは2次元映像を矩
形状に領域分割するのでなく、被写体形状を考慮した形
状で領域を分割することにある。
【0019】2次元映像信号復号部801で復号された2
次元映像信号は、領域分割部802にて被写体形状に沿っ
て領域分割される。領域分割の手法としては例えば K平
均クラスタリングなどがある。2次元映像に対して領域
分割を行った様子を図9に示す。
【0020】領域分割された結果はコントラスト算出部
803に入力する。コントラスト算出部803では各領域のコ
ントラストを算出し、結果に従い各領域をラベル付けす
る。例えば、各領域内での隣接画素間との画素値の差分
が一定値以上、または各領域の境界で画素値の差分が一
定値以上ならAにラベル付けし、それ以外はBにラベル
付けする。この様子を図10に示す。
【0021】動きベクトル検出部804ではコントラスト
算出部803においてAにラベル付けされた領域に対して
のみ動きベクトルを算出する。動きベクトルが算出され
た様子を図11に示す。
【0022】背景領域抽出部805ではコントラスト算出
部803においてAにラベル付けされた領域のうち、領域
内での隣接画素間との画素値の差分が一定値以下の領域
のみを背景領域と判断する。背景ベクトル算出部806で
は背景領域と判断された領域での動きベクトルの平均を
算出し、背景ベクトルとする。この様子を図12に示す。
【0023】相対動きベクトル算出部807ではAにラベ
ル付けされた領域に対し、動きベクトルから背景ベクト
ルを減算することで相対動きベクトルを算出する。この
様子を図13に示す。
【0024】奥行き設定部808ではAにラベル付けされ
た領域に対して相対動きベクトルの値を参照して奥行き
値を推定する。例えば相対動きベクトルが大きい領域で
は手前、相対動きベクトルが小さい領域では奥と判断す
る。この様子を図14に示す。奥行き補間部809ではBに
ラベル付けされた領域に対して、隣接領域の奥行き値で
補間する。例えば隣接領域の奥行き値のうち多数を占め
る奥行き値で補間する。この様子を図15に示す。視差画
像生成部810では推定した奥行き値に従って左眼用映像
と右眼用映像を生成する。
【0025】なお、第1と第2の実施の形態においては
背景領域の抽出をコントラストの値を参照して設定した
が、背景領域が既知の場合には背景領域抽出部104、805
は省略可能である。また、背景ベクトルが既知の場合に
は背景領域抽出部104、805と背景ベクトル算出部105、8
06は省略可能である。さらに、奥行き推定部110、811の
動作は相対動きベクトルの値を参照して奥行き推定を行
う例を示したが、この奥行き推定の方法に限定されず、
例えば線遠近法や陰影など他の手掛かりから奥行きを推
定する場合にも適用可能である。
【0026】
【発明の効果】以上説明したように、本発明の立体映像
生成方法によれば、奥行き知覚ができないようなコント
ラストの低い領域では奥行き推定を行わず周辺の奥行き
値で補間することにより、誤った奥行き値で立体映像が
生成されるのを防ぐとともに、奥行き推定に要する演算
を削減することができる。
【図面の簡単な説明】
【図1】この発明の第1の実施の形態を示す立体映像生
成について説明するための説明図。
【図2】図1のコントラスト算出部の動作について説明
するための説明図。
【図3】図1の動きベクトル検出部の動作について説明
するための説明図。
【図4】図1の背景領域抽出部および背景ベクトル算出
部の動作について説明するための説明図。
【図5】図1の相対動きベクトル算出部の動作について
説明するための説明図。
【図6】図1の奥行き設定部の動作について説明するた
めの説明図。
【図7】図1の奥行き補間部の動作について説明するた
めの説明図。
【図8】この発明の第2の実施の形態について説明する
ための説明図。
【図9】図2の領域分割部の動作について説明するため
の説明図。
【図10】図2のコントラスト算出部の動作について説
明するための説明図。
【図11】図2の動きベクトル検出部の動作について説
明するための説明図。
【図12】図2の背景領域抽出部および背景ベクトル算
出部の動作について説明するための説明図。
【図13】図2の相対動きベクトル算出部の動作につい
て説明するための説明図。
【図14】図2の奥行き設定部の動作について説明する
ための説明図。
【図15】図2の奥行き補間部の動作について説明する
ための説明図。
【図16】奥行き知覚ができる場合とできない場合との
違いについて説明するための説明図。
【符号の説明】
101,801…2次元映像信号復号部、102,80
3…コントラスト算出部、103,804…動きベクト
ル検出部、104,805…背景領域抽出部、105,
806…背景ベクトル算出部、106,807…相対動
きベクトル算出部、107,808…奥行き設定部、1
08,809…奥行き補間部、109,810…視差画
像生成部、110,811…奥行き推定部、802…領
域分割部。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2H059 AA18 5B050 AA10 BA09 DA01 EA06 EA07 EA12 EA26 FA06 5B057 BA02 CA02 CA08 CA12 CA16 CB02 CB08 CB13 CB16 CB17 CC01 CH08 CH18 DA08 DA16 DA17 DC02 DC22 5C061 AA06 AA29 AB12

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 2次元映像の各画素の奥行き情報を推定
    し、推定により得られた奥行き情報を用いて立体映像を
    生成する方法において、 前記2次元映像の各画素についてその周辺画素とのコン
    トラストを算出し、周辺画素とのコントラストの低い画
    素では、奥行きの推定を行わず周辺の画素で推定した奥
    行き情報で補間することを特徴とする立体映像生成方
    法。
  2. 【請求項2】 2次元映像に対し領域分割を行い、該分
    割された各領域の奥行き情報を推定し、推定により得ら
    れた奥行き情報を用いて立体映像を生成する方法におい
    て、 前記分割した各領域についてその各領域内でのコントラ
    ストあるいは隣接領域間とのコントラストの少なくとも
    一方を算出し、算出されたコントラストの低い領域で
    は、奥行きの推定を行わず周辺の領域で推定した奥行き
    情報で補間することを特徴とする立体映像生成方法。
JP2000179545A 2000-06-15 2000-06-15 立体映像生成方法 Pending JP2001359119A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000179545A JP2001359119A (ja) 2000-06-15 2000-06-15 立体映像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000179545A JP2001359119A (ja) 2000-06-15 2000-06-15 立体映像生成方法

Publications (1)

Publication Number Publication Date
JP2001359119A true JP2001359119A (ja) 2001-12-26

Family

ID=18680803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000179545A Pending JP2001359119A (ja) 2000-06-15 2000-06-15 立体映像生成方法

Country Status (1)

Country Link
JP (1) JP2001359119A (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527561A (ja) * 2005-01-12 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きの知覚
JP2012015744A (ja) * 2010-06-30 2012-01-19 Toshiba Corp 奥行き信号生成装置及び方法
WO2011155697A3 (ko) * 2010-06-08 2012-02-02 에스케이텔레콤 주식회사 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP2012119783A (ja) * 2010-11-29 2012-06-21 Sony Corp 画像処理装置、表示装置、画像処理方法及びプログラム
JP2012156748A (ja) * 2011-01-26 2012-08-16 Nlt Technologies Ltd 画像表示装置、画像表示方法、及びプログラム
JP2012195626A (ja) * 2011-03-14 2012-10-11 Dainippon Printing Co Ltd 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体
JP2012227797A (ja) * 2011-04-21 2012-11-15 M Soft:Kk 立体視画像生成方法および立体視画像生成システム
JP2012227798A (ja) * 2011-04-21 2012-11-15 M Soft:Kk 立体視画像生成方法および立体視画像生成システム
WO2012172853A1 (ja) * 2011-06-13 2012-12-20 シャープ株式会社 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
CN103024408A (zh) * 2011-09-22 2013-04-03 株式会社东芝 立体图像转换装置和方法、立体图像输出装置
WO2013072965A1 (ja) * 2011-11-17 2013-05-23 パナソニック株式会社 映像処理装置および映像処理方法
WO2013186882A1 (ja) * 2012-06-13 2013-12-19 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
WO2013186881A1 (ja) * 2012-06-13 2013-12-19 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
JP2014003521A (ja) * 2012-06-20 2014-01-09 Jvc Kenwood Corp 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
US8873939B2 (en) 2011-05-16 2014-10-28 Kabushiki Kaisha Toshiba Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
JP2014239436A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 2次元コンテンツの3次元コンテンツへのリアルタイム変換の方法及び装置
US9483836B2 (en) 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
US9495806B2 (en) 2012-03-29 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008527561A (ja) * 2005-01-12 2008-07-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 奥行きの知覚
WO2011155697A3 (ko) * 2010-06-08 2012-02-02 에스케이텔레콤 주식회사 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP2012015744A (ja) * 2010-06-30 2012-01-19 Toshiba Corp 奥行き信号生成装置及び方法
US8805020B2 (en) 2010-06-30 2014-08-12 Kabushiki Kaisha Toshiba Apparatus and method for generating depth signal
JP2012119783A (ja) * 2010-11-29 2012-06-21 Sony Corp 画像処理装置、表示装置、画像処理方法及びプログラム
JP2012156748A (ja) * 2011-01-26 2012-08-16 Nlt Technologies Ltd 画像表示装置、画像表示方法、及びプログラム
US9736450B2 (en) 2011-01-26 2017-08-15 Nlt Technologies, Ltd. Image display device, image display method, and program
US9307220B2 (en) 2011-01-26 2016-04-05 Nlt Technologies, Ltd. Image display device, image display method, and program
US9483836B2 (en) 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
JP2012195626A (ja) * 2011-03-14 2012-10-11 Dainippon Printing Co Ltd 視差画像生成装置、視差画像生成方法、プログラム及び記憶媒体
JP2012227797A (ja) * 2011-04-21 2012-11-15 M Soft:Kk 立体視画像生成方法および立体視画像生成システム
JP2012227798A (ja) * 2011-04-21 2012-11-15 M Soft:Kk 立体視画像生成方法および立体視画像生成システム
US8873939B2 (en) 2011-05-16 2014-10-28 Kabushiki Kaisha Toshiba Electronic apparatus, control method of electronic apparatus, and computer-readable storage medium
JP2013005025A (ja) * 2011-06-13 2013-01-07 Sharp Corp 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
WO2012172853A1 (ja) * 2011-06-13 2012-12-20 シャープ株式会社 立体画像生成装置、立体画像生成方法、プログラム、および記録媒体
CN103024408A (zh) * 2011-09-22 2013-04-03 株式会社东芝 立体图像转换装置和方法、立体图像输出装置
JP2013070267A (ja) * 2011-09-22 2013-04-18 Toshiba Corp 立体画像変換装置、立体画像出力装置および立体画像変換方法
CN103024408B (zh) * 2011-09-22 2015-07-15 株式会社东芝 立体图像转换装置和方法、立体图像输出装置
US9094657B2 (en) 2011-09-22 2015-07-28 Kabushiki Kaisha Toshiba Electronic apparatus and method
WO2013072965A1 (ja) * 2011-11-17 2013-05-23 パナソニック株式会社 映像処理装置および映像処理方法
US9495806B2 (en) 2012-03-29 2016-11-15 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method
WO2013186881A1 (ja) * 2012-06-13 2013-12-19 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
WO2013186882A1 (ja) * 2012-06-13 2013-12-19 株式会社エム・ソフト 立体視画像生成方法および立体視画像生成システム
JP2014003521A (ja) * 2012-06-20 2014-01-09 Jvc Kenwood Corp 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム
CN104243950A (zh) * 2013-06-06 2014-12-24 索尼公司 用于将2维内容实时转换为3维内容的方法和设备
JP2014239436A (ja) * 2013-06-06 2014-12-18 ソニー株式会社 2次元コンテンツの3次元コンテンツへのリアルタイム変換の方法及び装置
CN104243950B (zh) * 2013-06-06 2016-08-24 索尼公司 用于将2维内容实时转换为3维内容的方法和设备

Similar Documents

Publication Publication Date Title
JP2001359119A (ja) 立体映像生成方法
US8488869B2 (en) Image processing method and apparatus
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
EP2214137B1 (en) A method and apparatus for frame interpolation
US8629901B2 (en) System and method of revising depth of a 3D image pair
JP4214976B2 (ja) 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム
EP2582143A2 (en) Method and device for converting three-dimensional image using depth map information
JP2000261828A (ja) 立体映像生成方法
JP5402483B2 (ja) 擬似立体画像作成装置及び擬似立体画像表示システム
US8289376B2 (en) Image processing method and apparatus
US20100194858A1 (en) Intermediate image generation apparatus and method
EP1815441B1 (en) Rendering images based on image segmentation
US20110080463A1 (en) Image processing apparatus, method, and recording medium
US20040165765A1 (en) Method and an appraratus to divide image blocks
JP2000253422A (ja) 2次元映像からの立体映像生成方法
KR20090068980A (ko) 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
JP4214529B2 (ja) 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム
JP5692051B2 (ja) 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
WO2012050089A1 (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
WO2012098974A1 (ja) 画像処理装置および方法、画像表示装置および方法
JP2013090129A (ja) 画像処理装置、および画像処理方法、並びにプログラム
Kim et al. Object-based stereoscopic conversion of MPEG-4 encoded data
Liu et al. Texture-adaptive hole-filling algorithm in raster-order for three-dimensional video applications
Cho et al. Depth-image-based 3D rendering with edge dependent preprocessing

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050414

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20050606