JPH0798215A - 視差画像作成方法および装置 - Google Patents

視差画像作成方法および装置

Info

Publication number
JPH0798215A
JPH0798215A JP5243248A JP24324893A JPH0798215A JP H0798215 A JPH0798215 A JP H0798215A JP 5243248 A JP5243248 A JP 5243248A JP 24324893 A JP24324893 A JP 24324893A JP H0798215 A JPH0798215 A JP H0798215A
Authority
JP
Japan
Prior art keywords
parallax image
subject
parallax
image
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5243248A
Other languages
English (en)
Other versions
JP2888108B2 (ja
Inventor
Susumu Takahashi
進 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toppan Inc
Original Assignee
Toppan Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toppan Printing Co Ltd filed Critical Toppan Printing Co Ltd
Priority to JP5243248A priority Critical patent/JP2888108B2/ja
Publication of JPH0798215A publication Critical patent/JPH0798215A/ja
Application granted granted Critical
Publication of JP2888108B2 publication Critical patent/JP2888108B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】本発明は、背景部のエラーを減らして精度よく
視差画像を作成できることを最も主要な目的としてい
る。 【構成】本発明は、被写体の視差画像を作成する場合
に、微小な視差を有する視差画像対を異なる位置から複
数撮影し、次に視差画像対から被写体部の視差画像と背
景部の視差画像とを分離して、被写体部の視差画像から
被写体の連続ステレオ画像を作成し、次に連続ステレオ
画像を方向成分に分解することにより被写体の3次元分
布を測定して、被写体の3次元ボクセルデータを生成
し、次に被写体の3次元ボクセルデータの後ろに配置し
た平面に背景部の視差画像を張り付けることにより、背
景部を考慮した被写体の3次元ボクセルデータを生成
し、しかる後に背景部を考慮した被写体の3次元ボクセ
ルデータを任意の方向の2次元平面に投影することによ
り、任意の方向の新たな視差画像を作成することを特徴
とする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、被写体の視差画像を作
成する方法および装置に係り、特に視差画像の作成のた
めに、被写体の3次元形状を入力する際に、背景部と被
写体部とを分離し、背景を被写体の後部に配置した平面
に張り付けることにより、背景部のエラーを減らして精
度よく視差画像を作成できるようにした視差画像作成方
法および装置に関するものである。
【0002】
【従来の技術】近年、ホログラムやその他の方法を用い
て、3次元像を表示する様々な方法が提案されてきてい
る。これらの中でも、多数の視差画像を合成することに
よって、立体像を表示するパララックス・パノラマグラ
ムの手法は、観察位置によって異なる画像が観察でき、
自然な立体感が得られるため、ホログラフィック・ステ
レオグラムやレンチキュラレンズを用いた立体視等に応
用され、非常に優れた評価を得ている。
【0003】しかしながら、このような手法では、例え
ばホログラフィック・ステレオグラムを例にとると、自
然な立体感を得るためには、視差画像の枚数としては、
50枚から100枚もの多数の視差画像が必要である。
この視差画像の枚数が多いと、視差画像の撮影が大かが
りとなり、撮影に時間がかかる上、撮影装置も大型にな
っている。このため、動きの速い被写体や、建物のよう
な大きな被写体の撮影は、非常に困難である。
【0004】そこで、少数の視差画像から被写体の3次
元の形状を求め、この3次元形状を基に新たな視差画像
を得ることが考えられるが、少数の視差画像から被写体
の3次元形状を求める方法の一つである従来のステレオ
画像法では、視差画像の作成において、以下のような種
々の問題がある。
【0005】すなわち、ステレオ画像法による3次元形
状測定では、連続ステレオ画像(Epipolar−P
lane Image:EPI)から被写体の3次元形
状を求める場合、一般に被写体を撮影するカメラは、被
写体が画面の中央に位置するようにして撮影を行なう。
そのため、被写体から離れた奥行きのある背景は、一部
の視差画像にしか撮影されない。さらに、背景は、被写
体によって遮られるため、その一部分は画像上に撮影さ
れない場合がある。
【0006】このように、背景部は、被写体部に対して
情報量が少ないため、連続画像のみから正しい奥行きを
求めることが難しく、背景部のエラーが生じる原因とな
っている。
【0007】
【発明が解決しようとする課題】以上のように、従来の
ステレオ画像法により視差画像を作成する方法において
は、背景部の情報量が被写体部の情報量に対して少ない
ことから、連続画像のみから正しい奥行きを求めること
が難しく、背景部のエラーが生じるという問題があっ
た。
【0008】本発明は上述のような問題を解決するため
に成されたもので、背景部のエラーを減らして精度よく
視差画像を作成することが可能な極めて信頼性の高い視
差画像作成方法および装置を提供することを目的とす
る。
【0009】
【課題を解決するための手段】上記の目的を達成するた
めに、まず、請求項1に対応する発明では、被写体の視
差画像を作成する方法において、まず微小な視差を有す
る視差画像対を異なる位置から複数撮影し、次に視差画
像対から被写体部の視差画像と背景部の視差画像とを分
離して、被写体部の視差画像から被写体の連続ステレオ
画像を作成し、次に連続ステレオ画像を方向成分に分解
することにより被写体の3次元分布を測定して、当該被
写体の3次元ボクセルデータを生成し、次に被写体の3
次元ボクセルデータの後ろに配置した平面に背景部の視
差画像を張り付けることにより、背景部を考慮した被写
体の3次元ボクセルデータを生成し、しかる後に背景部
を考慮した被写体の3次元ボクセルデータを任意の方向
の2次元平面に投影することにより、任意の方向の新た
な視差画像を作成するようにしている。
【0010】また、請求項2に対応する発明では、被写
体の視差画像を作成する装置において、微小な視差を有
する視差画像対を異なる位置から複数撮影する撮影手段
と、撮影手段により撮影された視差画像対から被写体部
の視差画像と背景部の視差画像とを分離する視差画像分
離手段と、視差画像分離手段により分離された被写体部
の視差画像から被写体の連続ステレオ画像を作成する連
続ステレオ画像作成手段と、連続ステレオ画像作成手段
により作成された連続ステレオ画像を方向成分に分解す
ることにより被写体の3次元分布を測定して、被写体の
3次元ボクセルデータを生成する3次元ボクセルデータ
生成手段と、3次元ボクセルデータ生成手段により作成
された被写体の3次元ボクセルデータの後ろに配置した
平面に背景部の視差画像を張り付けて、背景部を考慮し
た被写体の3次元ボクセルデータを生成する背景部視差
画像張付手段と、背景部視差画像張付手段により生成さ
れた背景部を考慮した被写体の3次元ボクセルデータを
任意の方向の2次元平面に投影して、任意の方向の新た
な視差画像を作成する視差画像作成手段とを備えて構成
している。
【0011】
【作用】従って、本発明の視差画像作成方法および装置
においては、微小な視差を有する視差画像対が異なる位
置から複数撮影され、この視差画像対から被写体部の視
差画像と背景部の視差画像とが分離され、被写体部の視
差画像から被写体の連続ステレオ画像が作成され、この
連続ステレオ画像を方向成分に分解することにより被写
体の3次元分布が測定されて、被写体の3次元ボクセル
データが生成され、この被写体の3次元ボクセルデータ
の後ろに配置した平面に背景部の視差画像を張り付ける
ことにより、背景部を考慮した被写体の3次元ボクセル
データが生成され、この背景部を考慮した被写体の3次
元ボクセルデータを任意の方向の2次元平面に投影する
ことにより、任意の方向の新たな視差画像が作成され
る。
【0012】これにより、被写体の3次元形状を入力す
る際に、背景部と被写体部とが別々に入力され、背景が
被写体の後部に配置した平面に張り付けられることによ
り、背景部のエラーを減らして精度よく視差画像を作成
することができる。
【0013】
【実施例】まず、本発明の考え方について説明する。
【0014】連続ステレオ画像は、各視差画像の水平方
向の切断線を撮影順に並べたものであり、連続ステレオ
画像上の視差画像の対応点の軌跡は、カメラとの距離に
対応した傾きを持つ直線として現われる。
【0015】そこで、連続ステレオ画像を方向成分に分
解して、オクルージョンのない部分の奥行きを求め、こ
の奥行きの決定した部分を除いた連続ステレオ画像から
再度奥行きを求める処理を繰り返すことにより、オクル
ージョン部分の奥行きを求め、この奥行きデータを再構
成して3次元ボクセルデータを生成し、さらにこの3次
元ボクセルデータを任意の方向の2次元平面に投影する
ことにより、任意の方向の新たな視差画像を作成するこ
とができる。
【0016】さらに、本発明では、上記において、被写
体の視差画像をカメラにより撮影する際、図6に示すよ
うに、複数の微小視差の視差画像対として視差画像を撮
影する。そして、それぞれの微小視差画像対を用いて、
視差画像上から被写体部と背景部との分離を行なう。被
写体部は、所定の方法を用いて連続ステレオ画像から3
次元形状を求める。また、背景部は、被写体部の後部の
平面に張り付ける。このようにして、作成した3次元形
状を、計算機内で任意に2次元平面に投影することによ
って、任意の方向の新たな視差画像を得ることができ
る。
【0017】一方、微小視差画像対から物体の奥行きを
求める場合、視差が少ないために、手前の物体が奥の物
体を覆い隠してしまう現象(オクルージョン)が生じ、
正しい奥行きを求められない場合が少ない。そのため、
2枚の視差画像対からでも、比較的簡単に奥行きを求め
ることが可能である。しかしながら、視差が少ないこと
は、逆に奥行きの精度が劣ることになるため、微小視差
画像対からのみの情報で作成した物体の3次元形状は、
視差画像作成手段としては適さない。
【0018】従って、以上のような点から、本発明で
は、微小視差画像対からの奥行き測定方法と、連続ステ
レオ画像からの奥行き測定方法とを組み合わせ、視差画
像作成手段として適した3次元形状測定について提供す
るものである。
【0019】以下、上記のような考え方に基づく本発明
の一実施例について、図面を参照して詳細に説明する。
【0020】図1は、本発明による視差画像作成装置の
全体構成例を示すブロック図である。すなわち、本実施
例の視差画像作成装置は、図1に示すように、一定の間
隔をおいて配設された撮影手段である複数台(図では4
台)のカメラ11,12,13,14と、各カメラ1
1,12,13,14に対応して設けられた視差画像分
離手段21,22,23,24と、連続ステレオ画像作
成手段3と、奥行き決定手段4と、3次元ボクセルデー
タ生成手段5と、背景部視差画像張付手段6と、視差画
像作成手段7とから構成している。
【0021】ここで、カメラ11,12,13,14
は、被写体8の視差画像を撮影する場合に、微小な視差
を有する視差画像対を異なる位置から複数枚(図では4
枚)撮影するものである。
【0022】また、視差画像分離手段21,22,2
3,24は、カメラ11,12,13,14により撮影
された視差画像対から、被写体8部の視差画像と背景9
部の視差画像とを分離するものである。
【0023】さらに、連続ステレオ画像作成手段3は、
視差画像分離手段21,22,23,24により分離さ
れた4枚の被写体8部の視差画像から、この各視差画像
の水平方向の切断線を撮影順に並べることによって、被
写体8の連続ステレオ画像を作成するものである。
【0024】さらにまた、奥行き決定手段4は、連続ス
テレオ画像作成手段3により作成された連続ステレオ画
像を方向成分に分解することにより被写体8の3次元分
布を測定して、オクルージョンのない部分の奥行きを算
出し、かつこの奥行きの決定した部分を除いた連続ステ
レオ画像から再度奥行きを算出する処理を繰り返してオ
クルージョン部分の奥行きを算出するものである。
【0025】この場合、連続ステレオ画像の方向成分の
分解による奥行きの決定方法としては、例えば連続ステ
レオ画像上の直線の濃度の分散を利用する方法で処理す
る。この分散による方法は、連続ステレオ画像上で様々
な直線上での濃度の分散をとり、その分散がある基準値
以下の場合に、その直線の傾きに相当する奥行きに物が
存在すると決定する処理方法である。
【0026】一方、3次元ボクセルデータ生成手段5
は、奥行き決定手段4により算出された奥行きデータを
再構成して、被写体8の3次元ボクセルデータを生成す
るものである。
【0027】また、背景部視差画像張付手段6は、3次
元ボクセルデータ生成手段5により生成された被写体8
の3次元ボクセルデータの後ろに配置した平面に、背景
9部の視差画像を張り付けて、背景9部を考慮した被写
体の3次元ボクセルデータを生成するものである。
【0028】さらに、視差画像作成手段7は、背景部視
差画像張付手段6により生成された背景9部を考慮した
被写体の3次元ボクセルデータを任意の方向の2次元平
面に投影して、任意の方向の新たな視差画像を作成する
ものである。
【0029】次に、以上のように構成した本実施例の視
差画像作成装置における視差画像作成方法について説明
する。
【0030】まず、多少精度が悪いがオクルージョンが
生じ難い微小視差画像対を用いる方法により、微小視差
画像対から被写体8部と背景9部とを分離した視差画像
を作る。一般に、背景9と被写体8とは離れている場合
が多く、背景9と被写体8との分離には、奥行きの精度
はあまり必要ない。
【0031】次に、4枚の分離された被写体8の視差画
像を用いて連続ステレオ画像を作成し、被写体8の形状
を求める。
【0032】次に、この求められた被写体8の形状の後
ろの適当な位置に平面を設定し、微小視差画像対から求
められた背景9を張り付ける。
【0033】しかる後に、このようにして求められた背
景9を考慮した3次元形状を、計算機等によって2次元
平面に再投影することによって、任意の方向の視差画像
を作成することができる。
【0034】以下、かかる視差画像の作成方法につい
て、図2に示すフロー図を用いてより具体的に説明す
る。
【0035】まず、カメラ11,12,13,14によ
り、微小な視差を有する視差画像対を異なる位置から4
枚撮影する。
【0036】次に、視差画像分離手段21,22,2
3,24により、カメラ11,12,13,14で撮影
された視差画像対から、被写体8部の視差画像と背景9
部の視差画像とを分離する。
【0037】次に、連続ステレオ画像作成手段3によ
り、この視差画像分離手段21,22,23,24で分
離された4枚の被写体8部の視差画像から、被写体8の
Yライン目の連続ステレオ画像を作成する(ステップS
1、ステップS2)。
【0038】次に、奥行き決定手段4により、連続ステ
レオ画像作成手段3で作成された連続ステレオ画像を、
様々な傾きの直線上の分散をとることによって、連続ス
テレオ画像方向成分に分解する。対応点の軌跡を示す直
線の傾きと奥行きは対応するので、奥行きを求めること
ができる。ここでは、オクルージョンの存在する部分
は、手前の物体が対応点の軌跡を遮っているため、奥行
きを求めることができない。すなわち、1回目の奥行き
決定の処理では、オクルージョンのない部分の奥行きを
決定する(ステップS3)。
【0039】次に、連続ステレオ画像作成手段3によ
り、先に作成した連続ステレオ画像から、奥行きの決定
された部分を取り除く(ステップS5)。
【0040】そして、奥行き決定手段4により、再度様
々な、傾きの直線上の分散をとることによって、奥行き
を決定する。この時、既に奥行きの決定した部分(上記
の処理で取り除かれた部分)は、分散の計算に使用しな
い。かかる処理により、最初の処理によって奥行きが決
定された部分によって隠されていた部分の奥行きを求め
ることができる(ステップS3)。
【0041】以上のステップS3、ステップS5の処理
を繰り返すことによって、オクルージョンの生じている
点の奥行きも求めることができる(ステップS4)。
【0042】これらの処理を全ての水平ラインにおいて
計算することにより、被写体8の奥行きを求めることが
できる(ステップS6、ステップS7)。
【0043】次に、3次元ボクセルデータ生成手段5に
より、奥行き決定手段4で算出した奥行きデータを再構
成して、被写体8の3次元ボクセルデータを得る。
【0044】次に、背景部視差画像張付手段6により、
3次元ボクセルデータ生成手段5で生成された被写体8
の3次元ボクセルデータの後ろに配置した平面に、背景
9部の視差画像を張り付けて、背景9部を考慮した被写
体の3次元ボクセルデータを得る(ステップS8)。
【0045】最後に、視差画像作成手段7により、3次
元ボクセルデータ生成手段5で生成した3次元ボクセル
データを、周知のコンピュータ・グラフィックスの技術
により、任意の方向の2次元平面に投影することによっ
て、任意の方向の新たな視差画像を作成することができ
る(ステップS9)。
【0046】なお、上記において、濃度の変化の無い部
分では、奥行きの決定ができないことがあるが、濃度変
化の無い部分に奥行きのエラ―が生じた場合、視差画像
上では、同じ濃度の画素が入れ替わるに過ぎず、画質は
全く劣化せず、特に問題はない。
【0047】図5は、少数(4枚)の視差画像から、本
実施例の視差画像作成装置により新たな視差画像を作成
する場合の一例を示す概要図である。
【0048】次に、上記微小視差画像対から背景9部と
被写体8部とを分離する方法について、より具体的に説
明する。
【0049】なお、微小視差画像対から物体の奥行きを
求める方法としては、様々な方法が提案されてきている
が、ここでは、視差画像間の差を用いる方法について、
具体的に述べる。
【0050】すなわち、具体的には、x方向のみに視差
を有するある視差画像対の一方の座標x、yにおける濃
度をI0 (x、y)、もう一方の視差画像の座標x、y
における濃度をI1 (x、y)とする。
【0051】視差画像上でのx方向における偏微分値を
x 、視差画像間のxの偏微分値をIvxとすると、 Ix =I0 (x+1、y)−I0 (x、y) Ivx=I1 (x、y) −I0 (x、y) この時、座標x、yにおける対応点の移動量hは、次の
式で求めることができる。
【0052】h=Ix ・Ivx/Ix 2 視差画像上のノイズによる影響をなくすために、ある領
域Pで平均化すると、
【数1】 となる。そして、この移動量hは、物体の奥行きに対応
するため、座標x、yにおける奥行きを求めることがで
きる。
【0053】よって、このようにして求められた奥行き
を用いて、微小視差画像対から背景9部と被写体8部と
を分離することができる。
【0054】次に、上記オクルージョン部分の奥行きを
求める方法について、図3および図4を用いてより具体
的に説明する。
【0055】すなわち、具体的には、図3に示すよう
に、連続ステレオ画像を様々な傾きの直線で走査し、そ
の直線上の分散を求める。そして、この分散がある基準
値以下の場合に、その直線の方向に対応した奥行きに物
体が存在しているとみなすことができる。
【0056】この場合、オクルージョンの部分は、対応
点の軌跡が途切れているため、この途切れている部分で
の濃度変化が大きくなるため、奥行きを求めることがで
きない。そこで、図4に示すように、連続ステレオ画像
から、前述の処理で奥行きが決定した領域を除いた部分
を、再度様々な直線で走査し、既に奥行きの決定してい
る部分に隠された領域の奥行きを求めることができる。
【0057】上述したように、本実施例の視差画像作成
装置は、被写体8の視差画像を撮影する場合に、微小な
視差を有する視差画像対を異なる位置から複数枚(図で
は4枚)撮影するカメラ11,12,13,14と、カ
メラ11,12,13,14により撮影された視差画像
対から、被写体8部の視差画像と背景9部の視差画像と
を分離する視差画像分離手段21,22,23,24
と、視差画像分離手段21,22,23,24により分
離された4枚の被写体8部の視差画像から、この各視差
画像の水平方向の切断線を撮影順に並べることによっ
て、被写体8の連続ステレオ画像を作成する連続ステレ
オ画像作成手段3と、連続ステレオ画像作成手段3によ
り作成された連続ステレオ画像を方向成分に分解するこ
とにより被写体8の3次元分布を測定して、オクルージ
ョンのない部分の奥行きを算出し、かつこの奥行きの決
定した部分を除いた連続ステレオ画像から再度奥行きを
算出する処理を繰り返してオクルージョン部分の奥行き
を算出する奥行き決定手段4と、奥行き決定手段4によ
り算出された奥行きデータを再構成して、被写体8の3
次元ボクセルデータを生成する3次元ボクセルデータ生
成手段5と、3次元ボクセルデータ生成手段5により生
成された被写体8の3次元ボクセルデータの後ろに配置
した平面に、背景9部の視差画像を張り付けて、背景9
部を考慮した被写体の3次元ボクセルデータを生成する
背景部視差画像張付手段6と、背景部視差画像張付手段
6により生成された背景9部を考慮した被写体の3次元
ボクセルデータを任意の方向の2次元平面に投影して、
任意の方向の新たな視差画像を作成する視差画像作成手
段7とから構成したものである。
【0058】従って、被写体8の3次元形状を入力する
際に、背景9部と被写体8部とが別々に入力され、背景
9が被写体8の後部に配置した平面に張り付けられるこ
とによって、背景9部のエラーを減らすことができるた
め、精度よく視差画像を作成することが可能となる。
【0059】また、連続ステレオ画像を方向成分に分解
し、その方向に対応した奥行きを与えることによって奥
行きを決定しているため、原画もしくは連続ステレオ画
像における特徴点抽出の処理を行なう必要がなくなり、
また複数の視差画像の対応点決定を一度に行なうことが
できるため、汎用性が高く、被写体8の3次元形状を簡
単に求めることが可能となる。
【0060】さらに、被写体8の3次元形状を任意の方
向の2次元平面に投影することにより、任意の方向の新
たな視差画像を作成することが可能であるため、極めて
汎用性が高く、様々な被写体が想定される立体表示に適
している。
【0061】一方、オクルージョンが生じた場合でも、
奥行きの決定した部分を除いて、連続ステレオ画像の方
向成分分解の処理を繰り返し行なうため、極めて汎用性
が高く、簡単にしかも精度よく、被写体8の3次元形状
を求めることが可能となり、視差画像の作成に適した方
法である。
【0062】すなわち、従来の方法では、オクルージョ
ンが生じている部分は、手前の物体が対応点の軌跡を遮
って、対応点の軌跡が途切れてしまうため、被写体の奥
行きを正確に求められなかったが、本実施例では、連続
ステレオ画像を方向成分に分解して奥行きを決定する処
理を複数回行ない、手前の物体から順番に奥行きを決定
しているため、オクルージョンの生じている部分の奥行
きを求めることが可能となる。この場合、複数の視差画
像間での計算を一度に行なうことができるため、比較的
速い演算で被写体の3次元形状を求めることができ、視
差画像の作成に適した方法である。
【0063】また、連続ステレオ画像を方向成分に分解
して奥行きを算出する処理のみでよいため、連続ステレ
オ画像から直接3次元像を求めることができ、ハードウ
ェア化による極めて簡単な処理を行なうことが可能とな
る。
【0064】尚、本発明は上記実施例に限定されるもの
ではなく、次のようにしても実施できるものである。
【0065】(a)上記実施例では、4台のカメラ1
1,12,13,14を設置して、被写体8の4枚の視
差画像を得る場合について説明したが、これに限らず1
台のカメラを設置し、このカメラを一定の間隔(ピッ
チ)で直線上を移動させながら被写体8を撮影して4枚
の視差画像を得るようにしてもよい。
【0066】(b)上記実施例では、連続ステレオ画像
の方向成分の分解による奥行きの決定方法として、連続
ステレオ画像上の直線の濃度の分散による方法を用いた
場合について説明したが、これに限らず、方向成分の分
解には、例えばフーリエ変換による方法や、ハフ変換に
よる方法を用いるようにしてもよい。
【0067】
【発明の効果】以上説明したように本発明によれば、被
写体の視差画像を作成する場合に、微小な視差を有する
視差画像対を異なる位置から複数撮影し、次に視差画像
対から被写体部の視差画像と背景部の視差画像とを分離
して、被写体部の視差画像から被写体の連続ステレオ画
像を作成し、次に連続ステレオ画像を方向成分に分解す
ることにより被写体の3次元分布を測定して、被写体の
3次元ボクセルデータを生成し、次に被写体の3次元ボ
クセルデータの後ろに配置した平面に背景部の視差画像
を張り付けることにより、背景部を考慮した被写体の3
次元ボクセルデータを生成し、しかる後に背景部を考慮
した被写体の3次元ボクセルデータを任意の方向の2次
元平面に投影することにより、任意の方向の新たな視差
画像を作成するようにしたので、背景部のエラーを減ら
して精度よく視差画像を作成することが可能な極めて信
頼性の高い視差画像作成方法および装置が提供できる。
【図面の簡単な説明】
【図1】本発明による視差画像作成装置の一実施例を示
すブロック図。
【図2】同実施例における作用を説明するためのフロー
図。
【図3】同実施例におけるオクルージョン部分の奥行き
を求める方法を説明するための概要図。
【図4】同実施例におけるオクルージョン部分の奥行き
を求める方法を説明するための概要図。
【図5】同実施例における少数の視差画像から新たな視
差画像を作成する場合の一例を説明するための概要図。
【図6】本発明の考え方を説明するための概要図。
【符号の説明】
11,12,13,14…カメラ、21,22,23,
24…視差画像分離手段、3…連続ステレオ画像作成手
段、4…奥行き決定手段、5…3次元ボクセルデータ生
成手段、6…背景部視差画像張付手段、7…視差画像作
成手段、8…被写体、9…背景。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 // G06T 15/00

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 被写体の視差画像を作成する方法におい
    て、 まず、微小な視差を有する視差画像対を異なる位置から
    複数撮影し、 次に、前記視差画像対から被写体部の視差画像と背景部
    の視差画像とを分離して、前記被写体部の視差画像から
    被写体の連続ステレオ画像を作成し、 次に、前記連続ステレオ画像を方向成分に分解すること
    により被写体の3次元分布を測定して、当該被写体の3
    次元ボクセルデータを生成し、 次に、前記被写体の3次元ボクセルデータの後ろに配置
    した平面に前記背景部の視差画像を張り付けることによ
    り、前記背景部を考慮した被写体の3次元ボクセルデー
    タを生成し、 しかる後に、前記背景部を考慮した被写体の3次元ボク
    セルデータを任意の方向の2次元平面に投影することに
    より、任意の方向の新たな視差画像を作成するようにし
    たことを特徴とする視差画像作成方法。
  2. 【請求項2】 被写体の視差画像を作成する装置におい
    て、 微小な視差を有する視差画像対を異なる位置から複数撮
    影する撮影手段と、 前記撮影手段により撮影された視差画像対から被写体部
    の視差画像と背景部の視差画像とを分離する視差画像分
    離手段と、 前記視差画像分離手段により分離された被写体部の視差
    画像から被写体の連続ステレオ画像を作成する連続ステ
    レオ画像作成手段と、 前記連続ステレオ画像作成手段により作成された連続ス
    テレオ画像を方向成分に分解することにより被写体の3
    次元分布を測定して、前記被写体の3次元ボクセルデー
    タを生成する3次元ボクセルデータ生成手段と、 前記3次元ボクセルデータ生成手段により作成された被
    写体の3次元ボクセルデータの後ろに配置した平面に前
    記背景部の視差画像を張り付けて、前記背景部を考慮し
    た被写体の3次元ボクセルデータを生成する背景部視差
    画像張付手段と、 前記背景部視差画像張付手段により生成された背景部を
    考慮した被写体の3次元ボクセルデータを任意の方向の
    2次元平面に投影して、任意の方向の新たな視差画像を
    作成する視差画像作成手段と、 を備えて成ることを特徴とする視差画像作成装置。
JP5243248A 1993-09-29 1993-09-29 視差画像作成方法および装置 Expired - Fee Related JP2888108B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5243248A JP2888108B2 (ja) 1993-09-29 1993-09-29 視差画像作成方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5243248A JP2888108B2 (ja) 1993-09-29 1993-09-29 視差画像作成方法および装置

Publications (2)

Publication Number Publication Date
JPH0798215A true JPH0798215A (ja) 1995-04-11
JP2888108B2 JP2888108B2 (ja) 1999-05-10

Family

ID=17101047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5243248A Expired - Fee Related JP2888108B2 (ja) 1993-09-29 1993-09-29 視差画像作成方法および装置

Country Status (1)

Country Link
JP (1) JP2888108B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002056259A1 (fr) * 2001-01-05 2002-07-18 Center For Advanced Science And Technology Incubation, Ltd. Appareil support de verification tridimensionnelle, procede de verification de structure tridimensionnelle, support d'enregistrement et programme
JP2006285415A (ja) * 2005-03-31 2006-10-19 Sony Corp 画像処理方法、その装置およびプログラム
JP2012029047A (ja) * 2010-07-23 2012-02-09 Nippon Telegr & Teleph Corp <Ntt> 画像入力装置、画像入力方法及び画像入力プログラム
JP2013518340A (ja) * 2010-01-26 2013-05-20 サーブ アクティエボラーグ 自動化された三次元マッピング法
JP2013520912A (ja) * 2010-02-23 2013-06-06 サムスン エレクトロニクス カンパニー リミテッド 携帯用端末機において立体映像データを生成するための装置及びその方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002056259A1 (fr) * 2001-01-05 2002-07-18 Center For Advanced Science And Technology Incubation, Ltd. Appareil support de verification tridimensionnelle, procede de verification de structure tridimensionnelle, support d'enregistrement et programme
US6828555B2 (en) 2001-01-05 2004-12-07 Center For Advanced Science And Technology Incubation, Ltd. Three-dimensional structure verification supporting apparatus, three-dimensional structure verification method, recording medium, and program therefor
JP2006285415A (ja) * 2005-03-31 2006-10-19 Sony Corp 画像処理方法、その装置およびプログラム
JP2013518340A (ja) * 2010-01-26 2013-05-20 サーブ アクティエボラーグ 自動化された三次元マッピング法
JP2013520912A (ja) * 2010-02-23 2013-06-06 サムスン エレクトロニクス カンパニー リミテッド 携帯用端末機において立体映像データを生成するための装置及びその方法
US9369690B2 (en) 2010-02-23 2016-06-14 Samsung Electronics Co., Ltd. Apparatus and method for generating 3D image data in a portable terminal
JP2012029047A (ja) * 2010-07-23 2012-02-09 Nippon Telegr & Teleph Corp <Ntt> 画像入力装置、画像入力方法及び画像入力プログラム

Also Published As

Publication number Publication date
JP2888108B2 (ja) 1999-05-10

Similar Documents

Publication Publication Date Title
US6205241B1 (en) Compression of stereoscopic images
US20190311497A1 (en) Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US6477268B1 (en) Producing transitions between vistas
CN101729920B (zh) 一种自由视角立体视频显示方法
JP3524147B2 (ja) 3次元画像表示装置
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
EP1354292A1 (en) Techniques and systems for developing high-resolution imagery
JP2008535116A (ja) 3次元レンダリング用の方法及び装置
JPH07287761A (ja) 画像処理装置及び画像処理方法
CN107358609B (zh) 一种用于增强现实的图像叠加方法及装置
Slabaugh et al. Image-based photo hulls
JP7479729B2 (ja) 三次元表現方法及び表現装置
US20150070346A1 (en) Method and System for Rendering Virtual Views
JPH05303629A (ja) 形状合成方法
JP2941139B2 (ja) 視差画像作成方法および装置
JP2888108B2 (ja) 視差画像作成方法および装置
JPH05135155A (ja) 連続シルエツト画像による3次元モデル構成装置
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
JPH09179998A (ja) 3次元画像表示システム
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
Maimone et al. A taxonomy for stereo computer vision experiments
JP6984870B2 (ja) 3次元形状測定装置、3次元形状測定方法、及び3次元形状測定プログラム
JP2004013869A (ja) 3次元形状生成装置及びそれに用いる3次元形状生成方法並びにそのプログラム
WERKHOVEN Metamerisms in structure-from-motion perception
JPH09161074A (ja) 画像処理装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080219

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090219

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100219

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100219

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110219

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120219

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees