JPH11150741A - ステレオ写真撮影による3次元画像表示方法および装置 - Google Patents
ステレオ写真撮影による3次元画像表示方法および装置Info
- Publication number
- JPH11150741A JPH11150741A JP9317137A JP31713797A JPH11150741A JP H11150741 A JPH11150741 A JP H11150741A JP 9317137 A JP9317137 A JP 9317137A JP 31713797 A JP31713797 A JP 31713797A JP H11150741 A JPH11150741 A JP H11150741A
- Authority
- JP
- Japan
- Prior art keywords
- data
- image
- stereo
- pixel
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【目的】 被写体の3次元画像を、撮像した2次元画像
と同程度の解像度でモニター画面上にリアルに再現で
き、かつ膨大な映像データを必要としない、ステレオ写
真撮影による3次元画像表示方法及び装置を提供するこ
とを目的とする。 【構成】 目標の撮影対象に関する一対のステレオ画像
を得るステップと;この得られた一対のステレオ画像の
データを基に、上記撮影対象の各ポイントのステレオ画
像の一方における視点原点からの距離を求め、得られた
ポイント距離データ群を3次元直交座標に変換するステ
ップと;同一面上の領域毎の上記ポイント距離データ群
と境界データとを基に、各領域を補間するような曲面を
各領域毎に生成するステップと;この生成した複数の曲
面上の各々に、上記一対のステレオ画像の一方のステレ
オ画像の対応する画素を画素単位で貼り付けて上記撮影
対象の3次元画像を生成するステップと;を有すること
を特徴とする、ステレオ写真撮影による3次元画像表示
方法。
と同程度の解像度でモニター画面上にリアルに再現で
き、かつ膨大な映像データを必要としない、ステレオ写
真撮影による3次元画像表示方法及び装置を提供するこ
とを目的とする。 【構成】 目標の撮影対象に関する一対のステレオ画像
を得るステップと;この得られた一対のステレオ画像の
データを基に、上記撮影対象の各ポイントのステレオ画
像の一方における視点原点からの距離を求め、得られた
ポイント距離データ群を3次元直交座標に変換するステ
ップと;同一面上の領域毎の上記ポイント距離データ群
と境界データとを基に、各領域を補間するような曲面を
各領域毎に生成するステップと;この生成した複数の曲
面上の各々に、上記一対のステレオ画像の一方のステレ
オ画像の対応する画素を画素単位で貼り付けて上記撮影
対象の3次元画像を生成するステップと;を有すること
を特徴とする、ステレオ写真撮影による3次元画像表示
方法。
Description
【0001】
【技術分野】本発明は、ステレオ写真撮影による3次元
画像表示方法及びその方法を用いた装置に関する。
画像表示方法及びその方法を用いた装置に関する。
【0002】
【従来技術及びその問題点】従来、撮影対象(被写体)
の画像をCRT等のモニター画面上に表示させる表示法
として、先ず撮影対象をその周囲の異なる複数位置の各
々から撮影(撮像)し、その後希望の観察方向(アング
ル)に最も近い映像をモニター画面上に表示させる画像
表示法が知られている。
の画像をCRT等のモニター画面上に表示させる表示法
として、先ず撮影対象をその周囲の異なる複数位置の各
々から撮影(撮像)し、その後希望の観察方向(アング
ル)に最も近い映像をモニター画面上に表示させる画像
表示法が知られている。
【0003】このような従来の画像表示法では、希望の
観察方向が撮影時点の方向に依存するため、任意の視点
から観た映像を再現することはできない。図15は、こ
の従来の画像表示法による撮影状況の一例を示してい
る。この例では、同一のカメラ(デジタルカメラ)Cに
より、略立方体形状の撮影対象sをその周囲の異なる複
数位置(4ヵ所)の各々から撮影する。つまりカメラC
により、撮影対象sを異なる4方向(D1,D2,D
3,D4)から撮影する。撮影対象sは、4つの側面
a,b,c,d及び上面eを有しており、図16ないし
図19に方向D1ないしD4から撮影したときの映像を
夫々示している。
観察方向が撮影時点の方向に依存するため、任意の視点
から観た映像を再現することはできない。図15は、こ
の従来の画像表示法による撮影状況の一例を示してい
る。この例では、同一のカメラ(デジタルカメラ)Cに
より、略立方体形状の撮影対象sをその周囲の異なる複
数位置(4ヵ所)の各々から撮影する。つまりカメラC
により、撮影対象sを異なる4方向(D1,D2,D
3,D4)から撮影する。撮影対象sは、4つの側面
a,b,c,d及び上面eを有しており、図16ないし
図19に方向D1ないしD4から撮影したときの映像を
夫々示している。
【0004】この従来の画像表示法では、例えば、方向
D5(図15中に一点鎖線で示す)からの映像を観たい
場合、この方向D5に最も近い方向から観た映像即ち方
向D1から観た映像(つまりカメラCにより方向D1か
ら撮影した撮影対象sの映像)がモニター画面等に表示
される。したがって、方向D5から観た映像は再現され
ない。
D5(図15中に一点鎖線で示す)からの映像を観たい
場合、この方向D5に最も近い方向から観た映像即ち方
向D1から観た映像(つまりカメラCにより方向D1か
ら撮影した撮影対象sの映像)がモニター画面等に表示
される。したがって、方向D5から観た映像は再現され
ない。
【0005】
【発明の目的】本発明は、被写体の3次元画像を、撮像
した2次元画像から任意の視点から観た画像としてモニ
ター画面上にリアルに再現できる、ステレオ写真撮影に
よる3次元画像表示方法及び装置を提供することを目的
とする。
した2次元画像から任意の視点から観た画像としてモニ
ター画面上にリアルに再現できる、ステレオ写真撮影に
よる3次元画像表示方法及び装置を提供することを目的
とする。
【0006】
【発明の概要】本発明のステレオ写真撮影による3次元
画像表示方法は、目標の撮影対象に関する一対のステレ
オ画像を得るステップと;この得られた一対のステレオ
画像のデータを基に、上記撮影対象の各ポイントのステ
レオ画像の一方における視点原点からの距離を求め、得
られたポイント距離データ群を3次元直交座標に変換す
るステップと;同一面上の領域毎の上記ポイント距離デ
ータ群と境界データとを基に、各領域を補間するような
曲面を各領域毎に生成するステップと;この生成した複
数の曲面上の各々に、上記一対のステレオ画像の一方の
ステレオ画像の対応する画素を画素単位で貼り付けて上
記撮影対象の3次元画像を生成するステップと;を有す
ることを特徴としている。
画像表示方法は、目標の撮影対象に関する一対のステレ
オ画像を得るステップと;この得られた一対のステレオ
画像のデータを基に、上記撮影対象の各ポイントのステ
レオ画像の一方における視点原点からの距離を求め、得
られたポイント距離データ群を3次元直交座標に変換す
るステップと;同一面上の領域毎の上記ポイント距離デ
ータ群と境界データとを基に、各領域を補間するような
曲面を各領域毎に生成するステップと;この生成した複
数の曲面上の各々に、上記一対のステレオ画像の一方の
ステレオ画像の対応する画素を画素単位で貼り付けて上
記撮影対象の3次元画像を生成するステップと;を有す
ることを特徴としている。
【0007】また本発明のステレオ写真撮影による3次
元画像表示装置は、目標の撮影対象に関する一対のステ
レオ画像を得る手段と;この得られた一対のステレオ画
像のデータを基に、上記撮影対象の各ポイントのステレ
オ画像の一方における視点原点からの距離を求め、得ら
れたポイント距離データ群を3次元直交座標に変換する
手段と;同一面上の領域毎の上記ポイント距離データ群
と境界データとを基に、各領域を補間するような曲面を
各領域毎に生成する手段と;この生成した複数の曲面上
の各々に、上記一対のステレオ画像の一方のステレオ画
像の対応する画素を画素単位で貼り付けて上記撮影対象
の3次元画像を生成する手段と;有することを特徴とし
ている。
元画像表示装置は、目標の撮影対象に関する一対のステ
レオ画像を得る手段と;この得られた一対のステレオ画
像のデータを基に、上記撮影対象の各ポイントのステレ
オ画像の一方における視点原点からの距離を求め、得ら
れたポイント距離データ群を3次元直交座標に変換する
手段と;同一面上の領域毎の上記ポイント距離データ群
と境界データとを基に、各領域を補間するような曲面を
各領域毎に生成する手段と;この生成した複数の曲面上
の各々に、上記一対のステレオ画像の一方のステレオ画
像の対応する画素を画素単位で貼り付けて上記撮影対象
の3次元画像を生成する手段と;有することを特徴とし
ている。
【0008】
【発明の実施の形態】以下図示実施形態に基づいて本発
明を説明する。図1は、本発明を適用した3次元画像表
示装置の一実施形態(第1実施形態)のシステム構成を
示している。本装置は、該装置に係る制御全般を司るC
PU12と、このCPU12に電気的に接続されたデジ
タルカメラインターフェイス11と、このインターフェ
イス11に接続されたステレオデジタルカメラ10とを
有している。また本装置は、CPU12に夫々電気的に
接続された、RAM13と、ROM14と、キーボード
15と、マウス16と、CRT17とを有している。
明を説明する。図1は、本発明を適用した3次元画像表
示装置の一実施形態(第1実施形態)のシステム構成を
示している。本装置は、該装置に係る制御全般を司るC
PU12と、このCPU12に電気的に接続されたデジ
タルカメラインターフェイス11と、このインターフェ
イス11に接続されたステレオデジタルカメラ10とを
有している。また本装置は、CPU12に夫々電気的に
接続された、RAM13と、ROM14と、キーボード
15と、マウス16と、CRT17とを有している。
【0009】ステレオデジタルカメラ10は、互いの撮
影光軸が一定距離離間された一対のデジタルカメラ(デ
ジタルスチルカメラ)10a,10b(図3参照)から
なり、目標の撮影対象(被写体、背景等を含む)を異な
る視点から撮影できるように配置されている。各デジタ
ルカメラ10a,10bは、撮像素子としてCCDを用
い、撮像後要求に応じて、得られた画像データ(デジタ
ル画像信号)をシリアルでインターフェイス11に出力
する。
影光軸が一定距離離間された一対のデジタルカメラ(デ
ジタルスチルカメラ)10a,10b(図3参照)から
なり、目標の撮影対象(被写体、背景等を含む)を異な
る視点から撮影できるように配置されている。各デジタ
ルカメラ10a,10bは、撮像素子としてCCDを用
い、撮像後要求に応じて、得られた画像データ(デジタ
ル画像信号)をシリアルでインターフェイス11に出力
する。
【0010】このインターフェイス11に出力された画
像データは、CPU12を介してRAM13に一旦記憶
され、続いてCPU12が、ROM14に予め記憶され
た所定の制御プログラム、キーボード15やマウス16
から入力されたコマンド等に従ってRAM13に記憶し
た画像データに所定の画像処理(立体画像処理)を施
し、その後CPU12はこの画像処理を施した画像デー
タをCRT17に映像信号として出力して該CRT17
上に立体像を表示させる。
像データは、CPU12を介してRAM13に一旦記憶
され、続いてCPU12が、ROM14に予め記憶され
た所定の制御プログラム、キーボード15やマウス16
から入力されたコマンド等に従ってRAM13に記憶し
た画像データに所定の画像処理(立体画像処理)を施
し、その後CPU12はこの画像処理を施した画像デー
タをCRT17に映像信号として出力して該CRT17
上に立体像を表示させる。
【0011】図2は、CPU12の処理動作を示すフロ
ーチャートである。以下、このフローチャートに基づい
てCPU12の処理動作を説明する。
ーチャートである。以下、このフローチャートに基づい
てCPU12の処理動作を説明する。
【0012】先ず、ステレオデジタルカメラ10から撮
像されたステレオ写真の画像データ(ステレオ画像デー
タ)を取得する(ステップS10)。図3は、この画像
データ入力時の撮影の様子を示すもので、図4は、図3
の撮影で得られた一対の画像データを示している。図3
に示すように、目標の撮影対象は通常、被写体S、背景
B、及び地面、床面、撮影台上面等の底面Gを含んでい
る。図4は、一対のデジタルカメラ10a,10bによ
り得られたステレオ画像データを示しており、図4の左
に示す画像D1はデジタルカメラ10aにより得られた
図3に示す撮影対象の画像(画像データ)であり、図4
の右に示す画像D2はデジタルカメラ10bにより得ら
れた図3に示す撮影対象の画像(画像データ)である。
本装置の画像処理は、画像D1をメイン画像とし、画像
D2をサブ画像として扱う。
像されたステレオ写真の画像データ(ステレオ画像デー
タ)を取得する(ステップS10)。図3は、この画像
データ入力時の撮影の様子を示すもので、図4は、図3
の撮影で得られた一対の画像データを示している。図3
に示すように、目標の撮影対象は通常、被写体S、背景
B、及び地面、床面、撮影台上面等の底面Gを含んでい
る。図4は、一対のデジタルカメラ10a,10bによ
り得られたステレオ画像データを示しており、図4の左
に示す画像D1はデジタルカメラ10aにより得られた
図3に示す撮影対象の画像(画像データ)であり、図4
の右に示す画像D2はデジタルカメラ10bにより得ら
れた図3に示す撮影対象の画像(画像データ)である。
本装置の画像処理は、画像D1をメイン画像とし、画像
D2をサブ画像として扱う。
【0013】次に、得られた各画像データD1,D2の
ディストーション補正(歪補正)処理を行い(ステップ
S12)、その後、一対の画像データD1,D2を基
に、相関法により撮影対象の各ポイントの視点原点から
の距離を求める(ステップS14)。
ディストーション補正(歪補正)処理を行い(ステップ
S12)、その後、一対の画像データD1,D2を基
に、相関法により撮影対象の各ポイントの視点原点から
の距離を求める(ステップS14)。
【0014】続いて、メイン画像である画像D1におけ
る境界上の各画素の座標データ(CCD上座標データま
たはピクセル座標データ)を取得する(ステップS1
6)。図5は、この得られた座標データを3次元直交座
標(XYZ座標)で示している。その後、撮影対象の各
ポイントの距離データ(座標データ)の編集修正を行う
(ステップS18)。この編集修正作業では、撮影対象
の各ポイントの距離データを補間する補間距離データを
作成する。図6は、この補間距離データを含む画像D1
の距離データを示している。
る境界上の各画素の座標データ(CCD上座標データま
たはピクセル座標データ)を取得する(ステップS1
6)。図5は、この得られた座標データを3次元直交座
標(XYZ座標)で示している。その後、撮影対象の各
ポイントの距離データ(座標データ)の編集修正を行う
(ステップS18)。この編集修正作業では、撮影対象
の各ポイントの距離データを補間する補間距離データを
作成する。図6は、この補間距離データを含む画像D1
の距離データを示している。
【0015】続いて、同一面上の領域毎のポイント距離
データ群と境界データとを基に、各領域を補間するよう
な曲面(補間曲面)を各領域毎に生成するための方程式
を決定する(ステップS20)。そして、得られた方程
式(各次数における係数値の列)と境界データにより、
メイン画像である画像D1の各画素を、対応する補間曲
面上に貼り付け、これにより撮影対象の立体画像データ
を作成する(ステップS22)。図7は、各領域全てに
関して補間曲面を生成した後の画像データの様子を示し
ている。図7中のBsは、背景B中における被写体Sの
影となる部分を示している。
データ群と境界データとを基に、各領域を補間するよう
な曲面(補間曲面)を各領域毎に生成するための方程式
を決定する(ステップS20)。そして、得られた方程
式(各次数における係数値の列)と境界データにより、
メイン画像である画像D1の各画素を、対応する補間曲
面上に貼り付け、これにより撮影対象の立体画像データ
を作成する(ステップS22)。図7は、各領域全てに
関して補間曲面を生成した後の画像データの様子を示し
ている。図7中のBsは、背景B中における被写体Sの
影となる部分を示している。
【0016】作成された立体画像データは、映像信号と
してCRT17に出力されて該CRT17上に立体像と
して表示される。その後ユーザがキーボード15やマウ
ス16を介して希望の視点による観察方向(CRT17
上に表示させる立体像の表示角度)を指定すると、この
希望の視点による観察方向から撮影対象を観た場合にお
ける各補間曲面の形状を計算し、この計算結果に基づい
て希望の観察方向から観た場合の立体像をCRT17上
に表示させる(ステップS24、S26)。その後、ユ
ーザが、キーボード15やマウス16を介して希望の観
察方向を再度入力すると、ステップS24、S26の処
理を再度実行して希望の視点による観察方向から観た場
合の立体像をCRT17上に表示させる。
してCRT17に出力されて該CRT17上に立体像と
して表示される。その後ユーザがキーボード15やマウ
ス16を介して希望の視点による観察方向(CRT17
上に表示させる立体像の表示角度)を指定すると、この
希望の視点による観察方向から撮影対象を観た場合にお
ける各補間曲面の形状を計算し、この計算結果に基づい
て希望の観察方向から観た場合の立体像をCRT17上
に表示させる(ステップS24、S26)。その後、ユ
ーザが、キーボード15やマウス16を介して希望の観
察方向を再度入力すると、ステップS24、S26の処
理を再度実行して希望の視点による観察方向から観た場
合の立体像をCRT17上に表示させる。
【0017】図8は、図2のステップS16〜S22の
CPU12の処理(補正曲面生成処理)を細分化して詳
細に示すフローチャートを示している。先ず、図2に示
すステップS14の処理後、各領域におけるポイント距
離データ群と境界データを読み込む(ステップS3
0)。上記ポイント距離データとは、撮影原点における
XYZ実座標である。上記境界データとは以下の第1、
第2及び第3データを含むもので、これら第1、第2及
び第3境界データは以下の取得プロセスにより決定され
る。
CPU12の処理(補正曲面生成処理)を細分化して詳
細に示すフローチャートを示している。先ず、図2に示
すステップS14の処理後、各領域におけるポイント距
離データ群と境界データを読み込む(ステップS3
0)。上記ポイント距離データとは、撮影原点における
XYZ実座標である。上記境界データとは以下の第1、
第2及び第3データを含むもので、これら第1、第2及
び第3境界データは以下の取得プロセスにより決定され
る。
【0018】視点原点を定めたステレオ画像の一方の画
像(メイン画像)において、一つの面とする部分の周囲
を閉曲線により囲み、この閉曲線の通過するピクセル座
標(二次元画像上の画素単位の座標)を第1データとす
る。また、上記メイン画像において、全ての部分が閉曲
線により覆われたとき、面番号(閉曲線番号)を割り付
け、閉曲線を共有している2つの面についてその共通閉
曲線部分の属性を互いに他の面番号として第2データと
する。さらに、各面の境界における形状属性として、隣
接する面との接続形態(なめらかにつながる、単に接し
ている、接していない等)の記述を含めて第3データと
する。以上の第1ないし第3データを含めて上記境界デ
ータとする。
像(メイン画像)において、一つの面とする部分の周囲
を閉曲線により囲み、この閉曲線の通過するピクセル座
標(二次元画像上の画素単位の座標)を第1データとす
る。また、上記メイン画像において、全ての部分が閉曲
線により覆われたとき、面番号(閉曲線番号)を割り付
け、閉曲線を共有している2つの面についてその共通閉
曲線部分の属性を互いに他の面番号として第2データと
する。さらに、各面の境界における形状属性として、隣
接する面との接続形態(なめらかにつながる、単に接し
ている、接していない等)の記述を含めて第3データと
する。以上の第1ないし第3データを含めて上記境界デ
ータとする。
【0019】以上のポイント距離データ群及び境界デー
タを読み込んだ後、ポイント距離データ群を所定の統計
処理により平滑化(データの再分布化)し、各領域に関
して初期曲面(球面上の面またはポイント距離データ中
の隣接する3点を頂点とする三角形平面)を生成する
(ステップS32、S34)。その後、ポイント距離デ
ータ群及び境界データに対応した初期曲面上の実座標に
よる初期目標点を設定し、この初期目標点にフィットす
るような曲面(補間曲面)を上記初期曲面を基に最小二
乗法で生成する(ステップS36、S38)。
タを読み込んだ後、ポイント距離データ群を所定の統計
処理により平滑化(データの再分布化)し、各領域に関
して初期曲面(球面上の面またはポイント距離データ中
の隣接する3点を頂点とする三角形平面)を生成する
(ステップS32、S34)。その後、ポイント距離デ
ータ群及び境界データに対応した初期曲面上の実座標に
よる初期目標点を設定し、この初期目標点にフィットす
るような曲面(補間曲面)を上記初期曲面を基に最小二
乗法で生成する(ステップS36、S38)。
【0020】続いて、この生成した曲面(補間曲面)の
初期目標点に対する評価値(フィット度を示す値)を求
め、この評価値から、生成した曲面を基に再度初期目標
点にフィットするような曲面(補間曲面)を最小二乗法
で生成する必要があるか否かを判定する(ステップS4
0)。再度曲面生成の必要が無いと判断した場合にはス
テップS42、S44の各処理をスキップしてステップ
S46の処理に進み、必要があると判断した場合には続
くステップS42の処理に進む。
初期目標点に対する評価値(フィット度を示す値)を求
め、この評価値から、生成した曲面を基に再度初期目標
点にフィットするような曲面(補間曲面)を最小二乗法
で生成する必要があるか否かを判定する(ステップS4
0)。再度曲面生成の必要が無いと判断した場合にはス
テップS42、S44の各処理をスキップしてステップ
S46の処理に進み、必要があると判断した場合には続
くステップS42の処理に進む。
【0021】ステップS42では、ステップS40の処
理で生成した曲面上の実座標による目標点を新たに設定
する。続いて、この新たに設定した目標点にフィットす
るような曲面(補間曲面)を最小二乗法で生成する(ス
テップS44)。その後、ステップS40の処理を再度
実行し、再度曲面生成の必要があると判断した場合には
ステップS42、S44の処理を繰り返す。以上のステ
ップS38〜S44の処理により、各領域に対応する最
終的な補間曲面の方程式が領域毎に決定される。
理で生成した曲面上の実座標による目標点を新たに設定
する。続いて、この新たに設定した目標点にフィットす
るような曲面(補間曲面)を最小二乗法で生成する(ス
テップS44)。その後、ステップS40の処理を再度
実行し、再度曲面生成の必要があると判断した場合には
ステップS42、S44の処理を繰り返す。以上のステ
ップS38〜S44の処理により、各領域に対応する最
終的な補間曲面の方程式が領域毎に決定される。
【0022】以下、この補間曲面の方程式の決定プロセ
スについて詳述する。ステレオ画像の一方の画像におい
て定めた視点原点からの物点の位置をrとする。また、
上記一方の画像における上記物点のピクセル座標(CC
D上の2次元座標)を(x,y)とし、この(x,y)
から上記位置rを求める式をfとする。すると以下の
(1)式が成り立つ。 r=f(x,y)・・・・・(1) 式fは、(x,y)に関するn字方程式であり、3次元
空間における面を表わす。
スについて詳述する。ステレオ画像の一方の画像におい
て定めた視点原点からの物点の位置をrとする。また、
上記一方の画像における上記物点のピクセル座標(CC
D上の2次元座標)を(x,y)とし、この(x,y)
から上記位置rを求める式をfとする。すると以下の
(1)式が成り立つ。 r=f(x,y)・・・・・(1) 式fは、(x,y)に関するn字方程式であり、3次元
空間における面を表わす。
【0023】1つの面上にある物点群(r1 ,r2 ,・
・・,rk )が全て上記(1)式で表わせるならば、上
記(1)式はその面を表わす方程式といえる。上記物点
群について、以下の式が成り立つようにfの形(係数)
を決定すればよい。 f(x,y)=a0 xn +a1 xn-1 y+・・・・+an-1 xyn-1 +an yn r1 =f(x1 ,y1 )=a0 x1 n +・・・・・+an y1 n r2 =f(x2 ,y 2)=a0 x2 n +・・・・・+an y2 n ・ ・ ・ rk =f(xk ,yk )=a0 xk n +・・・・・+an yk n
・・,rk )が全て上記(1)式で表わせるならば、上
記(1)式はその面を表わす方程式といえる。上記物点
群について、以下の式が成り立つようにfの形(係数)
を決定すればよい。 f(x,y)=a0 xn +a1 xn-1 y+・・・・+an-1 xyn-1 +an yn r1 =f(x1 ,y1 )=a0 x1 n +・・・・・+an y1 n r2 =f(x2 ,y 2)=a0 x2 n +・・・・・+an y2 n ・ ・ ・ rk =f(xk ,yk )=a0 xk n +・・・・・+an yk n
【0024】即ち、
【数1】
【0025】R=PX F=PX−Rとすると、Fが0(零)となるようにす
る。そこで最小2乗法により、Φ(評価値)=FT・F
の極小値となるXを求めればよい(Tは転置行列とす
る)。つまり、ΦのXに関する偏導関数∂Φ/∂Xが0
(零)となるXを求めればよい(∂Φ/∂X=0)。し
たがって、ベクトルXが求める補正曲面の方程式の係数
となる。評価値Φが十分小さくならない場合は、さらに
最小2乗法を繰り返すことにより、Xが解とみなせるま
で計算する。
る。そこで最小2乗法により、Φ(評価値)=FT・F
の極小値となるXを求めればよい(Tは転置行列とす
る)。つまり、ΦのXに関する偏導関数∂Φ/∂Xが0
(零)となるXを求めればよい(∂Φ/∂X=0)。し
たがって、ベクトルXが求める補正曲面の方程式の係数
となる。評価値Φが十分小さくならない場合は、さらに
最小2乗法を繰り返すことにより、Xが解とみなせるま
で計算する。
【0026】ステップS46では、各領域に対応する補
間曲面の方程式の係数及び境界データを、続く3次元画
像表示プログラム(ステップS24、S26の処理)に
転送する。
間曲面の方程式の係数及び境界データを、続く3次元画
像表示プログラム(ステップS24、S26の処理)に
転送する。
【0027】以上の処理によって、ステレオデジタルカ
メラ10で撮影された目標の撮影対象は、各デジタルカ
メラ10a,10bで撮像した2次元画像と同程度の解
像度でCRT17上にリアルに再現される。さらに、曲
面(補間曲面)を表わす方程式で撮影対象の対応の曲面
を表現するので、映像データの量を少なくでき、よって
通信データとして好適である。
メラ10で撮影された目標の撮影対象は、各デジタルカ
メラ10a,10bで撮像した2次元画像と同程度の解
像度でCRT17上にリアルに再現される。さらに、曲
面(補間曲面)を表わす方程式で撮影対象の対応の曲面
を表現するので、映像データの量を少なくでき、よって
通信データとして好適である。
【0028】図9及び図10は、本発明を適用した3次
元画像表示装置の他の実施形態(第2実施形態)を示し
ている。第1実施形態では、ステレオデジタルカメラ1
0を用いたが、この第2実施形態では、一対のスチルカ
メラ100a,100bからなるステレオカメラ100
を利用する。各スチルカメラ100a,100bは、銀
塩フィルムを利用する一眼レフカメラまたはレンズシャ
ッタカメラである。本実施形態では、先ずステレオカメ
ラ100で目標の撮影対象を撮影し、次に各スチルカメ
ラ100a,100bで得られた一対のステレオ写真
(一対のプリント)を夫々ディジタルイメージスキャナ
ー110で読み取り、この読み取ったデジタル画像(デ
ジタル画像信号)をインターフェイス111を介してC
PU12に転送する。他の構成は、第1実施形態の3次
元画像表示装置と同様である。この構成によっても、第
1実施形態の3次元画像表示装置と同様の効果が得られ
る。
元画像表示装置の他の実施形態(第2実施形態)を示し
ている。第1実施形態では、ステレオデジタルカメラ1
0を用いたが、この第2実施形態では、一対のスチルカ
メラ100a,100bからなるステレオカメラ100
を利用する。各スチルカメラ100a,100bは、銀
塩フィルムを利用する一眼レフカメラまたはレンズシャ
ッタカメラである。本実施形態では、先ずステレオカメ
ラ100で目標の撮影対象を撮影し、次に各スチルカメ
ラ100a,100bで得られた一対のステレオ写真
(一対のプリント)を夫々ディジタルイメージスキャナ
ー110で読み取り、この読み取ったデジタル画像(デ
ジタル画像信号)をインターフェイス111を介してC
PU12に転送する。他の構成は、第1実施形態の3次
元画像表示装置と同様である。この構成によっても、第
1実施形態の3次元画像表示装置と同様の効果が得られ
る。
【0029】この第2実施形態では、各スチルカメラ1
00a,100bで撮影したポジフィルムまたはネガフ
ィルムをディジタルイメージスキャナー110で直接読
み取る構成にしてもよい。
00a,100bで撮影したポジフィルムまたはネガフ
ィルムをディジタルイメージスキャナー110で直接読
み取る構成にしてもよい。
【0030】図11及び図12は、本発明を適用した3
次元画像表示装置の他の実施形態(第3実施形態)を示
している。第1実施形態ではステレオデジタルカメラ1
0を用いたが、この第3実施形態では、一台のビデオレ
コーダ(デジタルビデオレコーダまたはアナログビデオ
レコーダ)200を利用する。ビデオレコーダ200
は、撮影対象に対して略左右方向に延びかつ互いに平行
な一対のガイドレール210上に載せられ、ガイドレー
ル210に沿って図11中の位置a及び位置bの間を移
動可能とされている。
次元画像表示装置の他の実施形態(第3実施形態)を示
している。第1実施形態ではステレオデジタルカメラ1
0を用いたが、この第3実施形態では、一台のビデオレ
コーダ(デジタルビデオレコーダまたはアナログビデオ
レコーダ)200を利用する。ビデオレコーダ200
は、撮影対象に対して略左右方向に延びかつ互いに平行
な一対のガイドレール210上に載せられ、ガイドレー
ル210に沿って図11中の位置a及び位置bの間を移
動可能とされている。
【0031】本実施形態では、先ず、ビデオレコーダ2
00をガイドレール210に沿って等速平行移動させな
がら撮影動作させ、同時に、得られたビデオ信号を等間
隔タイマー211によるクロックに同期させてデジタル
イメージメモリ209に一定周期で一旦記憶させ、続い
てこの記憶させたビデオ信号をインターフェイス212
を介して順次CPU12に転送する。他の構成は、第1
実施形態の3次元画像表示装置と同様である。この構成
によれば、第1実施形態の3次元画像表示装置と同様の
効果が得られ、さらに、立体像の異なる観察方向からの
連続像をCRT17上に表示させることができる。
00をガイドレール210に沿って等速平行移動させな
がら撮影動作させ、同時に、得られたビデオ信号を等間
隔タイマー211によるクロックに同期させてデジタル
イメージメモリ209に一定周期で一旦記憶させ、続い
てこの記憶させたビデオ信号をインターフェイス212
を介して順次CPU12に転送する。他の構成は、第1
実施形態の3次元画像表示装置と同様である。この構成
によれば、第1実施形態の3次元画像表示装置と同様の
効果が得られ、さらに、立体像の異なる観察方向からの
連続像をCRT17上に表示させることができる。
【0032】図13及び図14は、本発明を適用した3
次元画像表示装置の他の実施形態(第4実施形態)を示
している。第1実施形態ではステレオデジタルカメラ1
0を用いたが、この第4実施形態ではカメラやイメージ
スキャナを用いない。第4実施形態では、ノギス、マイ
クロメーター等を用いて、第1実施形態でのメイン画像
及びサブ画像に相当する視点からの各撮影対象S,G,
Bの特徴点や輪郭上の点を複数測定し、この測定結果を
キーボード15を介してCPU12に入力する。CPU
12は、この入力された測定データから各撮影対象の寸
法a〜i(図13参照)等を求めることで各撮影対象の
形状を求める。他の構成は、第1実施形態の3次元画像
表示装置と同様である。この構成によれば、第1実施形
態の3次元画像表示装置と同様の効果が得られる。
次元画像表示装置の他の実施形態(第4実施形態)を示
している。第1実施形態ではステレオデジタルカメラ1
0を用いたが、この第4実施形態ではカメラやイメージ
スキャナを用いない。第4実施形態では、ノギス、マイ
クロメーター等を用いて、第1実施形態でのメイン画像
及びサブ画像に相当する視点からの各撮影対象S,G,
Bの特徴点や輪郭上の点を複数測定し、この測定結果を
キーボード15を介してCPU12に入力する。CPU
12は、この入力された測定データから各撮影対象の寸
法a〜i(図13参照)等を求めることで各撮影対象の
形状を求める。他の構成は、第1実施形態の3次元画像
表示装置と同様である。この構成によれば、第1実施形
態の3次元画像表示装置と同様の効果が得られる。
【0033】
【発明の効果】以上のように、本発明によれば、同一面
上の領域毎のポイント距離データ群と境界データとを基
に各領域を補間するような曲面を各領域毎に生成し、こ
の生成した複数の曲面上の各々に、一対のステレオ画像
の一方のステレオ画像の対応する画素を画素単位で貼り
付けて撮影対象の3次元画像を生成する構成としたの
で、被写体の3次元画像を、撮像した2次元画像と同程
度の解像度でモニター画面上にリアルに再現でき、かつ
膨大な映像データを必要としない。
上の領域毎のポイント距離データ群と境界データとを基
に各領域を補間するような曲面を各領域毎に生成し、こ
の生成した複数の曲面上の各々に、一対のステレオ画像
の一方のステレオ画像の対応する画素を画素単位で貼り
付けて撮影対象の3次元画像を生成する構成としたの
で、被写体の3次元画像を、撮像した2次元画像と同程
度の解像度でモニター画面上にリアルに再現でき、かつ
膨大な映像データを必要としない。
【図1】本発明を適用した3次元画像表示装置の第1実
施形態のシステム構成を示すブロック図である。
施形態のシステム構成を示すブロック図である。
【図2】図1に示す3次元画像表示装置のCPUの動作
を示すフローチャート図である。
を示すフローチャート図である。
【図3】第1実施形態の3次元画像表示装置での画像デ
ータ入力の際の撮影の様子を示す図である。
ータ入力の際の撮影の様子を示す図である。
【図4】図3に示す一対のデジタルカメラによる撮影で
得らた一対の画像データを示す図である。
得らた一対の画像データを示す図である。
【図5】図4に示すメイン画像における境界上の各画素
の座標データを3次元直交座標で示す図である。
の座標データを3次元直交座標で示す図である。
【図6】図5に示す座標データに補間距離データを加え
た後の座標データを3次元直交座標で示す図である。
た後の座標データを3次元直交座標で示す図である。
【図7】各領域全てに関して補間曲面を生成した後の画
像データの様子を3次元直交座標で示す図である。
像データの様子を3次元直交座標で示す図である。
【図8】補正曲面生成処理を示すフローチャート図であ
る。
る。
【図9】本発明を適用した3次元画像表示装置の第2実
施形態での画像データ入力の際の撮影の様子を示す図で
ある。
施形態での画像データ入力の際の撮影の様子を示す図で
ある。
【図10】第2実施形態でのシステム構成のを示すブロ
ック図である。
ック図である。
【図11】本発明を適用した3次元画像表示装置の第3
実施形態での画像データ入力の際の撮影の様子を示す図
である。
実施形態での画像データ入力の際の撮影の様子を示す図
である。
【図12】第3実施形態でのシステム構成のを示すブロ
ック図である。
ック図である。
【図13】本発明を適用した3次元画像表示装置の第4
実施形態での画像データ入力の際の様子を示す図であ
る。
実施形態での画像データ入力の際の様子を示す図であ
る。
【図14】第4実施形態でのシステム構成のを示すブロ
ック図である。
ック図である。
【図15】従来の画像表示法による撮影状況を示す図で
ある。
ある。
【図16】撮影対象を図15に示す方向D1から撮影し
たときの映像を示す図である。
たときの映像を示す図である。
【図17】撮影対象を図15に示す方向D2から撮影し
たときの映像を示す図である。
たときの映像を示す図である。
【図18】撮影対象を図15に示す方向D3から撮影し
たときの映像を示す図である。
たときの映像を示す図である。
【図19】撮影対象を図15に示す方向D4から撮影し
たときの映像を示す図である。
たときの映像を示す図である。
10 ステレオデジタルカメラ 10a 10b デジタルカメラ S 被写体 B 背景 G 底面
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成10年11月18日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】請求項1
【補正方法】変更
【補正内容】
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0013
【補正方法】変更
【補正内容】
【0013】次に、得られた各画像データD1,D2の
ディストレーション補正(歪補正)処理を行い(ステッ
プS12)、その後、一対の画像データD1,D2を基
に、三角測量により撮影対象の各ポイントの視点原点か
らの距離を求める(ステップS14)。
ディストレーション補正(歪補正)処理を行い(ステッ
プS12)、その後、一対の画像データD1,D2を基
に、三角測量により撮影対象の各ポイントの視点原点か
らの距離を求める(ステップS14)。
【手続補正3】
【補正対象書類名】図面
【補正対象項目名】図2
【補正方法】変更
【補正内容】
【図2】
【手続補正4】
【補正対象書類名】図面
【補正対象項目名】図4
【補正方法】変更
【補正内容】
【図4】
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 FI H04N 13/04 G06F 15/62 350V
Claims (5)
- 【請求項1】 目標の撮影対象に関する一対のステレオ
画像を得るステップと;この得られた一対のステレオ画
像のデータを基に、上記撮影対象の各ポイントのステレ
オ画像の一方における視点原点からの距離を求め、得ら
れたポイント距離データ群を3次元直交座標に変換する
ステップと;同一面上の領域毎の上記ポイント距離デー
タ群と境界データとを基に、各領域を補間するような曲
面を各領域毎に生成するステップと;この生成した複数
の曲面上の各々に、上記一対のステレオ画像の一方のス
テレオ画像の対応する画素を画素単位で貼り付けて上記
撮影対象の3次元画像を生成するステップと;を有する
ことを特徴とする、ステレオ写真撮影による3次元画像
表示方法。 - 【請求項2】 請求項1に記載の方法において、さら
に、上記映像を任意の観察方向から観た場合における上
記複数の曲面の各々の形状を計算するステップを有して
いる、ステレオ写真撮影による3次元画像表示方法。 - 【請求項3】 請求項1または2に記載の方法におい
て、上記曲面を複数生成するステップは、領域毎のポイ
ント距離データ群と境界データとを基に、各領域を補間
するような曲面の方程式を決定するステップを有してい
る、ステレオ写真撮影による3次元画像表示方法。 - 【請求項4】 請求項1ないし3のいずれか一項に記載
の方法において、境界データは、 視点原点を定めたステレオ画像の一方の画像において、
一つの面とする部分の周囲を閉曲線により囲み、この閉
曲線の通過するピクセル座標に関する第1データと、 上記一方のステレオ画像において、全ての部分が閉曲線
により覆われたとき、面番号を割り付け、閉曲線を共有
している2つの面についてその共通閉曲線部分の属性を
互いに他の面番号とした第2データと、 各面の境界における形状属性として、隣接する面との接
続形態の記述を含む第3データとを有する、ステレオ写
真撮影による3次元画像表示方法。 - 【請求項5】 目標の撮影対象に関する一対のステレオ
画像を得る手段と;この得られた一対のステレオ画像の
データを基に、上記撮影対象の各ポイントのステレオ画
像の一方における視点原点からの距離を求め、得られた
ポイント距離データ群を3次元直交座標に変換する手段
と;同一面上の領域毎の上記ポイント距離データ群と境
界データとを基に、各領域を補間するような曲面を各領
域毎に生成する手段と;この生成した複数の曲面上の各
々に、上記一対のステレオ画像の一方のステレオ画像の
対応する画素を画素単位で貼り付けて上記撮影対象の3
次元画像を生成する手段と;を有することを特徴とす
る、ステレオ写真撮影による3次元画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9317137A JPH11150741A (ja) | 1997-11-18 | 1997-11-18 | ステレオ写真撮影による3次元画像表示方法および装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP9317137A JPH11150741A (ja) | 1997-11-18 | 1997-11-18 | ステレオ写真撮影による3次元画像表示方法および装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH11150741A true JPH11150741A (ja) | 1999-06-02 |
Family
ID=18084863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9317137A Withdrawn JPH11150741A (ja) | 1997-11-18 | 1997-11-18 | ステレオ写真撮影による3次元画像表示方法および装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH11150741A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198732A (ja) * | 2002-12-18 | 2004-07-15 | Sony Computer Entertainment Inc | 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体 |
JP2006154800A (ja) * | 2004-11-08 | 2006-06-15 | Sony Corp | 視差画像撮像装置および撮像方法 |
WO2006062325A1 (en) * | 2004-12-06 | 2006-06-15 | Electronics And Telecommunications Research Institute | Apparatus for correcting image distortion of stereo-camera and method thereof |
WO2008029529A1 (fr) * | 2006-09-08 | 2008-03-13 | Ntt Comware Corporation | Dispositif de synthèse d'images vidéostéréoscopiques, procédé de génération de données de forme et son programme |
KR100943635B1 (ko) * | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 |
US7990467B2 (en) | 2004-11-08 | 2011-08-02 | Sony Corporation | Parallax image pickup apparatus and image pickup method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259532A (ja) * | 1993-03-04 | 1994-09-16 | Matsushita Electric Ind Co Ltd | 3次元画像処理装置 |
JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
JPH07287756A (ja) * | 1994-02-23 | 1995-10-31 | Matsushita Electric Works Ltd | 物体認識方法 |
-
1997
- 1997-11-18 JP JP9317137A patent/JPH11150741A/ja not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06259532A (ja) * | 1993-03-04 | 1994-09-16 | Matsushita Electric Ind Co Ltd | 3次元画像処理装置 |
JPH06258048A (ja) * | 1993-03-05 | 1994-09-16 | Toshiba Corp | 物体入力装置 |
JPH07287756A (ja) * | 1994-02-23 | 1995-10-31 | Matsushita Electric Works Ltd | 物体認識方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004198732A (ja) * | 2002-12-18 | 2004-07-15 | Sony Computer Entertainment Inc | 撮影補助器、画像処理方法、画像処理装置、コンピュータプログラム、プログラムを格納した記録媒体 |
US7463305B2 (en) | 2002-12-18 | 2008-12-09 | Sony Computer Entertainment Inc. | Photographing assist device and image processing method for achieving simple stereoscopic photographing |
JP2006154800A (ja) * | 2004-11-08 | 2006-06-15 | Sony Corp | 視差画像撮像装置および撮像方法 |
US7990467B2 (en) | 2004-11-08 | 2011-08-02 | Sony Corporation | Parallax image pickup apparatus and image pickup method |
WO2006062325A1 (en) * | 2004-12-06 | 2006-06-15 | Electronics And Telecommunications Research Institute | Apparatus for correcting image distortion of stereo-camera and method thereof |
WO2008029529A1 (fr) * | 2006-09-08 | 2008-03-13 | Ntt Comware Corporation | Dispositif de synthèse d'images vidéostéréoscopiques, procédé de génération de données de forme et son programme |
KR100943635B1 (ko) * | 2008-11-06 | 2010-02-24 | 삼성에스디에스 주식회사 | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
JP4065488B2 (ja) | 3次元画像生成装置、3次元画像生成方法及び記憶媒体 | |
JP4196216B2 (ja) | 画像合成システム、画像合成方法及びプログラム | |
US20020113865A1 (en) | Image processing method and apparatus | |
JPWO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
JP2001346226A (ja) | 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体 | |
KR100897542B1 (ko) | 임의 시점 영상 합성 시 영상 보정 방법 및 장치 | |
CN113643414B (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
JPH05303629A (ja) | 形状合成方法 | |
JP4193292B2 (ja) | 多眼式データ入力装置 | |
JP2022058770A5 (ja) | 画像処理システム、画像処理方法及びプログラム | |
KR100837776B1 (ko) | 2차원 영상을 3차원 영상으로 변환하는 영상 변환 장치 및그 방법 | |
JPH11150741A (ja) | ステレオ写真撮影による3次元画像表示方法および装置 | |
JP7416573B2 (ja) | 立体画像生成装置及びそのプログラム | |
JP3924576B2 (ja) | 写真測量による3次元計測方法及び装置 | |
JPH10208074A (ja) | 画像生成方法 | |
JPH05101221A (ja) | 画像歪補正装置 | |
JPH11355807A (ja) | ステレオ写真撮影による3次元画像表示方法および装置 | |
JP7257272B2 (ja) | 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置 | |
JP2006059165A (ja) | 3次元モデリング装置、幾何学パターン、3次元モデリングデータの生成方法、3次元モデリングプログラム、記録媒体 | |
JPH11352612A (ja) | ステレオ写真撮影による3次元画像表示方法および装置 | |
JP2002135807A (ja) | 3次元入力のためのキャリブレーション方法および装置 | |
JP3093409B2 (ja) | 3次元計測装置 | |
JPH11355806A (ja) | ステレオ写真撮影による3次元画像表示方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20061003 |