JP3642923B2 - 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 - Google Patents
映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 Download PDFInfo
- Publication number
- JP3642923B2 JP3642923B2 JP17610097A JP17610097A JP3642923B2 JP 3642923 B2 JP3642923 B2 JP 3642923B2 JP 17610097 A JP17610097 A JP 17610097A JP 17610097 A JP17610097 A JP 17610097A JP 3642923 B2 JP3642923 B2 JP 3642923B2
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- object image
- feature point
- image
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、物体を任意の視点から見た映像を生成する映像生成処理装置及びその映像生成処理装置での処理に用いられる構造化データを作成する構造化データ作成装置に関する。
このような装置は、美術館等に収納されている彫刻、壷等の作品の三次元映像を表示装置に表示させ、実際に美術館等に行かなくても、その作品を任意の方向から観賞できるようなシステムに適用できる。また、電子ショッピングにおいて、このような装置は、表示装置の画面上で商品の外観を種々の方向から観察できるようなシステムにも適用することができる。
【0002】
【従来技術】
従来、種々の視点から見た物体の映像を表示させるシステムとして、例えば、図37に示すようなシステムが考えられる。このようなシステムは、構造化データ作成装置50と映像生成処理装置60とから構成されている。構造化データ作成装置50は、物体Tの三次元形状を測定するレンジセンサ51と、レンジセンサ51からの測定データに基づいて三次元形状データを作成する三次元データ作成部52と、物体Tの表面を撮影するテレビカメラ53と、テレビカメラ53からの映像信号に基づいて物体T表面各部の色を表すテクスチャデータを作成するテクスチャデータ作成部54と、上記三次元形状データ作成部52にて作成された物体Tの三次元形状データ及びテクスチャデータを構造化データとして格納する構造化データ格納部55とを有している。
【0003】
この構造化データ格納部55に格納された構造化データは、通信路を介して、あるいは、CD−ROM等の記録媒体を用いて映像生成処理装置60に提供される。
この映像生成処理装置60は、提供された構造化データを格納する構造化データ格納部61と、ユーザが希望する出力映像の視点(出力視点)を設定するための出力視点設定部62と、この設定された出力視点から見た映像を上記構造化データから投影処理によって生成する投影処理部63とを有している。そして、投影処理部63にて生成された映像が表示装置に表示される。
【0004】
このようなシステムによれば、物体Tの三次元形状データとテクスチャデータから所謂コンピュータグラフィックスの手法(投影処理)を用いて任意の視点での当該物体Tの映像を表示装置に表示させることができる。
【0005】
【発明が解決しようとする課題】
しかし、上記のようなシステムでは、歪んだ壷等のように幾何学的に単純でない物体から測定された三次元形状が必ずしも正確なものではない。また、テレビカメラで撮影した物体表面のテクスチャと測定された三次元形状で表される物体表面上の位置との対応が必ずしも正確でない。更に、実際に物体を種々の視点から観察した場合には、光源と物体との位置関係によって物体表面の色が変化するが、現状のコンピュータを用いた投影処理ではその効果を必ずしも正確に表現できない。
【0006】
従って、上記のようにして生成された任意の視点から見た物体Tの映像は、実際にその視点から観察される物体と必ずしも正確に一致しない。そのため、上記システムの表示装置に表示される物体Tの映像のリアリティは必ずしも高いものではない。
このような問題を解決するため、物体Tを予め多数の視点から撮影して得られた画像を蓄積しておき、ユーザが指定した視点(出力視点)に最も近い視点から撮影した画像を選んで表示装置に表示させるシステムが考えられる。このようなシステムでは、実際に物体を撮影して得られた画像そのものが表示されるので、ユーザは表示装置の画面上でリアリティの高い映像を見ることができる。
【0007】
しかし、ユーザが任意に希望する視点あるいは、その希望する視点により近い視点での映像を得るためには、物体をより多くの視点から撮影した物体の画像を蓄積しておかなければならない。このため、画像データを蓄積するための記憶媒体の容量が非常に多くなってしまう。また、画像データを蓄積したサーバから通信路を介して当該画像データを映像生成処理装置に取り込む場合、多量の画像データを転送するために、広帯域の通信路が必要となる。
【0008】
そこで、本発明の第一の課題は、用意すべき画像データの量がより少ないものであっても、任意の視点から見た物体のよりリアルな映像を生成することのできる映像生成処理装置を提供することである。
また、本発明の第二の課題は、このような映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体を提供することである。
【0009】
更に、本発明の第三の課題は、上記のような映像生成処理装置で用いられる構造化データを作成する構造化データ作成装置を提供することである。
また、本発明の第四の課題は、このような構造化データ作成装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体を提供することである。
【0010】
【課題を解決するための手段】
上記本発明の第一の課題を解決するため、本発明に係る映像生成処理装置は、請求項1に記載されるように、複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納した入力視点画像格納手段と、入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を格納した入力特徴点格納手段と、入力視点画像格納手段に格納された各物体画像を得るために物体を撮影した視点の位置を格納する入力視点格納手段と、任意の視点が指定されたときに、上記入力視点格納手段に格納された視点から所定数の視点を選択する視点選択手段と、上記入力特徴点格納手段から得られる視点選択手段にて選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成する画像生成手段を有し、上記視点選択手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択する構成となる。
【0011】
このような映像生成処理装置では、任意の視点が指定されたときに、選択された視点と当該指定された視点との関係と、選択された各視点での物体画像上の特徴点の位置関係に基づいて、選択された各視点での物体画像から当該指定された任意の視点での物体画像が生成される。また、指定された視点が、入力視点格納手段に格納された視点と一致すれば、画像生成手段は、上記各関係に従って、入力視点画像格納手段に格納された当該指定された視点での物体画像を出力する。
【0012】
上記画像生成手段は、例えば、請求項2に記載されるように、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、視点選択手段にて選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決める座標変換決定手段と、
座標変換決定手段にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換する画像変換実行手段と、
選択された各視点での物体画像から画像変換実行手段により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成手段を有するように構成される。
【0013】
更に、処理の簡便性や精度のよい物体画像を生成する等の観点から、上記各映像生成処理装置は、請求項3乃至15に記載されるように構成される。
上記第二の課題を解決するため、本発明は、請求項16に記載されるように、複数の視点から物体を撮影して得られる物体画像と、当該複数の各視点での物体画像上に設定された互いに対応する特徴点の位置とに基づいて、任意の視点での物体画像を生成する映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、任意の視点が指定されたときに、当該複数の視点から選択された所定数の視点を取得するための視点選択プログラム手段と、視点選択プログラム手段に従って選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成するための画像生成プログラム手段とを有し、上記視点選択プログラム手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択する構成となる。
【0014】
更に、上記第三の課題を解決するため、本発明に係る構造化データ作成装置は、請求項19に記載されるように、複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を決定する入力特徴点決定手段と、入力特徴点決定手段にて決定された各視点での物体画像上の互いに対応する特徴点の位置を格納する入力特徴点格納手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有し、上記入力特徴点決定手段は、入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、各視点での物体画像における特徴点候補の位置の近傍の画像パターンの類似性に基づいて、上記抽出された特徴点候補から各視点での物体画像におけるそれぞれ対応した特徴点を抽出する入力特徴点抽出手段とを有し、上記入力視点画像格納手段に格納された複数の視点での物体画像,入力特徴点格納手段に格納された各視点での物体画像上の特徴点,指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを外部のシステムに構造化データとして供給できるように構成される。
【0015】
また、より精度のよい物体画像の生成が行なえるための構造化データを提供できることや、その構造化データをより簡便に収集できる等の観点から、上記構造化データ作成装置は、請求項20乃至26に記載されるように構成される。
更に、上記第四の課題を解決するため、本発明は、請求項27に記載されるように、物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、複数の視点から物体を撮影して得られる物体画像を画像格納ユニットに各視点に対応させて格納するための入力視点画像格納プログラム手段と、画像格納ユニットに格納された各視点での物体画像上の互いに対応する特徴点の位置を決定するための入力特徴点決定プログラム手段と、入力特徴点決定プログラム手段での処理にて決定された各視点での物体画像上の互いに対応する特徴点の位置を入力特徴点格納ユニットに格納するプログラム手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成プログラム手段とを有し、上記画像格納ユニットに格納された複数の視点での物体画像,入力特徴点格納ユニットに格納された各視点での物体画像上の特徴点,指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを上記映像生成処理装置に構造化データとして供給できるように構成される。
【0016】
また同観点から本発明は、請求項28に記載されるように、物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行わせるためのプログラムを格納した記録媒体において、当該プログラムは、複数の視点から物体を撮影して得られる物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出プログラム手段と、物体画像を得るために物体を撮影した視点の位置を設定して入力視点格納ユニットに格納する入力視点設定プログラム手段と、特徴点候補算出プログラム手段での処理にて算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納ユニットに格納された各視点の位置に基づいて、該特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出プログラム手段と、三次元座標候補抽出プログラム手段での処理にて抽出された三次元座標を入力視点格納ユニットに格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出プログラムと、算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定プログラム手段と、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有するように構成される。
【0017】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
本発明の実施の形態に係るシステムの基本的な構成は、例えば、図1及び図2に示すようになる。
図1において、映像生成処理装置100は、ユーザが出力視点入力部110から入力した視点から見た物体を表す画像データを外部から提供される当該物体の構造化データから生成し、その画像データに基づいて当該視点から見た物体を表示装置120に表示させる。任意の視点から見た物体を表す画像データを生成するために必要な構造化データは、少なくとも、当該物体を複数の視点から撮影して得られる物体画像を表すデータ、その各視点に対応した物体画像上に設定された特徴点を表すデータ及び当該複数の視点を表すデータを含む。
【0018】
各視点に対応した物体画像上に設定された特徴点は、物体上で同一の点に対応する特徴点が夫々対応付けられるように管理される。例えば、図3(a)、(b)、(c)に示すように、物体(三角錐体)上で同一の点に対応する各視点A、B、Cでの物体画像上の特徴点は、同一の番号で特定される。
また、上記映像生成処理装置100にて用いられる構造化データの一部または、全部は、CD−ROM等の記録媒体を用いて、あるいは、通信路を介して映像生成処理装置100に提供される。この構造化データの全部または一部は、図2に示す構造化データ作成装置200にて作成される。
【0019】
図2に示すように、構造化データ作成装置200は、物体Tを複数の視点からカメラ210にて撮影して得られる画像を蓄積し、その各視点に対応した物体画像上において特徴点を設定する。ユーザが入力装置220(マウス等)を用いて各物体画像上にて指定した点を特徴点として設定するができる。また、各視点に対応した物体画像の特徴の共通性に基づいて各物体画像上で夫々対応する特徴点を自動的に設定することもできる。
【0020】
このように、構造化データ作成装置200は、少なくとも、物体Tを複数の視点から撮影して得られる物体画像及びその各物体画像上で設定される特徴点を当該物体Tの構造化データの一部として作成する。そして、少なくとも、このように作成されたデータが構造化データの一部としてCD−ROM等の記録媒体に記録され、上述したようにこの記録媒体を用いて当該構造化データが映像生成処理装置100に提供される。また、構造化データ作成装置200にて作成された構造化データは、通信路を介して上記映像生成処理装置100に提供することも可能である。
【0021】
なお、この構造化データ作成装置200は、物体Tを複数の視点から撮影する際にその視点を表すデータを蓄積することも可能である。この場合、構造化データ作成装置200にて作成される構造化データに当該各視点を表すデータが含まれる。また、上記複数の視点での物体の画像及び特徴点を表すデータのほか、構造化データ作成装置200にて作成すべき構造化データの種類は、上記映像生成処理装置100で用いられる構造化データの種類に応じて決められる。
【0022】
上記映像生成処理装置100は、通常のコンピュータシステムにて構成することができる。この場合、映像生成処理装置100は、図4に示すようなハードウエア構成を有する。
図4において、このシステムは、それぞれバスに接続された、CPU(中央演算処理ユニット)10、メモリユニット11、入力ユニット12、外部記憶装置13及びCD−ROMドライバ14を有する。また、指定された任意の視点から見た物体を表示するための表示装置102がバスに接続されている。
【0023】
CPU10は、メモリユニット11に格納されたプログラムに従って、種々の処理を実行する。メモリユニット11は、ROM(読みだし専用メモリ)やRAM(書き込み可能メモリ)等で構成され、種々の処理に対応したプログラムや、処理の過程で得られた各種データを格納すると供に、表示装置120に表示すべき画像データ(ビットマップ)を格納するための画像メモリとして使用される。入力ユニット12は、キーボード及びマウス等で構成され、処理に必要な情報を入力すると供に、ユーザが希望する視点を入力するために用いられる。 外部記憶装置13は、例えば、ハードディスク装置にて構成されている。当該映像生成処理装置100での処理を実行するためのプログラムを格納したCD−ROMがCD−ROMドライバ14にセットされると、CPU10の制御に従って、該プログラムがCD−ROMからCD−ROMドライバ14を介して外部記憶装置13にインストールされる。そして、映像生成処理装置100としてシステムを立ち上げると、当該プログラムが外部記憶装置13からメモリユニット11に読み出される。
【0024】
また、上記のようにして映像生成処理装置100としてシステムの立ち上げが行なわれた後に、上述した構造化データを格納した他のCD−ROMがCD−ROMドライバ14にセットされると、CPU10の制御に基づいて、当該構造化データがCD−ROMからCD−ROMドライバ14を介して外部記憶装置13にインストールされる。以後、CPU10は、上記のようにメモリユニット11に読み出されたプログラムに従って、外部記憶装置13に格納された構造化データを用いて、映像生成処理装置100の各機能に対応した処理を実行する。
【0025】
このコンピュータシステムに構築される映像生成処理装置100の機能的な構成は、例えば、図5に示すようになる。
図5において、当該映像生成処理装置100は、出力視点設置部101、視点選択部102、座標変換算出部103、座標変換実行部104、補間画像生成部105及び構造化データ格納部150から構成される。出力視点設置部101、視点選択部102、座標変換算出部103、座標変換実行部104及び補間画像生成部105は、それぞれプログラムに従ってCPU10が実行する処理ステップにて実現される。構造化データ格納部150は、外部記憶装置13内に構成される。
【0026】
上記構造化データ格納部150は、入力視点画像格納部151、入力視点格納部152及び入力特徴点格納部152にて構成され、これら各部に、前述したように、例えば、CD−ROMにて提供された各種の構造化データが格納される。
入力視点画像格納部151には、N個の視点から撮影された物体のN通りの画像を表すデータが格納される。各画像には、各視点に対応した番号1〜Nが割り振られている。
【0027】
入力視点格納部152には、上記のように物体を撮影するN個の視点を表すデータが格納される。各視点は、例えば、図6に示すように、物体が置かれた中心Oから半径1の球面上に延びるベクトルQ1、Q2、...、QNで表される。そして、各ベクトルは、当該球の経度θと緯度φにて特定される。上記N通りの画像に対応したN個の視点1、2、...、Nは、それぞれ(θ1、φ1)、(θ2、φ2)、...、(θN、φN)にて特定される。このN個の視点を特定するデータ(経度θ、緯度φ)が、図7に示すようなかたちで入力視点格納部152に格納される。
【0028】
入力特徴点格納部153には、上記入力視点画像格納部151に格納されるそれぞれ異なった視点で撮影された物体のN通りの画像上で設定された特徴点の座標値が格納される。各物体画像上において対応する特徴点、即ち、実際の物体上の同一の点に対応する各物体画像上の特徴点は、同一の番号によって管理される。図3に示す例では、視点A、視点B、視点Cでの各物体画像上に特徴点1乃至6が設定されている。そして、この各物体画像上に設定された特徴点の座標値が、例えば、図8に示すような形式で入力特徴点格納部153に格納されている。
【0029】
図8において、視点1での物体画像上に設定された各特徴点1、2、...、Mの座値がそれぞれ(X11、y11)、(x12、y12)、...、(x1M、y1M)で表される。なお、これらの座標値を記述する座標系は、各画像に対して共通的に設定された、例えば、表示画面上に設定された座標系である。
また、視点2からは、特徴点2に対応する物体上の点が見えないので、当該視点2の物体画像上に特徴点2が設定されない。そのことを表わすため、図8において、視点2の物体画像上における特徴点2の座標値が(999、999)と記述されている。
【0030】
出力視点設定部101は、ユーザが入力ユニット12を用いて指定した視点(θV 、φV )を出力画像の視点としてCPU10の内部レジスタに設定する。ユーザは、例えば、次のようにして、所望の視点を指定する。
例えば、表示画面の中心が原点一致するようにX−Y座標系が当該表示画面上に設定されている。そして、ある視点(θ、φ)から見た物体が表示装置102の画面上に表示されている状態において、点(x、y)をマウス(入力ユニット12)で指定すると、視点(θ+x、φ+y)が新たな視点(θV 、φV )として設定される。
【0031】
視点選択部102は、出力視点設定部101によって設定された視点(θV 、φV )に近い視点を入力視点格納部152に格納された視点から所定個数K選択する。この個数Kは、例えば「3」に定められる(K=3)。視点選択部102は、具体的に、N個の視点から次のようにして当該3つの視点を選択する。
図6に示すように、指定された視点(θV 、φV )で定まる半径1の球上の点をVとし、各視点(θ1、φ1)、(θ2、φ2)、...、(θN 、φN )で定まる半径1の球上の点をそれぞれQ1、Q2、...、QN とする。そして、点V と各点Q1、Q2、...、QN との間の距離を演算し、最も小さい距離から3番目までの視点を選択する。
【0032】
また、次のようにしても視点を選択することができる。
すなわち、上記のようにして各視点(θ1、φ1)、(θ2、φ2)、...、(θN、φN )に対応して定められた半径1の球上の点Q1、Q2、...、QN を頂点とする三角形によって当該球面を分割する。これにより、当該球体が、各面が三角形となる多面体で近似される。そして、指定された視点を表わすベクトルVが交わる三角形の3つの頂点に対応した視点が選択される。
【0033】
座標変換算出部103は、視点選択部102にて上記のようにして選択された3つ(K個)の視点の各物体画像上の点を出力視点設定部101にて設定された視点での物体画像上の点に変換するための座標変換式を算出する。座標変換算出部103では、具体的に次のような処理が行われる。
まず、視点選択部102で選択されたK個(3個)の各視点に対して、その視点と他の視点との視点対を作成する。例えば、視点A、視点B、視点Cが選択された場合、視点Aに対して視点対(A、B)及び(A、C)が、視点Bに対して視点対(B、A)(B、C)が、また、視点Cに対して視点対(C、A)(C、B)がそれぞれ作成される。
【0034】
例えば、図9に示すように、視点A、B、Cの各物体画像IA、IB、ICにM個(6個)の特徴点が設定されているとする。なお、ある物体画像上では設定されているが、他の物体画像上では設定されていない特徴点が一般には存在するが、そのような特徴点は省いたうえで、各物体画像上にそれぞれ対応したM個の特徴点が設定されているとする。視点A、B、Cの各物体画像上に設定されたこれらの特徴点の座標値をそれぞれ、例えば、(xa1、ya1)〜(xaM、yaM)、(xb1、yb1)〜(xbM、ybM)、(xc1、yc1)〜(xcM、ycM)とする。
【0035】
そして、まず、視点対(A、B)に着目して、視点Aの物体画像上の特徴点(xa1、ya1)〜(xaM、yaM)が視点Bの物体画像上の特徴点(xb1、yb1)〜(xbM、ybM)に移るような座標変換式が算出される。即ち、
x’=fab(x、y)、 y’=gab(x、y)
のような2変数の連続関数fab及びgabであって、
xbi=fab(xai、yai)、 ybi=gab(xai、yai) (1)
であるようなものが算出される。以下、視点対(A、B)について、物体画像IAから物体画像IBに変換する座標変換式を算出する手順を説明する。なお、他の視点対についても同様の手順で一方の視点の物体画像から他方の視点の物体画像への座標変換式が算出される。
【0036】
fab(x、y)及びgab(x、y)をx、yについての多項式とし、その多項式の係数を上記式(1)ができるだけ満たされるように定められる。具体的には、
が最小になるように当該多項式の係数を決める。この式(2)は、未知の係数に関して二次式であるので、未知の係数それぞれで微分してゼロとおくと、当該未知の係数だけの一次方程式が得られる。これらの連立一次方程式は、数学ライブラリを用いて解くことができる。
【0037】
また、上記のような座標変換式(式(1)参照)は、次のようにしても得ることができる。
例えば、図9に示すように、視点選択部102で選択された視点での各物体画像を設定された特徴点を頂点とする三角形で分割する。各物体画像において、対応する特徴点でできる三角形は互いに対応するように管理する。つまり、例えば、図9において、物体画像IAに△126が含まれていれば、特徴点1、特徴点2及び特徴点6が設定された他の全ての物体画像IB、ICに△126が含まれるようにする。このことは、全ての三角形について同様である。
【0038】
なお、前述したように、視点選択部102で選択された視点での各物体画像において、ある画像上では設定されているが、別の画像上では設定されていない特徴点が一般に存在するが、そのような特徴点は予め省いておく。それにより、視点選択部102にて選択されたある視点での物体画像上で特徴点1、特徴点2、特徴点6が設定されていれば、選択された他の視点での物体画像上でも、特徴点1、特徴点2、特徴点6が設定されていることになる。従って、ある物体画像に△126が含まれていれば、他の全ての物体画像にも△126が含まれることになる。
【0039】
次に、物体画像IAに含まれる△126内の各点を物体画像IBに含まれる△126内の各点に変換するアフィン変換を求める。ある三角形を別の三角形に移すようなアフィン変換が存在することやそのアフィン変換を求める手法は公知である。その手法に従って、上記物体画像IAの△126から物体画像IBの△126へのアフィン変換を求める。同様にして、物体画像IAに含まれる全ての三角形から物体画像IBに含まれる対応する三角形へのアフィン変換を算出する。
【0040】
視点Aから見た物体の物体画像IAはこれらの三角形で覆われているので、物体画像IAの物体領域内の点(xai、yai)を当該点(xai、yai)を含む三角形に対応するアフィン変換によって変換した点(xbi、ybi)が物体画像IBの物体領域内の対応する点として得られる。
この場合、上記アフィン変換による座標変換式が
xbi=fab(xai、yai)、 ybi=gab(xai、yai)
のように算出される。
【0041】
また更に、座標変換式は、次のようにしても求めることができる。
例えば、図10に示すように、視点選択部102で選択された視点での各物体画像を設定された特徴点を頂点とする四角形で分割する。三角形を用いた上記手法と同様に、各物体画像において、対応する特徴点でできる四角形は互いに対応するように管理する。つまり、例えば、図10において、物体画像IAに□1256が含まれていれば、特徴点1、特徴点2、特徴点5及び特徴点6が設定された他の全ての物体画像IB、ICに□1256が含まれるようにする。
【0042】
次に、物体画像IAに含まれる□1256内の各点を物体画像IBに含まれる□1256内の各点に変換する射影変換を求める。ある四角形を別の四角形に移すような射影変換が存在することやその射影変換を求める手法は公知である。その手法に従って、上記物体画像IAの□1256から物体画像IBの□1256への射影変換を求める。同様にして、物体画像IAに含まれる全ての四角形から物体画像IBに含まれる対応する四角形の射影変換を算出する。
【0043】
視点Aから見た物体の画像IAはこれらの四角形で覆われているので、物体画像IAの物体領域内の点(xai、yai)を当該点(xai、yai)を含む四角形に対応する射影変換によって変換した点(xbi、ybi)が画像IBの物体領域内の対応する点として得られる。
この場合、上記射影変換による座標変換式が
xbi=fab(xai、yai)、 ybi=gab(xai、yai)
のように算出される。
【0044】
上述した3つの手法のいずれかにて、視点Aでの物体画像IA上の点を視点Bでの物体画像IB上の点に変換する座標変換式
xb =fab(xa 、ya )、 yb =gab(xa 、ya )
が算出される。他の視点対についても同様の処理がなされ、一方の視点での物体画像から他方の視点での物体画像への座標変換式が算出される。
【0045】
次に、特に、視点対(A、B)及び視点対(A、C)に着目し、これらの視点対に関して、上記のようにして算出した座標変換式に基づいて視点Aでの物体画像IAからユーザが指定した視点Vでの物体画像IVへの座標変換式を算出する。これは、例えば、次のような手法にて算出される。
物体画像IA上の点(xa 、ya )を物体画像IB上の点(xb 、yb )に変換する座標変換式を
xb =fab(xa 、ya )、 yb =gab(xa 、ya )
とし、物体画像IA上の点(xa 、ya )を物体画像IC上の点(xc 、yc )に変換する座標変換式を
xc =fac(xa 、ya )、 yc =gac(xa 、ya )
とする。
【0046】
物体画像IA上の点(xa 、ya )を物体画像IV上の点(xv 、yv )に変換する座標変換式は、
のように算出される。上記式(3)において、α、β、γは出力視点の位置に応じて定まる重みであり、α+β+γ=1である。この重みα、β、γは次のようにして算出される。
【0047】
図11において、視点A、B、Cのそれぞれが、位置ベクトルQa 、Qb 、Qc にて表される。また、原点Oとユーザが指定した視点Vを結ぶ直線が三角形ABCと交わる点Wを表す位置ベクトルをQw とすると、βとγは、
Qw =Qa +β(Qb −Qa )+(Qc −Qa )
を満たすように定められる。
【0048】
図12に示すように、点Wを通り、ACと平行な直線がABと交わる点をSとし、点Wを通り、ABと平行な直線がACと交わる点をTとした場合、上記重みα、β、γは、
β=AS/AB、 γ=AT/AC、 α=1−β−γ (4)
で求められる。
【0049】
以上により、視点Aでの物体画像IAからユーザが指定した視点Vでの物体画像IVへの座標変換式が上記式(3)(α、β、γが式(4)に従って決定)のように算出される。
上記と同様にして、視点Bでの物体画像IBからユーザが指定した視点Vでの物体画像IVへの座標変換式が、
のように算出され、また、視点Cでの物体画像ICからユーザが指定した視点Vでの物体画像IVへの座標変換式が、
のように算出される。
【0050】
更に、図5に示す座標変換実行部104は、上述したように座標変換算出部103にて算出された各座標変換式に従って、選択された各視点での物体画像からユーザが指定した視点Vでの物体画像に変換する処理を行なう。
視点Aでの物体画像IAから視点Vでの物体画像への座標変換式(3)は、物体画像IAにおける座標点(画素の位置を表す)(xa 、ya )が、視点Vでの物体画像IVにおいて座標点(xv 、yv )=(fav(xa 、ya )、gav(xa 、ya ))に対応していることを表している。この関係に基づいて、物体画像IAにおける(xa 、ya )の画素の色を視点Vでの物体画像における(xv 、yv )の画素の色とすることによって、当該視点Vでの物体画像IVa が生成される。
【0051】
なお、座標変換式
(xv 、yv )=(fav(xa 、ya )、gav(xa 、ya ))
の代わりに、上述したのと同様の手法によって、逆方向の座標変換、即ち、視点Vでの物体画像を視点Aでの物体画像IAに変換する座標変換式
(xa 、ya )=(fva(xv 、yv )、gva(xv 、yv ))
を算出し、この座標変換式に従って、物体画像IVにおける各座標(xv 、yv )の画素の色を対応する物体画像IAにおける座標(xa 、ya )の画素の色と同じ色に決定するようにしてもよい。
【0052】
上記と同様にして、座標変換式(5)に従って、視点Bでの物体画像IBにおける(xb 、yb )の画素の色を視点Vでの物体画像における(xv 、yv )の画素の色とすることによって、当該視点Vでの物体画像IVb が生成される。また、座標変換式(6)に従って、視点Cでの物体画像ICにおける(xc 、yc )の画素の色を視点Vでの物体画像における(xv 、yv )の画素の色とすることによって、当該視点Vでの物体画像IVcが生成される。
【0053】
上述したような座標変換実行部104での処理により、視点選択部102で選択された、例えば、各視点A、B、Cでの物体画像IA、IB、ICのそれぞれから、座標変換式(3)、(5)、(6)に従って、図13に示すように、ユーザが指定した視点V(出力視点)での物体画像IVa 、IVb 、IVc が生成される。
【0054】
補間画像生成部105は、上記のようにして生成された視点Vでの物体画像IVa 、IVb 、IVc に基づいて最終的に表示装置120に表示すべき補間画像IVを次のように生成する。
即ち、座標変換式(3)、(5)、(6)を算出する際に用いた重みα(視点Aと視点Vとの関係を表す)、β(視点Bと視点Vとの関係を表す)、γ(視点Cと視点Vとの関係を表す)を用い、
IV=αIVa +βIVb +γIVc (7)
に従って、補間画像IVが生成される。
【0055】
上記式(7)は、補間画像IVの各座標(xv 、yv )に位置する画素の色が、物体画像IAの対応する座標(xa 、ya )に位置する画素の色にα(割合)を乗じて得られる色成分と、物体画像IBの対応する座標(xb 、yb )に位置する画素の色にβ(割合)を乗じて得られる色成分と、物体画像ICの対応する座標(xc 、yc )に位置する画素の色にγ(割合)を乗じて得られる色成分との和になることを意味する。
【0056】
このようにして生成された補間画像IVは、CPU10の制御に従って、表示装置120に提供され、その表示画面に表示される。
上記のようにして構成される映像生成処理装置100では、ユーザが物体を見る視点Vを指定すると、その視点Vに近い複数の視点が予め定めた視点のなかから選択される。そして、その選択された各視点での物体画像上に設定された特徴点の相関関係から得られる座標変換式に従って当該視点Vでの物体画像が生成される。このようにユーザが指定した視点Vでの物体画像が表示装置に表示され、その結果、ユーザは、表示装置の画面上において自分の希望する視点から当該物体を見ることが可能となる。
【0057】
上記の例において、視点選択部102は、入力視点格納部152に格納されるN個の視点からユーザが指定した視点Vとの距離を演算して、当該視点Vに近い、例えば、3つの視点を選択している。このような視点選択部102での処理では、ユーザによって視点が指定される毎に、その指定された視点と入力視点格納部152に格納されたN個の視点との距離を演算しなければならず、その処理時間が長くなってしまう。このような不具合を解消するため、映像生成処理装置100は、例えば、図14に示すような機能構成とすることができる。なお、図14において、図5と同一の参照番号は、同一の機能ブロックを示している。
【0058】
この例では、外部記憶装置13内に構築される構造化データ格納部150に視点選択テーブル154が付加されている。そして、視点選択部106が視点選択テーブル154を参照して視点を選択する。
この視点選択テーブル154は、ユーザが指定した視点Vをキーとして入力視点格納部152に含まれる視点からどの視点を選択するかを記述したテーブルであり、例えば、図15に示すように構成されている。即ち、視点を表す経度θと緯度φをそれぞれ区分してマトリクスを構成し、各区分領域内に、当該区分領域内の経度と緯度で表される視点Vが指定されたときに、選択すべき視点が記述されている。例えば、図15に示すように、経度θv がθ1 とθ2 の間にあり、緯度φv がφ3 とφ4 の間にあるような視点V(θv 、φv )が指定された場合、経度の区分θ1 〜θ2 と緯度の区分φ3 〜φ4 で決まる区分領域内に記述された視点A、B、Cが選択される。
【0059】
この視点選択テーブルは、構造化データ作成装置200にて作成することができる。この場合、他の構造化データ(各視点での物体画像データ、特徴点等)と供に、視点選択テーブルが、記録媒体(CD−ROM等)を用いて、あるいは通信路を介して映像生成処理装置100に提供される。また、この視点選択テーブルは、入力視点格納部152に格納すべき各視点に関する情報に基づいて、他の外部装置や、映像生成処理装置100内で作成することも可能である。
【0060】
このように視点選択テーブル154を用いて座標変換すべき画像の視点を選択することにより、指定された視点と各視点との距離を演算する必要がなくなり、視点選択の処理に要する時間を削減することができる。
上記映像生成処理装置100は、例えば、図16に示すように、構成することも可能である。なお、図16において、図14と同一の参照番号は、同一の機能ブロックを示している。
【0061】
この例では、プログラムに従ったCPU10での処理により実現される出力特徴点算出部107が、選択された各視点での物体画像上に設定された特徴点(入力特徴点)から、ユーザによって指定された視点から見た物体画像上の対応する特徴点(出力特徴点)を推定算出している。そして、選択された各視点での物体画像上に設定した各特徴点と指定された視点での物体画像上の対応する特徴点との関係から、座標変換算出部108が、当該選択された各視点での物体画像から指定された視点での物体画像への座標変換式を算出する。
【0062】
視点選択部106によって選択された視点A、B、Cでの各物体画像上に、例えば、次のようなM個の特徴点(入力特徴点)が設定される。即ち、視点Aでの物体画像上では、特徴点(xa1、ya1)、(xa2、ya2)、...、(xaM、yaM)が設定され、視点Bでの物体画像上では、特徴点(xb1、yb1)、(xb2、yb2)、...、(xbM、ybM)が設定され、また、視点Cでの物体画像上では、特徴点(xc1、yc1)、(xc2、yc2)、...、(xcM、ycM)が設定される。
【0063】
出力特徴点算出部107は、まず、ユーザにて指定された視点Vを取得して、前記式(4)に従って重みα、β、γを算出する。そして、この重みα、β、γを用いて、指定された視点Vでの物体画像上の対応するi番目の特徴点の位置(xvi、yvi)を
xvi=αxai+βxbi+γxci (i=1、2、...、M)
yvi=αyai+βybi+γyci (i=1、2、...、M) (8)
に従って算出する。
【0064】
これにより、選択された各視点A、B、Cでの物体画像上に設定したi番目の特徴点に対応する視点Vでの物体画像上のi番目の特徴点が得られる。
なお、一般に、それぞれの視点において物体の影になって見えない等の理由で、全ての特徴点が観測されるわけではないが、選択された視点において共通して観測されている特徴点についてだけ上記処理が行なわれる。
【0065】
座標変換算出部108は、視点選択部106にて選択された、例えば、各視点A、B、Cでの物体画像上に設定された特徴点1〜M、視点設定部101で設定した視点Vと、出力特徴点算出部107にて算出された特徴点の各情報に基づいて、選択された各視点での物体画像から指定された視点Vでの物体画像に変換する座標変換式を算出する。視点Aでの物体画像から視点Vでの物体画像に変換する座標変換式は次のように算出される。
【0066】
既に、図5に示す座標変換算出部103が、視点Aでの物体画像から視点Bでの物体画像への座標変換式(1)をそれぞれの物体画像に設定された特徴点の関係に基づいて算出するための処理(3つの手法による)について説明した。この処理と同じ手法によって、視点Aでの物体画像から視点Vでの物体画像に変換する座標変換式が、視点Aでの物体画像上に設定した特徴点(入力特徴点)と出力特徴点算出部107で算出されてた特徴点(出力特徴点)との関係に基づいて算出される。その結果、上記座標変換式(1)と同様の形式の座標変換式
xv =fav(xa 、yb )、 yv =gav(xa 、ya )
が得られる。
【0067】
また、同様にして、選択された他の視点Bでの物体画像から視点Vでの物体画像に変換する座標変換式
xv =fbv(xb 、yb )、 yv =gbv(xb 、yb )
及び、更に他の視点Cでの物体画像から視点Vでの物体画像に変換する座標変換式
xv =fcv(xc 、yc )、 yv =gcv(xc 、yc )
がそれぞれ得られる。
【0068】
上記のようにして得られた選択された各視点A、B、Cでの物体画像からユーザが選択した視点Vでの物体画像への座標変換式が座標変換実行部104に提供され、上述したのと同様に、これらの変換座標式に従って、各視点A、B、Cでの物体画像IA、IB、ICから視点Vでの物体画像IVa 、IVb 、IVc が演算される。
【0069】
上記のような例では、選択された各視点での物体画像上に設定された特徴点からユーザが指定した視点での物体画像上の対応する特徴点を算出し、それら特徴点の相対的な関係に基づいて、各視点での物体画像からユーザが指定した視点での物体画像に変換する座標変換式を算出している。その結果、座標変換式がより正確に算出することが可能となる。
【0070】
上記出力特徴点算出部107は、次のような処理により、ユーザが指定した視点での物体画像上の特徴点(出力特徴点)を算出することもできる。
前述した場合と同様に、視点選択部106にて視点A、B、Cが選択され、それら各視点での物体画像上に設定された特徴点が、視点Aに対しては、(xa1、ya1)、(xa2、ya2)、...、(xaM、yaM)、視点Bに対しては、(xb1、yb1)、(xb2、yb2)、...、(xbM、ybM)、視点Cに対しては、(xc1、yc1)、(xc2、yc2)、...、(xcM、ybM)であったとする。また、ユーザが視点V(出力視点)を指定したとする。
【0071】
出力特徴点算出部107は、後述するような手法に従って、アフィン変換の係数α11、α12、α21、α22、β11、β12、β21、β22、γ11、γ12、γ21、γ22を算出する。そして、これらの係数を用いて、
xvi=α11xai+α12yai+β11xbi+β12ybi+γ11xci+γ12yci
yvi=α21xai+α22yai+β21xbi+β22ybi+γ21xci+γ22yci (9)
に従ってユーザが指定してした視点Vでの物体画像上の特徴点の位置(xvi、yvi)が算出される。
【0072】
上記各アフィン変換の係数α11、α12、α21、α22、β11、β12、β21、β22、γ11、γ12、γ21、γ22は、次のようにして算出される。
図11において、選択された視点A、B、Cを表す位置ベクトルをそれぞれQa 、Qb 、Qc とし、視点Vを表す位置ベクトルをQv とする。また、これらのベクトルの長さが1になるように正規化したものをua 、ub 、uc 、uv とし、北極の方向を向いた単位ベクトルをηとする。
【0073】
次式によって、3x3の行列Mを定義する。
ここで、右肩の「t 」は、転置を表す。このとき、アフィン変換の各係数は、次式に従って算出される。
上記(10)式から3x3の行列Mを算出し、そのMを用いて(11)式でアフィン変換の係数を算出する。
【0074】
上記のようにして算出されたアフィン変換の係数を用いて、上記(9)式に従って、ユーザが指定した視点Vでの物体画像上の特徴点の位置が算出される。
このような出力視点特徴部107での処理によれば、ユーザが指定した視点Vでの物体画像上の特徴点(出力特徴点)の位置をより多くのパラメータを使って算出しているので、より正確な出力特徴点の位置が算出できる。
【0075】
上記映像生成処理装置100は、例えば、図17に示すように構成することができる。図17において、図16と同一の参照番号は、同一の機能ブロックを表している。
この例では、外部記憶装置13内に構築される構造化データ格納部150に三次元座標格納部155が付加されている。この三次元座標格納部155には、各視点での物体画像上に設定された特徴点に対応する実際の物体上の点の三次元座標値が格納される。そして、出力特徴点算出部109は、三次元座標格納部155に格納された各特徴点に対応する物体上の点の三次元座標値に基づいて、ユーザが指定した視点での物体画像上の特徴点を算出する。
【0076】
三次元座標格納部155には、例えば、図18に示すような形式で、各特徴点に対応した物体上の点の三次元座標値(X、Y、Z)が格納されている。この三次元座標値を表すための座標系X−Y−Zは、物体を設置する空間において任意に定めることができる。この三次元座標値は、構造化データ作成装置200にて測定、または算出することができる。その場合、三次元座標値は、他の構造化データ(各視点に対応した物体画像、その物体画像上の特徴点)と供に、記録媒体(CD−ROM等)を用いて、あるいは、通信路を介して映像生成処理装置100に提供される。
【0077】
出力特徴点演算部109は、三次元座標格納部155に格納された各特徴点に対応する物体上の点の三次元座標値に基づいて、ユーザが指定した視点Vでの物体画像上の特徴点を算出する。実際には、三次元空間中の特徴点に対応する点を画像面に投影することによって、指定された視点Vでの物体画像上での特徴点を算出する。投影の手法は、直交投影と透視投影の二種類がある。
【0078】
まず、直交投影による手法に従って特徴点を算出する処理は、次のようになされる。
例えば、図19に示すように、物体Tが三次元空間(X−Y−Z)の原点O付近におかれているとし、原点Oと視点とを結ぶ直線と平行な方向に、特徴点(入力特徴点)に対応した物体T上の点を投影する。そして、原点Oと視点とを結ぶ直線と垂直の向きに置かれている画像面Pと交わる点の位置を出力特徴点の位置とする。
【0079】
m番目の特徴点に対応した物体T上の点の三次元的な位置ベクトルRm を
Rm =(Xm 、Ym 、Zm )T
で表わし、n番目の視点の位置ベクトルをQn 、画像面Pのx軸方向の単位ベクトルをim 、画像面Pのy軸方向の単位ベクトルをjm とすると、n番目の視点におけるm番目の特徴点の座標は、
xnm=(in 、Rm )、 ynm=(jn 、Rm )
で算出される。
【0080】
次に、透視投影による手法に従って特徴点を算出する処理は、次のようになされる。
例えば、図20に示すように、物体Tが三次元空間(X−Y−Z)の原点O付近に置かれているとし、各特徴点(入力特徴点)に対応した物体T上の点を視点の方向に投影し、原点Oと視点を結ぶ直線に垂直な向きに置かれている画像面Pと交わる点の位置を出力特徴点の位置とする。直行投影による手法に従った処理の場合と同様に、位置ベクトルRm 、Qn 及び単位ベクトルin 、jn を定義すると、n番目の視点におけるm番目の特徴点の座標(xnm、ynm)は、
xnm=f(in 、Rm −Qn )/(in ×jn 、Rm −Qn )
ynm=f(jn 、Rm −Qn )/(in ×jn 、Rm −Qn )
で算出される。
【0081】
このように、出力特徴点算出部109が各特徴点に対応した物体上の点の三次元座標をユーザが指定した視点で決まる画像面に投影して出力特徴点の位置を算出しているので、より正確な出力特徴点の位置を得ることができる。
更に、上記映像生成処理装置100は、図21に示すような機能構成とすることもできる。図21において、前述した各例と同一の参照番号は、同一の機能ブロックを示している。
【0082】
この例では、外部記憶装置13内に構築される構造化データ格納部150は、図16に示す例と同様に、入力視点画像格納部151、入力視点格納部152、入力特徴点格納部153及び視点選択テーブル154を備え、更に、入力多角形格納部156が付加されている。
各視点での物体画像上に設定した特徴点を頂点とする複数の多角形を各物体画像を覆うように形成した際に各多角形の頂点となる特徴点の組が、当該多角形に対応づけられて入力多角形格納部156に格納される。各視点での物体画像上で対応する特徴点の組が、同様に多角形の頂点となるように各視点での物体画像上の特徴点の組分けが行われる。
【0083】
例えば、図9に示すように、各視点A、B、Cでの物体画像IA、IB、IC上に設定された特徴点を頂点とした三角形を各物体画像を覆うように形成した際に当該三角形の頂点となる特徴点の組が、当該三角形に対応づけられて、例えば、図22に示す形式で入力多角形格納部156に格納される。この例の場合、ある物体画像において特徴点の組(1、2、6)が三角形の頂点となる場合、対応する特徴点1、特徴点2、特徴点6を含む全ての物体画像において、特徴点の組(1、2、6)が三角形の頂点となるように各物体画像上の特徴点の組分けが行われる。また、図22に示す例では、視点2から特徴点1、特徴点2、特徴点6を頂点とする三角形1及び特徴点7、特徴点8、特徴点9を頂点とする三角形Lを見ることができない。
【0084】
なお、前述したように、視点選択部106で選択された各視点での物体画像において、ある物体画像には含まれているが別の物体画像には含まれていない特徴点が一般に存在するが、そのような特徴点は、予め省いておく。
また、例えば、図10に示すように、各視点A、B、Cでの物体画像IA、IB、IC上に設定された特徴点を頂点とした四角形を各物体画像を覆うように形成した際に当該四角形の頂点となる特徴点の組が、当該四角形に対応づけられて、例えば、図23に示す形式で入力多角形格納部156に格納される。この例の場合、ある物体画像において特徴点の組(1、2、5、6)が四角形の頂点となる場合、対応する特徴点1、特徴点2、特徴点5、特徴点6を含む全ての物体画像において、特徴点の組(1、2、5、6)が四角形の頂点となるように各物体画像上の特徴点の組分けが行われる。また、図23に示す例では、視点2から特徴点1、特徴点2、特徴点5、特徴点6を頂点とする四角形1及び特徴点7、特徴点8、特徴点9、特徴点10を頂点とする四角形Lを見ることができない。
【0085】
上記のような入力多角形格納部156に格納されるべき各視点での物体画像を覆う多角形の頂点となる特徴点の組は、上記構造化データ作成装置200が他の構造化データ(各視点での物体画像、特徴点等)と供に、生成することができる。この場合、特徴点の組を表わすデータは、当該他の構造化データと供に、記録媒体(CD−ROM等)を用いて、あるいは、通信路を介して映像生成処理装置100に提供される。
【0086】
この例では、更に、映像生成処理装置100に出力多角形抽出部111が設けられている。この出力多角形抽出部111は、プログラムに従ったCPU10での処理により実現される。
出力特徴点算出部107が前述したように、指定された視点Vでの物体画像上の特徴点を算出する。そして、出力多角形抽出部111は、上記入力多角形格納部156に格納された複数の多角形でなる多角形群(例えば、図22における三角形1から三角形L)に基づいて、それに対応する多角形群であって当該視点Vでの物体画像を覆う複数の多角形を上記出力特徴点算出部107で算出された特徴点から抽出する。
【0087】
座標変換算出部112は、視点選択部106で選択される各視点に対応した入力多角形格納部156に格納された特徴点の組で形成される各多角形を上記出力多角形抽出部111にて抽出された対応する多角形に変換する座標変換式を算出する。
例えば、視点選択部106で、視点A、B、Cが選択され、また、ユーザによって視点Vが指定されたとする。この場合、視点Aでの物体画像を視点Vでの物体画像に変換する座標変換式は、次のようにして算出される。なお、視点B、視点Cについても同様の処理にて座標変換式が得られる。
【0088】
図9及び図10を用いて前述したように、多角形の対応関係に基づいて、視点Aでの物体画像から視点Bでの物体画像に変換する座標変換式は、
xb =fab(xa 、ya ) yb =gab(x、a ya )
となる。この関係を利用して、視点Aでの物体画像を視点Vでの物体画像に変換する座標変換式が、
xv =fav(xa 、ya ) yv =gav(xa 、ya )
のように得られる。
【0089】
図21に示す入力多角形格納部156及び出力多角形抽出部111は、図24に示す多角形抽出部113に置き換えることが可能である。なお、図24において、図21と同一の参照番号は、同一の機能ブロックを示している。
多角形抽出部113は、視点選択部106にて選択された各視点に対応する入力特徴点格納部153に格納された特徴点を頂点とする複数の多角形を当該視点での物体画像を覆うように形成した際に各多角形の頂点となる特徴点の組を抽出する。そして、各視点での物体画像上で対応する特徴点の組が、同様に多角形の頂点となるように各視点での物体画像上の特徴点の組分けが行われる。即ち、多角形抽出部113は、視点設定部106にて選択された各視点での物体画像上で設定された特徴点を頂点とするそれぞれ対応する多角形を抽出する(図9、図10参照)。また、出力特徴点算出部107で算出された特徴点を頂点とする複数の多角形であり、上記入力特徴点に基づいて抽出された多角形に対応する多角形が更に、多角形抽出部113にて抽出される。この出力特徴点算出部107で算出された特徴点を頂点とする複数の多角形からなる多角形群は、出力視点Vでの物体画像を覆う。
【0090】
上記のように抽出された各視点での物体画像上の多角形と、ユーザによって指定された視点での物体画像上の多角形との関係に従って、座標変換算出部112が、図21に示す例の場合と同様に、座標変換式を算出する。
各視点での物体画像上に設定された特徴点を頂点とする多角形を用いて座標変換式を算出するようにした映像生成処理装置100は、更に、図25に示すような機能構成とすることも可能である。なお、図25において、図17及び図24と同一の参照番号は、同一の機能ブロックを表わしている。
【0091】
この例では、外部記憶装置13内に構築される構造化データ格納部150は、図17に示す例と同様に、入力視点画像格納部151、入力視点格納部152、入力特徴点格納部153、視点選択テーブル154及び三次元座標格納部155を備え、更に、表面多角形格納部157が付加されている。
三次元座標格納部155は、図17の例で説明したように、各視点での物体画像上に設定した特徴点に対応する物体上の点を表わす三次元座標値が格納されている。表面多角形格納部157は、三次元座標格納部155に格納されたそれぞれの特徴点に対応する物体上の点を頂点する複数の多角形からなる多角形群で、それらの多角形が物体の表面を覆うようなものを格納する。
【0092】
例えば、三次元空間の特徴点に対応した点を頂点した三角形で物体を覆う場合、表面多角形格納部157には、図26に示すような形式で、物体の表面で三角形を形成する点の組が格納される。この場合、物体表面は、L個の三角形で覆われ、1番目の三角形は、特徴点1、特徴点2及び特徴点6に対応した物体表面上の点を頂点とし、2番目の三角形は、特徴点2、特徴点5及び特徴点6に対応した物体表面上の点を頂点とし、L番目の三角形は、特徴点7、特徴点8及び特徴点9を頂点としている。
【0093】
また、例えば、三次元空間の特徴点に対応した点を頂点とした四角形で物体を覆う場合、表面多角形格納部157には、図27に示すような形式で、物体の表面で四角形を形成する点の組が格納される。この場合、物体表面は、L個の四角形で覆われ、1番目の四角形は、特徴点1、特徴点2、特徴点5及び特徴点6を頂点とし、2番目の四角形は、特徴点2、特徴点3、特徴点4及び特徴点5を頂点とし、L番目の四角形は、特徴点7、特徴点8、特徴点9及び特徴点10を頂点としている。
【0094】
上記のような表面多角形格納部157に格納されるべき物体表面を覆う多角形の各頂点の組は、上記構造化データ作成装置200が他の構造化データ(各視点での物体画像、特徴点等)と供に、生成することができる。この場合、多角形の頂点の組を表わすデータは、当該他の構造化データと供に、記録媒体(CD−ROM等)を用いて、あるいは、通信路を介して映像生成処理装置100に提供される。
【0095】
この例における映像生成処理装置100は、更に、多角形抽出部114を備えている。この多角形抽出部114は、プログラムに従ったCPU10での処理により実現される。多角形抽出部114は、表面多角形格納部157に格納された物体表面を覆う各多角形の頂点に対応した、視点選択部106にて選択された各視点での物体画像上の特徴点を頂点とする多角形を抽出する。更に、多角形抽出部114は、上記表面多角形格納部157に格納された物体表面を覆う各多角形の頂点に対応した、出力特徴点算出部109にて算出されるユーザ指定の視点Vでの物体画像上の特徴点を頂点とする多角形を抽出する。
【0096】
例えば、視点選択部106によって視点A、視点B、視点Cが選択されたとすする。この場合、まず、入力特徴点格納部151を参照して視点Aでの物体画像上に設定された特徴点の組が取り出される。そして、表面多角形格納部157に格納されされている多角形のうち、視点Aでの物体画像上で設定した特徴点に対応する点が頂点となる多角形が選ばれる。
【0097】
多角形抽出部114は、その選ばれた多角形を視点Aに関する多角形群として出力する。多角形抽出部114は、同様にして、視点B及び視点Cに関する多角形群を出力する。そして、更に、多角形抽出部114は、視点A、視点B、視点Cに関する3つの多角形群に共通して含まれる複数の多角形をユーザに指定された視点(出力視点)に関する多角形群として出力する。
【0098】
映像生成処理装置100は、更に、図28に示すような機能構成とすることも可能である。なお図28において、図25と同一の参照番号は同一の機能ブロックを示す。
この例では、入力視点格納部152aに格納すべき視点(入力視点)のデータ及び三次元座標格納部155aに格納すべき特徴点に対応した物体上の点の三次元座標値が映像生成処理装置100内で生成される。即ち、映像生成処理装置100は、入力特徴点格納部151に格納された特徴点のデータに基づいて対応する物体上の点の三次元座標を推定する三次元推定部121と、該特徴点のデータに基づいて各視点を表すデータを推定する入力視点推定部122とを有している。
【0099】
これら、三次元推定部121及び入力視点推定部122は、プログラムに従ったCPU10の処理にて実現される。
入力特徴点格納部151には、図8に示すように、n番目の視点での物体画像上に設定されたm番目の特徴点の座標(xnm、ynm)が格納されている。また、直交投影(図19参照)を仮定した場合、その特徴点の座標は、前述したように、
xnm=(in 、Rm )、 ynm=(jn 、Rm ) (12)
で算出される。また、透視投影(図20参照)を仮定した場合、その特徴点の座標は、前述したように、
xnm=f(in 、Rm −Qn )/(in ×jn 、Rm −Qn )
ynm=f(jn 、Rm −Qn )/(in ×jn 、Rm −Qn ) (13)
で算出される。ここで、Rm は、m番目の特徴点の三次元座標を表すベクトルであり、Qn は、n番目の視点の位置を表すベクトルである。また、in とjn は画像面におけるx軸方向とy軸方向を表すベクトルである。一般にnとmがある程度大きければ、特徴点の座標(xnm、ynm)の値を基に(12)式や(13)式を解くことによって、Rm 、Qn 、in 、jn を算出することができることが知られている。
【0100】
従って、三次元座標推定部121は、特徴点の座標(xnm、ynm)から上記公知の手法に従って、m番目の特徴点に対応した物体上の点を表すベクトルRm を算出する。また、入力視点推定部122は、特徴点の座標(xnm、ynm)から公知の手法に従って視点を表すベクトルQn 、in 、jn を算出する。
上述したような映像生成処理装置100で用いられる構造化データの全部または一部を作成する構造化データ作成装置200は、通常のコンピュータシステムにて構成することができる。この場合、構造化データ作成装置200は、図29に示すようなハードウエア構成を有する。
【0101】
図29において、このシステムは、それぞれバスに接続された、CPU(中央演算処理ユニット)20、メモリユニット21、撮像信号入力回路22、表示装置23及び外部記憶装置24を有する。また、各種情報及び位置の指定を行なうための入力ユニット220ががバスに接続されている。
CPU20は、メモリユニット21に格納されたプログラムに従って、種々の処理を実行する。メモリユニット11は、ROM(読みだし専用メモリ)やRAM(書き込み可能メモリ)等で構成され、種々の処理に対応したプログラムや、処理の過程で得られた各種データを格納すると供に、表示装置23に表示すべき画像データ(ビットマップ)を格納するための画像メモリとして使用される。入力ユニット220は、キーボード及びマウス等で構成され、処理に必要な情報を入力すると供に、特徴点を指定するため等に使用される。外部記憶装置24は、例えば、ハードディスク装置にて構成される。
【0102】
カメラ210は物体Tを種々の視点から撮影し、カメラ210から出力される撮像信号が撮像信号入力回路22に提供される。撮像信号入力回路22は、カメラ210からの撮像信号を画像データに変換してバスに供給する。そして、画像データがCPU20の制御に基づいてメモリユニット21の画像メモリ上に展開される。また、画像メモリ上に展開された画像データを、外部記憶装置24にファイルとして格納することができる。
【0103】
当該構造化データ作成装置200での処理を実行するためのプログラムは、予めメモリユニット21のROMに格納されている。このシステムを構造化データ作成装置200として立ち上げると、CPU20がメモリユニット21内の当該プログラムに従って処理を開始する。
このコンピュータシステムに構築される構造化データ作成装置200の機能的な構成は、例えば、図30に示すようになる。
【0104】
図30において、当該構造化データ作成装置200は、撮像信号入力部201、入力特徴点決定部202及び構造化データ格納部250から構成されてる。撮像信号入力部201は、撮像信号入力回路22及びプログラムに従ってCPU20が実行する処理ステップにて実現される。また、入力特徴点決定部202はプログラムに従ってCPU20が実行する処理ステップにて実現される。構造化データ格納部250は、外部記憶装置24内に構成される。
【0105】
構造化データ格納部250は、入力視点画像格納部251と入力特徴点格納部252を有している。物体Tが複数(N)の視点からカメラ210によって撮影され、その際得らる各視点での入力画像データが入力視点画像格納部251に格納される。入力特徴点格納部252は、上記N個の視点での物体画像上において後述するような手法に従って入力特徴点決定部202が決定した特徴点の位置(座標)を、例えば、図8に示す形式にて格納する。
【0106】
入力特徴点決定部202は、入力視点画像格納部251に格納されたN枚の物体画像に対して互いに対応する複数個の特徴点の位置を次のような手法にしたがて決定する。
まず、入力視点画像格納部251に格納されたN枚の物体画像を順番に表示装置23の画面上に表示させる。ユーザが表示された物体画像を見ながら当該物体画像上において対応する物体の特徴的な点(色の境界点、形状の変化点等)を入力ユニット220(マウス)を用いて指定し、その指定した特徴点を特定する番号を入力ユニット220(キーボード)から入力する。物体上の同じ特徴的な点であっても、その物体を異なる視点から撮影して得た各画像上では、その特徴的な点に対応する特徴点の座標値が異なる。そして、物体上の同じ点に対応した各物体画像上の特徴点は、同じ番号で特定される。
【0107】
入力特徴点設定部202は、入力ユニット220(マウス)で指定された位置を検出してその位置に対応する座標値を、表示された物体画像の視点と入力された番号に対応付けて、入力特徴点格納部252に格納する(図8参照)。
また、入力視点画像格納部251に格納された各視点での物体画像を処理することによって特徴点の位置を自動的に決定することも可能である。その場合、入力特徴点決定部202は、図31に示すように構成される。
【0108】
図31において、入力特徴点決定部202は、特徴点候補抽出部202(1)、近傍パターン抽出部202(2)及び対応関係抽出部202(3)を有している。特徴点候補抽出部202(1)では、まず、入力視点画像格納部251に格納されているそれぞれの物体画像に濃度変化の程度を出力するような空間フィルタ(ガウシアンラプラッシアン等)が施される。次に、その濃度変化の値が予め定めた値より大きく、かつ、その値が周囲のどの画素の値よりも大きくなっている画素が抽出され、それらの画素が特徴点候補として出力される。
【0109】
近傍パターン抽出部202(2)では、入力視点画像格納部251に格納された各物体画像を対象として、その物体画像に含まれる特徴点候補のそれぞれに対して、その画素を中心とするある大きさの近傍パターンが抽出される。例えば、注目画素を中心として、n×nの大きさの範囲にあるパターンがn×nの大きさの画像として抽出される。
【0110】
対応関係抽出部202(3)では、次のような手順に従って、近傍パターン抽出部202(2)で抽出された近傍パターンの類似性に基づいて画像どおしの間で対応が付けられた特徴点が抽出される。
ステップ1において、1枚目の物体画像から抽出された特徴点候補に1からMまでの番号を付ける。
【0111】
ステップ2において、1からMまでの全てのmに対して、ステップ1においてmの番号が付けられた特徴点候補の近傍パターンがm番目の代表パターンとして定められる。
ステップ3において、n=1を設定する。
ステップ4において、1からMまでの全てのmに対して、m番目の代表パターンとn番目の物体画像から抽出された各特徴点候補の近傍パターンの相違度を算出し、その値が予め定めた閾値より小さいときにその近傍パターンに対応する特徴点候補にmの番号を付ける。そして、m番目の代表パターンを以下のように更新する。
【0112】
即ち、その時点までにm番目の代表パターンが更新された回数をkとしたときに、m番目の代表パターンを、更新前のパターンにk+1 の重みを付け、今注目しているI番目の画像の近傍パターンに1の重みを付けて平均したものに更新する。
ステップ5において、nに1を加える。
【0113】
ステップ6において、n<Nならばステップ4に戻り、n=Nであるならば次のステップに進む。
ステップ7において、1からMまでの全てのmに対して、番号が付けられた特徴点候補の数が算出され、その数が予め定めた閾値以上である場合に、番号が付けられた特徴点候補をその番号で対応付けられた特徴点とする。
【0114】
以上、ステップ1から7までの処理を行なった後、2枚目の画像からN枚目の画像において、特徴点候補から前記ステップ1から7までの処理で抽出された対応付けられた特徴点を除いたうえで、ステップ1から7までの処理を繰り返す。このとき、ステップ1においては、2枚目の物体画像から抽出された特徴点候補に対して1からMまでの番号を付ける。更に、同様の処理を、3枚目の画像からN枚目の画像に対して行なう。この処理をN−1枚目の画像からN枚目の画像を対象とした処理を行なった時点で終了する。
【0115】
上記のようにして、入力視点画像格納部251に格納された各視点での物体画像(入力視点画像)及び入力特徴点格納部252に格納された各物体画像上に設定した特徴点(入力特徴点)のデータは、例えば、CD−ROM等の記録媒体に格納される。そして、これら各視点での物体画像及び各物体画像上に設定された特徴点のデータがこの記録媒体によって上述した映像生成処理装置100に提供される。また、上記のようにして構造データ格納部250に格納された各視点での物体画像及び特徴点のデータを、通信路を介して上記映像生成処理装置100に提供することもできる。
【0116】
上記構造化データ作成装置200は、図32に示すような機能構成とすることもできる。図32において、図30と同一の参照番号は同一の機能ブロックを表わしている。
この例では、構造化データ作成装置200に、入力多角形決定部203と入力多角形格納部253が設けられている。
【0117】
入力多角形決定部203は、プログラムに従ったCPU20での処理で実現される。この入力多角形決定部203は、入力視点画像格納部251に格納された各視点での物体画像上に入力特徴点決定部202が設定した特徴点を頂点とする複数の多角形(頂点となる特徴点の組で表される)からなる多角形群を決定する。この多角形群は、当該物体画像を覆うように決められ、また、異なる視点での各物体画像において対応する特徴点がそれぞれ頂点となる対応する多角形が決定される。
【0118】
具体的には、次のようにして、特徴点を頂点とする多角形が決定される。
まず、入力視点画像格納部251に格納されたある視点での物体画像が表示装置23の画面に表示される。また、同時に、この物体画像上に設定され、入力特徴点格納部252に格納された特徴点の位置が上記物体画像に重ねて表示される。ユーザは、この表示画面をみながら2つの特徴点の間をマウス(入力ユニット220)で指定する。システム(入力多角形決定部203)は、マウスの動きを検出し、それら2つの特徴点の間を線で結び、それを表示画面に表示させる。
【0119】
このようにしてユーザが特徴点間をマウスで指定することによって特徴点間が線で結ばれ、表示画面上の物体画像が三角形や四角形等の多角形で覆われるようになる。入力多角形決定部103は、この表示画面上に描かれた結果を基に、三角形あるいは四角形の組を抽出して、例えば、図22や図23に示すような形式で入力多角形格納部253に格納する。
【0120】
次に、システムは、次の視点での物体画像を入力視点画像格納部251から読みだし、その物体画像、その物体画像上に設定された特徴点及び前の物体画像において決定された多角形を表示画面上に表示させる。ユーザはそれをみながら上記同様のマウス操作により、まだ多角形で覆われていない物体画像領域を覆うような多角形を決めてゆく。このような操作を繰り返して、全ての視点での物体画像上に設定された特徴点を頂点とする多角形を決定する。そして、その決定された多角形に関するデータが入力多角形格納部253に格納される(図22、図23参照)。
【0121】
上記のようにして、入力視点画像格納部251に格納された各視点での物体画像、入力特徴点格納部252に格納された各物体画像上に設定された特徴点及び入力多角形格納部253に格納された各物体画像上の多角形群が、例えば、CD−ROM等の記録媒体に格納される。そして、この記録媒体によって、上記各視点での物体画像、特徴点及び物体画像上に多角形に関する情報が、例えば、図21に示すような機能構成を有する映像生成処理装置100に提供される。
【0122】
構造化データ作成装置200は、更に、図33に示すような機能構成とすることも可能である。なお、図33において、図32と同一の参照番号は、同一の機能ブロックを表している。
この例では、構造化データ作成装置200に、入力視点決定部204と入力視点格納部254が設けられている。
【0123】
入力視点決定部204は、プログラムに従ったCPU20での処理によって実現される。この入力視点検定部204は、入力視点画像格納部251に格納された物体画像に対してその視点を決定する。
例えば、カメラ210で物体Tを撮影する毎に、ユーザがカメラ210の物体Tに対する位置(経度θ、緯度φ)を観測し、その観測値を視点を表す情報として入力ユニット220(キーボード)から入力する。システム(入力視点決定部204)は、入力された情報(経度θ、緯度φ)を視点を認識して入力視点格納部254に格納する。入力視点格納部254には、入力された視点の情報が、例えば、図7に示す形式で格納される。
【0124】
また、入力視点決定部204は、次のような手法によっても視点の情報を得ることができる。
即ち、入力特徴点決定部202にて決定された各特徴点の位置情報に基づいて物体画像を得た際の視点が推定される。具体的には、例えば、図28に示す映像生成処理装置100の入力視点推定部122で行なわれるのと同様に、前記式(12)及び式(13)に従って視点を表すベクトルQn が算出される。
【0125】
上記のようにして構造化データ格納部250に格納された各視点での物体画像、各物体画像上に設定された特徴点、各物体画像を覆う多角形群及び各視点の情報が、CD−ROM等の記録媒体を利用したり、通信路を介して映像生成処理装置100に提供される。
更に、構造化データ作成装置200は、図34に示すような機能構成とすることができる。なお、図34において、図33と同一の参照番号は、同一の機能ブロックを表している。
【0126】
この例では、三次元座標格納部255及び三次元構造推定部205が構造化データ作成装置200に設けられている。
三次元構造推定部205は、プログラムに従ったCPU20の処理にて実現される。この三次元構造推定部205は、図28に示す映像生成処理装置100の三次元座標推定部121と同様に、上記式(12)及び式(13)に従って、視点を表すベクトルQn 及び特徴点の三次元座標Rm を算出する。そして、視点を表すベクトルQn が構造データ格納部250の入力視点格納部254に格納され、また、特徴点の三次元座標Rm が三次元座標格納部255に格納される。
【0127】
上記のように構造化データ格納部250に格納された各視点での物体画像、各物体画像上に設定された特徴点、各物体画像を覆う多角形、各特徴点の三次元座標及び視点のデータが、構造化データとして映像生成処理装置100に提供される。
構造化データ作成装置200は、更に、図35に示すような機能構成とすることもできる。
【0128】
この例は、前記例(図34参照)と同様に、各特徴点に対応した物体T上の点の三次元座標を推定しているが、更に、視点に関するデータも加味して推定する点が前記例と異なる。
前述した例と同様(図33参照)に、入力視点設定部204が、入力ユニット220から入力された視点を表す情報(経度θ、緯度φ)を取得する。そして、その取得した情報が入力視点格納部254に、例えば、図7に示す形式で格納される。
【0129】
この状態において、三次元座標推定部205は、上記のようにして入力された各視点に関する情報と、入力特徴点格納部252に格納された特徴点の位置に関する情報とに基づいて特徴点に対応する物体T上での点の三次元座標を推定する。その手法は、基本的に、前記例(図34参照)の場合と同様に、前記式(12)及び式(13)に従って、当該点の三次元座標を表すベクトルRm を算出する。この場合、入力視点に関する情報が既知であるので、上記式(12)及び式(13)おいて、ベクトルQn 、in 、jn が既知となって、その演算が容易になる。そして、その推定精度も向上する。
【0130】
構造化データ作成装置200は、図36に示すような機能構成とすることも可能である。
この例では、入力された物体Tの各視点での画像から特徴点候補を決定し、その候補から特徴点になるべき点に対応した物体T上の点の三次元座標を求めている。そして、その三次元座標から特徴点を決定している。
【0131】
図36において、外部記憶装置24内に構築される構造化データ格納部250は、入力視点画像格納部251、入力特徴点格納部252、入力視点格納部254及び三次元座標格納部255を有している。これら各格納部251、252、254及び255の機能は、前述した各例のものと同様である。
また、この構造化データ作成装置200は、それぞれプログラムに従ったCPU20の処理によって実現される、撮像信号入力部201、特徴点候補算出部211、入力視点設定部204、三次元座標候補抽出部212、三次元座標推定部213及び入力特徴点決定部214を有している。
【0132】
カメラ210によって物体Tを撮影して得られた各視点での物体画像が撮像信号入力部201を介して入力視点画像格納部251に格納される。入力視点設定部204は、前述した例(図33参照)と同様の手法に従って、入力視点画像格納部251に格納した各物体画像を得るための物体Tに対する視点の位置を設定する。
【0133】
特徴点候補算出部211は、入力視点画像格納部251に格納された各視点での物体画像から特徴点の候補(特徴点候補)を抽出する。この特徴点候補算出部211は、図31に示す特徴点候補抽出部202(1)と同様に、各物体画像を処理して、その画像中から濃度変化が激しい等の特徴的な点(特徴点候補)を抽出する。
【0134】
三次元座標候補抽出部212は、特徴点候補算出部211で算出された各視点での物体画像における複数個の特徴点候補の位置と入力視点格納部251に格納された各視点の情報に基づいて、各特徴点候補に対応した物体T上の点の三次元座標(三次元座標候補)を算出する。例えば、直交投影の手法を用いて次のように三次元座標候補が抽出される。なお、透視投影の手法を用いても同様に手順にて三次元座標候補が抽出される。
【0135】
まず、視点1から視点NまでのN個の視点があるとし、これらN個の視点からランダムに2個の視点を選ぶ。選ばれた視点を、例えば、視点A、視点Bとする。また、視点Aでの物体画像から抽出された特徴点候補の中から、ランダムに1つの特徴点候補を選び、その座標を(xa 、ya )とする。同様に、視点Bでの物体画像から抽出された特徴点候補の中から、ランダムに1つの特徴点候補を選び、その座標を(xb 、yb )とする。更に、視点Aから物体Tを撮影したときの画像面のx軸方向の単位ベクトルをia 、当該画像面のy軸方向の単位ベクトルをja とし、同様に、視点Bに対しても単位ベクトルib 、jb を定義する。
【0136】
もし、視点Aでの物体画像における特徴点候補(xa 、ya )と視点Bでの物体画像における特徴点候補(xb 、yb )が三次元空間中の同一の点R=(X、Y、Z)T を投影したものであれば、直交投影について上述したのと同様に(図19参照)、
xa =(ia 、R)、ya =(ja 、R)
xb =(ib 、R)、yb =(jb 、R) (14)
が成り立つ。ここで、
によってJを定義すると、(xa 、ya )と(xb 、yb )が三次元空間中の同一の点を投影したものであれば、Jの値がゼロになる。
【0137】
ここで、Jを最小にするようなRと、そのときの最小値Jmin を求める。この最小値Jmin が予め定めた閾値より小さい場合に、そのRを三次元座標の候補として出力する。
この処理を視点の組とそれらの視点における特徴点候補をランダムに選びながら所定の回数繰り返して三次元座標候補の組を出力する。なお、三次元座標の候補が抽出される毎に、以下に述べる三次元座標推定部213と入力特徴点決定部214の処理を行なってもよい。
【0138】
三次元座標推定部213は、上記のようにして三次元座標候補抽出部212によって抽出された三次元座標の候補を各視点での物体画像に投影してその投影された点の位置とその近傍にある特徴点候補の位置関係に基づいて、特徴点に対応する物体T上の点の三次元座標を算出する。
三次元座標候補抽出部212によって三次元空間中の点Rが三次元座標候補として抽出されたとする。この点を視点1から視点Nまでの全ての視点に対して投影する。具体的には、視点nから投影したときの画像面のx軸方向の単位ベクトルをin 、当該画像面のy軸方向の単位ベクトルをjn とし、投影された座標として、
xn =(in 、R)、 yn =(jn 、R) (16)
を算出する。そして、それぞれの視点において、(xn 、yn )に最も近い特徴点候補との距離を算出する。その距離が予め定めた閾値より小さい場合に、得点1を加算する。N個の視点について同様の処理を行なった後、得点が予め定めた値より大きいときに、この三次元座標を出力する。
【0139】
以上の処理を三次元座標候補抽出部212から出力される全ての三次元座標候補に対して行なう。その結果、三次元座標候補抽出部212で抽出された候補の中から信頼性の高いものが、最終的な三次元座標値として選ばれる。
三次元座標推定部213から出力された特徴点に対応した物体上の点の三次元座標値は、三次元座標格納部255に格納される。
【0140】
入力特徴点決定部214は、三次元座標推定部213から出力される三次元座標をそれぞれの視点に投影して得られる座標を入力特徴点の座標として入力特徴点格納部252に格納する。
三次元座標推定部213から三次元座標のベクトルRが出力されたとする。このとき、視点1から視点Nまでの全ての視点に対してこの点を投影する。具体的には、視点nから撮影したときの画像面のx軸方向の単位ベクトルをin 、当該画像面のy軸方向の単位ベクトルをjn とし、投影された座標として、
xn =(in 、R)、 yn =(jn 、R) (17)
を算出する。この処理を三次元座標推定部213から出力される全ての三次元座標について行なう。そして、式(17)で表される座標を入力特徴点格納部252に格納する。
【0141】
上述した処理は、直交投影の手法に従ったものであるが、透視投影の手法に従った処理においては、上記、各式(14)、(15)、(16)及び(17)が次の式に代えられる。
式(14)は、
xn =f(in 、R−Qn )/(in ×jn 、R−Qn )
yn =f(jn 、R−Qn )/(in ×jn 、R−Qn ) (18)
に、式(15)は、
に、式(16)は、
xn =f(in 、R−Qn )/(in ×jn 、R−Qn )
yn =f(jn 、R−Qn )/(in ×jn 、R−Qn ) (20)
に、式(17)は、
xn =f(in 、R−Qn )/(in ×jn 、R−Qn )
yn =f(jn 、R−Qn )/(in ×jn 、R−Qn ) (21)
にそれぞれおきかえられる。
【0142】
【発明の効果】
以上、説明してきたように、請求項1乃至15記載の本発明によれば、複数の視点から物体を撮影して得られる物体画像上に特徴点を設定し、任意の視点が指定された際に、選択された視点と指定された視点との関係と、選択された各視点での物体画像上の特徴点の位置関係に基づいて、選択された各視点での物体画像から当該指定された任意の視点での物体画像を生成するようにしたため、用意すべき画像データの量がより少ないものであっても、任意の視点から見た物体のよりリアルな映像を生成することができる。
【0143】
また、請求項16乃至18記載の本発明によれば、上記装置での処理をコンピュータに行わせるためのプログラムを格納した記録媒体を提供することができる。
更に、請求項19乃至26記載の本発明によれば、上記装置に提供すべき構造化データの少なくとも一部を作成する構造化データ作成装置を提供することができる。
【0144】
更にまた、請求項27及び28記載の本発明によれば、上記構造かデータ作成装置での処理をコンピュータに行わせるためのプログラムを格納した記録媒体を提供することができる。
【図面の簡単な説明】
【図1】本発明に係る映像生成処理装置の基本構成例を示すブロック図である。
【図2】本発明に係る構造化データ作成装置の基本構成例を示すブロック図である。
【図3】各視点での物体画像及びその物体画像上の特徴点の例を示す図である。
【図4】映像生成処理装置のハードウエア構成の例を示すブロック図である。
【図5】映像生成処理装置の機能構成の第一の例を示すブロック図である。
【図6】視点の位置を記述するデータの例を示す図である。
【図7】視点の位置を表わすテーブルを示す図である。
【図8】各視点での物体画像上に設定される特徴点の位置を表わすテーブルを示す図である。
【図9】各視点での物体画像上の特徴点を頂点とする多角形の例を示す図である。
【図10】各視点での物体画像上の特徴点を頂点とする多角形の他の例を示す図である。
【図11】指定された視点と選択された視点との関係を示す図(その1)である。
【図12】指定された視点と選択された視点との関係を示す図(その2)である。
【図13】選択された各視点での物体画像から指定された視点での物体画像への変換を示す図である。
【図14】映像生成処理装置の機能構成の第二の例を示すブロック図である。
【図15】視点選択テーブルの構造例を示す図である。
【図16】映像生成処理装置の機能構成の第三の例を示すブロック図である。
【図17】映像生成処理装置の機能構成の第四の例を示すブロック図である。
【図18】各特徴点に対応した物体上の点の三次元座標の例を示す図である。
【図19】直行投影の手法を示す図である。
【図20】透視投影の手法を示す図である。
【図21】映像生成処理装置の機能構成の第五の例を示すブロック図である。
【図22】各視点での物体画像上の特徴点を頂点とした多角形の格納形式を示す図である。
【図23】各視点での物体画像上の特徴点を頂点とした多角形の格納形式を示す図である。
【図24】映像生成処理装置の機能構成の第六の例を示すブロック図である。
【図25】映像生成処理装置の機能構成の第七の例を示すブロック図である。
【図26】各視点での物体画像上の特徴点に対応した物体上の点を頂点とした多角形の格納形式を示す図である。
【図27】各視点での物体画像上の特徴点に対応した物体上の点を頂点とした多角形の格納形式を示す図である。
【図28】映像生成処理装置の機能構成の第八の例を示すブロック図である。
【図29】構造化データ作成装置のハードウエア構成例を示すブロック図である。
【図30】構造化データ作成装置の機能構成の第一の例を示すブロック図である。
【図31】入力特徴点決定部の具体的機能構成例を示すブロック図である。
【図32】構造化データ作成装置の機能構成の第二の例を示すブロック図である。
【図33】構造化データ作成装置の機能構成の第三の例を示すブロック図である。
【図34】構造化データ作成装置の機能構成の第四の例を示すブロック図である。
【図35】構造化データ作成装置の機能構成の第五の例を示すブロック図である。
【図36】構造化データ作成装置の機能構成の第六の例を示すブロック図である。
【図37】従来の映像生成処理装置と構造化データ作成装置の例を示すブロック図である。
【符号の説明】
10、20 CPU
11、21 メモリユニット
12 入力ユニット
13、24 外部記憶装置
14 CD−ROMドライバ
101 出力視点設定部
102 視点選択bu
103 座標変換算出部
104 座標変換実行部
105 補間画像生成部
120 表示装置
150 構造化データ格納部
151 入力視点画像格納部
152 入力視点格納部
153 入力特徴点格納部
201 撮像信号入力部
202 入力特徴点決定部
220 入力ユニット
250 構造化データ格納部
251 入力特徴点格納部
252 入力視点画像格納部
Claims (28)
- 複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納した入力視点画像格納手段と、
入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を格納した入力特徴点格納手段と、
入力視点画像格納手段に格納された各物体画像を得るために物体を撮影した視点の位置を格納する入力視点格納手段と、
任意の視点が指定されたときに、上記入力視点格納手段に格納された視点から所定数の視点を選択する視点選択手段と、
上記入力特徴点格納手段から得られる視点選択手段にて選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成する画像生成手段を有し、
上記視点選択手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択するようにした映像生成処理装置。 - 請求項1記載の映像生成処理装置において、
上記画像生成手段は、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、視点選択手段にて選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決める座標変換決定手段と、
座標変換決定手段にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換する画像変換実行手段と、
選択された各視点での物体画像から画像変換実行手段により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成手段を有する映像生成処理装置。 - 請求項2記載の映像生成処理装置において、
上記画像合成手段は、選択された各視点での物体画像の対応する各画素のデータを当該指定された各視点と上記指定された視点との関係に基づいた定められる重みを付けて平均化して上記指定された視点での物体画像の対応する画素のデータを算出する手段を有する映像生成処理装置。 - 請求項2または3記載の映像生成処理装置において、
上記座標変換決定手段は、選択された視点のうちの第一の視点での物体画像上の特徴点と選択された視点のうちの他の視点それぞれでの物体画像上の対応する特徴点との位置関係に基づいて第一の視点での物体画像上の位置を当該他の視点それぞれでの位置に変換する各座標変換式を決める第一の手段と、
上記選択された視点それぞれと上記指定された視点との位置関係に基づいて定まる重みを上記第一の視点での物体画像上の位置を他の視点それぞれでの物体画像上の位置に変換する各座標変換式に作用させて合成することによって座標変換式を算出する第二の手段とを有し、
上記選択した全ての視点それぞれを上記第一の視点とした場合に、上記第二の手段によって、選択された全ての視点それぞれでの物体画像上の位置を指定された視点での物体画像上の位置に変換する座標変換式が算出されるようにした映像生成処理装置。 - 請求項2または3記載の映像生成処理装置において、
上記座標変換決定手段は、選択された各視点と指定された視点との位置関係に基づいて、当該選択された各視点での物体画像上の特徴点の位置から上記指定された視点での物体画像上での対応する特徴点の位置を算出する出力特徴点算出手段と、
選択された各視点での物体画像上の特徴点の位置と上記出力特徴点算出手段にて算出された当該指定された視点での物体画像上の特徴点の位置との関係に基づいて、選択された各視点での物体画像上の位置を上記指定された視点での物体画像上の位置に変換する座標変換式を算出する演算手段とを有する映像生成処理装置。 - 請求項5記載の映像生成処理装置において、
上記出力特徴点算出手段は、選択された各視点での物体画像上の特徴点の位置を当該選択された各視点と指定された視点との位置関係に基づいて定められる重みを付けて平均化して上記指定された視点での物体画像上の対応する特徴点の位置を算出する手段を有する映像生成処理装置。 - 請求項5記載の映像生成処理装置において、
上記出力特徴点算出手段は、選択された各視点と指定された視点との位置関係に基づいて、選択された各視点に対応させたアフィン変換の係数を算出する第一の手段と、
選択された各視点での物体画像上の特徴点の位置と対応する視点に対応させたアフィン変換の係数とに基づいて、上記指定された視点での物体画像上の対応する特徴点の位置を算出する手段を有する映像生成処理装置。 - 請求項2または3記載の映像生成処理装置において、
更に、上記入力特徴点格納手段に格納された各視点での画像上の特徴点に対応する物体上の点の三次元座標を格納した三次元座標格納手段を有し、
上記座標変換決定手段は、三次元座標格納手段に格納された各特徴点に対応する物体上の点の三次元座標に基づいて、上記指定された視点での画像上の対応する特徴点の位置を算出する出力特徴点算出手段と、
選択された各視点での物体画像上の特徴点の位置と上記出力特徴点算出手段にて算出された当該指定された視点での物体画像上の特徴点の位置との関係に基づいて、選択された各視点での物体画像上の位置を上記指定された視点での物体画像上の位置に変換する座標変換式を算出する演算手段とを有する映像生成処理装置。 - 請求項5乃至8いずれか記載の映像生成処理装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像上に特徴点を頂点として当該物体画像を覆うように設定された複数の多角形よりなる多角形群であって、各視点での物体画像を覆う各多角形群間において各多角形が対応するように設定された当該多角形群を記述する情報を格納した入力多角形格納手段を有し、
座標変換式を算出する上記演算手段は、上記出力特徴点算出手段にて算出された当該指定された視点での物体画像の特徴点を頂点とする上記入力多角形格納手段に格納された各多角形に対応した多角形を抽出する出力多角形抽出手段と、
上記入力多角形格納手段に格納された情報にて記述される各視点での物体画像に対して設定された多角形をそれに対応するように上記出力多角形抽出手段にて抽出された多角形に変換する座標変換式を、上記各視点での物体画像上の位置を指定された視点での物体画像上の位置に変換する座標変換式として算出する手段とを有する映像生成処理装置。 - 請求項5乃至8いずれか記載の映像生成処理装置において、 座標変換式を算出する上記演算手段は、入力特徴点格納手段に格納された各視点での物体画像上に特徴点を頂点として当該物体画像を覆うように設定された複数の多角形よりなる多角形群であって、各視点での物体画像を覆う各多角形群間において各多角形が対応するように設定された当該多角形群を抽出すると供に、上記出力特徴点算出手段にて算出された当該指定された視点での物体画像の特徴点を頂点とし、上記抽出された多角形群の各多角形に対応した多角形を抽出する多角形抽出手段と、
上記多角形抽出手段にて抽出された各視点での物体画像に対して設定された多角形をそれに対応するように上記多角形抽出手段にて抽出された多角形に変換する座標変換式を、上記各視点での物体画像上の位置を指定された視点での物体画像上の位置に変換する座標変換式として算出する手段とを有する映像生成処理装置。 - 請求項8記載の映像生成処理装置において、
更に、上記三次元座標格納手段に格納された三次元座標で表わされる物体上の点を頂点として当該物体を覆うように設定された複数の多角形よりなる多角形群を記述した情報を格納する表面多角形格納手段を有し、
上記演算手段は、入力特徴点格納手段に格納された各視点での物体画像上の特徴点を頂点にして形成される多角形であって、上記表面多角形格納手段に格納された情報で記述される各多角形に対応するものを抽出するとともに、出力特徴点算出手段にて算出された上記指定された視点での物体画像上の特徴点を頂点にして形成される多角形であって、上記表面多角形格納手段に格納された情報で記述される各多角形に対応するものを抽出する多角形抽出手段と、
上記多角形抽出手段にて抽出された各視点での物体画像に対して設定された多角形をそれに対応するように上記多角形抽出手段にて抽出された多角形に変換する座標変換式を、上記各視点での物体上の位置を指定された視点での物体画像上の位置に変換する座標変換式として算出する手段とを有する映像生成処理装置。 - 請求項9乃至11いずれか記載の映像生成処理装置において、
上記多角形は三角形であり、
上記演算手段は、各三角形毎に係数が定まるアフィン変換に基づいて座標変換式を算出するようにした映像生成処理装置。 - 請求項9乃至11いずれか記載の映像生成処理装置において、
上記多角形は四角形であり、
上記演算手段は、各四角形毎に係数が定まる射影変換に基づいて座標変換式を算出するようにした映像生成処理装置。 - 請求項8記載の映像生成処理装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置に基づいてそれら特徴点に対応する物体上の点の三次元座標を推定して上記三次元座標格納手段に格納する三次元座標推定手段を有する映像生成処理装置。 - 請求項1乃至14いずれか記載の映像生成処理装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置に基づいて物体を撮影した各視点の位置を推定して上記入力視点格納手段に格納する入力視点推定手段を有する映像生成処理装置。 - 複数の視点から物体を撮影して得られる物体画像と、当該複数の各視点での物体画像上に設定された互いに対応する特徴点の位置とに基づいて、任意の視点での物体画像を生成する映像生成処理装置での処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、
任意の視点が指定されたときに、当該複数の視点から選択された所定数の視点を取得するための視点選択プログラム手段と、
視点選択プログラム手段に従って選択された各視点での物体画像上の特徴点の位置関係および選択された各視点と指定された視点との関係に従って、選択された各視点での物体画像から上記指定された視点での物体画像を生成するための画像生成プログラム手段とを
有し、
上記視点選択プログラム手段は、指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを有し、任意の視点が指定されたときに、当該指定された視点が属する範囲に対応した所定数の視点を当該テーブルを参照して選択するようにした記録媒体。 - 請求項16記載の記録媒体において、
上記プログラムの画像生成プログラム手段は、選択された各視点での物体画像上の特徴点の位置的関係に基づいて、選択された各視点での物体画像上の位置を、上記指定された視点での物体画像上の位置に変換するための座標変換式を決めるための座標変換決定プログラム手段と、
座標変換決定プログラム手段での処理にて決定された座標変換式に従って、上記選択された各視点での物体画像を上記指定された視点での物体画像に変換するための画像変換実行プログラム手段と、
選択された各視点での物体画像から画像変換実行プログラム手段での処理により変換された上記指定された視点での各物体画像を選択された各視点と上記指定された視点との関 係に従って合成し、その合成物体画像を上記指定された視点での物体画像として出力する画像合成プログラム手段とを有する記録媒体。 - 請求項17記載の記録媒体において、
上記プログラムの画像合成プログラム手段は、選択された各視点での物体画像の対応する各画素のデータを、当該各視点と上記指定された視点との関係に基づいた重みを付けて平均して上記指定された視点での物体画像の対応する画素のデータを算出するプログラム手段を有する記録媒体。 - 複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、
入力視点画像格納手段に格納された各視点での物体画像上の互いに対応する特徴点の位置を決定する入力特徴点決定手段と、
入力特徴点決定手段にて決定された各視点での物体画像上の互いに対応する特徴点の位置を格納する入力特徴点格納手段と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段とを有し、
上記入力特徴点決定手段は、入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、
各視点での物体画像における特徴点候補の位置の近傍の画像パターンの類似性に基づいて、上記抽出された特徴点候補から各視点での物体画像におけるそれぞれ対応した特徴点を抽出する入力特徴点抽出手段とを有し、
上記入力視点画像格納手段に格納された複数の視点での物体画像,入力特徴点格納手段に格納された各視点での物体画像上の特徴点,指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを外部のシステムに構造化データとして供給できるようにした構造化データ作成装置。 - 請求項19記載の構造化データ作成装置において、
更に、上記入力特徴点格納手段に格納された各視点での物体画像上に特徴点を頂点として当該物体画像を覆うように設定された複数の多角形よりなる多角形群であって、各視点での物体画像を覆う各多角形群間において各多角形が対応するように当該多角形群を決定する多角形決定手段と、
該多角形決定手段にて決定された多角形群を記述する情報を格納する入力多角形格納手段とを有する構造化データ作成装置。 - 請求項19又は20記載の構造化データ作成装置において、
更に、入力視点画像格納手段に格納された物体画像を得るために物体を撮影した視点の位置を決定する入力視点決定手段と、
入力視点決定手段にて決定された視点の位置を格納する入力視点格納手段とを有する構造化データ作成装置。 - 請求項21記載の構造化データ作成装置において、
上記入力視点決定手段は、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置に基づいて、入力視点画像格納手段に格納された物体画像を得るために物体を撮影した視点の位置を推定する視点推定手段を有する構造化データ作成装置。 - 請求項19又は20記載の構造化データ作成装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点に基づいて当該特徴点に対応する物体上の点の三次元座標及び入力視点画像に格納された物体画像を得るために物体を撮影した視点の位置の少なくとも一方を推定する推定手段と、
該推定手段にて推定された三次元座標及び視点の位置の少なくとも一方を格納する三次元座標格納手段を有する構造化データ作成装置。 - 請求項21記載の構造化データ作成装置において、
更に、入力特徴点格納手段に格納された各視点での物体画像の特徴点の位置と入力視点決定手段で決定された視点の位置に基づいて、上記各視点での物体画像の特徴点に対応した物体上の点の三次元座標を推定する三次元座標推定手段と、
三次元座標推定手段で推定された三次元座標を格納する三次元座標格納手段とを有する構造化データ作成装置。 - 複数の視点から物体を撮影して得られる物体画像を各視点に対応させて格納する入力視点画像格納手段と、
入力視点画像格納手段に格納された各視点での物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出手段と、
入力視点画像格納手段に格納された物体画像を得るために物体を撮影した視点の位置を設定する入力視点設定手段と、
入力視点設定手段で設定された視点の位置を格納する入力視点格納手段と、
特徴点候補算出手段で算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納手段に格納された各視点の位置に基づいて、該特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出手段と、
三次元座標候補抽出手段にて抽出された三次元座標を入力視点格納手段に格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出手段と、
算出された三次元座標を格納する三次元座標格納手段と、
算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定部と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段と
を有する構造化データ作成装置。 - 請求項23乃至25いずれか記載の構造化データ作成装置において、
更に、三次元座標格納手段に格納された三次元座標で特定される物体上の点を頂点として当該物体の表面を覆うように設定された複数の多角形よりなる多角形群を抽出する表面多角形抽出手段と、
表面多角形抽出手段にて抽出された多角形群を格納する多角形格納手段とを有する構造化データ作成装置。 - 物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行なわせるためのプログラムを格納した記録媒体において、当該プログラムは、
複数の視点から物体を撮影して得られる物体画像を画像格納ユニットに各視点に対応させて格納するための入力視点画像格納プログラム手段と、
画像格納ユニットに格納された各視点での物体画像上の互いに対応する特徴点の位置を決定するための入力特徴点決定プログラム手段と、
入力特徴点決定プログラム手段での処理にて決定された各視点での物体画像上の互いに対応する特徴点の位置を入力特徴点格納ユニットに格納するプログラム手段と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成プログラム手段とを有し、
上記画像格納ユニットに格納された複数の視点での物体画像,入力特徴点格納ユニットに格納された各視点での物体画像上の特徴点,指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを上記映像生成処理装置に構造化データとして供給できるようにした記録媒体。 - 物体の任意の視点から見た映像を生成するための映像生成処理装置に用いられる構造化データを作成する処理をコンピュータに行わせるためのプログラムを格納した記録媒体において、当該プログラムは、
複数の視点から物体を撮影して得られる物体画像から所定の条件を満たす複数の特徴点候補を抽出する特徴点候補算出プログラム手段と、
物体画像を得るために物体を撮影した視点の位置を設定して入力視点格納ユニットに格納する入力視点設定プログラム手段と、
特徴点候補算出プログラム手段での処理にて算出された各視点での物体画像における複数の特徴点候補の位置と入力視点格納ユニットに格納された各視点の位置に基づいて、該 特徴点候補に対応する物体上での点の三次元座標を抽出する三次元座標候補抽出プログラム手段と、
三次元座標候補抽出プログラム手段での処理にて抽出された三次元座標を入力視点格納ユニットに格納された各視点での物体画像に投影された点の位置とその近傍にある特徴点候補との位置関係に基づいて特徴点に対応すべき物体上の点の三次元座標を算出する三次元座標算出プログラムと、
算出された三次元座標に各視点に投影して特徴点を算出する入力特徴点決定プログラム手段と、
指定される視点の範囲と選択されるべき所定数の視点との関係を記述したテーブルを作成するテーブル作成手段と
を有する記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17610097A JP3642923B2 (ja) | 1996-11-14 | 1997-07-01 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8-303366 | 1996-11-14 | ||
JP30336696 | 1996-11-14 | ||
JP17610097A JP3642923B2 (ja) | 1996-11-14 | 1997-07-01 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10198824A JPH10198824A (ja) | 1998-07-31 |
JP3642923B2 true JP3642923B2 (ja) | 2005-04-27 |
Family
ID=26497155
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17610097A Expired - Fee Related JP3642923B2 (ja) | 1996-11-14 | 1997-07-01 | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3642923B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001166810A (ja) * | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 立体モデル提供装置及び方法 |
JP2001165638A (ja) * | 1999-02-19 | 2001-06-22 | Sanyo Electric Co Ltd | 三次元モデル提供装置及びその方法 |
JP4021685B2 (ja) * | 2002-03-04 | 2007-12-12 | 松下電器産業株式会社 | 画像合成変換装置 |
JP4094942B2 (ja) * | 2002-12-11 | 2008-06-04 | 日本電信電話株式会社 | 任意視点画像伝送方法及びその実施装置並びにその処理プログラムと記録媒体 |
JP6496904B2 (ja) | 2014-03-25 | 2019-04-10 | パナソニックIpマネジメント株式会社 | 多視点画像の撮影方法および撮影装置 |
JP5977880B1 (ja) * | 2015-12-11 | 2016-08-24 | 株式会社東急コミュニティー | 表示制御装置、表示制御方法、およびプログラム |
KR102431510B1 (ko) | 2020-12-03 | 2022-08-12 | 엘지전자 주식회사 | 스크롤 압축기 및 이를 구비한 공기조화장치 |
-
1997
- 1997-07-01 JP JP17610097A patent/JP3642923B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH10198824A (ja) | 1998-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Newcombe et al. | Live dense reconstruction with a single moving camera | |
US6636234B2 (en) | Image processing apparatus for interpolating and generating images from an arbitrary view point | |
JP3244798B2 (ja) | 動画像処理装置 | |
JP3148045B2 (ja) | 三次元物体cg作成装置 | |
US6529626B1 (en) | 3D model conversion apparatus and method | |
US6016148A (en) | Automated mapping of facial images to animation wireframes topologies | |
EP0930585B1 (en) | Image processing apparatus | |
JP3104638B2 (ja) | 3次元画像作成装置 | |
US6683606B1 (en) | Virtual architecture experience method and apparatus | |
JP2001067463A (ja) | 異なる視点からの複数のフェイシャル画像に基づき新たな視点からのフェイシャル画像を生成するフェイシャル画像生成装置及び方法並びにその応用装置及び記録媒体 | |
US7209136B2 (en) | Method and system for providing a volumetric representation of a three-dimensional object | |
JPH1049704A (ja) | 画像変換方法 | |
JP3642923B2 (ja) | 映像生成処理装置及びその装置で用いられる構造化データを作成する構造化データ作成装置 | |
JP2986441B2 (ja) | 任意表情を持つ3次元顔モデルの生成方法 | |
Saito et al. | View interpolation of multiple cameras based on projective geometry | |
US6184892B1 (en) | Image production processing apparatus and structural data generating apparatus for generating structural data used in the image production processing apparatus | |
JP3309841B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
JP3850080B2 (ja) | 画像生成表示装置 | |
JPH09138865A (ja) | 3次元形状データ処理装置 | |
JP3575469B2 (ja) | 合成動画像生成装置および合成動画像生成方法 | |
Mayer et al. | Multiresolution texture for photorealistic rendering | |
JP3668168B2 (ja) | 動画像処理装置 | |
JP3268665B2 (ja) | コンピュータ・グラフィックス制作装置 | |
JP3540157B2 (ja) | 画像を利用した形状モデリング方法及び形状モデリングプログラムを記録した記録媒体 | |
JP7418107B2 (ja) | 形状推定装置、形状推定方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040921 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050126 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080204 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090204 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100204 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110204 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120204 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130204 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |