JP4599500B2 - 座標情報収集システム及び3次元形状推定システム - Google Patents
座標情報収集システム及び3次元形状推定システム Download PDFInfo
- Publication number
- JP4599500B2 JP4599500B2 JP2000202178A JP2000202178A JP4599500B2 JP 4599500 B2 JP4599500 B2 JP 4599500B2 JP 2000202178 A JP2000202178 A JP 2000202178A JP 2000202178 A JP2000202178 A JP 2000202178A JP 4599500 B2 JP4599500 B2 JP 4599500B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- coordinate information
- landmark
- landmark point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、座標情報収集システム及び3次元形状推定システムに係り、より詳しくは、座標情報の収集対象とする領域内の任意の位置における座標情報を簡易かつ高精度に得ることができる座標情報収集システム及び3次元形状推定システムに関する。
【0002】
【従来の技術及び発明が解決しようとする課題】
近年のコンピュータの処理能力やビデオ機器の発達に伴い、多視点カメラによって撮影された映像データをコンピュータ内部で融合し、その情報を用いて自由視点からの見え方を提示する研究が盛んに行われている。
【0003】
多視点映像データの融合には、3次元形状推定やモデリングといったコンピュータビジョンの技術等が用いられ、自由視点映像の生成には、イメージベース、又はモデルベースのレンダリングに基づくコンピュータ・グラフィクス技術等が用いられている。
【0004】
しかしながら、撮影対象とする空間が大きくなると、完全に同期のとれた多視点映像の撮影や、正確なカメラ校正(キャリブレーション)が困難になるため、ほとんどの研究は、数m四方の空間内でのイベントを対象に行われている。
【0005】
すなわち、ビデオカメラによって撮影された画像の画像データを処理するためには、実世界と、ビデオカメラによって得られた画像データが示す2次元画像との位置関係を予め得ておく必要があり、このためには、ビデオカメラの画像の中に正確な実世界の位置座標が分かる特徴点(以下、「ランドマークポイント」という)が複数存在する必要がある。
【0006】
一方、ビデオカメラによる画像の解像度には限界があるので、カメラ校正には必然的に誤差が生じる。従って、正確なカメラ校正を行うためには、なるべく多くの正確なランドマークポイントを実空間中に均一に配置することが求められる。
【0007】
しかしながら、イベントホールやスタジアムといった大規模な空間に、そのようなランドマークポイントを配置することは著しく困難であり、従来は、机上、或いは5m程度の立方体空間でのランドマークポイントの配置に留まっていた。
【0008】
本発明は上記事実に鑑みて成されたものであり、大規模空間においても多数の位置に簡易にランドマークポイントを配置することができると共に、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる座標情報収集システム及び3次元形状推定システムを提供することを目的とする。
【0009】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の座標情報収集システムは、座標情報の収集対象となる位置を示す平面状のランドマークポイント及び前記ランドマークポイントを含む領域に前記ランドマークポイントが付されている位置の基準となる基準マークが表面に付された移動可能なマーク部材と、前記ランドマークポイントの前記表面上の2次元座標位置を示す2次元座標位置情報を予め記憶した記憶手段と、座標情報の収集対象とする3次元空間内の異なる位置に配置された複数の前記マーク部材の前記ランドマークポイントの3次元位置を計測するために前記基準マークの3次元位置を計測する3次元測量器と、前記3次元測量器によって計測された前記基準マークの3次元位置に基づいて、前記表面の各々の前記3次元測量器に対する傾きを導出する傾き導出手段と、前記傾き導出手段によって導出された前記傾き、前記マーク部材が前記異なる位置に配置されることにより前記3次元測量器によって計測された前記基準マークの前記3次元位置、及び前記記憶手段に記憶されている前記2次元座標位置情報に基づいて、前記ランドマークポイントの3次元位置を示す座標情報を導出する3次元座標導出手段と、各々異なる位置に配置されると共に、前記3次元測量器によって前記ランドマークポイントの3次元位置が計測された前記マーク部材の前記ランドマークポイントを含む領域を撮影して画像信号として出力する複数の撮像器と、前記複数の撮像器の各々から出力された画像信号が示す画像における前記ランドマークポイントの2次元位置を示す座標情報を前記撮像器毎に導出する2次元座標導出手段と、前記2次元座標導出手段によって導出された前記ランドマークポイントの2次元位置を示す座標情報と、前記3次元座標導出手段によって導出された前記ランドマークポイントの3次元位置を示す座標情報とを対応付ける対応付手段と、前記対応付手段によって対応付けられた座標情報を記憶する記憶手段と、を備えている。
【0010】
請求項1記載の座標情報収集システムによれば、座標情報の収集対象とする領域内に配置された、座標情報の収集対象となる位置を示す平面状のランドマークポイント及び前記ランドマークポイントを含む領域に前記ランドマークポイントが付されている位置の基準となる基準マークが表面に付された移動可能なマーク部材の前記ランドマークポイントの前記表面上の2次元座標位置を示す2次元座標位置情報が記憶手段に予め記憶され、3次元空間内の異なる位置に配置された複数の前記マーク部材の前記ランドマークポイントの3次元位置が計測されるために前記基準マークの3次元位置が3次元測量器によって計測され、前記3次元計測器によって計測された前記基準マークの3次元位置に基づいて、前記表面の各々の前記3次元測量器に対する傾きが傾き導出手段によって導出され、前記傾き導出手段によって導出された前記傾き、前記マーク部材が前記異なる位置に配置されることにより前記3次元測量器によって計測された前記基準マークの前記3次元位置、及び前記記憶手段に記憶されている前記2次元座標位置情報に基づいて、前記ランドマークポイントの3次元位置を示す座標情報が3次元座標導出手段によって導出され、各々異なる位置に配置された複数の撮像器により、上記3次元測量器によって上記ランドマークポイントの3次元位置が計測されたマーク部材のランドマークポイントを含む領域が撮影されて画像信号として出力される。
【0011】
ここで、上記ランドマークポイントとしては、円形図形、矩形図形、×印等の位置を示すことができる全ての形状を適用することができる。また、上記3次元測量器としては、レーザ光等の所定波長の光の反射光に基づいて計測対象の3次元位置を計測するタイプの測量器や、三角測量に基づいて計測対象の3次元位置を計測するタイプの測量器等の、あらゆる3次元測量器を適用することができる。また、上記基準マークとしては、円形図形、矩形図形、×印等の位置を示すことができる全ての形状のマークを適用することができる。ここで、3次元測量器がレーザ光の反射光に基づいて計測対象の3次元位置を計測するタイプの測量器である場合には、レーザ光を反射するための反射板に上記基準マークを付する形態を適用することもできる。また、上記撮像器には、撮影対象の動画像を撮影するビデオカメラの他、撮影対象の静止画像を撮影するカメラが含まれる。なお、撮像器がビデオカメラの場合は、デジタル方式及びアナログ方式の何れのものも適用することができる。
【0012】
また、本発明では、上記複数の撮像器の各々から出力された画像信号が示す画像における上記ランドマークポイントの2次元位置を示す座標情報が2次元座標導出手段によって撮像器毎に導出され、導出された上記ランドマークポイントの2次元位置を示す座標情報と、上記3次元座標導出手段によって導出された上記ランドマークポイントの3次元位置を示す座標情報とが対応付手段によって対応付けられ、更に該対応付けられた座標情報が記憶手段によって記憶される。ここで、上記記憶手段には、RAM(Random Access Memory)、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュEEPROM(Flash EEPROM)等の記憶素子、フロッピィディスク、CD−ROM、光磁気ディスク、磁気テープ等の可搬記録媒体やハードディスク等の固定記録媒体、或いはネットワークに接続されたサーバーコンピュータ等に設けられた外部記憶装置等を適用することができる。
【0013】
このように、請求項1に記載の座標情報収集システムによれば、座標情報の収集対象となる位置を示す平面状のランドマークポイントが付された移動可能なマーク部材を用いているので、多数の位置に簡易にランドマークポイントを配置することができると共に、座標情報の収集対象とする領域内に配置されたマーク部材のランドマークポイントの3次元位置を3次元座標導出手段によって導出して、複数の撮像器によって得られた画像における上記ランドマークポイントの2次元位置を示す座標情報と3次元座標導出手段によって導出された上記ランドマークポイントの3次元位置を示す座標情報とを対応付けているので、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる。
【0014】
また、本発明によれば、上述のように多数の位置に簡易にランドマークポイントを配置することができる結果、座標情報の収集対象とする空間の形状や広さの自由度を増大させることができる。また、3次元測量器によって上記基準マークの3次元位置を計測して、該計測した3次元位置を基準として上記ランドマークポイントの3次元位置を示す座標情報を導出しているので、基準マークのみが3次元測量器によって計測できる状態にマーク部材を配置することが可能となり、マーク部材の配置の自由度を増すことができる。
【0018】
また、請求項2記載の座標情報収集システムは、請求項1記載の発明における
前記マーク部材を、表面に前記ランドマークポイントと少なくとも3箇所の前記基準マークとが付された板状部材とするものである。
【0019】
すなわち、マーク部材の形状を、移動の簡易性や設置の容易性を向上するために板状とし、かつ表面にランドマークポイントを付した場合、基準マークの3次元位置を基準としてランドマークポイントの3次元位置を導出するためには、ランドマークポイントを付した面の3次元測量器に対する傾斜を知る必要がある。
【0020】
一方、上記傾斜は、ランドマークポイントを付した面の最低3箇所の3次元位置に基づいて導出することが可能である。従って、本発明では、マーク部材のランドマークポイントが付された面の少なくとも3箇所に上記基準マークを付しておくことによって、これらの基準マークの3次元位置を3次元測量器で計測して上記傾斜を導出し、該傾斜に基づいて上記ランドマークポイントの3次元位置を導出することができるようにしている。
【0021】
このように請求項2に記載の座標情報収集システムによれば、請求項1記載の発明と同様の効果を奏することができると共に、マーク部材の形状を板状としたので、マーク部材の移動の簡易性や設置の容易性を向上することができる。
【0022】
また、請求項3記載の座標情報収集システムは、請求項1または請求項2記載の発明において、前記マーク部材に複数の前記ランドマークポイントを付し、前記対応付手段は、前記複数のランドマークポイントの2次元位置を示す座標情報と前記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付けるものである。
【0023】
請求項3記載の座標情報収集システムによれば、座標情報の収集対象とする領域内に配置された、座標情報の収集対象となる位置を示す複数のランドマークポイントが付された移動可能なマーク部材の上記複数のランドマークポイントの3次元位置が3次元座標導出手段によって導出され、各々異なる位置に配置された複数の撮像器により、上記3次元座標導出手段によって上記複数のランドマークポイントの3次元位置が導出されたマーク部材のランドマークポイントを含む領域が撮影されて画像信号として出力される。
【0024】
また、この発明では、上記複数の撮像器の各々から出力された画像信号が示す画像における上記複数のランドマークポイントの2次元位置を示す座標情報が2次元座標導出手段によって撮像器毎に導出され、導出された上記複数のランドマークポイントの2次元位置を示す座標情報と、上記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報が対応付手段によって対応付けられる。
【0025】
このように請求項3に記載の座標情報収集システムによれば、請求項1または請求項2記載の発明と同様の効果を奏することができると共に、マーク部材を複数のランドマークポイントが付されたものとしているので、マーク部材の設置毎に収集できる座標情報の位置数を複数とすることができ、より短時間に多数の座標情報を収集することができる。
【0026】
更に、請求項4記載の座標情報収集システムは、請求項3記載の発明において、前記マーク部材の前記ランドマークポイントを含む領域に、前記複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付し、前記対応付手段は、前記撮像器から出力された画像信号から前記起点マークの位置を検出し、所定ルールに基づいて、前記検出した位置を起点として前記複数のランドマークポイントの2次元位置を示す座標情報と前記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付けるものである。
【0027】
請求項4記載の座標情報収集システムによれば、請求項3に記載の発明におけるマーク部材のランドマークポイントを含む領域に、上記複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークが付される。なお、上記起点マークとしては、円形図形、矩形図形、×印等の位置を示すことができる全ての形状のマークを適用することができる。
【0028】
また、請求項4記載の発明では、対応付手段によって、上記撮像器から出力された画像信号から起点マークの位置が検出され、所定ルールに基づいて、上記検出された位置を起点として上記複数のランドマークポイントの2次元位置を示す座標情報と上記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報が対応付けられる。なお、上記所定ルールとしては、起点マークの最近傍に位置するランドマークポイントを起点として、上記複数のランドマークポイントの座標情報の順位を決定することができるルールであれば、如何なるルールも適用することができる。
【0029】
このように請求項4に記載の座標情報収集システムによれば、請求項3記載の発明と同様の効果を奏することができると共に、マーク部材に対して複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付しておき、所定ルールに基づいて、上記起点マークの位置を起点として上記複数のランドマークポイントの2次元位置を示す座標情報と上記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報の対応付けを行っているので、該対応付けを人手を介在させることなく自動的に行うことができる。
また、請求項5記載の座標情報収集システムは、請求項1〜請求項4の何れか1項に記載の発明において、前記ランドマークポイントを市松模様の格子点としたものである。
また、請求項6記載の座標情報収集システムは、請求項1〜請求項4の何れか1項に記載の発明において、前記ランドマークポイントを円状または矩形状の図形の重心としたものである。
【0030】
一方、上記目的を達成するために、請求項7記載の3次元形状推定システムは、請求項1〜請求項6の何れか1項に記載の座標情報収集システムと、前記記憶手段に記憶されている座標情報に基づいて、前記撮像器の撮像対象とされる3次元空間と前記撮像器によって得られる画像信号が示す画像との位置関係を示す射影変換行列を導出する行列導出手段と、前記行列導出手段によって導出された射影変換行列を用いて、前記撮像器の各々によって得られた画像信号が示す各画像を前記3次元空間における予め定められた平面に対して2次元射影変換し、前記平面上の各写像の重なる領域の前記画像信号を取得する処理を、前記平面の位置及び向きを変化させながら繰り返すことにより2次元形状の集合として3次元形状を推定する推定手段と、を含んで構成されている。
【0038】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。まず、図1を参照して、本実施の形態に係る多視点映像撮影システム10の構成について説明する。なお、図1は、本実施の形態に係る多視点映像撮影システム10の全体構成を示すブロック図である。
【0039】
同図に示すように、本実施の形態に係る多視点映像撮影システム10は、撮影対象とする空間内を撮影して画像信号として出力する複数(本実施の形態では15台)のビデオカメラ12と、各ビデオカメラ12から出力された画像信号の同期をとるための同期信号を発生する同期信号発生器14と、各ビデオカメラ12から出力された画像信号に書込むべき撮影時刻を示すタイムコードを発生するLTC(Longitudinal Time Code)発生器18と、各々LTC発生器18によって発生されたタイムコードに応じた撮影時刻を対応するビデオカメラ12から出力された画像信号に書込む複数(本実施の形態では15台)のタイムスタンパ16と、各々3枚の画像ボード26が装着された画像信号取り込み用のパーソナル・コンピュータ(以下、「取込用PC」という)20と、撮影対象とする空間内の任意点の3次元位置を計測するための3次元測量器24と、本多視点映像撮影システム10全体の動作を司る制御用のパーソナル・コンピュータ(以下、「制御用PC」という)22と、を含んで構成されている。
【0040】
なお、本実施の形態では、上記ビデオカメラ12として、ソニー株式会社製、商品名DXC−9000というプログレッシブ・スキャン3CCDカメラを適用している。また、本実施の形態では、上記3次元測量器24として、株式会社ニコン製、商品名GF−EX1を適用している。
【0041】
各ビデオカメラ12には同期信号発生器14が接続されており、同期信号発生器14によって発生された共通の同期信号が各ビデオカメラ12に供給されるように構成されている。これによって、デジタイズされたフレームにおいてインターレース・スキャン撮影時のようなブレが発生することなく、かつ完全に同期した多視点映像の撮影が可能となる。
【0042】
また、各ビデオカメラ12の画像信号を出力する出力端子は、各々LTC発生器18が接続された対応するタイムスタンパ16に接続されており、LTC発生器18によって発生されたタイムコードを各タイムスタンパ16によってVITC(Vertical Interval Time Code)に変換した後、対応するビデオカメラ12から入力された画像信号の垂直ブランク領域に書き込むことによって、フレームの撮影時刻の特定を可能としている。
【0043】
更に、各タイムスタンパ16のタイムコードが書込まれた画像信号を出力する出力端子は各々対応する画像ボード26を介して対応する取込用PC20に入力されるように構成されており、各タイムスタンパ16によってタイムコードが書込まれた画像信号は対応する画像ボード26によって取込用PC20に内蔵された図示しないメモリ上に、デジタルカラー画像データとして、フルサイズ(640×480画素)、ビデオレート(毎秒30フレーム)で取り込まれる。
【0044】
また、各取込用PC20は制御用PC22に100Base−TX Etherネットワーク経由で接続されており、各取込用PC20によって取り込まれたデジタルカラー画像データを制御用PC22に入力できるように構成されている。このように、取込用PC20と制御用PC22が独立したシステム構成であるため、ビデオカメラ12や取込用PC20の増減設が容易に行える。
【0045】
ビデオカメラ12と取込用PC20は比較的近接した位置に配置され、信号が劣化しやすいアナログビデオ信号は短いビデオケーブルで伝送される。一方、各ビデオカメラ12間の距離は、100Base−TX Etherケーブルの最大延長可能距離によって決定されるが、このケーブルには時間的制約の大きい信号が流れ込まないため、ハブなどによるケーブルの延長が可能であり、大規模空間への拡張が容易に行える。
【0046】
一方、3次元測量器24は制御用PC22にRS232Cケーブルによって接続されており、3次元測量器24によって計測された3次元位置を示す座標情報が必要に応じて制御用PC22に入力されるように構成されている。
【0047】
次に、図2を参照して、本実施の形態においてカメラ校正用に用いられるキャリブレーションボード30の構成について説明する。図2(A)に示すように、本実施の形態に係るキャリブレーションボード30は、市松模様と、黒色の×印とされた起点マーカー36とが付された矩形状の板状部材に対して、市松模様が付された面の外周近傍でかつ互いに離間する予め定められた3箇所に反射板取付部材32が設置されて構成されている。
【0048】
本実施の形態では、キャリブレーションボード30の上記板状部材に付された市松模様の格子点をランドマークポイントLi(i=1〜28)として適用するものとしており、該ランドマークポイントLiが本発明のマークに相当する。
【0049】
なお、本実施の形態に係るキャリブレーションボード30では、上記板状部材を長手方向長さが180cm、短手方向長さが90cmの剛性の高いホワイトボードで構成しており、上記市松模様は、20cm四方の黒紙を上記ホワイトボードに20cm間隔で交互に貼り付けることによって構成している。
【0050】
一方、図2(B)に示すように、キャリブレーションボード30に設置されている各反射板取付部材32には、3次元測量器24による3次元位置の計測の際のターゲットとなる基準マーク38が付された反射板34A及び反射板34Bが取り付けられている。3次元測量器24は、反射板34A又は反射板34Bに対してレーザ光を射出し、反射板34A又は反射板34Bによって反射されたレーザ光を受光することによって、3次元測量器24による測量位置を原点座標(0、0、0)としたターゲットの3次元位置を示す座標情報を取得する。
【0051】
上述したように、本実施の形態に係るキャリブレーションボード30は、剛性の高い板状部材をベースとして構成されているので、キャリブレーションボード30自身の歪みは無視できる。そのため、キャリブレーションボード30上の個々のランドマークポイントLiについて3次元座標位置を測定する必要はなく、最低3点の基準点の測定値から、全てのランドマークポイントLiの3次元座標値を求めることができる。
【0052】
すなわち、上記最低3点の基準点のうちの1つの基準点の2次元座標位置を基準位置(0、0)とした場合の各ランドマークポイントLiの2次元座標値を予め記憶しておく。そして、各ランドマークポイントLiの3次元位置を示す座標情報を導出する際には、まず、上記最低3個の基準点の3次元座標位置を3次元測量器24によって計測し、次に、キャリブレーションボード30のランドマークポイントが付された面の3次元測量器24に対する傾きを、計測した上記最低3個の基準点の3次元座標位置に基づいて求め、最後に、上記傾きと、上記1つの基準点の3次元座標位置と、上記予め記憶しておいた各ランドマークポイントLiの2次元座標値と、に基づいて、各ランドマークポイントの3次元位置を示す座標情報を導出する。
【0053】
本実施の形態では、反射板取付部材32の3箇所の設置位置が上記基準点の位置に対応している。従って、3次元測量器24によって反射板取付部材32に設けられている反射板34A又は反射板34Bに付された基準マーク38の3次元位置を計測することによって、上述した手順により、各ランドマークポイントLiの3次元位置を示す座標情報を導出することができる。
【0054】
次に、図3を参照して、本実施の形態に係る撮影対象と、各ビデオカメラ12及び3次元測量器24の配置位置について説明する。同図に示すように、本実施の形態では、イベントホール50内の略中央に位置する撮影対象空間52を撮影対象としている。
【0055】
また、同図に示すように、本実施の形態では、イベントホール50の図3紙面前後位置に位置する2面の壁面の各々に4台づつ、残りの2面の壁面に3台づつ、天井の中心近傍に1台、各々ビデオカメラ12が設置されている。
【0056】
更に、同図に示すように、本実施の形態では、3次元測量器24をイベントホール50内の天井近傍の壁面に設置しており、これによって、キャリブレーションボード30を撮影対象空間52のどの位置に配置した場合であっても、キャリブレーションボード30上の基準マーク38の3次元位置を3次元測量器24によって計測することができる。
【0057】
次に、図4を参照して、本実施の形態におけるキャリブレーションボード30の配置位置について説明する。本実施の形態では、図4(A)に示すように、平面視矩形状とされた撮影対象空間52の2箇所の角部近傍位置及び該2箇所の角部に対向する2箇所の角部の略中心位置の3箇所の位置の各々について、図4(B)に示すように、撮影対象空間52の上端部近傍、中心部近傍及び下端部近傍の3箇所づつ、合計9箇所にキャリブレーションボード30を配置する。
【0058】
多視点映像撮影システム10が本発明の座標情報収集システムに、キャリブレーションボード30が本発明のマーク部材に、3次元測量器24が本発明の3次元測量器に、ビデオカメラ12が本発明の撮像器に、制御用PC22に内蔵されたハードディスク(図示省略)が本発明の記憶手段に、基準マーク38が本発明の基準マークに、起点マーカー36が本発明の起点マークに、各々相当する。
【0059】
次に、図5〜図7を参照して、本実施の形態に係る多視点映像撮影システム10の作用について説明する。なお、図5〜図7は、多視点映像撮影システム10における各ビデオカメラ12の撮影によって得られたデジタルカラー画像データが示す画像上のランドマークポイントLiの2次元位置を示す座標情報(u、v)と、3次元測量器24による計測によって得られたランドマークポイントLiの3次元位置を示す座標情報(X、Y、Z)との位置関係、すなわち、各ビデオカメラ12によって得られたデジタルカラー画像データが示す画像と実世界との位置関係を導出する際に多視点映像撮影システム10において行われる処理の流れを示すフローチャートである。
【0060】
まず、図5のステップ100では、計測者により、図4に示したキャリブレーションボード30の各配置位置のうちの何れか一箇所にキャリブレーションボード30を配置する。このとき、キャリブレーションボード30は必ずしもランドマークポイントLiが付された面を水平とする必要はない。
【0061】
次のステップ102では、実世界ランドマークポイント取得処理を行う。以下、図6を参照して、本実施の形態に係る実世界ランドマークポイント取得処理について説明する。
【0062】
同図のステップ200では、計測者によりキャリブレーションボード30の3箇所に設けられている反射板34A又は反射板34Bのうちの何れか1つの基準マーク38の中心位置を3次元測量器24によって計測し、該計測によって得られた3次元位置を示す座標情報(X、Y、Z)を制御用PC22に送信する。
【0063】
そこで、次のステップ202では、制御用PC22により、上記ステップ200によって3次元測量器24から受信された3次元位置を示す座標情報(X、Y、Z)を制御用PC22に内蔵された図示しないメモリに記憶する。
【0064】
次のステップ204では、3箇所全ての反射板34における基準マーク38の中心位置の計測及び制御用PC22のメモリへの記憶が終了したか否かを判定し、終了していない場合(否定判定の場合)は上記ステップ200へ戻って、残りの反射板34の基準マーク38に対する中心位置の計測及び上記メモリへの記憶を繰り返して実行し、全ての反射板34について終了した時点(肯定判定となった時点)でステップ206へ移行する。
【0065】
ステップ206では、制御用PC22により、上記ステップ200乃至ステップ204の繰り返し処理によって得られた3箇所の反射板34における基準マーク38の3次元位置を示す座標情報(X、Y、Z)に基づいて、キャリブレーションボード30に付された全てのランドマークポイントLiの3次元位置を示す座標情報を演算する。
【0066】
すなわち、前述したように、キャリブレーションボード30のランドマークポイントが付された面の3次元測量器24に対する傾きは、3箇所に設けられた反射板34における基準マーク38の3次元位置座標に基づいて得ることができる。そして、キャリブレーションボード30の1つの反射板34における基準マーク38の中心位置を基準点とした各ランドマークポイントLiの2次元座標値は予め記憶されているので、上記傾きと上記1つの反射板34における基準マーク38の3次元位置を示す座標情報と、上記予め記憶されている各ランドマークポイントLiの2次元座標値と、に基づいて、各ランドマークポイントLiの3次元位置を示す座標情報を導出することができる。
【0067】
具体的には、まず、キャリブレーションボード30の3次元測量器24に対する傾きを求め、次に上記各ランドマークポイントの2次元座標値を上記傾きに応じた3次元座標値に変換し、最後に、上記変換によって得られた各ランドマークポイントLiの3次元座標値を上記1つの反射板34における基準マーク38の3次元位置を示す座標情報に加算する。
【0068】
次のステップ208では、制御用PC22により、上記ステップ206で得られた各ランドマークポイントLiの3次元位置を示す座標情報を、キャリブレーションボード30に付されている起点マーカー36の位置を基準として一定のルールに従って並び替える。
【0069】
なお、本実施の形態では、上記一定のルールを、キャリブレーションボード30を平面視した場合において、起点マーカー36の最近傍に位置する反射板34(本実施の形態では図2紙面左上の反射板取付部材32に設けられている反射板34)の最近傍に位置するランドマークポイントを1番目とし、該1番目のランドマークポイントの図2紙面右側に位置するランドマークポイントに対して上記1番目のランドマークポイントに近い順に順次順番付けしていき、図2紙面右端のランドマークポイントに達したら、次の行の左端のランドマークポイントを上記右端のランドマークポイントの次の順番とするように順番付けすることを繰り返して行うことにより、全てのランドマークポイントに対して順番付けを行い、この順番付けによって決定された順番となるように、各ランドマークポイントLiの3次元位置を示す座標情報の順番を並べ替えるものとする。
【0070】
この並べ替えによって、図2に示す例では、各ランドマークポイントの3次元位置を示す座標情報が、L1、L2、・・・、L28という順番に並び替えられることになる。
【0071】
次のステップ210では、制御用PC22により、上記ステップ200乃至ステップ208の処理によって得られたランドマークポイントLiの3次元位置を示す座標情報を図示しないメモリに記憶し、その後に本実世界ランドマークポイント取得処理を終了して、図5のステップ104に戻る。
【0072】
ステップ104では、ビデオ画像ランドマークポイント取得処理を行う。以下、図7を参照して、本実施の形態に係るビデオ画像ランドマークポイント取得処理について説明する。なお、ここでは、上記ステップ100(図5も参照)において撮影対象空間52内に配置されたキャリブレーションボード30に対する撮影によって各ビデオカメラ12からデジタルカラー画像データが取込用PC20を経由して制御用PC22に入力されていることを前提に説明する。
【0073】
同図のステップ250では、制御用PC22により、何れか1台のビデオカメラ12から入力されているデジタルカラー画像データが示す画像から起点マーカー36の画像位置座標を抽出する。なお、本実施の形態の起点マーカー36は黒色の×印とされているので、ここでは、上記デジタルカラー画像データにおいて、直線状でかつ長手方向の長さが略同一の2つの黒画素データ群が交差している領域を起点マーカー36として検出し、該領域の中心位置の2次元座標を起点マーカー36の画像位置座標として抽出する。
【0074】
次のステップ252では、制御用PC22により、上記ステップ250で起点マーカー36の画像位置座標の抽出対象とされたビデオカメラ12から入力されているデジタルカラー画像データから、全てのランドマークポイントLiの2次元位置を示す座標情報を抽出する。
【0075】
ここでは、まず、上記デジタルカラー画像データに含まれる市松模様を示す領域から、黒色領域と白色領域の境界線を抽出する。図2に示す例では、この抽出によって、市松模様の左端から右端まで行方向に延びた4本の直線と、市松模様の上端から下端まで列方向に延びた7本の直線が得られることになるので、次に、上記行方向に延びた4本の直線と、列方向に延びた7本の直線の交点の2次元位置座標を求める。これによって、図2に示す例では、28箇所の交点の2次元位置座標が得られる。この2次元位置座標が各ランドマークポイントLiの2次元位置を示す座標情報に相当する。なお、本実施の形態では、上記デジタルカラー画像データが示す画像領域の左上点を原点(0、0)として上記ランドマークポイントの2次元位置を示す座標情報を得る。
【0076】
次のステップ254では、制御用PC22により、上記ステップ252で抽出した各ランドマークポイントLiの2次元位置を示す座標情報を、上記ステップ250によって抽出した起点マーカー36の画像位置座標を基準として一定のルールに従って並び替える。
【0077】
なお、本実施の形態では、上記一定のルールを、キャリブレーションボード30を平面視した場合において、起点マーカー36の最近傍に位置する反射板34(本実施の形態では図2紙面左上の反射板取付部材32に設けられている反射板34)の最近傍に位置するランドマークポイントを1番目とし、該1番目のランドマークポイントの図2紙面右側に位置するランドマークポイントに対して上記1番目のランドマークポイントに近い順に順次順番付けしていき、図2紙面右端のランドマークポイントに達したら、次の行の左端のランドマークポイントを上記右端のランドマークポイントの次の順番とするように順番付けすることを繰り返して行うことにより、全てのランドマークポイントに対して順番付けを行い、この順番付けによって決定された順番となるように、各ランドマークポイントLiの2次元位置を示す座標情報の順番を並べ替えるものとする。
【0078】
この並べ替えによって、図2に示す例では、各ランドマークポイントの2次元位置を示す座標情報が、L1、L2、・・・、L28という順番に並び替えられることになる。
【0079】
次のステップ256では、制御用PC22により、上記ステップ250乃至ステップ254の処理によって得られた各ランドマークポイントの2次元位置を示す座標情報を図示しないメモリに記憶し、次のステップ258では、全てのビデオカメラ12について上記ステップ250乃至ステップ256の処理が終了したか否かを判定し、終了していないと判定された場合(否定判定された場合)は上記ステップ250に戻り、終了したと判定された時点(肯定判定された時点)で本ビデオ画像ランドマークポイント取得処理を終了して、図5のステップ106に戻る。
【0080】
ステップ106では、制御用PC22により、上記ステップ102の実世界ランドマークポイント取得処理によって得られた各ランドマークポイントLiの3次元位置を示す座標情報と、上記ステップ104のビデオ画像ランドマークポイント取得処理によって得られた各ランドマークポイントLiの2次元位置を示す座標情報との各座標情報に対して、同一のランドマークポイントの3次元位置を示す座標情報と2次元位置を示す座標情報とを対応付ける。
【0081】
なお、本実施の形態では、上記実世界ランドマークポイント取得処理のステップ208の処理、及び上記ビデオ画像ランドマークポイント取得処理のステップ254の処理によって、各ランドマークポイントLiの3次元位置を示す座標情報と2次元位置を示す座標情報とは、同一ルールに従って並べ替えられて図示しないメモリに記憶されているので、本ステップ106では、同一順番の3次元位置を示す座標情報と2次元位置を示す座標情報とを対応付けることのみによって、同一ランドマークポイントの座標情報の対応付けを行うことができる。
【0082】
次のステップ108では、制御用PC22により、各ランドマークポイントLiの3次元位置を示す座標情報と2次元位置を示す座標情報とを上記ステップ106の処理で対応付けられた状態で、制御用PC22に内蔵されたハードディスク(図示省略)に構築されているデータベースに追加記憶する。なお、本ステップ108の処理が初めて行われる際には、上記データベースをステップ106までの処理で得られている座標情報が含まれたものとして新規に作成する。
【0083】
次のステップ110では、図4に示した全ての配置位置にキャリブレーションボード30を配置して上記ステップ100乃至ステップ108の処理が終了したか否かを判定し、終了していない場合(否定判定の場合)は上記ステップ100へ戻る。ここで、計測者は、図4に示した配置位置のうちの残りの何れかの位置にキャリブレーションボード30を配置する。
【0084】
一方、上記ステップ110で処理が終了したと判定された場合(肯定判定された場合)はステップ112へ移行する。
【0085】
以上のステップ100乃至ステップ110の繰り返し処理によって、図4に示した全ての配置位置にキャリブレーションボード30を配置したときの各ランドマークポイントの座標情報が得られることになる。
【0086】
図8には、ステップ100乃至ステップ110の繰り返し処理によって得られたデータベースの構造が模式的に示されている。図8(A)に示すように、本実施の形態に係るデータベースは、各ビデオカメラ12毎に所定サイズの領域が設けられており、各領域には、キャリブレーションボード30の配置位置毎の領域(本実施の形態では、9つの領域)が設けられている。
【0087】
また、キャリブレーションボード30の配置位置毎の各領域には、図8(B)に示すように、キャリブレーションボード30上の各ランドマークポイントLi毎に、対応付けられた2次元位置を示す座標情報と3次元位置を示す座標情報とが記憶される。
【0088】
一方、図5のステップ112では、制御用PC22により、以上の処理によって得られた各位置における各ランドマークポイントの座標情報のデータベースに基づいて、実世界と各ビデオカメラ12によって得られるビデオ画像の位置関係を示す射影変換行列Pnを導出する。なお、この射影変換行列Pnの導出方法としては、「3次元ビジョン」(徐 剛、辻 三郎著、共立出版)の第6章の6.1(第79頁〜第82頁)に示される方法(同文献では、上記射影変換行列Pnに相当するものとして射影行列Pを導出)が例示されるが、これ以外のあらゆる方法を適用することができることは言うまでもない。
【0089】
次のステップ114では、制御用PC22により、上記ステップ112によって導出された射影変換行列Pnを内蔵された図示しないハードディスクに記憶し、その後に本位置関係導出処理を終了する。
【0090】
上記ビデオ画像ランドマークポイント取得処理におけるステップ252の処理が本発明の2次元座標導出手段に、上記位置関係導出処理におけるステップ106の処理が本発明の対応付手段に、上記実世界ランドマークポイント取得処理におけるステップ206の処理が本発明の3次元座標導出手段に、各々相当する。
【0091】
次に、以上説明した位置関係導出処理によって得られた射影変換行列Pnを用いた3次元形状の復元手法の一例について説明する。なお、以下で示す3次元形状の復元手法は、本発明者らによって研究が行われている手法である。
【0092】
まず、図9に示すように、復元対象とする3次元形状を複数の平面上の形状、すなわち2次元形状の集合として定義する。この手法では、平面間の線形補間によって3次元形状の解像度を向上させることが可能であるため、ボクセルモデルを中間媒体にする手法に比べ、高解像度の場合でも処理の高速化が可能であるという優位性がある。また、一般的なボクセルモデルは、複数枚の平面を平行に等間隔で積み重ねたものであると考えることができるが、それらの平面が持つ見え方の情報には冗長性が存在し、効率的な表現であるとは言えない。一方、本手法は、平面の配置を適応的に変化させることで冗長性の削減が可能である。
【0093】
次に、図10を参照して、3次元物体の形状を平面上の2次元形状の集合として推定する手法について説明する。この時、カメラ位置C1において撮影された入力画像上の点In(u、v)と平面上の点Sm(i、j)の間には、次の(1)式に示すような射影変換行列Pnによる関係が成り立っているものとする(n=1、・・・、N,m=1、・・・、M)。
【0094】
In(u、v)=PnSm(i、j) (1)
例えば、図10に示すように、X−Z平面に平行で高さY1の位置に平面S1を設定し、そこに入力映像を2次元射影変換する場合、撮影した3次元空間中で実際に高さY1に存在していた領域だけが、平面S1上に正確に投影される。この性質を利用して平面上での物体の形状を推定する。
【0095】
まず、全ての入力映像を平面上に2次元射影変換し、それらの写像の重なる領域を求める。背景領域を除去した前景領域のみを射影する場合には、平面上で写像の論理積(AND)をとることで、領域を求めることができる。このようにして求めた領域の形状は、3次元物体を平面でスライスした形状であると仮定することができる。同様の処理を平面の位置、向きを様々に変化させながら繰り返すことで、2次元形状の集合として3次元形状を推定する。
【0096】
次に、以上のようにして獲得した3次元形状を用いた自由視点映像の生成手法について述べる。なお、以下で示す生成手法も、本発明者らによって研究が行われている手法である。
【0097】
図11に、3次元シーン中の点M(X、Y、Z)と、各入力映像In、自由視点映像Ivにおける観測点との幾何的関係を示す。
【0098】
3次元形状情報が既知であれば、注目点がどの入力映像上のどこで観測されるかを求めることが可能である。また、与えられた自由視点映像撮影用カメラの3次元位置、姿勢を用いて、3次元シーン中の点M(X、Y、Z)と、自由視点映像Ivにおける観測点の関係を表す射影変換行列Pvを求めることができる。
【0099】
自由視点映像Iv上での注目点M(X、Y、Z)の見え方の再現手法について説明する。まず、射影変換行列Pvを用いて注目点の自由視点映像上での観測位置を求める。次に、3次元形状情報を用いて各入力画像上における注目点の見え方を求める。
【0100】
それらの中から、3次元物体による隠れの影響や物体の表面方向を考慮に入れ、自由視点からの見え方に最も適していると思われるものを選択し、自由視点映像上の観測位置にマッピングを行うことで、自然な見え方を再現することが可能になる。
【0101】
以上詳細に説明したように、本実施の形態に係る多視点映像撮影システムでは、ランドマークポイントを示すものとして座標情報の収集対象となる位置を示すマーク(本実施の形態では、市松模様)が付された移動可能なキャリブレーションボードを用いているので、多数の位置に簡易にランドマークポイントを配置することができると共に、座標情報の収集対象とする領域内に配置されたキャリブレーションボードのランドマークポイントの3次元位置を3次元測量器によって計測して、複数のビデオカメラによって得られた画像における上記ランドマークポイントの2次元位置を示す情報と3次元測量器によって計測された上記ランドマークポイントの3次元位置を示す座標情報とを対応付けているので、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる。
【0102】
また、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードに対してランドマークポイントが付されている位置の基準となる基準マークを付しておき、3次元測量器によって上記基準マークの3次元位置を計測して、該計測した3次元位置を基準として上記ランドマークポイントの3次元位置を示す座標情報を導出しているので、基準マークのみが3次元測量器によって計測できる状態にキャリブレーションボードを配置することが可能となり、キャリブレーションボードの配置の自由度を増すことができる。
【0103】
また、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードの形状を板状としたので、キャリブレーションボードの移動の簡易性や設置の容易性を向上することができる。
【0104】
また、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードを複数のランドマークポイントが付されたものとしているので、キャリブレーションボードの設置毎に収集できる座標情報の位置数を複数とすることができ、より短時間に多数の位置の座標情報を収集することができる。
【0105】
更に、本実施の形態に係る多視点映像撮影システムでは、キャリブレーションボードに対して複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付しておき、かつ該起点マークの位置を起点とした所定ルールに基づいて、上記複数のランドマークポイントの2次元位置を示す座標情報と上記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報の対応付けを行っているので、該対応付けを人手を介在させることなく自動的に行うことができる。
【0106】
なお、本実施の形態では、キャリブレーションボード30に付するランドマークポイントとして市松模様(図2も参照)を適用した場合について説明したが、本発明はこれに限定されるものではなく、例えば、図12に示すように、各ランドマークポイントを中心とした円状図形を適用する形態とすることもでき、各ランドマークポイントを中心とした矩形状図形(図示省略)を適用する形態とすることもできる。これらの場合は、各円状図形又は各矩形状図形の重心位置(中心位置)を導出することにより、各ランドマークポイントの2次元位置を示す座標情報を得ることができる。
【0107】
また、本実施の形態では、3次元物体の形状を復元する手法として、平面上の2次元形状の集合として3次元物体の形状を推定する手法について説明したが、本発明はこれに限定されるものではなく、例えば、前述の位置関係導出処理によって得られたデータベースに基づいて各ビデオカメラの設置位置及び撮影方向を導出し、かつ複数のビデオカメラによって得られた画像データが示す画像の中の対応点を導出した後、各対応点に対する各ビデオカメラによる画像中の位置のベクトルの交点位置を当該対応点の3次元位置座標として求めることによって3次元物体の形状を復元する、所謂ステレオ画像による3次元形状の復元にも本発明は適用することができる。
【0108】
また、本実施の形態では、図3で示した位置にビデオカメラ12及び3次元測量器24を配置した場合について説明したが、この配置位置は一例であり、同図以外の位置に配置してもよいことは言うまでもない。
【0109】
また、本実施の形態では、図4で示した位置にキャリブレーションボードを配置した場合について説明したが、この配置位置は一例であり、同図以外の位置に配置してもよいことは言うまでもない。
【0110】
【発明の効果】
以上説明したように、本発明に係る座標情報収集システム及び座標情報収集方法によれば、ランドマークポイントを示すものとして座標情報の収集対象となる位置を示すマークが付された移動可能なマーク部材を用いているので、多数の位置に簡易にランドマークポイントを配置することができると共に、座標情報の収集対象とする領域内に配置されたマーク部材のマークの3次元位置を3次元測量器によって計測して、複数の撮像器によって得られた画像における上記マークの2次元位置を示す座標情報と3次元測量器によって計測された上記マークの3次元位置を示す座標情報とを対応付けているので、配置されたランドマークポイントの座標情報を簡易かつ高精度に得ることができる、という効果が得られる。
【0111】
また、本発明に係るマーク部材によれば、マーク部材の形状を板状としたので、マーク部材の移動の簡易性や設置の容易性を向上することができる、という効果が得られる。
【図面の簡単な説明】
【図1】実施の形態に係る多視点映像撮影システムの全体構成を示すブロック図である。
【図2】(A)は本実施の形態に係るキャリブレーションボードの全体構成を示す斜視図であり、(B)はキャリブレーションボードに設けられた反射板取付部材の詳細な構成を示す斜視図である。
【図3】実施の形態に係る撮影対象と、各ビデオカメラ及び3次元測量器の配置位置を示す斜視図である。
【図4】実施の形態に係るキャリブレーションボードの配置位置を示す図であり、(A)は平面図で、(B)は側面図である。
【図5】実施の形態に係る多視点映像撮影システムによって行われる位置関係導出処理の流れを示すフローチャートである。
【図6】図5に示す処理の途中で行われる実世界ランドマークポイント取得処理の流れを示すフローチャートである。
【図7】図5に示す処理の途中で行われるビデオ画像ランドマークポイント取得処理の流れを示すフローチャートである。
【図8】実施の形態に係るデータベースの構成例を示す模式図である。
【図9】3次元形状の復元手法の説明に供する概略図である。
【図10】3次元形状の復元手法の説明に供する概略図である。
【図11】自由視点映像の生成手法の説明に供する概略図である。
【図12】キャリブレーションボードの他の形態例を示す平面図である。
【符号の説明】
10 多視点映像撮影システム(座標情報収集システム)
12 ビデオカメラ(撮像器)
18 LTC発生器
20 取込用PC
22 制御用PC
24 3次元測量器
30 キャリブレーションボード(マーク部材)
32 反射板取付部材
34A、34B 反射板
36 起点マーカー(起点マーク)
38 基準マーク
50 イベントホール
52 撮影対象空間
L1〜L28 ランドマークポイント(マーク)
Claims (7)
- 座標情報の収集対象となる位置を示す平面状のランドマークポイント及び前記ランドマークポイントを含む領域に前記ランドマークポイントが付されている位置の基準となる基準マークが表面に付された移動可能なマーク部材と、
前記ランドマークポイントの前記表面上の2次元座標位置を示す2次元座標位置情報を予め記憶した記憶手段と、
座標情報の収集対象とする3次元空間内の異なる位置に配置された複数の前記マーク部材の前記ランドマークポイントの3次元位置を計測するために前記基準マークの3次元位置を計測する3次元測量器と、
前記3次元測量器によって計測された前記基準マークの3次元位置に基づいて、前記表面の各々の前記3次元測量器に対する傾きを導出する傾き導出手段と、
前記傾き導出手段によって導出された前記傾き、前記マーク部材が前記異なる位置に配置されることにより前記3次元測量器によって計測された前記基準マークの前記3次元位置、及び前記記憶手段に記憶されている前記2次元座標位置情報に基づいて、前記ランドマークポイントの3次元位置を示す座標情報を導出する3次元座標導出手段と、
各々異なる位置に配置されると共に、前記3次元測量器によって前記ランドマークポイントの3次元位置が計測された前記マーク部材の前記ランドマークポイントを含む領域を撮影して画像信号として出力する複数の撮像器と、
前記複数の撮像器の各々から出力された画像信号が示す画像における前記ランドマークポイントの2次元位置を示す座標情報を前記撮像器毎に導出する2次元座標導出手段と、
前記2次元座標導出手段によって導出された前記ランドマークポイントの2次元位置を示す座標情報と、前記3次元座標導出手段によって導出された前記ランドマークポイントの3次元位置を示す座標情報とを対応付ける対応付手段と、
前記対応付手段によって対応付けられた座標情報を記憶する記憶手段と、
を備えた座標情報収集システム。 - 前記マーク部材は、表面に前記ランドマークポイントと少なくとも3箇所の前記基準マークとが付された板状部材である請求項1記載の座標情報収集システム。
- 前記マーク部材に複数の前記ランドマークポイントを付し、
前記対応付手段は、前記複数のランドマークポイントの2次元位置を示す座標情報と前記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付ける
請求項1または請求項2記載の座標情報収集システム。 - 前記マーク部材の前記ランドマークポイントを含む領域に、前記複数のランドマークポイントの座標情報の順位を決定するための起点となる起点マークを付し、
前記対応付手段は、前記撮像器から出力された画像信号から前記起点マークの位置を検出し、所定ルールに基づいて、前記検出した位置を起点として前記複数のランドマークポイントの2次元位置を示す座標情報と前記複数のランドマークポイントの3次元位置を示す座標情報との間で、同一ランドマークポイント同士の座標情報を対応付ける
請求項3記載の座標情報収集システム。 - 前記ランドマークポイントを市松模様の格子点とした請求項1〜請求項4の何れか1項に記載の座標情報収集システム。
- 前記ランドマークポイントを円状または矩形状の図形の重心とした請求項1〜請求項4の何れか1項に記載の座標情報収集システム。
- 請求項1〜請求項6の何れか1項に記載の座標情報収集システムと、
前記記憶手段に記憶されている座標情報に基づいて、前記撮像器の撮像対象とされる3次元空間と前記撮像器によって得られる画像信号が示す画像との位置関係を示す射影変換行列を導出する行列導出手段と、
前記行列導出手段によって導出された射影変換行列を用いて、前記撮像器の各々によって得られた画像信号が示す各画像を前記3次元空間における予め定められた平面に対して2次元射影変換し、前記平面上の各写像の重なる領域の前記画像信号を取得する処理を、前記平面の位置及び向きを変化させながら繰り返すことにより2次元形状の集合として3次元形状を推定する推定手段と、
を含む3次元形状推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000202178A JP4599500B2 (ja) | 2000-07-04 | 2000-07-04 | 座標情報収集システム及び3次元形状推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000202178A JP4599500B2 (ja) | 2000-07-04 | 2000-07-04 | 座標情報収集システム及び3次元形状推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002022444A JP2002022444A (ja) | 2002-01-23 |
JP4599500B2 true JP4599500B2 (ja) | 2010-12-15 |
Family
ID=18699743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000202178A Expired - Fee Related JP4599500B2 (ja) | 2000-07-04 | 2000-07-04 | 座標情報収集システム及び3次元形状推定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4599500B2 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4613626B2 (ja) * | 2005-02-04 | 2011-01-19 | 旭硝子株式会社 | 鏡面形状測定方法および装置並びに検査方法および装置 |
JP5002144B2 (ja) * | 2005-09-30 | 2012-08-15 | 株式会社トプコン | 三次元計測用投影装置及びシステム |
JP2010520565A (ja) * | 2007-03-02 | 2010-06-10 | オーガニック・モーション | 三次元の物体を追跡記録するシステム及び方法 |
JP4985241B2 (ja) * | 2007-08-31 | 2012-07-25 | オムロン株式会社 | 画像処理装置 |
JP4905311B2 (ja) * | 2007-10-01 | 2012-03-28 | 株式会社島津製作所 | ヘッドモーショントラッカシステム及びそれに用いられるキャリブレーション装置 |
CN102445164B (zh) * | 2011-10-12 | 2012-12-12 | 北京航空航天大学 | 一种大型构件表面三维形貌视觉测量方法及*** |
KR101422701B1 (ko) | 2012-07-13 | 2014-07-24 | 삼성중공업 주식회사 | 구조물 계측 장치 및 구조물 계측 방법 |
JP2017015440A (ja) * | 2015-06-29 | 2017-01-19 | 株式会社ジェイテクト | 撮像装置のキャリブレーション用治具及び撮像装置のキャリブレーション方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3696336B2 (ja) * | 1996-06-12 | 2005-09-14 | 株式会社トプコン | カメラのキャリブレーション方法 |
JPH1089957A (ja) * | 1996-09-13 | 1998-04-10 | Sakurada:Kk | 構造部材の三次元計測方法 |
-
2000
- 2000-07-04 JP JP2000202178A patent/JP4599500B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2002022444A (ja) | 2002-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2972586B1 (en) | Method for generating a panoramic image | |
US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
US7196730B2 (en) | Method and system for complete 3D object and area digitizing | |
KR101396346B1 (ko) | 다수의 2차원 실사 영상들을 이용하여 3차원 영상을생성하는 방법 및 장치 | |
JP6079131B2 (ja) | 画像処理装置、方法、及びプログラム | |
CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
JPH1196374A (ja) | 3次元モデリング装置、3次元モデリング方法および3次元モデリングプログラムを記録した媒体 | |
US20100045678A1 (en) | Image capture and playback | |
CN108759669A (zh) | 一种室内自定位三维扫描方法及*** | |
Mordohai et al. | Real-time video-based reconstruction of urban environments | |
JP2008217243A (ja) | 画像生成装置 | |
WO2009093136A2 (en) | Image capture and motion picture generation | |
JP2000268179A (ja) | 三次元形状情報取得方法及び装置,二次元画像取得方法及び装置並びに記録媒体 | |
Wenzel et al. | High-resolution surface reconstruction from imagery for close range cultural Heritage applications | |
JP4599500B2 (ja) | 座標情報収集システム及び3次元形状推定システム | |
JP4354708B2 (ja) | 多視点カメラシステム | |
Zhao et al. | Alignment of continuous video onto 3D point clouds | |
JP3862402B2 (ja) | 3次元モデル生成装置および3次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体 | |
CN107941241A (zh) | 一种用于航空摄影测量质量评价的分辨率板及其使用方法 | |
Dupont et al. | An improved calibration technique for coupled single-row telemeter and ccd camera | |
Mikrut et al. | Integration of image and laser scanning data based on selected example | |
CA2364888C (en) | A method and system for complete 3d object and area digitizing | |
JP2000057376A (ja) | 新視点画像生成方法 | |
JP2003256811A (ja) | 3次元情報復元装置、3次元情報復元方法、3次元情報復元方法のプログラムおよびこのプログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100713 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100810 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100813 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100823 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131008 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |