JP2003067726A - 立体モデル生成装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 立体モデル生成装置において、カメラと回転
台との位置関係データ（キャリブレーションデータ）の
信頼性を向上させる。 【解決手段】 カメラと対象物を載置する回転台との位
置関係を取得し（キャリブレーション）、このキャリブ
レーションデータに基づいてデータ処理部１４は対象物
の三次元データを計算する。対象物体の背景に参照マー
クを設け、この参照マークの位置変化に基づいてキャリ
ブレーションデータを補正し、キャリブレーションデー
タの信頼性を確保する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実在する物体の三
次元情報を獲得する三次元モデリング装置あるいは立体
モデル生成装置、特に、対象物を配置する回転台とカメ
ラとの位置関係を求めるキャリブレーションに関する。

【０００２】

【従来の技術】従来から三次元データ入力装置（三次元
スキャナ）として、 （ａ）レーザ光を利用するもの（光切断法） （ｂ）スリット光など、パタン光を利用するもの（コー
ド化光法） （ｃ）カメラ撮影画像を利用するもの（ステレオ法、シ
ルエット法） などを用いた装置が存在している。

【０００３】いずれの方式においても、対象物の全周囲
データを入力しようとした場合、対象物をコンピュータ
制御の回転テーブル上に置き、これをある角度ステップ
毎に回しながら入力作業を行うことになる。

【０００４】例えば、（ａ）、（ｂ）及び（ｃ）のステ
レオ法の場合、各回転ステップ毎に部分的三次元データ
を得ることができるが、最終的にはこれらを統合する処
理が必要となる。これは実際にはホストコンピュータ
（パソコンまたはワークステーション）での編集ツール
を用いた人手作業となる。したがって、編集作業という
多大な時間とスキルの必要な作業が必要となるという問
題があった。

【０００５】一方、（ｃ）のなかのシルエット法の場
合、物体全周囲の画像を得た後、物体全周囲の三次元デ
ータを求めることになるが、この際、入力部（例えばデ
ジタルカメラ）と回転台の位置関係を正確に求めるキャ
リブレーション処理が必須になる。もちろん、（ａ）、
（ｂ）及び（ｃ）のステレオ法の場合でも、人手ではな
くキャリブレーション処理により入力部（例えばデジタ
ルカメラ）と回転台の位置関係を求めておけば統合処理
は自動化できる。

【０００６】キャリブレーションとしては、具体的には
既知パタンが印刷されたパネルを回転台の上に置き、こ
れを回転させながら複数枚の画像を撮影し、ホストコン
ピュータで自動計算させることで行う。その後、パネル
を除去し、かわりに対象物を回転台の上において、三次
元データの入力を行うことになる。

【０００７】

【発明が解決しようとする課題】しかしながら、 （１）一般にキャリブレーションデータには誤差が含ま
る （２）キャリブレーション処理と実際の物体入力の間に
パネルと物体の置き換え作業が発生し、その際、回転台
とカメラの位置関係が微妙に変わる恐れがある （３）物体入力中に、振動などによって回転台とカメラ
の位置関係が微妙に変わる恐れがある （４）カメラによっては撮影毎に光軸のずれが発生し、
その結果、キャリブレーションデータに大きな誤差が含
まれたり、回転台とカメラの位置関係が変わることにな
る などの理由から、統合データ（シルエット法の場合、計
算された三次元データ）に大きな誤差が含まれてしまう
という問題があった。

【０００８】本発明は以上の問題点に鑑みてなされたも
のであり、キャリブレーションデータの信頼性を向上さ
せることを目的とする。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、対象物の三次元データを生成する装置で
あって、回転手段により回転する対象物の画像を入力す
る手段と、前記回転手段と前記画像入力手段の位置関係
データを算出する手段と、前記位置関係データ誤差を算
出する手段と、前記位置関係データ誤差に基づいて前記
三次元データを生成する手段とを有することを特徴とす
る。

【００１０】本装置において、前記三次元データを生成
する手段は、前記位置関係データ誤差に基づいて入力画
像を補正することにより前記三次元データを生成するこ
とが好適である。

【００１１】また、本装置において、前記三次元データ
を生成する手段は、前記位置関係データ誤差に基づいて
前記位置関係データを補正し、補正された位置関係デー
タを用いて前記三次元データを生成することが好適であ
る。

【００１２】前記三次元データを生成する手段は、前記
入力画像から参照マークを抽出する手段とを有し、抽出
された前記参照マーク位置に基づいて前記位置関係デー
タ誤差を算出することができる。

【００１３】また、前記三次元データを生成する手段
は、前記入力画像から前記対象物のシルエット情報を抽
出する手段とを有し、前記シルエット情報の位置に基づ
いて前記位置関係データ誤差を算出することもできる。

【００１４】また、前記三次元データを生成する手段
は、前記入力画像から前記対象物の第１シルエット情報
を抽出する手段と、撮影角度の異なる複数の前記入力画
像から抽出された複数の前記第１シルエット情報に基づ
いて前記対象物の三次元形状データを生成する手段と、
前記三次元形状データに基づいて第２シルエット情報を
抽出する手段とを有し、前記第１シルエット情報と第２
シルエット情報の相違に基づいて前記位置関係データ誤
差を算出することもできる。

【００１５】また、本発明は、対象物の三次元データを
生成する方法を提供する。この方法は、対象物を回転台
の上に載置して回転させるステップと、回転する前記対
象物をカメラで撮影して画像を取得するステップと、前
記カメラと前記回転台の位置関係データを算出するステ
ップと、前記位置関係データ誤差を算出するステップ
と、前記位置関係データ誤差に基づいて前記三次元デー
タを生成するステップとを有することを特徴とする。

【００１６】本方法において、前記三次元データを生成
するステップでは、前記位置関係データ誤差に基づいて
入力画像を補正することが好適である。

【００１７】また、本方法において、前記三次元データ
を生成するステップでは、前記位置関係データ誤差に基
づいて前記位置関係データを補正し、補正された位置関
係データを用いて前記三次元データを生成することが好
適である。

【００１８】前記三次元データを生成するステップで
は、前記入力画像から参照マークを抽出し、抽出された
前記参照マーク位置に基づいて前記位置関係データ誤差
を算出することができる。

【００１９】また、前記三次元データを生成するステッ
プでは、前記入力画像から前記対象物のシルエット情報
を抽出し、抽出された前記シルエット情報の位置に基づ
いて前記位置関係データ誤差を算出することもできる。

【００２０】また、前記三次元データを生成するステッ
プは、前記入力画像から前記対象物の第１シルエット情
報を抽出するステップと、撮影角度の異なる複数の前記
入力画像から抽出された複数の前記第１シルエット情報
に基づいて前記対象物の三次元形状データを生成するス
テップと、前記三次元形状データに基づいて第２シルエ
ット情報を抽出するステップとを有し、前記第１シルエ
ット情報と第２シルエット情報の相違に基づいて前記位
置関係データ誤差を算出することもできる。

【００２１】

【発明の実施の形態】以下、図面に基づき本発明の実施
形態について説明する。

【００２２】＜第１実施形態＞図１には、本装置の全体
構成図が示されている。本装置は、回転台、背景板、参
照マーカ及びデジタルカメラなどの画像撮影部からなる
入力部１０、制御部１２及びデータ処理装置１４から構
成される。

【００２３】制御部１２は、回転台の回転制御、および
カメラの制御を行う。

【００２４】データ処理部１４は、入力されたデータ
（例えば画像）に対して処理を施し、対象物の三次元デ
ータ（形状および色彩情報）を計算する。なお、ここで
三次元データの計算方法として、良く知られたシルエッ
ト法およびその拡張法（例えば文献“A Portable 3D D
igitizer” International Conference on Recent Adv
ances in 3-D Digital Imaging and Modeling, pp.197-
204 (1997) ）を用いることを前提とする。

【００２５】図１（Ｂ）には、データ処理装置１４の構
成ブロック図が示されている。データ処理装置１４は、
インターフェースＩ／Ｆ、ＣＰＵ、ＲＯＭ、画像メモリ
及び位置関係データメモリを有して構成される。

【００２６】入力部１０で得られた対象物の画像デー
タ、すなわち後述する回転台の回転角度に応じて撮影角
度が異なる複数の画像データはインターフェースＩ／Ｆ
を介して画像メモリに記憶される。

【００２７】ＣＰＵは、画像メモリに記憶された画像を
読み出し、所定の三次元計算を実行する。三次元計算
は、位置関係データメモリに予め記憶されたカメラと対
象物、より具体的にはカメラと回転台との位置関係に応
じて行われる。カメラと回転台との位置関係は、後述す
るキャリブレーション処理により取得される。また、Ｃ
ＰＵは、カメラと回転台との位置関係に誤差がある場合
には、ＲＯＭに予め記憶されたプログラムに従って誤差
を解消するように位置関係データメモリに記憶された位
置関係データを補正する。

【００２８】なお、本実施形態ではシルエット法を用い
ているが、必ずしもこれに限定されるものではなく、ス
テレオ法など各種の三次元形状再構成アルゴリズムを適
用しても良い。

【００２９】以上の構成をもつ装置を用いた三次元デー
タ入力作業および三次元データ計算作業は以下のように
なる。

【００３０】（１）キャリブレーション撮影および計算 （２）物体撮影 （３）シルエット抽出 （４）ボクセル生成 （５）ポリゴン生成 （６）テクスチャ獲得 以下、これらについて順次説明する。

【００３１】＜キャリブレーション撮影および計算＞キ
ャリブレーション撮影では、図２に示されるように、回
転台１０ｅに円マークが配置されたパネル５０を置く。
ここで、円マークについては予めその位置が分かってい
るとする。そして、このパネル５０を回転台１０ｅ上で
一定の範囲だけ回転させながら複数の画像を撮影する。
キャリブレーション処理は、 （ｉ）カメラ１０ｂとパネル５０の位置関係を求める （ｉｉ）ステップ（ｉ）の結果に基づき、カメラ１０ｂ
と回転台１０ｅの位置関係を求めるという二つのステッ
プからなる。

【００３２】カメラ１０ｂとパネル５０の位置関係を簡
単に求める方法として、形状が既知の物体（参照物体）
をカメラ１０ｂに見せ、Ｈｏｕｇｈ変換を用いてカメラ
１０ｂ位置を求める方法がある。パネル５０を兼ねる参
照物体の表面には円マークが描かれており、それぞれの
三次元位置は既知である。

【００３３】また、Ｈｏｕｇｈ変換とは、直観的には、
局所情報に基づいて計算した大局的パラメータ値候補を
元に、パラメータ空間への投票処理を経て、多数決原理
により対象とするパラメータを得る手法である。元々
は、エッジ画像から直線を求める問題において提案され
たものである。ここでは、エッジ画像中の各々の点につ
いて、それが、ある直線の一部と仮定した場合に、可能
性のあるすべての直線に対して直線を原点からの距離ρ
および、y軸となす角度θからなるパラメータ空間に投
票処理する。最終的にパラメータ空間においてピーク値
を呈する（ρ、θ）が求める直線となる。

【００３４】キャリブレーションでは、このＨｏｕｇｈ
変換の考えに基づき、６変数の座標変換パラメータ(x,
y,z,α,β,γ)を求める。この座標変換パラメータは参
照物体の座標系と、各カメラの座標系の変換パラメータ
である。

【００３５】なお、ここで、焦点距離などカメラの内部
パラメータ、およびキャリブレーションの円パタン位置
は既知であることを前提としている。Ｈｏｕｇｈ変換に
よる座標変換パラメータ獲得の概要は以下の通りであ
る。

【００３６】（１）既知参照パタン（円パタン）を配置
した参照物体を撮影。

【００３７】（２）画像から参照パタンを抽出する。

【００３８】（３）画像から抽出された任意の参照パタ
ン三つと、システムに予め登録されている参照パタン位
置データ三つを用いて座標変換パラメータ(平行移動成
分x,y,z,および回転成分α,β,γ)を計算する。これを
組合せ全てについて行い、六次元Ｈｏｕｇｈ空間に投票
する。

【００３９】（４）Ｈｏｕｇｈ空間からピーク値を抽出
し、座標変換パラメータを得る。以上のステップで、参
照物体座標系とカメラ座標系との変換パラメータが得ら
れる。

【００４０】なお、上記に示した手法で求める変換パラ
メータの精度は、Ｈｏｕｇｈ空間解像度に依存する。一
般には、直接モデリングに適用できるほどの精度は得ら
れない。このため、上記パラメータを初期値とし、更に
非線形最小自乗法(Levenberg-Marquardt法)により最終
座標変換パラメータを得ることが好適である。

【００４１】また、Ｈｏｕｇｈ変換におけるステップ３
の組合せ処理は、円マークの色分けをすることで組合せ
削減ができ、その結果、処理の高速化が可能となる。

【００４２】以上でカメラとパネルの位置関係が得られ
ることになる。次に、カメラと回転台の位置関係を求め
る。ここで、上記カメラからみたパネルの動き、すなわ
ち例えばパネル座標系の原点の動きを観測すると、回転
台の回転軸を中心とした円運動を行う点に着目する。つ
まり、パネルの任意の１点を選び、その運動の軌跡に対
し三次元空間上の円を当てはめる。この円の中心軸が回
転軸に相当することになる。回転台とカメラの位置関係
は、回転軸とカメラの位置関係にほかならないため、以
上のようにして回転台とカメラの位置関係が求められた
ことになる。

【００４３】＜物体撮影＞物体撮影では、キャリブレー
ション撮影において使用したパネルを回転台の上から除
去し、そのかわりに対象物を回転台に配置し、指定ステ
ップ（たとえば１０度刻み）で回転台を回しつつ、物体
の全周囲画像を入力する。ここで、対象物の色彩に応
じ、適宜背景板を選択する。これは、次に述べるシルエ
ット抽出の過程で必要になる。例えば、青色が含まれて
いない対象物の場合、背景板は例えば青色の背景板を用
いることができる。続いて、三次元データ計算処理に移
る。

【００４４】＜シルエット抽出＞シルエット抽出処理
は、例えば良く知られたクロマキー法を用いることがで
きる。これは、放送局などで良く用いられている技術
で、複数の映像を合成して新しい映像を作り出すための
手法である。

【００４５】カメラで得られた画像は、背景板と対象物
体の画像となる。青色が含まれていない対象物体の場
合、背景板は例えば青色の背景板を用いることができる
が、この場合、画像から青色部分を除去すれば、対象物
体の部分のみを切り出すことができる。

【００４６】図３には、シルエット抽出処理が模式的に
示されている。回転台１０ｅの上の対象物体１００を撮
影して得られた画像Ａ１には、（Ａ）に示されるように
対象物体１００と青色背景が存在する。この青色背景の
みを除去することで、（Ｂ）に示されるように対象物体
１００の像のみを取り出すことができる（図において、
青色は黒、青色以外は白で表現されている）。

【００４７】もちろん、クロマキー処理を用いてシルエ
ット抽出するのではなく、例えば特願平９−２３２６１
７号に開示されているように、背景画像と物体画像との
差分処理によりシルエットを抽出しても良い。

【００４８】＜ボクセル生成＞カメラの視野が予め限定
されているため、測定者が存在可能領域を予め設定する
ことが可能である。この存在可能領域をボクセル(voxe
l)空間で表現する。ここで、ボクセル空間とは、二次元
画像が面素（ピクセル）の集合で表現されるように、三
次元空間を細かい立体素（ボクセル）の集合体として表
現したものである。最も素朴には、以下のようにして三
次元形状を再構成することが出来る。すなわち、ボクセ
ル空間を構成する各ボクセルを一つのシルエット画像に
投影する。このとき、物体シルエット外に投影されれ
ば、そのボクセルは明らかに対象物体ではないと判断で
きる。

【００４９】このような処理を全てのシルエットに対し
て行い、全てのシルエット画像に対して、物体シルエッ
ト内部に投影されたボクセルのみを抽出し、これを対象
物体１００と判定する。

【００５０】この処理は、直観的には、物体存在領域に
対応した石膏ブロック２００を仮定し、シルエット領域
以外に対応する部分をどんどん切削してゆく方法と考え
ることができる。そして最終的に残った石膏部分が対象
物の三次元形状とみなされる。

【００５１】なお、シルエット画像にエラーが存在する
場合、上記の処理では最終結果に大きな形状誤差が発生
する。このような場合には、以下に述べる投票方式（ボ
ーティング方式）が有効である。これを概念的に示した
のが図５である。

【００５２】すなわち、シルエット領域外の部分を即座
に削除するのではなく、まずは、シルエット領域に対応
する空間に得点を加算してゆく。そして、最終的に得点
がある閾値以上の部分を物体部分とみなす。

【００５３】ボーティング処理の流れは以下の通りであ
る。なお、ここでは、前述のように、物体存在領域をボ
クセル空間として表現することを前提としている。

【００５４】（１）初期化：各ボクセルの得点をゼロに
設定する。

【００５５】（２）各ボクセルについて、全シルエット
画像への投影点を求め、シルエット領域に含まれている
投影点の数を得点とする。

【００５６】（３）得点が一定値以上のボクセルを物体
領域と見なす。

【００５７】図５には、ボーティング方式が模式的に示
されている。（Ａ）、（Ｂ）、（Ｃ）は３方向における
シルエット領域に含まれている投影点に１を加算したも
のである。（Ｄ）はこれらの投影点を加算したものであ
り、各ボクセルの投影点の合計が数字で示されている。
投票結果は、例えば１０〜１６の数字で示される。対象
物体１００が真に存在するボクセルの得点数は大きくな
るので、得点が一定値以上、例えば１６以上のボクセル
を抽出することで、（Ｅ）に示されるようにボクセルを
抽出できる。

【００５８】なお、この処理において重要な点は、ボク
セル空間に対し、カメラの視点が何処に存在するかとい
う情報である。この情報が誤っていれば、三次元形状の
計算結果は実際とは大幅に異なるものになってしまう。
ボクセル空間は回転台の座標にしたがって定義すれば、
カメラの視点の位置情報は回転台とカメラの位置関係に
他ならない。ところで、回転台とカメラの位置関係は上
述したように固定関係にある。したがって、このデータ
は、予めデータ処理部１４に登録されているキャリブレ
ーションデータを用いれば良い。

【００５９】＜ポリゴン生成＞対象物体１００の三次元
形状データは一旦ボクセルデータの集合として求められ
るが、一般の形状測定ツールでは、対象物がポリゴンデ
ータで表現されていることを前提にしているものもあ
る。この場合、図６に示されるように、ボクセルデータ
３００をポリゴンデータ４００に変換する必要がある。
また、計測形状を三次元的に表示ソフト（ビューワ）で
見せる必要がある場合も存在する。この場合にも、ボク
セルデータをポリゴンデータに変換することは有効であ
る。

【００６０】ここでは、表現に必要なポリゴン数を少な
く抑え、かつ、表現形状の精度を維持することが要求さ
れる。たとえば、以下に示すステップを踏むことで、好
適なポリゴン表現が可能になる。

【００６１】（１）頂点設定 物体表面に対応するボクセルの隣接頂点を接続し、初期
ポリゴンを生成する。

【００６２】（２）ポリゴンリダクション マージ前後の形状変化を評価し、変化が小さい隣接ポリ
ゴンを順にマージすることで、ポリゴン数を目標値まで
削減する。

【００６３】＜テクスチャ生成＞全周囲撮影画像に基づ
いて、全ポリゴンの色彩（テクスチャ）情報を獲得する
ステップである。具体的には各ポリゴンのテクスチャ情
報を与える入力画像（以下参照画像とよぶ）を決定した
後、ポリゴンを参照画像に投影し、その投影部分の色彩
をテクスチャ情報とする。ここで、ほとんどのポリゴン
について、その領域が可視となる入力画像が複数存在し
ていることに注意が必要である。そこで、各ポリゴンに
ついて適切な参照画像を決定する必要がある。適切な参
照画像決定において考慮するべき点は、 （１）テクスチャ情報量の多い参照画像を選択する （２）ポリゴン境界線上での画像の連続性を良くする である。

【００６４】ここで、（１）の観点からは参照画像への
ポリゴン投影面積が大きい方が望ましい。一方、（２）
の観点からは隣接ポリゴンの参照画像は同じであること
が望ましく、異なる場合でも撮影角度差は小さい方が望
ましい。これらの要求点はしばしばトレードオフの関係
にあるため、各考慮点の評価関数を決定し、これらの和
関数が最大となるように参照画像を決定する。なお、こ
のような方法については、特願平９−２３４８２９号に
開示されている。以上の処理により、対象物体の三次元
データを獲得することができる。

【００６５】ところで、以上の処理において、キャリブ
レーション撮影の開始時点から、物体撮影が終了するま
で、回転台とカメラの位置関係は不変であるという前提
を置いた。

【００６６】しかしながら、実際には、キャリブレーシ
ョン処理と、実際の物体入力の間に、パネルと物体の置
き換え作業が発生し、その際、回転台とカメラの位置関
係が微妙に変わる恐れがある。また、物体入力中に、振
動などによって回転台とカメラの位置関係が微妙に変わ
る恐れがあり、さらに、カメラによっては撮影毎に光軸
のずれが発生し、その結果、キャリブレーションデータ
に大きな誤差が含まれたり、回転台とカメラの位置関係
が変わることになる、などの理由から、得られたキャリ
ブレーションデータ自身に誤差が含まれている場合があ
る。

【００６７】この状態で三次元形状計算を行うと、生成
される三次元データに大きな誤差が含まれることにな
る。

【００６８】一方、誤差を含んだキャリブレーションデ
ータは、真のキャリブレーションデータとの差は極めて
小さいという性質に基づき、回転台に対し、位置が固定
された参照マークを導入するとともに、データ入力時
に、対象物体と共にこの参照マークを含めた画像を撮影
するにより、補正処理が可能である。

【００６９】今、前提として、キャリブレーション撮影
の開始時点から、物体撮影が終了するまで、背景板と回
転台の位置関係は不変であるとする。そして、背景板上
に参照マークを配置するとする。

【００７０】図７及び図８には、参照マークが例示され
ている。図７は、参照マーク１６が回転台１０ｅと同一
の基台に取り付けられ、参照マーク１６を基台から回動
させて「起こす」ことで（図中矢印）背景板１０ｄ上に
参照マークを配置する例である。また、図８は背景板１
０ｄ自体に参照マークが形成されている例である。参照
マークは１つでもよいが、複数の方が望ましい。また、
参照マーク１６は背景とは容易に区別が出来る色とし、
入力画像の端付近に配置されることが好適である。その
理由は、入力画像の中心辺りには、通常物体が存在し、
マークが隠れやすいため、中心辺りの配置は避けるべき
だからである。また、周辺に存在している場合、シルエ
ット抽出にて物体以外のシルエット部分が現れることに
なるが、一般に、上述のボクセル生成において、シルエ
ットノイズが存在していても、ノイズと物体との距離が
離れているほど悪影響が少ないためである。なお、これ
ら参照マーク位置（２次元）を取り囲むウィンドウを入
力画像に設定しておくことが望ましい。なお、上記はカ
メラと回転台が一体となっている装置について説明した
が、これらが別のものとして構成されていてもよい。

【００７１】次に、参照マーク１６を用いたキャリブレ
ーションデータ補正処理の概要を以下に示す。なお、理
解容易のため、キャリブレーションデータ自身の補正の
他に、画像の補正（平行移動や拡大縮小）も、「キャリ
ブレーションデータ補正」として扱っている。

【００７２】（１）キャリブレーション撮影 （２）物体画像入力 （３）キャリブレーション撮影画像、及び入力画像から
設定ウィンドウ内に存在する参照マークを抽出する。図
９には、入力画像内に設定されたウインドウ５００及び
ウインドウ５００内の参照マーク６００が例示されてい
る。

【００７３】（４）ステップ（３）で得られた参照マー
クのうち、一つを「基準参照マーク」として決める。

【００７４】（５）ステップ（４）の「基準参照マー
ク」以外のものを「その他参照マーク」とし、これを基
準参照マークと比較し、位置の差を求める。図１０に
は、基準参照マーク６００とその他参照マーク６１０が
例示されており、２つのマークの位置の差が示されてい
る。

【００７５】（６）ステップ（５）で求められた位置の
差に基づき、補正処理を行う。

【００７６】また、補正処理にも以下の２種類の方法が
考えられる。

【００７７】（ａ）二次元的補正処理 （ｂ）キャリブレーションデータ自身の補正 二次元的補正処理とは、入力画像を直接補正する処理で
ある。本来、カメラと回転台（背景板と回転台の位置関
係は不変）の位置関係が不変であれば、上記の基準参照
マーク位置、およびすべてのその他参照マーク位置は不
変であるべきである。これらが異なるということは、微
妙にカメラと回転台の位置がずれていることになる。そ
こで、見かけ上、カメラと回転台の位置関係が不変、す
なわち、基準参照マーク位置、及びすべてのその他参照
マーク位置が一致するよう画像を平行移動処理する。そ
して、平行移動処理された画像を元に、三次元データ計
算処理を行う。

【００７８】なお、その他参照マークの位置と基準参照
マークの位置の差は、必ずしもカメラの位置の平行移動
誤差が反映されているわけではなく、実際には、カメラ
の回転移動誤差が反映されていることが多い。しかし、
画像上ではその差はほとんど無視できるレベルにあるた
め、本手法では、どちらに起因する誤差も、平行移動誤
差として扱っていることになる。

【００７９】一方、キャリブレーションデータ自身の補
正は、上記その他参照マークの位置と基準参照マークの
位置の差が、カメラの回転移動誤差に起因するとみな
し、キャリブレーションデータそのものを変更すること
である。ここでは、キャリブレーション撮影の画像に関
しては、基準参照マークとその他参照マークの位置が一
致しておく必要がある。なぜなら、計算されて求まった
キャリブレーションデータ自体が無意味となるからであ
る。この条件において、物体入力画像中のその他参照マ
ーク位置から、キャリブレーションデータの補正量を求
めてゆく。具体的には、焦点距離ｆを１．０に規格化し
た場合、カメラ（デジタルカメラとする）のＣＣＤ上で
の実際参照マークの位置をＸｓ、基準参照マークの位置
をＸｒとすると、図１１に示されるように、

【数１】θ−θ’＝ａｒｃｔａｎ（Ｘｒ）−ａｒｃｔａ
ｎ（Ｘｓ） が回転角度誤差の近似値となる。この角度分だけ、キャ
リブレーションデータを補正した後、三次元データ計算
処理を行えば良い。

【００８０】さらに、参照マークを複数配置しておく
と、カメラの前後移動に起因する誤差の補正も可能であ
る。カメラの前後移動がなければ、複数参照マーク間の
距離は一定である。しかし、複数参照マーク間の距離
が、例えば大きくなった場合、これはカメラの位置が回
転台側に近づいたと判定される。この補正も、上記と同
様、 （ａ）画像の縮小処理により、登録キャリブレー
ションデータに適合するよう入力画像を修正する （ｂ）カメラの移動距離を求め、キャリブレーションデ
ータ自体を補正するという二つの方法によって、補正す
ることができる。

【００８１】図１２には、（ｂ）の方法が模式的に示さ
れている。カメラの位置（焦点位置）がＰからＰ’に変
化した場合の参照マーカ１６とカメラの距離をＬ’、参
照マーク１６間の画像上の距離をＷ’、データ処理装置
１４に登録されている基準距離をそれぞれＬ、Ｗとする
と、

【数２】Ｌ’＝Ｗ・Ｌ／Ｗ’ で移動距離を算出でき、これを用いてキャリブレーショ
ンデータを補正することができる。

【００８２】なお、カメラと回転台の位置関係が微妙に
変化するように、参照マーク１６と回転台の位置関係も
変化する。しかしながら、三次元計算に影響する誤差に
ついては、一般に平行移動分は極めて小さく、実際はカ
メラの回転誤差が大きく起因している。したがって、参
照マーク１６の位置自体の微妙なずれはほとんど影響な
いと見なすことができる。

【００８３】また、上記の参照マーク１６を用いた補正
処理における実際参照マークの位置検出は全入力画像に
対して行っても良いし、特定の画像に対して行っても良
い。

【００８４】特に、入力作業中はカメラの位置は変化し
ないという前提を置くことができれば、特定の画像に対
してのみ実際参照マークの位置検出を行うことが、計算
時間短縮の観点から好適である。

【００８５】＜第２実施形態＞以上、参照マーク１６を
用いることでキャリブレーションデータ補正を行う方法
について説明した。しかし、参照マーク１６を用いない
でキャリブレーションデータ補正を行うこともできる。

【００８６】今、図１３に示されるように対象物体１０
０を回転台１０ｅ上にのせ、一定ステップ毎に全周囲の
データを撮影することを考える。ここで、物体の特定の
点は、三次元的に円運動をする。したがって、入力画像
上では楕円軌道を描く。さらには、物体のシルエットを
抽出した後、その画像上の重心の動きは、やはり楕円軌
道を描くと考えて良い。すると、楕円の中心(Ｃｅとす
る)は、図１３（Ｂ）に示されるように回転台１０ｅの
回転軸をカメラ画像に投影した直線Ｌｃ上にのる。

【００８７】この楕円の中心Ｃｅは、例えば、物体のシ
ルエットの重心すべての平均の位置として求めることが
できる。

【００８８】したがって、シルエット抽出処理の後、上
記のようにＣｅを求め、メモリに登録されたキャリブレ
ーションデータから求まる回転軸の投影直線Ｌｃと比較
する。ＣｅがＬｃ上にのっていればキャリブレーション
データ補正は不要である。一方、図１４に示されるよう
にＣｅがＬｃ上からはずれていれば、その分だけ二次元
的補正、あるいはキャリブレーションデータ補正を行え
ば良い。

【００８９】なお、この処理は、回転台回転軸に対し垂
直方向（通常、画像では横方向）に関するカメラ回転誤
差の補正のみを行っていることになる。カメラ回転誤差
は、この他回転軸に沿った方向での誤差も存在しうる。
しかし、三次元データ計算においては、回転軸に垂直な
方向の誤差の悪影響が大きいのに対し、回転軸に沿った
方向の誤差の影響が極めて少ない。したがって、実用
上、回転軸に垂直な方向の誤差の補正のみで十分なこと
が多い。但し、この場合、キャリブレーション撮影にお
いては、カメラと回転台の位置関係は不変であるという
条件が必要となる。

【００９０】なぜなら、計算されて求まったキャリブレ
ーションデータ自体が無意味となるからである。

【００９１】＜第３実施形態＞上述した第２実施形態で
は、シルエット画像の情報を用いてキャリブレーション
データ補正を行う方法であった。しかし、背景に不要な
物体が映っているなど、抽出シルエットにノイズが多い
場合、第２実施形態の方法がうまく機能しない場合もあ
り得る。この場合、ボクセル生成処理を利用したキャリ
ブレーション補正が可能である。

【００９２】今、回転台回転軸に垂直な方向に関する誤
差を含んだ登録キャリブレーションデータに基づいて、
ボクセル生成処理を行う場合を考える。この場合、誤差
の影響で、生成される三次元データは、実際の物体より
細い形状となる。

【００９３】図１５には、回転台１０ｅの回転軸に垂直
な方向に関する誤差を含んでいない場合（Ａ）と誤差を
含んでいる場合（Ｂ）の、１８０度対向した２つの視点
ａ、ｂから得られるシルエット画像が示されている。回
転軸に垂直な方向に誤差を含んでいる場合、視点ｂでは
誤差分だけ対象物体１００が移動し、シルエット画像も
すれることになる。したがって、視点ａ、ｂで得られた
シルエット画像から対象物体１００のボクセルを抽出す
ると、図１６に示されるように回転軸の誤差分に比例し
て真の形状７００よりも実際に得られる形状８００が小
さくなってしまう。そこで、以下の処理を行うことで、
誤差を補正する。

【００９４】（１）登録キャリブレーションデータに基
づき、ボクセル生成を行う。

【００９５】（２）生成されたボクセルデータをカメラ
画像に投影したシルエット画像（再シルエット画像ある
いは第２シルエット画像と呼ぶ）を生成する。

【００９６】（３）図１７に示されるように、シルエッ
ト抽出処理で得たシルエット画像と、（２）で得た再シ
ルエット画像（第２シルエット画像）を比較する。

【００９７】（４）ステップ（３）において、シルエッ
ト画像と再シルエット画像の差（再シルエット画像の方
が大きくなることはなく、同じかあるいは小さくなる）
を求める。

【００９８】上記のステップ（４）で得た差が、キャリ
ブレーションデータの誤差に相当する。この誤差分だけ
二次元的補正、あるいはキャリブレーションデータ補正
を行えば良い。なお、この場合も、キャリブレーション
撮影においては、カメラと回転台の位置関係は不変であ
るという条件が必要となる。なぜなら、計算されて求ま
ったキャリブレーションデータ自体が無意味となるから
である。

【００９９】以上、本発明の実施形態について説明した
が、本発明はこれに限定されるものではなく、その他の
変形も可能である。例えば、背景板１０ｄは複数の色に
置き換えることができる。一般に、単純なシルエット法
では、背景色と同色部分を持つ物体の入力は困難であ
る。しかし、特願平１１−３２２０９８号に示されるよ
うに、異なる色相を持つ複数の背景板を利用して入力す
ることにより、あらゆる色彩の物体入力が可能になる。
また、背景色として、さらに白色を付加することによ
り、 （１）形状データ作成のためのシルエット抽出は、色彩
のある（例えば青色）背景板を用いた画像に基づいて行
う （２）テクスチャ獲得処理は、白色背景板用いた画像に
基づいて行う というような使い分けが可能となる。

【０１００】色彩のある背景板を利用した画像入力にお
いては、物体の材質によっては、物体周辺部に背景色が
映り込む場合がある。このような画像を元にテクスチャ
獲得処理を行うと、最終的に得られた三次元データのテ
クスチャ情報の品質が不十分な場合が存在する。これに
対し、白色背景の画像を元にテクスチャ獲得を行えば、
上述のような物体周辺部に背景色が映り込みの悪影響を
最小限に抑えることができる。

【０１０１】

【発明の効果】以上説明したように、本発明によれば、
キャリブレーションデータの信頼性を向上させ、高精度
な三次元モデルを生成することができる。

【図面の簡単な説明】

【図１】 実施形態の全体構成図である。

【図２】 キャリブレーション説明図である。

【図３】 シルエット抽出説明図である。

【図４】 ボクセル生成説明図である。

【図５】 投票方式の説明図である。

【図６】 ボクセルデータからポリゴンデータへの変換
説明図である。

【図７】 参照マーク説明図である。

【図８】 他の参照マーク説明図である。

【図９】 参照マークを用いた場合の入力画像説明図で
ある。

【図１０】 基準マークと参照マークの位置関係説明図
である。

【図１１】 デジタルカメラの回転誤差に基づくキャリ
ブレーションデータ補正説明図（その１）である。

【図１２】 デジタルカメラの前後移動誤差に基づくキ
ャリブレーションデータ補正説明図である。

【図１３】 デジタルカメラの回転誤差に基づくキャリ
ブレーションデータ補正説明図（その２）である。

【図１４】 図１３における楕円の中心と回転台の回転
軸との関係を示す説明図である。

【図１５】 ボクセル生成処理を用いたデジタルカメラ
の回転誤差に基づくキャリブレーションデータ補正説明
図（その３）である。

【図１６】 図１５における真の形状と実際の形状との
相違説明図である。

【図１７】 シルエット画像と再シルエット画像の相違
説明図である。

【符号の説明】

１０ 入力部、１２ 制御部、１４ データ処理部。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA04 AA53 BB05 FF04 JJ03 JJ19 JJ26 MM04 PP13 QQ00 QQ18 QQ24 QQ27 QQ31 QQ42 5B057 AA20 BA02 BA21 DB03 DB06 DB09 DC13 DC16

Claims (12)

【特許請求の範囲】
1. 【請求項１】 対象物の三次元データを生成する装置で
   あって、 回転手段により回転する対象物の画像を入力する手段
   と、 前記回転手段と前記画像入力手段の位置関係データを算
   出する手段と、 前記位置関係データ誤差を算出する手段と、 前記位置関係データ誤差に基づいて前記三次元データを
   生成する手段と、 を有することを特徴とする立体モデル生成装置。
2. 【請求項２】 請求項１記載の装置において、 前記三次元データを生成する手段は、前記位置関係デー
   タ誤差に基づいて入力画像を補正することにより前記三
   次元データを生成することを特徴とする立体モデル生成
   装置。
3. 【請求項３】 請求項１記載の装置において、 前記三次元データを生成する手段は、前記位置関係デー
   タ誤差に基づいて前記位置関係データを補正し、補正さ
   れた位置関係データを用いて前記三次元データを生成す
   ることを特徴とする立体モデル生成装置。
4. 【請求項４】 請求項２、３のいずれかに記載の装置に
   おいて、 前記三次元データを生成する手段は、 前記入力画像から参照マークを抽出する手段と、 を有し、抽出された前記参照マーク位置に基づいて前記
   位置関係データ誤差を算出することを特徴とする立体モ
   デル生成装置。
5. 【請求項５】 請求項２、３のいずれかに記載の装置に
   おいて、 前記三次元データを生成する手段は、 前記入力画像から前記対象物のシルエット情報を抽出す
   る手段と、 を有し、前記シルエット情報の位置に基づいて前記位置
   関係データ誤差を算出することを特徴とする立体モデル
   生成装置。
6. 【請求項６】 請求項２、３のいずれかに記載の装置に
   おいて、 前記三次元データを生成する手段は、 前記入力画像から前記対象物の第１シルエット情報を抽
   出する手段と、 撮影角度の異なる複数の前記入力画像から抽出された複
   数の前記第１シルエット情報に基づいて前記対象物の三
   次元形状データを生成する手段と、 前記三次元形状データに基づいて第２シルエット情報を
   抽出する手段と、 を有し、前記第１シルエット情報と第２シルエット情報
   の相違に基づいて前記位置関係データ誤差を算出するこ
   とを特徴とする立体モデル生成装置。
7. 【請求項７】 対象物の三次元データを生成する方法で
   あって、 対象物を回転台の上に載置して回転させるステップと、 回転する前記対象物をカメラで撮影して画像を取得する
   ステップと、 前記カメラと前記回転台の位置関係データを算出するス
   テップと、 前記位置関係データ誤差を算出するステップと、 前記位置関係データ誤差に基づいて前記三次元データを
   生成するステップと、 を有することを特徴とする立体モデル生成方法。
8. 【請求項８】 請求項７記載の方法において、前記三次
   元データを生成するステップでは、前記位置関係データ
   誤差に基づいて入力画像を補正することを特徴とする立
   体モデル生成方法。
9. 【請求項９】 請求項７記載の方法において、 前記三次元データを生成するステップでは、前記位置関
   係データ誤差に基づいて前記位置関係データを補正し、
   補正された位置関係データを用いて前記三次元データを
   生成することを特徴とする立体モデル生成方法。
10. 【請求項１０】 請求項８、９のいずれかに記載の方法
    において、 前記三次元データを生成するステップでは、前記入力画
    像から参照マークを抽出し、抽出された前記参照マーク
    位置に基づいて前記位置関係データ誤差を算出すること
    を特徴とする立体モデル生成方法。
11. 【請求項１１】 請求項８、９のいずれかに記載の方法
    において、 前記三次元データを生成するステップでは、前記入力画
    像から前記対象物のシルエット情報を抽出し、抽出され
    た前記シルエット情報の位置に基づいて前記位置関係デ
    ータ誤差を算出することを特徴とする立体モデル生成方
    法。
12. 【請求項１２】 請求項８、９のいずれかに記載の方法
    において、 前記三次元データを生成するステップは、 前記入力画像から前記対象物の第１シルエット情報を抽
    出するステップと、 撮影角度の異なる複数の前記入力画像から抽出された複
    数の前記第１シルエット情報に基づいて前記対象物の三
    次元形状データを生成するステップと、 前記三次元形状データに基づいて第２シルエット情報を
    抽出するステップと、 を有し、前記第１シルエット情報と第２シルエット情報
    の相違に基づいて前記位置関係データ誤差を算出するこ
    とを特徴とする立体モデル生成方法。