JP2007033205A - 複数物体の位置または位置姿勢計測装置および方法 - Google Patents
複数物体の位置または位置姿勢計測装置および方法 Download PDFInfo
- Publication number
- JP2007033205A JP2007033205A JP2005216147A JP2005216147A JP2007033205A JP 2007033205 A JP2007033205 A JP 2007033205A JP 2005216147 A JP2005216147 A JP 2005216147A JP 2005216147 A JP2005216147 A JP 2005216147A JP 2007033205 A JP2007033205 A JP 2007033205A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- orientation
- measurement target
- approximate
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】 位置または位置姿勢計測において,複数の計測対象物体が同じ指標を持っているときに各物体の位置または位置姿勢が計測できなくなる。
【解決手段】 撮像装置によって計測対象空間を撮像し、該撮像画像中に撮像されている前記計測対象物体の投影像の画像特徴を抽出する手段と、撮像装置とは別の手段によって夫々の計測対象物体の概略の位置を検出する手段と,得られた夫々の計測対象の位置情報を利用して前記画像特徴が前記複数の計測対象のうちのいずれの計測対象の投影像から得られたものであるかを区別する手段と、区別された前記画像特徴を利用して個々の計測対象の位置または位置姿勢を算出する手段とにより,複数の計測対象を区別しながら位置または位置姿勢の計測を実現する。
【選択図】 図2
【解決手段】 撮像装置によって計測対象空間を撮像し、該撮像画像中に撮像されている前記計測対象物体の投影像の画像特徴を抽出する手段と、撮像装置とは別の手段によって夫々の計測対象物体の概略の位置を検出する手段と,得られた夫々の計測対象の位置情報を利用して前記画像特徴が前記複数の計測対象のうちのいずれの計測対象の投影像から得られたものであるかを区別する手段と、区別された前記画像特徴を利用して個々の計測対象の位置または位置姿勢を算出する手段とにより,複数の計測対象を区別しながら位置または位置姿勢の計測を実現する。
【選択図】 図2
Description
本発明は、複数の計測対象物体の位置または位置姿勢を計測する位置姿勢計測技術に関するものである。
複数の計測対象物体の位置姿勢を計測する位置姿勢技術は、例えば現実空間と仮想空間とを融合表示する複合現実感システムにおいて必要となる。
複合現実感技術では現実空間に存在する物体の位置関係とコンピュータで合成される画像との間に幾何学的なずれが生じていないことが望ましい。そのためには、物体の正確な位置姿勢を求める技術が必要となる。
特許文献1では、計測対象物体の位置及び姿勢を精度良く算出する位置姿勢計測方法が開示されている。位置が固定された客観視点から計測対象物体を撮像する撮像手段を用いて、計測対象物体上にある指標を客観視点から撮像した画像中の2次元画像座標位置として検出し、さらに、計測対象物体に固定された主観視点カメラからの撮像画像から現実空間に設置された指標の2次元画像座標位置を検出し、これらの検出結果を用いて、カメラ座標と世界座標の透視投影変換の誤差を小さくするように繰り返し計算を用いて計測対象物体の位置姿勢を精度良く求める方法が述べられている。本手法においては、指標を撮像した撮像画像中の座標位置が重要であり、撮像画像から指標を識別する手段が必要となる。それにより、指標と撮像画面の指標の座標位置との対応がとれ、計測対象物体の位置姿勢を求めることができる(以下、手法1と呼ぶ)。
また、計測対象物体の位置姿勢計測を行う方法として、非特許文献1で開示されるように、現実空間に存在する2次元の指標をカメラで撮像して、図形の頂点位置と方向を求めることで撮像装置の位置姿勢を計測する手法がある。2次元の指標は識別子の違いが画像処理により判別できるような図形要素を用いて構成されている。例として、矩形領域内に白もしくは黒の情報の点の配置を用いて、配置の組み合わせで識別子を判別する。撮像画像において異なる識別子を有することで複数の計測対象物体の位置姿勢計測を行う手法として手法2と呼ぶ。
特開2004−233334号公報
暦本 純一,「2次元マトリックスコードを利用した拡張現実感システムの構成手法」,インタラクティブシステムとソフトウェアIV、近代科学社,pp.199−208,Dec. 1996。
手法1は、撮像装置に計測対象物体が撮像されたときに、それぞれの計測対象物体の識別する指標を手がかりにして区別した後に、撮像画像に投影された位置から現実空間の位置または位置姿勢を求めている。撮像画像に同じ指標が複数撮像された場合は、計測対象物体との対応がとれないため、個別の計測対象物体を識別する手段があれば、位置または位置姿勢を求めることが可能となる。
また、手法2では、事前に指標が区別できるようにしたものを利用することで、複数の指標が存在する場合でも、区別ができる指標が計測対象物体に貼付されていれば、各々の計測対象物体の位置姿勢を求めることができる。しかし、区別ができる指標であることを前提条件としているため、撮像画像で同じ指標として見える場合は手法1と同様に指標と計測対象の対応を取る別の手段が必要となる。
手法1および手法2では、計測対象物体上の指標を撮像した画像を用いて、計測対象物体の位置または位置姿勢を計測するという手段は同じであるが、いずれにおいても、撮像画像から指標の画面座標を求める手段において、複数の同一指標とそれを有する計測対象物体との対応付けをすることが必要となる。位置を求めるためにカメラを複数台設置して三点測量の原理で計測対象物体の位置を計測する場合においても、複数の計測対象物体が撮像されている条件では、対応付けが必要となり、指標の重複による誤検出が発生する。
撮像画像中の指標が同一で無いという条件において、手法1および2は複数の計測対象物体の位置または位置姿勢を求めることができるが、必ずしも同一で無い条件がそろっているとは限らない。
例として、位置計測手段が広く一般的に利用される状況においては、量産製品としての計測対象物体の指標は計測対象物体本体の一部として構造上一体化していることが考えられる。高精度に位置姿勢を計測するためには、計測対象物体と指標の位置関係が精度良く求められている必要がある。そのため、計測対象物体と指標を一体化することでその問題が解決する。しかし、撮像装置で撮像する指標には物理的な大きさが必要であるが、一方で指標を大きくすることによる制限としてデザインや配置位置の問題も発生する。指標を識別するための情報量は指標の面積に比例するため、量産製品の一つ一つに個別の識別子を2次元の指標として入れることは難しく、商品管理用のバーコードのように一般的には同一の指標を印刷等の手段で構成することが考えられる。つまり、撮像装置を用いて位置姿勢を計測する場合に、実際の利用では複数の計測対象物体上にある指標が同一の識別子を有し、撮像装置の撮像画像中には同一の識別子が複数観察されることが容易に想定される。
また、位置のみを求める例として、指標として赤外線発光素子を用いて、客観カメラに赤外線カメラを用いた場合、撮像した画像中では指標は点として検出されるため、複数の計測対象物体が計測範囲に存在した場合は、各々の対象がどちらであるかを分別することが難しい。赤外線を時分割発光させて発光のパターンから識別する方法も考えられているが、カメラの時間分解能を高めた高価な撮像装置を用いる必要があり、そのような高性能なカメラを複数設置することを考えるとコストが高くなる。
図1に撮像装置により複数の計測物体上の指標を撮像して位置姿勢計測している例を示す。位置姿勢計測装置101はカメラ100により計測対象物体の指標を撮像し、撮像画面102における画像の特徴抽出を行って指標の位置を検出する手段である画像特徴手段201と撮像画像の指標の点の位置から高精度に位置または位置姿勢を算出する手段である高精度位置計測手段202から構成されている。計測対象物体110が2つ存在し(110Aと110B)、ともに移動可能である。計測対象物体110には、画像による位置姿勢計測装置101が検出する画像特徴を有する指標111を貼付している。ここで指標111は、色の異なる4つの円を平面に直線上にならないように配置したものであり、円の色領域の重心を求めることで1つの画面上の位置を求めることができるものである。便宜上4つの円で構成されている部分を指標と呼ぶ。計測対象物体110Aには指標111Aが、計測対象物体110Bには指標111Bが物体に貼付されているとする。ここで、指標111Aと指標111Bが同じ構成を有している場合は、画像特徴抽出手段201で処理される撮像画面102において、同一の指標を持つ物体が2つ撮像されていることになる。計測対象物体110Aと計測対象物体110Bは、位置姿勢計測対象物体としては別々に位置姿勢が計測されることが要求されるため、撮像画面102の撮像画像では、それぞれの指標と計測物体との対応を取ることは困難となる。
上述する問題を鑑みて、複数の測定対象の指標が撮像装置により撮像された画面では同一の指標として識別されている場合において、複数の計測対象物体の概略位置を検出する別の手段を利用して複数の計測対象物体を個別に区別する手段を利用して、複数の計測対象物体の位置または位置姿勢を計測することを目的とする。
撮像装置により計測対象物体を撮像し、撮像画像中に撮像されている計測対象の投影像の画像特徴を抽出する画像特徴抽出手段により、計測対象物体の位置または位置姿勢を計測する計測方法において、可動する複数の計測対象物体が撮像装置により撮像された画像において同一の対象として認識されてしまう複数の計測対象物体の位置または位置姿勢を計測する装置であって、複数の計測対象物体の概略の位置または位置姿勢を検出する撮像装置以外の別の手段により、計測対象物体の概略の位置または位置姿勢を検出する概略位置検出手段と、概略位置検出手段を基に、複数の計測対象物体を個別に区別する対象区別手段と、各々のより精度の高い位置または位置姿勢を撮像装置により、計測する高精度位置計測手段とを有することを特徴とする複数計測対象物体の位置姿勢推定装置および方法により課題を解決することができる。
また、上述の目的は、本発明の位置姿勢計測方法をコンピュータ装置に実現されるためのコンピュータプログラム及び、このコンピュータプログラムを記録したコンピュータ装置読み取り可能な記録媒体によっても達成される。
本発明によれば、撮像画像により高精度に位置姿勢を計測する方法において、撮像画像中の画像特徴量で同一のものとして区別することのできない複数の計測対象物体の指標が同時に観測されている状況においても、個々の計測対象物体の位置姿勢計測を実現することができる。
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
図2に、本実施形態における位置姿勢計測装置200を適用した位置姿勢計測の模式図を示す。カメラ100は計測対象物体を撮像するための撮像装置である。撮像装置としては、例えば、光を電子的な信号に変換するCCDやCMOSなどの電子素子とレンズを用いたカメラを使用する。
本発明における一実施例である位置姿勢計測装置200は、カメラ100で撮像した画像の信号を受け取り、画像中に含まれる指標を検出し、画像中の指標が存在する座標を求める画像特徴抽出手段201と、指標を撮像した撮像画像中の投影面の座標値を利用して、計測対象物体の位置または位置姿勢を演算により求める手段を含む高精度位置計測手段202と、複数の測定対象物体の概略位置または位置姿勢を検出器により検出する概略位置検出手段203と、複数の計測対象物体を個別に区別する対象区別手段204で構成されている。
以下では、位置姿勢計測装置200による計測の対象である夫々の計測対象物体(図2の例では二つの計測対象物体110A、110B)に、高精度位置計測手段202による位置姿勢計測の手がかりとして用いる指標(図2の例では指標111A、111B)と、概略位置検出手段203による概略位置検出のためのタグ(図2の例ではタグ132A、132B)が貼付されているものとする。本実施形態では、異なる色に着色された4つの円形状の指標を計測対象物体の位置姿勢を計測する手がかりとして用いている。図2の例では、計測対象物体110Aと計測対象物体110Bには同じ(見かけ上は区別することができない)指標が貼付されている。
画像特徴抽出手段201は、カメラ100の撮像画像を入力し、当該画像に撮像されている夫々の指標を検出し、検出された夫々の指標がいずれの計測対象物体に対応するものであるかの識別を行う。高精度位置計測手段202は、さらに、検出された指標の画面座標値から夫々の指標の位置または位置姿勢を高精度に求め、識別された計測対象物体の位置または位置姿勢としてこれを出力する。前記の識別工程において、画像特徴抽出手段201は、カメラ100による撮像画像から、画像上で検出されている指標がどの計測対象物体の指標であるかを判断することができない場合には、画像上における指標の検出位置を対象区別手段204に引渡し、当該指標に対応する計測対象物体の識別子を計測対象物体区別手段204から取得する。
概略位置検出手段を実施するために、カメラ100の撮像範囲103内に検出器を複数配置し、計測対象物体と一緒になった検出対象を各検出器が検出するか否かの情報を基に概略位置を推定する。本実施例では指向性のある微弱な無線を用いたRFIDを用いた例を説明する。RFIDはタグと呼ばれる検出対象が、読み取り部分からの電波を受け取り、自己の識別子を返送する仕組みで、非接触で識別子を読み取ることができる。
図2には、設置されている複数の検出部130のうちの一部(検出部130Aと130B)が示されている。RFIDの夫々の検出部130は、電波の強度からタグを読み取れる範囲である指向範囲131(図2の例では指向範囲131A、131B)を有しており、指向範囲内に識別子を有するタグが存在する場合に、タグの識別子を読み取ることができる。
検出部は、本実施例においては床面に設置され指向範囲を上方に向けて設置されているが、その設置場所や指向範囲の方向は位置姿勢計測装置の撮像範囲内の識別子が検出できれば良く、特に限定はしていない。例として、天井に検出部を設置し、その指向範囲を下方へ向くように配置していても構わない。
また、夫々の検出部の検出手段が異なっていても構わない。検出部同士が近接することにより干渉が発生する場合は、異なる検出手段を用いることで干渉の問題を回避できる。
図2の例では、計測対象物体110Aにはタグ132Aが貼付しており、同様に計測対象物体110Bにはタグ132Bが貼付されている。これにより、図2に示したような状況下においては、検出部130Aの検出範囲131Aには、タグ132Aが存在することが検出され、検出部130Bの検出範囲131Bには、タグ132Bが存在することが検出される仕組みになっている。
各検出部の検出した結果は概略位置検出手段203へ伝えられる。伝達する手段としては有線を用いて電気信号により送信しても構わないし、無線や赤外線などを用いても構わない。
概略位置検出手段203は、夫々の検出部が検出したタグの識別子を入力し、検出されたタグの識別子と検出した検出部の識別子との組のリスト(以下、タグの検出情報)を作成する。概略位置検出手段203の情報は、複数の計測対象物体を個別に区別する対象区別手段204に通知される。
対象区別手段204は、画像上における指標の検出位置を画像特徴抽出手段201より通知され、検出されたタグの情報を概略位置検出手段203から取得し、夫々の検出部の検出範囲が撮像画面102のどの領域に対応しているかという情報に基づいて、入力した指標を有する計測対象物体がいずれの物体であるかの識別を行い、結果として得られた計測対象物体の識別子を高精度位置計測手段202へと出力する。対象区別手段204では、タグが何個存在するか、タグの識別子の情報、タグが存在していた領域の履歴などの情報を管理する手段を有する。
なお、対象区別手段204が常に高精度位置計測手段202に検出部の結果を通知していても構わない。検出部130での検出結果をまとめた概略位置検出手段203の情報を用いて画像特徴抽出手段201では、画像処理を行う範囲を狭くすることや従来の計測対象物体の検出結果が急変したことを知るための手がかりとして利用することも可能である。
なお、検出部130の検出範囲131とカメラ100が撮像する領域の対応関係は、3次元空間中における当該検出部の検出範囲の位置と形状、カメラ100の位置姿勢、カメラ100の画角等の情報から得ることができる。また、検出部130の感度や設置位置・姿勢などのばらつきを考慮するのであれば、タグ132を3次元空間中に移動させて検出を計測する補正手段を追加することで、より精度の良い概略位置検出が可能となる。
対象区別手段204は、夫々の検出部の検出範囲とカメラ100の撮像範囲の部分領域との対応関係に基づいて複数の計測対象物体を区別している。そのため、検出部の配置方法にも工夫が必要となる。
図3に、カメラ100の撮像範囲103における検出部130(130A、130B、130C等)の配置例を示す。検出範囲131(131A、131B、131C等)はRFIDタグを検出する範囲である。図のように、検出範囲の円が撮像範囲103に隙間が無いように等間隔に配置することで、識別子が検出されない領域を無くすことができる。さらに、検出範囲が重複する部分は複数の検出部の検出結果より、その重複する部分にタグが存在することがわかることから、重なりあう領域に計測対象物体が存在することがわかることから、その情報を基に検出精度を向上することも期待できる。
図4では、さらに測定対象が存在する確立の高い領域、もしくは、カメラ100のレンズの歪みが小さい撮像画像中心領域などの特定の領域に検出部を密に配置し、計測物体の識別を高めるための配置例である。中心付近の密に配置した検出部の検出範囲を小さくすることで、当該領域に複数の計測物体が存在する場合でも計測物体が存在する領域を識別することが可能となる。
上述の構成では、検出範囲の指向方向を全て同一としていたが、複数の物体が近接する場合の識別を可能とするには、指向方向を変えることも効果的である。例えば、図5に例示するように、床面に設置され上方に指向方向がある検出部130Aと、壁面の下方に設置され水平方向に指向方向がある検出130Dと、壁面の上方に設置され水平方向に指向方向がある検出部130Fとを用いることで、計測対象物体110Aと110Bが鉛直方向に重なり合って検出部130Aに2つのタグが検出され、それぞれの概略位置が求められない場合に、検出部130Dと130Fの検出結果を用いることで、計測対象物体110Aと110Bが存在する領域を区別することが可能となる。この場合、検出部130Aで検出され、なおかつ検出部130Dで検出されたタグ132Aは床面に近い位置に、検出部130Aで検出され、なおかつ検出部130Fで検出されタグ132Bは床面から遠い位置にそれぞれ存在していることを検出することができる。
引き続いて、上記構成における画像特徴抽出手段201と高精度位置計測手段202が行う処理について、図6に示したフローチャートを参照して説明する。図6に示す処理は、本実施形態の一つの処理例である。
画像特徴抽出手段201はステップS101からS104までの工程を実行する。ステップS101では、カメラ100を用いて位置姿勢計測装置200が計測する領域103を撮像した撮像画像102を取得する。ステップS102では、撮像画像102に含まれる指標を画像処理により検出する。上述の構成では、指標は色が異なる円であるため、撮像画像を色空間による分解を行って、それぞれの対応する色空間での検出画素のまとまりの重心位置を算出することで指標を検出することができる。以下、ステップS103からステップS109までは、検出された夫々の指標に対して処理が実行される。ステップS103では、検出された指標の画像情報に基づいて計測対象物体の識別を試み、一意に識別できた場合には対応する計測対象物体の識別子番号sを当該指標へと割り当てる。ステップS104では、ステップS103における識別が成功したか否かの判定を行い、識別できた場合はステップS107に処理を進め、識別できなかった場合(検出された指標が複数の計測対象物体に貼付されている可能性がある場合)には、ステップS105以降の処理を行う。ステップS105では、ステップS102で得た指標の撮像画像中の座標値を、対象区別手段204に入力する。本実施例のように、指標が複数の点の集合で構成されている場合には、例えば、それらの点の画像座標値の重心を代表値として利用すればよい。ステップS106では、対象区別手段204から、対象区別手段204が画像座標値との対応から検索した計測対象物体の識別子番号sを取得し、処理している指標との対応をつける。ステップS107では、ステップS102で得た指標の撮像画像中の座標値に基づいて、指標の位置姿勢を推定する。ステップS108では、ステップS107で推定した位置姿勢を、識別番号sの計測対象物体の位置姿勢として出力する。ステップS109では、全ての指標が処理されたかどうかをチェックする。未処理の指標が存在する場合は、ステップS103へ処理が戻る。全ての指標の処理が終了すれば、本処理は終了する。なお、識別子番号sと計測対象物体との対応は事前に既知であるとする。
位置姿勢計測装置での処理は、基本的にはカメラ100からの入力画像の取り込みの時間に合わせて処理が行われている。しかし、検出部の機構はカメラの信号と必ずしも同期している必要は無い。そのため、検出部からの概略位置検出手段203は、非同期で処理することが可能となる。
次に、概略位置検出手段203の処理を図7のフローチャートを用いて説明する。検出部の総数をNとし、処理対象となる検出部の番号をnとする。ステップS201では、初期値としてn=1とする。ステップS202では、検出部nの検出範囲にタグが存在しているかどうかを検出する。ステップS203では検出範囲にタグが存在するかどうかを判断し、タグが存在する場合はステップS204へと処理を進め、存在しない場合はステップS205へと処理を進める。ステップS204では、検出部が検出したタグの識別子番号sを取得し、検出部の番号nと対応させた組み合わせを保存する。次に、ステップS205において、n=n+1により番号を1つ増加させる。ステップS206では全ての検出部が処理されたかどうかをチェックして、未処理の部分がある場合は、ステップS202以降の処理を繰り返す。全ての検出部が処理された場合は、ステップS207において、タグの検出情報(ステップS204で得られた全ての組み合わせのリスト)を対象区別手段204へと出力し、本処理を終了させる。
対象区別手段204は、撮像画像102の撮像領域に対する夫々の検出部の検出範囲との対応を保持することにより、入力指標と計測対象物体の識別子との対応づけを行っている。図8に、検出部nにおける撮像画像領域の検出範囲保持の例を示す。図8の(a)は、画像により検出範囲を保持する例を示している。この例では、検出部の検出領域が円や任意の図形である場合に撮像画像との対応を画像の形で保持しておく。指標の座標が入力された場合は、1対1に対応させることができるため、検出範囲が複雑な形状であった場合でも容易に対応関係を検索することができる。これは、検出器の感度が一般的にばらついている場合や、設置方向の精度が悪い場合などに、事前に検出対象を3次元空間中に移動させて撮像領域との対応を求めることで、概略位置検出の対応を求めることができる。一方、検出部の総数Nが多い場合や、概略位置検出の補正が大変な場合は、3次元空間を移動させて検出部の検出範囲を求めることまでしなくても良い場合もある。そこで、領域を矩形などの領域にして指標の座標値から判断式等を用いて領域を検索する手法(図8の(b))も考えられる。この場合、検出部の総数Nが多い場合でも保持しておく記憶領域を少なくさせることができる。しかし、領域の境界における精度は若干落ちる。いずれの保持手法においても、計測物体が撮像画像の粗い位置関係が把握できれば本発明で実施する手法を構成することが可能であることから、保持手法は計測対象物体の測定精度や数量などにより調整して利用できれば構わない。
対象区別手段204の処理を図9のフローチャートを用いて説明する。なお、対象区別手段204は、本フローチャートで示す処理を行うのとは別の(非同期の)処理として、概略位置検出手段203が出力するタグの検出情報を随時入力しているものとする。
ステップS401では、識別の対象となる指標の撮像画面102での座標値(指標座標)を、画像特徴抽出手段201から入力する。ステップS402では図8で説明した領域保持リストから指標座標が存在する領域を持つ検出部nを検索する。検出部の検出範囲が重なる場合は、複数のnが求められる。ステップS403では、検出部nが1つか複数かの判定を行い、検出部が1つの場合にはステップS404に、複数の場合はステップS405へと処理を進める。もし、1つの検出部nだけが検索された場合は、ステップS404において、概略位置検出手段203から入力したタグの検出情報から、ステップS403で得た検出部nにおいて検出されているタグの識別子番号sを取得し、問い合わせられた指標に対応する計測対象物体の識別子として高精度位置計測手段202へと返す。もし、複数の検出部nが存在する場合は、ステップS405において、概略位置検出手段203から入力したタグの検出情報から、ステップS403で得た複数の検出部nのいずれにおいても検出されているタグを検索して、その識別子番号sを返す。識別子番号sを返して処理は終了するが、検出部が稼働していなかった場合などは、識別子番号sは未検出として返す。なお、本実施形態では説明の便宜上、計測対象物体に貼付された夫々のタグの識別子番号がそのまま計測対象物体の識別子番号を表しているものとしている。計測対象物体がタグとは異なる独自の識別子番号を有している場合には、例えば、タグの識別子番号と計測対象物体の識別子番号との対応テーブルを作成しておいて、これを参照するようにすればよい。
対象区別手段204は概略位置検出手段203が非同期で処理することも可能であるため、最新の検出結果を高精度位置計測手段に常に通知するような構成でも構わない。
さらに、本手段を実行するためにプログラム等の手段を用いて、コンピュータ上で本実施例を実現するソフトウェアを実行することで実現することも可能である。
前記実施例ではRFIDを用いる例を示しているが、計測対象物体の概略位置または位置姿勢を検出する手段を有していれば本発明の要件は満たされる。例として、検出部にコイルやホール素子などの磁界検出素子を用いて、磁界の強さや向きを用いて概略の位置または位置姿勢を検出する構成でも構わない。図10に前記実施例における計測対象物体として人を想定し、検出部として靴に設置したホール素子と、床面に電磁コイルの極性が時系列に変化するパターンを識別子とした構成を示す。複数の計測対象物体の位置を計測するため、複数台のカメラによる三角測量の原理を用いた計測を実現する例を示す。カメラ100Aとカメラ100Bは、レンズの歪みや設置位置・姿勢などのパラメータが既知であるとする。計測対象物体として指標300Aと300Bを2台のカメラで同時に撮像することにより、それぞれの位置を検出するものとする。ここで、指標300Aと300Bは、赤外線LEDなどとし、撮像画像中では同一の形態として撮像されるため、上述の構成と同様に同じ指標が撮像されているものとする。検出部は測定対象に設置したホール素子140Aと141Bであり、近接する磁場の変化を検出することができる素子である。床面に設置した電磁コイル141Aと141Bは電流の向きの変化により磁場の方向を変化させることができる。電磁コイル141Aは例として時系列に磁場の方向142Aのように変化させているものとし、同様に電磁コイル141Bも磁場の方向142Bのように変化させているものとする。指標300Aを有する計測対象物体はホール素子140Aにより磁場の変化の向きを磁場の方向142Aのように検出した場合、電磁コイル141Aが存在する領域に存在するとして検知できる。同様に指標300Bを有する計測対象物体も電磁コイル141Bの領域に存在するとして検知される。磁場の方向を、床面に対して垂直方向に設定しているために、電磁コイルの上にいる場合に局所的な領域として検出することが可能である。また、コイルの形状は円である必要はなく、矩形等にして床面をもれなく設置することも可能である。
さらに、位置姿勢を高精度に検出手段が対象とする頭部の指標と、概略位置を検出するための足下の検出部とは必ずしも固定されている必要はなく、人の姿勢の変化が許容される概略位置が検出されれば本発明での効果は満たされる。
実施例の構成としては、色を検出する検出部を装着し床面の領域を色分けして、計測対象物体である人がどの床面の領域に立っているかを検出する構成でも、上述の構成と類似した効果が期待できる。
さらに、床面の加重を計測する検出部と計測対象物体の重量を識別子の情報として用いる構成でも構わない。図11に、床面に鉛直方向にかかる荷重を検出するロードセル(荷重センサ)を検出部として、計測対象物体の重量を識別子とした構成を示す。前述の実施例2と同様に計測対象物体の位置を計測するために、カメラ100Aとカメラ100Bがそれぞれの設置パラメータ等が既知の状態でステレオ計測することが可能な状態で配置されているものとする。計測対象物体の重量は既知として、静止時の荷重がどの領域で計測されたかを検知することで、撮像装置100Aおよび100Bにより撮像された画像中の指標300Aと300Bが同一の指標として撮像されていても、計測対象物体の分別が可能となる。なお、図では検出部の領域を矩形にし、床面のタイルの下にロードセルを配置する構成としているが、薄膜状の圧電素子を床面に配置しても同様な効果が得られる。
さらに、ロードセルの代わりに音波を検出する検出部を用いて、測定対象に個別の波長を発生する識別子を保持させ検出する構成でも構わない。波長の違いのほか、パルス状に構成した波長を用いて識別子の音を発生することでも構わない。
また、本発明の実施形態における概略位置検出手段に、磁気センサによる計測対象物体の位置姿勢を求める手段を用いても構わない。複合現実感を実現する上で良く利用される磁気センサは、金属などの干渉物体や計測距離が長い場合に計測精度が悪くなることが知られている。本実施例の構成では、計測対象物体の位置姿勢は撮像装置の撮像画像に投影される指標の画面上の位置から求める手段を用いているため、磁気センサによる計測結果は必ずしも高精度に求められている必要はなく、複数対象の概略位置計測の手段としては十分に利用することができる。例として、図12に示すように磁場による位置姿勢合わせ用の検出部を用いて識別子の位置を検出することでも構わない。
磁気センサのトランスミッタ500は磁場を発生して、計測物体110Aにあるレシーバ501Aと計測対象物体110Bにあるレシーバ501Bはトランスミッタ500に対する相対位置を検出する。トランスミッタ500とレシーバ501Aと501Bとの間に、鉄などの金属製の構造物が存在すると、磁場が歪められて検出精度が低下する。しかし、本構成ではおおよその位置が確認できれば良いため、本来の三次元位置計測の精度よりも低い精度でも構わない。
この場合、概略位置検出手段203は、夫々のレシーバの計測位置を対応する計測対象物体の概略位置として対象区別手段204へと出力する。あるいは、レシーバの位置姿勢計測値を用いて、レシーバと指標との位置のオフセットを加味して、レシーバではなく指標自身の概略位置を求め、対応する計測対象物体の概略位置として出力してもよい。
対象区別手段204は、計測対象物体の概略位置を中心としてセンサの誤差を加味した計測対象物体の推定存在範囲を設定し、これを画像上に投影した撮像領域を求め、これらの情報を実施例1における検出部の検出範囲とその撮像領域と同様に取り扱えばよい。あるいは、夫々の計測対象物体の概略位置を画像上に再投影した座標と、評価の対象となる指標座標との距離を求め、その距離が最も短くなる物体に指標を対応付けることでも同様な効果を得ることができる。
<変形例1>
上記の各実施例における対象区別手段204は、ステップS404及びステップS405で必ず1つのタグのみが選択されることを前提としているが、複数のタグが同一の検出領域内に存在する場合には、指標に対応するタグおよび計測対象物体を一意に特定することができない。このような状況に対応するために、例えば、ステップS404及びステップS405では、条件を満たす全てのタグの識別子を返すようにして、画像特徴抽出手段201において、対応の候補として得られた複数の計測対象物体の指標がどのようが画像特徴を有しているかという情報に基づいて、画像処理による識別を行ってもよい。以上の工程を追加することで、指標にいくつかのバリエーションが存在する場合であれば、同一の指標が同一検出部で検出されない限りにおいては、計測対象物体の識別が可能となる。
上記の各実施例における対象区別手段204は、ステップS404及びステップS405で必ず1つのタグのみが選択されることを前提としているが、複数のタグが同一の検出領域内に存在する場合には、指標に対応するタグおよび計測対象物体を一意に特定することができない。このような状況に対応するために、例えば、ステップS404及びステップS405では、条件を満たす全てのタグの識別子を返すようにして、画像特徴抽出手段201において、対応の候補として得られた複数の計測対象物体の指標がどのようが画像特徴を有しているかという情報に基づいて、画像処理による識別を行ってもよい。以上の工程を追加することで、指標にいくつかのバリエーションが存在する場合であれば、同一の指標が同一検出部で検出されない限りにおいては、計測対象物体の識別が可能となる。
また、本実施例の対象区別手段204を、画像処理による指標の識別(図6のステップS103)のベリファイの手段としてのみ用いるような構成を取ることも可能である。反対に、ステップS103およびステップS104を省略し、対象区別手段202に基づく識別処理(ステップS105及びステップS106)を全ての指標に対して行う構成としてもよいし、対象区別手段204による識別を画像処理による識別の前処理としての一次分別(候補の絞込み)に用いても良い。
<変形例2>
実施例で述べた指標は、色の違う円を4つ平面に配置したものや、赤外線LEDなどの点として画像特徴抽出手段201で画像処理により判別できるようにしているが、画像処理で特徴抽出ができる構成が満たされて良く、非特許文献1で述べられている黒縁の四角い白領域を指標としても良いし、撮像画像上での画像の濃度勾配などの変化の組み合わせなどを用いても良く、いずれにしても画像処理にて特徴抽出できれば後段の処理が可能となる。
実施例で述べた指標は、色の違う円を4つ平面に配置したものや、赤外線LEDなどの点として画像特徴抽出手段201で画像処理により判別できるようにしているが、画像処理で特徴抽出ができる構成が満たされて良く、非特許文献1で述べられている黒縁の四角い白領域を指標としても良いし、撮像画像上での画像の濃度勾配などの変化の組み合わせなどを用いても良く、いずれにしても画像処理にて特徴抽出できれば後段の処理が可能となる。
<変形例3>
上記の各実施例で記述した一実施形態における高精度位置計測手段への画像入力としてカメラ100の1台もしくはステレオ計測で2台のカメラによる構成を記述したが、実際にはより多くの複数台の固定カメラおよび計測対象物体に付している移動カメラの画像を入力としても構わない。複数のカメラを用いることで、計測対象物体が近接する場合の隠れが発生したときに別のアングルから撮影しているカメラの画像を利用することで、高精度位置計測手段での処理を滞りなく行うことが可能となる。さらに、カメラの位置が固定されている客観視点カメラを実施例として述べたが、移動物体に取り付けられたカメラも画像入力として利用し複数計測対象物体の同一指標における処理の入力としても構わないし、それらが組み合わされて利用されている環境において実施しても構わない。
上記の各実施例で記述した一実施形態における高精度位置計測手段への画像入力としてカメラ100の1台もしくはステレオ計測で2台のカメラによる構成を記述したが、実際にはより多くの複数台の固定カメラおよび計測対象物体に付している移動カメラの画像を入力としても構わない。複数のカメラを用いることで、計測対象物体が近接する場合の隠れが発生したときに別のアングルから撮影しているカメラの画像を利用することで、高精度位置計測手段での処理を滞りなく行うことが可能となる。さらに、カメラの位置が固定されている客観視点カメラを実施例として述べたが、移動物体に取り付けられたカメラも画像入力として利用し複数計測対象物体の同一指標における処理の入力としても構わないし、それらが組み合わされて利用されている環境において実施しても構わない。
<変形例4>
さらに、計測対象物体もしくは検出部と位置姿勢計測装置200との間を有線もしくは無線通信さらには赤外線などによる光通信による情報伝達手段を用いて情報を伝送することで、計測対象物体の移動が拘束されないので本発明を実施するにあたり効果がある。
さらに、計測対象物体もしくは検出部と位置姿勢計測装置200との間を有線もしくは無線通信さらには赤外線などによる光通信による情報伝達手段を用いて情報を伝送することで、計測対象物体の移動が拘束されないので本発明を実施するにあたり効果がある。
(その他の実施例)
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実現されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。
プログラムを供給するために記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RW等の光/光磁気記録媒体、不揮発性の半導体メモリなどがある。
有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記録し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
つまり、本発明の機能処理をコンピュータで実現するためにプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
また、本発明のプログラムを暗号化してCD−ROM等の記録媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが読み出したプログラムを実現することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼働しているOSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現され得る。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
Claims (18)
- 可動する複数の計測対象物体の位置または位置姿勢を計測する装置であって、
撮像装置によって計測対象空間を撮像し、該撮像画像中に撮像されている前記計測対象の投影像の画像特徴を抽出する画像特徴抽出手段と、
前記撮像装置以外の別の手段により、前記夫々の計測対象の概略の位置または位置姿勢を検出する概略位置検出手段と、
前記概略位置検出手段によって得られた前記夫々の計測対象の位置情報を利用して、前記画像特徴抽出手段で検出された前記画像特徴が前記複数の計測対象のうちのいずれの計測対象の投影像から得られたものであるかを区別する対象区別手段と、
前記対象区別手段によって区別された前記画像特徴を利用して、前記各々の計測対象のより精度の高い位置または位置姿勢を算出する高精度位置姿勢算出手段とを有することを特徴とする複数計測対象の位置姿勢計測装置。 - 前記概略位置検出手段は、指向性を有する一つまたは複数の検出器であり、計測対象が検出範囲に存在するかどうかを検知することによって実現されることを特徴とする請求項1記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段の複数の検出器を前記高精度位置計測手段の測定範囲に等間隔に配置することを特徴とする請求項1または2に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段の複数の検出器を前記高精度位置計測手段の測定範囲において計測対象物体をより的確に区別したい範囲に密に配置することを特徴とする請求項1または2に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段で複数の検出器測の検出範囲である指向方向を異なる向きに配置し、複数の計測対象物体が近接した場合に識別できることを特徴とする請求項1乃至4に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段は、無線通信によって識別子を通信する手段であるRFIDを利用することを特徴とする請求項1乃至5に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段は、磁気を利用したセンサであることを特徴とする請求項1乃至5に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段は、音もしくは超音波を利用したセンサであることを特徴とする請求項1乃至5に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段は、加重を電気信号に変換するセンサを利用することを特徴とする請求項1乃至5に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段は、色を識別するセンサを利用することを特徴とする請求項1乃至5に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段は、赤外線を検出するセンサを利用することを特徴とする請求項1乃至5に記載の複数物体の位置姿勢計測装置。
- 前記概略位置検出手段として請求項2乃至請求項11記載の概略位置検出手段を組み合わせて利用することを特徴とする請求項1記載の複数物体の位置姿勢計測装置。
- 前記対象区別手段において、前記概略検出手段の概略位置と高精度位置計測手段の計測範囲とを関連づける情報を事前に保持することを特徴とする請求項1記載の複数物体の位置姿勢計測装置。
- 前記対象区別手段において、前記概略検出手段の概略位置と高精度位置計測手段の計測範囲とを関連づける情報を判別式もしくは演算式の形で保持することを特徴とする請求項1記載の複数物体の位置姿勢計測装置。
- 前記対象区別手段が、前記概略位置検出手段において2つ以上の計測対象物体が存在する時にだけ稼働することを特徴とする請求項1記載の複数物体の位置姿勢計測装置。
- 請求項1乃至請求項15のいずれか1項に記載の位置姿勢計測装置の各手段を実現させるための方法。
- 請求項1乃至請求項15のいずれか1項に記載の位置姿勢計測装置における各手段をコンピュータ装置に実行させるためのプログラム。
- 請求項17記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005216147A JP2007033205A (ja) | 2005-07-26 | 2005-07-26 | 複数物体の位置または位置姿勢計測装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005216147A JP2007033205A (ja) | 2005-07-26 | 2005-07-26 | 複数物体の位置または位置姿勢計測装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007033205A true JP2007033205A (ja) | 2007-02-08 |
Family
ID=37792655
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005216147A Withdrawn JP2007033205A (ja) | 2005-07-26 | 2005-07-26 | 複数物体の位置または位置姿勢計測装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007033205A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
JP2009300441A (ja) * | 2008-06-12 | 2009-12-24 | Steinbichler Optotechnik Gmbh | センサの位置を決定するための方法及び装置 |
WO2011013310A1 (ja) * | 2009-07-29 | 2011-02-03 | 株式会社 日立ハイテクノロジーズ | 自動分析装置 |
JP2013045310A (ja) * | 2011-08-25 | 2013-03-04 | Seiko Epson Corp | 表示装置、表示装置の制御方法およびプログラム |
JP2016167248A (ja) * | 2014-09-09 | 2016-09-15 | 五洋建設株式会社 | 入退場管理システム |
-
2005
- 2005-07-26 JP JP2005216147A patent/JP2007033205A/ja not_active Withdrawn
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009143722A (ja) * | 2007-12-18 | 2009-07-02 | Mitsubishi Electric Corp | 人物追跡装置、人物追跡方法及び人物追跡プログラム |
JP2009300441A (ja) * | 2008-06-12 | 2009-12-24 | Steinbichler Optotechnik Gmbh | センサの位置を決定するための方法及び装置 |
US8213003B2 (en) | 2008-06-12 | 2012-07-03 | Steinbichler Optotechnik Gmbh | Method and device for determining the position of a sensor |
WO2011013310A1 (ja) * | 2009-07-29 | 2011-02-03 | 株式会社 日立ハイテクノロジーズ | 自動分析装置 |
JP2011027658A (ja) * | 2009-07-29 | 2011-02-10 | Hitachi High-Technologies Corp | 自動分析装置 |
JP2013045310A (ja) * | 2011-08-25 | 2013-03-04 | Seiko Epson Corp | 表示装置、表示装置の制御方法およびプログラム |
US9182832B2 (en) | 2011-08-25 | 2015-11-10 | Seiko Epson Corporation | Display device, control method of display device and program |
JP2016167248A (ja) * | 2014-09-09 | 2016-09-15 | 五洋建設株式会社 | 入退場管理システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4739004B2 (ja) | 情報処理装置及び情報処理方法 | |
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
JP5467404B2 (ja) | 3d撮像システム | |
JP5036260B2 (ja) | 位置姿勢算出方法及び装置 | |
JP5230114B2 (ja) | 情報処理装置、情報処理方法 | |
JP4757142B2 (ja) | 撮影環境校正方法及び情報処理装置 | |
DK2993450T3 (en) | Method and arrangement for recording acoustic and optical information as well as a corresponding computer program and a corresponding computer-readable storage medium | |
US7676079B2 (en) | Index identification method and apparatus | |
KR100821431B1 (ko) | 정보 처리 방법, 정보 처리 장치, 및 기록매체 | |
JP5002144B2 (ja) | 三次元計測用投影装置及びシステム | |
CN107025663A (zh) | 视觉***中用于3d点云匹配的杂波评分***及方法 | |
JP5051493B2 (ja) | 三次元計測用マーカとこれを用いた三次元計測方法 | |
US20150369593A1 (en) | Orthographic image capture system | |
JP2020516883A (ja) | 高精密な校正システム及び方法 | |
EP3069100B1 (en) | 3d mapping device | |
JP2007164631A (ja) | 指標識別方法及び指標識別装置 | |
JP6282098B2 (ja) | キャリブレーション装置及び方法 | |
JP2009068968A (ja) | 位置計測システム | |
JP4848166B2 (ja) | 三次元計測用投影装置及びシステム | |
JP2007033205A (ja) | 複数物体の位置または位置姿勢計測装置および方法 | |
JP2005107965A (ja) | 指標同定方法および装置 | |
Wohlfeil et al. | Automatic camera system calibration with a chessboard enabling full image coverage | |
JP2005140547A (ja) | 3次元計測方法、3次元計測装置、及びコンピュータプログラム | |
JP6486083B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP4282067B2 (ja) | 指標識別方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20081007 |