JP3732335B2 - 画像入力装置及び画像入力方法 - Google Patents
画像入力装置及び画像入力方法 Download PDFInfo
- Publication number
- JP3732335B2 JP3732335B2 JP15892598A JP15892598A JP3732335B2 JP 3732335 B2 JP3732335 B2 JP 3732335B2 JP 15892598 A JP15892598 A JP 15892598A JP 15892598 A JP15892598 A JP 15892598A JP 3732335 B2 JP3732335 B2 JP 3732335B2
- Authority
- JP
- Japan
- Prior art keywords
- acceleration
- sensor
- posture information
- disturbance
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、連続する複数枚の画像から撮影したときカメラ等の撮像手段の姿勢と位置及び撮影した対象物の３次元形状を復元する画像入力装置及び画像入力方法に関するものである。
【０００２】
【従来の技術】
対象物の３次元形状を復元する研究は、自律移動ロボットの視覚をはじめとして様々な分野で進められている。特に近年は電子技術の飛躍的な進歩による計算機や電子機器の普及が急速に進み、手軽に３次元情報の立体表示が楽しめるようになった。それに対して実世界の対象物や情景の３次元情報入力技術の発展が期待されている。
【０００３】
対象物までの距離や形状を測定する方法は、対象物に光波や超音波を照射する能動的な方法とステレオ画像法に代表される受動的な方法がある。能動的方法は、光や電波，音波の波動を対象に照射し、対象からの反射波の伝播時間を計測することにより対象までの距離を求める方法やカメラと位置関係が既知の光源から特定のパターンを持ったスリット光やスポット光等を対象物に照射し、その歪みを観測して対象物の形状を求める光投影法などがある。能動的方法は一般に装置の小型化に問題がある反面、高速かつ高精度に距離を測定できるという特徴がある。一方、受動的方法は多眼立体視と運動立体視に大別される。多眼立体視は互いの位置と姿勢が既知である複数のカメラを用いて対象物を撮影した画像から各画像間の特徴点または領域の対応付けを行い、三角測量の原理で被写体の３次元形状を計算する方法である。しかし画像に重畳されたノイズ等により対応付けの誤差が存在したり、視差が十分にとれない場合に、大きな距離測定誤差を生じやすいという問題点がある。運動立体視は１台のカメラを移動させながらある対象物を撮影し、連続する画像間の対応付けを行い、カメラの位置と姿勢及び被写体の３次元形状を計算する方法で行なわれる。この方法も多眼立体視と同様の問題点があるほか、多眼立体視とは異なり画像間のカメラの位置と姿勢情報が未知であり、一般に複雑な非線形方程式を反復演算で解く必要がる。そのため、計算量が膨大であり、その解も不安定になりやすい。
【０００４】
この受動的方法の問題点に対し、画像以外に距離や加速度，角速度，磁気など画像以外のセンサを併用して、小さな計算コストで３次元形状復元を図る方法が特開平７−１８１０２４号公報や特開平９−８１７９０号公報，特開平９−１８７０３８号公報等に開示されている。特開平７−１８１０２４号公報に示された方法は、撮像装置に加速度センサや角速度センサなどの移動量検出部を設置し、移動量検出部で得られたカメラの移動量を並進運動成分（基線長）と回転成分に分解し、対応点探索結果より対象物の３次元形状を復元している。また、特開平９−８１７９０号公報に示された方法は、撮影装置の動きを角速度センサ及び加速度センサにより検出し、異なる視点からの光軸が任意の点で交わるように光軸方向を補正して特徴点の消失を防ぎながら３次元復元を高速に行うようにしている。特開平９−１８７０３８号公報に示された方法は、複数の視点位置から物体の一部が重複するように物体を撮影し、レンズ位置信号とカメラ位置信号より撮像パラメータを求め、撮像パラメータと各画像データを用いてシャッターを押すたびに物体の距離分布を求め、距離分布より３次元モデルを形成するようにしている。
【０００５】
【発明が解決しようとする課題】
特開平７−１８１０２４号公報に示された方法は、移動量検出部の設置により異なる視点間のカメラの相対的な位置と姿勢を求めることにより高速化と装置の小型化が可能になるが、移動量計算時に機械的な角速度センサ等のセンサ信号を積分する必要があるため、経時的に移動量の誤差成分が蓄積されるという問題がある。また、特開平９−８１７９０号公報に示された方法は、対象物とカメラの距離があらかじめ設定されているため、特定の撮影条件のもとでのみ３次元形状を復元することができる。さらに、光軸の向きを変えるための駆動機構が必要であるため、装置の構造が複雑になってしまう。特開平９−１８７０３８号公報に示された方法は、カメラ位置は加速度センサ又は振動ジャイロの出力信号を積分することにより求められるが、各センサの出力信号を積分処理することにより、経時的に移動量の誤差成分が蓄積されるという問題がある。
【０００６】
この発明はかかる問題を解消し、移動しながら物体を撮影する条件のもとで、計算コストが少なく撮影した対象物の姿勢検出を実現することができる画像入力装置及び画像入力方法を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係る画像入力装置は、撮像手段と対応検出手段と運動検出手段及び３次元演算手段を有し、撮像手段は被写体の画像を入力し、対応検出手段は撮像手段を移動して撮像したときに、撮像手段から得られた複数枚の画像間の対応点を求め、運動検出手段は姿勢算出手段と視線ベクトル算出手段と並進成分算出手段を有し、姿勢算出手段は撮像手段を移動して撮像するとき、撮像手段の各視点における重力方向に対する姿勢を検出する加速度センサと、磁気方位を検知して撮像手段の重力回りの回転角を検出する磁気センサと撮像手段の回転角速度を検知する角速度センサのいずれか一方又は双方の検出値から撮像手段の姿勢情報を算出し、視線ベクトル算出手段は姿勢算出手段で算出した姿勢情報と撮像手段で撮像したときの焦点距離から各対応点の視線ベクトルを算出し、並進成分算出手段は対応点の視線ベクトル群より撮像手段の並進運動成分を算出し、３次元演算手段は算出した撮像手段の姿勢情報と並進運動成分及び特徴点の対応付け結果から被写体の３次元形状を計算して復元することを特徴とする。
【０００８】
この発明に係る画像入力方法は、撮像手段を移動して複数の視点で被写体の画像を入力し、撮像手段から得られた複数枚の画像間の対応点を求め、各視点における撮像手段の重力方向に対する姿勢を加速度センサで検出し、撮像手段の重力回りの回転角を、磁気方位を検知する磁気センサあるいは撮像手段の回転角速度を検知する角速度センサ又は磁気センサと角速度センサの両方で検出し、撮像手段の重力方向に対する姿勢と重力回りの回転角から撮像手段の姿勢情報を算出し、算出した姿勢情報と撮像手段で撮像したときの焦点距離から各対応点の視線ベクトルを算出し、算出した対応点の視線ベクトル群より撮像手段の並進運動成分を算出し、算出した撮像手段の姿勢情報と並進運動成分及び特徴点の対応付け結果から被写体の３次元形状を計算して復元することを特徴とする。
【０００９】
上記加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出する乱れ信号検出手段を有することが望ましい。そして、加速度センサの検出値に含まれる重力加速度以外の加速度成分を乱れとして検出したときに、加速度センサの出力信号から算出した姿勢情報を磁気センサで求めた姿勢情報又は磁気センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償する。また、磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出したときに、磁気センサの出力信号から算出した姿勢情報を加速度センサで求めた姿勢情報又は加速度センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償したり、加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出したときに、加速度センサと磁気センサの出力信号から算出した姿勢情報を角速度センサで求めた姿勢情報で補償する。
【００１０】
【発明の実施の形態】
この発明の画像入力装置は撮像手段と対応検出手段と運動検出手段と３次元演算手段及び記憶手段を有する。撮像手段は被写体を撮影し、その画像情報を電気信号に変換する。対応検出手段は撮像手段を移動しながら連続的に撮影した画像間の特徴点の対応付けを行う。運動検出手段は撮像手段を移動して撮影しているときに、撮像手段の姿勢情報を算出し、算出した姿勢情報と撮影した画像間の特徴点の対応付け結果から撮像手段の位置情報である並進成分を算出するものであり、センサ部と前処理手段と姿勢算出手段と視線ベクトル算出手段と並進成分算出手段及び乱れ信号検出手段を有する。センサ部には撮像手段の重力方向に対する姿勢を検出する３軸加速度センサと撮像手段の重力回りの回転角を磁気方位を検知する３軸磁気センサ及び撮像手段の回転角速度を検知する３軸角速度センサを有する。３次元演算手段は運動検出手段から出力される姿勢情報と並進成分及び対応検出手段の対応付け結果より三角測量の原理で被写体の３次元構造を算出する。記憶手段は得られた姿勢情報と並進成分と被写体の３次元形状及び各画像を記録する。
【００１１】
撮像手段で撮影している画像取込み開始を指令すると、運動検出手段の姿勢算出手段は画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段の姿勢の初期値を検出する。そののち画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影と姿勢算出を行う。この姿勢算出を行なうときに、乱れ信号検出手段が３軸加速度センサの信号に乱れを検出した場合、姿勢算出手段は加速度センサの出力信号から算出した姿勢情報を磁気センサの出力信号で求めた姿勢情報と角速度センサの出力信号で求めた姿勢情報で補償する。そして各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段に格納する。画像取込み停止が指令が出されると、対応検出手段は記憶手段に格納された時系列の画像情報より対応付けを行い、視線ベクトル算出手段は対応付け結果と姿勢情報により各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する。並進成分算出手段は対応点の視線ベクトル群より並進成分を求める。３次元演算手段は並進成分と姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う。
【００１２】
【実施例】
図１はこの発明の一実施例の構成を示すブロック図である。図に示すように、画像入力装置１は撮像手段２と焦点距離検出手段３と運動検出手段４と対応検出手段５と３次元演算手段６及び記憶手段７を有する。撮像手段２はレンズとＣＣＤ等の画像センサとサンプル・ホールド回路等より構成され、被写体を撮影し、その画像情報を電気信号に変換する。焦点距離検出手段３は、撮像手段２のレンズの位置に応じて焦点距離を求めて符号化して出力する。運動検出手段４は撮像手段２を移動して撮影しているときに、撮像手段２の姿勢情報と位置情報である並進成分を算出する。対応検出手段５は撮像手段２を移動しながら連続的に撮影した画像間の特徴点の対応付けを行う。この対応付けには動画像における一般的な特徴追跡法、例えば動画像圧縮で使用されているブロックマッチング等の相関法や時空間により画像の速度場を求めて画像の動きベクトルを算出する方法等が利用される。３次元演算手段６は運動検出手段４から出力される姿勢情報と並進成分及び対応検出手段５の対応付け結果より三角測量の原理で被写体の３次元構造を算出する。記憶手段７は半導体メモリや磁気テープ等からなり、得られた姿勢情報と並進成分と被写体の３次元形状及び各画像を記録する。
【００１３】
運動検出手段４は、図２，図３のブロック図に示すように、センサ部４１と前処理手段４２と姿勢算出手段４３と視線ベクトル算出手段４４及び並進成分算出手段４５を有する。センサ部４１には、図２に示すように、撮像手段２の重力方向に対する姿勢を検出する３軸加速度センサ４１１ａ，４１１ｂ，４１１ｃと、撮像手段２の重力回りの回転角を磁気方位を検知する３軸磁気センサ４１２ａ，４１２ｂ，４１２ｃを有したり、図３に示すように、３軸加速度センサ４１１ａ，４１１ｂ，４１１ｃと３軸磁気センサ４１２ａ，４１２ｂ，４１２ｃ及び撮像手段２の回転角速度を検知する３軸角速度センサ４１３ａ，４１３ｂ，４１３ｃを有する。
【００１４】
上記のように構成した画像入力装置１の動作を説明するにあたり、まず運動検出手段４で３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出値から撮像手段２の姿勢情報と並進運動成分を算出する動作と、３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値から撮像手段２の姿勢情報と並進運動成分を算出する動作を説明する。
【００１５】
〔１〕３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出値を使用した場合。
図４に示すように、撮像手段２のｘｙｚ座標系のｚ軸の正方向を光軸方向とし、ｘ軸の正方向を画像面２１に対して右向き方向とし、ｙ軸の正方向を画像面２１に対して下向き方向とし、図５に示すように、ワールド座標系のＹ軸の正方向を重力加速度の向きとし、Ｚ軸の正方向を磁気の向きとし、Ｘ軸の正方向をＸＹＺの順に右手直交系をなす向きとする。また、簡単のために撮像手段２の移動により生じる運動速度は無視でき、重力加速度と磁場は直交し、かつ磁場は地磁気以外に存在しないと仮定する。なお、厳密には地磁気の伏角が存在し、地磁気と重力加速度とは直交しないが、伏角が既知ならば地磁気の向きと重力加速度が直交する場合と同様に計算できる。また、３軸で地磁気を検出すれば伏角が未知でも姿勢情報を計算可能である。すなわち、Ｘ軸の正方向を東向きにとり、Ｚ軸の正方向を北向きにとる。
【００１６】
加速度センサ４１１ａは重力加速度のｘ軸成分を検出し、加速度センサ４１１ｂは重力加速度のｙ軸成分を検出し、加速度センサ４１１ｃは重力加速度のｚ軸成分を検出する。磁気センサ４１２ａ〜４１２ｃも同様に地磁気のｘ軸成分とｙ軸成分及びｚ軸成分を検出する。前処理手段４２は３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの出力信号のフィルタリングや増幅等の信号処理やＡ／Ｄ変換を行う。姿勢算出手段４３は前処理手段４２で処理したセンサ信号より撮像手段２の姿勢情報を算出する。視線ベクトル算出手段４４は焦点距離検出手段３から出力された焦点距離と姿勢算出手段４３で算出した姿勢情報より、対応検出手段５から出力される各時刻における対応点に対してワールド座標系を基準とした視線ベクトルを算出する。並進成分算出手段４５は視線ベクトル算出手段４４で算出した各時刻の対応点のワールド座標系を基準とした視線ベクトル群より撮像手段２の並進成分を算出する。
【００１７】
この撮像手段２の並進成分を算出するときの動作を詳細に説明する。ワールド座標系に対する装置座標系の姿勢をワールド座標系を基準とした下記（１）式の回転行列で記述する。
【００１８】
【数１】
【００１９】
（１）式において、α，β，γはそれぞれワールド座標系を基準としたＸ軸とＹ軸とＺ軸回りの回転角であり、このとき画像入力装置１を次ぎの順に回転させたことに相当する。すなわち、ＸＹＺ座標系とｘｙｚ座標系が一致している状態から、画像入力装置１をＺ軸回りにγだけ回転してからＸ軸回りにαだけ回転し、その後、Ｙ軸回りにβだけ回転する。ここで重力加速度ベクトルｇvと地磁気ベクトルＭvをワールド座標系において下記（２）式で表わし、加速度センサ４１１ａ〜４１１ｃと磁気センサ４１２ａ〜４１２ｃにより検出された装置座標系を基準とした加速度ベクトルａvと地磁気ベクトルｍvをそれぞれ下記（３）式で表わすと、重力加速度ベクトルｇvと加速度ベクトルａvの関係及び地磁気ベクトルＭvと地磁気ベクトルｍvの関係は、回転ベクトルＲを用いて下記（４）式と（５）式で記述される。
【００２０】
【数２】
【００２１】
（３）式において、Ｍは地磁気の絶対値、φは地磁気の伏角である。（４）式よりＸ軸回りの回転角αとＺ軸回りの回転角γが下記（６）式と（７）式で計算される。
【００２２】
【数３】
【００２３】
また、Ｘ軸回りの回転角αとＺ軸回りの回転角γが既知である場合、（５）式により地磁気ベクトルｍvからＹ軸回りの回転角βが下記（８）式と（９）式で計算される。
【００２４】
【数４】
【００２５】
姿勢算出手段４３は以上の計算により回転角α、β、γ及び回転行列Ｒを３軸加速度センサ４１１ａ〜４１１ｃ及び３軸磁気センサ４１２ａ〜４１２ｃの検出値より算出する。
【００２６】
また、撮像手段２の光学系は、図４に示すように、焦点距離をｆとする中心射影モデルであると仮定すると、対象点Ａの画像上の点Ｂ（ｘ，ｙ）に対する単位視線ベクトルｐは下記（１０）式で求められる。
【００２７】
【数５】
【００２８】
但し（１０）式の単位視線ベクトルｐは撮像座標系を基準とした視線ベクトルである。例えば図６に示すように、第１視点Ｃ１で撮像した時刻（ｔ−１）における対象点Ａｉの画像上の点Ｂ１（ｘt-1,I,ｙt-1,i)と第２視点Ｃ２で撮像した時刻ｔにおける対象点Ａｉの画像上の点Ｂ２（ｘt,I,ｙt,i）に対しては、下記（１１）式と（１２）式で単位視線ベクトルｐt-1,i,と単位視線ベクトルｐt,iが算出される。
【００２９】
【数６】
【００３０】
この撮像座標系を基準とした時刻（ｔ−１）の単位視線ベクトルｐt-1,iと時刻（ｔ）の単位視線ベクトルｐt,iをワールド座標系を基準とした視線ベクトルに変換するには、時刻（ｔ−１）及び時刻（ｔ）における姿勢情報すなわち（１）式の回転行列Ｒt-1と回転行列Ｒtを必要とする。この回転行列Ｒt-1と回転行列Ｒtは姿勢算出手段４３により求められるため、視線ベクトル算出手段４４は撮像座標系を基準とした単位視線ベクトルｐt-1,iと単位視線ベクトルｐt,iを（１３）式と（１４）式でワールド座標系を基準とした視線ベクトルＰt-1,iと視線ベクトルＰtに変換する。
【００３１】
【数７】
【００３２】
並進成分算出手段４５は、視線ベクトル算出手段４４で算出した各時刻の対応点のワールド座標系を基準とした視線ベクトル群より、撮像手段２の並進成分を算出する。例えば図６において、視線ベクトルＰt-1,Iと視線ベクトルＰtが対応関係にあるとすると、視線ベクトルＰt-1,iと視線ベクトルＰt及び並進成分を示す単位ベクトルｂの３つのベクトルは同一平面上に存在し、下記（１５）式のスカラ３重積で表される。
【００３３】
【数８】
【００３４】
この（１５）式を満たすベクトルｂが並進運動ベクトルであるが、通常、画像のノイズ等の影響により（１５）式は全ての対応点の組に対しては成立しない。そこでＮ組の対応点がある場合、下記（１６）式でスカラ３重積を最小化するベクトルｂを求めれば良い。
【００３５】
【数９】
【００３６】
〔２〕３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値を使用した場合。
撮像手段２のｘｙｚ座標系は、図４に示すように、ｚ軸の正方向を光軸方向とし、ｘ軸の正方向を画像面２１に対して右向き方向とし、ｙ軸の正方向を画像面２１に対して下向き方向とし、ワールド座標系は、図７に示すように、Ｙ軸の正方向を重力加速度の向きとする。姿勢算出手段４３で３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値から回転角α、β、γ及び回転行列Ｒを算出するために、ワールド座標系に対する撮像手段２の装置座標系の姿勢をワールド座標系を基準とした（１）式の回転行列Ｒで記述する。また、重力加速度ベクトルｇvをワールド座標系において（２）式で表わし、加速度センサ４１１ａ〜４１１ｃにより検出された装置座標系を基準とした加速度ベクトルａvを（３）式で表わすと、重力加速度ベクトルｇvと加速度ベクトルａvの関係は（４）式で記述される。この（４）式よりＸ軸回りの回転角αとＺ軸回りの回転角γが（６）式と（７）式で計算される。ここで時刻ｔ＝０においてβ＝０と初期化し、図７に示すように、ワールド座標系のＸ軸を時刻ｔ＝０における装置座標系のｘ軸の水平面に対する正射影とし、ワールド座標系のＺ軸を時刻ｔ＝０における装置座標系のｚ軸の水平面に対する正射影として定義する。
【００３７】
一方、３軸角速度センサ４１３ａ〜４１３ｃで求めた角速度ベクトルｑvを下記（１７）式とすると、Ｘ軸回りの回転角αとＹ軸回りの回転角β及びＺ軸回りの回転角γの時間的な変化は下記（１８）式と（１９）式及び（２０）式で表わせる。
【００３８】
【数１０】
【００３９】
上記（１８）式と（１９）式及び（２０）式を積分することにより、下記（２１）式と（２２）式及び（２３）式で時刻ｔにおける回転角α、β、γを得ることができる。
【００４０】
【数１１】
【００４１】
上記（２１）〜（２３）式でα0、γ0はそれぞれ時刻ｔ＝０で３軸加速度センサ４１３ａ〜４１３ｃで求めたα、γの値としβ0＝０とする。この計算により、α、β、γ及び回転行列Ｒを、３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値より算出することができる。そして、この場合も視線ベクトル算出手段４４と並進成分算出手段４５は、前記（１０）式〜（１６）式に基づき撮像手段２の並進成分を算出する。
【００４２】
なお、上記運動検出手段４の動作説明では３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃを使用した場合と、３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃを使用した場合について説明したが、４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃ及び３軸角速度センサ４１３ａ〜４１３ｃを同時に使用しても良い。
【００４３】
次ぎに、対応検出手段５で連続的に撮影した画像間の特徴点の対応付けを行う動作の一例として、時間的に隣合う２枚の画像において、相互相関によるブロックマッチングにより対応点を検出する方法について説明する。例えば図６に示すように第１視点Ｃ１で時刻（ｔ−１）に撮像した画像面Ｉ１におけるｉ番目の特徴点ＰI(ｘi0，ｙi0）と、第２視点Ｃ２で時刻ｔに撮像した画像面Ｉ２におけるｉ番目の特徴点Ｐi(ｘi0＋ｄｘ，ｙi0＋ｄｙ）の対応付けを、第８図に示すように（２Ｎ＋１）と（２Ｐ＋１）の相関窓５１を用いたブロックマッチングで行う場合、下記（２４）式で計算される相関相互相関値Ｓｉを最大に点を順次対応点として選ぶ。
【００４４】
【数１２】
【００４５】
（２４）式でＩt-1（ｘ，ｙ）は時刻（ｔ−１）の画像面Ｉ１の点（ｘ，ｙ）における濃度、Ｉt（ｘ，ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）における濃度、ＭＩt-1（ｘ，ｙ）は時刻（ｔ−１）の画像面Ｉ１の点（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ＋１）の相関窓５１における平均濃度、ＭＩt（ｘ，ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ＋１）の相関窓５１における平均濃度を示し、Ｋは定数である。
【００４６】
上記のように構成された画像入力装置１の動作を図９のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。そして画像取込み停止が指令されるまで一定時間間隔ごとに画像撮影と姿勢算出手段４３による姿勢検出を行い、各時刻における画像と姿勢情報を記憶手段７に格納する（ステップＳ３，Ｓ４，Ｓ５）。画像取込み停止が指令が出されると、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ６）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ７）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ８）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ９）。
【００４７】
上記のようにして撮像手段２で撮像した画像と加速度信号及び磁気信号あるいは角速度信号で３次元形状復元を行なっているときに、回転角α，γは（６）式と（７）式から求められるが、撮影時に生じる加速度は重力加速度に比較して無視できるほど小さく、磁場は地磁気以外に存在せず（２）式と（３）式との間に下記（２５）式と（２６）式の関係が成立していることを前提として計算されている。
【００４８】
【数１３】
【００４９】
そのため、撮影時に生じる加速度が一時的に大きくなったり、他の電気製品からの磁場の影響を受ける場合には、正確な姿勢情報を計算することができない。そこで、図１０のブロック図に示すように運動検出手段４に乱れ信号検出手段４６を設け、乱れ信号検出手段４６により、重力加速度以外の加速度成分の発生と地磁気以外の磁場の発生を検出する。例えば３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃのそれぞれの基準電圧値と感度は記憶手段７に格納されており既知である。そこで３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの出力電圧値と記憶手段７に格納された基準電圧値と感度より、３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出した加速度及び磁気の絶対値を算出する。算出した加速度の絶対値と重力加速度の絶対値との差があらかじめ定めたしきい値、例えば０．１ｇ以上の場合は、重力加速度以外の加速度成分または外乱が含まれると判断し、姿勢算出手段４３に加速度センサ信号の乱れを通知する。また，算出した磁気の絶対値と地磁気の絶対値との差がしきい値、例えば０．１Ｍ以上の場合は、地磁気以外の磁気成分または外乱が含まれると判断し、姿勢算出手段４３に磁気センサ信号の乱れを通知する。
【００５０】
この乱れ信号検出手段４６により、重力加速度以外の加速度成分の発生と地磁気以外の磁場の発生を検出しながら３次元形状復元を復元するときの動作を図１１のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ１１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ１２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。この撮影中に加速度信号の乱れが検出されると初期値α0、γ0の正確な値が出ないので、撮影開始時の撮像手段２の扱いには注意する必要がある。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行い、各時刻における画像及び姿勢情報を記憶手段７に格納する。また、加速度信号と磁気信号の乱れ検出結果をも記憶手段７に格納し、姿勢算出結果に誤差が発生した個所を、後で利用者が確認できるようにする（ステップＳ１３，Ｓ１４，Ｓ１５）。画像取込み停止が指令が出されると、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ１６）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ１７）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ１８）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ１９）。
【００５１】
このように加速度センサ信号と磁気センサ信号の乱れを検知することにより、撮像手段２の運動を正確に検出できるとともに信頼性の高い３次元形状復元を行なうことができる。また、加速度センサ信号と磁気センサ信号の乱れを検知した箇所を記憶することにより、利用者が姿勢検出誤差が生じた箇所を知ることができ、使用勝手を高めることができる。
【００５２】
次ぎに上記のように乱れ信号検出手段４６で加速度センサ信号の乱れを検出したときに、加速度センサ信号による姿勢検出結果を、磁気センサ信号及び角速度センサ信号による姿勢検出結果で補償するときの動作を図１２のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ２１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ２２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行う（ステップＳ２３，Ｓ２４）。この姿勢算出を行なうときに、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃの信号に乱れを検出しない場合（ステップＳ２５）、姿勢算出手段４３は加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、磁気センサ信号を用いて（９）式より回転角βを求めたり、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ２６）。また、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃの信号に乱れを検出した場合（ステップＳ２５）、姿勢算出手段４３は、まず角速度センサ信号を用いて（２１）式と（２３）式より回転角α、γを求める。次ぎに、磁気センサ信号と上記で求めた回転角αを用いて（９）式で回転角βを求めたり、角速度センサ信号を用いて（２２）式より回転角βを求める（ステップＳ２７）。そして、各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段７に格納する（ステップＳ２８）。画像取込み停止が指令が出されると（ステップＳ２３）、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ２９）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ３０）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ３１）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ３２）。
【００５３】
このように加速度センサ信号の乱れが検知されると、加速度センサ信号による姿勢検出結果を、磁気センサ信号及び角速度センサ信号による姿勢検出結果で補償することにより姿勢検出誤差を低減することができる。
【００５４】
次ぎに上記のように乱れ信号検出手段４６で磁気センサ信号の乱れを検出したときに、磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償するときの動作を図１３のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ４１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ４２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行う（ステップＳ４３，Ｓ４４）。この姿勢算出を行なうときに、乱れ信号検出手段４６が３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出しない場合（ステップＳ４５）、姿勢算出手段４３は加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、磁気センサ信号を用いて（９）式より回転角βを求めたり、角速度センサ信号を用いて（２２）式より回転角βを求める（ステップＳ４６）。また、乱れ信号検出手段４６が３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出した場合（ステップＳ４５）、加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ４７）。そして、各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段７に格納する（ステップＳ４８）。画像取込み停止が指令が出されると（ステップＳ４３）、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ４９）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ５０）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ５１）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ５２）。
【００５５】
このように磁気センサ信号の乱れが検知されると、磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償することにより姿勢検出誤差を低減することができる。
【００５６】
次ぎに加速度センサ信号と磁気センサ信号の乱れが検知されたときに、加速度センサ信号と磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償するときの動作を図１４のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ６１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号又は角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ６２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行う（ステップＳ６３，Ｓ６４）。この姿勢算出を行なうときに、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出しない場合（ステップＳ６５）、姿勢算出手段４３は加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、磁気センサ信号を用いて（９）式より回転角βを求めたり、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ６６）。また、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３軸加速度センサ４１１ａ〜４１１ｃの信号に乱れを検出した場合（ステップＳ６５）、姿勢算出手段４３は、まず角速度センサ信号を用いて（２１）式と（２３）式より回転角α、γを求める。次ぎに、磁気センサ信号と上記で求めた回転角αを用いて（９）式で回転角βを求めたり、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ６７）。また、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出した場合（ステップＳ６５）、加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、角速度センサ信号を用いて（２２）式より回転角βを求める（ステップＳ６７）。さらに、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの両方の信号に乱れを検出した場合（ステップＳ６５）、３軸角速度センサ４１３ａ〜４１３ｃの信号を用い、（１８）式〜（２３）式より回転角α、β、γを算出する（ステップＳ６８）。そして、各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段７に格納する（ステップＳ６９）。画像取込み停止が指令が出されると（ステップＳ６３）、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ７０）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ７１）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ７２）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ７３）。
【００５７】
このように加速度センサ信号と磁気センサ信号の乱れが検知されたときに、加速度センサ信号と磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償するから、姿勢検出誤差を低減することができる。
【００５８】
上記実施例は、撮影した画像と算出した姿勢情報を記憶手段７にまとめて格納し、そののち対応検出と並進運動検出及び３次元形状算出をオフライン処理する方式で説明したが、上記処理を実時間処理しても良い。また、撮像手段２が固定焦点である場合には、焦点距離検出手段３を省いても良い。さらに、撮影した画像と算出した姿勢情報と３次元形状情報等を記憶手段７に記憶するのではなく、ネットワークなどに転送しても良い。また、加速度信号や磁気信号が乱れた時刻において角速度センサ信号で姿勢情報の補償を行なう場合について説明したが、信号の乱れる前の時刻における姿勢に角速度信号で検出した微小時刻における角度変化、即ち（２１）式〜（２３）式のｄα、ｄβ、ｄγに相当する分を加えるなど、別の補償法をとっても良い。
【００５９】
〔具体例１〕実際に撮像手段２で対象物を撮影して撮像手段２の運動を検出した結果を図１５から図１９に示す。図１５は加速度センサ信号により算出した回転角αの値と実際の回転角を示し、図１６は角速度センサ信号により算出した回転角αの値と実際の回転角を示し、図１７は加速度センサ信号の乱れた時刻において、角速度センサ信号で求めた回転角αで補償した結果と実際の回転角を示す。また、図１８は磁気センサ信号により算出した回転角βの値と実際の回転角を示し、図１９は磁気センサ信号の乱れた時刻において、角速度センサ信号で求めた回転角βで補償した結果と実際の回転角を示す。図１５〜図１７に示すように、撮像手段２が回転開始したり停止するときに撮像手段２に加える加速度が大きくなり、加速度センサ信号により算出した回転角αの検出誤差が大きくなったが、角速度センサ信号で求めた回転角αで補償することにより姿勢検出の誤差を大幅に低減することができた。また、図１８、図１９に示すように、撮像手段２の周囲にあるモータ等から生じる磁場の影響を角速度センサ信号で求めた回転角βで補償することにより姿勢検出誤差を大幅に低減することができた。さらに、対象物を連続撮影した結果、対象物の３次元形状を精度良く復元することができた。
【００６０】
【発明の効果】
この発明は以上説明したように、撮像手段の重力方向に対する姿勢を加速度センサで検出し、撮像手段の重力回りの回転角を、磁気方位を検知する磁気センサあるいは撮像手段の回転角速度を検知する角速度センサのいずれか一方又は双方で検出して、移動して撮像する撮像手段の姿勢情報を検知するようにしたから、撮像手段で撮影した被写体の３次元形状を簡単な計算で精度良く復元することができる。
【００６１】
また、加速度センサ信号と磁気センサ信号の乱れを検知することにより、撮像手段の運動と３次元形状復元の信頼性を高めることができる。また、信号の乱れを検知した箇所を記憶することにより、利用者が姿勢検出誤差が生じた箇所を知ることができ、利用者の便宜を図ることができる。
【００６２】
また、加速度センサ信号の乱れを検知したときに、加速度センサ信号による姿勢検出結果を、磁気センサ信号や角速度センサ信号による姿勢検出結果で補償することにより、撮像手段の姿勢検出誤差を低減することができ、３次元形状を精度良く復元することができる。
【００６３】
さらに、磁気センサ信号の乱れを検知したときに、磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償することにより、撮像手段の姿勢検出誤差を低減することができ、３次元形状を精度良く復元することができる。
【００６４】
また、加速度センサ信号と磁気センサ信号の乱れを検知したときに、加速度センサ信号と磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償することにより、撮像手段の姿勢検出誤差をより低減することができ、３次元形状を精度良く復元することができる。
【図面の簡単な説明】
【図１】この発明の実施例の構成を示すブロック図である。
【図２】運動検出手段の構成を示すブロック図である。
【図３】運動検出手段の他の構成を示すブロック図である。
【図４】撮像手段の装置座標系を示す説明図である。
【図５】ワールド座標系を示す説明図である。
【図６】第１視点と第２視点の視線ベクトルを示す説明図である。
【図７】ワールド座標系と装置座標系の対応を示す説明図である。
【図８】特徴点の対応付けを示す説明図である。
【図９】画像入力装置の３次元形状復元動作を示すフローチャートである。
【図１０】乱れ検知手段を有する運動検出手段の構成を示すブロック図である。
【図１１】加速度センサ信号と磁気センサ信号の乱れ検知動作を示すフローチャートである。
【図１２】加速度センサ信号の乱れ補償動作を示すフローチャートである。
【図１３】磁気センサ信号の乱れ補償動作を示すフローチャートである。
【図１４】加速度センサ信号と磁気センサ信号の乱れ補償動作を示すフローチャートである。
【図１５】加速度センサ信号により算出した回転角と実際の回転角を示す分布図である。
【図１６】角速度センサ信号により算出した回転角と実際の回転角を示す分布図である。
【図１７】加速度センサ信号により算出した回転角を補償した回転角と実際の回転角を示す分布図である。
【図１８】磁気センサ信号により算出した回転角と実際の回転角を示す分布図である。
【図１９】磁気センサ信号により算出した回転角を補償した回転角と実際の回転角を示す分布図である。
【符号の説明】
１ 画像入力装置
２ 撮像手段
３ 焦点距離検出手段
４ 運動検出手段
５ 対応検出手段
６ ３次元演算手段
７ 記憶手段
４１ センサ部
４２ 前処理手段
４３ 姿勢算出手段
４４ 視線ベクトル算出手段
４５ 並進成分算出手段
４６ 乱れ信号検出手段
４１１ 加速度センサ
４１２ 磁気センサ
４１３ 角速度センサ
【発明の属する技術分野】
この発明は、連続する複数枚の画像から撮影したときカメラ等の撮像手段の姿勢と位置及び撮影した対象物の３次元形状を復元する画像入力装置及び画像入力方法に関するものである。
【０００２】
【従来の技術】
対象物の３次元形状を復元する研究は、自律移動ロボットの視覚をはじめとして様々な分野で進められている。特に近年は電子技術の飛躍的な進歩による計算機や電子機器の普及が急速に進み、手軽に３次元情報の立体表示が楽しめるようになった。それに対して実世界の対象物や情景の３次元情報入力技術の発展が期待されている。
【０００３】
対象物までの距離や形状を測定する方法は、対象物に光波や超音波を照射する能動的な方法とステレオ画像法に代表される受動的な方法がある。能動的方法は、光や電波，音波の波動を対象に照射し、対象からの反射波の伝播時間を計測することにより対象までの距離を求める方法やカメラと位置関係が既知の光源から特定のパターンを持ったスリット光やスポット光等を対象物に照射し、その歪みを観測して対象物の形状を求める光投影法などがある。能動的方法は一般に装置の小型化に問題がある反面、高速かつ高精度に距離を測定できるという特徴がある。一方、受動的方法は多眼立体視と運動立体視に大別される。多眼立体視は互いの位置と姿勢が既知である複数のカメラを用いて対象物を撮影した画像から各画像間の特徴点または領域の対応付けを行い、三角測量の原理で被写体の３次元形状を計算する方法である。しかし画像に重畳されたノイズ等により対応付けの誤差が存在したり、視差が十分にとれない場合に、大きな距離測定誤差を生じやすいという問題点がある。運動立体視は１台のカメラを移動させながらある対象物を撮影し、連続する画像間の対応付けを行い、カメラの位置と姿勢及び被写体の３次元形状を計算する方法で行なわれる。この方法も多眼立体視と同様の問題点があるほか、多眼立体視とは異なり画像間のカメラの位置と姿勢情報が未知であり、一般に複雑な非線形方程式を反復演算で解く必要がる。そのため、計算量が膨大であり、その解も不安定になりやすい。
【０００４】
この受動的方法の問題点に対し、画像以外に距離や加速度，角速度，磁気など画像以外のセンサを併用して、小さな計算コストで３次元形状復元を図る方法が特開平７−１８１０２４号公報や特開平９−８１７９０号公報，特開平９−１８７０３８号公報等に開示されている。特開平７−１８１０２４号公報に示された方法は、撮像装置に加速度センサや角速度センサなどの移動量検出部を設置し、移動量検出部で得られたカメラの移動量を並進運動成分（基線長）と回転成分に分解し、対応点探索結果より対象物の３次元形状を復元している。また、特開平９−８１７９０号公報に示された方法は、撮影装置の動きを角速度センサ及び加速度センサにより検出し、異なる視点からの光軸が任意の点で交わるように光軸方向を補正して特徴点の消失を防ぎながら３次元復元を高速に行うようにしている。特開平９−１８７０３８号公報に示された方法は、複数の視点位置から物体の一部が重複するように物体を撮影し、レンズ位置信号とカメラ位置信号より撮像パラメータを求め、撮像パラメータと各画像データを用いてシャッターを押すたびに物体の距離分布を求め、距離分布より３次元モデルを形成するようにしている。
【０００５】
【発明が解決しようとする課題】
特開平７−１８１０２４号公報に示された方法は、移動量検出部の設置により異なる視点間のカメラの相対的な位置と姿勢を求めることにより高速化と装置の小型化が可能になるが、移動量計算時に機械的な角速度センサ等のセンサ信号を積分する必要があるため、経時的に移動量の誤差成分が蓄積されるという問題がある。また、特開平９−８１７９０号公報に示された方法は、対象物とカメラの距離があらかじめ設定されているため、特定の撮影条件のもとでのみ３次元形状を復元することができる。さらに、光軸の向きを変えるための駆動機構が必要であるため、装置の構造が複雑になってしまう。特開平９−１８７０３８号公報に示された方法は、カメラ位置は加速度センサ又は振動ジャイロの出力信号を積分することにより求められるが、各センサの出力信号を積分処理することにより、経時的に移動量の誤差成分が蓄積されるという問題がある。
【０００６】
この発明はかかる問題を解消し、移動しながら物体を撮影する条件のもとで、計算コストが少なく撮影した対象物の姿勢検出を実現することができる画像入力装置及び画像入力方法を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
この発明に係る画像入力装置は、撮像手段と対応検出手段と運動検出手段及び３次元演算手段を有し、撮像手段は被写体の画像を入力し、対応検出手段は撮像手段を移動して撮像したときに、撮像手段から得られた複数枚の画像間の対応点を求め、運動検出手段は姿勢算出手段と視線ベクトル算出手段と並進成分算出手段を有し、姿勢算出手段は撮像手段を移動して撮像するとき、撮像手段の各視点における重力方向に対する姿勢を検出する加速度センサと、磁気方位を検知して撮像手段の重力回りの回転角を検出する磁気センサと撮像手段の回転角速度を検知する角速度センサのいずれか一方又は双方の検出値から撮像手段の姿勢情報を算出し、視線ベクトル算出手段は姿勢算出手段で算出した姿勢情報と撮像手段で撮像したときの焦点距離から各対応点の視線ベクトルを算出し、並進成分算出手段は対応点の視線ベクトル群より撮像手段の並進運動成分を算出し、３次元演算手段は算出した撮像手段の姿勢情報と並進運動成分及び特徴点の対応付け結果から被写体の３次元形状を計算して復元することを特徴とする。
【０００８】
この発明に係る画像入力方法は、撮像手段を移動して複数の視点で被写体の画像を入力し、撮像手段から得られた複数枚の画像間の対応点を求め、各視点における撮像手段の重力方向に対する姿勢を加速度センサで検出し、撮像手段の重力回りの回転角を、磁気方位を検知する磁気センサあるいは撮像手段の回転角速度を検知する角速度センサ又は磁気センサと角速度センサの両方で検出し、撮像手段の重力方向に対する姿勢と重力回りの回転角から撮像手段の姿勢情報を算出し、算出した姿勢情報と撮像手段で撮像したときの焦点距離から各対応点の視線ベクトルを算出し、算出した対応点の視線ベクトル群より撮像手段の並進運動成分を算出し、算出した撮像手段の姿勢情報と並進運動成分及び特徴点の対応付け結果から被写体の３次元形状を計算して復元することを特徴とする。
【０００９】
上記加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出する乱れ信号検出手段を有することが望ましい。そして、加速度センサの検出値に含まれる重力加速度以外の加速度成分を乱れとして検出したときに、加速度センサの出力信号から算出した姿勢情報を磁気センサで求めた姿勢情報又は磁気センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償する。また、磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出したときに、磁気センサの出力信号から算出した姿勢情報を加速度センサで求めた姿勢情報又は加速度センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償したり、加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出したときに、加速度センサと磁気センサの出力信号から算出した姿勢情報を角速度センサで求めた姿勢情報で補償する。
【００１０】
【発明の実施の形態】
この発明の画像入力装置は撮像手段と対応検出手段と運動検出手段と３次元演算手段及び記憶手段を有する。撮像手段は被写体を撮影し、その画像情報を電気信号に変換する。対応検出手段は撮像手段を移動しながら連続的に撮影した画像間の特徴点の対応付けを行う。運動検出手段は撮像手段を移動して撮影しているときに、撮像手段の姿勢情報を算出し、算出した姿勢情報と撮影した画像間の特徴点の対応付け結果から撮像手段の位置情報である並進成分を算出するものであり、センサ部と前処理手段と姿勢算出手段と視線ベクトル算出手段と並進成分算出手段及び乱れ信号検出手段を有する。センサ部には撮像手段の重力方向に対する姿勢を検出する３軸加速度センサと撮像手段の重力回りの回転角を磁気方位を検知する３軸磁気センサ及び撮像手段の回転角速度を検知する３軸角速度センサを有する。３次元演算手段は運動検出手段から出力される姿勢情報と並進成分及び対応検出手段の対応付け結果より三角測量の原理で被写体の３次元構造を算出する。記憶手段は得られた姿勢情報と並進成分と被写体の３次元形状及び各画像を記録する。
【００１１】
撮像手段で撮影している画像取込み開始を指令すると、運動検出手段の姿勢算出手段は画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段の姿勢の初期値を検出する。そののち画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影と姿勢算出を行う。この姿勢算出を行なうときに、乱れ信号検出手段が３軸加速度センサの信号に乱れを検出した場合、姿勢算出手段は加速度センサの出力信号から算出した姿勢情報を磁気センサの出力信号で求めた姿勢情報と角速度センサの出力信号で求めた姿勢情報で補償する。そして各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段に格納する。画像取込み停止が指令が出されると、対応検出手段は記憶手段に格納された時系列の画像情報より対応付けを行い、視線ベクトル算出手段は対応付け結果と姿勢情報により各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する。並進成分算出手段は対応点の視線ベクトル群より並進成分を求める。３次元演算手段は並進成分と姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う。
【００１２】
【実施例】
図１はこの発明の一実施例の構成を示すブロック図である。図に示すように、画像入力装置１は撮像手段２と焦点距離検出手段３と運動検出手段４と対応検出手段５と３次元演算手段６及び記憶手段７を有する。撮像手段２はレンズとＣＣＤ等の画像センサとサンプル・ホールド回路等より構成され、被写体を撮影し、その画像情報を電気信号に変換する。焦点距離検出手段３は、撮像手段２のレンズの位置に応じて焦点距離を求めて符号化して出力する。運動検出手段４は撮像手段２を移動して撮影しているときに、撮像手段２の姿勢情報と位置情報である並進成分を算出する。対応検出手段５は撮像手段２を移動しながら連続的に撮影した画像間の特徴点の対応付けを行う。この対応付けには動画像における一般的な特徴追跡法、例えば動画像圧縮で使用されているブロックマッチング等の相関法や時空間により画像の速度場を求めて画像の動きベクトルを算出する方法等が利用される。３次元演算手段６は運動検出手段４から出力される姿勢情報と並進成分及び対応検出手段５の対応付け結果より三角測量の原理で被写体の３次元構造を算出する。記憶手段７は半導体メモリや磁気テープ等からなり、得られた姿勢情報と並進成分と被写体の３次元形状及び各画像を記録する。
【００１３】
運動検出手段４は、図２，図３のブロック図に示すように、センサ部４１と前処理手段４２と姿勢算出手段４３と視線ベクトル算出手段４４及び並進成分算出手段４５を有する。センサ部４１には、図２に示すように、撮像手段２の重力方向に対する姿勢を検出する３軸加速度センサ４１１ａ，４１１ｂ，４１１ｃと、撮像手段２の重力回りの回転角を磁気方位を検知する３軸磁気センサ４１２ａ，４１２ｂ，４１２ｃを有したり、図３に示すように、３軸加速度センサ４１１ａ，４１１ｂ，４１１ｃと３軸磁気センサ４１２ａ，４１２ｂ，４１２ｃ及び撮像手段２の回転角速度を検知する３軸角速度センサ４１３ａ，４１３ｂ，４１３ｃを有する。
【００１４】
上記のように構成した画像入力装置１の動作を説明するにあたり、まず運動検出手段４で３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出値から撮像手段２の姿勢情報と並進運動成分を算出する動作と、３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値から撮像手段２の姿勢情報と並進運動成分を算出する動作を説明する。
【００１５】
〔１〕３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出値を使用した場合。
図４に示すように、撮像手段２のｘｙｚ座標系のｚ軸の正方向を光軸方向とし、ｘ軸の正方向を画像面２１に対して右向き方向とし、ｙ軸の正方向を画像面２１に対して下向き方向とし、図５に示すように、ワールド座標系のＹ軸の正方向を重力加速度の向きとし、Ｚ軸の正方向を磁気の向きとし、Ｘ軸の正方向をＸＹＺの順に右手直交系をなす向きとする。また、簡単のために撮像手段２の移動により生じる運動速度は無視でき、重力加速度と磁場は直交し、かつ磁場は地磁気以外に存在しないと仮定する。なお、厳密には地磁気の伏角が存在し、地磁気と重力加速度とは直交しないが、伏角が既知ならば地磁気の向きと重力加速度が直交する場合と同様に計算できる。また、３軸で地磁気を検出すれば伏角が未知でも姿勢情報を計算可能である。すなわち、Ｘ軸の正方向を東向きにとり、Ｚ軸の正方向を北向きにとる。
【００１６】
加速度センサ４１１ａは重力加速度のｘ軸成分を検出し、加速度センサ４１１ｂは重力加速度のｙ軸成分を検出し、加速度センサ４１１ｃは重力加速度のｚ軸成分を検出する。磁気センサ４１２ａ〜４１２ｃも同様に地磁気のｘ軸成分とｙ軸成分及びｚ軸成分を検出する。前処理手段４２は３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの出力信号のフィルタリングや増幅等の信号処理やＡ／Ｄ変換を行う。姿勢算出手段４３は前処理手段４２で処理したセンサ信号より撮像手段２の姿勢情報を算出する。視線ベクトル算出手段４４は焦点距離検出手段３から出力された焦点距離と姿勢算出手段４３で算出した姿勢情報より、対応検出手段５から出力される各時刻における対応点に対してワールド座標系を基準とした視線ベクトルを算出する。並進成分算出手段４５は視線ベクトル算出手段４４で算出した各時刻の対応点のワールド座標系を基準とした視線ベクトル群より撮像手段２の並進成分を算出する。
【００１７】
この撮像手段２の並進成分を算出するときの動作を詳細に説明する。ワールド座標系に対する装置座標系の姿勢をワールド座標系を基準とした下記（１）式の回転行列で記述する。
【００１８】
【数１】
（１）式において、α，β，γはそれぞれワールド座標系を基準としたＸ軸とＹ軸とＺ軸回りの回転角であり、このとき画像入力装置１を次ぎの順に回転させたことに相当する。すなわち、ＸＹＺ座標系とｘｙｚ座標系が一致している状態から、画像入力装置１をＺ軸回りにγだけ回転してからＸ軸回りにαだけ回転し、その後、Ｙ軸回りにβだけ回転する。ここで重力加速度ベクトルｇvと地磁気ベクトルＭvをワールド座標系において下記（２）式で表わし、加速度センサ４１１ａ〜４１１ｃと磁気センサ４１２ａ〜４１２ｃにより検出された装置座標系を基準とした加速度ベクトルａvと地磁気ベクトルｍvをそれぞれ下記（３）式で表わすと、重力加速度ベクトルｇvと加速度ベクトルａvの関係及び地磁気ベクトルＭvと地磁気ベクトルｍvの関係は、回転ベクトルＲを用いて下記（４）式と（５）式で記述される。
【００２０】
【数２】
（３）式において、Ｍは地磁気の絶対値、φは地磁気の伏角である。（４）式よりＸ軸回りの回転角αとＺ軸回りの回転角γが下記（６）式と（７）式で計算される。
【００２２】
【数３】
また、Ｘ軸回りの回転角αとＺ軸回りの回転角γが既知である場合、（５）式により地磁気ベクトルｍvからＹ軸回りの回転角βが下記（８）式と（９）式で計算される。
【００２４】
【数４】
姿勢算出手段４３は以上の計算により回転角α、β、γ及び回転行列Ｒを３軸加速度センサ４１１ａ〜４１１ｃ及び３軸磁気センサ４１２ａ〜４１２ｃの検出値より算出する。
【００２６】
また、撮像手段２の光学系は、図４に示すように、焦点距離をｆとする中心射影モデルであると仮定すると、対象点Ａの画像上の点Ｂ（ｘ，ｙ）に対する単位視線ベクトルｐは下記（１０）式で求められる。
【００２７】
【数５】
但し（１０）式の単位視線ベクトルｐは撮像座標系を基準とした視線ベクトルである。例えば図６に示すように、第１視点Ｃ１で撮像した時刻（ｔ−１）における対象点Ａｉの画像上の点Ｂ１（ｘt-1,I,ｙt-1,i)と第２視点Ｃ２で撮像した時刻ｔにおける対象点Ａｉの画像上の点Ｂ２（ｘt,I,ｙt,i）に対しては、下記（１１）式と（１２）式で単位視線ベクトルｐt-1,i,と単位視線ベクトルｐt,iが算出される。
【００２９】
【数６】
この撮像座標系を基準とした時刻（ｔ−１）の単位視線ベクトルｐt-1,iと時刻（ｔ）の単位視線ベクトルｐt,iをワールド座標系を基準とした視線ベクトルに変換するには、時刻（ｔ−１）及び時刻（ｔ）における姿勢情報すなわち（１）式の回転行列Ｒt-1と回転行列Ｒtを必要とする。この回転行列Ｒt-1と回転行列Ｒtは姿勢算出手段４３により求められるため、視線ベクトル算出手段４４は撮像座標系を基準とした単位視線ベクトルｐt-1,iと単位視線ベクトルｐt,iを（１３）式と（１４）式でワールド座標系を基準とした視線ベクトルＰt-1,iと視線ベクトルＰtに変換する。
【００３１】
【数７】
並進成分算出手段４５は、視線ベクトル算出手段４４で算出した各時刻の対応点のワールド座標系を基準とした視線ベクトル群より、撮像手段２の並進成分を算出する。例えば図６において、視線ベクトルＰt-1,Iと視線ベクトルＰtが対応関係にあるとすると、視線ベクトルＰt-1,iと視線ベクトルＰt及び並進成分を示す単位ベクトルｂの３つのベクトルは同一平面上に存在し、下記（１５）式のスカラ３重積で表される。
【００３３】
【数８】
この（１５）式を満たすベクトルｂが並進運動ベクトルであるが、通常、画像のノイズ等の影響により（１５）式は全ての対応点の組に対しては成立しない。そこでＮ組の対応点がある場合、下記（１６）式でスカラ３重積を最小化するベクトルｂを求めれば良い。
【００３５】
【数９】
〔２〕３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値を使用した場合。
撮像手段２のｘｙｚ座標系は、図４に示すように、ｚ軸の正方向を光軸方向とし、ｘ軸の正方向を画像面２１に対して右向き方向とし、ｙ軸の正方向を画像面２１に対して下向き方向とし、ワールド座標系は、図７に示すように、Ｙ軸の正方向を重力加速度の向きとする。姿勢算出手段４３で３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値から回転角α、β、γ及び回転行列Ｒを算出するために、ワールド座標系に対する撮像手段２の装置座標系の姿勢をワールド座標系を基準とした（１）式の回転行列Ｒで記述する。また、重力加速度ベクトルｇvをワールド座標系において（２）式で表わし、加速度センサ４１１ａ〜４１１ｃにより検出された装置座標系を基準とした加速度ベクトルａvを（３）式で表わすと、重力加速度ベクトルｇvと加速度ベクトルａvの関係は（４）式で記述される。この（４）式よりＸ軸回りの回転角αとＺ軸回りの回転角γが（６）式と（７）式で計算される。ここで時刻ｔ＝０においてβ＝０と初期化し、図７に示すように、ワールド座標系のＸ軸を時刻ｔ＝０における装置座標系のｘ軸の水平面に対する正射影とし、ワールド座標系のＺ軸を時刻ｔ＝０における装置座標系のｚ軸の水平面に対する正射影として定義する。
【００３７】
一方、３軸角速度センサ４１３ａ〜４１３ｃで求めた角速度ベクトルｑvを下記（１７）式とすると、Ｘ軸回りの回転角αとＹ軸回りの回転角β及びＺ軸回りの回転角γの時間的な変化は下記（１８）式と（１９）式及び（２０）式で表わせる。
【００３８】
【数１０】
上記（１８）式と（１９）式及び（２０）式を積分することにより、下記（２１）式と（２２）式及び（２３）式で時刻ｔにおける回転角α、β、γを得ることができる。
【００４０】
【数１１】
上記（２１）〜（２３）式でα0、γ0はそれぞれ時刻ｔ＝０で３軸加速度センサ４１３ａ〜４１３ｃで求めたα、γの値としβ0＝０とする。この計算により、α、β、γ及び回転行列Ｒを、３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃの検出値より算出することができる。そして、この場合も視線ベクトル算出手段４４と並進成分算出手段４５は、前記（１０）式〜（１６）式に基づき撮像手段２の並進成分を算出する。
【００４２】
なお、上記運動検出手段４の動作説明では３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃを使用した場合と、３軸加速度センサ４１１ａ〜４１１ｃと３軸角速度センサ４１３ａ〜４１３ｃを使用した場合について説明したが、４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃ及び３軸角速度センサ４１３ａ〜４１３ｃを同時に使用しても良い。
【００４３】
次ぎに、対応検出手段５で連続的に撮影した画像間の特徴点の対応付けを行う動作の一例として、時間的に隣合う２枚の画像において、相互相関によるブロックマッチングにより対応点を検出する方法について説明する。例えば図６に示すように第１視点Ｃ１で時刻（ｔ−１）に撮像した画像面Ｉ１におけるｉ番目の特徴点ＰI(ｘi0，ｙi0）と、第２視点Ｃ２で時刻ｔに撮像した画像面Ｉ２におけるｉ番目の特徴点Ｐi(ｘi0＋ｄｘ，ｙi0＋ｄｙ）の対応付けを、第８図に示すように（２Ｎ＋１）と（２Ｐ＋１）の相関窓５１を用いたブロックマッチングで行う場合、下記（２４）式で計算される相関相互相関値Ｓｉを最大に点を順次対応点として選ぶ。
【００４４】
【数１２】
（２４）式でＩt-1（ｘ，ｙ）は時刻（ｔ−１）の画像面Ｉ１の点（ｘ，ｙ）における濃度、Ｉt（ｘ，ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）における濃度、ＭＩt-1（ｘ，ｙ）は時刻（ｔ−１）の画像面Ｉ１の点（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ＋１）の相関窓５１における平均濃度、ＭＩt（ｘ，ｙ）は時刻ｔの画像面Ｉ２の点（ｘ，ｙ）を中心とする（２Ｎ＋１），（２Ｐ＋１）の相関窓５１における平均濃度を示し、Ｋは定数である。
【００４６】
上記のように構成された画像入力装置１の動作を図９のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。そして画像取込み停止が指令されるまで一定時間間隔ごとに画像撮影と姿勢算出手段４３による姿勢検出を行い、各時刻における画像と姿勢情報を記憶手段７に格納する（ステップＳ３，Ｓ４，Ｓ５）。画像取込み停止が指令が出されると、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ６）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ７）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ８）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ９）。
【００４７】
上記のようにして撮像手段２で撮像した画像と加速度信号及び磁気信号あるいは角速度信号で３次元形状復元を行なっているときに、回転角α，γは（６）式と（７）式から求められるが、撮影時に生じる加速度は重力加速度に比較して無視できるほど小さく、磁場は地磁気以外に存在せず（２）式と（３）式との間に下記（２５）式と（２６）式の関係が成立していることを前提として計算されている。
【００４８】
【数１３】
そのため、撮影時に生じる加速度が一時的に大きくなったり、他の電気製品からの磁場の影響を受ける場合には、正確な姿勢情報を計算することができない。そこで、図１０のブロック図に示すように運動検出手段４に乱れ信号検出手段４６を設け、乱れ信号検出手段４６により、重力加速度以外の加速度成分の発生と地磁気以外の磁場の発生を検出する。例えば３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃのそれぞれの基準電圧値と感度は記憶手段７に格納されており既知である。そこで３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの出力電圧値と記憶手段７に格納された基準電圧値と感度より、３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの検出した加速度及び磁気の絶対値を算出する。算出した加速度の絶対値と重力加速度の絶対値との差があらかじめ定めたしきい値、例えば０．１ｇ以上の場合は、重力加速度以外の加速度成分または外乱が含まれると判断し、姿勢算出手段４３に加速度センサ信号の乱れを通知する。また，算出した磁気の絶対値と地磁気の絶対値との差がしきい値、例えば０．１Ｍ以上の場合は、地磁気以外の磁気成分または外乱が含まれると判断し、姿勢算出手段４３に磁気センサ信号の乱れを通知する。
【００５０】
この乱れ信号検出手段４６により、重力加速度以外の加速度成分の発生と地磁気以外の磁場の発生を検出しながら３次元形状復元を復元するときの動作を図１１のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ１１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ１２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。この撮影中に加速度信号の乱れが検出されると初期値α0、γ0の正確な値が出ないので、撮影開始時の撮像手段２の扱いには注意する必要がある。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行い、各時刻における画像及び姿勢情報を記憶手段７に格納する。また、加速度信号と磁気信号の乱れ検出結果をも記憶手段７に格納し、姿勢算出結果に誤差が発生した個所を、後で利用者が確認できるようにする（ステップＳ１３，Ｓ１４，Ｓ１５）。画像取込み停止が指令が出されると、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ１６）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ１７）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ１８）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ１９）。
【００５１】
このように加速度センサ信号と磁気センサ信号の乱れを検知することにより、撮像手段２の運動を正確に検出できるとともに信頼性の高い３次元形状復元を行なうことができる。また、加速度センサ信号と磁気センサ信号の乱れを検知した箇所を記憶することにより、利用者が姿勢検出誤差が生じた箇所を知ることができ、使用勝手を高めることができる。
【００５２】
次ぎに上記のように乱れ信号検出手段４６で加速度センサ信号の乱れを検出したときに、加速度センサ信号による姿勢検出結果を、磁気センサ信号及び角速度センサ信号による姿勢検出結果で補償するときの動作を図１２のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ２１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ２２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行う（ステップＳ２３，Ｓ２４）。この姿勢算出を行なうときに、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃの信号に乱れを検出しない場合（ステップＳ２５）、姿勢算出手段４３は加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、磁気センサ信号を用いて（９）式より回転角βを求めたり、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ２６）。また、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃの信号に乱れを検出した場合（ステップＳ２５）、姿勢算出手段４３は、まず角速度センサ信号を用いて（２１）式と（２３）式より回転角α、γを求める。次ぎに、磁気センサ信号と上記で求めた回転角αを用いて（９）式で回転角βを求めたり、角速度センサ信号を用いて（２２）式より回転角βを求める（ステップＳ２７）。そして、各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段７に格納する（ステップＳ２８）。画像取込み停止が指令が出されると（ステップＳ２３）、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ２９）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ３０）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ３１）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ３２）。
【００５３】
このように加速度センサ信号の乱れが検知されると、加速度センサ信号による姿勢検出結果を、磁気センサ信号及び角速度センサ信号による姿勢検出結果で補償することにより姿勢検出誤差を低減することができる。
【００５４】
次ぎに上記のように乱れ信号検出手段４６で磁気センサ信号の乱れを検出したときに、磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償するときの動作を図１３のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ４１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号あるいは角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ４２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行う（ステップＳ４３，Ｓ４４）。この姿勢算出を行なうときに、乱れ信号検出手段４６が３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出しない場合（ステップＳ４５）、姿勢算出手段４３は加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、磁気センサ信号を用いて（９）式より回転角βを求めたり、角速度センサ信号を用いて（２２）式より回転角βを求める（ステップＳ４６）。また、乱れ信号検出手段４６が３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出した場合（ステップＳ４５）、加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ４７）。そして、各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段７に格納する（ステップＳ４８）。画像取込み停止が指令が出されると（ステップＳ４３）、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ４９）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ５０）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ５１）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ５２）。
【００５５】
このように磁気センサ信号の乱れが検知されると、磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償することにより姿勢検出誤差を低減することができる。
【００５６】
次ぎに加速度センサ信号と磁気センサ信号の乱れが検知されたときに、加速度センサ信号と磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償するときの動作を図１４のフローチャートを参照して説明する。撮像手段２で撮影している画像取込み開始を指令すると（ステップＳ６１）、運動検出手段４の姿勢算出手段４３はその時刻をｔ＝０に初期化し、画像と加速度信号及び磁気信号又は角速度信号を取り込み、撮像手段２の姿勢の初期値α0、β0、γ0を検出する（ステップＳ６２）。初期値α0、γ0は重力加速度信号の検知により行い、β0は磁気信号から求めたり、角速度信号を利用する場合には「０」に初期化する。また、磁気信号の乱れが検出された場合にはβ0＝０と初期化し、以後の姿勢情報算出には加速度信号と角速度信号のみ使用するようにする。その後は画像取り込み停止が指令されるまで、一定時間間隔ごとに画像撮影、姿勢算出を行う（ステップＳ６３，Ｓ６４）。この姿勢算出を行なうときに、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出しない場合（ステップＳ６５）、姿勢算出手段４３は加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、磁気センサ信号を用いて（９）式より回転角βを求めたり、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ６６）。また、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３軸加速度センサ４１１ａ〜４１１ｃの信号に乱れを検出した場合（ステップＳ６５）、姿勢算出手段４３は、まず角速度センサ信号を用いて（２１）式と（２３）式より回転角α、γを求める。次ぎに、磁気センサ信号と上記で求めた回転角αを用いて（９）式で回転角βを求めたり、角速度センサ信号を用いて（１９）式と（２２）式より回転角βを求める（ステップＳ６７）。また、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの信号のうち３軸磁気センサ４１２ａ〜４１２ｃの信号に乱れを検出した場合（ステップＳ６５）、加速度センサ信号を用いて（６）式と（７）式より回転角α、γを求め、角速度センサ信号を用いて（２２）式より回転角βを求める（ステップＳ６７）。さらに、乱れ信号検出手段４６が３軸加速度センサ４１１ａ〜４１１ｃと３軸磁気センサ４１２ａ〜４１２ｃの両方の信号に乱れを検出した場合（ステップＳ６５）、３軸角速度センサ４１３ａ〜４１３ｃの信号を用い、（１８）式〜（２３）式より回転角α、β、γを算出する（ステップＳ６８）。そして、各時刻における画像及び姿勢情報と加速度信号の乱れ検出の有無を示す検出結果を記憶手段７に格納する（ステップＳ６９）。画像取込み停止が指令が出されると（ステップＳ６３）、対応検出手段５は記憶手段７に格納された時系列の画像情報より対応付けを行い（ステップＳ７０）、対応付け結果と姿勢情報により視線ベクトル算出手段４４は各時刻における対応点のワールド座標系を基準とした視線ベクトルを算出する（ステップＳ７１）。並進成分算出手段４５は対応点の視線ベクトル群より（１６）式の計算で並進成分ｂを求める（ステップＳ７２）。３次元演算手段６は並進成分ｂと姿勢情報より、三角測量の原理で被写体の３次元形状復元を行う（ステップＳ７３）。
【００５７】
このように加速度センサ信号と磁気センサ信号の乱れが検知されたときに、加速度センサ信号と磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償するから、姿勢検出誤差を低減することができる。
【００５８】
上記実施例は、撮影した画像と算出した姿勢情報を記憶手段７にまとめて格納し、そののち対応検出と並進運動検出及び３次元形状算出をオフライン処理する方式で説明したが、上記処理を実時間処理しても良い。また、撮像手段２が固定焦点である場合には、焦点距離検出手段３を省いても良い。さらに、撮影した画像と算出した姿勢情報と３次元形状情報等を記憶手段７に記憶するのではなく、ネットワークなどに転送しても良い。また、加速度信号や磁気信号が乱れた時刻において角速度センサ信号で姿勢情報の補償を行なう場合について説明したが、信号の乱れる前の時刻における姿勢に角速度信号で検出した微小時刻における角度変化、即ち（２１）式〜（２３）式のｄα、ｄβ、ｄγに相当する分を加えるなど、別の補償法をとっても良い。
【００５９】
〔具体例１〕実際に撮像手段２で対象物を撮影して撮像手段２の運動を検出した結果を図１５から図１９に示す。図１５は加速度センサ信号により算出した回転角αの値と実際の回転角を示し、図１６は角速度センサ信号により算出した回転角αの値と実際の回転角を示し、図１７は加速度センサ信号の乱れた時刻において、角速度センサ信号で求めた回転角αで補償した結果と実際の回転角を示す。また、図１８は磁気センサ信号により算出した回転角βの値と実際の回転角を示し、図１９は磁気センサ信号の乱れた時刻において、角速度センサ信号で求めた回転角βで補償した結果と実際の回転角を示す。図１５〜図１７に示すように、撮像手段２が回転開始したり停止するときに撮像手段２に加える加速度が大きくなり、加速度センサ信号により算出した回転角αの検出誤差が大きくなったが、角速度センサ信号で求めた回転角αで補償することにより姿勢検出の誤差を大幅に低減することができた。また、図１８、図１９に示すように、撮像手段２の周囲にあるモータ等から生じる磁場の影響を角速度センサ信号で求めた回転角βで補償することにより姿勢検出誤差を大幅に低減することができた。さらに、対象物を連続撮影した結果、対象物の３次元形状を精度良く復元することができた。
【００６０】
【発明の効果】
この発明は以上説明したように、撮像手段の重力方向に対する姿勢を加速度センサで検出し、撮像手段の重力回りの回転角を、磁気方位を検知する磁気センサあるいは撮像手段の回転角速度を検知する角速度センサのいずれか一方又は双方で検出して、移動して撮像する撮像手段の姿勢情報を検知するようにしたから、撮像手段で撮影した被写体の３次元形状を簡単な計算で精度良く復元することができる。
【００６１】
また、加速度センサ信号と磁気センサ信号の乱れを検知することにより、撮像手段の運動と３次元形状復元の信頼性を高めることができる。また、信号の乱れを検知した箇所を記憶することにより、利用者が姿勢検出誤差が生じた箇所を知ることができ、利用者の便宜を図ることができる。
【００６２】
また、加速度センサ信号の乱れを検知したときに、加速度センサ信号による姿勢検出結果を、磁気センサ信号や角速度センサ信号による姿勢検出結果で補償することにより、撮像手段の姿勢検出誤差を低減することができ、３次元形状を精度良く復元することができる。
【００６３】
さらに、磁気センサ信号の乱れを検知したときに、磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償することにより、撮像手段の姿勢検出誤差を低減することができ、３次元形状を精度良く復元することができる。
【００６４】
また、加速度センサ信号と磁気センサ信号の乱れを検知したときに、加速度センサ信号と磁気センサ信号による姿勢検出結果を角速度センサ信号による姿勢検出結果で補償することにより、撮像手段の姿勢検出誤差をより低減することができ、３次元形状を精度良く復元することができる。
【図面の簡単な説明】
【図１】この発明の実施例の構成を示すブロック図である。
【図２】運動検出手段の構成を示すブロック図である。
【図３】運動検出手段の他の構成を示すブロック図である。
【図４】撮像手段の装置座標系を示す説明図である。
【図５】ワールド座標系を示す説明図である。
【図６】第１視点と第２視点の視線ベクトルを示す説明図である。
【図７】ワールド座標系と装置座標系の対応を示す説明図である。
【図８】特徴点の対応付けを示す説明図である。
【図９】画像入力装置の３次元形状復元動作を示すフローチャートである。
【図１０】乱れ検知手段を有する運動検出手段の構成を示すブロック図である。
【図１１】加速度センサ信号と磁気センサ信号の乱れ検知動作を示すフローチャートである。
【図１２】加速度センサ信号の乱れ補償動作を示すフローチャートである。
【図１３】磁気センサ信号の乱れ補償動作を示すフローチャートである。
【図１４】加速度センサ信号と磁気センサ信号の乱れ補償動作を示すフローチャートである。
【図１５】加速度センサ信号により算出した回転角と実際の回転角を示す分布図である。
【図１６】角速度センサ信号により算出した回転角と実際の回転角を示す分布図である。
【図１７】加速度センサ信号により算出した回転角を補償した回転角と実際の回転角を示す分布図である。
【図１８】磁気センサ信号により算出した回転角と実際の回転角を示す分布図である。
【図１９】磁気センサ信号により算出した回転角を補償した回転角と実際の回転角を示す分布図である。
【符号の説明】
１ 画像入力装置
２ 撮像手段
３ 焦点距離検出手段
４ 運動検出手段
５ 対応検出手段
６ ３次元演算手段
７ 記憶手段
４１ センサ部
４２ 前処理手段
４３ 姿勢算出手段
４４ 視線ベクトル算出手段
４５ 並進成分算出手段
４６ 乱れ信号検出手段
４１１ 加速度センサ
４１２ 磁気センサ
４１３ 角速度センサ
Claims (8)
- 撮像手段と対応検出手段と運動検出手段及び３次元演算手段を有し、
撮像手段は被写体の画像を入力し、
対応検出手段は撮像手段を移動して撮像したときに、撮像手段から得られた複数枚の画像間の対応点を求め、
運動検出手段は姿勢算出手段と視線ベクトル算出手段と並進成分算出手段を有し、
姿勢算出手段は撮像手段を移動して撮像するとき、撮像手段の各視点における重力方向に対する姿勢を検出する加速度センサと、磁気方位を検知して撮像手段の重力回りの回転角を検出する磁気センサと撮像手段の回転角速度を検知する角速度センサのいずれか一方又は双方の検出値から撮像手段の姿勢情報を算出し、
視線ベクトル算出手段は姿勢算出手段で算出した姿勢情報と撮像手段で撮像したときの焦点距離から各対応点の視線ベクトルを算出し、
並進成分算出手段は対応点の視線ベクトル群より撮像手段の並進運動成分を算出し、
３次元演算手段は算出した撮像手段の姿勢情報と並進運動成分及び特徴点の対応付け結果から被写体の３次元形状を計算して復元することを特徴とする画像入力装置。 - 前記加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出する乱れ信号検出手段を有し、該乱れ信号検出手段で加速度センサの出力信号の乱れを検出したときに、加速度センサの出力信号から算出した姿勢情報を磁気センサで求めた姿勢情報又は磁気センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償する請求項１記載の画像入力装置。
- 前記加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出する乱れ信号検出手段を有し、該乱れ信号検出手段で磁気センサの出力信号の乱れを検出したときに、磁気センサの出力信号から算出した姿勢情報を加速度センサで求めた姿勢情報又は加速度センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償する請求項１記載の画像入力装置。
- 前記加速度センサの検出値に含まれる重力加速度以外の加速度成分と前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出する乱れ信号検出手段を有し、該乱れ信号検出手段で加速度センサと磁気センサの出力信号の乱れを検出したときに、加速度センサと磁気センサの出力信号から算出した姿勢情報を角速度センサで求めた姿勢情報で補償する請求項１記載の画像入力装置。
- 撮像手段を移動して複数の視点で被写体の画像を入力し、撮像手段から得られた複数枚の画像間の対応点を求め、各視点における撮像手段の重力方向に対する姿勢を加速度センサで検出し、撮像手段の重力回りの回転角を、磁気方位を検知する磁気センサあるいは撮像手段の回転角速度を検知する角速度センサ又は磁気センサと角速度センサの両方で検出し、撮像手段の重力方向に対する姿勢と重力回りの回転角から撮像手段の姿勢情報を算出し、算出した姿勢情報と撮像手段で撮像したときの焦点距離から各対応点の視線ベクトルを算出し、算出した対応点の視線ベクトル群より撮像手段の並進運動成分を算出し、算出した撮像手段の姿勢情報と並進運動成分及び特徴点の対応付け結果から被写体の３次元形状を計算して復元することを特徴とする画像入力方法。
- 前記加速度センサの検出値に含まれる重力加速度以外の加速度成分を乱れとして検出したときに、加速度センサの出力信号から算出した姿勢情報を磁気センサで求めた姿勢情報又は磁気センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償する請求項５記載の画像入力方法。
- 前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出したときに、磁気センサの出力信号から算出した姿勢情報を加速度センサで求めた姿勢情報又は加速度センサで求めた姿勢情報と角速度センサで求めた姿勢情報で補償する請求項５記載の画像入力方法。
- 前記加速度センサの検出値に含まれる重力加速度以外の加速度成分と 前記磁気センサの検出値に含まれる地磁気以外の磁場を乱れとして検出したときに、加速度センサと磁気センサの出力信号から算出した姿勢情報を角速度センサで求めた姿勢情報で補償する請求項５記載の画像入力方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15892598A JP3732335B2 (ja) | 1998-02-18 | 1998-06-08 | 画像入力装置及び画像入力方法 |
| US09/252,879 US6700604B1 (en) | 1998-02-18 | 1999-02-18 | Image capturing method and apparatus for determining a shape of an object |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5129198 | 1998-02-18 | ||
| JP10-51291 | 1998-02-18 | ||
| JP15892598A JP3732335B2 (ja) | 1998-02-18 | 1998-06-08 | 画像入力装置及び画像入力方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11306363A JPH11306363A (ja) | 1999-11-05 |
| JP3732335B2 true JP3732335B2 (ja) | 2006-01-05 |
Family
ID=26391831
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15892598A Expired - Fee Related JP3732335B2 (ja) | 1998-02-18 | 1998-06-08 | 画像入力装置及び画像入力方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6700604B1 (ja) |
| JP (1) | JP3732335B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001077704A2 (en) * | 2000-04-11 | 2001-10-18 | Roke Manor Research Limited | Self-calibration of an array of imaging sensors |
| KR100446636B1 (ko) | 2002-11-21 | 2004-09-04 | 삼성전자주식회사 | 이동체의 움직임 및 이동체 전방에 위치한 물체의 3차원정보 측정 기능을 구비한 이동체 및 그 방법 |
| CA2747236C (en) * | 2004-06-25 | 2013-08-20 | 059312 N.B. Inc. | Shape-acceleration measurement device and method |
| KR100726215B1 (ko) | 2005-10-14 | 2007-06-11 | 삼성전자주식회사 | 정립상을 촬영하는 휴대용 단말기 및 방법 |
| US20070210985A1 (en) * | 2006-03-13 | 2007-09-13 | Royer George R | Three dimensional imaging system |
| JP2009276094A (ja) * | 2008-05-12 | 2009-11-26 | Sumitomo Electric Ind Ltd | 姿勢特定装置、移動方位特定装置、位置特定装置、コンピュータプログラム及び姿勢特定方法 |
| US20100316282A1 (en) * | 2009-06-16 | 2010-12-16 | Hope Clinton B | Derivation of 3D information from single camera and movement sensors |
| JP5386698B2 (ja) * | 2009-09-07 | 2014-01-15 | アイチ・マイクロ・インテリジェント株式会社 | 室内位置検出装置 |
| US20130016186A1 (en) * | 2011-07-13 | 2013-01-17 | Qualcomm Incorporated | Method and apparatus for calibrating an imaging device |
| US8959082B2 (en) | 2011-10-31 | 2015-02-17 | Elwha Llc | Context-sensitive query enrichment |
| US10679309B2 (en) | 2011-12-30 | 2020-06-09 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10340034B2 (en) | 2011-12-30 | 2019-07-02 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10402927B2 (en) | 2011-12-30 | 2019-09-03 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10559380B2 (en) | 2011-12-30 | 2020-02-11 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10552581B2 (en) | 2011-12-30 | 2020-02-04 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10475142B2 (en) | 2011-12-30 | 2019-11-12 | Elwha Llc | Evidence-based healthcare information management protocols |
| US10528913B2 (en) | 2011-12-30 | 2020-01-07 | Elwha Llc | Evidence-based healthcare information management protocols |
| US20130293686A1 (en) * | 2012-05-03 | 2013-11-07 | Qualcomm Incorporated | 3d reconstruction of human subject using a mobile device |
| US9142019B2 (en) * | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
| KR102068048B1 (ko) * | 2013-05-13 | 2020-01-20 | 삼성전자주식회사 | 3차원 영상 제공 시스템 및 방법 |
| CN105229703B (zh) * | 2013-05-23 | 2018-02-09 | 谷歌有限责任公司 | 用于使用感测的位置数据来生成三维模型的***和方法 |
| US9646384B2 (en) | 2013-09-11 | 2017-05-09 | Google Technology Holdings LLC | 3D feature descriptors with camera pose information |
| JP6312519B2 (ja) * | 2014-05-13 | 2018-04-18 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
| JP6245671B2 (ja) * | 2015-02-02 | 2017-12-13 | オーシーアールシステム株式会社 | 光学端末装置及びスキャンプログラム |
| US10488195B2 (en) * | 2016-10-25 | 2019-11-26 | Microsoft Technology Licensing, Llc | Curated photogrammetry |
| CN111766918B (zh) * | 2020-06-05 | 2023-03-24 | 北京小米移动软件有限公司 | 折叠屏姿态检测方法和装置、电子设备以及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04269607A (ja) * | 1991-02-25 | 1992-09-25 | Mitsui Eng & Shipbuild Co Ltd | 物体の寸法計測装置 |
| US6038074A (en) * | 1997-05-20 | 2000-03-14 | Ricoh Company, Ltd. | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image |
-
1998
- 1998-06-08 JP JP15892598A patent/JP3732335B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-18 US US09/252,879 patent/US6700604B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6700604B1 (en) | 2004-03-02 |
| JPH11306363A (ja) | 1999-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3732335B2 (ja) | 画像入力装置及び画像入力方法 | |
| JP5027747B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| US6038074A (en) | Three-dimensional measuring apparatus and method, image pickup apparatus, and apparatus and method for inputting image | |
| Rambach et al. | Learning to fuse: A deep learning approach to visual-inertial camera pose estimation | |
| JP5992184B2 (ja) | 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム | |
| WO2010001940A1 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| US5757674A (en) | Three-dimensional position detecting apparatus | |
| JP5027746B2 (ja) | 位置測定方法、位置測定装置、およびプログラム | |
| US6839081B1 (en) | Virtual image sensing and generating method and apparatus | |
| CN108413917B (zh) | 非接触式三维测量***、非接触式三维测量方法及测量装置 | |
| EP4155873A1 (en) | Multi-sensor handle controller hybrid tracking method and device | |
| CN113551665B (zh) | 一种用于运动载体的高动态运动状态感知***及感知方法 | |
| US20180075609A1 (en) | Method of Estimating Relative Motion Using a Visual-Inertial Sensor | |
| CN110533719B (zh) | 基于环境视觉特征点识别技术的增强现实定位方法及装置 | |
| JP7027064B2 (ja) | 画像処理装置および画像処理方法、撮像装置、プログラム | |
| JP3957888B2 (ja) | 撮像装置及び撮像画像合成方法 | |
| Frahm et al. | Camera calibration with known rotation | |
| JP2018155664A (ja) | 撮像システム、撮像制御方法、画像処理装置および画像処理プログラム | |
| JP2559939B2 (ja) | ３次元情報入力装置 | |
| JPH0814861A (ja) | ３次元形状の計測方法及び装置 | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| JP3712847B2 (ja) | ３次元形状計測方法と３次元形状計測装置及び撮像手段の姿勢検出装置 | |
| JP4112925B2 (ja) | 画像入力装置、画像入力方法、及びコンピュータが実行するためのプログラム | |
| JPH11120361A (ja) | ３次元形状復元装置及び復元方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050525 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050531 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051012 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091021 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101021 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111021 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121021 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131021 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |