JP2010256276A - 三次元形状計測装置及び計測方法 - Google Patents
三次元形状計測装置及び計測方法 Download PDFInfo
- Publication number
- JP2010256276A JP2010256276A JP2009109119A JP2009109119A JP2010256276A JP 2010256276 A JP2010256276 A JP 2010256276A JP 2009109119 A JP2009109119 A JP 2009109119A JP 2009109119 A JP2009109119 A JP 2009109119A JP 2010256276 A JP2010256276 A JP 2010256276A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- visual field
- unit
- measurement object
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】相反する作業、つまり計測対象物に対する広範囲の計測と、計測対象物の注目領域に対する高精度な計測との両方を両立可能な三次元形状計測装置、及び計測方法を提供する。
【解決手段】計測対象物50の注目すべき領域である要求視野52を距離データの分散値などをもとに抽出し、その要求視野をカバーできる計測視野を求める。この計測視野を満たす最適な基線長B及び撮像距離H、又は撮像距離Hを求め、これらに基づき視点P3、P4を決定する。また、上記要求視野の計測情報をもとに最適な移動方向を計算し、割り出された視点間を最適な移動方向で計測を行う。
【選択図】図1
【解決手段】計測対象物50の注目すべき領域である要求視野52を距離データの分散値などをもとに抽出し、その要求視野をカバーできる計測視野を求める。この計測視野を満たす最適な基線長B及び撮像距離H、又は撮像距離Hを求め、これらに基づき視点P3、P4を決定する。また、上記要求視野の計測情報をもとに最適な移動方向を計算し、割り出された視点間を最適な移動方向で計測を行う。
【選択図】図1
Description
本発明は、計測視点を移動可能なステレオ計測による三次元形状計測装置、及びその計測方法に関する。
視覚センサによるステレオ計測など、三角測量の原理に基づき物体形状を三次元計測する場合、視野及び距離分解能は、視覚センサ間の基線長や、視覚センサと計測対象物との距離によって変化する。視覚センサの視野を広くすることと距離分解能を高めることとは、トレードオフの関係にあることが一般的に知られている。即ち、視覚センサの視野を広くするためには、基線長を短くし、計測対象物からできるだけ離れて計測を行うべきであり、一方、距離分解能を高めるためには、基線長を長くし、計測対象物にできるだけ近づいて計測を行う必要がある。一般的な、基線長を固定した三次元形状計測装置では、計測対象物及び作業要求によっては、十分な視野と距離分解能(精度)との両立が困難な場合がある。
一方、視覚センサを能動的に動かすことで、より計測しやすくするというアクティブビジョンの考え方により、ステレオ計測の性能を高める方法が提案されている。
例えば下記の非特許文献1に開示される技術では、リニアスライダに2台のカメラを載置しカメラ間の基線長を可変とし、カメラの視野を確保するために、カメラのパン及びチルト角を可変としている。パン及びチルト角を任意の方法で決定した後、カメラ量子化誤差の影響を最小化する基線長に設定することで、視野と精度(距離分解能)との両立を試みている。
また、非特許文献1には、計測対象物の形状計測を行う上で、視点を自動で選択し、移動し計測を行う方法が提案されている。
例えば下記の非特許文献1に開示される技術では、リニアスライダに2台のカメラを載置しカメラ間の基線長を可変とし、カメラの視野を確保するために、カメラのパン及びチルト角を可変としている。パン及びチルト角を任意の方法で決定した後、カメラ量子化誤差の影響を最小化する基線長に設定することで、視野と精度(距離分解能)との両立を試みている。
また、非特許文献1には、計測対象物の形状計測を行う上で、視点を自動で選択し、移動し計測を行う方法が提案されている。
下記の特許文献1では、計測対象物にスリットパターンを投影してステレオ方式で計測対象物の測定を行っている。測定におけるスリット欠損などの計測情報をもとに、計測対象物の形状が得られない再計測領域を算出し、この算出結果に基づいて計測対象物を回転させて再計測を行うことが開示されている。
また、下記の非特許文献2に開示される技術では、ロボットアームに搭載したレーザレンジファインダで計測が行われる。当該技術では、計測対象物を連続した面と仮定し、計測結果の不連続面を最も広く計測できる視点を選択し、計測を行う。これを複数回繰り返すことで、計測対象物の形状を取得する。
このような、視点を移動して三次元計測を行うという手法は、ロボットの自己位置同定と環境理解とを同時に行うSLAMといわれる手法に近似するようにも思われる。しかしながら、非特許文献2の技術では、自己位置の同定を含まず、視覚センサの位置姿勢は既知であり、生産現場でのパーツピッキングなど、環境理解などと比べ比較的高い精度を必要とするという点で、SLAMの手法とは相違する。
"Variable Baseline Stereo Tracking Vision System Using High-Speed Linear Slider", IEEE Proc. on Robotics and Automation, Barcelona, Spain, April 2005.
「物体の形状計測におけるレンジファインダの視点選択」、 電子情報通信学会論文誌, D-II, Vol.J81-D-2, No.6(19980625), pp.1269-1277, 1998.
ある計測対象物を計測し、その計測結果をもとに、ロボットアームでそれを把持するような作業の場合、その計測対象物がどこにあるのかを認識し、その計測対象物のどこをどのように把持するのかを決定する必要がある。計測対象物がどこにあるのかを知るためには、なるべく広い視野での計測が望ましい。一方、計測対象物のどこをどのように把持するのかを決め把持を成功させるためには、視野が狭くても高精度な計測が必要である。
上記非特許文献1では、計測対象物を注視するようパン、チルト角を制御し、距離分解能を高めるために、基線長を最適に設定している。しかしながら、非特許文献1の技術では、距離分解能に大きな影響を及ぼす、センサと計測対象物間の距離(以後「撮像距離」と呼ぶ)の能動的な変更や、視野及び精度をもとに視点を大きく動かすことはできない。
また、上記特許文献1では、計測結果の欠損情報をもとに、計測対象物を回転させることで視点を相対的に変更している。このように視点を変更して再計測を繰り返すことで、計測欠損部分を無くしていく。しかしながら特許文献1では、センサの基線長、及び撮像距離は、固定と考えていることから、視点位置を選択することにより視野及び精度を調整することに関しては着目していない。よって特許文献1の発明では、計測対象物における計測注目領域をより高精度にて計測することはできないという問題がある。
上記非特許文献2の技術においても、撮像距離及び基線長は、固定として視点を選択している。また、ロボットアーム上で視点を自由に変更しているものの、それに伴う精度の変化に対する議論の開示はない。
視点を自由に変更することは、ステレオ計測の視野及び精度に影響する撮像距離を自由に変えられることを意味する。しかしながら上述の上記非特許文献1のように、基線長を能動的に変化させる方法は存在するものの、撮像距離を能動的に変化させることで、高精度化させるという議論はされてこなかった。したがって、せっかく自由に視点を移動した場合でも、視野や精度に関するセンサの性能を十分に引き出せていなかった。
例えば、センサをロボットアームの手先に搭載したハンドアイシステムを利用した、ビンピッキング作業などの生産作業において、上述の課題は顕著に現れる。即ち、上記手先に搭載するセンサは、小型である必要があり基線長を長くとれない。一方、作業には高い精度が要求される。このように視野及び精度の要求が高く、それを満たす視点決定は重要な課題となる。
また、コネクタ付きケーブルを計測して把持するような事例の場合、柔軟で姿勢が変わりやすいケーブルの延長上にあるコネクタを発見するためには、広い視野で全体を計測しなければならない。コネクタの発見後では、可能な限り高精度にて、そのコネクタに近づいて計測し、認識して把持する必要がある。
しかしながら、従来、広範囲の計測と、注目領域の高精度な計測との両方を同一装置にて実行することはできなかった。
しかしながら、従来、広範囲の計測と、注目領域の高精度な計測との両方を同一装置にて実行することはできなかった。
本発明は、上述したような相反する作業、つまり計測対象物に対する広範囲の計測と、計測対象物の注目領域に対する高精度な計測との両方を両立可能な三次元形状計測装置、及び計測方法を提供することを目的とする。
上記目的を達成するため、本発明は以下のように構成する。
即ち、本発明の一態様における三次元形状計測装置は、計測対象物を撮像する撮像部と、上記撮像部の移動を行う移動部と、上記撮像部及び上記移動部に接続され上記計測対象物を含む視野で上記計測対象物の計測を可能とする要求視野を求めかつ上記計測対象物の計測における距離分解能を最小とする上記撮像部の視点位置を決定する視点決定部と、上記視点決定部にて決定された視点位置に従い上記移動部にて移動された上記撮像部から得られる撮像画像にて上記計測対象物の三次元計測を行う計測処理部と、を備えたことを特徴とする。
即ち、本発明の一態様における三次元形状計測装置は、計測対象物を撮像する撮像部と、上記撮像部の移動を行う移動部と、上記撮像部及び上記移動部に接続され上記計測対象物を含む視野で上記計測対象物の計測を可能とする要求視野を求めかつ上記計測対象物の計測における距離分解能を最小とする上記撮像部の視点位置を決定する視点決定部と、上記視点決定部にて決定された視点位置に従い上記移動部にて移動された上記撮像部から得られる撮像画像にて上記計測対象物の三次元計測を行う計測処理部と、を備えたことを特徴とする。
本発明の一態様における三次元形状計測装置によれば、視点決定部を備え、計測対象物を含む視野で上記計測対象物の計測を可能とする要求視野を求め、かつ上記計測対象物の計測における距離分解能を最小とする撮像部の視点位置を決定するようにした。よって、ステレオ計測が理論的に最も高分解能となる計測視点位置を自動的に決定して、計測対象物の計測を行うことができる。即ち、広い視野で計測対象物の全体を計測することと、計測対象物の注目領域を精密に計測することとを、一つの装置で両立することができる。したがって、従来行っていたような、広い計測表面を持つ計測対象物を何度も計測して、それを合成するなどの手間が不要となる。これにより、例えば、空中に自由姿勢で存在するコネクタ付きケーブルのような、存在範囲の広い計測対象物をラフに計測した後、計測対象物における注目領域を自動で見つけ出して高精度に再計測し、ロボットアームで把持するような作業が実現可能となる。
本発明の実施形態である三次元形状計測装置、及び該三次元形状計測装置にて実行されるステレオ計測による三次元形状計測方法について、図を参照しながら以下に説明する。上記ステレオ計測は、ある視点から別の視点へ視覚センサを移動させ、その2点でそれぞれ撮影した各画像を利用して行われる。尚、各図において、同一又は同様の構成部分については同じ符号を付している。
実施の形態1.
図1には、本発明の実施形態1における三次元形状計測装置101の概略構成が示されている。本実施形態1の三次元形状計測装置101は、基本的構成として、視覚センサ10と、視点決定部20と、ロボット30と、計測処理部40とを備える。本実施形態1では、単眼の視覚センサ10つまり一つの視覚センサ10がロボット30に固定されており、視覚センサ10はロボット30により移動され、各視点位置にて計測対象物50を撮像する。このように本実施形態では、視覚センサ10は、計測対象物50を撮像する撮像部の一例に相当し、ロボット30が移動部の一例に相当する。
図1には、本発明の実施形態1における三次元形状計測装置101の概略構成が示されている。本実施形態1の三次元形状計測装置101は、基本的構成として、視覚センサ10と、視点決定部20と、ロボット30と、計測処理部40とを備える。本実施形態1では、単眼の視覚センサ10つまり一つの視覚センサ10がロボット30に固定されており、視覚センサ10はロボット30により移動され、各視点位置にて計測対象物50を撮像する。このように本実施形態では、視覚センサ10は、計測対象物50を撮像する撮像部の一例に相当し、ロボット30が移動部の一例に相当する。
上記視点決定部20は、視覚センサ10及びロボット30と接続され、上記計測対象物と視覚センサ10との間の撮像距離H、及び視覚センサ10の配置間隔に相当する基線長Bを最適化して視覚センサ10の視点位置P3,P4を決定する部分である。ここで、上記撮像距離Hは、上記計測対象物50を含む視野で計測対象物50の計測を可能とする要求視野を確保しかつ計測対象物50における距離分解能を最小とするような距離である。よって、撮像距離Hの上記最適化とは、上記距離分解能を最小にすることに相当する。又、視点位置P3,P4の配置間隔、及び視点位置P1,P2の配置間隔が基線長Bに相当する。尚、本実施形態では、視点位置P1,P2の配置間隔は、予め設定されており最適化の対象外としている。
また、視点決定部20は、本実施形態ではコンピュータにて構成され、機能として図2に示すように、全体計測部22と、要求視野決定部23と、計測視野決定部24Aと、分解能決定部24Bとの各構成部分を有する。尚、計測視野決定部24Aと分解能決定部24Bとを総称して視点最適化部24とする。これらの構成部分22〜24の概略を以下に説明し、詳しくは後述の三次元形状計測方法の説明部分にて説明する。
上記全体計測部22は、計測対象物50の全体が収まる程度に十分に広い視野にて計測対象物50のラフな形状計測を実行する部分である。
上記要求視野決定部23は、全体計測部22にて得られたラフな計測情報(以下、初期三次元計測情報という)を元に上記要求視野の平面52を求める部分である。この要求視野平面52は、視野の中心位置G、及び該視野の縦長さ及び横長さに相当するLH、LWの各パラメータ、並びに、上記視野の視野座標系(l、m、n)から構成される。要求視野決定部23は、上記初期三次元計測情報から得られる距離画像を元に上記パラメータを求めて、上記要求視野平面52を求める。求め方の具体的方法は、後述の三次元形状計測方法の説明部分にて述べる。
上記要求視野決定部23は、全体計測部22にて得られたラフな計測情報(以下、初期三次元計測情報という)を元に上記要求視野の平面52を求める部分である。この要求視野平面52は、視野の中心位置G、及び該視野の縦長さ及び横長さに相当するLH、LWの各パラメータ、並びに、上記視野の視野座標系(l、m、n)から構成される。要求視野決定部23は、上記初期三次元計測情報から得られる距離画像を元に上記パラメータを求めて、上記要求視野平面52を求める。求め方の具体的方法は、後述の三次元形状計測方法の説明部分にて述べる。
上記計測視野決定部24Aは、要求視野決定部23にて求めた上記要求視野を視覚センサ10による計測視野内に収めるための視覚センサ10の移動方向を求める部分である。また、本実施形態では、計測視野決定部24Aは、機能として、上記要求視野平面52の法線周りにおける基線長Bの回転角ψを決定する回転角決定部24A−1を有している。その詳細は後述の三次元形状計測方法の説明部分にて述べる。このように基線長の回転角ψを決定することで、ステレオ計測の対応付けの性能を高め、誤差の少ない安定した計測を実現することができる。尚、回転角決定部24A−1は、必須の構成部分ではない。
上記分解能決定部24Bは、上記要求視野を上記計測視野内に収めた状態において上記距離分解能を最小化する部分である。
上記分解能決定部24Bは、上記要求視野を上記計測視野内に収めた状態において上記距離分解能を最小化する部分である。
上記計測処理部40は、視点決定部20にて決定された視点位置に従いロボット30にて移動された視覚センサ10から得られる撮像画像にて計測対象物50の三次元計測を行う部分である。尚、本実施形態では図1に示すように、視点決定部20及び計測処理部40は、別々に構成した場合を示すが、統合して例えば一つのコンピュータにて構成してもよい。
以上のように構成される本実施形態の三次元形状計測装置101における動作、つまり三次元形状計測装置101にて実行される三次元形状計測方法について、図14も参照して以下に説明する。
まず、図1に示すように視点決定部20、詳しくは全体計測部22の制御にて、ロボット30は、視覚センサ10を視点位置P1に配置し、その後、視点位置P1とは異なる別の視点位置P2へ配置する。そして視点位置P1、P2のそれぞれにて、視覚センサ10は、計測対象物50の全体が収まる程度に十分に広い視野にて計測対象物50の撮像を行い、全体計測部22は、計測対象物50のラフな形状計測を行う(図14のステップS1)。
まず、図1に示すように視点決定部20、詳しくは全体計測部22の制御にて、ロボット30は、視覚センサ10を視点位置P1に配置し、その後、視点位置P1とは異なる別の視点位置P2へ配置する。そして視点位置P1、P2のそれぞれにて、視覚センサ10は、計測対象物50の全体が収まる程度に十分に広い視野にて計測対象物50の撮像を行い、全体計測部22は、計測対象物50のラフな形状計測を行う(図14のステップS1)。
次に、視点決定部20の要求視野決定部23は、上記ラフな形状計測の結果情報である上記初期三次元計測情報から得られる距離画像を元に、上述のように視野の視野座標系(l、m、n)、視野の中心位置G、及び該視野の縦長さ及び横長さに相当するLH、LWの各パラメータを求め、要求視野平面52を求める(図14のステップS2)。以下にその求め方を具体的に説明する。
まず、計測対象物50における局所領域内において距離値の分散をとる。即ち、ステレオ計測の場合、図3Aに示すように、計測方向61に対して計測面63の勾配がきつくエッジになる領域63aの計測には誤差、つまり計測点62のバラツキが大きく発生し易い。そのため、距離値の分散が大きくなりやすい。また、表面形状が複雑な場合も、分散値は高くなりやすい。どちらも、より精密な再計測の必要性が高いため、この分散値の高い領域を割り出す。その領域内の計測点62に対してハフ変換による直線割り当てや、最小二乗による直線当てはめなどを施し、得られた直線64に対する法線方向nを定める(図3B)。要求視野平面52の範囲は、その分散値をもとに決める。もしくは、事前に計測対象物50の大きさをもとに決めておく。
即ち、計測対象物50の形状が事前に分かっている場合には、要求視野平面52は、計測対象物50の形状をもとに決定することができる。例えば、計測対象物50が図4Aに示すようなコネクタ66を有するケーブル65であり、これを把持する場合には、まずケーブル65を含む全体をラフに計測した後、コネクタ66を精密に計測するという作業要求が決まっている。よって図4Aに示すように、ケーブル65とコネクタ66との両方をラフに計測し、次に、図4Bに示すように、その計測点群67の末端に位置する点をコネクタ66の推定位置68とする。その推定位置68の近傍の計測点67についてハフ変換や最小二乗法にて直線を得て、該直線に対する法線ベクトルnを求める。これにより、コネクタ66の大きさに従って、要求視野平面52を計算することができる。また、ケーブル65が複数本存在し、末端が分かりづらい場合には、計測点群67をクラスタリング処理するなどして、複数ケーブルに分離すればよい。
このように、要求視野平面52は、計測対象物50や作業要求に応じて、事前に決定することができる。計測対象物50を置くスペースが決まっているのであれば、上記スペースの範囲をもとに事前に要求視野平面52を決定しておいても良い。
次に、上述のようにして要求視野平面52を決定した後、視点決定部20の視点最適化部24は、図5から図9に示すように、上述の視点位置P1、P2から視点位置P3、P4へ視覚センサ10を移動して、要求視野平面52を計測視野53内に収めるような視点位置P3、P4を決定する(図14のステップS3、S4)。各視点位置P3、P4は、基線長B、撮像距離H、及び、要求視野平面52の法線周りの回転角ψにより決定される。ここで、基線長Bは、視点位置P3と視点位置P4との間の距離である。
以下には、計測視野決定部24Aが実行する、要求視野平面52を計測視野53内に収める方法について具体的に説明する。
以下には、計測視野決定部24Aが実行する、要求視野平面52を計測視野53内に収める方法について具体的に説明する。
まず、回転角決定部24A−1にて上記回転角ψを決定する。回転角ψは0度としても計測可能である。つまり回転角ψを考慮しなくても計測可能である。しかしながら、上記初期三次元計測による距離画像において、エッジ方向などをもとに回転を加えることで、安定した形状計測が可能となる。例えば、図4Aに示すコネクタ付きケーブル65の接線方向と基線長Bの接線ベクトルが同じ方向の場合、対応付け処理の際、対応付けを定めることが困難な開口問題に陥りやすく計測が困難となる。一方、基線長Bの接線ベクトルがn×l方向と一致する場合、対応付け処理は比較的容易であり、計測誤差が抑えられる。よって、回転角ψにより、基線長Bの接線ベクトルがn×l方向と一致するように調整することで、隠れや開口問題などへ対処する。このとき、図6に示すように計測視野53を定義し、要求視野平面52との関係で下記式(1)が成り立つ。
上記計測視野53を満たす基線長B及び撮像距離Hの条件を求める。ここで要求視野平面52と画像平面51とは平行である。また、撮像距離Hは、両視点位置P3、P4間の中心を通る直線で、基線長Bを等分する直線であると定義する。また、図7に示すように視覚センサ10の水平視野角をθ、図8に示すように垂直視野角をφとする。これにより図7及び図8に示す幾何関係が生じる。
図7の幾何関係から得られる下記式の条件、
さらに、図8の幾何関係から得られる下記式の条件
の両条件が成り立てば、計測視野53内に要求視野平面52が収まることになる。基線長B及び撮像距離Hについて整理しまとめると、下記式(4)が計測視野53を満たすための条件となる。
ここで、θ、φの値は、用いる視覚センサ10にて決まる値であるため任意定数であり、tanθ、tanφも任意定数である。
このように計測視野決定部24Aは、上記式(4)を格納する。
このように計測視野決定部24Aは、上記式(4)を格納する。
以上のように計測視野53内に要求視野平面52を収めるようにした上で、次に、分解能決定部24Bにて、基線長B及び撮像距離Hにより変化する奥行き方向の分解能である距離分解能Rを最小化する。この距離分解能Rの最小化については、図9に示すように考える。
ここで1画素の大きさをα mmとする。この値も用いる視覚センサ10により固有であり、任意定数となる。撮像距離Hの高さにある点を2枚の画像上で合計1画素ずれて計測したときに生じる奥行き方向の誤差分をRとする。
ここで1画素の大きさをα mmとする。この値も用いる視覚センサ10により固有であり、任意定数となる。撮像距離Hの高さにある点を2枚の画像上で合計1画素ずれて計測したときに生じる奥行き方向の誤差分をRとする。
このとき、三角形の相似関係より、下記式(5)となる。
よって、
同様に、三角形の相似関係より、下記式(7)となる。
これより、
上記式(6)を代入して、下記式(9)が得られる。
計測視野53を確保しつつ、可能な限り高い距離分解能Rを得るには、上記式(4)の条件下で、距離分解能Rを最小化することにほかならない。最適な基線長と撮像距離をそれぞれB*、H*にて表すと、下記式(10)となる。
この式(10)を、式(4)の条件下で解く。これは、2変数の条件付非線形最適化問題であり、一般的解法で解ける。
このように分解能決定部24Bは、上記式(10)を格納し、解を求める。よって、視点最適化部24は、上記式(4)及び式(10)によって、最適な基線長B*と撮像距離H*を求める。
このように分解能決定部24Bは、上記式(10)を格納し、解を求める。よって、視点最適化部24は、上記式(4)及び式(10)によって、最適な基線長B*と撮像距離H*を求める。
図10は、上記式(9)の距離分解能R、基線長B、撮像距離Hの関係をグラフ表示したものである。パラメータ値は、f=6mm、α=7.4×10−3 mmである。撮像距離Hが大きく、基線長Bが小さくなるにつれて距離分解能Rが大きくなっていく。
また、図10から、基線長Bのみを調節しても、撮像距離Hにより距離分解能Rが大きく変化することがわかる。
また、図10から、基線長Bのみを調節しても、撮像距離Hにより距離分解能Rが大きく変化することがわかる。
また、図11は、L’W=L’H=50mm、θ=43.36°、φ=33.24°として図10に示す結果に条件式(4)の結果を加えたものである。これは、精密計測時、つまり計測対象物50における要求視野平面52を計測する場合を想定している。この場合、距離分解能Rが最小になる最適値は、表示されているグラフ内では、撮像距離H=300mm、基線長B=165mmとなった。この場合、可能な限り撮像距離Hを短くすればよいという、基線長Bではなく撮像距離Hの調節が優先する結果となった。
また、図12は、L’W=L’H=200mm、θ=43.36°、φ=33.24°として図10に示す結果に条件式(4)の結果を加えたものである。これは、全体計測時、つまり計測対象物50の全体をラフに計測する場合を想定している。この場合、距離分解能Rが最小になる最適値は、H*=560mm、B*=245mmである。単純に撮像距離Hを短く、もしくは、基線長Bを長く取るのではなく、これら双方のバランスをとった最適値が一意に決まった。このとき、R=0.4493mmとなった。
以上説明したように視点決定部20の視点最適化部24が基線長B及び撮像距離Hを最適化することで、視点位置P3、P4が決定される(図14のステップS4)。
決定された視点位置P3、P4にて視覚センサ10がステレオ計測した画像を元に、計測処理部40が要求視野平面52において計測対象物50の精密形状計測を行う(図14のステップS5)。
決定された視点位置P3、P4にて視覚センサ10がステレオ計測した画像を元に、計測処理部40が要求視野平面52において計測対象物50の精密形状計測を行う(図14のステップS5)。
以上説明したように本実施形態の三次元形状計測装置101では、計測対象物50の周囲で自由に視点位置を変更できるような視覚センサ10によるステレオ計測において、計測対象物50の初期三次元計測情報を元に、あるいは事前に得られる計測対象物50の情報を元に、計測対象物50の注目する領域と法線方向とを決定し、それに基づき要求視野平面52を定義する。次に、上記要求視野平面52を満たし、かつ、距離分解能Rが最良となるように、撮像距離Hと、基線長Bとの両方のパラメータを、三角測量ベースの理論式に基づき最適化を行う。また、計測時にステレオ対応付けが容易で、隠れが生じにくい移動方向を選択することで、計測性能を高める。それらに基づき視点位置を自動で決定し、その視点位置に視覚センサ10を移動して高精度にて注目領域を再計測する。
よって、本実施形態の三次元形状計測装置101によれば、従来、手動で定めた視点位置における複数回の精密計測の繰り返しが必要な作業について、計測対象物50の全体計測と、自動決定された視点位置での精密計測の2ステップに置き換えることができる。つまり、ステレオ計測が理論的に最も高分解能となる計測視点位置を自動的に決定して、計測対象物50の計測を行うことができる。即ち、広い視野での計測対象物50の全体を計測することと、計測対象物50の注目領域を精密に計測することとを、一つの装置で両立することができる。したがって、広い計測表面を持つ計測対象物を何度も計測して、それを合成するなどの手間が不要となる。また、移動方向を計測対象物の見え方に基づき決定するので、隠れや未計測領域を計測しやすいという利点もある。
実施の形態2.
図13には、本発明の実施形態2における三次元形状計測装置102を示している。上述した実施の形態1における三次元形状計測装置101では、単一の視覚センサ10が視点位置P1〜P4のそれぞれに配置されて撮像を行う構成である。これに対し本実施形態2の三次元形状計測装置102では、基線長Bが固定された、つまり一定の基線長に設置された2台の撮像部(ステレオセンサ)11a,11bを有する視覚センサ11をロボット30に固定している。上述のように実施形態1では単一の視覚センサ10を用いるため、撮像距離H及び基線長Bの両方のパラメータの最適化を行ったが、本実施形態2におけるステレオセンサの場合には、上述のように基線長Bは固定で定数となるため、以下に説明するように撮像距離Hのみを最適化することになる。また、視覚センサ11は、受動型、能動型どちらでもよい。また、三次元形状計測装置102におけるその他の構成は、実施の形態1における三次元形状計測装置101の構成に同じである。
図13には、本発明の実施形態2における三次元形状計測装置102を示している。上述した実施の形態1における三次元形状計測装置101では、単一の視覚センサ10が視点位置P1〜P4のそれぞれに配置されて撮像を行う構成である。これに対し本実施形態2の三次元形状計測装置102では、基線長Bが固定された、つまり一定の基線長に設置された2台の撮像部(ステレオセンサ)11a,11bを有する視覚センサ11をロボット30に固定している。上述のように実施形態1では単一の視覚センサ10を用いるため、撮像距離H及び基線長Bの両方のパラメータの最適化を行ったが、本実施形態2におけるステレオセンサの場合には、上述のように基線長Bは固定で定数となるため、以下に説明するように撮像距離Hのみを最適化することになる。また、視覚センサ11は、受動型、能動型どちらでもよい。また、三次元形状計測装置102におけるその他の構成は、実施の形態1における三次元形状計測装置101の構成に同じである。
このように構成される本実施形態2の三次元形状計測装置102は、以下のように動作する。
まず、視点位置P1でのラフな計測結果をもとに、実施形態1の場合と同様にして要求視野平面52を求める。そして求めた要求視野平面52をもとに計測視野53を決定して、視点位置P2を決定する。
即ち、実施形態1と同様に計測視野53を満たすための条件は、下記の式(11)となる。
まず、視点位置P1でのラフな計測結果をもとに、実施形態1の場合と同様にして要求視野平面52を求める。そして求めた要求視野平面52をもとに計測視野53を決定して、視点位置P2を決定する。
即ち、実施形態1と同様に計測視野53を満たすための条件は、下記の式(11)となる。
ここで、max(a,b)とは、a、bのうち大きな値を選ぶことを意味する。
距離分解能Rは、上記式(9)と同様である。したがって、最適な撮像距離H*は、下記の式(12)となる。
式(11)の条件下で上記式(12)を解く。これは、1変数の条件付非線形最適化問題に相当する。よって、上記式(12)を解くことによる撮像距離の最適化により、視野及び精度(距離分解能)が調節される。
視覚センサ11における片方のセンサがレーザなどの能動型ステレオセンサの場合、画角に当たる部分が照射角となる。上記式(12)は、厳密には再定義が必要であるが、実際には、最適値H*は、式(12)のままでも同様に求めることができる。
このように実施形態2における三次元形状計測装置102においても、上述の実施形態1における三次元形状計測装置101が奏する効果と同じ効果、つまり広い視野で計測対象物の全体を計測することと、計測対象物の注目領域を精密に計測することとを、一つの装置で両立することができる。
10、11 視覚センサ、20 視点決定部、22 全体計測部、
23 要求視野決定部、24 視点最適化部、24A 計測視野決定部、
24A−1 回転角決定部、24B 分解能決定部、30 ロボット、
40 計測処理部、50 計測対象物、52 要求視野平面、53 計測視野、
101,102 三次元形状計測装置。
23 要求視野決定部、24 視点最適化部、24A 計測視野決定部、
24A−1 回転角決定部、24B 分解能決定部、30 ロボット、
40 計測処理部、50 計測対象物、52 要求視野平面、53 計測視野、
101,102 三次元形状計測装置。
Claims (5)
- 計測対象物を撮像する撮像部と、
上記撮像部の移動を行う移動部と、
上記撮像部及び上記移動部に接続され、上記計測対象物を含む視野で上記計測対象物の計測を可能とする要求視野を求めかつ上記計測対象物の計測における距離分解能を最小とする上記撮像部の視点位置を決定する視点決定部と、
上記視点決定部にて決定された視点位置に従い上記移動部にて移動された上記撮像部から得られる撮像画像にて上記計測対象物の三次元計測を行う計測処理部と、
を備えたことを特徴とする三次元形状計測装置。 - 上記視点決定部は、上記計測対象物と上記撮像部との間の撮像距離、及び上記撮像部の基線長の最適化、又は、上記撮像距離の最適化を行って上記距離分解能を最小とし上記撮像部の上記視点位置を決定する、請求項1記載の三次元形状計測装置。
- 上記視点決定部は、
上記計測対象物の全体を収める視野にて上記計測対象物をラフに計測する全体計測部と、
上記全体計測部にて得られた初期三次元計測情報をもとに上記要求視野を求める要求視野決定部と、
求めた上記要求視野を上記撮像部による計測視野内に収める上記撮像部の位置を求める計測視野決定部と、
上記計測視野決定部にて上記要求視野を上記計測視野内に収めた状態において距離分解能を最小化する分解能決定部と、を備える、請求項1又は2記載の三次元形状計測装置。 - 上記計測視野決定部は、上記要求視野の平面の法線周りにおける基線長の回転角を決定する回転角決定部を有する、請求項3記載の三次元形状計測装置。
- 撮像部を移動させてステレオ計測により計測対象物の形状計測を行う三次元形状計測装置にて実行される三次元形状計測方法において、
上記計測対象物を含む視野で上記計測対象物の計測を可能とする要求視野を求めかつ上記計測対象物の計測における距離分解能を最小とする上記撮像部の視点位置を決定し、
上記決定された視点位置に従い移動された上記撮像部から得られる撮像画像にて上記計測対象物の三次元計測を行う、
ことを特徴とする三次元形状計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109119A JP2010256276A (ja) | 2009-04-28 | 2009-04-28 | 三次元形状計測装置及び計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009109119A JP2010256276A (ja) | 2009-04-28 | 2009-04-28 | 三次元形状計測装置及び計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010256276A true JP2010256276A (ja) | 2010-11-11 |
Family
ID=43317345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009109119A Pending JP2010256276A (ja) | 2009-04-28 | 2009-04-28 | 三次元形状計測装置及び計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010256276A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214203A (ja) * | 2012-04-02 | 2013-10-17 | Sharp Corp | 撮像装置、撮像制御方法、及びプログラム |
JP2013246111A (ja) * | 2012-05-29 | 2013-12-09 | Topcon Corp | 画像取得方法及び撮影装置 |
JP2017203701A (ja) * | 2016-05-12 | 2017-11-16 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法およびプログラム |
WO2021039088A1 (ja) * | 2019-08-28 | 2021-03-04 | パナソニックIpマネジメント株式会社 | 撮像パラメータ出力方法、及び、撮像パラメータ出力装置 |
CN114909999A (zh) * | 2022-07-18 | 2022-08-16 | 深圳市超准视觉科技有限公司 | 一种基于结构光的三维测量***及方法 |
-
2009
- 2009-04-28 JP JP2009109119A patent/JP2010256276A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214203A (ja) * | 2012-04-02 | 2013-10-17 | Sharp Corp | 撮像装置、撮像制御方法、及びプログラム |
JP2013246111A (ja) * | 2012-05-29 | 2013-12-09 | Topcon Corp | 画像取得方法及び撮影装置 |
JP2017203701A (ja) * | 2016-05-12 | 2017-11-16 | キヤノン株式会社 | 情報処理装置、計測システム、情報処理方法およびプログラム |
WO2021039088A1 (ja) * | 2019-08-28 | 2021-03-04 | パナソニックIpマネジメント株式会社 | 撮像パラメータ出力方法、及び、撮像パラメータ出力装置 |
JP7511147B2 (ja) | 2019-08-28 | 2024-07-05 | パナソニックIpマネジメント株式会社 | 撮像パラメータ出力方法、及び、撮像パラメータ出力装置 |
CN114909999A (zh) * | 2022-07-18 | 2022-08-16 | 深圳市超准视觉科技有限公司 | 一种基于结构光的三维测量***及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11243072B2 (en) | Method for the three dimensional measurement of moving objects during a known movement | |
EP3333538B1 (en) | Scanner vis | |
JP6011548B2 (ja) | カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム | |
JP5943547B2 (ja) | 非接触測定を行う装置および方法 | |
US11544860B2 (en) | Combined point cloud generation using a stationary laser scanner and a mobile scanner | |
KR102085228B1 (ko) | 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치 | |
US9207069B2 (en) | Device for generating a three-dimensional model based on point cloud data | |
JP5624394B2 (ja) | 位置姿勢計測装置、その計測処理方法及びプログラム | |
AU2013379669B2 (en) | Apparatus and method for three dimensional surface measurement | |
JP7173285B2 (ja) | カメラ校正装置、カメラ校正方法、及びプログラム | |
US11222433B2 (en) | 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images | |
WO2022111105A1 (zh) | 一种自由姿态的智能视觉3d信息采集设备 | |
JP2010256276A (ja) | 三次元形状計測装置及び計測方法 | |
JP2021193400A (ja) | アーチファクトを測定するための方法 | |
US20130021449A1 (en) | Three-dimensional measuring method | |
US20200242806A1 (en) | Stereo camera calibration method and image processing device for stereo camera | |
CN112805607A (zh) | 计测装置、计测方法和显微镜*** | |
EP3460758A1 (en) | Virtual reality system for viewing point cloud volumes while maintaining a high point cloud graphical resolution | |
JP2024501731A (ja) | 複数カメラによる速度測定方法及び速度測定装置 | |
JP2018032144A (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
CN110866951A (zh) | 一种单目摄像机光轴倾斜的校正方法 | |
Luhmann et al. | Comparison and verification of optical 3-d surface measurement systems | |
JP6091092B2 (ja) | 画像処理装置、及び画像処理方法 | |
KR20180076458A (ko) | 우주 환경에서 스테레오 카메라를 이용한 마커기반의 거리 추정 알고리즘 | |
Ghuffar et al. | Relative orientation of videos from range imaging cameras |