JP3803750B2 - Volume measuring method and volume measuring program - Google Patents
Volume measuring method and volume measuring program Download PDFInfo
- Publication number
- JP3803750B2 JP3803750B2 JP2002046610A JP2002046610A JP3803750B2 JP 3803750 B2 JP3803750 B2 JP 3803750B2 JP 2002046610 A JP2002046610 A JP 2002046610A JP 2002046610 A JP2002046610 A JP 2002046610A JP 3803750 B2 JP3803750 B2 JP 3803750B2
- Authority
- JP
- Japan
- Prior art keywords
- volume
- projection
- measurement
- target
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、センサ視点から放射状に投射して投射対象までの距離を計測する3次元計測センサを用いて体積を計測する体積計測方法、及び、センサ視点から投射対象に対し放射状に投射する3次元計測センサから得られる投射画像に基づいて計測される前記投射対象の3次元データを用いて、コンピュータに体積を計測させる体積計測プログラムに関するものである。
特に、建設機械や産業用ロボットの様な作業用アームがある場合には作業計画のプランニングや作業遂行量等の計測に、また、無人の移動車両に搭載した場合には、障害物までの空間の体積と自分の体積を比較することで自律航行するための指令値の導出に有用である。なお、本明細書において、体積とは、計測対象等の物体の体積の他に、投射領域等の空間の体積(容積)を含むものである。
【0002】
【従来の技術】
従来は、図10(a)に示すように、計測値から得られた座標(x,y,z)をxy平面に投影して隣接する座標との間で領域を区切って底面とし、これが高さzを持つ角柱であるとして全ての座標について体積を積算する手法や、同図(b)に示すように、隣接する座標を相互に結んで対象物の表面を覆うように三角形を構成し、それらを投影した角柱を作り体積を積算する手法などがある。
【0003】
【発明が解決しようとする課題】
しかしながら、図10に示す様な方法では、空間の体積を計測することができず、例えば、土木事業等での掘削作業において、掘削して形成された穴の容積を計測することができない。この場合、上述した図9に示す従来の計測方法では、掘削した土砂の体積を計測するしかなく、掘削土が毎回異なる場所に捨てられる場合は、その場所の分、複数台の計測機器が必要となり、計測効率を悪化させる原因となっていた。
【0004】
また、図10に示す様な方法では、計測する座標が多くなるほど相互の位置関係から隣接点を探索し境界線を求めるための計算量が急激に増大するという問題がある。したがって、高性能の計測機器が必要となり、コストが増大する原因となっていた。
【0005】
更に、図11に示すように、円錐台又は角錐台を逆さにしたような物体Wでは、単純に各座標a,b,c,dを水平面に投影すると、座標a,bから投影された微小柱体A,Bは正確に体積を算出できるが、座標c,dから投影された微小柱体C,Dにおいては、物体Wの内外のどちらに存在するか区別なく体積を計算されてしまうこととなる。このため、この積算誤差の出現を回避するために、計測した点に関し、どの領域が物体Wの表面なのかを認識する必要があり、面の方向などの判別をするという複雑な処理が必要となるという問題がある。
【0006】
本発明は、上述した従来技術の問題点を解消するため、空間体積の計測を実現するとともに、土木事業等における掘削作業の作業効率の向上を図ることを目的としている。また、体積計測処理の高速化及び低コスト化の実現を図ることにある。更に、計測対象Wの体積計測の高精度化を図ることにある。
【0007】
【問題を解決するための手段】
上記目的を達成するため、請求項1記載の体積計測方法は、センサ視点Oから投射対象Pに対し放射状に投射して得られる投射画像から前記投射対象Pの3次元データを計測する3次元計測センサ10を用いて体積を計測する体積計測方法であって、
前記3次元計測センサ10から得られた前記3次元データに基づいて、前記センサ視点Oから前記投射画像内の注目画素(i,j)を投影した前記投影対象P上の微小投影面Fijまでの投射距離Rij及び前記微小投影面Fijの微小投影面積Sijを導出するデータ導出ステップと、
前記センサ視点Oを頂点とし前記投射距離Rijを高さとし前記微小投影面Fijを底面とする微小錐体Cijの要素体積Vijを計測する要素体積計測ステップと、前記要素体積Vijを総ての微小投影面Fijにまで積分して、前記センサ視点Oから前記投射対象Pまでの投射領域PAの総体積Vを計測する総体積計測ステップと、
を具備することを特徴とする。
【0008】
また、請求項2記載の体積計測方法は、請求項1記載の体積計測方法において、前記投射領域PA内に計測対象Wを設けずに計測した前記投射領域PAの総体積Vと、前記投射領域PA内に前記計測対象Wを設けて同一センサ視点Oから同一方向に投射して計測した投射領域PAの総体積Vと、を比較して、前記計測対象Wの体積を計測する比較計測ステップを具備することを特徴とする。
【0009】
更に、請求項3記載の体積計測方法は、請求項1記載の体積計測方法において、過去に計測した前記投射領域PAの総体積Vと、同一センサ視点Oから同一方向に投射して計測した現在の投射領域PAの総体積Vと、を比較して、その体積変化量を計測する比較計測ステップを具備することを特徴とする。
【0010】
また、請求項4記載の体積計測プログラムは、センサ視点Oから投射対象Pに対し放射状に投射する3次元計測センサ10から得られる投射画像に基づいて計測される前記投射対象Pの3次元データを用いて、コンピュータに体積を計測させる体積計測プログラムであって、
前記コンピュータを、
前記3次元計測センサ10から得られた前記3次元データに基づいて、前記センサ視点Oから前記投射画像内の注目画素(i,j)を投影した前記投影対象P上の微小投影面Fijまでの投射距離Rij及び前記微小投影面Fijの微小投影面積Sijを導出するデータ導出手段3、
前記センサ視点Oを頂点とし前記投射距離Rijを高さとし前記微小投影面Fijを底面とする微小錐体Cijの要素体積Vijを計測する要素体積計測手段4、
前記要素体積Vijを総ての微小投影面Fijにまで積分して、前記センサ視点Oから前記投射対象Pまでの投射領域PAの総体積Vを計測する総体積計測手段5、
として機能させることを特徴とする。
【0011】
更に、請求項5記載の体積計測プログラムは、請求項4記載の体積計測プログラムにおいて、前記コンピュータを、更に、
前記投射領域PA内に計測対象Wを設けずに計測した前記投射領域PAの総体積Vと、前記投射領域PA内に前記計測対象Wを設けて同一センサ視点Oから同一方向に投射して計測した投射領域PAの総体積Vと、を比較して、前記計測対象Wの体積を計測する比較計測手段7として機能させることを特徴とする。
【0012】
また、請求項6記載の体積計測プログラムは、請求項4記載の体積計測プログラムにおいて、前記コンピュータを、更に、
過去に計測した前記投射領域PAの総体積Vと、同一センサ視点Oから同一方向に投射して計測した現在の投射領域PAの総体積Vと、を比較して、その体積変化量を計測する比較計測手段7として機能させることを特徴とする。
【0013】
上記発明によれば、投射領域PAの空間体積の計測が実現することができる。また、投射領域PA内の体積変化量が計測可能となるため、作業アームを用いた掘削作業、搬送作業等に適用することが可能である。更に、投射領域PA内に存在する計測対象Wの体積の計測が可能となるため、無人の移動車両における自立走行に適用することができる。
【0014】
また、計測対象Wの体積計測においては、複数台の3次元計測センサ10の各投射対象Pを予め設定された仮想平面とし、その投射領域PAを任意の閉空間とする。そして、各閉空間が重複せず、かつ、連続して接合するように、計測対象Wの周囲に複数台の3次元計測センサ10を配置する。そして、各センサに基づいて計測された各体積を合計することで、計測対象Wの体積を計測することができる。これにより、計測対象Wの複雑な形状を認識する必要なく、正確な体積が計測することができる。この3次元計測センサ10の数は、好ましくは3台以上であり、また、各センサ毎の仮想平面を表す平面方程式を同一とすることにより、それぞれ計測対象Wを中心としてその周囲に等間隔に配置することが可能となる。
【0015】
【発明の実施の形態】
まず、本発明の体積計測プログラムの実施の形態について図1〜図4を用いて説明する。体積計測プログラムは、ROM,HDD,CD−ROM等の記録媒体に格納されており、不図示のコンピュータに接続されることで、3次元計測センサ10から計測される3次元データを用いて、コンピュータに体積を計測させるプログラムである。この体積計測プログラムは、コンピュータを、後述する各手段3,4,5,7として機能させるプログラムである。
【0016】
3次元計測センサ10は、例えばステレオビジョン、レーザーレンジファインダー等、センサ視点Oから投射対象Pに対し放射状に投射して得られる投射画像から投射対象Pの3次元データを計測するセンサである。この3次元計測センサ10は、コンピュータに接続されており、図2に示すように、計測された投射対象Pの各計測地点の3次元座標データは、図1に示す3次元データメモリ2に格納される。
【0017】
データ導出手段3は、3次元計測センサ10から得られた3次元データに基づいて、図2に示すように、センサ視点Oから投射画像内の注目画素(i,j)を投影した投影対象P上の微小投影面Fijまでの投射距離Rij及び微小投影面Fijの微小投影面積Sijを導出する。
【0018】
要素体積計測手段4は、図2に示すように、導出されたデータに基づいて、センサ視点Oを頂点とし、投射距離Rijを高さとし、微小投影面Fijを底面とする微小錐体Cijの体積( 以下、要素体積Vijと呼ぶ) を計測する。
【0019】
総体積計測手段5は、要素体積Vijを総ての微小投影面Fijにまで積分して、即ち、各微小錐体Cijの要素体積Vijを積算し、センサ視点Oから投射対象Pまでの投射領域PAにおける総体積Vを計測することとなる。これにより、隣接する微小錐体Cij同士が占める領域が空間内で重なり合うことなく隙間なく定義されるので、距離に応じた半径と広がり角度に基づき球体の一部の体積として計測可能であり、それらの積算により容易に投射対象面Pまでの体積を計測することが可能となる。
【0020】
比較計測手段7は、投射領域PA内に計測対象Wを設けずに計測した投射領域PAの総体積Vと、前記投射領域PA内に計測対象Wを設けて同一センサ視点Oから同一方向に投射して計測した投射領域PAの総体積Vと、を比較して、計測対象Wの体積を計測する。また、過去に計測した投射領域PAの総体積Vと、同一センサ視点Oから同一方向に投射して計測した現在の投射領域PAの総体積Vと、を比較して、その体積変化量を計測する。
【0021】
図2(a)〜(c)は、3次元計測センサ10として、ステレオビジョンを適用した場合の原理図であり、複数台のセンサ10により同一被写体(計測対象W)を写したときに、その位置関係により生じる像のずれから3次元データを算出するステレオビジョンに適用した場合の例を示したものである。また図3は、そのフローチャートである。
【0022】
ステレオビジョン10では、得られた距離画像はCCDの画素毎に輝度値で距離画像が表示されているので、基準カメラのCCDの画素配列に基づき計算すると考えられる。まず、得られた距離画像から得られる3次元座標計測データ(Xij,Yij,Zij)を読み込む(SP1)。
【0023】
次に読み込んだ各3次元座標計測データ(Xij,Yij,Zij)を、3次元データメモリ2から各画素ごとに抽出する(SP2〜SP8)。
【0024】
次に、ステレオビジョン10では、抽出した画素(i,j)の3次元座標計測データは極座標ではないので(SP8−NO)、極座標に変換する(SP9)。すなわち、図2に示すように基準カメラ位置Oをセンサ視点Oとする。そして、図2(b)に示すように、XZ平面において、Z軸と、センサ視点Oと注目画素(i,j)中心を結ぶ線分と、のなす角をθとする。また、図2(c)に示すように、YZ平面において、Z軸と、センサ視点Oと注目画素(i,j)中心を結ぶ線分と、のなす角をφとする。θ及びφは下記式(1)により求めることができる。なお、ここではθ(φ)は注目画素(i,j)の中心までの角度であるためi(j)に対して1/2画素分を引いて(あるいは足して)いる。またpは注目画素(i,j)の画素幅又は画素高さ、fは焦点距離である。
【0025】
【数1】
【0026】
また、投射距離Rijは、センサ視点Oから、注目画素(i,j)から投影された微小投影面Fijまでの距離であり、複数のカメラにおける同一注目画素(i,j)の視差値が距離Rijとして計測される。これにより、注目画素(i,j)から投影された微小投影面Fijの座標(Xij,Yij,Zij)が、極座標(Rij,θij,φij)に変換される。
【0027】
次に、投影対象Pにおける各注目画素(i,j)からの微小投影面Fijの微小投影面積Sijを計測する(SP10)。ここで、センサ視点Oから見て注目画素(i,j)の幅p(X方向)に相当する角度をΔθ、注目画素(i,j)の高さp(Y方向)に相当する角度をΔφとする。注目画素(i,j)の幅(高さ)に相当する角度は下記式(2)により求めることができる。
【0028】
【数2】
【0029】
この注目画素(i,j)に映っている範囲が投射距離Rijを持つものとすると、この部分の体積は半径Rijの球のうちセンサ視点Oと注目画素(i,j)の縁を結ぶ延長線により区切られた部分であると考えることができる。したがって、投影対象Pにおける各注目画素(i,j)からの微小投影面Fijの微小投影面積Sijは、半径Rijの球の表面積(4πRij 2 )に対して表面積(RijΔθi ・RijΔφj )となる。
【0030】
次に、センサ視点Oを頂点とし、注目画素(i,j)を通過する投射距離Rijを高さとし、注目画素(i,j)か投影された微小投影面Fijを底面とする微小錐体Cijを作成する。この微小錐体Cijの体積(要素体積)Vijは、下記式(3)によって求められる(SP11)。
【0031】
【数3】
【0032】
これを全画素について積み上げることにより、即ち、下記式(4)により、センサ視点Oから投射対象Pまでの空間(投射領域PA)について体積Vが計測される(SP12)。
【0033】
【数4】
【0034】
計測された総体積Vは、総体積データメモリ6に格納される(SP13)。なお、上述の例は3次元計測センサ10としてステレオビジョンを適用した例であるが、レーザレンジファインダを適用した場合、レーザレンジファインダから得られる3次元座標計測データは、極座標であるため(SP8−YES)、極座標変換をする必要はない。
【0035】
なお、本手法はカメラから見た投射対象P又は物体(計測対象W)までの空間体積(投射領域PA)を求めるものであり、投射対象Pの体積や、センサ視点Oから投射対象Pまでの投射領域PA内に存在する計測対象Wの体積を直接求めることはできない。しかし、カメラ位置が固定されているような場合には計測した空間体積の変化は計測対象Wの体積変化に等しくなる。
【0036】
そこで、図4及び図5を用いて、計測対象Wの体積を計測する例について説明する。まず、図4(a)に示すように、3次元計測センサ10を固定し、投射対象Pとしての床面に向けて投射する。これにより、同図(a)中、点線で示されている投射領域PAの空間体積Vが計測される(SP1〜SP15)。
【0037】
次に、同図(b)に示すように、同一投射領域PA内における床面に計測対象Wを載置する。そして、床面及び計測対象Wの表面を投射対象P’とすることで、SP1〜SP13の処理により、同図(b)中、点線で示されている投射領域PA’の空間体積V’を計測する(SP20)。同図(a)及び同図(b)における投射領域PA,PA’の総体積V,V’を総体積データメモリ6から読み出す(SP21)。そして、両総体積V,V’の差分を取ることで、計測対象Wの体積(V−V’)が計測される(SP22)。
【0038】
また図5〜図7を用いて、掘削や盛土作業における作業量の計測に適用する場合について説明する。図6に示すように、3次元計測センサ10及び体積計測プログラムは、パワーショベル機11に搭載されている。
【0039】
まず、図7(a)に示すように、平らな地形では、その地面を投射対象Pとして、センサ視点Oから地面までの3次元空間である投射領域PA(図中点線の範囲)の空間体積Vを計測する。
【0040】
次に、同図(b)に示すように、所定量の土を掘削して穴12(12a)を形成した場合、投射対象Paは、穴12aの底面及び内周壁並びに地面となり、同図(a)の投射領域PAに比べ、同図(b)の投射領域PAaが掘削土の掘削量分体積が増加して(図中点線の範囲)、空間体積Vaが計測される。
【0041】
この状態から更に掘削して穴12bを形成すると、同図(c)に示すように、投射対象Pbは、穴12aの底面及び内周壁,穴12bの底面及び内周壁,並びに地面となり、同図(b)の投射領域PAaに比べ、同図(c)の投射領域PAbが掘削土の掘削量分体積が増加して(図中点線の範囲)、空間体積Vbが計測される。
【0042】
したがって、同図(b)での掘削体積を計測する場合は、同図(a)と同図(b)との空間体積V,Vaを比較してその差分(V−Va)をとることで計測される。また、同図(c)での掘削体積を計測する場合は、同図(a)と同図(c)との空間体積V,Vbを比較してその差分(V−Vb)をとることで計測される。更に、同図(b)から同図(c)への掘削体積を計測する場合は、同図(b)と同図(c)との空間体積Va,Vbを比較してその差分(Va−Vb)をとることで計測される。
【0043】
これにより、掘削作業中に掘削土の体積を把握することができ、目標とする掘削体積まで正確に掘削することが可能となる。
【0044】
次に、他の例について説明する。本例は、図8に示すように、複数(図では2台)の3次元計測センサ10(10a,10b)を計測対象Wの周囲に、計測対象Wから放射状に等角度で固定配置して計測対象Wの体積を計測する例である。
【0045】
本例の3次元計測センサ10は、平面方程式を用いて仮想的に投影対象面PIを定義する。すなわち、センサ視点Oから仮想投影対象面PIまでをセンサ10の最大投射距離Rmax として予め設定しておき、実際に計測した投射距離Rijが、最大投射距離Rmax を越えると、最大投射距離Rmax に変換処理する。これにより、各3次元計測センサ10a,10bの最大計測空間体積を設定し、投影領域PAをPA1とPA2に分割するようにしている。
【0046】
従って、図8(a)に示すように、床面に計測対象Wが載置されていない場合、一方の3次元計測センサ10aの投射対象P1は、投射された床面と床面から仮想的に垂設する仮想投影対象面PIとなり、空間体積V1が計測される。同様に、他方の3次元計測センサ10bの投射対象P2は、投射された床面と床面から仮想的に垂設する仮想投影対象面PIとなり、空間体積V2が計測される。
【0047】
そして、図8(b)に示すような、円錐台又は角錐台を逆さにした計測対象Wを、両投射領域PA1,PA2に渡るように床面に載置する。そして、この計測対象Wに向けて両センサ10a,10bから投射すると、空間体積V1’及びV2’が計測される。そして、一方のセンサ10a側では、空間体積V1と空間体積V1’の差分により、仮想投射対象面pIを境界にして、計測対象Wの略右半部Waの体積(V1−V1’)が計測される。同様に他方のセンサ10b側で空間体積V2と空間体積V2’の差分により、仮想投射対象面PIを境界にして、計測対象Wの略左半部Wbの体積(V2−V2’)が計測される。この略右半部の体積と略左半部の体積を合計することで、計測対象Wの体積Vを計測することが可能となる。
【0048】
これにより、計測対象Wの周囲から死角のない状態で複数の計測を行うときに、各視野を基準点の位置関係から重複することのないように閉空間で構成し合成することとなるので、複雑な物体認識を必要とせず計測対象Wの体積を計算することが可能となる。
【0049】
図8では、3次元計測センサ10を2台用いた場合について説明したが、図9に示すように、3台用いてもよい。この場合、各センサの仮想投射対象面PI、すなわち平面方程式を各センサ10A,10B,10Cにつき2面定義することで、投射領域PAa,PAb,PAc及びその空間体積を3分割することができ、各投射領域PAに渡るように計測対象Wを載置することで、三方から計測対象Wに投射して体積を計測し、これらを合計することで、上記と同様に計測対象Wの体積を計測することが可能となる。
【0050】
【発明の効果】
以上の説明から明らかなように、本発明によれば、計測する座標が多くなっても相互の位置関係から隣接点を探索し境界線を求める必要がなく、センサに応じた規則性のある配列情報に基づいて、順次必要な体積を計算できるので、行程が少なくアルゴリズムも簡素化することができる。また、計測地点の増加による処理速度の低下を回避でき、逆に計測地点数を多くすることが可能となり、計算精度の向上、リアルタイム性の向上も図れる。
【0051】
また、複雑な形状をした物体についても、各計測地点について計測対象の内外のどちらに存在する点かの区別、どの領域が計測対象の表面なのかの認識や、面の方向などの判別が必要なく、アルゴリズムの簡素化と処理速度の向上が図れる。
【0052】
また、実時間処理の可能性から、時々刻々と変化する環境の中で、実時間で判断しなければならない、遠隔操縦や自動化を図った作業機に関する作業プランニングや高速移動を可能とする無人車両等のナビゲーション等への適用も可能となる。
【図面の簡単な説明】
【図1】本発明の体積計測プログラムを示す概略ブロック構成図である。
【図2】本発明の体積計測プログラムにおける体積計測原理を示す図である。
【図3】本発明の体積計測プログラムを示すフローチャートである。
【図4】平面上にある計測対象の体積算出方法の一例を示した図である。
【図5】計測対象の体積計測を示すフローチャートである。
【図6】本発明の体積計測プログラムをパワーショベル機に搭載した例を示す図である。
【図7】本発明の体積計測プログラムをパワーショベル機に搭載したときの掘削体積を計測する概略図である。
【図8】平面上にある計測対象の体積算出方法の他の例を示した図である。
【図9】平面上にある計測対象の体積算出方法の応用例を示した図である。
【図10】従来の計算手法における計測点の扱い方を示した図である。
【図11】対象物が複雑な形状の時に生じる問題点を示した図である。
1…体積計測プログラム
3…データ導出手段
4…要素体積計測手段
5…総体積計測手段
7…比較計測手段
10…3次元計測センサ
(i,j)…注目画素
Cij…微小錐体
Fij…微小投影面
O…センサ視点
P…投射対象
PA…投射領域
Rij…投射距離
Sij…微小投影面積
V…総体積
Vij…要素体積[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a volume measurement method that measures a volume using a three-dimensional measurement sensor that projects radially from a sensor viewpoint and measures the distance to the projection target, and a three-dimensional projection that projects radially from the sensor viewpoint to the projection target. The present invention relates to a volume measurement program that causes a computer to measure a volume using the three-dimensional data of the projection target measured based on a projection image obtained from a measurement sensor.
In particular, when there are working arms such as construction machinery and industrial robots, it is used for planning work plans and measuring the amount of work performed, and when mounted on unmanned mobile vehicles, the space to the obstacles. It is useful for deriving the command value for autonomous navigation by comparing the volume of the vehicle and its own volume. In this specification, the volume includes the volume (volume) of a space such as a projection area in addition to the volume of an object such as a measurement target.
[0002]
[Prior art]
Conventionally, as shown in FIG. 10 (a), coordinates (x, y, z) obtained from measurement values are projected onto the xy plane to divide the area from adjacent coordinates into a bottom surface, Constructing a triangle so as to cover the surface of the object by connecting adjacent coordinates to each other as shown in FIG. There is a method of making a prism that projects them and integrating the volume.
[0003]
[Problems to be solved by the invention]
However, with the method as shown in FIG. 10, the volume of the space cannot be measured. For example, in excavation work in a civil engineering business or the like, the volume of a hole formed by excavation cannot be measured. In this case, the conventional measuring method shown in FIG. 9 described above only measures the volume of excavated earth and sand, and if the excavated soil is thrown away at a different location each time, a plurality of measuring devices are required for that location. Thus, the measurement efficiency was deteriorated.
[0004]
In addition, the method as shown in FIG. 10 has a problem that as the number of coordinates to be measured increases, the amount of calculation for searching for an adjacent point from the mutual positional relationship and obtaining the boundary line increases rapidly. Therefore, a high-performance measuring device is required, which causes an increase in cost.
[0005]
Furthermore, as shown in FIG. 11, in the case of an object W in which the truncated cone or the truncated pyramid is inverted, when the coordinates a, b, c, d are simply projected onto the horizontal plane, the minute projected from the coordinates a, b. The volumes of the columnar bodies A and B can be accurately calculated, but in the minute columnar bodies C and D projected from the coordinates c and d, the volume can be calculated regardless of whether they exist inside or outside the object W. It becomes. Therefore, in order to avoid the appearance of this integration error, it is necessary to recognize which region is the surface of the object W with respect to the measured point, and a complicated process of determining the direction of the surface is necessary. There is a problem of becoming.
[0006]
SUMMARY OF THE INVENTION An object of the present invention is to solve the problems of the prior art described above, and to achieve measurement of a spatial volume and to improve work efficiency of excavation work in a civil engineering business or the like. Another object is to increase the speed and cost of volume measurement processing. Furthermore, it is to improve the accuracy of volume measurement of the measurement target W.
[0007]
[Means for solving problems]
In order to achieve the above object, the volume measuring method according to
Based on the three-dimensional data obtained from the three-
And element volume measurement step of measuring an element volume V ij of small pyramidal C ij to the projection distance R ij a bottom high counsel the minute projection plane F ij an apex the sensor viewpoint O, and the element volume V ij A total volume measuring step of integrating all the minute projection planes F ij and measuring the total volume V of the projection area PA from the sensor viewpoint O to the projection target P;
It is characterized by comprising.
[0008]
The volume measurement method according to
[0009]
Furthermore, the volume measuring method according to
[0010]
According to a fourth aspect of the present invention, there is provided a volume measurement program that obtains three-dimensional data of the projection target P measured based on a projection image obtained from the three-
The computer,
Based on the three-dimensional data obtained from the three-
An element volume measuring means 4 for measuring an element volume V ij of a minute cone C ij having the sensor viewpoint O as a vertex, the projection distance R ij as a height, and the minute projection plane F ij as a bottom surface;
A total volume measuring means 5 for integrating the element volume V ij to all the small projection planes F ij and measuring the total volume V of the projection area PA from the sensor viewpoint O to the projection target P;
It is made to function as.
[0011]
Furthermore, the volume measurement program according to claim 5 is the volume measurement program according to claim 4, further comprising:
The total volume V of the projection area PA measured without providing the measurement object W in the projection area PA, and the measurement object W is provided in the projection area PA and projected from the same sensor viewpoint O in the same direction. The total volume V of the projected area PA thus compared is made to function as a comparative measuring means 7 for measuring the volume of the measuring object W.
[0012]
A volume measurement program according to claim 6 is the volume measurement program according to claim 4, further comprising:
The total volume V of the projection area PA measured in the past is compared with the total volume V of the current projection area PA measured by projecting in the same direction from the same sensor viewpoint O, and the volume change amount is measured. It functions as the comparative measuring means 7.
[0013]
According to the above invention, the measurement of the spatial volume of the projection area PA can be realized. Further, since the volume change amount in the projection area PA can be measured, it can be applied to excavation work, transfer work, etc. using a work arm. Furthermore, since the volume of the measurement target W existing in the projection area PA can be measured, the measurement target W can be applied to independent running in an unmanned moving vehicle.
[0014]
Further, in the volume measurement of the measurement target W, each projection target P of the plurality of three-
[0015]
DETAILED DESCRIPTION OF THE INVENTION
First, an embodiment of the volume measurement program of the present invention will be described with reference to FIGS. The volume measurement program is stored in a recording medium such as a ROM, HDD, CD-ROM, etc., and is connected to a computer (not shown) to use the three-dimensional data measured by the three-
[0016]
The three-
[0017]
Based on the three-dimensional data obtained from the three-
[0018]
As shown in FIG. 2, the element volume measuring means 4 is based on the derived data, and a micro cone C having a sensor viewpoint O as a vertex, a projection distance R ij as a height, and a micro projection plane F ij as a bottom surface. The volume of ij (hereinafter referred to as element volume V ij ) is measured.
[0019]
The total volume measuring means 5 integrates the element volume V ij to all the microprojection planes F ij , that is, integrates the element volumes V ij of each micro cone C ij , and projects the projection target P from the sensor viewpoint O. The total volume V in the projection area PA up to is measured. Thereby, since the area | region which adjacent micro cone Cij occupies is defined without a space | gap without overlapping in space, it can measure as a partial volume of a sphere based on the radius and spread angle according to distance, By integrating them, it is possible to easily measure the volume up to the projection target surface P.
[0020]
The comparative measurement means 7 projects the total volume V of the projection area PA measured without providing the measurement object W in the projection area PA and the measurement object W in the projection area PA from the same sensor viewpoint O in the same direction. The total volume V of the projection area PA measured in this way is compared, and the volume of the measurement target W is measured. Moreover, the total volume V of the projection area PA measured in the past is compared with the total volume V of the current projection area PA measured by projecting in the same direction from the same sensor viewpoint O, and the volume change amount is measured. To do.
[0021]
FIGS. 2A to 2C are principle diagrams when stereo vision is applied as the three-
[0022]
In the
[0023]
Next, each read three-dimensional coordinate measurement data (X ij , Y ij , Z ij ) is extracted from the three-
[0024]
Next, in the
[0025]
[Expression 1]
[0026]
The projection distance R ij is a distance from the sensor viewpoint O to the microprojection plane F ij projected from the target pixel (i, j), and the parallax value of the same target pixel (i, j) in a plurality of cameras. Is measured as the distance R ij . As a result, the coordinates (X ij , Y ij , Z ij ) of the minute projection plane F ij projected from the target pixel (i, j) are converted into polar coordinates (R ij , θ ij , φ ij ).
[0027]
Next, to measure the very small projected area S ij of the minute projection plane F ij from each target pixel (i, j) in the projection target P (SP10). Here, when viewed from the sensor viewpoint O, an angle corresponding to the width p (X direction) of the target pixel (i, j) is Δθ, and an angle corresponding to the height p (Y direction) of the target pixel (i, j). Let Δφ. An angle corresponding to the width (height) of the pixel of interest (i, j) can be obtained by the following equation (2).
[0028]
[Expression 2]
[0029]
Assuming that the range reflected in the pixel of interest (i, j) has a projection distance R ij , the volume of this part is the edge of the sensor viewpoint O and the pixel of interest (i, j) of the sphere of radius R ij. It can be considered that it is a part delimited by an extended line. Therefore, the microprojection area S ij of the microprojection plane F ij from each target pixel (i, j) in the projection target P is the surface area (R ij Δθ i ) with respect to the surface area (4πR ij 2 ) of the sphere having the radius R ij. R ij Δφ j )
[0030]
Next, a micro cone having a sensor viewpoint O as a vertex, a projection distance R ij passing through the target pixel (i, j) as a height, and a micro projection plane F ij projected from the target pixel (i, j) as a bottom surface. Create the field C ij . The volume (element volume) V ij of the minute cone C ij is obtained by the following equation (3) (SP11).
[0031]
[Equation 3]
[0032]
By accumulating this for all the pixels, that is, the volume V is measured for the space (projection area PA) from the sensor viewpoint O to the projection target P by the following equation (4) (SP12).
[0033]
[Expression 4]
[0034]
The measured total volume V is stored in the total volume data memory 6 (SP13). The above example is an example in which stereo vision is applied as the three-
[0035]
In addition, this method calculates | requires the space volume (projection area PA) to the projection target P or the object (measurement target W) seen from the camera, The volume of the projection target P, or the sensor viewpoint O to the projection target P The volume of the measurement target W existing in the projection area PA cannot be obtained directly. However, when the camera position is fixed, the measured change in the spatial volume is equal to the change in the volume of the measurement target W.
[0036]
Therefore, an example in which the volume of the measurement target W is measured will be described with reference to FIGS. 4 and 5. First, as shown in FIG. 4A, the three-
[0037]
Next, as shown in FIG. 5B, the measurement target W is placed on the floor surface in the same projection area PA. And by setting the floor surface and the surface of the measurement target W as the projection target P ′, the spatial volume V ′ of the projection area PA ′ indicated by the dotted line in FIG. Measure (SP20). The total volumes V and V ′ of the projection areas PA and PA ′ in FIG. 10A and FIG. 10B are read from the total volume data memory 6 (SP21). And the volume (VV ') of the measurement object W is measured by taking the difference of both total volume V and V' (SP22).
[0038]
Moreover, the case where it applies to the measurement of the work amount in excavation and embankment work is demonstrated using FIGS. As shown in FIG. 6, the three-
[0039]
First, as shown in FIG. 7A, in flat terrain, the ground volume is a projection target P, and the spatial volume of the projection area PA (the range of the dotted line in the figure) that is a three-dimensional space from the sensor viewpoint O to the ground. V is measured.
[0040]
Next, when a predetermined amount of soil is excavated to form the hole 12 (12a) as shown in FIG. 5B, the projection object Pa becomes the bottom surface, the inner peripheral wall, and the ground of the
[0041]
When the hole 12b is formed by further excavation from this state, the projection target Pb becomes the bottom surface and inner peripheral wall of the
[0042]
Therefore, when measuring the excavation volume in the same figure (b), the spatial volume V and Va of the same figure (a) and the same figure (b) are compared, and the difference (V-Va) is taken. It is measured. In the case of measuring the excavation volume in FIG. 10C, the spatial volumes V and Vb in FIG. 10A and FIG. 9C are compared and the difference (V−Vb) is obtained. It is measured. Furthermore, when measuring the excavation volume from FIG. 10B to FIG. 10C, the spatial volumes Va and Vb between FIG. 10B and FIG. 9C are compared and the difference (Va− It is measured by taking Vb).
[0043]
Thereby, the volume of excavated soil can be grasped during excavation work, and it becomes possible to excavate accurately to the target excavation volume.
[0044]
Next, another example will be described. In this example, as shown in FIG. 8, a plurality (two in the figure) of three-dimensional measurement sensors 10 (10a, 10b) are fixedly arranged around the measurement target W radially from the measurement target W at an equal angle. This is an example of measuring the volume of the measurement target W.
[0045]
The three-
[0046]
Therefore, as shown in FIG. 8A, when the measurement target W is not placed on the floor surface, the projection target P1 of the one three-dimensional measurement sensor 10a is virtual from the projected floor surface and the floor surface. The virtual projection target surface PI is suspended, and the spatial volume V1 is measured. Similarly, the projection target P2 of the other three-
[0047]
Then, as shown in FIG. 8B, the measurement target W with the inverted truncated cone or truncated pyramid is placed on the floor so as to extend over both projection areas PA1, PA2. And if it projects from both
[0048]
As a result, when performing a plurality of measurements from the periphery of the measurement target W without a blind spot, each visual field is configured and synthesized in a closed space so as not to overlap due to the positional relationship of the reference points. It is possible to calculate the volume of the measurement target W without requiring complicated object recognition.
[0049]
Although the case where two three-
[0050]
【The invention's effect】
As is clear from the above description, according to the present invention, even when the number of coordinates to be measured increases, there is no need to search for neighboring points from the mutual positional relationship to obtain a boundary line, and there is a regular arrangement according to the sensor. Since the necessary volume can be calculated sequentially based on the information, the process can be reduced and the algorithm can be simplified. In addition, a decrease in processing speed due to an increase in the number of measurement points can be avoided, and conversely, the number of measurement points can be increased, thereby improving calculation accuracy and real-time characteristics.
[0051]
In addition, for objects with complicated shapes, it is necessary to distinguish between the measurement points inside and outside the measurement target, to recognize which area is the surface of the measurement target, and to determine the direction of the surface, etc. Therefore, the algorithm can be simplified and the processing speed can be improved.
[0052]
In addition, because of the possibility of real-time processing, unmanned vehicles that enable work planning and high-speed movement related to remotely operated and automated work machines that must be judged in real time in an environment that changes from moment to moment It is also possible to apply to navigation etc.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a volume measurement program of the present invention.
FIG. 2 is a diagram showing the principle of volume measurement in the volume measurement program of the present invention.
FIG. 3 is a flowchart showing a volume measurement program of the present invention.
FIG. 4 is a diagram illustrating an example of a method for calculating a volume of a measurement target on a plane.
FIG. 5 is a flowchart showing volume measurement of a measurement target.
FIG. 6 is a diagram showing an example in which the volume measurement program of the present invention is installed in a power shovel machine.
FIG. 7 is a schematic diagram for measuring the excavation volume when the volume measurement program of the present invention is mounted on a power shovel machine.
FIG. 8 is a diagram showing another example of a method for calculating a volume of a measurement target on a plane.
FIG. 9 is a diagram showing an application example of a method for calculating a volume of a measurement target on a plane.
FIG. 10 is a diagram showing how to handle measurement points in a conventional calculation method.
FIG. 11 is a diagram illustrating a problem that occurs when an object has a complicated shape.
DESCRIPTION OF
Claims (6)
前記3次元計測センサから得られた前記3次元データに基づいて、前記センサ視点から前記投射画像内の注目画素を投影した前記投影対象上の微小投影面までの投射距離及び前記微小投影面の微小投影面積を導出するデータ導出ステップと、
前記センサ視点を頂点とし前記投射距離を高さとし前記微小投影面を底面とする微小錐体の要素体積を計測する要素体積計測ステップと、
前記要素体積を総ての微小投影面にまで積分して、前記センサ視点から前記投射対象までの投射領域の総体積を計測する総体積計測ステップと、
を具備することを特徴とする体積計測方法。A volume measurement method for measuring a volume using a three-dimensional measurement sensor that measures three-dimensional data of the projection target from a projection image obtained by projecting the projection target radially from a sensor viewpoint,
Based on the three-dimensional data obtained from the three-dimensional measurement sensor, the projection distance from the sensor viewpoint to the microprojection surface on the projection target onto which the target pixel in the projection image is projected, and the microprojection surface is microscopic. A data derivation step for deriving a projected area;
An element volume measuring step of measuring an element volume of a micro cone having the sensor viewpoint as a vertex and the projection distance as a height and the micro projection surface as a bottom surface;
A total volume measurement step of integrating the element volume up to all the microprojection planes and measuring the total volume of the projection region from the sensor viewpoint to the projection target;
The volume measuring method characterized by comprising.
前記コンピュータを、
前記3次元計測センサから得られた前記3次元データに基づいて、前記センサ視点から前記投射画像内の注目画素を投影した前記投影対象上の微小投影面までの投射距離及び前記微小投影面の微小投影面積を導出するデータ導出手段、
前記センサ視点を頂点とし前記投射距離を高さとし前記微小投影面を底面とする微小錐体の要素体積を計測する要素体積計測手段、
前記要素体積を総ての微小投影面にまで積分して、前記センサ視点から前記投射対象までの投射領域の総体積を計測する総体積計測手段、
として機能させることを特徴とする体積計測プログラム。A volume measurement program that causes a computer to measure a volume using the three-dimensional data of the projection target measured based on a projection image obtained from a three-dimensional measurement sensor that projects radially from the sensor viewpoint onto the projection target,
The computer,
Based on the three-dimensional data obtained from the three-dimensional measurement sensor, the projection distance from the sensor viewpoint to the microprojection surface on the projection target onto which the target pixel in the projection image is projected, and the microprojection surface is microscopic. Data deriving means for deriving the projected area;
An element volume measuring means for measuring an element volume of a micro cone having the sensor viewpoint as a vertex and the projection distance as a height and the micro projection surface as a bottom surface;
A total volume measuring means for integrating the element volume up to all the microprojection surfaces and measuring the total volume of the projection area from the sensor viewpoint to the projection target;
A volume measurement program characterized by functioning as
前記投射領域内に計測対象を設けずに計測した前記投射領域の総体積と、前記投射領域内に前記計測対象を設けて同一センサ視点から同一方向に投射して計測した投射領域の総体積と、を比較して、前記計測対象の体積を計測する比較計測手段として機能させることを特徴とする請求項4記載の体積計測プログラム。Said computer further
The total volume of the projection area measured without providing a measurement target in the projection area, and the total volume of the projection area measured by projecting in the same direction from the same sensor viewpoint by providing the measurement target in the projection area The volume measurement program according to claim 4, wherein the volume measurement program is made to function as a comparison measurement unit that measures the volume of the measurement target.
過去に計測した前記投射領域の総体積と、同一センサ視点から同一方向に投射して計測した現在の投射領域の総体積と、を比較して、その体積変化量を計測する比較計測手段として機能させることを特徴とする請求項4記載の体積計測プログラム。Said computer further
Functions as a comparative measurement means that compares the total volume of the projection area measured in the past with the total volume of the current projection area measured by projecting in the same direction from the same sensor viewpoint, and measures the volume change amount The volume measurement program according to claim 4, wherein:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002046610A JP3803750B2 (en) | 2002-02-22 | 2002-02-22 | Volume measuring method and volume measuring program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002046610A JP3803750B2 (en) | 2002-02-22 | 2002-02-22 | Volume measuring method and volume measuring program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003247805A JP2003247805A (en) | 2003-09-05 |
JP3803750B2 true JP3803750B2 (en) | 2006-08-02 |
Family
ID=28659950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002046610A Expired - Lifetime JP3803750B2 (en) | 2002-02-22 | 2002-02-22 | Volume measuring method and volume measuring program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3803750B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105277144A (en) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | Land area rapid detection method based on binocular vision and detection device thereof |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006011674A1 (en) | 2004-07-30 | 2006-02-02 | Matsushita Electric Works, Ltd. | Image processing device |
JP4645177B2 (en) * | 2004-11-30 | 2011-03-09 | パナソニック電工株式会社 | Measuring device |
JP5108350B2 (en) * | 2007-03-26 | 2012-12-26 | 株式会社小松製作所 | Work amount measuring method and work amount measuring apparatus for hydraulic excavator |
KR100952482B1 (en) | 2008-06-30 | 2010-04-13 | 인하대학교 산학협력단 | System for embodying shape of three dimension excavation ground using rotary type multiple ratio lens and method for computing pit excuvation volume using the same |
CN102252612B (en) * | 2011-06-14 | 2013-06-12 | 北京林业大学 | Method for measuring crown volume based on elevation isoline method |
AU2014252457B2 (en) * | 2013-04-10 | 2016-08-04 | Viking Genetics Fmba | System for determining feed consumption of at least one animal |
JP6318267B2 (en) * | 2014-12-12 | 2018-04-25 | 株式会社日立製作所 | Volume estimation device and work machine using the same |
PT3316680T (en) | 2015-07-01 | 2019-12-19 | Viking Genetics Fmba | System and method for identification of individual animals based on images of the back |
JPWO2017033991A1 (en) * | 2015-08-26 | 2018-06-14 | 住友建機株式会社 | Excavator measuring device |
JP6925775B2 (en) | 2015-10-05 | 2021-08-25 | 株式会社小松製作所 | Construction management system |
JP2018178711A (en) * | 2018-08-09 | 2018-11-15 | 株式会社小松製作所 | Method for generating shape information of construction site, and control system for work machine |
CN109443196B (en) | 2018-09-28 | 2020-07-24 | 顺丰科技有限公司 | Volume measurement method and system |
JP7166326B2 (en) * | 2020-12-28 | 2022-11-07 | 株式会社小松製作所 | Construction management system |
CN114485391A (en) * | 2021-12-30 | 2022-05-13 | 中南大学 | Shield muck over-discharge prevention early warning method based on three-dimensional laser scanning technology |
CN115824053B (en) * | 2023-02-16 | 2023-05-30 | 江苏南京地质工程勘察院 | Landslide volume calculating method integrating principal component analysis and voxel integration |
CN117516348B (en) * | 2024-01-04 | 2024-03-12 | 惠民县国土空间生态修复中心(惠民县土地整理储备中心) | Area measurement device for land planning |
-
2002
- 2002-02-22 JP JP2002046610A patent/JP3803750B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105277144A (en) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | Land area rapid detection method based on binocular vision and detection device thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2003247805A (en) | 2003-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3803750B2 (en) | Volume measuring method and volume measuring program | |
EP3086196B1 (en) | Method and control system for surveying and mapping a terrain while operating a bulldozer | |
CN108663681B (en) | Mobile robot navigation method based on binocular camera and two-dimensional laser radar | |
AU2015238768B2 (en) | Motion estimation in real-time visual odometry system | |
US9443308B2 (en) | Position and orientation determination in 6-DOF | |
Jeong et al. | Complex urban lidar data set | |
Hoppe et al. | Photogrammetric camera network design for micro aerial vehicles | |
CN109765901A (en) | Dynamic cost digital map navigation method based on line laser and binocular vision | |
US9678210B2 (en) | Error estimation in real-time visual odometry system | |
JP7404010B2 (en) | Position estimation device and method | |
CN112258590B (en) | Laser-based depth camera external parameter calibration method, device and storage medium thereof | |
JP2012533222A (en) | Image-based surface tracking | |
Li et al. | 3D triangulation based extrinsic calibration between a stereo vision system and a LIDAR | |
KR20220113781A (en) | How to measure the topography of your environment | |
Garigipati et al. | Evaluation and comparison of eight popular Lidar and Visual SLAM algorithms | |
JP6594008B2 (en) | Mobile control device, landmark, and program | |
KR20210000593A (en) | Apparatus for generating environment data neighboring construction equipment and construction equipment including the same | |
CN112489131B (en) | Method, device, medium and robot for constructing cost map based on pavement detection | |
Stylianidis et al. | A digital close-range photogrammetric technique for monitoring slope displacements | |
Mansour et al. | Depth estimation with ego-motion assisted monocular camera | |
CN114740869A (en) | Robot obstacle avoidance method and system based on multi-sensor fusion estimation and iterative pre-search | |
CN114565669A (en) | Method for fusion positioning of field-end multi-camera | |
Zhang et al. | Retracted: Robotic Vehicle Navigation Based on Image Processing Using Kinect | |
Ozkan et al. | Surface profile-guided scan method for autonomous 3D reconstruction of unknown objects using an industrial robot | |
Borthwick | Mining haul truck pose estimation and load profiling using stereo vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060411 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3803750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |