JP7464134B2 - 形状モデリング装置及び形状モデリング方法 - Google Patents

形状モデリング装置及び形状モデリング方法 Download PDF

Info

Publication number
JP7464134B2
JP7464134B2 JP2022544994A JP2022544994A JP7464134B2 JP 7464134 B2 JP7464134 B2 JP 7464134B2 JP 2022544994 A JP2022544994 A JP 2022544994A JP 2022544994 A JP2022544994 A JP 2022544994A JP 7464134 B2 JP7464134 B2 JP 7464134B2
Authority
JP
Japan
Prior art keywords
reliability
point cloud
data
surface model
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022544994A
Other languages
English (en)
Other versions
JPWO2022044197A1 (ja
JPWO2022044197A5 (ja
Inventor
克之 亀井
昌志 渡辺
宏行 藤林
恵 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2022044197A1 publication Critical patent/JPWO2022044197A1/ja
Publication of JPWO2022044197A5 publication Critical patent/JPWO2022044197A5/ja
Application granted granted Critical
Publication of JP7464134B2 publication Critical patent/JP7464134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本開示は、画像計測及びレーザ計測などによって得た構造物の三次元の点群データに基づいて、構造物の表面形状を復元する形状モデリング装置及び形状モデリング方法に関するものである。
トンネル、道路、橋梁、柱状設置物、建物などの構造物、屋内の部材配置、機械部品などの形状の計測を容易に行う方法としては、画像及びレーザスキャナなどによる計測がある。画像による計測では、撮影位置の異なる複数枚の画像から、画像中の特徴点を対応付けて三角測量の原理で計測対象物の位置を計測する。また、カラー画像(RGB)と奥行き画像(Depth)とを同時に得るRGB-Dカメラでは、被写体の位置を計測することもできる。レーザスキャナによる計測では、固定式の三次元のレーザスキャナを用いる方式、モービルマッピングシステム(MMS)とよばれる移動体測量による方式などがある。これらの計測では、計測対象物の表面上に、点群と呼ばれる三次元の座標を有する点の集合として、計測結果が得られる。
この点群から対象物の形状を復元する方法としては、点群から対象物表面の面を求めて、面の集合で構造物の形状を表す方法がある。例えば、平面の求め方としては、点群を点群が属する面毎に分割し、各面に属する点群データに対して最小二乗法によって求める方法がある。
対象構造物が広域にわたる場合や複雑な形状をもつ場合には、一回の計測ではその全体を計測しきれない。このような場合には、複数の視点位置での画像計測結果、あるいは複数の位置によるレーザスキャナの計測結果によったり、複数走行のMMSによる走行計測結果の点群、あるいは点群から求めた平面の位置合わせを行って全体の形状を求めたりする。
また、計測結果から経年変化を検出する場合には、比較のため基準となる過去の計測結果の点群あるいは平面と、現在の計測結果の位置合わせを行うことになる。この位置合わせでは、対象物の空間領域をボクセルに分割してボクセルの内部に代表点及び代表点の誤差分布を設定し、誤差を考慮した位置合わせを行う技術がある。
さらに、特許文献1には、異なる点群からそれぞれ面を求め、一方の各面に属する点について他方の対応する面との距離の二乗和を最小にするという条件で剛体変換を求め、一方の点群全体をその剛体変換で変換することで他方の点群との位置合わせを行う技術が示されている。
WO2012/141235号公報 特開2004-272459号公報 WO2007/69724号公報
三次元計測によって得た点群は、座標値に誤差を有する。例えば、ステレオ画像計測による場合は、2台のカメラの間隔と比較してカメラから遠い位置にて計測される点の誤差が大きくなる。レーザスキャナにおいては、機種によって点群の精度また密度が異なる。また、金属などの拡散反射が小さい場合、黒い物体などレーザスキャナに戻る光の強度が小さい場合、逆に鏡面反射で反射強度が強すぎる場合、また表面へのレーザパルスの入射角が大きい場合も誤差が大きくなる。このように、計測器からの距離や相対的な姿勢、また表面の様子により点群データ個々の計測精度が異なってくる。MMSによる計測結果においても、一般に数cm程度の座標値のずれがあるとされている。
点群データの誤差は点群データから復元した平面にも影響する。平面には、平面の向きと位置に誤差が含まれることになる。特許文献2では、点群の誤差による、復元した平面の誤差が分からないことになる。平面の範囲を決める判定基準としては点の平面への当てはめ残差の分散値を用いているが、この分散値は各点と平面との距離のばらつきの程度を表す数値であって、平面の誤差の程度を表すものではない。
特許文献3では、ボクセルの誤差を表すものであり、平面の誤差を表すものではない。ボクセル形式のデータから平面を復元したとしても、その平面の誤差を表すことはできない。また、ボクセル形式のデータを作成し、それらのデータをすべて保持していなければならない。
特許文献1では、面モデル間の位置合わせにおいて、面に属する点群情報をすべて保持していなければならない。また、平面がどの程度の誤差を持つかは分からない。
いずれにおいても、点群から求めた面に対する誤差を評価できていない、少なくとも的確には評価することができていない。
この開示は、点群から求めた面に対して誤差の程度を表す指標である信頼度を与えるとともに、その信頼度によって異なる計測で求めた面を精度よく位置合わせする形状モデリング装置及び形状モデリング方法を得ることを目的としている。
この開示に係る形状モデリング装置は、点群データを入力して面モデルのデータを出力するデータ入出力手段と、点群データに近似する面形状を求める面近似手段と、面形状の信頼度を算出する信頼度算出手段と、信頼度を面モデルに付与する信頼度付与手段とを備えたものである。
この開示に係る形状モデリング方法は、対象物を計測した点群データから対象物の形状を復元する形状モデリング方法であって、点群データを入力する入力工程と、点群データに近似する面形状を求める面近似工程と、面形状の信頼度を算出する信頼度算出工程と、信頼度を面モデルに付与する信頼度付与工程と、面モデルのデータを出力するデータ出力工程とを備えたものである。
この開示によれば、確からしさを示す信頼度が付与された近似面モデルによる形状モデリング装置及び形状モデリング方法をえることができる。
本開示の実施の形態1による形状モデリング装置の構成を示す図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置で用いる点群データを説明する図である。 本開示の実施の形態1による形状モデリング装置で用いる点群精度データを説明する図である。 本開示の実施の形態1による形状モデリング装置で用いる面モデルデータを説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明する図である。 本開示の実施の形態1による形状モデリング装置の動作を説明するフローチャートである。 本開示の実施の形態2による形状モデリング装置の構成を示す図である。 本開示の実施の形態2による形状モデリング装置の動作を説明する図である。 本開示の実施の形態2による形状モデリング装置の動作を説明する図である。 本開示の実施の形態2による形状モデリング装置の動作を説明する図である。 本開示の実施の形態2による形状モデリング装置の動作を説明するフローチャートである。 本開示の実施の形態3による形状モデリング装置の構成を示す図である。 本開示の実施の形態3による形状モデリング装置の動作を説明する図である。 本開示の実施の形態3による形状モデリング装置の動作を説明する図である。 本開示の実施の形態3による形状モデリング装置の動作を説明する図である。 本開示の実施の形態3による形状モデリング装置の動作を説明する図である。 本開示の実施の形態3による形状モデリング装置の動作を説明する図である。 本開示の実施の形態3による形状モデリング装置の動作を説明するフローチャートである。
実施の形態1.
図1は本開示の実施の形態1による形状モデリング装置1の一構成例を示す図である。データ入出力手段であるデータ入出力部2は、インターネットやイントラネットなど計算機ネットワーク3を経由してデータを記憶しているデータサーバ4と接続され、データサーバ4に記憶されている点群データ5と点群精度データ6とを読み込み、信頼度を付与した面モデルデータ7を出力する。面近似手段である面近似部8にて点群データ5からそれが乗る面を最小二乗法によって求める。信頼度算出手段である信頼度算出部9は、面近似部8で行う最小二乗法による面の当てはめでの誤差行列を面モデルの誤差指標である信頼度として算出する。信頼度付与手段である信頼度付与部10は、信頼度算出部9で求めた信頼度を面近似部8で求めた面モデルに付与して誤差指標である信頼度を有した面モデルデータ7とする。描画手段である描画部11は、求めた面モデルが表す形状を三次元のコンピュータグラフィックスの技法により描画し、表示装置12に表示する。描画部11の描画内容は、マウスやキーボードなどの入力装置13からの操作入力を操作入力部14で受け取って指定また変更する。
図2に示すように、点群データ5は、対象の構造物15をレーザスキャナなどにより計測した三次元の座標値を持つ計測点18の集合である。点群データ5から構造物15の形状をモデル化するにあたって、点群データ5から近似した近似面16について、近似の精度を示す信頼度を求める。
ここでは、点群データ5は、あらかじめそれが属する面毎にグループ分けされているとする。このグループ分けは、例えば、近傍の点から法線ベクトルを求めてその方向が近い点をまとめていく方法や、RANSACによる平面抽出の方法が知られている。例えば、各点は各点が属する面を示す情報を有しているとしてもよいし、属する面毎に異なる配列データとして保持するようにしてもよい。
次に、用いる座標系を説明する。ワールド座標系として直交座標系をとる。直交座標系は、国土交通省告示による平面直角座標系でもよいし、任意に原点を定めた座標系であってもよい。単位は、例えばメートルとする。以下では、X軸とY軸が水平面内、Z軸が鉛直上方として右手系の座標系で説明する。これとは別に、各近似面16上に後述するローカル座標系(以下、「近似面座標系」という。)を定義する。
点群データ5を構成する計測点18は、i番目の点をPiとし、そのワールド座標系の座標値をpi=(Xi,Yi,Zi)とする。また、この点が属する面の番号をkiとする。点がノイズなどで、どの面にも属さない場合は、例えば、ki=-1としてこれを区別する。図3は、点群データ5のデータ形式の一例であり、ここでは、点PiのX座標値Xi、Y座標値Yi、Z座標値Zi、点Piが属する面の番号kiとなっている。
点群精度データ6は各点の計測精度を表すデータで、画像計測時の理論的な精度や、レーザスキャナの精度あるいはこれに反射強度値や入射角を考慮して求めた値であってもよい。点群精度データ6は、これらの標準偏差の値とする。点群精度データ6のデータ形式の一例を図4に示す。これは、点群精度を各点についての誤差の標準偏差の値σiとした例である。この精度値は、点群データ5に含めて保持してもよい。また、点群精度データ6は同一の面の番号毎に所定の値を与えるようにしてもよい。あるいは、点群データ5が同一のレーザスキャナで計測された場合には、すべての点で所定の値としてもよい。もちろん、各点毎にその計測条件によって値を変えるようにしてもよい。
面モデルデータ7は点群データ5から復元した対象物の形状を表す近似面16を表すデータである。近似面16上の一点である基準点17と法線ベクトル19の情報を有する、あるいは、これらに変換できるようなデータで構成される。例えば、面が多角形のポリゴンモデルで表される場合は、その多角形の頂点列で構成してもよい。面モデル22は、この近似面16の幾何学的な情報に、面の誤差の指標である信頼度Sを加える。信頼度は、面16の向きと位置を表すパラメータの分散共分散行列とする。近似面16の向きは、その法線ベクトル19の方向を定める2個のパラメータで表す。近似面16の位置は、その基準点17の法線ベクトル19方向の移動量を示すパラメータ1個で表す。図5は、面モデルデータ7のデータ形式の、ひとつの面モデル22の部分を表す例を示しており、基準点17をQとし、Qの座標値をq=(qx,qy,qz)、法線ベクトル19を単位ベクトルとしてn=(nx,ny,nz)、近似面16の信頼度をSとしている。
面近似部8における点群の平面への近似について図6を用いて説明する。なお、図6では計測点18は簡略化して一部のみを描いているが、実際は面上に広く分布している。上記のとおり、各計測点18については、それが属する面があらかじめ与えられている。そのうちの一つであるK番目の面に属する計測点18を対象に考える。ki=Kである点Piの集合をBKとする。このBKに含まれる点から最小二乗法によって近似面16の平面を復元する。
以下では、BKに含まれる点を例に説明するため、BKに含まれる点がN個あり、このj番目の点をPKj,j=1,2,・・・,N(自然数)と記す。PKjによる近似面16は、各計測点18の精度σKjで重み付けした最小二乗法によって得る。以下では、このK番目の面について、近似面16をΩ、その基準点17をQ、基準点Qのワールド座標系の座標をqとする。また、近似面16の単位ベクトルである法線ベクトル19をワールド座標系でnと表す。
ここで、近似面16を基準に定義する近似面座標系について説明する。それにあたり、まずは、計測点PKjの重心をQとし、ワールド座標系での最小二乗法で求めた面の法線ベクトルをnとして初期の近似面16を与える。
近似面座標系のx軸及びy軸を近似面16内にとり、法線ベクトルnの方向にz軸をとる。ここで、x軸は水平方向にとる。ただし、近似面16が水平の場合は、ワールド座標系のX軸と平行にx軸をとる。この近似面座標系も右手系として説明する。
近似面Ωが水平でない場合、x軸方向の水平な単位ベクトルをexとすると、exは以下のようになる。
Figure 0007464134000001
ここで、×はベクトルのベクトル積を表す。また、近似面Ω内y方向の単位ベクトルeyは、以下のようになる。
Figure 0007464134000002
z方向の単位ベクトルezは法線ベクトルnの方向に一致させる。
Figure 0007464134000003
近似面座標系は、このex,ey,ezを基底にする座標系とする。
近似面Ωが水平な場合は、ex,ey,ezをそれぞれX,Y,Z軸に平行にとって近似面座標系を構成する。このときも、z軸は法線ベクトルnに平行になる。
点PKjのワールド座標系の座標値を(XKj,YKj,ZKj)とする。近似面座標系の座標値をpLocalj=(xj,yj,zj)とすると、これは以下で求まる。ここで、・はベクトルの内積を表す。
Figure 0007464134000004
近似面座標系での重み付き最小二乗法は以下のようになる。近似面座標において、平面の式を以下のように表す。
Figure 0007464134000005
なお、現在の近似面Ω上にxy平面を置いているため、現在のΩの式はz=0になる。パラメータはr=(a,b,c)で3自由度である。近似面座標系での観測モデルは以下のようになる。
Figure 0007464134000006
djは点と平面とのz値の差である。このとき、点PKjについて以下のようになる。
Figure 0007464134000007
Figure 0007464134000008
Figure 0007464134000009
σKjは、点PKjの点群精度データ値である。このヤコビ行列Jと重み行列Wにより、パラメータrは以下のように求まる。
Figure 0007464134000010
このパラメータr=(a,b,c)で表される面が、PKjの重み付き最小二乗法による近似平面になる。初期の近似面算出で重み付き最小二乗法を行った場合はr=(0,0,0)になることが期待される。しかしながら、初期の近似面算出で重みを付けなかった場合や数値的な計算誤差によってrが(0,0,0)にならないこともある。このような場合は、このrにより式5で決まる平面に近似面Ωを更新する。これは、Qをq+cezの点とし、法線ベクトルnを以下に変更する。
Figure 0007464134000011
更新した場合は、更新した近似面Ω上に近似面座標系を設定、再度、ヤコビ行列Jを算出する。rの大きさが小さいときは近似面Ωの更新を省略してもよい。
以上のように、面近似部8においてK番目の面に属する点群データPKjから重み付き最小二乗法によって平面Ωを近似して復元する。
信頼度算出部9での信頼度Sの算出について説明する。上記の重み付き最小二乗法に付随して、パラメータr=(a,b,c)の誤差行列Sが以下のようにして得られる。
Figure 0007464134000012
このSは、パラメータa,b,cの値についての分散共分散行列である。パラメータa,b,cの分散をσa2,σb2,σc2、共分散をσab2,σbc2,σca2で表せば、Sは以下のようになる。この誤差行列Sを信頼度とする。
Figure 0007464134000013
以下、この信頼度Sについて詳細に説明する。a及びbは、面について、それぞれx及びyに対するzの傾きを表す。また、cはz軸との交点のz座標になる。ここでは、xy平面を近似面Ω上に置いている。ところが、このΩからわずかに異なり式5で表される面20をΩ’として考えると、その面ではa及びbは小さい値となる。面Ω’の法線ベクトル40をn’、z軸との交点41とする。図7に示すように、法線ベクトルn’のyz平面とzx平面に対する角度をそれぞれθとφとすれば、以下である。
Figure 0007464134000014
面Ω’でこれらの値は小さいので、以下で近似できる。
Figure 0007464134000015
以上より、上記Sに示されるパラメータのうち、aとbはそれぞれθとφに等しく、平面の向きを表すことになる。
もうひとつのパラメータcは、平面Ω’とz軸との交点のz座標である。これは平面の位置を表す。以上より、近似面座標系で表された平面のパラメータ(a,b,c)は平面の向きと位置を表すものになる。したがって、上記Sに示される分散共分散行列は、近似面Ωの向きと位置のばらつきを表す指標となる。
このSを信頼度として面のデータに付与する。信頼度Sは、近似面Ωの向きと位置の誤差の程度を表すものである。その要素の値が小さいほど、近似面Ωが精度良く得られていることになる。
この分散共分散行列Sが表すabc空間での確率密度関数fは、三次元の正規分布とすれば以下のように表される。
Figure 0007464134000016
abc空間の原点は近似面Ωを表し、一点(a,b,c)は、Ωから向きや位置がずれた面に対応する。abc空間で確率密度関数の広がる範囲が小さければ、近似面Ωの精度が高いことになる。図8に、σa,σb,σcによる誤差の広がりを示す。図9には、abc空間でのfの等値面21の一例を示す。これは楕円面となる。
なお、このSが表すパラメータの誤差は、平面を三次元のHough変換にて表した場合の、Hough変換のパラメータの誤差と同等になる。これを以下に説明する。Hough変換では、ひとつの平面上の点(x,y,z)をパラメータΘ,Φ,ρで以下のように表す。
Figure 0007464134000017
なお、軸は、通常Hough変換の説明で用いられる軸の取り方ではなく、上記の近似面座標系に合わせた取り方にしている。パラメータΘとΦは、それぞれ近似面16の法線ベクトル19のzx面内の方位とzx面に対する仰角、ρは平面の原点からの距離になる。図10に示すように、Hough変換によれば、ひとつの平面がパラメータ空間(Θ,Φ,ρ)上の点で表される。
近似面座標系で表した面20のように、面の法線ベクトルがz軸に一致あるいはz軸とのなす角が小さい場合、ΘとΦがともに小さい値となる。このとき、以下のようになる。
Figure 0007464134000018
これは、上記式5と符号は変わるものの同一の形式になっている。Θは-a、Φは-b、ρはcにそれぞれ対応する。したがって、上記のSは近似面Ωを近似面座標系でHough変換にて表した場合のパラメータの分散共分散行列SHに変換することができる。したがって、SHを信頼度としてもよい。
Figure 0007464134000019
続いて、信頼度付与部10について説明する。信頼度付与部10では、信頼度Sを近似面Ωに付与したデータを生成する。これにより、近似面16と信頼度Sを有する面モデル22が生成される。
次に、描画部11による描画について説明する。描画部11は、近似面16の信頼度Sを反映させて対象構造物15の画像23を描画する。これは、例えば、信頼度Sである分散共分散行列Sのばらつきの指標となる固有値の最大値を信頼度Sの評価値Eとし、そのEの大きさによってその近似面16の色や濃淡を変えて描画する。あるいは、固有値の和や積、あるいは、Sのひとつの要素を評価値Eとしてもよい。描画の色のほか、面のハッチングの種別や輪郭線の色や太さなどの描画の形態を変更するようにしてもよい。また、上記図9に示すようなパラメータのばらつき具合を示す等値面21を併せて表示するように描画してもよい。評価値Eにより濃淡やハッチングを変えて描画された面35により図11に示すような描画画像23が得られる。これにより、例えば、信頼度の低い面については、再度の計測が必要な面として可視化して表すことができる。
近似面16の描画は、ポリゴンモデルが得られている場合は、そのポリゴンモデルを描画する。あるいは、上記の動作での基準点Qの座標qと法線ベクトルnのみが得られている場合は、描画部11にて、例えば、近似面Ωへの計測点18の射影点を求め、その点により近似面16を表して描画する。その射影点の近似面Ω上での凸包や外接長方形で近似面Ωを表して描画してもよい。近似面16をモデル化後に近似面どうしの交線を求めるなどによりポリゴンモデルに変換して、そのポリゴンモデルを描画してもよい。
また、近似面を描画せずに、点Piの色や形状を、その点が属する近似面の評価値Eによって変えるように描画してもよい。あるいは、構造物15が橋梁やトンネルなど展開図にて管理されている場合、近似面の評価値Eにより、展開図上の対応する面の色やハッチングを変えて、展開図として画像23を描画するようにしてもよい。
描画部11による描画画像23は表示装置12に表示される。また、操作入力部14により、入力装置13によって評価値Eの選択や、描画方法の変更、またその解除を選択できるように構成する。
以下、本開示の実施の形態1の形状モデリング装置1の動作の一例を、図12のフローチャートを用いて説明する。
図12のステップST1では、面近似部8はデータ入出力部2を通じて同一面に属する点群データ5と点群精度データ6を読み出す。点群データ5はあらかじめ面毎に分類されているとし、ここでは、ひとつの面に対応するデータを読み出す。
ステップST2では、面近似部8において、点群データ5を近似する近似面Ωを最小二乗法によって求める。
ステップST3では、信頼度算出部9において、面近似部8にて求めた近似面Ωを用いて、上記の方式により、近似面16の誤差の指標である信頼度Sを表す分散共分散行列Sを算出する。
ステップST4では、信頼度付与部10において、信頼度算出部9にて求めた信頼度Sを近似面Ωに付加して面モデルデータ7とする。よって、面モデルのデータには、近似面Ωのデータに信頼度Sが加わることになる。
ステップST5では、信頼度付与部10は、データ入出力部2を通じて面モデルデータ7をデータサーバ4に出力する。
ステップST6では、面近似部8は、未処理の面があるかどうかを判定し、あればステップST1に戻って、その面に対して処理を進める。未処理の面がなければステップST7に進む。
ステップST7では、描画部11はデータ入出力部2を通じて面モデルデータ7を読み出す。
ステップST8では、描画部11は信頼度Sにより面の描画方法を変えた描画画像23を描画する。
ステップST9では、描画部11は描画画像23を表示装置12に表示する。
なお、上記本開示の実施の形態1の形状モデリング装置1においては、近似面の法線ベクトルと基準点に信頼度Sを付加して面モデル22を構成したが、これに加えて近似面座標系の各座標軸を示す基底ベクトルの情報を面モデル22に付加して与えるように構成してもよい。
また、近似面の向きとして上記のような近似面座標系のxとyに対する傾きの角度として求めたが、角度の取り方はこれに限るものではない。例えば、共分散σabが0となるように近似面座標系のx軸とy軸をとり、その軸を示すベクトルとともに分散共分散行列Sを与えるように構成してもよい。
また、信頼度Sとして上記の分散共分散行列Sを与えるように構成したが、分散共分散行列Sの固有値と固有ベクトルを与えるように構成してもよい。また、各共分散の値が分散の値に比べて小さい場合は、分散共分散行列Sに代えて、分散値σa,σb,σcを与えるように構成してもよい。また、信頼度Sとして分散共分散行列Sの逆行列を与えるように構成してもよい。この他、分散共分散行列Sを導ける形で信頼度を与えるように構成してもよい。また、上記のようにHough変換のパラメータに関する分散共分散行列SHを与えるように構成してもよい。
また、面モデルを法線ベクトル19と基準点17で表すように構成したが、面を表すことができれば他の表現形式であってもよい。また、点群5の近似面16への射影点の凸包などを付加し、これによって面の辺や境界を表すようにして構成してもよい。あるいは、図面など設計データでの、対応する面を表す番号や記号を保持するように構成してもよい。
また、データ入出力部2を介して計算機ネットワーク3で接続されたデータサーバ4上のデータを読み取り、また、データサーバ4上にデータを保存するように構成したが、これに限るものではない。データの入出力の先は、例えば、形状モデリング装置1に備えられた記憶装置や形状モデリング装置1に着脱可能な外部記憶装置や記憶メディアであってもよい。
また、平面に対して信頼度を付与するように構成したが、曲面に対して信頼度を付与するように構成してもよい。例えば、曲面を平面で近似して近似面16を生成すること、あるいは、曲面上に曲面座標を定義することで同様に実行できる。さらに、上記実施の形態では、点群データ5がどの面に属するかの分類が既になされているとしている。その分類の過程において既に面が求まっている場合、上記ステップST2において、面近似部8は求まっている面を利用して近似面Ωとするように構成してもよい。
また、面近似部8が行う重み付き最小二乗法による面近似は、ワールド座標系にて初期の近似面を求めて近似面座標系にて再度計算する上記の手順に限るものではない。さらに、描画部11は画像23をCAD形式のデータとして生成するようにしてもよい。
以上のように、形状モデリング装置1の構成によれば、点群データ5からの近似面16に対して、その向き位置の誤差による信頼度を求め、これを面モデル22に付与することができる。また、面モデル22に対してその信頼度を付与することにより、点群データ5からの近似面16がどの程度、その向きと位置に誤差を有するのかを明確に表すようにすることができる。
点群データを入力して面モデルのデータを出力するデータ入出力手段と、点群データに近似する面形状を求める面近似手段と、面形状の信頼度を算出する信頼度算出手段と、信頼度を面モデルに付与する信頼度付与手段とを備えている。換言すれば、対象物を計測した点群データから対象物の形状を復元する形状モデリング方法であって、点群データを入力する入力工程と、点群データに近似する面形状を求める面近似工程と、面形状の信頼度を算出する信頼度算出工程と、信頼度を面モデルに付与する信頼度付与工程と、面モデルのデータを出力するデータ出力工程とを備えている。これによって、確からしさを示す信頼度が付与された近似面モデルによる形状モデリング装置及び形状モデリング方法をえることができる。
また、信頼度は、面モデルの向き及び位置の誤差の程度であるので、点群データからの近似面(面モデル)に対して、その向きと位置の誤差を表す信頼度を付与することにより、近似面がどの程度の誤差を有するのかを明確に表すようにすることができる。
また、信頼度は、面形状に属する点の最小二乗法による面近似での誤差行列であるので、点群データからの近似面(面モデル)に対して、その向きと位置の誤差を表す信頼度を最小二乗法での誤差行列で与えることにより、近似面がどの程度の誤差を有するのかを明確に表すようにすることができる。
さらに、信頼度によって面モデルが表す面の描画形態を変える描画手段を備えるので、点群データからの近似面(面モデル)の信頼度により、近似面が持つ誤差の程度を画像化して確認することができる。
実施の形態2.
本開示の実施の形態1では、点群データ5を近似する面の誤差の程度を表す信頼度を算出するように構成したが、この信頼度を用いて、異なる点群データから近似された面モデルを統合するように構成してもよい。
図13は本開示の実施の形態2による形状モデリング装置1の一構成例を示す図である。統合手段である統合部24では、同一の面を示す信頼度を有する2つの面モデルから、これらを確からしい一つの面モデルにまとめ上げる。信頼度合成手段である信頼度合成部25においては、統合後の面モデルの信頼度を求める。なお、図において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文、図面の全図において共通することである。さらに、明細書全文に表れている構成要素の形態は、あくまで例示であってこれらの記載に限定されるものではない。
構造物15の計測では、複数の位置から固定のレーザスキャナで計測する場合や、複数の走行経路にてMMSで計測する場合がある。このとき、同一の面を複数の位置や走行にて計測することが生じる。それぞれの点群データはその時々での異なる計測条件や誤差により、そのままでは重ならない。それぞれの点群データから近似した面も同様である。しかしながら、単一の面を複数の面形状(向きと位置)で表す訳にはいかない。このため、複数の形状から一つの確実な形状を決定しなければならない。このとき、それぞれの近似面16とその信頼度により、最も確からしい面を求めて統合し、これをその面を表す形状(面モデル)とする。
面を統合する統合部24の動作について説明する。図14に示すように、第一の点群データ5と第二の点群データ26からそれぞれ得られた、同一の面を表す面モデルについて、それぞれの近似面を近似面22Ω1、近似面27Ω2とする。また、それぞれの信頼度をS1,S2とする。このΩ1とΩ2から最尤法で面を推定し、この推定した面Ωeをその面を表す推定面28とする。
Ω1とΩ2は同一の面を計測したものであるので、両者の大きさ1の法線ベクトル19n1と29n2のなす角は十分に小さい。ここでは、Ω1の近似面座標系を基準として用いる。このとき、Ω1の近似面座標系の直交基底を上に記したex,ey,ezとする。ezはn1に一致させる。Ω1の近似面座標系でΩ2のパラメータを(a2,b2,c2)と表すと以下のようになる。これを、図15に示す。
Figure 0007464134000020
Ω1の近似面座標系で、Ω1は(a,b,c)=(0,0,0)である。Ω2は上記のように(a,b,c)=(a2,b2,c2)である。これから、最尤法により、平面の推定値(ae,be,ce)は以下のように求められる。
Figure 0007464134000021
この(ae,be,ce)が表す面28をΩeとする。これを図16に示す。
推定面Ωeのワールド座標系での基準点30qeと法線ベクトル31neの計算方法について説明する。(ae,be,ce)は、近似面Ω1の近似面座標系でのパラメータである。(ae,be,ce)で表される面の大きさ1の法線ベクトルをneとすると、これは以下となる。
Figure 0007464134000022
また、基準点qeは以下のように表される。このneとqeとでΩeを表すことができる。
Figure 0007464134000023
次に、信頼度合成部25の動作について説明する。統合後のΩeの分散共分散行列Seは以下で表される。
Figure 0007464134000024
信頼度合成部25にてこのSeを算出する。このSeは、信頼度付与部10にてΩeにその信頼度として付加され、面モデルを構成する。
以下、本開示の実施の形態2の形状モデリング装置1の面モデルの統合の動作の一例を、図17のフローチャートを用いて説明する。なお、第一と第二の点群データからの面モデルの生成は、上記本開示の実施の形態1の動作により、既に行われているとする。
図17のステップST201では、統合部24は、データ入出力部2を通じて同一の面を表す面モデルを一組読み出す。それぞれ面モデルには近似面Ω1,Ω2にその信頼度S1,S2が付与されている。
ステップST202では、統合部24において、上記のように、信頼度S1,S2を用いた最尤法により、Ω1とΩ2を統合する面Ωeの法線ベクトルneと基準点qeを求める。
ステップST203では、信頼度合成部25において、上記のように、面Ωeの信頼度を表す分散共分散行列Seを求める。
ステップST204では、信頼度付与部10において、信頼度Seを面Ωeに付与して面モデルとする。
ステップST205では、信頼度付与部10は面Ωeを表す面モデルをデータ入出力部2を通じて出力し、保存する。以上で、Ω1とΩ2を一つに統合した面Ωeの面モデルを生成する動作を完了する。
なお、上記本開示の実施の形態2の形状モデリング装置1の動作では、二組の面モデルを一つの面モデル28に統合する動作を説明した。第一の点群データ5から得られた面モデルが複数あって第一の面モデル集合を構成し、第二の点群データ26から得られた面モデルが複数あって第二の面モデル集合を構成するような場合は、第一と第二の面モデル集合に共通して含まれる面に対して上記の動作を実行する。そこで得られた面モデルに、第一と第二の面モデル集合のどちらか一方にのみ含まれる面モデルを加えて、統合した面モデル集合とするように構成してもよい。これにより、第一と第二の面モデル集合の、共通するものは確からしく統合した上での和集合をとることができる。さらに、隣接する面モデル間で交線を求めることにより、統合した面モデル集合に合わせて、各面モデルの輪郭を生成あるいは修正するように構成してもよい。
また、統合後の面モデルの信頼度の評価値が所定の値よりも低い場合は、その面は再度の計測を要すると判定するように構成してもよい。
また、Ω1とΩ2の差異が大きい場合、統合部24はこれを判定して統合を行わないように構成してもよい。これは、例えば、以下のように行う。Ω1の近似面座標系で表したΩ2のパラメータは(a2,b2,c2)であり、これはΩ1からΩ2の差異を表す。これをΩ1の信頼度である分散共分散行列によるマハラノビス距離Dで表す。
Figure 0007464134000025
このDの値が所定の値、例えば、2あるいは3といった値より大きければ、Ω2は偶然誤差以外の要因によって誤って計測されるなど、Ω1とは違いすぎていると判定してΩ1との統合を行わないようにする。Ω1とΩ2とを入れ替えて同様に判定するようにしてもよい。
また、上記本開示の実施の形態2の形状モデリング装置1の面モデルの統合の動作に続いて、描画部によって統合後の信頼度やΩ1とΩ2のマハラノビス距離、またΩ1とΩ2との統合を行ったかどうかによって、面の色やハッチングを変えて描画するように構成してもよい。
なお、図17のフローチャートに示す本開示の実施の形態2の動作は、点群データを必要としない。したがって、面モデルが得られていれば面モデルの統合の動作を実行できる、
このような形状モデリング装置1の構成によれば、元の点群データを用いることなく、異なる計測によって得られた面モデルをその信頼度によって確からしい面モデルに統合することができる。
このように2つの面モデルに対してその信頼度を用いて統合することにより、確からしい面モデルにて面を表すことができる。
以上のように、点群データを入力して面モデルのデータを出力するデータ入出力手段と、点群データに近似する面形状を求める面近似手段と、面形状の信頼度を算出する信頼度算出手段と、信頼度を面モデルに付与する信頼度付与手段とを備えている。換言すれば、対象物を計測した点群データから対象物の形状を復元する形状モデリング方法であって、点群データを入力する入力工程と、点群データに近似する面形状を求める面近似工程と、面形状の信頼度を算出する信頼度算出工程と、信頼度を面モデルに付与する信頼度付与工程と、面モデルのデータを出力するデータ出力工程とを備えている。これによって、確からしさを示す信頼度が付与された近似面モデルによる形状モデリング装置及び形状モデリング方法をえることができる。
また、実質的に同じ面(共通する面、同一の面)を表す異なる点群データの信頼度による重み付け平均により一つの確からしい面に統合する統合手段を備えている。換言すれば、データ入出力手段は同じ面を表し信頼度を有する第1の面モデルと第2の面モデルを入力するとともに、第1の面モデルと第2の面モデルから対象の面を表すひとつの面モデルを求める統合手段を備え、統合手段は第1の面モデルと第2の面モデルそれぞれの面の形状を表すパラメータ毎の信頼度を用いた重み付け平均により統合する面モデルの形状を求められる。これによって、異なる計測によって得られた同一の面を表す第1及び第2の面モデルをその誤差の程度を表す信頼度によって統合することにより、より確からしい面モデルにて面を表すことができる。
さらに、信頼度算出手段は、実質的に同じ面(共通する面、同一の面)を表す異なる第1及び第2の点群データを最小二乗法による面近似での誤差行列として信頼度を算出し、第1の点群データによる誤差行列の第1の逆行列及び第2の点群データによる誤差行列の第2の逆行列の和となる逆行例を面モデルの信頼度とする統合手段を備えている。換言すれば、第1の面モデルの信頼度と第2の面モデルの信頼度から統合した面モデルの信頼度を生成する信頼度合成手段を備え、信頼度算出手段が算出する信頼度はその面に属する点の最小二乗法による面近似での誤差行列であり、信頼度合成手段は第1の面モデルと第2の面モデルそれぞれの信頼度である第1の誤差行列の逆行列と第2の誤差行列の逆行列の和の逆行列として統合した面モデルの信頼度を合成している。これによって、異なる計測によって得られた同一の面を表す第1及び第2の面モデルをその誤差の程度を表す信頼度によって統合した面モデルに対して、信頼度を合成して付与することができる。
実施の形態3.
本開示の実施の形態2では、面モデルの信頼度を用いて、同じ面を表す二つの面モデルを確からしい面モデルに統合するように構成した。この信頼度を用いて、第一の点群データ5から得られた面モデルの集合に合致するように、第二の点群データ26から得られた面モデルの集合を変換するように構成してもよい。
図18は本開示の実施の形態3による形状モデリング装置1の一構成例を示す図である。変換算出手段である変換算出部32で実質的に同じ構造物を異なる計測で得た二つの面モデルの集合について、基準となる第一の面モデルの集合に第二の面モデルの集合の位置を合わせる変換を算出する。続いてモデル変換手段であるモデル変換部33において、第二の面モデルの集合を基準となる第一の面モデルの集合に重なるように変換する。さらに、点群補正手段である点群補正部34により、この面モデルの変換に合わせて第二の面モデルの元となる第二の点群データ26を変換する。
ここで、面モデルの集合とは、構造物の表面形状は複数の面モデルからできており、構造物に対する面モデルを所定の単位の集合として捉えものである。実施の形態1で説明したように、実質的に同じ構造物に対して各面の点群データから複数の面モデルを求めて面モデル毎に信頼度を付与することができる。第一及び第二の面モデル集合とは、実質的に同一となる構造物に対して、異なる計測で求めた点群データから算出された面モデル毎に信頼度を付与したものを、計測単位で区別したものである。
以下、基準となる第一の面モデル集合A1内のm番目の面モデルが表す近似面16をΩ1mとする。例えば、カメラやレーザスキャナ、あるいは走行計測によって計測された第一の点群データ5から近似して復元した面モデルである。あるいは、設計図面などの設計データから生成された面モデルであってもよい。この他、より精密な機器で計測された面モデルや、構造物15の竣工時に計測された面モデルなど、対象構造物15の管理の基準となるような面モデルであってもよい。A1の要素Ω1mに対応する第二の面モデル集合A2内の面モデルが表す面36をΩ2mとする。このA2の面モデルは、カメラやレーザスキャナ、あるいは走行計測によって計測された第二の点群データ26を近似した面モデルで構成される面モデルである。
図19に示すように、通常、A2の面モデル集合43とA1の面モデル集合42は重ならない。この図では、面モデル集合42は橋梁である構造物15の図中の右中ほどにレーザスキャナなどの計測器を置いて計測した状況を模擬している。面モデル集合43は構造物15の図中の左手前に計測器を置いて計測した状況を模擬している。計測器から陰面になって計測点が得られずモデル化できない面47はハッチングをかけて表している。また、面モデル集合42は区別のため破線で示した。
両者が重ならないため、このままではA2の面モデル集合43を用いてA1の面モデル集合42の補完やA1から変形した部分の検出を行うことができない。A1の面モデル集合に合致するように、A2の面モデル集合の全体的な位置を合わせなければならない。例えば、カメラやレーザスキャナの設置位置に誤差がある場合、点群データは系統的な誤差を有する。これは、三次元の回転変換と平行移動からなる剛体変換によって補正される。したがって、面モデル集合A1とA2とを照合して、両者の位置がもっとも合致するような剛体変換を求めることで位置合わせを実行することができる。
点群データ5は偶然誤差も有している。このため、A2の各Ω2mも誤差を有し、例えば、A1では直交する二つの面がA2ではわずかにずれて算出されるといったことが起こる。したがって、単一の変換では、A1とA2のすべての面モデルを厳密に一致させることはできない。このような場合に、その信頼度を用いて最も適切に重なるように、つまり、信頼度の高い面モデルが優先的に重なるように位置合わせを行う。
以下で、Ω1mとΩ2mの信頼度をそれぞれS1m,S2mとする。また、A1とA2に共に含まれる面が、mが1からMまでのM個あるとする。
変換の求め方について説明する。まず、図20を用いて、面モデルΩ2mをΩ1mに一致させることを考える。Ω1mの近似面座標系でΩ2mはパラメータ(a2m,b2m,c2m)と表されるとする。Ω1mの近似面座標の直交基底をex,ey,ez、Ω2mの法線ベクトルをn2、Ω1mとΩ2mの基準点17をそれぞれq1m,q2mとすると以下のようになる。なお、n2,ex,ey,ezでは添え字のmを省略している。
Figure 0007464134000026
ここで、上記のように、a2mは法線ベクトルn2のy軸まわりの回転角度とみなせる。同様に、b2mは法線ベクトルn2のx軸まわりの回転角度とみなせる。つまり、Ω2mをΩ1mに一致させるには、Ω1mの近似面座標系のy軸まわりのa2mの回転、x軸まわりの-b2mの回転をΩ2mに行い、z軸方向への-c2mの平行移動をすることになる。なお、回転の符号が異なるのは座標軸の取り方による。Ω1mの近似面座標系のx軸、y軸上の単位ベクトルをそれぞれex=(uX,uY,uZ)、ey=(vX,vY,vZ)とすると、a2mとb2mの絶対値がともに小さいならば、Ω2mをΩ1mに重ねるための回転変換Rmは以下のように表現できる。
まず、exまわりの-b2m回転はロドリゲスの回転公式にて以下のように表される。
Figure 0007464134000027

Figure 0007464134000028
同様に、y軸のまわりのa2mの回転は、以下で表される。
Figure 0007464134000029
したがって、Rmは以下のようになる。
Figure 0007464134000030

Figure 0007464134000031
また、平行移動tmは、以下で表される。
Figure 0007464134000032
この変換により、Ω2mをΩ1mに一致させることができる。この回転変換Rmと平行移動tmは、m番目の面モデルを合致させる変換である。各面の計測誤差により、この変換は面モデル毎に異なってくる。この信頼度による重み付け平均によって、全体の一律の変換を決定する。
上記のように、S1mとS2mで得た面モデルから最尤法で面を推定した場合、推定した面の分散共分散行列である信頼度Smは以下になる。
Figure 0007464134000033
これを用いて、以下のように重みwmを設定する。
Figure 0007464134000034
wmの分子はκmのマハラノビス距離の二乗、分母はκmの大きさの二乗である。wmはκmの大きさの二乗をマハラノビス距離の二乗に変換する係数になる。これで重み付けすることにより、分散が小さく精度の高い面モデルを優先しての位置合わせを行うことができる。
第二の面モデル集合A2の剛体変換Gを、回転行列Rと平行移動ベクトルtで表す。回転行列Rは、各Rmの回転角度が小さいとみなして、以下のように決定する。
Figure 0007464134000035
平行移動ベクトルtは以下のように決定する。Iは単位行列である。
Figure 0007464134000036
これによりGは以下のようになる。
Figure 0007464134000037
ここでΓはワールド座標系の座標値である。図21に示すように、変換GによりA2に含まれるΩ2mの法線ベクトルと基準点17を以下のように変換する。
Figure 0007464134000038
n2m*は変換後の法線ベクトル44、q2m*は変換後の基準点45である。変換後のものに*を付して表した。図21では、変換後の面38もΩ2m*として表している。
この変換Gを、図22に示すように、A1に対応する面を持たない面モデル48も含め、A2の全ての面モデルについて行う。この図では、A1の面モデル集合42でモデル化されず、A2の面モデル48によって補完されるA1の面モデル集合の面モデル49を太枠の実線で表した。これでA2を信頼度の高い面モデルを優先してA1に合致させるとともに、A1では面モデル化できていない面をA2面モデルで補完することができる。この結果、図22のA1の面モデル集合42ではモデル化できずハッチングで表される面47がなくなっている。
A1が設計図面などの設計データから生成された面モデルである場合や古くから基準とされている面モデルの場合など、これを真値とする場合がある。このような場合は、例えば、上記の式32でSmの代わりにS2mを用いてwmを算出する。
さらに、点群補正部34により、この面モデルの変換に合わせて第二の点群データ26も同様に変換し、面モデル集合A1に合致するように補正することができる。例えば、元の点群データの参照が必要になった場合に、変換した面モデルとの不整合が生じない。第二の点群データ26の計測点39の座標値をpとすれば、この変換は以下のG(p)で表される点46に変換される。
Figure 0007464134000039
これを、図23に示す。なお、この図でも簡潔に表現するため、計測点39と変換後の点46は面モデル上の一部のみを表記している。
以下、本開示の実施の形態3の形状モデリング装置1の動作の一例を、図24のフローチャートを用いて説明する。なお、第一と第二の面モデル集合の面モデルは、上記本開示の実施の形態1の動作により、既にその信頼度が得られているとする。
図24のステップST301では、変換算出部32はデータ入出力部2を通じて二組の面モデルの集合A1とA2の情報を読み出す。A1の集合の要素である面モデル22と、A2の集合の要素である面モデル27には、それぞれ信頼度が付与されている。
ステップST302では、変換算出部32において、上記のように、m番目の対応する面モデルの組についてΩ2mをΩ1mに重ねるための、回転変換Rmと平行移動ベクトルtmおよびその重みwmを計算する。
ステップST303では、変換算出部32において、各Rmとtmとwmから、A2の要素全体に作用させる変換Gを表す回転行列Rと平行移動ベクトルtを求める。
ステップST304では、モデル変換部33において、変換GによりA2の要素の各面モデルの法線ベクトル29と基準点37を変換する。
ステップST305では、モデル変換部33はデータ入出力部2を通じて、変換したA2の要素の面モデルデータ7をデータサーバ4に出力する。
さらに、ステップST306では、点群補正部34は、データ入出力部2を経由して第二の点群データ26を読み出す。
ステップST307では、点群補正部34において、変換Gを上記のように第二の点群データ26の各点に対して作用させ、その座標値を変換する。
ステップST308では、点群補正部34は、この変換した第二の点群データ26を、データ入出力部2を経由して出力、保存する。
なお、上記本開示の実施の形態3の形状モデリング装置1においては、ステップST302からステップST304でA2の要素の各面モデル27をそれぞれ1回変換するように構成したが、ステップST302からステップST304を複数回繰り返して実行するように構成してもよい。このときの繰り返しは、例えば、所定の回数、または、回転行列Rの回転角度あるいは移動ベクトルtの絶対値が所定の値より小さくなるまで実行するようにする。
また、統合上記本開示の実施の形態3の形状モデリング装置1の面モデルの変換の動作に続いて、描画部によって統合後の信頼度による重みを評価値として面の色やハッチングを変えて描画するように構成してもよい。こうすることにより、どの面に重点をおいて変換を求めたかが容易にわかるようになる。
また、統合後の面モデルの信頼度の評価値が所定の値よりも低い場合は、その面は再度の計測を要すると判定するように構成してもよい。
また、面モデル集合のみが得られていて元の点群データがない場合、あるいは、元の点群データの座標の補正が必要でない場合は、ステップST306からステップST308を省略するようにしてもよい。このように、面モデル集合が得られていれば、点群データがなくとも面モデル集合間の位置合わせを実行することができる。
このような形状モデリング装置1の構成によれば、元の点群データを用いることなく、異なる計測によって得られた面モデルの組について、その信頼度を利用し、精度よく一方を他方に重なるように変換することができる。
このように2つの面モデルの組に対してその信頼度を用いて位置合わせすることにより、最も確からしく、面モデルを変換して位置合わせすることができる。
なお、上記本開示の実施の形態1から実施の形態3では、面モデルの信頼度として、最小二乗法での近似における誤差行列を用いるように構成した。信頼度は、面モデルを近似するのに用いた点群データの誤差の性質を示すものであれば、これに限るものではない。例えば、面モデルを近似するのに用いた点群データの個数を信頼度とするように構成してもよい。推定量の標準誤差は標本数の平方根に反比例するとされている。したがって、標本数である点群データの点数が多いほど、近似面16の誤差が小さくなり、これを面の確からしさを示す信頼度とすることができる。また、信頼度は、面モデルの近似に用いる点群データの点数の平方根やその逆数として与えてもよい。あるいは、点数の平方根の逆数に点群データ計測の際の画像処理やレーザスキャナの精度を除した数値を与えてもよい。点数の平方根の逆数、あるいは、点数の平方根の逆数に点群データ精度を乗じた数値を対角成分に持たせた3×3の行列として与えるようにしてもよい。このようにすれば、上記実施の形態2と実施の形態3に示した数式がそのまま適用でき、それぞれの動作を実行できる。
この他、点密度が一定の場合、点数は面積に比例するので、近似面16の面積を信頼度として設定するように構成してもよい。点数が同じ場合、面の面積が大きいほど、面の向きの精度がよくなるため、この場合も面積により信頼度を表すことができる。近似面16の面積は、例えば、点群データの近似面16上への射影の凸包の面積とする。あるいは、複数得られている近似面16間の交線で限られた範囲の面積とする。この他、点群データの近似面16上の分布状況を表すものとして、最近隣距離法の平均最近隣距離値やK関数法のK関数値などから信頼度を定義してもよい。
また、上記本開示の実施の形態2では、面モデルΩ1と面モデルΩ2を統合する面モデルΩeを得るように構成したが、本開示の実施の形態3で用いた点群補正部34を備えて、点群の座標値を補正するように構成してもよい。面モデルΩ1に属する第一の点群データ5の点はΩ1をΩeに変換する変換により補正し、面モデルΩ2に属する第二の点群データ26の点はΩ2をΩeに変換する変換により補正する。
以上のように、点群データを入力して面モデルのデータを出力するデータ入出力手段と、点群データに近似する面形状を求める面近似手段と、面形状の信頼度を算出する信頼度算出手段と、信頼度を面モデルに付与する信頼度付与手段とを備えている。換言すれば、対象物を計測した点群データから対象物の形状を復元する形状モデリング方法であって、点群データを入力する入力工程と、点群データに近似する面形状を求める面近似工程と、面形状の信頼度を算出する信頼度算出工程と、信頼度を面モデルに付与する信頼度付与工程と、面モデルのデータを出力するデータ出力工程とを備えている。これによって、確からしさを示す信頼度が付与された近似面モデルによる形状モデリング装置及び形状モデリング方法をえることができる。
また、データ入出力手段は、実質的に同じ構造物に対して異なる第1及び第2の点群データを入力し、面近似手段は、第1及び第2の点群データから第1及び第2の面モデル集合を求め、信頼度算出手段は、第1及び第2の面モデル毎に信頼度を算出し、第1の面モデルに対応する第2の面モデル毎の信頼度から重み付け平均を算出して第1の面モデル集合の位置に第2の面モデル集合の位置を合わせるように変換する変換算出手段とを備えている。換言すれば、データ入出力手段は共通の面を含む第1と第2の点群データからそれぞれモデル化された信頼度を有する第1の面モデル集合と第2の面モデル集合を入力するとともに、
第1の面モデル集合に第2の面モデル集合の位置を合わせるための第2の面モデル集合の変換を算出する変換算出手段と、第2の面モデル集合を変換するモデル変換手段とを備え、変換算出手段は第1の面モデルと対応する第2の面モデルそれぞれの信頼度から重みを決定し、その重みによる対応する第2の面モデルを第1の面モデルに変換する変換の重み付き平均により第2の面モデル集合に対する変換を算出する。これによって、第1の面モデル集合と第2の面モデル集合について、その確からしさを表す信頼度を用いて位置合わせすることにより、最も確からしく、面モデルを変換して位置合わせすることができる。
さらに、第2の面モデル集合のモデル化に用いた点群データの座標値を変換する点群座標変換手段を備えている。これによって、第1の面モデル集合と第二の面モデル集合について、その誤差の程度を表す信頼度を用いて行った位置合わせに合致するように点群データの座標値を変換することで、第1と第2の点群データの位置合わせを行うことができる。
1 形状モデリング装置、2 データ入出力部、3 計算機ネットワーク、4 データサーバ、5 点群データ、6 点群精度データ、7 面モデルデータ、8 面近似部、9 信頼度算出部、10 信頼度付与部、11 描画部、12 表示装置、13 入力装置、14 操作入力部、15 構造物、16 近似面、17 基準点、18 計測点、19 法線ベクトル、23 画像、24 統合部、25 信頼度合成部、32 変換算出部、33 モデル変換部、34 点群補正部、40 法線ベクトル。

Claims (8)

  1. 点群データを入力して面モデルのデータを出力するデータ入出力手段と、
    前記点群データに近似する面形状を求める面近似手段と、
    前記面形状の信頼度を算出する信頼度算出手段と、
    前記信頼度を前記面モデルに付与する信頼度付与手段と、
    実質的に同じ面を表す異なる前記面モデルをそれぞれの面の形状を表すパラメータ毎の前記信頼度を用いた重み付け平均により得た形状により一つの前記面モデルに統合する統合手段とを備えた形状モデリング装置。
  2. 点群データを入力して面モデルのデータを出力するデータ入出力手段と、
    前記点群データに近似する面形状を求める面近似手段と、
    実質的に同じ面を表す異なる第1及び第2の前記点群データを最小二乗法による面近似での誤差行列として前記面形状の信頼度を算出する信頼度算出手段と、
    第1の前記点群データによる誤差行列の第1の逆行列及び第2の前記点群データによる誤差行列の第2の逆行列の和となる逆行例を前記面モデルの前記信頼度とする信頼度合成手段と、
    前記信頼度を前記面モデルに付与する信頼度付与手段とを備えた形状モデリング装置。
  3. 実質的に同じ構造物に対して異なる第1及び第2の面モデルのデータであってそれぞれ信頼度が付与された第1及び第2の前記面モデルのデータを入力して、変換された第2の前記面モデルのデータを出力するデータ入出力手段と
    1の前記面モデルに対応する第2の前記面モデル毎の前記信頼度から重み付け平均を算出して第1の前記面モデル集合の位置に第2の前記面モデル集合の位置を合わせるように変換する変換算出手段とを備えた形状モデリング装置。
  4. 第2の前記面モデル集合のモデル化に用いた第2の点群データの座標値を変換する点群座標変換手段を備えたことを特徴とする請求項3に記載の形状モデリング装置。
  5. 対象物を計測した点群データから前記対象物の形状を復元する形状モデリング方法であって、
    前記点群データを入力するデータ入力工程と、
    前記点群データを近似する面形状を求める面近似工程と、
    前記面形状の信頼度を算出する信頼度算出工程と、
    前記信頼度を面モデルに付与する信頼度付与工程と、
    実質的に同じ面を表す異なる前記面モデルをそれぞれの面の形状を表すパラメータ毎の前記信頼度を用いた重み付け平均により得た形状により一つの前記面モデルに統合する統合工程と、
    前記面モデルのデータを出力するデータ出力工程とを有する形状モデリング方法。
  6. 対象物を計測した点群データから前記対象物の形状を復元する形状モデリング方法であって、
    前記点群データを入力するデータ入力工程と、
    前記点群データを近似する面形状を求める面近似工程と、
    実質的に同じ面を表す異なる第1及び第2の前記点群データを最小二乗法による面近似での誤差行列として前記面形状の信頼度を算出する信頼度算出工程と、
    第1の前記点群データによる誤差行列の第1の逆行列及び第2の前記点群データによる誤差行列の第2の逆行列の和となる逆行例を面モデルの前記信頼度とする信頼度合成工程と、
    前記信頼度を前記面モデルに付与する信頼度付与工程と、
    前記面モデルのデータを出力するデータ出力工程とを有する形状モデリング方法。
  7. 対象物の形状を復元する形状モデリング方法であって、
    実質的に同じ構造物に対して異なる第1及び第2の面モデルのデータであってそれぞれ信頼度が付与された第1及び第2の前記面モデルのデータを入力するデータ入力工程と
    1の前記面モデルに対応する第2の前記面モデル毎の前記信頼度から重み付け平均を算出して第1の前記面モデル集合の位置に第2の前記面モデル集合の位置を合わせるように変換する変換算出工程と、
    変換された第2の前記面モデルのデータを出力するデータ出力工程とを有する形状モデリング方法。
  8. 第2の前記面モデル集合のモデル化に用いた第2の点群データの座標値を変換する点群座標変換工程を備えたことを特徴とする請求項7に記載の形状モデリング装置。
JP2022544994A 2020-08-27 2020-08-27 形状モデリング装置及び形状モデリング方法 Active JP7464134B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/032352 WO2022044197A1 (ja) 2020-08-27 2020-08-27 形状モデリング装置及び形状モデリング方法

Publications (3)

Publication Number Publication Date
JPWO2022044197A1 JPWO2022044197A1 (ja) 2022-03-03
JPWO2022044197A5 JPWO2022044197A5 (ja) 2022-12-28
JP7464134B2 true JP7464134B2 (ja) 2024-04-09

Family

ID=80354833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022544994A Active JP7464134B2 (ja) 2020-08-27 2020-08-27 形状モデリング装置及び形状モデリング方法

Country Status (2)

Country Link
JP (1) JP7464134B2 (ja)
WO (1) WO2022044197A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115791794A (zh) * 2022-11-22 2023-03-14 福耀玻璃工业集团股份有限公司 光学元件检测方法、***和应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011047703A (ja) 2009-08-25 2011-03-10 Mitsutoyo Corp 誤差伝播による出力データの精度評価方法
JP2018185658A (ja) 2017-04-26 2018-11-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019090675A (ja) 2017-11-14 2019-06-13 株式会社荏原製作所 検査装置、検査システム、プログラムを記憶した記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6030549B2 (ja) * 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP7278720B2 (ja) * 2018-06-27 2023-05-22 キヤノン株式会社 生成装置、生成方法及びプログラム
JP2020071808A (ja) * 2018-11-02 2020-05-07 株式会社Ihi 学習装置及び学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011047703A (ja) 2009-08-25 2011-03-10 Mitsutoyo Corp 誤差伝播による出力データの精度評価方法
JP2018185658A (ja) 2017-04-26 2018-11-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP2019090675A (ja) 2017-11-14 2019-06-13 株式会社荏原製作所 検査装置、検査システム、プログラムを記憶した記憶媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高増 潔、古谷 涼秋、大園 成夫,座標計測における形状パラメータの信頼性,精密工学会誌,日本,1997年,Vol.63, No.11,pp.1594 to 1598

Also Published As

Publication number Publication date
JPWO2022044197A1 (ja) 2022-03-03
WO2022044197A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
US20200284573A1 (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
JP4650750B2 (ja) 三次元形状データの記憶・表示方法と装置および三次元形状の計測方法と装置
EP3435029B1 (en) Resolution adaptive mesh for performing 3-d metrology of an object
JP4650751B2 (ja) 三次元形状データの位置合わせ方法と装置
CN102472609B (zh) 位置和姿势校准方法及设备
JP4650752B2 (ja) 自己位置同定方法と装置および三次元形状の計測方法と装置
JP5380792B2 (ja) 物体認識方法および装置
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
CN106052646B (zh) 信息处理装置及信息处理方法
Chen et al. Two-view camera housing parameters calibration for multi-layer flat refractive interface
JP4752433B2 (ja) モデリングシステム、モデリング方法およびプログラム
JP2013539147A5 (ja)
US20120294534A1 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
JP2003058911A (ja) 3次元物体の表面形状モデリング装置、方法、プログラム
JP2009252112A (ja) 画像処理装置、画像処理方法
CN104019799A (zh) 一种利用局部参数优化计算基础矩阵的相对定向方法
US20200160613A1 (en) Apparatus and method for generating 3d avatar
JP2006214893A (ja) 対象物測定方法及びコンピュータシステムを用いて対象物の三次元形状を計測するためのコンピュータソフトウエアプログラム
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
JP7464134B2 (ja) 形状モデリング装置及び形状モデリング方法
Witzgall et al. Recovering spheres from 3D point data
Marchand et al. Evaluating Surface Mesh Reconstruction of Open Scenes
CN117433511B (zh) 一种多传感器融合定位方法
JP2022093774A (ja) 位置推定装置、位置推定方法、位置推定プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220921

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7464134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150