JP6853150B2 - Sorting equipment, methods and programs - Google Patents
Sorting equipment, methods and programs Download PDFInfo
- Publication number
- JP6853150B2 JP6853150B2 JP2017178016A JP2017178016A JP6853150B2 JP 6853150 B2 JP6853150 B2 JP 6853150B2 JP 2017178016 A JP2017178016 A JP 2017178016A JP 2017178016 A JP2017178016 A JP 2017178016A JP 6853150 B2 JP6853150 B2 JP 6853150B2
- Authority
- JP
- Japan
- Prior art keywords
- voxel
- point cloud
- data
- division
- voxels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Generation (AREA)
Description
本発明は、点群データに関してボクセルベースのモデル化を行ったうえで自己位置推定等の後段側処理に供される際のデータ量を、後段側処理の精度等を確保したうえで効果的に削減することのできる選別装置、方法及びプログラムに関する。 The present invention effectively determines the amount of data to be subjected to post-stage processing such as self-position estimation after performing voxel-based modeling of point cloud data, while ensuring the accuracy of post-stage processing and the like. With respect to sorting equipment, methods and programs that can be reduced.
近年、様々な種類の距離センサ（例えば、 LiDAR, Time-of-flight camera, structured lightなど）の商用化に伴い、3D点群(point cloud)が注目を集めている。3D点群は、物体認識や領域のセグメンテーション、自己位置推定、変化検知等のコンピュータビジョンにおける様々な技術領域で利用される。 In recent years, with the commercialization of various types of distance sensors (for example, LiDAR, Time-of-flight camera, structured light, etc.), 3D point clouds have been attracting attention. 3D point clouds are used in various technical areas in computer vision such as object recognition, area segmentation, self-position estimation, and change detection.
3D点群を用いた自己位置推定技術は，予め実世界の特定の範囲をセンサで計測して得られた点群（以後、地図点群と呼ぶ。）と、ユーザがその場でセンサを用いて取得した点群（以後、センサ点群と呼ぶ。）との位置合わせによって実現される。例えば，代表的な自己位置推定方法として、非特許文献1におけるIterative Closest Point (ICP)がある。
地図点群は一般的に、センサによる単位時間当たりの計測を1フレームとし、複数フレームを例えば非特許文献2に記載のSLAM（Simultaneous Localization and Mapping）技術を用いて統合することによって作成される。SLAM技術は環境地図の作成、すなわち複数フレームの統合と、自己位置推定、すなわち各フレームを計測した際のセンサの姿勢推定を同時に行う技術の総称である。従って、地図点群を作成する際には，結果としてフレーム毎の姿勢も得られる。
The self-position estimation technology using a 3D point cloud uses a point cloud (hereinafter referred to as a map point cloud) obtained by measuring a specific range in the real world with a sensor in advance and a sensor on the spot by the user. This is achieved by aligning with the point cloud (hereinafter referred to as the sensor point cloud) acquired. For example, as a typical self-position estimation method, there is Iterative Closest Point (ICP) in
The map point cloud is generally created by using the measurement per unit time by the sensor as one frame and integrating a plurality of frames by using, for example, the SLAM (Simultaneous Localization and Mapping) technique described in Non-Patent
近年の距離センサは1秒間の間に数十万点以上の3D点を計測するため、実世界の広範囲の計測を介して生成される地図点群のデータ量は膨大となる。そのため、要求されるストレージ量の削減及び／又は点群を用いた処理を効率化するために、点群のデータ量の削減が行われることがある。 Since recent distance sensors measure hundreds of thousands of 3D points in one second, the amount of data in a map point cloud generated through a wide range of measurements in the real world is enormous. Therefore, in order to reduce the required storage amount and / or streamline the processing using the point cloud, the data amount of the point cloud may be reduced.
その方法の一つに、点群のダウンサンプリングがある。この方法は，例えば所与の点群からランダムに指定個数の点を選択することにより、データ量を削減する。しかしながらこの方法は、単純にデータをスパースにするため、データ量を削減するほど、例えば自己位置推定の様な後段の処理の結果に対して悪影響を与える可能性が高くなる。 One of the methods is downsampling of point clouds. This method reduces the amount of data, for example, by randomly selecting a specified number of points from a given point cloud. However, since this method simply sparses the data, the reduction in the amount of data is more likely to adversely affect the results of subsequent processing such as self-position estimation.
データ量削減のためのもう一つの方法として、点群のモデル化がある。この方法は、例えば多変量正規分布の様な確率密度モデルを用いて点群をモデル化し、元々のデータをモデルパラメータの集合として表現することによって、データ量を削減する。 Another way to reduce the amount of data is to model point clouds. This method reduces the amount of data by modeling a point cloud using a probability density model such as a multivariate normal distribution and expressing the original data as a set of model parameters.
3D点群データのモデル化手法の多くは，ボクセルグリッドに依存している。例えば非特許文献3におけるNormal Distribution Transform (NDT)は空間をボクセルで区切った後に、各ボクセル内に位置する点群を3次元多変量正規分布のパラメータ、すなわち平均と分散共分散行列で表現する。そして、モデル化された地図点群とセンサ点群を用いて自己位置推定を実現する。また、非特許文献4に記載のNDT-D2D（Distribution to Distribution）は，地図点群だけでなくセンサ点群もモデル化し、モデル化されたデータ同士を用いて自己位置推定を実現する。
Many 3D point cloud data modeling methods rely on voxel grids. For example, in
しかしながら、ダウンサンプリングされた点群およびモデル化された点群データであっても、広範囲の計測から得られる点群に対するデータ量は膨大となる。一般的にデータのダウンサンプル率と後段の処理（当該データを用いての自己位置推定等の処理）の精度はトレードオフの関係になるため、ダウンサンプリングされた後であっても、多数の3D点で構成される地図点群のデータ量は依然として大きい。非特許文献3および4の手法において高い精度を得るためにはボクセルを比較的細かくする必要があり、また、ボクセル1つあたりが持つパラメータ数が多い。結果として，モデル化された地図点群のデータ量は大きくなる。
However, even with downsampled point cloud and modeled point cloud data, the amount of data for the point cloud obtained from a wide range of measurements is enormous. In general, there is a trade-off between the data downsampling rate and the accuracy of the subsequent processing (processing such as self-position estimation using the data), so even after downsampling, a large number of 3D The amount of data in the map point cloud composed of points is still large. In order to obtain high accuracy in the methods of
このような問題に関連して非特許文献5に記載のOctoMapは、ボクセルの8分木表現を用いることで、均一の解像度のボクセルを用いる場合に比べてコンパクトなデータ量で空間をモデル化している。すなわち、例えば空の様な点の分布が均一の空間は粗いボクセルで表現し、複雑な点の分布を持つ空間は細かい解像度で表現する、というものである。 In relation to such a problem, OctoMap described in Non-Patent Document 5 uses an octree representation of voxels to model a space with a compact amount of data as compared with the case of using voxels with uniform resolution. There is. That is, for example, a space having a uniform distribution of points such as the sky is represented by a coarse voxel, and a space having a complex distribution of points is represented by a fine resolution.
しかしながら、以上のような従来手法は全て、後段側の処理精度等とのトレードオフ関係等のもとで効果的にデータ量を削減するということに関して、改善の余地を有しているものであった。 However, all of the above conventional methods have room for improvement in terms of effectively reducing the amount of data in a trade-off relationship with the processing accuracy of the subsequent stage. It was.
例えば、非特許文献１〜４における一連の課題に対して対処しうるものである非特許文献５の手法においても依然として、以下のような課題があった。
For example, the method of Non-Patent Document 5, which can deal with a series of problems in
すなわち、この手法は空間内の全てを"occupied"（占有状態），"free"（空状態），"unknown"（不明）にモデル化した完全な3Dモデル表現が必要な場合には有用であるものの、例えば"occupied"のボクセルのみが必要な場合においては，それらのみを含む不完全な3Dモデル表現の方がよりコンパクトになる可能性がある。実際、例えばNDTでは"occupied"に相当するボクセルのデータのみが必要となり，"free"，"unknown"に相当するボクセルのデータは不要である。 That is, this technique is useful when you need a complete 3D model representation that models everything in space as "occupied", "free", and "unknown". However, if, for example, only "occupied" voxels are needed, an incomplete 3D model representation containing them alone may be more compact. In fact, for example, in NDT, only voxel data corresponding to "occupied" is required, and voxel data corresponding to "free" and "unknown" is not required.
ここで、ボクセルに基づくデータの量を更に削減するための単純な方法として、ボクセルのダウンサンプリングが考えられる。すなわち、点群のダウンサンプリングと同様の考えを、ボクセル群に対して適用する。例えば、所与のボクセル群からランダムに指定個数のボクセルを選択することにより、総データ量を削減することができる。 Here, downsampling of voxels can be considered as a simple method for further reducing the amount of voxel-based data. That is, the same idea as the point cloud downsampling is applied to the voxel group. For example, the total amount of data can be reduced by randomly selecting a specified number of voxels from a given group of voxels.
しかしながら、ボクセルのダウンサンプリングも前述の点群のダウンサンプリングと同様の課題を有している。すなわち、ボクセルのダウンサンプリングを行うことは、単純にデータをスパースにするため、データ量を削減するほど後段の処理の結果に対して悪影響を与える可能性が高くなる。特に、点と比べてボクセルは空間内で大きな範囲を占めるため，その欠損が与える影響はより大きくなる。 However, voxel downsampling has the same problems as the point cloud downsampling described above. That is, since downsampling of voxels simply sparses the data, the smaller the amount of data, the higher the possibility that the result of the subsequent processing will be adversely affected. In particular, voxels occupy a large area in space compared to points, so the effect of their defects is greater.
上記のような従来技術の課題に鑑み、本発明は、点群データに関してボクセルベースのモデル化を行ったうえで自己位置推定等の後段側処理に供される際のデータ量を、後段側処理の精度等を確保したうえで効果的に削減することのできる選別装置、方法及びプログラムを提供することを目的とする。 In view of the above-mentioned problems of the prior art, the present invention performs voxel-based modeling of point cloud data and then processes the amount of data when it is subjected to post-stage processing such as self-position estimation. It is an object of the present invention to provide a sorting device, a method and a program that can be effectively reduced while ensuring the accuracy of the above.
上記目的を達成するため、本発明は選別装置であって、複数の位置姿勢においてそれぞれ取得されたフレーム点群データ同士を共通座標系において統合した参照点群データをボクセル分割する第一分割部と、前記ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算部と、前記共通座標系に基づいて前記複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割部と、前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算部と、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較部と、前記比較部での比較結果に基づいて前記第一計算部で得たボクセル毎の参照点群モデル化データから選別を行う選別部と、を備えることを特徴とする。またこれに対応する方法及びプログラムであることを特徴とする。 In order to achieve the above object, the present invention is a sorting device, which is a first division unit for boxel division of reference point cloud data in which frame point cloud data acquired at a plurality of positions and orientations are integrated in a common coordinate system. , The first calculation unit that models the boxel-divided reference point cloud data to obtain the reference point cloud modeling data for each boxel, and the frame point cloud acquired at the plurality of positions and orientations based on the common coordinate system. The second division unit that divides the data into box cells and the frame point cloud data divided into box cells for each acquired position / orientation are modeled to obtain frame point cloud modeling data for each position / orientation and each box cell. (Ii) The calculation unit compares the reference point cloud modeling data for each boxel obtained in the first calculation unit with the frame point cloud modeling data for each position / orientation and each boxel obtained in the second calculation unit. It is characterized by including a comparison unit and a selection unit that selects from the reference point cloud modeling data for each boxel obtained by the first calculation unit based on the comparison result in the comparison unit. It is also characterized in that it is a method and a program corresponding to this.
本発明によれば、効果的にデータ量を削減することができる。 According to the present invention, the amount of data can be effectively reduced.
図１は、一実施形態に係る選別装置の機能ブロック図である。図示する通り、選別装置10は第一分割部11、第一計算部12、比較部13、選別部14、整列部20、第二分割部21及び第二計算部22を備える。また図示する通り、選別装置10の各部間でのデータ授受としての各部の機能概略は以下の通りである。なお、以降では、参照点群データの一例として、地図点群データを用いて説明する。
FIG. 1 is a functional block diagram of a sorting device according to an embodiment. As shown in the figure, the sorting device 10 includes a
第一分割部11は、入力される地図点群データをボクセル分割して得られるボクセル分割された地図点群データを第一計算部12へと出力する。第一計算部12は当該ボクセルごとの地図点群データにおいてボクセルごとに点群をモデル化する計算を行い、得られたボクセルごとの地図点群モデル化データを比較部13へと出力する。
The
整列部20は入力される位置姿勢ごとのフレーム点群データを所定方位へと整列させ、得られた位置姿勢ごとの整列されたフレーム点群データを第二分割部21へと出力する。なお、図３等も参照して後述するように、当該整列させることはすなわち第一分割部11に入力される地図点群データと同じ座標系にフレーム点群データを変換することに相当する。第二分割部21は整列部20で得られた位置姿勢ごとのフレーム点群データをボクセル分割して、得られる位置姿勢ごと及びボクセルごとのフレーム点群データを第二計算部22へと出力する。第二計算部22は当該位置姿勢ごと及びボクセルごとのフレーム点群データに対して点群をモデル化する計算を行い、得られた位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを比較部13へと出力する。なお、詳細は後述するように、第二計算部22及び第一計算部12ではモデル化する対象となるデータは互いに異なるものの、モデル化の仕方（すなわち、モデル化のための計算処理）は互いに共通である。
The
比較部13は、第一計算部12から得られるボクセルごとの地図点群モデル化データと、第二計算部22から得られる位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較し、比較結果を選別部14へと出力する。選別部14では当該得られた比較結果に基づいて第一計算部12から得られるボクセルごとの地図点群モデル化データの中から選別を行う。ここで、第一計算部12において得られているボクセルごとの地図点群モデル化データは従来手法と同様の特に選別されておらずデータ量が多いものに相当するのに対し、本発明の一実施形態においては比較部13及び選別部14（並びに整列部20、第二分割部21及び第二計算部22）の処理を経たうえで、第一計算部12の当該得た全データの中から後段側処理に適していると判定されるものを選別することにより、選別されなかったものを除外することによりデータ量を削減すると共に、当該選別されたデータを用いてなされる後段側処理の精度を確保するようにすることができるという効果がある。
The
なお、「後段側処理」とは上記の通り、選別装置10によって選別された地図点群データをリファレンスデータ等として用いて行われる任意の処理を指すものであり、その典型例としては自己位置推定処理を挙げることができる。以下でもこれを単に「後段側処理」と称することとする。 As described above, the "post-stage processing" refers to arbitrary processing performed using the map point cloud data sorted by the sorting device 10 as reference data or the like, and a typical example thereof is self-position estimation. Processing can be mentioned. Hereinafter, this will be simply referred to as "post-stage processing".
図２は一実施形態に係る選別装置10の動作のフローチャートである。ステップS1では、管理者等によるマニュアル作業等によって、選別装置10への入力データとしての地図点群データ及びこれを構成しているフレーム点群等のデータを用意したうえで、ステップS2へと進む。なお、当該用意される地図点群データはステップS2において第一分割部11へと入力されることとなり、また当該用意されるフレーム点群等のデータはステップS3において整列部20へと入力されることとなる。
FIG. 2 is a flowchart of the operation of the sorting device 10 according to the embodiment. In step S1, the map point cloud data as input data to the sorting device 10 and the data such as the frame point cloud constituting the map point cloud are prepared by manual work by the administrator or the like, and then the process proceeds to step S2. .. The prepared map point cloud data will be input to the
図３は、ステップS1で当該用意するデータの説明を含む、本発明の一実施形態に係る手法の説明のための模式図である。ステップS1で当該用意するデータの模式的な例として、図３では地図点群データMD及びこれを構成するフレーム点群データ（の一部分の例）D1,D2,D3が示されている。なお、点群データD1,D2,D3は図３では模式的に丸状の範囲として表現することにより、当該点群データが分布する範囲の形で示されている。 FIG. 3 is a schematic diagram for explaining a method according to an embodiment of the present invention, including a description of the data prepared in step S1. As a schematic example of the data prepared in step S1, FIG. 3 shows the map point cloud data MD and the frame point cloud data (partial example) D1, D2, D3 constituting the map point cloud data MD. Note that the point cloud data D1, D2, and D3 are shown in the form of a range in which the point cloud data is distributed by schematically expressing them as a round range in FIG.
ステップS1で用意する地図点群データMDとはすなわち、例えば前掲の非特許文献２に開示のSLAM技術によって用意することが可能なものである。図３の例であれば、時刻T1に点群取得センサが位置姿勢PA1にあることによって取得されるフレーム点群データD1と、時刻T2に点群取得センサが位置姿勢PA2にあることによって取得されるフレーム点群データD2と、時刻T3に点群取得センサが位置姿勢PA3にあることによって取得されるフレーム点群データD3と、といったように、各時刻Ti(i=1,2,3, ..., N)において位置姿勢PAi(i=1,2,3, ..., N)にある点群取得センサの取得したフレーム点群データDi(i=1,2,3, ..., N)を、図３に示すような何らかの共通座標系CSにおいて表現されるデータとして統合することにより、地図点群データMDが得られる。これは式で形式的に表記すれば以下のような関係となっている。
The map point cloud data MD prepared in step S1 can be prepared, for example, by the SLAM technique disclosed in
(数式2)において、(xij, yij, zij)[CS]はDiの点群データの各点の空間座標を共通座標系CSにおいて与えたものであり、J(i)はDiの点群データの総数である。 In (Formula 2), (x ij , y ij , z ij ) [CS] gives the spatial coordinates of each point of the point cloud data of Di in the common coordinate system CS, and J (i) is of Di. It is the total number of point cloud data.
そして、ステップS1で用意するフレーム点群データDiとは上記の(数式2)において与えられるのと同じものを、共通座標系CSにおいてではなく当該時刻Tiのフレームにおいて点群データを取得したセンサのセンサ座標系SS(Ti)において与えたもの（すなわち、センサが自身の空間座標系において取得した点群データそのもの）であり、以下の式のように表現することができる。 Then, the frame point cloud data Di prepared in step S1 is the same as that given in the above (Equation 2) of the sensor that acquired the point cloud data in the frame of the time Ti, not in the common coordinate system CS. It is given in the sensor coordinate system SS (Ti) (that is, the point cloud data itself acquired by the sensor in its own spatial coordinate system), and can be expressed as the following equation.
すなわち、(数式2)及び(数式3)で表現されるフレーム点群データDiは内容としては同じものであるが、その各点の空間座標を表現するための座標系が互いに異なっているものである。 That is, the frame point cloud data Di represented by (Formula 2) and (Formula 3) have the same contents, but the coordinate systems for expressing the spatial coordinates of the points are different from each other. is there.
ステップS2では、ステップS1で用意した地図点群データMDを第一分割部11及び第一計算部12において順次処理することで、地図点群データMDを所定のボクセルグリッドVG0で空間分割したうえで当該各ボクセルに属する点群をモデル化してから、ステップS3へと進む。なお、図３には地図点群データMDを当該ボクセル分割するための所定のボクセルグリッドVG0の模式例が示されている。
In step S2, the map point cloud data MD prepared in step S1 is sequentially processed by the
ここで、以降の説明の便宜上、地図点群データMDのうち、所定のボクセルグリッドVG0で分割することによる位置(n,m,l)（整数n,m,lで空間上のx,y,z方向における位置を格子点のように指定した位置）のボクセル内にある点群データをMD(n, m, l)[VG0]と表記する。すなわち、データ集合間の関係として「MD={MD(n, m, l)[VG0]}」の関係がある。また、そのモデル化データをmodel(MD(n, m, l)[VG0])と表記する。 Here, for convenience of the following description, the position (n, m, l) of the map point cloud data MD by dividing by a predetermined voxel grid VG0 (integer n, m, l x, y, in space) The point cloud data in the voxel (the position where the position in the z direction is specified like a grid point) is expressed as MD (n, m, l) [VG0]. That is, there is a relationship of "MD = {MD (n, m, l) [VG0] }" as the relationship between the data sets. The modeled data is expressed as model (MD (n, m, l) [VG0] ).
ステップS3では、ステップS1で用意した各フレーム点群データDiを、整列部20、第二分割部21及び第二計算部22において順次処理することにより、地図点群データNDの姿勢に一致させた後に、各データDiを1通り以上のボクセルグリッドVGk(k=0,1,2, ...)で分割したうえでそれぞれのボクセルグリッドVGk（当該ボクセルグリッドVGkはすなわち、分割の仕方・区切り方に対応している）に応じたボクセル内においてモデル化してから、ステップS4へと進む。
In step S3, each frame point cloud data Di prepared in step S1 is sequentially processed by the
ここで、ステップS3で分割するためのボクセルグリッドVGk(k=0,1,2,...)のうち少なくとも１つの場合としてk=0のボクセルグリッドVG0はステップS2におけるものと共通である。また、以降の説明の便宜上、ステップS2における表記と共通の表記により、ボクセルグリッドVGkで分割することによるフレーム点群データDiの位置(u,v,w)（すなわち、ステップS2の(n,m,l)の場合と同様に、整数u,v,wによって格子点のように指定される位置）のボクセル内にある点群データをDi(u,v,w)[VGk]と表記する。すなわち、データ集合間の関係として「Di={Di(u,v,w)[VGk]}」の関係がある。また、そのモデル化データをmodel(Di(u,v,w)[VGk])と表記する。 Here, as at least one of the voxel grid VGk (k = 0,1,2, ...) for dividing in step S3, the voxel grid VG0 with k = 0 is common to that in step S2. In addition, for convenience of the following explanation, the position (u, v, w) of the frame point cloud data Di by dividing by the voxel grid VGk (that is, (n, m) in step S2) is used in the same notation as in step S2. As in the case of, l), the point cloud data in the voxel at the position specified by the integers u, v, w like a grid point is expressed as Di (u, v, w) [VGk] . That is, there is a relationship of "Di = {Di (u, v, w) [VGk] }" as the relationship between the data sets. The modeled data is expressed as model (Di (u, v, w) [VGk]).
なお、以上のステップS2及びS3は、逆順に実行されてもよいし、並行して実施されてもよい。 The above steps S2 and S3 may be executed in the reverse order or may be executed in parallel.
ステップS4では、ステップS2で得たモデル化データmodel(MD(n, m, l)[VG0])とステップS3で得たモデル化データmodel(Di(u,v,w)[VGk])とを比較部13が比較してからステップS5へと進む。ステップS5ではステップS4における当該比較結果に基づいて選別部14がステップS2で得たモデル化データmodel(MD(n, m, l)[VG0])の中から選別を行い、当該図２のフローチャートは終了する。
In step S4, the modeled data model (MD (n, m, l) [VG0] ) obtained in step S2 and the modeled data model (Di (u, v, w) [VGk] ) obtained in step S3 Is compared by the
ここで、図１の各機能部の概略説明の際にも述べたように、当該比較選別によって、地図点群データMDから得られるボクセル単位での各モデル化データmodel(MD(n, m, l)[VG0])はこれが実際に後段側処理に供された場合の性能を模擬的に評価したうえで選別されることとなり、従来手法ではなし得なかったボクセル単位での効率的なダウンサンプリング（後段側処理に悪影響を与えない、あるいは精度とのトレードオフ関係のもとであっても悪影響を最小限に抑制するダウンサンプリング）が可能となる。 Here, as described in the schematic description of each functional unit in FIG. 1, each modeling data model (MD (n, m, MD)) in voxel units obtained from the map point cloud data MD by the comparative selection is performed. l) [VG0] ) will be selected after simulating the performance when it is actually applied to the post-stage processing, and efficient downsampling in voxel units, which was not possible with the conventional method. (Downsampling that does not adversely affect the post-stage processing or minimizes the adverse effect even under a trade-off relationship with accuracy) is possible.
すなわち、当該比較選別の詳細は後述するが、当該ステップS4及びS5による比較選別の「考え方」は、地図点群データMDの全体をステップS1において用意した際の各フレームの点群データDiを、後段側処理においてクエリとなる点群として入力されるデータを模擬的に表しているものとして利用することに相当する。 That is, although the details of the comparative selection will be described later, the "idea" of the comparative selection in steps S4 and S5 is to use the point cloud data Di of each frame when the entire map point cloud data MD is prepared in step S1. It corresponds to using the data input as a point cloud to be a query in the subsequent processing as a simulated representation.
すなわち、図３の例であれば、位置姿勢PA1にある際に取得されたフレーム点群データD1は、そもそもは(数式1)に表現される通り地図点群データMDの全体を構成するための部分データであるが、本発明においてはこのような関係を利用することで、後段側処理で位置姿勢PA1にある際にクエリとして入力されるデータを点群データD1によっていわばシミュレートしている。そして、当該シミュレートされた点群データD1がよくマッチングするようなボクセルを地図点群データMDの中から選別することにより、従来手法では不可能であった効果的なボクセル単位でのダウンサンプリングを実現する。 That is, in the example of FIG. 3, the frame point cloud data D1 acquired when the position / orientation PA1 is in the position / orientation PA1 originally constitutes the entire map point cloud data MD as expressed in (Equation 1). Although it is partial data, in the present invention, by utilizing such a relationship, the data input as a query when the position / orientation PA1 is in the post-stage processing is simulated by the point cloud data D1. Then, by selecting voxels from which the simulated point cloud data D1 matches well from the map point cloud data MD, effective downsampling in voxel units, which was not possible with the conventional method, can be performed. Realize.
ここではさらに次のような効果もある。すなわち、地図点群データMDに該当するフィールド内を再度移動しながら点群データを取集して実際に後段側処理（ここでは自己位置推定処理を想定）を行なって実績調査などをする必要なく、（従って、そのような追加調査などのコストを要することなく、）地図点群データMD（及びこれを構成するフレーム点群データDi）の情報のみを利用することで、当該地図点群データMDに対して効果的なダウンサンプリングが実現されるという効果も奏することが可能である。 Here, there are also the following effects. That is, it is not necessary to collect the point cloud data while moving again in the field corresponding to the map point cloud data MD and actually perform the post-stage processing (here, self-position estimation processing is assumed) to perform a performance survey. By using only the information of the map point cloud data MD (and the frame point cloud data Di that composes it), (therefore, without the cost of such additional research), the map point cloud data MD It is also possible to achieve the effect that effective downsampling is realized.
以下、図２のように動作する図１の各機能部の詳細を説明する。なお、説明の便宜上、処理されるデータの表記に関して、図２の各ステップの説明の際に用いた表記（例えば、モデル化データmodel(MD(n, m, l)[VG0])など）とは別の表記で説明する場合があるが、その対応関係は適宜示すこととする。 Hereinafter, details of each functional unit of FIG. 1 that operates as shown in FIG. 2 will be described. For convenience of explanation, regarding the notation of the data to be processed, the notation used in the explanation of each step in FIG. 2 (for example, modeled data model (MD (n, m, l) [VG0] ), etc.) May be explained in another notation, but the correspondence will be shown as appropriate.
[整列部20]
整列部20は、所与の姿勢変換行列を用いて各フレーム点群データDiを姿勢変換することにより、各フレーム点群データDiの姿勢を地図点群データMDにおける姿勢と一致させる。当該姿勢変換はすなわち、フレーム点群データDiに関して、(数式3)のように取得した際のセンサの座標系SS(Ti)で表現されていたものを、(数式2)のように地図点群データMDの共通座標系CSで表現されるものに変換することに相当し、姿勢変換行列はフレーム点群データDiごとに存在する。
[Alignment part 20]
The
なお、各フレーム点群データDiに関して予め(数式2)の共通座標系CSで表現されるものとして入力データ（図２のステップS1で用意する入力データ）を用意しておくことにより、整列部20を省略してもよい。
By preparing input data (input data prepared in step S1 of FIG. 2) as being represented by the common coordinate system CS of (Formula 2) in advance for each frame point cloud data Di, the
[第一分割部11]
第一分割部11は、地図点群データMDについて、任意の所定の基準点rpmap（例えばローカル座標系の原点）を元に、空間を所定のサイズのボクセルで分割する。ただし、当該処理におけるボクセルのサイズは、後段側処理で使用されるボクセルのサイズと同サイズであることが望ましい。ボクセル分割する際の方向は共通座標系CSのx,y,z軸とすればよい。ここで得られたM個のボクセルを、Vp map (p=1,2, …,M)とする。（各ボクセルVp mapはすなわち、図２の説明におけるMD(n, m, l)[VG0]に該当し、ボクセルグリッドVG0で分割されたものに該当する。）
[
The
[第二分割部21]
図４は、第二分割部21による分割の各実施形態を担うものとしての第二分割部21の機能ブロック図である。第二分割部21は、共通分割部1、平行移動分割部2及び回転分割部3を備え、各部1〜3による各実施形態においてボクセルグリッドVGk(k=0,1,2, ...)で分割された各フレーム点群データDiが第二計算部22へと出力される。各部1〜3で分割するボクセルのサイズは第一分割部11において分割したボクセルサイズと共通である。
[Second division 21]
FIG. 4 is a functional block diagram of the second division unit 21 as being responsible for each embodiment of the division by the second division unit 21. The second division unit 21 includes a
[共通分割部1]
共通分割部1では、第一分割部11でボクセル分割したのと同一のボクセルグリッドVG0によって各フレーム点群データDiをボクセル分割する。（従って、分割する際の基準点は同一の基準点rpmapであり、ボクセル分割する際の方向も同一で例えば共通座標系CSのx,y,z軸とすればよい。）
[Common division 1]
In the
共通分割部1で各フレーム点群データDiに関して得られたL(i)個のボクセルをVl i,a(l=1,2, ..., L(i))と表記する。なお、添字aは次に説明する「非対称性」(asymmetry)を表すものであり、平行移動分割部2及び回転分割部3でのボクセルと区別するためのものである。（なお、当該ボクセルVl i,aにおけるDiの点群データが、ボクセルを指定するlと(u,v,w)との対応付けのもとで、図２の説明におけるDi(u,v,w)[VG0]に該当する。）
The L (i) voxels obtained for each frame point cloud data Di in the common division 1 are expressed as V l i, a (l = 1,2, ..., L (i)). The subscript a represents "asymmetry" described below, and is intended to distinguish it from the voxels in the
共通分割部1の役割は、後段側の比較部13及び選別部14において、地図点群データMDのボクセルと各フレーム点群データDiのボクセルとの間で、点群分布の非対称性に基づく性能評価による比較選別を可能とするようなフレーム点群データDiのモデル化データを、第二計算部22において算出可能とさせるためのものである。
The role of the
図５は共通分割部1による当該役割における点群分布の非対称性を説明するための模式例を示す図である。図５では、同一のオブジェクトOBに関して、[1]では後段側処理においてクエリとして取得されることが想定される点群を、[2]では地図点群データMDにおいて取得していることが想定される点群を、それぞれ模式例として示している。すなわち、[1]に示す後段側処理での取得点群（及びこれをシミュレートする各フレーム点群データDi）は、単一のセンサ位置姿勢AP11のみで取得されるものであるため、球状のオブジェクトOBに関してその前面部分（図中の実線部分）しか点群が取得されず、背面部分（図中の点線部分）に関しては点群が取得されないこととなる。一方、[2]に示すように同一のオブジェクトOBに関して地図点群データMDにおいては単一のセンサ位置姿勢AP11のみならずその他のセンサ位置姿勢AP12,AP13等からも網羅的にその点群が取得され、図中に実線で示すような球面の全面に渡って点群が取得されることとなる。このように、同一のオブジェクトOBであっても取得される点群の様子が異なることが「非対称性」である。
FIG. 5 is a diagram showing a schematic example for explaining the asymmetry of the point cloud distribution in the role of the
当該非対称性は、より一般的に述べれば次の通りである。前述の(数式1)の通り、地図点群データMDはオブジェクトを複数の計測点から計測した各結果Diを統合して得られるものであるため、オブジェクトの形状を完全に近い状態で計測しており、得られる点群の密度も高くなる。それに対し、後段側処理の取得点群は物体を単一の計測点から計測した結果Diのみであるため、物体の一面しか計測することができず、不完全かつ疎な計測となる。 More generally, the asymmetry is as follows. As described in (Formula 1) above, the map point cloud data MD is obtained by integrating each result Di of the object measured from multiple measurement points, so the shape of the object is measured in a nearly perfect state. The density of the obtained point cloud is also high. On the other hand, since the acquisition point group of the post-stage processing is only Di as a result of measuring the object from a single measurement point, only one surface of the object can be measured, resulting in incomplete and sparse measurement.
このような非対称性は、地図点群データと後段側処理の取得点群のそれぞれを取得した際の位置姿勢が完全に一致している場合であっても、ボクセル内に位置する点群をモデル化したパラメータに差異をもたらすこととなる。さらに、ノイズの影響でモデルパラメータに差異が生じる可能性もある。その様なボクセルは、正しい位置姿勢であっても自己位置推定処理に悪影響を及ぼすため、除去すべき有害なボクセルであると考えられる。 Such asymmetry is modeled on the point cloud located in the voxel even when the position and orientation when each of the map point cloud data and the acquired point cloud of the post-stage processing are completely matched. It will bring about a difference in the changed parameters. In addition, the effects of noise can cause differences in model parameters. Such a voxel is considered to be a harmful voxel to be removed because it adversely affects the self-position estimation process even if the position and orientation are correct.
そして、共通分割部1によるボクセル分割を経た比較選別の処理によれば、このような非対称性に基づく有害なボクセルの自動排除、すなわち選別部14で選別されないようにすることが可能となる。図５の例であれば、[1]に示すオブジェクトOBの裏側（点線部分）に該当するようなボクセルは、自動排除の対象となる。
Then, according to the comparative sorting process after the voxel division by the
以上、共通分割部1を説明した。なお、各部1〜3による各実施形態においてボクセルグリッドVGk(k=0,1,2, ...)で分割することとなるが、共通分割部1はk=0の場合のボクセルグリッドVG0（第一分割部11と同じボクセルグリッドVG0）の分割を行うものであり、以降に説明する平行移動分割部2及び回転分割部3はこれとは異なるk≧1で指定されるボクセルグリッドVGk(k≧1)の分割を行うものである。
The
[平行移動分割部2]
平行移動分割部2に関して、その処理内容（すなわちボクセル分割の仕方の詳細）を説明してから、その後段側の比較選別処理における意義を説明することとする。
[Translation division 2]
Regarding the
平行移動分割部2では、共通分割部1で分割したボクセルグリッドVG0からサブボクセル単位の長さ（ボクセル解像度よりも細かいステップ幅）でボクセル分割基準位置が異なっているような一連のボクセルグリッドVGk(k≧1)の分割を行う。すなわち、共通分割部1で分割した際の基準点rpmapからボクセルの解像度よりも細かいサイズのステップ幅による平行移動された基準点を用いて、各フレーム点群データDiをボクセルで分割する。具体的には、x軸方向，y軸方向，z軸方向のボクセルサイズをvlx，vly，vlzとし、ステップ幅をそれぞれrsx，rsy，rszとおく場合、それぞれでvlx，vly，vlzを除算した際の商の大きさのパターン数rsnx，rsny，rsnzで、各地図フレームをボクセルで分割する；
rsnx = vlx / rsx （数式4）
rsny = vly / rsy （数式5）
rsnz = vlz / rsz （数式6）
この時、各フレーム点群データDiは、Num = rsnx * rsny * rsnz 通りの方法で、ボクセルで分割されることとなる。あるいは、例えばx方向のみにNum = rsnx通り、という様に、ステップ幅を施す方向を限定してもよい。
In the
rsnx = vlx / rsx (Formula 4)
rsny = vly / rsy (Formula 5)
rsnz = vlz / rsz (Formula 6)
At this time, each frame point cloud data Di is divided by voxels by the method of Num = rsnx * rsny * rsnz. Alternatively, the direction in which the step width is applied may be limited, for example, Num = rsnx only in the x direction.
平行移動分割部2でNum通りの各分割において各フレーム点群データDiに関して得られたL2(i)個のボクセルを｛Vl i,q(l=1,2, ..., L2(i))｝n(n=1,2, ..., Num)と表記する。（なお、個数L2(i)に関しては、Num通りのそれぞれへの依存性があるが、表記簡略化の観点から当該依存性の表記はL2(i)においてではなく、分割手法を表現する最後の添え字nにおいて表現している。）添え字qは次に説明する量子化誤差（quantization error）を意味するものである。
The L2 (i) voxels obtained for each frame point cloud data Di in each division according to Num in the
平行移動分割部2の役割は、後段側の比較部13及び選別部14において、地図点群データMDのボクセルと各フレーム点群データDiのボクセルとの間で、点群分布の量子化誤差に基づく性能評価による比較選別を可能とするようなフレーム点群データDiのモデル化データを、第二計算部22において算出可能とさせるためのものである。
The role of the parallel
すなわち、モデル化の際に連続的な幾何的形状を計測した3D点群をボクセルで区切ることは、データのボクセル量子化誤りに起因する問題をもたらす。データのボクセル量子化誤りを説明するために、模式図を図６に示す。図６において、楕円体はある点群PG1のデータ分布を模式的に表し、直線で形成された立方体V11,V12,V21,V22は同じ大きさのボクセルを表している。ここで、図６の[1]及び[2]の間では、点群PG1の座標は変化せず、（すなわち[1]及び[2]では点群PG1データは同一のものが示されており、）ボクセルを形成する基準となる基準点の座標のみが基準点R1及び基準点R2のように変化している。すなわち図６は、同一の点群PG1データを[1]及び[2]において互いに異なるボクセルで量子化する場合の例を示しており、互いに共通の座標系CS1で同一の点群PG1データを与え、[1]ではその原点Oに一致する位置に基準点R1を設けてボクセル量子化し、[2]では当該原点Oから+x方向に一定距離だけずれた位置に基準点R2を設けてボクセル量子化している。 That is, dividing a 3D point cloud whose continuous geometric shape is measured by a voxel at the time of modeling poses a problem due to a voxel quantization error of data. A schematic diagram is shown in FIG. 6 to illustrate voxel quantization errors in the data. In FIG. 6, the ellipsoid schematically represents the data distribution of a certain point cloud PG1, and the cubes V11, V12, V21, and V22 formed by straight lines represent voxels of the same size. Here, between [1] and [2] in FIG. 6, the coordinates of the point cloud PG1 do not change (that is, in [1] and [2], the same point cloud PG1 data is shown. ,) Only the coordinates of the reference point that forms the voxel change like the reference point R1 and the reference point R2. That is, FIG. 6 shows an example in which the same point cloud PG1 data is quantized by different voxels in [1] and [2], and the same point cloud PG1 data is given in the common coordinate system CS1. In [1], a reference point R1 is set at a position corresponding to the origin O and voxel quantized, and in [2], a reference point R2 is set at a position deviated by a certain distance in the + x direction from the origin O and voxel quantum. It has become.
そして、図６の[1]にてボクセル量子化された点群PG1データは2つのボクセルV11,V12の境界にまたがって概ね２等分される形で割り当てられているのに対して、図６の[2]のボクセル量子化では同じ点群PG1データの全てが２つのボクセルV21,V22のうち左側のボクセルV21のみに割り当てられている。結果として図６の[1]及び[2]の間で、同一の点群PG1データをモデル化しているのにも関わらず、そのモデル化の結果（例えば平均，分散共分散行列）は大きく変化してしまい、得られるモデルのパラメータも類似しないものとなってしまう。 The point cloud PG1 data quantized in voxels in [1] of FIG. 6 is assigned in a form of being roughly divided into two equal parts across the boundaries of two voxels V11 and V12, whereas in FIG. In the voxel quantization of [2], all of the same point cloud PG1 data is assigned only to the left voxel V21 of the two voxels V21 and V22. As a result, even though the same point cloud PG1 data is modeled between [1] and [2] in FIG. 6, the modeling result (for example, mean, variance-covariance matrix) changes significantly. Therefore, the parameters of the obtained model will be dissimilar.
図６はボクセル分割位置の少しの違いでモデルのパラメータが顕著に変化してしまう場合の模式例であったが、逆に図７に模式図を示すように、ボクセル分割位置の少しの違いではモデルのパラメータがほとんど変化しない場合もある。 FIG. 6 is a schematic example in which the parameters of the model change remarkably due to a slight difference in the voxel division position, but conversely, as shown in the schematic diagram in FIG. 7, a slight difference in the voxel division position In some cases, the parameters of the model change very little.
すなわち、図７でも図６と同様に、同一の点群データPG2に関して[1]及び[2]で互いにボクセル分割位置がわずかに異なる場合が示されている。図７にて[1]では基準点R3を基準としてボクセル分割されたボクセルV31,V32が示され、[2]では基準点R3からわずかにずれた基準点R4を基準としてボクセル分割されたV41,V42が示されている。ここで、図６の場合とは逆に、図７の点群データPG2は[1],[2]のボクセルV31,V32とボクセルV41,V42との間でモデル化データにほとんど相違を発生させないような分布をなしている。 That is, in FIG. 7, as in FIG. 6, the case where the voxel division positions are slightly different from each other in [1] and [2] with respect to the same point cloud data PG2 is shown. In FIG. 7, [1] shows voxel-divided voxels V31 and V32 with reference to the reference point R3, and [2] shows voxel-divided voxels with reference to the reference point R4 slightly deviated from the reference point R3. V42 is shown. Here, contrary to the case of FIG. 6, the point cloud data PG2 of FIG. 7 causes almost no difference in the modeled data between the voxels V31 and V32 of [1] and [2] and the voxels V41 and V42. It has a distribution like this.
後段側処理においては、その具体的な用途・目的等によって図６のような少しの分割位置の相違で顕著に変化するような位置にあるボクセルが精度上重要になる場合と、逆に図７のような少しの分割位置の相違ではほとんど変化しないような位置にあるボクセルが精度上重要になる場合との両方が考えられる。平行移動分割部2の処理を前提とした後段側の比較選別処理の各実施形態によって、この各場合に適した選別が可能となる。
In the post-stage processing, there is a case where a voxel at a position that changes remarkably due to a slight difference in the division position as shown in FIG. 6 is important for accuracy depending on the specific use and purpose, and conversely, in FIG. In both cases, a voxel in a position where it hardly changes with a slight difference in the division position such as is important for accuracy. Each embodiment of the comparative sorting process on the latter stage side, which is premised on the process of the
[回転分割部3]
回転分割部3は、上記の平行移動分割部2がボクセル分割の基準位置の「並進成分」の相違がボクセル分割に基づくモデル化データに与える影響を考慮するためのものであったのに対し、ボクセル分割の「方向」の相違がモデル化データに与える影響を考慮するためのものである。従って、回転分割部3に関して図６，７のような模式図を示すことは省略するが、その考え方としては全く同様であり、ボクセル分割の方向のわずかな相違（及び／又はある程度大きな相違）によって顕著に変化する又はほとんど変化しないようなボクセルが後段側処理の精度において重要になる場合へそれぞれ対処可能とするのが回転分割部3の役割である。
[Rotation division 3]
The
回転分割部3では具体的に、共通分割部1で分割した1通りのボクセルグリッドVG0と、平行移動分割部2で分割したNum通りのボクセルグリッドVGk(k≧1)と、のそれぞれを、回転角度が0°の基準姿勢にあるものとし、これらにそれぞれ所定のNum2通りの回転変換を施した一連のボクセルグリッドにおいて、各フレーム点群データDiをボクセル分割する。すなわち、回転分割部3でのボクセル分割のパターン数は(1+Num)*Num2通りとなる。
Specifically, in the
回転分割部3でNum2通りの各回転変換において各フレーム点群データDiに関して得られたL3(i)個のボクセルを｛Vl i,r(l=1,2, ..., L3(i))｝m(m=1,2, ..., Num2)と表記する。（なお、個数L3(i)に関しては、Num2通りのそれぞれへの依存性があるが、表記簡略化の観点から当該依存性の表記はL3(i)においてではなく、分割手法を表現する最後の添え字nにおいて表現している。）添え字rは回転（rotation）を意味するものである。
The L3 (i) voxels obtained for each frame point cloud data Di in each rotation transformation of Num2 in the
なお、回転分割部3での回転であるが、図８に模式例を示すように、回転角度が0°の基準姿勢の各ボクセル分割（1+Num通り）に関して、そのボクセルの中心位置を基準として回転させてボクセルを得るものとする。すなわち、図８では[1]に回転角度が0°の基準姿勢の場合の4個のボクセルが模式的に示され、これに対して共通座標系CSにおいてz軸回りに30°の回転を行ったものの模式例が[2]に、z軸回りに45°の回転を行ったものの模式例が[3]に示されている。なお、回転分割部3での回転は所定の回転行列をNum2通り予め定義しておいたものを利用すればよい。ここで、後段側処理での精度向上のために個別に必要となる処理（例えば自己位置推定における初期位置姿勢の姿勢補正として必要な処理）に応じて、何らかの１つ以上の回転軸の周りにおいて、0°〜360°のような大きな範囲内で概ね均一に回転角を割り振ったものとして複数の回転行列を用意しておいてもよいし、何らかの１つ以上の回転軸の周りにおける0°近傍の微小範囲（例えば±5°の範囲など）内で概ね均一に回転角を割り振ったものとして複数の回転行列を用意しておいてもよい。
Regarding the rotation in the
図８のようにボクセル中心位置で回転する場合、回転されたボクセル同士に重複箇所が生じたり、回転されたボクセル間に隙間が発生したりする場合があるが、当該回転された各ボクセルにおいて独立に、各フレーム点群データDiから点群を取得するものとする。すなわち、ボクセルの重複位置においては重複している各ボクセルに点群がそれぞれ属することとなり、そのうちのいずれか１つに属することはない。また、ボクセルの隙間位置にある点群に関してはいずれのボクセルにも属さないものとして扱う。 When rotating at the center position of voxels as shown in FIG. 8, overlapping points may occur between the rotated voxels or gaps may occur between the rotated voxels, but each rotated voxel is independent. In addition, it is assumed that the point cloud is acquired from each frame point cloud data Di. That is, at the overlapping positions of voxels, a point cloud belongs to each overlapping voxel, and does not belong to any one of them. In addition, the point cloud at the gap position of the voxels is treated as not belonging to any voxel.
以上、図４の第二分割部21の各部を説明した。当該各部を組み合わせることによる一連のボクセルグリッドVGk(k=0,1,2, ...)による分割に関しては、以下の３つの実施形態が可能であり、後述する比較選別の詳細説明（比較部13及び選別部14の詳細説明）も、当該３つの実施形態に応じたそれぞれを説明する。
（１）第一実施形態…共通分割部1での1通りのボクセルグリッドVG0のみの分割を適用する。
（２）第二実施形態…上記第一実施形態の共通分割部1での1通りのボクセルグリッドVG0に加えてさらに、平行移動分割部2による一連のボクセルグリッドVGk(k≧1)の分割も適用する。
（３）第三実施形態…上記第二実施形態の一連のボクセルグリッドによる分割に加えてさらに、回転分割部3による一連のボクセルグリッドの分割も適用する。
Each part of the second division part 21 of FIG. 4 has been described above. Regarding the division by a series of voxel grid VGk (k = 0,1,2, ...) by combining the respective parts, the following three embodiments are possible, and a detailed explanation of comparative selection (comparative part) described later is possible. 13 and the detailed description of the sorting unit 14) will also explain each of the three embodiments.
(1) First Embodiment: The division of only one voxel grid VG0 in the
(2) Second embodiment: In addition to the one voxel grid VG0 in the
(3) Third Embodiment: In addition to the division by the series of voxel grids of the second embodiment, the division of the series of voxel grids by the
[第一計算部12及び第二計算部22]
概略説明において既に述べたように、第一計算部12は、地図点群データMDを第一分割部11で1通りのボクセルグリッドVG0によって分割された各ボクセル単位でモデル化する。また、第二計算部22は各フレーム点群データDiを第二分割部21で各実施形態に応じて分割された各ボクセル単位でモデル化する。
[
As already described in the schematic description, the
ここで、第一計算部12で得られるボクセル単位での地図点群モデル化データは、ボクセルの各位置に対応して1個のみ得られるものであるのに対し、第二計算部22で得られるボクセル単位での各フレーム点群データDiのモデル化データは、ボクセルとしては同じ位置あるいは重複する位置を占めていても1個以上の異なるものが得られるものである、という相違が存在することを特筆する。
Here, the voxel-based map point cloud modeling data obtained by the
例えば、図３の模式例ではフレーム点群データD1とフレーム点群データD2とで重複するボクセルがボクセルグリッドVG0において存在している。図２のフローチャートの説明の際の表記により、当該同じ位置にあるボクセル位置の１つを(u0,v0,w0)とすると、当該同じ位置(u0,v0,w0)にあるボクセルであっても、フレーム点群データD1のデータをモデル化したモデル化データmodel(D1(u0,v0,w0)[VG0])と、フレーム点群データD2のデータをモデル化したモデル化データmodel(D2(u0,v0,w0)[VG0])と、の２つの異なるモデル化データが得られることとなる。 For example, in the schematic example of FIG. 3, voxels overlapping in the frame point cloud data D1 and the frame point cloud data D2 exist in the voxel grid VG0. According to the notation in the explanation of the flowchart of FIG. 2, if one of the voxel positions at the same position is (u0, v0, w0), even if the voxel is at the same position (u0, v0, w0). , Modeling data model (D1 ( u0, v0, w0) [VG0] ) that models the data of frame point group data D1 and modeling data model (D2 (u0)) that models the data of frame point group data D2. , v0, w0) [VG0] ), and two different modeling data will be obtained.
上記の例は第二分割部21で第一実施形態を適用したものとして、同じ位置となるボクセルで異なるモデル化データが得られる場合があることを説明した。第二実施形態又は第三実施形態が適用される場合はさらに同様に、（完全に同じ位置ではないが）重複する位置となるボクセルで異なるモデル化データが得られる場合があることとなる。 In the above example, assuming that the first embodiment is applied in the second division section 21, it has been explained that different modeling data may be obtained for voxels at the same position. Similarly, when the second or third embodiment is applied, different modeling data may be obtained for voxels at overlapping positions (although not at exactly the same position).
第一計算部12及び第二計算部22では以上のようなそれぞれが対象とするボクセル（分割手法に応じたボクセル）及びその内部の点群データをモデル化する。具体的な当該モデル化の手法に関しては、任意の既存のモデル化手法が利用できる。例えば前掲の非特許文献３のように、各ボクセル内に位置する点群を3次元多変量正規分布のパラメータ、すなわち平均と分散共分散行列としてモデル化してもよい。データ量削減及び後段側の比較選別の高速化のために当該モデル化はデータの量子化を含むものであってもよい。
The
なお、第一計算部12及び第二計算部22では、ボクセル内の対象データの点群の数が所定閾値以下となる場合には、（モデル化しても信頼性を欠くものとして、）モデル化を行うことを省略してもよい。当該省略されたボクセルに関しては、最初から点群の数がゼロであるボクセルと同様に、モデル化データが存在しないものとして扱えばよい。
In the
[比較部13]
比較部13は、第一処理として、地図点群MDのモデル化データの各ボクセルと各フレーム点群データDiのモデル化データの各ボクセルとの間において、同一空間に対応するボクセル同士又は大よそ同一の空間を含んでいるボクセル同士の持つモデル同士の距離を特定の尺度で計算したうえで、当該距離計算結果に基づいて第二処理として、地図点群MDのモデル化データの各ボクセルに関してデータ選別のための指標を求め、当該指標を比較結果として選別部14へと出力する。
[Comparison 13]
As the first process, the
第一処理におけるモデル同士の距離の計算に関しては、第一計算部12及び第二計算部22で具体的に計算したモデルの種類に応じた所定の距離（モデル同士が類似しているほどその値（非負の値）が小さくなるような距離）として計算すればよい。例えば前掲の非特許文献３のモデルを計算した場合であれば、多変量正規分布間のL2距離として計算すればよい。
Regarding the calculation of the distance between the models in the first processing, the predetermined distance according to the type of the model specifically calculated by the
また、第一処理におけるモデル同士の距離の計算に関しては、第二分割部21で各フレーム点群データDiに関して適用したボクセル分割の種別ごとに種類が区別される距離として計算を行うものとする。（すなわち、距離の計算の仕方そのものは同じであるが、ボクセル分割のされ方の違いに応じた種類の区別を設けるものとする。）すなわち、第一実施形態の場合、共通分割部1による分割のもとでの「非対称性」を考慮する距離da p(p=1, 2, ...., M)のみの１種類の距離を計算し、第二実施形態ではさらに平行移動分割部2による分割のもとでの「並進成分の違いによる量子化誤差」を考慮する距離dq p(p=1, 2, ...., M)を追加した２種類の距離を計算し、第三実施形態ではさらに回転分割部3による分割のもとでの「回転成分の違いによる量子化誤差」を考慮する距離dr p(p=1, 2, ...., M)を追加した３種類の距離を計算するものとする。
Further, regarding the calculation of the distance between the models in the first processing, it is assumed that the calculation is performed as the distance at which the type is distinguished for each type of voxel division applied to each frame point cloud data Di in the second division unit 21. (That is, the method of calculating the distance itself is the same, but the type is distinguished according to the difference in the way the voxels are divided.) That is, in the case of the first embodiment, the division by the
なお、上記の距離dq p(p=1, 2, ....,M)等におけるpは、第一分割部11の説明の際に用いた地図点群MDのモデル化データの各ボクセルVp map (p=1,2, …,M)を識別するものである。
In addition, p in the above distance d q p (p = 1, 2, ...., M) etc. is each voxel of the modeling data of the map point cloud MD used in the explanation of the
さらに、第一処理における距離計算の対象となるボクセル同士の対応付けに関しては、共通分割部1による分割の場合は、地図点群MDのモデル化データの各ボクセルと各フレーム点群データDiのモデル化データの各ボクセルとは同じボクセルグリッドVG0で分割されたものであるため、同位置のボクセル同士を距離計算対象として対応付ければよい。平行移動分割部2又は回転分割部3による分割の場合、地図点群MDのモデル化データの各ボクセルと各フレーム点群データDiのモデル化データの各ボクセルとは一般に位置がずれたものとなっているので、最も重複が多いボクセル又は最も中心間の距離が小さいボクセルを距離計算対象として対応付ければよい。
Furthermore, regarding the correspondence between voxels that are the targets of distance calculation in the first processing, in the case of division by the
さらに、上記対応付けた際に、地図点群MDのモデル化データの各ボクセルに関して、対応付けられたボクセル数をカウントしておくものとする。「非対称性」を考慮する距離da p(p=1, 2, ...., M)の計算対象として対応付けたボクセル数をNaとし、「並進成分の違いによる量子化誤差」を考慮する距離dq p(p=1, 2, ...., M)の計算対象として対応付けたボクセル数をNqとし、「回転成分の違いによる量子化誤差」を考慮する距離dr p(p=1, 2, ...., M)の計算対象として対応付けたボクセル数をNrとする。 Further, at the time of the above association, the number of associated voxels is counted for each voxel of the modeled data of the map point cloud group MD. Considering "asymmetry" Let N a be the number of voxels associated with the calculation target of the distance d a p (p = 1, 2, ...., M), and set the "quantization error due to the difference in translational components". Distance d q p (p = 1, 2, ...., M) to be calculated The number of voxels associated with the calculation target is N q, and the distance d r to consider "quantization error due to the difference in rotation components" Let N r be the number of voxels associated with the calculation target of p (p = 1, 2, ...., M).
ここで、「p」で識別される地図点群MDのモデル化データのある一つのボクセルVp map (p=1,2, …,Mのいずれか)に関して、距離da pは対応付けられたフレーム点群データDiのモデル化データのボクセルNa個に関してそれぞれ計算され、距離dq pは対応付けられたフレーム点群データDiのモデル化データのボクセルNq個に関してそれぞれ計算され、距離dr pは対応付けられたフレーム点群データDiのモデル化データのボクセルNr個に関してそれぞれ計算されるものであり、当該個数Na個、Nq個及びNr個は2以上となる場合も（一般に頻繁に）あることを特筆する。後述する(数式7)、(数式8)及び(数式9)での和は、このように対応付けられたそれぞれNa個、Nq個及びNr個に関する和である。 Here, the distance d a p is associated with respect to one voxel V p map (one of p = 1,2,…, M) with modeling data of the map point cloud MD identified by “p”. The distance d q p is calculated for each of the voxels N a of the modeled data of the frame point cloud data Di, and the distance d q p is calculated for each of the voxels N q of the modeled data of the associated frame point cloud data Di. r p is calculated for each of the voxels N r of the modeled data of the associated frame point cloud data Di, and the number N a , N q , and N r may be 2 or more. Note that there is (generally frequent). The sums in (Formula 7), (Formula 8), and (Formula 9), which will be described later, are the sums of N a , N q , and N r associated in this way, respectively.
第二処理では、上記対応付けられたNa個、Nq個及びNr個の各距離をそれぞれ累積加算し、且つ、当該各個数で以下の(数式7)、(数式8)及び(数式9)のように当該累積加算和を正規化することにより、「p」で指定される地図点群MDのモデル化データの各ボクセルVp mapに関して、「非対称性」を考慮する正規化された距離dnorm,a p、「並進成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,q p及び「回転成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,r pをそれぞれ指標として求める。
dnorm,a p=Σda p/Na （数式7）
dnorm,q p=Σdq p/Nq （数式8）
dnorm,r p=Σdr p/Nr （数式9）
In the second process, the distances of N a , N q , and N r associated with each other are cumulatively added, and the following (Formula 7), (Formula 8), and (Formula 8) and (Formula 8) and (Formula 8) are added for each distance. By normalizing the cumulative sum of additions as in 9), for each boxel V p map of the modeled data of the map point group MD specified by "p", it was normalized to consider "asymmetry". Distance d norm, a p , normalized distance considering "quantization error due to difference in translational component" d norm, q p and normalized distance d considering "quantization error due to difference in rotational component" Find norm and r p as indicators, respectively.
d norm, a p = Σ d a p / N a (Formula 7)
d norm, q p = Σ d q p / N q (Formula 8)
d norm, r p = Σ d r p / N r (Formula 9)
[選別部14]
選別部14では、上記(数式7)、(数式8)及び(数式9)の指標を用いて、「p」で指定される地図点群MDのモデル化データの各ボクセル各ボクセルVp mapの中から選別を行う。
[Sort section 14]
In the sorting unit 14, using the indexes of (Formula 7), (Formula 8) and (Formula 9) above, each voxel of the modeling data of the map point cloud MD specified by "p", each voxel V p map Select from the inside.
第一実施形態においては、前述の通り共通分割部1による分割VG0のみが適用されることから、(数式7)の「非対称性」を考慮する正規化された距離dnorm,a pのみが求まっている。そこで、選別部4では当該正規化距離が閾値TH11以下となるような一連のボクセルVp map又は当該正規化距離が小さい順からの順位が閾値TH12以内に収まるような一連のボクセルVp mapを選別対象とすればよい。
In the first embodiment, since only the division VG0 by the
第二実施形態においては、上記第一実施形態で選別対象となった一連のボクセルVp mapの中から、さらに（数式8）の「並進成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,q pに基づく選別を行ったものを最終的な選別結果とすればよい。なお、第二実施形態においては第一実施形態の閾値TH11,TH12を第一実施形態におけるものとは別の値として設定してもよい。 In the second embodiment, from the series of voxel V p maps selected in the first embodiment, the normalization is performed in consideration of the "quantization error due to the difference in translational components" of (Equation 8). The final selection result may be the selection based on the distance d norm, q p. In the second embodiment, the threshold values TH11 and TH12 of the first embodiment may be set as values different from those in the first embodiment.
ここで、「並進成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,q pに基づく選別に関しては、後段側処理で何を重視するかの考え方の違いにより以下の2通りの実施形態（A）、（B）が可能である。 Here, regarding the selection based on the normalized distance d norm, q p that considers the "quantization error due to the difference in translational components", there are the following two methods depending on the difference in the way of thinking about what is emphasized in the post-stage processing. Embodiments (A) and (B) are possible.
（A）前述の図６の例のように量子化するボクセルグリッドの位置がわずかに異なることで顕著に変化するようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,q pが閾値判定で小さいと判定されるもの、又は正規化された距離dnorm,q pが小さい側の上位所定数を選別対象とすればよい。 (A) When emphasizing voxel data that changes significantly due to a slight difference in the position of the voxel grid to be quantized as in the example of FIG. 6 described above in the post-stage processing, the normalized distance d Those whose norm and q p are determined to be small by the threshold determination, or the upper predetermined number on the side where the normalized distance d norm and q p are small may be selected.
（B）逆に、前述の図７の例のように量子化するボクセルグリッドの位置がわずかに異なったとしてもほとんど変化しないようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,q pが閾値判定で大きいと判定されるもの、又は正規化された距離dnorm,q pが大きい側の上位所定数を選別対象とすればよい。 (B) On the contrary, when the voxel data that hardly changes even if the position of the voxel grid to be quantized is slightly different as in the example of FIG. 7 described above is emphasized in the post-stage processing, it is normalized. distance d norm, which q p is determined to be larger at the threshold decision, or normalized distance d norm, may be the object of distinguishing the top predetermined number of q p is larger side.
第三実施形態においては、上記第二実施形態で選別対象となった一連のボクセルVp mapの中から、さらに（数式9）の「回転成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,r pに基づく選別を行ったものを最終的な選別結果とすればよい。なお、第三実施形態においては第二実施形態の各閾値を第二実施形態で設定したものとは別の値として設定してもよい。 In the third embodiment, from the series of voxel V p maps selected in the second embodiment, the normalization is performed in consideration of the "quantization error due to the difference in the rotation component" of (Equation 9). The final selection result may be the selection based on the distance d norm, r p. In the third embodiment, each threshold value of the second embodiment may be set as a value different from that set in the second embodiment.
ここで、同じく量子化誤差を考慮している第二実施形態と全く同様に、「回転成分の違いによる量子化誤差」を考慮する正規化された距離dnorm,r pに基づく選別に関しては、後段側処理で何を重視するかの考え方の違いにより以下の2通りの実施形態（A）、（B）が可能である。 Here, in the same way as in the second embodiment in which the quantization error is also considered, regarding the selection based on the normalized distance d norm, r p in which the “quantization error due to the difference in the rotational component” is considered. The following two embodiments (A) and (B) are possible depending on the difference in the way of thinking about what is emphasized in the post-stage processing.
（A）前述の位置に関する図６の例における量子化するボクセルグリッドの位置に代えて、これと同様に回転成分がわずかに異なることで顕著に変化するようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,r pが閾値判定で小さいと判定されるもの、又は正規化された距離dnorm,r pが小さい側の上位所定数を選別対象とすればよい。 (A) Instead of the position of the voxel grid to be quantized in the example of FIG. 6 regarding the above-mentioned position, voxel data that changes remarkably due to a slight difference in the rotation component is important in the subsequent processing. When viewing, the ones whose normalized distance d norm, r p is determined to be small by the threshold determination, or the upper predetermined number on the side where the normalized distance d norm, r p is small may be selected. ..
（B）逆に、前述の位置に関する図７の例における量子化するボクセルグリッドの位置に代えて、これと同様に回転成分がわずかに異なったとしてもほとんど変化しないようなボクセルのデータを後段側処理において重要視する場合、正規化された距離dnorm,r pが閾値判定で大きいと判定されるもの、又は正規化された距離dnorm,r pが大きい側の上位所定数を選別対象とすればよい。 (B) On the contrary, instead of the position of the quantized voxel grid in the example of FIG. 7 regarding the above-mentioned position, the voxel data that hardly changes even if the rotation component is slightly different is provided on the latter side. When emphasizing in processing, the one whose normalized distance d norm, r p is determined to be large by the threshold judgment, or the upper predetermined number on the side where the normalized distance d norm, r p is large is selected. do it.
以上、本発明の選別装置10によれば、後段側処理の精度等を確保したうえで効果的に当該後段側処理に供するデータ量を削減するようにすることが可能である。以下、本発明の説明上の補足を何点か述べる。 As described above, according to the sorting apparatus 10 of the present invention, it is possible to effectively reduce the amount of data to be subjected to the post-stage processing while ensuring the accuracy of the post-stage processing and the like. Hereinafter, some supplements for the explanation of the present invention will be described.
（１）以上の説明より明らかなように、第二分割部21に関して、第四実施形態として、共通分割部1及び回転分割部3の分割を適用し、平行移動分割部2の分割適用は省略するようにすることも可能である。この場合、回転分割部3では具体的に、共通分割部1で分割した1通りのボクセルグリッドVG0のみを回転角度が0°の基準姿勢にあるものとし、これらにそれぞれ所定のNum2通りの回転変換を施した一連のボクセルグリッドにおいて、各フレーム点群データDiをボクセル分割する。すなわち、回転分割部3でのボクセル分割のパターン数はNum2通りとなる。（前述のNum=0とすればよい。）比較選別処理も同様に当該省略された場合に対して実施すればよい。
(1) As is clear from the above description, with respect to the second division portion 21, the division of the
（２）本発明は後段側処理の典型例として自己位置推定を想定し、地図点群データMDをボクセル化してのモデル化データのデータ量削減を実現することを説明してきた。しかし、本発明は必ずしも現実の都市空間等のフィールドにおいて取得された地図点群データのみならず、任意の対象における参照点群データを対象としても全く同様に実施可能である。ただしこの場合も、フレーム点群データDi及びその位置姿勢PAiに相当する情報は、当該任意の参照点群データに付随する情報として用意しておく必要がある。 (2) The present invention has assumed self-position estimation as a typical example of post-stage processing, and has explained that the map point cloud data MD is voxelized to reduce the amount of modeled data. However, the present invention can be implemented in exactly the same manner not only for map point cloud data acquired in a field such as an actual urban space, but also for reference point cloud data in an arbitrary object. However, also in this case, it is necessary to prepare the information corresponding to the frame point cloud data Di and its position / orientation PAi as the information accompanying the arbitrary reference point cloud data.
（３）選別装置10は一般的な構成のコンピュータとして実現可能である。すなわち、CPU（中央演算装置）、当該CPUにワークエリアを提供する主記憶装置、ハードディスクやSSDその他で構成可能な補助記憶装置、キーボード、マウス、タッチパネルその他といったユーザからの入力を受け取る入力インタフェース、ネットワークに接続して通信を行うための通信インタフェース、表示を行うディスプレイ、カメラ及びこれらを接続するバスを備えるような、一般的なコンピュータによって選別装置10を構成することができる。さらに、図１に示す選別装置10の各部の処理はそれぞれ、当該処理を実行させるプログラムを読み込んで実行するCPUによって実現することができるが、任意の一部の処理を別途の専用回路等（GPUを含む）において実現するようにしてもよい。 (3) The sorting device 10 can be realized as a computer having a general configuration. That is, a CPU (Central Processing Unit), a main storage device that provides a work area for the CPU, an auxiliary storage device that can be configured with a hard disk, SSD, etc., an input interface that receives input from users such as a keyboard, mouse, touch panel, etc., and a network. The sorting device 10 can be configured by a general computer including a communication interface for connecting to and communicating with, a display for displaying, a camera, and a bus connecting them. Further, the processing of each part of the sorting device 10 shown in FIG. 1 can be realized by a CPU that reads and executes a program that executes the processing, but any part of the processing can be performed by a separate dedicated circuit or the like (GPU). It may be realized in).
10…選別装置、11…第一分割部、12…第一計算部、13…比較部、14…選別部、20…整列部、21…第二分割部、22…第二計算部 10 ... Sorting device, 11 ... First partitioning unit, 12 ... First calculation unit, 13 ... Comparison unit, 14 ... Sorting unit, 20 ... Alignment unit, 21 ... Second division unit, 22 ... Second calculation unit
Claims (7)
前記ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算部と、
前記共通座標系に基づいて前記複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割部と、
前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算部と、
前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較部と、
前記比較部での比較結果に基づいて前記第一計算部で得たボクセル毎の参照点群モデル化データから選別を行う選別部と、を備えることを特徴とする選別装置。 The first division part that voxel-divides the reference point cloud data that integrates the frame point cloud data acquired in each of the multiple positions and orientations in the common coordinate system, and
The first calculation unit that models the voxel-divided reference point cloud data and obtains the voxel-divided reference point cloud modeling data.
A second division unit that divides the frame point cloud data acquired at the plurality of positions and orientations based on the common coordinate system into voxels, respectively.
A second calculation unit that models the voxel-divided frame point cloud data for each acquired position / orientation and obtains frame point cloud modeling data for each position / orientation and each voxel.
A comparison unit that compares the reference point cloud modeling data for each voxel obtained in the first calculation unit with the frame point cloud modeling data for each position / orientation and voxel obtained in the second calculation unit.
A sorting apparatus including a sorting unit that sorts from reference point cloud modeling data for each voxel obtained in the first calculation unit based on the comparison result in the comparison unit.
前記選別部では、前記比較部において比較されることにより、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及び前記共通のボクセルグリッドにおけるボクセルごとのフレーム点群モデル化データと、の間で類似していると判定されたものを優先して、前記選別を行うことを特徴とする請求項１に記載の選別装置。 In the second division portion, voxel division is performed including division into voxels by the same voxel grid as the division in the first division portion in the common coordinate system.
In the sorting unit, the reference point cloud modeling data for each voxel obtained in the first calculation unit and the position / orientation obtained in the second calculation unit and the common voxel are obtained by comparison in the comparison unit. The sorting apparatus according to claim 1, wherein the sorting is performed by giving priority to the frame point cloud modeling data for each voxel in the grid and the data determined to be similar to each other.
前記選別部では、前記比較部において比較されることにより、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及び前記一連のボクセルグリッドにおけるボクセルごとのフレーム点群モデル化データと、の間で類似していると判定されたものを優先して、前記選別を行うことを特徴とする請求項１または２に記載の選別装置。 In the second division portion, the voxel grid common to that divided in the first division portion in the common coordinate system is divided into voxels by a series of voxel grids translated in sub-boxel units, and the voxels are divided.
In the sorting unit, the reference point cloud modeling data for each voxel obtained in the first calculation unit, the position / orientation obtained in the second calculation unit, and the series of voxels are compared by the comparison unit. The sorting apparatus according to claim 1 or 2, wherein the sorting is performed with priority given to the frame point cloud modeling data for each voxel in the grid and the data determined to be similar to each other.
前記選別部では、前記比較部において比較されることにより、前記第一計算部で得たボクセル毎の参照点群モデル化データと、前記第二計算部で得た位置姿勢ごと及び前記一連のボクセルグリッドにおけるボクセルごとのフレーム点群モデル化データと、の間で類似していないと判定されたものを優先して、前記選別を行うことを特徴とする請求項１または２に記載の選別装置。 In the second division portion, the voxel grid common to that divided in the first division portion in the common coordinate system is divided into voxels by a series of voxel grids translated in sub-boxel units, and the voxels are divided.
In the sorting unit, the reference point cloud modeling data for each voxel obtained in the first calculation unit, the position / orientation obtained in the second calculation unit, and the series of voxels are compared by the comparison unit. The sorting apparatus according to claim 1 or 2, wherein the sorting is performed with priority given to the frame point cloud modeling data for each voxel in the grid and the data determined to be dissimilar to each other.
前記ボクセル分割された参照点群データをモデル化してボクセルごとの参照点群モデル化データを得る第一計算段階と、
前記共通座標系に基づいて前記複数の位置姿勢において取得されたフレーム点群データをそれぞれボクセル分割する第二分割段階と、
前記取得された位置姿勢ごとに前記ボクセル分割されたフレーム点群データをモデル化して、位置姿勢ごと及びボクセルごとのフレーム点群モデル化データを得る第二計算段階と、
前記第一計算段階で得たボクセル毎の参照点群モデル化データと、前記第二計算段階で得た位置姿勢ごと及びボクセルごとのフレーム点群モデル化データと、を比較する比較段階と、
前記比較段階での比較結果に基づいて前記第一計算段階で得たボクセル毎の参照点群モデル化データから選別を行う選別段階と、を備えることを特徴とする、コンピュータによって実行される方法。 The first division stage in which the reference point cloud data obtained by integrating the frame point cloud data acquired in each of the multiple positions and orientations in a common coordinate system is voxel-divided, and
The first calculation step of modeling the voxel-divided reference point cloud data to obtain the voxel-divided reference point cloud modeling data, and
A second division step of voxel-dividing the frame point cloud data acquired at the plurality of positions and orientations based on the common coordinate system, and
A second calculation step of modeling the voxel-divided frame point cloud data for each acquired position / orientation and obtaining frame point cloud modeling data for each position / orientation and each voxel.
A comparison step for comparing the reference point cloud modeling data for each voxel obtained in the first calculation step with the frame point cloud modeling data for each position / orientation and voxel obtained in the second calculation step.
A method executed by a computer , comprising: a sorting step of sorting from reference point cloud modeling data for each voxel obtained in the first calculation step based on the comparison result in the comparison step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017178016A JP6853150B2 (en) | 2017-09-15 | 2017-09-15 | Sorting equipment, methods and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017178016A JP6853150B2 (en) | 2017-09-15 | 2017-09-15 | Sorting equipment, methods and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019053597A JP2019053597A (en) | 2019-04-04 |
| JP6853150B2 true JP6853150B2 (en) | 2021-03-31 |
Family
ID=66014269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017178016A Active JP6853150B2 (en) | 2017-09-15 | 2017-09-15 | Sorting equipment, methods and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6853150B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102521565B1 (en) * | 2021-01-04 | 2023-04-13 | 광운대학교 산학협력단 | Apparatus and method for providing and regenerating augmented reality service using 3 dimensional graph neural network detection |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003123057A (en) * | 2001-10-15 | 2003-04-25 | Minolta Co Ltd | Method and device for generating three-dimensional shape model |
| JP4650750B2 (en) * | 2005-12-16 | 2011-03-16 | 株式会社Ｉｈｉ | 3D shape data storage and display method and apparatus, and 3D shape measurement method and apparatus |
| JP2016217941A (en) * | 2015-05-22 | 2016-12-22 | 株式会社東芝 | Three-dimensional evaluation device, three-dimensional data measurement system and three-dimensional measurement method |
| JP6518517B2 (en) * | 2015-05-29 | 2019-05-22 | 株式会社日立製作所 | Point cloud data modeling device |
-
2017
- 2017-09-15 JP JP2017178016A patent/JP6853150B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019053597A (en) | 2019-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xu et al. | Pairwise coarse registration of point clouds in urban scenes using voxel-based 4-planes congruent sets | |
| CN109544677B (en) | Indoor scene main structure reconstruction method and system based on depth image key frame | |
| Murali et al. | Indoor Scan2BIM: Building information models of house interiors | |
| US10424065B2 (en) | Systems and methods for performing three-dimensional semantic parsing of indoor spaces | |
| Xu et al. | Reconstruction of scaffolds from a photogrammetric point cloud of construction sites using a novel 3D local feature descriptor | |
| Xu et al. | Automated coarse registration of point clouds in 3D urban scenes using voxel based plane constraint | |
| Wang et al. | Modeling indoor spaces using decomposition and reconstruction of structural elements | |
| CN102804231A (en) | Piecewise planar reconstruction of three-dimensional scenes | |
| CN112651944B (en) | 3C component high-precision six-dimensional pose estimation method and system based on CAD model | |
| CN107622530B (en) | Efficient and robust triangulation network cutting method | |
| CN111986322A (en) | Point cloud indoor scene layout reconstruction method based on structural analysis | |
| CN113192174B (en) | Picture construction method and device and computer storage medium | |
| US20210157961A1 (en) | Processing a 3d signal of a shape attribute over a real object | |
| Yuan et al. | 3D point cloud recognition of substation equipment based on plane detection | |
| Verykokou et al. | A Comparative analysis of different software packages for 3D Modelling of complex geometries | |
| Xu et al. | Segmentation of 3D outdoor scenes using hierarchical clustering structure and perceptual grouping laws | |
| JP6853150B2 (en) | Sorting equipment, methods and programs | |
| Niedzwiedzki et al. | Idtmm: Incremental direct triangle mesh mapping | |
| Withers et al. | Modelling scene change for large-scale long term laser localisation | |
| CN113160401A (en) | Object-oriented visual SLAM lightweight semantic map creation method | |
| Zhou | 3D urban modeling from city-scale aerial LiDAR data | |
| JP6761388B2 (en) | Estimator and program | |
| Cupec et al. | Fast 2.5 D Mesh Segmentation to Approximately Convex Surfaces. | |
| Budianti et al. | Background blurring and removal for 3d modelling of cultural heritage objects | |
| CN116843860A (en) | Laser radar point cloud and image dense matching point cloud fusion modeling method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200804 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200812 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210310 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210311 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6853150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |