WO2021250734A1 - 座標変換装置、座標変換方法、及び座標変換プログラム - Google Patents

座標変換装置、座標変換方法、及び座標変換プログラム Download PDF

Info

Publication number
WO2021250734A1
WO2021250734A1 PCT/JP2020/022504 JP2020022504W WO2021250734A1 WO 2021250734 A1 WO2021250734 A1 WO 2021250734A1 JP 2020022504 W JP2020022504 W JP 2020022504W WO 2021250734 A1 WO2021250734 A1 WO 2021250734A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
point
path
coordinate conversion
coordinate
Prior art date
Application number
PCT/JP2020/022504
Other languages
English (en)
French (fr)
Inventor
夏菜 倉田
泰洋 八尾
仁 新垣
慎吾 安藤
潤 島村
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/022504 priority Critical patent/WO2021250734A1/ja
Publication of WO2021250734A1 publication Critical patent/WO2021250734A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the technology of the present disclosure relates to a coordinate conversion device, a coordinate conversion method, and a coordinate conversion program.
  • Data with 3D position information is called a 3D point.
  • Data consisting of a collection of such three-dimensional points is called a three-dimensional point cloud.
  • the three-dimensional point cloud is data showing geometric information of an object, and can be acquired by measuring with a distance sensor or performing three-dimensional reconstruction from an image.
  • the point attribute information is information other than the position information obtained when measuring the point cloud, and includes, for example, an Integrity value indicating the reflection intensity of the point, an RGB value indicating color information, and the like.
  • the position information of a three-dimensional point is represented by a coordinate system and a set of values representing the position in the coordinate system.
  • a geodetic system is used as the coordinate system.
  • the geodetic system is a coordinate system provided according to the surveying standard, and refers to JGD2011 used for surveying in Japan and WGS84 used for GPS operation.
  • the class label of the three-dimensional point cloud is an attribute indicating the type of the object represented by the three-dimensional point cloud. For example, when targeting an outdoor three-dimensional point cloud, there are ground, buildings, pillars, cables, trees, and the like. There are the following two methods for identifying the three-dimensional point cloud, depending on the target.
  • one class label indicating the class is given to the point cloud object data which is a point cloud representing a single class by a method such as Non-Patent Document 1.
  • a class label is given to each point of the point cloud scene data, which is a point cloud including points belonging to a plurality of classes such as a cityscape or a room, by a method such as Non-Patent Document 1. Even if it is a single object, if a different class label is given to each part, it corresponds to point cloud scene data.
  • the first identification method is called object identification, and the second identification method is called semantic segmentation.
  • the route data represents the position of a route such as a road, and is a route expressed by a polyline or a division polynomial.
  • the route and the reference point are set on the ground in the coordinate system before the coordinate conversion.
  • the route data can be created by using GIS, a point cloud processing tool, or the like, in addition to using the traveling locus acquired at the time of acquiring the point cloud scene data.
  • the route data may have an attribute of travel time at the apex of the polyline or the like.
  • Both object identification and semantic segmentation can be performed based on the features extracted from the 3D point cloud.
  • the high performance of the method of performing stepwise feature extraction by DNN (Deep Neural Network) having the configuration as in Non-Patent Document 1 and Non-Patent Document 2 and using the shape feature quantity on a plurality of distance scales for identification is high.
  • the DNN of Non-Patent Document 1 repeats (1) selection of representative points and (2) extraction of shape features for representative points by X-Convolution, which is a feature extraction model composed of Multi-layer perceptron. After that, in object identification, the representative points are reduced, a feature amount aggregation layer is provided, and the object class label is output. On the other hand, in semantic segmentation, an upsampling layer is provided and the class label of each point is output.
  • Non-Patent Documents 1 and 2 perform semantic segmentation based on the relative positional relationship between three-dimensional points. Relative positional relationships are expressed as relative coordinates in the coordinate system. Assuming that the coordinates of each point are X_i and the coordinates of neighboring points are Y_ij, the relative coordinates ⁇ Y_iji can be obtained by the following equation.
  • ⁇ Y_ij is an amount that changes according to the coordinate system and the positional relationship between the two points.
  • the relative coordinates of points on a rigid body can change due to the displacement of the rigid body.
  • the relative coordinates ⁇ Y_ij do not change in the translation of the rigid body, but ⁇ Y_ij changes due to the rotation of the rigid body. Therefore, for example, the relative coordinates between the three vertices of an equilateral triangle having a side length of 1 can be expressed innumerably by rotation. Therefore, when semantic segmentation of an object is performed from point cloud scene data using methods such as Non-Patent Documents 1 and 2, changes in relative coordinates due to rotation of the object cause a decrease in identification accuracy.
  • Non-Patent Document 3 incorporates T-Net, which is a module that rotates an object based on the result of machine learning, but has two disadvantages. The first is that learning data increases because it is necessary to prepare various rotation patterns for learning. The second is that since it is one module in the neural network, it cannot be directly incorporated into other methods.
  • the disclosed technique is made in view of the above points, and provides a coordinate conversion device, a coordinate conversion method, and a coordinate conversion program capable of converting the coordinates of a three-dimensional point into coordinates that are robust to the rotation of an object.
  • the purpose is to do.
  • the first aspect of the present disclosure is a coordinate conversion device, which is an input unit that accepts information indicating a path of a moving body and a three-dimensional point indicating a position on the surface of an object around the path as inputs, and the above-mentioned.
  • the nearest neighborhood point calculation unit that calculates the nearest neighborhood point of the three-dimensional point on the route and the three-dimensional coordinates of the three-dimensional point are set in the traveling direction and the vertical direction at the nearest neighborhood point of the three-dimensional point on the route. It is configured to include a coordinate conversion unit that converts to three-dimensional coordinates of the path coordinate system including the coordinate axis.
  • the second aspect of the present disclosure is a coordinate conversion method, in which the input unit accepts information indicating the path of the moving body and a three-dimensional point indicating the position on the surface of an object around the path as input.
  • the nearest neighborhood point calculation unit calculates the nearest neighborhood point of the three-dimensional point on the path
  • the coordinate conversion unit calculates the three-dimensional coordinates of the three-dimensional point at the nearest neighborhood point of the three-dimensional point on the path. It is converted into three-dimensional coordinates of the path coordinate system including each of the traveling direction and the vertical direction as a coordinate axis.
  • the third aspect of the present disclosure is a coordinate conversion program, which accepts information indicating a path of a moving body and a three-dimensional point indicating a position on the surface of an object around the path as inputs, and is on the path. , The nearest point of the three-dimensional point is calculated, and the three-dimensional coordinates of the three-dimensional point are included in the path coordinate system including each of the traveling direction and the vertical direction at the closest point of the three-dimensional point on the path as coordinate axes. It is a program for making a computer execute conversion to three-dimensional coordinates.
  • the coordinates of a three-dimensional point can be converted into coordinates that are robust to the rotation of an object.
  • Objects having a specific function for a route such as a road or a corridor are installed so that the display surface or the like faces a specific direction with respect to the traveling direction and the vertical direction set in the route.
  • the display surface of a traffic light or a sign for a vehicle is installed so as to be orthogonal to the traveling direction of the roadway. Therefore, in the present embodiment, the three-dimensional coordinates of the three-dimensional points included in the point group scene data are converted into three-dimensional coordinates in the path coordinate system, which is a coordinate system based on the traveling direction and the vertical direction of the path.
  • the change of the relative coordinates due to the rotation of the object is suppressed.
  • FIG. 1 is a block diagram showing a hardware configuration of the coordinate conversion device 10 of the present embodiment.
  • the coordinate conversion device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, a display unit 16, and a communication interface. It has (I / F) 17.
  • the configurations are connected to each other via a bus 19 so as to be communicable with each other.
  • the CPU 11 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 11 reads the program from the ROM 12 or the storage 14, and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above configurations and performs various arithmetic processes according to the program stored in the ROM 12 or the storage 14.
  • the ROM 12 or the storage 14 stores a coordinate conversion program for performing coordinate conversion of a three-dimensional point cloud.
  • the coordinate conversion program may be one program or a group of programs composed of a plurality of programs or modules.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores a program or data as a work area.
  • the storage 14 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used for performing various inputs.
  • the input unit 15 receives information indicating the path of the moving body and a three-dimensional point cloud which is a set of three-dimensional points representing the positions of objects around the path on the surface as inputs.
  • the position information of the three-dimensional point cloud has coordinates in the Cartesian coordinate system, which is a general expression, is targeted. Coordinates in other coordinate systems can also be converted to Cartesian coordinate systems if the conversion method for the origin and base is defined.
  • the position information of the three-dimensional point group can be used for a specific position set by the user. It may be targeted when it has coordinates such as a three-dimensional Euclidean coordinate system or a polar coordinate system as the origin.
  • the Cartesian coordinate system has three axes consisting of an X-axis, a Y-axis, and a Z-axis, each of which is orthogonal to each other, and has three-dimensional coordinates consisting of an x-coordinate, a y-coordinate, and a z-coordinate.
  • the unit of each coordinate is expressed in meters (m), centimeters (cm), and millimeters (mm), but other units may be used.
  • the three-dimensional points may be given the time when the point group was photographed, the reflection intensity of the laser, color information such as red, blue, and green, etc. to the above three-dimensional coordinates at each point.
  • the information indicating the path is represented by a Cartesian coordinate system like a three-dimensional point, or is represented by another coordinate system that can be converted into a Cartesian coordinate system.
  • the information indicating the route may be generated by the time-series data of the measured position of the moving body, or may be the information manually input by referring to the map data.
  • the display unit 16 is, for example, a liquid crystal display and displays various information.
  • the display unit 16 may adopt a touch panel method and function as an input unit 15.
  • the communication interface 17 is an interface for communicating with other devices, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.
  • FIG. 2 is a block diagram showing an example of the functional configuration of the coordinate conversion device 10.
  • the coordinate conversion device 10 functionally includes a point cloud data 101, a route data 102, a nearest neighbor point calculation unit 103, a coordinate conversion unit 104, a HAD data 105, a model storage unit 106, and a class label storage.
  • a unit 107 and a reasoning unit 108 are provided.
  • the point cloud data 101 stores the three-dimensional point cloud received by the input unit 15.
  • the route data 102 stores information indicating the route received by the input unit 15.
  • the nearest neighbor point calculation unit 103 calculates the nearest neighbor point of the three-dimensional point on the path for each three-dimensional point of the three-dimensional point cloud.
  • the coordinate conversion unit 104 uses the three-dimensional coordinates of the three-dimensional point as the coordinate axes in the traveling direction and the vertical direction at the nearest point of the three-dimensional point on the path. Convert to the three-dimensional coordinates of the included path coordinate system.
  • the coordinate conversion unit 104 has a height Height (H) with respect to the nearest neighbor point, a length Along-track (A) on the path from the reference point defined for the path to the nearest neighbor point, and 3.
  • the three components of the horizontal distance Depth (D) between the dimensional point and the nearest neighbor point are defined as the three-dimensional coordinates of the path coordinate system.
  • the coordinates of each three-dimensional point are represented by these three components (ph_i, pa_i, pd_i).
  • FIG. 3 illustrates the definition of the path coordinate system. The method of calculating the three-dimensional coordinates of the path coordinate system for each three-dimensional point is shown below. In FIG.
  • the A-axis with the traveling direction of the path of the nearest point Q as the axis, the H-axis with the vertical downward direction as the negative direction, and the vertical line from the nearest point Q to the path from the three-dimensional point are drawn on the ground including the path.
  • An example is shown in which the D axis whose axis is the direction of the line projected on is the three axes of the path coordinate system.
  • the vertices of the path represented by the polyline are represented by " ⁇ ”
  • the three-dimensional points are represented by " ⁇ ”.
  • the distance from the reference point of the route to the nearest point Q is L_a, and the distance L_a at the reference point is 0.
  • L_d be the horizontal distance from the nearest neighbor point Q to the three-dimensional point
  • L_h be the height of the three-dimensional point with respect to the nearest neighbor point Q.
  • height H is the altitude with respect to the nearest point of each three-dimensional point.
  • the value ph_i of is calculated as follows using P_i and Q_i.
  • the value pd_i of the distance D in the horizontal direction is obtained as follows.
  • the HAD data 105 stores the 3D coordinates of the path coordinate system for each 3D point of the 3D point cloud.
  • the model storage unit 106 stores the parameters of the neural network used in the inference unit 108.
  • the parameters of the neural network are determined by the method corresponding to the neural network used. For example, the neural networks of Non-Patent Documents 1 and 2 are optimized by the methods described in the respective documents.
  • the class label storage unit 107 stores the correspondence between the output of the neural network and the class label.
  • the inference unit 108 takes the 3D coordinates of each path coordinate system of the 3D points of the 3D point group as input, and is based on the relative coordinates of each of the 3D points of the 3D point group with other 3D points. Based on the feature quantity, a class label is attached and the result of semantic segmentation is output.
  • the inference unit 108 calculates the inference result by using a neural network such as Non-Patent Documents 1 and 2 that calculates the inference result based on the feature amount based on the relative coordinates of the three-dimensional points.
  • a neural network such as Non-Patent Documents 1 and 2 that calculates the inference result based on the feature amount based on the relative coordinates of the three-dimensional points.
  • the three-dimensional coordinates of each path coordinate system of the three-dimensional points of the three-dimensional point group were input to the neural network in which the parameters stored in the model storage unit 106 were set, and stored in the class label storage unit 107.
  • the inference result is calculated based on the correspondence between the output of the neural network and the class label, and is output by the display unit 16.
  • FIG. 4 is a flowchart showing the flow of the coordinate conversion process by the coordinate conversion device 10.
  • the coordinate conversion process is performed by the CPU 11 reading the coordinate conversion program from the ROM 12 or the storage 14, expanding it into the RAM 13, and executing the coordinate conversion program. Further, information indicating the path of the moving body and a three-dimensional point cloud which is a set of three-dimensional points representing the positions on the surface of the object around the path are input to the coordinate conversion device 10.
  • step S100 the CPU 11 calculates the nearest three-dimensional point on the path for each three-dimensional point of the three-dimensional point cloud as the nearest neighbor point calculation unit 103.
  • step S102 the CPU 11, as the coordinate conversion unit 104, sets the three-dimensional coordinates of the three-dimensional point for each of the three-dimensional points of the three-dimensional point group in the traveling direction and the traveling direction at the nearest point of the three-dimensional point on the path. It is converted into three-dimensional coordinates of the path coordinate system including each of the vertical directions as a coordinate axis.
  • step S104 the CPU 11 inputs the three-dimensional coordinates of each path coordinate system of the three-dimensional points of the three-dimensional point cloud as the inference unit 108, and for each of the three-dimensional points of the three-dimensional point cloud, the other three dimensions.
  • a class label is attached based on the feature amount based on the relative coordinates with the point, and the result of semantic segmentation is output by the display unit 16.
  • the coordinate conversion device includes the three-dimensional coordinates of the three-dimensional point as the coordinate axes in the traveling direction and the vertical direction at the nearest point of the three-dimensional point on the path. Convert to the 3D coordinates of the system. This makes it possible to convert the coordinates of the three-dimensional point into coordinates that are robust to the rotation of the object. Further, the coordinate transformation suppresses the change in the relative coordinates due to the rotation of the object, and the accuracy of the semantic segmentation by the method using the relative coordinates between the three-dimensional points such as Non-Patent Documents 1 and 2 is improved. Further, when performing semantic segmentation for a three-dimensional point cloud observed around a route such as a road or a passage, it is possible to reduce a decrease in accuracy due to rotation of an object.
  • the inference unit performs semantic segmentation has been described as an example, but the present invention is not limited to this, and if it is a process based on a feature amount based on relative coordinates between three-dimensional points, other processes may be performed. You may go. Further, the inference unit may be provided by a device other than the coordinate conversion device.
  • various processors other than the CPU may execute various processes executed by the CPU reading software (program) in the above embodiment.
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for the purpose.
  • the coordinate conversion process may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs and a combination of a CPU and an FPGA). Etc.).
  • the hardware-like structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the mode in which the coordinate conversion program is stored (installed) in the storage 14 in advance has been described, but the present invention is not limited to this.
  • the program is stored in a non-temporary medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital Versaille Disk Online Memory), and a USB (Universal Serial Bus) memory. It may be provided in the form. Further, the program may be downloaded from an external device via a network.
  • Appendix 1 With memory With at least one processor connected to the memory Including The processor Information indicating the path of the moving object and a three-dimensional point indicating the position on the surface of an object around the path are accepted as inputs. Calculate the nearest point of the three-dimensional point on the path, A coordinate conversion device that converts the three-dimensional coordinates of the three-dimensional point into the three-dimensional coordinates of the path coordinate system including each of the traveling direction and the vertical direction at the nearest point of the three-dimensional point on the path as coordinate axes.
  • a non-temporary storage medium that stores a program that can be executed by a computer to perform coordinate transformation processing.
  • the coordinate conversion process is Information indicating the path of the moving object and a three-dimensional point indicating the position on the surface of an object around the path are accepted as inputs. Calculate the nearest point of the three-dimensional point on the path, A non-temporary storage medium that converts the three-dimensional coordinates of the three-dimensional point into the three-dimensional coordinates of the path coordinate system including each of the traveling direction and the vertical direction at the nearest point of the three-dimensional point on the path as coordinate axes.
  • Coordinate conversion device 15 Input unit 16 Display unit 101 Point cloud data 102 Route data 103 Nearest point calculation unit 104 Coordinate conversion unit 105 HAD data 106 Model storage unit 107 Class label storage unit 108 Inference unit

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

座標変換装置10が、移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付ける。最近傍点算出部103が、前記経路上の、前記3次元点の最近傍点を算出する。座標変換部104が、前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する。

Description

座標変換装置、座標変換方法、及び座標変換プログラム
 本開示の技術は、座標変換装置、座標変換方法、及び座標変換プログラムに関する。
 3次元の位置情報を持つデータを3次元点と呼ぶ。そのような3次元点の集まりからなるデータを3次元点群と呼ぶ。点群は、N個(N>=2)の点の集合であり、各点は1~Nの識別子により特定される。3次元点群は、物体の幾何的な情報を示すデータであり、距離センサによる計測や、画像からの3次元再構成をすることによって取得することができる。点の属性情報とは、点群の計測の際に得られた位置情報以外の情報であり、例えば、点の反射強度を示すIntensity値や、色情報を表すRGB値等がある。
 3次元点の位置情報は、座標系とその座標系における位置を表す値の組によって表される。また、地球上での位置を表現する場合、座標系には測地系を用いる。測地系とは測量の基準に対応して設けられる座標系であり、日本国内での測量に用いられるJGD2011やGPSの運用に用いられるWGS84といったものを指す。
 3次元点群のクラスラベルとは3次元点群が表現する物体の種類を示す属性である。例えば屋外の3次元点群を対象とした場合、地面、建物、柱、ケーブル、樹木などがある。
3次元点群の識別方法には、対象に応じて以下の2通りがある。
 第1の識別方法では、単一のクラスを表す点群である点群オブジェクトデータに、非特許文献1などの手法により、そのクラスを示す1つのクラスラベルを付与する。
 第2の識別方法では、街並みや部屋といった複数クラスに属する点を含む点群である点群シーンデータの各点に対し、非特許文献1などの手法により、クラスラベルを付与する。単独の物体であっても、パーツごとに異なるクラスラベルを付与する場合は点群シーンデータにあたる。
 第1の識別方法をオブジェクト識別と呼び、第2の識別方法をセマンティック・セグメンテーションと呼ぶ。
 経路データとは、道路などの経路の位置を表すもので、ポリラインや区分多項式により表現される経路である。経路と基準点は座標変換前の座標系において、地面上に設定される。経路データは、点群シーンデータ取得時に取得される走行軌跡を用いるほかに、GISや点群処理ツール等を用いて作成することができる。走行軌跡を用いる場合、経路データはポリラインの頂点等に走行時刻の属性を持つ場合がある。
 オブジェクト識別とセマンティック・セグメンテーションはどちらも、3次元点群から抽出した特徴量に基づいて行うことができる。非特許文献1、非特許文献2のような構成のDNN(Deep Neural Network)によって段階的な特徴抽出を行い、複数の距離スケールでの形状特徴量を識別に利用する手法の性能が高いことが知られている。非特許文献1のDNNは、(1)代表点選択、(2)Multi-layer perceptronにより構成された特徴抽出モデルであるX-Convolutionによる代表点に対する形状特徴抽出、を繰り返す。その後、オブジェクト識別では代表点を減少させていき、特徴量の集約層を設けてオブジェクトのクラスラベルを出力する。一方、セマンティック・セグメンテーションではアップサンプリング層を設けて各点のクラスラベルを出力する。
Wang, S. et al.. Deep Parametric Continuous Convolutional Neural Networks, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2018, p. 2589-2597. http://openaccess.thecvf.com/content_cvpr_2018/papers/Wang_Deep_Parametric_Continuous_CVPR_2018_paper.pdf C. R. Qi, L. Yi, H. Su Leonidas J. Guibas, "PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space", NeurIPS, pp.5105-5114, 2017.  http://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-sets-in-a-metric-space.pdf C. R. Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR, 2017 http://openaccess.thecvf.com/content_cvpr_2017/papers/Qi_PointNet_Deep_Learning_CVPR_2017_paper.pdf
 上記非特許文献1、2に記載の技術は、3次元点どうしの相対的な位置関係に基づいてセマンティック・セグメンテーションを行う。相対的な位置関係は、座標系における相対座標として表現される。各点の座標をX_i、近傍点の座標をY_ijとすると、相対座標ΔY_ijiは以下の式で求められる。
Figure JPOXMLDOC01-appb-M000001
 すなわち、ΔY_ijは、座標系と2点の位置関係とに応じて変化する量である。ある剛体上の点どうしの相対座標は、剛体の変位により変化しうる。
 一般的な表現である直交座標系において、剛体の並進では相対座標ΔY_ijは変化しないが、剛体の回転によりΔY_ijは変化する。このため、例えば辺の長さが1である正三角形の3頂点の間の相対座標も、回転によって無数の表現が可能である。このため、点群シーンデータから非特許文献1、2等の手法を用いて物体のセマンティック・セグメンテーションを行う場合、物体の回転により相対座標が変化することが識別精度を低下させる原因となる。
 非特許文献3には、機械学習の結果に基づいて物体の回転を行うモジュールであるT-Netが組み込まれているが、2つの不利な点がある。1つ目は、様々な回転パターンを用意しての学習が必要であるため、学習データが増大することである。2つ目は、ニューラルネットワークの中の1モジュールであるため、他手法に直接組み込めない点である。
 開示の技術は、上記の点に鑑みてなされたものであり、3次元点の座標を物体の回転にロバストな座標に変換することができる座標変換装置、座標変換方法、および座標変換プログラムを提供することを目的とする。
 本開示の第1態様は、座標変換装置であって、移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付ける入力部と、前記経路上の、前記3次元点の最近傍点を算出する最近傍点算出部と、前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する座標変換部と、を含んで構成される。
 本開示の第2態様は、座標変換方法であって、入力部が、移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付け、最近傍点算出部が、前記経路上の、前記3次元点の最近傍点を算出し、座標変換部が、前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する。
 本開示の第3態様は、座標変換プログラムであって、移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付け、前記経路上の、前記3次元点の最近傍点を算出し、前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換することをコンピュータに実行させるためのプログラムである。
 開示の技術によれば、3次元点の座標を物体の回転にロバストな座標に変換することができる。
本実施形態の座標変換装置として機能するコンピュータの一例の概略ブロック図である。 本実施形態の座標変換装置の機能構成を表すブロック図である。 経路座標系を説明するための図である。 本実施形態の座標変換処理の流れを表すフローチャートである。
 以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
<本実施形態の概要>
 道路や廊下などの経路に対して特定の機能を持つ物体は、経路に設定された進行方向と鉛直方向に対して表示面等が特定の向きになるように設置される。例えば、車両向けの信号機や標識の表示面は、車道の進行方向に直交するように設置される。そのため、本実施形態では点群シーンデータに含まれる3次元点の3次元座標を経路の進行方向及び鉛直方向を基準とした座標系である経路座標系における3次元座標に変換することで、これらの物体について、物体の回転による相対座標の変化を抑制する。
<本実施形態に係る座標変換装置の構成>
 図1は、本実施形態の座標変換装置10のハードウェア構成を示すブロック図である。
 図1に示すように、座標変換装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、表示部16及び通信インタフェース(I/F)17を有する。各構成は、バス19を介して相互に通信可能に接続されている。
 CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12又はストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12又はストレージ14に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ROM12又はストレージ14には、3次元点群の座標変換を行うための座標変換プログラムが格納されている。座標変換プログラムは、1つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
 ROM12は、各種プログラム及び各種データを格納する。RAM13は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
 入力部15は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
 入力部15は、移動体の経路を示す情報と、当該経路の周辺の物体の表面上の位置を表す3次元点の集合である3次元点群とを入力として受け付ける。
 本実施形態では、3次元点群の位置情報が一般的な表現である直交座標系での座標を持つ場合を対象とする。他の座標系での座標も、原点・基底に関する変換方法が定められていれば、直交座標系に変換可能であり、例えば、3次元点群の位置情報が、ユーザーが設定した特定の位置を原点とした3次元ユークリッド座標系や極座標系などの座標を持つ場合を対象としてもよい。
 直交座標系は、各々が直交するX軸、Y軸、Z軸からなる3軸を有し、x座標、y座標、z座標からなる3次元座標を持つ。各座標の単位はメートル(m)やセンチメートル(cm)、及びミリメートル(mm)で表現するが、他の単位でもよい。
 なお、3次元点は、各点に上記の3次元座標に、その点群が撮影された時刻や、レーザーの反射強度や赤・青・緑等の色情報等が付与されていてもよい。
 また、経路を示す情報は、3次元点と同様に直交座標系で表されているか、直交座標系に変換可能な他の座標系で表されている。経路を示す情報は、計測された移動体の位置の時系列データにより生成されるものでもよいし、地図データを参照して人手で入力された情報であってもよい。
 表示部16は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部16は、タッチパネル方式を採用して、入力部15として機能しても良い。
 通信インタフェース17は、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
 次に、座標変換装置10の機能構成について説明する。図2は、座標変換装置10の機能構成の例を示すブロック図である。
 座標変換装置10は、機能的には、図2に示すように、点群データ101、経路データ102、最近傍点算出部103、座標変換部104、HADデータ105、モデル記憶部106、クラスラベル記憶部107、及び推論部108を備えている。
 点群データ101は、入力部15により受け付けた3次元点群を記憶している。
 経路データ102は、入力部15により受け付けた経路を示す情報を記憶している。
 最近傍点算出部103は、3次元点群の各3次元点について、経路上の、当該3次元点の最近傍点を算出する。
 具体的には、最近傍点算出部103は、点群データ101の3次元点群及び経路データ102の経路を示す情報を入力として、3次元点群中の各点i(i=1,2,3…)の座標P_i=(px_i,py_i,pz_i)に対し、経路上で一番近い点である最近傍点の座標Q_i=(qx_i,qy_i,qz_i)を算出する。ある点に対して最近傍点が複数求められる場合は、一定のルールによって1点に絞る。例えば、3次元点と経路を示す情報がそれぞれ観測時刻と走行時刻の属性を持つ場合、時刻の近い点を採用するといった方法をとる。
 座標変換部104は、3次元点群の3次元点の各々について、当該3次元点の3次元座標を、経路上の、当該3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する。
 具体的には、座標変換部104は、最近傍点を基準とした高さHeight(H)、経路について定められた基準点から最近傍点までの経路上の長さAlong-track(A)、及び3次元点と最近傍点との間の水平方向の距離Depth(D)の三つの成分を、経路座標系の3次元座標とする。各3次元点の座標は、この三つの成分(ph_i, pa_i, pd_i)で表される。図3は、経路座標系の定義を図示したものである。以下に、各3次元点に対して経路座標系の3次元座標を算出する方法を示す。図3では、最近傍点Qの経路の進行方向を軸とするA軸、鉛直下向き方向を負の向きとするH軸、及び最近傍点Qから3次元点から経路への垂線を、経路を含む地面に投影した線の方向を軸とするD軸を、経路座標系の3軸とする例を示している。また、ポリラインで表される経路の頂点を「▼」で表し、3次元点を「●」で表す。経路の基準点からの最近傍点Qまでの距離をL_aとし、基準点での距離L_aを0とする。最近傍点Qから3次元点までの水平方向の距離をL_dとし、最近傍点Qを基準とした3次元点の高さをL_hとする。
 高さHの値は、各3次元点の最近傍点を基準とした高度である。高さHは鉛直上向き方向に沿って増加する。経路幅程度の距離では鉛直上向き方向を一定と近似することができるため、各3次元点とその最近傍点における鉛直上向き方向の単位ベクトルをG=(gx,gy,gz)とすると、高さHの値ph_iは、P_i、Q_iを用いて以下のように算出される。
Figure JPOXMLDOC01-appb-M000002
 経路上の長さAの値は、任意に設定した経路の基準点の座標Q_0=(qx_0,qy_0,qz_0)からQ_i=(qx_i,qy_i,qz_i)までの区間において、経路の表現(ポリライン、区分多項式)に応じた積分を行うことで求めることができる。
 水平方向の距離Dの値pd_iは以下のように求められる。
Figure JPOXMLDOC01-appb-M000003
 HADデータ105は、3次元点群の各3次元点についての経路座標系の3次元座標を記憶している。
 モデル記憶部106は、推論部108に用いられるニューラルネットワークのパラメータを保存する。ニューラルネットワークのパラメータは、用いるニューラルネットワークに対応した方法によって決定される。例えば、非特許文献1、2のニューラルネットワークに対しては、それぞれの文献中で述べられた方法によって最適化する。
で クラスラベル記憶部107は、ニューラルネットワークの出力とクラスラベルの対応関係を保存する。
 推論部108は、3次元点群の3次元点の各々の経路座標系の3次元座標を入力とし、3次元点群の3次元点の各々について、他の3次元点との相対座標に基づく特徴量に基づいて、クラスラベルを付与し、セマンティック・セグメンテーションの結果を出力する。
 具体的には、推論部108は、非特許文献1,2などの、3次元点どうしの相対座標に基づく特徴量に基づいて推論結果を算出するニューラルネットワークを用いて、推論結果を算出する。このとき、モデル記憶部106に保存されたパラメータを設定したニューラルネットワークに、3次元点群の3次元点の各々の経路座標系の3次元座標を入力し、クラスラベル記憶部107に保存されたニューラルネットワークの出力とクラスラベルの対応関係に基づき、推論結果を算出し、表示部16により出力する。
<本実施形態に係る座標変換装置の作用>
 次に、座標変換装置10の作用について説明する。図4は、座標変換装置10による座標変換処理の流れを示すフローチャートである。CPU11がROM12又はストレージ14から座標変換プログラムを読み出して、RAM13に展開して実行することにより、座標変換処理が行なわれる。また、座標変換装置10に、移動体の経路を示す情報と、当該経路の周辺の物体の表面上の位置を表す3次元点の集合である3次元点群とが入力される。
 ステップS100において、CPU11は、最近傍点算出部103として、3次元点群の各3次元点について、経路上の、当該3次元点の最近傍点を算出する。
 ステップS102において、CPU11は、座標変換部104として、3次元点群の3次元点の各々について、当該3次元点の3次元座標を、経路上の、当該3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する。
 ステップS104において、CPU11は、推論部108として、3次元点群の3次元点の各々の経路座標系の3次元座標を入力とし、3次元点群の3次元点の各々について、他の3次元点との相対座標に基づく特徴量に基づいて、クラスラベルを付与し、セマンティック・セグメンテーションの結果を、表示部16により出力する。
 以上説明したように、本実施形態に係る座標変換装置は、3次元点の3次元座標を、経路上の、当該3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する。これにより、3次元点の座標を物体の回転にロバストな座標に変換することができる。また、座標変換により物体の回転による相対座標の変化が抑制され、上記非特許文献1、2などの3次元点間の相対座標を用いる手法によるセマンティック・セグメンテーションの精度が向上する。また、道路や通路といった経路の周辺を観測した3次元点群に対するセマンティック・セグメンテーションを行う場合に、物体の回転による精度低下を軽減することができる。
 なお、本発明は、上述した実施形態の装置構成及び作用に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
 例えば、推論部が、セマンティック・セグメンテーションを行う場合を例に説明したが、これに限定されるものではなく、3次元点同士の相対座標に基づく特徴量に基づく処理であれば、他の処理を行ってもよい。また、推論部は、座標変換装置とは別の装置が備えていてもよい。
 また、上記実施形態でCPUがソフトウェア(プログラム)を読み込んで実行した各種処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、座標変換処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
 また、上記各実施形態では、座標変換プログラムがストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の非一時的(non-transitory)記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
 以上の実施形態に関し、更に以下の付記を開示する。
 (付記項1)
 メモリと、
 前記メモリに接続された少なくとも1つのプロセッサと、
 を含み、
 前記プロセッサは、
 移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付け、
 前記経路上の、前記3次元点の最近傍点を算出し、
 前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する
 座標変換装置。
 (付記項2)
 座標変換処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
 前記座標変換処理は、
 移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付け、
 前記経路上の、前記3次元点の最近傍点を算出し、
 前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する
 非一時的記憶媒体。
10   座標変換装置
15   入力部
16   表示部
101 点群データ
102 経路データ
103 最近傍点算出部
104 座標変換部
105 HADデータ
106 モデル記憶部
107 クラスラベル記憶部
108 推論部

Claims (7)

  1.  移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付ける入力部と、
     前記経路上の、前記3次元点の最近傍点を算出する最近傍点算出部と、
     前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する座標変換部と、
     を含む座標変換装置。
  2.  前記座標変換部は、前記最近傍点を基準とした高さ、前記経路について定められた基準点から前記最近傍点までの経路上の長さ、及び前記3次元点と前記最近傍点との間の水平方向の距離を、前記経路座標系の3次元座標とする請求項1記載の座標変換装置。
  3.  推論部を更に含み、
     前記入力部は、前記移動体の経路を示す情報と、複数の前記3次元点からなる3次元点群とを入力として受け付け、
     前記最近傍点算出部は、前記3次元点群の3次元点の各々について、前記最近傍点を算出し、
     前記座標変換部は、前記3次元点群の3次元点の各々について、前記3次元点の3次元座標を前記経路座標系の3次元座標に変換し、
     前記推論部は、前記3次元点群の3次元点の各々について、他の3次元点との相対座標に基づく特徴量に基づいて、クラスラベルを付与する請求項1又は2記載の座標変換装置。
  4.  入力部が、移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付け、
     最近傍点算出部が、前記経路上の、前記3次元点の最近傍点を算出し、
     座標変換部が、前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する
     座標変換方法。
  5.  前記座標変換部が変換することでは、前記最近傍点を基準とした高さ、前記経路について定められた基準点から前記最近傍点までの経路上の長さ、及び前記3次元点と前記最近傍点との間の水平方向の距離を、前記経路座標系の3次元座標とする請求項4記載の座標変換方法。
  6.  前記入力部が受け付けることでは、前記移動体の経路を示す情報と、複数の前記3次元点からなる3次元点群とを入力として受け付け、
     前記最近傍点算出部が算出することでは、前記3次元点群の3次元点の各々について、前記最近傍点を算出し、
     前記座標変換部が変換することでは、前記3次元点群の3次元点の各々について、前記3次元点の3次元座標を前記経路座標系の3次元座標に変換し、
     推論部が、前記3次元点群の3次元点の各々について、他の3次元点との相対座標に基づく特徴量に基づいて、クラスラベルを付与することを更に含む請求項4又は5記載の座標変換方法。
  7.  移動体の経路を示す情報と、前記経路の周辺の物体の表面上の位置を表す3次元点とを入力として受け付け、
     前記経路上の、前記3次元点の最近傍点を算出し、
     前記3次元点の3次元座標を、前記経路上の、前記3次元点の最近傍点における進行方向及び鉛直方向の各々を座標軸として含む経路座標系の3次元座標に変換する
     ことをコンピュータに実行させるための座標変換プログラム。
PCT/JP2020/022504 2020-06-08 2020-06-08 座標変換装置、座標変換方法、及び座標変換プログラム WO2021250734A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022504 WO2021250734A1 (ja) 2020-06-08 2020-06-08 座標変換装置、座標変換方法、及び座標変換プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022504 WO2021250734A1 (ja) 2020-06-08 2020-06-08 座標変換装置、座標変換方法、及び座標変換プログラム

Publications (1)

Publication Number Publication Date
WO2021250734A1 true WO2021250734A1 (ja) 2021-12-16

Family

ID=78847026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022504 WO2021250734A1 (ja) 2020-06-08 2020-06-08 座標変換装置、座標変換方法、及び座標変換プログラム

Country Status (1)

Country Link
WO (1) WO2021250734A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546141A (zh) * 2022-04-25 2022-05-27 成都柔水科技有限公司 一种基于ue5的适用于gis应用的相机控制方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242318A (ja) * 2011-05-23 2012-12-10 Mitsubishi Electric Corp 位置補正データ生成装置、位置標定装置、ユーザインタフェース装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、ユーザインタフェース装置の情報処理方法、位置補正データ生成プログラム、位置標定プログラムおよびユーザインタフェースプログラム
JP2014178794A (ja) * 2013-03-14 2014-09-25 Hitachi Ltd 搬入経路計画システム
JP2019079338A (ja) * 2017-10-25 2019-05-23 株式会社Ihi 対象物検知システム
JP2019185599A (ja) * 2018-04-16 2019-10-24 株式会社Ihi 経路シミュレーション装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012242318A (ja) * 2011-05-23 2012-12-10 Mitsubishi Electric Corp 位置補正データ生成装置、位置標定装置、ユーザインタフェース装置、位置補正データ生成装置の位置補正データ生成方法、位置標定装置の位置標定方法、ユーザインタフェース装置の情報処理方法、位置補正データ生成プログラム、位置標定プログラムおよびユーザインタフェースプログラム
JP2014178794A (ja) * 2013-03-14 2014-09-25 Hitachi Ltd 搬入経路計画システム
JP2019079338A (ja) * 2017-10-25 2019-05-23 株式会社Ihi 対象物検知システム
JP2019185599A (ja) * 2018-04-16 2019-10-24 株式会社Ihi 経路シミュレーション装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114546141A (zh) * 2022-04-25 2022-05-27 成都柔水科技有限公司 一种基于ue5的适用于gis应用的相机控制方法
CN114546141B (zh) * 2022-04-25 2022-07-12 成都柔水科技有限公司 一种基于ue5的适用于gis应用的相机控制方法

Similar Documents

Publication Publication Date Title
US11145073B2 (en) Computer vision systems and methods for detecting and modeling features of structures in images
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
CN109493407B (zh) 实现激光点云稠密化的方法、装置及计算机设备
US20240124017A1 (en) Determination of lane connectivity at traffic intersections for high definition maps
US10670416B2 (en) Traffic sign feature creation for high definition maps used for navigating autonomous vehicles
EP2849117B1 (en) Methods, apparatuses and computer program products for automatic, non-parametric, non-iterative three dimensional geographic modeling
CN107709930B (zh) 用于表示地图要素的方法和装置以及用于定位车辆/机器人的方法和装置
EP4116935B1 (en) High-definition map creation method and device, and electronic device
CN106920278B (zh) 一种基于Reeb图的立交桥三维建模方法
JP2006323608A (ja) 立体構造物群モデル作成装置、立体構造物群モデル作成方法及び立体モデル作成システム
CN112132108A (zh) 地面点云数据的提取方法、装置、设备及存储介质
CN110795978B (zh) 路面点云数据提取方法、装置、存储介质及电子设备
CN114387319A (zh) 点云配准方法、装置、设备以及存储介质
WO2021250734A1 (ja) 座標変換装置、座標変換方法、及び座標変換プログラム
CN114092660A (zh) 高精地图生成方法、装置及用于生成地图的车辆
CN114187357A (zh) 一种高精地图的生产方法、装置、电子设备及存储介质
CN112639822B (zh) 一种数据处理方法及装置
Hao et al. Automatic building extraction from terrestrial laser scanning data
KR20220155245A (ko) 포지셔닝 방법, 버전 맵 생성 방법 및 장치
US20200242819A1 (en) Polyline drawing device
JP7204087B2 (ja) 対象物認識装置
Yu et al. A cue line based method for building modeling from LiDAR and satellite imagery
EP3944137A1 (en) Positioning method and positioning apparatus
Yang et al. 3D modeling of riverbeds based on NURBS algorithm

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20939733

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20939733

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP