JP2019211949A - Point group matching device, point group matching method and program - Google Patents
Point group matching device, point group matching method and program Download PDFInfo
- Publication number
- JP2019211949A JP2019211949A JP2018106820A JP2018106820A JP2019211949A JP 2019211949 A JP2019211949 A JP 2019211949A JP 2018106820 A JP2018106820 A JP 2018106820A JP 2018106820 A JP2018106820 A JP 2018106820A JP 2019211949 A JP2019211949 A JP 2019211949A
- Authority
- JP
- Japan
- Prior art keywords
- polygon
- point
- map
- matching
- crater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影した画像から得た点群とマップ上の点群とのマッチング処理を行って、座標位置を求める点群マッチング装置、点群マッチング方法及びプログラムに関する。 The present invention relates to a point group matching apparatus, a point group matching method, and a program for performing a matching process between a point group obtained from a captured image and a point group on a map to obtain a coordinate position.
従来、探査機が月面表面などの着陸地点を探す場合、基本的には「降りやすいところに降りる」手法であった。よって、従来のアプローチは、カメラが撮影した画像から、着陸が可能な地点かどうかを判断して、降りやすい地点に着陸するというものであった。
これに対して、近年、「降りたいところに降りる」手法の確立が望まれている。すなわち、例えば月面の特定の箇所のクレータを探査したい等、予め設定された着陸地点にピンポイントで着陸できる技術の確立が課題になっている。
Conventionally, when a spacecraft searches for a landing point such as the surface of the moon, it was basically a method of “getting down where it is easy to get off”. Therefore, the conventional approach is to determine whether the landing is possible from the image taken by the camera and land at a point where it is easy to get off.
On the other hand, in recent years, establishment of a method of “getting down where you want to get off” is desired. In other words, for example, it is a challenge to establish a technique that allows a pinpoint landing at a predetermined landing point, such as exploring a crater at a specific location on the lunar surface.
このような正確な着陸地点に着陸するミッションを実現するためには、探査機がリアルタイムで正確な自己位置推定を行う必要がある。すなわち、探査機が撮影した月面表面の画像から検出したクレータと、事前に作成したクレータマップとを照合して、探査機自身で自己位置の推定を行う必要がある。ここで、探査機に搭載されるコンピュータ装置としては、非常に過酷な環境で長期間稼動する必要があるため、信頼性が十分に確保されたコンピュータ装置が使用されなければならない。つまり、探査機に搭載されるコンピュータ装置は、地上で一般的に使用されるコンピュータ装置に比べて、極力少ない演算処理量で探査機の自己位置を推定する必要がある。 In order to realize such a mission to land at an accurate landing point, it is necessary for the spacecraft to perform accurate self-position estimation in real time. That is, it is necessary to collate the crater detected from the image of the surface of the moon taken by the spacecraft with the crater map created in advance and estimate the self position by the spacecraft itself. Here, as a computer device mounted on the spacecraft, it is necessary to operate for a long time in a very harsh environment, and therefore a computer device with sufficient reliability must be used. That is, it is necessary for the computer device mounted on the spacecraft to estimate the self-position of the spacecraft with as little calculation processing as possible compared to the computer device generally used on the ground.
クレータなどを撮影した画像と、クレータマップとを比較して、比較的少ない演算処理量で自己位置を推定する手法の一つとして、進化的三角形相似マッチングと称される手法がある。この手法は、本願の発明者らが先に提案した手法であり、画像内の各クレータの特定位置（中心位置など）を結ぶ三角形と、クレータマップ内の各クレータの特定位置を結ぶ三角形とを取得して、双方の三角形の相似度を基に、自己位置として推定するものである。 One technique for comparing the image obtained by capturing a crater and the crater map and estimating the self-position with a relatively small amount of calculation processing is a technique called evolutionary triangle similarity matching. This technique is a technique previously proposed by the inventors of the present application, and includes a triangle that connects specific positions (center position, etc.) of each crater in the image, and a triangle that connects specific positions of each crater in the crater map. It is acquired and estimated as a self-position based on the similarity of both triangles.
特許文献１には、月面や惑星面に軟着陸するための画像処理方法についての記載がある。この特許文献１に記載される手法は、撮影した画像から平坦な地点を探し、探し当てた平坦な地点に着陸するものであり、上述した「降りやすいところに降りる」手法に相当する。 Patent Document 1 describes an image processing method for soft landing on the moon surface or planetary surface. The technique described in Patent Document 1 searches for a flat spot from a photographed image, and lands at the found flat spot, and corresponds to the above-described technique “get down where it is easy to get off”.
発明者らが先に提案した三角形相似マッチングは、クレータなどを撮影した画像から探査機が自己位置を推定する上で好適な手法である。
しかしながら、先に提案した三角形相似マッチングを適用する場合であっても、自己位置を誤検出する場合があった。この誤検出する要因としては、クレータマップと撮影画像におけるクレータのピクセルずれ、三角形の相似度の計算で線対称と点対称を考慮していない点などが挙げられる。また、月面のクレータマップ上には、撮影画像の三角形と相似な三角形が多数存在し、誤検出が発生し易い状況になっている場合も多い。さらに、探査機の自己位置の座標を推定する際には、撮影画像の回転を考慮して補正する必要があり、回転状態の補正が正しく行われないことで誤検出の要因が増えてしまうという問題があった。したがって、探査機が撮影した画像とクレータマップとの比較で、より高精度に位置推定できる手法の開発が望まれている。
Triangular similarity matching previously proposed by the inventors is a suitable method for the spacecraft to estimate its own position from an image obtained by photographing a crater or the like.
However, even when the previously proposed triangle similarity matching is applied, the self-position may be erroneously detected. Factors for erroneous detection include a crater pixel shift in the crater map and the captured image, and a point that does not consider line symmetry and point symmetry in the calculation of the similarity of triangles. Moreover, there are many triangles similar to the triangle of the photographed image on the crater map on the moon surface, and there are many cases where erroneous detection is likely to occur. Furthermore, when estimating the coordinates of the spacecraft's own position, it is necessary to make corrections in consideration of the rotation of the captured image, and the cause of false detection increases due to incorrect correction of the rotation state. There was a problem. Therefore, it is desired to develop a method capable of estimating the position with higher accuracy by comparing the image taken by the spacecraft and the crater map.
なお、ここまでの説明では、月面などを探査する探査機が着陸地点を探す場合の課題を述べたが、探査機以外の様々な装置（移動体）において、撮影画像と予め用意されたマップとを比較して、自己位置を推定する場合であっても、同様の課題がある。 In the description so far, the problem in the case where the spacecraft that searches the lunar surface searches for the landing point has been described. However, in various devices (moving bodies) other than the spacecraft, captured images and maps prepared in advance There is a similar problem even when the self-position is estimated.
本発明の目的は、撮影画像とマップとの比較で、誤検出なく自己位置を短時間で高精度に推定できる点群マッチング方法、及びその方法を適用したプログラムを提供することにある。 An object of the present invention is to provide a point cloud matching method capable of estimating a self-position in a short time with high accuracy without erroneous detection by comparing a captured image and a map, and a program to which the method is applied.
本発明の点群マッチング装置は、探索対象となる画像から得た点群から所定の条件を満たす複数の点を頂点とした第１の多角形を形成する多角形形成部と、予め用意されたマップ内の点群から、多角形形成部で得た第１の多角形と相似な第２の多角形を探索する候補選定部と、多角形形成部で得た第１の多角形と、候補選定部で得たマップ内の第２の多角形とのそれぞれについて、多角形の周囲に存在する点である少なくとも１つの外点と多角形のそれぞれの辺に対応する複数のベクトルとの関係から、マッチングしている多角形を探すマッチング処理部と、マッチング処理部で得られた第２の多角形のマップ内の座標位置に基づいて、画像の座標位置を確定して出力する出力部と、を備える。 The point group matching device of the present invention is prepared in advance, and a polygon forming unit that forms a first polygon having a plurality of points satisfying a predetermined condition from a point group obtained from an image to be searched for. A candidate selection unit that searches for a second polygon similar to the first polygon obtained by the polygon forming unit from the point group in the map, a first polygon obtained by the polygon forming unit, and a candidate For each of the second polygons in the map obtained by the selection unit, from the relationship between at least one outer point that is a point existing around the polygon and a plurality of vectors corresponding to each side of the polygon A matching processing unit that searches for a matching polygon, and an output unit that determines and outputs the coordinate position of the image based on the coordinate position in the map of the second polygon obtained by the matching processing unit; Is provided.
本発明の点群マッチング方法は、探索対象となる画像から得た点群から所定の条件を満たす複数の点を頂点とした第１の多角形を取得する多角形取得処理と、予め用意されたマップ内の点群から、多角形取得処理で得た第１の多角形と相似な第２の多角形を探索する探索処理と、多角形取得処理で得た第１の多角形と、探索処理で得たマップ内の第２の多角形とのそれぞれについて、多角形の周囲に存在する点である少なくとも１つの外点と多角形のそれぞれの辺に対応する複数のベクトルとの関係から、マッチングしている多角形を探すマッチング処理と、マッチング処理で得られた第２の多角形のマップ内の座標位置に基づいて、画像の座標位置を確定する座標計算処理と、を含むことを特徴とする。 The point cloud matching method according to the present invention is prepared in advance, with polygon acquisition processing for acquiring a first polygon having a plurality of points satisfying a predetermined condition as vertices from a point cloud obtained from an image to be searched. A search process for searching for a second polygon similar to the first polygon obtained by the polygon acquisition process from the point group in the map, a first polygon obtained by the polygon acquisition process, and a search process For each of the second polygons in the map obtained in step 1, matching is performed based on the relationship between at least one outer point that is a point existing around the polygon and a plurality of vectors corresponding to the respective sides of the polygon. And a coordinate calculation process for determining the coordinate position of the image based on the coordinate position in the map of the second polygon obtained by the matching process. To do.
また、本発明のプログラムは、上記点群マッチング方法の各処理を実行する手順を、コンピュータ装置に実行させるプログラムとしたことを特徴とする。 Further, the program of the present invention is characterized in that a procedure for executing each processing of the above point cloud matching method is a program for causing a computer device to execute.
本発明によると、多角形を使ったマッチング時に、多角形を構成する点のマッチングだけでなく、多角形の周囲に存在する外点と多角形の複数の辺に対応するベクトルとの関係についても判断するため、誤判定を防いだ良好な座標検出が可能になる。 According to the present invention, at the time of matching using a polygon, not only the matching of the points constituting the polygon, but also the relationship between the external points existing around the polygon and the vectors corresponding to a plurality of sides of the polygon. As a result, it is possible to perform good coordinate detection while preventing erroneous determination.
［１．本発明の一実施の形態例による点群マッチングの概要］
以下、本発明の一実施の形態例（以下、「本例」と称する）を、添付図面を参照して説明する。
本例は、図１に示すように、月を周回する探査機１に搭載されたカメラ１ａが、月面２を撮影して、撮影画像３から探査機１の自己位置を判断するものである。
探査機１に搭載されたコンピュータ装置（不図示）は、撮影画像３に含まれるクレータを点群化する。例えば、それぞれのクレータの中心位置が、不図示のコンピュータ装置により、図２に示すように、点で示した点群データとされる。
[1. Outline of Point Cloud Matching According to Embodiment of Present Invention]
Hereinafter, an embodiment of the present invention (hereinafter referred to as “this example”) will be described with reference to the accompanying drawings.
In this example, as shown in FIG. 1, the camera 1 a mounted on the spacecraft 1 that orbits the moon images the lunar surface 2 and determines the self-position of the spacecraft 1 from the captured image 3. .
A computer device (not shown) mounted on the spacecraft 1 groups craters included in the captured image 3. For example, the center position of each crater is converted into point cloud data indicated by dots as shown in FIG. 2 by a computer device (not shown).
また、探査機１に搭載されたコンピュータ装置には、予め月面２のクレータ位置を示すクレータマップ４が記憶されている。クレータマップ４は、例えば図２に示すように、各クレータの特定位置である中心位置を点で示した点群データである。以下の説明では、クレータの特定位置の一例として、中心位置を点で示す例とするが、クレータの重心位置など他の位置から点を求めるようにしてもよい。 In addition, a crater map 4 indicating the crater position of the lunar surface 2 is stored in advance in the computer device mounted on the spacecraft 1. The crater map 4 is point group data indicating the center position, which is a specific position of each crater, as shown in FIG. 2, for example. In the following description, as an example of the specific position of the crater, the center position is indicated by a point. However, the point may be obtained from another position such as the center of gravity position of the crater.
そして、探査機１に搭載されたコンピュータ装置は、撮影画像３内のクレータの点群データと同じ配列の点群データを、図２に示すクレータマップ４から探し出す処理を行う。
図２においては、撮影画像３から得た点群を黒丸で示し、クレータマップ４の点群をグレーの丸で示す。なお、図２では探索する原理を示すために、撮影画像３から得られた点群と、クレータマップ４の点群とを重ねて示すが、実際には画像側とクレータマップ側のそれぞれで独立した点群のデータであり、後述する点群マッチング処理を行うことで、それぞれが重なった領域であることが分かる。
And the computer apparatus mounted in the spacecraft 1 performs the process which searches the point cloud data of the same arrangement | sequence as the point cloud data of the crater in the picked-up image 3 from the crater map 4 shown in FIG.
In FIG. 2, the point group obtained from the captured image 3 is indicated by a black circle, and the point group of the crater map 4 is indicated by a gray circle. In FIG. 2, the point group obtained from the captured image 3 and the point group of the crater map 4 are shown in an overlapping manner in order to show the principle of the search, but actually the image side and the crater map side are independent. It can be seen that the data of the obtained point groups are overlapped regions by performing point group matching processing described later.
探査機１に搭載されたコンピュータ装置で、撮影画像３に含まれるクレータの点群データから得られる多角形（本例では三角形）と、クレータマップ４の点群データから得られる多角形（本例では三角形）とが一致したとき、撮影画像３がクレータマップ４内の対応領域（画像３の領域）を撮影したものと判断される。したがって、撮影画像３とクレータマップ４に基づいて、探査機１の自己の月面上の座標位置を推定することができる。
本例においては、自己位置の推定を行うために、図２の右側に拡大して示すように、撮影画像３内の点群から、３つの点を頂点とする一定の条件を満たす三角形Ｔａを取得し、クレータマップ４からも同じ条件を満たす三角形Ｔｂを取得し、それぞれの三角形Ｔａ、Ｔｂが一致するか否かを判定する。この一致判定時には、三角形Ｔａ、Ｔｂの中心位置（例えば重心位置）から、三角形Ｔａ、Ｔｂの周囲に存在する別の点（この点を外点と称する）までのベクトルＶ１，Ｖ２と三角形Ｔａ、Ｔｂの特定の辺（例えば長辺）に対応する所定方向のベクトルとの内積および外積をそれぞれ計算し、撮影画像３の三角形Ｔａにおいて計算された内積および外積とクレータマップ４の三角形Ｔｂにおいて計算された内積および外積がそれぞれ一致するか否かを判断し、これら内積および外積を使った判断結果を、マッチングに利用する。これらの三角形や外点のベクトルを使った判断処理の詳細は後述する。
A polygon (in this example, a triangle) obtained from the point cloud data of the crater included in the captured image 3 and a polygon (in this example) obtained from the point cloud data in the crater map 4 by the computer device mounted on the spacecraft 1 Is a triangle), it is determined that the photographed image 3 is a photograph of the corresponding region (region of the image 3) in the crater map 4. Therefore, based on the captured image 3 and the crater map 4, the coordinate position of the spacecraft 1 on its own moon surface can be estimated.
In this example, in order to estimate the self-position, a triangle Ta satisfying a certain condition having three points as vertices is obtained from the point group in the photographed image 3 as shown on the right side of FIG. The triangle Tb satisfying the same condition is obtained from the crater map 4 and it is determined whether or not the triangles Ta and Tb match each other. At the time of this coincidence determination, the vectors V1, V2 from the center position (for example, the center of gravity position) of the triangles Ta and Tb to another point around the triangle Ta and Tb (this point is referred to as an outer point) and the triangles Ta, The inner product and outer product of a vector in a predetermined direction corresponding to a specific side (for example, the long side) of Tb are respectively calculated, and the inner product and outer product calculated in the triangle Ta of the photographed image 3 and the triangle Tb of the crater map 4 are calculated. Whether the inner product and outer product match each other is determined, and the determination result using the inner product and outer product is used for matching. Details of the determination process using these triangles and vectors of outer points will be described later.
なお、図２で示すように、撮影画像３から得た点群と、クレータマップ４の点群とが、常に完全に一致するとは限らない。すなわち、探査機１のカメラ１ａが月面を撮影する向き、探査機１から月面までの距離、カメラ１ａが備えるレンズの歪み等、様々な条件でずれが生じ、ずれを考慮して正確な判断を行う必要がある。また、撮影時の条件（日照条件など）から、月面に存在するクレータの一部が撮影画像３から判別できない可能性があり、撮影画像３とクレータマップ４とが同じ位置で比較を行ったとしても、撮影画像３には一部の点が存在しない状況も起こり得る。逆に、撮影画像中のクレータが存在しない箇所に、誤って点が発生する場合もあり得る。したがって、誤りなく正確に座標位置を判断するためには、点のずれや一部の欠落ならびに誤って発生した点を考慮する必要があり、本例においては、上述のずれや一部の欠落等があっても、正確に自己位置が推定できるようにしたものである。 As shown in FIG. 2, the point group obtained from the captured image 3 and the point group of the crater map 4 do not always coincide completely. That is, deviation occurs in various conditions such as the direction in which the camera 1a of the probe 1 captures the moon, the distance from the probe 1 to the moon, and the distortion of the lens provided in the camera 1a. Judgment needs to be made. In addition, it is possible that some of the craters present on the moon surface cannot be identified from the captured image 3 due to the shooting conditions (such as the sunshine conditions), and the captured image 3 and the crater map 4 were compared at the same position. However, there may be a situation where some points do not exist in the captured image 3. Conversely, there may be a case where a point is erroneously generated at a location where no crater exists in the captured image. Therefore, in order to accurately determine the coordinate position without any error, it is necessary to consider a point shift, a part missing, and a point that has occurred in error. This makes it possible to estimate the self-position accurately even if there is any.
［２．本発明の一実施の形態例の構成］
図３は、本発明の一実施の形態例による点群マッチング処理システム１００の構成を示すブロック図である。
点群マッチング処理システム１００は、月面を探査する探査機１（図１）に搭載されたコンピュータ装置に、点群マッチング処理を実行するソフトウェアを実装することで実現されるシステムである。コンピュータ装置としては、例えば中央演算処理ユニット（ＣＰＵ）と、作業領域としてのＲＡＭと、データやプログラムが格納されるＲＯＭと、大容量データ記憶部と、外部とのデータの入出力を行うインターフェースなどで構成される。
図３はコンピュータ装置で実行される機能から見た構成を示した、いわゆる機能ブロック図である。
[2. Configuration of an embodiment of the present invention]
FIG. 3 is a block diagram showing a configuration of the point cloud matching processing system 100 according to an embodiment of the present invention.
The point cloud matching processing system 100 is a system realized by mounting software that executes a point cloud matching process on a computer device mounted on the spacecraft 1 (FIG. 1) that searches the moon surface. Examples of computer devices include a central processing unit (CPU), a RAM as a work area, a ROM for storing data and programs, a large-capacity data storage unit, and an interface for inputting / outputting data to / from the outside. Consists of.
FIG. 3 is a so-called functional block diagram showing a configuration viewed from functions executed by the computer apparatus.
点群マッチング処理システム１００には、探査機１に搭載されたカメラ１ａが撮影した画像データが供給される。カメラ１ａから供給された画像データは、画像キャプチャ部１０１に供給され、画像キャプチャ部１０１で１枚（１フレーム）の画像ごとに、その画像を構成する画素データ（ピクセルデータ）が取り出される。画像キャプチャ部１０１で取り出された画素データは、点群化処理部１０２に供給される。点群化処理部１０２では、画像に含まれる特徴点であるクレータの特定位置（本例の場合には中心位置）を点で示した点群化データとする処理が行われる。 The point cloud matching processing system 100 is supplied with image data taken by the camera 1 a mounted on the spacecraft 1. The image data supplied from the camera 1a is supplied to the image capture unit 101, and the image capture unit 101 extracts pixel data (pixel data) constituting the image for each image (one frame). The pixel data extracted by the image capture unit 101 is supplied to the point group processing unit 102. In the point grouping processing unit 102, processing is performed in which the specific position of the crater that is the feature point included in the image (the center position in this example) is converted into point grouped data indicated by points.
点群化処理部１０２で得られた点群化データは、三角形形成部１０３に供給される。三角形形成部１０３は、各点を頂点とした三角形を作成する三角形取得処理（多角形取得処理）を行う。この三角形取得処理では、他のクレータの点を内包しない三角形を作成する。但し、他のクレータの点を内包しない三角形を作成するのは一例であり、その他の条件で点群化データから三角形（多角形）を作成してもよい。
三角形のデータとしては、例えば３つの内角の角度と、３つの辺の長さのデータを持つ。三角形形成部１０３で形成された三角形のデータは、マッチング候補選定部１０４に供給される。
マッチング候補選定部１０４は、撮影画像内の三角形とクレータマップ内の三角形とのマッチング処理を行う上で、マッチング候補となる三角形を選ぶ探索処理を行う。
The point grouping data obtained by the point grouping processing unit 102 is supplied to the triangle forming unit 103. The triangle forming unit 103 performs a triangle acquisition process (polygon acquisition process) for creating a triangle with each point as a vertex. In this triangle acquisition process, a triangle that does not contain other crater points is created. However, the creation of a triangle that does not include other crater points is merely an example, and a triangle (polygon) may be created from the point group data under other conditions.
As the triangular data, for example, there are data of three internal angles and three side lengths. The triangle data formed by the triangle forming unit 103 is supplied to the matching candidate selecting unit 104.
The matching candidate selection unit 104 performs a searching process for selecting a triangle as a matching candidate in performing a matching process between the triangle in the captured image and the triangle in the crater map.
そして、点群マッチング処理部１０５は、マッチング候補選定部１０４で選ばれた撮影画像から選択した三角形と、マップ記憶部１０７に記憶された月面のクレータマップから選択した三角形を比較し、最も相似度が高い三角形を選ぶ点群マッチング処理を行う。マップ記憶部１０７には、月面のクレータを点群化したクレータマップが記憶されている。マップ記憶部１０７が記憶する点群のクレータマップには、そのクレータマップ内の点群で構成される三角形のデータベースを持つ。三角形のデータベースには、それぞれの三角形の３つの内角の大きさ、３つの辺の長さ、重心座標、三角形が存在する領域を示す格子番号などが格納される。 Then, the point cloud matching processing unit 105 compares the triangle selected from the captured image selected by the matching candidate selection unit 104 with the triangle selected from the crater map of the lunar surface stored in the map storage unit 107, and most similar. A point cloud matching process for selecting a triangle with a high degree is performed. The map storage unit 107 stores a crater map in which the craters on the moon are grouped into points. The point group crater map stored in the map storage unit 107 has a triangular database composed of point groups in the crater map. The triangle database stores the size of the three inner angles of each triangle, the length of the three sides, the barycentric coordinates, the lattice number indicating the area where the triangle exists, and the like.
そして、点群マッチング処理部１０５は、撮影画像から得たマッチング候補となる三角形のデータと、マップ記憶部１０７に記憶された月面のクレータマップとを比較し、点群マッチング処理を行う。なお、クレータマップから比較する三角形のデータを取り出す際に、探査機１が周回中の月面のおおまかな範囲が分かる場合には、その範囲のクレータマップから優先して三角形のデータを取り出す。 Then, the point cloud matching processing unit 105 compares the triangle data that is a matching candidate obtained from the captured image with the crater map of the lunar surface stored in the map storage unit 107, and performs point cloud matching processing. When extracting the data of the triangle to be compared from the crater map, if the rough range of the lunar surface on which the spacecraft 1 is orbiting is known, the triangular data is extracted with priority from the crater map in that range.
点群マッチング処理部１０５は、撮影画像内の三角形とマップ記憶部１０７に記憶された点群の三角形とのマッチング処理を行い、最も相似度が高い三角形を含んでいる候補領域を探し出す。そして、推定結果出力部１０６が、最も相似度が高い三角形を含んでいる候補領域を参照して、撮影画像の中心座標を取得し、撮影画像の中心座標を推定結果として出力する。 The point group matching processing unit 105 performs a matching process between the triangles in the captured image and the triangles of the point group stored in the map storage unit 107, and searches for candidate areas including the triangle having the highest similarity. Then, the estimation result output unit 106 refers to the candidate area including the triangle having the highest similarity, acquires the center coordinates of the photographed image, and outputs the center coordinates of the photographed image as the estimation result.
［３．一実施の形態例の処理の流れ］
図４は、点群マッチング処理システム１００で実行される位置推定処理の流れを示すフローチャートである。
まず、点群マッチング処理システム１００の点群化処理部１０２が、撮影画像の点群化処理を行い、画像に含まれる特徴点であるクレータの中心位置を点で示した点群化データを得る。そして、三角形形成部１０３が、点群化処理で得られた点群化データから、一定の条件を満たす（例えば他の点を内包しない）三角形を取得する処理を行う（ステップＳ１１）。
[3. Process flow of embodiment]
FIG. 4 is a flowchart showing a flow of position estimation processing executed in the point cloud matching processing system 100.
First, the point grouping processing unit 102 of the point group matching processing system 100 performs point grouping processing of the captured image, and obtains point grouping data indicating the center position of the crater, which is a feature point included in the image, as a point. . And the triangle formation part 103 performs the process which acquires the triangle which satisfy | fills a fixed condition (for example, does not include another point) from the point group data obtained by the point group process (step S11).
この三角形を形成する際には、例えば、撮影画像から得られたクレータ（点）の中で信頼度が高いクレータ（点）から順に各辺の長さｌｉ′（ｉ＝１，２，３， ｌｍｉｎ′≦ｌｉ′≦ｌｍａｘ′）で、且つ、各内角の大きさθｉ′（ｉ＝１，２，３， θｍｉｎ′≦ｌｉ′≦θｍａｘ′）の三角形を形成する。ここでの信頼度とは、例えば撮影画像に写っている物体をクレータと判別したときに、それぞれのクレータが、本当にクレータである可能性を数値化したものである。
ここでの三角形の形成時には、撮影画像内の点群から得られた三角形の総数が一定個数（例えば１５００個）に達したとき、計算時間の制約上、三角形の形成を打ち切る。一定個数で計算を打ち切るのは一例であり、計算時間に制約がない場合や、高速での演算が可能な場合には、撮影画像から条件を満たす全ての三角形を算出してもよい。
そして、例えば、三角形の重心が撮影画像の中心に近いものから昇順に並び替え、三角形の内角と辺の長さを計算して、データ化する。
When forming this triangle, for example, the length l i ′ (i = 1, 2, 3) of each side in order from the crater (point) having the highest reliability among the craters (points) obtained from the captured image. , L min ′ ≦ l i ′ ≦ l max ′) and form a triangle with each interior angle size θ i ′ (i = 1, 2, 3, θ min ′ ≦ l i ′ ≦ θ max ′) To do. The reliability here is, for example, a value obtained by quantifying the possibility that each crater is really a crater when an object shown in the captured image is determined as a crater.
At the time of forming the triangle here, the formation of the triangle is terminated due to the limitation of calculation time when the total number of triangles obtained from the point group in the photographed image reaches a certain number (for example, 1500). Stopping the calculation with a fixed number is an example, and if the calculation time is not limited or if high-speed calculation is possible, all triangles that satisfy the condition may be calculated from the captured image.
Then, for example, the triangles are rearranged in ascending order from the center of the captured image to the center of the captured image, and the interior angles and side lengths of the triangles are calculated and converted into data.
このようにして、撮影画像から三角形を形成した後、探査機１の飛行制御装置（不図示）から得られる推定周回座標位置（ｘｇ，ｙｇ）を含むクレータマップ内の１つの格子を選択する。例えば、図５の左側に示すように、クレータマップをｘ座標とｙ座標のそれぞれで３５画素ごとに格子状に区分けし、探査機１の座標位置（ｘｇ，ｙｇ）を含む格子を基準に、マンハッタン距離が３以内の格子を探索範囲とする。図５の右側は、基準（中心）の格子からのマンハッタン距離を示し、本例の場合には、マンハッタン距離が０〜３の格子を全て探索範囲に設定する。
ここで、マンハッタン距離とは、幾何学における距離概念のひとつであり、各座標の差（の絶対値）の総和を２点間の距離とするものである。
In this way, after forming a triangle from the captured image, one grid in the crater map including the estimated orbital coordinate position (x g , y g ) obtained from the flight control device (not shown) of the spacecraft 1 is selected. To do. For example, as shown on the left side of FIG. 5, the crater map is divided into a grid pattern for every 35 pixels in each of the x coordinate and the y coordinate, and a grid including the coordinate position (x g , y g ) of the probe 1 is used as a reference. In addition, the search range is a lattice having a Manhattan distance of 3 or less. The right side of FIG. 5 shows the Manhattan distance from the reference (center) lattice. In this example, all the lattices having a Manhattan distance of 0 to 3 are set as the search range.
Here, the Manhattan distance is one of distance concepts in geometry, and the sum of differences (absolute values) of each coordinate is used as a distance between two points.
図４のフローチャートの説明に戻る。ステップＳ１１で、探索範囲が決まると、マッチング候補選定部１０４は、撮影画像の点群から形成した三角形の内から、候補となる三角形を一つ選択する（ステップＳ１２）。さらに、マッチング候補選定部１０４は、クレータマップ内の三角形のデータベースから、比較候補となる三角形を得る探索処理を行い、比較候補となる三角形を一つ選択する（ステップＳ１３）。 Returning to the flowchart of FIG. When the search range is determined in step S11, the matching candidate selection unit 104 selects one candidate triangle from among the triangles formed from the point cloud of the captured image (step S12). Further, the matching candidate selection unit 104 performs a search process for obtaining a triangle as a comparison candidate from the triangle database in the crater map, and selects one triangle as a comparison candidate (step S13).
撮影画像とクレータマップの双方から候補の三角形が選ばれると、点群マッチング処理部１０５は、ステップＳ１１で撮影画像から選択された候補三角形と、ステップＳ１２でクレータマップから選択された候補三角形とを比較する。ここでは、まず点群マッチング処理部１０５は、ステップＳ１２で得た候補の三角形と、ステップＳ１２で得た比較対象の三角形とのそれぞれが、候補三角形として予め決められた条件を満たすか否かを判断する（ステップＳ１４）。ここでの候補三角形と判断する条件としては、例えば、線対称でない三角形である点、三辺の比率が予め決められた範囲内である点、三角形の相似度が所定範囲内である点、内角の最小角度が１５°以上である点などがある。 When candidate triangles are selected from both the photographed image and the crater map, the point cloud matching processing unit 105 selects the candidate triangle selected from the photographed image in step S11 and the candidate triangle selected from the crater map in step S12. Compare. Here, first, the point cloud matching processing unit 105 determines whether or not each of the candidate triangle obtained in step S12 and the comparison target triangle obtained in step S12 satisfies a predetermined condition as a candidate triangle. Judgment is made (step S14). Conditions for determining the candidate triangle here include, for example, a point that is not a line-symmetric triangle, a point that the ratio of three sides is within a predetermined range, a point that the similarity of the triangle is within a predetermined range, and an interior angle There is a point where the minimum angle is 15 ° or more.
ここで、候補三角形としての条件を満たす場合（ステップＳ１４のＹｅｓ）、その条件を満たした場合、点群マッチング処理部１０５は、それぞれの三角形について、三角形の周囲の点である外点が予め決められたＮ個（Ｎは１以上の予め決められた整数値）以上存在するか否かを判断する（ステップＳ１５）。ここで、それぞれの候補三角形について、外点がＮ個以上存在する場合（ステップＳ１５のｙｅｓ）、点群マッチング処理部１０５は、比較に使用する外点の候補の選択を行う（ステップＳ１６）。さらに、点群マッチング処理部１０５は、候補となった外点を絞り込む絞り込み処理を行う（ステップＳ１７）。そして、点群マッチング処理部１０５は、絞り込まれた外点と三角形とを使って、撮影画像側の点群の三角形と、クレータマップ側の点群の三角形とが一致しているかを判定し、その一致が判断された三角形のペアに基づいて、マッチングしていることの判断を行う（ステップＳ１８）。 Here, when the condition as a candidate triangle is satisfied (Yes in step S14), when the condition is satisfied, the point group matching processing unit 105 determines in advance an outer point that is a point around the triangle for each triangle. It is determined whether or not there are N or more (N is a predetermined integer value of 1 or more) (step S15). Here, when there are N or more external points for each candidate triangle (step S15: yes), the point group matching processing unit 105 selects external point candidates to be used for comparison (step S16). Further, the point cloud matching processing unit 105 performs a narrowing process for narrowing down the candidate outside points (step S17). Then, the point group matching processing unit 105 determines whether the point group triangle on the captured image side matches the point group triangle on the crater map side using the narrowed outer points and triangles, Based on the pair of triangles for which the match is determined, it is determined that they are matched (step S18).
ステップＳ１８でのマッチング処理で、撮影画像から得た三角形と一致したクレータマップ内の三角形が得られた後、点群マッチング処理部１０５は、座標計算に必要な補正処理を行う（ステップＳ１９）。ここでの補正処理の詳細については後述する。
そして、補正処理が行った後、点群マッチング処理部１０５は、マッチングしたクレータマップに基づいて、撮影画像の中心座標を計算し（ステップＳ２０）、推定結果出力部１０６が、計算した自己の座標位置を出力する（ステップＳ２１）。
After the triangle in the crater map that matches the triangle obtained from the captured image is obtained in the matching process in step S18, the point cloud matching processing unit 105 performs a correction process necessary for coordinate calculation (step S19). Details of the correction process will be described later.
After the correction processing, the point cloud matching processing unit 105 calculates the center coordinates of the captured image based on the matched crater map (step S20), and the estimation result output unit 106 calculates the own coordinates. The position is output (step S21).
一方、ステップＳ１４およびステップＳ１５の判断で、それぞれの条件に該当しない場合（ステップＳ１４〜Ｓ１５のｎｏ）、点群マッチング処理部１０５は、クレータマップ内の候補領域内の全ての三角形のデータを使用したか否かを判断する（ステップＳ２２）。ここで、クレータマップ内の候補領域内の全ての三角形のデータを使用していない場合（ステップＳ２２のｎｏ）、ステップＳ１３の処理に戻り、マッチング候補選定部１０４が、まだ候補として選定していない別の三角形のデータを候補三角形としてクレータマップから取り出して、点群マッチング処理部１０５に送る。 On the other hand, if it is determined in step S14 and step S15 that the conditions are not satisfied (no in steps S14 to S15), the point cloud matching processing unit 105 uses data of all triangles in the candidate area in the crater map. It is determined whether or not it has been done (step S22). If all the triangle data in the candidate area in the crater map is not used (No in step S22), the process returns to step S13, and the matching candidate selection unit 104 has not yet selected as a candidate. Data of another triangle is extracted from the crater map as a candidate triangle and sent to the point cloud matching processing unit 105.
また、ステップＳ２２において、クレータマップの全ての三角形のデータを候補としたと判断したとき（ステップＳ２２のｙｅｓ）、点群マッチング処理部１０５は、撮影画像内の全ての三角形のデータを使用したか否かを判断する（ステップＳ２３）。ここで、撮影画像内の全ての三角形のデータを使用していない場合（ステップＳ２３のｎｏ）、ステップＳ１２の処理に戻り、マッチング候補選定部１０４が、まだ候補として選定していない別の三角形のデータを撮影画像から得た点群から取り出して、点群マッチング処理部１０５に送る。 In step S22, when it is determined that all the triangle data in the crater map are candidates (yes in step S22), has the point cloud matching processing unit 105 used all the triangle data in the captured image? It is determined whether or not (step S23). If all the triangle data in the captured image is not used (no in step S23), the process returns to step S12, and the matching candidate selection unit 104 selects another triangle that has not yet been selected as a candidate. Data is extracted from the point cloud obtained from the captured image and sent to the point cloud matching processing unit 105.
さらに、ステップＳ２３において、撮影画像内の全ての三角形のデータを使用したと判断したとき（ステップＳ２３のｙｅｓ）、点群マッチング処理部１０５は、マッチング未了とし、ここでのマッチング処理を終了する（ステップＳ２４）。 Furthermore, when it is determined in step S23 that all the triangle data in the photographed image has been used (yes in step S23), the point cloud matching processing unit 105 determines that the matching is not completed, and ends the matching process here. (Step S24).
［４．マッチング処理の詳細］
次に、マッチング処理部１０５が撮影画像から得た候補三角形と、クレータマップから得た候補三角形とを比較して、マッチングしているか否かを判断する処理の詳細を説明する。なお、以下の説明において、マッチングと述べた場合には、候補三角形と比較対象の三角形とが一致していることを判断する処理である。また、ペアリングと述べた場合には、個々の三角形や外点に関する情報を比較して対応（一致）しているか否かを判定する処理である。本例の場合には、条件を変えて同一の三角形や外点についてのペアリング判定を行って、その複数の条件でペアリングしていると判定した場合に、最終的に画像内の三角形とマップ内の三角形とがマッチングしていると判断する。
[4. Details of matching process]
Next, details of a process in which the matching processing unit 105 compares the candidate triangle obtained from the captured image with the candidate triangle obtained from the crater map to determine whether or not the matching is performed will be described. In the following description, when matching is described, it is a process of determining that the candidate triangle matches the comparison target triangle. Further, in the case of “pairing”, it is a process of comparing information on individual triangles and external points to determine whether or not they correspond (match). In the case of this example, when the pairing determination is performed for the same triangle or outer point by changing the conditions, and it is determined that the pairing is performed under the plurality of conditions, the triangle in the image is finally determined. Judge that the triangle in the map matches.
まず、図６を参照して、候補三角形の点群を比較して照合する処理の概要を説明する。
図６に示すように、撮影画像３内の点群とクレータマップ４内の点群とのマッチング処理が行われる。ここで、図６の右側に拡大して示すように、点群から三角形を形成すると共に、三角形の外側の周囲の特定の点を外点とし、三角形の重心から外点までのベクトルを生成して、撮影画像３から得たベクトルの内積および外積と、クレータマップ４から得たベクトルの内積および外積を比較する。
First, with reference to FIG. 6, an outline of processing for comparing and collating point groups of candidate triangles will be described.
As shown in FIG. 6, a matching process between the point group in the captured image 3 and the point group in the crater map 4 is performed. Here, as shown enlarged on the right side of FIG. 6, a triangle is formed from the point group, a specific point around the outside of the triangle is an outer point, and a vector from the center of gravity of the triangle to the outer point is generated. The inner product and outer product of the vectors obtained from the captured image 3 are compared with the inner product and outer product of the vectors obtained from the crater map 4.
図７は、撮影画像の三角形と外点からそれぞれ形成されるベクトルと、クレータマップの三角形と外点からそれぞれ形成されるベクトルとの具体的な例を示す。
図７の左側に示すように、撮影画像から得たクレータの中心を示す点群で三角形を取得し、その三角形の重心（図中の四角形）から、１つの外点までのベクトルをｖｉ′とし、三角形の最大の長さの辺（長辺）に対応する所定方向のベクトルをｄｌ′とする。また、図７の右側に示すように、クレータマップから得たクレータの中心を示す点群で三角形を取得し、その三角形の重心（図中の四角形）から、１つの外点までのベクトルをｖｉとし、三角形の最大の長さの辺（長辺）に対応する所定方向のベクトルをｄｌとする。
FIG. 7 shows specific examples of vectors formed from triangles and outer points of the captured image, and vectors formed from triangles and outer points of the crater map, respectively.
As shown on the left side of FIG. 7, a triangle is acquired from a point cloud indicating the center of the crater obtained from the photographed image, and a vector from the center of gravity (rectangle in the figure) to one outer point is represented by v i ′. And a vector in a predetermined direction corresponding to the longest side (long side) of the triangle is d 1 ′. Further, as shown on the right side of FIG. 7, a triangle is acquired from a point group indicating the center of the crater obtained from the crater map, and a vector from the center of gravity (rectangle in the figure) to one outer point is represented by v. and i, a predetermined direction of the vector corresponding to the maximum length of the sides of the triangle (long side) and d l.
このとき、マッチング処理部１０５でのマッチングのためのペアリング判定では、撮影画像から得た２つのベクトルｖｉ′、ｄｌ′の内積と外積を計算する。同様に、クレータマップから得た２つのベクトルｖｉ、ｄｌの内積と外積を計算する。そして、それぞれの内積の絶対値の差と外積の絶対値の差から照合を行う。
この計算を行う際には、クレータマップと撮影画像の倍率を揃える必要があり、基準となった三角形の最大の長さの辺のベクトルｄｌ、ｄｌ′の長さの比率から、倍率を算出する。
各ベクトルの内積と外積を計算する計算式の例を、［数１］式〜［数４］に示す。各記号の上部の「→」はベクトルを示す。
At this time, in the pairing determination for matching in the matching processing unit 105, an inner product and an outer product of two vectors v i ′ and d l ′ obtained from the captured image are calculated. Similarly, the inner product and outer product of two vectors v i and d l obtained from the crater map are calculated. Then, collation is performed from the difference between the absolute values of the inner products and the absolute value of the outer products.
When performing this calculation, it is necessary to align the magnification of the crater map and the photographed image, and the magnification is determined from the ratio of the lengths of the vectors d l and d l ′ of the side of the maximum length of the reference triangle. calculate.
Examples of formulas for calculating the inner product and outer product of each vector are shown in [Formula 1] to [Formula 4]. “→” at the top of each symbol indicates a vector.
［数４］式において、MIND2は、判断用に設定した閾値である。
［数１］式は、倍率γの計算式である。［数２］式は、内積［naiseki］の計算式であり、［数３］式は、外積［gaiseki］の計算式である。内積によって、三角形から外点への相対方向が計算でき、外積によって、三角形から外点までのおおまかな相対距離が計算できる。
このため、クレータマップの三角形が、撮影画像側の三角形と一致した正しいものである場合、［数２］式の内積値と［数３］式の外積値は、いずれも小さな値になる。
［数４］式は、［数２］式と［数３］式で求めた内積［naiseki］と外積［gaiseki］の距離を計算し、得られた値が一定値以下であるとき、撮影画像とクレータマップとで比較したクレータは、一致したものであると判断する計算式を示す。
In the formula 4, MIND2 is a threshold set for determination.
[Expression 1] is a formula for calculating the magnification γ. [Expression 2] is an equation for the inner product [naiseki], and [Expression 3] is an expression for the outer product [gaiseki]. The inner product can calculate the relative direction from the triangle to the outer point, and the outer product can calculate the approximate relative distance from the triangle to the outer point.
For this reason, when the triangle of the crater map is correct and coincides with the triangle on the captured image side, the inner product value of the [Equation 2] and the outer product value of the [Equation 3] are both small values.
The equation [4] calculates the distance between the inner product [naiseki] and outer product [gaiseki] obtained by the equations [2] and [3], and when the obtained value is less than a certain value, The crater compared between the crater map and the crater map shows a calculation formula for determining that the craters match.
ここで、クレータマップと撮影画像の両者で、同等の倍率で全く検出ずれがない状態で、クレータマップから形成される三角形がマッチングしたときを想定する。すなわち、図８に示すように、クレータマップ側の三角形の長辺ベクトルの始点を(sx,sy)、終点を(px,py)とし、撮影画像側の三角形の長辺ベクトルの始点を(sx′,sy′)、終点を(px′,py′)とする。また、クレータマップ側の三角形の重心座標を(tx,ty)、比較する外点の座標を（vx,vy）とし、撮影画像側の三角形の重心座標を(tx′,ty′)、比較する外点の座標を（vx′,vy′）とする。なお、各図において横軸をｘ軸、縦軸をｙ軸とする。
このとき、ペアリング判定用の内積は、［数５］式で表すことができる。
Here, it is assumed that the triangle formed from the crater map matches in both the crater map and the captured image with no detection deviation at the same magnification. That is, as shown in FIG. 8, the starting point of the long side vector of the triangle on the crater map side is (s x , s y ), the end point is (p x , p y ), and the long side vector of the triangle on the captured image side is Let the start point be (s x ′, s y ′) and the end point be (p x ′, p y ′). Also, the centroid coordinates of the triangle on the crater map side are (t x , t y ), the coordinates of the outside points to be compared are (v x , v y ), and the centroid coordinates of the triangle on the captured image side are (t x ′, t y ′), and the coordinates of the external points to be compared are (v x ′, v y ′). In each figure, the horizontal axis is the x-axis and the vertical axis is the y-axis.
At this time, the inner product for the pairing determination can be expressed by the equation [5].
ここでは、撮影画像とクレータマップの倍率が等しいため、γ＝１であり、三角形がマッチングしている場合、ｘ成分とｙ成分も等しくなるため、(px−sx)＝(px′−sx′)であり、かつ、(py−sy)＝(py′−sy′)になる。このため、Ｔ＝（px−sx）、Ｓ＝（py−sy）とすると、以下の［数６］式で表すことができる。 Here, since the magnification of the photographed image and the crater map is equal, γ = 1, and when the triangles are matched, the x component and the y component are also equal, so (p x −s x ) = (p x ′) −s x ′) and (p y −s y ) = (p y ′ −s y ′). For this reason, when T = (p x −s x ) and S = (p y −s y ), they can be expressed by the following [Equation 6].
さらに、２つの三角形の重心座標も等しいため、［数６］式は、以下の［数７］式に変形できる。 Furthermore, since the barycentric coordinates of the two triangles are also equal, the formula [6] can be transformed into the following [formula 7].
したがって、［数５］式と［数７］式から以下の［数８］式が得られる。 Accordingly, the following [Equation 8] is obtained from the [Equation 5] and [Equation 7].
同様に、ペアリング判定用の外積を計算すると、［数９］式のようになる。 Similarly, the outer product for pairing determination is calculated as shown in [Equation 9].
ここで、［数８］式と［数９］式の条件を満たす場合、図９に示すように、クレータマップ側の外点を真の座標位置（vx,vy）とすると、その外点（vx,vy）を中心として斜線で正方形に囲って示す範囲内に撮影画像側の外点（クレータ）が存在すれば、クレータマップと撮影画像とで同じクレータの外点であると見なす。図９において、斜線で示す正方形の１辺を［MIND2］とする。［MIND2］は、［数４］式で設定した閾値である。この図９に示す外点の一辺が［MIND2］の正方形の許容範囲は、内積と外積単体での許容範囲である。 Here, when the conditions of [Formula 8] and [Formula 9] are satisfied, if the outer point on the crater map side is the true coordinate position (v x , v y ), as shown in FIG. If there is an outside point (crater) on the captured image side within the range indicated by a diagonal line around the point (v x , v y ), the crater map and the captured image are outside the same crater Consider it. In FIG. 9, one side of the square indicated by diagonal lines is [MIND2]. [MIND2] is a threshold set by the equation [4]. The allowable range of the square whose outer side is [MIND2] shown in FIG. 9 is an allowable range for the inner product and the outer product alone.
この図９に示すような許容範囲の設定でペアリングを判断してもよいが、本例においては、誤差を小さくすることを目的として、次の図１０に示す許容範囲の設定とする。
すなわち、図９に示すような許容範囲の設定では、撮影画像側の外点（vx′,vy′）が、真の座標位置（vx,vy）に対してずれる方向によって、許容範囲に入る場合と許容範囲外になる場合とがある。すなわち、ｘ軸とｙ軸とで定義される正方形で許容範囲を決めた場合、正方形の中心位置から離れる距離が同じであっても、その距離だけ離れる方向によって、許容範囲内になる場合と、許容範囲外になる場合とがある。
The pairing may be determined by setting the allowable range as shown in FIG. 9, but in this example, the allowable range is set as shown in FIG. 10 for the purpose of reducing the error.
In other words, in the setting of the allowable range as shown in FIG. 9, the outer point (v x ′, v y ′) on the captured image side is allowed depending on the direction in which it is shifted from the true coordinate position (v x , v y ). There are cases where it falls within the range and cases where it falls outside the allowable range. That is, when the allowable range is determined by the square defined by the x-axis and the y-axis, even if the distance away from the center position of the square is the same, depending on the direction away from the distance, the range is within the allowable range. May be out of tolerance.
ここで、本例の場合には、ペアリング判定時の内積値と外積値のユークリッド距離を計算して、図１０に示すように、クレータマップ上の真の外点の座標位置（vx,vy）を中心とした円形で囲って示す斜線の範囲に、撮影画像の外点の座標位置（vx′,vy′）があるか否かを判定する処理を行う。
この図１０に示すように内積と外積の距離を用いた外点の許容範囲を設定することで、撮影画像の外点がどの方向にずれた場合でも、均一の判定基準でずれを評価できるようになり、誤差の少ない判定に貢献する。
Here, in the case of this example, the Euclidean distance between the inner product value and the outer product value at the time of pairing determination is calculated, and as shown in FIG. 10, the coordinate position of the true outer point on the crater map (v x , A process of determining whether or not the coordinate position (v x ′, v y ′) of the outer point of the photographed image is within the hatched area surrounded by a circle centered on v y ) is performed.
As shown in FIG. 10, by setting the allowable range of the outer point using the distance between the inner product and the outer product, it is possible to evaluate the deviation with a uniform criterion even when the outer point of the photographed image is shifted in any direction. It contributes to the judgment with few errors.
具体的な判定の例について図１１を参照して説明する。ここでは、撮影画像側の外点がクレータマップ側の外点に対して４ピクセルずれたときを想定する。ここでの４ピクセルとは、撮影画像を撮影するカメラが出力する画像の画素数（ピクセル数）である。
図１１の左側は、クレータマップの外点に対して、Δx＝４／（√２）、Δy＝４／（√２）ずれた撮影画像側の外点が存在する状態を示す。
一方、図１１の右側は、クレータマップの外点に対して、Δx＝４のずれが発生した外点が撮影画像に存在する状態を示す。
A specific example of determination will be described with reference to FIG. Here, it is assumed that the outer point on the captured image side is shifted by 4 pixels from the outer point on the crater map side. Here, 4 pixels is the number of pixels (number of pixels) of an image output by a camera that captures a captured image.
The left side of FIG. 11 shows a state where there are outer points on the captured image side that are shifted by Δx = 4 / (√2) and Δy = 4 / (√2) with respect to the outer points of the crater map.
On the other hand, the right side of FIG. 11 shows a state in which the outside point where a deviation of Δx = 4 has occurred in the captured image with respect to the outside point of the crater map.
まず、図１１の左側に示す座標位置で、内積［naiseki］と外積［gaiseki］を［数６］式および［数７］式を用いて計算すると、（［naiseki］,［gaiseki］）＝（565,565）になる。
一方、図１１の右側に示すようにｘ方向に４ピクセルのずれがあった場合に内積［naiseki］と外積［gaiseki］を［数３］式および［数４］式を用いて計算すると、（［naiseki］,［gaiseki］）＝（800,0）になる。
ここで、ペアリングの判定を行う基準値として、例えば［naiseki］≦565、かつ［gaiseki］≦565にした場合、同じ距離のずれであっても、図１１の左側の例の場合には、マッチングしたと判断されるが、図１１の右側の例の場合には、マッチングしていないと判断される。
First, when the inner product [naiseki] and outer product [gaiseki] are calculated using the equations [6] and [7] at the coordinate position shown on the left side of FIG. 11, ([naiseki], [gaiseki]) = ( 565,565).
On the other hand, as shown on the right side of FIG. 11, when there is a shift of 4 pixels in the x direction, the inner product [naiseki] and outer product [gaiseki] are calculated using the equations [3] and [4] ( [Naiseki], [gaiseki]) = (800,0).
Here, as a reference value for determining pairing, for example, when [naiseki] ≦ 565 and [gaiseki] ≦ 565, even in the case of the example on the left side of FIG. Although it is determined that they match, in the case of the example on the right side of FIG. 11, it is determined that they do not match.
また、図１２に示すように、Δx＝３のずれが発生した外点が撮影画像に存在する状態を考えた場合にも、（［naiseki］,［gaiseki］）＝（600,0）になり、３ピクセルのずれであっても、マッチングできない状態が生じる。このように、図９に示すような許容範囲の設定では、ずれの方向によっては、４ピクセルのずれを、マッチングすると判断する場合がある一方で、３ピクセルのずれをマッチングせずと判断することがある。ここで、本例の場合には、［数４］式で示した条件で、[MIND2]＝800にすれば、図１０に示すように内積と外積の距離を用いて許容範囲を設定することで、図１１と図１２に示す全てのケースでマッチングありと判断される。したがって、外点がどの方向にずれても、均一な基準で誤差なくマッチングの可否を判断できるようになる。 Also, as shown in FIG. 12, when considering a state in which the outer point where Δx = 3 has occurred is present in the captured image, ([naiseki], [gaiseki]) = (600,0). Even if it is a deviation of 3 pixels, a state in which matching cannot be performed occurs. Thus, in the setting of the allowable range as shown in FIG. 9, depending on the direction of the shift, it may be determined that the 4-pixel shift is matched, while the 3-pixel shift is determined not to be matched. There is. Here, in the case of this example, if [MIND2] = 800 under the condition shown in the equation (4), the allowable range is set using the distance between the inner product and the outer product as shown in FIG. Thus, it is determined that there is matching in all cases shown in FIGS. Therefore, regardless of the direction of the outer point, it is possible to determine whether or not the matching can be performed without any error on a uniform basis.
本例においては、ここまで説明したように、点群から得た三角形と外点を使った撮影画像とクレータマップとの比較で、マッチングしているか否か判断する処理を行うようにしたが、マッチングしたと判断した場合であっても、実際には撮影画像の歪みなどで誤判定しているケースも存在し得る。
すなわち、クレータマップの三角形と撮影画像で形成した三角形でマッチしたが、マッチングした外点のクレータ数がクレータ最小対応点数を満たさない場合には、以下の可能性がある。
ケース１：基準となった三角形が正しくないため、マッチングした外点のクレータ数が少ない場合。
ケース２：基準となった三角形は正しいが、クレータマップと撮影画像で共通な外点のクレータ数がクレータ最小対応点数より少ない場合。
In this example, as described so far, a process of determining whether or not there is a match is performed by comparing the captured image using the triangle obtained from the point cloud and the outer point and the crater map. Even when it is determined that there is a match, there may actually be a case where an erroneous determination is made due to distortion of the captured image.
That is, if the crater map triangle matches the triangle formed by the captured image, but the number of craters at the matched outer points does not satisfy the crater minimum corresponding number of points, there are the following possibilities.
Case 1: When the number of craters at the matched outer points is small because the reference triangle is not correct.
Case 2: The reference triangle is correct, but the number of external craters common to the crater map and the captured image is less than the minimum number of craters.
ここで、本例においては、ケース１とケース２のいずれであるかを判断するために、以下に説明するマルチペアリングの手法によって、マッチしたクレータ群でベクトルを複数形成して、その形成した複数の組み合わせで、ずれが予め決められた一定条件を満たすか否かを判断して、正しい三角形のペアを得るようにした。 Here, in this example, in order to determine whether it is Case 1 or Case 2, a plurality of matched crater groups are used to form a vector by the multi-pairing method described below. A correct triangle pair is obtained by judging whether or not the deviation satisfies a predetermined condition in a plurality of combinations.
すなわち、例えば図１３に示すように、３点ｇ、ｈ、ｋで構成される三角形の外側の２つの外点ｉ、ｊが存在する場合を考える。このとき三角形を基準としたベクトルを複数形成する。例えば、図１３（Ａ）に示すように、点ｇ、ｈ、ｋで構成される三角形の３つの辺の内で、最も長い辺（長辺）の所定方向のベクトル［→］Ｐｈｋと、三角形の重心から外点ｉまたは外点ｊまでのベクトル［→］Ｐｉまたは［→］Ｐｊを得る。そして、長辺のベクトル［→］Ｐｈｋと、外点までのベクトルとの内積および外積を算出して、撮影画像側とクレータマップ側とのペアリング判定を行う。この長辺のベクトルと外点までのベクトルとの内積および外積を算出して、ペアリング判定を行う点については、図８などで既に説明した通りである。この図１３（Ａ）の判定をパターン１のペアリングとする。なお、外点が、ｉ、ｊの２点存在する場合を説明しているが、いずれか１点の場合でペアリング判定を行っても良い。以下の短辺、中辺の場合も同様である。 That is, for example, as shown in FIG. 13, consider a case where there are two outer points i and j outside the triangle formed by three points g, h, and k. At this time, a plurality of vectors based on the triangle are formed. For example, as shown in FIG. 13A, a vector [→] P hk in a predetermined direction of the longest side (long side) among the three sides of the triangle formed by the points g, h, and k, A vector [→] P i or [→] P j from the centroid of the triangle to the outer point i or outer point j is obtained. Then, the inner product and outer product of the long side vector [→] P hk and the vector up to the outer point are calculated, and pairing determination between the captured image side and the crater map side is performed. The point where the inner product and the outer product of the vector of the long side and the vector up to the outer point are calculated and the pairing determination is performed is as already described with reference to FIG. The determination of FIG. 13A is pattern 1 pairing. In addition, although the case where there are two outer points i and j has been described, the pairing determination may be performed in the case of any one point. The same applies to the following short side and middle side.
さらにマルチペアリングでは、図１３（Ｂ）に示すように、三角形の３つの辺の内の、最も短い長さの辺（短辺）の所定方向のベクトル［→］Ｐｋｇと、三角形の重心から外点ｉまたは外点ｊまでのベクトル［→］Ｐｉまたは［→］Ｐｊとを使って、内積および外積を算出して、撮影画像側とクレータマップ側とのペアリング判定（パターン２のペアリング判定）を行う。
そしてさらに、図１３（Ｃ）に示すように、三角形の３つの辺の内の、中間の長さの辺（中辺）の所定方向のベクトル［→］Ｐｇｈと、三角形の重心から外点ｉまたは外点ｊまでのベクトル［→］Ｐｉまたは［→］Ｐｊとを使って、内積および外積を算出して、撮影画像側とクレータマップ側とのペアリング判定（パターン３のペアリング判定）を行う。
Furthermore, in multi-pairing, as shown in FIG. 13B, a vector [→] P kg in a predetermined direction of the shortest side (short side) of the three sides of the triangle and the center of gravity of the triangle The inner product and outer product are calculated using the vector [→] P i or [→] P j from the point to the outer point i or the outer point j to determine the pairing between the captured image side and the crater map side (pattern 2). Pairing determination).
Further, as shown in FIG. 13C, a vector [→] P gh in a predetermined direction of an intermediate length side (middle side) of the three sides of the triangle and an outer point from the center of gravity of the triangle. i or vector to the outer point j [→] use and P i or [→] P j, calculate the inner product and outer product, pairing pairing determination (pattern 3 and the photographed image side and crater map side Judgment).
そして、得られたパターン１，２，３の全ての組み合わせについて、各ベクトルの撮影画像側のずれと、クレータマップ側のずれとが、ずれの条件を満たしてペアリングしているか否かのチェックを行い、全てのパターン（あるいは少なくとも２つパターン）で、ずれの条件を満たす場合に、比較した撮影画像側の三角形とクレータマップ側の三角形がマッチングしていると判断するようにした。 Then, for all combinations of the obtained patterns 1, 2, and 3, check whether the deviation on the captured image side of each vector and the deviation on the crater map side satisfy pairing conditions and are paired. When all the patterns (or at least two patterns) satisfy the deviation condition, it is determined that the compared triangle on the captured image side matches the triangle on the crater map side.
以下、マルチペアリングの手法の詳細について説明する。
ここでは、図１３（Ａ）に示す長辺と外点とを使ったペアリングの計算と、図１３（Ｂ）に示す短辺と外点とを使ったペアリングの計算と、図１３（Ｃ）に示す三角形の中辺と外点とを使ったペアリングの計算とを行う。図１３（Ａ）に示す長辺と外点とを使ったペアリングの計算については、既に説明したので省略する。
図１４は、三角形の中辺を用いた計算方法を示し、図１５は、三角形の短辺を用いた計算方法を示す。ここでは、クレータマップと撮影画像とでマッチングした外点のクレータを示している。
Hereinafter, the details of the multi-pairing method will be described.
Here, the pairing calculation using the long side and the external point shown in FIG. 13A, the pairing calculation using the short side and the external point shown in FIG. 13B, and FIG. The pairing calculation using the inner side and outer point of the triangle shown in C) is performed. Since the calculation of pairing using the long side and the outer point shown in FIG.
FIG. 14 shows a calculation method using the middle side of the triangle, and FIG. 15 shows a calculation method using the short side of the triangle. Here, a crater at an outer point matched by a crater map and a captured image is shown.
まず、図１４の例について説明すると、撮影画像の中辺のベクトルをｄｍ′、クレータマップの中辺のベクトルをｄｍとする。これらのベクトルｄｍ′，ｄｍは、先に説明した［数２］式および［数３］式で計算される。したがって、［数１］式〜［数４］式と同様の計算式である、以下の［数１０］式〜［数１２］式で、中辺の内積［middle Naiseki］および中辺の外積［middle Gaiseki］を計算し、［数１３］式で評価することができる。 First, to describe the example of FIG. 14, the vector of the middle part of the captured image d m ', the vector of the middle part of the crater map and d m. These vectors d m ', d m is calculated by the previously described [Expression 2] formula and Equation 3 expression. Therefore, in the following [Expression 10] to [Expression 12], which are the same calculation expressions as [Expression 1] to [Expression 4], the inner product [middle Naiseki] and the outer product [ middle Gaiseki] can be calculated and evaluated by [Equation 13].
同様に、以下の［数１４］式〜［数１６］式で、短辺の内積［short Naiseki］および中辺の外積［short Gaiseki］を計算し、［数１７］式で評価することができる。 Similarly, the inner product [short Naiseki] and the outer product [short Gaiseki] of the short side can be calculated by the following [Equation 14] to [Equation 16], and can be evaluated by the [Equation 17]. .
これらの式により演算して、中辺の内積および外積によるペアリング判定と、短辺の内積および外積によるペアリング判定と、長辺の内積および外積によるペアリング判定とのマルチペアリングを行って、双方の三角形や外点がマッチングしているか否かを評価することができる。なお、最初の評価時に、三角形の最大の長さの辺と外点との相対関係を計算するようにしたのは、クレータの検出ずれを想定した場合、辺の長さが大きい方が長さの誤差が小さくなるためである。ここで、最大の辺を使ってマッチングしていると判定できない場合には、このように残りの２つの辺についても、内積および外積を計算することで、正しい判定ができるようになる。したがって、マルチペアリングの手法を適用することで、マッチングの判定精度が向上する。 By calculating with these formulas, multi-pairing is performed with pairing judgment by inner product and outer product of the middle side, pairing judgment by inner product and outer product of the short side, and pairing judgment by inner product and outer product of the long side. It is possible to evaluate whether or not both triangles and outer points are matched. In the initial evaluation, the relative relationship between the side of the maximum length of the triangle and the outer point was calculated because the longer side length is longer when the detection error of the crater is assumed. This is because the error of is small. Here, when it cannot be determined that matching is performed using the maximum side, correct determination can be made by calculating the inner product and the outer product for the remaining two sides as described above. Therefore, by applying the multi-pairing method, the matching determination accuracy is improved.
本例におけるマルチペアリングの手法として、さらに、複数の外点を使ったペアリング判定を行うようにした。すなわち、外点２つからなる線分と、その線分を形成した点以外の点（クレータ）との内積および外積を計算する。
図１６は、この複数の外点と三角形とを使って、内積および外積を計算する状態を示す。
図１６（Ａ）は、２つの外点ｉ，ｊの線分からなるベクトル［→］Ｐｉｊと、外点ｉから三角形の各点ｇ，ｈ，ｋまでのベクトルとの内積および外積をそれぞれ計算して、ペアリング判定する場合を示す。ここでは、この図１６（Ａ）の判定を、パターン４のペアリング判定とする。
図１６（Ｂ）は、２つの外点ｉ，ｊの線分からなるベクトル［→］Ｐｉｊと、外点ｊから三角形の各点ｇ，ｈ，ｋまでのベクトルとの内積および外積をそれぞれ計算する場合を示す。ここでは、この図１６（Ｂ）の判定を、パターン５のペアリング判定とする。
As a method of multi-pairing in this example, pairing determination using a plurality of outer points is further performed. That is, the inner product and outer product of a line segment composed of two outer points and a point (crater) other than the points forming the line segment are calculated.
FIG. 16 shows a state in which an inner product and an outer product are calculated using the plurality of outer points and triangles.
FIG. 16A calculates an inner product and an outer product of a vector [→] P ij composed of line segments of two outer points i and j and a vector from the outer point i to each point g, h, and k of the triangle. In this case, the pairing determination is shown. Here, the determination of FIG. 16A is a pairing determination of pattern 4.
FIG. 16B calculates an inner product and an outer product of a vector [→] P ij composed of line segments of two outer points i and j and a vector from the outer point j to each point g, h, and k of the triangle. Indicates when to do. Here, the determination of FIG. 16B is a pairing determination of pattern 5.
この図１６に示すように、複数の外点を結ぶ線分からなるベクトルと、いずれか一方の外点と三角形の各点を結ぶベクトルとを設定して、内積および外積を計算することでも、撮影画像側の三角形とクレータマップ側の三角形とがペアリングしているか否かを判定することができる。
すなわち、図１３に示すパターン１，２，３のペアリング判定に加えて、図１６に示すパターン４，５のペアリング判定を行って、それぞれのペアリング判定結果を総合的に判断して、撮影画像側の三角形とクレータマップ側の三角形とがマッチングしているか否かを判断することができる。
このように、ペアリング判定を行うパターンが増えることで、よりマッチングの判定精度が高くなる。
As shown in FIG. 16, it is also possible to set a vector consisting of line segments connecting a plurality of outer points and a vector connecting any one of the outer points and each point of the triangle, and calculate the inner product and outer product. It can be determined whether or not the triangle on the image side and the triangle on the crater map side are paired.
That is, in addition to the pairing determination of patterns 1, 2, and 3 shown in FIG. 13, the pairing determination of patterns 4 and 5 shown in FIG. 16 is performed, and the respective pairing determination results are comprehensively determined. It can be determined whether the triangle on the captured image side matches the triangle on the crater map side.
As described above, the number of patterns for performing pairing determination increases, so that the matching determination accuracy becomes higher.
次に、図４のフローチャートのステップＳ１９で行われる推定座標の補正処理を説明する。
この補正処理は、探査機の撮影時の姿勢により、推定座標がずれることを補正するものである。すなわち、図１７に示すように、マッチング処理により推定した座標（Ｘｅ，Ｙｅ）を得たとき、マッチしたクレータのずれ（Δｘｉ，Δｙｉ）の平均値（μｘ，μｙ）から推定値を補正して、補正後の座標Ｘ，Ｙを得るものである。補正後の座標Ｘ，Ｙは、Ｘ＝Ｘｅ−μｘ、Ｙ＝Ｙｅ−μｙである。
Next, the estimated coordinate correction process performed in step S19 of the flowchart of FIG. 4 will be described.
This correction process corrects that the estimated coordinates are shifted due to the attitude of the spacecraft during shooting. That is, as shown in FIG. 17, when the coordinates (X e , Y e ) estimated by the matching process are obtained, the average values (μ x , μ y ) of the matched crater shifts (Δx i , Δy i ) are obtained. The estimated values are corrected to obtain corrected coordinates X and Y. The corrected coordinates X and Y are X = X e −μ x and Y = Y e −μ y .
なお、マッチング処理を行う際には、図１７に示す補正処理とは別に、マッチング処理の前処理として、探査機の姿勢や月面までの距離に応じた補正が必要である。
このマッチング処理時に、マッチング処理の前処理として行われる補正処理の詳細を以下説明する。
図１８は、本例の点群マッチング処理により、撮影画像とクレータマップとでマッチングした点群（クレータ群）の例を示す。ここでは、図１８（Ａ）に示すように、撮影画像の点群は、クレータマップの点群に対して、ｓの倍率があり、θｃだけ回転していると想定する。
In addition, when performing a matching process, the correction | amendment according to the attitude | position of a probe and the distance to the moon surface is required as a pre-process of a matching process separately from the correction process shown in FIG.
Details of correction processing performed as preprocessing of matching processing during the matching processing will be described below.
FIG. 18 shows an example of a point group (crater group) matched between a captured image and a crater map by the point group matching processing of this example. Here, as shown in FIG. 18A, it is assumed that the point group of the captured image has a magnification of s and rotates by θc with respect to the point group of the crater map.
まず、倍率ｓの調整を行う。ここでは、点群マッチングで計算した、クレータマップと撮影画像の倍率ｓを用いて、図１８（Ｂ）に示すように、撮影画像の中心座標を原点に、撮影画像の点群（クレータ群）のスケールをクレータマップの点群（クレータ群）に合わせる処理を行う。
すなわち、撮影画像がクレータマップに対して倍率ｓであるため、撮影画像に対して１／ｓ倍することで、撮影画像がクレータマップと同等の倍率になる。
First, the magnification s is adjusted. Here, as shown in FIG. 18B, using the crater map calculated by point cloud matching and the magnification s of the captured image, the center coordinates of the captured image are used as the origin, and the point group (crater group) of the captured image is used. The process of adjusting the scale of to the point group (crater group) of the crater map is performed.
That is, since the captured image has a magnification s with respect to the crater map, the captured image has the same magnification as the crater map by multiplying the captured image by 1 / s.
次に、回転角θの調整を行う。ここでは、図１８（Ｃ）に示すように、探査機１内で姿勢制御のために得られる情報であるカメラ回転角θＧを用いて、撮影画像の中心座標を原点に撮影画像のクレータ群を回転させ、クレータマップと撮影画像のクレータ群の回転角の差を０°にする。すなわち、図１８（Ｃ）に示すように、撮影画像がクレータマップに対してθＧだけ回転しているため、撮影画像に対してθＧ°だけ回転させることで、クレータマップと撮影画像の回転角の差を０°にする。 Next, the rotation angle θ is adjusted. Here, as shown in FIG. 18C, using the camera rotation angle θ G which is information obtained for attitude control in the probe 1, a crater group of captured images with the center coordinate of the captured image as the origin. And the difference in rotation angle between the crater map and the crater group of the captured image is set to 0 °. That is, as shown in FIG. 18C, since the captured image is rotated by θ G with respect to the crater map, rotation of the crater map and the captured image is performed by rotating the captured image by θ G °. Set the angle difference to 0 °.
このようにして、撮影画像からマッチングした点群（クレータ群）を、クレータマップの点群（クレータ群）の倍率と回転角に合わせて、適切な座標が計算できるようにする。 In this way, appropriate coordinates can be calculated by matching the point group (crater group) matched from the captured image with the magnification and rotation angle of the point group (crater group) of the crater map.
［５．実験結果の例］
次に、本発明の一実施の形態例によって、クレータを撮影した画像とクレータマップとを比較して、自己位置を推定する処理を実行した実験例について説明する。
ここでは、本例の位置推定を、以下のパターン１〜パターン１０の１０種類のテストパターンについて、各パターンで１０００枚の異なるクレータ画像を用意して、合計で１００００回の位置推定を行った実験結果を示す。
テストパターン１：理想的な状態で撮影されたクレータ画像
テストパターン２：明度が悪いクレータ画像
テストパターン３：コントラストが悪いクレータ画像
テストパターン４：焦点がぼけたクレータ画像
テストパターン５：輝度ゆらぎが生じたクレータ画像
テストパターン６：放射線ノイズが生じたクレータ画像
テストパターン７：歪曲収差が生じたクレータ画像
テストパターン８：ぶれが生じた画像
テストパターン９：周辺減光が生じた画像
テストパターン１０：クレータを照らす太陽の高度がずれた画像
[5. Example of experimental results]
Next, an experimental example will be described in which an image obtained by photographing a crater is compared with a crater map and a process for estimating a self-position is executed according to an embodiment of the present invention.
Here, the position estimation of this example is performed by preparing 1,000 different crater images for each of the following 10 patterns of pattern 1 to pattern 10 and performing a total of 10,000 position estimations. Results are shown.
Test pattern 1: Crater image taken in an ideal state Test pattern 2: Crater image test pattern with poor brightness 3: Crater image test pattern with poor contrast 4: Crater image test pattern with out of focus 5: Luminance fluctuation occurs Crater image test pattern 6: Crater image test pattern with radiation noise 7: Crater image test pattern with distortion aberration 8: Image test pattern with blurring 9: Image test pattern with peripheral dimming 10: Crater The sun's altitude is off
表１は、本例のマルチペアリングの手法を適用して位置推定を行った結果を示す。表２は、マルチペアリングを行わずに、三角形の長辺と外点とを使ったペアリング結果からマッチング処理を行って、位置推定を行った結果を示す。なお、表１で下地がグレーの欄は、表２に示す値よりも優れた値であることを示す。 Table 1 shows the result of position estimation by applying the multi-pairing method of this example. Table 2 shows the result of the position estimation performed by performing the matching process from the pairing result using the long side of the triangle and the outer point without performing multi-pairing. In Table 1, the gray background column indicates that the values are superior to those shown in Table 2.
表１に示す本例の場合、理想的なクレータ画像であるテストパターン１では、１０００回のテストが全て成功し、誤マッチングが０回、マッチングできないマッチング未了が０回である。一方、テストパターン２〜１０では、誤マッチングした回数とマッチングできないマッチング未了の回数を合計した回数だけ、テストした回数である１０００回から少ない回数が、成功回数になっているが、テストパターン２，５，７，８，９では、誤マッチングや未了の回数が非常に少なく、１０００回に近い成功回数が得られる。
この表１の本例による成功回数を、表２の従来手法による成功回数と比較すると、従来以上の成功回数になっている。
In the case of this example shown in Table 1, in the test pattern 1 which is an ideal crater image, all 1000 tests are successful, false matching is 0 times, and unmatching that cannot be matched is 0 times. On the other hand, in the test patterns 2 to 10, the number of successes is less than 1000 times the number of times tested, which is the total number of times of mismatching and the number of incomplete matching that cannot be matched. , 5, 7, 8, and 9, the number of false matches and the number of unfinished operations is very small, and the number of successes close to 1000 is obtained.
When the number of successes according to the present example in Table 1 is compared with the number of successes according to the conventional method shown in Table 2, the number of successes is greater than that in the past.
一方、推定誤差については、表１に示す本例の場合、ほぼ１ピクセル以下の平均誤差であり、テストパターン６のみが、１ピクセルをわずかに超えた平均誤差であり、表２に示す従来手法よりも大幅に改善されていることがわかる。また、推定誤差の最大値で見たとき、表２の従来手法の場合、テストパターン３やテストパターン６で、２００ピクセルを超える非常に大きな誤差が発生しているが、表１の本例の場合には、最大誤差がテストパターン３の場合で約６ピクセル、テストパターン６の場合で約５ピクセルであり、最大誤差が大きく改善されている。このため、従来手法では稀であっても大幅に誤差がある状態で位置推定が行われる可能性があったが、本例の場合には、位置推定時の最大誤差を常に小さくすることができ、探査機の着陸地点の誘導が非常に適切にできるようになる。
最大の計算時間についても、表１に示す本例の場合と表２に示す従来手法とを比較すると、本例の場合の方が短時間で計算できていることがわかる。この計算時間は、実際の探査機１に搭載されるコンピュータ装置の計算能力を想定して、算出した時間である。
On the other hand, in the case of this example shown in Table 1, the estimated error is an average error of almost 1 pixel or less, and only the test pattern 6 is an average error slightly exceeding 1 pixel. It can be seen that it is greatly improved. Further, when viewed from the maximum value of the estimation error, in the case of the conventional method of Table 2, a very large error exceeding 200 pixels occurs in the test pattern 3 and the test pattern 6, but in this example of Table 1, In this case, the maximum error is about 6 pixels in the case of the test pattern 3 and about 5 pixels in the case of the test pattern 6, and the maximum error is greatly improved. For this reason, there is a possibility that position estimation may be performed in a state where there is a large error even if it is rare in the conventional method, but in this example, the maximum error at the time of position estimation can always be reduced. The landing point of the spacecraft can be guided very appropriately.
As for the maximum calculation time, comparing the case of this example shown in Table 1 with the conventional method shown in Table 2, it can be seen that the case of this example can be calculated in a shorter time. This calculation time is a time calculated on the assumption of the calculation capability of the computer device mounted on the actual spacecraft 1.
以上説明したように本発明の実施の形態例によると、撮影画像から自己位置を推定する精度が向上すると共に、短時間で推定演算が行えるようになるという効果を有する。 As described above, according to the embodiment of the present invention, the accuracy of estimating the self-position from the captured image is improved, and the estimation calculation can be performed in a short time.
［６．変形例］
なお、ここまで説明した処理では、探査機１に搭載されたカメラ１ａが月面を撮影して、予め用意されたクレータマップとの比較で自己位置を推定する場合に適用した。これに対して、本発明は、撮影した画像と、予め用意されたマップとを比較して自己位置を推定する様々な処理に適用が可能である。例えば、地上を走行又は飛行する移動体に搭載されたカメラが撮影した画像と、予め用意されたマップとの比較で、移動体の自己位置を推定する処理に適用してもよい。
[6. Modified example]
The processing described so far is applied to the case where the camera 1a mounted on the spacecraft 1 photographs the moon surface and estimates its own position by comparison with a crater map prepared in advance. In contrast, the present invention can be applied to various processes for estimating a self-position by comparing a captured image with a map prepared in advance. For example, you may apply to the process which estimates the self-position of a moving body by the comparison with the image which the camera mounted in the moving body which carries out or flies on the ground, and the map prepared beforehand.
また、上述した実施の形態例では、撮影画像やマップから生成する多角形として三角形としたが、より多くの点から形成される多角形を使って、同様の比較で自己位置を推定するようにしてもよい。 In the embodiment described above, a triangle is generated as a polygon generated from a photographed image or a map. However, a self-position is estimated by a similar comparison using a polygon formed from more points. May be.
１…探査機、１ａ…カメラ、２…月面、３…撮影画像、４…クレータマップ、１００…点群マッチング処理システム、１０１…画像キャプチャ部、１０２…点群化処理部、１０３…三角形形成部、１０４…マッチング候補選定部、１０５…点群マッチング処理部、１０６…推定結果出力部、１０７…マップ記憶部 DESCRIPTION OF SYMBOLS 1 ... Spacecraft, 1a ... Camera, 2 ... Moon surface, 3 ... Photographed image, 4 ... Crater map, 100 ... Point cloud matching processing system, 101 ... Image capture part, 102 ... Point cloud processing part, 103 ... Triangle formation , 104 ... matching candidate selection unit, 105 ... point cloud matching processing unit, 106 ... estimation result output unit, 107 ... map storage unit
Claims (6)
予め用意されたマップ内の点群から、前記多角形形成部で得た第１の多角形と相似な第２の多角形を探索する候補選定部と、
前記多角形形成部で得た第１の多角形と、前記候補選定部で得たマップ内の第２の多角形とのそれぞれについて、多角形の周囲に存在する点である少なくとも１つの外点と多角形のそれぞれの辺に対応する複数のベクトルとの関係から、マッチングしている多角形を探すマッチング処理部と、
前記マッチング処理部で得られた第２の多角形のマップ内の座標位置に基づいて、前記画像の座標位置を確定して出力する出力部と、を備える
点群マッチング装置。 A polygon forming unit that forms a first polygon whose apexes are a plurality of points that satisfy a predetermined condition from a point group obtained from an image to be searched;
A candidate selecting unit that searches for a second polygon similar to the first polygon obtained by the polygon forming unit from a point group in a map prepared in advance;
For each of the first polygon obtained by the polygon forming unit and the second polygon in the map obtained by the candidate selecting unit, at least one outer point that is a point existing around the polygon And a matching processing unit for searching for a matching polygon from the relationship between a plurality of vectors corresponding to each side of the polygon,
An output unit configured to determine and output the coordinate position of the image based on the coordinate position in the second polygon map obtained by the matching processing unit.
予め用意されたマップ内の点群から、前記多角形取得処理で得た第１の多角形と相似な第２の多角形を探索する探索処理と、
前記多角形取得処理で得た第１の多角形と、前記探索処理で得たマップ内の第２の多角形とのそれぞれについて、多角形の周囲に存在する点である少なくとも１つの外点と多角形のそれぞれの辺に対応する複数のベクトルとの関係から、マッチングしている多角形を探すマッチング処理と、
前記マッチング処理で得られた第２の多角形のマップ内の座標位置に基づいて、前記画像の座標位置を確定する座標計算処理と、を含む
点群マッチング方法。 A polygon acquisition process for acquiring a first polygon having a plurality of points satisfying a predetermined condition from a point group obtained from an image to be searched;
A search process for searching for a second polygon similar to the first polygon obtained by the polygon acquisition process from a point group in a map prepared in advance;
For each of the first polygon obtained by the polygon acquisition process and the second polygon in the map obtained by the search process, at least one outer point that is a point existing around the polygon; A matching process for finding a matching polygon from a relationship with a plurality of vectors corresponding to each side of the polygon,
And a coordinate calculation process for determining a coordinate position of the image based on a coordinate position in the map of the second polygon obtained by the matching process.
請求項２に記載の点群マッチング方法。 In the matching process, for each of the first polygon obtained by the polygon acquisition process and the second polygon in the map obtained by the search process, from the center or the center of gravity of the polygon to the outer point. The inner product and outer product of the vector and a plurality of vectors corresponding to each side of the polygon are calculated, respectively, and when the calculated inner product and outer product distance is within an allowable range, the first polygon and the second polygon The point cloud matching method according to claim 2, wherein the polygon is determined to be matched with a polygon.
請求項２又は３に記載の点群マッチング方法。 The matching process further includes a plurality of first polygons obtained in the polygon acquisition process and a plurality of the second polygons in the map obtained in the search process that exist around the polygons. 4. The point cloud matching method according to claim 2, wherein a matching polygon is searched for from a relationship between a vector connecting the outer points and a vector connecting the outer point and the vertex of the polygon.
請求項４に記載の点群マッチング方法。 In the matching process, for each of the first polygon and the second polygon, a vector that connects a plurality of external points existing around the polygon, and a vector that connects the external point and the vertex of the polygon An inner product and an outer product are calculated, respectively, and when the calculated distance between the inner product and the outer product is within an allowable range, the first polygon and the second polygon are determined as matching polygons. 5. The point cloud matching method according to 4.
探索対象となる画像から得た点群から所定の条件を満たす複数の点を頂点とした第１の多角形を取得する多角形取得手順と、
予め用意されたマップ内の点群から、前記多角形取得手順で得た第１の多角形と相似な第２の多角形を探索する探索手順と、
前記多角形取得手順で得た第１の多角形と、前記探索手順で得たマップ内の第２の多角形とのそれぞれについて、多角形の周囲に存在する点である少なくとも１つの外点と多角形のそれぞれの辺に対応する複数のベクトルとの関係から、マッチングしている多角形を探すマッチング手順と、
前記マッチング手順で得られた第２の多角形のマップ内の座標位置に基づいて、前記画像の座標位置を確定する座標計算手順と、を含む
プログラム。 A program for causing a computer device to execute a procedure for calculating a coordinate position of the image by comparing the image with a map prepared in advance.
A polygon acquisition procedure for acquiring a first polygon whose apexes are a plurality of points that satisfy a predetermined condition from a point group obtained from an image to be searched;
A search procedure for searching for a second polygon similar to the first polygon obtained by the polygon acquisition procedure from a point cloud in a map prepared in advance;
For each of the first polygon obtained by the polygon acquisition procedure and the second polygon in the map obtained by the search procedure, at least one outer point that is a point existing around the polygon; A matching procedure for finding a matching polygon from the relationship with a plurality of vectors corresponding to each side of the polygon,
A coordinate calculation procedure for determining the coordinate position of the image based on the coordinate position in the map of the second polygon obtained by the matching procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018106820A JP7086386B2 (en) | 2018-06-04 | 2018-06-04 | Point cloud matching device, point cloud matching method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018106820A JP7086386B2 (en) | 2018-06-04 | 2018-06-04 | Point cloud matching device, point cloud matching method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019211949A true JP2019211949A (en) | 2019-12-12 |
| JP7086386B2 JP7086386B2 (en) | 2022-06-20 |
Family
ID=68845265
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018106820A Active JP7086386B2 (en) | 2018-06-04 | 2018-06-04 | Point cloud matching device, point cloud matching method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7086386B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6808111B1 (en) * | 2020-05-07 | 2021-01-06 | 三菱電機株式会社 | Self-position estimation device, navigation control device, image generator, artificial satellite system and self-position estimation method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014127068A (en) * | 2012-12-27 | 2014-07-07 | Nippon Hoso Kyokai <Nhk> | Corresponding point search device, camera posture estimation device and program for these |
| WO2015008798A1 (en) * | 2013-07-18 | 2015-01-22 | 三菱電機株式会社 | Target type identification device |
| JP2018041431A (en) * | 2016-09-02 | 2018-03-15 | 国立大学法人電気通信大学 | Point group matching method with correspondence taken into account, point group matching device with correspondence taken into account, and program |
-
2018
- 2018-06-04 JP JP2018106820A patent/JP7086386B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014127068A (en) * | 2012-12-27 | 2014-07-07 | Nippon Hoso Kyokai <Nhk> | Corresponding point search device, camera posture estimation device and program for these |
| WO2015008798A1 (en) * | 2013-07-18 | 2015-01-22 | 三菱電機株式会社 | Target type identification device |
| JP2018041431A (en) * | 2016-09-02 | 2018-03-15 | 国立大学法人電気通信大学 | Point group matching method with correspondence taken into account, point group matching device with correspondence taken into account, and program |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6808111B1 (en) * | 2020-05-07 | 2021-01-06 | 三菱電機株式会社 | Self-position estimation device, navigation control device, image generator, artificial satellite system and self-position estimation method |
| WO2021224955A1 (en) * | 2020-05-07 | 2021-11-11 | 三菱電機株式会社 | Own-position estimation device, flight control device, image generation device, artificial satellite system, and own-position estimation method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7086386B2 (en) | 2022-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6348093B2 (en) | Image processing apparatus and method for detecting image of detection object from input data | |
| CN109461190B (en) | Measurement data processing device and measurement data processing method | |
| JP5832341B2 (en) | Movie processing apparatus, movie processing method, and movie processing program | |
| US20210375036A1 (en) | Three-dimensional reconstruction method, apparatus and system, model training method and storage medium | |
| US6751338B1 (en) | System and method of using range image data with machine vision tools | |
| KR101212419B1 (en) | Calibration apparatus | |
| US10430650B2 (en) | Image processing system | |
| JP6736257B2 (en) | Information processing device, information processing method, and program | |
| WO2017022033A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2007327938A (en) | Image processing device and method therefor | |
| US7903840B2 (en) | Image processing method, image processing apparatus, image processing program and program recording medium | |
| JP2012042396A (en) | Position attitude measurement device, position attitude measurement method, and program | |
| JP2006065429A (en) | Device and method for extracting change of photographic image | |
| JP6860620B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2019032218A (en) | Location information recording method and device | |
| CN114332225A (en) | Lane line matching positioning method, electronic device and storage medium | |
| WO2020181506A1 (en) | Image processing method, apparatus and system | |
| JP6922348B2 (en) | Information processing equipment, methods, and programs | |
| JP2015111128A (en) | Position attitude measurement device, position attitude measurement method, and program | |
| WO2020133080A1 (en) | Object positioning method and apparatus, computer device, and storage medium | |
| CN116977328B (en) | Image quality evaluation method in active vision of vehicle bottom robot | |
| JPH07103715A (en) | Method and apparatus for recognizing three-dimensional position and attitude based on visual sense | |
| JP2019211949A (en) | Point group matching device, point group matching method and program | |
| CN110411449B (en) | Aviation reconnaissance load target positioning method and system and terminal equipment | |
| JP2007322404A (en) | Image processing device and its processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220411 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220601 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7086386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |