JP7485232B2 - IMAGE MATCHING DEVICE, CONTROL METHOD, AND PROGRAM - Google Patents

IMAGE MATCHING DEVICE, CONTROL METHOD, AND PROGRAM Download PDF

Info

Publication number
JP7485232B2
JP7485232B2 JP2023549942A JP2023549942A JP7485232B2 JP 7485232 B2 JP7485232 B2 JP 7485232B2 JP 2023549942 A JP2023549942 A JP 2023549942A JP 2023549942 A JP2023549942 A JP 2023549942A JP 7485232 B2 JP7485232 B2 JP 7485232B2
Authority
JP
Japan
Prior art keywords
aerial
image
partial
ground
aerial photography
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023549942A
Other languages
Japanese (ja)
Other versions
JP2024506962A (en
Inventor
ロイストン ロドリゲス
真宏 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2024506962A publication Critical patent/JP2024506962A/en
Application granted granted Critical
Publication of JP7485232B2 publication Critical patent/JP7485232B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759—Region-based matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Description

本開示は全体として、画像マッチング、特に、地上画像と空撮画像とのマッチングに関する。 This disclosure relates generally to image matching, and in particular to matching between terrestrial and aerial images.

グラウンド・トゥー・エアリアル・クロスビューマッチング（地上画像と空撮画像のマッチング）を行うコンピュータシステムが開発されている。例えば非特許文献１は、地上画像と空撮画像がマッチするか否かを判定するために、比較すべき地上画像と空撮画像から特徴量を抽出するための CNN（Convolutional Neural Network）のセットを有するシステムを開示する。 A computer system that performs ground-to-aerial cross-view matching (matching of ground images and aerial images) has been developed. For example, Non-Patent Document 1 discloses a system that has a set of convolutional neural networks (CNNs) for extracting features from ground and aerial images to be compared in order to determine whether the ground and aerial images match.

具体的には、一つの CNN が、地上画像を取得して、それから特徴量を抽出する。もう一つの CNN は、極変換された空撮画像を取得し、それから特徴量を抽出する。さらに、そのシステムは、地上画像から抽出された特徴量と空撮画像から抽出された特徴量との相関を算出することにより、空撮画像に対する地上画像の方向に関する配置を推定する。当該方向に関する配置に基づいて、そのシステムは、地上画像に対応すると推定される空撮画像の特徴量のセクションをクロップしてシフトする。そして、地上画像の特徴量が、クロップされた空撮画像の特徴量と比較され、地上画像と空撮画像とがマッチするか否かが特定される。 Specifically, one CNN acquires a ground image and extracts features from it. Another CNN acquires a polar transformed aerial image and extracts features from it. The system then estimates the directional alignment of the ground image with respect to the aerial image by calculating the correlation between the features extracted from the ground image and the features extracted from the aerial image. Based on the directional alignment, the system crops and shifts a section of the aerial image feature that is estimated to correspond to the ground image. The ground image feature is then compared to the cropped aerial image feature to determine whether the ground image and the aerial image match.

Yujiao Shi、Xin Yu、Dylan Campbell、及び Hongdong Li、「Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching」、Computer Research Repository、arXiv:2005.03860、２０２０年５月８日Yujiao Shi, Xin Yu, Dylan Campbell, and Hongdong Li, "Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching," Computer Research Repository, arXiv:2005.03860, May 8, 2020.

地上画像に対応する空撮画像のセクションが、地上画像に含まれないオブジェクトを含みうる状況や、その逆の状況が存在しうる。これらの状況は、非特許文献１に開示されているシステムによって実行されるグラウンド・トゥー・エアリアル・クロスビューマッチングの精度に影響を与えると考えられる。本開示の目的は、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上する技術を提供することである。 There may be situations where a section of an aerial image that corresponds to a ground image may contain objects that are not included in the ground image, or vice versa. These situations are believed to affect the accuracy of the ground-to-aerial cross-view matching performed by the system disclosed in Non-Patent Document 1. It is an object of the present disclosure to provide a technique for improving the accuracy of ground-to-aerial cross-view matching.

本開示の画像マッチング装置は、少なくとも一つのプロセッサと、命令が格納されている記憶要素と、を有する。前記少なくとも一つのプロセッサは、前記命令を実行することにより、地上画像と空撮画像を取得し、前記地上画像から特徴量を抽出し、前記空撮画像から特徴量を抽出し、前記空撮画像から複数の部分空撮領域を抽出し、前記複数の前記部分空撮領域のそれぞれから特徴量を抽出し、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出し、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮特徴量と前記地上画像とがマッチするか否かを判定する、ように構成される。 The image matching device of the present disclosure has at least one processor and a storage element in which instructions are stored. The at least one processor executes the instructions to acquire a ground image and an aerial image, extract features from the ground image, extract features from the aerial image, extract a plurality of partial aerial regions from the aerial image, extract features from each of the plurality of partial aerial regions, combine the features of the partial aerial region and the features of the aerial image to calculate combined aerial features for each of the plurality of partial aerial regions, and compare the combined aerial features of the partial aerial region with the features of the ground image for each of the plurality of partial aerial regions to determine whether the partial aerial features match the ground image.

本開示の制御方法は、コンピュータによって実行される。当該制御方法は、地上画像と空撮画像を取得することと、前記地上画像から特徴量を抽出することと、前記空撮画像から特徴量を抽出することと、前記空撮画像から複数の部分空撮領域を抽出することと、前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮特徴量と前記地上画像とがマッチするか否かを判定することと、を含む。 The control method of the present disclosure is executed by a computer. The control method includes acquiring a ground image and an aerial image, extracting features from the ground image, extracting features from the aerial image, extracting a plurality of partial aerial regions from the aerial image, extracting features from each of the plurality of partial aerial regions, calculating combined aerial features by combining the features of the partial aerial region and the features of the aerial image for each of the plurality of partial aerial regions, and comparing the combined aerial features of the partial aerial region with the features of the ground image for each of the plurality of partial aerial regions to determine whether the partial aerial features match the ground image.

本開示の非一時的なコンピュータ可読記憶媒体はプログラムを格納する。当該プログラムは、地上画像と空撮画像を取得することと、前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、前記空撮画像から複数の部分空撮領域を抽出することと、前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮特徴量と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させる。 The non-transitory computer-readable storage medium of the present disclosure stores a program, the program comprising: acquiring a ground image and an aerial image; extracting features from the ground image;
The method causes a computer to execute the following steps: extracting features from the aerial image; extracting a plurality of partial aerial regions from the aerial image; extracting features from each of the plurality of partial aerial regions; calculating combined aerial features for each of the plurality of partial aerial regions by combining the features of the partial aerial region and the features of the aerial image; and comparing the combined aerial features of the partial aerial region with the features of the ground image for each of the plurality of partial aerial regions to determine whether the partial aerial features match the ground image.

本開示によれば、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上する技術を提供することができる。 This disclosure provides technology that improves the accuracy of ground-to-aerial cross-view matching.

図１は、実施形態１の画像マッチング装置の概要を表す。FIG. 1 shows an overview of an image matching device according to the first embodiment. 図２は、地上画像が撮像された場所が、その地上画像２０に対応する空撮画像の中心に対応しないケースを表す。FIG. 2 illustrates the case where the location at which a ground image was captured does not correspond to the center of the aerial image that corresponds to that ground image 20 . 図３は、画像マッチング装置の機能構成の例を表すブロック図である。FIG. 3 is a block diagram illustrating an example of a functional configuration of the image matching device. 図４は、画像マッチング装置を実現するコンピュータのハードウエア構成の例を示すブロック図である。FIG. 4 is a block diagram showing an example of the hardware configuration of a computer that realizes the image matching device. 図５Ａは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。FIG. 5A shows a flowchart illustrating an example of the flow of processing executed by image matching device 2000. 図５Ｂは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。FIG. 5B shows a flowchart illustrating an example of the flow of processing executed by the image matching device 2000. 図６は、画像マッチング装置が含まれるジオローカライゼーションシステムを示す。FIG. 6 shows a geolocalization system that includes an image matching device. 図７は、放射状の複数の線を用いて得られる部分空撮領域を表す。FIG. 7 shows a partial aerial view taken using radial lines. 図８は、空撮画像内の円形領域から部分空撮領域が抽出されるケースを表す。FIG. 8 shows a case where a partial aerial region is extracted from a circular region in an aerial image.

以下、本開示に係る実施形態について、図面を参照しながら説明する。複数の図を通して同じ要素には同じ符号が付され、冗長な説明は必要に応じて省略される。また、特に言及しない限り、所定の情報（例えば、所定の値や所定の閾値）は、その情報を利用するコンピュータからアクセス可能な記憶装置に予め格納される。 Embodiments of the present disclosure will be described below with reference to the drawings. The same elements throughout the drawings are given the same reference numerals, and redundant descriptions will be omitted as necessary. Furthermore, unless otherwise specified, predetermined information (e.g., a predetermined value or a predetermined threshold value) is stored in advance in a storage device accessible from a computer that uses the information.

実施形態１
＜概要＞
図１は、実施形態１の画像マッチング装置２０００の概要を示す。画像マッチング装置２０００は、地上画像２０と空撮画像３０との間のマッチング（いわゆるグラウンド・トゥー・エアリアル・クロスビューマッチング）を行う識別器として機能する。 EMBODIMENT 1
＜Overview＞
1 shows an overview of an image matching device 2000 according to embodiment 1. The image matching device 2000 functions as a classifier that performs matching between a ground image 20 and an aerial image 30 (so-called ground-to-aerial cross-view matching).

地上画像２０は、或る場所のグラウンドビューを含む画像である。例えば、地上画像２０は、歩行者によって保持されているカメラや、車に設置されているカメラから撮像される。画像マッチング装置２０００によって扱われる地上画像２０は、限られた（360°より小さい）画角を持ちうる。空撮画像３０は、或る場所の平面視が含まれる画像である。例えば、空撮画像３０は、ドローンに設置されたカメラ、飛行機に設置されたカメラ、又は人工衛星に設置されたカメラなどから撮像される。 The ground image 20 is an image that includes a ground view of a certain location. For example, the ground image 20 is captured from a camera held by a pedestrian or a camera mounted on a car. The ground image 20 handled by the image matching device 2000 may have a limited angle of view (less than 360°). The aerial image 30 is an image that includes a planar view of a certain location. For example, the aerial image 30 is captured from a camera mounted on a drone, a camera mounted on an airplane, or a camera mounted on an artificial satellite.

地上画像２０の画角が３６０度より小さい場合、地上画像２０は、空撮画像３０の全体とはマッチせずに、空撮画像３０の一部とマッチしうる。そのため、画像マッチング装置２０００は、地上画像２０と空撮画像３０とを取得し、空撮画像３０が、取得した地上画像２０とマッチする部分空撮領域３２（すなわち、空撮画像３０の一部）を含むか否かを判定する。取得した空撮画像３０が地上画像２０とマッチする部分空撮領域３２を含む場合、地上画像２０と空撮画像３０とがマッチすると判定される。一方、取得した空撮画像３０が地上画像２０とマッチする部分空撮領域３２を含まない場合、地上画像２０と空撮画像３０とがマッチしないと判定される。ここで、「地上画像と空撮画像とがマッチする」とは、地上画像に撮像されている場所が、空撮画像に撮像されている場所と十分に重複していることを意味する。同様に、「地上画像と部分空撮領域とがマッチする」とは、地上画像に撮像されている場所が、部分空撮領域に撮像されている場所と十分に重複していることを意味する。 When the angle of view of the ground image 20 is smaller than 360 degrees, the ground image 20 may not match the entire aerial image 30, but may match a part of the aerial image 30. Therefore, the image matching device 2000 acquires the ground image 20 and the aerial image 30, and determines whether the aerial image 30 includes a partial aerial area 32 (i.e., a part of the aerial image 30) that matches the acquired ground image 20. If the acquired aerial image 30 includes a partial aerial area 32 that matches the ground image 20, it is determined that the ground image 20 and the aerial image 30 match. On the other hand, if the acquired aerial image 30 does not include a partial aerial area 32 that matches the ground image 20, it is determined that the ground image 20 and the aerial image 30 do not match. Here, "the ground image and the aerial image match" means that the location captured in the ground image sufficiently overlaps with the location captured in the aerial image. Similarly, "the ground image and the partial aerial photography area match" means that the location captured in the ground image sufficiently overlaps with the location captured in the partial aerial photography area.

上述した動作を実現するために、画像マッチング装置２０００は、地上画像２０と空撮画像３０のそれぞれから特徴量を抽出する。さらに、画像マッチング装置２０００は、空撮画像３０から複数の部分空撮領域３２を抽出し、各部分空撮領域３２から特徴量を抽出する。地上画像２０、空撮画像３０、及び部分空撮領域３２から抽出された特徴量はそれぞれ、「地上特徴量」、「空撮特徴量」、及び「部分空撮特徴量」と呼ばれる。そして、画像マッチング装置２０００は、各部分空撮領域３２について、空撮特徴量とその部分空撮領域３２の部分空撮特徴量との組み合わせ（例えば、コンカチネーション）である結合空撮特徴量を算出する。 To achieve the above-mentioned operation, the image matching device 2000 extracts features from each of the ground image 20 and the aerial image 30. Furthermore, the image matching device 2000 extracts a plurality of partial aerial regions 32 from the aerial image 30, and extracts features from each partial aerial region 32. The features extracted from the ground image 20, the aerial image 30, and the partial aerial region 32 are called "ground features," "aerial features," and "partial aerial features," respectively. Then, for each partial aerial region 32, the image matching device 2000 calculates a combined aerial feature, which is a combination (e.g., concatenation) of the aerial feature and the partial aerial feature of that partial aerial region 32.

各部分空撮領域３２について、画像マッチング装置２０００は、地上特徴量と、その部分空撮領域３２の結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。地上特徴量と部分空撮領域３２の結合空撮特徴量との類似度が十分に高い（例えば、閾値以上である）場合、画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチすると判定する。一方で、地上特徴量と部分空撮領域３２の結合空撮特徴量との類似度が十分に高くない（例えば、閾値未満である）場合、画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチしないと判定する。 For each partial aerial photography area 32, the image matching device 2000 compares the ground feature amount with the combined aerial photography feature amount of the partial aerial photography area 32 to determine whether the ground image 20 matches the partial aerial photography area 32. If the similarity between the ground feature amount and the combined aerial photography feature amount of the partial aerial photography area 32 is sufficiently high (e.g., equal to or higher than a threshold), the image matching device 2000 determines that the ground image 20 matches the partial aerial photography area 32. On the other hand, if the similarity between the ground feature amount and the combined aerial photography feature amount of the partial aerial photography area 32 is not sufficiently high (e.g., less than a threshold), the image matching device 2000 determines that the ground image 20 does not match the partial aerial photography area 32.

地上画像２０が撮像された場所において空撮画像３０も撮像されている場合、部分空撮領域３２のうちの１つは、地上画像２０とマッチすると判定されうる。そのため、地上画像２０とマッチすると判定された部分空撮領域３２がある場合、画像マッチング装置２０００は、地上画像２０と空撮画像３０とがマッチすると判定する。一方、地上画像２０とマッチすると判定された部分空撮領域３２がない場合、画像マッチング装置２０００は、地上画像２０と空撮画像３０とがマッチしないと判定する。 If an aerial image 30 is also captured at the location where the ground image 20 is captured, one of the partial aerial regions 32 may be determined to match the ground image 20. Therefore, if there is a partial aerial region 32 determined to match the ground image 20, the image matching device 2000 determines that the ground image 20 and the aerial image 30 match. On the other hand, if there is no partial aerial region 32 determined to match the ground image 20, the image matching device 2000 determines that the ground image 20 and the aerial image 30 do not match.

＜作用効果の例＞
実施形態１の画像マッチング装置２０００によれば、結合空撮特徴量を地上特徴量と比較することにより、部分空撮領域３２の特徴量だけではなく空撮画像３０の特徴量も（言い換えれば、局所的な特徴量だけではなく全体的な特徴量も）、部分空撮領域３２と地上画像２０とがマッチするか否かの判定において考慮される。そうすることにより、グラウンド・トゥー・エアリアル・クロスビューマッチングの精度を向上させることができる（特に、地上画像２０に含まれないオブジェクトが部分空撮領域３２に含まれている場合やその逆の場合において）。 <Examples of effects>
According to the image matching device 2000 of the first embodiment, by comparing the combined aerial feature with the ground feature, not only the feature of the partial aerial region 32 but also the feature of the aerial image 30 (in other words, not only the local feature but also the global feature) are taken into consideration in determining whether the partial aerial region 32 matches the ground image 20. This can improve the accuracy of ground-to-aerial crossview matching (especially when an object not included in the ground image 20 is included in the partial aerial region 32, or vice versa).

例えば、地上画像２０が撮像された場所が、その地上画像２０に対応する空撮画像３０の中心に対応しない場合、地上画像２０に対応する部分空撮領域３２には含まれていないオブジェクトが地上画像２０に含まれたり、その逆であったりしうる。図２は、地上画像２０が撮像された場所が、その地上画像２０に対応する空撮画像３０の中心に対応しないケースを表す。バツ印５０は、空撮画像３０の中心を表す。丸印６０は、地上画像が撮像された場所を表す。矢印７０は、地上画像２０が撮像された時にカメラが向いていた方向を表す。図２の部分空撮領域３２は、地上画像２０に対応する。 For example, if the location where ground image 20 was captured does not correspond to the center of the aerial image 30 that corresponds to that ground image 20, then the ground image 20 may contain objects that are not included in the partial aerial region 32 that corresponds to that ground image 20, or vice versa. Figure 2 illustrates a case where the location where ground image 20 was captured does not correspond to the center of the aerial image 30 that corresponds to that ground image 20. The cross 50 represents the center of the aerial image 30. The circle 60 represents the location where the ground image was captured. The arrow 70 represents the direction the camera was facing when the ground image 20 was captured. The partial aerial region 32 in Figure 2 corresponds to the ground image 20.

カメラがバツ印５０に対応する場所に位置する場合、地上画像２０は、道路上の点線を含まない。しかしながら、カメラが丸印６０に対応する場所に位置するため、実際の地上画像２０は点線を含んでいる。この点線は、地上画像２０から抽出される地上特徴量には含まれうるが、部分空撮領域３２から抽出される部分空撮特徴量には含まれ得ない。このことは、これらに十分な差異を生じさせうる。 When the camera is positioned at a location corresponding to the cross mark 50, the ground image 20 does not include the dotted line on the road. However, because the camera is positioned at a location corresponding to the circle mark 60, the actual ground image 20 includes the dotted line. This dotted line may be included in the ground features extracted from the ground image 20, but may not be included in the partial aerial photography features extracted from the partial aerial photography area 32. This may cause a significant difference between them.

この問題に関し、画像マッチング装置２０００は空撮画像３０の特徴量も抽出し、その特徴量は部分空撮特徴量には含まれない点線の特徴量を含みうる。そのため、結合空撮特徴量は点線の特徴量を含みうる。結果として、部分空撮領域３２の結合空撮特徴量が地上特徴量と十分に類似するようになるため、地上画像２０と空撮画像３０とがマッチすると判定される。 Regarding this problem, the image matching device 2000 also extracts features of the aerial image 30, which may include the dotted line features that are not included in the partial aerial image features. Therefore, the combined aerial image features may include the dotted line features. As a result, the combined aerial image features of the partial aerial image region 32 become sufficiently similar to the ground features, so that it is determined that the ground image 20 and the aerial image 30 match.

その他にも例えば、平面視では他の物体に隠されうる物体が地上視では隠されなかったり、その逆もありうる。例えば、平面視において道路の一部を覆う木が存在し、部分空撮領域３２にその道路が含まれないとする。一方、その部分空撮領域３２に対応する地上画像２０が、木だけでなく道路も含むとする。 For example, an object that may be hidden by another object in planar view may not be hidden in ground view, and vice versa. For example, suppose there is a tree that covers part of a road in planar view, and the road is not included in partial aerial photography area 32. On the other hand, suppose that the ground image 20 that corresponds to partial aerial photography area 32 includes not only the tree but also the road.

この場合、地上特徴量は道路の特徴を含みうる一方で、部分空撮特徴量はそれを含むことがない。そのため、それらの間には十分な差異がありうる。 In this case, the ground features may include road features, while the partial aerial features do not. Therefore, there may be a significant difference between them.

この問題に関し、画像マッチング装置２０００は、空撮画像３０の特徴量も抽出し、その特徴量は、部分空撮特徴量には含まれないその道路も含みうる。そのため、結合空撮特徴量は、その道路の特徴量も含みうる。よって、結合空撮特徴量が地上特徴量と十分に類似し、地上画像２０と部分空撮領域３２とがマッチすると判定される。 Regarding this problem, the image matching device 2000 also extracts features of the aerial image 30, which may include the road not included in the partial aerial feature. Therefore, the combined aerial feature may also include the road feature. Therefore, it is determined that the combined aerial feature is sufficiently similar to the ground feature, and the ground image 20 and the partial aerial area 32 match.

以下、画像マッチング装置２０００のより詳細な説明が記載される。 A more detailed description of the image matching device 2000 is provided below.

＜機能構成の例＞
図３は、画像マッチング装置２０００の機能構成の例を表すブロック図である。画像マッチング装置２０００は、取得部２０２０、地上特徴量抽出部２０４０、部分空撮領域抽出部２０８０、空撮特徴量抽出部２０６０、部分空撮特徴量抽出部２１００、特徴量結合部２１２０、及び判定部２１４０を有する。 <Example of functional configuration>
3 is a block diagram showing an example of the functional configuration of the image matching device 2000. The image matching device 2000 has an acquisition unit 2020, a ground feature extraction unit 2040, a partial aerial photography area extraction unit 2080 , an aerial photography feature extraction unit 2060 , a partial aerial photography feature extraction unit 2100, a feature combination unit 2120, and a determination unit 2140.

取得部２０２０は、グラウンド・トゥー・エアリアル・クロスビューマッチングの実行対象である地上画像２０及び空撮画像３０を取得する。地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する。部分空撮領域抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する。空撮特徴量抽出部２０６０は、空撮画像３０の空撮特徴量を算出する。部分空撮特徴量抽出部２１００は、各部分空撮領域３２の部分空撮特徴量を算出する。特徴量結合部２１２０は、各部分空撮領域３２についてその部分空撮領域３２の部分空撮特徴量と空撮画像３０の空撮特徴量とを結合することにより、各部分空撮領域３２について結合空撮特徴量を算出する。判定部２１４０は、各部分空撮領域３２について、地上画像２０の地上特徴量とその部分空撮領域３２の結合空撮特徴量とを比較することにより、その部分空撮領域３２と地上画像２０とがマッチするか否かを判定する。 The acquisition unit 2020 acquires the ground image 20 and the aerial image 30 to be subjected to the ground-to-aerial crossview matching. The ground feature amount extraction unit 2040 calculates the ground feature amount of the ground image 20. The partial aerial photography area extraction unit 2080 extracts a plurality of partial aerial photography areas 32 from the aerial photography image 30. The aerial photography feature amount extraction unit 2060 calculates the aerial photography feature amount of the aerial photography image 30. The partial aerial photography feature amount extraction unit 2100 calculates the partial aerial photography feature amount of each partial aerial photography area 32. The feature amount combination unit 2120 calculates the combined aerial photography feature amount for each partial aerial photography area 32 by combining the partial aerial photography feature amount of the partial aerial photography area 32 and the aerial photography feature amount of the aerial photography image 30 for each partial aerial photography area 32. The determination unit 2140 compares, for each partial aerial photography area 32 , the ground feature of the ground image 20 with the combined aerial photography feature of that partial aerial photography area 32 to determine whether or not that partial aerial photography area 32 matches the ground image 20 .

＜ハードウエア構成の例＞
画像マッチング装置２０００は、１つ以上のコンピュータで実現されうる。それら１つ以上のコンピュータのそれぞれは、画像マッチング装置２０００を実現するために作成された専用のコンピュータであってもよいし、パーソナルコンピュータ（PC: Personal Computer）、サーバマシン又はモバイルデバイスなどの汎用のコンピュータであってもよい。 <Example of hardware configuration>
Image matching device 2000 may be realized by one or more computers. Each of the one or more computers may be a dedicated computer created for realizing image matching device 2000, or may be a general-purpose computer such as a personal computer (PC), a server machine, or a mobile device.

画像マッチング装置２０００は、コンピュータにアプリケーションをインストールすることで実現されうる。そのアプリケーションは、コンピュータを画像マッチング装置２０００として機能させるプログラムで実現される。言い換えれば、そのプログラムは、画像マッチング装置２０００の機能構成部を実装したものである。 The image matching device 2000 can be realized by installing an application on a computer. The application is realized by a program that causes the computer to function as the image matching device 2000. In other words, the program implements the functional components of the image matching device 2000.

図４は、画像マッチング装置２０００を実現するコンピュータ１０００のハードウエア構成の例を示すブロック図である。図４において、コンピュータ１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。 Figure 4 is a block diagram showing an example of the hardware configuration of a computer 1000 that realizes the image matching device 2000. In Figure 4, the computer 1000 has a bus 1020, a processor 1040, a memory 1060, a storage device 1080, an input/output interface 1100, and a network interface 1120.

バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が相互にデータの送信及び受信をするためのデータ通信路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などといったプロセッサである。メモリ１０６０は、RAM（Random Access Memory）又は ROM（Read Only Memory）などの主記憶要素である。ストレージデバイス１０８０は、ハードディスク、SSD（Solid State Drive）、又はメモリカードなどの補助記憶要素である。入出力インタフェース１１００は、コンピュータ１０００と周辺デバイス（キーボード、マウス、又はディスプレイデバイスなど）との間のインタフェースである。ネットワークインタフェース１１２０は、コンピュータ１０００とネットワークとの間のインタフェースである。ネットワークは、LAN（Local Area Network）でもよいし、WAN（Wide Area Network）でもよい。ストレージデバイス１０８０は、前述したプログラムを格納しうる。プロセッサ１０４０は、そのプログラムを実行することで、画像マッチング装置２０００の各機能構成部を実現する。 The bus 1020 is a data communication path for the processor 1040, the memory 1060, the storage device 1080, the input/output interface 1100, and the network interface 1120 to transmit and receive data to and from each other. The processor 1040 is a processor such as a central processing unit (CPU), a graphics processing unit (GPU), or a field-programmable gate array (FPGA). The memory 1060 is a main storage element such as a random access memory (RAM) or a read only memory (ROM). The storage device 1080 is an auxiliary storage element such as a hard disk, a solid state drive (SSD), or a memory card. The input/output interface 1100 is an interface between the computer 1000 and a peripheral device (such as a keyboard, a mouse, or a display device). The network interface 1120 is an interface between the computer 1000 and a network. The network may be a local area network (LAN) or a wide area network (WAN). The storage device 1080 may store the above-mentioned programs. The processor 1040 executes the program to realize each functional component of the image matching device 2000 .

コンピュータ１０００のハードウエア構成は、図４に示される構成に限定されない。例えば、前述したように、画像マッチング装置２０００は複数のコンピュータで実現されうる。この場合、それらのコンピュータは、ネットワークを介して互いに接続されうる。 The hardware configuration of the computer 1000 is not limited to the configuration shown in FIG. 4. For example, as described above, the image matching device 2000 can be realized by multiple computers. In this case, the computers can be connected to each other via a network.

＜処理の流れ＞
図５及び５Ｂは、画像マッチング装置２０００によって実行される処理の流れの例を表すフローチャートを示す。取得部２０２０は、地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する（Ｓ１０４）。部分空撮領域抽出部２０６０は、空撮画像３０の空撮特徴量を算出する（Ｓ１０６）。部分空撮領域抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する（Ｓ１０８）。 <Processing flow>
5 and 5B show a flowchart showing an example of the flow of processing executed by the image matching device 2000. The acquisition unit 2020 acquires a ground image 20 and an aerial image 30 (S102). The ground feature amount extraction unit 2040 calculates a ground feature amount of the ground image 20 (S104). The partial aerial area extraction unit 2060 calculates an aerial feature amount of the aerial image 30 (S106). The partial aerial area extraction unit 2080 extracts a plurality of partial aerial areas 32 from the aerial image 30 (S108).

ステップＳ１１０からＳ１２０は、各部分空撮領域３２について実行されるループ処理Ｌ１を構成する。ステップＳ１１０において、画像マッチング装置２０００は、まだループ処理Ｌ１が実行されていない部分空撮領域３２が１つ以上存在するか否かを判定する。まだループ処理Ｌ１が実行されていない部分空撮領域３２が１つも無い（すなわち、全ての部分空撮領域３２について既にループ処理Ｌ１が実行されている）場合、ループ処理Ｌ１は終了する。一方、まだループ処理Ｌ１が実行されていない部分空撮領域３２が１つ以上ある場合、画像マッチング装置２０００は、まだループ処理Ｌ１が実行されていない部分空撮領域３２のうちの１つを選択する。以下、ここで選択される部分空撮領域３２は、部分空撮領域ｉと表記される。 Steps S110 to S120 constitute a loop process L1 that is executed for each partial aerial photography area 32. In step S110, the image matching device 2000 determines whether there is one or more partial aerial photography areas 32 for which loop process L1 has not yet been executed. If there is no partial aerial photography area 32 for which loop process L1 has not yet been executed (i.e., loop process L1 has already been executed for all partial aerial photography areas 32), loop process L1 ends. On the other hand, if there is one or more partial aerial photography areas 32 for which loop process L1 has not yet been executed, the image matching device 2000 selects one of the partial aerial photography areas 32 for which loop process L1 has not yet been executed. Hereinafter, the partial aerial photography area 32 selected here will be referred to as partial aerial photography area i.

部分空撮領域ｉを選択した後、部分空撮特徴量抽出部２１００は、部分空撮領域ｉの部分空撮特徴量を算出する（Ｓ１１２）。特徴量結合部２１２０は、Ｓ１０５で算出された空撮特徴量と、Ｓ１１２で算出された部分空撮領域ｉの部分空撮特徴量とを結合することで、部分空撮領域ｉについての結合空撮特徴量を算出する（Ｓ１１４）。 After selecting the partial aerial photography area i, the partial aerial photography feature extraction unit 2100 calculates the partial aerial photography feature of the partial aerial photography area i (S112). The feature combination unit 2120 calculates the combined aerial photography feature for the partial aerial photography area i by combining the aerial photography feature calculated in S105 with the partial aerial photography feature of the partial aerial photography area i calculated in S112 (S114).

判定部２１４０は、ステップＳ１１０で算出された地上特徴量と、Ｓ１１４で算出された結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域ｉとがマッチするか否かを判定する（Ｓ１１６）。地上画像２０と部分空撮領域ｉとがマッチすると判定された場合（Ｓ１１６：ＹＥＳ）、判定部２１４０は、地上画像２０と空撮画像３０とがマッチすると判定する（Ｓ１１８）。そして、図５のフローは終了する。一方、地上画像２０と部分空撮領域ｉとがマッチしないと判定された場合（Ｓ１１６：ＮＯ）、ループ処理Ｌ１の現在のイテレーションは終了し（Ｓ１２０）、Ｓ１１０が再度実行される。 The determination unit 2140 compares the ground feature calculated in step S110 with the combined aerial feature calculated in S114 to determine whether the ground image 20 and the partial aerial area i match (S116). If it is determined that the ground image 20 and the partial aerial area i match (S116: YES), the determination unit 2140 determines that the ground image 20 and the aerial image 30 match (S118). Then, the flow in FIG. 5 ends. On the other hand, if it is determined that the ground image 20 and the partial aerial area i do not match (S116: NO), the current iteration of the loop process L1 ends (S120), and S110 is executed again.

地上画像２０とマッチすると判定された部分空撮領域３２が一つも無い場合、ステップＳ１２２が実行される。地上画像２０とマッチすると判定された部分空撮領域３２が一つも無いため、判定部２１４０は、地上画像２０と空撮画像３０とがマッチしないと判定する（Ｓ１２２）。 If there is no partial aerial photography area 32 determined to match the ground image 20, step S122 is executed. Since there is no partial aerial photography area 32 determined to match the ground image 20, the determination unit 2140 determines that the ground image 20 and the aerial image 30 do not match (S122).

図５に示される処理は、画像マッチング装置２０００によって実行される動作の流れの単なる一例であり、動作の流れは図５に示されるものに限定されない。例えば画像マッチング装置２０００は、地上画像２０と部分空撮領域３２とがマッチするか否かの判定を、ループ処理Ｌ１の各イテレーションで実行する必要はない。そうする代わりに、画像マッチング装置２０００は、地上特徴量と結合空撮特徴量との類似度を、ループ処理Ｌ１の各イテレーションにおいて算出し、地上特徴量との類似度が最大である結合空撮特徴量を特定してもよい。そして、画像マッチング装置２０００は、地上画像２０と、地上特徴量との類似度が最大であると特定された結合空撮特徴量を持つ部分空撮領域３２とがマッチすると判定する。 The process shown in FIG. 5 is merely an example of the flow of operations executed by the image matching device 2000, and the flow of operations is not limited to that shown in FIG. 5. For example, the image matching device 2000 does not need to determine whether the ground image 20 and the partial aerial photography area 32 match in each iteration of the loop process L1. Instead, the image matching device 2000 may calculate the similarity between the ground feature and the combined aerial photography feature in each iteration of the loop process L1, and identify the combined aerial photography feature that has the highest similarity to the ground feature. Then, the image matching device 2000 determines that the ground image 20 matches the partial aerial photography area 32 that has the combined aerial photography feature identified as having the highest similarity to the ground feature.

＜画像マッチング装置２０００のアプリケーションの例＞
画像マッチング装置２０００のアプリケーションには様々なものがある。例えば画像マッチング装置２０００は、画像ジオローカライゼーションを行うシステム（以下、ジオローカライゼーションシステム）の一部として利用することができる。画像ジオローカライゼーションは、入力された画像の撮像場所を特定する技術である。ここで、ジオローカライゼーションシステムはあくまで、画像マッチング装置２０００のアプリケーションの一例であり、画像マッチング装置２０００のアプリケーションは、ジオローカライゼーションシステムの中で利用されるものに限定されない。 <Examples of Applications of the Image Matching Device 2000>
There are various applications of the image matching device 2000. For example, the image matching device 2000 can be used as a part of a system that performs image geolocalization (hereinafter, referred to as a geolocalization system). Image geolocalization is a technology that identifies the location where an input image was captured. Here, the geolocalization system is merely one example of an application of the image matching device 2000, and the application of the image matching device 2000 is not limited to those used in the geolocalization system.

図６は、画像マッチング装置２０００が含まれるジオローカライゼーションシステム２００を示す。ジオローカライゼーションシステム２００は、画像マッチング装置２０００及び位置データベース３００を含む。位置データベース３００は、それぞれに位置情報が付加された複数の空撮画像を含む。位置情報の例は、対応する空撮画像の撮像場所の GPS（Global Positioning System）座標でありうる。 Figure 6 shows a geolocalization system 200 including an image matching device 2000. The geolocalization system 200 includes the image matching device 2000 and a location database 300. The location database 300 includes a plurality of aerial images, each of which has location information attached to it. An example of the location information can be the Global Positioning System (GPS) coordinates of the location where the corresponding aerial image was taken.

ジオローカライゼーションシステム２００は、クライアント（例えばユーザ端末）から地上画像を含むクエリを受信し、受信したクエリに含まれる地上画像とマッチする空撮画像を位置データベース３０から探索し、これによって地上画像の撮像場所を特定する。具体的には、クエリに含まれる地上画像にマッチする空撮画像が検出されるまで、ジオローカライゼーションシステム２００は、「位置データベース３００から空撮画像を１つ取得し、地上画像と取得した空撮画像を画像マッチング装置２０００に入力し、画像マッチング装置２０００からの出力が、地上画像と空撮画像とがマッチすることを示しているか否かを判定する。」という処理を繰り返す。こうすることで、ジオローカライゼーションシステム２００は、地上画像の撮像場所が含まれる空撮画像を見つけることができる。検出された空撮画像が GPS 座標などの位置情報に対応づけられているため、ジオローカライゼーションシステム２００は、地上画像の撮像場所が、地上画像にマッチする空撮画像に対応づけられている位置情報によって示されている場所であると認識できる。 The geolocalization system 200 receives a query including a ground image from a client (e.g., a user terminal), searches the location database 30 for an aerial image that matches the ground image included in the received query, and thereby identifies the location where the ground image was taken. Specifically, until an aerial image that matches the ground image included in the query is detected, the geolocalization system 200 repeats the process of "obtaining one aerial image from the location database 300, inputting the ground image and the obtained aerial image into the image matching device 2000, and determining whether the output from the image matching device 2000 indicates that the ground image and the aerial image match." In this way, the geolocalization system 200 can find an aerial image that includes the location where the ground image was taken. Since the detected aerial image is associated with location information such as GPS coordinates, the geolocalization system 200 can recognize that the location where the ground image was taken is the location indicated by the location information associated with the aerial image that matches the ground image.

なお、ジオローカライゼーションシステム２００は、１つ以上の、図４に示されているコンピュータなどによって実装されうる。 The geolocalization system 200 may be implemented by one or more computers such as those shown in FIG. 4.

＜画像の取得：Ｓ１０２＞
取得部２０２０は、地上画像２０及び空撮画像３０を取得する（Ｓ１０２）。これらの画像を取得する方法は様々である。例えば取得部２０２０は、他のコンピュータから送信された、地上画像２０と空撮画像３０のセットを受信しうる。その他にも例えば、取得部２０２０は、アクセス可能な記憶装置から、地上画像２０と空撮画像３０のセットを取り出しうる。 <Image Acquisition: S102>
The acquisition unit 2020 acquires the ground image 20 and the aerial image 30 (S102). There are various methods for acquiring these images. For example, the acquisition unit 2020 may receive a set of the ground image 20 and the aerial image 30 transmitted from another computer. As another example, the acquisition unit 2020 may retrieve the set of the ground image 20 and the aerial image 30 from an accessible storage device.

その他にも例えば、図６に示されているように、取得部２０２０は、他のコンピュータから送信された地上画像２０を受信し、その地上画像２０とマッチする空撮画像を探索してもよい。この場合、地上画像２０とマッチする空撮画像３０が見つかるまで、又は、地上画像２０とマッチする空撮画像３０がないと判定されるまで、取得部２０２０は、記憶装置から繰り返し空撮画像３０を取得する。同様に、取得部２０２０は、他の装置から送信された空撮画像３０を受信し、その空撮画像３０にマッチする地上画像２０を探索してもよい。 6, the acquisition unit 2020 may receive a ground image 20 transmitted from another computer and search for an aerial image that matches the ground image 20. In this case, the acquisition unit 2020 repeatedly acquires aerial images 30 from the storage device until an aerial image 30 that matches the ground image 20 is found or until it is determined that there is no aerial image 30 that matches the ground image 20. Similarly, the acquisition unit 2020 may receive an aerial image 30 transmitted from another device and search for a ground image 20 that matches the aerial image 30.

＜地上画像からの特徴量抽出：Ｓ１０４＞
地上特徴量抽出部２０４０は、地上画像２０の地上特徴量を算出する（Ｓ１０４）。地上画像２０の地上特徴量は、地上画像２０から抽出される特徴量である。画像から特徴量を抽出する方法は様々であり、そのうちの任意の方法が、地上特徴量抽出部２０４０を構成するために採用されうる。例えば地上特徴量抽出部２０４０は、ニューラルネットワークなどといった機械学習ベースのモデルで実現されうる。より具体的には、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）の特徴抽出層を採用して、地上特徴量抽出部２０４０を構成しうる。 <Feature extraction from ground images: S104>
The ground feature extraction unit 2040 calculates the ground feature of the ground image 20 (S104). The ground feature of the ground image 20 is a feature extracted from the ground image 20. There are various methods for extracting features from an image, and any of these methods may be adopted to configure the ground feature extraction unit 2040. For example, the ground feature extraction unit 2040 may be realized by a machine learning-based model such as a neural network. More specifically, the ground feature extraction unit 2040 may be configured by adopting a feature extraction layer of a convolutional neural network (CNN).

＜部分空撮領域３２の抽出：Ｓ１０８＞
空撮特徴量抽出部２０８０は、空撮画像３０から複数の部分空撮領域３２を抽出する（Ｓ１０８）。空撮画像３０から部分空撮領域３２を抽出する方法は様々である。例えば空撮特徴量抽出部２０８０は、放射状の複数の線を用いて、空撮画像３０を複数の部分空撮領域３２に分割する。図７は、放射状の複数の線を用いて得られる部分空撮領域を表す。図７において、空撮画像３０の中心が原点として設定され、放射状の複数の線が空撮画像３０の中心から描かれている。さらに、互いに隣接する２つの放射状の線が成す角度の大きさは、４５°である。そのため、空撮画像３０から、８つの部分空撮領域３２－１から３２－８が抽出される。 <Extraction of partial aerial photography area 32: S108>
The aerial feature extraction unit 2080 extracts a plurality of partial aerial regions 32 from the aerial image 30 (S108). There are various methods for extracting the partial aerial regions 32 from the aerial image 30. For example, the aerial feature extraction unit 2080 divides the aerial image 30 into a plurality of partial aerial regions 32 using a plurality of radial lines. FIG. 7 shows a partial aerial region obtained using a plurality of radial lines. In FIG. 7, the center of the aerial image 30 is set as the origin, and a plurality of radial lines are drawn from the center of the aerial image 30. Furthermore, the size of the angle formed by two adjacent radial lines is 45°. Therefore, eight partial aerial regions 32-1 to 32-8 are extracted from the aerial image 30.

隣接する放射状の線が成す角度の大きさは、予め定められていてもよいし、画像マッチング装置２０００のユーザによって指定されてもよいし、地上画像２０の画角の大きさに基づいて決定されてもよい。隣接する放射状の線が成す角度の大きさは、地上画像２０の画角と同じサイズに設定されることが好ましい。例えば、地上画像２０の画角の大きさが４５°である場合、隣接する２つの放射状の線が成す角度の大きさは４５°に設定されることが好ましい。 The size of the angle between adjacent radial lines may be predetermined, may be specified by a user of the image matching device 2000, or may be determined based on the size of the angle of view of the ground image 20. It is preferable that the size of the angle between adjacent radial lines is set to the same size as the angle of view of the ground image 20. For example, if the angle of view of the ground image 20 is 45°, it is preferable that the size of the angle between two adjacent radial lines is set to 45°.

地上画像２０の画角の大きさを把握する方法は様々である。例えば画角の大きさは、地上画像２０のメタデータで示されている。この場合、画像マッチング装置２０００は、地上画像２０のメタデータを読み取ることで地上画像２０の画角の大きさを把握し、その把握されたサイズを、２つの放射状の線が成す角の大きさとして利用する。その他にも例えば、画像マッチング装置２０００は、地上画像２０の画角の大きさを表す情報を取得しうる。 There are various methods for determining the size of the angle of view of the ground image 20. For example, the size of the angle of view is indicated in the metadata of the ground image 20. In this case, the image matching device 2000 determines the size of the angle of view of the ground image 20 by reading the metadata of the ground image 20, and uses the determined size as the size of the angle formed by the two radial lines. In other ways, for example, the image matching device 2000 can obtain information indicating the size of the angle of view of the ground image 20.

部分空撮領域抽出部２０８０は、２つの隣接する放射状の線が成す角度として、複数の大きさを利用しうる。例えば、２つの隣接する放射状の線が成す角度として、４５°と６０°が利用されるとする。この場合、例えば部分空撮領域抽出部２０８０は、最初に、２つの隣接する放射状の線が成す角を４５°に設定して、８つの部分空撮領域３２を抽出する。次に、部分空撮領域抽出部２０８０は、２つの隣接する放射状の線が成す角を６０°に設定して、６つの部分空撮領域３２を抽出する。それにより、部分空撮領域抽出部２０８０は、合計１４個の部分空撮領域３２を得る。この方法を採用することで、画像マッチング装置２０００は、地上画像２０の画角に関する知識を持たずに、地上画像２０とマッチする部分空撮領域３２を見つけうる。 The partial aerial photography area extraction unit 2080 may use a plurality of sizes as the angle between two adjacent radial lines. For example, 45° and 60° may be used as the angles between two adjacent radial lines. In this case, for example, the partial aerial photography area extraction unit 2080 first sets the angle between the two adjacent radial lines to 45° and extracts eight partial aerial photography areas 32. Next, the partial aerial photography area extraction unit 2080 sets the angle between the two adjacent radial lines to 60° and extracts six partial aerial photography areas 32. As a result, the partial aerial photography area extraction unit 2080 obtains a total of 14 partial aerial photography areas 32. By employing this method, the image matching device 2000 may find partial aerial photography areas 32 that match the ground image 20 without having knowledge of the angle of view of the ground image 20.

部分空撮領域抽出部２０８０は、部分空撮領域３２が、１つ以上の部分空撮領域３２の一部と重複する態様で、部分空撮領域３２を抽出してもよい。この場合、例えば部分空撮領域抽出部２０８０は、スライディングウインドウ法を利用して、空撮画像３０から部分空撮領域３２を抽出するための放射状の線を定義する。以下、空撮画像３０から部分空撮領域３２を抽出するための２つの放射状の線はそれぞれ、「第１放射状線」と「第２放射状線」と呼ばれる。ここで、第１放射状線とｘ軸が成す角度は、第２放射状線とｘ軸が成す角度よりも小さい。 The partial aerial region extraction unit 2080 may extract the partial aerial region 32 such that the partial aerial region 32 overlaps with a portion of one or more partial aerial regions 32. In this case, for example, the partial aerial region extraction unit 2080 defines radial lines for extracting the partial aerial region 32 from the aerial image 30 using a sliding window method. Hereinafter, the two radial lines for extracting the partial aerial region 32 from the aerial image 30 are referred to as the "first radial line" and the "second radial line", respectively. Here, the angle between the first radial line and the x-axis is smaller than the angle between the second radial line and the x-axis.

この場合、各部分空撮領域３２について、部分空撮領域抽出部２０８０は、以下のように第１放射状線と第２放射状線を定めうる。

Figure 0007485232000001
式（１）において、α[i] は、ｉ番目の部分空撮領域３２を定める第１放射状線とｘ軸とが成す角の大きさを表す。β[i]は、ｉ番目の部分空撮領域３２を定める第２放射状線とｘ軸とが成す角の大きさを表す。ｓは、スライディングウインドウのストライドの大きさ（すなわち、２つの連接する部分空撮領域３２の間の角度）を表す。ｗは、スライディングウインドウの大きさ（すなわち、第１放射状線と第２放射状線とが成す角度）を表す。 In this case, for each partial aerial photography region 32, the partial aerial photography region extraction unit 2080 can determine the first radial line and the second radial line as follows.
Figure 0007485232000001
 In formula (1), α[i] represents the angle between the first radial line defining the i-th partial aerial photography area 32 and the x-axis. β [i] represents the angle between the second radial line defining the i-th partial aerial photography area 32 and the x-axis. s represents the stride size of the sliding window (i.e., the angle between two adjacent partial aerial photography areas 32). w represents the size of the sliding window (i.e., the angle between the first radial line and the second radial line).

空撮画像３０の全体から部分空撮領域３２を抽出する代わりに、部分空撮領域抽出部２０８０は、空撮画像３０の一部から部分空撮領域３２を抽出してもよい。例えば部分空撮領域抽出部２０８０は、空撮画像３０から円形領域をクロップし、放射状の線を利用して、当該円形領域から複数の部分空撮領域３２を抽出する。そうすることにより、互いに同一のサイズかつ同一の形状を持つ複数の部分空撮領域３２を得ることができる。図８は、空撮画像３０内の円形領域から部分空撮領域３２が抽出されるケースを表す。図８において、円形領域３４は、空撮画像３０上に描かれた円であり、その中心は空撮画像３０の中心である。 Instead of extracting the partial aerial region 32 from the entire aerial image 30, the partial aerial region extraction unit 2080 may extract the partial aerial region 32 from a part of the aerial image 30. For example, the partial aerial region extraction unit 2080 crops a circular region from the aerial image 30 and uses radial lines to extract multiple partial aerial regions 32 from the circular region. In this way, multiple partial aerial regions 32 that are the same size and shape can be obtained. Figure 8 shows a case where the partial aerial region 32 is extracted from a circular region in the aerial image 30. In Figure 8, the circular region 34 is a circle drawn on the aerial image 30, and its center is the center of the aerial image 30.

＜空撮画像３０の特徴量抽出：Ｓ１０６，Ｓ１１２、Ｓ１１４＞
画像マッチング装置２０００は、各部分空撮領域３２について、結合空撮特徴量を算出する。部分空撮領域３２の結合空撮特徴量は、空撮画像３０の空撮特徴量と、部分空撮領域３２の部分空撮特徴量とが結合されたものである。 <Extraction of Features of Aerial Image 30: S106, S112, S114>
The image matching device 2000 calculates a combined aerial photography feature for each partial aerial photography region 32. The combined aerial photography feature of the partial aerial photography region 32 is obtained by combining the aerial photography feature of the aerial photography image 30 and the partial aerial photography feature of the partial aerial photography region 32.

空撮画像３０の空撮特徴量の算出については、地上画像２０の地上特徴量の算出と同様に、画像から特徴量を抽出する種々の方法のうちの任意の１つを採用することができる。例えば空撮特徴量抽出部２０６０は、ニューラルネットワークなどの機械学習ベースのモデルによって実現されうる。より具体的には、CNN の特徴抽出層を採用して、空撮特徴量抽出部２０６０を構成しうる。 As with the calculation of the ground features of the ground image 20, any one of various methods for extracting features from an image can be used to calculate the aerial photography features of the aerial image 30. For example, the aerial photography feature extraction unit 2060 can be realized by a machine learning-based model such as a neural network. More specifically, the aerial photography feature extraction unit 2060 can be configured by employing a feature extraction layer of a CNN.

部分空撮領域３２の部分空撮特徴量の算出は、地上特徴量の算出や空撮特徴量の算出と同様の態様で実現されうる。具体的には、画像から特徴量を抽出する種々の方法のうちの任意の一つを採用することができる。例えば部分空撮特徴量抽出部２１００は、ニューラルネットワークなどの機械学習ベースのモデルによって実現されうる。より具体的には、CNN の特徴抽出層を採用して、部分空撮特徴量抽出部２１００を構成しうる。 The calculation of the partial aerial photography feature of the partial aerial photography region 32 can be realized in a manner similar to the calculation of the ground feature and the aerial photography feature. Specifically, any one of various methods for extracting features from an image can be adopted. For example, the partial aerial photography feature extraction unit 2100 can be realized by a machine learning-based model such as a neural network. More specifically, the partial aerial photography feature extraction unit 2100 can be configured by adopting a feature extraction layer of a CNN.

ここで、部分空撮特徴量抽出部２１００は、部分空撮領域３２を、その第１放射状線がｘ軸と平行になる様に回転してもよい。この場合、部分空撮特徴量抽出部２１００は、部分空撮領域３２を時計回りに４５°回転させうる。 Here, the partial aerial photography feature extraction unit 2100 may rotate the partial aerial photography region 32 so that the first radial line is parallel to the x-axis. In this case, the partial aerial photography feature extraction unit 2100 may rotate the partial aerial photography region 32 by 45° clockwise.

この場合、空撮画像３０は、部分空撮領域３２と同じ角度だけ回転されうる。この場合、部分空撮領域３２ごとに異なる空撮特徴量が算出される。例えば、その第１放射状線がｘ軸と４５°の角度を成す部分空撮領域 R1 と、その第１放射状線がｘ軸と６０°の角度を成す部分空撮領域 R2 とが存在するとする。部分空撮領域 R1 について結合空撮特徴量を算出する場合、空撮画像３０と部分空撮領域 R1 は、それらの特徴量を算出する前に、時計回りに４５°回転されうる。一方、部分空撮領域 R2 について結合空撮特徴量を算出する場合、空撮画像３０と部分空撮領域 R2 は、それらの特徴量を算出する前に、時計回りに６０°回転されうる。 In this case, the aerial image 30 can be rotated by the same angle as the partial aerial region 32. In this case, different aerial features are calculated for each partial aerial region 32. For example, assume that there is a partial aerial region R1 whose first radial line forms an angle of 45° with the x-axis, and a partial aerial region R2 whose first radial line forms an angle of 60° with the x-axis. When calculating the combined aerial feature for the partial aerial region R1, the aerial image 30 and the partial aerial region R1 can be rotated 45° clockwise before calculating those features. On the other hand, when calculating the combined aerial feature for the partial aerial region R2, the aerial image 30 and the partial aerial region R2 can be rotated 60° clockwise before calculating those features.

部分空撮領域３２から部分空撮特徴量を得て、かつ、空撮画像３０から空撮特徴量を得た後、特徴量結合部２１２０は、これらを結合して、結合空撮特徴量にする。２セットの特徴量を１セットの特徴量に結合する方法は様々である。例えば特徴量結合部２１２０は、部分空撮特徴量と空撮特徴量をコンカチネートし、このコンカチネーションを結合空撮特徴量として利用する。この場合、空撮特徴量と部分空撮特徴量は、それらのサイズの和が地上特徴量のサイズと一致するように構成される。 After obtaining the partial aerial photography features from the partial aerial photography area 32 and the aerial photography features from the aerial photography image 30, the feature combination unit 2120 combines them into a combined aerial photography feature. There are various methods for combining two sets of features into one set of features. For example, the feature combination unit 2120 concatenates the partial aerial photography feature and the aerial photography feature, and uses this concatenation as a combined aerial photography feature. In this case, the aerial photography feature and the partial aerial photography feature are configured so that the sum of their sizes matches the size of the ground feature.

例えば地上特徴量抽出部２０４０、空撮特徴量抽出部２０６０、及び部分空撮特徴量抽出部２１００が、ニューラルネットワークによって実現されるとする。この場合、これらは、地上特徴量抽出部２０４０の出力層のサイズが、空撮特徴量抽出部２０６０の出力層のサイズと部分空撮特徴量抽出部２１００の出力層のサイズとの和と一致するように構成される。 For example, the ground feature extraction unit 2040, the aerial photography feature extraction unit 2060, and the partial aerial photography feature extraction unit 2100 are realized by neural networks. In this case, they are configured so that the size of the output layer of the ground feature extraction unit 2040 matches the sum of the size of the output layer of the aerial photography feature extraction unit 2060 and the size of the output layer of the partial aerial photography feature extraction unit 2100.

その他にも例えば、特徴量結合部２１２０は、部分空撮特徴量と空撮特徴量との重み付き和を算出し、この重み付き和を結合空撮特徴量として利用する。この場合、空撮特徴量のサイズと部分空撮特徴量のサイズが、互いに一致し、かつ、地上特徴量のサイズと一致する態様で、空撮特徴量と部分空撮特徴量が構成される。例えば地上特徴量抽出部２０４０、空撮特徴量抽出部２０６０、及び部分空撮特徴量抽出部２１００が、ニューラルネットワークによって実現されるとする。この場合、これらは、各部の出力層のサイズが互いに一致する態様で構成される。 In another example, the feature combination unit 2120 calculates a weighted sum of the partial aerial photography features and the aerial photography features, and uses this weighted sum as the combined aerial photography feature. In this case, the aerial photography features and the partial aerial photography features are configured such that the sizes of the aerial photography features and the partial aerial photography features match each other and match the sizes of the ground features. For example, the ground feature extraction unit 2040, the aerial photography feature extraction unit 2060, and the partial aerial photography feature extraction unit 2100 are realized by a neural network. In this case, these are configured such that the sizes of the output layers of each unit match each other.

部分空撮特徴量と空撮特徴量との重み付き和は、ニューラルネットワークを用いて算出されうる。このニューラルネットワークは、空撮特徴量と部分空撮特徴量とが入力され、かつ、それらの重み付き和を出力するように構成される。重みは、ニューラルネットワークの訓練によって決定することができる。 The weighted sum of the partial aerial photography features and the aerial photography features can be calculated using a neural network. This neural network is configured to receive the aerial photography features and the partial aerial photography features and to output the weighted sum thereof. The weights can be determined by training the neural network.

＜地上画像と部分空撮画像とのマッチング：Ｓ１１６＞
判定部２１４０は、地上特徴量と部分空撮領域３２の結合空撮特徴量とを比較することにより、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する（Ｓ１１６）。当該比較のために、例えば判定部２１４０は、地上画像２０と部分空撮領域３２との類似度合いを示す類似スコアを算出する。 <Matching between ground images and partial aerial images: S116>
The determination unit 2140 compares the ground feature amount with the combined aerial feature amount of the partial aerial photography area 32 to determine whether or not the ground image 20 matches the partial aerial photography area 32 (S116). For this comparison, for example, the determination unit 2140 calculates a similarity score indicating the degree of similarity between the ground image 20 and the partial aerial photography area 32.

類似スコアの算出には種々のメトリクスを利用できる。例えば類似スコアは、種々の距離のうちの１つ（例えば、L2 距離）、相関、コサイン類似度、又はニューラルネットワーク（NN）ベースの類似度として算出されうる。NN ベースの類似度は、２つの入力データ（この場合、地上特徴量と結合空撮特徴量）の類似度を算出するように訓練されたニューラルネットワークによって算出される類似度である。 A variety of metrics can be used to calculate the similarity score. For example, the similarity score can be calculated as one of a variety of distances (e.g., L2 distance), correlation, cosine similarity, or a neural network (NN)-based similarity. NN-based similarity is a similarity calculated by a neural network trained to calculate the similarity between two input data (in this case, ground features and combined aerial features).

判定部２１４０は、類似スコアに基づいて、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。概念的には、地上画像２０と部分空撮領域３２との類似度が高いほど、地上画像２０と部分空撮領域３２とがマッチする蓋然性が高い。そこで例えば、判定部２１４０は、類似スコアが所定の閾値以上であるか否かを判定する。類似スコアが所定の閾値以上である場合、判定部２１４０は、地上画像２０と空撮画像３０とがマッチすると判定する。一方、類似スコアが所定の閾値未満である場合、判定部２１４０は、地上画像２０と空撮画像３０とがマッチしないと判定する。 The determination unit 2140 determines whether the ground image 20 and the partial aerial photographed area 32 match based on the similarity score. Conceptually, the higher the similarity between the ground image 20 and the partial aerial photographed area 32, the higher the probability that the ground image 20 and the partial aerial photographed area 32 match. Therefore, for example, the determination unit 2140 determines whether the similarity score is equal to or greater than a predetermined threshold. If the similarity score is equal to or greater than the predetermined threshold, the determination unit 2140 determines that the ground image 20 and the aerial photographed image 30 match. On the other hand, if the similarity score is less than the predetermined threshold, the determination unit 2140 determines that the ground image 20 and the aerial photographed image 30 do not match.

ここで、上述したケースにおいて、類似スコアは、地上特徴量と結合空撮特徴量との類似度合いが大きいほど、その値が大きくなると仮定されている。そのため、地上特徴量と結合空撮特徴量との類似度合いが高いほど、地上特徴量と結合空撮特徴量とについて算出される値が小さくなるメトリクス（例えば距離）が利用される場合、類似スコアは、地上特徴量と結合空撮特徴量とについて算出された値（例えば、地上特徴量と結合空撮特徴量の距離）の逆数として定義されうる。 Here, in the above-mentioned case, it is assumed that the greater the similarity between the ground feature and the combined aerial photography feature, the greater the similarity score. Therefore, when a metric (e.g., distance) is used in which the value calculated for the ground feature and the combined aerial photography feature becomes smaller as the similarity between the ground feature and the combined aerial photography feature becomes higher, the similarity score can be defined as the reciprocal of the value calculated for the ground feature and the combined aerial photography feature (e.g., the distance between the ground feature and the combined aerial photography feature).

その他にも例えば、地上特徴量と結合空撮特徴量の類似度が高いほど類似スコアが小さくなる場合、判定部２１４０は、類似スコアが所定の閾値以下であるか否かを判定する。類似スコアが所定の閾値以下である場合、判定部２１４０は、地上画像２０と部分空撮領域３２とがマッチするか否かを判定する。一方、類似スコアが所定の閾値より大きい場合、判定部２１４０は、地上画像２０と部分空撮領域３２とがマッチしないと判定する。 For example, if the similarity score decreases as the similarity between the ground features and the combined aerial photography features increases, the determination unit 2140 determines whether the similarity score is equal to or less than a predetermined threshold. If the similarity score is equal to or less than the predetermined threshold, the determination unit 2140 determines whether the ground image 20 and the partial aerial photography area 32 match. On the other hand, if the similarity score is greater than the predetermined threshold, the determination unit 2140 determines that the ground image 20 and the partial aerial photography area 32 do not match.

＜画像マッチング装置２０００からの出力＞
画像マッチング装置２０００は、判定結果を表す情報（以下、出力情報）を出力しうる。例えば出力情報は、地上画像２０と空撮画像３０とがマッチするか否かを示しうる。地上画像２０と空撮画像３０とがマッチする場合、出力情報は、地上画像２０とマッチすると判定された部分空撮領域３２を特定する情報をさらに含みうる。部分空撮領域３２は、例えば、その画像データ、又は、第１放射状線とｘ軸とが成す角度及び第２放射状線とｘ軸とが成す角度のセットによって特定されうる。さらに、出力情報は地上画像２０の画角の大きさを含みうる。 <Output from Image Matching Device 2000>
The image matching device 2000 may output information indicating the determination result (hereinafter, output information). For example, the output information may indicate whether the ground image 20 and the aerial image 30 match. If the ground image 20 and the aerial image 30 match, the output information may further include information identifying the partial aerial region 32 determined to match the ground image 20. The partial aerial region 32 may be identified, for example, by its image data or a set of an angle between a first radial line and the x-axis and an angle between a second radial line and the x-axis. Furthermore, the output information may include the size of the angle of view of the ground image 20.

出力情報を出力する方法は様々である。例えば画像マッチング装置２０００は、出力情報を記憶装置に格納しうる。その他にも例えば、画像マッチング装置２０００は、出力情報の内容がディスプレイ装置に表示されるように、出力情報をディスプレイ装置に出力しうる。その他にも例えば、画像マッチング装置２０００は、他のコンピュータ（例えば、図６に示されるジオローカライゼーションシステム２００に含まれるもの）に対して出力情報を出力しうる。 There are various ways to output the output information. For example, the image matching device 2000 may store the output information in a storage device. As another example, the image matching device 2000 may output the output information to a display device so that the contents of the output information are displayed on the display device. As another example, the image matching device 2000 may output the output information to another computer (e.g., one included in the geolocalization system 200 shown in FIG. 6).

＜モデルの訓練＞
画像マッチング装置２０００は、ニューラルネットワークなどのように、機械学習ベースのモデルを１つ以上含みうる。例えば前述したように、地上特徴量抽出部２０４０、空撮特徴量抽出部２０６０、部分空撮特徴量抽出部２１００、及び特徴量結合部２１２０は、ニューラルネットワーク（例えば、CNN の特徴抽出層）として実装されうる。画像マッチング装置２０００が機械学習ベースのモデルを用いて実装される場合、それらのモデルは、訓練データセットを利用して予め訓練されている必要がある。例えば、モデルの訓練を行うコンピュータ（以下、訓練装置）は、訓練データセットを利用してトリプレットロス（triplet loss）を算出し、そのトリプレットロスに基づいて、モデルの訓練可能なパラメータを更新しうる。この場合、訓練データセットは、地上画像、空撮画像、地上画像とマッチする正例の部分空撮領域、及び地上画像とマッチしない負例の部分空撮領域を含みうる。地上画像、正例の部分空撮領域、及び負例の部分空撮領域はそれぞれ、アンカーの入力、正例の入力、及び負例の入力として利用される。 <Model training>
The image matching device 2000 may include one or more machine learning-based models, such as a neural network. For example, as described above, the ground feature extraction unit 2040, the aerial photography feature extraction unit 2060, the partial aerial photography feature extraction unit 2100, and the feature combination unit 2120 may be implemented as a neural network (e.g., a feature extraction layer of a CNN). When the image matching device 2000 is implemented using a machine learning-based model, the model must be trained in advance using a training data set. For example, a computer that trains the model (hereinafter, a training device) may calculate a triplet loss using the training data set and update trainable parameters of the model based on the triplet loss. In this case, the training data set may include a ground image, an aerial image, a partial aerial photography area of a positive example that matches the ground image, and a partial aerial photography area of a negative example that does not match the ground image. The ground image, the partial aerial photography area of a positive example, and the partial aerial photography area of a negative example are used as an input of an anchor, an input of a positive example, and an input of a negative example, respectively.

具体的には、例えば訓練装置は、地上画像を地上特徴量抽出部２０４０に入力して地上特徴量を取得し、空撮画像を空撮特徴量抽出部２０６０に入力して空撮特徴量を取得し、正例の部分空撮領域を部分空撮特徴量抽出部２１００に入力して正例に対応する部分空撮特徴量を取得し、かつ、負例の部分空撮領域を部分空撮特徴量抽出部２１００に入力して負例に対応する部分空撮特徴量を取得する。そして、空撮特徴量と、正例に対応する部分空撮特徴量とが特徴量結合部２１２０に入力されて、正例に対応する結合空撮特徴量が得られる。同様に、空撮特徴量と、負例に対応する部分空撮特徴量が特徴量結合部２１２０に入力されて、負例に対応する結合空撮特徴量が得られる。 Specifically, for example, the training device inputs a ground image to the ground feature extraction unit 2040 to obtain ground features, inputs an aerial image to the aerial feature extraction unit 2060 to obtain aerial features, inputs a partial aerial area of a positive example to the partial aerial feature extraction unit 2100 to obtain partial aerial features corresponding to the positive example, and inputs a partial aerial area of a negative example to the partial aerial feature extraction unit 2100 to obtain partial aerial features corresponding to the negative example. Then, the aerial features and the partial aerial features corresponding to the positive example are input to the feature combination unit 2120 to obtain a combined aerial feature corresponding to the positive example. Similarly, the aerial features and the partial aerial features corresponding to the negative example are input to the feature combination unit 2120 to obtain a combined aerial feature corresponding to the negative example.

次に、訓練装置は、地上特徴量、正例に対応する結合空撮特徴量、及び負例に対応する結合空撮特徴量に基づいて、トリプレットロスを算出する。そして、訓練装置は、得られたトリプレットロスに基づいて、モデルの訓練可能なパラメータを更新する。ここで、１つ以上の機械学習モデルからの出力に基づいて算出されたトリプレットロスに基づいて、それら１つ以上の機械学習モデルの訓練可能なパラメータを更新する種々の既存の手法が存在し、訓練装置において、それらのうちの任意の１つを採用することができる。さらに、トリプレットロスはモデルの訓練に利用できるロスの単なる一例であり、他の任意の種類のロスをモデルの訓練に利用しうる。 Next, the training device calculates a triplet loss based on the ground features, the combined aerial features corresponding to the positive examples, and the combined aerial features corresponding to the negative examples. Then, the training device updates trainable parameters of the model based on the obtained triplet loss. Here, there are various existing techniques for updating trainable parameters of one or more machine learning models based on triplet losses calculated based on the output from the one or more machine learning models, and any one of them may be adopted in the training device. Furthermore, the triplet loss is just one example of a loss that may be used to train the model, and any other type of loss may be used to train the model.

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 The program can be stored and provided to the computer using various types of non-transitory computer readable media. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs, CD-Rs, CD-R/Ws, and semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs). The program may also be provided to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer readable media can provide the program to the computer via wired communication paths such as electric wires and optical fibers, or wireless communication paths.

実施形態を参照して本開示について説明されているが、本開示は上述した実施形態に限定されない。発明の範囲内で、当業者が理解できる種々の変形を本開示の構成や詳細に対して行うことができる。 Although the present disclosure has been described with reference to embodiments, the present disclosure is not limited to the above-described embodiments. Various modifications that are understandable to those skilled in the art can be made to the configuration and details of the present disclosure within the scope of the invention.

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
＜付記＞
（付記１）
少なくとも一つのプロセッサ、
命令が格納されている記憶要素を有し、
前記少なくとも一つのプロセッサは、前記命令を実行することにより、
地上画像と空撮画像を取得し、
前記地上画像から特徴量を抽出し、
前記空撮画像から特徴量を抽出し、
前記空撮画像から複数の部分空撮領域を抽出し、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出し、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出し、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定する、ように構成される画像マッチング装置。
（付記２）
前記少なくとも一つのプロセッサは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定するようにさらに構成される、付記１に記載の画像マッチング装置。
（付記３）
前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴量との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、付記１又は２に記載の画像マッチング装置。
（付記４）
前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、付記１から３いずれか一項に記載の画像マッチング装置。
（付記５）
前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、付記１から４いずれか一項に記載の画像マッチング装置。
（付記６）
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、付記１から５いずれか一項に記載の画像マッチング装置。
（付記７）
地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、を含む、コンピュータによって実行される制御方法。
（付記８）
前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、をさらに含む、付記７に記載の制御方法。
（付記９）
前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、付記７又は８に記載の制御方法。
（付記１０）
前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、付記７から９いずれか一項に記載の制御方法。
（付記１１）
前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、付記７から１０いずれか一項に記載の制御方法。
（付記１２）
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、付記７から１１いずれか一項に記載の制御方法。
（付記１３）
地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
前記複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
前記複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させるプログラムが格納されている、非一時的なコンピュータ可読記憶媒体。
（付記１４）
前記プログラムは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、を前記コンピュータにさらに実行させる、付記１３に記載の記憶媒体。
（付記１５）
前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の前記特徴との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、付記１３又は１４に記載の記憶媒体。
（付記１６）
前記複数の部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を前記複数の部分空撮領域に分割することを含む、付記１３から１５いずれか一項に記載の記憶媒体。
（付記１７）
前記複数の部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を前記複数の部分空撮領域に分割することと、を含む、付記３から１６いずれか一項に記載の記憶媒体。
（付記１８）
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の前記特徴量と前記空撮画像の前記特徴量との重み付き和である、付記１３から１７いずれか一項に記載の記憶媒体。 A part or all of the above-described embodiments can be described as, but is not limited to, the following supplementary notes.
<Additional Notes>
(Appendix 1)
at least one processor,
a memory element having instructions stored therein;
The at least one processor executes the instructions to:
Acquire ground and aerial images,
Extracting features from the ground image;
Extracting features from the aerial image;
Extracting a plurality of partial aerial regions from the aerial image;
Extracting features from each of the plurality of partial aerial photography regions;
For each of the plurality of partial aerial photography regions, the feature amount of the partial aerial photography region and the feature amount of the aerial photography image are combined to calculate a combined aerial photography feature amount;
An image matching device configured to compare, for each of the plurality of partial aerial photography areas, the combined aerial photography features of the partial aerial photography area with the features of the ground image to determine whether the partial aerial photography area matches the ground image.
(Appendix 2)
The image matching device of Appendix 1, wherein the at least one processor is further configured to determine that the ground image and the aerial image match when it is determined that the partial aerial region and the ground image match.
(Appendix 3)
The determination of whether the partial aerial photographed area matches the ground image includes:
Calculating a similarity between the combined aerial photography feature of the partial aerial photography area and the feature of the ground image;
and determining whether the calculated similarity is equal to or greater than a predetermined threshold.
(Appendix 4)
The image matching device of any one of claims 1 to 3, wherein the extraction of the plurality of partial aerial regions includes dividing the aerial image into the plurality of partial aerial regions using a plurality of radial lines.
(Appendix 5)
The extraction of the plurality of partial aerial photography regions includes:
Cropping a circular region from the aerial image;
and dividing the circular region into the plurality of partial aerial regions.
(Appendix 6)
The combined aerial feature is a concatenation of the feature of the partial aerial region and the feature of the aerial image, or
The image matching device according to any one of claims 1 to 5, wherein the combined aerial feature is a weighted sum of the feature of the partial aerial region and the feature of the aerial image.
(Appendix 7)
Acquiring terrestrial and aerial imagery;
Extracting features from the ground image;
Extracting features from the aerial image;
Extracting a plurality of partial aerial photographed regions from the aerial photographed image;
Extracting a feature amount from each of the plurality of partial aerial photography areas;
For each of the plurality of partial aerial photography regions, the feature amount of the partial aerial photography region and the feature amount of the aerial photography image are combined to calculate a combined aerial photography feature amount;
A control method executed by a computer, comprising: for each of the plurality of partial aerial photography areas, comparing the combined aerial photography features of the partial aerial photography area with the features of the ground image to determine whether the partial aerial photography area matches the ground image.
(Appendix 8)
The control method described in Appendix 7 further includes determining that the ground image and the aerial image match when it is determined that the partial aerial area and the ground image match.
(Appendix 9)
The determination of whether the partial aerial photographed area matches the ground image includes:
Calculating a similarity between the combined aerial photography feature amount of the partial aerial photography area and the feature of the ground image;
and determining whether the calculated similarity is equal to or greater than a predetermined threshold.
(Appendix 10)
The control method according to any one of appendixes 7 to 9, wherein the extraction of the plurality of partial aerial regions includes dividing the aerial image into the plurality of partial aerial regions using a plurality of radial lines.
(Appendix 11)
The extraction of the plurality of partial aerial photography regions includes:
Cropping a circular region from the aerial image;
The control method according to any one of appendixes 7 to 10, further comprising dividing the circular area into the plurality of partial aerial photography areas.
(Appendix 12)
The combined aerial feature is a concatenation of the feature of the partial aerial region and the feature of the aerial image, or
The control method according to any one of appendices 7 to 11, wherein the combined aerial photography feature is a weighted sum of the feature of the partial aerial photography area and the feature of the aerial photography image.
(Appendix 13)
Acquiring terrestrial and aerial imagery;
Extracting features from the ground image;
Extracting features from the aerial image;
Extracting a plurality of partial aerial regions from the aerial image;
Extracting a feature amount from each of the plurality of partial aerial photography areas;
For each of the plurality of partial aerial photography regions, the feature amount of the partial aerial photography region and the feature amount of the aerial photography image are combined to calculate a combined aerial photography feature amount;
A non-transitory computer-readable storage medium storing a program that causes a computer to execute the following steps: for each of the plurality of partial aerial photography areas, compare the combined aerial photography features of the partial aerial photography area with the features of the ground image to determine whether the partial aerial photography area matches the ground image.
(Appendix 14)
The storage medium described in Appendix 13, wherein the program further causes the computer to determine that the ground image and the aerial image match when it is determined that the partial aerial area and the ground image match.
(Appendix 15)
The determination of whether the partial aerial photographed area matches the ground image includes:
Calculating a similarity between the combined aerial photography feature amount of the partial aerial photography area and the feature of the ground image;
and determining whether the calculated similarity is equal to or greater than a predetermined threshold.
(Appendix 16)
A storage medium as claimed in any one of appendices 13 to 15, wherein the extraction of the plurality of partial aerial regions includes dividing the aerial image into the plurality of partial aerial regions using a plurality of radial lines.
(Appendix 17)
The extraction of the plurality of partial aerial photography regions includes:
Cropping a circular region from the aerial image;
and dividing the circular area into the plurality of partial aerial areas.
(Appendix 18)
The combined aerial feature is a concatenation of the feature of the partial aerial region and the feature of the aerial image, or
The storage medium according to any one of appendices 13 to 17, wherein the combined aerial photography feature is a weighted sum of the feature of the partial aerial photography region and the feature of the aerial photography image.

２０ 地上画像
３０ 空撮画像
３２ 部分空撮領域
３４ 円形領域
５０ バツ印
６０ 丸印
７０ 矢印
２００ ジオローカライゼーションシステム
３００ 位置データベース
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ ストレージデバイス
１１００ 入出力インタフェース
１１２０ ネットワークインタフェース
２０００ 画像マッチング装置
２０２０ 取得部
２０４０ 地上特徴量抽出部
２０６０ 空撮特徴量抽出部
２０８０ 部分空撮領域抽出部
２１００ 部分空撮特徴量抽出部
２１２０ 特徴量結合部
２１４０ 判定部 20 Ground image 30 Aerial image 32 Partial aerial region 34 Circular region 50 Cross mark 60 Circle mark 70 Arrow 200 Geolocalization system 300 Location database 1000 Computer 1020 Bus 1040 Processor 1060 Memory 1080 Storage device 1100 Input/output interface 1120 Network interface 2000 Image matching device
2020 Acquisition unit 2040 Ground feature extraction unit 2060 Aerial photography feature extraction unit 2080 Partial aerial photography area extraction unit 2100 Partial aerial photography feature extraction unit 2120 Feature combination unit 2140 Determination unit

Claims (10)

地上画像と空撮画像を取得する取得手段と、
前記地上画像から特徴量を抽出する地上特徴抽出手段と、
前記空撮画像から特徴量を抽出する空撮特徴量抽出手段と、
前記空撮画像から複数の部分空撮領域を抽出する部分空撮領域抽出手段と、
複数の前記部分空撮領域のそれぞれから特徴量を抽出する部分空撮特徴量抽出手段と、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の特徴量と前記空撮画像の特徴量とを結合して結合空撮特徴量を算出する特徴量結合手段と、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の前記特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定する判定手段と、を有する画像マッチング装置。 An acquisition means for acquiring ground images and aerial images;
a ground feature extraction means for extracting a feature amount from the ground image;
an aerial photography feature extraction means for extracting features from the aerial photography image;
A partial aerial photography area extraction means for extracting a plurality of partial aerial photography areas from the aerial photography image;
A partial aerial photography feature extraction means for extracting features from each of the plurality of partial aerial photography regions;
A feature amount combining means for calculating a combined aerial feature amount by combining the feature amount of the partial aerial photography area and the feature amount of the aerial photography image for each of the partial aerial photography areas;
An image matching device having a determination means for determining whether or not the partial aerial photography area matches the ground image by comparing the combined aerial photography features of the partial aerial photography area with the features of the ground image for each of the multiple partial aerial photography areas. 前記判定手段は、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定する、請求項１に記載の画像マッチング装置。 2. The image matching device according to claim 1, wherein the determining means determines that the ground image and the aerial image match when it is determined that the partial aerial region and the ground image match. 前記部分空撮領域と前記地上画像とがマッチするか否かの判定は、
前記部分空撮領域の前記結合空撮特徴量と前記地上画像の特徴量との類似度を算出することと、
前記算出した類似度が所定の閾値以上であるか否かを判定することと、を含む、請求項１又は２に記載の画像マッチング装置。 The determination of whether the partial aerial photographed area matches the ground image includes:
Calculating a similarity between the combined aerial photography feature of the partial aerial photography area and the feature of the ground image;
The image matching device according to claim 1 , further comprising: determining whether or not the calculated similarity is equal to or greater than a predetermined threshold value. 複数の前記部分空撮領域の前記抽出は、複数の放射状の線を利用して、前記空撮画像を複数の前記部分空撮領域に分割することを含む、請求項１から３いずれか一項に記載の画像マッチング装置。 The image matching device according to claim 1 , wherein the extraction of the partial aerial regions includes dividing the aerial image into the partial aerial regions using a plurality of radial lines. 複数の前記部分空撮領域の前記抽出は、
前記空撮画像から円形領域をクロップすることと、
前記円形領域を複数の前記部分空撮領域に分割することと、を含む、請求項１から４いずれか一項に記載の画像マッチング装置。 The extraction of the plurality of partial aerial photography regions includes:
Cropping a circular region from the aerial image;
The image matching device according to claim 1 , further comprising: dividing the circular region into a plurality of the partial aerial regions. 前記結合空撮特徴量は、前記部分空撮領域の特徴量と前記空撮画像の特徴量とのコンカチネーションであるか、又は、
前記結合空撮特徴量は、前記部分空撮領域の特徴量と前記空撮画像の特徴量との重み付き和である、請求項１から５いずれか一項に記載の画像マッチング装置。 The combined aerial feature is a concatenation of the feature of the partial aerial region and the feature of the aerial image, or
The image matching device according to claim 1 , wherein the combined aerial feature amount is a weighted sum of a feature amount of the partial aerial region and a feature amount of the aerial image. 地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の特徴量と前記空撮画像の特徴量とを結合して結合空撮特徴量を算出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、を含む、コンピュータによって実行される制御方法。 Acquiring terrestrial and aerial imagery;
Extracting features from the ground image;
Extracting features from the aerial image;
Extracting a plurality of partial aerial regions from the aerial image;
Extracting features from each of the plurality of partial aerial photography regions;
Calculating a combined aerial feature amount by combining the feature amount of the partial aerial photography area and the feature amount of the aerial photography image for each of the partial aerial photography areas;
A control method executed by a computer, comprising: for each of a plurality of partial aerial photography areas, comparing the combined aerial photography features of the partial aerial photography area with the features of the ground image to determine whether the partial aerial photography area matches the ground image. 前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、をさらに含む、請求項７に記載の制御方法。 The control method according to claim 7, further comprising: determining that the ground image and the aerial image match when it is determined that the partial aerial region and the ground image match. 地上画像と空撮画像を取得することと、
前記地上画像から特徴量を抽出することと、
前記空撮画像から特徴量を抽出することと、
前記空撮画像から複数の部分空撮領域を抽出することと、
複数の前記部分空撮領域のそれぞれから特徴量を抽出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の特徴量と前記空撮画像の前記特徴量とを結合して結合空撮特徴量を算出することと、
複数の前記部分空撮領域のそれぞれについて、前記部分空撮領域の前記結合空撮特徴量と、前記地上画像の特徴量とを比較して、前記部分空撮領域と前記地上画像とがマッチするか否かを判定することと、をコンピュータに実行させるプログラム。 Acquiring terrestrial and aerial imagery;
Extracting features from the ground image;
Extracting features from the aerial image;
Extracting a plurality of partial aerial regions from the aerial image;
Extracting features from each of the plurality of partial aerial photography regions;
Calculating a combined aerial feature amount by combining the feature amount of the partial aerial photography area and the feature amount of the aerial photography image for each of the partial aerial photography areas;
A program that causes a computer to execute the following steps: for each of the multiple partial aerial photography areas, compare the combined aerial photography features of the partial aerial photography area with the features of the ground image, and determine whether the partial aerial photography area matches the ground image . 前記プログラムは、前記部分空撮領域と前記地上画像とがマッチすると判定された場合、前記地上画像と前記空撮画像とがマッチすると判定すること、を前記コンピュータにさらに実行させる、請求項９に記載のプログラム。 The program according to claim 9 , further causing the computer to determine that the ground image and the aerial image match when it is determined that the partial aerial region and the ground image match .
JP2023549942A 2021-03-26 2021-03-26 IMAGE MATCHING DEVICE, CONTROL METHOD, AND PROGRAM Active JP7485232B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/013105 WO2022201545A1 (en) 2021-03-26 2021-03-26 Image matching apparatus, control method, and non-transitory computer-readable storage medium

Publications (2)

Publication Number Publication Date
JP2024506962A JP2024506962A (en) 2024-02-15
JP7485232B2 true JP7485232B2 (en) 2024-05-16

Family

ID=83396517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023549942A Active JP7485232B2 (en) 2021-03-26 2021-03-26 IMAGE MATCHING DEVICE, CONTROL METHOD, AND PROGRAM

Country Status (3)

Country Link
US (1) US20240096052A1 (en)
JP (1) JP7485232B2 (en)
WO (1) WO2022201545A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161362A1 (en) 2012-12-10 2014-06-12 International Business Machines Corporation Techniques for Spatial Semantic Attribute Matching for Location Identification
JP2014194831A (en) 2014-07-04 2014-10-09 Olympus Corp Image determination server
JP2018205937A (en) 2017-05-31 2018-12-27 日本放送協会 Image retrieval device and program
US20200134844A1 (en) 2018-10-26 2020-04-30 Here Global B.V. Method, apparatus, and system for generating feature correspondence between image views

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140161362A1 (en) 2012-12-10 2014-06-12 International Business Machines Corporation Techniques for Spatial Semantic Attribute Matching for Location Identification
JP2014194831A (en) 2014-07-04 2014-10-09 Olympus Corp Image determination server
JP2018205937A (en) 2017-05-31 2018-12-27 日本放送協会 Image retrieval device and program
US20200134844A1 (en) 2018-10-26 2020-04-30 Here Global B.V. Method, apparatus, and system for generating feature correspondence between image views

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LIU LIU, 外1名，"Lending Orientation to Neural Networks for Cross-view Geo-localization"，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR)，2019年06月20日，p.5617-5626

Also Published As

Publication number Publication date
WO2022201545A1 (en) 2022-09-29
JP2024506962A (en) 2024-02-15
US20240096052A1 (en) 2024-03-21

Similar Documents

Publication Publication Date Title
US9177404B2 (en) Systems and methods of merging multiple maps for computer vision based tracking
JP2019133658A (en) Positioning method, positioning device and readable storage medium
US9984280B2 (en) Object recognition system using left and right images and method
CN112580416A (en) Video tracking based on deep Siam network and Bayesian optimization
US20140193077A1 (en) Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program
WO2018119606A1 (en) Method and apparatus for representing a map element and method and apparatus for locating vehicle/robot
JP5563494B2 (en) Corresponding reference image search device and method, content superimposing device, system and method, and computer program
WO2021217924A1 (en) Method and apparatus for identifying vehicle type at traffic checkpoint, and device and storage medium
JP5833507B2 (en) Image processing device
CN111428619B (en) Three-dimensional point cloud head attitude estimation system and method based on ordered regression and soft labels
US20220148302A1 (en) Method for visual localization and related apparatus
KR102441053B1 (en) Apparatus and method for estimating driving lane of vehicle
WO2022033111A1 (en) Image information extraction method, training method and apparatus, medium, and electronic device
WO2022134464A1 (en) Target detection positioning confidence determination method and apparatus, and electronic device and storage medium
Bae et al. Fast and scalable structure-from-motion based localization for high-precision mobile augmented reality systems
WO2020137069A1 (en) Position estimation system
CN114565668A (en) Instant positioning and mapping method and device
KR102210404B1 (en) Location information extraction device and method
CN112862730B (en) Point cloud feature enhancement method and device, computer equipment and storage medium
Baik et al. Domain adaptation of learned features for visual localization
US10430459B2 (en) Server and method for providing city street search service
CN112148817B (en) SLAM optimization method, device and system based on panorama
JP7485232B2 (en) IMAGE MATCHING DEVICE, CONTROL METHOD, AND PROGRAM
JP7485200B2 (en) Image enhancement device, control method, and program
CN114333038B (en) Training method of object recognition model, object recognition method, device and equipment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7485232

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150