JP2023037043A - Map data generation device and positioning device - Google Patents

Abstract

To provide a map data generation device configured to improve positioning accuracy using map data.SOLUTION: In a positioning system 1, a map server 10 serving as a map data generation device is provided with: an acquisition unit 12 that acquires image data captured by a stereo camera 80; a semantic labeling unit 13 that provides labeling to regions regarding the image data and determines a region where a feature point is not detected on the basis of the semantic labeling; and a map data generation unit 14 that, regarding a region other than the region of the image data where a feature point is not detected, generates map data 100 in which the feature amount of a feature point and positional information relating to the feature point are associated with each other.SELECTED DRAWING: Figure 1

Description

本発明は、マップデータ生成装置及び測位装置に関する。 The present invention relates to a map data generation device and a positioning device.

特許文献１には、予め撮影することによって得られた地物の画像を含む参照画像及び該参照画像の各特徴点の位置情報が関連付けられたマップデータと、移動体のカメラによって撮影された現在画像とに基づき、移動体の現在位置を推定する技術が開示されている。 In Patent Document 1, a reference image including an image of a feature obtained by photographing in advance, map data in which position information of each feature point of the reference image is associated, and a current A technique for estimating the current position of a moving object based on images has been disclosed.

特開２０１７－１５１１４８号公報JP 2017-151148 A

ここで、上記特許文献１に記載されたような測位技術において、マップデータに例えば植物等の季節により移り変わる情報が含まれている場合には、該植物等に係るマップデータから精度良く測位を行うことができないおそれがある。すなわち、例えば植物については冬場に樹木の葉が無くなり夏場に樹木に葉が生い茂る等、季節によって特徴点の出現する位置に差が生まれるため、該植物等に係るマップデータから精度良く測位を行うことができないおそれがある。 Here, in the positioning technology as described in Patent Document 1, when the map data includes information that changes with the seasons, such as plants, positioning is performed with high accuracy from the map data related to the plants. may not be possible. That is, for plants, for example, there are differences in the positions where feature points appear depending on the season, such as when the trees lose their leaves in the winter and when the trees grow thick with leaves in the summer. It may not be possible.

本発明は上記実情に鑑みてなされたものであり、マップデータを利用した測位精度を向上させることができるマップデータ生成装置及び測位装置に関する。 The present invention has been made in view of the above circumstances, and relates to a map data generation device and a positioning device capable of improving positioning accuracy using map data.

本発明の一態様に係るマップデータ生成装置は、端末において撮像された画像データを取得する取得部と、画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて特徴点を検出しない領域を決定する意味付け部と、画像データにおける特徴点を検出しない領域以外の領域について、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられたマップデータを生成するマップデータ生成部と、を備える。 A map data generation device according to an aspect of the present invention includes an acquisition unit that acquires image data captured by a terminal, assigns meaning to each region of the image data, and detects feature points based on the result of the assignment of meaning. Map data for generating map data in which the feature amount of the feature point and the position information related to the feature point are associated with each other for the area other than the area where the feature point is not detected in the image data. and a generator.

本発明の一態様に係るマップデータ生成装置では、撮像された画像データについて、各領域に関する意味付けの結果に基づき特徴点を検出しない領域が決定され、特徴点を検出しない領域以外の領域について、特徴点の特徴量と特徴点の位置情報とが対応付けられたマップデータが生成される。このように、意味付けの結果に基づき特徴点を検出しない領域、すなわちマップデータが生成されない領域が決定されることにより、例えば、植物等の、特徴点の出現する位置が変化する物体の領域について他の領域と区別し、特徴点の出現する位置が変化する物体の領域についてはマップデータが生成されない構成とすることができる。このことで、特徴点の出現する位置が変化しない（或いは変化が小さい）領域のみでマップデータを生成することが可能になり、マップデータを利用した測位精度を向上させることができる。 In the map data generation device according to one aspect of the present invention, for imaged image data, regions in which no feature points are detected are determined based on the result of assigning meaning to each region, and for regions other than the regions in which feature points are not detected, Map data is generated in which the feature quantity of the feature points and the position information of the feature points are associated with each other. In this way, an area in which feature points are not detected, that is, an area in which map data is not generated is determined based on the results of meaning assignment. Distinguishing from other areas, map data may not be generated for areas of the object where feature points appear at different positions. This makes it possible to generate map data only in areas where the positions where feature points appear do not change (or change little), and the positioning accuracy using map data can be improved.

本発明によれば、マップデータを利用した測位精度を向上させることができる。 According to the present invention, positioning accuracy using map data can be improved.

本実施形態に係るマップサーバの機能構成を示すブロック図である。It is a block diagram showing the functional configuration of a map server according to the present embodiment. セマンテックセグメンテーションの実行イメージを示す図である。It is a figure which shows the execution image of semantic segmentation. マップデータ生成処理を示すフローチャートである。4 is a flowchart showing map data generation processing; マップデータを利用した測位処理を示すフローチャートである。4 is a flowchart showing positioning processing using map data; マップサーバのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a map server.

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the drawings, the same reference numerals are used for the same or equivalent elements, and overlapping descriptions are omitted.

図１は、本実施形態に係る測位システム１の機能構成を示すブロック図である。図１に示す測位システム１は、通信端末５０において撮像された測位用画像データに基づき測位を行う測位システムである。測位システム１は、例えば、通信端末５０の位置に応じてＡＲ（Augmented Reality）コンテンツを提供するサービスにおいて、通信端末５０の測位を行うシステムである。以下では、測位システム１がＡＲコンテンツを提供するサービスに係るシステムであるとして説明するが、測位システム１は他の用途に係るシステムであってもよい。測位システム１は、マップサーバ１０（マップデータ生成装置）と、複数の通信端末５０と、ステレオカメラ８０（端末）と、を備えている。 FIG. 1 is a block diagram showing the functional configuration of a positioning system 1 according to this embodiment. A positioning system 1 shown in FIG. 1 is a positioning system that performs positioning based on positioning image data captured by a communication terminal 50 . The positioning system 1 is a system that positions the communication terminal 50 in a service that provides AR (Augmented Reality) content according to the position of the communication terminal 50, for example. Although the positioning system 1 is described below as a system related to a service that provides AR content, the positioning system 1 may be a system related to other uses. The positioning system 1 includes a map server 10 (map data generation device), a plurality of communication terminals 50, and a stereo camera 80 (terminal).

通信端末５０は、例えば無線通信が可能な端末であり、例えばスマートフォン、タブレット型端末、ＰＣ等である。通信端末５０は、例えば実装されたアプリケーションをユーザが利用することによって、コンテンツサーバ（不図示）からＡＲコンテンツの提供を受ける。通信端末５０では、例えばアプリケーションが実行されると、実装されたカメラによる撮像（継続的な撮像）が開始される。そして、通信端末５０は、撮像された画像データである測位用画像データをマップサーバ１０に送信し、該測位用画像データに応じてマップサーバ１０によって推定された測位結果を取得する。通信端末５０は、マップサーバ１０によって推定された測位結果、撮像された測位用画像データ、及び、通信端末５０のカメラの情報（画角等）等に基づいて、コンテンツサーバ（不図示）からＡＲコンテンツを含むコンテンツの提供を受ける。 The communication terminal 50 is, for example, a terminal capable of wireless communication, such as a smart phone, a tablet terminal, or a PC. The communication terminal 50 receives provision of AR content from a content server (not shown), for example, when a user uses an installed application. In the communication terminal 50, for example, when an application is executed, imaging (continuous imaging) by the mounted camera is started. Then, the communication terminal 50 transmits the image data for positioning, which is the captured image data, to the map server 10, and acquires the positioning result estimated by the map server 10 according to the image data for positioning. The communication terminal 50 receives an AR from a content server (not shown) based on the positioning result estimated by the map server 10, the captured image data for positioning, and the information (angle of view, etc.) of the camera of the communication terminal 50. Receiving content offers including content.

ステレオカメラ８０は、マップデータ１００の生成に係る複数の画像データを取得し、該複数の画像データをマップサーバ１０に送信するカメラである。ステレオカメラ８０は、例えばマップデータ１００を生成する対象の領域を複数の異なる方向から同時に撮像可能であってもよい。ステレオカメラ８０は、画像データに係る位置情報（グローバル位置情報）を取得し、該位置情報を画像データに紐づけてマップサーバ１０に送信する。画像データに係る位置情報とは、画像データを撮像した際に取得される位置情報であってもよいし、画像データの撮像とは無関係に継続的に取得される位置情報であってもよい。撮像とは無関係に位置情報が取得される場合であっても、例えば数秒周期等、長すぎない周期で継続的に位置情報が取得されることによって、各画像データの撮像タイミングと近い時刻のステレオカメラ８０の位置情報を取得することができる。ステレオカメラ８０は、例えばＧＰＳ（Global Positioning System）測位等を行うことによって、ステレオカメラ８０のグローバル位置情報を取得し、該グローバル位置情報を画像データに係る位置情報としてもよい。なお、画像データに係る位置情報は、ユーザの入力等に応じて取得されるものであってもよい。以下ではステレオカメラがマップデータ１００の生成に係る画像データを取得するとして説明するが、例えば通信端末５０がマップデータ１００の生成に係る画像データを取得してもよい。 The stereo camera 80 is a camera that acquires a plurality of image data related to generation of the map data 100 and transmits the plurality of image data to the map server 10 . The stereo camera 80 may be capable of, for example, simultaneously capturing images of the target area for which the map data 100 is generated from a plurality of different directions. The stereo camera 80 acquires position information (global position information) related to the image data, associates the position information with the image data, and transmits the position information to the map server 10 . The positional information related to the image data may be positional information acquired when the image data is captured, or may be positional information continuously acquired irrespective of the capturing of the image data. Even if the position information is acquired independently of the imaging, by continuously acquiring the position information in a cycle that is not too long, such as a cycle of several seconds, it is possible to obtain a stereo image at a time close to the imaging timing of each image data. Position information of the camera 80 can be acquired. The stereo camera 80 may acquire global position information of the stereo camera 80 by performing GPS (Global Positioning System) positioning, for example, and use the global position information as the position information related to the image data. It should be noted that the position information related to the image data may be obtained according to user input or the like. In the following description, the stereo camera acquires the image data related to the generation of the map data 100, but the communication terminal 50 may acquire the image data related to the generation of the map data 100, for example.

マップサーバ１０は、マップデータ生成機能（マップデータ生成装置としての機能）と、測位機能（測位装置としてのリローカライズ機能）とを有している。なお、マップサーバ１０は、マップデータ生成装置としての機能のみを有していてもよいし、測位装置としての機能のみを有していてもよい。マップデータ生成機能とは、ステレオカメラ８０において撮像された画像データに基づきマップデータ１００を生成する機能である。測位機能とは、通信端末５０において撮像された測位用画像データに基づき撮像時における通信端末５０の位置情報を推定する機能である。以下、マップデータ生成機能及び測位機能について、それぞれの機能の実現に係る構成（機能ブロック）を説明する。 The map server 10 has a map data generation function (function as a map data generation device) and a positioning function (relocalization function as a positioning device). Note that the map server 10 may have only the function as a map data generating device, or may have only the function as a positioning device. The map data generation function is a function for generating map data 100 based on image data captured by stereo camera 80 . The positioning function is a function of estimating the position information of the communication terminal 50 at the time of imaging based on positioning image data captured by the communication terminal 50 . Configurations (functional blocks) for realizing the respective functions of the map data generation function and the positioning function will be described below.

マップサーバ１０は、マップデータ生成機能に係る機能構成として、取得部１２と、意味付け部１３と、マップデータ生成部１４と、を備えている。 The map server 10 includes an acquisition unit 12, a meaning assignment unit 13, and a map data generation unit 14 as a functional configuration related to the map data generation function.

取得部１２は、ステレオカメラ８０において撮像された画像データを取得する。より詳細には、取得部１２は、ステレオカメラ８０において撮像された画像データと、該画像データに係る位置情報（グローバル位置情報）とを紐づけた情報をステレオカメラ８０から取得する。 Acquisition unit 12 acquires image data captured by stereo camera 80 . More specifically, the acquisition unit 12 acquires from the stereo camera 80 information in which image data captured by the stereo camera 80 and position information (global position information) related to the image data are linked.

意味付け部１３は、取得部１２によって取得された各画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて、マップデータ１００の生成に関して特徴点を検出しない領域を決定する。特徴点とは、画像中において際立って検出される点であり、例えば他の領域と比べて輝度（強度）が大きい（又は小さい）点である。各領域に関する意味付けを行うとは、例えば、各領域がどのようなカテゴリに属する領域であるかを特定することをいう。意味付け部１３は、例えばセマンテックセグメンテーションにより、画像データにおける各ピクセルの意味（周辺のピクセルの情報を考慮した意味）を推定し、該推定結果に基づいて各領域をカテゴライズ（意味付け）してもよい。 The meaning giving unit 13 gives meaning to each region of each image data acquired by the acquiring unit 12, and determines regions in which feature points are not detected for generation of the map data 100 based on the meaning giving result. A feature point is a point that is conspicuously detected in an image, and is, for example, a point that has a higher (or lower) luminance (intensity) than other regions. Giving meaning to each area means, for example, specifying to which category each area belongs. The meaning assigning unit 13 estimates the meaning of each pixel in the image data (meaning considering the information of surrounding pixels) by, for example, semantic segmentation, and categorizes (assigns meaning) each region based on the estimation result. good too.

図２は、セマンテックセグメンテーションの実行イメージを示す図である。例えば図２（ａ）の上段に示される画像データに、複数の木々を含む植物Ｐ１の領域、建造物Ｂ１の領域、車Ｃ１の領域、道路Ｒ１の領域が含まれているとする。この場合、セマンテックセグメンテーションが実行されることにより、画像データ中の各ピクセルの意味が推定され、図２（ａ）の下段に示されるように、植物Ｐ１の領域である植物領域ＡＲ１、建造物Ｂ１の領域である建造物領域ＡＲ２、車Ｃ１の領域である車領域ＡＲ３、道路Ｒ１の領域である道路領域ＡＲ４が区別（分類）される。また、例えば図２（ｂ）の上段に示される画像データに、複数の木々を含む植物Ｐ１の領域、建造物Ｂ１の領域、車Ｃ１の領域、道路Ｒ１の領域、自転車Ｂ２の領域が含まれているとする。この場合、セマンテックセグメンテーションが実行されることにより、画像データ中の各ピクセルの意味が推定され、図２（ｂ）の下段に示されるように、植物Ｐ１の領域である植物領域ＡＲ１、建造物Ｂ１の領域である建造物領域ＡＲ２、車Ｃ１の領域である車領域ＡＲ３、道路Ｒ１の領域である道路領域ＡＲ４、自転車Ｂ２の領域である自転車領域ＡＲ５が区別（分類）される。また、例えば図２（ｃ）の上段に示される画像データに、複数の木々を含む植物Ｐ１の領域、建造物Ｂ１の領域、道路Ｒ１の領域、歩道Ｒ２の領域、信号機Ｓ１の領域が含まれているとする。この場合、セマンテックセグメンテーションが実行されることにより、画像データ中の各ピクセルの意味が推定され、図２（ｃ）の下段に示されるように、植物Ｐ１の領域である植物領域ＡＲ１、建造物Ｂ１の領域である建造物領域ＡＲ２、道路Ｒ１の領域である道路領域ＡＲ４、歩道Ｒ２の領域である歩道領域ＡＲ６、信号機Ｓ１の領域である信号機領域ＡＲ７が区別（分類）される。 FIG. 2 is a diagram showing an execution image of semantic segmentation. For example, assume that the image data shown in the upper part of FIG. 2A includes a plant P1 area including a plurality of trees, a building B1 area, a car C1 area, and a road R1 area. In this case, semantic segmentation is performed to estimate the meaning of each pixel in the image data. As shown in the lower part of FIG. A building area AR2 that is the area of B1, a vehicle area AR3 that is the area of the car C1, and a road area AR4 that is the area of the road R1 are distinguished (classified). Also, for example, the image data shown in the upper part of FIG. 2B includes the area of the plant P1 including a plurality of trees, the area of the building B1, the area of the car C1, the area of the road R1, and the area of the bicycle B2. Suppose you are In this case, semantic segmentation is performed to estimate the meaning of each pixel in the image data. As shown in the lower part of FIG. A building area AR2 that is the area of B1, a car area AR3 that is the area of the car C1, a road area AR4 that is the area of the road R1, and a bicycle area AR5 that is the area of the bicycle B2 are distinguished (classified). For example, the image data shown in the upper part of FIG. 2(c) includes a plant P1 area including a plurality of trees, a building B1 area, a road R1 area, a sidewalk R2 area, and a traffic light S1 area. Suppose you are In this case, semantic segmentation is performed to estimate the meaning of each pixel in the image data. As shown in the lower part of FIG. A building area AR2 that is the area of B1, a road area AR4 that is the area of road R1, a sidewalk area AR6 that is the area of sidewalk R2, and a traffic light area AR7 that is the area of traffic light S1 are distinguished (classified).

意味付け部１３は、画像データにおける、時期に応じて態様の変化する領域について態様変化領域であるとする意味付けを行い、該態様変化領域を、特徴点を検出しない領域として決定する。態様変化領域とは、例えば季節の変化に応じて態様が変化する植物の領域であってもよいし、動作することによりリアルタイムに態様が変化する動的な物体の領域であってもよい。 The meaning giving unit 13 gives meaning to a region in the image data whose mode changes with time as a mode changing region, and determines the mode changing region as a region in which feature points are not detected. The mode-changing area may be, for example, a plant area whose mode changes according to seasonal changes, or a dynamic object area whose mode changes in real time by movement.

意味付け部１３は、態様変化領域である植物の領域について植物領域であるとする意味付けを行うと共に、該植物領域を、特徴点を検出しない領域として決定してもよい。ここでの植物とは、例えば葉を有した木々等であり、冬場に樹木の葉が無くなり夏場に樹木に葉が生い茂る等、季節によって特徴点の出現する位置に差が生じるものをいう。 The meaning assigning unit 13 may give meaning to the plant area, which is the aspect change area, as a plant area, and may determine the plant area as an area in which no feature point is detected. Plants here are, for example, trees with leaves, and the appearance of feature points differs depending on the season, such as when the trees lose their leaves in the winter and when the trees grow thick with leaves in the summer.

意味付け部１３はさらに、態様変化領域である動的な物体の領域について動的物体領域であるとする意味付けを行い、該動的物体領域を、特徴点を検出しない領域として決定してもよい。動的な物体とは、例えば人や車など動きのある物体である。なお、ここでの動的な物体には、例えば不動産（建物、立ち木等）であるものの風等の自然現象によってわずかに動くような物体は含まれない。例えば図２（ｂ）に示される例では、画像データにおける車Ｃ１の領域である車領域ＡＲ３及び自転車Ｂ２の領域である自転車領域ＡＲ５が、動的物体領域とされる。このように、本実施形態では、意味付け部１３が、植物領域及び動的物体領域について「特徴点を検出しない領域」に決定し、その他の領域について「特徴点を検出する領域」に決定する。 The meaning giving unit 13 may further give meaning to the dynamic object region, which is the aspect change region, as a dynamic object region, and determine the dynamic object region as a region in which feature points are not detected. good. A dynamic object is a moving object such as a person or a car. Note that the dynamic objects here do not include real estate objects (buildings, standing trees, etc.) that move slightly due to natural phenomena such as wind. For example, in the example shown in FIG. 2B, a vehicle area AR3 that is the area of the car C1 and a bicycle area AR5 that is the area of the bicycle B2 in the image data are defined as dynamic object areas. Thus, in the present embodiment, the meaning assigning unit 13 determines the plant region and the dynamic object region as “regions in which feature points are not detected”, and determines the other regions as “regions in which feature points are detected”. .

なお、意味付け部１３は、セマンテックセグメンテーション以外の方法によって、画像データにおける各領域の意味付けを行ってもよい。例えば、意味付け部１３は、画像認識を行うこと等により画像データに含まれる物体を特定し、各物体に係る領域の意味づけ（カテゴライズ）を行ってもよい。 Note that the meaning assigning unit 13 may assign meaning to each region in the image data by a method other than semantic segmentation. For example, the meaning assigning unit 13 may specify the objects included in the image data by performing image recognition or the like, and assign meaning (categorize) to the area related to each object.

マップデータ生成部１４は、画像データにおける特徴点を検出しない領域以外の領域（すなわち、上述した「特徴点を検出する領域」）について、特徴点を検出し、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられた点群データであるマップデータ１００（特徴点マップ，３Ｄポイントクラウド）を生成する。特徴点の特徴量とは、例えば輝度方向ベクトル等により示される情報である。特徴点に係る位置情報とは、取得部１２によって取得された画像データに係る位置情報から特定される、特徴点に対応付けて設定される位置情報であり、画像データ中の特徴点が示す領域についての現実世界におけるグローバル位置情報である。なお、各特徴点に対する位置情報の対応付けは、従来から周知の方法によって行うことができる。 The map data generation unit 14 detects feature points in areas other than areas in which feature points are not detected in the image data (that is, the above-described "areas in which feature points are detected"), and calculates feature amounts of the feature points and the feature points. map data 100 (feature point map, 3D point cloud), which is point cloud data associated with position information relating to . The feature quantity of a feature point is information indicated by, for example, a luminance direction vector. The positional information related to the feature point is positional information set in association with the feature point specified from the positional information related to the image data acquired by the acquisition unit 12, and is the area indicated by the feature point in the image data. is the real-world global location information for . Note that position information can be associated with each feature point by a conventionally known method.

マップデータ生成部１４は、意味付け部１３によって「特徴点を検出しない領域」であると決定された植物領域及び動的物体領域について、透明化又は黒塗りすることにより、特徴点の検出ができない状態としてもよい。この状態とした後に、マップデータ生成部１４は、画像データにおける特徴点の検出及びマップデータ１００の生成を行うことにより、「特徴点を検出しない領域」に係るマップデータ１００が生成されることを防止する。なお、マップデータ生成部１４は、「特徴点を検出しない領域」であると決定された植物領域及び動的物体領域の特徴点を検出しない方法であれば、その他の方法によって「特徴点を検出する領域」のみのマップデータ１００を生成してもよい。マップデータ生成部１４は、生成したマップデータ１００を記憶部１１に格納する。 The map data generating unit 14 renders the plant region and the dynamic object region, which have been determined by the meaning assigning unit 13 to be “regions in which feature points are not detected” transparent or painted black, so that feature points cannot be detected. state. After this state is established, the map data generation unit 14 detects feature points in the image data and generates the map data 100, thereby generating the map data 100 relating to the "area where feature points are not detected." To prevent. Note that the map data generating unit 14 may use any other method for detecting feature points in the plant region and the dynamic object region determined to be the “region in which feature points are not detected”. The map data 100 may be generated only for the "area to be covered". The map data generation unit 14 stores the generated map data 100 in the storage unit 11 .

マップサーバ１０は、測位機能（リローカライズ機能）に係る機能構成として、記憶部１１と、取得部１２と、意味付け部１３と、測位部１５と、を備えている。 The map server 10 is provided with a storage unit 11, an acquisition unit 12, a semantic unit 13, and a positioning unit 15 as a functional configuration related to the positioning function (relocalization function).

記憶部１１は、マップデータ生成部１４によって生成されて格納されたマップデータ１００を記憶する。上述したように、マップデータ１００は、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられた点群データである。記憶部１１は、マップデータ１００の特徴点に係る位置情報として３次元の位置情報を記憶している。記憶部１１は、特徴点に係る３次元の位置情報として、例えば、特徴点の緯度・経度・高さを記憶している。記憶部１１は、マップデータ１００について位置情報に応じて一定の領域毎に分割した複数の分割マップデータを記憶していてもよい。各分割マップデータは、互いに境界付近の領域（グローバル位置情報）が重複していてもよいし、重複していなくてもよい。 The storage unit 11 stores map data 100 generated and stored by the map data generation unit 14 . As described above, the map data 100 is point cloud data in which feature amounts of feature points and position information related to the feature points are associated with each other. The storage unit 11 stores three-dimensional position information as position information relating to feature points of the map data 100 . The storage unit 11 stores, for example, the latitude, longitude, and height of the feature points as three-dimensional position information related to the feature points. The storage unit 11 may store a plurality of divided map data obtained by dividing the map data 100 into certain areas according to the position information. The divided map data may or may not overlap each other in the area (global position information) near the boundary.

取得部１２は、通信端末５０において撮像された画像データである測位用画像データを通信端末５０から取得する。 The acquisition unit 12 acquires positioning image data, which is image data captured by the communication terminal 50 , from the communication terminal 50 .

意味付け部１３は、取得部１２によって取得された測位用画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて、マップデータ１００の生成に関して特徴点を検出しない領域を決定する。意味付けの方法、特徴点を検出しない領域の決定方法等については、上述したマップデータ生成機能における意味付け部１３の処理と同様である。 The meaning assigning unit 13 assigns meaning to each region of the positioning image data acquired by the acquiring unit 12, and determines regions in which feature points are not detected for generation of the map data 100 based on the result of the meaning. . The method of assigning meaning, the method of determining areas in which feature points are not detected, and the like are the same as the processing of the meaning assigning unit 13 in the above-described map data generation function.

測位部１５は、記憶部１１に記憶されているマップデータ１００に基づいて通信端末５０の測位を行う。測位部１５は、測位用画像データにおける特徴点を検出しない領域（例えば、植物領域及び動的物体領域）以外の領域の特徴点と、マップデータ１００の特徴点とのマッチングを行い、該マッチングの結果に基づいて通信端末５０の位置（３次元のグローバル位置情報）を特定する。具体的には、測位部１５は、上記マッチングを行うことにより測位用画像データに対応するマップデータ１００の領域を特定し、特定した領域に係るマップデータ１００の特徴点に対応付けられたグローバル位置情報に基づいて、測位用画像データの撮像位置（すなわち、撮像時における通信端末５０のグローバル位置情報）を推定する。 The positioning unit 15 positions the communication terminal 50 based on the map data 100 stored in the storage unit 11 . The positioning unit 15 performs matching between feature points in regions other than regions in which feature points are not detected in the positioning image data (for example, plant regions and dynamic object regions) and feature points in the map data 100, and performs matching. Based on the result, the position (three-dimensional global position information) of the communication terminal 50 is identified. Specifically, the positioning unit 15 identifies an area of the map data 100 corresponding to the image data for positioning by performing the above matching, and calculates global positions associated with feature points of the map data 100 related to the identified area. Based on the information, the imaging position of the positioning image data (that is, the global position information of the communication terminal 50 at the time of imaging) is estimated.

次に、図３を参照して、マップサーバ１０が実行するマップデータ生成処理について説明する。図３は、マップデータ生成処理を示すフローチャートである。 Next, map data generation processing executed by the map server 10 will be described with reference to FIG. FIG. 3 is a flowchart showing map data generation processing.

図３に示されるように、マップデータ生成処理では、まず、マップサーバ１０がステレオカメラ８０において撮像された画像データを取得する（ステップＳ１）。 As shown in FIG. 3, in the map data generation process, first, the map server 10 acquires image data captured by the stereo camera 80 (step S1).

つづいて、マップサーバ１０は、セマンテックセグメンテーションを実行することにより、画像データにおける各ピクセルの意味（周辺のピクセルの情報を考慮した意味）を推定し、該推定結果に基づいて各領域をカテゴライズ（意味付け）する（ステップＳ２）。具体的には、マップサーバ１０は、植物領域及び動的物体領域について「特徴点を検出しない領域」に決定し、その他の領域について「特徴点を検出する領域」に決定する。 Subsequently, the map server 10 performs semantic segmentation to estimate the meaning of each pixel in the image data (meaning considering the information of surrounding pixels), and categorize each region based on the estimation result. (step S2). Specifically, the map server 10 determines the plant area and the dynamic object area as "areas in which feature points are not detected", and determines the other areas as "areas in which feature points are detected".

つづいて、マップサーバ１０は、「特徴点を検出しない領域」であると決定された植物領域及び動的物体領域について、透明化又は黒塗りすることにより、特徴点の検出ができない状態とする（ステップＳ３）。 Subsequently, the map server 10 renders the plant area and the dynamic object area determined to be "areas in which feature points are not detected" transparent or blackened, thereby rendering feature points undetectable ( step S3).

最後に、マップサーバ１０は、画像データにおける特徴点を検出しない領域以外の領域（すなわち、上述した「特徴点を検出する領域」）について、特徴点を検出し、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられた点群データであるマップデータ１００（特徴点マップ，３Ｄポイントクラウド）を生成する（ステップＳ４）。以上がマップデータ生成処理である。 Finally, the map server 10 detects feature points in areas other than areas in which feature points are not detected in the image data (that is, the above-described "areas in which feature points are detected"), Map data 100 (feature point map, 3D point cloud), which is point group data associated with position information of points, is generated (step S4). The above is the map data generation processing.

次に、図４を参照して、マップサーバ１０が実行する測位処理について説明する。図４は、マップデータ１００を利用した測位処理を示すフローチャートである。 Next, positioning processing executed by the map server 10 will be described with reference to FIG. FIG. 4 is a flowchart showing positioning processing using the map data 100. As shown in FIG.

図４に示されるように、測位処理では、まず、マップサーバ１０が通信端末５０において撮像された測位用画像データを取得する（ステップＳ１１）。 As shown in FIG. 4, in the positioning process, first, the map server 10 acquires positioning image data captured by the communication terminal 50 (step S11).

つづいて、マップサーバ１０は、セマンテックセグメンテーションを実行することにより、画像データにおける各ピクセルの意味（周辺のピクセルの情報を考慮した意味）を推定し、該推定結果に基づいて各領域をカテゴライズ（意味付け）する（ステップＳ１２）。具体的には、マップサーバ１０は、植物領域及び動的物体領域について「特徴点を検出しない領域」に決定し、その他の領域について「特徴点を検出する領域」に決定する。 Subsequently, the map server 10 performs semantic segmentation to estimate the meaning of each pixel in the image data (meaning considering the information of surrounding pixels), and categorize each region based on the estimation result. (step S12). Specifically, the map server 10 determines the plant area and the dynamic object area as "areas in which feature points are not detected", and determines the other areas as "areas in which feature points are detected".

つづいて、マップサーバ１０は、「特徴点を検出しない領域」であると決定された植物領域及び動的物体領域について、透明化又は黒塗りすることにより、特徴点の検出ができない状態とする（ステップＳ１３）。 Subsequently, the map server 10 renders the plant area and the dynamic object area determined to be "areas in which feature points are not detected" transparent or blackened, thereby rendering feature points undetectable ( step S13).

最後に、マップサーバ１０は、測位用画像データにおける特徴点を検出しない領域（例えば、植物領域及び動的物体領域）以外の領域の特徴点と、マップデータ１００の特徴点とのマッチングを行い、該マッチングの結果に基づいて通信端末５０の位置（３次元のグローバル位置情報）を特定するリローカライズを行う（ステップＳ１４）。以上が測位処理である。 Finally, the map server 10 matches the feature points of the map data 100 with the feature points of the areas other than the areas in which the feature points are not detected in the positioning image data (for example, the plant area and the dynamic object area), Based on the matching result, relocalization is performed to specify the position (three-dimensional global position information) of the communication terminal 50 (step S14). The above is the positioning processing.

次に、本実施形態に係るマップサーバ１０の作用効果について説明する。 Next, the effects of the map server 10 according to this embodiment will be described.

マップサーバ１０は、ステレオカメラ８０において撮像された画像データを取得する取得部１２と、画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて特徴点を検出しない領域を決定する意味付け部１３と、画像データにおける特徴点を検出しない領域以外の領域について、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられたマップデータ１００を生成するマップデータ生成部１４と、を備える。 The map server 10 includes an acquisition unit 12 that acquires image data captured by the stereo camera 80, assigns meaning to each area of the image data, and determines areas in which feature points are not detected based on the result of the assignment. A meaning assigning unit 13, and a map data generating unit 14 for generating map data 100 in which feature amounts of feature points and position information related to the feature points are associated with each other in areas other than areas in which feature points are not detected in the image data. And prepare.

本実施形態に係るマップサーバ１０では、撮像された画像データについて、各領域に関する意味付けの結果に基づき特徴点を検出しない領域が決定され、特徴点を検出しない領域以外の領域について、特徴点の特徴量と特徴点の位置情報とが対応付けられたマップデータ１００が生成される。このように、意味付けの結果に基づき特徴点を検出しない領域、すなわちマップデータ１００が生成されない領域が決定されることにより、例えば、植物等の、特徴点の出現する位置が変化する物体の領域について他の領域と区別し、特徴点の出現する位置が変化する物体の領域についてはマップデータ１００が生成されない構成とすることができる。このことで、特徴点の出現する位置が変化しない（或いは変化が小さい）領域のみでマップデータ１００を生成することが可能になり、マップデータ１００を利用した測位精度を向上させることができる。 In the map server 10 according to the present embodiment, regions in which feature points are not detected are determined based on the result of assigning meaning to each region of the captured image data. Map data 100 is generated in which the feature amount and the position information of the feature points are associated with each other. In this way, an area in which feature points are not detected, that is, an area in which the map data 100 is not generated is determined based on the result of the meaning assignment. is distinguished from other areas, and the map data 100 is not generated for the object area where the position where the feature points appear changes. This makes it possible to generate the map data 100 only in areas where the positions where the feature points appear do not change (or change little), and the positioning accuracy using the map data 100 can be improved.

意味付け部１３は、画像データにおける、時期に応じて態様の変化する領域について態様変化領域であるとする意味付けを行い、該態様変化領域を、特徴点を検出しない領域として決定してもよい。 The meaning-giving unit 13 may give meaning to a region in the image data whose mode changes according to time as a mode-changing region, and determine the mode-changing region as a region in which feature points are not detected. .

具体的には、意味付け部１３は、画像データにおける植物の領域について植物領域であるとする意味付けを行い、該植物領域を、特徴点を検出しない領域として決定してもよい。このような構成によれば、冬場に樹木の葉が無くなり夏場に樹木に葉が生い茂る等、季節の移り変わりにより特徴点の出現する位置が変化する植物領域をマップデータ１００が生成されない領域とすることができる。このことで、マップデータ１００を利用した測位精度を更に向上させることができる。 Specifically, the meaning assigning unit 13 may give meaning to the plant area in the image data as a plant area, and determine the plant area as an area in which feature points are not detected. According to such a configuration, the map data 100 may not be generated for a plant area in which the position where the feature points appear changes with the change of seasons, such as when the trees lose their leaves in the winter and the trees grow thick with the leaves in the summer. can. This makes it possible to further improve the positioning accuracy using the map data 100 .

また、意味付け部１３は、画像データにおける動的な物体の領域について動的物体領域であるとする意味付けを行い、該動的物体領域を、特徴点を検出しない領域として決定してもよい。これにより、一時的に存在する物体の領域をマップデータ１００が生成されない領域とすることができる。このことで、マップデータ１００を利用した測位精度を更に向上させることができる。 Further, the meaning giving unit 13 may give meaning to a dynamic object region in the image data as a dynamic object region, and determine the dynamic object region as a region in which feature points are not detected. . As a result, the area of the temporarily existing object can be set as an area in which the map data 100 is not generated. This makes it possible to further improve the positioning accuracy using the map data 100 .

意味付け部１３は、セマンテックセグメンテーションにより、各領域に関する意味付けを行ってもよい。これにより、各領域に関する意味付けを高精度に行うことができる。 The meaning giving unit 13 may give meaning to each region by semantic segmentation. As a result, it is possible to attach meaning to each area with high accuracy.

マップデータ生成部１４は、画像データにおける特徴点を検出しない領域について、透明化又は黒塗りしてもよい。これにより、簡易な手法によって特徴点を検出しない領域について特徴点が検出されることを適切に防止することができる。 The map data generation unit 14 may make transparent or blacken areas in which feature points are not detected in the image data. This makes it possible to appropriately prevent feature points from being detected in areas where feature points are not detected by a simple method.

マップサーバ１０は、マップデータ１００に基づいて、通信端末５０の測位を行う測位部１５を更に備え、取得部１２は、通信端末５０において撮像された測位用画像データを取得し、意味付け部１３は、測位用画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて特徴点を検出しない領域を決定し、測位部１５は、測位用画像データにおける特徴点を検出しない領域以外の領域の特徴点と、マップデータ１００の特徴点とのマッチングを行い、該マッチングの結果に基づいて通信端末５０の位置を特定してもよい。このように、測位用画像データについても、意味付けの結果に基づき、マップデータ１００との特徴点のマッチングが行われない領域が決定されることにより、例えば特徴点の出現する位置が変化しない（或いは変化が小さい）領域同士で特徴点のマッチングを行い、マップデータ１００を利用した測位精度を向上させることができる。 The map server 10 further includes a positioning unit 15 that performs positioning of the communication terminal 50 based on the map data 100. The acquisition unit 12 acquires positioning image data captured by the communication terminal 50, and the meaning attaching unit 13 assigns meaning to each region of the positioning image data, determines regions in which no feature points are detected based on the results of the giving of meaning, and the positioning unit 15 determines regions other than the regions in which no feature points are detected in the positioning image data. , and the feature points of the map data 100 may be matched, and the position of the communication terminal 50 may be specified based on the matching result. In this way, with respect to the positioning image data as well, areas where feature points are not matched with the map data 100 are determined based on the results of meaning assignment, so that, for example, the positions where feature points appear do not change ( Alternatively, matching of feature points can be performed between regions with small changes, and the positioning accuracy using the map data 100 can be improved.

最後に、マップサーバ１０のハードウェア構成について、図５を参照して説明する。上述のマップサーバ１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。 Finally, the hardware configuration of the map server 10 will be explained with reference to FIG. The map server 10 described above may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。マップサーバ１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。 Note that in the following description, the term "apparatus" can be read as a circuit, device, unit, or the like. The hardware configuration of the map server 10 may be configured to include one or more of each device shown in the figure, or may be configured without some of the devices.

マップサーバ１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。 Each function of the map server 10 is performed by loading predetermined software (programs) onto hardware such as the processor 1001 and the memory 1002 , the processor 1001 performs calculations, communication by the communication device 1004 , memory 1002 and storage 1003 . It is realized by controlling the reading and/or writing of data in the .

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、マップサーバ１０の測位部１５等の制御機能はプロセッサ１００１で実現されてもよい。 The processor 1001, for example, operates an operating system to control the entire computer. The processor 1001 may be configured with a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic device, registers, and the like. For example, the control functions such as the positioning unit 15 of the map server 10 may be implemented by the processor 1001 .

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、マップサーバ１０の測位部１５等の制御機能は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。 The processor 1001 also reads programs (program codes), software modules, and data from the storage 1003 and/or the communication device 1004 to the memory 1002, and executes various processes according to them. As the program, a program that causes a computer to execute at least part of the operations described in the above embodiments is used. For example, the control functions of the positioning unit 15 and the like of the map server 10 may be implemented by a control program stored in the memory 1002 and operated by the processor 1001, and other functional blocks may be similarly implemented. Although it has been described that the above-described various processes are executed by one processor 1001, they may be executed by two or more processors 1001 simultaneously or sequentially. Processor 1001 may be implemented with one or more chips. Note that the program may be transmitted from a network via an electric communication line.

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。 The memory 1002 is a computer-readable recording medium, and is composed of at least one of, for example, ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), and RAM (Random Access Memory). may be The memory 1002 may also be called a register, cache, main memory (main storage device), or the like. The memory 1002 can store executable programs (program codes), software modules, etc. for implementing a wireless communication method according to an embodiment of the present invention.

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。 The storage 1003 is a computer-readable recording medium, for example, an optical disc such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disc, a magneto-optical disc (for example, a compact disc, a digital versatile disc, a Blu-ray disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, and/or the like. Storage 1003 may also be called an auxiliary storage device. The storage medium described above may be, for example, a database, server, or other suitable medium including memory 1002 and/or storage 1003 .

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。 The communication device 1004 is hardware (transmitting/receiving device) for communicating between computers via a wired and/or wireless network, and is also called a network device, network controller, network card, communication module, or the like.

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。 The input device 1005 is an input device (for example, keyboard, mouse, microphone, switch, button, sensor, etc.) that receives input from the outside. The output device 1006 is an output device (eg, display, speaker, LED lamp, etc.) that outputs to the outside. Note that the input device 1005 and the output device 1006 may be integrated (for example, a touch panel).

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。 Devices such as the processor 1001 and the memory 1002 are connected by a bus 1007 for communicating information. The bus 1007 may be composed of a single bus, or may be composed of different buses between devices.

また、マップサーバ１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。 The map server 10 also includes hardware such as a microprocessor, a digital signal processor (DSP), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). may be configured, and a part or all of each functional block may be realized by the hardware. For example, processor 1001 may be implemented with at least one of these hardware.

以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。 Although the present embodiments have been described in detail above, it will be apparent to those skilled in the art that the present embodiments are not limited to the embodiments described herein. This embodiment can be implemented as modifications and changes without departing from the spirit and scope of the present invention defined by the description of the claims. Therefore, the description in this specification is for the purpose of illustration and explanation, and does not have any restrictive meaning with respect to the present embodiment.

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broad-band）、ＩＥＥＥ ８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-Wide Band）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。 Aspects/embodiments described herein support Long Term Evolution (LTE), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, Future Radio Access (FRA), W-CDMA (registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broad-band), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-Wide Band), Bluetooth®, other suitable systems and/or extended next generation systems based on these.

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。 The procedures, sequences, flow charts, etc. of each aspect/embodiment described herein may be interchanged so long as there is no inconsistency. For example, the methods described herein present elements of the various steps in a sample order, and are not limited to the specific order presented.

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。 Input/output information and the like may be stored in a specific location (for example, memory), or may be managed in a management table. Input/output information and the like may be overwritten, updated, or appended. The output information and the like may be deleted. The entered information and the like may be transmitted to another device.

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。 The determination may be made by a value represented by one bit (0 or 1), by a true/false value (Boolean: true or false), or by numerical comparison (for example, a predetermined value).

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。 Each aspect/embodiment described herein may be used alone, in combination, or switched between implementations. In addition, the notification of predetermined information (for example, notification of “being X”) is not limited to being performed explicitly, but may be performed implicitly (for example, not notifying the predetermined information). good too.

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。 Software, whether referred to as software, firmware, middleware, microcode, hardware description language or otherwise, includes instructions, instruction sets, code, code segments, program code, programs, subprograms, and software modules. , applications, software applications, software packages, routines, subroutines, objects, executables, threads of execution, procedures, functions, and the like.

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。 Software, instructions, etc. may also be sent and received over a transmission medium. For example, the software can be used to access websites, servers, or other When transmitted from a remote source, these wired and/or wireless technologies are included within the definition of transmission media.

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。 Information, signals, etc. described herein may be represented using any of a variety of different technologies. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description may refer to voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. may be represented by a combination of

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。 The terms explained in this specification and/or terms necessary for understanding this specification may be replaced with terms having the same or similar meanings.

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。 In addition, the information, parameters, etc. described in this specification may be represented by absolute values, may be represented by relative values from a predetermined value, or may be represented by corresponding other information. .

ユーザ端末は、当業者によって、移動通信端末、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、またはいくつかの他の適切な用語で呼ばれる場合もある。 User terminals are defined by those skilled in the art as mobile communication terminals, subscriber stations, mobile units, subscriber units, wireless units, remote units, mobile devices, wireless devices, wireless communication devices, remote devices, mobile subscriber stations, access terminals, It may also be called a mobile terminal, wireless terminal, remote terminal, handset, user agent, mobile client, client or some other suitable term.

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。 As used herein, the terms "determining" and "determining" may encompass a wide variety of actions. "Determining", "determining" means, for example, calculating, computing, processing, deriving, investigating, looking up (e.g., in a table, database or other search in data structures), ascertaining as "judgement" or "decision". Also, "judgment" and "determination" are used for receiving (e.g., receiving information), transmitting (e.g., transmitting information), input, output, access (accessing) (for example, accessing data in memory) may include deeming that a "judgment" or "decision" has been made. In addition, "judgment" and "decision" are considered to be "judgment" and "decision" by resolving, selecting, choosing, establishing, comparing, etc. can contain. In other words, "judgment" and "decision" may include considering that some action is "judgment" and "decision".

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。 As used herein, the phrase "based on" does not mean "based only on," unless expressly specified otherwise. In other words, the phrase "based on" means both "based only on" and "based at least on."

「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。 Wherever "include," "including," and variations thereof are used in the specification or claims, these terms are synonymous with the term "comprising." are intended to be inclusive. Furthermore, the term "or" as used in this specification or the claims is not intended to be an exclusive OR.

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。 In this specification, plural devices are also included unless the context or technicality clearly dictates that there is only one.

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。 Throughout this disclosure, the plural shall be included unless the context clearly indicates the singular.

１０…マップサーバ（マップデータ生成装置）、１２…取得部、１３…意味付け部、１４…マップデータ生成部、５０…通信端末、８０…ステレオカメラ（端末）、１００…マップデータ。 DESCRIPTION OF SYMBOLS 10... Map server (map data generation apparatus), 12... Acquisition part, 13... Meaning attachment part, 14... Map data generation part, 50... Communication terminal, 80... Stereo camera (terminal), 100... Map data.

Claims (7)

端末において撮像された画像データを取得する取得部と、
前記画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて特徴点を検出しない領域を決定する意味付け部と、
前記画像データにおける前記特徴点を検出しない領域以外の領域について、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられたマップデータを生成するマップデータ生成部と、を備えるマップデータ生成装置。 an acquisition unit that acquires image data captured by a terminal;
a meaning assigning unit that assigns meaning to each region of the image data and determines regions in which feature points are not detected based on the result of the meaning assignment;
a map data generation unit that generates map data in which feature amounts of feature points and position information related to the feature points are associated with each other for areas other than the areas where the feature points are not detected in the image data. generator. 前記意味付け部は、前記画像データにおける、時期に応じて態様の変化する領域について態様変化領域であるとする意味付けを行い、該態様変化領域を、前記特徴点を検出しない領域として決定する、請求項１記載のマップデータ生成装置。 The meaning-giving unit assigns meaning to a region in the image data whose mode changes according to time as a mode-changing region, and determines the mode-changing region as a region in which the characteristic point is not detected. 2. The map data generation device according to claim 1. 前記意味付け部は、前記態様変化領域である植物の領域について植物領域であるとする意味付けを行い、該植物領域を、前記特徴点を検出しない領域として決定する、請求項２記載のマップデータ生成装置。 3. The map data according to claim 2, wherein the meaning assigning unit gives meaning to the plant area, which is the aspect change area, as a plant area, and determines the plant area as an area in which the feature points are not detected. generator. 前記意味付け部は、前記態様変化領域である動的な物体の領域について動的物体領域であるとする意味付けを行い、該動的物体領域を、前記特徴点を検出しない領域として決定する、請求項２又は３記載のマップデータ生成装置。 The meaning giving unit assigns meaning to the dynamic object region, which is the aspect change region, as a dynamic object region, and determines the dynamic object region as a region in which the feature points are not detected. 4. The map data generation device according to claim 2 or 3. 前記意味付け部は、セマンテックセグメンテーションにより、各領域に関する意味付けを行う、請求項１～４のいずれか一項記載のマップデータ生成装置。 5. The map data generation device according to claim 1, wherein said meaning assigning unit assigns meaning to each region by semantic segmentation. 前記マップデータ生成部は、前記画像データにおける前記特徴点を検出しない領域について、透明化又は黒塗りする、請求項１～５のいずれか一項記載のマップデータ生成装置。 6. The map data generation device according to claim 1, wherein said map data generation unit transparentizes or blackens a region in said image data in which said feature point is not detected. 通信端末において撮像された測位用画像データを取得する取得部と、
前記測位用画像データについて、各領域に関する意味付けを行い、意味付けの結果に基づいて特徴点を検出しない領域を決定する意味付け部と、
前記測位用画像データにおける前記特徴点を検出しない領域以外の領域の特徴点と、特徴点の特徴量と該特徴点に係る位置情報とが対応付けられたマップデータの特徴点とのマッチングを行い、該マッチングの結果に基づいて前記通信端末の測位を行う測位部と、を備える測位装置。 an acquisition unit that acquires positioning image data captured by a communication terminal;
a meaning assigning unit that assigns meaning to each region of the positioning image data, and determines regions in which feature points are not detected based on the result of the meaning assignment;
Matching is performed between a feature point in an area other than the area in which the feature point is not detected in the positioning image data and a feature point in map data in which the feature amount of the feature point and the position information related to the feature point are associated with each other. and a positioning unit that positions the communication terminal based on the matching result.

Images