JP2024062512A - Information processing device, mobile device, system, control method, and program - Google Patents

Abstract

【課題】安定して高精度な位置姿勢推定処理を実現するために、移動デバイスの位置合わせに用いるマップ中から移動物体を検出する。【解決手段】移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持部と、固定カメラの画像を入力する画像入力部と、前記固定カメラの画像から移動物体を検出する移動物体検出部と、前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新部と、前記第二マップを保持する第二マップ情報保持部と、を備えることを特徴とする情報処理装置。【選択図】図１[Problem] To realize a stable and highly accurate position and orientation estimation process, a moving object is detected from a map used for positioning a moving device. [Solution] An information processing device comprising: a first map information storage unit that stores a first map including at least one image acquired by a moving device and feature information of the image, an image input unit that inputs an image from a fixed camera, a moving object detection unit that detects a moving object from the image from the fixed camera, a map correspondence detection unit that detects a correspondence between the feature information of the image from the fixed camera and feature information included in the first map, a map update unit that uses the detection results of the moving object detection unit and the map correspondence detection unit to generate a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map, and a second map information storage unit that stores the second map. [Selected Figure] Figure 1

Description

本発明は、移動デバイスの位置合わせに用いるマップから移動物体を検出する技術に関する。 The present invention relates to a technology for detecting moving objects from a map used to align a moving device.

近年、設計・製造分野においてプロトタイプを用いた評価の期間短縮、費用削減が求められている。ＣＡＤ（コンピュータ支援設計）システムで作成した設計（形状・デザイン）データを用いて、組み立てやすさやメンテナンス性の評価をするための複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）システムが導入されている。 In recent years, there has been a demand in the design and manufacturing fields to shorten the time and reduce costs required for evaluation using prototypes. Mixed reality (MR) systems have been introduced to evaluate ease of assembly and maintainability using design (shape and design) data created with CAD (computer-aided design) systems.

ＭＲシステムの画像表示装置には、ビデオシースルー方式と光学シースルー方式とがある。ビデオシースルー方式の画像表示装置は、撮像装置によって撮影された現実空間の画像に、該撮像装置の位置及び姿勢に応じて生成された仮想空間（コンピュータグラフィクスにより描画された仮想物体や文字情報等）の画像を重畳描画した合成画像を表示する。光学シースルー方式の画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成された仮想空間の画像を表示する。 Image display devices for MR systems are classified into video see-through and optical see-through types. Video see-through image display devices display a composite image in which an image of a virtual space (such as a virtual object or text information drawn by computer graphics) generated according to the position and orientation of the imaging device is superimposed on an image of real space captured by an imaging device. Optical see-through image display devices display an image of a virtual space generated according to the position and orientation of the observer's viewpoint on an optical see-through display worn on the observer's head.

ＭＲ技術において重要な課題の一つは、現実空間と仮想空間の間の位置合わせをいかに正確に行うかということである。そのために、現実空間におけるカメラの位置及び姿勢を正確かつリアルタイムに推定する必要がある。 One of the important issues in MR technology is how to accurately align the real space and the virtual space. To do this, it is necessary to estimate the position and orientation of the camera in the real space accurately and in real time.

その実現方法の一つに、カメラで撮影された画像を用いて現実空間のマップを構築し、そのマップに基づいてカメラの位置及び姿勢を求める方法がある。例えば、Ｖｉｓｕａｌ
ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）と呼ばれる手法がある（例えば、非特許文献１を参照）。この技術は、ＭＲシステムだけでなく、ロボットや無人搬送車の自己位置推定などにも利用されている。 One method for achieving this is to construct a map of the real space using images captured by a camera, and to obtain the position and orientation of the camera based on the map.
There is a technique called Simultaneous Localization and Mapping (SLAM) (see, for example, Non-Patent Document 1). This technique is used not only in MR systems but also in self-location estimation of robots and automated guided vehicles.

Ｖｉｓｕａｌ ＳＬＡＭは、カメラで撮影された画像から現実空間におけるカメラの位置姿勢を求めると同時に、必要に応じてその画像からキーフレームの情報を抽出し、その情報を蓄積したマップを構築する手法である。キーフレームの情報には、画像と、その画像を撮影したカメラの位置姿勢、およびその画像から抽出された特徴点の３次元情報が含まれる。Ｖｉｓｕａｌ ＳＬＡＭによる方法では、実行時にマップを新たに作成した場合、実行の度に異なる基準座標系に基づいて位置姿勢推定がなされる。そのため、同じ環境においては、過去に作成されたマップを利用して処理を行い、一貫した基準座標系に基づく位置姿勢推定を行うことが望ましい。 Visual SLAM is a method for determining the position and orientation of a camera in real space from an image captured by the camera, while at the same time extracting keyframe information from the image as necessary and constructing a map that accumulates this information. Keyframe information includes the image, the position and orientation of the camera that captured the image, and 3D information of feature points extracted from the image. In a Visual SLAM method, if a new map is created during execution, position and orientation estimation is performed based on a different reference coordinate system each time it is executed. For this reason, in the same environment, it is desirable to perform processing using a map created in the past and perform position and orientation estimation based on a consistent reference coordinate system.

また、ＶｉｓｕａｌＳＬＡＭにおいてはカメラで撮影した画像中に移動物体が含まれる場合、それらはカメラの動きとは異なる方向に動きベクトルを生じるため、カメラ位置姿勢推定の誤差の原因となる。そのため、より安定したカメラ位置姿勢の推定を行うためには、移動物体の影響を取り除くことが望ましい。 In addition, in VisualSLAM, if moving objects are included in an image captured by the camera, these will generate motion vectors in a direction different from the camera movement, which will cause errors in the estimation of the camera position and orientation. Therefore, to perform more stable estimation of the camera position and orientation, it is desirable to remove the influence of moving objects.

特許文献１では、マップと画像の対応点のうち、動きベクトルの異なる点を移動物体上の点であると判定し、マップから除去することでこれを実現している。 In Patent Document 1, this is achieved by determining that points with different motion vectors among corresponding points in the map and image are points on a moving object and removing them from the map.

特開２０１２－２２１０４２号公報JP 2012-221042 A

Ｇ．Ｋｌｅｉｎ ａｎｄ Ｄ．Ｍｕｒｒａｙ：“Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ ｆｏｒ Ｓｍａｌｌ ＡＲ Ｗｏｒｋｓｐａｃｅｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｓｉｘｔｈ ＩＥＥＥ ａｎｄ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，２００７．G. Klein and D. Murray: “Parallel Tracking and Mapping for Small AR Workspaces”, Proceedings of Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality, 2007. Ｂ．Ｅｌｖｉｒａ， Ｊ．Ｄ．Ｔａｒｄｏｓ ａｎｄ Ｊ．Ｍ．Ｍ．Ｍｏｎｔｉｅｌ：“ＯＲＢＳＬＡＭ－Ａｔｌａｓ：Ａ Ｒｏｂｕｓｔ Ａｎｄ Ａｃｃｕｒａｔｅ Ｍｕｌｔｉ－ｍａｐ Ｓｙｓｔｅｍ”，ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＲＯＳ），２０１９．B. Elvira, J. D. Tardos and J. M. M. Montiel: “ORBSLAM-Atlas: A Robust and Accurate Multi-map System”, IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2019. Ｄ．Ｇ．Ｌｏｗｅ：“Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２００４．D. G. Lowe: “Distinct Image Features from Scale-Invariant Keypoints”, International Journal of Computer Vision, 2004.

しかしながら従来の手法では、全ての対応点のうち移動物体上の対応点が占める割合が大きい場合には、静止物体上の点が除去されてしまう可能性がある。また、対応点が移動物体上にあっても、動きベクトルの違いが閾値以下の場合は静止物体上にあると判定されて除去されず、カメラ位置姿勢推定の精度が低下する可能性がある。 However, with conventional methods, if the proportion of corresponding points on moving objects is large among all corresponding points, there is a possibility that points on stationary objects will be removed. Furthermore, even if a corresponding point is on a moving object, if the difference in its motion vector is below a threshold, it is determined to be on a stationary object and will not be removed, which may result in reduced accuracy in estimating the camera position and orientation.

そこで本発明は、安定して高精度な位置姿勢推定処理を実現するために、移動デバイスの位置合わせに用いるマップ中から移動物体を検出することを目的とする。 The present invention aims to detect moving objects from a map used to align a moving device in order to achieve stable and highly accurate position and orientation estimation processing.

本発明の第一態様は、
移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持部と、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
を備えることを特徴とする情報処理装置である。 The first aspect of the present invention is
a first map information storage unit that stores a first map including at least one image captured by a mobile device and feature information of the image;
an image input unit for inputting an image from a fixed camera;
a moving object detection unit that detects a moving object from an image captured by the fixed camera;
a map correspondence detection unit that detects correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map update unit that uses detection results of the moving object detection unit and the map correspondence detection unit to generate a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map; and
a second map information storage unit for storing the second map;
The information processing device is characterized by comprising:

本発明の第二態様は、
カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記第一マップを他の装置に送信する第一マップ送信部と、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信部と、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定部と、
を備える移動デバイスである。 A second aspect of the present invention is
a first map generating unit that generates a first map including an image captured by a camera and feature information of the image;
a first map transmission unit configured to transmit the first map to another device;
a second map receiving unit that receives, from the other device, a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map;
a self-location estimation unit that estimates a location of the moving device based on feature information of an object that is not the moving object among feature information included in the second map;
A mobile device comprising:

本発明の第三態様は、
移動デバイスと情報処理装置を含むシステムであって、
前記移動デバイスは、
前記移動デバイスと関連付けられたカメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記移動デバイスの位置を推定する自己位置推定部と、
を備え、
前記情報処理装置は、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
を備え、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報を付加した第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
のそれぞれが、前記移動デバイスと前記情報処理装置の少なくともいずれかに備えられており、
前記自己位置推定部は、前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する、
ことを特徴とするシステムである。 A third aspect of the present invention is
A system including a mobile device and an information processing device,
The mobile device comprises:
a first map generating unit that generates a first map including an image captured by a camera associated with the mobile device and feature information of the image from the image;
A self-location estimation unit that estimates a location of the moving device;
Equipped with
The information processing device includes:
an image input unit for inputting an image from a fixed camera;
a moving object detection unit that detects a moving object from an image captured by the fixed camera;
Equipped with
a map correspondence detection unit that detects correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map update unit that generates a second map by adding information indicating whether the feature information is the moving object or not to the feature information included in the first map, using detection results of the moving object detection unit and the map correspondence detection unit; and
a second map information storage unit for storing the second map;
are provided in at least one of the mobile device and the information processing device,
The self-location estimation unit estimates a location of the moving device based on feature information of an object other than the moving object, among feature information included in the second map.
The system is characterized by the above.

本発明の第四態様は、
情報処理装置の制御方法であって、
移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持ステップと、
固定カメラの画像から移動物体を検出する移動物体検出ステップと、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出ステップと、
前記移動物体検出ステップと前記マップ対応検出ステップの検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新ステップと、
前記第二マップを保持する第二マップ情報保持ステップと、
を含むことを特徴とする制御方法である。 A fourth aspect of the present invention is
A method for controlling an information processing device, comprising:
a first map information storage step of storing a first map including at least one image captured by the mobile device and feature information of the image;
A moving object detection step of detecting a moving object from an image of a fixed camera;
a map correspondence detection step of detecting a correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map updating step of generating a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map, using detection results of the moving object detection step and the map correspondence detection step;
a second map information storage step for storing the second map;
The control method includes:

本発明の第五態様は、
移動デバイスの制御方法であって、
カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成ステップと、
前記第一マップを他の装置に送信する第一マップ送信ステップと、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信ステップと、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定ステップと、
を含むことを特徴とする制御方法である。 A fifth aspect of the present invention is
1. A method for controlling a mobile device, comprising:
a first map generating step of generating a first map including an image captured by the camera and feature information of the image;
a first map transmission step of transmitting the first map to another device;
a second map receiving step of receiving a second map from the other device in which information indicating whether or not the object is a moving object is added to the feature information included in the first map;
a self-location estimation step of estimating a location of the moving device based on feature information of an object other than the moving object among feature information included in the second map;
The control method includes:

本発明の第六態様は、
移動デバイスと情報処理装置を含むシステムの制御方法であって、
前記情報処理装置が、固定カメラの画像を入力する画像入力ステップと、
前記情報処理装置が、前記固定カメラの画像から移動物体を検出する移動物体検出ステップと、
前記移動デバイスが、前記移動デバイスと関連付けられたカメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記移動物体検出ステップと前記マップ対応検出ステップの検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報を付加した第二マップを生成するマップ更新ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記第二マップを保持する第二マップ情報保持ステップと、
前記移動デバイスが、前記移動デバイスの位置を推定する自己位置推定部と、
を含むことを特徴とする制御方法である。 A sixth aspect of the present invention is
A method for controlling a system including a mobile device and an information processing device, comprising:
an image input step in which the information processing device inputs an image from a fixed camera;
a moving object detection step in which the information processing device detects a moving object from an image of the fixed camera;
a first map generation step in which the mobile device generates a first map from an image captured by a camera associated with the mobile device, the first map including the image and feature information of the image;
a map correspondence detection step in which at least one of the mobile device and the information processing device detects correspondence between feature information of the image of the fixed camera and feature information included in the first map;
a map update step in which at least one of the moving device and the information processing device generates a second map by adding information indicating whether or not the feature information is the moving object to the feature information included in the first map, using detection results of the moving object detection step and the map correspondence detection step; and
a second map information holding step in which at least one of the mobile device and the information processing device holds the second map;
The mobile device includes a self-location estimation unit that estimates a location of the mobile device;
The control method includes:

本発明によれば、移動デバイスの位置合わせに用いるマップ中から移動物体を検出でき、移動物体の影響を受けずに安定して高精度な位置姿勢の推定が可能となる。 According to the present invention, moving objects can be detected from a map used to align a moving device, enabling stable and highly accurate estimation of position and orientation without being affected by the moving objects.

実施形態１に係るシステムの構成を示すブロック図である。1 is a block diagram showing a configuration of a system according to a first embodiment. 現実空間でのカメラ１００と移動デバイス２の配置を示す模式図である。1 is a schematic diagram showing the arrangement of a camera 100 and a mobile device 2 in real space. 情報処理装置およびのハードウェア構成を示すブロック図である。FIG. 2 is a block diagram showing a hardware configuration of an information processing device. マップ対応検出処理を説明する模式図である。11A and 11B are schematic diagrams illustrating a map-corresponding detection process; 実施形態１における情報処理装置の処理を示すフローチャートである。4 is a flowchart showing a process of the information processing device according to the first embodiment. 実施形態２に係るシステムの構成を示すブロック図である。FIG. 11 is a block diagram showing a configuration of a system according to a second embodiment.

以下、本発明に係る実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態に記載する構成は代表例であり、本発明の範囲はそれらの具体的構成に必ずしも限定されない。 Embodiments of the present invention will be described in detail below with reference to the drawings. Note that the configurations described in the following embodiments are representative examples, and the scope of the present invention is not necessarily limited to those specific configurations.

＜実施形態１＞
図１は、本実施形態に係るシステムの構成例を示すブロック図である。図１に示す如く、本実施形態にかかるシステムは、情報処理装置１がカメラ１００および移動デバイス２と接続された構成を有する。 <Embodiment 1>
1 is a block diagram showing an example of the configuration of a system according to this embodiment. As shown in FIG 1, the system according to this embodiment has a configuration in which an information processing device 1 is connected to a camera 100 and a mobile device 2.

情報処理装置１は、画像入力部１０１、第一マップ受信部１０２、第一マップ情報保持部１０８、マップ対応検出部１０３、移動物体検出部１０４、マップ更新部１０５、第二マップ情報保持部１０６、第二マップ送信部１０７を含む。 The information processing device 1 includes an image input unit 101, a first map receiving unit 102, a first map information storage unit 108, a map correspondence detection unit 103, a moving object detection unit 104, a map update unit 105, a second map information storage unit 106, and a second map transmission unit 107.

移動デバイス２は、現実空間中を移動可能であり、移動デバイス２に関連付けられたカメラ２００によって撮影された映像を用いて構築した現実空間のマップに基づく自己位置姿勢推定を行うことができるデバイスである。移動デバイス２はカメラ２００を内蔵していてもよくカメラ２００と接続されていてもよい。移動デバイス２は、例えばカメラ付きのスマートフォンやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってよく
、ＭＲ映像をユーザーに提示するために現実空間のマップに基づく自己位置姿勢推定を行いうる。また、移動デバイス２は、自律移動ロボットであってよく、ナビゲーションのために自己位置姿勢推定を行いうる。本実施形態では１つの移動デバイス２に対する処理について説明するが、本発明における情報処理装置１には複数の移動デバイス２が接続され、複数の移動デバイス２に対する処理が同時に行われてもよい。また、移動デバイス２と情報処理装置１は、同一のハードウェアで構成されていてもよい。 The mobile device 2 is a device that can move in real space and can perform self-position and orientation estimation based on a map of real space constructed using an image captured by a camera 200 associated with the mobile device 2. The mobile device 2 may have a built-in camera 200 or may be connected to the camera 200. The mobile device 2 may be, for example, a smartphone with a camera or an HMD (Head Mounted Display), and may perform self-position and orientation estimation based on a map of real space to present an MR image to a user. The mobile device 2 may also be an autonomous mobile robot, and may perform self-position and orientation estimation for navigation. In this embodiment, processing for one mobile device 2 will be described, but multiple mobile devices 2 may be connected to the information processing device 1 in the present invention, and processing for multiple mobile devices 2 may be performed simultaneously. The mobile device 2 and the information processing device 1 may be configured with the same hardware.

図２は、本実施形態におけるカメラ１００、情報処理装置１、移動デバイス２が現実空間中に配置された様子を示す模式図である。本実施形態では、移動デバイス２は体験者の頭部に装着可能なビデオシースルー型のＨＭＤとして説明する。机３０１および椅子３０２は現実空間中の物体であり、机３０１は移動しない物体、椅子３０２は移動する物体の例として説明する。 Figure 2 is a schematic diagram showing how the camera 100, information processing device 1, and mobile device 2 in this embodiment are arranged in real space. In this embodiment, the mobile device 2 is described as a video see-through type HMD that can be worn on the head of the user. The desk 301 and chair 302 are objects in real space, and the desk 301 is described as an example of a stationary object, and the chair 302 is described as an example of a moving object.

本実施形態では、情報処理装置１に接続されたカメラ１００は現実空間中に固定された単眼の固定カメラとして説明するが、多眼の固定カメラであってもよい。またカメラ１００は輝度画像を取得するカメラとして説明するが、カラー画像や奥行画像、非可視光画像などを取得可能なカメラでもよい。本発明において、カメラ１００のカメラパラメータや位置姿勢は、事前に校正されていなくてもよいが、事前に校正されていてもよい。 In this embodiment, the camera 100 connected to the information processing device 1 is described as a monocular fixed camera fixed in real space, but it may be a multi-lens fixed camera. Also, the camera 100 is described as a camera that acquires a luminance image, but it may be a camera that can acquire a color image, a depth image, a non-visible light image, etc. In the present invention, the camera parameters and the position and orientation of the camera 100 do not need to be calibrated in advance, but may be calibrated in advance.

移動デバイス２に接続されるカメラ２００は、撮像手段が左目用と右目用に備わっているステレオカメラ構成として説明するが、カメラ２００は単眼カメラであってもよいし、移動デバイス２に２つ以上のカメラが接続されてもよい。移動デバイス２において構築される現実空間のマップは、少なくともカメラ２００によって撮像された画像を含むものとする。ただし、現実空間のマップ構築に、加速度センサ、角速度センサ、超音波センサ、磁気センサ、奥行画像センサ、レーザー距離センサなどの他のセンサや、現実空間中に配置したマーカーから得られた情報などを用いてもよい。 The camera 200 connected to the mobile device 2 is described as a stereo camera configuration with imaging means for the left and right eyes, but the camera 200 may be a monocular camera, or two or more cameras may be connected to the mobile device 2. The map of real space constructed in the mobile device 2 includes at least images captured by the camera 200. However, other sensors such as an acceleration sensor, an angular velocity sensor, an ultrasonic sensor, a magnetic sensor, a depth image sensor, a laser distance sensor, or information obtained from markers placed in the real space may also be used to construct the map of real space.

図３を用いて、情報処理装置１のハードウェア構成について説明する。同図において、３１はＣＰＵであり、装置全体を制御する。３２はＲＡＭであり、ＣＰＵ３１が各部を制御しながら処理を行う時に作業領域として用いられる。３３はＲＯＭであり、制御プログラム、各種アプリケーションプログラム、データなどを記憶する。ＣＰＵ３１がＲＯＭ３３に記憶する制御プログラムをＲＡＭ３２に展開して実行することにより、図１に示す各機能部が実現される。すなわち、ＣＰＵ３１が、画像入力部１０１、第一マップ受信部１０２、第一マップ情報保持部１０８、マップ対応検出部１０３、移動物体検出部１０４、マップ更新部１０５、第二マップ情報保持部１０６、第二マップ送信部１０７に相当する。また、入力Ｉ／Ｆ３４は、カメラ１００および第一マップ受信部１０２から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ３５は、第二マップ送信部１０７から外部装置へ外部装置が処理可能な形式で出力信号として出力する。 The hardware configuration of the information processing device 1 will be described with reference to FIG. 3. In the figure, 31 is a CPU that controls the entire device. 32 is a RAM that is used as a working area when the CPU 31 performs processing while controlling each part. 33 is a ROM that stores a control program, various application programs, data, etc. The CPU 31 deploys the control program stored in the ROM 33 in the RAM 32 and executes it, thereby realizing each functional part shown in FIG. 1. That is, the CPU 31 corresponds to the image input part 101, the first map receiving part 102, the first map information holding part 108, the map correspondence detection part 103, the moving object detection part 104, the map update part 105, the second map information holding part 106, and the second map transmission part 107. The input I/F 34 inputs input signals from the camera 100 and the first map receiving part 102 in a format that can be processed by the information processing device 1. The output I/F 35 outputs an output signal from the second map transmission part 107 to an external device in a format that can be processed by the external device.

上述したように、図１に示す情報処理装置１の各部の機能は、ＣＰＵ３１がプログラムを実行することで実現することができる。ただし、図１に示す各部のうち少なくとも一部が不図示の専用のハードウェアやＧＰＵによって実行するようにしてもよい。この場合、専用のハードウェアやＧＰＵは、ＣＰＵ３１の制御に基づいて動作する。 As described above, the functions of each unit of the information processing device 1 shown in FIG. 1 can be realized by the CPU 31 executing a program. However, at least some of the units shown in FIG. 1 may be executed by dedicated hardware or a GPU (not shown). In this case, the dedicated hardware or the GPU operates under the control of the CPU 31.

移動デバイス２も、図３に示す情報処理装置１と同様のハードウェア構成を有し、ＣＰＵがプログラムを実行することで、第一マップ生成部２０１、第一マップ送信部２０２、第二マップ受信部２０３、自己位置姿勢推定部２０４の機能が実現される。 The mobile device 2 also has a hardware configuration similar to that of the information processing device 1 shown in FIG. 3, and the functions of a first map generation unit 201, a first map transmission unit 202, a second map reception unit 203, and a self-position and orientation estimation unit 204 are realized by the CPU executing a program.

本実施形態に係る情報処理装置１および移動デバイス２について説明する。 The information processing device 1 and mobile device 2 according to this embodiment will be described.

図１における画像入力部１０１は、カメラ１００で撮影した現実空間の画像を取得し、マップ対応検出部１０３および移動物体検出部１０４に送出する。カメラ１００は動画像を記録する装置であり、画像入力部１０１は、動画像のフレームごとに画像を入力する。 The image input unit 101 in FIG. 1 acquires images of real space captured by the camera 100 and sends them to the map correspondence detection unit 103 and the moving object detection unit 104. The camera 100 is a device that records moving images, and the image input unit 101 inputs images for each frame of the moving images.

移動デバイス２は、カメラ２００で撮影した現実空間の画像を取得し、第一マップ生成部２０１が、その画像の情報を含む現実空間の３次元情報を第一マップとして構築する。自己位置姿勢推定部２０４は、第一マップに基づいて、自己位置姿勢を推定する。自己位置姿勢の推定は、ＳＬＡＭなどの既存の技術を用いて実現できるので詳細な説明は省略する。なお、移動デバイス２は、自己位置姿勢推定部２０４の代わりに、移動デバイス２の位置のみを推定する自己位置推定部を有していてもよい。第一マップ送信部２０２は、所定の送信タイミングで情報処理装置１の第一マップ受信部１０２に第一マップの情報を送信する。第二マップ受信部２０３は、情報処理装置１の第二マップ送信部１０７から送信された第二マップを受信する。自己位置姿勢推定部２０４は、第二マップの情報に基づいて自己位置姿勢を推定する。この際、自己位置姿勢推定部２０４は、第二マップにおいて移動物体であることを示すフラグが付加された特徴点は用いずに、自己位置姿勢の推定を行う。自己位置姿勢推定部２０４は、第一マップおよび第二マップのいずれに基づいて自己位置姿勢の推定が可能であるが、第二マップを用いることで移動物体の影響を除外した高精度な推定が可能となる。なお、本発明における移動デバイス２は上記に示した構成を有する必要はなく、情報処理装置１と第一マップの送信および第二マップの受信ができるデバイスであればよい。 The moving device 2 acquires an image of the real space captured by the camera 200, and the first map generation unit 201 constructs three-dimensional information of the real space including information of the image as a first map. The self-position and orientation estimation unit 204 estimates the self-position and orientation based on the first map. Since the estimation of the self-position and orientation can be realized using existing technologies such as SLAM, detailed explanations are omitted. Note that the moving device 2 may have a self-position estimation unit that estimates only the position of the moving device 2 instead of the self-position and orientation estimation unit 204. The first map transmission unit 202 transmits information of the first map to the first map reception unit 102 of the information processing device 1 at a predetermined transmission timing. The second map reception unit 203 receives the second map transmitted from the second map transmission unit 107 of the information processing device 1. The self-position and orientation estimation unit 204 estimates the self-position and orientation based on the information of the second map. At this time, the self-position and orientation estimation unit 204 estimates the self-position and orientation without using feature points to which a flag indicating that it is a moving object is added in the second map. The self-position and orientation estimation unit 204 can estimate the self-position and orientation based on either the first map or the second map, but using the second map enables highly accurate estimation that eliminates the influence of moving objects. Note that the mobile device 2 in the present invention does not need to have the configuration shown above, and it is sufficient that it is a device that can transmit the first map and receive the second map with the information processing device 1.

本実施形態における第一マップは、複数のキーフレームの画像と、その画像から検出された特徴情報、および画像を撮影した時のカメラ位置姿勢を含む。本実施形態における特徴情報は、空間中の特徴点の３次元座標と、その特徴点に対応するキーフレームの画像座標である。ただし、本発明における特徴情報は特徴点に限らず、例えば特徴的なエッジや、特徴的な領域の情報などを含んでもよい。第一マップは、例えば非特許文献１に開示の方法で構築することができる。画像を撮影したときのカメラ位置姿勢は、上記複数のキーフレームの画像を用いた自己位置姿勢推定により取得可能である。また、第一マップは、姿勢センサの情報など、上記以外の情報を含んでもよい。 The first map in this embodiment includes images of multiple key frames, feature information detected from the images, and the camera position and orientation when the images were captured. The feature information in this embodiment is the three-dimensional coordinates of feature points in space and the image coordinates of the key frames corresponding to the feature points. However, the feature information in this invention is not limited to feature points, and may include, for example, information on characteristic edges and characteristic areas. The first map can be constructed, for example, by the method disclosed in Non-Patent Document 1. The camera position and orientation when the images were captured can be obtained by self-position and orientation estimation using the images of the multiple key frames. The first map may also include information other than the above, such as information from an orientation sensor.

移動デバイス２が第一マップ受信部１０２に第一マップの情報を送信するタイミングは、例えば移動デバイス２がカメラ１００の近傍（所定距離以内）にあると判定された時でもあり得る。移動デバイス２がカメラ１００の近傍にあることは、例えば無線信号を用いて判定できる。また、第一マップの情報の送信タイミングは、移動デバイス２がカメラ２００から新たにキーフレームの情報を得た時でもよい。また、第一マップの情報の送信タイミングは、受信した第二マップに対し、カメラ２００から得た新たな情報を追加した時でもよい。この場合、移動デバイス２は、受信した第二マップに対し、カメラ２００から得た新たな情報を追加したマップを再び第一マップの情報として情報処理装置１の第一マップ受信部１０２に送出する。 The timing for the mobile device 2 to transmit the first map information to the first map receiving unit 102 may be, for example, when it is determined that the mobile device 2 is in the vicinity of the camera 100 (within a specified distance). The fact that the mobile device 2 is in the vicinity of the camera 100 can be determined, for example, by using a wireless signal. The timing for transmitting the first map information may also be when the mobile device 2 obtains new key frame information from the camera 200. The timing for transmitting the first map information may also be when new information obtained from the camera 200 is added to the received second map. In this case, the mobile device 2 sends the map to which the new information obtained from the camera 200 has been added to the received second map again as first map information to the first map receiving unit 102 of the information processing device 1.

第一マップ受信部１０２は、移動デバイス２から第一マップの情報を受信し、第一マップ情報保持部１０８に保持し、マップ対応検出部１０３に通知する。その際、移動デバイス２の現在地を同時に受信して第一マップ情報保持部１０８に保持してもよい。 The first map receiving unit 102 receives information about the first map from the mobile device 2, stores it in the first map information storage unit 108, and notifies the map correspondence detection unit 103. At this time, the current location of the mobile device 2 may be received at the same time and stored in the first map information storage unit 108.

マップ対応検出部１０３は、第一マップ情報保持部１０８に保持された第一マップと、画像入力部１０１から入力された画像との対応検出処理を行う。対応検出処理の具体例を、図４（ａ）、図４（ｂ）を用いて説明する。 The map correspondence detection unit 103 performs a correspondence detection process between the first map stored in the first map information storage unit 108 and the image input from the image input unit 101. A specific example of the correspondence detection process will be described with reference to Figures 4(a) and 4(b).

図４（ａ）は第一マップの情報に含まれるキーフレームの画像を示した模式図である。ここでは、現実物体として机３０１および椅子３０２が観測されているものとして説明す
る。第一マップには、キーフレームの画像から検出された机３０１および椅子３０２の特徴点（図中の４０１乃至４０６）の画像中の座標（画像座標）と、各特徴点の３次元空間内の座標（３次元座標）の情報が含まれている。 4A is a schematic diagram showing an image of a key frame included in the information of the first map. Here, the explanation will be given assuming that a desk 301 and a chair 302 are observed as real objects. The first map includes information on the coordinates in the image (image coordinates) of feature points (401 to 406 in the figure) of the desk 301 and chair 302 detected from the image of the key frame, and the coordinates in three-dimensional space (three-dimensional coordinates) of each feature point.

図４（ｂ）は画像入力部１０１から入力された画像を示した模式図である。第一マップ中のキーフレームと共通する現実物体として、机３０１および椅子３０２が観測されているものとする。 Figure 4 (b) is a schematic diagram showing an image input from the image input unit 101. It is assumed that a desk 301 and a chair 302 are observed as real objects common to the key frame in the first map.

対応検出処理では、まず、画像入力部１０１から入力されたカメラ１００の画像から、特徴点が検出される（図中の４１１乃至４１６）。次に、検出された特徴点４１１乃至４１６を、第一マップに含まれるキーフレームの各特徴点４０１乃至４０６と比較することで、対応する特徴点のペアが取得される。ここでは、特徴点４０１乃至４０６それぞれの対応点として、特徴点４１１乃至４１６が得られたものとする。２つの画像間の対応点を検出する処理は、例えばＳＩＦＴ特徴量（非特許文献３を参照）を用いて実施することができる。ただし、本発明におけるマップ対応検出部１０３の処理はこれに限らない。例えば、画像入力部１０１から入力された画像とキーフレームの画像それぞれに対して、画像を複数の物体の領域に区別するセグメンテーション処理を行い、各領域が同一の物体の領域であるか否かを判定し、対応領域を得てもよい。また、処理の際に、現実空間中に配置した人工的な指標の情報を用いてもよいし、現実物体の既知の３次元モデルを用いてもよい。 In the correspondence detection process, first, feature points are detected from the image of the camera 100 input from the image input unit 101 (411 to 416 in the figure). Next, the detected feature points 411 to 416 are compared with the feature points 401 to 406 of the key frame included in the first map to obtain pairs of corresponding feature points. Here, it is assumed that the feature points 411 to 416 are obtained as corresponding points for the feature points 401 to 406, respectively. The process of detecting corresponding points between two images can be performed, for example, using SIFT features (see Non-Patent Document 3). However, the process of the map correspondence detection unit 103 in the present invention is not limited to this. For example, a segmentation process that divides the image into multiple object regions for each of the image input from the image input unit 101 and the image of the key frame, and whether or not each region is a region of the same object may be performed to obtain corresponding regions. In addition, during the process, information on artificial indicators placed in real space may be used, or a known three-dimensional model of a real object may be used.

対応検出処理は、画像入力部１０１から入力されたカメラ１００の画像と第一マップに含まれる全てのキーフレームとの間で行ってもよいし、入力されたカメラ１００の画像と一部のキーフレームとの間で行ってもよい。または、予め第一マップに含まれるキーフレーム同士で対応検出処理を行っておき、画像入力部１０１から入力された画像と一部のキーフレームとの間で行った対応検出処理の結果と合わせることで全てのキーフレームとの対応を検出してもよい。 The correspondence detection process may be performed between the image of camera 100 input from image input unit 101 and all of the key frames included in the first map, or between the input image of camera 100 and some of the key frames. Alternatively, correspondence detection process may be performed in advance between key frames included in the first map, and the results may be combined with the results of correspondence detection process performed between the image input from image input unit 101 and some of the key frames to detect correspondence with all of the key frames.

以上の方法を用いて得られた対応検出処理の結果は、後述するマップ更新部１０５に送出される。 The results of the correspondence detection process obtained using the above method are sent to the map update unit 105, which will be described later.

移動物体検出部１０４は、画像入力部１０１から入力された画像から移動物体を検出する処理を行い、その結果をマップ更新部１０５に送出する。移動物体を検出する処理は、画像入力部１０１から入力された画像を複数フレーム分用いることで実現できる。一例として、背景差分法が採用できる。背景差分法は、移動物体が写らないように撮影されたカメラ１００の撮影画像（すなわち、背景画像）と画像入力部１０１から入力された画像とを比較し、画素の輝度差が閾値以上の画像領域を検出する。検出された画像領域には移動物体があり、それ以外の画像領域には移動しない物体があると考えることができるため、本実施形態では、検出された画像領域の情報を移動物体の検出結果としてマップ更新部１０５に送出する。ただし、本発明において移動物体を検出する方法はこれに限らない。例えば、画像から特徴点を検出し、画像入力部１０１から入力される動画像のフレーム間で特徴点を追跡することで、移動物体を検出してもよい。移動物体を検出するために、現実空間中に配置した人工的な指標を用いてもよいし、現実物体の３次元モデルを用いてもよい。 The moving object detection unit 104 performs a process of detecting a moving object from the image input from the image input unit 101, and sends the result to the map update unit 105. The process of detecting a moving object can be realized by using multiple frames of the image input from the image input unit 101. As an example, a background subtraction method can be adopted. The background subtraction method compares an image captured by the camera 100 (i.e., a background image) that is captured so as not to capture a moving object with an image input from the image input unit 101, and detects an image area in which the pixel brightness difference is equal to or greater than a threshold. Since it can be considered that the detected image area contains a moving object and the other image areas contain non-moving objects, in this embodiment, information on the detected image area is sent to the map update unit 105 as a detection result of a moving object. However, the method of detecting a moving object in the present invention is not limited to this. For example, a moving object may be detected by detecting a feature point from an image and tracking the feature point between frames of a moving image input from the image input unit 101. To detect a moving object, an artificial indicator placed in real space may be used, or a three-dimensional model of a real object may be used.

マップ更新部１０５は、マップ対応検出部１０３から送出された対応検出処理の結果と、移動物体検出部１０４から送出された移動物体の検出結果とを用いて、第一マップに含まれる情報のうち、移動物体に対応する情報を特定する。マップ更新部１０５は、さらに、特定した情報を用いて第二マップを生成し、第二マップ情報保持部１０６に保持する。 The map update unit 105 uses the result of the correspondence detection process sent from the map correspondence detection unit 103 and the moving object detection result sent from the moving object detection unit 104 to identify information included in the first map that corresponds to the moving object. The map update unit 105 further uses the identified information to generate a second map and stores it in the second map information storage unit 106.

第二マップ生成の具体的な方法を、移動物体検出部１０４にて現実物体３０２が移動物体として検出された場合を例に説明する。マップ対応検出部１０３で検出された特徴点４１４乃至４１６は、移動物体（３０２）の画像領域中にあるため、マップ更新部１０５はこれらの特徴点４１４乃至４１６を移動物体に属する特徴点であると判定する。さらに、マップ対応検出部１０３の処理の結果から、特徴点４１４乃至４１６に対応する第一マップ中の特徴点は、それぞれ特徴点４０４乃至４０６であることが分かる。そのため、マップ更新部１０５は、特徴点４０４乃至４０６は移動物体の点であると特定できる。マップ更新部１０５は、この特定結果を用いて、第一マップにおける各特徴点に対して、移動物体であるか否かを示すフラグを対応情報として付加したものを第二マップとして生成し、第二マップ情報保持部１０６に保持する。第二マップは、各特徴点が移動物体と非移動物体のいずれであるかが判別可能なように構成されていればよい。したがって、第二マップ中の全ての特徴点に移動物体と非移動物体のいずれであるかを示すフラグが付加されていてもよいし、移動物体の特徴点のみにフラグが付加されていてもよいし、非移動物体の特徴点のみにフラグが付加されていてもよい。 A specific method for generating the second map will be described using an example in which the moving object detection unit 104 detects the real object 302 as a moving object. Since the feature points 414 to 416 detected by the map correspondence detection unit 103 are in the image area of the moving object (302), the map update unit 105 determines that these feature points 414 to 416 belong to the moving object. Furthermore, from the result of the processing by the map correspondence detection unit 103, it is found that the feature points in the first map corresponding to the feature points 414 to 416 are the feature points 404 to 406, respectively. Therefore, the map update unit 105 can specify that the feature points 404 to 406 are points of a moving object. Using this specification result, the map update unit 105 generates a second map in which a flag indicating whether or not the feature points are moving objects is added as corresponding information to each feature point in the first map, and stores the second map information storage unit 106. The second map may be configured so that it is possible to determine whether each feature point is a moving object or a non-moving object. Therefore, a flag may be added to all feature points in the second map to indicate whether they are moving or non-moving objects, or a flag may be added only to feature points of moving objects, or a flag may be added only to feature points of non-moving objects.

このように生成された第二マップを移動デバイス２が利用することで、移動しない物体の特徴点のみを用いてカメラ位置姿勢を推定することができるようになるため、移動物体への頑健性と推定精度の向上が期待できる。 By using the second map generated in this way, the mobile device 2 can estimate the camera position and orientation using only the feature points of stationary objects, which is expected to improve robustness to moving objects and estimation accuracy.

さらに、第二マップの生成に際して、マップ更新部１０５は、新たに生成した第二マップを、過去に生成され、第二マップ情報保持部１０６に保持されている第二マップの情報と統合してもよい。マップの統合は、２つのマップに含まれるキーフレーム間の対応点を抽出することにより、各マップに含まれる３次元点の対応関係を見つけ出し、対応点を１つの点として統合する処理を含む。マップの統合は、また、これらの情報に基づいてキーフレーム同士の相対位置姿勢を推定する処理、言い換えると２つのマップの原点（基準座標系）を揃える処理を含む。過去のマップの情報を統合することでより多くの視点からのキーフレームの情報が得られるため、移動デバイス２におけるカメラ位置姿勢の安定化が期待できる。また、過去にカメラ位置姿勢の処理を行った時と同じ基準座標系に基づくカメラ位置姿勢を推定できる効果もある。これにより、例えばＭＲ映像を生成する際、過去に現実空間中に配置したＣＧモデルがその後も同じ位置に存在し続けているかのような映像を生成することができるようになる。２つのマップを統合する具体的な方法は、例えば非特許文献２に開示されているように、マップ間の各キーフレームの対応を取得して、その相対位置姿勢を計算する方法がある。ただし、本発明におけるマップの統合方法はこれに限定しない。 Furthermore, when generating the second map, the map update unit 105 may integrate the newly generated second map with information of the second map that was generated in the past and is stored in the second map information storage unit 106. The integration of the maps includes a process of extracting corresponding points between key frames included in the two maps, finding the correspondence between the three-dimensional points included in each map, and integrating the corresponding points into one point. The integration of the maps also includes a process of estimating the relative position and orientation between the key frames based on this information, in other words, a process of aligning the origins (reference coordinate systems) of the two maps. By integrating the information of the past maps, key frame information from more viewpoints can be obtained, so that the camera position and orientation in the mobile device 2 can be expected to be stabilized. In addition, there is an effect that the camera position and orientation can be estimated based on the same reference coordinate system as when the camera position and orientation processing was performed in the past. As a result, for example, when generating an MR image, it becomes possible to generate an image in which a CG model that was previously placed in real space continues to exist in the same position thereafter. A specific method of integrating two maps is, for example, as disclosed in Non-Patent Document 2, to obtain the correspondence of each key frame between the maps and calculate the relative position and orientation. However, the method of integrating maps in the present invention is not limited to this.

第二マップ送信部１０７は、第二マップ情報保持部１０６に保持された第二マップの情報を移動デバイス２に送出する。その際、第二マップ送信部１０７は、第二マップ全体ではなく、第二マップの情報のうち、移動デバイス２の現在地の近傍（所定距離以内）のマップ情報を選択して送信してもよい。移動デバイス２の現在地は、第一マップに含まれるキーフレームのカメラ位置姿勢から推定してもよいし、第一マップ情報保持部１０８にて、第一マップと共に移動デバイス２の現在地を保持している場合は、その情報を用いて推定してもよい。 The second map transmission unit 107 transmits information about the second map stored in the second map information storage unit 106 to the mobile device 2. In this case, the second map transmission unit 107 may select and transmit map information about the second map that is close to (within a specified distance from) the current location of the mobile device 2, rather than the entire second map. The current location of the mobile device 2 may be estimated from the camera position and orientation of a key frame included in the first map, or, if the first map information storage unit 108 stores the current location of the mobile device 2 together with the first map, it may be estimated using that information.

図５に示すフローチャートを参照して、情報処理装置１の処理の一例を説明する。 An example of the processing of the information processing device 1 will be described with reference to the flowchart shown in FIG.

ステップＳ５０１は、カメラ１００で撮影された画像を情報処理装置１に取り込む処理であり、画像入力部１０１により処理される。 Step S501 is a process of importing an image captured by the camera 100 into the information processing device 1, and is processed by the image input unit 101.

ステップＳ５０２は、ステップＳ５０１にて入力された画像から、背景差分法によって移動物体の領域を検出する処理である。ステップＳ５０２は、移動物体検出部１０４によ
り処理される。 Step S502 is a process of detecting a moving object region from the image input in step S501 by a background subtraction method. Step S502 is processed by the moving object detection unit 104.

ステップＳ５０３は、移動デバイス２から第一マップを受信したか否かを判定する処理であり、第一マップ受信部１０２により処理される。第一マップを受信していない場合はステップＳ５０１の処理に戻り、次のフレームを待機する。第一マップを受信した場合は、第一マップ受信部１０２はその情報を第一マップ情報保持部１０８に保持し、ステップＳ５０４の処理に進む。 Step S503 is a process for determining whether or not a first map has been received from the mobile device 2, and is processed by the first map receiving unit 102. If the first map has not been received, the process returns to step S501 and waits for the next frame. If the first map has been received, the first map receiving unit 102 stores the information in the first map information storage unit 108, and proceeds to the process of step S504.

ステップＳ５０４は、第一マップ情報保持部１０８に保持された第一マップ中のキーフレームに対し、ステップＳ５０１で取り込んだ画像と対応する特徴点の情報を取得する処理である。ステップＳ５０４は、マップ対応検出部１０３により処理される。 Step S504 is a process for obtaining information on feature points corresponding to the image captured in step S501 for key frames in the first map stored in the first map information storage unit 108. Step S504 is processed by the map correspondence detection unit 103.

ステップＳ５０５は、ステップＳ５０２で検出された移動物体の領域と、ステップＳ５０４で取得された対応する特徴点の情報を用いて、第一マップにおける特徴点のうち、移動物体に対応する点を特定する処理である。ステップＳ５０５は、マップ更新部１０５により処理される。 Step S505 is a process of identifying points in the first map that correspond to the moving object, among the feature points, by using the area of the moving object detected in step S502 and the information on the corresponding feature points acquired in step S504. Step S505 is processed by the map update unit 105.

ステップＳ５０６は、ステップＳ５０５にて特定した移動物体に対応する点の情報を第一マップから除去することで第二マップを生成する処理である。生成した第二マップの情報は、第二マップ情報保持部１０６に保持される。ステップＳ５０６は、マップ更新部１０５により処理される。 Step S506 is a process of generating a second map by removing information about the points corresponding to the moving objects identified in step S505 from the first map. The information about the generated second map is stored in the second map information storage unit 106. Step S506 is processed by the map update unit 105.

ステップＳ５０７は、第二マップ情報保持部１０６に保持された第二マップの情報を移動デバイス２に送信する処理である。ステップＳ５０７は、第二マップ送信部１０７により処理される。 Step S507 is a process of transmitting the second map information stored in the second map information storage unit 106 to the mobile device 2. Step S507 is processed by the second map transmission unit 107.

ステップＳ５０８は情報処理装置１に処理終了の要求があるか否かを判定する処理である。処理終了の要求がない場合はステップＳ４０１に処理を戻して次フレームの入力を待機する。処理終了の要求がある場合は、処理を終了する。 Step S508 is a process for determining whether or not there is a request to end processing in the information processing device 1. If there is no request to end processing, the process returns to step S401 and waits for the input of the next frame. If there is a request to end processing, the process ends.

＜変形例１＞
実施形態１において、マップ対応検出部１０３は、画像入力部１０１から入力された画像と第一マップの情報に含まれるキーフレームの画像との対応を求めている。この場合、キーフレームの画像を撮影した時刻と画像入力部１０１から入力された画像との撮影時刻に差異が生じる。それにより、例えばキーフレーム撮影時にはカメラ１００とカメラ２００の両方に写っていた物体が、画像入力部１０１から入力した時点のカメラ１００には写っていなかった場合、キーフレームの画像中の移動物体を検出することができない。 <Modification 1>
In the first embodiment, the map correspondence detection unit 103 determines the correspondence between the image input from the image input unit 101 and the image of the key frame included in the information of the first map. In this case, a difference occurs between the time when the image of the key frame was captured and the time when the image input from the image input unit 101 was captured. As a result, for example, if an object that was captured by both the camera 100 and the camera 200 when the key frame was captured was not captured by the camera 100 at the time when the image was input from the image input unit 101, the moving object in the image of the key frame cannot be detected.

上記課題の対策として本変形例では、カメラ１００の画像を撮影時刻と関連付けて、定期的に不図示の画像蓄積部に記録し、必要に応じて画像入力部１０１が画像蓄積部から画像を入力して用いる。 To address the above issue, in this modified example, images from the camera 100 are associated with the time of shooting and periodically recorded in an image storage unit (not shown), and the image input unit 101 inputs and uses images from the image storage unit as needed.

本変形例では、第一マップ受信部１０２は、実施形態１に記載の情報に加えて、キーフレームの画像の撮影時刻も受信し、第一マップ情報保持部１０８に保持する。マップ対応検出部１０３、移動物体検出部１０４、マップ更新部１０５の各部は、キーフレームの画像の撮影時刻と最も近い時刻の画像を画像蓄積部から選択し、画像入力部１０１を通して入力して処理する。これにより、第一マップにおける各特徴点に対して、移動物体であるか否かを示すフラグをより正確に付与した第二マップを生成することができる。 In this modified example, the first map receiving unit 102 receives the shooting time of the key frame image in addition to the information described in the first embodiment, and stores it in the first map information storage unit 108. Each of the map correspondence detection unit 103, the moving object detection unit 104, and the map update unit 105 selects an image with a time closest to the shooting time of the key frame image from the image storage unit, inputs it via the image input unit 101, and processes it. This makes it possible to generate a second map in which a flag indicating whether or not each feature point in the first map is a moving object is more accurately assigned.

なお、キーフレームの画像の撮影時刻と最も近い時刻の画像を選択する必要はなく、キ
ーフレームの画像の撮影時刻に対応する撮影時刻を選択すればよい。キーフレームの画像の撮影時刻に対応する撮影時刻のその他の例として、キーフレームの画像の撮影時刻の差が閾値以内の撮影時刻を挙げられる。 It is not necessary to select an image with a shooting time closest to the shooting time of the key frame image, but it is sufficient to select a shooting time that corresponds to the shooting time of the key frame image. Another example of a shooting time that corresponds to the shooting time of the key frame image is a shooting time whose difference with the shooting time of the key frame image is within a threshold.

＜変形例２＞
本発明における情報処理装置１には、複数の移動デバイスが接続されていてもよく、その場合、実施形態１に記載の処理をそれぞれの移動デバイスに対して行われる。この際、第二マップ情報保持部１０６に保持される情報は、複数の移動デバイスに対する処理の間で共有されてもよい。例えば、実施形態１のマップ更新部１０５にて説明した、第二マップ情報保持部１０６に保持されている過去の第二マップの情報と統合する方法を用いることで、他の移動デバイスで得られた情報を活用したカメラ位置姿勢が可能となる。 <Modification 2>
A plurality of mobile devices may be connected to the information processing device 1 of the present invention, and in that case, the processing described in the first embodiment is performed for each of the mobile devices. In this case, the information stored in the second map information storage unit 106 may be shared among the processing for the plurality of mobile devices. For example, by using the method of integrating the information of the past second map stored in the second map information storage unit 106, as described in the map update unit 105 of the first embodiment, it becomes possible to determine the camera position and orientation using information obtained from other mobile devices.

しかしながら、異なる性質を持つ移動デバイスで構築されたマップ情報を用いると、カメラ位置姿勢の性能を低下させる恐れもある。そこで、本変形例では、移動デバイスの性質に応じて第二マップ情報保持部１０６に複数のマップを保持し、同じ性質を有する移動デバイスのマップ情報を利用可能とする。 However, using map information constructed for mobile devices with different characteristics may degrade the performance of the camera position and orientation. Therefore, in this modified example, multiple maps are stored in the second map information storage unit 106 according to the characteristics of the mobile device, making it possible to use map information from mobile devices with the same characteristics.

本変形例では、第一マップ受信部１０２が第一マップを受信する際に、実施形態１に記載の情報に加えて、移動デバイス２の性質を示す機種情報を同時に受信し、第一マップと関連付けて機種情報を保持する。移動デバイス２の性質を示す機種情報は、例えば、カメラ２００の解像度、焦点距離、歪み係数などのカメラパラメータ、および、移動デバイス２の機種を示す識別子の少なくともいずれかを含みうる。第二マップ情報保持部１０６では、その機種情報ごとに複数のマップを保持できるものとする。 In this modified example, when the first map receiving unit 102 receives the first map, in addition to the information described in embodiment 1, it simultaneously receives model information indicating the characteristics of the mobile device 2, and stores the model information in association with the first map. The model information indicating the characteristics of the mobile device 2 may include, for example, at least one of camera parameters such as the resolution, focal length, and distortion coefficient of the camera 200, and an identifier indicating the model of the mobile device 2. The second map information storage unit 106 is capable of storing multiple maps for each piece of model information.

マップ更新部１０５は、新たな第二マップの情報を第二マップ情報保持部１０６に保持されている第二マップの情報と統合する際、受信した機種情報に応じたマップを第二マップ情報保持部１０６から選択し、統合する。受信した機種情報に応じたマップとは、例えば、受信した機種情報と同一もしくは近しい性質を持つ機種情報に関連付けられた第二マップである。統合された第二マップは、第二マップ情報保持部１０６にて、機種情報に関連付けて保持される。 When integrating the information of the new second map with the information of the second map stored in the second map information storage unit 106, the map update unit 105 selects a map corresponding to the received model information from the second map information storage unit 106 and integrates it. The map corresponding to the received model information is, for example, a second map associated with model information having the same or similar characteristics as the received model information. The integrated second map is stored in the second map information storage unit 106 in association with the model information.

これにより、例えば同一機種と他機種が同時に情報処理装置１に接続されている状況において、同一機種とのマップのみが統合された第二マップを生成することができる。 This makes it possible to generate a second map that integrates only maps with the same model, for example, in a situation where the same model and other models are simultaneously connected to the information processing device 1.

＜変形例３＞
実施形態１では、移動物体検出部１０４にて移動物体を検出し、移動物体であるか否かを第一マップ中の各特徴点と対応付けている。本変形例では、移動物体ごとに第一マップ中の各特徴点と対応付ける。 <Modification 3>
In the first embodiment, the moving object detection unit 104 detects a moving object, and associates each feature point in the first map with whether or not the object is a moving object. In this modification, each moving object is associated with each feature point in the first map.

本変形例における移動物体検出部１０４は、画像内で検出した複数の移動物体ごとに、それぞれ識別情報（例えば、固有の識別子など）を与える。移動物体検出部１０４は、その後、フレーム間での特徴点対応付けなどの手段を用いて物体を追跡し、同一の物体の画像領域には同一の識別情報を与え、マップ更新部１０５に送出する。これにより、マップ更新部１０５で生成する第二マップには、第一マップにおける各特徴点に対して、単に移動物体であるか否かを示すフラグだけでなく、移動物体の識別情報も付与することができる。 In this modified example, the moving object detection unit 104 assigns identification information (such as a unique identifier) to each of the multiple moving objects detected in the image. The moving object detection unit 104 then tracks the objects using a method such as matching feature points between frames, assigns the same identification information to image areas of the same object, and sends them to the map update unit 105. In this way, the second map generated by the map update unit 105 can assign not only a flag indicating whether or not each feature point in the first map is a moving object, but also the identification information of the moving object.

移動物体の識別情報が付与された第二マップが得られることで、同一の物体に属する特徴点群を取得することができるようになる（例えば、図４（ａ）において特徴点４０４乃至４０６が同一の物体に属していることがわかるようになる）。この効果を利用して、移
動デバイス２にてこれらの特徴点群の追跡を行うことで、カメラの位置姿勢推定だけでなく、移動物体の位置姿勢を追跡することが可能となる。 By obtaining the second map to which the identification information of the moving object is added, it becomes possible to obtain a group of feature points belonging to the same object (for example, it becomes clear that the feature points 404 to 406 in FIG. 4A belong to the same object). By utilizing this effect and tracking these groups of feature points in the moving device 2, it becomes possible to track the position and orientation of the moving object as well as to estimate the position and orientation of the camera.

＜実施形態２＞
実施形態１で示したシステム構成は本発明に係るシステムの一例であり、情報処理装置１と移動デバイス２での処理の分担は適宜変更可能である。 <Embodiment 2>
The system configuration shown in the first embodiment is one example of the system according to the present invention, and the division of processing roles between the information processing device 1 and the mobile device 2 can be changed as appropriate.

図６は、本実施形態に係るシステムの構成例を示すブロック図である。図６に示す如く、本実施形態に係るシステムでは、移動デバイス２が、マップ対応検出部１０３、マップ更新部１０５、第一マップ情報保持部１０８、および第二マップ情報保持部１０６を備える。これらの各機能部は実施形態１で説明したので、詳しい説明は省略する。 Figure 6 is a block diagram showing an example of the configuration of a system according to this embodiment. As shown in Figure 6, in the system according to this embodiment, the mobile device 2 includes a map correspondence detection unit 103, a map update unit 105, a first map information storage unit 108, and a second map information storage unit 106. Each of these functional units has been described in embodiment 1, so a detailed description will be omitted.

本実施形態では、情報処理装置１は、画像入力部１０１を介して取得したカメラ１００の画像、および移動物体検出部１０４による移動物体の検出結果を移動デバイスに送信する。また、移動デバイス２の第一マップ生成部２０１は、カメラ２００から取得される画像から第一マップを生成し、第一マップ情報保持部１０８に格納する。マップ対応検出部１０３は、第一マップ情報保持部１０８に保持された第一マップと、情報処理装置１から受信したカメラ１００の画像との対応検出処理を行い、検出の結果をマップ更新部１０５に送出する。マップ更新部１０５は、マップ対応検出部１０３から送出された対応検出処理の結果と、移動物体検出部１０４から送出された移動物体の検出結果とを用いて、第一マップに含まれる情報のうち、移動物体に対応する情報を特定する。マップ更新部１０５は実施形態１と同様の処理により第二マップを生成して、第二マップ情報保持部１０６に格納する。 In this embodiment, the information processing device 1 transmits to the moving device the image of the camera 100 acquired via the image input unit 101 and the detection result of the moving object by the moving object detection unit 104. In addition, the first map generation unit 201 of the moving device 2 generates a first map from the image acquired from the camera 200 and stores it in the first map information storage unit 108. The map correspondence detection unit 103 performs a correspondence detection process between the first map stored in the first map information storage unit 108 and the image of the camera 100 received from the information processing device 1, and sends the detection result to the map update unit 105. The map update unit 105 uses the result of the correspondence detection process sent from the map correspondence detection unit 103 and the detection result of the moving object sent from the moving object detection unit 104 to identify information corresponding to the moving object among the information included in the first map. The map update unit 105 generates a second map by the same process as in the first embodiment, and stores it in the second map information storage unit 106.

本実施形態によれば、他の移動デバイスの情報から得られる第二マップは利用できないが、それ以外は実施形態１と同様の効果が得られる。また、本実施形態では、移動デバイス２での計算コストが上昇するが、マップの送受信が不要となる。マップはデータ量が大きいので通信データ量を削減できる。 According to this embodiment, the second map obtained from information on other mobile devices cannot be used, but otherwise the same effects as in embodiment 1 can be obtained. Furthermore, in this embodiment, although the calculation cost on mobile device 2 increases, sending and receiving maps is unnecessary. As maps are large in data volume, the amount of communication data can be reduced.

また、本実施形態とは異なる態様で情報処理装置１と移動デバイス２の間で処理の分担を行ってもよいし、一部の処理は更に他の装置によって実行するようにしても構わない。 In addition, processing may be shared between the information processing device 1 and the mobile device 2 in a manner different from that of this embodiment, and some processing may be performed by yet another device.

＜その他の実施例＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 <Other Examples>
The present invention can also be realized by a process in which a program for implementing one or more of the functions of the above-described embodiments is supplied to a system or device via a network or a storage medium, and one or more processors in a computer of the system or device read and execute the program. The present invention can also be realized by a circuit (e.g., ASIC) that implements one or more of the functions.

＜付記＞
本開示は以下の構成および方法を含む。
［構成１］
移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持部と、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
を備えることを特徴とする情報処理装置。
［構成２］
前記第一マップ情報保持部に保持する前記第一マップを他の装置から受信するマップ受信部と、
前記第二マップ情報保持部に保持された前記第二マップのうち、少なくとも一部を前記移動デバイスに送信するマップ送信部と
を備えることを特徴とする構成１に記載の情報処理装置。
［構成３］
前記マップ送信部は、前記第二マップ情報保持部に保持された前記第二マップのうち、前記移動デバイスの現在地に対応する位置のマップ情報を選択して前記移動デバイスに送信する、
ことを特徴とする構成２に記載の情報処理装置。
［構成４］
前記マップ更新部は、生成した第二マップと、過去に生成され前記第二マップ情報保持部に保持された第二マップとを統合し、前記統合によって生成された第二マップを前記第二マップ情報保持部に保持する、
ことを特徴とする構成１から３のいずれか１項に記載の情報処理装置。
［構成５］
前記固定カメラの画像を撮影時刻と共に記録する画像蓄積部をさらに備え、
前記マップ対応検出部は、前記第一マップに含まれる画像の撮影時刻に対応する撮影時刻を有する固定カメラの画像を選択して対応を検出し、
前記移動物体検出部と前記マップ更新部は、前記選択された固定カメラの画像を用いての処理を行う、
ことを特徴とする構成１から４のいずれか１項に記載の情報処理装置。
［構成６］
前記第一マップ情報保持部は、前記第一マップに加えて、前記第一マップに含まれる前記画像を撮影したデバイスの性質を示す機種情報を保持し、
前記第二マップ情報保持部は、前記機種情報に応じて複数の第二マップを保持し、
前記マップ更新部は、生成した第二マップと、過去に生成され前記第二マップ情報保持部に保持された第二マップとを統合する際、前記機種情報に応じた第二マップを選択する、
ことを特徴とする構成４または５に記載の情報処理装置。
［構成７］
前記移動物体検出部は、さらに、検出した移動物体ごとに識別情報を生成し、前記画像入力部から入力される画像のフレーム間で前記移動物体の追跡を行い、
前記マップ更新部は、前記第一マップに含まれる空間中の特徴情報に対し、前記移動物体の識別情報を付加した第二マップを生成する、
ことを特徴とする構成１から６のいずれか１項に記載の情報処理装置。
［構成８］
カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記第一マップを他の装置に送信する第一マップ送信部と、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信部と、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定部と、
を備える移動デバイス。
［構成９］
前記第一マップ送信部が前記第一マップを前記他の装置に送信するタイミングは、
前記移動デバイスが前記他の装置に関連付けられた固定カメラの所定距離以内にあると判定されたとき、
前記移動デバイスが前記カメラから新たなキーフレームの情報を得たとき、および、
前記移動デバイスが受信した前記第二マップに対して前記カメラから新たな情報を追加したとき、
の少なくともいずれかである、
ことを特徴とする構成８に記載の移動デバイス。
［構成１０］
前記移動デバイスは、ＨＭＤである、
ことを特徴とする構成８または９に記載の移動デバイス。
［構成１１］
構成１から７のいずれか１項に記載の情報処理装置と、
構成８から１０のいずれか１項に記載の移動デバイスと、
を含むシステム。
［構成１２］
移動デバイスと情報処理装置を含むシステムであって、
前記移動デバイスは、
前記移動デバイスと関連付けられたカメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記移動デバイスの位置を推定する自己位置推定部と、
を備え、
前記情報処理装置は、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
を備え、
前記移動デバイスと前記情報処理装置の少なくともいずれかは、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報を付加した第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
を備え、
前記自己位置推定部は、前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する、
ことを特徴とするシステム。
［構成１３］
情報処理装置の制御方法であって、
移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持ステップと、
固定カメラの画像から移動物体を検出する移動物体検出ステップと、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出ステップと、
前記移動物体検出ステップと前記マップ対応検出ステップの検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新ステップと、
前記第二マップを保持する第二マップ情報保持ステップと、
を含むことを特徴とする制御方法。
［構成１４］
移動デバイスの制御方法であって、
カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成ステップと、
前記第一マップを他の装置に送信する第一マップ送信ステップと、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信ステップと、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定ステップと、
を含むことを特徴とする制御方法。
［構成１５］
移動デバイスと情報処理装置を含むシステムの制御方法であって、
前記情報処理装置が、固定カメラの画像を入力する画像入力ステップと、
前記情報処理装置が、前記固定カメラの画像から移動物体を検出する移動物体検出ステップと、
前記移動デバイスが、前記移動デバイスと関連付けられたカメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記移動物体検出ステップと前記マップ対応検出ステップの検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報を付加した第二マップを生成するマップ更新ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記第二マップを保持する第二マップ情報保持ステップと、
前記移動デバイスが、前記移動デバイスの位置を推定する自己位置推定部と、
を含むことを特徴とする制御方法。
［構成１６］
構成１３から１５のいずれか１項に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。 <Additional Notes>
The present disclosure includes the following configurations and methods.
[Configuration 1]
a first map information storage unit that stores a first map including at least one image captured by a mobile device and feature information of the image;
an image input unit for inputting an image from a fixed camera;
a moving object detection unit that detects a moving object from an image captured by the fixed camera;
a map correspondence detection unit that detects correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map update unit that uses detection results of the moving object detection unit and the map correspondence detection unit to generate a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map; and
a second map information storage unit for storing the second map;
An information processing device comprising:
[Configuration 2]
a map receiving unit that receives the first map stored in the first map information storage unit from another device;
2. The information processing apparatus according to claim 1, further comprising: a map transmitting unit configured to transmit at least a portion of the second map stored in the second map information storage unit to the mobile device.
[Configuration 3]
the map transmission unit selects map information of a position corresponding to a current location of the mobile device from the second map stored in the second map information storage unit and transmits the map information to the mobile device;
3. The information processing device according to configuration 2.
[Configuration 4]
the map update unit integrates the generated second map with a second map that was generated in the past and was stored in the second map information storage unit, and stores the second map generated by the integration in the second map information storage unit.
4. The information processing device according to any one of configurations 1 to 3.
[Configuration 5]
An image storage unit that records the image of the fixed camera together with the image capture time,
The map correspondence detection unit detects correspondence by selecting an image captured by a fixed camera having a shooting time corresponding to a shooting time of an image included in the first map;
the moving object detection unit and the map update unit perform processing using the image of the selected fixed camera;
5. The information processing device according to any one of configurations 1 to 4.
[Configuration 6]
the first map information storage unit stores, in addition to the first map, model information indicating a property of a device that captured the image included in the first map;
the second map information storage unit stores a plurality of second maps according to the model information,
the map update unit selects a second map corresponding to the model information when integrating the generated second map with a second map that was generated in the past and stored in the second map information storage unit.
6. The information processing device according to configuration 4 or 5.
[Configuration 7]
the moving object detection unit further generates identification information for each detected moving object, and tracks the moving object between frames of the image input from the image input unit;
the map update unit generates a second map by adding identification information of the moving object to feature information in the space included in the first map;
7. The information processing device according to any one of configurations 1 to 6.
[Configuration 8]
a first map generating unit that generates a first map including an image captured by a camera and feature information of the image;
a first map transmission unit configured to transmit the first map to another device;
a second map receiving unit that receives, from the other device, a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map;
a self-location estimation unit that estimates a location of the moving device based on feature information of an object that is not the moving object among feature information included in the second map;
A mobile device comprising:
[Configuration 9]
The timing at which the first map transmission unit transmits the first map to the other device is
when it is determined that the mobile device is within a predetermined distance of a fixed camera associated with the other device;
When the mobile device receives a new key frame from the camera, and
when the mobile device adds new information from the camera to the second map received by the mobile device,
At least one of the following:
9. The mobile device of configuration 8.
[Configuration 10]
The moving device is an HMD.
10. The mobile device according to claim 8 or 9.
[Configuration 11]
An information processing device according to any one of configurations 1 to 7,
A mobile device according to any one of configurations 8 to 10;
A system including:
[Configuration 12]
A system including a mobile device and an information processing device,
The mobile device comprises:
a first map generating unit that generates a first map including an image captured by a camera associated with the mobile device and feature information of the image from the image;
A self-location estimation unit that estimates a location of the moving device;
Equipped with
The information processing device includes:
an image input unit for inputting an image from a fixed camera;
a moving object detection unit that detects a moving object from an image captured by the fixed camera;
Equipped with
At least one of the mobile device and the information processing device
a map correspondence detection unit that detects correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map update unit that generates a second map by adding information indicating whether the feature information is the moving object or not to the feature information included in the first map, using detection results of the moving object detection unit and the map correspondence detection unit; and
a second map information storage unit for storing the second map;
Equipped with
The self-location estimation unit estimates a location of the moving device based on feature information of an object other than the moving object, among feature information included in the second map.
A system characterized by:
[Configuration 13]
A method for controlling an information processing device, comprising:
a first map information storage step of storing a first map including at least one image captured by the mobile device and feature information of the image;
A moving object detection step of detecting a moving object from an image of a fixed camera;
a map correspondence detection step of detecting a correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map updating step of generating a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map, using detection results of the moving object detection step and the map correspondence detection step;
a second map information retaining step of retaining the second map;
A control method comprising:
[Configuration 14]
1. A method for controlling a mobile device, comprising:
a first map generating step of generating a first map including an image captured by the camera and feature information of the image;
a first map transmission step of transmitting the first map to another device;
a second map receiving step of receiving a second map from the other device in which information indicating whether or not the object is a moving object is added to the feature information included in the first map;
a self-location estimation step of estimating a location of the moving device based on feature information of an object other than the moving object among feature information included in the second map;
A control method comprising:
[Configuration 15]
A method for controlling a system including a mobile device and an information processing device, comprising:
an image input step in which the information processing device inputs an image from a fixed camera;
a moving object detection step in which the information processing device detects a moving object from an image of the fixed camera;
a first map generation step in which the mobile device generates a first map from an image captured by a camera associated with the mobile device, the first map including the image and feature information of the image;
a map correspondence detection step in which at least one of the mobile device and the information processing device detects correspondence between feature information of the image of the fixed camera and feature information included in the first map;
a map update step in which at least one of the moving device and the information processing device generates a second map by adding information indicating whether or not the feature information is the moving object to the feature information included in the first map, using detection results of the moving object detection step and the map correspondence detection step; and
a second map information holding step in which at least one of the mobile device and the information processing device holds the second map;
The mobile device includes a self-location estimation unit that estimates a location of the mobile device;
A control method comprising:
[Configuration 16]
16. A program for causing a computer to execute each step of the control method according to any one of configurations 13 to 15.

１：情報処理装置、１０１：画像入力部、１０３：マップ対応検出部
１０４：移動物体検出部、１０５：マップ更新部
１０６：第二マップ情報保持部、１０８：第一マップ情報保持部 1: information processing device, 101: image input unit, 103: map correspondence detection unit, 104: moving object detection unit, 105: map update unit, 106: second map information storage unit, 108: first map information storage unit

Claims (16)

移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを含む第一マップを保持する第一マップ情報保持部と、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
を備えることを特徴とする情報処理装置。 a first map information storage unit that stores a first map including at least one image captured by a mobile device and feature information of the image;
an image input unit for inputting an image from a fixed camera;
a moving object detection unit that detects a moving object from an image captured by the fixed camera;
a map correspondence detection unit that detects correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map update unit that uses detection results of the moving object detection unit and the map correspondence detection unit to generate a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map; and
a second map information storage unit for storing the second map;
An information processing device comprising: 前記第一マップ情報保持部に保持する前記第一マップを他の装置から受信するマップ受信部と、
前記第二マップ情報保持部に保持された前記第二マップのうち、少なくとも一部を前記移動デバイスに送信するマップ送信部と
を備えることを特徴とする請求項１に記載の情報処理装置。 a map receiving unit that receives the first map stored in the first map information storage unit from another device;
The information processing apparatus according to claim 1 , further comprising: a map transmission unit configured to transmit at least a portion of the second map stored in the second map information storage unit to the mobile device. 前記マップ送信部は、前記第二マップ情報保持部に保持された前記第二マップのうち、前記移動デバイスの現在地に対応する位置のマップ情報を選択して前記移動デバイスに送信する、
ことを特徴とする請求項２に記載の情報処理装置。 the map transmission unit selects map information of a position corresponding to a current location of the mobile device from the second map stored in the second map information storage unit and transmits the map information to the mobile device;
3. The information processing apparatus according to claim 2. 前記マップ更新部は、前記第一マップを用いて生成した第二マップと、過去に生成され前記第二マップ情報保持部に保持された第二マップと、を統合して新たな第二マップを生成し、当該新たな第二マップを前記第二マップ情報保持部に保持する、
ことを特徴とする請求項１に記載の情報処理装置。 the map update unit generates a new second map by integrating a second map generated using the first map with a second map that was generated in the past and stored in the second map information storage unit, and stores the new second map in the second map information storage unit.
2. The information processing apparatus according to claim 1, 前記固定カメラの画像を撮影時刻と関連付けて記録する画像蓄積部をさらに備え、
前記マップ対応検出部は、前記第一マップに含まれる画像の撮影時刻に対応する撮影時刻を有する固定カメラの画像を選択して対応を検出し、
前記移動物体検出部と前記マップ更新部は、前記選択された固定カメラの画像を用いて処理を行う、
ことを特徴とする請求項１に記載の情報処理装置。 An image storage unit that records the image of the fixed camera in association with the image capturing time,
The map correspondence detection unit detects correspondence by selecting an image captured by a fixed camera having a shooting time corresponding to a shooting time of an image included in the first map;
the moving object detection unit and the map update unit perform processing using the image from the selected fixed camera.
2. The information processing apparatus according to claim 1, 前記第一マップ情報保持部は、前記第一マップと関連付けて、前記第一マップに含まれる前記画像を撮影したデバイスの性質を示す機種情報を保持し、
前記第二マップ情報保持部は、前記機種情報に応じて複数の第二マップを保持し、
前記マップ更新部は、前記第一マップを用いて生成した第二マップと、過去に生成され前記第二マップ情報保持部に保持された第二マップとを統合する際、前記機種情報に応じた第二マップを選択する、
ことを特徴とする請求項４に記載の情報処理装置。 the first map information storage unit stores, in association with the first map, model information indicating a property of a device that captured the image included in the first map;
the second map information storage unit stores a plurality of second maps according to the model information,
the map update unit selects a second map corresponding to the model information when integrating a second map generated using the first map with a second map generated in the past and stored in the second map information storage unit.
5. The information processing apparatus according to claim 4. 前記移動物体検出部は、さらに、検出した移動物体ごとに識別情報を生成し、前記画像入力部から入力される画像のフレーム間で前記移動物体の追跡を行い、
前記マップ更新部は、前記第一マップに含まれる空間中の特徴情報に対し、前記移動物体の識別情報を付加した第二マップを生成する、
ことを特徴とする請求項１に記載の情報処理装置。 the moving object detection unit further generates identification information for each detected moving object, and tracks the moving object between frames of the image input from the image input unit;
the map update unit generates a second map by adding identification information of the moving object to feature information in the space included in the first map;
2. The information processing apparatus according to claim 1, カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記第一マップを他の装置に送信する第一マップ送信部と、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信部と、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定部と、
を備える移動デバイス。 a first map generating unit that generates a first map including an image captured by a camera and feature information of the image;
a first map transmission unit configured to transmit the first map to another device;
a second map receiving unit that receives, from the other device, a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map;
a self-location estimation unit that estimates a location of the moving device based on feature information of an object that is not the moving object among feature information included in the second map;
A mobile device comprising: 前記第一マップ送信部が前記第一マップを前記他の装置に送信するタイミングは、
前記移動デバイスが前記他の装置に関連付けられた固定カメラの所定距離以内にあると判定されたとき、
前記移動デバイスが前記カメラから新たなキーフレームの情報を得たとき、および、
前記移動デバイスが受信した前記第二マップに対して前記カメラから新たな情報を追加したとき、
の少なくともいずれかである、
ことを特徴とする請求項８に記載の移動デバイス。 The timing at which the first map transmission unit transmits the first map to the other device is
when it is determined that the mobile device is within a predetermined distance of a fixed camera associated with the other device;
When the mobile device receives a new key frame from the camera, and
when the mobile device adds new information from the camera to the second map received by the mobile device,
At least one of the following:
The mobile device of claim 8 . 前記移動デバイスは、ＨＭＤである、
ことを特徴とする請求項８に記載の移動デバイス。 The moving device is an HMD.
The mobile device of claim 8 . 請求項１から７のいずれか１項に記載の情報処理装置と、
請求項８から１０のいずれか１項に記載の移動デバイスと、
を含むシステム。 An information processing device according to any one of claims 1 to 7;
A mobile device according to any one of claims 8 to 10;
A system including: 移動デバイスと情報処理装置を含むシステムであって、
前記移動デバイスは、
前記移動デバイスと関連付けられたカメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成部と、
前記移動デバイスの位置を推定する自己位置推定部と、
を備え、
前記情報処理装置は、
固定カメラの画像を入力する画像入力部と、
前記固定カメラの画像から移動物体を検出する移動物体検出部と、
を備え、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出部と、
前記移動物体検出部と前記マップ対応検出部の検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報を付加した第二マップを生成するマップ更新部と、
前記第二マップを保持する第二マップ情報保持部と、
のそれぞれが、前記移動デバイスと前記情報処理装置の少なくともいずれかに備えられており、
前記自己位置推定部は、前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する、
ことを特徴とするシステム。 A system including a mobile device and an information processing device,
The mobile device comprises:
a first map generating unit that generates a first map including an image captured by a camera associated with the mobile device and feature information of the image from the image;
A self-location estimation unit that estimates a location of the moving device;
Equipped with
The information processing device includes:
an image input unit for inputting an image from a fixed camera;
a moving object detection unit that detects a moving object from an image captured by the fixed camera;
Equipped with
a map correspondence detection unit that detects correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map update unit that uses detection results of the moving object detection unit and the map correspondence detection unit to generate a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map; and
a second map information storage unit for storing the second map;
are provided in at least one of the mobile device and the information processing device,
The self-location estimation unit estimates a location of the moving device based on feature information of an object other than the moving object, among feature information included in the second map.
A system characterized by: 情報処理装置の制御方法であって、
移動デバイスによって取得された少なくとも一つ以上の画像と当該画像の特徴情報とを
含む第一マップを保持する第一マップ情報保持ステップと、
固定カメラの画像から移動物体を検出する移動物体検出ステップと、
前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出ステップと、
前記移動物体検出ステップと前記マップ対応検出ステップの検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報が付加された第二マップを生成するマップ更新ステップと、
前記第二マップを保持する第二マップ情報保持ステップと、
を含むことを特徴とする制御方法。 A method for controlling an information processing device, comprising:
a first map information storage step of storing a first map including at least one image captured by the mobile device and feature information of the image;
A moving object detection step of detecting a moving object from an image of a fixed camera;
a map correspondence detection step of detecting a correspondence between feature information of an image of the fixed camera and feature information included in the first map;
a map updating step of generating a second map in which information indicating whether or not the object is a moving object is added to the feature information included in the first map, using detection results of the moving object detection step and the map correspondence detection step;
a second map information storage step for storing the second map;
A control method comprising: 移動デバイスの制御方法であって、
カメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成ステップと、
前記第一マップを他の装置に送信する第一マップ送信ステップと、
前記他の装置から、前記第一マップに含まれる前記特徴情報に対し、移動物体であるか否かを示す情報が付加された第二マップを受信する第二マップ受信ステップと、
前記第二マップに含まれる特徴情報のうち、前記移動物体ではない物体の特徴情報に基づいて、前記移動デバイスの位置を推定する自己位置推定ステップと、
を含むことを特徴とする制御方法。 1. A method for controlling a mobile device, comprising:
a first map generating step of generating a first map including an image captured by the camera and feature information of the image;
a first map transmission step of transmitting the first map to another device;
a second map receiving step of receiving a second map from the other device in which information indicating whether or not the object is a moving object is added to the feature information included in the first map;
a self-location estimation step of estimating a location of the moving device based on feature information of an object other than the moving object among feature information included in the second map;
A control method comprising: 移動デバイスと情報処理装置を含むシステムの制御方法であって、
前記情報処理装置が、固定カメラの画像を入力する画像入力ステップと、
前記情報処理装置が、前記固定カメラの画像から移動物体を検出する移動物体検出ステップと、
前記移動デバイスが、前記移動デバイスと関連付けられたカメラによって撮影された画像から、当該画像と当該画像の特徴情報とを含む第一マップを生成する第一マップ生成ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記固定カメラの画像の特徴情報と前記第一マップに含まれる特徴情報との対応を検出するマップ対応検出ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記移動物体検出ステップと前記マップ対応検出ステップの検出結果を用いて、前記第一マップに含まれる特徴情報に対し、前記移動物体であるか否かを示す情報を付加した第二マップを生成するマップ更新ステップと、
前記移動デバイスと前記情報処理装置の少なくともいずれかが、前記第二マップを保持する第二マップ情報保持ステップと、
前記移動デバイスが、前記移動デバイスの位置を推定する自己位置推定部と、
を含むことを特徴とする制御方法。 A method for controlling a system including a mobile device and an information processing device, comprising:
an image input step in which the information processing device inputs an image from a fixed camera;
a moving object detection step in which the information processing device detects a moving object from an image of the fixed camera;
a first map generation step in which the mobile device generates a first map from an image captured by a camera associated with the mobile device, the first map including the image and feature information of the image;
a map correspondence detection step in which at least one of the mobile device and the information processing device detects correspondence between feature information of the image of the fixed camera and feature information included in the first map;
a map update step in which at least one of the moving device and the information processing device generates a second map by adding information indicating whether or not the object is a moving object to the feature information included in the first map, using detection results of the moving object detection step and the map correspondence detection step; and
a second map information holding step in which at least one of the mobile device and the information processing device holds the second map;
The mobile device includes a self-location estimation unit that estimates a location of the mobile device;
A control method comprising: 請求項１３から１５のいずれか１項に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。 A program for causing a computer to execute each step of the control method according to any one of claims 13 to 15.

Images