JP6760876B2

JP6760876B2 - Control devices, programs, and control methods

Info

Publication number: JP6760876B2
Application number: JP2017060472A
Authority: JP
Inventors: 智士水溜; 裕樹田門
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2020-09-23
Anticipated expiration: 2037-03-27
Also published as: JP2018163532A

Description

本発明は、制御装置、プログラム、及び制御方法に関する。 The present invention relates to control devices, programs, and control methods.

従来、無人飛行体（例えば、ドローン）がＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）などの全地球航法衛星システム（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ（ｓ）：以下、ＧＮＳＳ）を利用した測位方法によって自律飛行し、送電線の点検箇所まで飛行することにより、送電線の近傍から撮像した画像を用いて送電線を点検する技術が知られている（例えば、特許文献１）。 Conventionally, an unmanned air vehicle (for example, a drone) autonomously flies by a positioning method using a global navigation satellite system (Global Positioning System (s): GNSS) such as GPS (Global Positioning System), and a transmission line is connected. A technique for inspecting a transmission line by flying to an inspection point and using an image taken from the vicinity of the transmission line is known (for example, Patent Document 1).

特開２００１−３９３９７号公報Japanese Unexamined Patent Publication No. 2001-39397

しかしながら、従来の技術では、屋外に設置される対象物を撮像するように無人飛行体を制御することが可能であっても、ＧＮＳＳ等の測位方法の使用が困難な屋内に設置される対象物を撮像するように無人飛行体を制御することまでは困難である場合があった。
本発明は、上記問題に鑑みて為されたものであり、屋内を移動する移動体を制御する仕組みを提供することを目的とする。 However, with conventional technology, even if it is possible to control an unmanned aerial vehicle so as to image an object installed outdoors, an object installed indoors where it is difficult to use a positioning method such as GNSS. It was sometimes difficult to control the unmanned aerial vehicle to image.
The present invention has been made in view of the above problems, and an object of the present invention is to provide a mechanism for controlling a moving body moving indoors.

（１）本発明の一態様は、建物内部の実空間の三次元空間情報を記憶する記憶部と、前記実空間を撮像する撮像部と、物体までの距離を測定する測距部と、前記三次元空間情報と、前記三次元空間情報に対応付けられた移動経路と、前記測距部が測定する前記実空間内の物体との前記距離とに基づいて移動を制御する移動制御部と、前記移動制御部の制御による移動中に、前記撮像部が撮像した前記実空間の三次元空間情報を取得する三次元空間情報取得部と、前記三次元空間情報取得部が取得する前記三次元空間情報に基づいて、前記記憶部に記憶されている前記三次元空間情報を更新する情報更新部と、前記移動制御部が、前記移動経路とは異なる経路に変更する場合に、経路の変更が行われるタイミングで当該変更をサーバ装置に通知する送信部と、を備える移動体の制御装置である。 (1) One aspect of the present invention includes a storage unit that stores three-dimensional spatial information of the real space inside the building, an imaging unit that images the real space, a ranging unit that measures the distance to an object, and the above. A movement control unit that controls movement based on three-dimensional space information, a movement path associated with the three-dimensional space information, and the distance between the distance measuring unit and the object in the real space. A three-dimensional space information acquisition unit that acquires the three-dimensional space information of the real space imaged by the imaging unit and the three-dimensional space acquired by the three-dimensional space information acquisition unit during movement under the control of the movement control unit. When the information update unit that updates the three-dimensional spatial information stored in the storage unit and the movement control unit change to a route different from the movement route based on the information, the route is changed. It is a mobile control device including a transmission unit that notifies the server device of the change at the timing of the change .

（２）本発明の一態様は、上記（１）に記載の制御装置において、前記送信部は、経路の変更が行われる場合に、前記撮像部による前記実空間の撮像結果をサーバ装置に送信する。 (2) In one aspect of the present invention, in the control device according to (1) above, the transmission unit transmits the image pickup result in the real space by the image pickup unit to the server device when the route is changed. To do .

（３）本発明の一態様は、上記（１）又は（２）に記載の制御装置は、経路の変更が行われる場合に、当該変更される位置において移動体を旋回させる。 (3) In one aspect of the present invention, the control device according to (1) or (2) above turns the moving body at the changed position when the route is changed.

（４）本発明の一態様は、上記（１）から（３）に記載の制御装置において、前記測距部は、前記移動経路上、又は前記移動経路の周辺に物体があるか否かを検知し、前記移動制御部は、前記測距部の測定結果に基づいて、前記三次元空間情報に対応付けられた前記移動経路を変更して移動させる。 (4) In one aspect of the present invention, in the control device according to the above (1) to (3), the distance measuring unit determines whether or not there is an object on or around the moving path. Upon detection, the movement control unit changes and moves the movement path associated with the three-dimensional spatial information based on the measurement result of the distance measuring unit.

（５）本発明の一態様は、建物内部の実空間の三次元空間情報を記憶する記憶部を備えるコンピュータに、前記実空間を撮像する撮像ステップと、物体までの距離を測定する測距ステップと、前記三次元空間情報と、前記三次元空間情報に対応付けられた移動経路と、前記測距ステップが測定する前記実空間内の物体との前記距離とに基づいて移動を制御する移動制御ステップと、前記移動制御ステップの制御による移動中に、前記撮像ステップが撮像した前記実空間の三次元空間情報を取得する三次元空間情報取得ステップと、前記三次元空間情報取得ステップが取得する前記三次元空間情報に基づいて、前記記憶部に記憶されている前記三次元空間情報を更新する情報更新ステップと、前記移動制御ステップにおいて、前記移動経路とは異なる経路に変更する場合に、経路の変更が行われるタイミングで当該変更をサーバ装置に通知する送信ステップと、を実行させるためのプログラムである。 ( 5 ) One aspect of the present invention is an imaging step of imaging the real space and a distance measuring step of measuring the distance to an object on a computer provided with a storage unit for storing three-dimensional spatial information of the real space inside the building. The movement control that controls the movement based on the three-dimensional space information, the movement path associated with the three-dimensional space information, and the distance between the object in the real space measured by the distance measuring step. The three-dimensional space information acquisition step that acquires the three-dimensional space information of the real space captured by the imaging step and the three-dimensional space information acquisition step that the three-dimensional space information acquisition step acquires while moving under the control of the step and the movement control step. When changing to a route different from the movement route in the information update step for updating the three-dimensional space information stored in the storage unit and the movement control step based on the three-dimensional space information , It is a program for executing a transmission step of notifying the server device of the change at the timing when the change is made .

（６）本発明の一態様は、実空間を撮像する撮像手順と、物体までの距離を測定する測距手順と、建物内部の実空間の三次元空間情報と、前記三次元空間情報に対応付けられた移動経路と、前記測距手順が測定する前記実空間内の物体との前記距離とに基づいて移動体の移動を制御する移動制御手順と、前記移動制御手順において制御される移動体の移動中に、前記撮像手順が撮像した前記実空間の三次元空間情報を取得する三次元空間情報取得手順と、前記三次元空間情報取得手順において取得される前記三次元空間情報に基づいて、前記三次元空間情報を更新する情報更新手順と、前記移動制御手順において、前記移動経路とは異なる経路に変更する場合に、経路の変更が行われるタイミングで当該変更をサーバ装置に通知する送信手順と、を備える制御方法である。 ( 6 ) One aspect of the present invention corresponds to an imaging procedure for imaging a real space, a distance measuring procedure for measuring a distance to an object, three-dimensional space information in the real space inside a building, and the three-dimensional space information. A movement control procedure that controls the movement of the moving body based on the attached movement path and the distance between the object in the real space measured by the distance measuring procedure, and a moving body controlled in the movement control procedure. Based on the three-dimensional space information acquisition procedure for acquiring the three-dimensional space information of the real space captured by the imaging procedure and the three-dimensional space information acquired in the three-dimensional space information acquisition procedure during the movement of In the information update procedure for updating the three-dimensional space information and the movement control procedure, when changing to a route different from the movement route, a transmission procedure for notifying the server device of the change at the timing when the route is changed. It is a control method including.

本発明によれば、屋内を移動する移動体を制御する仕組みを提供することができる。 According to the present invention, it is possible to provide a mechanism for controlling a moving body that moves indoors.

第１実施形態に係る制御装置の概要を示す図である。It is a figure which shows the outline of the control device which concerns on 1st Embodiment. 第１実施形態に係るドローンの移動経路の一例を示す第１の図である。It is the first figure which shows an example of the movement route of the drone which concerns on 1st Embodiment. 第１実施形態に係るドローンの移動経路の一例を示す第２の図である。It is a 2nd figure which shows an example of the movement route of the drone which concerns on 1st Embodiment. 第１実施形態に係る制御装置の構成の一例を示す図である。It is a figure which shows an example of the structure of the control device which concerns on 1st Embodiment. 第１実施形態に係る制御装置の動作の一例を示す流れ図である。It is a flow chart which shows an example of the operation of the control device which concerns on 1st Embodiment. 第１実施形態に係る制御装置の動作の一例を示す流れ図である。It is a flow chart which shows an example of the operation of the control device which concerns on 1st Embodiment. 第２実施形態に係る制御装置の一例を示す図である。It is a figure which shows an example of the control device which concerns on 2nd Embodiment.

［第１実施形態］
以下、図を参照して本発明の実施形態について説明する。 [First Embodiment]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.

＜制御装置の概要＞
図１は、第１実施形態に係る制御装置１０の概要を示す図である。
図１に示す通り、制御装置１０は、移動体に搭載され、当該移動体の移動を制御する。移動体とは、例えば、飛行体や、自動車等である。本実施形態の一例では、移動体が無人飛行体（以下、ドローンＤ）である場合について説明する。ドローンＤは、制御装置１０の制御に基づいて、自律飛行する。制御装置１０は、ドローンＤの飛行を制御し、ドローンＤが飛行する建物内部の空間（以下、実空間）の情報を取得する。 <Overview of control device>
FIG. 1 is a diagram showing an outline of the control device 10 according to the first embodiment.
As shown in FIG. 1, the control device 10 is mounted on a moving body and controls the movement of the moving body. The moving body is, for example, a flying body, an automobile, or the like. In an example of the present embodiment, a case where the moving body is an unmanned aerial vehicle (hereinafter, drone D) will be described. The drone D autonomously flies under the control of the control device 10. The control device 10 controls the flight of the drone D, and acquires information on the space inside the building (hereinafter, the real space) in which the drone D flies.

制御装置１０は、測定装置１１０と、制御部１２０とを備える。測定装置１１０は、撮像部１０１と、測距部１０２とを備える。撮像部１０１は、実空間内を撮像し、画像（以下、画像ＩＭ）を生成する。測距部１０２は、制御装置１０（ドローンＤ）から、実空間内に設置される物体や、実空間を構成する物体（以下、物体ＯＢ）までの距離（以下、距離ＤＴ）を測定する。実空間を構成する物体とは、例えば、壁、天井、及び床等である。測距部１０２とは、例えば、ステレオカメラや赤外線センサである。
制御装置１０は、画像ＩＭ、及び距離ＤＴに基づいてドローンＤの移動を制御し、ドローンＤを移動させる。ドローンＤが移動する実空間とは、例えば、監視対象の設備等が設置される空間である。この場合、物体ＯＢには、監視対象の設備が含まれる。 The control device 10 includes a measuring device 110 and a control unit 120. The measuring device 110 includes an imaging unit 101 and a distance measuring unit 102. The image pickup unit 101 takes an image in the real space and generates an image (hereinafter, image IM). The distance measuring unit 102 measures the distance (hereinafter, distance DT) from the control device 10 (drone D) to an object installed in the real space or an object constituting the real space (hereinafter, object OB). The objects that make up the real space are, for example, walls, ceilings, floors, and the like. The distance measuring unit 102 is, for example, a stereo camera or an infrared sensor.
The control device 10 controls the movement of the drone D based on the image IM and the distance DT, and moves the drone D. The real space in which the drone D moves is, for example, a space in which equipment to be monitored or the like is installed. In this case, the object OB includes equipment to be monitored.

＜実空間内の移動について＞
以下、図を参照して、実空間におけるドローンＤの移動について説明する。
図２は、第１実施形態に係るドローンＤの移動経路の一例を示す第１の図である。
制御装置１０は、予め定められた移動経路を示す情報（以下、移動経路情報ＲＴ）に基づいて、ドローンＤを制御し、ドローンＤに実空間内を移動させる。移動経路情報ＲＴとは、予め定められた経路であって、実空間の三次元空間情報ＳＰに対応付けられた移動経路である。
三次元空間情報ＳＰとは、例えば、実空間に存在する物体ＯＢの特徴点の点群と、当該特徴点を撮影した実空間における相対位置や撮影の向きとが対応付けられた情報である。本実施形態の一例では、実空間における相対位置が、ＸＹＺ直交座標系によって示される。移動経路は、三次元空間情報ＳＰに基づく実空間の座標によって示される。 <About movement in real space>
Hereinafter, the movement of the drone D in the real space will be described with reference to the figure.
FIG. 2 is a first diagram showing an example of the movement route of the drone D according to the first embodiment.
The control device 10 controls the drone D based on a predetermined information indicating a movement route (hereinafter, movement route information RT), and causes the drone D to move in the real space. The movement route information RT is a predetermined route, and is a movement route associated with the three-dimensional space information SP in the real space.
The three-dimensional space information SP is, for example, information in which a point cloud of a feature point of an object OB existing in the real space is associated with a relative position and a shooting direction in the real space where the feature point is photographed. In one example of this embodiment, the relative position in real space is indicated by the XYZ Cartesian coordinate system. The movement path is indicated by the coordinates in the real space based on the three-dimensional space information SP.

移動経路情報ＲＴとは、例えば、移動経路を所定の距離毎の座標によって示す情報であってもよく、実空間内のある位置の座標を示す情報であってもよい。移動経路情報ＲＴが実空間のある位置の座標を示す情報である場合、制御装置１０は、当該座標、又は当該座標の近傍を通過するようにドローンＤを制御する。 The movement route information RT may be, for example, information indicating the movement route by coordinates for each predetermined distance, or information indicating the coordinates of a certain position in the real space. When the movement route information RT is information indicating the coordinates of a certain position in the real space, the control device 10 controls the drone D so as to pass through the coordinates or the vicinity of the coordinates.

図２に示す通り、本実施形態の一例では、移動経路情報ＲＴが示す移動経路が、実空間内に設置される物体ＯＢ１と、物体ＯＢ２との周囲をドローンＤが移動する移動経路である。より具体的には、移動経路情報ＲＴが示す移動経路は、実空間のある位置（図示する一例では、位置Ｐ０）から移動を開始し、実空間の角に応じた位置（図示する一例では、位置Ｐ１、位置Ｐ２、及び位置Ｐ３）において方向転換し、物体ＯＢ１、及び物体ＯＢ２を中心として実空間を一周したのち、位置Ｐ０において移動を終了する移動経路である。この場合、ドローンＤが移動した軌跡（以下、移動軌跡ＴＪ）と、移動経路情報ＲＴが示す移動経路とは合致する。 As shown in FIG. 2, in one example of the present embodiment, the movement route indicated by the movement route information RT is a movement route in which the drone D moves around the object OB1 installed in the real space and the object OB2. More specifically, the movement path indicated by the movement route information RT starts moving from a certain position in the real space (position P0 in the illustrated example), and starts moving at a position corresponding to the angle of the real space (in the illustrated example, the position P0). It is a movement path that changes direction at position P1, position P2, and position P3), goes around the real space around the object OB1 and object OB2, and then ends the movement at position P0. In this case, the locus of movement of the drone D (hereinafter, movement locus TJ) matches the movement route indicated by the movement route information RT.

以下、図を参照して、実空間におけるドローンＤの移動の移動経路の変化について説明する。
図３は、第１実施形態に係るドローンＤの移動経路の一例を示す第２の図である。
ここで、実空間には、新たな監視対象の設備が配置される場合がある。図３に示す実空間には、図２に示す実空間に対して物体ＯＢ３が新たに設置されている。
この場合、制御装置１０が、移動経路情報ＲＴに基づいてドローンＤの移動を制御すると、位置Ｐ２付近において物体ＯＢ３と、ドローンＤとが接触する。このため、制御装置１０は、三次元空間情報ＳＰと、距離ＤＴとに基づいて、ドローンＤの移動経路を変更する。制御装置１０は、例えば、位置Ｐ２１において方向転換し、物体ＯＢ３の側面に沿うように移動し、かつ位置Ｐ３１において方向転換し、位置Ｐ０に戻るように移動する。この場合、ドローンＤの移動軌跡ＴＪは、移動経路情報ＲＴが示す移動経路から変更された位置（図示する移動経路情報ＲＴ２３の位置、移動軌跡ＴＪ２３の位置）である。 Hereinafter, changes in the movement path of the movement of the drone D in the real space will be described with reference to the figure.
FIG. 3 is a second diagram showing an example of the movement route of the drone D according to the first embodiment.
Here, in the real space, new equipment to be monitored may be arranged. In the real space shown in FIG. 3, an object OB3 is newly installed in the real space shown in FIG.
In this case, when the control device 10 controls the movement of the drone D based on the movement route information RT, the object OB3 and the drone D come into contact with each other in the vicinity of the position P2. Therefore, the control device 10 changes the movement path of the drone D based on the three-dimensional spatial information SP and the distance DT. For example, the control device 10 changes direction at position P21 and moves along the side surface of the object OB3, and changes direction at position P31 and moves so as to return to position P0. In this case, the movement locus TJ of the drone D is a position changed from the movement route indicated by the movement route information RT (the position of the movement route information RT23 shown in the figure, the position of the movement locus TJ23).

制御装置１０は、ドローンＤに上述したような移動をさせ、実空間に関する情報（例えば、三次元空間情報ＳＰ、及び移動軌跡ＴＪ）を取得する装置である。
以下、制御装置１０の具体的な構成について説明する。 The control device 10 is a device that causes the drone D to move as described above and acquires information about the real space (for example, the three-dimensional space information SP and the movement locus TJ).
Hereinafter, a specific configuration of the control device 10 will be described.

＜制御装置の構成＞
以下、図４を参照して制御装置１０の構成について説明する。
図４は、第１実施形態に係る制御装置１０の構成の一例を示す図である。
制御装置１０は、測定装置１１０と、制御部１２０と、記憶部５００と備える。
記憶部５００には、三次元空間情報ＳＰと、移動経路情報ＲＴとが記憶される。 <Control device configuration>
Hereinafter, the configuration of the control device 10 will be described with reference to FIG.
FIG. 4 is a diagram showing an example of the configuration of the control device 10 according to the first embodiment.
The control device 10 includes a measuring device 110, a control unit 120, and a storage unit 500.
The storage unit 500 stores the three-dimensional spatial information SP and the movement route information RT.

＜測定装置について＞
測定装置１１０は、撮像部１０１と、測距部１０２と、特徴点検出部１０３と、相対位置検出部１０４と、位置特定部１０５をその機能部として備える。
撮像部１０１は、ドローンＤの移動に伴い、実空間内を撮像し、画像ＩＭを生成する。撮像部１０１は、例えば、常時、又は所定の時間間隔において実空間を撮影し、画像ＩＭを生成する。
なお、撮像部１０１は、制御装置１０の制御に基づいて、実空間内の所定の位置において画像ＩＭを生成する構成であってもよい。この場合、所定の位置は、三次元空間情報ＳＰに対応付けられた位置であって、三次元空間情報ＳＰの座標によって示される位置である。なお、所定の位置は、移動経路情報ＲＴによって示される座標でも良い。撮像部１０１は、例えば、三次元空間情報ＳＰの座標によって示される位置Ｐ０〜位置Ｐ３の各位置において物体ＯＢを撮像し、画像ＩＭを生成する。
測距部１０２は、距離ＤＴを測定し、制御部１２０に供給する。測距部１０２は、例えば、常時、又は所定の時間間隔に置いて距離ＤＴを測定する。 <About measuring device>
The measuring device 110 includes an imaging unit 101, a distance measuring unit 102, a feature point detecting unit 103, a relative position detecting unit 104, and a position specifying unit 105 as its functional units.
The image pickup unit 101 takes an image in the real space as the drone D moves, and generates an image IM. The image pickup unit 101 captures a real space at all times or at a predetermined time interval, for example, and generates an image IM.
The image pickup unit 101 may be configured to generate an image IM at a predetermined position in the real space based on the control of the control device 10. In this case, the predetermined position is a position associated with the three-dimensional space information SP and is a position indicated by the coordinates of the three-dimensional space information SP. The predetermined position may be the coordinates indicated by the movement route information RT. The image pickup unit 101 images an object OB at each position of position P0 to position P3 indicated by the coordinates of the three-dimensional spatial information SP, and generates an image IM.
The distance measuring unit 102 measures the distance DT and supplies it to the control unit 120. The distance measuring unit 102 measures the distance DT, for example, at all times or at predetermined time intervals.

特徴点検出部１０３は、実空間を撮像部１０１が撮像して得られた画像ＩＭに基づき、当該画像ＩＭに撮像される物体ＯＢの特徴点を検出する。特徴点を点群として表した画像でも良い。
相対位置検出部１０４は、特徴点検出部１０３が検出した特徴点と、特徴点を撮像した際の制御装置１０（ドローンＤ）の位置と、向きとを複数記憶し、制御装置１０の位置から特定可能な周辺三次元空間情報ＡＳＰを生成する。相対位置検出部１０４は、生成した周辺三次元空間情報ＡＳＰを制御部１２０に供給する。特徴点を撮像した位置は、実空間を模した仮想的な三次元空間の座標（ｘ、ｙ、ｚ）で表される。 The feature point detection unit 103 detects the feature points of the object OB imaged by the image IM based on the image IM obtained by imaging the real space by the image pickup unit 101. An image in which feature points are represented as a point cloud may be used.
The relative position detection unit 104 stores a plurality of feature points detected by the feature point detection unit 103, the position and orientation of the control device 10 (drone D) when the feature points are imaged, and from the position of the control device 10. Generates identifiable peripheral three-dimensional spatial information ASP. The relative position detection unit 104 supplies the generated peripheral three-dimensional spatial information ASP to the control unit 120. The position where the feature point is imaged is represented by the coordinates (x, y, z) of a virtual three-dimensional space that imitates the real space.

位置特定部１０５は、三次元空間情報ＳＰに基づいて、制御装置１０（ドローンＤ）の現在位置（以下、現在位置ＣＰ）を特定する。具体的には、位置特定部１０５は、特徴点検出部１０３が画像ＩＭに基づいて検出する特徴点と、三次元空間情報ＳＰが示す特徴点とのマッチングを行い、三次元空間情報ＳＰが示す実空間の座標のうち、制御装置１０（ドローンＤ）がどの位置（座標）にいるかを特定する。これにより、位置特定部１０５は、制御装置１０の現在位置ＣＰを特定した後は、制御装置１０が移動しても、加速度センサ、ジャイロセンサ、及び地磁気センサの検出結果に基づいて、三次元空間情報ＳＰ上の座標を特定可能である。位置特定部１０５は、現在位置ＣＰを示す情報を制御部１２０に供給する。
なお、位置特定部１０５は、撮像部１０１が撮像して得られた画像ＩＭに基づいて、エリアラーニングにより、モーショントラッキングでのずれの累積を補正してもよい。 The position specifying unit 105 specifies the current position (hereinafter, the current position CP) of the control device 10 (drone D) based on the three-dimensional space information SP. Specifically, the position specifying unit 105 matches the feature points detected by the feature point detection unit 103 based on the image IM with the feature points indicated by the three-dimensional spatial information SP, and the three-dimensional spatial information SP indicates. Among the coordinates in the real space, the position (coordinates) of the control device 10 (drone D) is specified. As a result, the position specifying unit 105 identifies the current position CP of the control device 10, and even if the control device 10 moves, the position specifying unit 105 is in a three-dimensional space based on the detection results of the acceleration sensor, the gyro sensor, and the geomagnetic sensor. The coordinates on the information SP can be specified. The position specifying unit 105 supplies information indicating the current position CP to the control unit 120.
The position specifying unit 105 may correct the accumulation of deviations in motion tracking by area learning based on the image IM obtained by the image capturing unit 101.

＜制御部について＞
制御部１２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）を備えており、移動軌跡取得部２０１と、送信部２０２と、移動制御部２０３と、三次元空間情報取得部２０４と、情報更新部２０５とをその機能部として備える。
移動軌跡取得部２０１は、測定装置１１０から現在位置ＣＰを常時、又は所定の時間間隔において取得する。移動軌跡取得部２０１は、ドローンＤの移動開始から移動終了までに取得した現在位置ＣＰを移動軌跡ＴＪとして送信部２０２に供給する。 <About the control unit>
The control unit 120 includes a CPU (Central Processing Unit), and includes a movement locus acquisition unit 201, a transmission unit 202, a movement control unit 203, a three-dimensional spatial information acquisition unit 204, and an information update unit 205. Provided as a functional unit.
The movement locus acquisition unit 201 acquires the current position CP from the measuring device 110 at all times or at a predetermined time interval. The movement locus acquisition unit 201 supplies the current position CP acquired from the start of the movement of the drone D to the end of the movement to the transmission unit 202 as the movement locus TJ.

移動制御部２０３は、現在位置ＣＰと、三次元空間情報ＳＰと、移動経路情報ＲＴと、距離ＤＴと、加速度センサと、ジャイロセンサと、地磁気センサに基づいて、ドローンＤの移動を制御する。具体的には、移動制御部２０３は、ドローンＤの飛行開始時に現在位置ＣＰを取得する。移動制御部２０３は、現在位置ＣＰが示す位置（座標）から三次元空間情報ＳＰにおける移動経路情報ＲＴの位置（座標）を移動するように、加速度センサ、ジャイロセンサ、及び地磁気センサの検出結果に基づいて、ドローンＤの移動を制御する。
また、移動制御部２０３は、距離ＤＴが、ドローンＤ（制御装置１０）から物体ＯＢまでの距離が所定の距離となるようにドローンＤの移動を制御する。移動制御部２０３は、例えば、距離ＤＴがドローンＤと、物体ＯＢまでの距離が所定の距離より短い（近い）距離であることを示す場合、ドローンＤが物体ＯＢから離れるように制御する。 The movement control unit 203 controls the movement of the drone D based on the current position CP, the three-dimensional space information SP, the movement route information RT, the distance DT, the acceleration sensor, the gyro sensor, and the geomagnetic sensor. Specifically, the movement control unit 203 acquires the current position CP at the start of flight of the drone D. The movement control unit 203 uses the detection results of the acceleration sensor, the gyro sensor, and the geomagnetic sensor to move the position (coordinates) of the movement path information RT in the three-dimensional space information SP from the position (coordinates) indicated by the current position CP. Based on this, the movement of the drone D is controlled.
Further, the movement control unit 203 controls the movement of the drone D so that the distance DT makes the distance from the drone D (control device 10) to the object OB a predetermined distance. The movement control unit 203 controls the drone D to move away from the object OB, for example, when the distance DT indicates that the distance to the drone D and the object OB is shorter (closer) than a predetermined distance.

三次元空間情報取得部２０４は、測定装置１１０から常時、又は所定の時間間隔において周辺三次元空間情報ＡＳＰを取得する。三次元空間情報取得部２０４は、ドローンＤの移動開始から移動終了までに取得した周辺三次元空間情報ＡＳＰに基づいて、三次元空間情報ＳＰを生成する。また、三次元空間情報取得部２０４は、生成した三次元空間情報ＳＰを情報更新部２０５に供給する。
情報更新部２０５は、記憶部５００に記憶される三次元空間情報ＳＰを、三次元空間情報取得部２０４から取得した三次元空間情報ＳＰに更新する。 The three-dimensional space information acquisition unit 204 acquires the peripheral three-dimensional space information ASP from the measuring device 110 at all times or at a predetermined time interval. The three-dimensional space information acquisition unit 204 generates a three-dimensional space information SP based on the peripheral three-dimensional space information ASP acquired from the start of the movement of the drone D to the end of the movement. Further, the three-dimensional space information acquisition unit 204 supplies the generated three-dimensional space information SP to the information update unit 205.
The information updating unit 205 updates the three-dimensional space information SP stored in the storage unit 500 to the three-dimensional space information SP acquired from the three-dimensional space information acquisition unit 204.

送信部２０２は、移動軌跡ＴＪを示す情報と、当該移動軌跡ＴＪによってドローンＤが移動した実空間の三次元空間情報ＳＰと、当該移動軌跡ＴＪを取得した日時とを対応付けて、サーバ装置に送信する。具体的には、送信部２０２は、移動軌跡取得部２０１が取得する移動軌跡ＴＪと、三次元空間情報取得部２０４が生成する三次元空間情報ＳＰと、移動軌跡ＴＪを取得した日時とを対応付けてサーバ装置に送信する。サーバ装置とは、実空間を監視する監視者が使用する装置である。監視者は、サーバ装置、又はサーバ装置と情報の送受信可能な端末装置を用いて、サーバ装置が受信する情報（この一例では、移動軌跡ＴＪ）を参照する。 The transmission unit 202 associates the information indicating the movement locus TJ with the three-dimensional space information SP in the real space in which the drone D has moved by the movement locus TJ, and the date and time when the movement locus TJ was acquired, to the server device. Send. Specifically, the transmission unit 202 corresponds to the movement locus TJ acquired by the movement locus acquisition unit 201, the three-dimensional space information SP generated by the three-dimensional space information acquisition unit 204, and the date and time when the movement locus TJ is acquired. Attach and send to the server device. A server device is a device used by an observer who monitors real space. The observer refers to the information received by the server device (in this example, the movement locus TJ) by using the server device or the terminal device capable of transmitting and receiving information to and from the server device.

なお、上述では、情報更新部２０５が周辺三次元空間情報ＡＳＰに基づいて、記憶部５００に記憶される三次元空間情報ＳＰを更新する場合について説明したが、これに限られない。情報更新部２０５は、周辺三次元空間情報ＡＳＰに基づいて生成した三次元空間情報ＳＰと、生成した日時とを対応付けて記憶部５００に記憶させる構成であってもよい。 In the above description, the case where the information updating unit 205 updates the three-dimensional space information SP stored in the storage unit 500 based on the peripheral three-dimensional space information ASP has been described, but the present invention is not limited to this. The information updating unit 205 may be configured to store the three-dimensional space information SP generated based on the peripheral three-dimensional space information ASP in the storage unit 500 in association with the generated date and time.

＜制御部の動作について：移動開始時の動作＞
以下、図５を参照して制御装置１０の移動開始時の動作の詳細について説明する。
図５は、第１実施形態に係る制御装置１０の動作の一例を示す第１の流れ図である。
移動制御部２０３は、ドローンＤの移動を開始させる際、ドローンＤの移動開始位置（この一例では、位置Ｐ０）において、ドローンＤを旋回させる（ステップＳ１０）。撮像部１０１は、ドローンＤが旋回している（ステップＳ１０）間、画像ＩＭを取得する（ステップＳ２０）。位置特定部１０５は、特徴点検出部１０３が画像ＩＭに基づいて検出する特徴点と、三次元空間情報ＳＰが示す特徴点とのマッチングを行い、三次元空間情報ＳＰが示す実空間の座標のうち、制御装置１０（ドローンＤ）の現在位置ＣＰを特定する（ステップＳ３０）。 <Operation of control unit: Operation at the start of movement>
Hereinafter, the details of the operation of the control device 10 at the start of movement will be described with reference to FIG.
FIG. 5 is a first flow chart showing an example of the operation of the control device 10 according to the first embodiment.
When starting the movement of the drone D, the movement control unit 203 turns the drone D at the movement start position of the drone D (position P0 in this example) (step S10). The image pickup unit 101 acquires the image IM while the drone D is turning (step S10) (step S20). The position specifying unit 105 matches the feature points detected by the feature point detection unit 103 based on the image IM with the feature points indicated by the three-dimensional space information SP, and determines the coordinates of the real space indicated by the three-dimensional space information SP. Among them, the current position CP of the control device 10 (drone D) is specified (step S30).

＜制御部の動作について：移動中の動作＞
以下、図６を参照して制御装置１０の移動中の動作の詳細について説明する。
図６は、第１実施形態に係る制御装置１０の動作の一例を示す流れ図である。
図６に示す制御装置１０の動作は、図５に示す制御装置１０の移動開始時の動作によって、制御装置１０（ドローンＤ）の現在位置ＣＰが特定された後の動作である。
ドローンＤが移動経路情報ＲＴに基づいて移動を開始してから終了するまでの間（図示するステップＳ１１５〜ステップＳ１４０の間）、三次元空間情報取得部２０４は、測定装置１１０から周辺三次元空間情報ＡＳＰを取得し、位置特定部１０５は、現在位置ＣＰを取得する（ステップＳ１１０）。
移動制御部２０３は、現在位置ＣＰと、三次元空間情報ＳＰと、移動経路情報ＲＴと、距離ＤＴと、加速度センサと、ジャイロセンサと、と地磁気センサに基づいて、ドローンＤの移動を制御する（ステップＳ１１５）。具体的には、移動制御部２０３は、図５に示す移動開始時の動作によって特定された現在位置ＣＰが示す位置（座標）から三次元空間情報ＳＰにおける移動経路情報ＲＴの位置（座標）を移動するように、加速度センサ、ジャイロセンサ、及び地磁気センサの検出結果に基づいて、ドローンＤの移動を制御する。 <Operation of control unit: Operation during movement>
Hereinafter, the details of the operation of the control device 10 during movement will be described with reference to FIG.
FIG. 6 is a flow chart showing an example of the operation of the control device 10 according to the first embodiment.
The operation of the control device 10 shown in FIG. 6 is an operation after the current position CP of the control device 10 (drone D) is specified by the operation at the start of movement of the control device 10 shown in FIG.
From the start to the end of the movement of the drone D based on the movement route information RT (between steps S115 to S140 in the figure), the three-dimensional space information acquisition unit 204 moves from the measuring device 110 to the surrounding three-dimensional space. The information ASP is acquired, and the position specifying unit 105 acquires the current position CP (step S110).
The movement control unit 203 controls the movement of the drone D based on the current position CP, the three-dimensional space information SP, the movement route information RT, the distance DT, the acceleration sensor, the gyro sensor, and the geomagnetic sensor. (Step S115). Specifically, the movement control unit 203 sets the position (coordinates) of the movement path information RT in the three-dimensional space information SP from the position (coordinates) indicated by the current position CP specified by the operation at the start of movement shown in FIG. The movement of the drone D is controlled based on the detection results of the acceleration sensor, the gyro sensor, and the geomagnetic sensor so as to move.

次に、移動制御部２０３は、測定装置１１０から距離ＤＴを取得する（ステップＳ１２０）。移動制御部２０３は、移動経路情報ＲＴに基づいてドローンＤの移動を制御しつつ、取得した距離ＤＴと、所定の距離とを比較する（ステップＳ１３０）。移動制御部２０３は、距離ＤＴが、ドローンＤと、物体ＯＢとが所定の距離より離れていることを示す場合（ステップＳ１３０；ＮＯ）、移動経路情報ＲＴが示す移動距離に基づいてドローンＤを移動（飛行）させる（ステップＳ１１５）。また、移動制御部２０３は、距離ＤＴが、ドローンＤと、物体ＯＢとが所定の距離より近いことを示す場合（ステップＳ１３０；ＹＥＳ）、移動経路情報ＲＴが示す移動経路を変更し、ドローンＤを移動（飛行）させる（ステップＳ１４０）。具体的には、移動制御部２０３は、距離ＤＴが、ドローンＤと、物体ＯＢとが所定の距離より近いことを示す場合、物体ＯＢから離れるように移動経路を変更し、ドローンＤを移動させる。 Next, the movement control unit 203 acquires the distance DT from the measuring device 110 (step S120). The movement control unit 203 controls the movement of the drone D based on the movement route information RT, and compares the acquired distance DT with a predetermined distance (step S130). When the distance DT indicates that the drone D and the object OB are separated from a predetermined distance (step S130; NO), the movement control unit 203 sets the drone D based on the movement distance indicated by the movement route information RT. Move (fly) (step S115). Further, when the distance DT indicates that the drone D and the object OB are closer than a predetermined distance (step S130; YES), the movement control unit 203 changes the movement route indicated by the movement route information RT, and the drone D changes the movement route. Is moved (flying) (step S140). Specifically, when the distance DT indicates that the drone D and the object OB are closer than a predetermined distance, the movement control unit 203 changes the movement route so as to move away from the object OB and moves the drone D. ..

三次元空間情報取得部２０４は、ドローンＤの移動開始から移動終了までに取得した周辺三次元空間情報ＡＳＰに基づいて、三次元空間情報ＳＰを生成する（ステップＳ１４５）。情報更新部２０５は、三次元空間情報取得部２０４が生成した三次元空間情報ＳＰを取得し、記憶部５００に記憶される三次元空間情報ＳＰを更新する（ステップＳ１５０）。送信部２０２は、移動軌跡取得部２０１が取得した移動軌跡ＴＪと、三次元空間情報取得部２０４が生成した三次元空間情報ＳＰと、当該移動軌跡ＴＪを取得した日時とを対応付けて、サーバ装置に送信する（ステップＳ１６０）。 The three-dimensional space information acquisition unit 204 generates a three-dimensional space information SP based on the peripheral three-dimensional space information ASP acquired from the start to the end of the movement of the drone D (step S145). The information update unit 205 acquires the three-dimensional space information SP generated by the three-dimensional space information acquisition unit 204, and updates the three-dimensional space information SP stored in the storage unit 500 (step S150). The transmission unit 202 associates the movement locus TJ acquired by the movement locus acquisition unit 201 with the three-dimensional space information SP generated by the three-dimensional space information acquisition unit 204 with the date and time when the movement locus TJ is acquired, and provides a server. It is transmitted to the device (step S160).

なお、上述では、移動制御部２０３は、距離ＤＴが、ドローンＤと、物体ＯＢとが所定の距離より近いことを示す場合、物体ＯＢから離れるように移動経路を変更し、ドローンＤを移動させる場合について説明したがこれに限られない。移動制御部２０３は、距離ＤＴが、ドローンＤと、物体ＯＢとが所定の距離より近いことを示す場合、又は移動経路を変更した場合に移動経路情報ＲＴに示された移動経路に戻れないと判断し、ドローンＤが移動を開始した位置まで、ドローンＤを移動させる（戻らせる）制御を行ってもよい。 In the above description, when the distance DT indicates that the drone D and the object OB are closer than a predetermined distance, the movement control unit 203 changes the movement route so as to move away from the object OB and moves the drone D. The case has been described, but it is not limited to this. The movement control unit 203 cannot return to the movement route indicated in the movement route information RT when the distance DT indicates that the drone D and the object OB are closer than a predetermined distance, or when the movement route is changed. It may be determined that the drone D may be controlled to move (return) to the position where the drone D has started to move.

＜第１実施形態のまとめ＞
以上説明したように、本実施形態の制御装置１０は、測定装置１１０と、制御部１２０とを備え、制御部１２０は、三次元空間情報ＳＰに基づいて、移動体（本実施形態の一例では、ドローンＤ）の移動を制御する。
ここで、ドローンＤの移動を制御する場合、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）などの全地球航法衛星システム（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ（ｓ）：以下、ＧＮＳＳ）を利用した方法によってドローンＤ（制御装置１０）の位置を検出する方法が一般的であった。この点、ドローンＤが屋内等においてＧＮＳＳの電波を受信が困難である場合、ドローンＤの位置を検出することができず、ドローンＤの移動を制御することが困難である場合があった。 <Summary of the first embodiment>
As described above, the control device 10 of the present embodiment includes the measurement device 110 and the control unit 120, and the control unit 120 is a moving body (in an example of the present embodiment) based on the three-dimensional spatial information SP. , Drone D) controls the movement.
Here, when controlling the movement of the drone D, the drone D (control device 10) is controlled by a method using a global navigation satellite system (s) such as GPS (Global Positioning System) (hereinafter, GNSS). The method of detecting the position of was common. In this regard, when it is difficult for the drone D to receive the GNSS radio wave indoors or the like, the position of the drone D cannot be detected, and it may be difficult to control the movement of the drone D.

本実施形態の制御装置１０は、ドローンＤが移動する実空間内の三次元空間情報ＳＰに基づいて、屋内におけるドローンＤの位置を検出する。これにより、本実施形態の制御装置１０は、実空間におけるドローンＤの制御し、屋内を移動するドローンＤの移動を制御することができる。 The control device 10 of the present embodiment detects the position of the drone D indoors based on the three-dimensional space information SP in the real space in which the drone D moves. As a result, the control device 10 of the present embodiment can control the drone D in the real space and control the movement of the drone D moving indoors.

また、本実施形態の制御装置１０は、ドローンＤが移動することに伴って、測定する周辺三次元空間情報ＡＳＰに基づいて、三次元空間情報ＳＰを生成し、生成した三次元空間情報ＳＰに記憶部５００の三次元空間情報ＳＰを更新する。
上述したように、ドローンＤが移動する実空間には、監視者の監視対象の設備等が設置される場合がある。ここで、実空間の三次元空間情報ＳＰは、監視対象の設備の新設、及び撤去に応じて更新されることが好ましい。
本実施形態の制御装置１０によれば、ドローンＤの移動により、実空間の三次元空間情報ＳＰの取得、及び更新が自動化されるため、監視者等が実空間を計測し、三次元空間情報ＳＰを更新する手間を低減することができる。 Further, the control device 10 of the present embodiment generates a three-dimensional space information SP based on the peripheral three-dimensional space information ASP to be measured as the drone D moves, and the generated three-dimensional space information SP is used. The three-dimensional spatial information SP of the storage unit 500 is updated.
As described above, in the real space where the drone D moves, equipment or the like to be monitored by the observer may be installed. Here, it is preferable that the three-dimensional space information SP in the real space is updated according to the new installation and removal of the equipment to be monitored.
According to the control device 10 of the present embodiment, the movement of the drone D automates the acquisition and update of the three-dimensional space information SP in the real space, so that the observer or the like measures the real space and the three-dimensional space information. It is possible to reduce the trouble of updating the SP.

また、本実施形態の制御装置１０は、取得した移動軌跡ＴＪと、当該移動軌跡ＴＪを取得した日時とを対応付けて記憶部５００に記憶する。ここで、移動経路情報ＲＴが示す移動経路上に物体ＯＢが設置されることに伴い、ドローンＤの移動が困難である場合がある。本実施形態の制御装置１０は、制御部１２０が記憶部５００に記憶される移動軌跡ＴＪのうち、最新の日付が対応付けられた移動軌跡ＴＪに基づいてドローンＤを移動させることにより、最新の実空間の状態に基づいてドローンＤを移動させることができる。
制御装置１０は、例えば、移動軌跡取得部２０１が取得した移動軌跡ＴＪが、記憶部５００に記憶される移動軌跡ＴＪから変化したことを示す場合、取得した移動軌跡ＴＪに移動経路情報ＲＴの移動経路を更新する移動経路更新部を備えていてもよい。 Further, the control device 10 of the present embodiment stores the acquired movement locus TJ and the date and time when the movement locus TJ is acquired in the storage unit 500 in association with each other. Here, as the object OB is installed on the movement path indicated by the movement route information RT, it may be difficult for the drone D to move. The control device 10 of the present embodiment is the latest by moving the drone D based on the movement locus TJ to which the latest date is associated among the movement loci TJ stored in the storage unit 500 by the control unit 120. The drone D can be moved based on the state of the real space.
When the control device 10 indicates that the movement locus TJ acquired by the movement locus acquisition unit 201 has changed from the movement locus TJ stored in the storage unit 500, the control device 10 moves the movement route information RT to the acquired movement locus TJ. A movement route update unit for updating the route may be provided.

また、本実施形態の制御装置１０は、移動軌跡ＴＪを取得し、取得した移動軌跡ＴＪと取得した日時とを対応付けてサーバ装置に移動軌跡ＴＪを示す情報を送信する。
本実施形態の制御装置１０によれば、サーバ装置が受信する移動軌跡ＴＪを監視者が確認することができる。また、監視者は、異なる時間に取得された移動軌跡ＴＪを確認することにより、実空間に新たな物体ＯＢが設置されたことを確認することができる。具体的には、監視者は、２つの移動軌跡ＴＪが、異なる移動経路によって移動したことを示す場合、実空間に新たな物体ＯＢが設置されたこと、又は物体ＯＢが撤去されたことを確認することができる。 Further, the control device 10 of the present embodiment acquires the movement locus TJ, associates the acquired movement locus TJ with the acquired date and time, and transmits information indicating the movement locus TJ to the server device.
According to the control device 10 of the present embodiment, the observer can confirm the movement locus TJ received by the server device. In addition, the observer can confirm that a new object OB has been installed in the real space by confirming the movement locus TJ acquired at different times. Specifically, when the observer indicates that the two movement trajectories TJ have moved by different movement paths, the observer confirms that a new object OB has been installed in the real space or that the object OB has been removed. can do.

また、本実施形態の制御装置１０は、移動制御部２０３は、距離ＤＴが、ドローンＤと物体ＯＢとが所定の距離より近いことを示す場合、移動経路情報ＲＴの移動経路に基づいてドローンＤを移動させ、距離ＤＴが、ドローンＤと物体ＯＢとが所定の距離より離れていることを示す場合、移動経路情報ＲＴの移動経路に基づいてドローンＤを移動させる。
換言すると、本実施形態の制御装置１０において、測距部１０２は、ドローンＤが移動する移動経路上、又は移動経路の周辺に物体ＯＢがあるか否かを検知し、移動制御部２０３は、測距部１０２の測定結果に基づいて、移動経路情報ＲＴの移動経路を変更してドローンＤを移動させる。
本実施形態の制御装置１０によれば、移動経路上、又は移動経路の周辺に物体ＯＢが存在する場合、ドローンＤが物体ＯＢに衝突しないように当該ドローンＤの移動を制御することができる。 Further, in the control device 10 of the present embodiment, when the movement control unit 203 indicates that the distance DT is closer than the predetermined distance between the drone D and the object OB, the movement control unit 203 is based on the movement route of the movement route information RT. When the distance DT indicates that the drone D and the object OB are separated from each other by a predetermined distance, the drone D is moved based on the movement path of the movement route information RT.
In other words, in the control device 10 of the present embodiment, the distance measuring unit 102 detects whether or not there is an object OB on or around the movement path on which the drone D moves, and the movement control unit 203 determines whether or not there is an object OB. Based on the measurement result of the distance measuring unit 102, the movement route of the movement route information RT is changed to move the drone D.
According to the control device 10 of the present embodiment, when the object OB exists on the movement path or around the movement path, the movement of the drone D can be controlled so that the drone D does not collide with the object OB.

また、本実施形態の制御装置１０は、撮像部１０１が実空間のうち、三次元空間情報ＳＰに対応付けられた位置において画像ＩＭを撮像する。
本実施形態の制御装置１０によれば、予め定められた位置において実空間を撮像させ、撮像された画像ＩＭを監視者等が確認することができる。予め定められた位置が、例えば、物体ＯＢのインジケータランプや表示を確認可能な位置である場合、監視者は、画像ＩＭに基づいて物体ＯＢの状態を詳細に把握することができる。 Further, in the control device 10 of the present embodiment, the image pickup unit 101 images the image IM at a position in the real space associated with the three-dimensional space information SP.
According to the control device 10 of the present embodiment, the real space is imaged at a predetermined position, and the image IM imaged can be confirmed by the observer or the like. When the predetermined position is, for example, a position where the indicator lamp or display of the object OB can be confirmed, the observer can grasp the state of the object OB in detail based on the image IM.

なお、制御装置１０は、実空間の特徴点を検出するための画像を生成する撮像部（以下、実空間撮像部）と、実空間を撮像し画像ＩＭを生成する撮像部（以下、特徴点撮像部）とを備える構成であってもよい。実空間撮像部は、例えば、特徴点撮像部よりも高解像度の画像（画像ＩＭ）を生成することができる撮像部である。したがって、制御装置１０によれば、監視者は、高解像度の画像ＩＭに基づいて、より詳細に物体ＯＢの状態を把握することができる。
また、監視者は、実空間の特徴点を検出するための画像を生成しつつ、所望の方向や所望の位置から物体ＯＢを撮像したい場合がある。ここで、実空間撮像部と、特徴点撮像部とが別体である場合、制御装置１０は、実空間撮像部の方向や画角を制御することにより、所望の方向や所望の位置から物体ＯＢを撮像しつつ、かつ特徴点を検出するための画像を生成することができる。この場合、実空間撮像部は、三次元空間情報ＳＰの座標によって示された位置、及び方向であって、物体ＯＢを撮像する所定の位置、及び所定の方向において実空間を撮像し、画像ＩＭを生成する構成であってもよい。 The control device 10 includes an imaging unit (hereinafter, real space imaging unit) that generates an image for detecting feature points in real space, and an imaging unit (hereinafter, feature points) that images real space and generates an image IM. It may be configured to include an imaging unit). The real space imaging unit is, for example, an imaging unit capable of generating an image (image IM) having a higher resolution than the feature point imaging unit. Therefore, according to the control device 10, the observer can grasp the state of the object OB in more detail based on the high-resolution image IM.
In addition, the observer may want to image the object OB from a desired direction or a desired position while generating an image for detecting a feature point in the real space. Here, when the real space imaging unit and the feature point imaging unit are separate bodies, the control device 10 controls the direction and angle of view of the real space imaging unit to create an object from a desired direction or a desired position. It is possible to generate an image for detecting a feature point while imaging the OB. In this case, the real space imaging unit captures the real space at a predetermined position and direction for imaging the object OB at the position and direction indicated by the coordinates of the three-dimensional space information SP, and images IM. May be configured to generate.

［第２実施形態］
以下、図を参照して本発明の第２実施形態について説明する。
第１実施形態では、ドローンＤの移動を制御する構成について説明した。
第２実施形態では、ドローンＤを移動に関する指示に基づいて、ドローンＤの移動を制御する場合について説明する。
なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。 [Second Embodiment]
Hereinafter, the second embodiment of the present invention will be described with reference to the drawings.
In the first embodiment, the configuration for controlling the movement of the drone D has been described.
In the second embodiment, a case where the movement of the drone D is controlled based on the instruction regarding the movement of the drone D will be described.
The same components as those in the above-described embodiment are designated by the same reference numerals and the description thereof will be omitted.

図７は、第２実施形態に係る制御装置１１の一例を示す図である。
図７に示す通り、本実施形態の制御装置１１は、測定装置１１０と、制御部１２１とを備える。制御部１２１は、ＣＰＵを備えており、移動軌跡取得部２０１と、送信部２０２と、移動制御部２０３と、三次元空間情報取得部２０４と、情報更新部２０５と、受信部２０６とをその機能部として備える。
受信部２０６は、サーバ装置から指示情報ＤＣを受信する。指示情報ＤＣとは、ドローンＤの移動開始時刻を指示する情報である。受信部２０６は、受信した指示情報ＤＣを移動制御部２０３に供給する。
移動制御部２０３は、指示情報ＤＣに基づいて、ドローンＤの移動を制御する。具体的には、移動制御部２０３は、指示情報ＤＣが示す時刻にドローンＤの移動を開始させる。
以降の構成については、上述した実施形態と同様であるため、説明を省略する。 FIG. 7 is a diagram showing an example of the control device 11 according to the second embodiment.
As shown in FIG. 7, the control device 11 of the present embodiment includes a measuring device 110 and a control unit 121. The control unit 121 includes a CPU, and includes a movement locus acquisition unit 201, a transmission unit 202, a movement control unit 203, a three-dimensional spatial information acquisition unit 204, an information update unit 205, and a reception unit 206. Provided as a functional unit.
The receiving unit 206 receives the instruction information DC from the server device. The instruction information DC is information that indicates the movement start time of the drone D. The receiving unit 206 supplies the received instruction information DC to the mobile control unit 203.
The movement control unit 203 controls the movement of the drone D based on the instruction information DC. Specifically, the movement control unit 203 starts the movement of the drone D at the time indicated by the instruction information DC.
Since the following configurations are the same as those in the above-described embodiment, the description thereof will be omitted.

なお、移動制御部２０３は、指示情報ＤＣに基づいて、ドローンＤの移動を開始させる構成に変えて、指示情報ＤＣが示す時刻に予め定められた位置に移動するようにドローンＤを制御する構成であってもよい。予め定められた位置とは、例えば、撮像部１０１が物体ＯＢを撮像することが予め定められた位置であって、三次元空間情報ＳＰに対応付けられた位置である。 The movement control unit 203 controls the drone D so as to move to a predetermined position at the time indicated by the instruction information DC, instead of the configuration in which the movement of the drone D is started based on the instruction information DC. It may be. The predetermined position is, for example, a position in which the imaging unit 101 images the object OB in advance, and is a position associated with the three-dimensional spatial information SP.

＜第２実施形態のまとめ＞
以上説明したように、本実施形態の制御装置１１は、受信部２０６がサーバ装置から受信した指示情報ＤＣに基づいて、移動体（本実施形態の一例では、ドローンＤ）の移動を制御する。
ここで、監視者は、所望の時刻における実空間の状態、及び物体ＯＢの状態を把握したい場合がある。具体的には、監視者は、日中と、夜間とにおいて、実空間の状態、及び物体ＯＢの状態を把握したい場合がある。また、監視者は、１か月毎に実空間の三次元空間情報ＳＰを更新したいと考える場合がある。
本実施形態の制御装置１１によれば、指示情報ＤＣが示す時刻においてドローンＤを移動し、実空間の状態、及び物体ＯＢの状態を取得することができる。 <Summary of the second embodiment>
As described above, the control device 11 of the present embodiment controls the movement of the moving body (drone D in the example of the present embodiment) based on the instruction information DC received from the server device by the receiving unit 206.
Here, the observer may want to grasp the state of the real space and the state of the object OB at a desired time. Specifically, the observer may want to grasp the state of the real space and the state of the object OB during the daytime and at nighttime. In addition, the observer may want to update the three-dimensional space information SP in the real space every month.
According to the control device 11 of the present embodiment, the drone D can be moved at the time indicated by the instruction information DC, and the state of the real space and the state of the object OB can be acquired.

なお、上述では、移動体がドローンＤである場合について説明したが、これに限られない。例えば、移動体は、運転者の操縦を必要としない自動運転車であってもよい。また、移動体には、搭乗者が搭乗していてもよい。この場合、制御装置１０は、搭乗者に代わって、移動体の移動を制御してもよく、搭乗者が移動体の移動を制御する支援を行ってもよい。 In the above description, the case where the moving body is the drone D has been described, but the present invention is not limited to this. For example, the moving body may be an autonomous vehicle that does not require driver control. In addition, a passenger may be on board the moving body. In this case, the control device 10 may control the movement of the moving body on behalf of the passenger, or may assist the passenger in controlling the movement of the moving body.

なお、記憶部５００には、予め三次元空間情報ＳＰが記憶される場合について説明したが、これに限られない。制御装置１０は、例えば、三次元空間情報ＳＰが存在しない実空間を移動体の操縦者の操縦に基づいて、当該移動体を移動させ、三次元空間情報ＳＰを生成する構成を有していていもよい。 Although the case where the three-dimensional spatial information SP is stored in the storage unit 500 in advance has been described, the present invention is not limited to this. The control device 10 has, for example, a configuration in which the moving body is moved in a real space where the three-dimensional space information SP does not exist based on the control of the operator of the moving body to generate the three-dimensional space information SP. May be good.

また、送信部２０２は、画像ＩＭ、又は画像ＩＭに基づいて実空間の特徴点が検出された画像（以下、特徴点画像）をサーバ装置に送信する構成であってもよい。この場合、サーバ装置から、画像ＩＭの送信、又は特徴点画像の送信を指示し、送信部２０２は、当該指示に基づいて、画像ＩＭ、又は特徴点画像を送信する構成であってもよい。
また、送信部２０２は、移動経路情報ＲＴから移動経路が変更された場合、当該変更が行われたタイミングで、当該変更を通知する情報をサーバ装置に送信する構成であってもよい。これにより、監視者は、移動経路情報ＲＴの移動経路が変更されたことを把握することができる。
また、移動制御部２０３は、移動経路が変更された場合、当該変更された位置（上述した一例の場合、位置Ｐ２）においてドローンＤを旋回させる構成であってもよい。この場合、撮像部１０１は、ドローンＤが旋回することに伴って、実空間を撮像し、画像ＩＭを生成する。また、送信部２０２は、撮像部１０１が生成した画像ＩＭであって、移動経路が変更された位置における画像ＩＭをサーバ装置に送信する。これにより、監視者は、移動経路が変更された位置の周囲の状態を確認することができる。 Further, the transmission unit 202 may be configured to transmit an image IM or an image in which a feature point in the real space is detected based on the image IM (hereinafter, a feature point image) to the server device. In this case, the server device may instruct the transmission of the image IM or the feature point image, and the transmission unit 202 may transmit the image IM or the feature point image based on the instruction.
Further, the transmission unit 202 may be configured to transmit information for notifying the change to the server device at the timing when the movement route is changed from the movement route information RT. As a result, the observer can grasp that the movement route of the movement route information RT has been changed.
Further, the movement control unit 203 may be configured to turn the drone D at the changed position (position P2 in the case of the above-mentioned example) when the movement route is changed. In this case, the imaging unit 101 images the real space as the drone D rotates, and generates an image IM. Further, the transmission unit 202 transmits the image IM generated by the image pickup unit 101 to the server device at the position where the movement route is changed. This allows the observer to check the state around the position where the movement route has been changed.

なお、上記の各実施形態における制御装置１０、及び制御装置１１が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。 The control device 10 and each part included in the control device 11 in each of the above embodiments may be realized by dedicated hardware, or may be realized by a memory and a microprocessor. Good.

なお、制御装置１０、及び制御装置１１が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、制御装置１０、及び制御装置１１が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。 The control device 10 and each part included in the control device 11 are composed of a memory and a CPU (central processing unit), and a program for realizing the functions of the control device 10 and each part included in the control device 11 is loaded into the memory. The function may be realized by executing the function.

また、制御装置１０、及び制御装置１１が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 Further, a program for realizing the functions of the control device 10 and each part included in the control device 11 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read by the computer system and executed. The process may be performed accordingly. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。 In addition, the "computer system" includes a homepage providing environment (or display environment) if a WWW system is used.
Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, a "computer-readable recording medium" is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. In that case, it also includes the one that holds the program for a certain period of time, such as the volatile memory inside the computer system that becomes the server or client. Further, the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment and may be appropriately modified without departing from the spirit of the present invention. it can. The configurations described in each of the above-described embodiments may be combined.

１０、１１…制御装置、１１０…測定装置、１２０、１２１…制御部、１０１…撮像部、１０２…測距部、１０３…特徴点検出部、１０４…相対位置検出部、１０５…位置特定部、２０１…移動軌跡取得部、２０２…送信部、２０３…移動制御部、２０４…三次元空間情報取得部、２０５…情報更新部、２０６…受信部、５００…記憶部、ＡＳＰ…周辺三次元空間情報、Ｄ…ドローン、ＤＴ…距離、ＩＭ…画像、ＳＰ…三次元空間情報、ＲＴ、ＲＴ２３…移動経路情報、ＴＪ、ＴＪ２３…移動軌跡、ＤＣ…指示情報、ＯＢ、ＯＢ１、ＯＢ２、ＯＢ３…物体、ＣＰ…現在位置 10, 11 ... Control device, 110 ... Measuring device, 120, 121 ... Control unit, 101 ... Imaging unit, 102 ... Distance measuring unit, 103 ... Feature point detection unit, 104 ... Relative position detection unit, 105 ... Position identification unit, 201 ... movement locus acquisition unit, 202 ... transmission unit, 203 ... movement control unit, 204 ... three-dimensional space information acquisition unit, 205 ... information update unit, 206 ... reception unit, 500 ... storage unit, ASP ... peripheral three-dimensional space information , D ... Drone, DT ... Distance, IM ... Image, SP ... Three-dimensional space information, RT, RT23 ... Movement route information, TJ, TJ23 ... Movement trajectory, DC ... Instruction information, OB, OB1, OB2, OB3 ... Object, CP ... Current position

Claims

建物内部の実空間の三次元空間情報を記憶する記憶部と、
前記実空間を撮像する撮像部と、
物体までの距離を測定する測距部と、
前記三次元空間情報と、前記三次元空間情報に対応付けられた移動経路と、前記測距部が測定する前記実空間内の物体との前記距離とに基づいて移動を制御する移動制御部と、
前記移動制御部の制御による移動中に、前記撮像部が撮像した前記実空間の三次元空間情報を取得する三次元空間情報取得部と、
前記三次元空間情報取得部が取得する前記三次元空間情報に基づいて、前記記憶部に記憶されている前記三次元空間情報を更新する情報更新部と、
前記移動制御部が、前記移動経路とは異なる経路に変更する場合に、経路の変更が行われるタイミングで当該変更をサーバ装置に通知する送信部と、
を備える移動体の制御装置。 A storage unit that stores three-dimensional spatial information of the real space inside the building,
An imaging unit that images the real space,
A distance measuring unit that measures the distance to an object,
A movement control unit that controls movement based on the three-dimensional space information, a movement path associated with the three-dimensional space information, and the distance between the distance measuring unit and the object in the real space. ,
A three-dimensional space information acquisition unit that acquires three-dimensional space information in the real space imaged by the imaging unit while moving under the control of the movement control unit.
An information update unit that updates the three-dimensional space information stored in the storage unit based on the three-dimensional space information acquired by the three-dimensional space information acquisition unit.
When the movement control unit changes to a route different from the movement route, a transmission unit that notifies the server device of the change at the timing when the route change is performed, and a transmission unit.
A moving body control device comprising.

前記送信部は、 The transmitter
経路の変更が行われる場合に、前記撮像部による前記実空間の撮像結果をサーバ装置に送信する When the route is changed, the imaging result of the real space by the imaging unit is transmitted to the server device.
請求項１に記載の制御装置。 The control device according to claim 1.

前記移動制御部は、
経路の変更が行われる場合に、当該変更される位置において移動体を旋回させる
請求項１または請求項２に記載の制御装置。 The movement control unit
When the route is changed, the moving body is swiveled at the changed position.
The control device according to claim 1 or 2.

前記測距部は、
前記移動経路上、又は前記移動経路の周辺に物体があるか否かを検知し、
前記移動制御部は、
前記測距部の測定結果に基づいて、前記三次元空間情報に対応付けられた前記移動経路を変更して移動させる、
請求項１から請求項３のいずれか一項に記載の制御装置。 The ranging unit
Detecting whether or not there is an object on or around the movement path,
The movement control unit
Based on the measurement result of the distance measuring unit, the movement path associated with the three-dimensional spatial information is changed and moved.
The control device according to any one of claims 1 to 3.

建物内部の実空間の三次元空間情報を記憶する記憶部を備えるコンピュータに、
前記実空間を撮像する撮像ステップと、
物体までの距離を測定する測距ステップと、
前記三次元空間情報と、前記三次元空間情報に対応付けられた移動経路と、前記測距ステップが測定する前記実空間内の物体との前記距離とに基づいて移動を制御する移動制御ステップと、
前記移動制御ステップの制御による移動中に、前記撮像ステップが撮像した前記実空間
の三次元空間情報を取得する三次元空間情報取得ステップと、
前記三次元空間情報取得ステップが取得する前記三次元空間情報に基づいて、前記記憶部に記憶されている前記三次元空間情報を更新する情報更新ステップと、
前記移動制御ステップにおいて、前記移動経路とは異なる経路に変更する場合に、経路の変更が行われるタイミングで当該変更をサーバ装置に通知する送信ステップと、
を実行させるためのプログラム。 A computer equipped with a storage unit that stores three-dimensional spatial information of the real space inside the building
An imaging step for imaging the real space and
A distance measurement step that measures the distance to an object,
A movement control step that controls movement based on the three-dimensional space information, a movement path associated with the three-dimensional space information, and the distance between the object in the real space measured by the distance measuring step. ,
A three-dimensional space information acquisition step for acquiring the three-dimensional space information of the real space imaged by the imaging step during movement under the control of the movement control step,
An information update step for updating the three-dimensional space information stored in the storage unit based on the three-dimensional space information acquired by the three-dimensional space information acquisition step.
In the movement control step, when changing to a route different from the movement route, a transmission step of notifying the server device of the change at the timing when the route change is performed, and a transmission step.
A program to execute.

実空間を撮像する撮像手順と、
物体までの距離を測定する測距手順と、
建物内部の実空間の三次元空間情報と、前記三次元空間情報に対応付けられた移動経路
と、前記測距手順が測定する前記実空間内の物体との前記距離とに基づいて移動体の移動
を制御する移動制御手順と、
前記移動制御手順において制御される移動体の移動中に、前記撮像手順が撮像した前記
実空間の三次元空間情報を取得する三次元空間情報取得手順と、
前記三次元空間情報取得手順において取得される前記三次元空間情報に基づいて、前記
三次元空間情報を更新する情報更新手順と、
前記移動制御手順において、前記移動経路とは異なる経路に変更する場合に、経路の変更が行われるタイミングで当該変更をサーバ装置に通知する送信手順と、
を備える制御方法。 Imaging procedure for imaging real space and
Distance measurement procedure to measure the distance to an object,
The moving body is based on the three-dimensional space information of the real space inside the building, the movement path associated with the three-dimensional space information, and the distance between the object in the real space measured by the distance measuring procedure. Movement control procedure to control movement and
A three-dimensional space information acquisition procedure for acquiring the three-dimensional space information of the real space captured by the imaging procedure while the moving body is moving controlled in the movement control procedure.
An information update procedure for updating the three-dimensional space information based on the three-dimensional space information acquired in the three-dimensional space information acquisition procedure, and an information update procedure.
In the movement control procedure, when changing to a route different from the movement route, a transmission procedure for notifying the server device of the change at the timing when the route is changed, and a transmission procedure.
Control method including.