JP2019212204A

JP2019212204A - Position estimation system

Info

Publication number: JP2019212204A
Application number: JP2018110164A
Authority: JP
Inventors: 健志鎌原; Kenji Kamahara; 孝壽西沢; Takatoshi Nishizawa
Original assignee: Tokyo Electric Power Co Holdings Inc
Current assignee: Tokyo Electric Power Co Holdings Inc
Priority date: 2018-06-08
Filing date: 2018-06-08
Publication date: 2019-12-12

Abstract

To provide a position estimation system capable of favorably estimating a position of a flying object in a facility without previously arranging, for example, a wireless transmitter or a marker.SOLUTION: Configuration of a position estimation system 100 according to the present invention includes: a flying object 110 which flies in a facility; a camera 112 which is loaded in the flying object; a calculator 120 which processes a photographed image photographed by the camera 112; and an image database 130 which stores a reference image as an image in the facility previously photographed by the camera 112 and a photographing position in association with each other, and the calculator 120 compares the photographed image photographed while the flying object 110 patrols in the facility with the reference image stored in the image database 130 to thereby estimate a photographing position associated with the matched reference image as a flight position of the flying object 110.SELECTED DRAWING: Figure 1

Description

本発明は、施設内を飛行する飛行体の飛行位置を推定する位置推定システムに関する。 The present invention relates to a position estimation system that estimates a flight position of an aircraft flying in a facility.

近年、広範囲のエリアの調査に飛行体いわゆるドローンが積極的に活用されている。調査エリアが屋外である場合、飛行体の位置はＧＰＳによって特定することが可能である。これに対し、調査エリアが屋内である場合、飛行体はＧＰＳ信号を受信することができない。このため、屋内を調査する際には飛行体の位置を特定することが困難である。 In recent years, so-called drones have been actively used to investigate a wide area. When the survey area is outdoors, the position of the flying object can be specified by GPS. On the other hand, when the survey area is indoors, the flying object cannot receive GPS signals. For this reason, it is difficult to specify the position of the flying object when surveying indoors.

屋内を調査する際の飛行体の位置を特定する方法としては、例えば、ＵＷＢ（Ultra Wide Band）と呼ばれる無線を使用して自己位置測定方法が知られている。また他の方法としては、例えば特許文献１では、マーカを用いた高速移動物体の速度・位置の推定方法が開示されている。特許文献１の推定方法では、屋内の床面にマーカが設けられていて、このマーカを読み取ることにより位置を推定している。 As a method for specifying the position of the flying object when investigating indoors, for example, a self-position measuring method using radio called UWB (Ultra Wide Band) is known. As another method, for example, Patent Document 1 discloses a method for estimating the speed and position of a high-speed moving object using a marker. In the estimation method of Patent Document 1, a marker is provided on an indoor floor surface, and the position is estimated by reading this marker.

特開２００８−５８２２１号公報JP 2008-58221 A

しかしながら、ＵＷＢ方式では、調査対象の屋内に無線発信機を事前に多数設置しておく必要がある。また特許文献１の方法では、屋内の床面にマーカを事前に配置しておく必要がある。このため、これらの方法であると、立入禁止の建設物等、無線発信機を設置したりマーカを配置したりすることが困難な建造物の屋内を調査する際には適用することができないという課題があった。 However, in the UWB system, it is necessary to install a large number of wireless transmitters in advance in the indoor area to be investigated. Moreover, in the method of patent document 1, it is necessary to arrange | position a marker in advance on an indoor floor surface. For this reason, these methods cannot be applied when investigating indoors of buildings where it is difficult to install radio transmitters or place markers, such as buildings that are prohibited from entering. There was a problem.

本発明は、このような課題に鑑み、無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能な位置推定システムを提供することを目的としている。 In view of such problems, the present invention has an object to provide a position estimation system capable of suitably estimating the position of a flying object in a facility without arranging a radio transmitter, a marker, or the like in advance. Yes.

上記課題を解決するために、本発明にかかる位置推定システムの代表的な構成は、施設内を飛行する飛行体と、飛行体に搭載されるカメラと、カメラによって撮影された撮影画像を処理する演算装置と、カメラによって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する画像データベースと、を含み、演算装置は、飛行体が施設を巡回中に撮影した撮影画像を画像データベースに格納された基準画像と照合することにより、マッチングされた基準画像に関連付けられた撮影位置を飛行体の飛行位置と推定することを特徴とする。 In order to solve the above problems, a representative configuration of a position estimation system according to the present invention processes a flying object flying in a facility, a camera mounted on the flying object, and a photographed image photographed by the camera. A computing device and an image database that stores a reference image that is an image in the facility that has been captured in advance by the camera and an imaging position, and the computing device is a captured image that is captured by the flying object while traveling around the facility. Is compared with the reference image stored in the image database, and the imaging position associated with the matched reference image is estimated as the flight position of the flying object.

上記構成によれば、施設を巡回中に飛行体に搭載されたカメラによって撮影された撮影画像と、画像データベースに格納された基準画像とを照合することにより、飛行体の飛行位置を推定することができる。したがって、無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能となる。 According to the above configuration, the flight position of the flying object is estimated by collating the captured image taken by the camera mounted on the flying object while traveling around the facility with the reference image stored in the image database. Can do. Therefore, the position of the flying object in the facility can be suitably estimated without arranging a radio transmitter, a marker, or the like in advance.

上記演算装置は、基準画像から撮影位置を算出し、施設の機器配置の３Ｄモデルと基準画像とを照合して撮影位置を補正し、基準画像と補正した撮影位置を関連付けて画像データベースに格納するとよい。かかる構成によれば、施設の機器配置の３Ｄモデルと照合して基準画像の撮影位置を補正することにより、基準画像の撮影位置の精度を高めることができる。したがって、飛行体の飛行位置をより高精度に推定することが可能となる。 The arithmetic unit calculates a shooting position from the reference image, compares the 3D model of the facility arrangement of the facility with the reference image to correct the shooting position, and associates the reference image with the corrected shooting position and stores the image in the image database. Good. According to this configuration, the accuracy of the shooting position of the reference image can be improved by correcting the shooting position of the reference image by collating with the 3D model of the equipment arrangement of the facility. Therefore, the flight position of the flying object can be estimated with higher accuracy.

上記飛行体は、線量計または温度計が更に搭載されるとよい。これにより、飛行体によって巡回した領域の放射線量や温度のデータを得ることができ、有益性を高めることが可能となる。ただし、線量計または温度計に限定するものではなく、飛行体には、それら以外の他のセンサを搭載することも可能である。 The flying object may be further equipped with a dosimeter or a thermometer. Thereby, the radiation dose and temperature data of the area circulated by the flying object can be obtained, and the usefulness can be enhanced. However, the present invention is not limited to a dosimeter or a thermometer, and other sensors can be mounted on the flying object.

上記飛行体を追尾しながら施設内を飛行する第２の飛行体を更に含むとよい。これにより、第２の飛行体によって前方の飛行体の周囲を撮影することができる。したがって、前方の飛行体の周囲の障害物を好適に把握することができ、運用の安定性を高めることが可能となる。 It is preferable to further include a second flying object that flies within the facility while tracking the flying object. Thereby, the surroundings of the front flying body can be imaged by the second flying body. Therefore, it is possible to appropriately grasp obstacles around the flying object ahead, and it is possible to improve operational stability.

本発明によれば、無線発信機やマーカ等を事前に配置することなく施設内における飛行体の位置を好適に推定することが可能な位置推定システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the position estimation system which can estimate the position of the flying body in a facility suitably can be provided, without arrange | positioning a radio transmitter, a marker, etc. in advance.

本実施形態にかかる位置推定システムを説明する図である。It is a figure explaining the position estimation system concerning this embodiment. 画像データベースの作成方法を説明する図である。It is a figure explaining the creation method of an image database. 画像データベースの作成方法を説明する図である。It is a figure explaining the creation method of an image database. 画像データベースに格納された基準画像の撮影位置の補正について説明する図である。It is a figure explaining correction | amendment of the imaging position of the reference | standard image stored in the image database. 本実施形態の位置推定システムの他の運用方法を説明する図である。It is a figure explaining the other operating method of the position estimation system of this embodiment.

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The dimensions, materials, and other specific numerical values shown in the embodiments are merely examples for facilitating understanding of the invention, and do not limit the present invention unless otherwise specified. In the present specification and drawings, elements having substantially the same function and configuration are denoted by the same reference numerals, and redundant description is omitted, and elements not directly related to the present invention are not illustrated. To do.

図１は、本実施形態にかかる位置推定システム１００を説明する図である。図１に示すように、本実施形態の位置推定システム１００は、飛行体１１０、カメラ１１２および演算装置１２０を含んで構成される。飛行体１１０は、施設内を飛行しながら移動する移動体であり、かかる飛行体１１０にカメラ１１２が搭載される。 FIG. 1 is a diagram for explaining a position estimation system 100 according to the present embodiment. As shown in FIG. 1, the position estimation system 100 according to the present embodiment includes an aircraft 110, a camera 112, and a calculation device 120. The flying object 110 is a moving object that moves while flying in a facility, and a camera 112 is mounted on the flying object 110.

演算装置１２０は、演算部１２２および画像データベース１３０を含んで構成される。演算部１２２は、カメラ１１２によって撮影された撮影画像を処理する。画像データベース１３０は、カメラ１１２によって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する。 The computing device 120 is configured to include a computing unit 122 and an image database 130. The calculation unit 122 processes a captured image captured by the camera 112. The image database 130 stores a reference image, which is an image in a facility previously captured by the camera 112, and an imaging position in association with each other.

図２および３は、画像データベース１３０の作成方法を説明する図である。図２（ａ）は、飛行中の飛行体１１０を上方から観察した模式図であり、図２（ｂ）、図２（ｃ）および図２（ｄ）は、飛行中の飛行体１１０のカメラ１１２によって撮影された画像を例示する図である。画像データベース１３０を作成する際には、図２（ａ）に示すように、まず飛行体１１０に施設内を飛行させ、カメラ１１２によって施設内の画像を事前に撮影する。このとき、飛行体１１０の飛行ルートとして、図２（ａ）に示すように、右側の機器１０２ａと左側の機器１０２ｂとの間の中央を前方に飛行する場合を例に説明する。 2 and 3 are diagrams for explaining a method of creating the image database 130. FIG. 2A is a schematic view of the flying object 110 in flight as viewed from above. FIGS. 2B, 2C, and 2D are cameras of the flying object 110 in flight. 3 is a diagram illustrating an image photographed by 112. FIG. When creating the image database 130, as shown in FIG. 2A, first, the flying object 110 is caused to fly inside the facility, and an image inside the facility is captured in advance by the camera 112. At this time, as a flight route of the flying object 110, as shown in FIG. 2A, a case where the center between the right device 102a and the left device 102b flies forward will be described as an example.

飛行体１１０が位置Ｐ１を飛行しているときに撮影された画像は、図２（ｂ）に示すように機器１０２ａ〜１０２ｅ、すなわちすべての機器が写っている。そして、飛行体１１０が位置Ｐ１から前方に移動し、位置Ｐ２を飛行しているときに撮影された画像は、図２（ｃ）に示すように機器１０２ｃ〜１０２ｅが写っている。その後、飛行体１１０が位置Ｐ２から前方に移動し、位置Ｐ３を飛行しているときに撮影された画像は、図２（ｄ）に示すように機器１０２ｅのみが写っている。 As shown in FIG. 2B, the image taken when the flying object 110 is flying at the position P1 shows the devices 102a to 102e, that is, all the devices. And as for the image image | photographed when the flying body 110 moved ahead from the position P1 and flew the position P2, as shown in FIG.2 (c), the apparatuses 102c-102e are reflected. Thereafter, the image taken when the flying object 110 moves forward from the position P2 and flies over the position P3 includes only the device 102e as shown in FIG. 2 (d).

なお、上記のように施設内の画像を事前に撮影する際には、飛行体１１０を低速で飛行させ、且つ撮影の時間間隔を短くすることが好ましい。これにより、より多くの位置における画像が得られる。また事前の撮影時の飛行体１１０の飛行高さは、巡回時の飛行予定高度と同一の一定高度に保ち、かつ、実際の高度データを記録しておくことが好ましい。飛行体１１０の飛行高さは、飛行体１１０に気圧計や下向きの超音波距離計を搭載することにより、それらの値に応じて制御することができる。 In addition, when the image in a facility is image | photographed in advance as mentioned above, it is preferable to make the flying body 110 fly at low speed and to shorten the imaging time interval. As a result, images at more positions are obtained. Further, it is preferable that the flying height of the flying object 110 at the time of the previous photographing is maintained at a constant altitude that is the same as the scheduled flight altitude at the time of patrol and the actual altitude data is recorded. The flying height of the flying object 110 can be controlled in accordance with the values obtained by mounting a barometer or a downward ultrasonic distance meter on the flying object 110.

図３（ａ）は、推測された飛行体１１０の飛行位置を例示する図であり、図３（ｂ）、図３（ｃ）および図３（ｄ）は、それぞれ図２（ｂ）、図２（ｃ）および図２（ｄ）に相当する図である。上述したように事前に施設内の画像を撮影したら、演算部１２２は、その画像を参照して、その画像を撮影したときの飛行体１１０の撮影位置を算出する。飛行体１１０の撮影位置を算出する手法としては、例えばＭｏｎｏｃｕｌａｒＶＯ（Visual Odometry）を用いることができる。 FIG. 3A is a diagram illustrating the estimated flight position of the flying object 110. FIGS. 3B, 3C, and 3D are respectively illustrated in FIGS. It is a figure corresponded to 2 (c) and FIG.2 (d). As described above, when an image of the facility is captured in advance, the calculation unit 122 refers to the image and calculates the imaging position of the flying object 110 when the image is captured. As a method for calculating the shooting position of the flying object 110, for example, Monocular VO (Visual Odometry) can be used.

上記手法を用いることにより、事前に撮影した画像から飛行体１１０が飛行していた撮影位置を算出することができる。詳細には、図３（ｂ）に示す画像を上記手法によって解析することにより、撮影時に飛行体１１０が飛行していた撮影位置はＰ１´であると算出される。図３（ｃ）に示す撮影画像を上記手法によって解析することにより、撮影時に飛行体１１０が飛行していた位置はＰ２´であると算出される。図３（ｄ）に示す画像を上記手法によって解析することにより、撮影時に飛行体１１０が飛行していた撮影位置はＰ３´であると算出される。 By using the above method, the shooting position where the flying object 110 was flying can be calculated from an image shot in advance. Specifically, by analyzing the image shown in FIG. 3B by the above method, the shooting position where the flying object 110 was flying at the time of shooting is calculated to be P1 ′. By analyzing the photographed image shown in FIG. 3C by the above method, the position where the flying object 110 was flying at the time of photographing is calculated to be P2 ′. By analyzing the image shown in FIG. 3D by the above method, the shooting position where the flying object 110 was flying at the time of shooting is calculated as P3 ′.

事前に撮影した複数の画像それぞれを撮影した際の飛行体１１０の撮影位置が算出されたら、演算部１２２は、それらの画像と、各画像に対応して算出された撮影位置（図３の例では、Ｐ１´、Ｐ２´およびＰ３´）とを関連付けて画像データベース１３０に格納する。これにより、各画像により画像データベース１３０が構築される。以下、画像データベース１３０に格納された画像を基準画像と称する。 When the shooting position of the flying object 110 when each of the plurality of images shot in advance is calculated, the calculation unit 122 calculates the images and the shooting positions calculated corresponding to the images (example in FIG. 3). Then, P1 ′, P2 ′ and P3 ′) are stored in the image database 130 in association with each other. Thereby, the image database 130 is constructed by each image. Hereinafter, the image stored in the image database 130 is referred to as a reference image.

ここで、算出されたＰ１´、Ｐ２´およびＰ３´は、現実の撮影位置である、Ｐ１、Ｐ２およびＰ３と位置ずれが生じている可能性がある。そこで、本実施形態の位置推定システム１００では、基準画像から算出した撮影位置を、施設の機器配置の３Ｄモデルと照合して補正する。図４は、画像データベース１３０に格納された基準画像の撮影位置の補正について説明する図である。図４（ａ）は、飛行体１１０が事前画像を撮影した施設の機器配置図であり、例えば機器１０２ｅの寸法Ｗ１が記載されている。演算装置１２０は、図４（ａ）の機器配置図等の設備情報を基に、施設の機器配置の３Ｄモデル（図４（ｂ）参照）を作成する。 Here, the calculated P1 ′, P2 ′, and P3 ′ may be misaligned with P1, P2, and P3 that are actual photographing positions. Therefore, in the position estimation system 100 of the present embodiment, the photographing position calculated from the reference image is corrected by collating with the 3D model of the facility device arrangement. FIG. 4 is a diagram for explaining the correction of the photographing position of the reference image stored in the image database 130. FIG. 4A is an equipment layout diagram of a facility where the flying object 110 has captured a pre-image, and for example, a dimension W1 of the equipment 102e is described. The computing device 120 creates a 3D model (see FIG. 4B) of the equipment arrangement of the facility based on the facility information such as the equipment arrangement diagram of FIG.

本実施形態の位置推定システム１００の特徴として、演算装置１２０の演算部１２２は、施設の機器配置の３Ｄモデル（図４（ｂ）参照）を用いて、画像データベースに格納されている各基準画像に対応して算出された撮影位置（図３の例では、Ｐ１´、Ｐ２´およびＰ３´）を補正する。 As a feature of the position estimation system 100 of the present embodiment, the calculation unit 122 of the calculation device 120 uses each 3D model (see FIG. 4B) of the equipment arrangement of the facility to store each reference image stored in the image database. The photographing positions (P1 ′, P2 ′ and P3 ′ in the example of FIG. 3) calculated corresponding to are corrected.

詳細には、演算部１２２は、図４（ｂ）に示すように、３Ｄモデル空間において算出された撮影位置（例えばＰ２´）から見えるはずの画像を生成する。そして図４（ｂ）に示す３Ｄモデルと、図４（ｃ）に示す基準画像（２Ｄ）とを照合する。演算部１２２の内部で行われる照合のイメージは、図４（ｄ）に示すとおりである。そして、演算部１２２は、図４（ｂ）の３Ｄモデルの特徴点（白丸で図示）が図４（ｃ）の基準画像の特徴点（黒丸で図示）に近接するように、撮影位置Ｐ２´の視点を修正する。これにより、図４（ｅ）に示すように、飛行体１１０の撮影位置が破線に示す位置（算出された撮影位置、図３のＰ１´、Ｐ２´およびＰ３´）から実線に示す位置（現実の撮影位置、図２のＰ１、Ｐ２およびＰ３）に補正される。 Specifically, as illustrated in FIG. 4B, the calculation unit 122 generates an image that should be visible from the shooting position (for example, P2 ′) calculated in the 3D model space. Then, the 3D model shown in FIG. 4B is collated with the reference image (2D) shown in FIG. An image of collation performed inside the calculation unit 122 is as shown in FIG. The calculation unit 122 then captures the shooting position P2 ′ so that the feature points (illustrated by white circles) of the 3D model in FIG. 4B are close to the feature points (illustrated by black circles) in the reference image in FIG. Correct the viewpoint. As a result, as shown in FIG. 4 (e), the shooting position of the flying object 110 is the position shown by the solid line from the position shown by the broken line (the calculated shooting position, P1 ′, P2 ′ and P3 ′ in FIG. 3) Are corrected to P1, P2, and P3) in FIG.

飛行体１１０の撮影位置を補正したら、演算部１２２は、基準画像と、補正した撮影位置を関連付けて記画像データベース１３０に格納する。上記説明したように、施設の機器配置を基に作成した３Ｄモデルによって基準画像の撮影位置を補正することにより、基準画像の撮影位置の精度を高めることができる。したがって、後述するように飛行体１１０が施設を巡回した際の飛行位置を高い精度で推定することが可能となる。 After correcting the shooting position of the flying object 110, the calculation unit 122 stores the reference image and the corrected shooting position in the recorded image database 130 in association with each other. As described above, the accuracy of the shooting position of the reference image can be improved by correcting the shooting position of the reference image using the 3D model created based on the equipment arrangement of the facility. Therefore, as will be described later, it is possible to estimate the flight position when the flying object 110 travels around the facility with high accuracy.

なお、機器配置図を利用すれば、機器の幅Ｗ１（図４（ａ）参照）の正確な値が得られる。したがって、図４（ｂ）の機器の幅Ｗ１と、図４（ｃ）の基準画像の機器の幅Ｗ２との比を算出することにより、飛行体１１０の移動量を算出することができ、基準画像の撮影位置をより好適に補正することが可能となる。 If the device layout diagram is used, an accurate value of the device width W1 (see FIG. 4A) can be obtained. Therefore, by calculating the ratio between the device width W1 of FIG. 4B and the device width W2 of the reference image of FIG. 4C, the amount of movement of the flying object 110 can be calculated. It is possible to more suitably correct the shooting position of the image.

ただし、上記説明したような基準画像の撮影位置の補正処理は、飛行体１１０が事前に撮影したすべての画像に対して行う必要はない。例えば、１０コマおき等、適当な間隔の画像に対して上述した処理を行い、残りの画像については補間によって補正を行うことで、補正処理にかかる負荷を軽減することが可能である。 However, it is not necessary to perform the correction processing of the shooting position of the reference image as described above on all the images shot by the flying object 110 in advance. For example, it is possible to reduce the load on the correction processing by performing the above-described processing on images at appropriate intervals, such as every 10 frames, and correcting the remaining images by interpolation.

上述したようにして、演算部１２２は画像データベース１３０を構築する。演算部１２２は、巡回時には画像データベース１３０を用いて飛行体１１０の飛行位置の推定を行う。詳細には、まず演算装置１２０の演算部１２２は、飛行体１１０が施設を巡回中に撮影した撮影画像を所定間隔ごとに取得し、取得した撮影画像と、画像データベース１３０に格納された基準画像と照合する。そして、演算部１２２は、照合処理によってマッチングされた基準画像に関連付けられた撮影位置を飛行体１１０の飛行位置と推定する。 As described above, the calculation unit 122 constructs the image database 130. The arithmetic unit 122 estimates the flight position of the flying object 110 using the image database 130 during the patrol. Specifically, first, the calculation unit 122 of the calculation device 120 acquires captured images captured by the flying object 110 while traveling around the facility at predetermined intervals, the acquired captured images, and the reference image stored in the image database 130. To match. Then, the calculation unit 122 estimates the shooting position associated with the reference image matched by the matching process as the flight position of the flying object 110.

上記説明したように、本実施形態の位置推定システム１００によれば、施設を巡回中に飛行体１１０に搭載されたカメラ１１２によって撮影された撮影画像と、画像データベース１３０に格納された基準画像とを照合することにより、飛行体１１０の飛行位置を推定することができる。したがって、無線発信機やマーカ等を事前に配置することなく施設内における飛行体１１０の位置を好適に推定することが可能となる。 As described above, according to the position estimation system 100 of the present embodiment, the captured image captured by the camera 112 mounted on the flying object 110 while traveling around the facility, and the reference image stored in the image database 130 Can be estimated. Therefore, it is possible to suitably estimate the position of the flying object 110 in the facility without arranging a radio transmitter or a marker in advance.

なお、飛行体１１０による施設の巡回を開始する際には、飛行体１１０の位置を手動で画像データベースに入力することにより、巡回開始点の画像を画像データベース１３０から抽出するとよい。そして、飛行体１１０の巡回中は、１つ前の照合タイミングにおける飛行体１１０の飛行位置から推定できる現在の飛行位置の近傍に相当する画像を画像データベースから優先的に検索することにより、飛行体１１０の現在の飛行位置を効率的に推定することができる。具体的には、照合を毎秒１回行っていて飛行体１１０が前方に毎秒０．１ｍで移動している場合には、１秒前の照合タイミングにおける位置から０．１ｍ前方の位置の近傍の画像を優先的に検索するとよい。 In addition, when starting the patrol of the facility by the flying object 110, the position of the flying object 110 may be manually input to the image database to extract the image of the starting point of the traveling from the image database 130. Then, while the vehicle 110 is patroling, an image corresponding to the vicinity of the current flight position that can be estimated from the flight position of the vehicle 110 at the previous collation timing is preferentially searched from the image database, whereby the aircraft 110 current flight positions can be estimated efficiently. Specifically, when collation is performed once per second and the flying object 110 is moving forward at 0.1 m per second, the position near the position 0.1 m ahead from the position at the collation timing one second ago is detected. Search for images preferentially.

また一時的に高所を確認する必要がある時は、その場でいったん上昇し、確認が済んだら下降して巡視高度に戻る。これにより、画像データベース１３０による飛行体１１０の飛行位置の推定を再開することができる。 When it is necessary to temporarily check the high place, it rises once on the spot, and once it is confirmed, it descends and returns to the inspection altitude. Thereby, the estimation of the flight position of the flying object 110 by the image database 130 can be resumed.

以下、上記説明した位置推定システム１００の他の運用方法について説明する。他の運用方法の１つめとしては、例えば施設を巡回する際に飛行体１１０を指定したコースに沿って自動飛行させる方法がある。このような場合、指定したコースによって通過するポイントを適当選定し、指定箇所とする。そして、その指定箇所において撮影した撮影画像と画像データベース１３０との基準画像を照合し、飛行体１１０の飛行位置を補正する。飛行位置を補正し終わったら、飛行体１１０を次の指定箇所に飛行させる。これにより、飛行体１１０の巡回時の位置推定にかかる演算装置１２０の負荷を軽減することが可能となる。 Hereinafter, another operation method of the position estimation system 100 described above will be described. As another operation method, for example, there is a method of automatically flying the flying object 110 along a designated course when traveling around a facility. In such a case, a point passing through the designated course is appropriately selected and designated as a designated place. And the reference | standard image of the picked-up image image | photographed in the designated location and the image database 130 is collated, and the flight position of the flying body 110 is correct | amended. When the flight position is corrected, the flying object 110 is caused to fly to the next designated location. As a result, it is possible to reduce the load on the computing device 120 related to the position estimation when the flying vehicle 110 travels.

他の運用方法の２つめとしては、飛行体１１０に線量計や温度計など（以下、これらを総じてセンサと称する）を搭載して施設内を巡回させる方法がある。これにより、センサの測定値と飛行体１１０の飛行位置とを関連付けることにより、これにより、飛行体１１０によって巡回した施設内の所定の箇所における放射線量や温度などのデータを得ることができ、有益性を高めることが可能となる。 As a second operation method, there is a method in which a dosimeter, a thermometer, and the like (hereinafter collectively referred to as sensors) are mounted on the flying object 110 and the inside of the facility is circulated. Thereby, by associating the measurement value of the sensor with the flight position of the air vehicle 110, it is possible to obtain data such as radiation dose and temperature at a predetermined location in the facility that has been circulated by the air vehicle 110. It becomes possible to improve the nature.

センサの測定値と飛行体１１０の飛行位置とを関連付ける際には、飛行体１１０の現在箇所におけるセンサの測定値を取得し、その現在箇所における撮影画像を画像データベース１３０の基準画像と照合する。そして、飛行体１１０の飛行位置を推定できたら、センサの測定値と飛行体１１０との位置とを関連付けて格納する。このような処理を巡視対象の施設内の多数の箇所で行うことにより、巡視対象の施設内における放射線量や温度の分布図を作成することが可能となる。また例えばセンサによって測定を行う箇所を予め指定しておき、飛行体１１０がその箇所に到達したらセンサによる測定を行うという構成にすることも可能である。 When associating the measured value of the sensor with the flight position of the flying object 110, the measured value of the sensor at the current position of the flying object 110 is acquired, and the captured image at the current position is collated with the reference image of the image database 130. When the flight position of the flying object 110 can be estimated, the measured value of the sensor and the position of the flying object 110 are stored in association with each other. By performing such processing at a number of locations in the facility to be inspected, it becomes possible to create a radiation amount and temperature distribution map in the facility to be inspected. Further, for example, it is possible to designate a location where measurement is performed by a sensor in advance and perform measurement using the sensor when the flying object 110 reaches the location.

他の運用方法の３つめとしては、飛行体１１０によって施設内にある圧力計などの計器の測定値を取得しに行く方法がある。この場合は、画像データベース１３０を作成するときに計器までの飛行経路の画像を事前に撮影しておき、機器配置図によって計器の位置を確定しておく。そして、巡回する際には、機器までの飛行経路を指定し、飛行体１１０をその飛行経路を飛行させて計器の測定値の画像を取得する。 As another operation method, there is a method of obtaining the measurement value of a gauge such as a pressure gauge in the facility by the flying object 110. In this case, when the image database 130 is created, an image of the flight path to the instrument is taken in advance, and the position of the instrument is determined based on the equipment layout diagram. And when patroling, the flight path to an apparatus is designated, the flight body 110 is made to fly along the flight path, and the image of the measured value of an instrument is acquired.

図５は、本実施形態の位置推定システム１００の他の運用方法を説明する図である。他の運用方法の４つめとしては、飛行体１１０に加え、第２の飛行体１４０を用いる方法がある。図５に示すように、本実施形態の位置推定システム１００は、飛行体１１０を追尾しながら施設内を飛行する第２の飛行体１４０を更に含む構成とすることができる。第２の飛行体１４０には、前方を撮影するカメラ１４２が搭載されている。 FIG. 5 is a diagram for explaining another operation method of the position estimation system 100 of the present embodiment. As a fourth operation method, there is a method using the second flying object 140 in addition to the flying object 110. As shown in FIG. 5, the position estimation system 100 according to the present embodiment may further include a second flying object 140 that flies within the facility while tracking the flying object 110. The second flying object 140 is equipped with a camera 142 for photographing the front.

上記構成によれば、第２の飛行体１４０によって前方の飛行体１１０の周囲を撮影することができる。したがって、前方の飛行体１１０の周囲の障害物を好適に把握することができ、運用の安定性を高めることが可能となる。また例えば第２の飛行体１４０のカメラ１４２によって撮影された撮影画像を画像データベース１３０の基準画像と照合することにより、第２の飛行体１４０の飛行位置を推定することも可能となる。第２の飛行体１４０によって先行する飛行体１１０を追尾する手法としては、第２の飛行体１４０に飛行体１１０の画像を保持させておき、前方を飛行する飛行体１１０を第２の飛行体１４０のカメラ１４２の画像上で認識するとよい。 According to the above configuration, the second flying object 140 can photograph the surroundings of the preceding flying object 110. Therefore, the obstacle around the flying vehicle 110 ahead can be suitably grasped, and the operational stability can be improved. In addition, for example, the flight position of the second flying object 140 can be estimated by comparing the captured image captured by the camera 142 of the second flying object 140 with the reference image of the image database 130. As a method of tracking the preceding flying object 110 by the second flying object 140, the second flying object 140 holds the image of the flying object 110, and the flying object 110 flying in front is used as the second flying object. It may be recognized on the image of 140 cameras 142.

飛行体１１０および第２の飛行体１４０を用いて位置推定システム１００を運用する際には、まず前方を飛行する飛行体１１０は、操縦者の手動操縦、または先に説明した位置推定システム１００による位置推定を利用して自動操縦によって施設内を飛行する。一方、第２飛行体１１０は、前方を飛行する飛行体１１０が自機に搭載されたカメラ１４２によって撮影した撮影画像の中央に一定の大きさで写り続けるように自機の位置を制御しながら飛行する。これにより、第２の飛行体１４０を、前方を飛行する飛行体１１０との距離をほぼ一定に保った状態で飛行させ、飛行体１１０を追尾することが可能となる。 When the position estimating system 100 is operated using the flying object 110 and the second flying object 140, the flying object 110 that flies ahead is manually operated by the operator or the position estimating system 100 described above. Fly through the facility by automatic piloting using position estimation. On the other hand, the second flying object 110 controls the position of its own aircraft so that the flying object 110 flying in the front continues to be captured at a certain size in the center of the captured image taken by the camera 142 mounted on the own aircraft. To fly. As a result, the second flying object 140 can be caused to fly in a state where the distance from the flying object 110 flying in front is kept substantially constant, and the flying object 110 can be tracked.

なお、仮に第２の飛行体１４０が飛行体１１０をカメラ画像内から見失ったとしても、飛行体１１０の飛行位置は、上記説明した位置推定システム１００によって自機の位置を推定することができる。したがって、前方を飛行する飛行体１１０に近づくよう、第２の飛行体１４０が自機の飛行を制御することにより、飛行体１１０の追尾を再開することが可能となる。 Even if the second flying object 140 loses sight of the flying object 110 from the camera image, the flight position of the flying object 110 can be estimated by the position estimation system 100 described above. Therefore, the tracking of the flying object 110 can be resumed by the second flying object 140 controlling its flight so as to approach the flying object 110 flying in front.

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 As mentioned above, although preferred embodiment of this invention was described referring an accompanying drawing, it cannot be overemphasized that this invention is not limited to the example which concerns. It will be apparent to those skilled in the art that various changes and modifications can be made within the scope of the claims, and these are naturally within the technical scope of the present invention. Understood.

本発明は、施設内を飛行する飛行体の飛行位置を推定する位置推定システムとして利用することができる。 The present invention can be used as a position estimation system that estimates the flight position of an aircraft flying in a facility.

１００…位置推定システム、１０２ａ…機器、１０２ｂ…機器、１０２ｃ…機器、１０２ｅ…機器、１１０…飛行体、１１２…カメラ、１２０…演算装置、１２２…演算部、１３０…画像データベース、１４０…第２の飛行体、１４２…カメラ DESCRIPTION OF SYMBOLS 100 ... Position estimation system, 102a ... apparatus, 102b ... apparatus, 102c ... apparatus, 102e ... apparatus, 110 ... flying object, 112 ... camera, 120 ... arithmetic device, 122 ... arithmetic part, 130 ... image database, 140 ... 2nd Aircraft, 142 ... camera

Claims

施設内を飛行する飛行体と、
前記飛行体に搭載されるカメラと、
前記カメラによって撮影された撮影画像を処理する演算装置と、
前記カメラによって事前に撮影された施設内の画像である基準画像と撮影位置を関連付けて格納する画像データベースと、
を含み、
前記演算装置は、前記飛行体が前記施設を巡回中に撮影した撮影画像を前記画像データベースに格納された基準画像と照合することにより、マッチングされた基準画像に関連付けられた撮影位置を前記飛行体の飛行位置と推定することを特徴とする位置推定システム。 An aircraft flying in the facility;
A camera mounted on the aircraft;
An arithmetic device that processes a captured image captured by the camera;
An image database that stores a reference image that is an image in a facility that has been captured in advance by the camera and a shooting position in association with each other;
Including
The arithmetic unit collates a captured image captured by the flying object while traveling around the facility with a reference image stored in the image database, thereby determining a shooting position associated with the matched reference image. A position estimation system characterized by estimating the flight position of the vehicle.

前記演算装置は、
前記基準画像から前記撮影位置を算出し、
前記施設の機器配置の３Ｄモデルと前記基準画像とを照合して前記撮影位置を補正し、
前記基準画像と前記補正した撮影位置を関連付けて前記画像データベースに格納することを特徴とする請求項１に記載の位置推定システム。 The arithmetic unit is:
Calculating the shooting position from the reference image;
The 3D model of the facility arrangement of the facility and the reference image are collated to correct the shooting position,
The position estimation system according to claim 1, wherein the reference image and the corrected shooting position are stored in the image database in association with each other.

前記飛行体は、線量計または温度計が更に搭載されることを特徴とする請求項１または２に記載の位置推定システム。 The position estimation system according to claim 1, wherein the flying object further includes a dosimeter or a thermometer.

前記飛行体を追尾しながら前記施設内を飛行する第２の飛行体を更に含むことを特徴とする請求項１から３のいずれか１項に記載の位置推定システム。 4. The position estimation system according to claim 1, further comprising a second flying object that flies within the facility while tracking the flying object. 5.