JP6681101B2 - Inspection system - Google Patents
Inspection system Download PDFInfo
- Publication number
- JP6681101B2 JP6681101B2 JP2019183342A JP2019183342A JP6681101B2 JP 6681101 B2 JP6681101 B2 JP 6681101B2 JP 2019183342 A JP2019183342 A JP 2019183342A JP 2019183342 A JP2019183342 A JP 2019183342A JP 6681101 B2 JP6681101 B2 JP 6681101B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional model
- flight
- image
- unit
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 84
- 230000002159 abnormal effect Effects 0.000 claims description 54
- 230000005856 abnormality Effects 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 16
- 238000003384 imaging method Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 238000000034 method Methods 0.000 description 16
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical group C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 15
- 230000001133 acceleration Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- XEEYBQQBJWHFJM-UHFFFAOYSA-N iron Substances [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Landscapes
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Description
本発明は、検査システムに関する。 The present invention relates to inspection systems.
近年、ドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ Ａｅｒｉａｌ Ｖｅｈｉｃｌｅ）などの飛行体（以下、「飛行装置」と総称する。）が産業に利用され始めている。特許文献１では、ドローンに搭載したカメラで撮影した画像から３次元画像を作成して表示することが記載されている。 2. Description of the Related Art In recent years, flying bodies such as drones and unmanned aerial vehicles (UAVs: Unmanned Aerial Vehicles) (hereinafter collectively referred to as “flight devices”) have begun to be used in industry. Patent Document 1 describes that a three-dimensional image is created and displayed from an image taken by a camera mounted on a drone.
複数の２次元画像から点群を抽出して３次元モデルを作成することが行われる。しかしながら、２次元画像に撮影されているものが３次元モデルのどこに位置するのかを特定することは難しい。特許文献１においても、劣化位置が３次元画像におけるどの座標に位置するかを特定することは行っていない。 A three-dimensional model is created by extracting a point cloud from a plurality of two-dimensional images. However, it is difficult to specify where in the three-dimensional model the object captured in the two-dimensional image is located. Also in Patent Document 1, it is not specified at which coordinate in the three-dimensional image the deterioration position is located.
本発明はこのような背景を鑑みてなされたものであり、複数の２次元画像から作成される３次元モデルについて、２次元画像に撮影されているものが３次元モデルの座標系におけるどの座標に位置するかを特定することのできる技術を提供することを一つの目的とする。 The present invention has been made in view of such a background, and regarding a three-dimensional model created from a plurality of two-dimensional images, what is photographed in the two-dimensional image corresponds to which coordinate in the coordinate system of the three-dimensional model. One of the aims is to provide a technology capable of identifying whether or not it is located.
上記課題を解決するための本発明の主たる発明は、検査対象物を検査する検査システムであって、カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座標系における位置である異常位置を特定する異常位置特定部と、前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、を備えることとする。 A main invention of the present invention for solving the above-mentioned problems is an inspection system for inspecting an inspection object, wherein a flight device equipped with a camera is based on a plurality of images of the inspection object, and the inspection object is inspected. A three-dimensional model generation unit that generates a three-dimensional model; a photographing information acquisition unit that acquires a photographing position at which the image is photographed in a three-dimensional coordinate system and a viewpoint axis direction of the camera for each of the plurality of images; For each of the plurality of images, an abnormality detection unit that detects an abnormality of the inspection object based on the image, and a position of the detected abnormality in the three-dimensional coordinate system according to the imaging position and the viewpoint axis direction. An abnormal position specifying unit that specifies an abnormal position, and a three-dimensional model display unit that displays the three-dimensional model obtained by mapping the abnormal position. And the.
その他本願が開示する課題やその解決方法については、発明の実施形態の欄および図面により明らかにされる。 Other problems disclosed by the present application and a method for solving the problems will be clarified by the section of the embodiments of the invention and the drawings.
本発明によれば、複数の２次元画像から作成される３次元モデルについて、２次元画像に撮影されているものが３次元モデルの座標系におけるどの座標に位置するかを特定することができる。 According to the present invention, it is possible to specify at which coordinate in the coordinate system of the three-dimensional model the one captured in the two-dimensional image is located in the three-dimensional model created from the plurality of two-dimensional images.
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行装置は、以下のような構成を備える。 The contents of the embodiments of the present invention will be listed and described. The flight device according to the embodiment of the present invention has the following configuration.
［項目１］
検査対象物を検査する検査システムであって、
カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、
検出した前記異常について、前記撮影位置および前記視点軸方向に応じて前記３次元座標系における位置である異常位置を特定する異常位置特定部と、
前記異常位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、
を備えることを特徴とする検査システム。
［項目２］
項目１に記載の検査システムであって、
前記異常位置特定部は、前記撮影位置および前記視点軸方向に基づいて、前記撮影位置から前記異常箇所に向けた直線が前記３次元モデルと交差する座標を前記異常位置として特定すること、
を特徴とする検査システム。
［項目３］
項目１に記載の検査システムであって、
前記異常位置に対応付けて前記画像を記憶する異常位置記憶部と、
前記３次元モデル上の位置の指定を受け付ける入力部と、
指定された前記位置に対応する前記画像を特定する画像特定部と、
を備えることを特徴とする検査システム。
［項目４］
検査対象物を検査する検査システムであって、
カメラを備える飛行装置が前記検査物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、３次元座標系における前記画像を撮影した撮影位置および前記カメラの視点軸方向を取得する撮影情報取得部と、
前記複数の画像のそれぞれについて、前記撮影位置から前記視点軸方向に前記３次元モデルと交差する交差位置を算出する交差位置算出部と、
前記３次元モデル上の指定位置を受け付け、前記指定位置および前記交差位置の距離に応じて、前記指定位置が撮影された前記画像を特定する画像特定部と、
を備えることを特徴とする検査システム。
［項目５］
項目４に記載の検査システムであって、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、
前記撮影位置および前記視点軸方向に基づいて、前記撮影位置から前記異常箇所に向けた直線が前記３次元モデルと交差する座標である異常位置を特定する異常位置特定部と、
を備えることを特徴とする検査システム。
[Item 1]
An inspection system for inspecting an inspection object,
A three-dimensional model generation unit that generates a three-dimensional model of the inspection object based on a plurality of images of the inspection object captured by a flight device including a camera;
For each of the plurality of images, a photographing information acquisition unit that acquires a photographing position at which the image is photographed in a three-dimensional coordinate system and a viewpoint axis direction of the camera,
For each of the plurality of images, an abnormality detection unit that detects an abnormality of the inspection object based on the image,
Regarding the detected abnormality, an abnormal position specifying unit that specifies an abnormal position that is a position in the three-dimensional coordinate system according to the shooting position and the viewpoint axis direction,
A three-dimensional model display unit that displays the three-dimensional model in which the abnormal position is mapped,
An inspection system comprising:
[Item 2]
The inspection system according to item 1,
The abnormal position specifying unit specifies, as the abnormal position, a coordinate at which a straight line from the shooting position to the abnormal position intersects the three-dimensional model, based on the shooting position and the viewpoint axis direction;
Inspection system characterized by.
[Item 3]
The inspection system according to item 1,
An abnormal position storage unit that stores the image in association with the abnormal position,
An input unit that receives designation of a position on the three-dimensional model,
An image specifying unit that specifies the image corresponding to the specified position,
An inspection system comprising:
[Item 4]
An inspection system for inspecting an inspection object,
A three-dimensional model generation unit that generates a three-dimensional model of the inspection object based on a plurality of images of the inspection object captured by a flight device including a camera;
For each of the plurality of images, a photographing information acquisition unit that acquires a photographing position at which the image is photographed in a three-dimensional coordinate system and a viewpoint axis direction of the camera,
For each of the plurality of images, an intersection position calculation unit that calculates an intersection position that intersects the three-dimensional model in the viewpoint axis direction from the shooting position,
An image specifying unit that receives a specified position on the three-dimensional model and specifies the image of the specified position taken according to the distance between the specified position and the intersecting position;
An inspection system comprising:
[Item 5]
The inspection system according to item 4,
For each of the plurality of images, an abnormality detection unit that detects an abnormality of the inspection object based on the image,
An abnormal position specifying unit that specifies an abnormal position that is a coordinate at which a straight line extending from the shooting position to the abnormal position intersects the three-dimensional model based on the shooting position and the viewpoint axis direction;
An inspection system comprising:
＝＝概要・全体構成＝＝
図１は、本発明の一実施形態に係る検査システムの全体構成例を示す図である。本実施形態の検査システムは、飛行装置１０によって撮影された検査対象物１に関する複数の画像に基づいて、検査対象物１の３次元モデルを作成するものである。また、本実施形態の検査システムでは、撮影した画像を解析して異常箇所を検出し、検出した異常箇所を３次元モデル上にマッピングする。検査対象物１は、法面やダムなどのコンクリート構造物であってもよいし、鉄塔や鉄橋などの鋼構造物であってもよいし、太陽光パネルや建物などであってもよい。本実施形態では、検査対象部１として建物を想定する。なお、検査対象物１は撮影可能な物であれば何でもよく、例えば動物や自動車などであってもよいし、災害時の被災地域であってもよい。
== Overview / Overall structure ==
FIG. 1 is a diagram showing an example of the overall configuration of an inspection system according to an embodiment of the present invention. The inspection system according to the present embodiment creates a three-dimensional model of the inspection object 1 based on a plurality of images of the inspection object 1 captured by the flight device 10. Further, in the inspection system of the present embodiment, the photographed image is analyzed to detect the abnormal portion, and the detected abnormal portion is mapped on the three-dimensional model. The inspection object 1 may be a concrete structure such as a slope or a dam, a steel structure such as a steel tower or an iron bridge, or a solar panel or a building. In this embodiment, a building is assumed as the inspection target unit 1. The inspection object 1 may be any object that can be photographed, and may be, for example, an animal or a car, or may be a disaster-stricken area at the time of a disaster.
本実施形態の検査システムは、検査対象物１を撮影する飛行装置１０と、飛行装置１０が撮影した画像を解析する検査サーバ３０とを含んで構成される。飛行装置１０と検査サーバ３０とは通信ネットワーク５０を介して相互に通信可能に接続される。本実施形態では通信ネットワーク５０はインターネットを想定する。通信ネットワーク５０は、例えば無線通信路、携帯電話回線網、衛星通信路、公衆電話回線網、専用回線網、イーサネット（登録商標）などにより構築される。 The inspection system of the present embodiment is configured to include a flight device 10 that captures an image of the inspection target 1 and an inspection server 30 that analyzes an image captured by the flight device 10. The flying device 10 and the inspection server 30 are communicably connected to each other via a communication network 50. In this embodiment, the communication network 50 is assumed to be the Internet. The communication network 50 is constructed by, for example, a wireless communication line, a mobile phone line network, a satellite communication line, a public telephone line network, a dedicated line network, Ethernet (registered trademark), or the like.
（飛行装置１０）
図２は、飛行装置１０のハードウェア構成例を示す図である。飛行装置１０は、プロペラ１８と、プロペラ１８にＥＳＣ（Electronic Speed Controller）１６を介して接続された推進機構（本実施形態ではモータ１７を想定する。）と、これらを制御するフライトコントローラ１１とを備える。
(Flight device 10)
FIG. 2 is a diagram illustrating a hardware configuration example of the flying device 10. The flight device 10 includes a propeller 18, a propulsion mechanism connected to the propeller 18 via an ESC (Electronic Speed Controller) 16 (a motor 17 is assumed in this embodiment), and a flight controller 11 that controls these. Prepare
飛行装置１０は検査対象物１の一部または全部を撮影するカメラ１２を備える。本実施形態では、カメラ１２は機体に固定されるものとする。また、カメラ１２は、鉛直方向下向きのレンズを備え、鉛直方向に真下の画像のみを撮影するものとする。したがって、飛行装置１０の姿勢が固定される場合には、カメラ１２の視点軸（光軸）１２１も固定される。本実施形態では、カメラ１２は可視光線を捉えたＲＧＢ画像を撮影することを想定するが、赤外線を捉えたサーマル画像を撮影するようにしてもよいし、ＲＧＢ画像とサーマル画像の両方を同時にまたは順次撮影するようにしてもよい。また、カメラ１２に代えて、またはカメラ１２に加えて、人感センサなどの各種のセンサを備えるようにしてもよい。 The flying device 10 includes a camera 12 that captures a part or all of the inspection object 1. In this embodiment, the camera 12 is fixed to the machine body. In addition, the camera 12 is provided with a lens directed downward in the vertical direction, and only the image directly below is taken in the vertical direction. Therefore, when the attitude of the flying device 10 is fixed, the viewpoint axis (optical axis) 121 of the camera 12 is also fixed. In the present embodiment, it is assumed that the camera 12 captures an RGB image that captures visible light, but a thermal image that captures infrared light may be captured, or both the RGB image and the thermal image may be captured at the same time. You may make it photograph one by one. Further, instead of the camera 12 or in addition to the camera 12, various sensors such as a motion sensor may be provided.
フライトコントローラ１１は、プログラマブルプロセッサ（本実施形態では、中央演算処理装置（ＣＰＵ）を想定する。）などの１つ以上のプロセッサ１０１を有することができる。また、フライトコントローラ１１は、メモリ１０２を有しており、当該メモリ１０２にアクセス可能である。メモリ１０２は、１つ以上のステップを行うためにフライトコントローラ１１が実行可能であるロジック、コード、および／またはプログラム命令を記憶する。メモリ１０２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ１２やセンサなどから取得したデータは、メモリ１０２に直接に伝達されかつ記憶されてもよい。 The flight controller 11 may include one or more processors 101 such as a programmable processor (a central processing unit (CPU) is assumed in this embodiment). Further, the flight controller 11 has a memory 102 and can access the memory 102. Memory 102 stores logic, code, and / or program instructions that flight controller 11 may execute to perform one or more steps. The memory 102 may include, for example, a separable medium such as an SD card or a random access memory (RAM) or an external storage device. The data obtained from the camera 12 or the sensor may be directly transmitted to and stored in the memory 102.
フライトコントローラ１１はまた、各種のセンサ類１０３を備える。本実施形態においてセンサ類１０３は、例えば、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳ（Global Positioning System）センサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。 The flight controller 11 also includes various sensors 103. In the present embodiment, the sensors 103 may include, for example, an inertial sensor (acceleration sensor, gyro sensor), a GPS (Global Positioning System) sensor, a proximity sensor (eg, rider), or a vision / image sensor (eg, camera). .
フライトコントローラ１１は、１つ以上の外部のデバイス（例えば、送受信機（プロポ）、端末、表示装置、または他の遠隔の制御器などである。）からのデータを送信および／または受け取るように構成された送受信部１４と通信可能である。送受信部１４は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。本実施形態では、送受信部１４は、主に検査サーバ３０と通信を行う。送受信部１４は、例えば、ローカルエリアネットワーク（Local Area Network；ＬＡＮ）、ワイドエリアネットワーク（Wide Area Network；ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。送受信部１４は、センサ類で取得したデータ、フライトコントローラが生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることもできる。 The flight controller 11 is configured to send and / or receive data from one or more external devices, such as a transceiver (propo), terminal, display, or other remote controller. It is possible to communicate with the transmission / reception unit 14 that has been set. The transmission / reception unit 14 can use any suitable communication means such as wired communication or wireless communication. In the present embodiment, the transmission / reception unit 14 mainly communicates with the inspection server 30. The transmitter / receiver 14 is, for example, a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunications network, cloud communication, or the like. One or more of these can be utilized. The transmission / reception unit 14 may also transmit and / or receive one or more of data acquired by the sensors, processing results generated by the flight controller, predetermined control data, a user command from a terminal or a remote controller. it can.
図３は、フライトコントローラ１１のソフトウェア構成例を示す図である。フライトコントローラ１１は、指示受信部１１１、飛行制御部１１２、位置姿勢情報取得部１１３、撮影処理部１１４、撮影情報送信部１１５、位置姿勢情報記憶部１５１、撮影情報記憶部１５２、ＧＰＳセンサ１０４、気圧センサ１０５、温度センサ１０６および加速度センサ１０７を備える。 FIG. 3 is a diagram illustrating a software configuration example of the flight controller 11. The flight controller 11 includes an instruction reception unit 111, a flight control unit 112, a position / orientation information acquisition unit 113, a photographing processing unit 114, a photographing information transmission unit 115, a position / orientation information storage unit 151, a photographing information storage unit 152, a GPS sensor 104, An atmospheric pressure sensor 105, a temperature sensor 106 and an acceleration sensor 107 are provided.
なお、指示受信部１１１、飛行制御部１１２、位置姿勢情報取得部１１３、撮影処理部１１４および撮影情報送信部１１５は、プロセッサ１０１がメモリ１０２に格納されているプログラムを実行することにより実現される。また、位置姿勢情報記憶部１５１および撮影情報記憶部１５２は、メモリ１０２の提供する記憶領域として実現される。 The instruction receiving unit 111, the flight control unit 112, the position / orientation information acquisition unit 113, the imaging processing unit 114, and the imaging information transmission unit 115 are realized by the processor 101 executing a program stored in the memory 102. . The position / orientation information storage unit 151 and the shooting information storage unit 152 are realized as storage areas provided by the memory 102.
指示受信部１１１は、飛行装置１０の動作を指示する各種のコマンド（以下、飛行操作コマンドという。）を受け付ける。本実施形態では、指示受信部１１１は、検査サーバ３０から飛行操作コマンドを受信することを想定するが、プロポなどの送受信機から飛行操作コマンドを受信するようにしてもよい。 The instruction receiving unit 111 receives various commands (hereinafter, referred to as flight operation commands) that instruct the operation of the flying device 10. In the present embodiment, the instruction receiving unit 111 is assumed to receive the flight operation command from the inspection server 30, but it may be configured to receive the flight operation command from a transceiver such as a radio transmitter.
飛行制御部１１２は、飛行装置１０の動作を制御する。飛行制御部１１２は、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置１０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ１６を経由してモータ１７を制御する。モータ１７によりプロペラ１８が回転することで飛行装置１０の揚力を生じさせる。また、飛行制御部１１２は、搭載部、センサ類の状態のうちの１つ以上を制御することができる。本実施形態では、飛行制御部１１２は、指示受信部１１１が受信した飛行操作コマンドに応じて飛行装置１０の動作を制御するものとする。また、飛行制御部１１２は、自律飛行を可能とするべく、コマンドによらずに飛行装置１０が飛行を継続するように各種の制御を行うこともできる。 The flight control unit 112 controls the operation of the flight device 10. The flight controller 112 adjusts the spatial arrangement, velocity, and / or acceleration of the flight device 10 having, for example, six degrees of freedom (translational motions x, y and z, and rotational motions θx, θy and θz). , The motor 17 is controlled via the ESC 16. Rotation of the propeller 18 by the motor 17 causes lift of the flying device 10. In addition, the flight control unit 112 can control one or more of the states of the mounting unit and the sensors. In the present embodiment, the flight control unit 112 controls the operation of the flying device 10 according to the flight operation command received by the instruction receiving unit 111. In addition, the flight control unit 112 can also perform various controls so that the flying device 10 continues to fly without a command in order to enable autonomous flight.
位置姿勢情報取得部１１３は、飛行装置１０の現在位置および姿勢を示す情報（以下、位置姿勢情報という。）を取得する。本実施形態では、位置姿勢情報には、飛行装置１０の地図上の位置（緯度経度で表される。）と、飛行装置１０の飛行高度と、飛行装置１０のｘ、ｙ、ｚ軸の夫々に対する傾きが含まれるものとする。なお、飛行装置１０のｘ、ｙ、ｚ軸は夫々互いに直交する座標軸であり、機体の平面座標および鉛直方向を表すことができる。 The position / orientation information acquisition unit 113 acquires information indicating the current position and attitude of the flying device 10 (hereinafter referred to as position / orientation information). In the present embodiment, the position and orientation information includes the position of the flight device 10 on the map (represented by latitude and longitude), the flight altitude of the flight device 10, and the x, y, and z axes of the flight device 10, respectively. The slope with respect to is included. The x, y, and z axes of the flying device 10 are coordinate axes that are orthogonal to each other, and can represent the plane coordinates and the vertical direction of the airframe.
センサ類１０３にはＧＰＳセンサ１０４が含まれ、位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４がＧＰＳ衛星から受信した電波から、飛行装置１０の地図上の位置を算出することができる。 The sensors 103 include a GPS sensor 104, and the position / orientation information acquisition unit 113 can calculate the position of the flying device 10 on the map from radio waves received by the GPS sensor 104 from GPS satellites.
また、センサ類１０３には気圧センサ１０５および温度センサ１０６が含まれ、位置姿勢情報取得部１１３は、飛行前に気圧センサ１０５により測定した大気圧（以下、基準気圧という。）と、飛行中に気圧センサ１０５により測定した大気圧（以下、現在気圧という。）との差分と、飛行中に温度センサ１０６により測定した気温とに基づいて、飛行装置１０の飛行高度を計算することができる。 Further, the sensors 103 include an atmospheric pressure sensor 105 and a temperature sensor 106, and the position / orientation information acquisition unit 113 has an atmospheric pressure (hereinafter referred to as a reference atmospheric pressure) measured by the atmospheric pressure sensor 105 before the flight and during the flight. The flight altitude of the flying device 10 can be calculated based on the difference from the atmospheric pressure measured by the atmospheric pressure sensor 105 (hereinafter referred to as the current atmospheric pressure) and the temperature measured by the temperature sensor 106 during flight.
さらに、センサ類１０３には３軸の加速度センサ１０７が含まれ、位置姿勢情報取得部１１３は、加速度センサ１０７からの出力に基づいて、飛行装置１０の姿勢を求めることができる。また、飛行装置１０の姿勢からカメラ１２の光軸１２１（視点軸）を決定することができる。 Further, the sensors 103 include a triaxial acceleration sensor 107, and the position / orientation information acquisition unit 113 can determine the attitude of the flying device 10 based on the output from the acceleration sensor 107. Further, the optical axis 121 (viewpoint axis) of the camera 12 can be determined from the attitude of the flying device 10.
位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４を用いて取得した飛行装置１０の地図上の位置（緯度経度）と、気圧センサ１０５および温度センサ１０６を用いて取得した飛行装置１０の飛行高度と、加速度センサ１０７を用いて取得した飛行装置１０の姿勢とを設定した位置姿勢情報を、メモリ１４の位置姿勢情報記憶部１５１に格納する。 The position / orientation information acquisition unit 113 has the position (latitude / longitude) on the map of the flight device 10 acquired using the GPS sensor 104, and the flight altitude of the flight device 10 acquired using the atmospheric pressure sensor 105 and the temperature sensor 106. The position / orientation information in which the attitude of the flying device 10 acquired by using the acceleration sensor 107 is set is stored in the position / orientation information storage unit 151 of the memory 14.
図４は位置姿勢情報記憶部１５１に記憶される位置姿勢情報の構成例を示す図である。図４に示すように、位置姿勢情報記憶部１５１には、飛行装置１０の現在位置を示す緯度経度、上記のようにして計算した飛行高度、飛行前に測定した基準気圧、飛行中に測定した現在気圧、飛行中に測定した気温、および加速度センサ１０７を用いて取得した飛行装置１０の姿勢（カメラ１２の光軸１２１の傾き）が格納される。 FIG. 4 is a diagram showing a configuration example of the position / orientation information stored in the position / orientation information storage unit 151. As shown in FIG. 4, in the position and orientation information storage unit 151, the latitude and longitude indicating the current position of the flight device 10, the flight altitude calculated as described above, the reference atmospheric pressure measured before the flight, and the measurement during the flight are performed. The present atmospheric pressure, the temperature measured during flight, and the attitude of the flying device 10 (inclination of the optical axis 121 of the camera 12) acquired using the acceleration sensor 107 are stored.
撮影処理部１１４は、カメラ１２を制御して検査対象物１の一部または全部を撮影させ、カメラ１２が撮影した撮影画像を取得する。撮影処理部１１４は、事前に設定されたタイミングで撮影を行うものとする。例えば、撮影処理部１１４は、所定の時間（例えば、５秒、３０秒など任意の時間を指定することができる。）ごとに撮影を行うようにすることができる。なお、撮影処理部１１４は、検査サーバ３０からの指示に応じて撮影するようにしてもよい。 The image capturing processing unit 114 controls the camera 12 to capture a part or all of the inspection target 1 and acquires a captured image captured by the camera 12. The image capturing processing unit 114 is assumed to perform image capturing at a preset timing. For example, the image capturing processing unit 114 can be configured to perform image capturing every predetermined time (for example, an arbitrary time such as 5 seconds or 30 seconds can be designated). The image capturing processing unit 114 may perform image capturing according to an instruction from the inspection server 30.
撮影処理部１１４は、取得した撮影画像を撮影情報記憶部１５２に格納する。撮影処理部１１４は、撮影画像に付帯させて、撮影日時、その時点における飛行装置１０の地図上の緯度経度（撮影位置）、その時点における飛行装置１０の飛行高度（撮影高度）、飛行装置１０の姿勢（カメラ１２の光軸１２１の傾き）も撮影情報記憶部１５２に格納する。なお、これらの情報が付帯された画像を撮影情報という。 The shooting processing unit 114 stores the acquired shot image in the shooting information storage unit 152. The photographing processing unit 114 attaches to the photographed image, photographing date and time, latitude and longitude (photographing position) on the map of the flying device 10 at that time, flight altitude (imaging altitude) of the flying device 10 at that time, flying device 10 The orientation (the inclination of the optical axis 121 of the camera 12) is also stored in the shooting information storage unit 152. An image to which these pieces of information are attached is called shooting information.
図５は撮影情報記憶部１５２に格納される撮影情報の構成例を示す図である。撮影情報記憶部１５２に格納される撮影情報には、撮影日時、撮影位置、撮影高度、傾きおよび画像データが含まれる。撮影情報は、例えば、ファイルシステム上のファイルとして記憶させることができる。また、撮影日時、撮影位置、撮影高度および傾きは、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像ファイルのＥｘｉｆ（Exchangeable image file format）情報として格納するようにしてもよいし、画像データをファイルとしてファイルシステムに格納し、撮影日時、撮影位置、撮影高度および傾きと、ファイル名とを対応付けたレコードをデータベースに登録するようにしてもよい。また、撮影情報には、焦点距離やシャッター速度などのカメラ１２の特性を含めるようにしてもよい。 FIG. 5 is a diagram showing a configuration example of the photographing information stored in the photographing information storage unit 152. The shooting information stored in the shooting information storage unit 152 includes shooting date / time, shooting position, shooting altitude, tilt, and image data. The shooting information can be stored as a file on a file system, for example. The shooting date / time, shooting position, shooting altitude, and tilt may be stored as, for example, Exif (Exchangeable image file format) information of a JPEG (Joint Photographic Experts Group) image file, or image data may be stored as a file. It may be stored in the system and a record in which a shooting date, a shooting position, a shooting altitude and a tilt are associated with a file name may be registered in the database. Further, the shooting information may include the characteristics of the camera 12 such as the focal length and the shutter speed.
撮影情報送信部１１５は、カメラ１２が撮影した画像を検査サーバ３０に送信する。本実施形態では、撮影情報送信部１１５は、撮影画像に、撮影日時、撮影位置、撮影高度および傾きを付帯させた撮影情報を検査サーバ３０に送信するものとする。 The imaging information transmitting unit 115 transmits the image captured by the camera 12 to the inspection server 30. In the present embodiment, the imaging information transmitting unit 115 is assumed to transmit the imaging information in which the imaging date and time, the imaging position, the imaging altitude, and the tilt are attached to the imaging image to the inspection server 30.
（検査サーバ３０）
図６は、検査サーバ３０のハードウェア構成例を示す図である。検査サーバ３０は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信装置３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信装置３０４は、通信ネットワーク５０を介して他の装置と通信を行う。通信装置３０４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
(Inspection server 30)
FIG. 6 is a diagram illustrating a hardware configuration example of the inspection server 30. The inspection server 30 includes a CPU 301, a memory 302, a storage device 303, a communication device 304, an input device 305, and an output device 306. The storage device 303 is, for example, a hard disk drive, a solid state drive, a flash memory, or the like that stores various data and programs. The communication device 304 communicates with other devices via the communication network 50. The communication device 304 is, for example, an adapter for connecting to Ethernet (registered trademark), a modem for connecting to a public telephone line network, a wireless communication device for performing wireless communication, a USB connector or RS232C connector for serial communication, and the like. It is configured to include. The input device 305 is, for example, a keyboard, a mouse, a touch panel, a button, a microphone or the like for inputting data. The output device 306 is, for example, a display, a printer, a speaker, or the like that outputs data.
図７は、検査サーバ３０のソフトウェア構成例を示す図である。検査サーバ３０は、飛行制御部３１１、撮影情報受信部３１２、３次元モデル作成部３１３、異常検出部３１４、３次元モデル表示部３１５、撮影画像表示部３１６、撮影情報記憶部３５１、３次元モデル記憶部３５２および異常情報記憶部３５３を備える。 FIG. 7 is a diagram illustrating a software configuration example of the inspection server 30. The inspection server 30 includes a flight control unit 311, a photographing information receiving unit 312, a three-dimensional model creating unit 313, an abnormality detecting unit 314, a three-dimensional model display unit 315, a photographed image display unit 316, a photographing information storage unit 351, and a three-dimensional model. The storage unit 352 and the abnormality information storage unit 353 are provided.
なお、飛行制御部３１１、撮影情報受信部３１２、３次元モデル作成部３１３、異常検出部３１４、３次元モデル表示部３１５および撮影画像表示部３１６は、検査サーバ３０が備えるＣＰＵ３０１が記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、撮影情報記憶部３５１、３次元モデル記憶部３５２および異常情報記憶部３５３は、検査サーバ３０の備えるメモリ３０２および記憶装置３０３が提供する記憶領域の一部として実現される。 The flight control unit 311, the imaging information reception unit 312, the three-dimensional model creation unit 313, the abnormality detection unit 314, the three-dimensional model display unit 315, and the captured image display unit 316 are stored in the storage device 303 by the CPU 301 included in the inspection server 30. It is realized by reading the stored program into the memory 302 and executing it. The imaging information storage unit 351, the three-dimensional model storage unit 352, and the abnormality information storage unit 353 are the memory 302 and the storage device 303 included in the inspection server 30. It is realized as part of the storage area provided.
飛行制御部３１１は、飛行装置１０を飛行させる制御を行う。本実施形態では、飛行制御部３１１は、飛行装置１０に対して飛行操作コマンドを送信することにより飛行装置１０を操作する。飛行制御部３１１は、例えば、オペレータから地図上における飛行経路の指定を受け付けて、受け付けた飛行経路上を飛行するように飛行操作コマンドを送信することができる。また、飛行制御部３１１は、後述するように検査対象物１の３次元モデルを作成するべく、飛行装置１０に検査対象物１の周囲を飛行させて撮影領域の少なくとも一部が重なるように連続させて撮影できるように飛行装置１０を制御する。なお、本実施の形態においては、飛行装置１０は、検査サーバ３０の飛行制御部３１１によって制御されているが、例えば、あらかじめ保存された自動飛行のためのソフトウェア（データ）によって飛行装置１０が自律的に制御される方法や、オペレータの手動操作によって制御（操作）される方法や、これらの組み合わせであってもよい。 The flight control unit 311 controls the flight device 10 to fly. In the present embodiment, the flight control unit 311 operates the flight device 10 by transmitting a flight operation command to the flight device 10. The flight control unit 311 can receive, for example, the designation of a flight route on the map from the operator, and can transmit a flight operation command to fly on the accepted flight route. In addition, the flight control unit 311 causes the flight device 10 to fly around the inspection target 1 so as to create a three-dimensional model of the inspection target 1 as described later, and continuously performs such that at least a part of the imaging region overlaps. The flight device 10 is controlled so that the shooting can be performed. Although the flight device 10 is controlled by the flight control unit 311 of the inspection server 30 in the present embodiment, for example, the flight device 10 is autonomous by software (data) stored in advance for automatic flight. Method, a method of controlling (operating) by a manual operation of an operator, or a combination thereof.
撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信する。撮影情報受信部３１２は、受信した撮影情報を撮影情報記憶部３５１に格納する。なお、本実施形態では、撮影情報記憶部３５１の構成は、図５に示す飛行装置１０の撮影情報記憶部１５２と同一の構成であるものとする。なお、検査サーバ３０が備える撮影情報記憶部３５１は、撮影情報の送信元である飛行装置１０を特定する情報に対応付けて、撮影情報を記憶するようにしてもよい。 The photographing information receiving unit 312 receives the photographing information transmitted from the flying device 10. The shooting information receiving unit 312 stores the received shooting information in the shooting information storage unit 351. In addition, in the present embodiment, the configuration of the imaging information storage unit 351 is assumed to be the same as the configuration of the imaging information storage unit 152 of the flying device 10 shown in FIG. The shooting information storage unit 351 included in the inspection server 30 may store the shooting information in association with the information identifying the flight device 10 that is the transmission source of the shooting information.
３次元モデル作成部３１３は、複数の撮影画像から３次元の構造体を表現する３次元モデルを作成する。３次元モデル作成部３１３は、いわゆるフォトグラメトリー（写真測量）の技術を用いて３次元モデルを作成することができる。本実施形態において、３次元モデルのワールド座標系は、緯度、経度および高度で表されるものとする。撮影情報に含まれる撮影位置、撮影高度および光軸１２１の傾きにより、カメラ１２のワールド座標系における位置および視点方向を示すことができる。３次元モデル作成部３１３は、撮影情報に含まれている画像データから特徴点を抽出し、撮影情報に含まれる撮影位置、撮影高度および傾きに基づいて複数の画像データから抽出された特徴点の対応付けを行い、ワールド座標系における３次元点群（ポイントクラウドとも呼ばれる。）を取得する。本実施形態では、３次元モデルは３次元点群により構成されるものとするが、３次元モデル作成部３１３は、点群に基づいてポリゴン等の面データを生成することもできる。さらに、３次元モデル作成部３１３は、３次元モデルと撮影画像に基づいてオルソ画像を生成することもできる。 The three-dimensional model creation unit 313 creates a three-dimensional model expressing a three-dimensional structure from a plurality of captured images. The three-dimensional model creation unit 313 can create a three-dimensional model using a technique of so-called photogrammetry (photogrammetry). In this embodiment, the world coordinate system of the three-dimensional model is represented by latitude, longitude, and altitude. The position of the camera 12 in the world coordinate system and the direction of the viewpoint can be indicated by the shooting position, the shooting altitude, and the tilt of the optical axis 121 included in the shooting information. The three-dimensional model creation unit 313 extracts feature points from the image data included in the shooting information, and extracts the feature points from the plurality of image data based on the shooting position, the shooting altitude, and the tilt included in the shooting information. The three-dimensional point cloud (also called a point cloud) in the world coordinate system is acquired by associating with each other. In the present embodiment, the three-dimensional model is composed of a three-dimensional point group, but the three-dimensional model creation unit 313 can also generate surface data such as polygons based on the point group. Furthermore, the three-dimensional model creation unit 313 can also generate an ortho image based on the three-dimensional model and the captured image.
３次元モデル作成部３１３は、作成した３次元モデル（本実施形態では３次元点群）を３次元モデル記憶部３５２に登録する。図８は３次元モデル記憶部３５２の構成例を示す図である。同図に示すように、３次元モデル記憶部３５２には、３次元点群を構成する各点についての座標が登録される。なお、３次元モデル作成部３１３が３次元点群に基づいてポリゴン等の面データを作成した場合には、３次元モデル記憶部３５２は点の座標に加えて、または点の座標に代えて、面データを記憶するようにしてもよい。 The three-dimensional model creation unit 313 registers the created three-dimensional model (three-dimensional point group in this embodiment) in the three-dimensional model storage unit 352. FIG. 8 is a diagram showing a configuration example of the three-dimensional model storage unit 352. As shown in the figure, the coordinates of each point forming the three-dimensional point group are registered in the three-dimensional model storage unit 352. When the three-dimensional model creation unit 313 creates surface data such as polygons based on a three-dimensional point group, the three-dimensional model storage unit 352 may add the coordinates of the points, or replace the coordinates of the points, The surface data may be stored.
異常検出部３１４は、飛行装置１０からの撮影画像を解析して、検査対象物１の異常を検出する。異常検出部３１４は、例えば、過去に異常が発生した検査対象物１を撮影した画像を教師信号としてニューラルネットワーク等の機械学習を用いた学習を行っておき、飛行装置１０から受信した撮影画像を入力信号として異常を判定することができる。また、異常検出部３１４は、正常時の画像をメモリ３０２に予め記憶しておき、正常時の画像と撮影画像とを比較して、所定値以上の差分のある画素により構成される領域を認識し、当該領域の面積が所定値以上となるものについて異常と判定することもできる。なお、異常検出部３１４は、公知の技術を用いて画像から異常部分を検出するようにすることができる。 The abnormality detection unit 314 analyzes the captured image from the flying device 10 and detects an abnormality in the inspection object 1. The abnormality detection unit 314, for example, performs learning using machine learning such as a neural network with an image of the inspection object 1 in which an abnormality has occurred in the past as a teacher signal, and then captures the captured image received from the flying device 10. An abnormality can be determined as an input signal. Further, the abnormality detection unit 314 stores a normal image in the memory 302 in advance, compares the normal image and the captured image, and recognizes an area composed of pixels having a difference of a predetermined value or more. However, it is possible to determine that the area in which the area is equal to or larger than the predetermined value is abnormal. The abnormality detection unit 314 can detect an abnormal portion from an image by using a known technique.
異常検出部３１４は、検出した撮影画像上の異常箇所について、ワールド座標系の位置を特定する。異常検出部３１４は、たとえば、３次元点群に含まれる点のそれぞれについて、撮影情報に含まれている撮影位置および撮影高度に設置したカメラから、撮影情報に含まれている傾きが示す方向に撮影した場合の画像上の位置を特定し、特定した画像上の位置が、異常箇所として検出した領域に含まれているか否かにより、当該点が異常箇所を構成するか否かを判定し、異常箇所を構成する点の座標を異常箇所の位置として特定することができる。異常常検出部３１５は、検出した異常に関する情報（以下、異常情報という。）を異常情報記憶部３５３に登録する。 The abnormality detection unit 314 identifies the position of the world coordinate system for the detected abnormal portion on the captured image. The abnormality detection unit 314, for example, for each of the points included in the three-dimensional point group from the camera installed at the shooting position and shooting altitude included in the shooting information in the direction indicated by the tilt included in the shooting information. The position on the image when captured is specified, and the position on the specified image is determined whether or not the point constitutes an abnormal part, depending on whether or not it is included in the area detected as the abnormal part, It is possible to specify the coordinates of the points forming the abnormal point as the position of the abnormal point. The abnormality always detecting unit 315 registers information on the detected abnormality (hereinafter referred to as abnormality information) in the abnormality information storage unit 353.
図９は異常情報記憶部３５３に登録される異常情報の構成例を示す図である。同図に示すように、異常情報には、異常箇所を示すワールド座標系上の座標位置（異常位置）と、当該異常箇所を撮影した画像に係る撮影情報を特定するための情報（例えばＪＰＥＧファイル名とすることができる。）と、画像上における異常が検出された位置（以下、画像異常位置という。）とが含まれる。図８の例では、画像異常位置に矩形を示す２つの頂点の座標が含まれた例が示されているが、画像異常位置には、例えば１つの座標のみが含まれるようにしてもよいし、多角形を構成する３つ以上の座標が含まれるようにしてもよいし、楕円形を表す中心座標と２つの半径とが含まれるようにしてもよい。すなわち、画像異常位置は、点または幾何図形を表す情報であればよい。なお、上述した例の他、例えば、画像における異常位置に当該異常を示す箇所を直接描画することとしてもよい。この場合、異常位置に関する座標位置は利用せず、例えば、撮影画像に関する情報と異常位置とを直接関連付けることとしてもよい。 FIG. 9 is a diagram showing a configuration example of abnormality information registered in the abnormality information storage unit 353. As shown in the figure, the abnormality information includes information for identifying the coordinate position (abnormal position) on the world coordinate system indicating the abnormal portion and the photographing information related to the image of the abnormal portion (for example, a JPEG file). Name)) and a position on the image where an abnormality is detected (hereinafter referred to as an image abnormal position). In the example of FIG. 8, an example in which the image abnormal position includes the coordinates of two vertices indicating a rectangle is shown, but the image abnormal position may include only one coordinate, for example. , Three or more coordinates forming a polygon may be included, or center coordinates representing an ellipse and two radii may be included. That is, the abnormal image position may be information indicating a point or a geometric figure. In addition to the example described above, for example, a portion indicating the abnormality may be directly drawn at the abnormal position in the image. In this case, the coordinate position related to the abnormal position may not be used, and, for example, the information related to the captured image may be directly associated with the abnormal position.
３次元モデル表示部３１５は、３次元モデル作成部３１３が作成した３次元モデルを平面に投影した画像（以下、３次元投影画像という。）を表示する。３次元モデル表示部３１５は、３次元投影画像を、ワイヤーフレームで表示するようにしてもよいし、撮影画像を３次元モデルにマッピングしてもよい。また、３次元モデル表示部３１５は、３次元モデルを作成した各撮影画像について、カメラ１２の位置および視点軸の方向を３次元モデルに重畳させて表示している。本実施の形態においては、説明を容易にするためにカメラ１２の位置および視点軸の方向を表示することとしているが、表示の有無の設定、その切替方法については、用途及びニーズに合わせて適宜変更することができる。 The three-dimensional model display unit 315 displays an image obtained by projecting the three-dimensional model created by the three-dimensional model creation unit 313 on a plane (hereinafter referred to as a three-dimensional projected image). The three-dimensional model display unit 315 may display the three-dimensional projection image in a wire frame, or may map the captured image on the three-dimensional model. In addition, the three-dimensional model display unit 315 displays the position of the camera 12 and the direction of the viewpoint axis in the three-dimensional model for each captured image in which the three-dimensional model is created. In the present embodiment, the position of the camera 12 and the direction of the viewpoint axis are displayed for ease of explanation. However, the presence / absence of the display and the switching method thereof are appropriately selected according to the application and needs. Can be changed.
＝＝処理＝＝
以下、本実施形態の検査システムにおける処理について説明する。
== Processing ==
The processing in the inspection system of this embodiment will be described below.
＝＝撮影処理＝＝
図１０は、検査対象物１を撮影する処理の流れを説明する図である。図１０に示す撮影処理は、飛行装置１０が飛行している間、定期的に実行される。
== Shooting process ==
FIG. 10 is a diagram illustrating a flow of processing for photographing the inspection object 1. The shooting process shown in FIG. 10 is periodically executed while the flying device 10 is flying.
飛行装置１０において、撮影処理部１１４は、カメラ１２を制御して、カメラ１２が撮影した撮影画像を取得し（Ｓ２０１）、位置姿勢情報取得部１１３は、ＧＰＳセンサ１０４、気圧センサ１０５、温度センサ１０６および加速度センサ１０７からの信号に基づいて、撮影位置、撮影高度および姿勢を求める（Ｓ２０２）。撮影情報送信部１１５は、カメラ１２から取得した撮影画像に、現在の日時（撮影日時）、撮影位置、撮影高度および姿勢を付帯させた撮影情報を作成して検査サーバ３０に送信する（Ｓ２０３）。 In the flying device 10, the imaging processing unit 114 controls the camera 12 to acquire the captured image captured by the camera 12 (S201), and the position and orientation information acquisition unit 113 includes the GPS sensor 104, the atmospheric pressure sensor 105, and the temperature sensor. Based on the signals from 106 and the acceleration sensor 107, the photographing position, photographing height, and posture are obtained (S202). The photographing information transmitting unit 115 creates photographing information in which the current date and time (imaging date and time), the photographing position, the photographing altitude, and the posture are attached to the photographed image acquired from the camera 12, and transmits the photographing information to the inspection server 30 (S203). .
検査サーバ３０では、撮影情報受信部３１２は、飛行装置１０から送信される撮影情報を受信し（Ｓ２０４）、受信した撮影情報を撮影情報記憶部３５１に登録する（Ｓ２０５）。 In the inspection server 30, the photographing information receiving unit 312 receives the photographing information transmitted from the flying device 10 (S204), and registers the received photographing information in the photographing information storage unit 351 (S205).
以上のようにして、飛行装置１０において撮影された画像は、撮影日時、撮影位置、撮影高度および飛行装置１０の姿勢（光軸１２１の傾き）とともに、撮影情報記憶部３５１に順次登録されていくことになる。 As described above, the images photographed by the flying device 10 are sequentially registered in the photographing information storage unit 351 together with the photographing date and time, the photographing position, the photographing altitude, and the attitude of the flying device 10 (the inclination of the optical axis 121). It will be.
＝＝検査処理＝＝
図１１は検査サーバ３０により実行される検査処理の流れを示す図である。本実施形態では、図１１に示す処理は、飛行装置１０による撮影が全て終了した後に行われることを想定するが、飛行装置１０が撮影を続けている間に行うようにすることもできる。
== Inspection processing ==
FIG. 11 is a diagram showing a flow of the inspection process executed by the inspection server 30. In the present embodiment, it is assumed that the processing shown in FIG. 11 is performed after the shooting by the flying device 10 is completed, but it may be performed while the flying device 10 continues shooting.
３次元モデル作成部３１３は、撮影情報記憶部３５１に登録されている撮影情報に基づいて３次元モデルを作成する（Ｓ２１１）。なお、３次元モデルの作成処理については、一般的な写真測量（フォトグラメトリ）の手法により３次元モデルを作成するものとする。たとえば、３次元モデル作成部３１３は、撮影時間の順に連続する２つの撮影情報のペアについて、対応点を探索し、見つかった対応点について、飛行位置および飛行高度ならびに姿勢に応じて対応点のワールド座標系における位置を特定することができる。なお、３次元モデルの作成は例示であり、上記のほか、種々の方法で作成することができる。 The three-dimensional model creation unit 313 creates a three-dimensional model based on the shooting information registered in the shooting information storage unit 351 (S211). Regarding the process of creating the three-dimensional model, the three-dimensional model is created by a general photogrammetry method. For example, the three-dimensional model creation unit 313 searches for corresponding points in two pairs of shooting information that are consecutive in the order of shooting time, and finds the corresponding points in the world of corresponding points according to the flight position, flight altitude, and attitude. The position in the coordinate system can be specified. It should be noted that the creation of the three-dimensional model is an example, and it can be created by various methods other than the above.
３次元モデル作成部３１３は、作成した３次元モデルを３次元モデル記憶部３５２に登録する（Ｓ２１２）。本実施形態では、３次元モデルは３次元点群により構成されるものとする。そこで対応点のワールド座標系における座標を３次元モデル記憶部３５２に登録することができる。 The three-dimensional model creation unit 313 registers the created three-dimensional model in the three-dimensional model storage unit 352 (S212). In this embodiment, the three-dimensional model is assumed to be composed of a three-dimensional point group. Therefore, the coordinates of the corresponding points in the world coordinate system can be registered in the three-dimensional model storage unit 352.
次に、異常検出部３１４は、撮影情報記憶部３５１に登録されている各撮影情報について、以下の処理を行う。すなわち、異常検出部３１４は、撮影情報に含まれている画像データを解析して、検査対象物１の異常の有無を検査する（Ｓ２１３）。画像データから検査対象物１の異常が検出された場合（Ｓ２１４：ＹＥＳ）、異常検出部３１４は、撮影情報の撮影位置および撮影高度が示すワールド座標系の座標から、撮影情報の傾きが示す光軸１２１（視点軸）の方向に延ばした直線と、３次元モデルとが交差する座標を異常の発生した位置（異常位置）として特定する（Ｓ２１５）。なお、異常検出部３１４は、３次元点群に含まれる点のいずれにも、カメラ１２からの光軸１２１が交差しない場合、最も近くを通り、かつ光軸１２１に平行な距離が最も近い点の座標を異常位置として決定してもよい。異常検出部３１４は、撮影情報を特定する情報（例えばファイル名とすることができる。）と、画像データ上で異常を発見した箇所（画像異常位置）とを異常位置に対応付けて異常情報記憶部３５３に登録する（Ｓ２１６）。 Next, the abnormality detection unit 314 performs the following processing on each piece of shooting information registered in the shooting information storage unit 351. That is, the abnormality detection unit 314 analyzes the image data included in the shooting information, and inspects the inspection object 1 for an abnormality (S213). When the abnormality of the inspection object 1 is detected from the image data (S214: YES), the abnormality detecting unit 314 determines that the light indicated by the inclination of the photographing information is calculated from the coordinates of the world coordinate system indicated by the photographing position and the photographing altitude of the photographing information. The coordinates at which the straight line extending in the direction of the axis 121 (viewpoint axis) and the three-dimensional model intersect are specified as the position where the abnormality has occurred (abnormal position) (S215). If the optical axis 121 from the camera 12 does not intersect any of the points included in the three-dimensional point group, the anomaly detection unit 314 passes through the point closest to and the distance parallel to the optical axis 121 is closest. The coordinates may be determined as the abnormal position. The anomaly detection unit 314 stores the anomaly information by associating the information (for example, a file name) for identifying the shooting information and the location (image anomalous position) where the anomaly is found on the image data with the anomalous position. It is registered in the section 353 (S216).
以上の処理を撮影情報のそれぞれについて行った後、３次元モデル表示部３１５は、３次元モデルを投影した画像を表示する（Ｓ２１７）。図１２は、３次元モデル表示部３１５が表示する３次元投影画像を説明する図である。図１２の例では、３次元モデル作成部３１３が複数の撮影画像に基づいて作成した３次元モデルに対して、撮影画像をマッピングした３次元投影画像４１が画面４０に表示されている。３次元モデル表示部３１５は、たとえば、３次元モデル記憶部３５２に登録されている点群を投影して３次元投影画像４１を作成することができる。 After the above processing is performed for each piece of shooting information, the three-dimensional model display unit 315 displays an image obtained by projecting the three-dimensional model (S217). FIG. 12 is a diagram illustrating a three-dimensional projection image displayed by the three-dimensional model display unit 315. In the example of FIG. 12, the three-dimensional projection image 41 in which the captured images are mapped to the three-dimensional model created by the three-dimensional model creation unit 313 based on the plurality of taken images is displayed on the screen 40. The three-dimensional model display unit 315 can project the point group registered in the three-dimensional model storage unit 352 to create the three-dimensional projected image 41, for example.
次に３次元モデル表示部３１５は、撮影画像を撮影したカメラ１２を示す図形を３次元投影画像４１に重ねて表示する。具体的には、３次元モデル表示部３１５は、撮影情報記憶部３５１に登録されている各撮影情報について、撮影情報に含まれている撮影位置および撮影高度から傾きが示す方向に傾けたカメラ１２を表す図形を３次元モデル上に重ねて表示させるようにする。図１２の例では、カメラ１２の位置および視点軸の方向を示す円錐体４２を３次元投影画像４１に重畳させて表示している。上述したように本実施の形態においては、説明を容易にするためにカメラ１２の位置および視点軸の方向を表示することとしているが、表示の有無の設定、その切替方法については、用途及びニーズに合わせて適宜変更することができる。 Next, the three-dimensional model display unit 315 displays the figure showing the camera 12 that has captured the captured image on the three-dimensional projected image 41 in an overlapping manner. Specifically, the three-dimensional model display unit 315, for each piece of shooting information registered in the shooting information storage unit 351, the camera 12 tilted in the direction indicated by the tilt from the shooting position and shooting height included in the shooting information. The figure representing is superimposed and displayed on the three-dimensional model. In the example of FIG. 12, a cone 42 indicating the position of the camera 12 and the direction of the viewpoint axis is displayed so as to be superimposed on the three-dimensional projection image 41. As described above, in the present embodiment, the position of the camera 12 and the direction of the viewpoint axis are displayed for ease of explanation. It can be appropriately changed according to the above.
３次元モデル表示部３１５は、異常箇所を示す図形を３次元投影画像４１上に重ねて表示する（Ｓ２１９）。具体的には、３次元モデル表示部３１５は、異常情報記憶部３５３に登録されている各異常情報につて、異常位置が示す座標に所定の図形を表示させる。図１２の例では、マーク４３を３次元投影画像４１に重畳させて表示している。なお、図１２の例では、マーク４３は１つのみが表示されているが、異常情報記憶部３５３に複数の異常箇所が登録されている場合には複数のマーク４３が表示されることになる。 The three-dimensional model display unit 315 superimposes and displays the figure showing the abnormal portion on the three-dimensional projection image 41 (S219). Specifically, the three-dimensional model display unit 315 causes a predetermined graphic to be displayed at the coordinates indicated by the abnormal position for each piece of abnormality information registered in the abnormality information storage unit 353. In the example of FIG. 12, the mark 43 is displayed so as to be superimposed on the three-dimensional projection image 41. Note that in the example of FIG. 12, only one mark 43 is displayed, but when a plurality of abnormal locations are registered in the abnormal information storage unit 353, a plurality of marks 43 will be displayed. .
以上のようにして、飛行装置１０が撮影した複数の画像に基づいて３次元モデルを作成するとともに、撮影画像から検出した異常箇所を３次元モデル上にマッピングして表示することができる。 As described above, it is possible to create a three-dimensional model based on a plurality of images captured by the flying device 10 and map and display the abnormal portion detected from the captured image on the three-dimensional model.
＝＝確認処理＝＝
図１３は、指定された位置の異常箇所が撮影されている撮影画像を表示する処理の流れを示す図である。画面４０において、ユーザが、たとえばマーク４３をクリックすることにより、詳細を確認したい異常箇所の位置を指定した場合に、撮影画像表示部３１６は、当該位置の指定を受け付け（Ｓ２３１）、受け付けた位置に対応する異常情報を異常情報記憶部３５３から検索する（Ｓ２３２）。撮影画像表示部３１６は、検索した異常情報に含まれる画像が示す撮影情報を撮影情報記憶部３５１から読み出し（Ｓ２３３）、読み出した撮影情報に含まれている画像データを画面４０に出力する（Ｓ２３４）。
== Confirmation processing ==
FIG. 13 is a diagram showing a flow of processing for displaying a captured image in which an abnormal portion at a designated position is captured. In the screen 40, when the user specifies the position of the abnormal portion whose details are to be confirmed by clicking the mark 43, for example, the captured image display unit 316 accepts the designation of the position (S231), and the accepted position. The abnormality information storage unit 353 is searched for abnormality information corresponding to (S232). The photographed image display unit 316 reads the photographing information indicated by the image included in the retrieved abnormality information from the photographing information storage unit 351 (S233), and outputs the image data included in the read photographing information to the screen 40 (S234). ).
以上のようにして、撮影画像表示部３１６は、ユーザから指示された位置を撮影した撮影画像を画面４０に表示することができる。 As described above, the photographed image display unit 316 can display the photographed image obtained by photographing the position designated by the user on the screen 40.
＝＝効果＝＝
以上説明したように、本実施形態の検査システムによれば、撮影位置、撮影高度および姿勢に基づいて、撮影画像上の位置を３次元モデル上の位置に対応付けることができる。したがって、画像から検出した異常箇所についても、画像としてのみではなく、３次元モデル上に異常箇所として取り込むことが可能となる。また、３次元モデル上の位置が指定された場合に、当該指定された位置に対応する異常情報と特定して、当該異常箇所を撮影した画像を容易に特定することが可能となり、ユーザに対して詳細な２次元画像を迅速かつ的確に提供することができる。
== Effects ==
As described above, according to the inspection system of the present embodiment, the position on the captured image can be associated with the position on the three-dimensional model based on the shooting position, the shooting altitude, and the posture. Therefore, the abnormal part detected from the image can be captured not only as the image but also as the abnormal part on the three-dimensional model. Further, when a position on the three-dimensional model is specified, it is possible to specify the abnormal information corresponding to the specified position and easily specify the image of the abnormal place. It is possible to provide a detailed and detailed two-dimensional image quickly and accurately.
以上、本発明の一実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物も含まれる。 Although one embodiment of the present invention has been described above, the above embodiment is for the purpose of facilitating the understanding of the present invention, and is not for limiting and interpreting the present invention. The present invention can be modified and improved without departing from the spirit thereof, and the present invention includes equivalents thereof.
例えば、本実施形態では、カメラ１２は機体の下部に固定されるものとしたが、これに限らず、ジンバルを介して可動式に装着するようにしてもよい。この場合、撮影情報には飛行装置１０の傾きに加えて、カメラ１２の撮影方向も含めるようにする。 For example, in the present embodiment, the camera 12 is fixed to the lower part of the machine body, but the present invention is not limited to this, and the camera 12 may be movably mounted via a gimbal. In this case, in addition to the tilt of the flight device 10, the shooting direction of the camera 12 is included in the shooting information.
また、本実施形態では、気圧センサ１０５および温度センサ１０６を用いて撮影高度を求めるものとしたが、これに限らず、公知の手法を用いて撮影高度を求めるようにしてもよい。 Further, in the present embodiment, the photographing altitude is obtained using the atmospheric pressure sensor 105 and the temperature sensor 106, but the present invention is not limited to this, and the photographing altitude may be obtained using a known method.
また、本実施形態では、飛行装置１０からの撮影情報はカメラ１２で撮影が行われる都度検査サーバ３０に送信されるものとしたが、飛行装置１０は撮影情報記憶部１５２に撮影情報を蓄積しておき、飛行中に定期的に、あるいは、飛行終了後に一度に撮影情報記憶部１５２に記憶されている撮影情報を検査サーバ３０に送信するようにしてもよい。 Further, in the present embodiment, the photographing information from the flying device 10 is transmitted to the inspection server 30 each time the camera 12 photographs, but the flying device 10 accumulates the photographing information in the photographing information storage unit 152. Alternatively, the imaging information stored in the imaging information storage unit 152 may be transmitted to the inspection server 30 periodically during the flight or at once after the flight ends.
また、本実施形態では、ユーザは画面４０において異常箇所の位置を選択し、選択した位置に対応する異常箇所が検索され、検索された異常箇所に対応する撮影画像が表示されるものとしたが、マーク４３に異常情報を対応付けておき、選択されたマーク４３から異常情報を特定するようにしてもよい。 Further, in the present embodiment, the user selects the position of the abnormal part on the screen 40, searches for the abnormal part corresponding to the selected position, and displays the captured image corresponding to the searched abnormal part. Alternatively, the abnormality information may be associated with the mark 43 and the abnormality information may be specified from the selected mark 43.
また、本実施形態では、ユーザは画面４０において異常箇所の位置のみが選択可能であるものとしたが、異常箇所以外の任意の位置（座標）を選択可能としてもよい。この場合、図１４に示されるように、選択した個所（例えば、４３ａ、４３ｂ、４３ｃ）に対応する画像（４４ａ、４４ｂ、４４ｃ）が表示される。この場合、撮影画像表示部３１６はまず、撮影情報記憶部３５１に登録されている撮影情報のそれぞれについて、飛行位置および飛行高度の座標から指定された座標に向けた直線が、飛行位置および飛行高度の座標から視点軸にカメラ１２を向けた場合のカメラ１２の画角の中に入っているか否かにより、当該撮影情報に係る画像データに、指定された座標が撮影されうるか否かを判断する。次に、撮影画像表示部３１６は、指定された座標が撮影されうると判断した撮影情報について、上記直線が３次元モデルの他の点を通る（もしくは他の点から所定の距離以下となる）か否かにより、または３次元モデルのポリゴンを通るか否かにより、指定された座標の撮影が妨げられるか否かを判断する。最後に撮影画像表示部３１６は、指定された座標の撮影が妨げられないと判断した撮影情報について、画像データを表示するようにすることができる。 Further, in the present embodiment, the user can select only the position of the abnormal portion on the screen 40, but the user may select any position (coordinates) other than the abnormal portion. In this case, as shown in FIG. 14, the images (44a, 44b, 44c) corresponding to the selected places (for example, 43a, 43b, 43c) are displayed. In this case, the captured image display unit 316 first determines, for each of the shooting information registered in the shooting information storage unit 351, a straight line from the coordinates of the flight position and flight altitude to the designated coordinates. It is determined whether or not the designated coordinates can be photographed in the image data related to the photographing information, depending on whether or not the coordinates are within the angle of view of the camera 12 when the camera 12 is directed to the viewpoint axis. . Next, the photographed image display unit 316 passes the straight line through another point of the three-dimensional model (or becomes a predetermined distance or less from the other point) regarding the photographed information that the designated coordinates can be photographed. Whether or not the photographing of the designated coordinates is hindered is determined depending on whether or not the polygon passes through the polygon of the three-dimensional model. Finally, the captured image display unit 316 can display image data for the captured information that is determined not to interfere with capturing of the designated coordinates.
１０ 飛行装置
１１ フライトコントローラ
１２ カメラ
１４ 送受信部
１６ ＥＳＣ
１７ モータ
１８ プロペラ
３０ 検査サーバ
５０ 通信ネットワーク
１０１ プロセッサ
１０２ メモリ
１０３ センサ類
１０４ ＧＰＳセンサ
１０５ 気圧センサ
１０６ 温度センサ
１０７ 加速度センサ
１１１ 指示受信部
１１２ 飛行制御部
１１３ 位置姿勢情報取得部
１１４ 撮影処理部
１１５ 撮影情報送信部
１５１ 位置姿勢情報記憶部
１５２ 撮影情報記憶部
３０１ ＣＰＵ
３０２ メモリ
３０３ 記憶装置
３０４ 通信装置
３０５ 入力装置
３０６ 出力装置
３１１ 飛行制御部
３１２ 撮影情報受信部
３１３ ３次元モデル作成部
３１４ 異常検出部
３１５ ３次元モデル表示部
３１６ 撮影画像表示部
３５１ 撮影情報記憶部
３５２ ３次元モデル記憶部
３５３ 異常情報記憶部
10 Flight Device 11 Flight Controller 12 Camera 14 Transmitter / Receiver 16 ESC
17 Motor 18 Propeller 30 Inspection Server 50 Communication Network 101 Processor 102 Memory 103 Sensors 104 GPS Sensor 105 Atmospheric Pressure Sensor 106 Temperature Sensor 107 Acceleration Sensor 111 Instruction Receiving Section 112 Flight Control Section 113 Position / Attitude Information Acquiring Section 114 Imaging Processing Section 115 Imaging Information Transmission unit 151 Position / orientation information storage unit 152 Imaging information storage unit 301 CPU
302 memory 303 storage device 304 communication device 305 input device 306 output device 311 flight control unit 312 shooting information receiving unit 313 three-dimensional model creation unit 314 anomaly detection unit 315 three-dimensional model display unit 316 shot image display unit 351 shooting information storage unit 352 Three-dimensional model storage unit 353 Abnormality information storage unit
Claims (3)
カメラを備える飛行装置が前記検査対象物を撮影した複数の画像に基づいて、前記検査対象物の３次元モデルを生成する３次元モデル生成部と、
前記複数の画像のそれぞれについて、前記画像に基づいて前記検査対象物の異常を検出する異常検出部と、
前記異常の位置をマッピングした前記３次元モデルを表示する３次元モデル表示部と、
を備え、
前記異常位置は、前記異常の形状とは異なるマークにより表示されており、
前記３次元モデル表示部は、前記マークをマッピングした３次元モデル上の前記異常の位置とは異なる位置を選択可能に構成されており、
前記複数の画像のいずれかで前記選択された異なる位置に対応する前記画像を表示する撮影画像表示部をさらに備え、
前記撮影画像表示部は、
まず、少なくとも各撮影時点の飛行位置および飛行高度の座標から前記選択された異なる位置の座標に向けた直線に基づき、前記選択された異なる位置が撮影されうるか否かを判断し、
つぎに、前記選択された異なる位置が撮影されうると判断された前記飛行位置および飛行高度の座標について、前記直線が、前記３次元モデル上の他の点の座標を通るか、もしくは、前記他の点の座標から所定の距離以下となるか否かにより、または、前記３次元モデルのポリゴンを通るか否かにより、前記選択された異なる位置の撮影が妨げられるか否かを判断し、
最後に、前記選択された異なる位置の撮影が妨げられないと判断した前記飛行位置および飛行高度の座標から撮影された前記選択された異なる位置に対応する画像を表示する、
ことを特徴とする検査システム。 An inspection system for inspecting an inspection object,
A three-dimensional model generation unit that generates a three-dimensional model of the inspection target based on a plurality of images of the inspection target captured by a flight device including a camera;
For each of the plurality of images, an abnormality detection unit that detects an abnormality of the inspection object based on the image,
A three-dimensional model display unit that displays the three-dimensional model in which the position of the abnormality is mapped,
Equipped with
The abnormal position is displayed by a mark different from the shape of the abnormality,
The three-dimensional model display unit is configured to be able to select a position different from the position of the abnormality on the three-dimensional model on which the mark is mapped,
Further comprising a captured image display unit that displays the image corresponding to the selected different position in any of the plurality of images ,
The captured image display section,
First, based on a straight line toward the coordinates of the selected different position from the coordinates of the flight position and the flight altitude at least at each shooting time, it is determined whether the selected different position can be taken,
Next, regarding the coordinates of the flight position and the flight altitude at which it is determined that the selected different position can be captured, the straight line passes through the coordinates of other points on the three-dimensional model, or It is determined whether or not shooting at the selected different position is hindered by whether the distance is equal to or less than a predetermined distance from the coordinates of the point, or whether the polygon of the three-dimensional model is passed.
Finally, displaying an image corresponding to the selected different position photographed from the coordinates of the flight position and the flight altitude, which are determined not to prevent the photographing of the selected different position.
An inspection system characterized by that.
The inspection system according to claim 1, wherein the abnormal position and the different position are displayed by different marks.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183342A JP6681101B2 (en) | 2019-10-03 | 2019-10-03 | Inspection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019183342A JP6681101B2 (en) | 2019-10-03 | 2019-10-03 | Inspection system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019153553A Division JP2019211486A (en) | 2019-08-26 | 2019-08-26 | Inspection system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020016663A JP2020016663A (en) | 2020-01-30 |
| JP6681101B2 true JP6681101B2 (en) | 2020-04-15 |
Family
ID=69581387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019183342A Active JP6681101B2 (en) | 2019-10-03 | 2019-10-03 | Inspection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6681101B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102588141B1 (en) * | 2022-10-13 | 2023-10-12 | 주식회사 승화기술 | Deep learning based exterior inspection method using dron image |
| CN115844712B (en) * | 2023-02-17 | 2023-05-26 | 四川大学 | Acupoint positioning method and device, traditional Chinese medicine physiotherapy equipment and storage medium |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004318790A (en) * | 2003-04-16 | 2004-11-11 | Im Soft Kk | Inspection device and inspection method for structure, and recording medium |
| JP2011170599A (en) * | 2010-02-18 | 2011-09-01 | Mitsubishi Electric Corp | Outdoor structure measuring instrument and outdoor structure measuring method |
| US20140375770A1 (en) * | 2012-08-31 | 2014-12-25 | Systèmes Pavemetrics Inc. | Method and apparatus for detection of foreign object debris |
| US9036892B2 (en) * | 2012-12-31 | 2015-05-19 | General Electric Company | Systems and methods for data entry in a non-destructive testing system |
| US9710573B2 (en) * | 2013-01-22 | 2017-07-18 | General Electric Company | Inspection data graphical filter |
| US11029352B2 (en) * | 2016-05-18 | 2021-06-08 | Skydio, Inc. | Unmanned aerial vehicle electromagnetic avoidance and utilization system |
| JP6868487B2 (en) * | 2016-06-30 | 2021-05-12 | 株式会社日立システムズ | Subject abnormality investigation system |
| JP2018021491A (en) * | 2016-08-02 | 2018-02-08 | 株式会社日立製作所 | System and flight route generating method |
| KR102029895B1 (en) * | 2016-09-30 | 2019-11-08 | (주)태성에스엔아이 | Method for Generating 3D Structure Model Mapped with Damage Information, and Media Being Recorded with Program Executing the Method |
-
2019
- 2019-10-03 JP JP2019183342A patent/JP6681101B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020016663A (en) | 2020-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7260269B2 (en) | Positioning system for aeronautical non-destructive inspection | |
| JP6658532B2 (en) | Control device, control method, and flying object device | |
| WO2019230604A1 (en) | Inspection system | |
| JP5473304B2 (en) | Remote location image display device, remote control device, vehicle control device, remote control system, remote control method, remote control program, vehicle control program, remote location image display method, remote location image display program | |
| JP6802599B1 (en) | Inspection system | |
| JP6765512B2 (en) | Flight path generation method, information processing device, flight path generation system, program and recording medium | |
| JP2023100642A (en) | inspection system | |
| JP6675537B1 (en) | Flight path generation device, flight path generation method and program, and structure inspection method | |
| US11122209B2 (en) | Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium | |
| WO2020062178A1 (en) | Map-based method for identifying target object, and control terminal | |
| US20190116309A1 (en) | Overhead line image capturing system and overhead line image capturing method | |
| JP2018021865A (en) | Mobile body, method for controlling mobile body, program for controlling mobile body, control system, and information processor | |
| JP6681101B2 (en) | Inspection system | |
| WO2020048365A1 (en) | Flight control method and device for aircraft, and terminal device and flight control system | |
| WO2021251441A1 (en) | Method, system, and program | |
| US20210229810A1 (en) | Information processing device, flight control method, and flight control system | |
| WO2020225979A1 (en) | Information processing device, information processing method, program, and information processing system | |
| CN111213107B (en) | Information processing device, imaging control method, program, and recording medium | |
| JP6681102B2 (en) | Inspection system | |
| JP7004374B1 (en) | Movement route generation method and program of moving object, management server, management system | |
| KR102181809B1 (en) | Apparatus and method for checking facility | |
| JP7437930B2 (en) | Mobile objects and imaging systems | |
| WO2021016867A1 (en) | Terminal device and data processing method therefor, and unmanned aerial vehicle and control method therefor | |
| JP2020135327A (en) | Flight body system, flight body, position measuring method and program | |
| WO2022113482A1 (en) | Information processing device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191005 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191005 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191015 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191017 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191107 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200214 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200221 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200227 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200312 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200313 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6681101 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |