JP7305263B2 - 無人航空機、点検方法および点検プログラム - Google Patents
無人航空機、点検方法および点検プログラム Download PDFInfo
- Publication number
- JP7305263B2 JP7305263B2 JP2019092851A JP2019092851A JP7305263B2 JP 7305263 B2 JP7305263 B2 JP 7305263B2 JP 2019092851 A JP2019092851 A JP 2019092851A JP 2019092851 A JP2019092851 A JP 2019092851A JP 7305263 B2 JP7305263 B2 JP 7305263B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- photographing
- camera
- angle
- failure information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 33
- 238000000034 method Methods 0.000 title claims description 15
- 238000003384 imaging method Methods 0.000 claims description 70
- 238000001514 detection method Methods 0.000 claims description 30
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 7
- 229910000831 Steel Inorganic materials 0.000 description 5
- 239000010959 steel Substances 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 206010034719 Personality change Diseases 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010000210 abortion Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Electric Cable Installation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
120:自立航法センサ 130:物体検出部
140:撮影カメラ 150:カメラ角度調整部
160:ロータ駆動部 170:記憶部
180:出力部 190:外部接続部190
200:制御部
Claims (20)
- 移動体の位置を検出する位置検出手段と、
対象物を撮影する撮影手段と、
対象物の相対位置を検出する検出手段と、
前記検出手段により検出された相対位置に基づき前記撮影手段による撮影方向の角度を制御する角度制御手段と、
前記撮影手段により対象物を撮影しているときに、前記撮影手段の撮影範囲から対象物が逸脱したか否かを判定する判定手段と、
前記判定手段により対象物が撮影範囲から逸脱したと判定されたとき、前記位置検出手段により検出された位置で特定される対象物の撮影範囲からの逸脱位置を含む撮影失敗情報を記憶する記憶手段と、
を有する無人飛行機。 - 前記判定手段は、前記撮影手段の撮影方向と前記検出手段の相対位置とに基づき対象物が撮影範囲を逸脱したか否かを判定する、請求項1に記載の無人航空機。
- 前記撮影手段の撮影方向は、前記撮影手段の撮影カメラの画角と前記角度制御手段により制御される角度とに基づき決定される、請求項2に記載の無人飛行機。
- 前記判定手段は、一定時間以上、対象物が撮影範囲から逸脱したか否かを判定し、前記撮影手段が1秒間にn個の映像フレームを生成するとき、前記判定手段は、m(mは、nよりも小さい自然数)個以上の映像フレームにおいて対象物が映像フレームから逸脱する場合に対象物が撮影範囲から逸脱したと判定し、m個未満の映像フレームにおいて対象物が映像フレームから逸脱する場合に対象物が撮影範囲から逸脱しないと判定する、請求項1ないし3いずれか1つに記載の無人飛行機。
- 前記撮影失敗情報はさらに、対象物の撮影範囲からの逸脱時間を含み、当該逸脱時間は、逸脱が発生した時刻および逸脱が継続した時間を含む、請求項1に記載の無人飛行機。
- 前記判定手段は、映像フレームの外周に一定のマージンを設定し、当該マージンの内側に対象物が撮影されているか否かにより対象物が逸脱したか否かを判定する、請求項1に記載の無人飛行機。
- 無人飛行機はさらに、前記検出手段により検出された相対位置に基づき対象物を追従するように飛行を制御する飛行制御手段を含む、請求項1ないし6いずれか1つに記載の無人飛行機。
- 無人飛行機はさらに、前記記憶手段に撮影失敗情報が記憶されていることを示す情報を出力する出力手段を含む、請求項1ないし7いずれか1つに記載の無人飛行機。
- 前記飛行制御手段は、前記撮影失敗情報が記憶されている場合に、前記撮影失敗情報に基づき対象物を再撮影するために飛行を制御する、請求項7に記載の無人飛行機。
- 前記飛行制御手段は、前記撮影失敗情報が記憶された場合に、飛行を中止する、請求項7に記載の無人飛行機。
- 前記検出手段は、対象物にレーザー光を照射し、その反射光を測定することで対象物までの距離および角度を測定するLiDARを含む、請求項1に記載の無人飛行機。
- 撮影カメラおよび対象物の相対位置を検出するセンサを備えた無人飛行機による対象物の点検方法であって、
移動体の位置を検出するステップと、
前記撮影カメラにより対象物を撮影中に、前記センサで検出された対象物の相対位置と、撮影カメラの画角とから撮影カメラが対象物を捉えたか否かを判定するステップと、
撮影カメラが対象物を捉えていないと判定した場合には、前記検出するステップにより検出された位置で特定される対象物が捉えていない位置を含む撮影失敗情報を記憶するステップとを含む、点検方法。 - 点検方法はさらに、前記撮影失敗情報が記憶されていることを示す情報を出力するステップを含む、請求項12に記載の点検方法。
- 点検方法はさらに、前記撮影失敗情報に基づき撮影失敗箇所を再撮影するために飛行を制御するステップを含む、請求項12または13に記載の点検方法。
- 前記撮影失敗情報はさらに、対象物の撮影範囲からの逸脱時間を含み、当該逸脱時間は、逸脱が発生した時刻および逸脱が継続した時間を含む、請求項12に記載の点検方法。
- 前記判定するステップは、撮影カメラの角度調整機構が搭載されている場合には、角度調整機構により調整された角度と、撮影カメラの画角と、センサにより検出された対象物の相対位置とから、撮影カメラが対象物を捉えたか否かを判定する、請求項12に記載の点検方法。
- 撮影カメラおよび対象物の相対位置を検出するセンサを備えた無人飛行機が実行する対象物の点検プログラムであって、
移動体の位置を検出するステップと、
前記撮影カメラにより対象物を撮影中に、前記センサで検出された対象物の相対位置と、撮影カメラの画角とから撮影カメラが対象物を捉えたか否かを判定するステップと、
撮影カメラが対象物を捉えていないと判定した場合には、前記検出するステップにより検出された位置で特定される対象物が捉えていない位置を含む撮影失敗情報を記憶するステップとを含む、点検プログラム。 - 点検プログラムはさらに、前記撮影失敗情報が記憶されていることを示す情報を出力するステップを含む、請求項17に記載の点検プログラム。
- 点検プログラムはさらに、前記撮影失敗情報に基づき撮影失敗箇所を再撮影するために飛行を制御するステップを含む、請求項17または18に記載の点検プログラム。
- 前記撮影失敗情報はさらに、対象物の撮影範囲からの逸脱時間を含み、当該逸脱時間は、逸脱が発生した時刻および逸脱が継続した時間を含む、請求項17に記載の点検プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092851A JP7305263B2 (ja) | 2019-05-16 | 2019-05-16 | 無人航空機、点検方法および点検プログラム |
US16/860,524 US11430101B2 (en) | 2019-05-16 | 2020-04-28 | Unmanned aerial vehicle, inspection method, and storage medium |
CN202010410540.2A CN111953892B (zh) | 2019-05-16 | 2020-05-15 | 无人飞行器、检查方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092851A JP7305263B2 (ja) | 2019-05-16 | 2019-05-16 | 無人航空機、点検方法および点検プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020185941A JP2020185941A (ja) | 2020-11-19 |
JP7305263B2 true JP7305263B2 (ja) | 2023-07-10 |
Family
ID=73222606
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019092851A Active JP7305263B2 (ja) | 2019-05-16 | 2019-05-16 | 無人航空機、点検方法および点検プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11430101B2 (ja) |
JP (1) | JP7305263B2 (ja) |
CN (1) | CN111953892B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105867361A (zh) * | 2016-04-18 | 2016-08-17 | 深圳市道通智能航空技术有限公司 | 一种飞行方向控制方法、装置及其无人机 |
WO2021153198A1 (ja) * | 2020-01-27 | 2021-08-05 | ソニーグループ株式会社 | 撮像制御装置および撮像制御方法 |
US11657373B2 (en) * | 2020-08-21 | 2023-05-23 | Accenture Global Solutions Limited | System and method for identifying structural asset features and damage |
US11631184B2 (en) * | 2020-09-18 | 2023-04-18 | Spirit Aerosystems, Inc. | Feature inspection system |
JP7436403B2 (ja) | 2021-01-28 | 2024-02-21 | 株式会社日立製作所 | 計測システム |
CN118092516B (zh) * | 2024-04-28 | 2024-06-25 | 昆明桑达科技有限公司 | 用于无人机河流遥感图像采集的转台控制方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (ja) | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2014177162A (ja) | 2013-03-14 | 2014-09-25 | Secom Co Ltd | 撮影システム |
WO2018163571A1 (ja) | 2017-03-10 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP2018152737A (ja) | 2017-03-13 | 2018-09-27 | ヤンマー株式会社 | 無人飛行撮影装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5187035B2 (ja) * | 2008-07-02 | 2013-04-24 | 株式会社ニコン | 撮像装置および画像処理装置、並びに画像処理プログラム |
US9774797B2 (en) * | 2014-04-18 | 2017-09-26 | Flir Systems, Inc. | Multi-sensor monitoring systems and methods |
CN205017413U (zh) * | 2015-09-01 | 2016-02-03 | 杨珊珊 | 基于无人飞行器的拍摄装置 |
CN106598063B (zh) * | 2015-10-14 | 2021-10-26 | 松下电器(美国)知识产权公司 | 无人飞行器及飞行控制方法 |
CN105578034A (zh) * | 2015-12-10 | 2016-05-11 | 深圳市道通智能航空技术有限公司 | 一种对目标进行跟踪拍摄的控制方法、控制装置及*** |
US10230889B2 (en) * | 2015-12-24 | 2019-03-12 | Panasonic Intellectual Property Corporation Of America | Unmanned aerial vehicle and control method |
JP6687488B2 (ja) * | 2015-12-24 | 2020-04-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 無人飛行体及びその制御方法 |
US9753461B1 (en) * | 2016-04-07 | 2017-09-05 | Google Inc. | Autonomous aerial cable inspection system |
US20210073692A1 (en) * | 2016-06-12 | 2021-03-11 | Green Grid Inc. | Method and system for utility infrastructure condition monitoring, detection and response |
CN107765709B (zh) * | 2016-08-22 | 2021-12-31 | 广州亿航智能技术有限公司 | 基于飞行器实现自拍的方法及装置 |
JP2018114807A (ja) * | 2017-01-17 | 2018-07-26 | 中国電力株式会社 | 無人飛行体及び飛行システム |
JP6495562B1 (ja) * | 2017-04-28 | 2019-04-03 | 株式会社オプティム | 無人飛行体による空撮システム、方法及びプログラム |
WO2019093967A1 (en) * | 2017-11-08 | 2019-05-16 | Prohibition X Pte. Ltd. | Surveillance with an unmanned aerial vehicle |
US11531050B2 (en) * | 2019-12-20 | 2022-12-20 | Dish Network L.L.C. | Methods, systems, and apparatus for low-power, wireless, power line fault detection |
-
2019
- 2019-05-16 JP JP2019092851A patent/JP7305263B2/ja active Active
-
2020
- 2020-04-28 US US16/860,524 patent/US11430101B2/en active Active
- 2020-05-15 CN CN202010410540.2A patent/CN111953892B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006027448A (ja) | 2004-07-16 | 2006-02-02 | Chugoku Electric Power Co Inc:The | 無人飛行体を利用した空撮方法及びその装置 |
JP2014177162A (ja) | 2013-03-14 | 2014-09-25 | Secom Co Ltd | 撮影システム |
WO2018163571A1 (ja) | 2017-03-10 | 2018-09-13 | ソニー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
JP2018152737A (ja) | 2017-03-13 | 2018-09-27 | ヤンマー株式会社 | 無人飛行撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111953892B (zh) | 2024-01-26 |
JP2020185941A (ja) | 2020-11-19 |
US11430101B2 (en) | 2022-08-30 |
US20200364848A1 (en) | 2020-11-19 |
CN111953892A (zh) | 2020-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7305263B2 (ja) | 無人航空機、点検方法および点検プログラム | |
JP6930616B2 (ja) | 制御装置、制御方法および飛行体デバイス | |
JP6326237B2 (ja) | 測定システム | |
JP6601554B2 (ja) | 無人航空機、無人航空機制御システム、飛行制御方法およびコンピュータプログラム | |
JP6055274B2 (ja) | 航空写真測定方法及び航空写真測定システム | |
ES2890855T3 (es) | Procedimiento para determinar un camino a lo largo de un objeto, sistema y procedimiento para inspeccionar automáticamente un objeto y para comprobar la continuidad eléctrica de un pararrayos del objeto | |
JP2006027448A (ja) | 無人飛行体を利用した空撮方法及びその装置 | |
JP6957304B2 (ja) | 架線撮影システム及び架線撮影方法 | |
JP6812667B2 (ja) | 無人飛行装置制御システム、無人飛行装置制御方法および無人飛行装置 | |
JP2006027331A (ja) | 無人飛行体を利用した航空映像情報の収集方法 | |
JP6581839B2 (ja) | 構造物の状態検査方法 | |
JP7362203B2 (ja) | 無人移動体 | |
WO2020218066A1 (ja) | 検査システム | |
WO2017078046A1 (ja) | 表面検査装置およびこれを用いた表面検査方法 | |
JP2018138923A (ja) | 測定システム | |
WO2019230604A1 (ja) | 検査システム | |
JP7428461B2 (ja) | 無人航空機システムおよび飛行制御方法 | |
JP6681101B2 (ja) | 検査システム | |
JP2005289127A (ja) | 飛行装置の姿勢位置制御システムおよび姿勢位置制御装置 | |
JP2019219874A (ja) | 自律移動撮影制御システムおよび自律移動体 | |
JP2005207862A (ja) | 目標位置情報取得システム及び目標位置情報取得方法 | |
JP2018138922A (ja) | 測定システム | |
JP2019018664A (ja) | 撮像制御システム | |
JP2018046348A (ja) | 飛行型点検装置 | |
JP6974290B2 (ja) | 位置推定装置、位置推定方法、プログラム、及び記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230307 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230627 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7305263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |