JP2022554248A - 無人飛行体を使用する構造体スキャン - Google Patents
無人飛行体を使用する構造体スキャン Download PDFInfo
- Publication number
- JP2022554248A JP2022554248A JP2022525005A JP2022525005A JP2022554248A JP 2022554248 A JP2022554248 A JP 2022554248A JP 2022525005 A JP2022525005 A JP 2022525005A JP 2022525005 A JP2022525005 A JP 2022525005A JP 2022554248 A JP2022554248 A JP 2022554248A
- Authority
- JP
- Japan
- Prior art keywords
- unmanned air
- air vehicle
- image
- facets
- poses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 183
- 230000007246 mechanism Effects 0.000 claims description 56
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 13
- 238000010276 construction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 description 100
- 238000012545 processing Methods 0.000 description 55
- 238000004891 communication Methods 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 238000013459 approach Methods 0.000 description 9
- 238000013500 data storage Methods 0.000 description 9
- 238000003032 molecular docking Methods 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 230000004807 localization Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000002459 sustained effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000001816 cooling Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 239000004606 Fillers/Extenders Substances 0.000 description 1
- 229920001410 Microfiber Polymers 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000009530 blood pressure measurement Methods 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000001035 drying Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000003658 microfiber Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009419 refurbishment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
- B64U70/90—Launching from or landing on platforms
- B64U70/97—Means for guiding the UAV to a specific location on the platform, e.g. platform structures preventing landing off-centre
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/606—Compensating for or utilising external environmental conditions, e.g. wind or water currents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/176—Urban or other man-made structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/003—Flight plan management
- G08G5/0034—Assembly of a flight plan
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/04—Anti-collision systems
- G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/25—UAVs specially adapted for particular uses or applications for manufacturing or servicing
- B64U2101/26—UAVs specially adapted for particular uses or applications for manufacturing or servicing for manufacturing, inspections or repairs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U80/00—Transport or storage specially adapted for UAVs
- B64U80/10—Transport or storage specially adapted for UAVs with means for moving the UAV to a supply or launch location, e.g. robotic arms or carousels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U80/00—Transport or storage specially adapted for UAVs
- B64U80/20—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV
- B64U80/25—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV for recharging batteries; for refuelling
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Astronomy & Astrophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
本明細書で開示されるのは、無人飛行体を使用する構造体スキャンのためのシステムおよび方法である。たとえば、いくつかの方法は、構造体の3次元マップにアクセスすることと;3次元マップに基づいて、ファセットがそれぞれ3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形であるファセットを生成することと;ファセットに基づいて、無人飛行体の画像センサを使用する構造体の画像のキャプチャを可能にするために無人飛行体がとる一連の姿勢を含むスキャン計画を生成することと;スキャン計画の一連の姿勢のうちの1つの姿勢に対応する姿勢をとるように無人飛行体を飛行させることと;その姿勢から構造体の1つ以上の画像をキャプチャすることとを含む。
Description
本開示は、無人飛行体を使用する構造スキャンに関する。
他の方法では到達困難な見晴らし地点から画像をキャプチャするために、無人飛行体(たとえばドローン)を使用することができる。ドローンは、典型的には、無人飛行体の動きと画像キャプチャ機能とを遠隔制御するための専用コントローラを使用して人間によって動作させされる。認識されたユーザまたはビーコンデバイスを携行するユーザが環境内を移動するにつれてそのユーザを追跡しながらビデオを録画するなど、いくつかの自動化画像キャプチャモードが実装されている。
本開示は、以下の詳細の説明を添付図面とともに読めば最もよく理解することができる。一般的慣行に従い、図面の様々な特徴は一律の縮尺ではないことを強調しておく。それどころか様々な特徴の寸法は、わかりやすくするために適宜に拡大または縮小されている。
自律無人飛行体の価値と課題の大部分は、ロバストな完全自律任務を可能にすることにある。本明細書で開示されるのは、無人飛行体(UAV)を使用して綿密で再現可能な方式で構造体(たとえば屋根、橋梁または建設現場)をスキャンするための技術である。いくつかの実装形態は:スキャンデータの機械学習または人間による検討を使用した構造体メンテナンス問題のよりロバストな検出を容易にすることができる、撮像される構造体の表面のセクションに対して一定した距離および向きを維持することによる、無人飛行体の手動制御によって実現可能なよりも一定した構造体スキャン画像のフレーミングの提供;人間の操作者の注意の必要の軽減;および/または、大規模構造体のより高速な広範スキャンなどの、従来のシステムに優る利点を提供することができる。
実装形態によっては、関心のある構造体のユーザ提供の大まかな境界ボックスに基づいて、第1の解像度で構造体の3次元マップを取得するために、レンジセンサ(たとえば、立体コンピュータビジョン用に構成された画像センサのアレイ)による初期粗スキャンが行われる。次に、その3次元マップに基づいて1組のファセットが生成される。実装形態によっては、構造体の概観画像(たとえば静止画像)におけるファセットの2次元多角形投影としてファセットを提示することによって、その1組のファセットに関するユーザフィードバックが求められる。ユーザは、3次元において存在するファセットへの対応する変更を加えるために、2次元多角形を編集することができるようにされてもよい。その1組のファセットに基づいてスキャン計画が生成され、スキャン計画は、スキャンされ、ファセットによってモデル化される表面に近い無人飛行体の一連の姿勢を含む。たとえば、スキャン計画の姿勢は、正射投影姿勢であり、スキャンされる表面に対して一定した距離にあってもよい。スキャン計画は、次に、それらの姿勢までUAVを操作し、ファセットの比較的高解像度の画像をキャプチャすることによって実行され、ファセットは互いにスティッチング可能である。キャプチャされた画像は、人間または訓練済み機械学習モジュールによってリアルタイムまたはオフラインで調べることができる。
大規模構造物の場合、スキャン計画は、UAVのバッテリの多数の充電サイクルにわたって実行可能である。この機能は、特別にマークが付けられたドックにおける完全自動ドッキングおよび充電を使用して大幅に強化される。自動ドッキングおよび充電は、一連の姿勢のうちの姿勢の後にスキャン計画を一時停止し、充電セッションが完了した後で、一連の姿勢のうちの次の姿勢においてロバストにローカライズして、人間の介在により大規模スキャンを行うことができる機能とともに使用されてもよい。たとえば、次の姿勢におけるローカライゼーションは、高解像度ローカライゼーションと障害物検出および回避のためにロバストな視覚慣性オドメトリ(VIO)を使用することによって容易にされてもよい。
実装形態によっては、セットアップ段階で、最初にユーザが地上で無人飛行体を,スキャンされる構造体(たとえば屋根のある建物)の方向に向けて設定する。ユーザは、無人飛行体のユーザインターフェースにおいて「離陸」を打ってもよい。無人飛行体は離陸し、関心のある標的家屋の上方まで斜め方向に移動し、下の建物の屋根を直下に見下ろして視野内の該当領域の全部をキャプチャするのに十分な高さに飛び上がる。
ユーザインターフェースには多角形が示され、ユーザは、スキャンのために関心のある屋根があるエリアを識別するために、多角形の頂点をドラッグすることができる。次に、ユーザは3次元空間において関心のある屋根がある体積を画定する(たとえば地面を基準にした)およその高さを選択することができる。これで、スキャンが行われる3次元空間が指定されたことになる。この概観見晴らし点においてカメラ画像の撮影も可能であり、ユーザインターフェースにおいて静止視点として使用される。無人飛行体が飛行を続け、屋根に近づくにつれて、画面上の画像が概観画面において静止されるが、無人飛行体の3次元レンダーが、物理ドローンが存在することになる場所に対して正しい観点でユーザインターフェースに描画される。これによりユーザは画像内の無人飛行体と、今後のステップにおける形状推定および経路計画の状態を見ることができる。
たとえば、前に未完了であったスキャンから進行を続けるため、または前に行われたスキャンを繰り返すために、無人飛行体が、ヴィークルに保存されているかまたはユーザデバイスに記憶されているデータをロードすることができるようにされてもよい。この場合、ヴィークルがオーバーヘッドビューに達した後、無人飛行体は、探索段階をスキップし、視覚データと慣性データに基づいてそれ自体を再ローカライズすることができる。再ローカライゼーションは、いかなるグローバルポジショニングサービスも視覚的基準マーク(fiducial)/データも必要なしに可能にされ得る。
初期探索段階において、3次元境界ボックスが画定された後、屋根の角における斜景から少数の関心のある点が生成され、飛行される。無人飛行体は、次に、屋根の初期3次元マップを取得するために飛行経路(たとえば、動的な表面に相対的な飛行経路)を飛行してもよい。これは、屋根の表面の上方の固定した高度を飛行するように動的局所障害物マップを使用しながら、芝刈り機型往復パターンで飛行することによって行われてもよい。立体撮像を使用して距離情報が屋根全体の単一の3次元マップに蓄積されてもよい。高品質3次元マップを得る(たとえば、表面に近接、多数の通過、低速飛行)こととマップを迅速に取得する(たとえば、表面からより遠い、より少数の通過、高速飛行)こととの間のトレードオフをとるように、芝刈り機パターン格子のサイズと表面の上方の高さとが選定されてもよい。これらの技術は、マッピングデータを生成するために自律した表面に相対的なパターンを飛行することを可能にし得る。
本明細書に記載の構造体スキャニング技術を実装するために、無人飛行体内の処理装置上で、および/または、UAV用コントローラ上で走るソフトウェアが使用されてもよい。
図1は、無人飛行体110を使用する構造体スキャンのためのシステム100の一例を示す図である。システム100は、無人飛行体110と、コントローラ120と、ドッキングステーション130とを含む。コントローラ120は、ビデオまたは画像を受信するためとコマンド(たとえば、離陸、着陸、追従、手動制御、および/または、構造体(たとえば屋根、橋梁または建設中の建物)の自律または半自律スキャンの実施に関連するコマンド)を発行するために、無線通信リンクを介して(たとえばWiFiネットワークまたはBluetoothリンクを介して)無人飛行体110と通信することができる。たとえば、コントローラ120は、図2Cのコントローラ250であってもよい。実装形態によっては、コントローラは、無人飛行体110と通信し、制御するように構成されたソフトウェアを走らせるスマートフォン、タブレット、またはラップトップを含む。たとえば、システム100は図6のプロセス600を実施するために使用可能である。たとえば、システム100は図7のプロセス700を実施するために使用可能である。たとえば、システム100は図8のプロセス800を実施するために使用可能である。たとえば、システム100は図9のプロセス900を実施するために使用可能である。たとえば、システム100は図10のプロセス1000を実施するために使用可能である。
無人飛行体110は、(たとえばプロペラとモータとを含む)推進機構と、1つ以上の画像センサと、処理装置とを含む。たとえば、無人飛行体110は図2A-図2Bの無人飛行体200であってもよい。たとえば、無人飛行体110は図4のハードウェア構成400を含んでもよい。処理装置(たとえば処理装置410)は:構造体の表面上の3次元空間における点のセットを符号化する構造体の3次元マップにアクセスし;3次元マップに基づいて、1つ以上のファセットのうちの所与のファセットが、3次元マップにおける点のサブセットに適合させた3次元空間における面上の多角形である1つ以上のファセットを生成し;1つ以上のファセットに基づいて、1つ以上の画像センサを使用して1つ以上のファセットのそれぞれから一定した距離における構造体の画像のキャプチャを可能にするようにとる無人飛行体110の一連の姿勢を含むスキャン計画を生成し;スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体110を飛行させるために推進機構を制御し;1つ以上の画像センサを使用して、その姿勢から構造体の1つ以上の画像をキャプチャするように構成可能である。処理装置は、スキャン計画の一連の姿勢のそれぞれに対応する姿勢をとるように無人飛行体110を飛行させるために推進機構を制御することによって、スキャン計画の実行を継続し;1つ以上のファセットのすべてをカバーする画像がキャプチャされるまで、1つ以上の画像センサを使用してこれらの姿勢のそれぞれから構造体の1つ以上の画像をキャプチャするようにさらに構成可能である。実装形態によっては、処理装置は、構造体の1つ以上の表面の合成画像を得るために、キャプチャされた画像を互いにスティッチングするように構成されてもよい。たとえば、画像のスティッチングは、ファセットまたは1つ以上のファセットの境界に関連付けられた3次元マップ点など、それぞれのファセットを介して画像に関連付けられた帯域外情報に部分的に基づいて行われてもよい。たとえば、スキャン計画の一連の姿勢は、無人飛行体の画像センサ(たとえば画像センサ220)がファセットの表面に対する法線に沿ってファセットの方に向くように、1つ以上のファセットのそれぞれの正射影撮像のための姿勢であってもよい。たとえば、構造体は建物の屋根であってもよい。たとえば、構造体は橋梁であってもよい。たとえば、構造体は建設中の建物であってもよい。
実装形態によっては、無人飛行体110は、部分的に、構造体の3次元マップの自動解析に基づいて生成される提案ファセットのユーザフィードバックと編集を求めることによって、ファセットを生成するように構成される。たとえば、無人飛行体110の処理装置は:1つ以上の画像センサを使用して構造体の概観画像をキャプチャし;3次元マップに基づいてファセット提案を生成し;3次元マップの点のサブセットの凸包として2次元多角形を決定し、点のサブセットが概観画像の画像面内に投影されたときのファセット提案に対応しており;概観画像上に重ねられた2次元多角形を提示し;2次元多角形のユーザ編集を示すデータに基づいて概観画像の画像面における編集された2次元多角形を決定し;編集された2次元画像に基づいて1つ以上のファセットのうちの1つを決定するように構成可能である。実装形態によっては、処理装置は:概観画像上に重ねられた2次元多角形を提示する前に、2次元多角形から凸エッジを除去し、凸エッジに隣接する2次元多角形のエッジを、延長されたエッジが互いに交わる点まで延長することによって、2次元多角形を単純化するように構成される。たとえば、処理装置は、凸エッジの除去が2次元多角形の面積を閾値未満の量だけ増大させることを確認するように構成されてもよい。たとえば、処理装置は、凸エッジの除去が2次元多角形の全周を閾値未満の量だけ増大させることを確認するように構成されてもよい。
実装形態によっては、無人飛行体110は、レンジセンサ(たとえば、立体コンピュータビジョン用に構成された画像センサのアレイ、レーダーセンサ、および/またはライダーセンサ)を使用して構造体の初期粗スキャンを行うことによって、構造体の3次元マップを生成するためにも使用される。たとえば、無人飛行体110は、距離データを提供するために使用される立体撮像をサポートするように構成された1つ以上の画像センサを含んでもよい。たとえば、処理装置は:無人飛行体110を構造体の近傍を飛行させるように推進機構を制御し;3次元マップを生成するために1つ以上の画像センサを使用して構造体をスキャンするように構成されてもよい。実装形態によっては、構造体は、ファセット撮像のために使用される一定した距離よりも大きい距離から3次元マップを生成するようにスキャンされる。
たとえば、生成されたファセットに基づくスキャン計画は、スキャン計画の実行が開始する前に承認を得るためにユーザに提示されてもよい。実装形態によっては、処理装置は:1つ以上の画像センサを使用して構造体の概観画像をキャプチャし;概観画像上に重ねられたスキャン計画のグラフィカル表現をユーザに提示し;ユーザからスキャン計画の承認を示すインディケーションを受け取るように構成される。
実装形態によっては、スキャン計画は、動的に検出された障害物または閉鎖部に適応するためと、無人飛行体110がファセットによって表された構造体の表面に近づくにつれて利用可能になるより高い解像度のセンサデータを利用するために、スキャン計画の実行中に動的に更新されてもよい。たとえば、処理装置は:1つ以上の画像センサを使用してキャプチャされた画像に基づいて、スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に障害物を検出し;その障害物を回避するためにスキャン計画の一連の姿勢のうちの姿勢を動的に調整するように構成されてもよい。
ファセットは、構造体の表面(たとえば屋根)を近似する、3次元空間において適切な向きに向けられた多角形である。真の表面は必ずしもこの平面モデルには一致しない。逸脱は、真の表面に対応するファセットからの実際の表面の点の距離である。たとえば、逸脱は、屋根上の通気キャップや小型天窓などのより小さな特徴をモデル化することができないファセット推定プロセスに固有の集約によって生じることがある。逸脱は、3次元スキャンプロセスにおける誤差によっても生じることがある。逸脱は、スキャン計画の実行中にクローズアップからキャプチャされる画像(たとえば、立体視を提供する2つ以上の画像)を解析することによって検出される。スキャン計画の画像キャプチャのための通常姿勢に近づくにつれて利用可能になる、逸脱に関するより高解像度のデータを考慮に入れて、実際の表面からの一定した距離を維持するために調整が加えられる。たとえば、処理装置は:スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に、1つ以上の画像センサを使用してキャプチャされた画像に基づいて、1つ以上のファセットのうちの1つのファセットからの構造体の表面上の点の逸脱を検出し;その逸脱に適応するようにスキャン計画の一連の姿勢のうちの姿勢を動的に調整し、画像キャプチャのための一定した距離を維持するように構成されてもよい。
無人飛行体110は、ユーザによる閲覧、記憶、および/またはさらなるオフライン解析のために、スキャン計画の実行中にキャプチャされた画像データおよび/またはその他のセンサデータをコントローラ120に出力してもよい。たとえば、処理装置は:1つ以上のファセットのそれぞれについて面積推定値を決定し;1つ以上のファセットと、1つ以上のファセットのそれぞれの面積推定値と、スキャン計画の実行中にキャプチャされた構造体の画像とを含むデータ構造を提示するように構成されてもよい。たとえば、面積推定値は、ファセットに対応する構造体の部分に対するメンテナンス作業のために対応するコスト推定値に変換されるか、または対応するコスト推定値が伴われてもよい。無人飛行体110からの出力は、スキャン計画の実行によって達成された構造体のカバレッジを示すインディケーションも含み得る。たとえば、処理装置は:スキャン計画の実行中に1つ以上のファセットのうちのどのファセットが成功裏に撮像されたかを示す1つ以上のファセットのカバレッジマップを生成し;カバレッジマップを(たとえばカバレッジマップを符号化するデータをコントローラ120に送信することを介して)提示するように構成されてもよい。
いくつかの構造体は、無人飛行体110のバッテリの1回の充電でスキャン計画の実行を完了するには大きすぎる場合がある。無人飛行体110が着陸して再充電している間にスキャン計画の実行を中断してから、スキャン計画の実行を中断したところから継続するのが有用であることがある。たとえば、スキャン計画の実行が中断されている間にドッキングステーション130が無人飛行体110の安全な着陸と充電を容易にすることができる。実装形態によっては、処理装置は:スキャン計画の開始後、完了前に、スキャン計画の一連の姿勢のうちの次の姿勢を示すスキャン計画状態を記憶し;スキャン計画状態の記憶後に、無人飛行体を着陸するように飛行させるために推進機構を制御し;着陸後に、無人飛行体を離陸するように飛行させるために推進機構を制御し;スキャン計画状態にアクセスし;スキャン計画状態に基づいて、無人飛行体を次の姿勢をとってスキャン計画の実行を継続するように飛行させるために推進機構を制御するように構成される。たとえば、スキャン計画状態は、飛行計画のコピーと、スキャン計画の一連の姿勢における次の姿勢を指すポインタなどの次の姿勢を示すインディケーションとを含んでもよい。実装形態によっては、ドッキングステーションは、無人飛行体110の自動着陸充電と離陸とを可能にするように構成される。たとえば、ドッキングステーション130は図3のドック300であってもよい。
図2Aは、上記のような構造体スキャンのために構成された無人飛行体200の一例を示す図である。無人飛行体200は、4枚のプロペラと、プロペラを回転させるように構成されたモータとを含む推進機構210を含む。たとえば、無人飛行体200は、クワッドコプタードローンであってもよい。無人飛行体200は、安定した、低ぼけ画像キャプチャおよび目標追跡をサポートするために、ジンバルに取り付けられた高解像度画像センサ220を含む、画像センサを含む。たとえば、画像センサ220は、スキャン計画の実行中に構造体の表面を高解像度スキャンするために使用可能である。無人飛行体200は、無人飛行体200の最上部の周囲に間隔を空けて配置された、広い視野を提供し、立体コンピュータビジョンをサポートするためのそれぞれの魚眼レンズによって覆われた、より低解像度の画像センサ221、222および223も含む。無人飛行体200は、内蔵処理装置(図2Aには図示せず)も含む。たとえば、無人飛行体200は、図4のハードウェア構成400を含んでもよい。実装形態によっては、処理装置は、ドッキングステーション(たとえば図3のドック300)に入るときにプロペラを自動的に畳むように構成され、それにより、ドックは推進機構210のプロペラが掃引する面積より小さい占有面積を有することができる。
図2Bは、以下のような構造体スキャンのために構成された無人飛行体200の一例を示す図である。この視点からは、無人飛行体200の底部に配置されたさらに3つの画像センサ;画像センサ224、画像センサ225および画像センサ226が見える。これらの画像センサ(224-226)も、広い視野を提供し、立体コンピュータビジョンをサポートするために、それぞれの魚眼レンズによって覆われてもよい。この画像センサのアレイ(220-226)は、高解像度ローカライゼーションと障害物検出および回避のための視覚慣性オドメトリ(VIO)を可能にし得る。たとえば、画像センサのアレイ(220-226)は、距離データを取得し、構造体の3次元マップを生成するように構造体をスキャンするために使用されてもよい。
無人飛行体200は、着陸面310上に自律着陸するように構成されてもよい。無人飛行体200は、バッテリ充電を可能にするために導電接点230を備えた、無人飛行体200の底部に装着されたバッテリパック240内のバッテリも含む。たとえば、ドック300の着陸面310上に無人飛行体200を着陸させるために、図3に関連して説明する技術が使用されてもよい。
バッテリパック240の底面は、無人飛行体200の底面である。バッテリパック240は、漏斗形の底部において着陸面310上に収まるような形状とされる。無人飛行体200が着陸面310への最終接近を行うとき、バッテリパック240の底部が着陸面310に接触し、漏斗部の先細側面によって漏斗部の底部の中央位置に機械的に誘導されることになる。着陸が完了すると、バッテリパック240の導電接点が、着陸面310上の導電接点330と接触することができ、無人飛行体200のバッテリの充電を可能にするように電気接続する。ドック300は、無人飛行体200が着陸面310にある間にバッテリに充電するように構成された充電器を含み得る。
図2Cは、無人飛行体用のコントローラ250の一例を示す図である。コントローラ250は、無人飛行体を制御し、無人飛行体から受信したデータ(たとえば画像)を検討するためのユーザインターフェースを提供することができる。コントローラ250は、タッチスクリーン260と;左ジョイスティック270と;右ジョイスティック272とを含む。この例では、タッチスクリーン260は、左ジョイスティック270と右ジョイスティック272とを含む追加の制御面の提供に加えて無人飛行体とのより長距離の通信のための距離延長通信能力を提供することができる、コントローラ装着部282に接続するスマートフォン280の一部である。
実装形態によっては、遠隔コントローラデバイス(たとえばコントローラ250またはスマートフォン)を使用して制御される無人飛行体用の遠隔コントローラデバイスのプロセッサ上で走るアプリケーションによって処理(たとえば画像処理および制御機能)が行われてもよい。このような遠隔コントローラデバイスは、無人飛行体によって提供されるビデオコンテンツを使用してアプリケーションがすべての機能を提供する、対話型機能を提供することができる。たとえば、図6-図12のプロセス600、700、800、900、1000,1100、および1200の様々なステップが、無人飛行体を制御するために無人飛行体と通信する遠隔コントローラデバイス(たとえばコントローラ250またはスマートフォン)のプロセッサを使用して実施されてもよい。
自律無人飛行体の価値および課題の大部分は、ロバストな完全自律任務を可能にすることにある。本明細書で開示されるのは、無人飛行体(UAV)の無人充電、離陸、着陸および任務計画を可能にするドックプラットフォームである。いくつかの実装形態は、そのようなプラットフォームの信頼性のある動作と、システムを多様な民生用および商業アプリケーションによるアクセスを可能にする関連アプリケーションプログラミングインターフェース設計を可能にする。
ドローンを動作させるための最大の制限要因の1つはバッテリである。典型的なドローンは、新たなバッテリパックを必要とするまでに20分-30分間動作することができる。これは、人間の介在なしに自律ドローンが動作可能な時間の長さを制限する。バッテリパックが消耗すると、操作者はドローンを着陸させ、そのパックをフル充電されたパックと交換する必要がある。バッテリ技術が向上し、より高いエネルギー密度を実現し続けているが、その向上は少しずつであり、持続自律動作のための明確なロードマップを描くことはできない。定期的な人間の介入の必要を軽減する1つの手法は、何らかの種類の自動化ベースステーションによってバッテリ管理動作を自動化することである。
本明細書に開示されたいくつかの方法は、はるかに小さい標的へのピンポイント着陸を行うことができる視覚追跡および制御ソフトウェアを利用する。ベースステーションを基準にした絶対位置追跡を支援するために視覚的基準マークを使用することによって、UAV(たとえばドローン)は様々な環境条件において5cm×5cmの標的に確実に的中し得る。この結果、いかなる複雑な作動構造または大型の構造も必要とせずに、UAVの構造の他の部分の下に1組の充電接点まで延びる、UAVのバッテリを誘導するのに役立つ小型の受動漏斗形幾何形状の助けにより、UAVがきわめて正確に位置づけられることになる。これは、単純に1組のばね接点と視覚タグを中に備えた漏斗形ネストからなるベースステーションの基本的実装形態を可能にし得る。着陸時にUAVが典型的に受ける乱流地面効果を低減するために、このネストは地面の上方に高く配置することが可能であり、ネスト自体のプロファイルは、着陸時にUAVのプロップウォッシュ間の中央に留まるように十分に小さくすることができる。プロップウォッシュ、またはプロペラウォッシュは、飛行機のプロペラによって押された空気の乱れた塊である。GPS利用不能環境における信頼性のある動作を可能にするために、ネスト内の基準マーク(たとえば小型の視覚タグ)には、ベースステーション付近の地面に広げることができるかまたは付近の壁に取り付けることができる柔軟性マットなど、着陸ネストの外部のどこかに配置される、より大型の基準マーク(たとえば大型の視覚タグ)が追加されてもよい。追加視覚タグは、UAVが、UAVの任務の間に増大する可能性がある視覚慣性オドメトリ(VIO)飛行ドリフトにかかわりなく、GPS利用不能環境において着陸ネストを基準にしたUAVの絶対位置を再取得することを可能にするように、かなり離れた距離からUAVが容易に見つけることができる。最後に、UAVが広い領域をカバーすることができるように、UAVとの信頼性のある通信リンクが維持可能である。ほとんどの場合、理想的な着陸再充電場所は送信機を設置するのに適した場所ではないため、通信回路は、理想的には最大カバレッジのための高い位置の、目的任務空間の中心となる場所に置くのが可能な別個の距離延長モジュール内に置かれてもよい。
このようなシステムの単純さと低コストは、より複雑で高価なバッテリ交換システムと比較した場合、バッテリが再充電される間にUAVが利用不能な時間を埋め合わせる。多くのユースケースでは断続的な動作で十分であり、より広いUAVカバレッジを必要とするユーザは、別のUAVとベースステーションシステムを追加することによってUAVの可用性を単純に増大させることができる。このより安価な手法は、大型で高価なバッテリ交換システムとの費用競争力を有することができ、システム全体を停止させる単一点障害の可能性をなくすことによってシステム信頼性を大幅に向上させることも可能である。
UAV(たとえばドローン)は風雨から保護される必要があるが、UAVがアクセス可能な既存の構造体が利用できないユースケースの場合、UAVネストを小型のカスタム格納庫に収容することができる。この格納庫は、UAVが下に着陸し、風よけとして機能して強風でもUAVを進入させ、精密着陸させる屋根のない出入り領域に取り付けられた屋根付きセクションからなってもよい。このようなシェルターの1つの有用な特徴は、ドローンの下降気流を、内部で乱流により循環して安定した飛行に悪影響を与えるのではなく構造体から離れさせる壁の底部の全周に沿った開放セクションまたは通気セクションであろう。
UAV(たとえばドローン)が塵埃、冷気、盗難などからよりロバストに安全にされる必要があるユースケースの場合、機械化された箱入りドローン筐体が使用されてもよい。たとえば、UAV自体より少しだけ大きい引き出し状の箱がUAVのドックとして使用されてもよい。実装形態によっては、箱の側部の電動式ドアが、UAVの下降気流に巻き込まれないように180度開くことができる。たとえば、箱内に、UAVが離陸または着陸するときにUAVが箱に触れないように十分間隔を空けてUAVを保持するテレスコープ伸縮式線状スライドが充電ネストに取り付けられてもよい。実装形態によっては、UAVが着陸した後は、プロペラを小さい空間に折り畳み、プロペラをドアの妨げにならないように移動させるためにUAVがプロペラをゆっくり後方に回転させている間に、スライドがUAVを箱内に引き戻すことになる。これにより、箱の占有面積を、UAVがプロペラを掃引させる面積よりも小さくすることができる。実装形態によっては、ドアをドアのモータに接続する2バー結合部が、閉じられるとドアを外側から引っ張ることによってモータをバックドライブすることができないように中心を通過して回転し、それによってドアを実質的にロックするように設計される。たとえば、UAVは、ソフトローラでUAVをネスト内にしっかりと押し込むためにスライドの動きの最後の数センチメートルを利用する結合機構によってネスト内に物理的に固定されてもよい。固定された後は、箱は安全に運搬可能であり、さらにUAVを箱から外れさせずにひっくり返すことも可能である。
この作動筐体設計は、着陸時に地面効果を回避するようにUAVが確実に地面の上方の十分高い位置にあるようにする高架基部上にシェルフ取り付けされるかまたは自立してもよい。箱の正方形プロファイルは、同時に多数のドローンが互いに妨害せずに離着陸することができるように、各箱がその下の箱に対して90°回転されるマルチドローンハイブ構成用に多数の箱を互いに重ねて置くのを簡単にする。箱が閉じられるとUAVは筐体内に物理的に固定されるため、箱は自動車またはトラックに取り付けることができ、飛行体が移動している間に充電途絶を経験することを回避することができる。たとえば、UAVが箱から横向きに配置につく実装形態では、箱は、着陸または離陸しないときに確実に完全に邪魔にならないようにするために、壁に埋め込み式に取り付け可能である。
箱は閉じられるときわめて高いイングレスプロテクション(IP)等級を有するように製作可能であり、システムを多くの屋外環境で機能させるように基本的な冷却および加熱システムを備えることができる。たとえば、筐体の内部を環境中の塵埃から保護するために吸気冷却ファンを覆う高性能粒子吸収(HEPA)フィルタが使用されてもよい。箱の上部に内蔵されたヒーターが冬期の現場における積雪を融雪することができる。
たとえば、モバイルユースケースのために箱自体の中に通信距離拡張器のバージョンを組み込むことができるように、箱の上部および側部は無線周波数を遮断しない材料から形成可能である。このようにして、UAV(たとえばドローン)は充電中にGPSロックを維持することができ、即座に配置につくことができる。実装形態によっては、UAVが配置につく前に周囲を見ることができるように、また、盗難や破壊行為を防ぐためにUAVがUAV自体の監視カメラとして機能することができるように、ドアに窓が組み込まれるか、またはドアと箱の測板を透明にすることができる。
実装形態によっては、ドローンが箱に滑り込むたびに、または箱から滑り出るたびにナビゲーションカメラレンズが清浄に拭われるように、ばね仕掛けのマイクロファイバワイパーを箱内部に配置することができる。実装形態によっては、箱内の小型ダイヤフラムポンプが、箱内の小型ノズルを通してレンズにおける空気を吹き飛ばすことによってドローンのすべてのレンズを清掃するために使用可能な小型圧力容器を充填することができる。
たとえば、箱は、起伏のある街路や平坦でない地形に立つヴィークルに対処するために、発射または着陸時に箱を持ち上げ、傾けることができる取り付け基部内に隠された3つの線形アクチュエータを使用して自動車に取り付けることができる。
実装形態によっては、箱は箱の上部に、ドアがスライドまたは回転して開くと、着陸ネストを側部ではなく外気中に延びることができるようにする、片開きまたは両開きドアを備えることができる。これは、(安定した着陸をより困難にする)UAVのプロペラウォッシュを妨害する障害物または表面から離れた状態で、小さい標的に着陸することができるUAVの能力も利用することになり、UAVが着陸した後は、UAVとネストが安全な筐体内に収納されることが可能である。
本明細書に記載の自律着陸技術を実装するために、無人飛行体内の処理装置上および/またはUAV用ドック内の処理装置上で走るソフトウェアが使用されてもよい。
たとえば、ロバストな推定および再ローカライゼーション手順が、マルチスケールの着陸面を備えるドックの視覚再ローカライゼーションを含んでもよい。たとえば、UAVソフトウェアはGPS視覚ローカライゼーション移行をサポートしてもよい。実装形態によっては、ドックの周囲の任意の基準マーク(たとえば視覚タグ)設計、サイズおよび向きがサポートされてもよい。たとえば、ソフトウェアが偽検出の検出および排除を可能にしてもよい。
たとえば、UAVの離着陸手順が、モデルベースの風推定および/またはモデルベースの風補償を使用する風の中のロバストな計画および制御を含んでもよい。たとえば、UAVの離着陸手順は、ドックの着陸面の上方に短時間停止可能な着陸照準合わせ(honing)手順を含んでもよい。状態推定および視覚検出が強風環境における制御よりも正確であるため、着陸をコミットする前に実際の飛行体と着陸面上の基準マークとの間の位置、速度および角度誤差が低くなるまで待つ。たとえば、UAVの離着陸手順は、ドック固有の着陸検出および中止手順を含んでもよい。たとえば、ドックとの実際の接触が検出されてもよく、システムは正常な着陸とニアミスとを区別してもよい。たとえば、UAVの離着陸手順は、自己収納プロペラを可能にするために、低速の逆モータ回転を採用することを含んでもよい。
実装形態によっては、UAVの離着陸手順は、失敗の場合に所定着陸位置を設定する;別のボックスに行く;箱が故障した場合にドックの上に着陸する選択肢など、失敗の場合のサポートとフォールバック動作を含んでもよい。
たとえば、単一ドローン、単一ドック動作のためのアプリケーションプログラミングインターフェース設計が提供されてもよい。たとえば、スケジュールに基づいて、またはバッテリ寿命または再充電量を前提として可能な限り、技術作業が行われてもよい。
たとえば、M個のドックを有するN個のドローンの動作のためのアプリケーションプログラミングインターフェース設計が提供されてもよい。実装形態によっては、重なりをもって任務パラメータを常に満たすようにUAV(たとえばドローン)が自動的に配備され、回収されるように任務パラメータが定義されてもよい。
無人飛行体(UAV)は、ドックに収まるようにプロペラを自動的に畳むように構成されてもよい。たとえば、ドックはUAV全体よりも小さくてもよい。多数のUAVのドッキング、充電、任務を行うこと、ドック格納をスタンバイ状態で待機、および/または連携充電により、持続的動作を実現することができる。実装形態によっては、UAVがドック内の所定位置にある間に自動的に整備されてもよい。たとえば、UAVの自動整備は:バッテリの充電、センサの清掃、UAVのより全般的な洗浄および/または乾燥、プロペラの交換、および/またはバッテリの交換を含み得る。
UAVは、偏流に対するロバストさを持たせるために、検知モダリティ(たとえば、視覚慣性オドメトリ(VIO)およびグローバルポジショニングシステム(GPS)ベースの動作)の組合せを使用してUAVの状態(たとえば位置および向きを含む姿勢)を追跡してもよい。
実装形態によっては、離着陸時、UAVがドックに接近するときに、UAVは着陸スポットに絶えず照準を合わせる。この照準合わせプロセスは、離着陸手順を風、地面効果およびその他の妨害に対してロバストにすることができる。たとえば、インテリジェント照準合わせが、きわめて厳密な許容差内で到達するために位置、機種方位および軌跡を使用することができる。実装形態によっては、進入のためにリアモータが逆転してもよい。
いくつかの実装形態は;小型、安価で単純なドック;収納機構が旋回待機を可能にし、着陸に関する空力乱流問題を低減することができること;より正確な場合があるロバストな目視着陸;UAVの充電;メンテナンスおよび格納時のコンパクトな収容を可能にするプロペラの自動収納;人間の介在なしにドック中にUAVを整備することができること;ドック、SDK、飛行体およびサービス(ハードウェアおよびソフトウェア)を介した多数のヴィークルの持続的自律動作など、従来のシステムに優る利点を提供することができる。
図3は、無人飛行体の自律着陸を容易にするためのドック300の一例を示す図である。ドック300は、基準マーク320とバッテリ充電器のための充電接点330とを備えた着陸面310を含む。ドック300は、ドア342を備えた矩形の箱の形状の箱340を含む。ドック300は、無人飛行体の離着陸を容易にするために、着陸面310を支持し、着陸面310を箱340を箱の外部に、または無人飛行体の格納および/または整備のために箱340の内部に位置づけることを可能にする、収納式アーム350を含む。ドック300は、箱340の上部外面に第2の補助基準マーク322を含む。ルート基準マーク320と補助基準マーク322とは、狭い着陸面310への正確な着陸を可能にするために、ドック300との関係による無人飛行体の視覚ローカライゼーションのために検出され、使用されてもよい。ドック300の着陸面310に無人飛行体を着陸させるために、たとえば、参照により本明細書に組み込まれる米国特許出願第62/915,639号に記載されている技術が使用されてもよい。
ドック300は、無人飛行体(たとえば図2の無人飛行体200)を保持するように構成された着陸面310と、着陸面310上の基準マーク320とを含む。着陸面310は、漏斗の基部において無人飛行体の底面に収まる漏斗形幾何形状を有する。漏斗の先細側面は、着陸時に無人飛行体の底面を漏斗の基部上の中央位置に機械的に誘導するのに役立ち得る。たとえば、飛行体の底面が着陸面310の漏斗形形状の基部に収まった後、漏斗の基部の角が、飛行体が着陸面310上で回転するのを防ぐ機能を果たすことができる。たとえば、基準マーク320は、無人飛行体の画像センサによってキャプチャされた基準マーク320の画像に基づいて、無人飛行体を基準にした基準マーク320の姿勢(すなわち位置と向き)のロバストな検出と決定を可能にする非対称パターンを備えてもよい。たとえば、基準マーク320は、AprilTagファミリーのうちの視覚タグを含んでもよい。
ドック300は、漏斗の底部に位置づけられ着陸面310上のバッテリ充電器の導電接点330を含む。ドック300は、無人飛行体が着陸面310上にある間にバッテリに充電するように構成された充電器を含む。
ドック300は、第1の配置(図4に示す)で着陸面310を密閉し、第2の配置(図3および3に示す)で着陸面310を露出させるように構成される箱340を含む。ドック300は、着陸面310を箱340の内部から箱340の外部に移動するために、箱340のドア342を開くことと、収納式アーム350を伸展させることとを含むステップを行うことによって、第1の配置から第2の配置に自動的に移行するように構成されてもよい。補助基準マーク322は箱340の外面上に配置されている。
ドック300は収納式アーム350を含み、着陸面310は収納式アーム350の端部に位置づけられる。収納式アーム350が伸展されると、着陸面310はドック300の箱340から離れて位置づけられ、これにより着陸時に無人飛行体のプロペラからのプロペラウォッシュを低減または防止することができ、したがって着陸動作を単純化する。収納式アーム350は、着陸時のプロペラウォッシュの問題をさらに軽減するために、プロペラウォッシュの方向を変えるための空力カウリングを含んでもよい。
たとえば、基準マーク320はルート基準マークであってもよく、補助基準マーク322は、無人飛行体がドック300に近づくときに、より遠い距離からの視覚ローカライゼーションを容易にするためにルート基準マーク320より大きい。たとえば、補助基準マーク322の面積は、ルート基準マーク320の面積の25倍であってもよい。たとえば、補助基準マーク322は、無人飛行体の画像センサでキャプチャされた補助基準マーク322の画像に基づいて無人飛行体を基準にした補助基準マーク322の姿勢(すなわち位置と向き)のロバストな検出と決定を可能にする非対称パターンを含んでもよい。たとえば、補助基準マーク322は、AprilTagファミリーのうちの視覚タグを含んでもよい。たとえば、無人飛行体の処理装置(たとえば処理装置410)が、無人飛行体の画像センサを使用してキャプチャされた1つ以上の画像のうちの少なくとも1つの画像中の補助基準マーク322を検出し;その1つ以上の画像に基づいて補助基準マーク322の姿勢を決定し、補助基準マークの姿勢に基づいて無人飛行体を着陸面310の近傍の第1の場所まで飛行させるために推進機構を制御するように構成されてもよい。したがって、補助基準マーク322は、ルート基準マーク320の検出を可能にするために無人飛行体が着陸面310に十分に近づくのを容易にすることができる。
ドック300は、無人飛行体の自動着陸および再充電を可能にすることができ、さらにそれによって、ユーザ介入なしに自動的にスキャンされるようにするために、スキャンのために複数回のバッテリパック充電を必要とする大規模構造体(たとえば大型の屋根、橋梁または大規模建設現場)の自動スキャニングを可能にすることができる。たとえば、無人飛行体が:スキャン計画の開始後、完了前に、スキャン計画の一連の姿勢のうちの次の姿勢を示すスキャン計画状態を記憶し;スキャン計画状態の記憶後に、無人飛行体を着陸のために飛行させるように推進機構を制御し;着陸後に、無人飛行体を離陸のために飛行させるように推進機構を制御し;スキャン計画状態にアクセスし;スキャン計画状態に基づいて、次の姿勢をとるように無人飛行体を飛行させ、スキャン計画の実行を継続するように推進機構を制御するように構成されてもよい。実装形態によっては、着陸のために無人飛行体を飛行させるための推進機構の制御は:無人飛行体を保持するように構成された着陸面(たとえば着陸面310)と着陸面上の基準マークとを含むドック(たとえばドック300)の近傍の第1の場所まで無人飛行体を飛行させるように無人飛行体の推進機構を制御することと;無人飛行体の画像センサを使用してキャプチャされた1つ以上の画像にアクセスすることと;1つ以上の画像のうちの少なくとも1つの画像内で基準マークを検出することと;1つ以上の画像に基づいて基準マークの姿勢を決定することと;基準マークの姿勢に基づいて、無人飛行体を着陸面に着陸させるように推進機構を制御することとを含む。たとえば、自動着陸のこの技術は、無人飛行体が着陸面上にある間にドックに含まれる充電器を使用して無人飛行体のバッテリに自動的に充電することを含んでもよい。
図4は、無人飛行体のハードウェア構成400の一例を示すブロック図である。ハードウェア構成は、処理装置410と、データ記憶デバイス420と、センサインターフェース430と、通信インターフェース440と、推進制御インターフェース442と、ユーザインターフェース444と、処理装置410がそれを通して他のコンポーネントにアクセスすることができる相互接続450とを含み得る。たとえば、ハードウェア構成400は、無人飛行体(たとえば無人飛行体200)であるかまたはその一部であってもよい。たとえば、無人飛行体は、構造体(たとえば、屋根、橋梁、または建設現場)をスキャンするように構成可能である。たとえば、無人飛行体は図6のプロセス600を実施するように構成されてもよい。実装形態によっては、無人飛行体は、無人飛行体の自動メンテナンスを容易にするように、狭い着陸面上に着陸するための1つ以上の基準マークの姿勢の推定値を使用するためにドック(たとえばドック300)上の1つ以上の基準マークを検出するように構成されてもよい。
処理装置410は、データ記憶デバイス420に記憶された命令を実行するように動作可能である。実装形態によっては、処理装置410は、命令の実行中にデータ記憶デバイス420から読み出された命令を一時的に記憶するためのランダムアクセスメモリを有するプロセッサである。処理装置410は、各プロセッサが単一または多数の処理コアを有する単一または多数のプロセッサを含み得る。あるいは、処理装置410は、データを操作または処理することができる別の種類のデバイス、または多数のデバイスを含んでもよい。たとえば、データ記憶デバイス420は、ソリッドステートデバイス、読取り専用メモリデバイス(ROM)、光ディスク、磁気ディスク、または、非一時的コンピュータ可読メモリなどの、任意のその他の適切な種類の記憶デバイスなどの不揮発性情報記憶デバイスであってもよい。データ記憶デバイス420は、処理装置410による取り出しまたは処理のためのデータを記憶することができる別の種類のデバイスまたは多数のデバイスを含んでもよい。処理装置410は、相互接続450を介してデータ記憶デバイス420に記憶されているデータにアクセスし、操作してもよい。たとえば、データ記憶デバイス420は、処理装置410によって実行されると処理装置410に動作(たとえば、図6のプロセス600、図7のプロセス700、図8のプロセス800、図9のプロセス900および/または図10のプロセス1000を実施する動作)を実行させる、処理装置410によって実行可能な命令を記憶してもよい。
センサインターフェース430は、1つ以上のセンサ(たとえば画像センサ220を含む)からのデータ(たとえば、温度測定値、圧力測定値、グローバルポジショニングシステム(GPS)データ、加速度測定値、角速度測定値、磁束測定値および/または可視スペクトル画像)を制御および/または受信するように構成可能である。実装形態によっては、センサインターフェース430は、導線上の1つ以上のセンサデバイスとの通信のためにシリアルポートプロトコル(たとえばI2CまたはSPI)を実装してもよい。実装形態によっては、センサインターフェース430は、低電力短距離通信(たとえばヴィークルエリアネットワークプロトコル)を介して1つ以上のセンサグループと通信するための無線インターフェースを含んでもよい。
通信インターフェース440は、他のデバイス、たとえば対をなすドック(たとえばドック300)、専用コントローラ、またはユーザコンピューティングデバイス(たとえばスマートフォンまたはタブレット)との通信を容易にする。たとえば、通信インターフェース440は、Wi-Fiネットワーク、BluetoothリンクまたはZigBeeリンクを介した通信を容易にすることができる無線インターフェースを含んでもよい。たとえば、通信インターフェース440は、シリアルポート(たとえばRS-232またはUSB)を介した通信を容易にすることができる有線インターフェースを含んでもよい。通信インターフェース440は、ネットワークを介した通信を容易にする。
推進制御インターフェース442は、処理装置が推進システム(たとえば、電気モータによって駆動される1つ以上のプロペラを含む)を制御するために使用可能である。たとえば、推進制御インターフェース442は、処理装置410からのデジタル制御信号をアクチュエータ(たとえばそれぞれのプロペラを駆動する電気モータ)用のアナログ制御信号に変換するための回路を含み得る。実装形態によっては、推進制御インターフェース442は、処理装置410との通信のためにシリアルポートプロトコル(たとえばI2CまたはSPI)を実装してもよい。実装形態によっては、推進制御インターフェース442は、低電力短距離通信(たとえばヴィークルエリアネットワークプロトコル)を介した1つ以上のモータとの通信のための無線インターフェースを含んでもよい。
ユーザインターフェース444は、ユーザとの間での情報の入出力を可能にする。実装形態によっては、ユーザインターフェース444は、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ(たとえばOLEDディスプレイ)、またはその他の適切なディスプレイであってもよい、ディスプレイを含むことができる。たとえば、ユーザインターフェース444は、タッチスクリーンを含んでもよい。たとえば、ユーザインターフェース444はボタンを含んでもよい。たとえば、ユーザインターフェース444は、タッチパッド、タッチスクリーンなどの位置入力デバイス;またはその他の適切なヒューマンまたはマシンインターフェースデバイスを含み得る。
たとえば、相互接続450は、システムバス、または有線もしくは無線ネットワーク(たとえばヴィークルエリアネットワーク)であってもよい。いくつかの実装形態(図4には図示せず)では、ユーザインターフェース444などの無人飛行体のいくつかのコンポーネントが省かれてもよい。
図5Aは、無人飛行体に関連付けられたグラフィカルユーザインターフェース500の一例を示す図であり、グラフィカルユーザインターフェース500は、構造体スキャニングを容易にするようにファセットの編集を可能にするための、構造体の概観画像上に重ねられたファセットの2次元多角形投影を提示するために使用される。グラフィカルユーザインターフェース500は、構造体の概観画像510(たとえば図5Aに示すような屋根の静止画像)を含む。グラフィカルユーザインターフェース500は、構造体の3次元マップの点の凸包の投影である、ファセット提案に対応する2次元多角形520のグラフィカル表現を含む。この2次元多角形520は、頂点522を含む4つの頂点を含む。ユーザは、概観画像510の面内で頂点522を移動させるために頂点522と(たとえばタッチスクリーンディスプレイインターフェースを使用して)インタラクトすることによって2次元多角形520を編集することができる。ユーザが2次元多角形520の実視カバレッジに満足すると、ユーザは、2次元多角形520のユーザ編集を示すデータが無人飛行体に返されるように確定アイコン530とインタラクトすることができ、次に無人飛行体がそのファセット提案とユーザ編集とに基づいてファセットを決定することができる。グラフィカルユーザインターフェース550は、次に、インタラクティブな頂点のない屋根構造体の近傍セクションについて示された最終的な2次元多角形540に類似した、概観画像510上に重ねられた最終的な2次元多角形によって最終的なファセットを提示するように更新されてもよい。このプロセスは、構造体がファセットによって満足がいくようにカバーされるまで、ユーザによるファセット提案の検討および/または編集を行いながら継続されてもよい。たとえば、ユーザインターフェースは、コントローラ120など、無人飛行体から遠隔にあるコンピューティングデバイス上で表示されてもよい。たとえば、無人飛行体は、グラフィカルユーザインターフェース500を符号化するデータをコンピューティングデバイス(たとえばタッチスクリーン260に表示するためのコントローラ250)に送信することによって、このグラフィカルユーザインターフェース500をユーザに提示するように構成されてもよい。
図5Bは、構造体スキャンを容易にするためにユーザによる検討を可能にするように構造体の概観画像上に重ねられたスキャン計画を提示するために使用される、無人飛行体のグラフィカルユーザインターフェース550の一例を示す図である。グラフィカルユーザインターフェース550は、構造体の概観画像510(たとえば図5Bに示すような屋根の静止画像)を含む。グラフィカルユーザインターフェース550は、スキャン計画の一連の姿勢のうちの所与の姿勢からの画像センサの視野570のグラフィカル表現を含む。視野570は、概観画像510の面内に投影されていてもよい。スキャン計画のユーザによる検討と承認とを容易にするために、スキャン計画のそれぞれの姿勢に対応する視野の集合が、スキャン計画のグラフィカル表現を提供する。実装形態によっては、ユーザは、それらの姿勢についてスキャン計画と結果の視野を再生成させるために、垂直重なり、水平重なり、および表面からの距離などのスキャン計画のパラメータを調整することができる。ユーザがスキャン計画に満足すると、ユーザは、承認アイコン580とインタラクトすることによってスキャン計画を承認して無人飛行体にスキャン計画の実行を開始させることができる。
図6は、無人飛行体を使用する構造体スキャンのプロセス600の一例を示すフローチャートである。プロセス600は、構造体の3次元マップにアクセスすること610であって、3次元マップが構造体の表面上の3次元空間における点のセットを符号化する、こと610と;3次元マップに基づいて1つ以上のファセットを生成すること620であって、1つ以上のファセットのうちの所与のファセットが、3次元マップ内の点のサブセットに適合する3次元空間内の面上の多角形である、こと620と;1つ以上のファセットに基づいてスキャン計画を生成すること630であって、スキャン計画が、無人飛行体の1つ以上の画像センサを使用して1つ以上のファセットのそれぞれのファセットから一定した距離における構造体の画像のキャプチャを可能にするために無人飛行体がとる一連の姿勢を含む、こと630と;無人飛行体をスキャン計画の一連の姿勢のうちの1つの姿勢に対応する姿勢をとるように飛行させるために無人飛行機の推進機構を制御すること640と;1つ以上の画像センサを使用して、その姿勢から構造体の1つ以上の画像をキャプチャすること650とを含む。たとえば、プロセス600は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス600は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス600は図4のハードウェア構成400を使用して実装されてもよい。
プロセス600は、構造体の3次元マップにアクセスすること610を含む。3次元マップは、構造体の表面上の3次元空間における点のセットを符号化する。たとえば、構造体は、建物の屋根、橋梁、または建設中の建物であってもよい。実施形態によっては、3次元マップはボクセル占有マップまたは符号付き距離マップを含み得る。たとえば、3次元マップは、距離センサ(たとえば、立体コンピュータビジョン用に構成された画像センサのアレイ、レーダーセンサ、および/またはライダーセンサ)によって収集されたセンサデータに基づいて生成されていてもよい。実装形態によっては、3次元マップにアクセスする610無人飛行体が、構造体から安全な距離で動作しながら距離センサを使用して比較的低解像度のスキャンを行うことによって3次元マップ自体を最近生成している。実装形態によっては、ファセット撮像に使用される一定した距離よりも大きい距離から3次元マップを生成するように構造体がスキャンされる。たとえば、3次元マップを生成するために図10のプロセス1000が実施されていてもよい。たとえば、3次元マップを生成するために図11のプロセス1100が実施されていてもよい。3次元マップには、様々な方法でアクセス610可能である。たとえば、3次元マップは、センサインターフェース(たとえばセンサインターフェース430)を介して距離センサから直接、または相互接続(たとえば相互接続450)を介してメモリ(たとえばデータ記憶デバイス420)から読み出すことによって、アクセス610されてもよい。
プロセス600は、3次元マップに基づいて1つ以上のファセットを生成すること620を含む。1つ以上のファセットのうちの所与のファセットは、3次元マップ内の点のサブセットに適合する3次元空間における面上の多角形である。たとえば、3次元マップにおいて外れ点の比率が低い同一平面上の点の最大の広がりを検索し、次にこれらの点のサブセットに面を適合させることによって、ファセットが識別されてもよい。実装形態によっては、孤立したはずれ点がフィルタ除外されてもよい。
実装形態によっては、ファセットの一部を識別するため、および/または、ファセットの境界を精緻化するために、ユーザ入力が使用されてもよい。たとえば、グラフィカルユーザインターフェース(たとえばグラフィカルユーザインターフェース500)で構造体の概観画像(たとえば静止視点)がユーザに提供されてもよい。ユーザは、概観画像に現れるときのファセットの中心をクリックしてもよい。クリックインタラクションの場所における概観画像内の1つ以上の点が3次元マップの点に投影され、または同じことだが、3次元マップの上面から点が概観画像に投影され、クリックインタラクションの場所に関連付けられる。クリックインタラクション場所から3次元マップの点の小さいサブセットへのマッピングが確立されると、この点の小さいサブセットに(たとえばランダムサンプルコンセンサス(RANSAC)を使用して)面が適合させられる。次に、3次元マップ表面の全体が考慮されて、その小さいサブセットの点と同一平面上にあり、隣接する点を選択し、このサブセットを反復的に精緻化することができる。反復が収束すると、その結果の3次元マップの点のサブセットがファセット提案の基礎となる。概観画像の画像面における2次元多角形を得るために、画像に投影されたときのこれらの点の凸包が計算されてもよい。実装形態によっては、構造体の上部にわたるユーザクリックがシミュレーションされ、提案ファセット境界が、ファセットをより迅速に決定するために最終的なファセット境界として使用される。実装形態によっては、3次元ファセットのこれらの場所が、ファセット間のよりきれいな境界のために一緒に最適化される。実装形態によっては、3次元空間の代わりに画像空間(たとえば概観画像の面)内でファセットを検出するために画像ベースの機械学習が使用される。
結果の2次元多角形(または凸包)は、エッジを除去し、結果の多角形の面積またはエッジ長が過度に増大しない限り、隣のエッジを延長することによって、単純化されてもよい。より具体的には、入力多角形について、各エッジが考慮されてもよい。2つの隣接エッジが多角形の外部で交わることになるようにエッジが「凸」である場合、凸エッジを除去し、対応する隣接エッジを交わらせることによって生じる多角形を考慮する。この代替多角形を使用する結果として生じることになる面積の増大とエッジ長の増大が考慮されてもよい。たとえば、面積とエッジ長の増大が両方とも指定閾値未満である限り、最小の面積増大を有することになる「凸」エッジが除去されてもよい。たとえば、図14Aの入力多角形1400は、図14Bの単純化された多角形1450を得るように単純化されてもよい。ファセット提案を表す2次元多角形を単純化するために、たとえば図8のプロセス800が実施されてもよい。この単純化された多角形はユーザに提示されてもよい。次に、ユーザは、概観画像においてユーザに見えるときの所望のファセットによりよく適合するように概観画像の面において多角形の頂点を移動し、頂点を追加し、または頂点を除去することができる。最終的なファセットを適合させるために、表面の点のすべてが画像に投影され、それらに対してRANSACを走らせファセットがある3次元面を見つける。次に、このファセット面内の多角形を決定するために画像内の多角形の2次元頂点がこの面と交差させられてもよく、その決定された多角形が最終ファセットである。このファセットに属する3次元マップの表面の点は、後続のファセットの提案または適合の際に無視されてもよい。たとえば、3次元マップに基づいて1つ以上のファセットを生成すること620は、提案ファセットに関するユーザフィードバックを求めるために、図7のプロセス700を実施することを含んでもよい。
プロセス600は、この1つ以上のファセットに基づいてスキャン計画を生成すること630を含む。スキャン計画は、無人飛行体の1つ以上の画像センサ(たとえば画像センサ220を含む)を使用して、1つ以上のファセットのそれぞれから一定した距離(たとえば1メートル)における構造体の画像のキャプチャを可能にするために無人飛行体がとる一連の姿勢を含む。一連の姿勢のうちの姿勢は、無人飛行体の位置(たとえば座標x、yおよびzのタプル)、無人飛行体の向き(たとえばオイラー角または四元数)を含んでもよい。実装形態によっては、姿勢は、無人飛行体に関する、または別の座標系に関する無人飛行体の画像センサの向きを含み得る。1組のファセットが生成された後は、無人飛行体は所望の地上サンプリング距離(GSD)におけるすべてのファセットの画像をキャプチャするための経路を計画することができる。経路が生成された後は、ユーザが承認または拒絶するように、その経路がグラフィカルユーザインターフェース(たとえばライブ拡張現実(AR)ディスプレイ)を介してユーザに提示されてもよい。たとえば、承認を得るためにユーザにスキャン計画を提示するのに図5Bのグラフィカルユーザインターフェース550が使用されてもよい。実装形態によっては、プロセス600は、1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと;概観画像上に重ねられたスキャン計画のグラフィカル表現を提示することと;ユーザからスキャン計画の承認を示すインディケーションを受け取ることとを含む。
スキャン計画は、1つ以上のファセットと、表面からの距離、スキャン計画の一連の姿勢のうちの異なる姿勢における1つ以上の画像センサの視野間の垂直方向の重なりおよび水平方向の重なりなどのいくつかのスキャン計画構成パラメータとに基づいて生成され630てもよい。たとえば、スキャン計画の一連の姿勢は、1つ以上のファセットのそれぞれの正射投影撮像用であってもよい。
プロセス600は、無人飛行体(たとえば無人飛行体200)をスキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように飛行させるために無人飛行体の推進機構を制御すること640と;1つ以上の画像センサ(たとえば画像センサ220)を使用してその姿勢からの構造体の1つ以上の画像をキャプチャすること650とを含む。たとえば、1つ以上のファセットのすべてをカバーする画像がキャプチャされるまで、スキャンの姿勢のそれぞれについてステップ640とステップ650とが繰り返されてもよい。実装形態によっては、処理装置が、構造体の1つ以上の表面の合成画像を得るために、キャプチャされた画像を互いにスティッチングするように構成されてもよい。たとえば、画像のスティッチングは、ファセット、または1つ以上のファセットの境界に関連付けられた3次元マップ点など、それぞれのファセットを介して画像に関連付けられた帯域外情報に部分的に基づいて行われてもよい。たとえば、処理装置(たとえば処理装置410)が、推進機構(たとえば、電気モータによって駆動される1つ以上のプロペラ)を制御する640ために推進コントローラインターフェース(たとえば推進コントローラインターフェース442)を使用してもよい。
スキャニング中、ヴィークルは撮像しながら、計算された経路を飛行することができる。障害物の回避に加えて、ヴィークルは、障害物回避または改良画像位置合わせのようなことのために経路を動的に更新してもよい。たとえば、スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に、プロセス600は、1つ以上の画像センサを使用してキャプチャされた画像に基づいて障害物を検出することと;その障害物を回避するためにスキャン計画の一連の姿勢のうちの姿勢を動的に調整することとを含んでもよい。たとえば、スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に、飛行体は1つ以上の画像センサを使用してキャプチャされた画像に基づいて1つ以上のファセットのうちの1つのファセットからの構造体の表面上の点の逸脱を検出し;その逸脱に適応し、画像キャプチャのための一定した距離を維持するために、スキャン計画の一連の姿勢のうちの姿勢を動的に調整してもよい。
スキャニング中、操作者は静止視点(たとえば構造体の概観画像)を介して、またはヴィークルのカメラからのライブ映像から、ドローンを監視することができる。操作者は、この段階で手動で介入するための制御権も有する。
無人飛行体がスキャンを完了したか、または(たとえば低バッテリまたはヴィークルの故障のため)スキャンを中止する必要があるとき、ヴィークルは自動的に離陸点に戻り、着陸することができる。無人飛行体がスキャン計画の完了前に着陸しなければならない限りにおいて、無人飛行体を着陸させることになった何らかの条件が解消された後で無人飛行体が中断したところからスキャニングを再開することができるように、スキャンの進行状態を保存することが有用な場合がある。たとえば、プロセス600は、スキャン計画の開始後、完了前に、スキャン計画の一連の姿勢のうちの次の姿勢を示すスキャン計画状態を記憶することと;スキャン計画状態の記憶後、無人飛行体を着陸するために飛行させるように推進機構を制御することと;着陸後、無人飛行体を離陸のために飛行させるように推進機構を制御することと;スキャン計画状態にアクセスすることと;スキャン計画状態に基づいて、次の姿勢をとってスキャン計画の実行を継続するために無人飛行体を飛行させるように推進機構を制御することとを含んでもよい。スキャン計画は、少なくとも無人飛行体の一連の姿勢を含み、追加の情報も含んでもよい。姿勢は、様々な座標系(たとえば、グローバル座標系、または無人飛行体用のドックに関する、またはスキャンされる構造体に関する座標系)で符号化されてもよい。スキャン計画状態は、再充電後にスキャン計画における次の姿勢をとるために視覚慣性オドメトリ(VIO)システムと併用することができる。たとえば、無人飛行体は、自動的に着陸することができ、バッテリに自動的に充電した後、図3のドック300から離陸することができる。実装形態によっては、無人飛行体を着陸のために飛行させるように推進機構を制御することは:無人飛行体を保持するように構成された着陸面(たとえば着陸面310)と着陸面上の基準マークとを含むドック(たとえばドック300)の近傍の第1の場所まで無人飛行体を飛行させるように無人飛行体の推進機構を制御することと;無人飛行体の画像センサを使用してキャプチャされた1つ以上の画像にアクセスすることと;1つ以上の画像のうちの少なくとも1つの画像において基準マークを検出することと;1つ以上の画像に基づいて基準マークの姿勢を決定することと;基準マークの姿勢に基づいて、無人飛行体を着陸面に着陸させるように推進機構を制御することとを含む。たとえば、プロセス600は、無人飛行体が着陸面上にある間に、ドックに含まれる充電器を使用して無人飛行体のバッテリに自動的に充電することを含んでもよい。
スキャン計画の実行が完了すると、収集されたデータ(たとえば構造体(たとえば屋根、橋梁または建設現場)の表面の高解像度画像と関連メタデータ)が、閲覧またはオフライン解析のために別のデバイス(たとえばコントローラ120またはクラウドサーバ)に送信されてもよい。ファセットの面積の推定値および/またはファセットのなおしの費用推定値が有用な場合がある。実装形態によっては、プロセス600は、1つ以上のファセットのそれぞれのファセットの面積推定値を決定することと;1つ以上のファセットと、1つ以上のファセットのそれぞれの面積推定値と、スキャン計画の実行中にキャプチャされた構造体の画像とを含むデータ構造を提示(たとえば送信、記憶または表示)することとを含む。実装形態によっては、スキャン計画の実行の進行または有効性を要約した状況報告が提示されてもよい。たとえば、スキャン計画のカバレッジ報告を生成し提示するために、図9のプロセス900が実施されてもよい。
無人飛行体が着陸すると、無人飛行体は操作者デバイスへのデータの送信を開始することができる。このデータは、各ファセットのスティッチング合成画像と、撮影された写真と、カメラ姿勢および飛行概要データ(ファセット数、写真キャプチャ、飛行完了パーセンテージ、飛行時間など)を含むメタデータとを含み得る。
図7は、ファセットのユーザ編集を可能にするプロセス700の一例を示すフローチャートである。プロセス700は、1つ以上の画像センサを使用して構造体の概観画像をキャプチャすること710と;3次元マップに基づいてファセット提案を生成すること720と;3次元マップの点のサブセットの凸包として2次元多角形を決定することであって、点のサブセットが概観画像の画像面に投影されたときのファセット提案に対応する、こと730と;概観画像上に重ねられた2次元多角形を提示すること740と;2次元多角形のユーザ編集を示すデータに基づいて概観画像の画像面における編集された2次元多角形を決定すること750と;編集された2次元多角形に基づいて1つ以上のファセットのうちの1つを決定すること760とを含む。たとえば、プロセス700は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス700は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス700は図4のハードウェア構成400を使用して実施されてもよい。
プロセス700は、1つ以上の画像センサ(たとえば画像センサ(220-226)を使用して構造体の概観画像をキャプチャすること710を含む。概観画像は、ユーザがスキャン計画の実行の進行を追跡し、構造体スキャンプロセスの様々な段階においてユーザフィードバックを提供することができるようにするためのグラフィカルユーザインターフェースの一部を形成することができる、構造体の静止映像として使用可能である。グラフィカルユーザインターフェースに概観画像を組み込むことで、グラフィカルユーザインターフェースの画素を3次元マップにおける構造体の3次元表面上の点に関連付けることによって、スキャンされている構造体に関連するユーザの意図のローカライゼーションを容易にすることができる。たとえば、概観画像は、概観画像をキャプチャする710ために使用される画像センサの視野内に構造体の全部が現れるように構造体から十分に離れた姿勢からキャプチャ710されてもよい。
プロセス700は、3次元マップに基づいてファセット提案を生成すること720を含む。たとえば、3次元マップにおいて外れ点の比率が低い同一平面上の点の最大の広がりを検索し、次にこの点のサブセットに面を適合させることによって、ファセット提案が生成720されてもよい。実装形態によっては、孤立したはずれ点がフィルタ除外されてもよい。関心のあるファセットの一部を識別するためにユーザ入力が使用されてもよい。たとえば、構造体の概観画像(たとえば静止視点)がグラフィカルユーザインターフェース(たとえばグラフィカルユーザインターフェース500)でユーザに提示されてもよい。ユーザは、概観画像に現れるファセットの中心をクリックしてもよい。概観画像内のクリックインタラクションの場所における1つ以上の点が、3次元マップの点に投影されてもよく、または同じことだが、3次元マップの上面から点が概観画像に投影され、クリックインタラクションの場所に関連付けられる。クリックインタラクション場所から3次元マップの点の小さいサブセットへのマッピングが確立されると、この点の小さいサブセットに(たとえばランダムサンプルコンセンサス(RANSAC)を使用して)面が適合させられる。次に、3次元マップ表面の全体が考慮されて、その小さいサブセットの点と同一平面上にあり、隣接するポイントを選択し、このサブセットを反復的に精緻化することができる。反復が収束すると、その結果の3次元マップの点のサブセットがファセット提案の基礎となる。
プロセス700は、2次元多角形を3次元マップの点のサブセットの凸包として決定すること730を含み、点のサブセットは、概観画像の画像面に投影されたときのファセット提案に対応する。概観画像の画像面における2次元多角形を得るために、画像に投影されたときのこれらの点の凸包が計算されてもよい。実装形態によっては、2次元多角形は、提示される740前に単純化される。たとえば、図8のプロセス800が、2次元多角形を単純化するために実施されてもよい。
プロセス700は、概観画像上に重ねられた2次元多角形を提示すること740を含む。たとえば、概観画像上に重ねられた2次元多角形は、グラフィカルユーザインターフェース(たとえば図5Aのグラフィカルユーザインターフェース500)の一部として提示740されてもよい。たとえば、無人飛行体の処理装置が、概観画像上に重ねられた2次元多角形を符号化するデータを(たとえば無線通信ネットワークを介して)ユーザコンピューティングデバイス(たとえばコントローラ120)に送信することによって、概観画像上に重ねられた2次元多角形を提示740してもよい。
プロセス700は、2次元多角形のユーザ編集を示すデータに基づいて概観画像の画像面において編集された2次元多角形を決定すること750を含む。たとえば、2次元多角形のユーザ編集を示すデータは、ユーザが(たとえばタッチスクリーン260を使用して)概観画像の面内で2次元多角形の頂点を移動させるように頂点アイコンをドラッグするなどして、グラフィカルユーザインターフェース(たとえばグラフィカルユーザインターフェース500)とインタラクトすることによって生成されたものであってもよい。たとえば、ユーザ編集を示すデータは、ネットワーク通信インターフェース(たとえば通信インターフェース440)を介して無人飛行体によって受信されてもよい。
プロセス700は、編集された2次元多角形に基づいて1つ以上のファセットのうちの1つを決定すること760を含む。編集された2次元多角形は、3次元マップの点の新たなサブセットにマッピングされてもよい。実装形態によっては、3次元マップのすべての点が概観画像の面に投影され、編集された2次元多角形内に投影を有するそれらの点が、決定される760新たなファセットの基礎となる点の新たなサブセットのメンバーとして選択される。実装形態によっては、決定される760新たなファセットの基礎となる点の新たなサブセットを選択するために、編集された2次元多角形の反転投影が使用される。たとえば、1つ以上のファセットのうちの1つを決定すること760は、点の新たなサブセットに面を適合させることと、新たなファセットの面に投影されたときの新たなサブセット内の点の凸包を計算することとを含んでもよい。
図8は、凸エッジを除去することによってファセットを表す多角形の単純化を試みるプロセス800の一例を示すフローチャートである。プロセス800は、2次元多角形の凸エッジを識別すること810と;凸エッジの除去によって生じる面積増大を決定すること820と;ステップ825で凸エッジの除去が2次元多角形の面積を閾値未満の量だけ増大させることを確認することと;(ステップ825で)面積増大が閾値(たとえば10%の増大)以上である場合、2次元多角形における凸エッジを残し830、2次元多角形におけるいずれか他の凸エッジについて必要なだけプロセス800を繰り返すことを含む。(ステップ825)で面積増大が閾値(たとえば10%の増大)を超えない場合、凸エッジの除去によって生じる全周の増大を決定し840;ステップ845で凸エッジの除去が2次元多角形の全周を閾値(たとえば10%の増大)未満の量だけ増大させることを確認し;(ステップ845で)全周増大が閾値(たとえば10%の増大)以上である場合、2次元多角形における凸エッジを残し830、2次元多角形におけるいずれか他の凸エッジについて必要なだけプロセス800を繰り返す。(ステップ845で)増大が閾値(たとえば10%の増大)未満である場合、2次元多角形から凸エッジを除去し、2次元多角形の凸エッジに隣接するエッジを、延長されたエッジが互いに交わる点まで延長することによって、2次元多角形を単純化する850。プロセス800は、2次元多角形におけるいずれか他の凸エッジについて反復されてもよい。実装形態によっては、凸エッジの除去によって生じる全周増大のみが確認される。実装形態によっては、凸エッジの除去によって生じる面積増大のみが確認される。たとえば、プロセス800は、図14Bの単純化された多角形1450を得るために図14Aの入力多角形1400を単純化するために実施されてもよい。たとえば、プロセス800は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス800は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス800は図4のハードウェア構成400を使用して実施されてもよい。
図9は、構造体のスキャンのためのカバレッジ情報を提示するプロセス900の一例を示すフローチャートである。プロセス900は、スキャン計画の実行中に1つ以上のファセットのうちのいずれのファセットが成功裏に撮像されたかを示す1つ以上のファセットのカバレッジマップを生成すること910と;カバレッジマップを提示すること920とを含む。無人飛行体は、操作者がすべてのデータがキャプチャされたことを確認することができるように、選択されたファセットの画像カバレッジを機上で計算してもよい。ファセットが十分なカバレッジを有していないと決定された場合、操作者デバイス(たとえばコントローラ120)上のアプリケーションが、カバレッジ欠損のある場所を示し、カバレッジを取得するアクションを指示してもよい(たとえば、欠損画像をキャプチャするために自動経路を生成するか、または操作者に画像をキャプチャするために手動で無人飛行体を飛行させるように指示する)。たとえば、プロセス900は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス900は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス900は図4のハードウェア構成400を使用して実施されてもよい。
図10は、構造体の3次元マップを生成するプロセス1000の一例を示すフローチャートである。プロセス1000は、無人飛行体を構造体の近傍まで飛行させるように推進機構を制御すること1010と;構造体の3次元マップを生成するために、距離データを提供するために使用される立体撮像をサポートするように構成された1つ以上の画像センサを使用して構造体をスキャンすること1020とを含む。たとえば、3次元マップは、ボクセル占有マップまたは符号付き距離マップを含み得る。たとえば、構造体は建物の屋根であってもよい。たとえば、図11のプロセス1100が屋根をスキャンする1020ために実施されてもよい。たとえば、構造体は橋梁であってもよい。実装形態によっては、スキャニングは、構造体全体が1つ以上の画像センサ(たとえば画像センサ224、225および226)の視野内に入るように構造体から十分に遠い単一の姿勢から行われる。たとえば、構造体は、建設中の建物であってもよい。たとえば、プロセス1000は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス1000は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス1000は図4のハードウェア構成を使用して実施されてもよい。
図11は、屋根の3次元マップを生成するプロセス1100の一例を示すフローチャートである。プロセス1100は、屋根の上方に位置づけられた無人飛行体の第1の姿勢から建物の屋根の概観画像をキャプチャすること1110と;概観画像上に重ねられた提案された境界多角形のグラフィカル表現をユーザに提示すること1120と;提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータにアクセスすること1130と;提案された境界多角形とユーザ編集を符号化するデータとに基づいて境界多角形を決定すること1140と;境界多角形に基づいて飛行経路を決定すること1150と;水平位置が飛行経路のそれぞれの姿勢と整合し、垂直位置が屋根の上方の一定した距離を維持するように決定された状態で一連のスキャン姿勢をとるように無人飛行体を飛行させるように推進機構を制御すること1160と;屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンすること1170とを含む。たとえば、プロセス1100は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス1100は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス1100は図4のハードウェア構成400を使用して実施されてもよい。
プロセス1100は、無人飛行体(たとえば無人飛行体200)の1つ以上の画像センサ(たとえば画像センサ220)を使用して、屋根の上方に位置づけられた無人飛行体の第1の姿勢から建物の屋根の概観画像をキャプチャすること1110を含む。概観画像は、屋根の3次元マップを生成するためと、スキャン手順の様々な段階においてユーザフィードバックを提供するために使用されることになる、飛行経路(たとえば動的な表面に相対的な飛行経路)に沿った無人飛行体の進行をユーザが追跡することができるようにするためのグラフィカルユーザインターフェースの一部を形成することができる、構造体の静止映像として使用されてもよい。グラフィカルユーザインターフェースに概観画像を組み込むことで、グラフィカルユーザインターフェースの画素を屋根の各部と関連付けることによって、スキャンされている屋根に関連するユーザ意図のローカライゼーションを容易にすることができる。たとえば、概観画像は、屋根の全部が概観画像をキャプチャする1110ために使用される画像センサの視野内に現れるように屋根から十分に遠い姿勢からキャプチャする1110ことができる。
実装形態によっては、無人飛行体は、屋根の概観画像をキャプチャする1110ために使用される姿勢をとるように自動的に飛行するように構成されてもよい。たとえば、ユーザが最初に、地上でヴィークルを、スキャンされる屋根を有する建物の方向に向けて設定してもよい。ユーザは、無人飛行体のユーザインターフェース内の離陸アイコンを操作してもよく、それによって無人飛行体を離陸させ、関心のある目標建物の上まで斜め方向に上昇させ、下にある建物の屋根を直接見下ろし、1つ以上の画像センサ(たとえば画像センサ220)の視野内の該当エリアの全部をキャプチャ1110するのに十分な高さに飛行させることができる。実装形態によっては、屋根の概観画像をキャプチャ1110するために使用される姿勢をとるように無人飛行体が手動で制御されてもよく、プロセス1100は無人飛行体がそのように位置づけられたら開始されてもよい。
プロセス1100は、概観画像上に重ねられた提案された境界多角形のグラフィカル表現をユーザに提示する1120ことを含む。提案された境界多角形は、ユーザが頂点を面内で移動させることができるようにするグラフィカル表現のそれぞれの頂点アイコンに対応する頂点を含む。たとえば、提案された境界多角形は、水平面における矩形であってもよい。実装形態によっては、提案された境界多角形(たとえば三角形、矩形、五角形または六角形)は概観画像の中央に重ねられ、固定したデフォルトサイズを有する。実装形態によっては、提案された境界多角形は、概観画像内に現れたときに屋根の全周を識別するようにコンピュータビジョン処理を使用して生成され、屋根の識別された全周に密接に対応する提案された境界多角形を生成する。(たとえば概観画像が斜めの視点からキャプチャされる)いくつかの実装形態では、提案された境界多角形は概観画像に重ねられる前に水平面から概観画像の面に投影される。たとえば、提案された境界多角形のグラフィカル表現がグラフィカルユーザインターフェース(たとえば図13A-13Bのグラフィカルユーザインターフェース1300)の一部として提示1120されてもよい。たとえば、無人飛行体の処理装置(たとえば処理装置410)が、概観画像上に重ねられた提案された境界多角形のグラフィカル表現を符号化するデータを(たとえば無線通信ネットワークを介して)ユーザコンピューティングデバイス(たとえばコントローラ120)に送信することによって、概観画像上に重ねられた提案された境界多角形のグラフィカル表現を提示1120してもよい。
プロセス1100は、提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータにアクセスすること1130を含む。ユーザは、提案された境界多角形が提示1120されたグラフィカルユーザインターフェースを受信、解釈および/またはインタラクトするために、コンピューティングデバイス(たとえばコントローラ120、タブレット、ラップトップまたはスマートフォンを使用してもよい。たとえば、ユーザは、タッチスクリーンを使用して、概観画像内に屋根が現れているときにスキャンされる屋根の全周に対応する提案された境界多角形の編集のために、提案された境界多角形の頂点を移動するように頂点アイコンのうちの1つ以上の頂点アイコンとインタラクトしてもよい。ユーザは、彼らのコンピューティングデバイスを使用して、提案された境界多角形の1つ以上の頂点に対するこれらの編集をデータとして符号化してもよく、このデータがプロセス1100を実施するデバイス(たとえば無人飛行体200)に送信されてもよく、さらにそのデバイスが、そのデータを受信する。たとえば、このデータは提案された境界多角形の頂点の面内の変更された座標を含んでもよい。提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータには、様々な方法でアクセスする1130ことができる。たとえば、提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータは、通信インターフェース(たとえば通信インターフェース440)を介して遠隔のコンピューティングデバイス(たとえばコントローラ120)から受信することによってアクセス1130されてもよい。たとえば、提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータは、相互接続(たとえば相互接続450)を介してメモリ(たとえばデータ記憶デバイス420)から読み出されることによってアクセス1130されてもよい。
プロセス1100は、提案された境界多角形とユーザ編集を符号化するデータとに基づいて境界多角形を決定すること1140を含む。ユーザ編集を符号化するデータは、境界多角形を決定1140するために提案された境界多角形の1つ以上の頂点を更新するように組み込まれてもよい。(たとえば概観画像が斜めの視点からキャプチャされる)いくつかの実装形態では、境界多角形は概観画像の面から水平面に投影される。たとえば、境界多角形は無人飛行体のジオフェンスであってもよい。
プロセス1100は、境界多角形に基づいて飛行経路(たとえば動的な表面に相対的な飛行経路)を決定すること1150を含む。飛行経路は、境界多角形を集合的にカバーする固定した高さにおけるそれぞれの視野を有する無人飛行体の一連の姿勢を含む。たとえば、飛行経路は、芝刈り機パターンとして決定されてもよい。実装形態によっては、(たとえば、提案された境界多角形を編集するために使用されたユーザインターフェースを使用して)ユーザが、屋根が3次元空間においてその中に存在すると予想される体積を、境界多角形とともに画定する(たとえば地面の上方の)おおよその高さの入力または選択も行う。たとえば、この高さパラメータと境界多角形とに基づいて3次元空間における境界ボックスが決定されてもよく、境界ボックスに基づいて飛行経路が決定1150されてもよい。実装形態によっては、3次元スキャニング動作の追加のパラメータがユーザによって指定または調整されてもよい。たとえば、飛行経路は、グリッドサイズ、屋根の表面の上方の名目高さおよび最高飛行速度を含むパラメータのセットのうちの1つ以上のパラメータを含む、ユーザによる選択のために提示される1つ以上のスキャンパラメータに基づいて決定1150されてもよい。
プロセス1100は、飛行経路(たとえば動的な表面に相対的な飛行経路)のそれぞれの姿勢と整合する水平位置と、屋根の上方の一定した距離(たとえば3メートルまたは5メートル)を維持するように決定された垂直位置とを有する一連のスキャン姿勢をとるように無人飛行体を飛行させるために推進機構を制御すること1160を含む。無人飛行体は、スキャン手順中に遭遇する障害物(たとえば煙突や木の枝)を自動的に検出して回避するように構成されてもよい。たとえば、一連のスキャン姿勢のうちの姿勢間を飛行している間に、無人飛行体の1つ以上の画像センサ(たとえば画像センサ220-226)を使用してキャプチャされた画像に基づいて障害物が検出されてもよく;その障害物を回避するために飛行経路の姿勢が動的に調整されてもよい。たとえば、屋根は、屋根の3次元マップを生成するためのスキャニング1170にとってより安全でより高速とすることができる、(たとえば図6のプロセス600を使用して)ファセット撮像に使用される一定した距離より大きい距離から3次元マップを生成するようにスキャンされてもよい。たとえば、処理装置(たとえば処理装置410)が、推進コントローラインターフェース(たとえば推進制御インターフェース442)を使用して推進機構(たとえば電気モータによって駆動される1つ以上のプロペラ)を制御1160してもよい。
実装形態によっては、3次元境界ボックスが画定された後、屋根の角における斜めの視点(たとえば高い位置から、のぞき込み)などの少数の関心のある点が生成され、飛行される。次に、無人飛行体はその飛行経路(たとえば動的な表面に相対的な飛行経路)を飛行して屋根の3次元マップを生成する。
プロセス1100は、屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンすること1170を含む。たとえば、3次元マップはボクセル占有マップまたは符号付き距離マップを含んでもよい。たとえば、1つ以上の画像センサが、距離データを提供するために使用される立体撮像をサポートするように構成されてもよく、屋根の3次元マップを生成するために1つ以上の画像センサを使用して屋根がスキャン1170されてもよい。実装形態によっては、無人飛行体は他の種類のレンジセンサまたは距離センサ(たとえばライダーセンサまたはレーダーセンサ)を含んでもよい。たとえば、屋根の3次元マップを生成するためにレーダーセンサを使用して屋根がスキャン1170されてもよい。たとえば、屋根の3次元マップを生成するためにライダーセンサを使用して屋根がスキャン1170されてもよい。
3次元マップ(たとえばボクセルマップ)は、機上画像センサからの立体距離画像を融合させることによって作成されてもよい。たとえば、3次元マップのボクセルが占有空間または空き空間としてマークされてもよい。表面ボクセルは空き空間に隣接する占有ボクセルのサブセットであってもよい。実装形態によっては、表面ボクセルは単に各水平(x,y)位置における最も高い占有ボクセルとすることができる。
たとえば、3次元マップは符号付き距離マップであってもよい。3次元マップは機上画像センサからの立体距離画像を融合させることによって作成されてもよい。3次元マップは、符号付き距離値の密なボクセルグリッドとして表現されてもよい。たとえば、符号付き距離マップは、短縮符号付き距離場(truncated signed distance field)(TSDF)であってもよい。値は、ボクセル中心を距離画像に投影し、符号付き距離値の重み付き平均を更新することによって更新可能である。符号付き距離マップの上面は、所望の解像度で選択された光線を使用してレイマーチングによって計算されてもよい。実装形態によっては、正確度の向上のために光線に沿って符号付き距離関数の暗黙的表面位置(たとえばゼロ交差)が補間されてもよい。
場合によっては、無人飛行体が再充電される必要があるときなど、スキャニング手順を中断することが有利な場合がある。無人飛行体が移動するときの無人機の位置の低ドリフト視覚慣性オドメトリ(VIO)推定値を維持することによって、再充電などの介入タスクを遂行した後のスキャニング手順の比較的シームレスな継続を伴う中断を可能にすることができる。たとえば、プロセス1100は、飛行経路の一連の姿勢のうちの次の姿勢を示すスキャン状態を記憶することと;スキャン状態の記憶後に、(たとえばドック300への)着陸のために無人飛行体を飛行させるように推進機構を制御することと;着陸後に、無人飛行体を離陸させるように推進機構を制御することと;スキャン状態にアクセスすることと;スキャン状態に基づいて、無人飛行体に一連のスキャン姿勢のうちの次の姿勢に対応する姿勢をとるように飛行させ、3次元マップを生成するために屋根のスキャニング1170を続けさせるように、推進機構を制御することとを含んでもよい。
図12は、屋根のスキャンの進行情報を提示するプロセス1200の一例を示すフローチャートである。たとえば、屋根の3次元マップを生成するために(たとえば図11のプロセス1100を使用して)スキャンが行われてもよい。プロセス1200は、概観画像上に重ねられた無人飛行体のグラフィカル表現を提示すること1210と;概観画像上に重ねられた飛行経路(たとえば動的な表面に相対的な飛行経路)に沿った進行を示すインディケーションを提示すること1220とを含む。概観画像は、無人飛行体のユーザインターフェースにおける静止視点として使用される。無人飛行体が飛行を続けて屋根に近づくとき、ユーザインターフェース内に表示される背景画像を概観画像において静止させることができるが、状況情報に空間的コンテキストを提供するために、行われているスキャン手順に関する追加の状況情報が更新され、この背景画像上に重ねられてもよい。たとえば、プロセス1200は図1の無人飛行体110によって実施されてもよい。たとえば、プロセス1200は図2A-図2Bの無人飛行体200によって実施されてもよい。たとえば、プロセス1200は図4のハードウェア構成400を使用して実施されてもよい。
プロセス1200は、概観画像上に重ねられた無人飛行体のグラフィカル表現を提示すること1210を含む。無人飛行体のグラフィカル表現は、無人飛行体の水平現在位置に対応する。実装形態によっては、無人飛行体のグラフィカル表現は、無人飛行体の3次元レンダリングを含む。たとえば、無人飛行体の3次元レンダリングは、無人飛行体の物理的場所(たとえば現在位置または予定位置)について正しい観点でユーザインターフェースに描画することができる。たとえば、概観画像の観点から見たときの、屋根に対して相関的な無人飛行体の物理的場所は、無人飛行体が移動するときの無人飛行体の位置の低ドリフト視覚慣性オドメトリ(VIO)推定値を維持することによって決定可能である。無人飛行体のグラフィカル表現(たとえば3次元レンダリング)の提示1210により、無人飛行体が屋根に対してどの位置にあるか、および当面のスキャニング手順がよりよくわかるように、ユーザが概観画像のコンテキストで無人飛行体を見ることができるようにすることが可能である。たとえば、無人飛行体のグラフィカル表現は、グラフィカルユーザインターフェース(たとえば図13A-図13Bのグラフィカルユーザインターフェース1300)の一部として提示1210されてもよい。たとえば、無人飛行体の処理装置(たとえば処理装置410)が、概観画像上に重ねられた無人飛行体のグラフィカル表現を符号化するデータを(たとえば無線通信ネットワークを介して)ユーザコンピューティングデバイス(たとえばコントローラ120)に送信することによって、概観画像上に重ねられた無人飛行体のグラフィカル表現を提示1210してもよい。
プロセス1200は、概観画像上に重ねられた飛行経路(たとえば動的な表面に相対的な飛行経路)に沿った進行を示すインディケーションを提示すること1220を含む。たとえば、飛行経路に沿った進行を示すインディケーションは、飛行経路の姿勢に対応する姿勢から成功裏にスキャンされた屋根のカラーコーディングセクションを含んでもよい。飛行経路に沿った進行を示すインディケーションの提示1220により、ユーザが3次元スキャン手順の状態および/または形状推定と、今後のステップにおける経路計画とがわかるようにすることができる。たとえば、飛行経路に沿った進行を示すインディケーションは、グラフィカルユーザインターフェース(たとえば図13A-図13Bのグラフィカルユーザインターフェース1300)の一部として提示1220されてもよい。たとえば、無人飛行体の処理装置(たとえば処理装置410)が、概観画像上に重ねられた飛行経路に沿った進行を示すインディケーションを符号化するデータを(たとえば無線通信ネットワークを介して)ユーザコンピューティングデバイス(たとえばコントローラ120)に送信することによって、概観画像上に重ねられた飛行経路に沿った進行のインディケーションを提示1220してもよい。
図13Aは、屋根のスキャニングを容易にする境界多角形の編集を可能にするように、屋根の概観画像上に重ねられた提案された境界多角形を提示するために使用される、無人飛行体(たとえば無人飛行体200)のグラフィカルユーザインターフェース1300の一例を示す図である。グラフィカルユーザインターフェース1300は、建物の屋根1320のビューを含む概観画像1310を含む。グラフィカルユーザインターフェース1300は、概観画像1310上に重ねられた提案された境界多角形1330のグラフィカル表現も含む。提案された境界多角形のグラフィカル表現は、提案された境界多角形のそれぞれの頂点に対応する頂点アイコン1340、1342、1344および1346を含む。ユーザは、(たとえば彼らのコンピューティングデバイスのタッチスクリーンを使用して)、提案された境界多角形の対応する頂点を移動させるために頂点アイコン1340、1342、1344および1346のうちの1つ以上の頂点アイコンとインタラクトすることができる。
図13Bは、屋根のスキャニングを容易にする境界多角形の編集を可能にするように、屋根の概観画像上に重ねられた提案された境界多角形を提示するために使用される無人飛行体のグラフィカルユーザインターフェース1300の一例を示す図である。図13Bは、スキャンされる屋根の全周に対応するように提案された境界多角形を編集するためにユーザが頂点アイコン1340、1342、1344および1346とインタラクトした後の、グラフィカルユーザインターフェース1300を示す。この例では、ユーザは頂点アイコン1340と頂点アイコン1342の位置についての微調整を容易にするように概観画像1310の一部にズームインするために、グラフィカルユーザインターフェース1300のズーム機能を使用している。ユーザが提案された境界多角形の編集を完了すると、ユーザは境界多角形承認アイコン1360とインタラクトすることによって完了を示すことができる。
図14Aは、ファセットと関連付け可能な入力多角形1400の一例を示す図である。入力多角形1400は、入力多角形1400の外側に延長された場合に交わることになる隣接エッジ1420および1422を有する凸エッジ1410を有する。入力多角形1400は、エッジと頂点の数を減らすように凸エッジを除去し、隣接エッジを延長することによって単純化することができる。
図14Bは、図14Aの入力多角形1400に基づいて決定された、単純化された多角形1450の一例を示す図である。たとえば、単純化された多角形1450を得るように入力多角形1400を単純化するために図8のプロセス800が実施されてもよい。凸エッジ1410が識別され、除去されており、隣接エッジ1420および1422が入力多角形1400の外部で両者が交わる点1460まで延長されている。結果としての、単純化された多角形1450の全周および面積の入力多角形に対する増大が十分に小さい(たとえば閾値未満である)場合、単純化された多角形1450は入力多角形1400の代わりに使用可能である。
本明細書では、無人飛行体を使用する構造体スキャンの実装形態が開示される。
第1の態様では、本明細書に記載の主題は、推進機構と、1つ以上の画像センサと、処理装置とを含む無人飛行体を含むシステムにおいて具現化可能であり、処理装置は:構造体の表面上の3次元空間における点のセットを符号化する構造体の3次元マップにアクセスし;3次元マップに基づいて、それぞれ3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である1つ以上のファセットを生成し;1つ以上のファセットに基づいて、1つ以上の画像センサを使用した1つ以上のファセットのそれぞれからの一定した距離における構造体の画像のキャプチャを可能にする無人飛行体の一連の姿勢を含むスキャン計画を生成し;スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体を飛行させるために推進機構を制御し;1つ以上の画像センサを使用してその姿勢から構造体の1つ以上の画像をキャプチャするように構成される。
第2の態様では、本明細書に記載の主題は、構造体の表面上の3次元空間における点のセットを符号化する構造体の3次元マップにアクセスすることと;3次元マップに基づいて、それぞれ3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である1つ以上のファセットを生成することと;1つ以上のファセットに基づいて、無人飛行体の1つ以上の画像センサを使用した1つ以上のファセットのそれぞれから一定した距離における構造体の画像のキャプチャを可能にする無人飛行体の一連の姿勢を含むスキャン計画を生成することと;スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体を飛行させるために推進機構を制御することと;1つ以上の画像センサを使用してその姿勢から構造体の1つ以上の画像をキャプチャすることとを含む方法において実現可能である。
第3の態様では、本明細書に記載の主題は、命令を含む非一時的コンピュータ可読記憶媒体において具現化可能であり、命令はプロセッサによって実行されると:構造体の表面上の3次元空間における点のセットを符号化する構造体の3次元マップにアクセスすることと;3次元マップに基づいて、それぞれ3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である1つ以上のファセットを生成することと;1つ以上のファセットに基づいて、無人飛行体の1つ以上の画像センサを使用した1つ以上のファセットのそれぞれから一定した距離における構造体の画像のキャプチャを可能にする無人飛行体の一連の姿勢を含むスキャン計画を生成することと;スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体を飛行させるために推進機構を制御することと;1つ以上の画像センサを使用してその姿勢から構造体の1つ以上の画像をキャプチャすることとを含む、動作のパフォーマンスを促す。
第4の態様では、本明細書に記載の主題は、推進機構と、1つ以上のセンサと、処理装置とを含む無人飛行体において具現化可能であり、処理装置は:1つ以上の画像センサを使用して屋根の上方に位置づけられた無人飛行体の第1の姿勢から建物の屋根の概観画像をキャプチャし;提案された境界多角形がユーザが面内で頂点を移動させることができるようにするグラフィカル表現のそれぞれの頂点アイコンに対応する頂点を含む、概観画像上に重ねられた提案された境界多角形のグラフィカル表現をユーザに提示し;提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータにアクセスし;提案された境界多角形とユーザ編集を符号化するデータとに基づいて境界多角形を決定し;境界多角形に基づいて、境界多角形を集合的にカバーする固定した高さにおけるそれぞれの視野を有する無人飛行体の一連の姿勢を含む飛行経路を決定し;飛行経路のそれぞれの姿勢と整合する水平位置と、屋根の上方の一定した距離を維持するように決定された垂直位置とを有する一連のスキャン姿勢をとるように無人飛行体を飛行させるために推進機構を制御し;屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンするように構成される。
第5の態様では、本明細書に記載の主題は、無人飛行体の1つ以上の画像センサを使用して、屋根の上方に位置づけられた無人飛行体の第1の姿勢から建物の屋根の概観画像をキャプチャすることと;概観画像上に重ねられた提案された境界多角形のグラフィカル表現をユーザに提示することとであって、提案された境界多角形はユーザが面内で頂点を移動させることができるようにするグラフィカル表現のそれぞれの頂点アイコンに対応する頂点を含む、ことと;提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータにアクセスすることと;提案された境界多角形とユーザ編集を符号化するデータとに基づいて境界多角形を決定することと;境界多角形に基づいて飛行経路を決定することであって、飛行経路は境界多角形を集合的にカバーする固定した高さにおけるそれぞれの視野を有する無人飛行体の一連の姿勢を含む、ことと;飛行経路のそれぞれの姿勢と整合する水平位置と屋根の上方の一定した距離を維持するように決定された垂直位置とを有する一連の姿勢をとるように無人飛行体を飛行させるために推進機構を制御することと;屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンすることとを含む方法において具現化可能である。
第6の態様では、本明細書に記載の主題は、命令を含む非一時的コンピュータ可読記憶媒体において具現化可能であり、命令は、プロセッサによって実行されると:無人飛行体の1つ以上の画像センサを使用して、屋根の上方に位置づけられた無人飛行体の第1の姿勢から建物の屋根の概観画像をキャプチャすることと;概観画像上に重ねられた提案された境界多角形のグラフィカル表現をユーザに提示することとであって、提案された境界多角形はユーザが面内で頂点を移動させることができるようにするグラフィカル表現のそれぞれの頂点アイコンに対応する頂点を含む、ことと;提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータにアクセスすることと;提案された境界多角形とユーザ編集を符号化するデータとに基づいて境界多角形を決定する動作と、境界多角形に基づいて飛行経路を決定することであって、飛行経路は境界多角形を集合的にカバーする固定した高さにおけるそれぞれの視野を有する無人飛行体の一連の姿勢を含む、ことと;飛行経路のそれぞれの姿勢と整合する水平位置と屋根の上方の一定した距離を維持するように決定された垂直位置とを有する一連の姿勢をとるように無人飛行体を飛行させるために推進機構を制御することと;屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンすることとを含む、動作のパフォーマンスを促す。
実装形態によっては、無人飛行体は:推進機構と、1つ以上の画像センサと、処理装置とを含み、処理装置は:構造体の表面上の3次元空間における点のセットを符号化する構造体の3次元マップにアクセスし;3次元マップに基づいて、1つ以上のファセットのうちの所与のファセットが、3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である、1つ以上のファセットを生成し;1つ以上のファセットに基づいて、1つ以上の画像センサを使用して構造体の画像をキャプチャするために無人飛行体がとる一連の姿勢を含むスキャン計画を生成し;無人飛行体にスキャン計画の一連の姿勢のうちの1つの姿勢に対応する姿勢をとるように飛行させるために推進機構を制御し;1つ以上の画像センサを使用して、その姿勢から構造体の1つ以上の画像をキャプチャするように構成される。無人飛行体のいくつかの実装形態では、処理装置は:1つ以上の画像センサを使用して構造体の概観画像をキャプチャし、3次元マップに基づいてファセット提案を生成し;2次元多角形を、点のサブセットが概観画像の画像面に投影されたときのファセット提案に対応する、3次元マップの点のサブセットの凸包として決定するように構成される。いくつかのこのような実装形態では、処理装置は:概観画像上に重ねられた2次元多角形を提示し;2次元多角形のユーザ編集を示すデータに基づいて概観画像の画像面における編集された2次元多角形を決定し;編集された2次元多角形に基づいて1つ以上のファセットのうちの1つを決定するように構成される。いくつかのこのような実装形態では、処理装置は:概観画像上に重ねられた2次元多角形を提示する前に、2次元多角形から凸エッジを除去し;凸エッジに隣接する2次元多角形のエッジを、延長されたエッジが互いに交わる点まで延長することによって、2次元多角形を単純化するように構成される。いくつかのこのような実装形態では、処理装置は:凸エッジの除去が2次元多角形の面積を閾値未満の量だけ増大させることを確認するように構成される。いくつかのこのような実装形態では、処理装置は、凸エッジの除去が2次元多角形の全周を閾値未満の量だけ増大させることを確認するように構成される。無人飛行体のいくつかの実装形態では、スキャン計画の一連の姿勢は1つ以上のファセットのそれぞれの正射投影撮像のための姿勢である。無人飛行体のいくつかの実装形態では、1つ以上の画像センサは、距離データを提供するために使用される立体撮像をサポートするように構成され、処理装置は:無人飛行体を構造体の近傍まで飛行させるように推進機構を制御し;3次元マップを生成するために1つ以上の画像センサを使用して構造体をスキャンするように構成される。無人飛行体のいくつかの実装形態では、処理装置は:1つ以上の画像センサを使用して構造体の概観画像をキャプチャし;概観画像上に重ねられたスキャン計画のグラフィカル表現をユーザに提示し、ユーザからスキャン計画の承認を示すインディケーションを受け取るように構成される。無人飛行体のいくつかの実装形態では、処理装置は:スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に、1つ以上の画像センサを使用してキャプチャされた画像に基づいて障害物を検出し;障害物を回避するようにスキャン計画の一連の姿勢のうちの姿勢を動的に調整するように構成される。無人飛行体のいくつかの実装形態では、処理装置は:スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に、1つ以上の画像センサを使用してキャプチャされた画像に基づいて、1つ以上のファセットのうちの1つのファセットからの構造体の表面上の点の逸脱を検出し;逸脱に適応し、画像キャプチャのための一定した距離を維持するように、スキャン計画の一連の姿勢のうちの姿勢を動的に調整するように構成される。無人飛行体のいくつかの実装形態では、処理装置は、ス:ャン計画の実行中に1つ以上のファセットのうちのどのファセットが成功裏に撮像されたかを示す1つ以上のファセットのカバレッジマップを生成し;そのカバレッジマップを提示するように構成される。無人飛行体のいくつかの実装形態では、処理装置は:1つ以上のファセットのそれぞれの面積推定値を決定し;1つ以上のファセットと、1つ以上のファセットのそれぞれの面積推定値と、スキャン計画の実行中にキャプチャされた構造体の画像とを含むデータ構造を提示するように構成される。無人飛行体のいくつかの実装形態では、構造体は建物の屋根、橋梁、または建設中の建物である。
実装形態によっては、方法が:構造体の表面上の3次元空間における点のセットを符号化する3次元マップにアクセスすることと;3次元マップに基づいて1つ以上のファセットを生成することであって、1つ以上のファセットのうちの所与のファセットが、3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である、ことと;1つ以上のファセットに基づいてスキャン計画を生成することであって、スキャン計画は無人飛行体の1つ以上の画像センサを使用して1つ以上のファセットのそれぞれから一定した距離における構造体の画像のキャプチャを可能にするために無人飛行体がとる一連の姿勢を含む、こととを含む。方法のいくつかの実装形態では、方法は:スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体を飛行させるために無人飛行体の推進機構を制御することと;1つ以上の画像センサを使用してその姿勢から構造体の1つ以上の画像をキャプチャすることとを含む。方法のいくつかの実装形態では、1つ以上のファセットを生成することは:1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと;3次元マップに基づいてファセット提案を生成することと、3次元マップの点のサブセットの凸包として2次元多角形を決定することであって、点のサブセットは概要画像の画像面に投射されたときのファセット提案に対応する、こととを含む。方法のいくつかの実装形態では、方法は:概観画像上に重ねられた2次元多角形を提示することと;2次元多角形のユーザ編集を示すデータに基づいて概観画像の画像面における編集された2次元多角形を決定することと;編集された2次元多角形に基づいて1つ以上のファセットのうちの1つのファセットを決定することとを含む。いくつかのこのような実装形態では、方法は:概観画像上に重ねられた2次元多角形を提示する前に、2次元多角形から凸エッジを除去し、凸エッジに隣接する2次元多角形のエッジを、延長されたエッジが互いに交わる点まで延長することによって、単純化することを含む。いくつかのこのような実装形態では、方法は:凸エッジの除去が2次元多角形の面積を閾値未満の量だけ増大させることを確認することを含む。いくつかのこのような実装形態では、方法は:凸エッジの除去が2次元多角形の全周を閾値未満の量だけ増大させることを確認することを含む。この方法のいくつかの実装形態では、スキャン計画の一連の姿勢は、1つ以上のファセットのそれぞれの正射投影撮像のための姿勢である。いくつかのこのような実装形態では、1つ以上の画像センサは距離データを提供するために使用される立体撮像をサポートするように構成され、方法は:構造体の近傍まで無人飛行体を飛行させるように推進機構を制御することと;3次元マップを生成するために1つ以上の画像センサを使用して構造体をスキャンすることとを含む。この方法のいくつかの実装形態では、方法は:1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと;概観画像上に重ねられたスキャン計画のグラフィカル表現を提示することと;ユーザからスキャン計画の承認を示すインディケーションを受け取ることとをさらに含む。この方法のいくつかの実装形態では、方法は:スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に障害物を検出することであって、検出が1つ以上の画像センサを使用してキャプチャされた画像に基づいて行われる、ことと;その障害物を回避するためにスキャン計画の一連の姿勢のうちの姿勢を動的に調整することとをさらに含む。方法のいくつかの実装形態では、方法は:スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に、1つ以上のファセットのうちの1つからの構造体の表面における点の逸脱を検出することであって、検出が1つ以上の画像センサを使用してキャプチャされた画像に基づいて行われる、ことと;逸脱に適応し、画像キャプチャのための一定した距離を維持するために、スキャン計画の一連の姿勢のうちの姿勢を動的に調整することとをさらに含む。方法のいくつかの実装形態では、方法は:スキャン計画の実行中に複数のファセットのうちのどのファセットが成功裏に撮像されたかを示す1つ以上のファセットのカバレッジマップを生成することと;そのカバレッジマップを提示することとをさらに含む。方法のいくつかの実装形態では、方法は:1つ以上のファセットのそれぞれの面積推定値を決定することと;1つ以上のファセットと、1つ以上のファセットのそれぞれのファセットの面積推定値と、スキャン計画の実行中にキャプチャされた構造体の画像とを含むデータ構造を提示することとをさらに含む。方法のいくつかの実装形態では、方法は:無人飛行体を保持するように構成された着陸面と着陸面上の基準マークとを含むドックの近傍における第1の場所まで無人飛行体を飛行させるために無人飛行体の推進機構を制御することと、;無人飛行体の画像センサを使用してキャプチャされた1つ以上の画像にアクセスすることと、;1つ以上の画像のうちの少なくとも1つの画像において基準マークを検出することと;1つ以上の画像に基づいて基準マークの姿勢を決定することと;基準マークの姿勢に基づいて、無人飛行体を着陸面に着陸させるように推進機構を制御することとをさらに含む。方法のいくつかの実装形態では、方法は:無人飛行体が着陸面上にある間に、ドックに含まれる充電器を使用して無人飛行体のバッテリに自動的に充電することをさらに含む。
実装形態によっては、非一時的コンピュータ可読記憶媒体が、プロセッサによって実行されると:構造体の表面上の3次元空間における点のセットを符号化する3次元マップにアクセスすることと;1つ以上のファセットのうちの所与のファセットが、3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である、3次元マップに基づいて1つ以上のファセットを生成することと;1つ以上のファセットに基づいてスキャン計画を生成することであって、スキャン計画が、無人飛行体の1つ以上の画像センサを使用して1つ以上のファセットのそれぞれから一定した距離における構造体の画像のキャプチャを可能にするために無人飛行体がとる一連の姿勢を含む、こととを含む、動作のパフォーマンスを促す命令を含む。非一時的コンピュータ可読記憶媒体のいくつかの実装形態では、命令はプロセッサによって実行されると:スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体を飛行させるために無人飛行体の推進機構を制御することと;1つ以上の画像センサを使用してその姿勢から構造体の1つ以上の画像をキャプチャすることとを含む、動作のパフォーマンスを促す。非一時的コンピュータ可読記憶媒体のいくつかの実装形態では、命令はプロセッサによって実行されると:1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと;3次元マップに基づいてファセット提案を生成することと;3次元マップの点のサブセットの凸包として2次元多角形を決定することであって、点のサブセットは概要画像の画像面に投影されたときのファセット提案に対応する、こととを含む動作のパフォーマンスを促す。いくつかのこのような実装形態では、命令はプロセッサによって実行されると:概観画像上に重ねられた2次元多角形を提示することと;2次元多角形のユーザ編集を示すデータに基づいて概観画像の画像面における編集された2次元多角形を決定することと;編集された2次元多角形に基づいて1つ以上のファセットのうちの1つのファセットを決定することとを含む、動作のパフォーマンスを促す。いくつかのこのような実装形態では、命令はプロセッサによって実行されると:概観画像上に重ねられた2次元多角形を提示する前に、2次元多角形から凸エッジを除去し、凸エッジに隣接する2次元多角形のエッジを、延長されたエッジが互いに交わる点まで延長することによって、単純化することを含む動作のパフォーマンスを促す。いくつかのこのような実装形態では、命令はプロセッサによって実行されると:凸エッジの除去が2次元多角形の面積を閾値未満の量だけ増大させることを確認することを含む動作のパフォーマンスを促す。いくつかのこのような実装形態では、命令はプロセッサによって実行されると:凸エッジの除去が2次元多角形の全周を閾値未満の量だけ増大させることを確認することを含む動作の実行を促す。非一時的コンピュータ可読記憶媒体のいくつかの実装形態では、スキャン計画の一連の姿勢は、1つ以上のファセットのそれぞれの正射投影撮像のための姿勢である。いくつかのこのような実装形態では、1つ以上の画像センサは距離データを提供するために使用される立体撮像をサポートするように構成され、非一時的コンピュータ可読記憶媒体は、プロセッサによって実行されると:構造体の近傍まで無人飛行体を飛行させるように推進機構を制御することと;3次元マップを生成するために1つ以上の画像センサを使用して構造体をスキャンすることとを含む動作のパフォーマンスを促す命令を含む。非一時的コンピュータ可読記憶媒体のいくつかの実装形態では、命令はプロセッサによって実行されると:1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと;概観画像上に重ねられたスキャン計画のグラフィカル表現を提示することと;ユーザからスキャン計画の承認を示すインディケーションを受け取ることとを含む、動作のパフォーマンスを促す。いくつかのこのような実装形態では、命令はプロセッサによって実行されると:スキャン計画の実行中に1つ以上のファセットのうちのどのファセットが成功裏に撮像されたかを示す1つ以上のファセットのカバレッジマップを生成することと;そのカバレッジマップを提示することとを含む、動作の実行を促す。いくつかのこのような実装形態では、命令はプロセッサによって実行されると:1つ以上のファセットのそれぞれの面積推定値を決定することと;1つ以上のファセットと、1つ以上のファセットのそれぞれのファセットの面積推定値と、スキャン計画の実行中にキャプチャされた構造体の画像とを含むデータ構造を提示することとを含む動作のパフォーマンスを促す。
実装形態によっては、方法が:無人飛行体の1つ以上の画像センサを使用して無人飛行体の第1の姿勢から建物の屋根の概観画像をキャプチャすることであって、第1の姿勢において無人飛行体が屋根の上方に位置づけられる、ことと;概観画像上に重ねられた提案された境界多角形のグラフィカル表現をユーザに提示することであって、提案された境界多角形は、ユーザが面内で頂点を移動させることができるようにするグラフィカル表現のそれぞれの頂点アイコンに対応する頂点を含む、ことと;提案された境界多角形と、提案された境界多角形の頂点のうちの1つ以上の頂点のユーザ編集を符号化するデータとに基づいて境界多角形を決定することと;境界多角形に基づいて飛行経路を決定することであって、飛行経路が、境界多角形を集合的にカバーする固定した高さにおけるそれぞれの視野を有する無人飛行体の一連の姿勢を含む、こととを含む。方法のいくつかの実装形態では、方法は、概観画像上に重ねられた無人飛行体のグラフィカル表現を提示することであって、無人飛行体のグラフィカル表現が無人飛行体の現在の水平位置に対応する、ことをさらに含む。いくつかのこのような実装形態では、無人飛行体のグラフィカル表現は、無人飛行体の3次元レンダリングを含む。方法のいくつかの実装形態では、飛行経路はユーザによる選択のために提示される1つ以上のスキャンパラメータに基づいて決定され、1つ以上のスキャンパラメータは、グリッドサイズと、屋根の表面の上方の名目高さと最高飛行速度とを含むパラメータのセットからの1つ以上のパラメータを含む。方法のいくつかの実装形態では、飛行経路は芝刈り機パターンとして決定される。方法のいくつかの実装形態では、方法は:1つ以上の画像センサを使用してキャプチャされた画像に基づいて、無人飛行体が一連のスキャンポーズのうちの姿勢間を飛行している間に障害物を検出することと;その障害物を回避するために飛行経路の姿勢を動的に調整することとをさらに含む。方法のいくつかの実装形態では、方法は:概観画像上に重ねられた飛行経路に沿った進行を示すインディケーションを提示することをさらに含む。方法のいくつかの実装形態では、方法は:屋根の3次元マップを生成するために屋根をスキャンすることをさらに含む。いくつかのこのような実装形態では、方法は:飛行経路の一連の姿勢のうちの次の姿勢を示すスキャン状態を記憶することと;無人飛行体を着陸地点まで飛行させ、無人飛行体を着陸させるように無人飛行体の推進機構を制御することと;着陸後、無人飛行体を着陸地点から離陸させるように推進機構を制御することと;スキャン状態にアクセスすることと;スキャン状態に基づいて、無人飛行体を次の姿勢に対応する一連のスキャン姿勢のうちの姿勢をとるように飛行させ、3次元マップを生成するために屋根のスキャンを継続させるように、推進機構を制御することをさらに含む。いくつかのこのような実装形態では、方法は:無人飛行体を飛行経路のそれぞれの姿勢と整合する水平位置と屋根の上方の一定した距離を維持するように決定された垂直位置とを有する一連のスキャン姿勢をとるように飛行させるために無人飛行体の推進機構を制御することをさらに含み、屋根の3次元マップを生成するために屋根をスキャンすることは:屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンすることを含む。いくつかのこのような実装形態では、屋根は、後でファセット撮像に使用される一定した距離よりも大きい距離から3次元マップを生成するようにスキャンされる。いくつかのこのような実装形態では、1つ以上の画像センサは立体撮像をサポートするように構成され、屋根の3次元マップを生成するために屋根をスキャンすることは:屋根の3次元マップを生成するために立体撮像を使用して屋根をスキャンすることを含む。いくつかのこのような実装形態では、屋根の3次元マップを生成するために屋根をスキャンすることは:屋根の3次元マップを生成するために無人飛行体のレーダーセンサを使用して屋根をスキャンすることを含む。いくつかのこのような実装形態では、屋根の3次元マップを生成するために屋根をスキャンすることは:屋根の3次元マップを生成するために無人飛行体のライダーセンサを使用して屋根をスキャンすることを含む。
実装形態によっては、非一時的コンピュータ可読記憶媒体は、プロセッサによって実行されると本明細書に記載の方法を行うための動作のパフォーマンスを促す命令を含む。
実装形態によっては、処理装置を含む無人飛行体が、本明細書で開示されているような方法を実行するように構成され、無人飛行体は:推進機構と、1つ以上の画像センサとをさらに含む。無人飛行体のいくつかの実装形態では、処理装置は:無人飛行体に、飛行経路のそれぞれの姿勢と整合する水平位置と屋根の上方の一定した距離を維持するように決定された垂直位置とを有する一連のスキャン姿勢をとるように飛行させるために推進機構を制御し;屋根の3次元マップを生成するために一連のスキャン姿勢から屋根をスキャンするように構成される。いくつかのこのような実装形態では、無人飛行体は、レーダーセンサをさらに含み、処理装置は:屋根の3次元マップを生成するためにレーダーセンサを使用して屋根をスキャンするように構成される。いくつかのこのような実装形態では、無人飛行体はライダーセンサをさらに含み、処理装置は:屋根の3次元マップを生成するためにライダーセンサを使用して屋根をスキャンするように構成される。無人飛行体のいくつかの実装形態では、処理装置は:飛行経路の一連の姿勢のうちの次の姿勢を示すスキャン状態を記憶し;無人飛行体を着陸地点まで飛行させ、無人飛行体を着陸させるように推進機構を制御し;着陸後に無人飛行体を着陸地点から離陸させるように推進機構を制御し、スキャン状態にアクセスし;スキャン状態に基づいて、無人飛行体に次の姿勢に対応する一連のスキャン姿勢のうちの姿勢をとるように飛行させ、屋根の3次元マップを生成するために屋根のスキャニングを継続させるように推進機構を制御するように構成される。
本開示について特定の実施形態に関連して説明したが、本開示は本開示の実施形態には限定されるべきではなく、逆に、添付の特許請求の範囲に含まれる様々な修正および等価な構成を対象として含むことが意図されており、その範囲は、そのようなすべての修正および等価な構造を包含するように最も広義の解釈を受けるものとすることを理解されたい。
Claims (20)
- 構造体の3次元マップにアクセスすることであって、3次元マップは構造体の表面の3次元空間における点のセットを符号化する、ことと、
3次元マップに基づいて1つ以上のファセットを生成することであって、1つ以上のファセットのうちの所与のファセットが、3次元マップにおける点のサブセットに適合する3次元空間における面上の多角形である、ことと、
1つ以上のファセットに基づいてスキャン計画を生成することであって、スキャン計画は、無人飛行体の1つ以上の画像センサを使用した1つ以上のファセットのそれぞれからの一定した距離における構造体の画像のキャプチャを可能にするために無人飛行体がとる一連の姿勢を含む、ことと
を含む方法。 - スキャン計画の一連の姿勢のうちの1つに対応する姿勢をとるように無人飛行体を飛行させるために無人飛行体の推進機構を制御することと、
1つ以上の画像センサを使用してその姿勢から構造体の1つ以上の画像をキャプチャすることと
を含む、請求項1に記載の方法。 - 1つ以上のファセットを生成することは、
1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと、
3次元マップに基づいてファセット提案を生成することと、
3次元マップの点のサブセットの凸包として二次元多角形を決定することであって、点のサブセットは概観画像の画像面に投影されたときのファセット提案に対応する、ことと
を含む、請求項1に記載の方法。 - 概観画像上に重ねられた2次元多角形を提示することと、
提示された2次元多角形のユーザ編集を示すデータに基づいて、概観画像の画像面における編集された2次元多角形を決定することと、
編集された2次元多角形に基づいて1つ以上のファセットのうちの1つを決定することと
を含む、請求項3に記載の方法。 - 概観画像上に重ねられた2次元多角形を提示する前に、2次元多角形から凸エッジを除去し、凸エッジに隣接する2次元多角形のエッジを、延長されたエッジが互いに交わる点まで延長することによって、2次元多角形を単純化することを含む、請求項4に記載の方法。
- 凸エッジの除去が2次元多角形の面積を閾値未満の量だけ増大させることを確認することを含む、請求項5に記載の方法。
- 凸エッジの除去が2次元多角形の全周を閾値未満の量だけ増大させることを確認することを含む、請求項5に記載の方法。
- 1つ以上のファセットのそれぞれの面積推定値を決定することと、
1つ以上のファセットと、1つ以上のファセットのそれぞれの面積推定値と、スキャン計画の実行中にキャプチャされた構造体の画像とを含むデータ構造を提示することと
を含む、請求項2から7のいずれか一項に記載の方法。 - 1つ以上の画像センサは距離データを提供するために使用される立体撮像をサポートするように構成され、方法は、
無人飛行体を構造体の近傍まで飛行させるように推進機構を制御することと、
3次元マップを生成するために1つ以上の画像センサを使用して構造体をスキャンすることと
を含む、請求項2から7のいずれか一項に記載の方法。 - スキャン計画の実行中に1つ以上のファセットのうちのどのファセットが成功裏に撮像されたかを示す1つ以上のファセットのカバレッジマップを生成することと、
カバレッジマップを提示することと
を含む、請求項2から7のいずれか一項に記載の方法。 - スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に障害物を検出することであって、検出は1つ以上の画像センサを使用してキャプチャされた画像に基づいて行われる、ことと、
障害物を回避するためにスキャン計画の一連の姿勢のうちの姿勢を動的に調整することと
を含む、請求項2から7のいずれか一項に記載の方法。 - スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に障害物を検出することであって、検出は1つ以上の画像センサを使用してキャプチャされた画像に基づいて行われる、ことと、
障害物を回避するためにスキャン計画の一連の姿勢のうちの姿勢を動的に調整することと
を含む、請求項2から7のいずれか一項に記載の方法。 - スキャン計画の一連の姿勢のうちの姿勢間を飛行している間に1つ以上のファセットのうちの1つのファセットからの構造体の表面上の点の逸脱を検出することであって、検出は1つ以上の画像センサを使用してキャプチャされた画像に基づいて行われる、ことと、
逸脱に適応し、画像キャプチャのための一定した距離を維持するために、スキャン計画の一連の姿勢のうちの姿勢を動的に調整することと
を含む、請求項2から7のいずれか一項に記載の方法。 - 1つ以上の画像センサを使用して構造体の概観画像をキャプチャすることと、
概観画像上に重ねられたスキャン計画のグラフィカル表現を提示することと、
ユーザからスキャン計画の承認を示すインディケーションを受け取ることと
を含む、請求項1から7のいずれか一項に記載の方法。 - スキャン計画の一連の姿勢が1つ以上のファセットのそれぞれの正射投影撮像のための姿勢である、請求項1から7のいずれか一項に記載の方法。
- 構造体は建物の屋根、橋梁または建設中の建物である、請求項1から7のいずれか一項に記載の方法。
- 無人飛行体を、無人飛行体を保持するように構成された着陸面と着陸面上の基準マークとを含むドックの近傍の第1の場所まで飛行させるように無人飛行体の推進機構を制御することと、
無人飛行体の画像センサを使用してキャプチャされた1つ以上の画像にアクセスすることと、
1つ以上の画像のうちの少なくとも1つの画像内で基準マークを検出することと、
1つ以上の画像に基づいて基準マークの姿勢を決定することと、
基準マークの姿勢に基づいて、無人飛行体を着陸面上に着陸させるように推進機構を制御することと
を含む、請求項1から7のいずれか一項に記載の方法。 - 無人飛行体が着陸面上にある間に、ドックに含まれる充電器を使用して無人飛行体のバッテリに自動的に充電することを含む、請求項17に記載の方法。
- 推進機構と、
1つ以上の画像センサと、
請求項1から18のいずれか一項に記載の方法を行うように構成された処理装置と
を含む、無人飛行体。 - プロセッサによって実行されると請求項1から18のいずれか一項に記載の方法のパフォーマンスを促す命令を含む、非一時的コンピュータ可読記憶媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962926787P | 2019-10-28 | 2019-10-28 | |
US62/926,787 | 2019-10-28 | ||
US16/896,066 | 2020-06-08 | ||
US16/896,066 US11455894B2 (en) | 2019-10-28 | 2020-06-08 | Structure scan using unmanned aerial vehicle |
PCT/US2020/057616 WO2021086886A1 (en) | 2019-10-28 | 2020-10-28 | Structure scan using unmanned aerial vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022554248A true JP2022554248A (ja) | 2022-12-28 |
Family
ID=75585984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022525005A Pending JP2022554248A (ja) | 2019-10-28 | 2020-10-28 | 無人飛行体を使用する構造体スキャン |
Country Status (4)
Country | Link |
---|---|
US (5) | US11455894B2 (ja) |
EP (1) | EP4051585A1 (ja) |
JP (1) | JP2022554248A (ja) |
WO (1) | WO2021086886A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170307755A1 (en) | 2016-04-20 | 2017-10-26 | YoR Labs | Method and System for Determining Signal Direction |
US11453513B2 (en) * | 2018-04-26 | 2022-09-27 | Skydio, Inc. | Autonomous aerial vehicle hardware configuration |
DE102018120013A1 (de) * | 2018-08-16 | 2020-02-20 | Autel Robotics Europe Gmbh | Verfahren, vorrichtung und system zur übertragung von weginformationen, unbemanntes luftfahrzeug, bodenstation und computerlesbares speichermedium |
WO2021221758A2 (en) | 2020-02-13 | 2021-11-04 | Skydio, Inc. | Performing 3d reconstruction via an unmanned aerial vehicle |
US11998391B1 (en) | 2020-04-02 | 2024-06-04 | yoR Labs, Inc. | Method and apparatus for composition of ultrasound images with integration of “thick-slice” 3-dimensional ultrasound imaging zone(s) and 2-dimensional ultrasound zone(s) utilizing a multi-zone, multi-frequency ultrasound image reconstruction scheme with sub-zone blending |
WO2021242414A2 (en) | 2020-04-06 | 2021-12-02 | Workhorse Group Inc. | Flying vehicle systems and methods |
US11832991B2 (en) * | 2020-08-25 | 2023-12-05 | yoR Labs, Inc. | Automatic ultrasound feature detection |
US20220101507A1 (en) * | 2020-09-28 | 2022-03-31 | Alarm.Com Incorporated | Robotic building inspection |
US11440679B2 (en) * | 2020-10-27 | 2022-09-13 | Cowden Technologies, Inc. | Drone docking station and docking module |
US11751850B2 (en) | 2020-11-19 | 2023-09-12 | yoR Labs, Inc. | Ultrasound unified contrast and time gain compensation control |
US11355021B1 (en) * | 2021-03-05 | 2022-06-07 | Birdstop, Inc. | Nodal network infrastructure for unmanned aerial vehicle operations at scale |
JP7484815B2 (ja) | 2021-05-31 | 2024-05-16 | 株式会社デンソー | 電動航空機の制御装置 |
DE102022115285A1 (de) | 2022-06-20 | 2023-12-21 | E.ON Digital Technology GmbH | Stationsnetzwerk für autonome und/oder teilautonome unbemannte Luftfahrzeuge sowie Verfahren zur Steuerung von autonomen oder teilautonomen unbemannten Luftfahrzeugen |
CN116311540B (zh) * | 2023-05-19 | 2023-08-08 | 深圳市江元科技(集团)有限公司 | 一种基于3d结构光的人体姿态扫描方法、***和介质 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5548694A (en) * | 1995-01-31 | 1996-08-20 | Mitsubishi Electric Information Technology Center America, Inc. | Collision avoidance system for voxel-based object representation |
JP4319857B2 (ja) * | 2003-05-19 | 2009-08-26 | 株式会社日立製作所 | 地図作成方法 |
ES2809249T3 (es) | 2013-02-25 | 2021-03-03 | Commw Scient Ind Res Org | Método y sistema de imagen 3D |
US9269022B2 (en) * | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
US9305396B2 (en) | 2013-07-12 | 2016-04-05 | Electronic Arts Inc. | Identifying features in polygonal meshes |
US9581999B2 (en) | 2015-04-28 | 2017-02-28 | Wesley Zhou | Property preview drone system and method |
US9613538B1 (en) | 2015-12-31 | 2017-04-04 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
WO2017127711A1 (en) | 2016-01-20 | 2017-07-27 | Ez3D, Llc | System and method for structural inspection and construction estimation using an unmanned aerial vehicle |
WO2018067553A1 (en) | 2016-10-04 | 2018-04-12 | Wal-Mart Stores, Inc. | System and methods for drone-based vehicle status determination |
US9886632B1 (en) | 2016-11-04 | 2018-02-06 | Loveland Innovations, LLC | Systems and methods for autonomous perpendicular imaging of test squares |
US9805261B1 (en) | 2017-02-27 | 2017-10-31 | Loveland Innovations, LLC | Systems and methods for surface and subsurface damage assessments, patch scans, and visualization |
WO2019026169A1 (ja) | 2017-08-01 | 2019-02-07 | J Think株式会社 | 作業機械の運転システム |
US10861247B2 (en) * | 2017-09-21 | 2020-12-08 | Nearmap Us, Inc. | Roof report generation |
CA3030513A1 (en) * | 2018-01-19 | 2019-07-19 | Sofdesk Inc. | Automated roof surface measurement from combined aerial lidar data and imagery |
US11210514B2 (en) * | 2018-08-24 | 2021-12-28 | Loveland Innovations, LLC | Image analysis and estimation of rooftop solar exposure via solar ray mapping |
US11378718B2 (en) | 2018-10-02 | 2022-07-05 | Robert S. Phelan | Unmanned aerial vehicle system and methods |
US11544900B2 (en) | 2019-07-25 | 2023-01-03 | General Electric Company | Primitive-based 3D building modeling, sensor simulation, and estimation |
-
2020
- 2020-06-08 US US16/896,066 patent/US11455894B2/en active Active
- 2020-08-06 US US16/987,336 patent/US11455895B2/en active Active
- 2020-10-28 EP EP20811812.5A patent/EP4051585A1/en active Pending
- 2020-10-28 JP JP2022525005A patent/JP2022554248A/ja active Pending
- 2020-10-28 WO PCT/US2020/057616 patent/WO2021086886A1/en unknown
-
2022
- 2022-08-18 US US17/890,887 patent/US20220415185A1/en active Pending
- 2022-08-18 US US17/890,889 patent/US11952116B2/en active Active
- 2022-08-18 US US17/890,884 patent/US20230021969A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US11952116B2 (en) | 2024-04-09 |
US20210125406A1 (en) | 2021-04-29 |
US20220415185A1 (en) | 2022-12-29 |
US11455894B2 (en) | 2022-09-27 |
EP4051585A1 (en) | 2022-09-07 |
WO2021086886A1 (en) | 2021-05-06 |
US20220406193A1 (en) | 2022-12-22 |
US20210125503A1 (en) | 2021-04-29 |
US11455895B2 (en) | 2022-09-27 |
US20230021969A1 (en) | 2023-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022554248A (ja) | 無人飛行体を使用する構造体スキャン | |
US11914370B2 (en) | System and method for providing easy-to-use release and auto-positioning for drone applications | |
US11897631B2 (en) | Automated docking of unmanned aerial vehicle | |
US12025983B2 (en) | Indicating a scan target for an unmanned aerial vehicle | |
US20200346753A1 (en) | Uav control method, device and uav | |
EP3103043A1 (en) | Multi-sensor environmental mapping | |
CN108450032B (zh) | 飞行控制方法和装置 | |
WO2024087024A1 (zh) | 信息处理方法、信息处理设备、飞行器***及存储介质 | |
CN117837156A (zh) | 可移动平台的控制方法、装置、可移动平台及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231030 |