JP2023072064A - 無人航空機による3次元再構成の実行 - Google Patents
無人航空機による3次元再構成の実行 Download PDFInfo
- Publication number
- JP2023072064A JP2023072064A JP2023040965A JP2023040965A JP2023072064A JP 2023072064 A JP2023072064 A JP 2023072064A JP 2023040965 A JP2023040965 A JP 2023040965A JP 2023040965 A JP2023040965 A JP 2023040965A JP 2023072064 A JP2023072064 A JP 2023072064A
- Authority
- JP
- Japan
- Prior art keywords
- uav
- scan
- model
- image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 154
- 230000007246 mechanism Effects 0.000 claims description 41
- 230000009471 action Effects 0.000 claims description 21
- 230000004927 fusion Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 78
- 230000000875 corresponding effect Effects 0.000 description 41
- 238000004891 communication Methods 0.000 description 37
- 238000003032 molecular docking Methods 0.000 description 32
- 230000033001 locomotion Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 230000001276 controlling effect Effects 0.000 description 12
- 238000011156 evaluation Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000004807 localization Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 230000002596 correlated effect Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 4
- 230000000977 initiatory effect Effects 0.000 description 4
- 238000010422 painting Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D31/00—Power plant control systems; Arrangement of power plant control systems in aircraft
- B64D31/02—Initiating means
- B64D31/06—Initiating means actuated automatically
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/227—Handing over between remote control and on-board control; Handing over between remote control arrangements
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/40—Control within particular dimensions
- G05D1/46—Control of position or course in three dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/656—Interaction with payloads or external entities
- G05D1/689—Pointing payloads towards fixed or moving targets
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/69—Coordinated control of the position or course of two or more vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/30—Supply or distribution of electrical power
- B64U50/37—Charging when not in flight
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U80/00—Transport or storage specially adapted for UAVs
- B64U80/20—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV
- B64U80/25—Transport or storage specially adapted for UAVs with arrangements for servicing the UAV for recharging batteries; for refuelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Astronomy & Astrophysics (AREA)
- Mechanical Engineering (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
<表現1>
無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数の画像センサによって、前記UAVが飛行している間にスキャン対象の複数の画像を取得すること、
3次元(3D)モデルの複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用すること、前記複数の点は前記スキャン対象の表面を表す、
前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の差異を決定するために前記複数の画像の第1の画像と前記複数の画像の第2の画像とを比較すること、および、
少なくとも前記差異に基づいて、前記UAVが飛行している間に、
前記3Dモデルにおける少なくとも1つの点の更新済みの場所、または
前記3Dモデルにおける新たな点の場所
のうちの少なくとも1つを含む前記3Dモデルの更新を決定すること
を含む、無人航空機(UAV)。
<表現2>
少なくとも前記差異に基づいて前記3Dモデルの更新を決定する前記動作は、
追加の取得された画像に基づいて追加の距離情報を受信することと、
前記UAVに対する前記現在の基準系の位置と、前記UAVに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて前記3Dモデルにおける前記新たな点の前記場所を決定することと、
を含む、表現1に記載のUAV。
<表現3>
前記動作は、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記UAVに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも1つまで飛行させるように前記UAVの推進メカニズムを制御することと、
をさらに含む、表現1に記載のUAV。
<表現4>
前記3Dモデルの前記複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用する前記動作は、前記スキャン対象の前記複数の画像の少なくとも2つの画像を使用して、切り捨て符号付き距離関数(TSDF)の融合を実行することをさらに含む、表現1に記載のUAV。
<表現5>
前記差異を決定するために前記複数の画像の前記第1の画像と前記複数の画像の前記第2の画像とを比較する前記動作は、
前記第1の画像と前記第2の画像との間の1つまたは複数の対応関係を決定するために前記第1の画像と前記第2の画像とを比較することと、
前記1つまたは複数の対応関係に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の前記差異を決定することと、
をさらに含む、表現1に記載のUAV。
<表現6>
前記動作は、
前記第1の画像および前記第2の画像を含む前記複数の画像の複数の画像対をまとめることと、
前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記3Dモデルの複数の点の相対的な場所を更新することと、
をさらに含む、表現1に記載のUAV。
<表現7>
前記動作は、
複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記UAVに対する前記現在の基準系の位置と、前記UAVに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも部分的に基づいて決定することと、
前記決定された対応関係に少なくとも部分的に基づいて、前記3Dモデルより解像度が高い高解像3Dモデルを生成することと、
をさらに含む、表現1に記載のUAV。
<表現8>
無人航空機(UAV)の1つまたは複数のプロセッサが、前記UAVが飛行している間にスキャン対象の複数の画像を1つまたは複数の画像センサによって取得することと、
前記1つまたは複数のプロセッサが、3次元(3D)モデルの複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用することと、前記複数の点は前記スキャン対象の表面を表す、
前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の差異を決定するために前記複数の画像の第1の画像と前記複数の画像の第2の画像とを比較することと、
少なくとも前記差異に基づいて、前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、
前記3Dモデルにおける少なくとも1つの点の更新済みの場所、または
前記3Dモデルにおける新たな点の場所
のうちの少なくとも1つを含む前記3Dモデルの更新を決定することと、
を含む、方法。
<表現9>
少なくとも前記差異に基づいて前記3Dモデルの更新を決定することは、
追加の取得された画像に基づいて追加の距離情報を受信することと、
前記UAVに対する前記現在の基準系の位置と、前記UAVに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて、前記3Dモデルにおける前記新たな点の前記場所を決定することと、
を含む、表現8に記載の方法。
<表現10>
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画の対応する姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記UAVに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも1つまで飛行させるように、前記1つまたは複数のプロセッサによって、前記UAVの推進メカニズムを制御することと、
をさらに含む、表現8に記載の方法。
<表現11>
前記3Dモデルの前記複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用することは、前記スキャン対象の前記複数の画像の少なくとも2つの画像を使用して、切り捨て符号付き距離関数(TSDF)の融合を実行することをさらに含む、表現8に記載の方法。
<表現12>
前記差異を決定するために前記複数の画像の前記第1の画像と前記複数の画像の前記第2の画像とを比較することは、
前記第1の画像と前記第2の画像との間の1つまたは複数の対応関係を決定するために前記第1の画像と前記第2の画像とを比較することと、
前記1つまたは複数の対応関係に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の前記差異を決定することと、
をさらに含む、表現8に記載の方法。
<表現13>
前記第1の画像および前記第2の画像を含む前記複数の画像の複数の画像対をまとめることと、
前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記3Dモデルの複数の点の相対的な場所を更新することと、
をさらに含む、表現8に記載の方法。
<表現14>
複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記UAVに対する前記現在の基準系の位置と、前記UAVに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも基づいて決定することと、
前記決定された対応関係に少なくとも部分的に基づいて、前記3Dモデルより解像度が高い高解像3Dモデルを生成することと、
をさらに含む、表現8に記載の方法。
<表現15>
無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
1つまたは複数のプロセッサと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数の画像センサによって、前記UAVが飛行している間にスキャン対象の複数の画像を取得すること、
3次元(3D)モデルの複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用すること、前記複数の点は前記スキャン対象の表面を表す、
前記複数の画像の第1の画像と前記複数の画像の第2の画像との間の1つまたは複数の対応関係を決定するために前記第1の画像と前記第2の画像とを比較すること、
前記1つまたは複数の対応関係に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の差異を決定すること、および、
前記差異または前記1つもしくは複数の対応関係のうちの少なくとも1つに基づいて、前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、
前記3Dモデルにおける少なくとも1つの点の更新済みの場所、または
前記3Dモデルにおける新たな点の場所
のうちの少なくとも1つを含む前記3Dモデルの更新を決定すること
を含む、無人航空機(UAV)。
<表現16>
少なくとも前記差異に基づいて前記3Dモデルの更新を決定する前記動作は、
追加の取得された画像に基づいて追加の距離情報を受信することと、
前記UAVに対する前記現在の基準系の位置と、前記UAVに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて、前記3Dモデルにおける前記新たな点の前記場所を決定することと、
を含む、表現15に記載のUAV。
<表現17>
前記動作は、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記UAVに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも1つまで飛行させるように前記UAVの推進メカニズムを制御することと、
をさらに含む、表現15に記載のUAV。
<表現18>
前記3Dモデルの前記複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用する前記動作は、前記スキャン対象の前記複数の画像の少なくとも2つの画像を使用して、切り捨て符号付き距離関数(TSDF)の融合を実行することをさらに含む、表現15に記載のUAV。
<表現19>
前記動作は、
前記第1の画像および前記第2の画像を含む前記複数の画像の複数の画像対をまとめることと、
前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記3Dモデルの複数の点の相対的な場所を更新することと、
をさらに含む、表現15に記載のUAV。
<表現20>
前記動作は、
複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記UAVに対する前記現在の基準系の位置と、前記UAVに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも基づいて決定することと、
前記決定された対応関係に少なくとも部分的に基づいて、前記3Dモデルより解像度が高い高解像3Dモデルを生成することと、
をさらに含む、表現15に記載のUAV。
<表現21>
無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数のプロセッサによって、スキャン対象に対応する複数の点を含む3Dモデルに基づいて、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定すること、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含む、
前記1つまたは複数のプロセッサが、前記複数の姿勢のうちの1つまたは複数の姿勢から前記スキャン対象の1つまたは複数の画像を前記1つまたは複数の画像センサによって取得すること、
前記1つまたは複数のプロセッサによって、前記1つまたは複数の画像に少なくとも部分的に基づいて前記3Dモデルの更新を決定すること、および、
前記1つまたは複数のプロセッサによって、前記3Dモデルの前記更新に少なくとも部分的に基づいて前記スキャン計画を更新すること
を含む、無人航空機(UAV)。
<表現22>
前記動作は、前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記1つまたは複数のプロセッサによって前記スキャン計画を更新することをさらに含む、表現21に記載のUAV。
<表現23>
前記動作は、前記UAVの前記1つまたは複数のプロセッサによって、前記スキャン計画をリアルタイムで更新することをさらに含む、表現22に記載のUAV。
<表現24>
前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に前記3Dモデルの前記更新を決定することをさらに含む、表現21に記載のUAV。
<表現25>
前記動作は、前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することをさらに含み、前記スキャン対象の前記インジケーションは、
前記スキャン対象の少なくとも一部が位置する境界を形成する2D形状のインジケーション、
前記スキャン対象の表面に対応する形状のインジケーション、または
前記スキャン対象の少なくとも一部が位置するボリュームのインジケーション
のうちの少なくとも1つを含む、表現21に記載のUAV。
<表現26>
前記動作は、
前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することと、
前記1つまたは複数のプロセッサによって、前記スキャン対象の前記インジケーションに基づいて、前記1つまたは複数の画像センサの視野を向けるための1つまたは複数の位置を前記UAVに取らせるように前記UAVの前記推進メカニズムを制御することと、前記1つまたは複数の画像センサは、複数の低解像度画像センサおよび少なくとも1つの高解像度画像センサを含む、
前記複数の低解像度画像センサを使用して、前記1つまたは複数の位置から少なくとも1つの画像を取得することと、
前記低解像度画像センサを使用して取得された前記少なくとも1つの画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて、前記3Dモデルを決定することと、前記3Dモデルは最初は、前記スキャン対象の前記1つまたは複数の表面に対応する前記複数の点を含む低解像度3Dモデルである、
をさらに含む、表現21に記載のUAV。
<表現27>
無人航空機(UAV)の1つまたは複数のプロセッサによって、スキャン対象の1つまたは複数の表面に対応する複数の点を含む3次元(3D)モデルにアクセスすることと、
前記1つまたは複数のプロセッサによって、前記3Dモデルに基づいて、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定することと、前記スキャン計画は、1つまたは複数の画像センサを使用して前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記1つまたは複数のプロセッサが、前記UAVが飛行している間に、前記複数の姿勢のうちの1つまたは複数の姿勢から前記スキャン対象の1つまたは複数の画像を前記1つまたは複数の画像センサによって取得することと、
前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、前記1つまたは複数の画像に少なくとも部分的に基づいて前記3Dモデルの更新を決定することと、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に前記1つまたは複数のプロセッサによって前記スキャン計画を更新することと、
を含む、方法。
<表現28>
前記3Dモデルの前記更新を決定すること、または第1のスキャン計画を更新することのうちの少なくとも1つは、前記UAVに搭載された前記1つまたは複数のプロセッサによってリアルタイムで実行される、表現27に記載の方法。
<表現29>
前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することをさらに含み、前記スキャン対象の前記インジケーションは、
前記スキャン対象の少なくとも一部が位置する境界を形成する2D形状のインジケーション、
前記スキャン対象の表面に対応する形状のインジケーション、または
前記スキャン対象の少なくとも一部が位置するボリュームのインジケーション
のうちの少なくとも1つを含む、表現27に記載の方法。
<表現30>
前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することと、
前記1つまたは複数のプロセッサによって、前記スキャン対象の前記インジケーションに基づいて、前記1つまたは複数の画像センサの視野を向けるための1つまたは複数の位置を前記UAVに取らせるように前記UAVの前記推進メカニズムを制御することと、前記1つまたは複数の画像センサは、複数の低解像度画像センサおよび少なくとも1つの高解像度画像センサを含む、
前記複数の低解像度画像センサを使用して、前記1つまたは複数の位置から少なくとも1つの画像を取得することと、
前記低解像度画像センサを使用して取得された前記少なくとも1つの画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて前記3Dモデルを決定することと、前記3Dモデルは最初は、前記スキャン対象の前記1つまたは複数の表面に対応する前記複数の点を含む低解像度3Dモデルである、
をさらに含む、表現27に記載の方法。
<表現31>
前記少なくとも1つの画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて前記3Dモデルを決定することは、前記1つまたは複数の位置から取得された少なくとも2つの画像に対して切り捨て符号付き距離関数(TSDF)の融合を実行することを含む、表現30に記載の方法。
<表現32>
前記更新されたスキャン計画は、追加の姿勢または更新された姿勢のうちの少なくとも1つを含み、前記方法は、前記1つまたは複数のプロセッサによって、前記UAVに前記少なくとも1つの追加の姿勢または更新された姿勢まで飛行させるように、前記UAVの推進メカニズムを制御することをさらに含む、表現27に記載の方法。
<表現33>
前記スキャン計画を決定することは、
前記3Dモデルの前記点を、覆われている点の部分集合および覆われていない点の部分集合に分割することと、
前記スキャン計画に対する次の姿勢を、前記覆われていない点の部分集合から前記次の姿勢に対する中心点を選択することによって決定することと、
前記次の姿勢に視野によって覆われる前記3Dモデルの点を決定することと、
前記次の姿勢の前記視野によって覆われる前記3Dモデルの前記点を決定することに基づいて、前記覆われている点の部分集合および前記覆われていない点の部分集合を更新することと、
をさらに含む、表現27に記載の方法。
<表現34>
前記複数の姿勢のうちの少なくとも1つに対する画像を取得するために障害物を検出することと、
斜め画像取得を実行することによって、前記少なくとも1つの姿勢に対応する前記スキャン対象の表面の画像を取得することと、
をさらに含む、表現27に記載の方法。
<表現35>
無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数のプロセッサによって、コンピューティング装置から、スキャン対象のインジケーションを受信すること、
前記1つまたは複数のプロセッサによって、前記スキャン対象の前記インジケーションに基づいて、前記1つまたは複数の画像センサの視野を向けるための複数の位置を前記UAVに取らせるように前記UAVの前記推進メカニズムを制御すること、
前記1つまたは複数の画像センサを使用して、前記複数の位置の異なる各々の位置から複数の画像を取得すること、
前記複数の画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて3次元(3D)モデルを決定すること、前記3Dモデルは、前記スキャン対象の1つまたは複数の表面に対応する複数の点を含む、
前記複数の点を含む前記3Dモデルにアクセスすること、
前記3Dモデルに基づいて、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定すること、前記スキャン計画は、1つまたは複数の画像センサを使用して前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記1つまたは複数の画像センサによって、前記UAVが飛行している間に、前記複数の姿勢のうちの1つまたは複数の姿勢から前記スキャン対象の1つまたは複数の画像を取得すること、
前記UAVが飛行している間に、前記1つまたは複数の画像に少なくとも部分的に基づいて前記3Dモデルの更新を決定すること、および、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記スキャン計画を更新すること
を含む、無人航空機(UAV)。
<表現36>
前記動作は、前記UAVの前記1つまたは複数のプロセッサによって、前記スキャン計画をリアルタイムで更新することをさらに含む、表現35に記載のUAV。
<表現37>
前記動作は、
前記スキャン対象の少なくとも一部が位置する境界を形成する2D形状のインジケーション、
前記スキャン対象の表面に対応する形状のインジケーション、または
前記スキャン対象の少なくとも一部が位置するボリュームのインジケーション
のうちの少なくとも1つを、前記スキャン対象の前記インジケーションとして受信することをさらに含む、表現35に記載のUAV。
<表現38>
前記それぞれの姿勢は、前記スキャン計画のために指定されたスキャン距離パラメータに対応する前記それぞれの点からの距離で前記それぞれの点のそれぞれの垂線に沿っていると決定される、表現35に記載のUAV。
<表現39>
前記スキャン計画を決定する前記動作は、
前記3Dモデルの前記点を、覆われている点の部分集合および覆われていない点の部分集合に分割することと、
前記スキャン計画に対する次の姿勢を、前記覆われていない点の部分集合から前記次の姿勢に対する中心点を選択することによって決定することと、
前記次の姿勢の視野によって覆われる前記3Dモデルの点を決定することと、
前記次の姿勢の前記視野によって覆われる前記3Dモデルの前記点を決定することに基づいて、前記覆われている点の部分集合および前記覆われていない点の部分集合を更新することと、
をさらに含む、表現35に記載のUAV。
<表現40>
前記動作は、
前記複数の姿勢のうちの少なくとも1つの姿勢に対する画像を取得するために障害物を検出することと、
斜め画像取得を実行することによって、前記少なくとも1つの姿勢に対応する前記スキャン対象の表面の画像を取得することと、
をさらに含む、表現35に記載のUAV。
Claims (40)
- 無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数の画像センサによって、前記UAVが飛行している間にスキャン対象の複数の画像を取得すること、
3次元(3D)モデルの複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用すること、前記複数の点は前記スキャン対象の表面を表す、
前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の差異を決定するために前記複数の画像の第1の画像と前記複数の画像の第2の画像とを比較すること、および、
少なくとも前記差異に基づいて、前記UAVが飛行している間に、
前記3Dモデルにおける少なくとも1つの点の更新済みの場所、または
前記3Dモデルにおける新たな点の場所
のうちの少なくとも1つを含む前記3Dモデルの更新を決定すること
を含む、無人航空機(UAV)。 - 少なくとも前記差異に基づいて前記3Dモデルの更新を決定する前記動作は、
追加の取得された画像に基づいて追加の距離情報を受信することと、
前記UAVに対する前記現在の基準系の位置と、前記UAVに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて前記3Dモデルにおける前記新たな点の前記場所を決定することと、
を含む、請求項1に記載のUAV。 - 前記動作は、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記UAVに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも1つまで飛行させるように前記UAVの推進メカニズムを制御することと、
をさらに含む、請求項1に記載のUAV。 - 前記3Dモデルの前記複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用する前記動作は、前記スキャン対象の前記複数の画像の少なくとも2つの画像を使用して、切り捨て符号付き距離関数(TSDF)の融合を実行することをさらに含む、請求項1に記載のUAV。
- 前記差異を決定するために前記複数の画像の前記第1の画像と前記複数の画像の前記第2の画像とを比較する前記動作は、
前記第1の画像と前記第2の画像との間の1つまたは複数の対応関係を決定するために前記第1の画像と前記第2の画像とを比較することと、
前記1つまたは複数の対応関係に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の前記差異を決定することと、
をさらに含む、請求項1に記載のUAV。 - 前記動作は、
前記第1の画像および前記第2の画像を含む前記複数の画像の複数の画像対をまとめることと、
前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記3Dモデルの複数の点の相対的な場所を更新することと、
をさらに含む、請求項1に記載のUAV。 - 前記動作は、
複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記UAVに対する前記現在の基準系の位置と、前記UAVに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも部分的に基づいて決定することと、
前記決定された対応関係に少なくとも部分的に基づいて、前記3Dモデルより解像度が高い高解像3Dモデルを生成することと、
をさらに含む、請求項1に記載のUAV。 - 無人航空機(UAV)の1つまたは複数のプロセッサが、前記UAVが飛行している間にスキャン対象の複数の画像を1つまたは複数の画像センサによって取得することと、
前記1つまたは複数のプロセッサが、3次元(3D)モデルの複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用することと、前記複数の点は前記スキャン対象の表面を表す、
前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の差異を決定するために前記複数の画像の第1の画像と前記複数の画像の第2の画像とを比較することと、
少なくとも前記差異に基づいて、前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、
前記3Dモデルにおける少なくとも1つの点の更新済みの場所、または
前記3Dモデルにおける新たな点の場所
のうちの少なくとも1つを含む前記3Dモデルの更新を決定することと、
を含む、方法。 - 少なくとも前記差異に基づいて前記3Dモデルの更新を決定することは、
追加の取得された画像に基づいて追加の距離情報を受信することと、
前記UAVに対する前記現在の基準系の位置と、前記UAVに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて、前記3Dモデルにおける前記新たな点の前記場所を決定することと、
を含む、請求項8に記載の方法。 - 前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画の対応する姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記UAVに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも1つまで飛行させるように、前記1つまたは複数のプロセッサによって、前記UAVの推進メカニズムを制御することと、
をさらに含む、請求項8に記載の方法。 - 前記3Dモデルの前記複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用することは、前記スキャン対象の前記複数の画像の少なくとも2つの画像を使用して、切り捨て符号付き距離関数(TSDF)の融合を実行することをさらに含む、請求項8に記載の方法。
- 前記差異を決定するために前記複数の画像の前記第1の画像と前記複数の画像の前記第2の画像とを比較することは、
前記第1の画像と前記第2の画像との間の1つまたは複数の対応関係を決定するために前記第1の画像と前記第2の画像とを比較することと、
前記1つまたは複数の対応関係に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の前記差異を決定することと、
をさらに含む、請求項8に記載の方法。 - 前記第1の画像および前記第2の画像を含む前記複数の画像の複数の画像対をまとめることと、
前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記3Dモデルの複数の点の相対的な場所を更新することと、
をさらに含む、請求項8に記載の方法。 - 複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記UAVに対する前記現在の基準系の位置と、前記UAVに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも基づいて決定することと、
前記決定された対応関係に少なくとも部分的に基づいて、前記3Dモデルより解像度が高い高解像3Dモデルを生成することと、
をさらに含む、請求項8に記載の方法。 - 無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
1つまたは複数のプロセッサと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数の画像センサによって、前記UAVが飛行している間にスキャン対象の複数の画像を取得すること、
3次元(3D)モデルの複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用すること、前記複数の点は前記スキャン対象の表面を表す、
前記複数の画像の第1の画像と前記複数の画像の第2の画像との間の1つまたは複数の対応関係を決定するために前記第1の画像と前記第2の画像とを比較すること、
前記1つまたは複数の対応関係に少なくとも部分的に基づいて、前記1つまたは複数のプロセッサによって、前記UAVに対する現在の基準系の位置と、前記UAVに対する実際の基準系の位置の推定との間の差異を決定すること、および、
前記差異または前記1つもしくは複数の対応関係のうちの少なくとも1つに基づいて、前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、
前記3Dモデルにおける少なくとも1つの点の更新済みの場所、または
前記3Dモデルにおける新たな点の場所
のうちの少なくとも1つを含む前記3Dモデルの更新を決定すること
を含む、無人航空機(UAV)。 - 少なくとも前記差異に基づいて前記3Dモデルの更新を決定する前記動作は、
追加の取得された画像に基づいて追加の距離情報を受信することと、
前記UAVに対する前記現在の基準系の位置と、前記UAVに対する前記実際の基準系の位置の前記推定との間で決定された前記差異に少なくとも基づいて、前記3Dモデルにおける前記新たな点の前記場所を決定することと、
を含む、請求項15に記載のUAV。 - 前記動作は、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を更新することと、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記UAVに、追加の姿勢、または前記更新されたスキャン計画に含まれる更新された姿勢のうちの少なくとも1つまで飛行させるように前記UAVの推進メカニズムを制御することと、
をさらに含む、請求項15に記載のUAV。 - 前記3Dモデルの前記複数の点の3D空間における各々の場所を決定するために前記複数の画像に基づいて決定される距離情報を使用する前記動作は、前記スキャン対象の前記複数の画像の少なくとも2つの画像を使用して、切り捨て符号付き距離関数(TSDF)の融合を実行することをさらに含む、請求項15に記載のUAV。
- 前記動作は、
前記第1の画像および前記第2の画像を含む前記複数の画像の複数の画像対をまとめることと、
前記複数の画像対における各々の特徴の各々の場所を比較することに基づいて、前記3Dモデルの複数の点の相対的な場所を更新することと、
をさらに含む、請求項15に記載のUAV。 - 前記動作は、
複数の高解像度画像の間の対応関係を、前記複数の高解像度画像に対する、前記UAVに対する前記現在の基準系の位置と、前記UAVに対する推定される実際の基準系の位置との間の複数の前記差異に少なくとも基づいて決定することと、
前記決定された対応関係に少なくとも部分的に基づいて、前記3Dモデルより解像度が高い高解像3Dモデルを生成することと、
をさらに含む、請求項15に記載のUAV。 - 無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数のプロセッサによって、スキャン対象に対応する複数の点を含む3Dモデルに基づいて、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定すること、前記スキャン計画は前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含む、
前記1つまたは複数のプロセッサが、前記複数の姿勢のうちの1つまたは複数の姿勢から前記スキャン対象の1つまたは複数の画像を前記1つまたは複数の画像センサによって取得すること、
前記1つまたは複数のプロセッサによって、前記1つまたは複数の画像に少なくとも部分的に基づいて前記3Dモデルの更新を決定すること、および、
前記1つまたは複数のプロセッサによって、前記3Dモデルの前記更新に少なくとも部分的に基づいて前記スキャン計画を更新すること
を含む、無人航空機(UAV)。 - 前記動作は、前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記1つまたは複数のプロセッサによって前記スキャン計画を更新することをさらに含む、請求項21に記載のUAV。
- 前記動作は、前記UAVの前記1つまたは複数のプロセッサによって、前記スキャン計画をリアルタイムで更新することをさらに含む、請求項22に記載のUAV。
- 前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に前記3Dモデルの前記更新を決定することをさらに含む、請求項21に記載のUAV。
- 前記動作は、前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することをさらに含み、前記スキャン対象の前記インジケーションは、
前記スキャン対象の少なくとも一部が位置する境界を形成する2D形状のインジケーション、
前記スキャン対象の表面に対応する形状のインジケーション、または
前記スキャン対象の少なくとも一部が位置するボリュームのインジケーション
のうちの少なくとも1つを含む、請求項21に記載のUAV。 - 前記動作は、
前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することと、
前記1つまたは複数のプロセッサによって、前記スキャン対象の前記インジケーションに基づいて、前記1つまたは複数の画像センサの視野を向けるための1つまたは複数の位置を前記UAVに取らせるように前記UAVの前記推進メカニズムを制御することと、前記1つまたは複数の画像センサは、複数の低解像度画像センサおよび少なくとも1つの高解像度画像センサを含む、
前記複数の低解像度画像センサを使用して、前記1つまたは複数の位置から少なくとも1つの画像を取得することと、
前記低解像度画像センサを使用して取得された前記少なくとも1つの画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて、前記3Dモデルを決定することと、前記3Dモデルは最初は、前記スキャン対象の前記1つまたは複数の表面に対応する前記複数の点を含む低解像度3Dモデルである、
をさらに含む、請求項21に記載のUAV。 - 無人航空機(UAV)の1つまたは複数のプロセッサによって、スキャン対象の1つまたは複数の表面に対応する複数の点を含む3次元(3D)モデルにアクセスすることと、
前記1つまたは複数のプロセッサによって、前記3Dモデルに基づいて、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定することと、前記スキャン計画は、1つまたは複数の画像センサを使用して前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記1つまたは複数のプロセッサが、前記UAVが飛行している間に、前記複数の姿勢のうちの1つまたは複数の姿勢から前記スキャン対象の1つまたは複数の画像を前記1つまたは複数の画像センサによって取得することと、
前記1つまたは複数のプロセッサによって、前記UAVが飛行している間に、前記1つまたは複数の画像に少なくとも部分的に基づいて前記3Dモデルの更新を決定することと、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に前記1つまたは複数のプロセッサによって前記スキャン計画を更新することと、
を含む、方法。 - 前記3Dモデルの前記更新を決定すること、または第1のスキャン計画を更新することのうちの少なくとも1つは、前記UAVに搭載された前記1つまたは複数のプロセッサによってリアルタイムで実行される、請求項27に記載の方法。
- 前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することをさらに含み、前記スキャン対象の前記インジケーションは、
前記スキャン対象の少なくとも一部が位置する境界を形成する2D形状のインジケーション、
前記スキャン対象の表面に対応する形状のインジケーション、または
前記スキャン対象の少なくとも一部が位置するボリュームのインジケーション
のうちの少なくとも1つを含む、請求項27に記載の方法。 - 前記1つまたは複数のプロセッサによって、コンピューティング装置から、前記スキャン対象のインジケーションを受信することと、
前記1つまたは複数のプロセッサによって、前記スキャン対象の前記インジケーションに基づいて、前記1つまたは複数の画像センサの視野を向けるための1つまたは複数の位置を前記UAVに取らせるように前記UAVの前記推進メカニズムを制御することと、前記1つまたは複数の画像センサは、複数の低解像度画像センサおよび少なくとも1つの高解像度画像センサを含む、
前記複数の低解像度画像センサを使用して、前記1つまたは複数の位置から少なくとも1つの画像を取得することと、
前記低解像度画像センサを使用して取得された前記少なくとも1つの画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて前記3Dモデルを決定することと、前記3Dモデルは最初は、前記スキャン対象の前記1つまたは複数の表面に対応する前記複数の点を含む低解像度3Dモデルである、
をさらに含む、請求項27に記載の方法。 - 前記少なくとも1つの画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて前記3Dモデルを決定することは、前記1つまたは複数の位置から取得された少なくとも2つの画像に対して切り捨て符号付き距離関数(TSDF)の融合を実行することを含む、請求項30に記載の方法。
- 前記更新されたスキャン計画は、追加の姿勢または更新された姿勢のうちの少なくとも1つを含み、前記方法は、前記1つまたは複数のプロセッサによって、前記UAVに前記少なくとも1つの追加の姿勢または更新された姿勢まで飛行させるように、前記UAVの推進メカニズムを制御することをさらに含む、請求項27に記載の方法。
- 前記スキャン計画を決定することは、
前記3Dモデルの前記点を、覆われている点の部分集合および覆われていない点の部分集合に分割することと、
前記スキャン計画に対する次の姿勢を、前記覆われていない点の部分集合から前記次の姿勢に対する中心点を選択することによって決定することと、
前記次の姿勢に視野によって覆われる前記3Dモデルの点を決定することと、
前記次の姿勢の前記視野によって覆われる前記3Dモデルの前記点を決定することに基づいて、前記覆われている点の部分集合および前記覆われていない点の部分集合を更新することと、
をさらに含む、請求項27に記載の方法。 - 前記複数の姿勢のうちの少なくとも1つに対する画像を取得するために障害物を検出することと、
斜め画像取得を実行することによって、前記少なくとも1つの姿勢に対応する前記スキャン対象の表面の画像を取得することと、
をさらに含む、請求項27に記載の方法。 - 無人航空機(UAV)であって、
1つまたは複数の画像センサと、
推進メカニズムと、
実行可能命令によって、動作を実行するように構成される1つまたは複数のプロセッサとを備え、前記動作は、
前記1つまたは複数のプロセッサによって、コンピューティング装置から、スキャン対象のインジケーションを受信すること、
前記1つまたは複数のプロセッサによって、前記スキャン対象の前記インジケーションに基づいて、前記1つまたは複数の画像センサの視野を向けるための複数の位置を前記UAVに取らせるように前記UAVの前記推進メカニズムを制御すること、
前記1つまたは複数の画像センサを使用して、前記複数の位置の異なる各々の位置から複数の画像を取得すること、
前記複数の画像に基づいて決定される前記スキャン対象の1つまたは複数の表面までの距離に基づいて3次元(3D)モデルを決定すること、前記3Dモデルは、前記スキャン対象の1つまたは複数の表面に対応する複数の点を含む、
前記複数の点を含む前記3Dモデルにアクセスすること、
前記3Dモデルに基づいて、前記スキャン対象の少なくとも一部をスキャンするためのスキャン計画を決定すること、前記スキャン計画は、1つまたは複数の画像センサを使用して前記スキャン対象の画像を取得するために前記UAVが取る複数の姿勢を含み、前記スキャン計画のそれぞれの姿勢は前記3Dモデルのそれぞれの点に基づいて決定される、
前記1つまたは複数の画像センサによって、前記UAVが飛行している間に、前記複数の姿勢のうちの1つまたは複数の姿勢から前記スキャン対象の1つまたは複数の画像を取得すること、
前記UAVが飛行している間に、前記1つまたは複数の画像に少なくとも部分的に基づいて前記3Dモデルの更新を決定すること、および、
前記3Dモデルの前記更新に少なくとも部分的に基づいて、前記UAVが飛行している間に、前記スキャン計画を更新すること
を含む、無人航空機(UAV)。 - 前記動作は、前記UAVの前記1つまたは複数のプロセッサによって、前記スキャン計画をリアルタイムで更新することをさらに含む、請求項35に記載のUAV。
- 前記動作は、
前記スキャン対象の少なくとも一部が位置する境界を形成する2D形状のインジケーション、
前記スキャン対象の表面に対応する形状のインジケーション、または
前記スキャン対象の少なくとも一部が位置するボリュームのインジケーション
のうちの少なくとも1つを、前記スキャン対象の前記インジケーションとして受信することをさらに含む、請求項35に記載のUAV。 - 前記それぞれの姿勢は、前記スキャン計画のために指定されたスキャン距離パラメータに対応する前記それぞれの点からの距離で前記それぞれの点のそれぞれの垂線に沿っていると決定される、請求項35に記載のUAV。
- 前記スキャン計画を決定する前記動作は、
前記3Dモデルの前記点を、覆われている点の部分集合および覆われていない点の部分集合に分割することと、
前記スキャン計画に対する次の姿勢を、前記覆われていない点の部分集合から前記次の姿勢に対する中心点を選択することによって決定することと、
前記次の姿勢の視野によって覆われる前記3Dモデルの点を決定することと、
前記次の姿勢の前記視野によって覆われる前記3Dモデルの前記点を決定することに基づいて、前記覆われている点の部分集合および前記覆われていない点の部分集合を更新することと、
をさらに含む、請求項35に記載のUAV。 - 前記動作は、
前記複数の姿勢のうちの少なくとも1つの姿勢に対する画像を取得するために障害物を検出することと、
斜め画像取得を実行することによって、前記少なくとも1つの姿勢に対応する前記スキャン対象の表面の画像を取得することと、
をさらに含む、請求項35に記載のUAV。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062976231P | 2020-02-13 | 2020-02-13 | |
US62/976,231 | 2020-02-13 | ||
US202063050860P | 2020-07-12 | 2020-07-12 | |
US63/050,860 | 2020-07-12 | ||
JP2022548782A JP7263630B2 (ja) | 2020-02-13 | 2021-02-12 | 無人航空機による3次元再構成の実行 |
PCT/US2021/017795 WO2021221758A2 (en) | 2020-02-13 | 2021-02-12 | Performing 3d reconstruction via an unmanned aerial vehicle |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548782A Division JP7263630B2 (ja) | 2020-02-13 | 2021-02-12 | 無人航空機による3次元再構成の実行 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7274674B1 JP7274674B1 (ja) | 2023-05-16 |
JP2023072064A true JP2023072064A (ja) | 2023-05-23 |
Family
ID=77366132
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548782A Active JP7263630B2 (ja) | 2020-02-13 | 2021-02-12 | 無人航空機による3次元再構成の実行 |
JP2023040965A Active JP7274674B1 (ja) | 2020-02-13 | 2023-03-15 | 無人航空機による3次元再構成の実行 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548782A Active JP7263630B2 (ja) | 2020-02-13 | 2021-02-12 | 無人航空機による3次元再構成の実行 |
Country Status (4)
Country | Link |
---|---|
US (6) | US11573544B2 (ja) |
EP (1) | EP4093671A4 (ja) |
JP (2) | JP7263630B2 (ja) |
WO (1) | WO2021221758A2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110873565B (zh) * | 2019-11-21 | 2021-06-04 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
EP4093671A4 (en) | 2020-02-13 | 2023-12-27 | Skydio Inc. | THREE-DIMENSIONAL RECONSTRUCTION OF AN UNMANNED AIRCRAFT |
WO2022261676A1 (en) * | 2021-06-11 | 2022-12-15 | Netdrones, Inc. | Systems and methods for drone swarm wireless communication |
DE102021123124A1 (de) * | 2021-09-07 | 2023-03-09 | Spleenlab GmbH | Verfahren zum Steuern eines unbemannten Fluggeräts für einen Inspektionsflug zum Inspizieren eines Objekts und unbemanntes Inspektionsfluggerät |
CN113917852B (zh) * | 2021-09-30 | 2024-04-26 | 北京星网宇达科技股份有限公司 | 一种靶机的模拟控制方法、装置、设备及存储介质 |
US11727658B2 (en) * | 2021-10-01 | 2023-08-15 | Varjo Technologies Oy | Using camera feed to improve quality of reconstructed images |
US11618331B1 (en) * | 2021-10-31 | 2023-04-04 | Beta Air, Llc | Proximity detection systems and methods for facilitating charging of electric aircraft |
WO2023086078A1 (en) * | 2021-11-10 | 2023-05-19 | Skydio, Inc. | Contour scanning with an unmanned aerial vehicle |
DE102022203653B4 (de) | 2022-04-12 | 2024-02-08 | Emqopter GmbH | Abstandssensorsysteme zur effizienten und automatischen umgebungserkennung für autonome schwebeflugfähige fluggeräte |
US20230373668A1 (en) * | 2022-05-17 | 2023-11-23 | Skydio, Inc. | Battery System For Portable Docking Stations Of Unmanned Aerial Vehicles |
CN114973684B (zh) * | 2022-07-25 | 2022-10-14 | 深圳联和智慧科技有限公司 | 一种建筑工地定点监控方法及*** |
CN116654308B (zh) * | 2023-07-31 | 2023-09-29 | 国电投山西能源服务有限公司 | 一种电力设施维修机器人 |
CN117115359B (zh) * | 2023-10-17 | 2024-02-02 | 国网江西省电力有限公司信息通信分公司 | 一种基于深度图融合的多视图电网三维空间数据重建方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019086419A (ja) * | 2017-11-08 | 2019-06-06 | 川崎重工業株式会社 | 環境取得システム |
US20190188906A1 (en) * | 2017-12-18 | 2019-06-20 | Parthiv Krishna | Search And Rescue Unmanned Aerial System |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9894269B2 (en) * | 2012-10-31 | 2018-02-13 | Atheer, Inc. | Method and apparatus for background subtraction using focus differences |
US8977007B1 (en) * | 2013-04-23 | 2015-03-10 | Google Inc. | Detecting a vehicle signal through image differencing and filtering |
CN103941748B (zh) * | 2014-04-29 | 2016-05-25 | 百度在线网络技术(北京)有限公司 | 自主导航方法及***和地图建模方法及*** |
US10416668B2 (en) | 2015-03-03 | 2019-09-17 | PreNav, Inc. | Scanning environments and tracking unmanned aerial vehicles |
WO2016168722A1 (en) * | 2015-04-16 | 2016-10-20 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
JP6543520B2 (ja) * | 2015-07-02 | 2019-07-10 | 株式会社トプコン | 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム |
JP6478329B2 (ja) * | 2016-02-02 | 2019-03-06 | Jfe鋼板株式会社 | 構造物の点検システムおよび点検方法 |
US10416667B2 (en) * | 2016-02-03 | 2019-09-17 | Sony Corporation | System and method for utilization of multiple-camera network to capture static and/or motion scenes |
CN109562844B (zh) * | 2016-08-06 | 2022-03-01 | 深圳市大疆创新科技有限公司 | 自动着陆表面地形评估以及相关的***和方法 |
US11164149B1 (en) * | 2016-08-31 | 2021-11-02 | Corvus Robotics, Inc. | Method and system for warehouse inventory management using drones |
US10121117B1 (en) * | 2016-09-08 | 2018-11-06 | Amazon Technologies, Inc. | Drone location signature filters |
US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
US11430148B2 (en) * | 2016-12-28 | 2022-08-30 | Datalogic Ip Tech S.R.L. | Apparatus and method for pallet volume dimensioning through 3D vision capable unmanned aerial vehicles (UAV) |
KR20190013176A (ko) | 2017-07-31 | 2019-02-11 | 한국전자통신연구원 | 드론을 이용한 구조물의 변화 탐지 방법 및 장치 |
EP4116702B1 (en) * | 2017-11-09 | 2024-01-03 | Rebellion Photonics, Inc. | Window obscuration sensors for mobile gas and chemical imaging cameras |
US20220094856A1 (en) * | 2017-11-30 | 2022-03-24 | Ideaforge Technology Pvt. Ltd. | System And Method For Acquiring Images From An Aerial Vehicle For 2D/3D Digital Model Generation |
US10607406B2 (en) | 2018-01-25 | 2020-03-31 | General Electric Company | Automated and adaptive three-dimensional robotic site surveying |
US10807236B2 (en) * | 2018-04-30 | 2020-10-20 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for multimodal mapping and localization |
WO2019222798A1 (en) * | 2018-05-22 | 2019-11-28 | Acid Ip Pty Ltd | Drone flight programming method and system |
US11106911B1 (en) * | 2018-06-13 | 2021-08-31 | Pointivo, Inc. | Image acquisition planning systems and methods used to generate information for structures of interest |
US10970924B2 (en) * | 2018-06-17 | 2021-04-06 | Foresight Ai Inc. | Reconstruction of a scene from a moving camera |
US10741087B1 (en) * | 2018-08-13 | 2020-08-11 | Alarm.Com Incorporated | Drone digital locker builder |
AU2020232985A1 (en) * | 2019-03-05 | 2021-10-28 | Metaoptima Technology Inc. | Unmanned mobile robot and software for clinical examination and treatment |
US11568636B2 (en) * | 2019-05-02 | 2023-01-31 | Advanced Geosciences, Inc. | Reflective cable locating system |
US11455894B2 (en) * | 2019-10-28 | 2022-09-27 | Skydio, Inc. | Structure scan using unmanned aerial vehicle |
EP4093671A4 (en) * | 2020-02-13 | 2023-12-27 | Skydio Inc. | THREE-DIMENSIONAL RECONSTRUCTION OF AN UNMANNED AIRCRAFT |
US11741618B2 (en) * | 2021-03-22 | 2023-08-29 | Everypoint, Inc. | Performing object modeling by combining visual data from images with motion data of the image acquisition device |
-
2021
- 2021-02-12 EP EP21796993.0A patent/EP4093671A4/en active Pending
- 2021-02-12 US US17/174,585 patent/US11573544B2/en active Active
- 2021-02-12 JP JP2022548782A patent/JP7263630B2/ja active Active
- 2021-02-12 US US17/174,583 patent/US11703864B2/en active Active
- 2021-02-12 WO PCT/US2021/017795 patent/WO2021221758A2/en unknown
-
2023
- 2023-01-20 US US18/099,571 patent/US11940795B2/en active Active
- 2023-03-13 US US18/120,669 patent/US11829142B2/en active Active
- 2023-03-13 US US18/120,643 patent/US11829141B2/en active Active
- 2023-03-15 JP JP2023040965A patent/JP7274674B1/ja active Active
- 2023-07-17 US US18/222,786 patent/US12025983B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019086419A (ja) * | 2017-11-08 | 2019-06-06 | 川崎重工業株式会社 | 環境取得システム |
US20190188906A1 (en) * | 2017-12-18 | 2019-06-20 | Parthiv Krishna | Search And Rescue Unmanned Aerial System |
Also Published As
Publication number | Publication date |
---|---|
US11573544B2 (en) | 2023-02-07 |
US12025983B2 (en) | 2024-07-02 |
US20210263488A1 (en) | 2021-08-26 |
US11829141B2 (en) | 2023-11-28 |
JP7274674B1 (ja) | 2023-05-16 |
US20230244233A1 (en) | 2023-08-03 |
US11703864B2 (en) | 2023-07-18 |
EP4093671A2 (en) | 2022-11-30 |
US20230244234A1 (en) | 2023-08-03 |
US20210263515A1 (en) | 2021-08-26 |
US11829142B2 (en) | 2023-11-28 |
JP7263630B2 (ja) | 2023-04-24 |
WO2021221758A3 (en) | 2021-12-30 |
EP4093671A4 (en) | 2023-12-27 |
US20230324911A1 (en) | 2023-10-12 |
WO2021221758A2 (en) | 2021-11-04 |
JP2023511779A (ja) | 2023-03-22 |
US11940795B2 (en) | 2024-03-26 |
US20230359205A1 (en) | 2023-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7274674B1 (ja) | 無人航空機による3次元再構成の実行 | |
US20210064024A1 (en) | Scanning environments and tracking unmanned aerial vehicles | |
US11237572B2 (en) | Collision avoidance system, depth imaging system, vehicle, map generator and methods thereof | |
US11032527B2 (en) | Unmanned aerial vehicle surface projection | |
US11644839B2 (en) | Systems and methods for generating a real-time map using a movable object | |
WO2019018315A1 (en) | ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES | |
EP3574285A1 (en) | Laser scanner with real-time, online ego-motion estimation | |
CN112789672A (zh) | 控制和导航***、姿态优化、映射和定位技术 | |
WO2024109837A1 (zh) | 基于异构无人***相互观测的同时定位与地图构建方法 | |
US20230064401A1 (en) | System for 3d surveying by a ugv and a uav with automatic provision of referencing of ugv lidar data and uav lidar data | |
CN109163718A (zh) | 一种面向建筑群的无人机自主导航方法 | |
US20220390940A1 (en) | Interfaces And Control Of Aerial Vehicle For Automated Multidimensional Volume Scanning | |
US20230142394A1 (en) | Contour scanning with an unmanned aerial vehicle | |
KR102467855B1 (ko) | 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템 | |
US20200307788A1 (en) | Systems and methods for automatic water surface and sky detection | |
WO2023086078A1 (en) | Contour scanning with an unmanned aerial vehicle | |
Imani et al. | Autopilot Drone in Construction: A Proof of Concept for Handling Lightweight Instruments and Materials | |
CN116740297A (zh) | 基于无人机的自主室内设施检测和场景重建探索开发*** | |
Shamseldin | System Architecture, Calibration, and Control for LiDAR Systems Onboard Unmanned Vehicles | |
Maghrebi et al. | Autopilot Drone in Construction: A Proof of Concept for Handling Lightweight Instruments and Materials |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230315 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230315 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230501 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7274674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |