CN104854428B - 传感器融合 - Google Patents
传感器融合 Download PDFInfo
- Publication number
- CN104854428B CN104854428B CN201380052431.6A CN201380052431A CN104854428B CN 104854428 B CN104854428 B CN 104854428B CN 201380052431 A CN201380052431 A CN 201380052431A CN 104854428 B CN104854428 B CN 104854428B
- Authority
- CN
- China
- Prior art keywords
- loose impediment
- induction system
- signal
- sensor
- certain embodiments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004927 fusion Effects 0.000 title description 24
- 230000006698 induction Effects 0.000 claims abstract description 277
- 238000000034 method Methods 0.000 claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims description 75
- 230000001133 acceleration Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 31
- 238000005259 measurement Methods 0.000 claims description 22
- 241001465754 Metazoa Species 0.000 claims description 16
- 230000004438 eyesight Effects 0.000 claims description 16
- 230000003287 optical effect Effects 0.000 claims description 10
- 230000011664 signaling Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 22
- 230000033001 locomotion Effects 0.000 description 118
- 230000008859 change Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 16
- 230000004044 response Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 230000001939 inductive effect Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000010276 construction Methods 0.000 description 7
- 238000007500 overflow downdraw method Methods 0.000 description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 7
- 238000005265 energy consumption Methods 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000282465 Canis Species 0.000 description 1
- 241001481833 Coryphaena hippurus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 235000013290 Sagittaria latifolia Nutrition 0.000 description 1
- 241000282898 Sus scrofa Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 235000015246 common arrowhead Nutrition 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
- G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
- Navigation (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供为可移动物体收集方位信息及控制该可移动物体的***、方法及设备。根据本发明的一个方面,为可移动物体收集方位信息的方法包括:接收与所述可移动物体连接的第一感应***传送的数据;接收与所述可移动物体连接的第二感应***传送的数据;确定从第二感应***接收的数据的权值;及基于(i)从第一感应***接收的数据及(ii)从第二感应***接收数据并乘上所述权值,计算可移动物体的方位信息。
Description
背景技术
无人控制的运输工具,如地面上的运输工具、空中的运输工具、水面上的运输工具、水下的运输工具及宇宙飞船,已经在监控、搜索、救援、勘探等领域发展出广泛的应用。无人控制的运输工具通常是由远程控制器所控制及导航。在某些情况下,无人控制的运输工具可以是自主控制的运输工具,能够通过环境感应及导航,而不需要人类的控制。
各种类型的传感器都可以产生方位信息,以对无人控制的运输工具进行控制及导航。然而,无人控制的运输工具当前的感应***不是很理想。例如,大部分的感应***都是在特定环境下(如室内、室外、高海拔、低海拔)或者执行某种特殊的运动(如快速运动、慢速运动、旋转或者平移)时,感测数据才会精确。
发明内容
因此,有需要提供改善的***、方法及设备,该改善的***、方法及设备用于为可移动物体,如无人控制的运输工具,收集方位信息。本发明提供为可移动物体收集方位信息及控制该可移动物体的***、方法及设备。在很多实施例中,所述***、方法及设备从多个感应***接收可移动物体的方位信息,并且通过传感器融合确定可移动物体的方位信息。本发明增加了可移动物体,如无人飞行器的导航***的灵活性及准确度。
根据本发明的一个方面,提供一种为可移动物体收集方位信息的方法。所述方法包括:存储设备接收与所述可移动物体连接的第一感应***的数据,所述第一感应***包括传感器,该传感器用于接收对确定可移动物体方位信息有用的信号;所述存储设备接收与所述可移动物体连接的第二感应***的数据,所述第二感应***包括传感器,该传感器用于接收对确定可移动物体方位信息有用的信号;处理器根据第二感应***的传感器所接收的信号强度,确定第二感应***的数据的权值;及处理器基于(i)第一感应***的数据及(ii)第二感应***的数据乘上所述权值,计算可移动物体的方位信息。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述计算可移动物体的方位信息包括计算可移动物体的位置信息及方向信息。其中,计算位置信息包括计算可移动物体的海拔、纬度及经度。其中,计算方向信息包括计算可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
在某些实施例中,接收第二感应***的数据包括接收第二感应***所使用的全球定位***(global positioning system,GPS)传感器的数据。第二感应***的GPS传感器所接收的信号的强度取决于所接收的GPS信号的数量或者GPS信号的强度。
在某些实施例中,接收第一感应***的数据包括接收第一感应***所使用的一个或者多个视觉传感器的信号。接收一个或者多个视觉传感器的信号包括接收多个侧向隔开的视觉传感器的信号。所述方法进一步包括接收与所述可移动物体连接的第三感应***的数据,所述第三感应***使用惯性测量单元(Inertial Measurement Unit,IMU)。
在某些实施例中,接收第一感应***的数据包括接收第一感应***使用的惯性测量单元的数据。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括光学信号、卫星信号、或者指示速度或者加速度的信号。
在某些实施例中,所述权值是数值。所述权值可以是0到1之间的值。
在某些实施例中,所述方法包括接收命令,以使可移动物体回到预设位置。所述方法进一步包括处理器根据可移动物体的方位信息,计算可移动物体移动到或者返回到所述预设位置的路径。
根据本发明的另一方面,提供一种非易失性的计算机可读介质,其包括程序代码,用于为可移动物体收集方位信息。所述计算机可读介质包括程序指令用于分析从与所述可移动物体连接的第一感应***所接收的数据,所述第一感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;程序指令用于分析从与所述可移动物体连接的第二感应***所接收的数据,所述第二感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;程序指令用于根据第二感应***的传感器所接收的信号的强度,确定第二感应***所接收的数据的权值;以及程序指令用于基于(i)从第一感应***接收的数据及(ii)从第二感应***接收的数据乘上所述权值,计算可移动物体的方位信息。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,用于计算可移动物体的方位信息的程序指令包括程序指令用于计算可移动物体的位置信息及方向信息。用于计算位置信息的程序指令包括程序指令用于计算可移动物体的海拔、纬度及经度。用于计算方向信息的程序指令包括程序指令用于计算可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
在某些实施例中,用于分析从第二感应***接收的数据的程序指令包括程序指令用于接收从第二感应***所使用的全球定位***(global positioning system,GPS)传感器传送的数据。第二感应***的GPS传感器所接收的信号的强度取决于所接收的GPS信号的数量或者GPS信号的强度(magnitude)。
在某些实施例中,用于分析从第一感应***所接收的数据的程序指令包括程序指令用于分析从第一感应***所使用的一个或者多个视觉传感器所接收的信号。用于接收从一个或者多个视觉传感器所接收的信号的程序指令包括程序指令用于分析从多个侧向隔开的视觉传感器所接收的数据。所述计算机可读介质进一步包括程序指令用于分析从与所述可移动物体连接的第三感应***所接收的数据,所述第三感应***使用惯性测量单元(Inertial Measurement Unit,IMU)。
在某些实施例中,所述用于分析从第一感应***所接收的数据的程序指令包括程序指令用于分析从第一感应***使用的惯性测量单元所接收的数据。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括光学信号、卫星信号、或者指示速度或者加速度的信号。
在某些实施例中,所述权值是数值。所述权值可以是0到1之间的值。
在某些实施例中,所述计算机可读介质进一步包括程序指令用于接收命令,该命令使可移动物体回到预设位置。所述计算机可读介质进一步包括程序指令用于基于可移动物体的方位信息,计算可移动物体移动到或者返回到所述预设位置的路径。
根据本发明的一个方面,提供一种为可移动物体收集方位信息的***。所述***包括:与所述可移动物体连接的第一感应***,该第一感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;与所述可移动物体连接的第二感应***,该第二感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;以及处理器,用于(a)根据第二感应***的传感器所接收的信号的强度,确定从第二感应***所接收的信号的权值,及(b)基于(i)从第一感应***所接收的数据及(ii)从第二感应***所接收的数据乘上所述权值,计算可移动物体的方位信息。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述方位信息包括可移动物体的位置信息及方向信息。所述位置信息包括可移动物体的高度、纬度及经度。所述方向信息包括可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
在某些实施例中,所述第二感应***使用全球定位***(global positioningsystem,GPS)传感器。所接收的信号的强度取决于所接收的GPS信号的数量或者GPS信号的强度。
在某些实施例中,所述第一感应***使用一个或者多个视觉传感器。所述第一感应***使用多个侧向隔开的视觉传感器。所述***接收的数据可以进一步包括与所述可移动物体连接的第三感应***传送的数据,所述第三感应***使用惯性测量单元(InertialMeasurement Unit,IMU)。
在某些实施例中,所述第一感应***使用惯性测量单元。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括光学信号。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括卫星信号。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括指示速度或者加速度的信号。
在某些实施例中,所述权值是数值。所述权值可以是0到1之间的值。
在某些实施例中,所述***进一步包括接收器,用于接收命令,以使可移动物体回到预设位置。所述处理器进一步用于,基于可移动物体的位置信息,计算可移动物体移到或者返回到所述预设位置的路径。
根据本发明的另一方面,提供一种为可移动物体收集方位信息的方法。所述方法包括:(a)存储设备接收与所述可移动物体连接的第一感应***传送的数据,所述第一感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;(b)所述存储设备接收与所述可移动物体连接的第二感应***传送的数据,所述第二感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;(c)处理器判断从第二感应***的传感器所接收的信号的强度是否超过预设的阈值;(d)所述处理器(i)基于从第一感应***所接收的数据,确定步骤(b)中的信号的强度没有超过所述预设的阈值时,不需要从第二感应***所接收的数据,及(ii)基于从第一感应***所接收的数据,确定步骤(b)中的信号的强度超过所述预设的阈值时,同时基于从第二感应***所接收的数据,计算可移动物体的方位信息。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,计算方位信息包括计算可移动物体的位置信息及方向信息。计算位置信息包括计算可移动物体的高度、纬度及经度。计算方向信息包括计算可移动物体相对于航向轴的角度、相对于横滚轴横滚轴的角度及相对于俯仰轴的角度。
在某些实施例中,从第一感应***接收数据包括接收第一感应***所使用的非GPS感应***传送的数据。接收非GPS感应***的数据包括接收非GPS感应***所使用的一个或者多个视觉传感器传送的数据。接收一个或者多个视觉传感器的数据包括接收多个侧向隔开的视觉传感器传送的信号。所述方法进一步包括接收与所述可移动物体连接的第三感应***传送的数据,所述第三感应***使用惯性测量单元(Inertial MeasurementUnit,IMU)。所述接收非GPS感应***传送的数据包括接收非GPS感应***所使用的IMU传送的数据。
在某些实施例中,接收从第二感应***传送的数据包括接收从第二感应***所使用的全球定位***(global positioning system,GPS)传感器传送的数据。从第二感应***的GPS传感器所接收的信号的强度取决于所接收的GPS信号的数量或者GPS信号的强度。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括光学信号、卫星信号、或者指示速度或者加速度的信号。
在某些实施例中,所述预设的阈值大于允许所述第二感应***操作的信号的最小强度。
在某些实施例中,所述预设的阈值由用户输入。
根据本发明的另一方面,提供一种非易失性计算机可读介质,该计算机可读介质包括程序指令用于为可移动物体收集于方位信息。所述计算机可读介质包括:(a)程序指令用于分析从与所述可移动物体连接的第一感应***接收的数据,所述第一感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;(b)程序指令用于分析从与所述可移动物体连接的第二感应***传送的数据,所述第二感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;(c)程序指令用于确定从第二感应***的传感器所接收的信号的强度是否超过预设阈值;以及程序指令用于(i)当步骤(b)中的信号的强度没有超过所述预设的阈值时,基于从第一感应***所接收的数据,不需要从第二感应***所接收的数据,计算可移动物体的方位信息,及(ii)当步骤(b)中的信号的强度超过所述预设的阈值时,基于从第一感应***所接收的数据,同时基于从第二感应***所接收的数据,计算可移动物体的方位信息。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,用于计算方位信息的程序指令包括程序指令用于计算可移动物体的位置信息及方向信息。用于计算位置信息的程序指令包括程序指令用于计算可移动物体的高度、纬度及经度。用于计算方向信息的程序指令包括程序指令用于计算可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
在某些实施例中,用于分析从第一感应***所接收的数据的程序指令包括程序指令用于分析从第一感应***所使用的非GPS感应***所接收的数据。用于分析从非GPS感应***所接收的数据的程序指令包括程序指令用于分析从非GPS感应***所使用的一个或者多个视觉传感器接收的数据。用于分析从一个或者多个视觉传感器所接收的数据的程序指令包括程序指令用于分析从多个侧向隔开的视觉传感器所接收的数据。所述计算机可读介质进一步包括程序指令用于分析从与所述可移动物体连接的第三感应***所接收的数据,所述第三感应***使用惯性测量单元(Inertial Measurement Unit,IMU)。所述用于分析从非GPS感应***接收的数据的程序指令包括程序指令用于分析从非GPS感应***所使用的IMU接收的数据。
在某些实施例中,用于分析从第二感应***所接收的数据的程序指令包括程序指令用于分析从第二感应***所使用的全球定位***(global positioning system,GPS)传感器所接收的数据。从第二感应***的GPS传感器所接收的信号的强度取决于所接收的GPS信号的数量或者GPS信号的强度。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括光学信号、卫星信号、或者指示速度或者加速度的信号。
在某些实施例中,所述预设的阈值大于允许所述第二感应***操作的信号的最小强度。
在某些实施例中,所述预设的阈值由用户输入。
根据本发明的另一方面,提供一种为可移动物体收集方位信息的***。所述***包括:(a)与所述可移动物体连接的第一感应***,所述第一感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;(b)与所述可移动物体连接的第二感应***,所述第二感应***包括传感器,该传感器用于接收对确定可移动物体的方位信息有用的信号;(c)处理器,用于(1)确定从第二感应***的传感器所接收的信号的强度是否超过预设的阈值;及(2)当步骤(b)中的信号的强度没有超过所述预设的阈值时,(i)基于从第一感应***所接收的数据,不需要从第二感应***所接收的数据,计算可移动物体的方位信息,及(ii)当步骤(b)中的信号的强度超过所述预设的阈值时,基于从第一感应***所接收的数据,同时基于从第二感应***所接收的数据,计算可移动物体的方位信息。
在某些实施例中,所述移动物体是无人飞行器。
在某些实施例中,所述方位信息包括可移动物体的位置信息及方向信息。位置信息包括可移动物体的高度、纬度及经度。方向信息包括可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
在某些实施例中,所述第一感应***是非GPS感应***。所述非GPS感应***使用一个或者多个视觉传感器。所述非GPS感应***使用多个侧向隔开的视觉传感器。所述***接收的数据进一步包括与所述可移动物体连接的第三感应***传送的数据,所述第三感应***使用惯性测量单元(Inertial Measurement Unit,IMU)。所述非GPS感应***使用IMU。
在某些实施例中,所述第二感应***是GPS***。所述信号的强度取决于所接收的GPS信号的数量或者GPS信号的强度。
在某些实施例中,对确定可移动物体的方位信息有用的信号包括光学信号、卫星信号、或者指示速度或者加速度的信号。
在某些实施例中,所述预设的阈值大于允许所述第二感应***操作的信号的最小强度。
在某些实施例中,所述预设的阈值由用户输入。
根据本发明的另一方面,提供一种为移动物体收集方位信息的方法。所述方法包括:在存储设备中接收指导所述可移动物体遵循预存储的路径移动的命令,所述预存储的路径包括所述可移动物体的方位信息,所述方位信息包括可移动物体的位置信息及方向信息;在接收端接收速度信息(velocity profile),可移动物体在遵循预存储的路径移动时需遵循该速度信息;从可移动物体的一个或者多个感应***接收至少一个信号,该信号指示可移动物体相对于所述预存储的路径的方位;可移动物体的一个或者多个致动器,致使所述可移动物体响应所述指示可移动物体方位的信号,按照所述速度信息,遵循预存储的路径移动。
在某些实施例中,所述接收指导所述可移动物体遵循预存储的路径移动的命令包括接收指导可移动物体遵循之前走过及记录的路径移动的命令。所述接收速度信息包括接收速度值,该速度值与当可移动物体之前走过该预存储的路径时移动的速度不相同。
在某些实施例中,接收指导所述可移动物体遵循预存储的路径移动的命令包括接收指导可移动物体遵循路径移动的命令,该路径与之前走过及记录的路径相反。
在某些实施例中,接收指导所述可移动物体遵循预存储的路径移动的命令包括接收指导所述可移动物体遵循路径模板的命令,该路径模板包括一个或者多个路径参数。
在某些实施例中,接收指导所述可移动物体遵循预存储的路径移动的命令包括接收指导所述可移动物体遵循用户输入的路径移动的命令。
在某些实施例中,接收指导所述可移动物体遵循预存储的路径移动的命令包括接收指导所述可移动物体遵循环形路线移动的命令,所述可移动物体可沿所述环形路线重复移动。
在某些实施例中,接收所述速度信息包括接收在所述预存储路径上的速度变量。
在某些实施例中,接收所述速度信息包括接收用户输入的速度信息。
在某些实施例中,导致所述可移动物体遵循预存储的路径移动时包括当可移动物体在遵循预存储的路径移动时,改变所述速度信息。
在某些实施例中,所述可移动物体有多个感应***,该多个感应***使用不同类型的传感器。所述感应***包括下述中的两种或者多种:视觉感应***,IMU,GPS***。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述一个或者多个致动器是可移动物体的电机。
根据本发明的另一方面,提供一种非易失性计算机可读介质,该计算机可读介质包括程序指令用于控制可移动物体。所述计算机可读介质包括:程序指令用于接收预存储的路径,所述预存储的路径包括所述可移动物体所需遵循的方位信息,所述方位信息包括可移动物体的位置信息及方向信息;程序指令用于接收速度信息(velocity profile),当可移动物体在遵循预存储的路径移动时需遵循该速度信息;程序指令用于分析至少一个信号,该信号指示可移动物体相对于所述预存储的路径的方位,所述信号来自于所述可移动物体的一个或者多个感应***;程序指令用于控制可移动物体的一个或者多个致动器,致使所述可移动物体响应所述指示可移动物体方位的信号,根据所述速度信息,遵循预存储的路径移动。
在某些实施例中,所述用于接收预存储的路径的程序指令包括程序指令用于接收可移动物体之前走过及记录的路径。所述用于接收速度信息的程序指令包括程序指令用于接收速度值,该速度值与当可移动物体之前走过所预存储的路径时移动的速度不相同。
在某些实施例中,用于接收预存储的路径的程序指令包括程序指令用于接收路径,该路径与可移动物体之前走过及记录的路径相反。
在某些实施例中,用于接收预存储的路径的程序指令包括程序指令用于接收路径模板,该路径模板包括一个或者多个路径参数。
在某些实施例中,用于接收预存储的路径的程序指令包括程序指令用于接收用户输入的路径。
在某些实施例中,用于接收预存储的路径的程序指令包括程序指令用于接收环形路线,所述可移动物体可沿所述环形路线重复移动。
在某些实施例中,用于接收速度信息的程序指令包括程序指令用于接收在所述预存储路径上的变化速度。
在某些实施例中,用于接收速度信息的程序指令包括程序指令用于接收用户输入的速度信息。
在某些实施例中,用于导致所述可移动物体遵循预存储的路径移动的程序指令包括程序指令用于当可移动物体在遵循预存储的路径移动时,改变所述速度信息。
在某些实施例中,所述可移动物体有多个感应***,该多个感应***使用不同类型的传感器。所述感应***包括下述中的两种或者多种:视觉感应***,IMU,GPS***。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述一个或者多个致动器是可移动物体的电机。
根据本发明的另一方面,提供一种控制可移动物体的***。所述***包括:存储设备,包括预存储的路径,所述路径包括所述可移动物体所遵循的方位信息,所述方位信息包括可移动物体的位置信息及方向信息;接收端,用于接收速度信息(velocity profile),可移动物体在遵循预存储的路径移动时需遵循该速度信息;与可移动物体连接的一个或者多个感应***,提供至少一个信号,该信号指示可移动物体相对于所述预存储的路径的方位;可移动物体的一个或者多个致动器,用于致使所述可移动物体响应所述指示可移动物体方位的信号,按照所述速度信息,遵循预存储的路径移动。
在某些实施例中,所述预存储的路径是可移动物体之前走过及记录的路径。所述速度信息包括速度值,该速度值与当可移动物体之前走过所预存储的路径时移动的速度不相同。
在某些实施例中,所述预存储的路径与可移动物体之前走过及记录的路径相反。
在某些实施例中,所述预存储的路径是路径模板,该路径模板包括一个或者多个路径参数。
在某些实施例中,所述预存储的路径是用户输入的路径。
在某些实施例中,所述预存储的路径是环形路线,可移动物体能够遵循该环形路线重复移动。
在某些实施例中,所述速度信息包括在所述预存储路径上的速度变量。
在某些实施例中,所述速度信息是用户输入的。
在某些实施例中,当可移动物体遵循预存储的路径移动时,所述速度信息可以改变。
在某些实施例中,所述可移动物体有多个感应***,该多个感应***使用不同类型的传感器。所述感应***包括下述中的两种或者多种:视觉感应***,IMU,GPS***。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述一个或者多个致动器是可移动物体的电机。
根据本发明的另一方面,提供一种控制可移动物体速度的方法。所述方法包括:在接收端接收控制可移动物体运动的命令,所述运动包括可移动物体的平移运动及角运动;在存储设备中提供一个或者多个速度规则,以使可移动物体响应上述控制可移动物体运动的命令运动时,遵循该速度规则;从可移动物体的一个或者多个感应***接收至少一个指示可移动物体方位的信号;及一个或者多个致动器,致使可移动物体根据指示可移动物体方位的信号,响应上述控制可移动物体运动的命令,遵循所述速度规则运动。
在某些实施例中,所述接收控制可移动物体运动的命令包括接收远程控制提供的命令。接收远程控制提供的命令包括接收用户向远程控制输入的控制可移动物体运动的命令。
在某些实施例中,所述接收控制可移动物体运动的命令包括接收存储设备提供的命令,该存储设备包括可移动物体的预存储路径。
在某些实施例中,提供速度规则包括提供允许可移动物体运动的最大速度。提供最大速度包括提供恒定的固定速率。提供最大速度包括基于至少一个指示可移动物体方位的信号,计算所述最大速度。
在某些实施例中,提供速度规则包括提供允许可移动物体运动的恒定速度。提供恒定速度包括提供线速度或者角速度。
在某些实施例中,所述可移动物体有多个感应***,该多个感应***使用不同类型的传感器。所述感应***包括下述中的两种或者多种:视觉感应***,IMU,GPS***。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述一个或者多个致动器是可移动物体的电机。
根据本发明的另一方面,提供一种非易失性计算机可读介质,其包括程序指令用于控制可移动物体的速度。所述计算机可读介质包括:程序指令用于接收控制可移动物体运动的命令,所述运动包括可移动物体的平移运动及角运动;程序指令用于提供一个或者多个速度规则,以使可移动物体响应上述命令运动时,遵循该速度规则;程序指令用于分析至少一个指示可移动物体方位的信号;及程序指令用于提供指令给一个或者多个致动器,致使可移动物体根据指示方位的信号,响应上述运动命令,遵循所述速度规则运动。
在某些实施例中,所述用于接收控制可移动物体运动命令的程序指令包括程序指令用于接收远程控制提供的命令。用于接收远程控制提供的命令的程序指令包括程序指令用于接收用户向远程控制输入的控制可移动物体运动的命令。
在某些实施例中,所述用于接收控制可移动物体运动命令的程序指令包括程序指令用于接收存储设备提供的命令,该存储设备包括可移动物体的预存储路径。
在某些实施例中,用于提供速度规则的程序指令包括程序指令用于提供允许可移动物体运动的最大速度。用于提供最大速度的程序指令包括程序指令用于提供恒定的速率。用于提供最大速度的程序指令包括程序指令用于基于至少一个指示可移动物体方位的信号,计算所述最大速度。
在某些实施例中,用于提供速度规则的程序指令包括程序指令用于提供允许可移动物体运动的恒定速度。用于提供恒定速度的程序指令包括程序指令用于提供线速度或者角速度。
在某些实施例中,所述可移动物体有多个感应***,该多个感应***使用不同类型的传感器。所述感应***包括下述中的两种或者多种:视觉感应***,IMU,GPS***。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述一个或者多个致动器是可移动物体的电机。
根据本发明的另一方面,提供一种控制可移动物体速度的***。所述***包括:接收端,用于接收控制可移动物体运动的命令,所述运动包括可移动物体的平移运动及角运动;存储设备,用于存储一个或者多个速度规则,以使可移动物体响应上述控制可移动物体运动的命令运动时,遵循该速度规则;与可移动物体连接的一个或者多个感应***,提供至少一个指示可移动物体方位的信号;及一个或者多个致动器,用于致使可移动物体根据指示可移动物体方位的信号,响应上述控制可移动物体运动的命令,遵循所述速度规则运动。
在某些实施例中,所述控制可移动物体运动的命令是由远程控制提供。所述控制可移动物体运动的命令可以由用户向远程控制输入的。
在某些实施例中,所述控制可移动物体运动的命令是由存储设备所提供,该存储设备包括可移动物体的预存储路径。
在某些实施例中,所述速度规则包括允许可移动物体运动的最大速度。所述最大速度包括提供恒定速率。所述最大速度可以基于至少一个指示可移动物体方位的信号所计算得到。
在某些实施例中,所述速度规则包括允许可移动物体运动的恒定速度。所述恒定速度可以是线速度。所述恒定速度可以是角速度。
在某些实施例中,所述可移动物体有多个感应***,该多个感应***使用不同类型的传感器。所述感应***包括下述中的两种或者多种:视觉感应***,IMU,GPS***。
在某些实施例中,所述可移动物体是无人飞行器。
在某些实施例中,所述一个或者多个致动器是可移动物体的电机。
根据本发明的另一方面,提供一种显示无人飞行器飞行轨迹的方法。所述方法包括:从无人飞行器的一个或者多个感应***接收至少一个信号,该至少一个信号指示无人飞行器的方位,所述无人飞行器的方位包括无人飞行器的位置以及无人飞行器的方向;在无人飞行器的远程终端,响应上述至少一个信号,利用视觉指示器,实时显示无人飞行器在三维坐标空间的位置,以及无人飞行器的方向。
在某些实施例中,所述接收至少一个信号包括使用不同类型传感器的多个感应***接收至少一个信号。所述接收至少一个信号包括从下述的两个或者多个中接收至少一个信号:立体视觉感应***,IMU,GPS***。
在某些实施例中,所述接收至少一个信号包括从刚性(rigidly)连接到无人飞行器上的一个或多个感应***接收至少一个信号。
在某些实施例中,所述方法进一步包括在终端接收用户输入的控制无人飞行器运动的命令。
在某些实施例中,所述终端是手持式物体。
在某些实施例中,所述方法进一步包括在终端的触摸屏上显示无人飞行器的方位。
在某些实施例中,所述显示所述视觉指示器包括显示箭头,以指示无人飞行器的负载所朝向的方向。
在某些实施例中,所述显示无人飞行器的方向包括显示箭头,以指示无人飞行器移动的方向。
在某些实施例中,无人飞行器相反转子之间的轴的距离范围为5cm到5m。
在某些实施例中,所述无人飞行器是旋翼飞行器。
在某些实施例中,所述方法进一步包括接收用户输入,以调整三维坐标***的方向,对应调整指示无人飞行器方向的视觉指示器。
根据本发明的另一方面,提供一种非易失性计算机可读介质,其包括程序指令用于显示无人飞行器的飞行轨迹。所述计算机可读介质包括:程序指令用于分析至少一个信号,该至少一个信号是从无人飞行器的一个或者多个感应***所接收,用于指示无人飞行器的方位,所述无人飞行器的方位包括无人飞行器的位置以及无人飞行器的方向;程序指令用于在无人飞行器的远程终端,响应上述信号,利用视觉指示器,实时显示无人飞行器在三维坐标空间的位置,以及无人飞行器的方向。
在某些实施例中,所述用于分析至少一个信号的程序指令包括程序指令用于分析从使用不同类型传感器的多个感应***接收的信号。用于分析至少一个信号的程序指令包括程序指令用于分析从下述两个或者多个中接收至少的信号:立体视觉感应***,IMU,GPS***。
在某些实施例中,用于分析至少一个信号的程序指令包括程序指令用于分析从刚性(rigidly)连接到无人飞行器上的多个感应***接收的至少一个信号。
在某些实施例中,所述计算机可读介质进一步包括程序指令用于在终端接收用户输入的控制无人飞行器运动的命令。
在某些实施例中,所述终端是手持式物体。
在某些实施例中,所述计算机可读介质包括程序指令用于在终端的触摸屏上显示无人飞行器的方位。
在某些实施例中,用于显示所述视觉指示器的程序指令包括程序指令用于显示箭头,以指示无人飞行器的负载所朝向的方向。
在某些实施例中,用于显示无人飞行器的方向的程序指令包括程序指令用于显示箭头,以指示无人飞行器移动的方向。
在某些实施例中,无人飞行器相反转子之间的轴的距离范围为5cm到5m。
在某些实施例中,所述无人飞行器是旋翼飞行器。
在某些实施例中,所述计算机可读介质进一步包括接收用户输入的程序指令,以调整三维坐标***的方向,对应调整指示无人飞行器方向的视觉指示器。
根据本发明的另一方面,提供一种显示无人飞行器飞行轨迹的***。所述***包括:与无人飞行器连接的一个或者多个感应***,其提供至少一个信号,该信号指示无人飞行器的方位,所述无人飞行器的方位包括无人飞行器的位置以及无人飞行器的方向;无人飞行器的远程终端,其包括用户界面,响应上述信号,利用视觉指示器,实时显示无人飞行器在三维坐标空间的位置,以及无人飞行器的方向。
在某些实施例中,所述无人飞行器包括多个使用不同类型传感器的感应***。所述感应***包括下述的两个或者多个:立体视觉感应***,IMU,GPS***。
在某些实施例中,所述一个或多个感应***刚性(rigidly)连接到无人飞行器上。
在某些实施例中,用户输入的控制无人飞行器运动的命令可以通过终端接收。
在某些实施例中,所述终端是手持式物体。
在某些实施例中,无人飞行器的方位显示在终端的触摸屏。
在某些实施例中,所述无人飞行器的视觉指示器是箭头,以指示无人飞行器的负载所朝向的方向。
在某些实施例中,所述无人飞行器的视觉指示器是箭头,以指示无人飞行器移动的方向。
在某些实施例中,无人飞行器相反转子之间的轴的距离范围为5cm到5m。
在某些实施例中,所述无人飞行器是旋翼飞行器。
在某些实施例中,可以进一步接收用户输入,以调整三维坐标***的方向,对应调整指示无人飞行器方向的视觉指示器。
本领域技术人员根据下述详细描述的实施例,可以了解到本揭露其他的方面及优点,然而,本揭露的实施例仅仅是示意性的,简单的描述了本发明的较佳实施方式。本发明还可以有很多其他的实施例,并且实施例的很多细节能够有多种形式的修改,都不脱离本发明的精神。以下,结合附图对本发明的实施例进行描述,该描述并非限制性的。
引置前案
本案说明书所提到的任何出版物、专利、专利申请都全文列入本文作为参考。
附图说明
为了更好地了解本发明的特征及有益效果,以下参照附图对本发明的各个实施例进行详细描述,该描述并非限制性的,其中,所述附图中:
图1是本发明较佳实施例中无人飞行器的示意图。
图2是本发明较佳实施例中包括运载体及负载的可移动物体的示意图。
图3是本发明较佳实施例中包括多个感应***的可移动物体的示意图。
图4是本发明较佳实施例中为可移动物体收集方位信息的***方块图。
图5是本发明较佳实施例中确定可移动物体的方位及/或运动信息的传感器融合***的方块图。
图6是本发明较佳实施例中对可移动物体的方位及/或运动信息进行状态估计的传感器融合算法的方块图。
图7是本发明较佳实施例中立体视觉***的示意图。
图8是本发明较佳实施例中沿着预设的飞行路线对可移动物体进行导航的***方块图。
图9是本发明较佳实施例中可移动物体的速度控制***的方块图。
图10是本发明较佳实施例中用于对可移动物体控制及导航的用户界面。
具体实施方式
本发明提供了为可移动物体收集方位及/或运动信息的***、方法及设备。所述***、方法及设备可以用于控制可移动物体(关于方位、速度及/或加速度)。此外,所述***、方法及设备用于显示关于可移动物体的信息(如可移动物体的飞行轨迹)。应该了解,本发明的不同方面可以单独执行或者彼此结合执行。本发明的各个方面都适合下述描述的任何特殊的应用以及任何类型的可移动物体。
所述***、方法及设备可以用于任何适合的可移动物体。所述可移动物体可以在任何环境下移动,如空气中(例如,固翼飞行器,旋翼飞行器,或者既不包括固翼也不包括旋翼的飞行器),在水中(例如,船或者潜艇),在地面上(例如,机动车或者火车),在太空中的(如,空间站、卫星、宇宙飞船),或者这些环境中的任意结合。所述可移动物体可以是运输工具,例如描述的任何运输工具。在某些实施例中,所述可移动物体可以是生物体上,如人类或者动物。适合的动物可以包括灵长类动物、鸟类、犬类、猫科动物、马、牛、绵羊、猪、海豚、啮齿类动物、或者昆虫。
所述可移动物体可以在上述环境中在六个自由度***(三个旋转自由度以及三个平移自由度)。二选一地,可移动物体的运动可以限制在一到两个自由度,如预设路线、轨道或者方向。所述运动可以是由任何的致动机制所致动,如引擎或者电机。可移动物体的致动机制可以是由任何合适的能源所实现,如电能、磁力、太阳能、风能、重力能、化学能、核能、或者其中任何适合的结合。
在某些实施例中,所述可移动物体可以是运输工具。合适的运输工具包括水中的运输工具、空中的运输工具、空间的运输工具、或者地面上的运输工具。例如,空中的运输工具可以是固翼飞行器(如飞机、滑行机),旋翼飞行器(如直升机、旋翼机),既有固翼又有旋翼的飞行器,或者什么都没有的飞行器(如软式飞艇、热气球)。运输工具可以自我推进,如通过空气、在水面或者水中、在空间、或者在地面或者地下自我推进。自我推进的运输工具可以利用推进***,如包括一个或者多个引擎、电机、轮子、轴承、磁铁、转子、螺旋桨、桨叶、喷嘴或者包括其中任何结合的推进***。在某些情况下,所述推进***可以使可移动物体脱离表面、降落在表面、维持当前的方位及/或方向(悬停)、改变方向、及/或改变方位。
例如,所述推进***可以包括一个或者多个转子。转子可以包括一个或者多个固定在中心轴上的桨叶(如一个、两个、三个、四个、或者更多桨叶)。所述桨叶可以对称或者非对称的绕着中心轴。所述桨叶可以通过中心轴的旋转而转动,所述中心轴的旋转可以由合适的电机或者所引擎驱动。所述桨叶可以逆时针方向旋转或者顺时针方向旋转。所述转子可以是水平的转子(指的是有旋转的水平面),竖直方向的转子(指的是有旋转的竖直面),或者倾斜的转子,其倾斜的角度是在水平位置及竖直位置之间。在某些实施例中,水平方向的转子可以转动以提升可移动物体。竖直方向的转子可以转动以推动可移动物体。倾斜角度在水平位置及竖直位置之间的转子可以转动同时提升及推进可移动物体。一个或者多个转子可以提供扭力以抵消其他转子产生的扭力。
可移动物体可以由用户遥控控制或者由可移动物体之内的乘坐者所控制。在某些实施例中,可移动物体是无人操作的可移动物体,如无人飞行器。无人操作的可移动物体,如无人飞行器,可以没有搭载任何乘坐者。所述可移动物体可以由人类或者自动控制***(如计算机控制***),或者其任何合适的结合所控制。所述可移动物体可以是自动或者半自动的机器人,如具有人工智能的机器人。
所述可移动物体可以有任何的尺寸及/或者维度。在某些实施例中,所述可移动物体的尺寸及/或者维度是可以容纳一个人类乘坐者在里面。二选一地,所述可移动物体的尺寸及/或者维度可以小于人类乘坐者能够容纳在里面的尺寸及/或者维度。所述可移动物体的尺寸及/或者维度可以是适合一个人提起或者携带的。二选一地,所述可移动物体的尺寸及/或者维度可以大于一个人能够提起或者携带的尺寸及/或者维度。在某些情况下,所述可移动物体的最大的维度(例如,长、宽、高、直径、对角线)小于或者等于大约:2cm,5cm,10cm,50cm,1m,2m,5m,或者10m。所述最大的维度也可以大于或者等于大约:2cm,5cm,10cm,50cm,1m,2m,5m,或者10m。例如,可移动物体相反转子的轴之间的距离可以小于或者等于大约:2cm,5cm,10cm,50cm,1m,2m,5m,或者10m。二选一地,相反转子的轴之间的距离可以大于或者等于大约:2cm,5cm,10cm,50cm,1m,2m,5m,或者10m。
在某些实施例中,所述可移动物体的体积可以小于100cm x 100cm x 100cm,小于50cm x 50cm x 30cm,或者小于5cm x 5cm x 3cm。所述可移动物体的整个体积可以小于或者等于1cm3,2cm3,5cm3,10cm3,20cm3,30cm3,40cm3,50cm3,60cm3,70cm3,80cm3,90cm3,100cm3,150cm3,200cm3,300cm3,500cm3,750cm3,1000cm3,5000cm3,10,000cm3,100,000cm3,1m3,或者10m3。相反的,所述可移动物体的整个体积可以大于或者等于1cm3,2cm3,5cm3,10cm3,20cm3,30cm3,40cm3,50cm3,60cm3,70cm3,80cm3,90cm3,100cm3,150cm3,200cm3,300cm3,500cm3,750cm3,1000cm3,5000cm3,10,000cm3,100,000cm3,1m3,或者10m3。
在某些实施例中,所述可移动物体的占地面积(可移动物体的横断面的面积)可以小于或者等于大约:32,000cm2,20,000cm2,10,000cm2,1,000cm2,500cm2,100cm2,50cm2,10cm2,或者5cm2。相反的,所述可移动物体的占地面积(可移动物体的横断面的面积)可以大于或者等于大约:32,000cm2,20,000cm2,10,000cm2,1,000cm2,500cm2,100cm2,50cm2,10cm2,或者5cm2。
在某些情况下,所述可移动物体的重量可以小于1000kg。所述可移动物体的重量可以小于或者等于1000kg,750kg,500kg,200kg,150kg,100kg,80kg,70kg,60kg,50kg,45kg,40kg,35kg,30kg,25kg,20kg,15kg,12kg,10kg,9kg,8kg,7kg,6kg,5kg,4kg,3kg,2kg,1kg,0.5kg,0.1kg,0.05kg,或者0.01kg。相反的,所述可移动物体的重量可以大于或者等于1000kg,750kg,500kg,200kg,150kg,100kg,80kg,70kg,60kg,50kg,45kg,40kg,35kg,30kg,25kg,20kg,15kg,12kg,10kg,9kg,8kg,7kg,6kg,5kg,4kg,3kg,2kg,1kg,0.5kg,0.1kg,0.05kg,或者0.01kg。
在某些实施例中,可移动物体可以比其载荷要小。所述载荷包括负载及/或者运载体,下面会详细描述。在某些例子中,可移动物体的重量与其载荷的重量的比值可以大于、小于或者等于大概1:1。在某些情况下,可移动物体的重量与其载荷的重量的比值可以大于、小于或者等于大概1:1。可选地,运载体的重量与其载荷的重量的比值可以大于、小于或者等于大概1:1。当需要的时候,所述可移动物体的重量与所述载荷的重量的比值可以小于或者等于1:2,1:3,1:4,1:5,1:10,甚至更小。相反的,所述可移动物体的重量与所述载荷的重量的比值可以大于或者等于:2:1,3:1,4:1,5:1,10:1,甚至更大。
在某些实施例中,所述可移动物体可以有较低的能量消耗。例如,所述可移动物体可以使用小于大约:5W/h,4W/h,3W/h,2W/h,1W/h,甚至更少的能量消耗。在某些情况下,所述可移动物体的运载体可以有较低的能量消耗。例如,所述运载体可以使用小于大约:5W/h,4W/h,3W/h,2W/h,1W/h,甚至更少的能量消耗。可选地,所述可移动物体的负载可以有较低的能量消耗,例如小于大约:5W/h,4W/h,3W/h,2W/h,1W/h,甚至更少。
图1是本发明较佳实施例中可移动物体,如无人飞行器100的示意图。无人飞行器100可以包括推进***,该推进***包括四个转子102、104、106及108。所述推进***也可以包括任何数量的转子(如一个、两个、三个、四个、五个、六个或者更多)。转子或者无人飞行器的其他推进***可以使无人飞行器悬停/维持方位、改变方向、及/或者改变位置。相反的转子的轴之间的距离可以是任何的长度110。例如,长度110可以是小于或等于2cm,或者小于或等于5m。在某些实施例中,所述长度110可以是在40cm到1m的区间,在10cm到2m的区间,或者5cm到5m的区间。如前所述,关于飞行器,如无人飞行器的描述也可适用于任何类型的可移动物体,反之亦然。
在某些实施例中,所述可移动物体可以用于承载载荷。所述载荷可以包括一个或者多个乘客、货物、设备、装置等。所述载荷可以在一个舱体(housing)内。所述舱体可以与可移动物体的舱体分离,也可以是可移动物体的舱体的一部分。二选一地,所述载荷可以提供舱体,而可移动物体没有舱体。二选一地,所述载荷的部分或者全部都不需要在舱体内。所述载荷可以相对于可移动物体刚性固定。可选的,所述载荷可以相对于可移动物体移动(例如,相对于可移动物体平移或者旋转)。
在某些实施例中,所述载荷包括负载。所述负载可以不用于执行任何的操作或功能。二选一地,所述负载可以是用来执行一种操作或者功能的负载,也称为功能性负载。例如,负载可以包括一个或者多个传感器,用以测量一个或者多个目标物。负载可以集成任何合适的传感器,如影像捕获设备(如相机),音频捕获设备(如抛物线麦克风),红外影像设备,或者紫外线影像设备。所述传感器可以提供静态的感测数据(如照片)或者动态的感测数据(如视频)。在某些实施例中,所述传感器提供负载目标物的感测数据。二选一地或者相结合地,所述负载可以包括一个或者多个发射体,用于向一个或者多个目标物提供信号。所述发射体可以是任何合适的发射体,如照射源或者声源。在某些实施例中,负载包括一个或者多个无线电收发器,如与可移动物体的远程模块进行通信。可选地,所述负载可以用于与环境或者目标物交互。例如,所述负载可以包括工具、设备或者机制以能够操作物体,如机械手臂。
可选地,所述载荷可以包括运载体。所述运载体可以提供给负载,负载可以通过所述运载体,直接(直接接触可移动物体)或者非直接(不接触可移动物体)的,搭载在可移动物体上。相反地,负载可以不需要所述运载体而直接安装在可移动物体上。所述负载可以集成在运载体上。二选一地,负载可以是可移除的搭载在运载体上。在某些实施例中,负载包括一个或者多个负载元件,如上所描述的,该一个或者多个负载元件可以相对可移动物体及/或运载体移动。
所述运载体可以集成在可移动物体上。二选一地,所述运载体可以是可移除的搭载在可移动物体上。所述运载体可以直接或非直接地搭载在可移动物体上。所述运载体可以支撑负载(如承担负载的一部分重量)。所述运载体可以包括合适的装载结构(如云台),能够稳定及/或指导负载的运动。在某些实施例中,所述运载体可以用于控制负载相对于可移动物体的状态(如方位及/或方向)。例如,运载体可以用于相对可移动物体移动(如相对于一个、两个或者三个旋转自由度或者平移自由度),以维持负载相对于合适的参照物的方位及/或方向,而不管可移动物体如何运动。所述参照物可以是固定的参照物(如***环境)。二选一地,所述参照物是运动的参照物(如可移动物体或者负载的目标物)。
在某些实施例中,所述运载体可能允许负载相对于运载体及/或可移动物体运动。所述运动可以是相对多达三个自由度的平移运动(如沿着一个、两个或者三个轴),也可以是相对多达三个自由度的旋转运动(如绕着一个、两个或者三个轴),或者其中的任何合适的结合。
在某些实施例中,所述运载体包括运载体结构组件(frame assembly)以及运载体致动组件(actuation assembly)。所述运载体结构组件可以提供对负载的结构性支撑。所述运载体的结构组件可以包括多个单独的运载体结构部件,其中的一些结构部件可以相互之间运动。所述运载体致动组件可以包括一个或者多个致动器(如电机),可以致动所述单独的运载体结构部件。所述致动器允许多个运载体结构部件同时运动,或者可以一次只允许一个运载体结构部件运动。运载体结构部件的运动能够导致负载的对应运动。例如,运载体致动组件可以致动一个或者多个运载体结构部件绕着一个或者多个旋转轴(如横滚轴、俯仰轴或者航向轴)旋转。一个或者多个运载体结构部件的旋转可以导致负载相对于可移动物体绕着一个或者多个旋转轴旋转。二选一地或者相结合地,运载体致动组件可以致动一个或者多个运载体结构部件沿着一个或者多个轴平移,因此,可以导致负载相对于可移动物体绕着对应的一个或者多个轴平移。
在某些实施例中,可移动物体、运载体及负载相对固定参照物(如外部环境)的运动,及/或者彼此间的运动,可以都是由终端所控制。所述终端可以是远程控制终端,位于远离可移动物体、运载体及/或负载的地方。所述终端可以位于或者粘贴于支撑平台上。二选一地,所述终端可以是手持的或者穿戴式的。例如,所述终端可以包括智能手机、平板电脑、桌上型电脑、计算机、眼镜、手套、头盔、麦克或者其中任意的结合。所述终端可以包括用户界面,如键盘、鼠标、操纵杆、触摸屏或者显示器。任何适合的用户输入可以与终端交互,如手动输入命令、声音控制、手势控制或者方位控制(如通过终端的运动、位置或者倾斜)。
所述终端可以用于控制可移动物体、运载体及/或负载的任何状态。例如,该终端可以用于控制可移动物体、运载体、及/或负载相对于固定参照物的方位及/或方向,以及彼此间的方位及/或方向。在某些实施例中,终端可以用于控制可移动物体、运载体及/或负载的单独的部件,如运载体的致动组件、负载的传感器、或者负载的发射器等。所述终端可以包括无线通讯设备用于与可移动物体、运载体或者负载通讯。
所述终端可以包括合适的显示单元用于显示可移动物体、运载体及/或负载的信息。例如,终端可以用于显示可移动物体、运载体及/或负载关于方位、平移速度、平移加速度、方向、角速度、角加速度的信息,或者其中任意结合。在某些实施例中,所述终端可以显示负载提供的信息,如功能性负载提供的数据(如相机或者其他影像捕获设备记录的影像)。
图2是本发明较佳实施例中包括运载体202及负载204的可移动物体200的示意图。尽管可移动物体200被描述为飞行器,然而这样的描述并不是限制,前述描述的任何类型的可移动物体都适用。本领域技术人员应该了解,本文所描述的任何关于飞行器***的实施例适用于任何可移动物体(如无人飞行器)。
在某些实施例中,所述负载204可以直接位于可移动物体200上,而不需要运载体202。所述可移动物体200可以包括推进机制206,感应***208以及无线电收发器210。所述推进机制206可以包括一个或者多个转子、螺旋桨、桨叶、引擎、电机、轮子、轴承、磁铁、喷嘴。所述可移动物体可以有一个或者多个、两个或者多个、三个或者多个、或者四个或者多个推进机制。所有的推进机制可以是相同的类型。二选一地,一个或者多个推进机制可以是不同的类型。在某些实施例中,推进机制206能够使可移动物体200垂直地离开表面,或者垂直地着落在表面,而不需要可移动物体200任何水平运动(如不需要在跑道上滑行)。可选地,推进机制206可以允许可移动物体200在空中预设方位及/或者方向悬停。
例如,可移动物体200可以有多个水平方向的转子,以提升及/或推进可移动物体。多个水平方向的转子可以被致动,以使无人飞行器竖直起飞、竖直着落、或者悬停。在某些实施例中,水平方向的转子中的一个或者多个可以顺时针方向转动,而水平方向的转子中的其他一个或者多个可以逆时针方向转动。例如,顺时针的转子的数量可以与逆时针的转子的数量相同。每一个水平方向的转子的旋转速率可以独立变化,以实现每个转子的提升及/或推动操作,从而调整可移动物体200的空间方位、速度及/或加速度(如相对于多达三个旋转自由度及平移自由度)。
所述感应***208可以包括一个或者多个传感器,以感测可移动物体200的空间方位、速度及/或加速度(如相对于多达三个旋转自由度及平移自由度)。所述一个或者多个传感器包括GPS传感器、运动传感器、惯性传感器、近距离传感器或者影像传感器。所述感应***208提供的感测数据可以用于控制可移动物体200的空间方位、速度及/或加速度(如下所述,使用一个适合的处理单元及/或控制单元)。二选一地,所述感应***208可以用于提供可移动物体的环境数据,如气候条件、要接近的潜在的障碍、地理特征的位置、建筑物的位置等。
所述无线电收发器210能够实现与具有无线电收发器214的终端212通过无线信号216进行通讯。在某些实施例中,所述通讯包括与终端212的双向通讯,这样,终端212提供控制命令给可移动物体200、运载体202及负载204中的一个或者多个,并接收从可移动物体200、运载体202及负载204中的一个或者多个所传送的信息(如可移动物体、运载体及负载的方位及/或运动信息;负载的感应数据,如相机捕获的影像数据)。在某些实施例中,所述终端的控制命令可以包括关于方位、运动、致动的指令,或者对可移动物体、运载体及/或负载的控制。例如,控制命令可以致使可移动物***置及/或方向的改变(如通过控制推进机制206),或者致使负载相对于可移动物体的运动(如通过对运载体202的控制)。终端的控制命令可以实现对负载的控制,如控制相机或者其他影像捕获设备的操作(捕获静止图片或者运动的影像、变焦、开启或关闭、切换影像模式、改变影像分辨率、改变焦距、改变景深、改变曝光时间、改变可视角度或者视场)。在某些实施例中,可移动物体、运载体及/或负载的通讯可以包括从一个或者多个传感器(如感应***208或者负载204)发出的信息。所述通讯可以包括从一个或者多个不同类型的传感器(如GPS传感器、运动传感器、惯性传感器、近距离传感器或者影像传感器)传送的感应信息。所述感应信息关于可移动物体、运载体及/或负载的方位(如方向、位置)、运动、或者加速度。从负载传送的感应信息包括负载捕获的数据或者负载的状态。终端212传送提供的控制命令可以用于控制可移动物体200、运载体202或者负载204中一个或者多个的状态。二选一地或者相结合地,所述运载体202及负载204中每一个都可以包括无线电收发器,用于与终端212通讯,以便终端可以单独地与可移动物体200、运载体202及负载204通讯或者控制可移动物体200、运载体202及负载204。
感应***
在某些实施例中,可移动物体可以包括感应***,用于提供关于可移动物体状态的信息(如相对于一到六个自由度的方位、速度、及/或加速度;可移动物体的推进状态;可移动物体的负载是否开启或者关闭;负载的操作模式;负载是否变焦),或者其他物体(如运载体,负载)的状态信息。所述信息可以传送给终端以显示给用户。附加地,所述信息可以传送给终端的处理单元,以使终端能够执行控制。例如,所述信息可以包括关于可移动物体的方位信息,该方位信息指示物体相对于固定的参照物或者移动的参照物的三维空间方位。所述方位信息包括位置信息(高度、经度及纬度)及方向信息(如横滚角度、俯仰角度及航向角度)。二选一地或者结合地,所述信息可以包括可移动物体相对于六个自由度中的一个或者多个自由度的关于速度及/或加速度的运动信息。
本案可以利用感应***的各种合适的结合,如本案描述的各个实施例的结合。在某些实施例中,每个感应***包括传感器用于接收感应信号,分析该感应信号可以得到可移动物体的方位及/或运动信息。所述感应信号可以指示可移动物体的方位、方向、速度、或者加速度中的一种或者多种。
图3是本发明较佳实施例中包括多个感应***的可移动物体300的示意图。可移动物体300的感应***可以包括GPS传感器302,惯性测量单元(Inertial Measurement Unit,IMU)304,及/或第一及第二视觉传感器306、308。感应***得到的感应数据可以用于提供方位信息,以对可移动物体300控制或者导航。
所述GPS传感器302可以与一个或者多个GPS卫星310通讯,以获取一个或者多个GPS数据信号312。所述GPS传感器302可以刚性连接到可移动物体300,这样,GPS传感器302的位置就对应着可移动物体300的位置。二选一地,所述GPS传感器302可以允许相对可移动物体在多达六个自由度移动。所述GPS传感器302可以直接安装在可移动物体300上,或者通过支撑结构安装在可移动物体300上。在某些实施例中,所述支撑结构可以包括载荷,如运载体或者负载。所述GPS传感器302可以在可移动物体的舱体内或者舱外。所述GPS传感器302可以永久的或者可移除的附在可移动物体上。在某些实施例中,所述GPS传感器302可以是可移动物体的负载上的元件。
所述GPS传感器302接收的GPS信号经过处理之后,可以确定可移动物体300相对于地球参照物的位置(如高度、经度及纬度),因此,确定可移动物体的平移速度及/或加速度。所述GPS传感器302可以利用任何合适的GPS技术,例如,差分全球定位***(DifferentialGlobal Positioning System,DGPS)或者实时动态差分法(Real-time kinematic,RTK)GPS。所述GPS传感器302可以用于确定可移动物体300任何合适精确级别的位置,例如,到米级别的精度(例如,精度在10m,5m,2m或者1m之内),或者到厘米级别的精度(例如,精度在500cm,200cm,100cm,50cm,20cm,10cm或者5cm之内)。
所述IMU304可以包括一个或者多个加速度计,一个或者多个陀螺仪,一个或者多个磁力计,或者其中任何适合的结合。例如,所述IMU304可以包括多达三个正交的加速度计,以量测可移动物体沿着多达三个轴平移的线加速度,或者多达三个正交的陀螺仪,以量测可移动物体沿着多达三个轴旋转的角加速度。所述IMU304可以刚性连接到可移动物体300上,以使可移动物体300的运动对应IMU304的运动。二选一地,所述IMU304可以允许相对于可移动物体300在多达六个自由度上运动。所述IMU304可以直接安装到可移动物体300上,或者连接到可移动物体300的支撑结构上。所述IMU304可以在可移动物体的舱体内或者舱体外。所述IMU可以永久的或者可移除的附在可移动物体上。在某些实施例中,所述IMU304可以是可移动物体的负载上的元件。所述IMU304可以提供指示可移动物体300运动的信号,如可移动物体300的方位、方向、速度及/或加速度(如相对于一个、两个或者三个轴平移,或者相对于一个、两个或者三个轴旋转)。例如,所述IMU304可以感应代表可移动物体加速度的信号,该信号可以被融合一次,以提供速度信息,及被融合两次以提供位置及/或方向信息。
所述可移动物体300的视觉传感器306及308可以是任何从***环境(如地面320)的目标物318接收光学信号314及316的设备,该光学信号可以被处理以产生目标物318的影像数据。所述视觉传感器306及308可以刚性连接到可移动物体300上,以使视觉传感器306及308获取的方位信息对应可移动物体300的方位信息。二选一地,可以允许所述视觉传感器306及308相对于可移动物体300在多达六个自由度上运动。所述视觉传感器306及308可以直接安装到可移动物体300上,或者连接到可移动物体300的支撑结构上。在某些实施例中,所述视觉传感器306及308可以是可移动物体的负载上的元件。视觉传感器可以是任何的数量,如单独的视觉传感器,一对视觉传感器,三个视觉传感器,四个视觉传感器或者其他数量。例如,视觉传感器306及308可以是一对相机(双目相机)。二选一地,可以用单一的相机(如单目相机)。在某些实施例中,所述视觉传感器可以在可移动物体300上侧向隔开,以使每一个视觉传感器提供不同视角的影像,因此,能够得到立体视觉影像。例如,视觉传感器侧向隔开的间隔可以达到1m,500cm,250cm,100cm,50cm,25cm,10cm,5cm,2cm或者1cm。所述视觉传感器可以位于可移动物体相同一侧面或者相对的侧面。可移动物体的前面、后面、上面、下面或者侧面或者其任意的结合,可以有一个或者多个视觉传感器。
所述视觉传感器306及308可以用于以特定的频率同时捕获影像,以产生时间序列的影像数据。从所述视觉传感器306及308获取的时间序列的影像数据可以经过处理后,利用任何适合的方法,如机器视觉算法,确定可移动物体300的方位、方向、及/或速度。例如,机器视觉算法可以用于识别每个影像中的一个或者多个特征点(如物体的边缘点、物体的角落、两种不同颜色的物体之间的边界线)。任何适合的方法或者其结合都可以识别及提供特征点的数字表示,如FAST(feature from accelerated segment test)算法,或者BRIEF(binary robust independent element feature)算法。所述影像数据彼此之间可以进行匹配,以识别出现在两个视觉传感器所获取的影像中的共同特征点。所述可移动物体300的运动可以通过所述共同特征点以及视觉传感器306及308相对于可移动物体300以及彼此之间的空间位置所确定。
尽管图3中没有描述,所述可移动物体300也可以包括近距离感应***,用于提供关于可移动物体300的方位信息。所述近距离感应***可以使用任何能够测量可移动物体300与一个或者多个周围物体之间的距离的任何近距离传感器。例如,所述近距离传感器可以包括超声波传感器或者激光雷达传感器。在某些实施例中,所述近距离传感器可以旋转(如360度旋转),以获得可移动物体300的周围多个物体的距离及方位信息。经分析周围物体的距离及方位信息后可以确定可移动物体300的空间位置及/或运动。
图4是本发明较佳实施例中利用多个感应***为可移动物体收集位置及运动信息的***400的方块图。所述***400可以用于结合本案所描述的任何适合的***、方法或者设备。所述***400包括所描述的多个感应***或者模块。所述感应***可以是不同类型的感应***,用不同方法收集关于可移动物体的信息。不同类型的感应***可以感应不同类型的信号或者不同资源的信号。例如,所述感应***可以包括IMU402、GPS感应模块404、多个相机406,以及近距离感应模块408(如激光雷达模块)。
所述IMU402及GPS感应模块404可以连接到具有多个处理器(如ARM处理器)的处理单元410,例如,通过控制器局域网(controller area network,CAN)连接412。所述近距离感应模块408可以连接到所述处理单元410。相机406可以连接到所述处理单元410。在某些实施例中,相机406可以连接到现场可编程门阵列(Electric Power GenerationAssociation,EPGA)414。所述EPGA414可以连接到处理单元410(例如,通过通用内存控制器(General Purpose Memmory Controller,GPMC)连接416)。影像传输模块418(如Wi-Fi影像传输模块)可以连接到相机406,如通过EPGA414。所述影像传输模块418可以用于传输相机406捕获的影像给任何适合的***设备或者***,如终端。
所述处理单元410可以是可编程的处理器(如中央处理器(central processingunit,CPU))。所述处理单元410可以连接到非易失性计算机可读介质420。所述非易失性计算机可读介质可以包括一个或者多个存储单元(可去除的介质或者外部存储器,如SD卡422,RAM424)。在某些实施例中,相机406感测的数据可以直接传送并存储到非易失性计算机可读介质420的存储单元中(如通过直接内存存取(Direct Memory Access,DMA)控制器426)。非易失性计算机可读介质420的存储单元可以存储可由处理单元410所执行的代码及/或者计算机指令,以执行本案描述的各种方法的各个实施例。例如,处理单元410可以用于执行指令,以导致处理单元410的一个或者多个处理器分析一个或者多个感应***(如IMU402,GPS感应模块404,相机406及近距离感应模块408)产生的数据,以确定关于可移动物体的位置及/或运动信息。所述存储单元可以存储一个或者多个感测***的感应数据,该感应数据由处理单元410所处理。在某些实施例中,非易失性计算机可读介质420的存储单元可以存储可移动物体的方位及/或运动信息,该方位及/或运动信息是通过对感应数据进行处理而得到的。二选一地或者结合地,所述非易失性计算机可读介质420的存储单元可以存储预设的或者预先存储的数据,以控制可移动物体(如预设的飞行路线,速度信息、或者速度规则)。
在某些实施例中,所述处理单元410可以与控制模块428连接,以控制可移动物体的状态。例如,图4描述的控制模块428可以是致动机制控制模块,用以控制可移动物体的致动器或者电机430,以调整可移动物体相对于六个自由度的空间方位。二选一地或者相结合的,所述控制模块428可以调整可移动物体相对于六个自由度的速度或加速度。在某些实施例中,所述控制模块428可以基于预设的控制数据或者是通过对一个或者多个感应***获取的数据进行处理而得到的方位及/或运动信息,控制可移动物体。所述处理单元可以连接到一个或者多个其他模块432,如用于控制运载体、负载或者感应***的状态的其中一种或者多种的模块。
所述处理单元408可以与无线通讯模块434连接,用于从一个或者多个***设备(如终端、显示设备、或者其他远程控制设备)传送及/或者接收数据。这里可以使用任何合适的通讯方法,如有线通讯或者无线通讯。例如,无线通讯模块434可以使用局域网、广域网、红外线、无线电、Wi-Fi、点对点(P2P)网络、电信网络、云网络等中的一种或者多种。可选地,可以用到中继站,如信号塔、卫星、或者移动基站等。无线通讯可以是基于近距离的,也可以不是近距离的。在某些实施例中,通讯时可以需要瞄准线(line of sight)也可以不需要瞄准线。无线通讯模块434可以与感应***之间传送及/或者接收一种或者多种感应数据、处理所述感应数据得到的方位及/或运动信息、预设的控制数据、终端或者远程控制器的用户命令。
所述***400的各个部件之间可以是任何适合的排配。例如,***400的一个或者多个部件位于可移动物体、运载体、负载、终端、感应***、或者与前述各设备通讯的额外的外部设备上。此外,尽管图4描述了单独的处理单元410以及单独的非易失性计算机可读介质422,本领域技术人员应该知道,这样的描述不是限制,所述***400可以包括多个处理单元及/或多个非易失性计算机可读介质。在某些实施例中,处理单元及/或非易失性计算机可读介质中的一个或者多个可以位于不同的位置,如在可移动物体、运载体、负载、终端、感应***、或者与前述各设备通讯的额外的外部设备,以及前述的各种结合上,这样,***400执行的各种处理或者存储功能都可以发生在前述的一个或者多个位置。
通过传感器融合执行运动及/或方位的估计
在某些实施例中,传统的单个感应***的性能不是很理想。例如,GPS感应***需要到多个GPS卫星的瞄准线,因此,可能在天气条件不好、室内环境或者靠近建筑物时而受到限制。此外尽管DGPS及RTK GPS与传统的GPS相比较,提高了精确性,然而这些技术也会有各种限制,因此限制了他们在某些情况下的应用。例如,IMU感应***在感应复杂的运动(如同时快速的平移及旋转)时,其精确性很低。此外,IMU感应***长时间的运行之后可能产生误差。例如,视觉感应***需要大量的运算。进一步的,视觉感应***的精确度可能受到影像质量的影响,如影像分辨率低、影像模糊(如由于快速的运动),以及影像变形,都可以降低该***的性能。例如,近距离感应***可能受到传感器精确度以及使用范围的限制,在某些应用中,传感器可能由于距离很远而不方便使用。此外,激光雷达传感器在强光条件,其性能也会降低。
为了减少各个单一感应***潜在的缺点所导致的测量不精确,可移动物体的空间位置及/或运动可以根据从多个感应***,例如不同类型的感应***,所接收的数据来确定。这里所述传感器融合利用到了每种传感器的优点,对单一传感器的测量不精确进行了补偿。因此,在各种环境下都可以执行对可移动物体运动及/或位置的估计。本案所描述的传感器融合方法可以使用任何合适数量及类型的感测***。例如,使用包括GPS感应***、IMU感应***及机器视觉感应***的三向传感器融合。二选一地,也可以使用两向传感器融合(如,包括GPS及IMU,GPS及视觉,视觉及近距离,IMU及视觉,IMU及近距离,视觉及近距离)。二选一地,从多个感应***接收的数据可以通过任何顺序的传感器融合方法进行融合(如GPS融合到IMU,视觉融合到GPS及IMU)。下述实施例描述的传感器融合方法可以用于确定任何适合的可移动物体的位置及/或运动信息。
图5是本发明较佳实施例中为可移动物体确定位置及/或运动信息的传感器融合***500的方块图。所述***500可以用于结合本案所描述的任何适合的***、方法或者设备。***500包括第一感应***502及第二感应***504。第一感应***502及第二感应***504分别包括传感器506及508,各自用于接收感应信号510及512。本案可以提供任何数量可选的感应***,如包括传感器516的第三感应***514,用于接收信号518。从感应***获取的感应数据可以传送给传感器融合模块520。所述传感器融合模块520包括的各个部分可以位于可移动物体、负载、运载体、终端感应***、或者额外的外部设备中的一个或者多个上。在某些实施例中,所述传感器融合模块520对感应***来说可以是本地的,也可以是远程的。所述传感器融合模块520包括一个或者多个处理器,用于基于从感应***获取的感应数据,确定可移动物体的3D空间方位及/或者运动。所述传感器融合模块520可以使用任何适合的感应器融合方法,以确定空间方位或者运动。例如,所述感应器融合方法可以是基于卡尔曼滤波(Kalman filter)、扩展卡尔曼滤波(Extended Kalman filter)、无迹卡尔曼滤波(Unscented Kalman Filter)、粒子滤波(Particle Filter)或者其中任意结合的算法。
在某些实施例中,所述感应器融合算法可以从传感器融合分析中排除一个或者多个感应***的感应数据。任何合适的参数可以用于判断是否排除感应***的感应数据。在某些实施例中,所述参数可以包括感应信号的强度、传感器类型、可移动物体的状态、或者周围环境。感应信号强度可以取决于感应信号的重要性以及感应***接收的信号的数量。例如,传感器可以是GPS传感器,GPS信号的强度取决于所接收的GPS感应信号的数量(如从不同的GPS卫星)或者GPS信号的强度(如根据信号的功率)中的一项或者多项。在某些实施例中,所述传感器融合模块520可以将感应信号的强度与预设的阈值进行比较,以确定该信号强度是否超过所述阈值。如果信号的强度超过所述阈值,对应的感应数据可以用于传感器融合分析。如果信号的强度没有超过所述阈值,对应的感应数据从传感器融合分析中排除。所述阈值可以是预设的值(如用户输入)。二选一地,所述阈值可以是动态确定的(如基于一个或者多个动态改变的参数,如可移动物体的状态)。在某些实施例中,所述阈值可以设置为大于传感器的最小信号强度,以使对应的感应***能够操作。
在某些实施例中,可以确定一个或者多个感应***的权值,以使传感器融合算法在基于对应的感应数据确定空间范围及/或运动时,乘上对应的权值。传感器融合模块520可以基于任何合适的参数确定所述权值,所述参数可以包括感应信号的强度或者幅度、感应***所接收的感应信号的数量、传感器类型、可移动物体的状态中的一种或者多种。例如,对于GPS感应***,所述权值可以基于GPS信号的强度确定(如该GPS信号的强度取决于GPS信号的数量及/或者强度),GPS信号的强度高,则权值大,GPS信号的强度小,则权值小。在某些实施例中,可以为视觉感应***确定权值,根据指示机器视觉算法的参数来确定其权值,以分析视觉感应信号,后续详细描述。例如,对于视觉感应***,当可移动物体处于基于机器视觉的导航所不能有效发挥作用的环境中(如高纬度或者水中),则所述权值就会很低。
在某些实施例中,所述权值可以是数值(如范围从0到1)。所述权值包括连续的一个范围值或者一组离散的值。例如,所述权值可以在数学上与一个或者多个合适的参数相关,如通过线性、非线性、多项式的、幂数的、或者对数关联。可选地,一个或者多个权值可以是户预设的,或者从用户预设的值中选择的。被赋予权值的***的数量可以是任意的,如单一的感应***或者多个感应***。一个或者多个感应***可以具有相同的权值,或者每个感应***分别具有不同的权值。可选地,某些感应***可以没有权值。在某些实施例中,所述传感器融合模块520可以基于具有权值的感应***及没有权值的感应***的结合所获取的感应数据计算可移动物体的方位及/或运动信息,其中,具有权值的感应***的感应数据应该乘上其权值。在某个例子中,提供第一感应***以及第二感应***。第一感应***的数据与乘以权值的第二感应***的数据相结合。在另一个例子中,乘以权值的第一感应***的数据与第二感应***的数据相结合。也可以提供一个或者多个额外的感应***(如第三感应***,第四感应***),其数据可以有权值也可以没有权值。在某些情况下,如果基于可侦测的条件(如信号强度),感应数据可能遭到破坏,则可以考虑赋予感应***的权值。
图6是本发明较佳实施例中对可移动物体的位置及/或运动信息进行状态估计的传感器融合算法的方块图。任何合适的***或设备,如本案所描述的实施例,都可以执行该算法600。在某些实施例中,该算法可以融合一对双目相机602及604,IMU606以及GPS608的感应数据。
在算法600中,双目相机602及604可以同时记录一对影像(下称“影像帧”)。算法600可以重复执行,每次重复都可以获取一个影像帧,以获取双目相机602、604相对于影像帧捕获的起始点的速度及位置。每一次重复执行,算法600可以确定相对于前一测量时间点的位置的改变,记作(R,T),其中,R是旋转矩阵,代表可移动物体相对于前一个时间点的方向的变化,T是运动矢量,代表可移动物体相对于前一个时间点在3D空间上的方位的变化。
双目相机602及604获取的原始的影像数据可以通过影像分析处理,以校正该影像数据,例如,通过执行算法以校正影像数据中的光学失真或者噪声点。如前所描述的,所述影像分析可以从校正后的影像数据中抽取合适的特征点,并产生特征点的数字表示。
在某些实施例中,利用方位变化的初始估计,对影像分析产生的特征点执行帧对帧的匹配,因此,减少搜索的复杂度,并提高匹配效率及准确度。例如,所述初始估计可以基于包括IMU606及GPS传感器608的两向传感器融合所产生。所述IMU606可以提供相对于六个自由度的速度数据,该速度数据与前一帧的方位信息进行对比,以得到方位变化的量测值所述GPS传感器608可提供可移动物体的方位变化(相对于三个平移自由度)的量测数据在某些实施例中,可以分配权值δ给GPS的量测数据。根据GPS信号的强度,权值δ的范围可以是0到1之间。例如,在GPS信号比较弱的环境中,δ可以接近0。在GPS信号比较强的环境中,δ可以接近1。GPS信号比较弱的环境可以是室内环境、建筑物或者地理自然物所阻挡的环境、气候条件恶劣的环境、缺少卫星覆盖的环境、或者GPS接收器发生故障。在GPS信号比较强的环境包括户外环境、高海拔环境、没有阻挡的环境、或者气候条件良好的环境。在一个场景中,可移动物体飞在有很多高大的建筑物所环绕的低海拔的位置。这样卫星信号会被阻挡或者削弱,从而导致来自GPS***的数据的权值很低。这样,可能导致来自GPS***的数据相比来自其他的数据没有遭受破坏的感应***有所打折。因此,IMU数据及GPS感应数据可以使用上述描述的任何合适的传感器融合方法(如卡尔曼滤波)进行融合,产生可移动物体方位变化的初始估计
所述初始估计可以用于搜索当前帧中的特征点,(其中i代表第ith个特征点,及t代表当前的时间)对应前一个帧的相同特征点例如,特征点的估计的3D坐标可以根据旋转以得到所述估计的3D坐标可以映射以获得特征点在旋转之后的方位,其中,K是相机最初始的参数矩阵,及∏0是映射矩阵。当前帧可以被搜索及与点进行匹配,以得到区域内的特征点,其中点与区域具有最小的平面距离,被认为是区域内的特征点的对应点。因此,特征点与之间帧对帧的对应关系可以确定。可以执行双目相机602及604所获取的影像之间的立体匹配,从而基于双目相机602及604的空间关系,可以估计特征点的3D方位。
图7是本发明较佳实施例中立体视觉***700的示意图。所述立体视觉***700包括左相机以及右相机(图未示),其中心分别位于位置702及704。每个相机的参数包括焦距f,光敏器件尺寸l,及两个相机间的距离b为已知。在某些实施例中,每个相机前述的几项参数都是相同的。3D坐标对应一对匹配的特征点以及该对匹配的特征点分别在左相机及右相机所捕获的影像中。像素距离及可以乘上单个的像素的尺寸,变成空间距离及因此,利用公式:
其中,D所代表的3D坐标以及相机之间的距离可以计算出来。基于相机的内部参数矩阵k以及计算出来的值D,可以推导出点的估计的3D坐标
利用特征点的帧对帧的匹配以及立体匹配,可以得到每个特征点的3D坐标对因此,通过利用任何合适的规则,分析特征点在影像中的运动可以确定相机的
速度。例如,给定在时间t获取的n组坐标对c1,c2,...cn,矩阵可以表示为三个行向量相机的内部矩阵可以表示为:
因此,在时间每个特征点的估计的方位运动或者变化可以通过解如下公式得到:
所估计的方位运动主要是基于对相机602及604的影像数据进行帧匹配获得,这个估计值的准确性以及精度受到n的大小的影响。在某些实施例中,如所描述的,可以为指定权值ρ。权值ρ是根据n的大小确定。例如,权值的范围可以是0到1,并与n成正比。
根据利用视觉感应***的估计的方位运动,IMU数据以及GPS感应数据可以形成三向传感器融合。任何合适的方法可以用于融合三组感应数据,以确定单一的方位量测值(R,T)。在某些实施例中,可以利用扩展卡尔曼滤波器(EKF)。因此,在时间t,所述方位量测值可以表示为(Rt,Tt),于是,
以及,量测函数可以表示为
其中,ωt及vt代表***中可能的错误,其分别对应方差(variances)Qt及Rt。
变量的估计值以及用于评估估计值Pt|t精确性的协方差矩阵可以用于获得(Rt,Tt)。及Pt|t可以通过更新上一个时间点及Pt-1|t-1的估计值所确定。例如,所述更新可以利用扩展卡尔曼滤波器(EKF)执行,更新的方程式可以表示为:
Pt|t=(I-KtGt)Pt|t-1
其中,Ft-1是函数f在点的线性矩阵,及Gt是函数g在点的线性矩阵。
权值ρ及δ指示传感器融合算法分别在GPS数据以及机器视觉算法的“信任”度。最后,当前的
估计位置可以通过获得,以得到可移动物***置信息的精确的量测值。
当可移动物体移动超过相对远的距离时,以前识别的特征点可能从当前的影像帧移除,而变得不可匹配,降低了n的值以及减少了影像数据的可靠性。因此,在某些实施例中,算法600可以被周期性的“重设”以考虑此种情况。例如,所述算法可以周期地指定新的“关键帧”,这样,在新的关键帧中的特征点变成了新的特征点,以作为特征匹配算法的候选。任何合适的方法可以用于确定何时执行重设。例如,可以指定重设阈值,这样,当坐标对(coordinate pairs)n的数量小于所述重设阈值时,重设算法600。所述重设阈值可以由任何合适的参数所确定,如在运动估计中的可允许的错误的数量、影像质量、特征抽取算法、或者其中合适的结合。在某些实施例中,所述重设阈值可以由用户所设置(如在视觉感应***校准之后)。
在某些实施例中,算法600确定的方位及/或运动信息可以反馈给一个或者多个感应***,以提高感应***的精确性。在某些实施例中,基于所述方位信息的偏差可以估计相对于六个自由度的速度或者加速度,并提供给一个或者多个感应***。例如,所述方位及/或运动信息可以用于周期地校正IMU606的参考值,以校正长时间积累的误差。
所述算法600可以以任何合适的计算速度执行。例如,相机602及604用于以20Hz的频率接收影像,IMU606用于以200Hz的频率接收惯性感应数据,及GPS传感器用于以200Hz的频率接收GPS数据。在某些实施例中,影像分析、帧对帧的匹配、立体匹配、关键帧重设、以及运动和位置的估计都可以以20Hz的频率进行计算,以每秒获得20个融合估计值。在某些实施例中,IMU及GPS感应数据的两向融合以及IMU、GPS及视觉感应数据的三向融合可以以200Hz的频率进行计算。数据收集或者融合可以采用其他任何频率或者速率。在某些实施例中,相机在捕获影像时的频率可以大于或者等于大约10Hz,15Hz,20Hz,25Hz,30Hz,35Hz,40Hz,50Hz,60Hz,70Hz,80Hz,90Hz,100Hz,120Hz,150Hz,200Hz,或者300Hz。影像可以按照视频采样率进行捕获。
任何适合的硬件平台可以用于执行算法600的任何部分,如本案描述的***及设备的各种实施例。例如,FPGA414可以用于执行上述的影像校正及帧对帧的匹配。数据414可以传送给处理单元410以执行算法600的其余步骤。处理单元410确定的所述方位及/或运动信息可以存储到非易失性计算机可读介质420中。在某些实施例中,算法600的一个或者多个步骤可以由一个或者多个硬件平台所执行,例如,***400的一个或者多个部件,可选地,如所描述的,可以位于不同的设备上。在某些实施例中,所述数据可以传送给一个或者多个计算能力超过***400的远程***。例如,***400可以位于可移动物体上,原始数据可以通过影像传输模块418传送给可移动物体的一个或者多个远程***中(如终端)。算法600可以按如上所述方案执行,其结果通过无线通讯模块434传送回可移动物体。这种方案的益处在于可以减少可移动物体所搭载的硬件所需的计算能力。
应用
上述描述的***、方法及设备的各种实施例可以用在任何适合的应用中,包括为可移动物体收集方位及/或运动信息。在某些实施例中,所揭露的***、方法及设备可以用于控制或者导航飞行器,如无人飞行器。然而,在下述例子中,关于飞行、飞行路线、飞行轨迹等所使用的语言并不限制本发明为飞行的可移动物体,本领域技术人员应该了解,这样的实施例同样适用不能飞的可移动物体。
例如一个或者多个感应***(通过上述描述的传感器融合)所提供的可移动物体的方位及/或运动信息可以用于控制可移动物体相对于六个自由度(如三个位置自由度及三个方向自由度)的方位。在某些实施例中,可移动物体可以响应用户直接提供并传送的(如通过终端)控制命令,以自由地控制可移动物体的位置及/或方向(如有关高度、经度、纬度、横滚角度、俯仰角度、或者航向角度)。可选地,可移动物体可以响应控制命令以控制可移动物体的运动。例如,可以控制可移动物体在多达三个自由度,如高度、经度及纬度,的平移运动的平移速度及/或平移加速度。可以控制可移动物体在多达三个自由度,如航向轴、横滚轴及俯仰轴,的旋转运动的角速度及/或角加速度。
二选一地或者结合地,位置控制方案可以为可移动物体计算一条路径以到达用户指定的位置。可移动物体的路径可以是在陆地上、在水中、在空中或者在空间中。可移动物体的路径可以限制在表面或者在三个自由度的***。在某些实施例中,所述路径可以是飞行路线,所述位置控制方案可以产生飞行轨迹。飞行路线的任何描述都可以应用在可移动物体所走的任何类型的路径上。例如,用户可以指定一组空间坐标定义“家的位置”,以使可移动物体在收到“返回命令”时自动返回。所述返回命令可以使可移动物体根据可移动物体的位置信息,计算到家的飞行路线,然后,根据所计算的飞行路线导航到家的位置。可选地,用户可以通过界面(如终端、显示设备或者其他远程控制器)指定家位置的地标或者环境特征,通过该界面确定所述地标的坐标,并传送给可移动物体。在某些实施例中,可移动物体可以通过飞行过程中获取的位置信息记录所述“家的位置”,而不需要用户输入的任何指定的空间坐标。例如,可移动物体开始飞行的位置可以自动记录作为家的位置。二选一地,可移动物体的飞行路线中的任何适合的位置都可以指定为家的位置。例如,当可移动物体飞行时,用户可以指定可移动物体的位置作为家的位置,以使可移动物体以后可以返回该位置。可选地,可以通过用户或者自动的方式指定多个预设的位置,可移动物体可以按照任何合适的顺序,根据命令导航到每一个预设的位置。
二选一或者结合地,可移动物体的位置控制方案可以包括可移动物体遵循一个预设飞行路线的自主导航,所述预设路径可以是预先存储的飞行路线。例如,合适的用户输入可以用于命令可移动物体导航到在存储器中存储的预设的飞行路线的起点位置。预设的飞行路线可以包括在飞行路线上每个点,可移动物体相对于六个自由度(如三个位置自由度及三个方向自由度)的空间方位的信息。可以命令可移动物体在六个自由度沿着预设的飞行路线导航,直到得到用户的指示。例如,可移动物体可以沿着路径,按照路径的位置及预设的方向导航。
所述预设的飞行路线可以是一个闭环,以使可移动物体重复地遵循该飞行路线飞行。所述闭环路径可以是通过记录可移动物体之前的飞行路径所产生。二选一地,所述闭环路径可以是根据一个或者多个参数及/或一个或者多个预选的点所产生或者计算出来的。二选一地,所述飞行路线可以有不同的起始点及结束点。
所述预设的飞行路线可以包括一个或者多个由用户输入定义的部分。例如,用户可以提供坐标定义可移动物体相对于六个自由度的飞行路线。用户定义的飞行路线包括路径模板,该路径模板有一个或者多个用户输入的路径参数,这样用户不需要指定整个飞行路线的坐标。在某些实施例中,所述路径模板可以是一个几何形状,所述路径参数可以是定义该几何形状的一个或者多个纬度。所述纬度可以包括边缘的长度、轴的长度、曲线的半径、曲线的直径、弧度、路径的曲率等其中的一项或者多项。例如,所述路径模板是一个封闭的形状,如圆,其路径参数是圆的直径,椭圆形,其路径参数是主要和次要轴的长度,或者是多边形,其路径参数是多边形一条或者多条边的长度。二选一地,所述路径模板是一个开放的形状(如一条线性的、弯曲的或者曲线的形状),如“之”字形,其路径参数是之字形的间距。所述路径模板的参数也可以包括关于可移动物体方向的参数(如固定的方向,变化的方向)。
二选一地或者结合地,所述预设的飞行路线包括一个或者多个可移动物体在以前的飞行中曾经走过及记录的部分(如根据所确定的位置及/或运动信息确定的相对于六个自由度的空间坐标)。例如,用户可以指定起始时间以及结束时间,以记录可移动物体的飞行路线。可选地,可以利用开始/结束命令,以当用户提供开始命令时开始记录,而用户提供结束命令时结束记录。在某些实施例中,所述记录用于存储自动确定的或者用户输入的,在特定时间间隔或者距离间隔的空间坐标。所述预设的飞行路线可以与记录的飞行路线具有相同的方向,或者是相反的方向。可移动物体相对于六个自由度在预设的飞行路线的一个或者多个点的空间方位可以与记录的飞行路线相同。二选一地,在一个或者多个点的空间方位可以与记录的飞行路线相反。在某些情况下,预设的路线就是所记录的路线,该记录的路线沿着六个自由度及包括位置及方向。在某些情况下,预设的路线可以是与所记录的路线相反的路径,所记录的路线是沿着六个自由度及包括位置及方向。
图8是本发明较佳实施例中沿着预设的飞行路线对可移动物体进行导航的***800的方块图。所述***800可以与上述描述的***、方法及设备的任何实施例所结合。***800包括路径计算模块802以及一个飞行控制模块804。所述路径计算模块802包括视觉感应***806(如双目相机),IMU感应***808,以及GPS感应***810。从这些感应***获得的感应数据可以通过运动及/或方位估计模块812利用所描述的任何适合的融合算法进行融合。当可移动物体沿着飞行路线运动时(如在用户的控制下),运动及/或方位估计模块812产生的方位及/或运动信息可以存储在路径存储模块814的一个或者多个存储单元中。例如,可移动物体可以设置起始点(0,0),之后利用运动及/或方位估计模块812确定飞行路线中一系列关键点的位置信息(R,T)。所述关键点可以根据,例如,时间间隔、位置间隔、或者其结合所确定。由关键点{(0,0),(R1,T1),(R2,T2),...,,(Rn,Tn)}组成的曲线所定义的飞行路线可以存储在所述路径存储模块814中。
合适的用户输入可以用于控制可移动物体沿着预设飞行路线自主导航,所述预设飞行路线存储在路径存储模块814中。在某些实施例中,可以提供用户输入816,以定义可移动物体沿着预设飞行路线飞行的速度参数及/或加速度参数。合适的速度及/或加速度参数将在下文详细描述。路径参数化模块818可以用于基于用户的输入对预设飞行路线进行重新参数化。例如,在飞行路线曲线中的关键点的数量可能会根据可移动物体在沿着飞行路线飞行时用户指定的速度而所有变化,于是,新的关键点数量可以根据飞行路线曲线的几何特性计算出来。
重新参数化的飞行路线可以传送给飞行控制模块804。所述飞行控制模块804包括飞行控制信息产生模块820,用于确定飞行路线相对于六个自由度的方位、速度及/或加速度信息。例如,飞行控制信息产生模块820可以确定连续关键点之间的偏差,并计算该偏差的部分导数,从而得到到达下一关键点的线加速度和角加速度可选地,如所描述的,关键点的数量可能根据可移动物体的速度而变化。在某些实施例中,速度的增加可以导致关键点数量的增加。二选一地,速度的增加可以导致关键点数量的减少。可以选择足够数量的关键点,以允许可移动物体沿着所述路线飞行。加速度信息可以输入给飞行控制模块822,以操纵可移动物体(如通过合适的致动机制,例如一个或者多个马达)沿着所述飞行路线导航到下一个关键点。
在某些实施例中,在导航过程中,运动及/或方位估计模块812可以计算可移动物体当前的空间方位及/或运动。该信息可以输入给飞行控制模块804的反馈校正模块824,以确定可移动物体相对于预设飞行路线的当前空间方位,以校正在预设飞行路线导航期间的任何错误。例如,利用错误的导航(R′t+1,T′t+1)取代时间t+1时的导航(Rt+1,Tt+1),当到时间t+2时的下一关键点(Rt+2,Tt+2)时,所述反馈校正模块824可以补偿(R′t+1,T′t+1)及(Rt+1,Tt+1)之间的差异。
在某些实施例中,用户利用终端或者任何其他的远程控制***可以自由控制可移动物体的方位。不需要遵循预设的路线,用户可以提供命令以实时控制可移动物体。例如,用户可以指导可移动物体维持方位、改变位置及/或改变方向。在某些情况下,可以提供默认值。所述默认值可以用于可移动物体维持其方位。例如,如果没有提供用户输入,可移动物体可以悬停。在其他实施例中,所述默认值可以是前一命令的继续。例如,如果用户指示可移动物体向前移动,可移动物体会以相同的速度继续向前移动,除非收到其他命令。在某些实施例中,用户的命令可以通过终端的用户界面、终端的方位/运动、或者所讨论的其他输入所提供。
在某些实施例中,终端方位及运动的控制可以是上述描述的任何控制类型的结合。例如,可移动物体路径可以是预存储的路径、计算出来的路径、及/或用户自由控制的路径的结合。在一个例子中,可移动物体可以遵循预存储的路径运动。然而,用户可以实时控制可移动物体,以调整可移动物体的方向,这样,可移动物体可以不按照预存储的路径中的方向运动。
在某些实施例中,上述描述的基于运动及/或方位的估计方法的传感器融合能够用于控制可移动物体相对于六个自由度的速度。这样的速度控制可以是独立的或者与位置控制方案的任何适合的实施例进行结合。例如,上述描述的一种或者多种速度控制可以应用于自由控制、飞行轨迹的产生或者预设的飞行路线方面。
例如,用户可以定义可移动物体的速度信息及/或规则。所述速度信息及/或规则可以包括可移动物体在飞行期间需要维持的所允许的最大速度值、所允许的最小速度值、速度值范围、恒定速度值、或者速度变量值,或者其中任何适合的结合。所述速度信息及/或规则可以用于可移动物体的平移速度或者角速度。在某些情况下,用于平移速度的速度信息及/或规则可以控制角速度,反之亦然。例如,可以指定可移动物体的最大的速度,这样,可移动物体不允许超过该最大速度。在某些情况下,可以指定最大的平移速度(如线速度)及/或最大的角速度(如旋转速度)。可移动物体可以以一个速度移动,而即不超过所述最大的平移速度也不超过最大的角速度。在某些情况下,遵循预设路径(包括预设的位置及方向)可以限制平移速度及角速度。在某些情况下,为了不超过一种类型的速度(如平移速度),可移动物体可能不能达到另一种类型的速度(如角速度)的最大值。在某些情况下,可以指定最大平移速度及最大角速度,这样可移动物体可以不超过其中任何一项。在自由控制可移动物体的过程中,可以使用所述速度信息及/或规则,这样,违反所述速度信息及/或规则的用户命令会被修改或者无效。
可移动物体可以根据一个或者多个速度信息及/或规则在一条路线上移动。可移动物体的路线可以是预设的,可以是由用户实时地自由控制,或者由计算机实时计算出来的。所述速度信息可以指出可移动物体在该路线移动的速度(线速度及/或者旋转速度)。如所描述的,与预设的飞行路线关联的速度规则同样适用于其他类型的路线,包括人类自由控制的路线或者计算机计算出来的路线。
在某些实施例中,可移动物体预设的飞行路线可以与速度信息及/或规则(通过用户输入816提供)相关联,使得可移动物体在该飞行路线移动时遵照该规范及/或规则。预设的飞行路线可以被划分为一个或者多个部分,每部分有各自遵照的速度信息及/或规则。例如,可以命令可移动物体以匀速走第一部分路线,以另一个不同的匀速走第二部分路线。例如,所述速度信息及/或规则可以指定可移动物体以3m/s的平移速度走第一个100米,以5m/s的平移速度走接下来的200米,之后回到3m/s的平移速度走完线路的其他部分。可移动物体在路线上移动时可以遵照该速度信息(该速度信息可以定义可移动物体在该路线的平移及角方位),从而导致同时控制平移速度以及对应的角速度。在某些情况下,可以命令可移动物体以变速走第一部分路线,之后以匀速走过第二部分路线。可选地,整个预设的飞行路线可以适应同一个速度信息及/或规则。在某些实施例中,当可移动物体遵循预设的飞行路线移动时,所述速度信息及/或规则可以改变(例如基于用户的输入)。在某些实施例中,如上所述,所述预设的飞行路线可以是一条记录的飞行路线,所述速度信息可以与之前走该记录的飞行路线时候的速度信息(如在记录的过程中)相同。二选一地,所述速度信息中的一个或者多个速度值可以与可移动物体之前走该记录的飞行路线时的速度不相同。
所述速度信息及/或规则可以通过任何方法确定。例如,所述速度信息及/或规则可以是经过用户输入所提供(如通过远程控制,如终端)并存储在储存器中。由用户确定的速度信息及/或规则可以是在可移动飞行之前就已经提前设定或者是在可移动物体飞行过程中实时设定。可选地,所述速度信息及/或规则在可移动物体飞行前,可以预先存储在可移动物体的存储器中。所述速度信息及/或规则可以是预先存储在***设备中,并在飞行前或者飞行中传送给可移动物体。二选一地或者结合地,速度信息及/或规则可以是由合适的处理器及/或算法基于可移动物体飞行中的状态(如可移动物体的高度、经度、纬度、横滚角度、俯仰角度或者航向角度)实时地、动态地产生的。在某些实施例中,所述速度信息及/或规则可以是基于一个或者多个感应***提供的可移动物体的方位及/或运动信息(通过一个或者多个感应***,如GPS、IMU、视觉或者近距离的传感器融合确定)所产生的。例如,可移动物体的最大速度可以是基于量测的可移动物体的高度所确定,高度越高的地方其速度值越大,高度越低的地方其速度值越小。这样的益处在于,例如,减少与地面上建筑物的碰撞。
图9是本发明较佳实施例中可移动物体,如无人飞行器的速度控制***900的方块图。***900可以与上述描述的***、方法及设备的任何实施例结合。***900包括方位及/或运动估计模块902以及飞行控制模块904。在可移动物体飞行期间,所述方位及/或运动估计模块902利用前述描述的任意适合的传感器融合方法确定可移动物体当前的速度。当前的速度值可以与指定的速度信息及/或规则相比较。所述飞行控制模块904控制适合的致动机制(如一个或者多个电机),以调整可移动物体的速度,使其符合所述速度信息及/或规则。在图9的实施例中,所述速度信息及/或规则描述为可移动物体的预设的速度限制,模块902产生的速度信息可以反馈,以阻止可移动物体超过该预设的速度限制。
此外,本领域技术人员应该了解,这里描述的速度控制也适用于可移动物体相对六个自由度的加速度的控制。例如,与前述描述的速度信息及/或规则相似,可以指定加速度信息及/或规则。在一个例子中,该加速度信息及/或规则提供最大的平移加速度及/或最大的角加速度。方位控制、速度控制及加速度控制的任何适合的结合可以适用于上述描述的任何应用(如用于自由控制、产生飞行轨迹或者预设的飞行路线)。
在某些实施例中,方位控制可以与运动控制,如速度及加速度控制相分离。运动控制可以应用于方位控制,如预设的路线(用户产生或者处理器产生),或者实时产生的路径(用户产生或者处理器产生)。方位控制及运动控制可以利用不同的机制或者相同的机制分别执行。方位控制及不同的速度/加速度信息可以混合在一起,并根据用户的需求执行匹配。方位控制及运动控制可以单独地存储及访问。
在某些实施例中,可移动物体的方位及/或运动信息可以显示在用户界面上。所述用户界面可以是远程控制中心的适用于导航及控制可移动物体的任何界面,如显示器(触摸屏显示器)或者前述描述的终端。在某些情况下,可以提供与控制终端分离的单独的显示设备。二选一地,显示和控制功能都是由单一的设备所提供。所述用户界面可以接收用户输入,如从键盘、鼠标、操纵杆、触摸屏、声音识别***、手势识别***或者其中的任何结合。任何合适的信息都可以显示在所述用户界面上,如可移动物体的位置信息(如高度、纬度、经度、横滚角度、俯仰角度、航向角度、原点、目的地、以前走过的飞行路线、将来的飞行轨迹、预设的飞行路线、家的位置或者预设的位置),或者相对于六个轴的运动信息(如速度或者加速度)。所述方位及/或运动信息可以显示为一个或者多个含有字母数字的值、符号或者形状、符号或者形状的尺寸、颜色或者颜色梯度等。可选地,所述用户界面可以显示关于可移动物体的负载的信息,如尺寸、重量、负载的类型、负载相对于六个自由度的位置及/或方向、状态(功能元件是否开启还是关闭)或者负载传送的数据(如负载收集的数据,如相机影像或者视频)。在某些实施例中,所述用户界面可以显示关于可移动物体周围环境的信息,如环境的地图(地质地图)。额外的信息可以覆在所述地图上,如关于高度、经度、纬度、方向、气候条件、地理特征、人造特征(如建筑物、公路、行政边界)等。所述地图可以显示潜在的拓扑特征也可以不显示潜在的拓扑特征。所述地图可以从上面看,也可以转变角度以从不同的角度显示一个或者多个特征。所述用户界面也可以用于控制信息如何显示。可选地,所显示的信息可以放大、缩小、旋转、平移、划分为多个可视角度、与单一的可视角度结合等。
在某些实施例中,所述用户界面包括一个或者多个用户控制,用以执行对可移动物体、运载体或者负载中的一项或者多项关于方位、速度及/或加速度的控制。可选地,用户界面可以包括可移动物体、运载体及负载的单独控制,以使其中每项可以单独或者同时控制。此外,用户控制可以用于控制可移动物体、运载体或者负载的一个或者多个元件,如感应***、致动机制、通讯设备、处理单元、或者其他功能设备。例如,用户控制可以用于提供给可移动物体有关的一个或者多个自由控制、飞行轨迹产生、预设的飞行路线、速度信息及/或规则或者加速度信息及/或规则的命令。在某些实施例中,用户控制可以通过控制可移动物体及/或运载体,来控制负载的状态。可选地,所述用户界面包括对负载相机的控制,如开启、关闭、位置、方向、变焦或者焦点。
图10是本发明较佳实施例中用于对可移动物体控制及导航的用户界面1000。所述用户界面1000可以与上述描述的***、方法及设备的各种实施例所结合。所述用户界面1000包括可移动物体相对于三维坐标***1004的视觉指示器1002。所述三维坐标***1004的方位及/或方向可以调整,其视觉指示器1002对应调整。例如,用户可以从不同角度观看可移动物体。可移动物体相关位置的信息(如坐标***、环境/地图)也可以对应移动。在某些情况下,用户可以通过划动或者触摸触摸屏来控制可移动物体的视角。所述视觉指示器包括第一指示器1006用于实时指示可移动物体相对于六个自由度的空间方位,以及第二指示器1008。所述第一指示器1006可以用于指示可移动物体的方向,例如,通过使用箭头指示可移动物体的方向。所述第二指示器1008可以用于指示可移动物体运动的方向。例如,所述第二指示器1008可以是箭头指示运动的三维方向,其中,箭头的长度对应运动的幅度。二选一地,所述第二指示器1008可以是箭头指示可移动物体的负载(如负载相机)朝向的方向。在某些情况下,只需要单一的指示器。所述单一的指示器可以指示可移动物体的方向,可移动物体的方向指的是可移动物体运动的轨迹及/或负载的方向。在某些实施例中,所述视觉指示器1002可以包括含有字母数字的值,代表可移动物体的方位及/或运动信息。
以上所述仅为本发明的较佳实施例,并非因此限制本发明的专利范围,本领域的普通技术人员在不脱离本发明精神的情况下,可以做出变化、改变、等效结构或等效流程变换。这些变换均同理包括在本发明的专利保护范围内,本发明的范围仅局限于后附的权利要求书。
Claims (36)
1.一种为可移动物体收集方位信息的方法,其特征在于,该方法包括:
存储设备接收与所述可移动物体连接的第一感应***的数据,所述第一感应***包括传感器,用于接收对确定可移动物体的方位信息有用的信号,所述接收与所述可移动物体连接的第一感应***的数据包括接收第一感应***使用的惯性测量单元的数据;
存储设备接收与所述可移动物体连接的第二感应***的数据,所述第二感应***包括传感器,用于接收对确定可移动物体的方位信息有用的信号;
处理器根据第二感应***的传感器所接收的信号强度,确定第二感应***的数据的权值;
所述处理器基于(i)第一感应***的数据,及(ii)第二感应***的数据乘以所述权值,计算(iii)可移动物体的方位变化的初步估计;
根据方位变化的初步估计处理来自第三感应***的数据,所述第三感应***的数据包括视觉传感器的数据;及
根据对来自所述第三感应***的数据的处理结果及(iii)所述方位变化的初步估计值计算可移动物体的方位信息。
2.如权利要求1所述方法,其特征在于,所述可移动物体是无人飞行器。
3.如权利要求1所述方法,其特征在于,所述计算可移动物体的方位信息包括计算可移动物体的位置信息及计算可移动物体的方向信息。
4.如权利要求3所述方法,其特征在于,所述计算可移动物体的位置信息包括计算可移动物体的高度、纬度及经度。
5.如权利要求3所述方法,其特征在于,所述计算可移动物体的方向信息包括计算可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
6.如权利要求1所述方法,其特征在于,所述接收与所述可移动物体连接的第二感应***的数据包括接收第二感应***所使用的GPS传感器的数据。
7.如权利要求6所述方法,其特征在于,所述第二感应***的GPS传感器所接收的信号的强度取决于所接收的GPS信号的数量。
8.如权利要求6所述方法,其特征在于,所述第二感应***的GPS传感器所接收的信号的强度取决于所接收的GPS信号的强度。
9.如权利要求1所述方法,其特征在于,还包括接收第三感应***所使用的一个或者多个视觉传感器的信号。
10.如权利要求9所述方法,其特征在于,所述接收第三感应***所使用的一个或者多个视觉传感器的信号包括接收多个侧向隔开的视觉传感器的信号。
11.如权利要求1所述方法,其特征在于,还包括反馈所述处理结果至所述第一感应***以对所述第一感应***进行校正。
12.如权利要求1所述方法,其特征在于,所述对确定可移动物体的方位信息有用的信号包括光学信号。
13.如权利要求1所述方法,其特征在于,所述对确定可移动物体的方位信息有用的信号包括卫星信号。
14.如权利要求1所述方法,其特征在于,所述对确定可移动物体的方位信息有用的信号包括指示速度或者加速度的信号。
15.如权利要求1所述方法,其特征在于,所述权值是数值。
16.如权利要求15所述方法,其特征在于,所述权值是0到1之间的值。
17.如权利要求1所述方法,其特征在于,所述方法包括接收指令,以使可移动物体回到预设位置。
18.如权利要求17所述方法,其特征在于,所述方法进一步包括处理器根据可移动物体的方位信息,计算可移动物体移到或者返回到所述预设位置的路径。
19.一种为可移动物体收集方位信息的***,其特征在于,该***包括:
与所述可移动物体连接的第一感应***,该第一感应***包括传感器,用于接收对确定可移动物体的方位信息有用的信号,所述第一感应***的传感器包括惯性测量单元;
与所述可移动物体连接的第二感应***,该第二感应***包括传感器,用于接收对确定可移动物体的方位信息有用的信号;
与所述可移动物体连接的第三感应***,所述第三感应***包括视觉传感器,用于接收对确定可移动物体的方位信息有用的信号;及
处理器,用于(a)根据第二感应***的传感器所接收的信号的强度,确定从第二感应***所接收的信号的权值,及(b)基于(i)从第一感应***所接收的数据及(ii)从第二感应***所接收的数据乘上所述权值,计算可移动物体的方位变化的初步估计;根据方位变化的初步估计处理来自第三感应***的视觉传感器的信号;及
根据对来自所述第三感应***的视觉传感器的信号的处理结果及所述方位变化的初步估计值计算可移动物体的方位信息。
20.如权利要求19所述***,其特征在于,所述可移动物体是无人飞行器。
21.如权利要求19所述***,其特征在于,所述方位信息包括可移动物体的位置信息及方向信息。
22.如权利要求21所述***,其特征在于,所述位置信息包括可移动物体的高度、纬度及经度。
23.如权利要求21所述***,其特征在于,所述方向信息包括可移动物体相对于航向轴的角度、相对于横滚轴的角度及相对于俯仰轴的角度。
24.如权利要求19所述***,其特征在于,所述第二感应***使用GPS传感器。
25.如权利要求24所述***,其特征在于,所接收的信号的强度取决于所接收的GPS信号的数量。
26.如权利要求24所述***,其特征在于,所接收的信号的强度取决于所接收的GPS信号的强度。
27.如权利要求19所述***,其特征在于,所述第三感应***使用一个或者多个视觉传感器。
28.如权利要求27所述***,其特征在于,所述第三感应***使用多个侧向隔开的视觉传感器。
29.如权利要求19所述***,其特征在于,所述处理器还用于反馈所述处理结果至所述第一感应***以对所述第一感应***进行校正。
30.如权利要求19所述***,其特征在于,对确定可移动物体的方位信息有用的信号包括光学信号。
31.如权利要求19所述***,其特征在于,对确定可移动物体的方位信息有用的信号包括卫星信号。
32.如权利要求19所述***,其特征在于,对确定可移动物体的方位信息有用的信号包括指示速度或者加速度的信号。
33.如权利要求19所述***,其特征在于,所述权值是数值。
34.如权利要求33所述***,其特征在于,所述权值是0到1之间的值。
35.如权利要求19所述***,其特征在于,所述***进一步包括接收器,用于接收指令,以使可移动物体回到预设位置。
36.如权利要求35所述***,其特征在于,所述处理器进一步用于,基于可移动物体的位置信息,计算可移动物体移到或者返回到所述预设位置的路径。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2013/088971 WO2015085483A1 (en) | 2013-12-10 | 2013-12-10 | Sensor fusion |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104854428A CN104854428A (zh) | 2015-08-19 |
CN104854428B true CN104854428B (zh) | 2018-12-14 |
Family
ID=53370453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380052431.6A Expired - Fee Related CN104854428B (zh) | 2013-12-10 | 2013-12-10 | 传感器融合 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10240930B2 (zh) |
EP (2) | EP3754381A1 (zh) |
JP (1) | JP6329642B2 (zh) |
CN (1) | CN104854428B (zh) |
WO (1) | WO2015085483A1 (zh) |
Families Citing this family (62)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016033797A1 (en) * | 2014-09-05 | 2016-03-10 | SZ DJI Technology Co., Ltd. | Multi-sensor environmental mapping |
JP6278539B2 (ja) | 2014-09-05 | 2018-02-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
WO2016033795A1 (en) | 2014-09-05 | 2016-03-10 | SZ DJI Technology Co., Ltd. | Velocity control for an unmanned aerial vehicle |
WO2016059930A1 (ja) * | 2014-10-17 | 2016-04-21 | ソニー株式会社 | 装置、方法及びプログラム |
JP6673371B2 (ja) | 2015-07-08 | 2020-03-25 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 可動物体を使用して障害物を検出する方法及びそのシステム |
WO2017008246A1 (en) * | 2015-07-14 | 2017-01-19 | SZ DJI Technology Co., Ltd. | Method, apparatus, and system for determining a movement of a mobile platform |
US10048058B2 (en) | 2015-07-29 | 2018-08-14 | Microsoft Technology Licensing, Llc | Data capture system for texture and geometry acquisition |
CN105180943B (zh) * | 2015-09-17 | 2016-08-17 | 江苏中大东博信息科技有限公司 | 船舶定位***及方法 |
CN105223957B (zh) * | 2015-09-24 | 2018-10-02 | 北京零零无限科技有限公司 | 一种手势操控无人机的方法和装置 |
WO2017066927A1 (en) | 2015-10-20 | 2017-04-27 | SZ DJI Technology Co., Ltd. | Systems, methods, and devices for setting camera parameters |
DE102015122183B4 (de) * | 2015-12-18 | 2018-12-06 | Antony Pfoertzsch | Vorrichtung und Verfahren für ein unbemanntes Flugobjekt |
US10132933B2 (en) * | 2016-02-02 | 2018-11-20 | Qualcomm Incorporated | Alignment of visual inertial odometry and satellite positioning system reference frames |
US9874931B1 (en) * | 2016-02-22 | 2018-01-23 | Rockwell Collins, Inc. | Head-tracking system and method |
CN105872371B (zh) * | 2016-03-31 | 2019-04-02 | 纳恩博(北京)科技有限公司 | 一种信息处理方法和电子设备 |
US10474148B2 (en) * | 2016-07-27 | 2019-11-12 | General Electric Company | Navigating an unmanned aerial vehicle |
CN109154499A (zh) * | 2016-08-18 | 2019-01-04 | 深圳市大疆创新科技有限公司 | 用于增强立体显示的***和方法 |
CA3034060C (en) * | 2016-08-18 | 2023-09-26 | Tevel Advanced Technologies Ltd. | System and method for mapping and building database for harvesting-dilution tasks using aerial drones |
CN113895641A (zh) * | 2016-08-31 | 2022-01-07 | 深圳市大疆创新科技有限公司 | 无人的可移动物体 |
CN107223219B (zh) * | 2016-09-26 | 2020-06-23 | 深圳市大疆创新科技有限公司 | 控制方法、控制设备和运载*** |
WO2018061172A1 (ja) * | 2016-09-30 | 2018-04-05 | 株式会社オプティム | 撮像角度調整システム、撮像角度調整方法及びプログラム |
EP3519768A1 (en) | 2016-10-03 | 2019-08-07 | Agjunction LLC | Using optical sensors to resolve vehicle heading issues |
WO2018086133A1 (en) | 2016-11-14 | 2018-05-17 | SZ DJI Technology Co., Ltd. | Methods and systems for selective sensor fusion |
CN108228741A (zh) * | 2016-12-15 | 2018-06-29 | 苏州宝时得电动工具有限公司 | 自动工作***的地图生成方法、装置和自动工作*** |
US10831216B2 (en) | 2016-12-22 | 2020-11-10 | Intel Corporation | UAV positions method and apparatus |
CN108254775A (zh) * | 2016-12-29 | 2018-07-06 | 联创汽车电子有限公司 | 车载导航***及其实现方法 |
US20180186472A1 (en) * | 2016-12-30 | 2018-07-05 | Airmada Technology Inc. | Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system |
US10252717B2 (en) | 2017-01-10 | 2019-04-09 | Toyota Jidosha Kabushiki Kaisha | Vehicular mitigation system based on wireless vehicle data |
CN106809382B (zh) * | 2017-01-20 | 2019-01-15 | 亿航智能设备(广州)有限公司 | 一种飞行器及其控制方法 |
CN106941607A (zh) * | 2017-02-22 | 2017-07-11 | 万物感知(深圳)科技有限公司 | 立体惯性摄像*** |
CN106908822B (zh) * | 2017-03-14 | 2020-06-30 | 北京京东尚科信息技术有限公司 | 无人机定位切换方法、装置和无人机 |
CN106896391A (zh) * | 2017-03-14 | 2017-06-27 | 北京京东尚科信息技术有限公司 | 无人机的定位方法及装置 |
WO2019008625A1 (ja) * | 2017-07-03 | 2019-01-10 | 日本電気株式会社 | 信号処理装置、信号処理方法およびプログラムを記憶する記憶媒体 |
WO2019032091A1 (en) * | 2017-08-07 | 2019-02-14 | Ford Global Technologies, Llc | LOCATING A VEHICLE USING A DRONE |
JP7257737B2 (ja) * | 2017-09-05 | 2023-04-14 | ソニーグループ株式会社 | 情報処理装置、自己位置推定方法、及び、プログラム |
JP6984256B2 (ja) * | 2017-09-11 | 2021-12-17 | ソニーグループ株式会社 | 信号処理装置、および信号処理方法、プログラム、並びに移動体 |
KR102463176B1 (ko) * | 2017-10-16 | 2022-11-04 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
US10921825B2 (en) * | 2017-11-04 | 2021-02-16 | Automodality, Inc. | System and method for perceptive navigation of automated vehicles |
CN111295331A (zh) * | 2017-11-17 | 2020-06-16 | 深圳市大疆创新科技有限公司 | 用于使多个控制装置与可移动物体同步的***和方法 |
WO2019150483A1 (ja) * | 2018-01-31 | 2019-08-08 | パイオニア株式会社 | 速度算出装置、速度算出方法、及び、プログラム |
CN108762245B (zh) * | 2018-03-20 | 2022-03-25 | 华为技术有限公司 | 数据融合方法以及相关设备 |
CN108492328B (zh) * | 2018-03-23 | 2021-02-26 | 云南大学 | 视频帧间目标匹配方法、装置和实现装置 |
EP3764685A4 (en) * | 2018-04-04 | 2021-01-27 | Huawei Technologies Co., Ltd. | METHOD AND DEVICE FOR WIRELESS COMMUNICATION |
WO2019205002A1 (zh) * | 2018-04-25 | 2019-10-31 | 深圳市大疆创新科技有限公司 | 手持云台的姿态解算的方法和云台*** |
EP3786757B1 (en) * | 2018-04-25 | 2022-09-21 | SZ DJI Technology Co., Ltd. | Camera stabilizer position correction method and device |
US11372115B2 (en) * | 2018-05-24 | 2022-06-28 | Cyngn, Inc. | Vehicle localization |
CN108762306A (zh) * | 2018-06-22 | 2018-11-06 | 深圳市科比特航空科技有限公司 | 一种无人机和无人机的传感*** |
DE102018120198A1 (de) * | 2018-08-20 | 2020-02-20 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Luftfahrzeug |
EP3845863B1 (en) * | 2018-08-28 | 2023-06-14 | Sony Group Corporation | Information processing device, information processing method, and program |
EP3849221A4 (en) * | 2018-09-04 | 2022-04-20 | Beijing Xiaomi Mobile Software Co., Ltd. | INFORMATION TRANSMISSION METHOD AND DEVICE |
US11037453B2 (en) * | 2018-10-12 | 2021-06-15 | Aurora Flight Sciences Corporation | Adaptive sense and avoid system |
KR102093743B1 (ko) * | 2018-11-06 | 2020-03-26 | 경북대학교 산학협력단 | 센서 융합을 이용한 차선 레벨 자동차 위치 정보 측위 시스템 |
CN109856659B (zh) * | 2019-01-21 | 2021-02-12 | 同济大学 | 海床基定位授时与数据回收***及方法 |
US11288970B2 (en) | 2019-02-21 | 2022-03-29 | Aveopt, Inc. | System and methods for monitoring unmanned traffic management infrastructure |
US11343646B2 (en) | 2019-08-23 | 2022-05-24 | Samsung Electronics Co., Ltd. | Method and apparatus for localization |
CN112578779A (zh) * | 2019-09-29 | 2021-03-30 | 苏州宝时得电动工具有限公司 | 地图建立方法、自移动设备、自动工作*** |
US11945439B2 (en) | 2020-02-27 | 2024-04-02 | Volvo Truck Corporation | AD or ADAS aided maneuvering of a vehicle |
CN111505692B (zh) * | 2020-04-30 | 2021-03-12 | 中北大学 | 一种基于北斗/视觉的组合定位导航方法 |
CN112130136B (zh) * | 2020-09-11 | 2024-04-12 | 中国重汽集团济南动力有限公司 | 一种交通目标综合感知***及方法 |
CN114518108B (zh) * | 2020-11-18 | 2023-09-08 | 宇通客车股份有限公司 | 一种定位地图构建方法及装置 |
WO2022266806A1 (zh) * | 2021-06-21 | 2022-12-29 | 深圳市大疆创新科技有限公司 | 移动平台 |
US20230071338A1 (en) * | 2021-09-08 | 2023-03-09 | Sea Machines Robotics, Inc. | Navigation by mimic autonomy |
KR102621780B1 (ko) * | 2022-12-02 | 2024-01-09 | 주식회사 라이드플럭스 | 복수의 측위 기술 퓨전을 통한 자율주행 차량의 측위 방법, 장치 및 컴퓨터프로그램 |
Family Cites Families (210)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2574456B2 (ja) | 1989-03-15 | 1997-01-22 | 松下電器産業株式会社 | 自走式掃除機 |
US5173947A (en) | 1989-08-01 | 1992-12-22 | Martin Marietta Corporation | Conformal image processing apparatus and method |
JP3040611B2 (ja) | 1992-09-17 | 2000-05-15 | 三菱重工業株式会社 | 低騒音ヘリコプタ |
IL112237A (en) | 1994-01-18 | 1998-03-10 | Honeywell Inc | System and method for evading threats to aircraft |
US5785281A (en) | 1994-11-01 | 1998-07-28 | Honeywell Inc. | Learning autopilot |
JP3561547B2 (ja) | 1995-03-02 | 2004-09-02 | 綜合警備保障株式会社 | 自律型移動体の走行制御システム |
FR2731824B1 (fr) | 1995-03-17 | 1997-05-16 | Sextant Avionique | Dispositif d'evitement de collisions pour aeronef notamment avec le sol |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
IL117792A (en) | 1995-05-08 | 2003-10-31 | Rafael Armament Dev Authority | Autonomous command and control unit for mobile platform |
US6539290B1 (en) | 1995-06-07 | 2003-03-25 | Dabulamanzi Holdings, Llc | Method, apparatus and design procedure for controlling multi-input, multi-output (MIMO) parameter dependent systems using feedback LTI'zation |
US5716032A (en) | 1996-04-22 | 1998-02-10 | United States Of America As Represented By The Secretary Of The Army | Unmanned aerial vehicle automatic landing system |
US6056237A (en) | 1997-06-25 | 2000-05-02 | Woodland; Richard L. K. | Sonotube compatible unmanned aerial vehicle and system |
JPH11282530A (ja) | 1998-03-27 | 1999-10-15 | Sanyo Electric Co Ltd | 車両運行システム |
DE19849857C2 (de) | 1998-10-29 | 2003-08-21 | Eads Deutschland Gmbh | Fernlenkverfahren für ein unbemanntes Luftfahrzeug |
US6661918B1 (en) | 1998-12-04 | 2003-12-09 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6377889B1 (en) | 2000-10-13 | 2002-04-23 | Trimble Navigation Limited | Non-linear method of guiding to arbitrary curves with adaptive feedback |
US6804607B1 (en) | 2001-04-17 | 2004-10-12 | Derek Wood | Collision avoidance system and method utilizing variable surveillance envelope |
US6597987B1 (en) * | 2001-05-15 | 2003-07-22 | Navigation Technologies Corp. | Method for improving vehicle positioning in a navigation system |
CN1230350C (zh) | 2001-07-06 | 2005-12-07 | 精工爱普生株式会社 | 飞船*** |
US20030055540A1 (en) | 2001-09-20 | 2003-03-20 | Hansen James K. | Anti-terrorism aircraft flight control system |
JP2003127994A (ja) | 2001-10-24 | 2003-05-08 | Kansai Electric Power Co Inc:The | 無人飛行物体の制御システム |
US6875019B2 (en) | 2002-02-11 | 2005-04-05 | United Defense, Lp | Naval virtual target range system |
US6725152B2 (en) | 2002-02-21 | 2004-04-20 | Lockheed Martin Corporation | Real-time route and sensor planning system with variable mission objectives |
WO2004008403A2 (en) | 2002-07-15 | 2004-01-22 | Magna B.S.P. Ltd. | Method and apparatus for implementing multipurpose monitoring system |
US7231063B2 (en) | 2002-08-09 | 2007-06-12 | Intersense, Inc. | Fiducial detection system |
JP4300010B2 (ja) | 2002-10-08 | 2009-07-22 | 富士重工業株式会社 | 無人ヘリコプタ、無人ヘリコプタの離陸方法及び無人ヘリコプタの着陸方法 |
US7145478B2 (en) | 2002-12-17 | 2006-12-05 | Evolution Robotics, Inc. | Systems and methods for controlling a density of visual landmarks in a visual simultaneous localization and mapping system |
DE10305861A1 (de) | 2003-02-13 | 2004-08-26 | Adam Opel Ag | Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges |
SE0300871D0 (sv) | 2003-03-27 | 2003-03-27 | Saab Ab | Waypoint navigation |
US7343232B2 (en) | 2003-06-20 | 2008-03-11 | Geneva Aerospace | Vehicle control system including related methods and components |
US7061401B2 (en) | 2003-08-07 | 2006-06-13 | BODENSEEWERK GERäTETECHNIK GMBH | Method and apparatus for detecting a flight obstacle |
US7747067B2 (en) | 2003-10-08 | 2010-06-29 | Purdue Research Foundation | System and method for three dimensional modeling |
US7130741B2 (en) | 2003-10-23 | 2006-10-31 | International Business Machines Corporation | Navigating a UAV with a remote control device |
US7107148B1 (en) | 2003-10-23 | 2006-09-12 | International Business Machines Corporation | Navigating a UAV with on-board navigation algorithms with flight depiction |
US7231294B2 (en) | 2003-10-23 | 2007-06-12 | International Business Machines Corporation | Navigating a UAV |
US7689321B2 (en) | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
US7831094B2 (en) | 2004-04-27 | 2010-11-09 | Honda Motor Co., Ltd. | Simultaneous localization and mapping using multiple view feature descriptors |
US7818127B1 (en) | 2004-06-18 | 2010-10-19 | Geneva Aerospace, Inc. | Collision avoidance for vehicle control systems |
EP1612632B1 (en) | 2004-07-03 | 2009-01-07 | Saab Ab | A system and method for in-flight control of an aerial vehicle |
US7228227B2 (en) | 2004-07-07 | 2007-06-05 | The Boeing Company | Bezier curve flightpath guidance using moving waypoints |
US7302316B2 (en) | 2004-09-14 | 2007-11-27 | Brigham Young University | Programmable autopilot system for autonomous flight of unmanned aerial vehicles |
US20060058931A1 (en) | 2004-09-15 | 2006-03-16 | Honeywell International Inc. | Collision avoidance involving radar feedback |
CA2580272C (en) | 2004-10-08 | 2010-12-21 | Bell Helicopter Textron Inc. | Control system for automatic flight in windshear conditions |
US7307579B2 (en) | 2004-11-03 | 2007-12-11 | Flight Safety Technologies, Inc. | Collision alerting and avoidance system |
US7512462B2 (en) | 2004-11-16 | 2009-03-31 | Northrop Grumman Corporation | Automatic contingency generator |
US7242791B2 (en) * | 2005-01-04 | 2007-07-10 | Deere & Company | Method and system for guiding a vehicle with vision enhancement |
US7610123B2 (en) * | 2005-01-04 | 2009-10-27 | Deere & Company | Vision-aided system and method for guiding a vehicle |
US7571051B1 (en) | 2005-01-06 | 2009-08-04 | Doubleshot, Inc. | Cognitive change detection system |
US20100001902A1 (en) | 2005-01-21 | 2010-01-07 | The Boeing Company | Situation awareness display |
US7228232B2 (en) | 2005-01-24 | 2007-06-05 | International Business Machines Corporation | Navigating a UAV with obstacle avoidance algorithms |
US20100004798A1 (en) | 2005-01-25 | 2010-01-07 | William Kress Bodin | Navigating a UAV to a next waypoint |
US7408627B2 (en) | 2005-02-08 | 2008-08-05 | Canesta, Inc. | Methods and system to quantify depth data accuracy in three-dimensional sensors using single frame capture |
US7248952B2 (en) | 2005-02-17 | 2007-07-24 | Northrop Grumman Corporation | Mixed integer linear programming trajectory generation for autonomous nap-of-the-earth flight in a threat environment |
US20060235610A1 (en) | 2005-04-14 | 2006-10-19 | Honeywell International Inc. | Map-based trajectory generation |
US7266477B2 (en) | 2005-06-22 | 2007-09-04 | Deere & Company | Method and system for sensor signal fusion |
US7494320B2 (en) | 2005-06-28 | 2009-02-24 | Petter Muren | Rotor for passively stable helicopter |
US7792330B1 (en) | 2005-09-30 | 2010-09-07 | Mustang Technology Group, L.P. | System and method for determining range in response to image data |
WO2007047953A2 (en) | 2005-10-20 | 2007-04-26 | Prioria, Inc. | System and method for onboard vision processing |
AU2006304838B2 (en) | 2005-10-21 | 2011-07-28 | Deere & Company | Systems and methods for obstacle avoidance |
US8275544B1 (en) * | 2005-11-21 | 2012-09-25 | Miltec Missiles & Space | Magnetically stabilized forward observation platform |
CN101331379B (zh) | 2005-12-16 | 2012-04-11 | 株式会社Ihi | 自身位置辨认方法和装置以及三维形状的计测方法和装置 |
US7539557B2 (en) | 2005-12-30 | 2009-05-26 | Irobot Corporation | Autonomous mobile robot |
US8577538B2 (en) | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
US7431243B1 (en) | 2006-03-23 | 2008-10-07 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Guidance and control for an autonomous soaring UAV |
US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
US8108092B2 (en) | 2006-07-14 | 2012-01-31 | Irobot Corporation | Autonomous behaviors for a remote vehicle |
US7822266B2 (en) | 2006-06-02 | 2010-10-26 | Carnegie Mellon University | System and method for generating a terrain model for autonomous navigation in vegetation |
US20080059007A1 (en) | 2006-06-09 | 2008-03-06 | Whittaker William L | System and method for autonomously convoying vehicles |
US8271132B2 (en) | 2008-03-13 | 2012-09-18 | Battelle Energy Alliance, Llc | System and method for seamless task-directed autonomy for robots |
US7587260B2 (en) | 2006-07-05 | 2009-09-08 | Battelle Energy Alliance, Llc | Autonomous navigation system and method |
US8355818B2 (en) | 2009-09-03 | 2013-01-15 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
US20080033645A1 (en) * | 2006-08-03 | 2008-02-07 | Jesse Sol Levinson | Pobabilistic methods for mapping and localization in arbitrary outdoor environments |
US7725257B2 (en) | 2006-09-05 | 2010-05-25 | Honeywell International Inc. | Method and system for navigation of an ummanned aerial vehicle in an urban environment |
US20090177398A1 (en) | 2008-01-08 | 2009-07-09 | Trex Enterprises Corp. | Angles only navigation system |
WO2008153597A1 (en) | 2006-12-06 | 2008-12-18 | Honeywell International, Inc. | Methods, apparatus and systems for enhanced synthetic vision and multi-sensor data fusion to improve operational capabilities of unmanned aerial vehicles |
FR2910617B1 (fr) | 2006-12-22 | 2009-03-06 | Thales Sa | Procede et dispositif de calcul d'une trajectoire decalee lateralement par rapport a une trajectoire de reference |
US20100250022A1 (en) | 2006-12-29 | 2010-09-30 | Air Recon, Inc. | Useful unmanned aerial vehicle |
US8072581B1 (en) | 2007-01-19 | 2011-12-06 | Rockwell Collins, Inc. | Laser range finding system using variable field of illumination flash lidar |
US20080195316A1 (en) * | 2007-02-12 | 2008-08-14 | Honeywell International Inc. | System and method for motion estimation using vision sensors |
US20080195304A1 (en) | 2007-02-12 | 2008-08-14 | Honeywell International Inc. | Sensor fusion for navigation |
EP1972893A1 (en) * | 2007-03-21 | 2008-09-24 | Universiteit Gent | System and method for position determination |
JP2008304260A (ja) | 2007-06-06 | 2008-12-18 | Mitsubishi Electric Corp | 画像処理装置 |
DE102007032084A1 (de) | 2007-07-09 | 2009-01-22 | Eads Deutschland Gmbh | Kollisions- und Konfliktvermeidungssystem für autonome unbemannte Flugzeuge (UAV) |
JP2009041932A (ja) * | 2007-08-06 | 2009-02-26 | Toyota Motor Corp | 移動体用測位装置 |
US20090058723A1 (en) * | 2007-09-04 | 2009-03-05 | Mediatek Inc. | Positioning system and method thereof |
DE102007043534A1 (de) | 2007-09-12 | 2009-03-19 | Robert Bosch Gmbh | Anordnung zum Erfassen einer Umgebung |
US7979174B2 (en) | 2007-09-28 | 2011-07-12 | Honeywell International Inc. | Automatic planning and regulation of the speed of autonomous vehicles |
US7606115B1 (en) | 2007-10-16 | 2009-10-20 | Scientific Applications & Research Associates, Inc. | Acoustic airspace collision detection system |
IL191615A (en) | 2007-10-23 | 2015-05-31 | Israel Aerospace Ind Ltd | A method and system for producing tie points for use in stereo adjustment of stereoscopic images and a method for identifying differences in the landscape taken between two time points |
ATE521504T1 (de) | 2007-11-27 | 2011-09-15 | Pilkington Italia Spa | Verglasung |
CN101952737A (zh) * | 2007-12-11 | 2011-01-19 | 高通股份有限公司 | 有相机辅助的全球导航卫星***方法和接收器 |
US8718838B2 (en) | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
US8082102B2 (en) | 2008-01-14 | 2011-12-20 | The Boeing Company | Computing flight plans for UAVs while routing around obstacles having spatial and temporal dimensions |
US9641822B2 (en) | 2008-02-25 | 2017-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) images |
US8108139B1 (en) | 2008-02-29 | 2012-01-31 | Williams-Pyro, Inc. | System and method for route representation with waypoint storage |
EP2263096A1 (en) | 2008-03-26 | 2010-12-22 | Genova Robot SRL | A method and a device for determining of a vehicle for the autonomous driving of a vehicle, in particular a robotized vehicle |
US9766074B2 (en) | 2008-03-28 | 2017-09-19 | Regents Of The University Of Minnesota | Vision-aided inertial navigation |
CN101445156B (zh) | 2008-05-15 | 2011-05-25 | 龚文基 | 智能化空中机器人***集成技术 |
US8239133B2 (en) * | 2008-07-02 | 2012-08-07 | O2Micro, International | Global positioning system and dead reckoning (GPSandDR) integrated navigation system |
KR100955483B1 (ko) | 2008-08-12 | 2010-04-30 | 삼성전자주식회사 | 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 |
TWI408397B (zh) | 2008-08-15 | 2013-09-11 | Univ Nat Chiao Tung | Automatic navigation device with ultrasonic and computer vision detection and its navigation method |
US8521339B2 (en) | 2008-09-09 | 2013-08-27 | Aeryon Labs Inc. | Method and system for directing unmanned vehicles |
CN101403620B (zh) | 2008-09-10 | 2013-04-24 | 深圳市同洲电子股份有限公司 | 导航装置及方法 |
US8818567B2 (en) * | 2008-09-11 | 2014-08-26 | Deere & Company | High integrity perception for machine localization and safeguarding |
JP5359680B2 (ja) | 2008-09-17 | 2013-12-04 | 豊田合成株式会社 | 燃料遮断弁 |
EP3358434A1 (en) | 2008-10-01 | 2018-08-08 | Murata Machinery, Ltd. | Autonomous mobile device |
US8543265B2 (en) | 2008-10-20 | 2013-09-24 | Honeywell International Inc. | Systems and methods for unmanned aerial vehicle navigation |
US8538673B2 (en) | 2008-10-31 | 2013-09-17 | Czech Technical University In Prague | System and method for planning/replanning collision free flight plans in real or accelerated time |
US8412456B2 (en) * | 2008-11-06 | 2013-04-02 | Texas Instruments Incorporated | Loosely-coupled integration of global navigation satellite system and inertial navigation system: speed scale-factor and heading bias calibration |
CN201331349Y (zh) | 2008-12-01 | 2009-10-21 | 深圳职业技术学院 | 运动位移无线检测*** |
CN201331348Y (zh) | 2009-01-06 | 2009-10-21 | 山东科沐华信息技术有限公司 | 惯导组合gps车载终端 |
WO2010088290A1 (en) * | 2009-01-27 | 2010-08-05 | Arthur Thomas D | Tight optical intergation (toi) of images with gps range measurements |
EP3789725A1 (en) | 2009-02-02 | 2021-03-10 | Aerovironment | Multimode unmanned aerial vehicle |
US8340852B2 (en) | 2009-04-29 | 2012-12-25 | Honeywell International Inc. | System and method for simultaneous localization and map building |
US8977407B2 (en) | 2009-05-27 | 2015-03-10 | Honeywell International Inc. | Adaptive user interface for semi-automatic operation |
US8473187B2 (en) | 2009-06-01 | 2013-06-25 | Robert Bosch Gmbh | Method and apparatus for combining three-dimensional position and two-dimensional intensity mapping for localization |
US8265818B2 (en) | 2009-06-04 | 2012-09-11 | Defense Technologies, Inc. | Open architecture command system |
US20110084162A1 (en) | 2009-10-09 | 2011-04-14 | Honeywell International Inc. | Autonomous Payload Parsing Management System and Structure for an Unmanned Aerial Vehicle |
DE102009049849B4 (de) | 2009-10-19 | 2020-09-24 | Apple Inc. | Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells |
US8566071B2 (en) * | 2009-10-26 | 2013-10-22 | The United States Of America As Represented By The Secretary Of The Army | Calibration and synchronization of micro air vehicle autopilots |
US8913783B2 (en) | 2009-10-29 | 2014-12-16 | Sri International | 3-D model based method for detecting and classifying vehicles in aerial imagery |
TWI391874B (zh) | 2009-11-24 | 2013-04-01 | Ind Tech Res Inst | 地圖建置方法與裝置以及利用該地圖的定位方法 |
IL202460A (en) | 2009-12-01 | 2013-08-29 | Rafael Advanced Defense Sys | Method and system for creating a 3D view of real arena for military planning and operations |
US9097532B2 (en) | 2010-01-20 | 2015-08-04 | Honeywell International Inc. | Systems and methods for monocular airborne object detection |
JP5498178B2 (ja) | 2010-01-21 | 2014-05-21 | 株式会社Ihiエアロスペース | 無人移動体の制御方法及び無人移動体 |
WO2011097018A1 (en) | 2010-02-05 | 2011-08-11 | Trimble Navigation Limited | Systems and methods for processing mapping and modeling data |
CN101867868B (zh) * | 2010-03-26 | 2012-11-28 | 东南大学 | 一种组合导航装置和实施方法 |
US8577535B2 (en) | 2010-03-31 | 2013-11-05 | Massachusetts Institute Of Technology | System and method for providing perceived first-order control of an unmanned vehicle |
WO2011120141A1 (en) * | 2010-03-31 | 2011-10-06 | Ambercore Software Inc. | Dynamic network adjustment for rigorous integration of passive and active imaging observations into trajectory determination |
US8639426B2 (en) * | 2010-07-15 | 2014-01-28 | George C Dedes | GPS/IMU/video/radar absolute/relative positioning communication/computation sensor platform for automotive safety applications |
CN101950027A (zh) | 2010-08-18 | 2011-01-19 | 东莞市泰斗微电子科技有限公司 | 一种导航卫星信号接收模块及用于该模块的信息处理方法 |
US8774982B2 (en) * | 2010-08-26 | 2014-07-08 | Leptron Industrial Robotic Helicopters, Inc. | Helicopter with multi-rotors and wireless capability |
US20130308822A1 (en) * | 2010-09-23 | 2013-11-21 | Telefonica S.A. | Method and system for calculating the geo-location of a personal device |
US8676498B2 (en) * | 2010-09-24 | 2014-03-18 | Honeywell International Inc. | Camera and inertial measurement unit integration with navigation data feedback for feature tracking |
CN102023003A (zh) | 2010-09-29 | 2011-04-20 | 清华大学 | 基于激光探测和图像识别的无人直升机三维定位及测绘方法 |
US8378881B2 (en) | 2010-10-18 | 2013-02-19 | Raytheon Company | Systems and methods for collision avoidance in unmanned aerial vehicles |
US8712679B1 (en) | 2010-10-29 | 2014-04-29 | Stc.Unm | System and methods for obstacle mapping and navigation |
US9690099B2 (en) | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
JP5618840B2 (ja) | 2011-01-04 | 2014-11-05 | 株式会社トプコン | 飛行体の飛行制御システム |
EP2482269B1 (en) | 2011-01-28 | 2017-03-22 | The Boeing Company | Providing data for predicting aircraft trajectory |
US8711206B2 (en) | 2011-01-31 | 2014-04-29 | Microsoft Corporation | Mobile camera localization using depth maps |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
DE102011010679A1 (de) | 2011-02-08 | 2012-08-09 | Eads Deutschland Gmbh | Unbemanntes Luftfahrzeug mit eingebautem Kollisionswarnsystem |
US20120213436A1 (en) | 2011-02-18 | 2012-08-23 | Hexagon Technology Center Gmbh | Fast Image Enhancement and Three-Dimensional Depth Calculation |
US9199725B2 (en) | 2011-02-28 | 2015-12-01 | Bae Systems Australia | Control computer for an unmanned vehicle |
US8868323B2 (en) | 2011-03-22 | 2014-10-21 | Honeywell International Inc. | Collaborative navigation using conditional updates |
US20120271461A1 (en) | 2011-04-20 | 2012-10-25 | Spata Gregory P | Capturing environmental information |
US8879357B2 (en) | 2011-05-06 | 2014-11-04 | Hadal, Inc. | Systems and methods for high coverage rate synthetic aperture sonar |
CN102393747B (zh) | 2011-08-17 | 2015-07-29 | 清华大学 | 无人机集群的协作交互方法 |
CN103256931B (zh) | 2011-08-17 | 2014-11-26 | 清华大学 | 无人机的可视导航*** |
US9195911B2 (en) | 2011-08-30 | 2015-11-24 | 5D Robotics, Inc. | Modular robotic manipulation |
US9297881B2 (en) | 2011-11-14 | 2016-03-29 | Microsoft Technology Licensing, Llc | Device positioning via device-sensed data evaluation |
US9031782B1 (en) * | 2012-01-23 | 2015-05-12 | The United States Of America As Represented By The Secretary Of The Navy | System to use digital cameras and other sensors in navigation |
DE102012201870A1 (de) | 2012-02-08 | 2013-08-08 | RobArt GmbH | Verfahren zum automatischen Auslösen einer Selbstlokalisierung |
US9463574B2 (en) | 2012-03-01 | 2016-10-11 | Irobot Corporation | Mobile inspection robot |
CN103323002B (zh) | 2012-03-19 | 2016-04-27 | 联想(北京)有限公司 | 即时定位与地图构建方法和装置 |
CA2872698C (en) | 2012-05-04 | 2018-07-24 | Aeryon Labs Inc. | System and method for controlling unmanned aerial vehicles |
US9384668B2 (en) | 2012-05-09 | 2016-07-05 | Singularity University | Transportation using network of unmanned aerial vehicles |
CN102707724B (zh) | 2012-06-05 | 2015-01-14 | 清华大学 | 一种无人机的视觉定位与避障方法及*** |
JP2014002604A (ja) | 2012-06-19 | 2014-01-09 | Ricoh Co Ltd | 課金システム、課金方法、課金システムを備えた機器 |
JP5987259B2 (ja) | 2012-06-19 | 2016-09-07 | 株式会社リコー | 自動運転ナビゲーションシステム |
US8682521B2 (en) | 2012-06-25 | 2014-03-25 | The Boeing Company | Unpredictable vehicle navigation |
CN102749927A (zh) | 2012-07-20 | 2012-10-24 | 常州大学 | 无人飞机自动规避障碍物的***及其规避方法 |
US9441985B2 (en) | 2012-07-25 | 2016-09-13 | Rockwell Collins, Inc. | Future scene generating system, device, and method for a remotely-operated vehicle |
CN103576690B (zh) | 2012-07-25 | 2016-12-21 | 深圳市大疆创新科技有限公司 | 一种无人机遥控方法及设备、无人机 |
CN109947122B (zh) | 2012-08-17 | 2022-04-12 | 展望机器人股份公司 | 用于控制飞行的设备及其操作方法 |
US20140056438A1 (en) | 2012-08-21 | 2014-02-27 | Harman International Industries, Incorporated | System for vehicle sound synthesis |
US20150350614A1 (en) | 2012-08-31 | 2015-12-03 | Brain Corporation | Apparatus and methods for tracking using aerial video |
CN102854887A (zh) | 2012-09-06 | 2013-01-02 | 北京工业大学 | 一种无人机航迹规划和远程同步操控方法 |
CN203038112U (zh) | 2012-09-19 | 2013-07-03 | 苏州工业园区职业技术学院 | 无人机uav自动控制*** |
US9488492B2 (en) | 2014-03-18 | 2016-11-08 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
CN202815124U (zh) | 2012-10-16 | 2013-03-20 | 山东电力集团公司电力科学研究院 | 一种多旋翼无人机检测绝缘子装置 |
US8798922B2 (en) | 2012-11-16 | 2014-08-05 | The Boeing Company | Determination of flight path for unmanned aircraft in event of in-flight contingency |
US9198363B2 (en) | 2012-12-12 | 2015-12-01 | The Boeing Company | Tree metrology system |
US9527587B2 (en) | 2012-12-19 | 2016-12-27 | Elwha Llc | Unoccupied flying vehicle (UFV) coordination |
US8909391B1 (en) | 2012-12-28 | 2014-12-09 | Google Inc. | Responsive navigation of an unmanned aerial vehicle to a remedial facility |
US9051043B1 (en) | 2012-12-28 | 2015-06-09 | Google Inc. | Providing emergency medical services using unmanned aerial vehicles |
CN103921933A (zh) | 2013-01-10 | 2014-07-16 | 深圳市大疆创新科技有限公司 | 飞行器变形结构及微型飞行器 |
CN103116360B (zh) | 2013-01-31 | 2015-06-17 | 南京航空航天大学 | 一种无人机避障控制方法 |
CN103744430B (zh) | 2013-02-07 | 2016-08-24 | 山东英特力光通信开发有限公司 | 一种小型无人直升机飞行控制方法 |
US9102406B2 (en) | 2013-02-15 | 2015-08-11 | Disney Enterprises, Inc. | Controlling unmanned aerial vehicles as a flock to synchronize flight in aerial displays |
US9367067B2 (en) | 2013-03-15 | 2016-06-14 | Ashley A Gilmore | Digital tethering for tracking with autonomous aerial robot |
US8989922B2 (en) | 2013-03-15 | 2015-03-24 | Azure Sky Group, LLC. | Modular drone and methods for use |
US9085354B1 (en) | 2013-04-23 | 2015-07-21 | Google Inc. | Systems and methods for vertical takeoff and/or landing |
US9037396B2 (en) | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
US8868328B1 (en) | 2013-06-04 | 2014-10-21 | The Boeing Company | System and method for routing decisions in a separation management system |
US8996207B2 (en) | 2013-06-24 | 2015-03-31 | Honeywell International Inc. | Systems and methods for autonomous landing using a three dimensional evidence grid |
CN203397214U (zh) | 2013-07-09 | 2014-01-15 | 国家电网公司 | 一种适用于山区电网巡检的专用无人直升机避障*** |
CN103365299B (zh) | 2013-08-02 | 2015-12-23 | 中国科学院自动化研究所 | 一种无人机的避障方法及其装置 |
CN203397215U (zh) | 2013-08-05 | 2014-01-15 | 上海久能能源科技发展有限公司 | 一种自锁式聚光反射定日镜 |
CN103970143B (zh) | 2013-08-27 | 2017-03-29 | 清华大学 | 一种无人飞行器自主巡点飞行的智能优化方法 |
US9234728B2 (en) | 2013-11-08 | 2016-01-12 | Lonestar Inventions, L.P. | Rocket or artillery launched smart reconnaissance pod |
US9158304B2 (en) | 2013-11-10 | 2015-10-13 | Google Inc. | Methods and systems for alerting and aiding an emergency situation |
US8825226B1 (en) | 2013-12-17 | 2014-09-02 | Amazon Technologies, Inc. | Deployment of mobile automated vehicles |
CN103901892B (zh) | 2014-03-04 | 2016-12-07 | 清华大学 | 无人机的控制方法及*** |
CN103941747B (zh) | 2014-03-31 | 2016-08-17 | 清华大学 | 无人机群的控制方法及*** |
CN103914077A (zh) | 2014-04-03 | 2014-07-09 | 江西洪都航空工业集团有限责任公司 | 一种有人/无人可选择双模飞行控制*** |
CN103925920B (zh) | 2014-04-10 | 2016-08-17 | 西北工业大学 | 一种基于图像透视的微型无人机室内自主导航方法 |
CN103941748B (zh) | 2014-04-29 | 2016-05-25 | 百度在线网络技术(北京)有限公司 | 自主导航方法及***和地图建模方法及*** |
CN103941750B (zh) | 2014-04-30 | 2016-08-31 | 东北大学 | 基于小型四旋翼无人机的构图装置及方法 |
US9354296B2 (en) | 2014-05-20 | 2016-05-31 | Verizon Patent And Licensing Inc. | Dynamic selection of unmanned aerial vehicles |
CN105517664B (zh) | 2014-05-30 | 2018-11-20 | 深圳市大疆创新科技有限公司 | 无人飞行器对接***及方法 |
CN103984357B (zh) | 2014-05-30 | 2017-02-01 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行*** |
WO2016015251A1 (en) | 2014-07-30 | 2016-02-04 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
JP6278539B2 (ja) | 2014-09-05 | 2018-02-14 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 状況に基づく飛行モード選択 |
WO2016033797A1 (en) | 2014-09-05 | 2016-03-10 | SZ DJI Technology Co., Ltd. | Multi-sensor environmental mapping |
WO2016033795A1 (en) | 2014-09-05 | 2016-03-10 | SZ DJI Technology Co., Ltd. | Velocity control for an unmanned aerial vehicle |
US9552736B2 (en) | 2015-01-29 | 2017-01-24 | Qualcomm Incorporated | Systems and methods for restricting drone airspace access |
DE102015204947B4 (de) | 2015-03-19 | 2021-09-09 | Ford Global Technologies, Llc | Verfahren und Vorrichtung zum Betrieb eines wahlweise manuell steuerbaren oder zu autonomem Fahren fähigen Fahrzeugs |
US9592912B1 (en) | 2016-03-08 | 2017-03-14 | Unmanned Innovation, Inc. | Ground control point assignment and determination system |
-
2013
- 2013-12-10 WO PCT/CN2013/088971 patent/WO2015085483A1/en active Application Filing
- 2013-12-10 JP JP2016558242A patent/JP6329642B2/ja not_active Expired - Fee Related
- 2013-12-10 EP EP20168697.9A patent/EP3754381A1/en not_active Withdrawn
- 2013-12-10 US US14/236,315 patent/US10240930B2/en not_active Expired - Fee Related
- 2013-12-10 CN CN201380052431.6A patent/CN104854428B/zh not_active Expired - Fee Related
- 2013-12-10 EP EP13828970.7A patent/EP2895819B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2895819A1 (en) | 2015-07-22 |
EP2895819A4 (en) | 2016-08-31 |
EP2895819B1 (en) | 2020-05-20 |
JP6329642B2 (ja) | 2018-05-23 |
JP2017508166A (ja) | 2017-03-23 |
WO2015085483A1 (en) | 2015-06-18 |
EP3754381A1 (en) | 2020-12-23 |
CN104854428A (zh) | 2015-08-19 |
US20160273921A1 (en) | 2016-09-22 |
US10240930B2 (en) | 2019-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104854428B (zh) | 传感器融合 | |
US11635775B2 (en) | Systems and methods for UAV interactive instructions and control | |
US20210116944A1 (en) | Systems and methods for uav path planning and control | |
US20210072745A1 (en) | Systems and methods for uav flight control | |
CN105492985B (zh) | 一种用于在环境内控制可移动物体的***及方法 | |
US10353388B2 (en) | Drop-off location planning for delivery vehicle | |
CN104808675A (zh) | 基于智能终端的体感飞行操控***及终端设备 | |
CN108139758A (zh) | 基于显著性特征的载运工具定位 | |
CN109219785A (zh) | 简单的多传感器校准 | |
CN109564434B (zh) | 用于定位可移动物体的***和方法 | |
US20200221056A1 (en) | Systems and methods for processing and displaying image data based on attitude information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20181214 |