CN107065920A - 避障控制方法、装置及无人机 - Google Patents
避障控制方法、装置及无人机 Download PDFInfo
- Publication number
- CN107065920A CN107065920A CN201611218782.1A CN201611218782A CN107065920A CN 107065920 A CN107065920 A CN 107065920A CN 201611218782 A CN201611218782 A CN 201611218782A CN 107065920 A CN107065920 A CN 107065920A
- Authority
- CN
- China
- Prior art keywords
- avoidance
- current
- environment brightness
- obstacle
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012545 processing Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 18
- 230000004888 barrier function Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 229920000728 polyester Polymers 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种避障控制方法、装置及无人机,该方法包括:确定当前环境亮度;比较当前环境亮度与设定的亮度阈值之间的大小;检测当前避障模式;如果当前环境亮度大于或者等于亮度阈值,且当前避障模式为单目结构光避障,则将当前避障模式切换为双目视觉避障;如果当前环境亮度小于亮度阈值,且当前避障模式为双目视觉避障,则将当前避障模式切换为单目结构光避障。
Description
技术领域
本发明涉及无人机控制技术领域,更具体地,本发明涉及一种无人机的避障控制方法、一种无人机的避障控制装置、及一种无人机。
背景技术
近几年,无人机技术迅速发展,越来越多的企业开始投入到无人机的市场,消费级无人机逐渐进入到大众视野中。目前,市场上的消费级无人机功能丰富,自动避障、视觉追踪、指点飞行、自动返航、热点跟随等功能使得更多的消费者参与到无人机的体验之中,其中,自动避障功能尤为重要,当无人机在飞行过程中,检测到前方有障碍物时,会自动避开障碍物,继续绕行或悬停。由于消费级无人机价格较高,如果无人机缺少自动避障功能,或者该功能不稳定,则会提高撞墙、撞树、撞山的概率,会给消费者带来很大的损失,因此,自动避障技术对于无人机而言至关重要。
目前,无人机采用的避障技术包括:超声波避障、TOF(激光雷达测距)、单目加结构光避障、及双目视觉避障。
超声波避障采用多普勒效应原理检测指定方向上是否存在障碍物。超声波避障的不足之处在于:只能检测到飞行前方是否存在障碍物,但无法确定障碍物的尺寸及具***置,因此无法进行3D建模和绕行处理。
TOF(激光雷达测距)是通过给目标连续发送光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行(往返)时间来得到目标物距离。TOF的不足之处在于:光波容易受到干扰,必须避开太阳光的主要能量波段,而且需要专用处理芯片进行非常精准的时间测量,成本较高。
单目加结构光避障,即单个摄像头结合结构光发射器构成深度摄像头,以下简称为单目结构光避障,其采用“主动立体成像原理”进行障碍物检测,具体为:通过结构光发射器打出结构光,并对摄像头拍到的反射回来的图像与已知的结构光图像进行对比分析,然后利用三角定位原理计算出3D图像中的“深度”信息。该种避障方法的不足之处在于:受强光环境影响比较大,在强光环境下的避障效果较差。
双目视觉避障,其是采用两个摄像头,基于视差原理并利用成像设备从不同位置获取被测物体的两幅图像,通过计算图像对应点间的位置偏差,来获取物体三维几何信息的方法。该种避障方法的不足之处:对光照强度有严格的要求,在昏暗的环境下,双目视觉避障失效。
由此可见,现有避障方案均有各自的局限性,因此,非常有必要提供一种适应性更强的避障方案。
发明内容
本发明实施例的一个目的是提供一种无人机避障的新的技术方案,以降低避障可靠性对于光照强度的要求。
为了解决上述技术问题,本发明提供了一种无人机的避障控制方法,其包括:
获取当前环境亮度;
比较所述当前环境亮度与设定的亮度阈值之间的大小;
检测当前避障模式;
如果所述当前环境亮度大于或者等于所述亮度阈值,且所述当前避障模式为单目结构光避障,则将所述当前避障模式切换为双目视觉避障;
如果所述当前环境亮度小于所述亮度阈值,且所述当前避障模式为双目视觉避障,则将所述当前避障模式切换为单目结构光避障。
可选的是,所述避障控制方法还包括:
计算所述当前环境亮度连续满足大于或者等于所述亮度阈值条件的第一次数;
计算所述当前环境亮度连续满足小于所述亮度阈值的第二次数;
如果所述第一次数达到设定次数,且所述当前避障模式为单目结构光避障,则再将所述当前避障模式切换为双目视觉避障;
如果所述第二次数达到设定次数,且所述当前避障模式为双目视觉避障,则再将所述当前避障模式切换为单目结构光避障。
可选的是,所述获取当前环境亮度进一步为:
按照设定的采样间隔获取当前环境亮度。
可选的是,所述获取当前环境亮度包括:
分别读取至少两个光照度传感器提供的当前照度值;
计算读取到的所有当前照度值的平均值作为所述当前环境亮度。
可选的是,所述避障控制方法还包括:
在所述当前避障模式为双目视觉避障时,控制结构光发射器关闭,并控制两个摄像头开启;
在所述当前避障模式为单目结构光避障时,控制结构光发射器和其中一个摄像头开启,并控制另一个摄像头关闭。
根据本发明的第二方面,提供了一种无人机的避障控制装置,其包括:
确定模块,用于确定当前环境亮度;
比较模块,用于比较所述当前环境亮度与设定的亮度阈值之间的大小;
检测模块,用于检测当前避障模式;
双目避障控制模块,用于在所述当前环境亮度大于或者等于所述亮度阈值,且所述当前避障模式为单目结构光避障的情况下,将所述当前避障模式切换为双目视觉避障;以及,
单目避障控制模块,用于在所述当前环境亮度小于所述亮度阈值,且所述当前避障模式为双目视觉避障的情况下,将所述当前避障模式切换为单目结构光避障。
可选的是,所述避障控制装置还包括:
第一计算模块,用于计算所述当前环境亮度连续满足大于或者等于所述亮度阈值条件的第一次数;以及,
第二计算模块,用于计算所述当前环境亮度连续满足小于所述亮度阈值的第二次数;
所述双目避障控制模块用于在所述第一次数达到设定次数,且所述当前避障模式为单目结构光避障的情况下,再将所述当前避障模式切换为双目视觉避障;
所述单目避障控制模块用于在所述第二次数达到设定次数,且所述当前避障模式为双目视觉避障的情况下,再将所述当前避障模式切换为单目结构光避障。
可选的是,所述确定模块进一步用于按照设定的采样间隔确定当前环境亮度。
可选的是,所述确定模块包括:
读取模块,用于分别读取至少两个光照度传感器提供的当前照度值;以及,
计算模块,用于计算读取到的所有当前照度值的平均值作为所述当前环境亮度。
可选的是,所述双目避障控制模块还用于在所述当前避障模式为双目视觉避障时,控制结构光发射器关闭,并控制两个摄像头开启;
所述单目避障控制模块还用于在所述当前避障模式为单目结构光避障时,控制结构光发射器和其中一个摄像头开启,并控制另一个摄像头关闭。
根据本发明的第三方面,提供了一种无人机的避障控制装置,包括存储器和处理器,所述存储器用于存储指令,所述指令用于控制所述处理器进行操作以执行根据本发明的第一方面所述的避障控制方法。
根据本发明的第四方面,提供了一种无人机,其包括根据本发明的第二方面或者第三方面所述的避障控制装置,所述无人机还包括光照度传感器、结构光发射器、第一摄像头、第二摄像头、及图像处理装置,其中,至少所述光照度传感器、结构光发射器、第一摄像头和第二摄像头安装在所述无人机的机体上;
所述光照度传感器用于采集当前光照度提供给所述避障控制装置的获取装置,以供所述获取装置确定当前环境亮度;
所述结构光发射器用于发出结构光;
所述第一摄像头和所述第二摄像头用于采集图像提供给所述图像处理器;
所述图像处理装置用于根据当前避障模式对接收到的图像进行相应的图像处理,得到障碍物的三维几何信息。
本发明的一个有益效果在于,本发明无人机具有能够进行单目结构光避障和双目视觉避障的结构配置,在此基础上,本发明避障控制方法根据当前环境亮度进行避障模式的切换,进而实现了在任何环境亮度下都能获得可靠的避障效果的目的,有效降低了避障可靠性对于光照强度的要求。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1为根据本发明避障控制方法的一种实施方式的流程示意图;
图2为根据本发明避障控制方法的另一种实施方式的流程示意图;
图3为图2所示避障控制方法的一种具体实施例的流程示意图;
图4为根据本发明避障控制装置的一种实施方式的方框原理图;
图5为根据本发明避障控制装置的另一种实施方式的方框原理图;
图6为根据本发明避障控制装置的一种硬件结构的方框原理图;
图7为根据本发明无人机的一种实施方式的方框原理图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
根据本发明的无人机兼具两种避障模式,一种是双目视觉避障,另一种是单目结构光避障,因此,本发明的无人机配置有第一摄像头、第二摄像头、结构光发射器和图像处理装置,其中,第一摄像头与结构光发射器一起进行单目结构光避障,第一摄像头与第二摄像头一起进行双目视觉避障。
该图像处理装置在单目结构光避障模式下,将第一摄像头采集到的图像与已知的结构光图像进行对比分析,并利用三角定位原理计算出障碍物的三维几何信息。
该图像处理装置在双目视觉避障模式下,根据第一摄像头采集到的第一图像和第二摄像头采集到的第二图像,基于视差原理计算出第一图像与第二图像在对应点间的位置偏差,进而计算出障碍物的三维几何信息。
为此,本发明还提供了一种避障控制方法,以根据当前环境亮度选择合适的避障模式,使得无人机在任何环境亮度下都能获得可靠的避障效果,进而有效降低了避障可靠性对于光照强度的要求。
图1是根据本发明的无人机的避障控制方法的一种实施方式的流程示意图。
根据图1所示,本发明避障控制方法可以包括:
步骤S110,确定当前环境亮度。
对应该步骤,可以在无人机的机体上安装光照度传感器,以通过光照度传感器采集外界环境的当前光照度,以在该步骤根据光照度传感器提供的当前光照度确定当前环境亮度。
无人机的机体上可以设置一个光照度传感器,对应地,该步骤S110可以进一步为确定当前环境亮度等于当前光照度。
无人机的机体上也可以设置两个以上光照度传感器,对应地,该步骤S110可以进一步为确定当前环境亮度等于所有光照度传感器提供的当前光照度的平均值,以提高确定当前环境亮度的准确性。
该平均值可以是算术平均值、几何平均值、均方根平均值、或者加权平均值等。
在该步骤,可以进一步按照设定的采样间隔确定当前环境亮度,即间隔固定时间读取光照度传感器提供的当前照度值,并根据当前照度值确定当前环境亮度。
本发明避障控制方法可以支持对设定的采样间隔的修改。
因此,该避障控制方法可以进一步包括:接收输入的采样间隔,并将当前的采样间隔修改为接收到的采样间隔。
步骤S120,比较当前环境亮度与设定的亮度阈值之间的大小。
该亮度阈值可以根据双目视觉避障对光照强度的要求确定,使得当前环境亮度大于或者等于该亮度阈值时,适于进行双目视觉避障。
该亮度阈值例如可以设置为大于或者等于5Lux,小于或者等于50Lux。
本发明避障控制方法可以支持对亮度阈值的修改。
因此,该避障控制方法可以进一步包括:接收输入的亮度阈值,并将当前的亮度阈值修改为接收到的亮度阈值。
步骤S130,检测当前避障模式。
在该步骤S130中,可以根据设置的模式标志位的值检测当前避障模式,例如,设置模式标志位等于1代表当前避障模式为双目视觉避障,等于0代表当前避障模式为单目结构光避障。
进一步地,可在开机后设置模式标志位等于1,即默认开机时采用双目视觉避障。而在当前避障模式由双目视觉避障切换为单目结构光避障时,将模式标志位由1修改为0,及在当前避障模式由单目结构光避障切换为双目视觉避障时,将模式标记位由0修改为1。
步骤S140,如果当前环境亮度大于或者等于设定的亮度阈值,且当前避障模式为单目结构光避障,则将当前避障模式切换为双目视觉避障。
而在当前环境亮度大于或者等于设定的亮度阈值,且当前避障模式为双目视觉避障的情况下,保持当前避障模式不变。
步骤S150,如果当前环境亮度小于设定的亮度阈值,且当前避障模式为双目视觉避障,则将当前避障模式切换为单目结构光避障。
而在当前环境亮度小于设定的亮度阈值,且当前避障模式为单目结构光避障的情况下,保持当前避障模式不变。
在本发明的一个具体实施例中,本发明避障控制方法还可以进一步包括向图像处理装置输出表示当前避障模式的信号的步骤,以使图像处理装置根据当前避障模式进行相应的图像处理。
在本发明的另外的具体实施例中,该图像处理装置也可以主动检测当前避障模式。
根据本发明的避障控制方法,由于单目结构光避障能够在低照度下进行更可靠的避障,因此,其能够在双目视觉避障失效的光照环境下提供可靠的避障支持,进而实现了在任何环境亮度下都能进行可靠避障的目的,有效降低了避障可靠性对于光照强度的要求。
图2是根据本发明避障控制方法的另一种实施方式的流程示意图。
根据图2所示,本发明避障控制方法可以包括:
步骤S210,确定当前环境亮度。
步骤S220,比较当前环境亮度与设定的亮度阈值之间的大小。
步骤S230,检测当前避障模式。
步骤S240,计算当前环境亮度连续满足大于或者等于亮度阈值条件的第一次数。
对应该步骤,可以设置用于计数第一次数的变量i,并设置变量i的初始值等于0,当根据步骤S220得出当前环境亮度大于或者等于亮度阈值时,设置i=i+1;当根据步骤S220得出当前环境亮度小于亮度阈值时,重置i=0。
步骤S250,计算当前环境亮度连续满足小于所述亮度阈值的第二次数。
对应该步骤,可以设置用于计数第二次数的变量j,并设置变量j的初始值等于0,当根据步骤S220得出当前环境亮度小于亮度阈值时,设置j=j+1;当根据步骤S220得出当前环境亮度大于或者等于亮度阈值时,重置j=0。
步骤S260,如果第一次数达到设定次数,且当前避障模式为单目结构光避障,则再将当前避障模式切换为双目视觉避障。
而在当前环境亮度大于或者等于亮度阈值,但第一次数未达到设定次数时,保持当前避障模式不变。
该设定次数可以根据需要设置,以提高对当前环境亮度检测的准确性,例如可以设置为2次至5次。
本发明避障控制方法可以支持对设定次数的修改。
因此,该避障控制方法可以进一步包括:接收输入的设定次数,并将当前的设定次数修改为接收到的设定次数。
在第一次数达到设定次数时,可以将第一次数清0,以重新计算连续满足大于或者等于亮度阈值条件的第一次数。对于设置变量i的实施例,即在第一次数达到设定次数时,重置变量i=0。
步骤S270,如果所第二次数达到设定次数,且当前避障模式为双目视觉避障,则再将所述当前避障模式切换为单目结构光避障。
而在当前环境亮度小于亮度阈值,但第二次数未达到设定次数时,保持当前避障模式不变。
在第二次数达到设定次数时,可以将第二次数清0,以重新计算连续满足小于亮度阈值条件的第二次数。对于设置变量j的实施例,即在第二次数达到设定次数时,重置变量j=0。
图3示出了根据图2所示实施方式的一种具体实施例的流程示意图。
根据图3所示,本发明避障控制方法可以具体包括:
步骤S310:根据设定的采样间隔确定当前环境亮度,之后执行步骤S320。
步骤S320,比较当前环境亮度与亮度阈值之间的大小,如果当前环境亮度大于或者等于亮度阈值,则执行步骤S3311,如果当前环境亮度小于亮度阈值,则执行步骤S3321。
步骤S3311,将第一次数加1,并将第二次数清0,之后执行步骤S3312。
步骤S3312,判断第一次数是否大于或者等于设定次数,如是,则执行步骤S3313,如否,则回到步骤S310等待下一次采样确定当前环境亮度。
步骤S3313,检测当前避障模式是否为双目视觉避障,如是,则保持当前避障模式不变,并将第一次数清0,再回到步骤S310等待下一次采样确定当前环境亮度;如否,则将当前避障模式由单目结构光避障切换为双目视觉避障,并将第一次数清0,再回到步骤S310等待下一次采样确定当前环境亮度。
步骤S3321,将第二次数加1,并将第一次数清0,之后执行步骤S3322。
步骤S3322,判断第二次数是否大于或者等于设定次数,如是,则执行步骤S3323,如否,则回到步骤S310等待下一次采样确定当前环境亮度。
步骤S3323,检测当前避障模式是否为单目结构光避障,如是,则保持当前避障模式不变,并可以将第二次数清0,再回到步骤S310等待下一次采样确定当前环境亮度;如否,则将当前避障模式由双目视觉避障切换为单目结构光避障,并可以将第二次数清0,再回到步骤S310等待下一次采样确定当前环境亮度。
在本发明的一个具体实施例中,该避障控制方法还可以包括:在当前避障模式为双目视觉避障时,控制结构光发射器关闭,并控制两个摄像头开启;在当前避障模式为单目结构光避障时,控制结构光发射器和其中一个摄像头开启,并控制另一个摄像头关闭,以减少耗电,延长无人机的续航时间。
图4是根据本发明无人机的避障控制装置的一种实施方式的方框原理图。
根据图4所示,该避障控制装置可以包括确定模块410、比较模块420、检测模块430、双目避障控制模块440、单目避障控制模块450。
该确定模块410用于确定当前环境亮度。
该比较模块420用于比较所述当前环境亮度与设定的亮度阈值之间的大小。
该检测模块430用于检测当前避障模式。
该双目避障控制模块440用于在所述当前环境亮度大于或者等于所述亮度阈值,且所述当前避障模式为单目结构光避障的情况下,将所述当前避障模式切换为双目视觉避障。
该双目避障控制模块440进一步用于在所述当前环境亮度大于或者等于所述亮度阈值,且所述当前避障模式为双目视觉避障的情况下,保持当前避障模式不变。
该单目避障控制模块450用于在当前环境亮度小于所述亮度阈值,且当前避障模式为双目视觉避障的情况下,将当前避障模式切换为单目结构光避障。
该单目避障控制模块450进一步用于在当前环境亮度小于所述亮度阈值,且当前避障模式为单目结构光避障的情况下,保持当前避障模式不变。
该确定模块410可以进一步用于按照设定的采样间隔确定当前环境亮度。
该确定模块410可以进一步包括读取单元和计算单元(图中未示出)。该读取单元用于分别读取至少两个光照度传感器提供的当前照度值。该计算单元用于计算读取到的所有当前照度值的平均值作为所述当前环境亮度。
该双目避障控制模块440还可以用于在当前避障模式为双目视觉避障时,控制结构光发射器关闭,并控制两个摄像头开启。
该单目避障控制模块450还可以用于在所述当前避障模式为单目结构光避障时,控制结构光发射器和其中一个摄像头开启,并控制另一个摄像头关闭。
图5是根据本发明无人机的避障控制装置的另一种实施方式的方框原理图。
根据图5所示,该避障控制装置包括确定模块510、比较模块520、检测模块530、双目避障控制模块540、单目避障控制模块550、第一计算模块560、第二计算模块570。
该确定模块510用于确定当前环境亮度。
该比较模块520用于比较所述当前环境亮度与设定的亮度阈值之间的大小。
该检测模块530用于检测当前避障模式。
该检测模块530可以进一步根据模式标志位的值检测当前避障模式,其中,设置模式标志位等于1代表当前避障模式为双目视觉避障,等于0代表当前避障模式为单目结构光避障。
该第一计算模块540用于计算所述当前环境亮度连续满足大于或者等于所述亮度阈值条件的第一次数。
该第一计算模块540可以进一步用于设置变量i表示第一次数,并在当前环境亮度大于或者等于亮度阈值时,设置i=i+1,及在当前环境亮度小于亮度阈值时重置i=0,其中设置i的初始值等于0。
该第二计算模块550用于计算所述当前环境亮度连续满足小于所述亮度阈值的第二次数。
该第二计算模块550可以进一步用于设置变量j表示第二次数,并在当前环境亮度小于亮度阈值时,设置j=j+1,及在当前环境亮度大于或者等于亮度阈值时重置j=0,其中设置j的初始值等于0。
该双目避障控制模块540用于在第一次数达到设定次数,且所述当前避障模式为单目结构光避障的情况下,再将所述当前避障模式切换为双目视觉避障。
该单目避障控制模块550用于在第二次数达到设定次数,且所述当前避障模式为双目视觉避障的情况下,再将所述当前避障模式切换为单目结构光避障。
本发明避障控制装置还可以包括参数设置模块(图中未示出),该参数设置模块可以用于接收输入的亮度阈值,并将当前的亮度阈值修改为接收到的亮度阈值。
该参数设置模块也可以用于接收输入的采样间隔,并将当前的采样间隔修改为接收到的采样间隔。
该参数设置模块也可以用于接收输入的设定次数,并将当前的设定次数修改为接收到的设定次数。
图6是根据本发明避障控制装置的一种硬件结构的方框原理图。
根据图6所示,该避障控制装置600包括至少一个存储器601和至少一个处理器602,各存储器601用于存储指令,该指令用于控制各处理器602进行操作以执行根据本发明的避障控制方法。
除此之外,根据图6所示,该避障控制装置600还可以包括接口装置603、输入装置604、通信装置606、输出装置605等等。
上述通信装置606例如能够进行有有线或无线通信。
上述接口装置603例如包括USB接口等。
上述输入装置604例如可以包括触摸屏、按键等。
上述输出装置605例如包括显示器、扬声器、指示灯等等。
图7是根据本发明无人机的一种实施方式的方框原理图。
根据图7所示,本发明无人机包括以上任一种避障控制装置,在图7中被标记为710。除此之外,本发明无人机还包括光照度传感器750、结构光发射器740、第一摄像头720、第二摄像头730、及图像处理装置760。
以上光照度传感器750、结构光发射器740、第一摄像头720和第二摄像头730均安装在无人机的机体上。
光照度传感器750用于采集当前光照度提供给避障控制装置710的获取装置,以供获取装置确定当前环境亮度。
结构光发射器740用于发出结构光。
第一摄像头720和第二摄像头730用于采集图像提供给图像处理器760。
图像处理装置用于根据当前避障模式对接收到的图像进行相应的图像处理,得到障碍物的三维几何信息。
以上避障控制装置710可以安装在无人机的机体上,也可以安装在遥控器一端。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分相互参见即可,每个实施例重点说明的都是与其他实施例的不同之处,但本领域技术人员应当清楚的是,上述各实施例可以根据需要单独使用或者相互结合使用。另外,对于装置实施例而言,由于其是与方法实施例相对应,所以描述得比较简单,相关之处参见方法实施例的对应部分的说明即可。以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的模块可以是或者也可以不是物理上分开的。
本发明可以是装置、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言-诸如Smalltalk、C++等,以及常规的过程式编程语言-诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络-包括局域网(LAN)或广域网(WAN)-连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
Claims (12)
1.一种无人机的避障控制方法,其特征在于,包括:
确定当前环境亮度;
比较所述当前环境亮度与设定的亮度阈值之间的大小;
检测当前避障模式;
如果所述当前环境亮度大于或者等于所述亮度阈值,且所述当前避障模式为单目结构光避障,则将所述当前避障模式切换为双目视觉避障;
如果所述当前环境亮度小于所述亮度阈值,且所述当前避障模式为双目视觉避障,则将所述当前避障模式切换为单目结构光避障。
2.根据权利要求1所述的避障控制方法,其特征在于,所述避障控制方法还包括:
计算所述当前环境亮度连续满足大于或者等于所述亮度阈值条件的第一次数;
计算所述当前环境亮度连续满足小于所述亮度阈值的第二次数;
如果所述第一次数达到设定次数,且所述当前避障模式为单目结构光避障,则再将所述当前避障模式切换为双目视觉避障;
如果所述第二次数达到设定次数,且所述当前避障模式为双目视觉避障,则再将所述当前避障模式切换为单目结构光避障。
3.根据权利要求1所述的避障控制方法,其特征在于,所述确定当前环境亮度进一步为:
按照设定的采样间隔确定当前环境亮度。
4.根据权利要求1所述的避障控制方法,其特征在于,所述确定当前环境亮度包括:
分别读取至少两个光照度传感器提供的当前照度值;
计算读取到的所有当前照度值的平均值作为所述当前环境亮度。
5.根据权利要求1至4中任一项所述的避障控制方法,其特征在于,所述避障控制方法还包括:
在所述当前避障模式为双目视觉避障时,控制结构光发射器关闭,并控制两个摄像头开启;
在所述当前避障模式为单目结构光避障时,控制结构光发射器和其中一个摄像头开启,并控制另一个摄像头关闭。
6.一种无人机的避障控制装置,其特征在于,包括:
确定模块,用于确定当前环境亮度;
比较模块,用于比较所述当前环境亮度与设定的亮度阈值之间的大小;
检测模块,用于检测当前避障模式;
双目避障控制模块,用于在所述当前环境亮度大于或者等于所述亮度阈值,且所述当前避障模式为单目结构光避障的情况下,将所述当前避障模式切换为双目视觉避障;以及,
单目避障控制模块,用于在所述当前环境亮度小于所述亮度阈值,且所述当前避障模式为双目视觉避障的情况下,将所述当前避障模式切换为单目结构光避障。
7.根据权利要求6所述的避障控制装置,其特征在于,所述避障控制装置还包括:
第一计算模块,用于计算所述当前环境亮度连续满足大于或者等于所述亮度阈值条件的第一次数;以及,
第二计算模块,用于计算所述当前环境亮度连续满足小于所述亮度阈值的第二次数;
所述双目避障控制模块用于在所述第一次数达到设定次数,且所述当前避障模式为单目结构光避障的情况下,再将所述当前避障模式切换为双目视觉避障;
所述单目避障控制模块用于在所述第二次数达到设定次数,且所述当前避障模式为双目视觉避障的情况下,再将所述当前避障模式切换为单目结构光避障。
8.根据权利要求6所述的避障控制装置,其特征在于,所述确定模块进一步用于按照设定的采样间隔确定当前环境亮度。
9.根据权利要求6所述的避障控制装置,其特征在于,所述确定模块包括:
读取单元,用于分别读取至少两个光照度传感器提供的当前照度值;以及,
计算单元,用于计算读取到的所有当前照度值的平均值作为所述当前环境亮度。
10.根据权利要求6至9中任一项所述的避障控制装置,其特征在于,
所述双目避障控制模块还用于在所述当前避障模式为双目视觉避障时,控制结构光发射器关闭,并控制两个摄像头开启;
所述单目避障控制模块还用于在所述当前避障模式为单目结构光避障时,控制结构光发射器和其中一个摄像头开启,并控制另一个摄像头关闭。
11.一种无人机的避障控制装置,包括存储器和处理器,其特征在于,所述存储器用于存储指令,所述指令用于控制所述处理器进行操作以执行根据权利要求1至5中任一项所述的避障控制方法。
12.一种无人机,其特征在于,包括权利要求6至11中任一项所述的避障控制装置,所述无人机还包括光照度传感器、结构光发射器、第一摄像头、第二摄像头、及图像处理装置,其中,至少所述光照度传感器、结构光发射器、第一摄像头和第二摄像头安装在所述无人机的机体上;
所述光照度传感器用于采集当前光照度提供给所述避障控制装置的获取装置,以供所述获取装置确定当前环境亮度;
所述结构光发射器用于发出结构光;
所述第一摄像头和所述第二摄像头用于采集图像提供给所述图像处理器;
所述图像处理装置用于根据当前避障模式对接收到的图像进行相应的图像处理,得到障碍物的三维几何信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611218782.1A CN107065920A (zh) | 2016-12-26 | 2016-12-26 | 避障控制方法、装置及无人机 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611218782.1A CN107065920A (zh) | 2016-12-26 | 2016-12-26 | 避障控制方法、装置及无人机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107065920A true CN107065920A (zh) | 2017-08-18 |
Family
ID=59624512
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611218782.1A Pending CN107065920A (zh) | 2016-12-26 | 2016-12-26 | 避障控制方法、装置及无人机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107065920A (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052111A (zh) * | 2017-10-24 | 2018-05-18 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
CN108337038A (zh) * | 2018-03-29 | 2018-07-27 | 中国矿业大学(北京) | 基于mesh网络的井下多飞行器协同救援方法及*** |
CN108958284A (zh) * | 2018-06-29 | 2018-12-07 | 湖北电鹰科技有限公司 | 一种无人机避障***及方法 |
CN110095998A (zh) * | 2019-04-28 | 2019-08-06 | 苏州极目机器人科技有限公司 | 一种自动控制设备的控制方法及装置 |
CN112286230A (zh) * | 2020-11-13 | 2021-01-29 | 国家电网有限公司 | 无人机视觉图像算法、避障步骤及其信息融合处理*** |
WO2021115167A1 (zh) * | 2019-12-13 | 2021-06-17 | 深圳市大疆创新科技有限公司 | 确定装置、飞行体、确定方法以及程序 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201870808U (zh) * | 2010-11-24 | 2011-06-22 | 上海理工大学 | 基于立体视觉的导盲装置 |
CN202041715U (zh) * | 2011-04-27 | 2011-11-16 | 宋建明 | 一种手持式双筒可拆装组合型夜视仪 |
CN102937811A (zh) * | 2012-10-22 | 2013-02-20 | 西北工业大学 | 一种小型机器人的单目视觉与双目视觉转换装置 |
CN103278139A (zh) * | 2013-05-06 | 2013-09-04 | 北京航空航天大学 | 一种可变焦单双目视觉传感装置 |
CN105627932A (zh) * | 2015-12-31 | 2016-06-01 | 零度智控(北京)智能科技有限公司 | 一种基于双目视觉的测距方法及装置 |
CN105806316A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 用于微纳卫星的三目视觉敏感器及其测量方法 |
CN105807786A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市道通智能航空技术有限公司 | 一种无人机自动避障的方法及*** |
CN105955303A (zh) * | 2016-07-05 | 2016-09-21 | 北京奇虎科技有限公司 | 无人机自主避障方法、装置 |
-
2016
- 2016-12-26 CN CN201611218782.1A patent/CN107065920A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN201870808U (zh) * | 2010-11-24 | 2011-06-22 | 上海理工大学 | 基于立体视觉的导盲装置 |
CN202041715U (zh) * | 2011-04-27 | 2011-11-16 | 宋建明 | 一种手持式双筒可拆装组合型夜视仪 |
CN102937811A (zh) * | 2012-10-22 | 2013-02-20 | 西北工业大学 | 一种小型机器人的单目视觉与双目视觉转换装置 |
CN103278139A (zh) * | 2013-05-06 | 2013-09-04 | 北京航空航天大学 | 一种可变焦单双目视觉传感装置 |
CN105806316A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 用于微纳卫星的三目视觉敏感器及其测量方法 |
CN105627932A (zh) * | 2015-12-31 | 2016-06-01 | 零度智控(北京)智能科技有限公司 | 一种基于双目视觉的测距方法及装置 |
CN105807786A (zh) * | 2016-03-04 | 2016-07-27 | 深圳市道通智能航空技术有限公司 | 一种无人机自动避障的方法及*** |
CN105955303A (zh) * | 2016-07-05 | 2016-09-21 | 北京奇虎科技有限公司 | 无人机自主避障方法、装置 |
Non-Patent Citations (1)
Title |
---|
王可鸿等: "《基于视觉的焊接三维重建技术研究现状》", 《机械制造与自动化》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108052111A (zh) * | 2017-10-24 | 2018-05-18 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
CN108052111B (zh) * | 2017-10-24 | 2021-02-09 | 南京奇蛙智能科技有限公司 | 一种基于双目视觉技术的无人机实时避障方法 |
CN108337038A (zh) * | 2018-03-29 | 2018-07-27 | 中国矿业大学(北京) | 基于mesh网络的井下多飞行器协同救援方法及*** |
CN108337038B (zh) * | 2018-03-29 | 2023-05-09 | 中国矿业大学(北京) | 基于mesh网络的井下多飞行器协同救援方法及*** |
CN108958284A (zh) * | 2018-06-29 | 2018-12-07 | 湖北电鹰科技有限公司 | 一种无人机避障***及方法 |
CN108958284B (zh) * | 2018-06-29 | 2024-03-01 | 湖北电鹰科技有限公司 | 一种无人机避障***及方法 |
CN110095998A (zh) * | 2019-04-28 | 2019-08-06 | 苏州极目机器人科技有限公司 | 一种自动控制设备的控制方法及装置 |
WO2021115167A1 (zh) * | 2019-12-13 | 2021-06-17 | 深圳市大疆创新科技有限公司 | 确定装置、飞行体、确定方法以及程序 |
CN112286230A (zh) * | 2020-11-13 | 2021-01-29 | 国家电网有限公司 | 无人机视觉图像算法、避障步骤及其信息融合处理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107065920A (zh) | 避障控制方法、装置及无人机 | |
US11797028B2 (en) | Unmanned aerial vehicle control method and device and obstacle notification method and device | |
EP3248374B1 (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
RU2426172C1 (ru) | Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине | |
CN106993112A (zh) | 基于景深的背景虚化方法及装置和电子装置 | |
KR102129698B1 (ko) | 자동 어류 계수 시스템 | |
JP2022518745A (ja) | 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム | |
US20210041945A1 (en) | Machine learning based gaze estimation with confidence | |
CN106464800B (zh) | 用于成像设备的自动防眩光曝光的方法、***、机器可读介质及计算设备 | |
CN106843491A (zh) | 带增强现实的智能设备及电子设备 | |
CN112188059B (zh) | 可穿戴设备、智能引导方法及装置、引导*** | |
US11238651B2 (en) | Fast hand meshing for dynamic occlusion | |
US11423602B2 (en) | Fast 3D reconstruction with depth information | |
EP4390728A1 (en) | Model training method and apparatus, device, medium and program product | |
CN111598065B (zh) | 深度图像获取方法及活体识别方法、设备、电路和介质 | |
CN108196258B (zh) | 外接设备的位置的确定方法及装置、虚拟现实设备及*** | |
KR20210025835A (ko) | 스테레오 카메라와 적외선 센서를 활용한 시각장애인을 위한 웨어러블 기기 | |
CN110751336A (zh) | 无人载具的避障方法、避障装置及无人载具 | |
CN108648140A (zh) | 图像拼接方法、***、设备及存储介质 | |
EP3383594A1 (en) | Active camera movement determination for object position and extent in three-dimensional space | |
CN114556445A (zh) | 物体识别方法、装置、可移动平台以及存储介质 | |
CN115797736A (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
US11393181B2 (en) | Image recognition system and updating method thereof | |
CN111589138A (zh) | 动作预测方法、装置、设备及存储介质 | |
CN112400148A (zh) | 使用离轴相机执行眼睛跟踪的方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170818 |
|
RJ01 | Rejection of invention patent application after publication |