CN106502267B - 一种无人机避让*** - Google Patents

一种无人机避让*** Download PDF

Info

Publication number
CN106502267B
CN106502267B CN201611108352.4A CN201611108352A CN106502267B CN 106502267 B CN106502267 B CN 106502267B CN 201611108352 A CN201611108352 A CN 201611108352A CN 106502267 B CN106502267 B CN 106502267B
Authority
CN
China
Prior art keywords
barrier
dimensional
information
image
unmanned plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201611108352.4A
Other languages
English (en)
Other versions
CN106502267A (zh
Inventor
杨敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Normal University
Original Assignee
Shanghai Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Normal University filed Critical Shanghai Normal University
Priority to CN201611108352.4A priority Critical patent/CN106502267B/zh
Publication of CN106502267A publication Critical patent/CN106502267A/zh
Application granted granted Critical
Publication of CN106502267B publication Critical patent/CN106502267B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

一种无人机避让***,包括处理器、深度摄像头、人机交互单元和三维经验库,深度摄像头,用于从不同角度获取障碍物的图像,三维经验库用于保存三维图像信息,通过三维经验库,记录各种障碍物的色彩深度信息、尺寸和安全距离信息,提供处理器获取信息后的查询和匹配功能,处理器用于对图像的深度计算,人机交互单元,用于增加三维数据的属性,通过对设定距离范围内的障碍物进行属性编辑,确定障碍物的安全距离并存入三维经验库,属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。***通过对障碍物的色彩深度计算,获取障碍物的边缘信息,计算出障碍物的三维物理尺寸,通过对图像像素的计算以及三维经验库,获取到障碍物的距离、大小信息。

Description

一种无人机避让***
技术领域
本发明属于无人机技术领域,特别涉及一种无人机避让***。
背景技术
随着无人机技术的不断发展,无人机不仅在工业大量应用,军事、民用、研究等多方面都有涉及。由于任务的复杂性,无人机在飞行过程中不可避免要避让障碍物,无人机避让的方式有很多种,常见的技术有超声波技术、红外技术、激光定位技术。各种技术间都有各自优缺点,如超声波技术,有一定的距离限制,同时对反射物的表面反射能力有一定要求。红外技术接收范围小,障碍物的温度对测量也有一定影响。
发明内容
本发明的目的是提供一种无人机避让***,以解决现有无人机避让***中的缺陷。
本发明的技术方案是,一种无人机避让***,包括处理器、深度摄像头、人机交互单元和三维经验库,
深度摄像头,用于从不同角度获取障碍物的图像,
三维经验库用于保存三维图像信息,通过三维经验库,记录各种障碍物的色彩深度信息、尺寸和安全距离信息,提供处理器获取信息后的查询和匹配功能,
处理器用于对图像的深度计算,
人机交互单元,用于增加三维数据的属性,通过对设定距离范围内的障碍物进行属性编辑,确定障碍物的安全距离并存入三维经验库,属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。
***通过对障碍物的色彩深度计算,获取障碍物的边缘信息,计算出障碍物的三维物理尺寸,通过对图像像素的计算以及三维经验库,获取到障碍物的距离、大小信息。
所述的人机交互单元,使用麦克风作为输入源,通过声音解析,对接收到的目标障碍物进行属性添加,存入三维经验库。
无人机到物体的距离通过公式获取,
公式中S表示到障碍物的距离,H为摄像头的高度,K1和K2表示常数,β表示物点和光轴夹角,h表示成像平面的高度,F表示焦距。
处理器对障碍物的处理包括以下步骤:
步骤1,通过深度摄像头获取图像色域色调以及饱和度;
步骤2,选取可获取范围图像的最大像素区域作为参考色调;
步骤3,根据参考色调分割图像的色域区间;
步骤4,通过阈值判断色域区差值最大区,将差值区域作为障碍物和可通过区的分界区;
步骤5,通过确定障碍物,测量其三维空间中的数据,计算几何中心位置和相关的偏移数据;
步骤6,调用三维经验库,查询得到相似数据,最终获取安全避让空间。
***获取到障碍物的三维信息,以及该障碍物的色彩深度信息,通过三维经验库,首先通过物象中心和关键三维尺寸,查询经验库中是否满足条件的信息,如有相似度超过一定阈值,则认为就是经验模型库中的物体信息,获得距离该物的安全距离,并进行合理避让。
其中的安全距离设置有两种方式进行输入,
一种通过***的人机交互单元,即当无人机靠近某一物体时,通过人机交互获得不能进一步靠近的指令,将此时的距离记录并保存到三维经验库中,
另一种通过预设阈值,即对应于三维经验库中的不同物进行阈值设置,当物距接近该阈值时,无人机进行转向避让操作。
进一步的,无人机对于接近物体的距离测量采用TOF(Time of Flight)红外光电测距,包括一个红外线发射器和一个红外接收器,
这里D表示物体到无人机的距离,fmod表示调制频率,表示发射和返回信号间的相位差,C表示光速。
本发明通过图像采集技术,采用接近人工智能的方法,使得无人机具备了全面的避让障碍物的能力,是无人机技术发展的一次飞跃。
附图说明
图1本发明***的结构图。
图2本发明***软件工作流程图。
具体实施方式
本发明涉及到的是一种基于三维模型的避让***,以下实例通过结合无人飞机的避让***作为实施例,进一步阐述发明内容。
无人机的最新研究已经展示了其自动避让技术,通过多个3D摄像头,可以探测地理环境和位置信息。如图1所示,本发明的基于三维经验模型的避让***包括了2个或以上的色彩深度摄像头,视觉处理单元和人机交互单元。摄像头安装于无人机上,通过导线和视觉处理器连接。
三维经验模型主要记录日常常见物体的三维态信息,包括色彩信息,对应的像素点信息,安全距离信息。当无人机工作时,摄像头记录有效距离内的各种障碍物,通过边缘计算获取物体的三维信息,假设,获取到一物体的三维信息,以及该物的色彩深度信息,通过三维经验库,首先通过物象中心和关键三维尺寸,查询经验库中是否满足条件的信息,如有相似度超过一定阈值,则认为就是经验模型库中的物体信息,获得距离该物的安全距离,并进行合理避让。***工作流程如图2所示。
其中的安全距离设置有两种方式进行输入。一种通过***的人机交互单元。即当无人机靠近某一物体时,通过人机交互获得不能进一步靠近的指令,将此时的距离记录并保存到经验模型库中。另一种通过预设阈值,即对应于经验模型库中的不同物进行阈值设置,当物距接近该阈值时,无人机进行转向避让操作。
其中的视觉处理单元对障碍物的处理主要通过以下方式实现:
步骤1,通过深度摄像头获取图像色域色调以及饱和度。
步骤2,选取可获取范围图像的最大像素区域作为参考色调。
步骤3,根据参考色调分割图像的色域区间。
步骤4,通过阈值判断色域区差值最大区,将差值区域作为障碍物和可通过区的分界区。
步骤5,通过确定障碍物,测量其三维空间中的数据,计算几何中心位置和相关的偏移数据。
步骤6,调用经验库,查询得到相似数据,最终获取安全避让空间。
当安全距离需要修正时,通过人机接口,如声控发出靠近的指令,那么无人机通过距离控制飞行速度,并逐步按照指令靠近障碍物。如声控发出避让指令,那么按指令进行调整飞行方向,并更新经验模型库,在面对相同障碍物时以更新后的安全距离进行避让。

Claims (5)

1.一种无人机避让***,包括处理器、深度摄像头、人机交互单元和三维经验库,
深度摄像头,用于从不同角度获取障碍物的图像,
三维经验库用于保存三维图像信息,通过三维经验库,记录各种障碍物的色彩深度信息、尺寸和安全距离信息,提供处理器获取信息后的查询和匹配功能,
处理器用于对图像的深度计算,
人机交互单元,用于增加三维数据的属性,通过对设定距离范围内的障碍物进行属性编辑,确定障碍物的安全距离并存入三维经验库,属性记录有物象正面尺寸、颜色深度、像素点数和安全距离,
***通过对障碍物的色彩深度计算,获取障碍物的边缘信息,计算出障碍物的三维物理尺寸,通过对图像像素的计算以及三维经验库,获取到障碍物的距离、大小信息,
所述的人机交互单元,使用麦克风作为输入源,通过声音解析,对接收到的目标障碍物进行属性添加,存入三维经验库,
其特征在于,
无人机到物体的距离通过公式获取,
公式中S表示到障碍物的距离,H为摄像头的高度,K1和K2表示常数,β表示物点和光轴夹角,h表示成像平面的高度,F表示焦距。
2.如权利要求1所述的无人机避让***,其特征在于,
处理器对障碍物的处理包括以下步骤:
步骤1,通过深度摄像头获取图像色域色调以及饱和度;
步骤2,选取可获取范围图像的最大像素区域作为参考色调;
步骤3,根据参考色调分割图像的色域区间;
步骤4,通过阈值判断色域区差值最大区,将差值区域作为障碍物和可通过区的分界区;
步骤5,通过确定障碍物,测量其三维空间中的数据,计算几何中心位置和相关的偏移数据;
步骤6,调用三维经验库,查询得到相似数据,最终获取安全避让空间。
3.如权利要求2所述的无人机避让***,其特征在于,
***获取到障碍物的三维信息,以及该障碍物的色彩深度信息,通过三维经验库,首先通过物象中心和关键三维尺寸,查询经验库中是否满足条件的信息,如有相似度超过一定阈值,则认为就是经验模型库中的物体信息,获得距离该物的安全距离,并进行合理避让。
4.如权利要求3所述的无人机避让***,其特征在于,其中的安全距离设置有两种方式进行输入,
一种通过***的人机交互单元,即当无人机靠近某一物体时,通过人机交互获得不能进一步靠近的指令,将此时的距离记录并保存到三维经验库中,
另一种通过预设阈值,即对应于三维经验库中的不同物进行阈值设置,当物距接近该阈值时,无人机进行转向避让操作。
5.如权利要求4所述的无人机避让***,其特征在于,无人机对于接近物体的距离测量采用TOF(Time of Flight)红外光电测距,包括一个红外线发射器和一个红外接收器,
D表示物体到无人机的距离,fmod表示调制频率,表示发射和返回信号间的相位差,C表示光速。
CN201611108352.4A 2016-12-06 2016-12-06 一种无人机避让*** Expired - Fee Related CN106502267B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611108352.4A CN106502267B (zh) 2016-12-06 2016-12-06 一种无人机避让***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611108352.4A CN106502267B (zh) 2016-12-06 2016-12-06 一种无人机避让***

Publications (2)

Publication Number Publication Date
CN106502267A CN106502267A (zh) 2017-03-15
CN106502267B true CN106502267B (zh) 2019-03-29

Family

ID=58330515

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611108352.4A Expired - Fee Related CN106502267B (zh) 2016-12-06 2016-12-06 一种无人机避让***

Country Status (1)

Country Link
CN (1) CN106502267B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6773214B2 (ja) * 2017-03-31 2020-10-21 日本電気株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN107270890B (zh) * 2017-04-25 2021-06-15 深圳大学 一种无人机上tof距离传感器的测距方法及***
CN108986552A (zh) * 2017-06-02 2018-12-11 北京石油化工学院 一种无人机避险方法、装置与***
CN109116374B (zh) * 2017-06-23 2021-08-17 百度在线网络技术(北京)有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN108045567B (zh) * 2017-12-13 2020-11-27 王俊梅 一种多旋翼无人机及其低空隐匿飞行方法
EP3591490B1 (en) * 2017-12-15 2021-12-01 Autel Robotics Co., Ltd. Obstacle avoidance method and device, and unmanned aerial vehicle
CN109720381A (zh) * 2018-12-28 2019-05-07 深圳华侨城卡乐技术有限公司 一种轨道车防撞方法及其***
CN110149522A (zh) * 2019-06-14 2019-08-20 哈尔滨理工大学 一种基于人工智能的无人机全方位避让装置
CN112605999B (zh) * 2020-12-22 2022-01-18 杭州北冥星眸科技有限公司 基于红外线深度摄像头技术的机器人障碍检测方法及***
CN114489133B (zh) * 2022-01-26 2023-12-26 深圳市奥拓电子股份有限公司 一种无人机自动校正led显示屏的距离保持方法
CN114460078A (zh) * 2022-02-08 2022-05-10 赣南师范大学 一种脐橙病虫害监测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984357A (zh) * 2014-05-30 2014-08-13 中国人民解放军理工大学 一种基于全景立体成像设备的无人机自动避障飞行***
CN105571588A (zh) * 2016-03-10 2016-05-11 赛度科技(北京)有限责任公司 一种无人机三维空中航路地图构建及其航路显示方法
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN105865454A (zh) * 2016-05-31 2016-08-17 西北工业大学 一种基于实时在线地图生成的无人机导航方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201339903A (zh) * 2012-03-26 2013-10-01 Hon Hai Prec Ind Co Ltd 無人飛行載具控制系統及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103984357A (zh) * 2014-05-30 2014-08-13 中国人民解放军理工大学 一种基于全景立体成像设备的无人机自动避障飞行***
CN105807926A (zh) * 2016-03-08 2016-07-27 中山大学 一种基于三维连续动态手势识别的无人机人机交互方法
CN105571588A (zh) * 2016-03-10 2016-05-11 赛度科技(北京)有限责任公司 一种无人机三维空中航路地图构建及其航路显示方法
CN105759836A (zh) * 2016-03-14 2016-07-13 武汉卓拔科技有限公司 一种基于3d摄像头的无人机避障方法及装置
CN105865454A (zh) * 2016-05-31 2016-08-17 西北工业大学 一种基于实时在线地图生成的无人机导航方法

Also Published As

Publication number Publication date
CN106502267A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN106502267B (zh) 一种无人机避让***
US20210279444A1 (en) Systems and methods for depth map sampling
CN110246159B (zh) 基于视觉和雷达信息融合的3d目标运动分析方法
US20240062663A1 (en) User Interaction With An Autonomous Unmanned Aerial Vehicle
US11407116B2 (en) Robot and operation method therefor
CN107329490B (zh) 无人机避障方法及无人机
EP3131311B1 (en) Monitoring
EP2562688B1 (en) Method of Separating Object in Three Dimensional Point Cloud
US20180188733A1 (en) Multi-channel sensor simulation for autonomous control systems
US20170305546A1 (en) Autonomous navigation method and system, and map modeling method and system
CN108227738A (zh) 一种无人机避障方法及***
KR20180050823A (ko) 3차원의 도로 모델을 생성하는 방법 및 장치
US20030055532A1 (en) Autonomous action robot
CN112712129B (zh) 多传感器融合方法、装置、设备及存储介质
CN108725452B (zh) 一种基于全声频感知的无人驾驶车辆控制***及控制方法
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
US20230342953A1 (en) Information processing apparatus, control method, and program
JP2019198077A (ja) 監視
Ivanovas et al. Block matching based obstacle avoidance for unmanned aerial vehicle
WO2019144299A1 (zh) 移动平台速度限制方法及设备、装置及记录介质
JP2018523231A5 (zh)
WO2021131990A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7160257B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN111736622B (zh) 基于双目视觉与imu相结合的无人机避障方法及***
WO2021024685A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190329