CN114384940A - 一种应用于民用无人机的嵌入式识别模型获得方法和*** - Google Patents
一种应用于民用无人机的嵌入式识别模型获得方法和*** Download PDFInfo
- Publication number
- CN114384940A CN114384940A CN202210300244.6A CN202210300244A CN114384940A CN 114384940 A CN114384940 A CN 114384940A CN 202210300244 A CN202210300244 A CN 202210300244A CN 114384940 A CN114384940 A CN 114384940A
- Authority
- CN
- China
- Prior art keywords
- model
- recognition
- unmanned aerial
- aerial vehicle
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004088 simulation Methods 0.000 claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 63
- 238000012360 testing method Methods 0.000 claims abstract description 47
- 238000011156 evaluation Methods 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims abstract description 20
- 238000012544 monitoring process Methods 0.000 claims description 58
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 26
- 230000003993 interaction Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 22
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000012827 research and development Methods 0.000 description 15
- 238000013461 design Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 239000003344 environmental pollutant Substances 0.000 description 9
- 231100000719 pollutant Toxicity 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 241000607479 Yersinia pestis Species 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 241000195493 Cryptophyta Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000575 pesticide Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012372 quality testing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种应用于民用无人机的嵌入式识别模型获得方法和***,属于物体检测和图像识别技术领域。本申请通过图片仿真的方式,得到足够多且高质量的训练样本和测试样本,可利用训练样本对目标初始识别模型进行充分训练,并在得到第一识别模型后,通过第一识别模型对测试样本进行识别,实现对第一识别模型实际应用效果的有效评估;在第一识别结果满足第一识别指标的情况下,对第一识别模型进行模型转换,能得到满足目标无人机的嵌入式***部署要求的第二识别模型,极大的提高了识别模型嵌入式部署的便捷性,能够有效解决现有民用无人机的识别模型针对不同民用场景的应用中存在的训练效果差、缺乏有效性评估、便捷性不足的问题。
Description
技术领域
本申请涉及物体检测和图像识别技术领域,特别是涉及一种应用于民用无人机的嵌入式识别模型获得方法和***。
背景技术
在灾害救援、环境监测、电力巡检、交通监视、农业植保等任务中,无人机由于其方便灵活、自主便携等优点被广泛应用,无人机在执行这些任务时的一个核心模块就是无人机的目标识别***。然而现有的目标识别***在设计、研发与应用中存在一定问题,影响研发效率和实际应用效果,问题主要包括:
(1)受限于采样环境以及采样设备的限制,人工采集的高质量样本数量有限,识别模型的训练程度不足;
(2)由于不同的目标识别任务不存在通用的深度学习识别模型算法,技术人员需要在经验的基础上,对识别模型进行设计,缺乏对识别模型实际应用效果的有效评估;
(3)在计算机上训练好的识别模型,往往无法直接运用到无人机的嵌入式***中,使得面向多种类嵌入式***的识别模型的部署不够便捷。
发明内容
本申请提供一种应用于民用无人机的嵌入式识别模型获得方法和***,以解决识别模型设计、训练、测试与应用中存在的训练效果差、缺乏有效性评估、便捷性不足的问题。
为了解决上述问题,本申请采用了以下的技术方案:
第一方面,本申请实施例提供了一种应用于民用无人机的嵌入式识别模型获得方法,所述方法包括:
接收输入的控制参数,其中所述控制参数包括仿真参数、目标识别模型参数、第一识别指标以及目标无人机的嵌入式***参数;
根据所述仿真参数进行图片仿真,生成民用仿真环境下的仿真样本;其中,所述仿真样本包括所述民用仿真环境下的训练样本和测试样本;
从预设的模型库中选择与所述目标识别模型参数对应的目标初始识别模型,并利用所述训练样本对所述目标初始识别模型进行训练,得到第一识别模型;所述模型库中包括多个与不同识别模型参数具有一一对应关系的初始识别模型;
通过所述第一识别模型对所述测试样本进行识别,得到第一识别结果;
在所述第一识别结果满足所述第一识别指标的情况下,根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
在本申请一实施例中,所述仿真参数包括民用仿真环境的背景类型和气象条件、仿真样本的图像类型和图像数量、目标无人机的传感器类型和传感器性能参数、无人机拍摄的高度参数和姿态参数。
在本申请一实施例中,所述民用仿真环境包括水域监测环境、沙漠监测环境、森林监测环境和湿地监测环境;其中,在水域监测环境下,所述背景类型为水域类型;在沙漠监测环境下,所述背景类型为沙漠类型;在森林监测环境下,所述背景类型为森林类型;在湿地监测环境下,所述背景类型为湿地类型;
所述气象条件包括晴天、雨天、雪天和雾天。
在本申请一实施例中,所述训练样本和所述测试样本均包括正样本和负样本;其中,所述正样本为所述民用仿真环境下的包含感兴趣目标的样本数据,所述负样本为所述民用仿真环境下的不包含所述感兴趣目标的样本数据,所述感兴趣目标为目标无人机的识别对象。
在本申请一实施例中,根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型,包括:
根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到与目标无人机的嵌入式***适配的结构化数据;
将所述结构化数据部署至所述嵌入式***,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
在本申请一实施例中,所述控制参数还包括第二识别指标;
得到满足目标无人机的嵌入式***部署要求的第二识别模型之后,所述方法还包括:
通过所述第二识别模型对所述测试样本进行识别,得到第二识别结果;
判断所述第二识别结果是否满足所述第二识别指标;
在所述第二识别结果满足所述第二识别指标的情况下,确定所述第二识别模型满足目标无人机的嵌入式***的快速部署要求。
在本申请一实施例中,所述方法还包括:
在所述第一识别结果不满足所述第一识别指标的情况下,或,在所述第二识别结果不满足所述第二识别指标的情况下,显示所述第一识别结果或所述第二识别结果,并提示重新输入控制参数。
第二方面,基于相同发明构思,本申请实施例提供了一种应用于民用无人机的嵌入式识别模型获得***,所述***包括:
人机交互模块,用于接收输入的控制参数,其中所述控制参数包括仿真参数、目标识别模型参数、第一识别指标以及目标无人机的嵌入式***参数;
仿真模块,用于根据所述仿真参数进行图片仿真,生成民用仿真环境下的仿真样本;其中,所述仿真样本包括所述民用仿真环境下的训练样本和测试样本;
训练模块,用于从预设的模型库中选择与所述目标识别模型参数对应的目标初始识别模型,并利用所述训练样本对所述目标初始识别模型进行训练,得到第一识别模型;所述模型库中包括多个与不同识别模型参数具有一一对应关系的初始识别模型;
模型评估模块,用于通过所述第一识别模型对所述测试样本进行识别,得到第一识别结果;
嵌入式接口模块,用于在所述第一识别结果满足所述第一识别指标的情况下,根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
在本申请一实施例中,所述仿真参数包括民用仿真环境的背景类型和气象条件、仿真样本的图像类型和图像数量、目标无人机的传感器类型和传感器性能参数、无人机拍摄的高度参数和姿态参数。
在本申请一实施例中,所述民用仿真环境包括水域监测环境、沙漠监测环境、森林监测环境和湿地监测环境;其中,在水域监测环境下,所述背景类型为水域类型;在沙漠监测环境下,所述背景类型为沙漠类型;在森林监测环境下,所述背景类型为森林类型;在湿地监测环境下,所述背景类型为湿地类型;
所述气象条件包括晴天、雨天、雪天和雾天。
在本申请一实施例中,所述训练样本和所述测试样本均包括正样本和负样本;其中,所述正样本为所述民用仿真环境下的包含感兴趣目标的样本数据,所述负样本为所述民用仿真环境下的不包含所述感兴趣目标的样本数据,所述感兴趣目标为目标无人机的识别对象。
在本申请一实施例中,所述嵌入式接口模块包括:
模型转换子模块,用于根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到与目标无人机的嵌入式***适配的结构化数据;
部署子模块,用于将所述结构化数据部署至所述嵌入式***,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
在本申请一实施例中,所述控制参数还包括第二识别指标;
所述模型评估模块,还用于在得到满足目标无人机的嵌入式***部署要求的第二识别模型之后,通过所述第二识别模型对所述测试样本进行识别,得到第二识别结果;
所述模型评估模块,还用于判断所述第二识别结果是否满足所述第二识别指标;
所述模型评估模块,还用于在所述第二识别结果满足所述第二识别指标的情况下,确定所述第二识别模型满足目标无人机的嵌入式***的快速部署要求。
在本申请一实施例中,所述人机交互模块还用于在所述第一识别结果不满足所述第一识别指标的情况下,或,在所述第二识别结果不满足所述第二识别指标的情况下,显示所述第一识别结果或所述第二识别结果,并提示重新输入控制参数。
与现有技术相比,本申请包括以下优点:
本申请实施例提供的应用于民用无人机的嵌入式识别模型获得方法,通过图片仿真的方式,可以根据识别需求生成足够多且高质量的民用仿真环境下的训练样本和测试样本。其中,仿真生成的训练样本能够充分满足识别模型的训练需求;通过经过训练后得到的第一识别模型对测试样本进行识别测试,能够实现对识别模型实际应用效果的有效评估。在第一识别模型的第一识别结果满足第一识别指标的情况下,则根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型,使得第二识别模型在实际运用时,能够直接快速部署到目标无人机的嵌入式***中,极大的提高了识别模型嵌入式部署的便捷性。本申请实施例针对现有的识别模型在设计、训练、测试与应用中存在各种问题,提供了一套完善的一体化的识别模型嵌入式应用方法和***,能够有效提高识别模型的研发效率和识别能力,提高民用无人机在灾害救援、环境监测、电力巡检、交通监视、农业植保等多个领域的实际应用效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例中的应用于民用无人机的嵌入式识别模型获得方法的步骤流程图。
图2是本申请一实施例中的应用于民用无人机的嵌入式识别模型获得***的功能模块示意图。
附图标记:200-应用于民用无人机的嵌入式识别模型获得***;201-人机交互模块;202-仿真模块;203-训练模块;204-模型评估模块;205-嵌入式接口模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本实施方式需要说明的是,由于民用无人机方便灵活、自主便携等优点,使得其在灾害救援、环境监测、电力巡检、交通监视、农业植保等任务中,均得到广泛运用。如在环境监测领域,可利用民用无人机全面检测环境排污状况,通过高空影像捕捉污染物,实时跟踪反馈污染状况;在农业植保领域;可利用民用无人机对植被或者农作物进行虫害识别、智能施药等操作,实现病虫无人化识别与防治;在交通监视领域,可利用民用无人机实现全自动交通巡逻作业,同时可对违停、压线、占道等违章车辆进行快***。
民用无人机在执行这些任务时的一个核心模块就是目标识别***,然而现有的目标识别***在设计、研发与应用中存在一定问题,影响研发效率和实际应用效果,主要包括深度学习识别模型算法任务适应性弱、识别模型的训练程度不足、识别模型的嵌入式***适应性有限、识别模型的嵌入式部署便捷性不足和缺乏研发流程一体化等。
首先,对于不同的目标识别任务不存在通用的深度学习目标识别模型算法,对于某一特定的目标识别任务,例如同属一大类别的子类区分问题,例如大尺寸图像下的微小目标识别问题等,适用的深度学习目标识别模型算法不同,若要在实际应用中取得良好效果,往往需在经验的基础上,进一步开展网络层数、结构等设计等,并需结合嵌入式***实际应用效果综合评价模型算法有效性;其次,深度学习目标识别模型的实际应用效果除于模型本身设计有关外,还与识别模型的训练程度密切相关,即与识别模型训练时使用的样本的质量和数量相关,需要采用大量与应用问题密切相关的正样本和负样本训练模型,才能得到更好的识别模型,但是对于机载识别中涉及到的识别目标,如针对罕见污染物的监测、特定区域的植被巡护、恶劣环境下的灾害救援、交通事故的识别报警等,受限于采样环境以及采样设备的限制,大量高质量样本往往难以获得;此外,识别模型嵌入式部署缺乏便捷性,在计算机上训练好的识别模型,要转换为嵌入式***可部署的模型,往往都需要根据工具链进行适配,不同的嵌入式***工具链不同,面向多种类嵌入式***的识别模型的部署不够便捷;最后,对于研发流程,在识别模型部署在嵌入式***后,一旦实际应用效果不佳,需要快速定位问题,设计优化识别模型、补充样本进一步训练识别模型或更换更合适的嵌入式***,在研发中可能需要多次重复上述过程,然而当前每个环节基本都是结合设计人员的经验等独立开展,并无较为完善的一体化***,研发流程割裂,研发效率底,也在一定程度上影响最佳实际应用效果的实现。
针对现有的识别模型在设计、研发与应用中存在的各种问题,本申请实施例旨在提供一种完善的一体化的应用于民用无人机的嵌入式识别模型获得方法和***,以解决识别模型设计、训练、测试与应用中存在的训练效果差、缺乏有效性评估、便捷性不足的问题,提高识别模型的研发效率和实际应用效果。
参照图1,示出了本申请一种应用于民用无人机的嵌入式识别模型获得方法,该方法可以包括以下步骤:
S101:接收输入的控制参数,其中控制参数包括仿真参数、目标识别模型参数、第一识别指标以及目标无人机的嵌入式***参数。
在本实施方式中,仿真参数的设置于无人机的目标识别任务是密切相关的,具体可以包括民用仿真环境的背景类型和气象条件、仿真样本的图像类型和图像数量、目标无人机的传感器类型和传感器性能参数、无人机拍摄的高度参数和姿态参数等参数。示例性的,当民用无人机用于环境监测时,民用仿真环境可以包括水域监测环境、沙漠监测环境、森林监测环境和湿地监测环境。其中,在水域监测环境下,背景类型为水域类型;在沙漠监测环境下,背景类型为沙漠类型;在森林监测环境下,背景类型为森林类型;在湿地监测环境下,背景类型为湿地类型;而气象条件包括但不限于晴天、雨天、雪天和雾天等天气。
在本实施方式中,仿真参数是针对目标无人机的目标识别任务进行设置的。示例性的,若目标无人机所要执行的是对某一水域进行的水环境监测任务,则民用仿真环境为水域监测环境,此时,可以采用Unity动画引擎,以该水域作为水域仿真环境的背景类型进行空间仿真,建立任务空间,在该任务空间中,可以设置包括晴天、雨天、雪天或雾天等在内的多种气象条件,以得到不同气象条件下的高质量仿真样本,保证识别模型部署在目标无人机之后,即使在不同气象条件下,均具备可靠的识别能力;通过输入目标无人机的传感器类型和传感器性能参数、无人机拍摄的高度参数和姿态参数等参数,能够以无人机的视角,真实模拟目标无人机的实际拍摄情形,使得仿真样本更加真实可靠,同时可以根据需要生成相应数量和类型的仿真图像,能够充分满足识别模型的训练量需求,提高识别模型的训练效果。
S102:根据仿真参数进行图片仿真,生成民用仿真环境下的仿真样本;其中,仿真样本包括民用仿真环境下的训练样本和测试样本。
在本实施方式中,训练样本和测试样本均包括正样本和负样本;其中,正样本为民用仿真环境下的包含感兴趣目标的样本数据,负样本为民用仿真环境下的不包含感兴趣目标的样本数据,感兴趣目标指目标无人机的识别对象。
在本实施方式中,针对目标无人机的识别对象,可以生成与无人机的目标识别任务密切相关的正样本和负样本。示例性的,当目标无人机执行的是水环境监测任务时,则民用仿真环境为水域监测环境,此时水域监测环境下的感兴趣目标可以包括生活污水和油污等在内的影响水体颜色的物理污染物、化工厂违规排放的放射性水平超标的放射性污染物、大量藻类繁殖造成的生物污染物,即包含所要识别的污染物的样本数据为正样本,不包含所要识别的污染物的样本数据为负样本。
S103:从预设的模型库中选择与目标识别模型参数对应的目标初始识别模型,并利用训练样本对目标初始识别模型进行训练,得到第一识别模型;模型库中包括多个与不同识别模型参数具有一一对应关系的初始识别模型。
本实施方式需要说明的是,目标识别模型参数包括识别模型类型参数、模型训练参数、地址参数;其中,模型训练参数包括超参数、单次训练样本数量、识别模型更新策略和训练截止条件等参数;地址参数则指识别模型存储在计算机里的位置。
在本实施方式中,预设的模型库中存储有多种未经过训练的初始识别模型,具体可以包括Faster R-CNN、SSD、YOLO以及轻量化的mobilenet等识别模型。而利用训练样本训练好的识别模型也将存储在模型库中,并在模型库存储该识别模型的网络模型结构代码、识别模型参数、仿真参数和对应的模型评估指标。
在本实施方式中,针对目标无人机的目标识别任务,若模型库中存储有与目标识别任务适配的训练好的识别模型,则可直接在模型库中调用该识别模型,并将其部署至目标无人机的嵌入式***中;若模型库中未存储有与目标识别任务适配的训练好的识别模型,即针对全新的目标识别任务,则可以根据目标无人机的嵌入式***所支持的识别模型的类型及性能参数,确定目标识别模型参数。根据目标识别模型参数,从模型库中调用相应的初始识别模型进行模型训练,最终得到第一识别模型。通过模型库的管理,能够有效提高识别模型在研发、训练、部署等各个阶段的效率。
S104:通过第一识别模型对测试样本进行识别,得到第一识别结果。
在本实施方式中,在得到第一识别模型之后,则利用第一识别模型对测试样本进行识别测试,能够实现对识别模型实际应用效果的有效评估。继续以水环境监测为例,利用第一识别模型对测试样本中的正样本和负样本进行识别,以检验第一识别模型能否准确识别出测试样本中的各种污染物,并将识别结果作为第一识别结果进行输出。
S105:在第一识别结果满足第一识别指标的情况下,根据嵌入式***参数,对第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
本实施方式需要说明的是,第一识别指标包括有准确率指标、精确率指标、召回率指标、交并比指标、错误率指标等指标。其中,准确率、精度和召回率指标作为衡量识别模型的识别性能的三大典型指标,在此不过多赘述其具体含义;交并比指标则是用于衡量测试样本的预测框和真实框的重合程度,重合程度程度越高,识别效果越好;错误率指分类错误的测试样本数占测试样本总数的比例。以第一识别指标为评估标准,能够全面有效地评估第一识别模型的识别能力。
本实施方式需要进一步说明的是,嵌入式***参数包括目标无人机的嵌入式***的类型以及该类型的嵌入式***的性能参数。其中,嵌入式***包括但不限于FPGA(FieldProgrammable Gate Array,现场可编程逻辑门阵列)、ARM(Advanced RISC Machine)、GPU(Graphics Processing Unit,图形处理器)等类型;其中,FPGA的性能参数主要有时钟频率,逻辑单元,片上RAM等;ARM的性能参数主要有主频,缓存大小,NN专用核心数,以及功耗等;GPU的性能参数主要是主频和计算核心数等。
在本实施方式中,可以根据嵌入式***参数,对第一识别模型进行针对性的转换,得到得到与目标无人机的嵌入式***适配的结构化数据;再将结构化数据部署至嵌入式***,得到满足目标无人机的嵌入式***部署要求的第二识别模型。如此,第二识别模型可通过目标无人机的接口模块直接部署至目标无人机的嵌入式***中,方便快捷,同时有效保证第二识别模型能够适配于目标无人机的嵌入式***。
本申请实施例针对现有的识别模型在设计、训练、测试与应用中存在各种问题,提供了一套完善的一体化的识别模型嵌入式应用***。首先在设计阶段,根据目标无人机所要执行的目标识别任务,设计深度学习识别模型算法,然后分别利用仿真得到的高质量训练样本和测试样本对识别模型算法进行训练和测试,最后将完成训练评估的第一识别模型转换为满足目标无人机的嵌入式***部署要求的第二识别模型。本申请实施例提供的应用于民用无人机的嵌入式识别模型获得方法能够有效提高识别模型的研发效率和实际应用效果,以解决现有的识别模型在设计、训练、测试与应用中存在的训练效果差、缺乏有效性评估、便捷性不足的问题。
在一个可行的实施方式中,控制参数还可以包括第二识别指标,为进一步评估第二识别模型部署在目标无人机的嵌入式***之后的实际使用效果,在得到满足目标无人机的嵌入式***部署要求的第二识别模型之后,应用于民用无人机的嵌入式识别模型获得方法还可以包括以下步骤:
S106:通过第二识别模型对测试样本进行识别,得到第二识别结果。
S107:判断第二识别结果是否满足第二识别指标。
S108:在第二识别结果满足第二识别指标的情况下,确定第二识别模型满足目标无人机的嵌入式***的快速部署要求。
在本实施方式中,将第二识别模型部署至目标无人机的嵌入式***之后,从仿真样本中调取测试样本,将测试样本发送至该嵌入式***中,控制该嵌入式***对测试样本开展目标识别,继续以水环境监测为例,利用该嵌入式***中的第二识别模型对测试样本中的正样本和负样本进行识别,以检验第二识别模型能否准确识别出测试样本中的污染物,并将识别结果作为第二识别结果进行输出。若第二识别结果满足相应的第二识别指标,则说明该第二识别模型在满足目标无人机的嵌入式***的快速部署要求的通过,能够在实际运用中满足相应的识别指标要求。
本实施方式需要说明的是,第二识别指标除了包括准确率指标、精确率指标、召回率指标、交并比指标、错误率指标外,还包括参数量指标和乘加计算量指标。其中,参数量指标和乘加计算量指标用于表征目标无人机的嵌入式***的性能,通过设置参数量指标和乘加计算量指标,能够保证第二识别模型适配于目标无人机的嵌入式***,避免转换后得到的第二识别模型有过大的参数量和计算量,造成无法满足无人机识别速率应用、甚至可能超出嵌入式***的承载能力,影响第二识别模型部署在目标无人机的嵌入式***后的实际应用效果。
在一个可行的实施方式中,应用于民用无人机的嵌入式识别模型获得方法还可以包括以下步骤:
S109:在第一识别结果不满足第一识别指标的情况下,或,在第二识别结果不满足第二识别指标的情况下,显示第一识别结果或第二识别结果,并提示重新输入控制参数。
在本实施方式中,无论是在第一识别模型的识别评估阶段还是在第二识别模型的识别评估阶段,当其不满足对应的识别指标时,均可通过人机交互界面显示第一识别结果或第二识别结果,并提示重新输入控制参数,并且响应于用户触发的第二控制参数,对第一识别模型或第二识别模型进行修正,直到第一识别模型或第二识别模型满足对应的识别指标。
在本实施方式中,还可通过人机交互界面显示各类进程或结果信息。如可通过人机交互界面显示经过图片仿真得到的仿真样本、第一识别模型的训练进度和训练结果、第一识别模型的识别评估进度和识别评估结果、嵌入式***的识别评估进度和识别评估结果等信息,使得研发人员能够全面监控识别模型的全流程信息,在识别模型的设计、训练、测试与应用的任一阶段,出现故障或者问题,能够快速定位问题,并重新修正参数,设计优化识别模型、补充样本进一步训练识别模型或更换更合适的嵌入式***,形成一套完善的一体化的识别模型嵌入式应用方法。
参照图2,基于相同发明构思,本申请实施例提供了一种应用于民用无人机的嵌入式识别模型获得***200,该***可以包括:
人机交互模块201,用于接收输入的控制参数,其中控制参数包括仿真参数、目标识别模型参数、第一识别指标以及目标无人机的嵌入式***参数;
仿真模块202,用于根据仿真参数进行图片仿真,生成民用仿真环境下的仿真样本;其中,仿真样本包括民用仿真环境下的训练样本和测试样本;
训练模块203,用于从预设的模型库中选择与目标识别模型参数对应的目标初始识别模型,并利用训练样本对目标初始识别模型进行训练,得到第一识别模型;模型库中包括多个与不同识别模型参数具有一一对应关系的初始识别模型;
模型评估模块204,用于通过第一识别模型对测试样本进行识别,得到第一识别结果;
嵌入式接口模块205,用于在第一识别结果满足第一识别指标的情况下,根据嵌入式***参数,对第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
在一个可行的实施方式中,仿真参数包括民用仿真环境的背景类型和气象条件、仿真样本的图像类型和图像数量、目标无人机的传感器类型和传感器性能参数、无人机拍摄的高度参数和姿态参数。示例性的,当民用无人机用于环境监测时,民用仿真环境可以包括水域监测环境、沙漠监测环境、森林监测环境和湿地监测环境。其中,在水域监测环境下,背景类型为水域类型;在沙漠监测环境下,背景类型为沙漠类型;在森林监测环境下,背景类型为森林类型;在湿地监测环境下,背景类型为湿地类型;而气象条件包括但不限于晴天、雨天、雪天和雾天等天气。
在一个可行的实施方式中,训练样本和测试样本均包括正样本和负样本;其中,正样本为民用仿真环境下的包含感兴趣目标的样本数据,负样本为民用仿真环境下的不包含感兴趣目标的样本数据,感兴趣目标为目标无人机的识别对象。
在一个可行的实施方式中,嵌入式接口模块205包括:
模型转换子模块,用于根据嵌入式***参数,对第一识别模型进行模型转换,得到与目标无人机的嵌入式***适配的结构化数据;
部署子模块,用于将结构化数据部署至嵌入式***,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
在一个可行的实施方式中,控制参数还包括第二识别指标;
模型评估模块204,还用于在得到满足目标无人机的嵌入式***部署要求的第二识别模型之后,通过所述第二识别模型对所述测试样本进行识别,得到第二识别结果;
模型评估模块204,还用于判断第二识别结果是否满足第二识别指标;
模型评估模块204,还用于在第二识别结果满足第二识别指标的情况下,确定第二识别模型满足目标无人机的嵌入式***的快速部署要求。
在一个可行的实施方式中,人机交互模块201还用于在第一识别结果不满足第一识别指标的情况下,或,在第二识别结果不满足第二识别指标的情况下,显示第一识别结果或第二识别结果,并提示重新输入控制参数。
需要说明的是,本申请实施例的应用于民用无人机的嵌入式识别模型获得***的具体实施方式参照前述本申请实施例第一方面提出的应用于民用无人机的嵌入式识别模型获得方法的具体实施方式,在此不再赘述。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种应用于民用无人机的嵌入式识别模型获得方法和***,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种应用于民用无人机的嵌入式识别模型获得方法,其特征在于,所述方法包括:
接收输入的控制参数,其中所述控制参数包括仿真参数、目标识别模型参数、第一识别指标以及目标无人机的嵌入式***参数;
根据所述仿真参数进行图片仿真,生成民用仿真环境下的仿真样本;其中,所述仿真样本包括所述民用仿真环境下的训练样本和测试样本;
从预设的模型库中选择与所述目标识别模型参数对应的目标初始识别模型,并利用所述训练样本对所述目标初始识别模型进行训练,得到第一识别模型;所述模型库中包括多个与不同识别模型参数具有一一对应关系的初始识别模型;
通过所述第一识别模型对所述测试样本进行识别,得到第一识别结果;
在所述第一识别结果满足所述第一识别指标的情况下,根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
2.根据权利要求1所述的应用于民用无人机的嵌入式识别模型获得方法,其特征在于,所述仿真参数包括民用仿真环境的背景类型和气象条件、仿真样本的图像类型和图像数量、目标无人机的传感器类型和传感器性能参数、无人机拍摄的高度参数和姿态参数。
3.根据权利要求2所述的应用于民用无人机的嵌入式识别模型获得方法,其特征在于,所述民用仿真环境包括水域监测环境、沙漠监测环境、森林监测环境和湿地监测环境;其中,在水域监测环境下,所述背景类型为水域类型;
在沙漠监测环境下,所述背景类型为沙漠类型;在森林监测环境下,所述背景类型为森林类型;在湿地监测环境下,所述背景类型为湿地类型;
所述气象条件包括晴天、雨天、雪天和雾天。
4.根据权利要求1所述的应用于民用无人机的嵌入式识别模型获得方法,其特征在于,所述训练样本和所述测试样本均包括正样本和负样本;其中,所述正样本为所述民用仿真环境下的包含感兴趣目标的样本数据,所述负样本为所述民用仿真环境下的不包含所述感兴趣目标的样本数据,所述感兴趣目标为目标无人机的识别对象。
5.根据权利要求1所述的应用于民用无人机的嵌入式识别模型获得方法,其特征在于,根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型,包括:
根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到与目标无人机的嵌入式***适配的结构化数据;
将所述结构化数据部署至所述嵌入式***,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
6.根据权利要求1所述的应用于民用无人机的嵌入式识别模型获得方法,其特征在于,所述控制参数还包括第二识别指标;
得到满足目标无人机的嵌入式***部署要求的第二识别模型之后,所述方法还包括:
通过所述第二识别模型对所述测试样本进行识别,得到第二识别结果;
判断所述第二识别结果是否满足所述第二识别指标;
在所述第二识别结果满足所述第二识别指标的情况下,确定所述第二识别模型满足目标无人机的嵌入式***的快速部署要求。
7.根据权利要求6所述的应用于民用无人机的嵌入式识别模型获得方法,其特征在于,所述方法还包括:
在所述第一识别结果不满足所述第一识别指标的情况下,或,在所述第二识别结果不满足所述第二识别指标的情况下,显示所述第一识别结果或所述第二识别结果,并提示重新输入控制参数。
8.一种应用于民用无人机的嵌入式识别模型获得***,其特征在于,所述***包括:
人机交互模块,用于接收输入的控制参数,其中所述控制参数包括仿真参数、目标识别模型参数、第一识别指标以及目标无人机的嵌入式***参数;
仿真模块,用于根据所述仿真参数进行图片仿真,生成民用仿真环境下的仿真样本;其中,所述仿真样本包括所述民用仿真环境下的训练样本和测试样本;
训练模块,用于从预设的模型库中选择与所述目标识别模型参数对应的目标初始识别模型,并利用所述训练样本对所述目标初始识别模型进行训练,得到第一识别模型;所述模型库中包括多个与不同识别模型参数具有一一对应关系的初始识别模型;
模型评估模块,用于通过所述第一识别模型对所述测试样本进行识别,得到第一识别结果;
嵌入式接口模块,用于在所述第一识别结果满足所述第一识别指标的情况下,根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
9.根据权利要求8所述的***,其特征在于,所述嵌入式接口模块包括:
模型转换子模块,用于根据所述嵌入式***参数,对所述第一识别模型进行模型转换,得到与目标无人机的嵌入式***适配的结构化数据;
部署子模块,用于将所述结构化数据部署至所述嵌入式***,得到满足目标无人机的嵌入式***部署要求的第二识别模型。
10.根据权利要求8所述的***,其特征在于,所述控制参数还包括第二识别指标;
所述模型评估模块,还用于在得到满足目标无人机的嵌入式***部署要求的第二识别模型之后,通过所述第二识别模型对所述测试样本进行识别,得到第二识别结果;
所述模型评估模块,还用于判断所述第二识别结果是否满足所述第二识别指标;
所述模型评估模块,还用于在所述第二识别结果满足所述第二识别指标的情况下,确定所述第二识别模型满足目标无人机的嵌入式***的快速部署要求。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210300244.6A CN114384940B (zh) | 2022-03-25 | 2022-03-25 | 一种应用于民用无人机的嵌入式识别模型获得方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210300244.6A CN114384940B (zh) | 2022-03-25 | 2022-03-25 | 一种应用于民用无人机的嵌入式识别模型获得方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114384940A true CN114384940A (zh) | 2022-04-22 |
CN114384940B CN114384940B (zh) | 2022-06-07 |
Family
ID=81205787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210300244.6A Active CN114384940B (zh) | 2022-03-25 | 2022-03-25 | 一种应用于民用无人机的嵌入式识别模型获得方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114384940B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0148704A2 (fr) * | 1984-01-06 | 1985-07-17 | Thomson-Csf | Système de surveillance par avion sans pilote permettant la localisation d'objectif |
CN112764433A (zh) * | 2020-12-25 | 2021-05-07 | 湖北航天飞行器研究所 | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 |
CN112906523A (zh) * | 2021-02-04 | 2021-06-04 | 上海航天控制技术研究所 | 一种硬件加速的深度学习目标机型识别方法 |
CN113298024A (zh) * | 2021-06-11 | 2021-08-24 | 长江大学 | 一种基于轻量化神经网络的无人机对地小目标识别方法 |
CN113705001A (zh) * | 2021-08-27 | 2021-11-26 | 西安交通大学 | 输电线路故障检测方法、***及嵌入式设备 |
-
2022
- 2022-03-25 CN CN202210300244.6A patent/CN114384940B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0148704A2 (fr) * | 1984-01-06 | 1985-07-17 | Thomson-Csf | Système de surveillance par avion sans pilote permettant la localisation d'objectif |
CN112764433A (zh) * | 2020-12-25 | 2021-05-07 | 湖北航天飞行器研究所 | 一种基于深度学习的无人机载火箭残骸搜寻装置及方法 |
CN112906523A (zh) * | 2021-02-04 | 2021-06-04 | 上海航天控制技术研究所 | 一种硬件加速的深度学习目标机型识别方法 |
CN113298024A (zh) * | 2021-06-11 | 2021-08-24 | 长江大学 | 一种基于轻量化神经网络的无人机对地小目标识别方法 |
CN113705001A (zh) * | 2021-08-27 | 2021-11-26 | 西安交通大学 | 输电线路故障检测方法、***及嵌入式设备 |
Also Published As
Publication number | Publication date |
---|---|
CN114384940B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111178206B (zh) | 一种基于改进yolo的建筑预埋件检测方法及*** | |
CN108491877A (zh) | 一种分类对流天气概率预报方法及装置 | |
CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
Mustafa et al. | Measuring the effect of stochastic perturbation component in cellular automata urban growth model | |
CN111985325A (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
CN114493052B (zh) | 多模型融合自适应新能源功率预测方法和*** | |
CN110134907A (zh) | 一种降雨缺失数据填补方法、***及电子设备 | |
CN111062950A (zh) | 一种用于多类别森林场景图像分割的方法、存储介质和设备 | |
CN111178756B (zh) | 一种基于环境大数据的多元线性回归火灾风险评估方法 | |
CN115984273A (zh) | 道路病害检测方法、装置、计算机设备及可读存储介质 | |
CN111125290A (zh) | 一种基于河长制的智能巡河方法、装置及存储介质 | |
CN112836590B (zh) | 洪涝灾害监测方法、装置、电子设备及存储介质 | |
CN114691789A (zh) | 大气污染源图谱构建方法、装置、存储介质及电子设备 | |
CN114384940B (zh) | 一种应用于民用无人机的嵌入式识别模型获得方法和*** | |
Noor et al. | Prediction map of rainfall classification using random forest and inverse distance weighted (IDW) | |
Karmshahi et al. | Application of an integrated CA-Markov model in simulating spatiotemporal changes in forest cover: a case study of Malekshahi county forests, Ilam province | |
CN110765900A (zh) | 一种基于dssd的自动检测违章建筑方法及*** | |
Gan et al. | Water level classification for flood monitoring system using convolutional neural network | |
Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
CN116151437A (zh) | 一种浅层崩塌灾害预警模型建立方法、装置、设备及介质 | |
CN116486635A (zh) | 路面团雾检测预警方法、***、存储介质及终端 | |
Zhang et al. | ST-GRF: Spatiotemporal graph neural networks for rainfall forecasting | |
CN111738324B (zh) | 一种基于分频卷积的多频率和多尺度融合的自动化裂缝检测方法 | |
El Saeid Mustafa et al. | Modelling uncertainties in long-term predictions of urban growth: a coupled cellular automata and agent-based approach | |
CN113553754A (zh) | 存储器、火灾风险预测模型构建方法、***和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |