CN113516106A - 基于城市管理的无人机智能车辆识别方法及*** - Google Patents
基于城市管理的无人机智能车辆识别方法及*** Download PDFInfo
- Publication number
- CN113516106A CN113516106A CN202111051756.5A CN202111051756A CN113516106A CN 113516106 A CN113516106 A CN 113516106A CN 202111051756 A CN202111051756 A CN 202111051756A CN 113516106 A CN113516106 A CN 113516106A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- feature
- target
- description
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于城市管理的无人机智能车辆识别方法及***,通过将缺失部分特征的目标车辆的第一车辆描述信息发送给各无人机,由各无人机基于第一车辆描述信息执行针对目标车辆的初步识别,并反馈初步识别结果给无人机控制中心,然后再由无人机控制中心根据初步识别结果进行二次识别,进而精确识别出目标车辆,进而得到目标车辆的第二车辆描述信息(没有缺失特征)。如此,根据第二车辆描述信息可以确定对应的目标无人机对所述目标车辆进行实时跟踪识别及定位。
Description
技术领域
本发明涉及智慧城市及监控技术领域,具体而言,涉及一种基于城市管理的无人机智能车辆识别方法及***。
背景技术
无人飞行载具(Unmanned Aerial Vehicle,UAV )又称为无人机。随着无人飞行技术的快速发展,消费性无人机在各行各业得到的广泛的应用,用于替代人执行相应的工作。
进一步地,随着智慧城市进程的不断加速,无人机在智慧城市领域的应用(如智慧城市管理)也被广泛推广。例如,无人机用于智慧城市交通监控与指挥、自动送餐、智慧城市物流等各种领域,极大的方便了人们日常的工作与生活,同时使得城市变得越来越“智慧化”。
然而,在基于智慧城市应用无人机进行城市管理的过程中,例如,基于道路交通的城市管理,往往会出现针对一些特定情况下的目标车辆进行监控的场景,例如针对嫌疑车辆、肇事车辆、需要帮助的紧急求助车辆等的监控跟踪定位,以助于相应任务的完成。然而,在实际应用时,针对目标车辆的某些重要特征(例如号牌、车型等)在监控的初期存在未知或缺失的情况而难以实现目标车辆的精确识别及定位。因此,在一定特征未知的情况如何实现针对目标车辆的自动精确识别及定位,是目前急需解决的一项关键问题。
发明内容
为解决上述问题,本发明实施例的目的之一在于提供一种基于城市管理的无人机智能车辆识别方法,应用于无人机控制中心,所述方法包括:
接收目标车辆的第一车辆描述信息,根据所述第一车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别,所述第一车辆描述信息包括第一车辆描述索引,所述第一车辆描述索引缺少所述目标车辆在预设的多个目标特征描述维度中的至少一个目标特征描述维度对应的索引特征;
接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,所述初步识别结果包括与所述第一车辆描述信息的匹配度达到第一预设匹配度的至少一个监控视频画面;
根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机;
根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。
基于上述目的,所述根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,包括:
从各所述无人机反馈的所述初步识别结果中获取各所述无人机反馈的与所述第一车辆描述信息的匹配度达到第一预设匹配度的监控视频画面;
针对每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息;
通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征;
通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面,其中所述第二预设匹配度大于所述第一预设匹配度;
获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度;
根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度;
从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息;
所述根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机,包括:
根据所述第二车辆描述信息中的车辆缺失特征信息所对应的至少一个目标监控画面,确定反馈所述至少一个目标监控画面的至少一个无人机作为所述目标无人机。
基于上述目的,所述方法还包括对所述监控端车辆识别模型进行模型训练的步骤,所述步骤包括:
获取训练样本库,所述训练样本库包括多个携带有标定车辆描述索引的样本车辆监控画面;
获取预先确定的神经网络模型,所述神经网络模型包括卷积网络层、特征转换层、以及结果输出层;
针对每个所述样本车辆监控画面,通过所述卷积网络层获取所述样本车辆监控画面在多个目标特征描述维度下的车辆特征信息;
通过所述特征转换层将每个所述目标特征描述维度下的车辆特征信息进行特征转换,得到每个所述目标特征描述维度下的车辆特征信息对应的索引特征;
通过所述结果输出层根据所述目标特征描述维度下的车辆特征信息对应的索引特征得到一训练车辆描述索引;
根据所述训练车辆描述索引与所述标定车辆描述索引计算得到第一损失函数值;
根据所述第一损失函数值对所述神经网络模型的模型参数进行迭代优化,直到所述第一损失函数值满足第一收敛条件,得到训练后的神经网络模型作为所述监控端车辆识别模型;其中,所述第一损失函数值由各所述训练车辆描述索引中的各索引特征与所述标定车辆描述索引中对应的各索引特征的第一匹配度计算得到,所述第一收敛条件包括所述第一损失函数值表征的第一匹配度达到第一预设匹配度阈值。
基于上述目的,所述方法还包括:
获取训练样本库,所述训练样本库包括多个携带有标定车辆描述索引的样本车辆监控画面;
获取预先确定的神经网络模型,并对所述神经网络模型进行模型压缩处理,得到压缩后的神经网络模型;
针对每个所述样本车辆监控画面,通过所述神经网络模型获取所述样本车辆监控画面在多个目标特征描述维度下的车辆特征信息,并根据所述目标特征描述维度下的车辆特征信息以及所述标定车辆描述索引包括的索引特征计算得到第二损失函数值;
根据所述第二损失函数值对所述压缩后的神经网络模型的模型参数进行迭代优化,直到所述第二损失函数值满足第二收敛条件,得到训练后的神经网络模型作为机载车辆识别模型;其中,所述第二损失函数值由各所述目标特征描述维度下的车辆特征信息与所述标定车辆描述索引中对应的各索引特征的第二匹配度计算得到,所述第二收敛条件包括所述第二损失函数值表征的第二匹配度达到第二预设匹配度阈值,所述第二预设匹配度阈值小于所述第一预设匹配度阈值;
将所述机载车辆识别模型下发至各所述无人机,使所述无人机根据所述机载车辆识别模型对所述设定监控区域内的车辆进行目标车辆识别,以向所述无人机控制中心反馈所述初步识别结果。
基于上述目的,所述获取训练样本库,包括:
通过多个无人机获取设定场景下的车辆监控画面,得到多个车辆监控画面;
将各所述车辆监控画面作为车辆监控画面样本存储至预先设定的样本数据库中;
提取所述样本数据库中的各所述车辆监控画面样本在多个目标特征描述维度下的车辆特征信息,得到每个车辆监控画面样本对应的特征提取结果;
根据每个所述车辆监控画面样本对应的特征提取结果,对所述样本数据库中的车辆监控画面样本进行样本过滤,得到过滤后的样本数据库;
根据过滤后的样本数据库中各车辆监控画面样本对应的特征提取结果得到所述车辆监控画面样本对应的标定车辆描述索引,并将所述车辆描述索引与所述车辆监控画面样本在所述样本数据库中进行关联存储,得到所述训练样本库;
其中,根据每个所述车辆监控画面样本对应的特征提取结果,对所述样本数据库中的车辆监控画面样本进行样本过滤,得的过滤后的样本数据库,包括:
针对每个所述车辆监控画面样本,确定所述车辆监控画面样本对应的所述特征提取结果中是否存在特征缺失;
若存在特征缺失,则将所述车辆监控画面样本从所述训练样本库中删除;
其中,所述特征缺失包括所述车辆监控画面样本对应的特征提取结果中缺少预先确定的目标特征描述维度下的车辆特征信息或者缺少预设数量个目标特征描述维度下的车辆特征信息。
基于上述目的,所述获取训练样本库,还包括:
拷贝所述训练样本库中一部分车辆监控画面样本作为待处理样本;
将所述待处理样本对应的车辆描述索引中的至少一个目标特征描述维度对应的索引特征进行特征模糊处理,所述特征模糊处理包括将对应的索引特征使用设定的模糊特征替代或者删除对应的索引特征;
将特征模糊处理后的待处理样本作为扩展训练样本加入所述训练样本库,并对加入所述扩展训练样本后的训练样本库进行样本乱序处理,得到优化后的训练样本库;
其中,所述多个目标特征描述维度的数量为N,所述将所述待处理样本对应的车辆描述索引中的至少一个特征描述维度对应的索引特征进行特征模糊处理,包括:
将所述待处理样本加入预先建立的样本序列中,得到待处理样本序列;
确定每个目标特征描述维度所需进行特征模糊处理的样本数量;
根据第i个目标特征描述维度所需进行特征模糊处理的样本数量,从所述待处理样本序列中获取对应数量的待处理样本,并对所述待处理样本对应的第i个目标特征描述维度对应的索引特征进行特征模糊处理,得到第i个扩展样本序列;其中,i为大于等于1小于等于N的自然数;
所述将特征模糊处理后的待处理样本作为扩展训练样本加入所述训练样本库,并对加入所述扩展训练样本后的训练样本库进行样本乱序处理,得到优化后的训练样本库,包括:
依序将所述得到的第i个扩展样本序列加入所述训练样本库,并在第N个扩展样本序列加入所述训练样本库之后,对所述训练样本库进行样本乱序处理。
基于上述目的,所述将所述待处理样本对应的车辆描述索引中的至少一个目标特征描述维度对应的索引特征进行特征模糊处理获取训练样本库,还包括:
确定预先设定的进行特征模糊处理对应的由至少两个目标特征描述维度进行组合得到的至少一个维度组合;
针对每个所述维度组合,从所述待处理样本中获取至少一个对应的待处理样本,并将所述获取的待处理样本中与所述维度组合中包括的目标特征描述维度对应的索引特征进行多特征模糊处理。
基于上述目的,所述第一车辆描述信息还包括针对所述目标车辆的第一时空域信息,所述初步识别结果还包括各所述无人机反馈的监控视频画面对应的第二时空域信息;所述接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,包括:
根据所述第一时空域信息和所述第二时空域信息对各所述无人机进行置信度决策,得到各所述无人机分别与所述目标车辆之间的置信度参数;
将对应的置信度参数小于预设置信度阈值的无人机反馈的监控视频画面滤除,得到待决策监控画面序列;
根据所述待决策监控画面序列中的每个监控视频画面,获得所述目标车辆的第二车辆描述信息;
其中,所述根据所述第一时空域信息和所述第二时空域信息对各所述无人机进行置信度决策,包括:
根据所述第一时空域信息获取所述目标车辆对应的第一时间信息和第一位置信息;
根据所述第二时空域信息获取各所述无人机反馈的监控视频画面对应的第二时间信息和第二位置信息;
调用所述设定监控区域对应的电子地图,根据所述电子地图确定所述目标车辆从所述第一位置信息对应的第一位置达到所述第二位置信息对应的第二位置的可行路径和对应的预测时间;
根据所述预测时间以及所述第一时间信息和第二时间信息的时间间隔确定所述目标车辆与各所述无人机对应的置信度参数。
本发明的另一目的在于提供一种基于城市管理的无人机智能车辆识别***,应用于无人机控制中心,所述***包括:
第一识别模块,用于接收目标车辆的第一车辆描述信息,根据所述车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别,所述第一车辆描述信息包括第一车辆描述索引;
第二识别模块,用于接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,所述初步识别结果包括与所述第一车辆描述信息的匹配度达到第一预设匹配度的至少一个监控视频画面;
目标确定模块,用于根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机;以及
跟踪监控模块,用于根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。
基于上述目的,所述第二识别模块具体用于:
从各所述无人机反馈的所述初步识别结果中获取各所述无人机反馈的与所述第一车辆描述信息的匹配度达到第一预设匹配度的监控视频画面;
针对每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息;
通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征;
通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面,其中所述第二预设匹配度大于所述第一预设匹配度;
获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度;
根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度;
从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息;
所述目标确定模块具体用于:根据所述第二车辆描述信息中的车辆缺失特征信息所对应的目标监控画面,确定反馈所述目标监控画面的无人机作为所述目标无人机。
本发明实施例的又一目的还在于提供一种无人机控制中心,包括无人机智能车辆识别***、处理器、以及机器可读存储介质,所述无人机智能车辆识别***包括一个或多个存储于所述机器可读存储介质中的软件功能模块、程序或指令,所述机器可读存储介质和所述处理器连接,所述处理器用于执行所述无人机智能车辆识别***包括一个或多个存储于所述机器可读存储介质中的软件功能模块、程序或指令,以实现基于城市管理的无人机智能车辆识别方法。
综上所述,本发明实施例提供的基于城市管理的无人机智能车辆识别方法及***,首先接收目标车辆的第一车辆描述信息,根据所述第一车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别,然后接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,其次根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机,最后根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。如此,可以通过将缺失部分特征的目标车辆的第一车辆描述信息发送给各无人机,由各无人机基于第一车辆描述信息执行针对目标车辆的初步识别,并反馈初步识别结果给无人机控制中心,然后再由无人机控制中心根据初步识别结果进行二次识别,进而精确识别出目标车辆,进而得到目标车辆的第二车辆描述信息(没有缺失特征)。如此,根据第二车辆描述信息可以确定对应的目标无人机对所述目标车辆进行实时跟踪识别及定位。
此外,本实施例中,可以通过人工智能的方式对目标车辆进行车辆识别。详细地,可以通过在无人机上设置机载车辆识别模型用于实现针对所述目标车辆的初步识别,并在无人机控制中心设置监控端车辆识别模型,对无人机反馈的初步识别结果中包括的监控视频画面对目标车辆进行二次精确识别,以确定出所需进行跟踪监控识别的目标车辆。其中,机载车辆识别模型可以是所述监控端车辆识别模型的缩小版的网络模型,以适于在无人机上实现。例如,所述机载车辆识别模型可以是在所述监控端车辆识别模型的原始网络模型的基础上进行模型压缩后训练得到。如此,通过人工智能模型的方式,可以进一步实现对目标车辆的精确识别和跟踪监控。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,针对本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1是本发明实施例提供的基于城市管理的无人机智能车辆识别方法的流程示意图。
图2是本发明实施例提供的基于城市管理的无人机智能车辆识别方法的应用环境示意图。
图3是发明实施例提供的无人机控制中心的架构示意图。
图4是发明实施例提供的基于城市管理的无人机智能车辆识别***的示意图。
具体实施方式
请参阅图1,图1是本发明实施例提供的基于城市管理的无人机智能车辆识别方法的流程示意图。本发明实施例中,结合图2所示,所述方法可以由用于管理并调度无人机的无人机控制中心100执行并实现。本实施例中,所述无人机控制中心100可以是基于智慧城市而设立的用于与预设管控区域内的多个无人机200进行远程通信以对无人机200进行远程控制和调度的一个服务平台。示例性地,所述无人机控制中心100可以是,但不限于,具有通信控制能力及大数据分析能力的服务器、计算机设备、云服务中心、机房控制中心、云平台等设备。
下面对上述方法进行详细的描述,本实施例中,所述方法包括以下所述的S100-S400的步骤。
步骤S100,接收目标车辆的第一车辆描述信息,根据所述第一车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别。
本实施例中,所述第一车辆描述信息包括第一车辆描述索引,所述第一车辆描述索引缺少所述目标车辆在预设的多个目标特征描述维度中的至少一个目标特征描述维度对应的索引特征。例如,所述多个目标特征描述维度可以包括,但不限于外观颜色、车型、车辆行为、车辆唯一标识、驾驶员特征、车载人数特征等多个维度,这些维度可以形成一个用于描述目标车辆的全局特征的全局特征描述维度序列。所述第一车辆描述信息可以在无人机监控中心收到对目标车辆进行监控跟踪识别的指示之初,根据当前掌握的局部信息由无人机监控中心而生成,例如可以通过人工输入对目标车辆的描述文本信息后,由无人机监控中心根据描述文本信息按照预设的描述格式,从描述文本信息中提取出需要的特征文本,按照预设的描述格式生成所述第一车辆描述信息,具体不进行限定。
步骤S200,接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息。
本实施例中,所述初步识别结果包括与所述第一车辆描述信息的匹配度达到第一预设匹配度的至少一个监控视频画面;
步骤S300,根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机。例如,可以确定用于获得所述第二车辆描述信息所涉及到的至少一个目标监控视频画面对应的无人机作为所述目标无人机。
步骤S400,根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。
本实施例中,在步骤S400中,当目标无人机的数量大于等于2时,则有可能存在误跟踪的目标无人机(例如,跟踪的目标并非所述目标车辆或者跟踪了与所述目标车辆近似的一个车辆)。基于此,为避免这种情况,无人机控制中心100可以向各所述目标无人机下发实时画面反馈指示,使各目标无人机反馈当前的实时监控画面,根据各目标无人机反馈的实时监控画面确定是否存在误跟踪的目标无人机,若存在,向所述误跟踪的木目标无人机下发停止跟踪指令,已停止对应的跟踪监控操作。
综上所述,本发明实施例中,可以通过将缺失部分特征的目标车辆的第一车辆描述信息发送给各无人机,由各无人机基于第一车辆描述信息执行针对目标车辆的初步识别,并反馈初步识别结果给无人机控制中心,然后再由无人机控制中心根据初步识别结果进行二次识别,进而精确识别出目标车辆,进而得到目标车辆的第二车辆描述信息(没有缺失特征)。如此,根据第二车辆描述信息可以确定对应的目标无人机对所述目标车辆进行实时跟踪识别及定位。
本实施例中,可以通过人工智能的方式对目标车辆进行车辆识别。详细地,可以通过在无人机上设置机载车辆识别模型用于实现针对所述目标车辆的初步识别,并在无人机控制中心设置监控端车辆识别模型,对无人机反馈的初步识别结果中包括的监控视频画面对目标车辆进行二次精确识别,以确定出所需进行跟踪监控识别的目标车辆。其中,机载车辆识别模型可以是所述监控端车辆识别模型的缩小版的网络模型,以适于在无人机上实现。例如,所述机载车辆识别模型可以是在所述监控端车辆识别模型的原始网络模型的基础上进行模型压缩后训练得到,后文将对上述两个模型进行详细的介绍。
下面将对本发明实施例的上述各步骤的详细实现方法通过示例进行详细说明。
首先,针对步骤S200,根据所述初步识别结果获得所述目标车辆的第二车辆描述信息可以通过以下的示例性实施方式实现。在该示例性的实施方式中,可以通过引用人工智能模型来实施,具体描述如下。
步骤S2001,从各所述无人机反馈的所述初步识别结果中获取各所述无人机反馈的与所述第一车辆描述信息的匹配度达到第一预设匹配度的监控视频画面。
本实施例中,各所述无人机根据所述第一车辆描述信息对监控画面中的车辆可以进行一个精确度相对较低的粗糙识别,筛选出在一定程度上复合所述第一车辆描述信息的监控视频画面作为初步识别结果实时反馈给无人机监控中心,如此无人机不会因为需要进行精确识别的大量运算而导致监控任务因为资源不足而受到影响。同时,通过各无人机作为边缘终端的一次初筛,可以使得后续无人机监控中心进行的数据筛选和识别工作大大减小,有助于提供整体监控识别的效率。
步骤S2002,针对每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息。
步骤S2003,通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征。
步骤S2004,通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面。其中所述第二预设匹配度大于所述第一预设匹配度。
本实施例中,由于无人机监控中心对无人机反馈的初步识别结果需要进行精确比对,因此设置的第二预设匹配度需大于第一预设匹配度,以对目标车辆进行精确的比对识别。
步骤S2005,获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度。
本实施例中,此处提及的全局特征描述维度序列可以是上文中提及的由颜色、车型、车辆行为、车辆唯一标识、驾驶员特征、车载人数特征等多个目标特征描述维度形成的用于描述目标车辆的全局特征的全局特征描述维度序列。
步骤S2006,根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度。
本实施例中,所述缺失特征描述维度可以通过将所述第一车辆描述信息中的第一车辆描述索引中的各索引特征与所述全局特征描述维度序列中的各目标特征描述维度进行匹配或比对,判断所述第一车辆描述索引中缺少哪个目标特征描述维度对应的索引特征,那么将该对应的目标特征描述维度确定为所述缺失特征描述维度。如此,可利于后续将该缺失特征描述维度进行补全,以对所述第一车辆描述信息进行优化而得到第二车辆描述信息。
步骤S2007,从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息。
本实施例中,无人机控制中心在确定所述缺失特征描述维度后,可以通过所述目标画面提取所述缺失特征描述维度对应的车辆缺失特征信息。例如,可以将所述车辆缺失特征信息转换成对应的索引特征,将所述索引特征加入所述第一车辆描述信息得到优化后的所述第二车辆描述信息。
基于上述内容,在上述步骤S300中,所述根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机,可以包括:
根据所述第二车辆描述信息中的车辆缺失特征信息所对应的至少一个目标监控画面,确定反馈所述至少一个目标监控画面的至少一个无人机作为所述目标无人机。例如,通过所述目标监控画面携带的无人机标识信息,根据所述无人机标识信息确定所述目标无人机。
上面通过人工智能模型(监控端车辆识别模型)对目标车辆进行精确识别。本发明实施例针对所述监控端车辆识别模型还提供一种可独立实施的模型训练方法。详细地,该模型训练方法示例性描述如下。
(1)获取训练样本库,本实施例中,所述训练样本库包括多个携带有标定车辆描述索引的样本车辆监控画面。所述标定车辆描述索引可以是指预先根据所述样本车辆监控画面中的车辆信息,通过机器或人工确定的方式而标定的与车辆信息对应的车辆描述索引,具体可以包括多个目标特征描述维度对应的车辆索引特征。本实施例中,所述的“描述索引”可以是指通过预先设定的索引格式而得到的包括索引特征的一种数据载体,用于承载或记录本发明实施例所需的各种数据内容或数据特征。
(2)获取预先确定的神经网络模型,所述神经网络模型包括卷积网络层、特征转换层、以及结果输出层。
本实施例中,在模型训练之前,可以根据实际应用场景的需要,预先确定一个神经网络模型进行模型训练,例如可以是卷积神经网络、循环卷积神经网络、残差神经网络等等,具体不进行限定。
(3)针对每个所述样本车辆监控画面,通过所述卷积网络层获取所述样本车辆监控画面在多个目标特征描述维度下的车辆特征信息。
本实施例中,可以通过所述卷积网络层针对所述样本车辆监控画面依次提取每个目标特征描述维度下的车辆特征信息。可替代地,所述卷积网络层可以包括多个卷积核,每一个卷积核用于对应提取至少一个目标特征描述维度下的车辆特征信息。
(4)通过所述特征转换层将每个所述目标特征描述维度下的车辆特征信息进行特征转换,得到每个所述目标特征描述维度下的车辆特征信息对应的索引特征。
可替代地,本实施例中,可以将所述车辆特征信息按照预先设定的特征转换方式进行特征转换,例如可以转换为数字化的特征。以车身颜色为例,可以将车身颜色转换为0-255之间的三原色数值,来表征对应的车身颜色。
(5)通过所述结果输出层根据所述目标特征描述维度下的车辆特征信息对应的索引特征得到一训练车辆描述索引。例如,可以将所述目标特征描述维度下的车辆特征信息对应的索引特征按照预先的信息索引表达方式进行表达,得到所述训练车辆描述索引。
(6)根据所述训练车辆描述索引与所述标定车辆描述索引计算得到第一损失函数值。
本实施例中,例如,可以根据所述训练车辆描述索引中各目标特征描述维度对应的索引特征与所述标定车辆描述索引中各目标特征描述维度对应的标定索引特征之间的匹配度,计算得到所述第一损失函数值。换句话说,本实施例中,所述损失函数值可以用于表征所述训练车辆描述索引中各目标特征描述维度对应的索引特征与所述标定车辆描述索引中各目标特征描述维度对应的标定索引特征之间的匹配度。
(7)根据所述第一损失函数值对所述神经网络模型的模型参数进行迭代优化,直到所述第一损失函数值满足第一收敛条件,得到训练后的神经网络模型作为所述监控端车辆识别模型。
本实施例中,所述第一损失函数值由各所述训练车辆描述索引中的各索引特征与所述标定车辆描述索引中对应的各索引特征的第一匹配度计算得到,所述第一收敛条件包括所述第一损失函数值表征的第一匹配度达到第一预设匹配度阈值。
进一步地,在一种可能的实施方式中,为了方便各无人机对目标车辆进行初步监控识别,本发明实施例还提供一种对无人机端使用的机载车辆识别模型进行训练下发的方法,详细介绍如下。
(11)获取训练样本库,所述训练样本库包括多个携带有标定车辆描述索引的样本车辆监控画面。本实施例中,所述训练样本库可以与用于训练所述监控端车辆识别模型的样本库相同。
(12)获取预先确定的神经网络模型,并对所述神经网络模型进行模型压缩处理,得到压缩后的神经网络模型。
在一种可能的实施方式中,例如,可以通过参数修剪与共享、低秩分解、迁移/压缩卷积滤波和、知识精炼或知识蒸馏等方法来实现模型压缩的处理。通过模型压缩处理后,可以使得后续训练得到的AI模型更适合与在无人机端运作。
(13)针对每个所述样本车辆监控画面,通过所述神经网络模型获取所述样本车辆监控画面在多个目标特征描述维度下的车辆特征信息,并根据所述目标特征描述维度下的车辆特征信息以及所述标定车辆描述索引包括的索引特征计算得到第二损失函数值。
本实施例中,例如,可以根据所述训练车辆描述索引中各目标特征描述维度对应的索引特征与所述标定车辆描述索引中各目标特征描述维度对应的标定索引特征之间的匹配度,计算得到所述第二损失函数值。换句话说,本实施例中,所述第二损失函数值可以用于表征所述训练车辆描述索引中各目标特征描述维度对应的索引特征与所述标定车辆描述索引中各目标特征描述维度对应的标定索引特征之间的匹配度。
(14)根据所述第二损失函数值对所述压缩后的神经网络模型的模型参数进行迭代优化,直到所述第二损失函数值满足第二收敛条件,得到训练后的神经网络模型作为机载车辆识别模型。
本实施例中,所述第二损失函数值由各所述目标特征描述维度下的车辆特征信息与所述标定车辆描述索引中对应的各索引特征的第二匹配度计算得到,所述第二收敛条件包括所述第二损失函数值表征的第二匹配度达到第二预设匹配度阈值,所述第二预设匹配度阈值小于所述第一预设匹配度阈值。
(15)将所述机载车辆识别模型下发至各所述无人机,使所述无人机根据所述机载车辆识别模型对所述设定监控区域内的车辆进行目标车辆识别,以向所述无人机控制中心反馈所述初步识别结果。
如此,通过预先训练好的机载车辆识别模型下发至无人机后,无人机可以根据机载车辆识别模型对实时监控到的车辆画面进行车辆识别,将发现的可能是目标车辆的疑似监控视频画面通过所述初步识别结果反馈给无人机监控中心。
本实施例中,为了使得上述训练得到的机载车辆识别模型以及监控端车辆识别模型具有更好的识别性能以及运行效果。本实施例中,关于上述训练样本库的获取方式,本发明创造性地通过以下方式来获取,示例性描述如下。
(111)通过多个无人机获取设定场景下的车辆监控画面,得到多个车辆监控画面。本实施例中,可以通过无人机在平时监控工作的情况下反馈的监控画面,从具有车辆的车辆监控画面中提取符合样本训练条件的车辆监控画面作为训练样本,可以使得提取的样本对模型进行训练后使得模型更匹配实际的应用场景。
(112)将各所述车辆监控画面作为车辆监控画面样本存储至预先设定的样本数据库中。
(113)提取所述样本数据库中的各所述车辆监控画面样本在多个目标特征描述维度下的车辆特征信息,得到每个车辆监控画面样本对应的特征提取结果。其中,所述特征提取结果可以包括所述车辆监控画面样本中的车辆的至少一个车辆特征信息。
(114)根据每个所述车辆监控画面样本对应的特征提取结果,对所述样本数据库中的车辆监控画面样本进行样本过滤,得到过滤后的样本数据库。本实施例中,为了避免车辆监控画面样本中的车辆特征缺失过多而影响模型训练效果,本实施例中需要根据所述特征提取结果对所述样本数据库中的车辆监控画面样本进行样本过滤,以滤除不符合条件的车辆监控画面样本。
可替代地,在(114)中,根据每个所述车辆监控画面样本对应的特征提取结果,对所述样本数据库中的车辆监控画面样本进行样本过滤,得的过滤后的样本数据库,可以包括:
针对每个所述车辆监控画面样本,确定所述车辆监控画面样本对应的所述特征提取结果中是否存在特征缺失;
若存在特征缺失,则将所述车辆监控画面样本从所述训练样本库中删除;
其中,所述特征缺失包括所述车辆监控画面样本对应的特征提取结果中缺少预先确定的目标特征描述维度下的车辆特征信息或者缺少预设数量个目标特征描述维度下的车辆特征信息。例如,预先确定的目标特征描述维度为车身颜色维度,或者缺少两个或两个以上目标特征描述维度下的车辆特征信息则被认为是存在特征缺失。
(115)根据过滤后的样本数据库中各车辆监控画面样本对应的特征提取结果得到所述车辆监控画面样本对应的标定车辆描述索引,并将所述车辆描述索引与所述车辆监控画面样本在所述样本数据库中进行关联存储,得到所述训练样本库。
进一步地,由于经过模型训练之后的机载车辆识别模型和/或监控端车辆识别模型需要根据缺失至少部分特征的车辆描述信息对目标车辆进行识别,为了使得训练后的模型具有更好的识别性和区分性,上述获取的训练样本库还可以进一步包括特征缺失的训练样本。基于此,在上述内容的基础上,所述获取训练样本库的步骤,还可以包括以下创新性的步骤。
首先,拷贝所述训练样本库中一部分车辆监控画面样本作为待处理样本。
其次,将所述待处理样本对应的车辆描述索引中的至少一个目标特征描述维度对应的索引特征进行特征模糊处理,所述特征模糊处理包括将对应的索引特征使用设定的模糊特征替代或者删除对应的索引特征。
然后,将特征模糊处理后的待处理样本作为扩展训练样本加入所述训练样本库,并对加入所述扩展训练样本后的训练样本库进行样本乱序处理,得到优化后的训练样本库。
可替代性地,以所述多个目标特征描述维度的数量为N为例,所述将所述待处理样本对应的车辆描述索引中的至少一个特征描述维度对应的索引特征进行特征模糊处理,可以通过以下方式实现:
第一,将所述待处理样本加入预先建立的样本序列中,得到待处理样本序列;
第二,确定每个目标特征描述维度所需进行特征模糊处理的样本数量;
第三,根据第i个目标特征描述维度所需进行特征模糊处理的样本数量,从所述待处理样本序列中获取对应数量的待处理样本,并对所述待处理样本对应的第i个目标特征描述维度对应的索引特征进行特征模糊处理,得到第i个扩展样本序列;其中,i为大于等于1小于等于N的自然数。
在上述内容的基础上,所述将特征模糊处理后的待处理样本作为扩展训练样本加入所述训练样本库,并对加入所述扩展训练样本后的训练样本库进行样本乱序处理,得到优化后的训练样本库,包括:
依序将所述得到的第i个扩展样本序列加入所述训练样本库,并在第N个扩展样本序列加入所述训练样本库之后,对所述训练样本库进行样本乱序处理。
又或者,在另一种可能的实施方式中,可以同时对至少两个目标特征描述维度的索引特征进行特征模糊处理。基于此,所述将所述待处理样本对应的车辆描述索引中的至少一个目标特征描述维度对应的索引特征进行特征模糊处理获取训练样本库,还可以包括以下内容:
首先,确定预先设定的进行特征模糊处理对应的由至少两个目标特征描述维度进行组合得到的至少一个维度组合;
然后,针对每个所述维度组合,从所述待处理样本中获取至少一个对应的待处理样本,并将所述获取的待处理样本中与所述维度组合中包括的目标特征描述维度对应的索引特征进行多特征模糊处理。
例如,可以将维度组合中对应的至少两个目标特征描述维度下的索引特征分别进行模糊处理(如使用空白特征进行替换),或者分别删除对应的索引特征。
进一步地,在上述步骤S200中,为了避免后续无人机控制中心对一些无用的车辆监控画面通过AI模型进行目标车辆的精确识别而导致运算资源的浪费并降低识别效率。本发明实施例中,还可以根据第一车辆描述信息以及各无人机反馈的初步识别结果分别对应的时间及位置信息过滤掉目标车辆当前几乎不可能经过的无人机的监控区域内产生的车辆监控画面。
基于上述发明构思,本实施例中,所述第一车辆描述信息还包括针对所述目标车辆的第一时空域信息,所述初步识别结果还包括各所述无人机反馈的监控视频画面对应的第二时空域信息。其中,所述第一时空域信息可以包括所述目标车辆或者所述第一车辆描述信息对应的第一时间信息(如第一车辆描述信息的产生时间)以及第一位置信息(如目标车辆的当前位置)。所述第二时空域信息相应可以是无人机反馈的监控视频画面对应的第二时间信息(监控视频画面的产生时间)以及对应的第二位置信息(监控视频画面的产生位置)。
基于此,步骤S200中,所述接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,可以包括以下步骤。
步骤S2011,根据所述第一时空域信息和所述第二时空域信息对各所述无人机进行置信度决策,得到各所述无人机分别与所述目标车辆之间的置信度参数。
例如,可首先根据所述第一时空域信息获取所述目标车辆对应的第一时间信息和第一位置信息;
然后,根据所述第二时空域信息获取各所述无人机反馈的监控视频画面对应的第二时间信息和第二位置信息;
其次,调用所述设定监控区域对应的电子地图,根据所述电子地图确定所述目标车辆从所述第一位置信息对应的第一位置达到所述第二位置信息对应的第二位置的可行路径和对应的预测时间;
最后,根据所述预测时间以及所述第一时间信息和第二时间信息的时间间隔确定所述目标车辆与各所述无人机对应的置信度参数。
作为一种可替代的实施方式,举例而言,例如可以根据所述预测时间和所述时间间隔之间的时间差确定对应的置信度参数。例如,预先确定最多相差10分钟作为时间间隔,这里确定的时间差为2分钟,那么置信度参数则为(10-2)/10=0.8。如果相差1分钟,则为(10-1)/10=0.9。预设的置信度阈值例如可以是0.8,具体可以根据实际情况而定,此处不进行限定。
步骤S2012,将对应的置信度参数小于预设置信度阈值的无人机反馈的监控视频画面滤除,得到待决策监控画面序列。
步骤S2013,根据所述待决策监控画面序列中的每个监控视频画面,获得所述目标车辆的第二车辆描述信息。
例如,在步骤S2013中,可以通过以下步骤来得到所述第二车辆描述信息:
针对所述待决策监控画面序列中的每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息;
通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征;
通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面,其中所述第二预设匹配度大于所述第一预设匹配度;
获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度;
根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度;
从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息。
如图3所示,是本发明实施例提供的无人机控制中心100的架构示意图。本实施例中,所述无人机控制中心100可以包括无人机智能车辆识别***110、机器可读存储介质120和处理器130。
本实施例中,机器可读存储介质120与处理器130可以位于无人机控制中心100中且二者分离设置。机器可读存储介质120也可以是独立于无人机控制中心100并由处理器130访问。无人机智能车辆识别***110可以包括存储在机器可读存储介质120的多个功能模块,例如所述无人机智能车辆识别***110包括的各软件功能模块。当处理器130执行无人机智能车辆识别***110中的软件功能模块时,以实现前述方法实施例提供的区块链大数据处理方法。
本实施例中,无人机控制中心100可以包括一个或多个处理器130。处理器130可以处理与服务请求相关的信息和/或数据以执行本发明中描述的一个或多个功能。在一些实施例中,处理器130可以包括一个或多个处理引擎(例如,单核处理器或多核处理器)。仅仅举个例子,处理器130可以包括一个或多个硬件处理器,例如中央处理器CPU、特定应用集成电路ASIC、专用指令集处理器ASIP、图形处理器GPU、物理运算处理单元PPU、数字信号处理器DSP、现场可以程序门阵列FPGA、可以程序逻辑装置PLD、控制器、微控制器单元、精简指令集计算机RISC、微处理器等中的一种,或类似或其任意组合。
机器可读存储介质120可以存储数据和/或指令。在一些实施例中,机器可读存储介质120可以存储从无人机200获得的数据或资料。在一些实施例中,机器可读存储介质120可以存储供无人机控制中心100执行或使用的数据和/或指令,无人机控制中心100可以通过执行或使用所述数据和/或指令以实现本申请描述的示例性方法。在一些实施例中,机器可读存储介质120可以包括大容量存储器、可以移动存储器、挥发性读写内存、只读存储器ROM等或类似或上述举例的任意组合。示例性的大容量存储器可以包括磁盘、光盘、固态磁盘等。示例性的可以移动存储器可以包括快闪驱动器、软盘、光盘、存储卡、压缩磁盘、磁带等。示例性的挥发性读写内存可以包括随机存取内存RAM。示例性的随机存取内存可以包括动态RAM、双倍速率同步动态RAM、静态RAM、晶闸管RAM和零电容RAM等。示例性的ROM可以包括掩蔽型ROM、可编程ROM、可擦除可编程ROM、电子可擦除可编程ROM、压缩磁盘ROM和数字通用磁盘ROM等。
如图4所示,是图3中所述的无人机智能车辆识别***110的功能模块图,本实施例中,所述无人机智能车辆识别***110可以包括第一识别模块1101、第二识别模块1102、目标确定模块1103以及跟踪监控模块1104。
所述第一识别模块1101,用于接收目标车辆的第一车辆描述信息,根据所述车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别,所述第一车辆描述信息包括第一车辆描述索引。
所述第二识别模块1102,用于接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,所述初步识别结果包括与所述第一车辆描述信息的匹配度达到第一预设匹配度的至少一个监控视频画面;
所述目标确定模块1103,用于根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机;以及
所述跟踪监控模块1104,用于根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。
本实施例中,所述第二识别模块1102具体用于:
从各所述无人机反馈的所述初步识别结果中获取各所述无人机反馈的与所述第一车辆描述信息的匹配度达到第一预设匹配度的监控视频画面;
针对每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息;
通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征;
通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面,其中所述第二预设匹配度大于所述第一预设匹配度;
获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度;
根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度;
从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息。
所述目标确定模块1103具体用于:根据所述第二车辆描述信息中的车辆缺失特征信息所对应的目标监控画面,确定反馈所述目标监控画面的无人机作为所述目标无人机。
所应说明的是,上述第一识别模块1101、第二识别模块1102、目标确定模块1103以及跟踪监控模块1104可分别对应执行上述方法实施例的步骤S100-步骤S400,关于这些模块的详细描述可以进一步参与上述对应步骤的具体内容,此处不再重复赘述。
综上所述,本发明实施例中,可以通过将缺失部分特征的目标车辆的第一车辆描述信息发送给各无人机,由各无人机基于第一车辆描述信息执行针对目标车辆的初步识别,并反馈初步识别结果给无人机控制中心,然后再由无人机控制中心根据初步识别结果进行二次识别,进而精确识别出目标车辆,进而得到目标车辆的第二车辆描述信息(没有缺失特征)。如此,根据第二车辆描述信息可以确定对应的目标无人机对所述目标车辆进行实时跟踪识别及定位。此外,本实施例中,可以通过人工智能的方式对目标车辆进行车辆识别。详细地,可以通过在无人机上设置机载车辆识别模型用于实现针对所述目标车辆的初步识别,并在无人机控制中心设置监控端车辆识别模型,对无人机反馈的初步识别结果中包括的监控视频画面对目标车辆进行二次精确识别,以确定出所需进行跟踪监控识别的目标车辆。其中,机载车辆识别模型可以是所述监控端车辆识别模型的缩小版的网络模型,以适于在无人机上实现。例如,所述机载车辆识别模型可以是在所述监控端车辆识别模型的原始网络模型的基础上进行模型压缩后训练得到。如此,通过人工智能模型的方式,可以进一步实现对目标车辆的精确识别和跟踪监控。
以上所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。通常在附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,在附图中提供的本发明的实施例的详细描述并非旨在限制本发明的保护范围,而仅仅是表示本发明的选定实施例。因此,本发明的保护范围应以权利要求的保护范围为准。此外,基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例,都应属于本发明保护的范围。
Claims (10)
1.一种基于城市管理的无人机智能车辆识别方法,其特征在于,应用于所述无人机控制中心,所述方法包括:
接收目标车辆的第一车辆描述信息,根据所述第一车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别,所述第一车辆描述信息包括第一车辆描述索引,所述第一车辆描述索引缺少所述目标车辆在预设的多个目标特征描述维度中的至少一个目标特征描述维度对应的索引特征;
接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,所述初步识别结果包括与所述第一车辆描述信息的匹配度达到第一预设匹配度的至少一个监控视频画面;
根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机;
根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。
2.根据权利要求1所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,包括:
从各所述无人机反馈的所述初步识别结果中获取各所述无人机反馈的与所述第一车辆描述信息的匹配度达到第一预设匹配度的监控视频画面;
针对每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息;
通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征;
通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面,其中所述第二预设匹配度大于所述第一预设匹配度;
获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度;
根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度;
从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息;
所述根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机,包括:
根据所述第二车辆描述信息中的车辆缺失特征信息所对应的至少一个目标监控画面,确定反馈所述至少一个目标监控画面的至少一个无人机作为所述目标无人机。
3.根据权利要求2所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述方法还包括对所述监控端车辆识别模型进行模型训练的步骤,所述步骤包括:
获取训练样本库,所述训练样本库包括多个携带有标定车辆描述索引的样本车辆监控画面;
获取预先确定的神经网络模型,所述神经网络模型包括卷积网络层、特征转换层、以及结果输出层;
针对每个所述样本车辆监控画面,通过所述卷积网络层获取所述样本车辆监控画面在多个目标特征描述维度下的车辆特征信息;
通过所述特征转换层将每个所述目标特征描述维度下的车辆特征信息进行特征转换,得到每个所述目标特征描述维度下的车辆特征信息对应的索引特征;
通过所述结果输出层根据所述目标特征描述维度下的车辆特征信息对应的索引特征得到一训练车辆描述索引;
根据所述训练车辆描述索引与所述标定车辆描述索引计算得到第一损失函数值;
根据所述第一损失函数值对所述神经网络模型的模型参数进行迭代优化,直到所述第一损失函数值满足第一收敛条件,得到训练后的神经网络模型作为所述监控端车辆识别模型;其中,所述第一损失函数值由各所述训练车辆描述索引中的各索引特征与所述标定车辆描述索引中对应的各索引特征的第一匹配度计算得到,所述第一收敛条件包括所述第一损失函数值表征的第一匹配度达到第一预设匹配度阈值。
4.根据权利要求2所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述方法还包括:
获取训练样本库,所述训练样本库包括多个携带有标定车辆描述索引的样本车辆监控画面;
获取预先确定的神经网络模型,并对所述神经网络模型进行模型压缩处理,得到压缩后的神经网络模型;
针对每个所述样本车辆监控画面,通过所述神经网络模型获取所述样本车辆监控画面在多个目标特征描述维度下的车辆特征信息,并根据所述目标特征描述维度下的车辆特征信息以及所述标定车辆描述索引包括的索引特征计算得到第二损失函数值;
根据所述第二损失函数值对所述压缩后的神经网络模型的模型参数进行迭代优化,直到所述第二损失函数值满足第二收敛条件,得到训练后的神经网络模型作为机载车辆识别模型;其中,所述第二损失函数值由各所述目标特征描述维度下的车辆特征信息与所述标定车辆描述索引中对应的各索引特征的第二匹配度计算得到,所述第二收敛条件包括所述第二损失函数值表征的第二匹配度达到第二预设匹配度阈值,所述第二预设匹配度阈值小于所述第一预设匹配度阈值;
将所述机载车辆识别模型下发至各所述无人机,使所述无人机根据所述机载车辆识别模型对所述设定监控区域内的车辆进行目标车辆识别,以向所述无人机控制中心反馈所述初步识别结果。
5.根据权利要求3或4所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述获取训练样本库,包括:
通过多个无人机获取设定场景下的车辆监控画面,得到多个车辆监控画面;
将各所述车辆监控画面作为车辆监控画面样本存储至预先设定的样本数据库中;
提取所述样本数据库中的各所述车辆监控画面样本在多个目标特征描述维度下的车辆特征信息,得到每个车辆监控画面样本对应的特征提取结果;
根据每个所述车辆监控画面样本对应的特征提取结果,对所述样本数据库中的车辆监控画面样本进行样本过滤,得到过滤后的样本数据库;
根据过滤后的样本数据库中各车辆监控画面样本对应的特征提取结果得到所述车辆监控画面样本对应的标定车辆描述索引,并将所述车辆描述索引与所述车辆监控画面样本在所述样本数据库中进行关联存储,得到所述训练样本库;
其中,根据每个所述车辆监控画面样本对应的特征提取结果,对所述样本数据库中的车辆监控画面样本进行样本过滤,得的过滤后的样本数据库,包括:
针对每个所述车辆监控画面样本,确定所述车辆监控画面样本对应的所述特征提取结果中是否存在特征缺失;
若存在特征缺失,则将所述车辆监控画面样本从所述训练样本库中删除;
其中,所述特征缺失包括所述车辆监控画面样本对应的特征提取结果中缺少预先确定的目标特征描述维度下的车辆特征信息或者缺少预设数量个目标特征描述维度下的车辆特征信息。
6.根据权利要求5所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述获取训练样本库,还包括:
拷贝所述训练样本库中一部分车辆监控画面样本作为待处理样本;
将所述待处理样本对应的车辆描述索引中的至少一个目标特征描述维度对应的索引特征进行特征模糊处理,所述特征模糊处理包括将对应的索引特征使用设定的模糊特征替代或者删除对应的索引特征;
将特征模糊处理后的待处理样本作为扩展训练样本加入所述训练样本库,并对加入所述扩展训练样本后的训练样本库进行样本乱序处理,得到优化后的训练样本库;
其中,所述多个目标特征描述维度的数量为N,所述将所述待处理样本对应的车辆描述索引中的至少一个特征描述维度对应的索引特征进行特征模糊处理,包括:
将所述待处理样本加入预先建立的样本序列中,得到待处理样本序列;
确定每个目标特征描述维度所需进行特征模糊处理的样本数量;
根据第i个目标特征描述维度所需进行特征模糊处理的样本数量,从所述待处理样本序列中获取对应数量的待处理样本,并对所述待处理样本对应的第i个目标特征描述维度对应的索引特征进行特征模糊处理,得到第i个扩展样本序列;其中,i为大于等于1小于等于N的自然数;
所述将特征模糊处理后的待处理样本作为扩展训练样本加入所述训练样本库,并对加入所述扩展训练样本后的训练样本库进行样本乱序处理,得到优化后的训练样本库,包括:
依序将所述得到的第i个扩展样本序列加入所述训练样本库,并在第N个扩展样本序列加入所述训练样本库之后,对所述训练样本库进行样本乱序处理。
7.根据权利要求6所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述将所述待处理样本对应的车辆描述索引中的至少一个目标特征描述维度对应的索引特征进行特征模糊处理获取训练样本库,还包括:
确定预先设定的进行特征模糊处理对应的由至少两个目标特征描述维度进行组合得到的至少一个维度组合;
针对每个所述维度组合,从所述待处理样本中获取至少一个对应的待处理样本,并将所述获取的待处理样本中与所述维度组合中包括的目标特征描述维度对应的索引特征进行多特征模糊处理。
8.根据权利要求1所述的基于城市管理的无人机智能车辆识别方法,其特征在于,所述第一车辆描述信息还包括针对所述目标车辆的第一时空域信息,所述初步识别结果还包括各所述无人机反馈的监控视频画面对应的第二时空域信息;所述接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,包括:
根据所述第一时空域信息和所述第二时空域信息对各所述无人机进行置信度决策,得到各所述无人机分别与所述目标车辆之间的置信度参数;
将对应的置信度参数小于预设置信度阈值的无人机反馈的监控视频画面滤除,得到待决策监控画面序列;
根据所述待决策监控画面序列中的每个监控视频画面,获得所述目标车辆的第二车辆描述信息;
其中,所述根据所述第一时空域信息和所述第二时空域信息对各所述无人机进行置信度决策,包括:
根据所述第一时空域信息获取所述目标车辆对应的第一时间信息和第一位置信息;
根据所述第二时空域信息获取各所述无人机反馈的监控视频画面对应的第二时间信息和第二位置信息;
调用所述设定监控区域对应的电子地图,根据所述电子地图确定所述目标车辆从所述第一位置信息对应的第一位置达到所述第二位置信息对应的第二位置的可行路径和对应的预测时间;
根据所述预测时间以及所述第一时间信息和第二时间信息的时间间隔确定所述目标车辆与各所述无人机对应的置信度参数。
9.一种基于城市管理的无人机智能车辆识别***,其特征在于,应用于无人机控制中心,所述***包括:
第一识别模块,用于接收目标车辆的第一车辆描述信息,根据所述车辆描述信息向设定监控区域内的各无人机发送车辆识别指令,使各无人机在对应区域内进行目标车辆的初步识别,所述第一车辆描述信息包括第一车辆描述索引;
第二识别模块,用于接收各无人机在初步识别过程中反馈的初步识别结果,并根据所述初步识别结果获得所述目标车辆的第二车辆描述信息,所述初步识别结果包括与所述第一车辆描述信息的匹配度达到第一预设匹配度的至少一个监控视频画面;
目标确定模块,用于根据所述第二车辆描述信息,确定所述设定监控区域内的至少一个无人机作为目标无人机;以及
跟踪监控模块,用于根据所述第二车辆描述信息向所述目标无人机发送跟踪监控指令,使所述目标无人机对所述目标车辆进行实时跟踪监控及定位。
10.根据权利要求9所述的基于城市管理的无人机智能车辆识别***,其特征在于,所述第二识别模块具体用于:
从各所述无人机反馈的所述初步识别结果中获取各所述无人机反馈的与所述第一车辆描述信息的匹配度达到第一预设匹配度的监控视频画面;
针对每个所述监控视频画面,调用监控端车辆识别模型,通过所述监控端车辆识别模型包括的与多个特征描述维度分别对应的卷积网络层从所述监控视频画面中提取各所述特征描述维度下的车辆特征信息;
通过所述监控端车辆识别模型包括的特征转换层将每个所述特征描述维度下的车辆特征信息进行特征转换,得到每个所述特征描述维度下的车辆特征信息对应的索引特征;
通过所述监控端车辆识别模型包括的结果输出层根据所述特征描述维度下的车辆特征信息对应的索引特征与所述第一车辆描述信息对应的第一车辆描述索引计算所述监控视频画面与所述第一车辆描述信息的匹配度, 若所述匹配度达到第二预设匹配度,则将所述监控视频画面确定为目标画面,其中所述第二预设匹配度大于所述第一预设匹配度;
获取预先设定的全局特征描述维度序列,所述全局特征描述维度序列包括针对所述目标车辆的多个所述目标特征描述维度;
根据所述全局特征描述维度序列以及所述第一车辆描述信息的第一车辆描述索引确定针对所述目标车辆的缺失特征描述维度;
从所述目标画面中获取所述缺失特征描述维度下的车辆缺失特征信息,根据所述车辆缺失特征信息对所述第一车辆描述信息进行优化,得到所述第二车辆描述信息;
所述目标确定模块具体用于:根据所述第二车辆描述信息中的车辆缺失特征信息所对应的目标监控画面,确定反馈所述目标监控画面的无人机作为所述目标无人机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111051756.5A CN113516106B (zh) | 2021-09-08 | 2021-09-08 | 基于城市管理的无人机智能车辆识别方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111051756.5A CN113516106B (zh) | 2021-09-08 | 2021-09-08 | 基于城市管理的无人机智能车辆识别方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113516106A true CN113516106A (zh) | 2021-10-19 |
CN113516106B CN113516106B (zh) | 2021-12-10 |
Family
ID=78063030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111051756.5A Active CN113516106B (zh) | 2021-09-08 | 2021-09-08 | 基于城市管理的无人机智能车辆识别方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113516106B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140347482A1 (en) * | 2009-02-20 | 2014-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for unmanned aerial vehicles |
CN109445465A (zh) * | 2018-10-17 | 2019-03-08 | 深圳市道通智能航空技术有限公司 | 基于无人机的追踪方法、***、无人机及终端 |
CN110874578A (zh) * | 2019-11-15 | 2020-03-10 | 北京航空航天大学青岛研究院 | 一种基于强化学习的无人机视角车辆识别追踪方法 |
CN112863186A (zh) * | 2021-01-18 | 2021-05-28 | 南京信息工程大学 | 一种基于车载无人机的逃逸车辆快速识别和追踪方法 |
-
2021
- 2021-09-08 CN CN202111051756.5A patent/CN113516106B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140347482A1 (en) * | 2009-02-20 | 2014-11-27 | Appareo Systems, Llc | Optical image monitoring system and method for unmanned aerial vehicles |
CN109445465A (zh) * | 2018-10-17 | 2019-03-08 | 深圳市道通智能航空技术有限公司 | 基于无人机的追踪方法、***、无人机及终端 |
CN110874578A (zh) * | 2019-11-15 | 2020-03-10 | 北京航空航天大学青岛研究院 | 一种基于强化学习的无人机视角车辆识别追踪方法 |
CN112863186A (zh) * | 2021-01-18 | 2021-05-28 | 南京信息工程大学 | 一种基于车载无人机的逃逸车辆快速识别和追踪方法 |
Non-Patent Citations (1)
Title |
---|
彭博 等: "基于改进Faster R-CNN的无人机视频车辆自动检测", 《东南大学学报(自然科学版)》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113516106B (zh) | 2021-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10636169B2 (en) | Synthesizing training data for broad area geospatial object detection | |
US20230084869A1 (en) | System for simplified generation of systems for broad area geospatial object detection | |
CN108764456B (zh) | 机载目标识别模型构建平台、机载目标识别方法及设备 | |
CN111723728A (zh) | 基于双向交互网络的行人搜索方法、***、装置 | |
CN112115996B (zh) | 图像数据的处理方法、装置、设备及存储介质 | |
WO2018222775A1 (en) | Broad area geospatial object detection | |
CN115423040A (zh) | 互动营销平台的用户画像识别方法及ai*** | |
CN113869598B (zh) | 基于智慧城市的无人机智能远程管理方法、***及云平台 | |
CN113298042B (zh) | 遥感影像数据的处理方法及装置、存储介质、计算机设备 | |
CN113516106B (zh) | 基于城市管理的无人机智能车辆识别方法及*** | |
CN113901037A (zh) | 数据管理方法、装置及存储介质 | |
CN111897864B (zh) | 一种基于互联网ai外呼的专家库数据抽取方法及*** | |
CN112784008B (zh) | 案件相似度确定方法及装置、存储介质、终端 | |
CN113744280A (zh) | 图像处理方法、装置、设备及介质 | |
CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
CN114550107B (zh) | 基于无人机集群的桥梁联动智能巡检方法、***及云平台 | |
CN115953584A (zh) | 一种具有可学习稀疏性的端到端目标检测方法及*** | |
CN112182413B (zh) | 一种基于教学大数据的智能推荐方法及服务器 | |
CN113593256A (zh) | 基于城市管理的无人机智能驱离控制方法、***及云平台 | |
CN112882888A (zh) | 基于智能在线通信和大数据的信息生成方法及*** | |
CN111784606A (zh) | 一种遥感图像分类后处理方法、存储介质及*** | |
CN113412493A (zh) | 基于推理引擎的计算资源分配方法、装置和计算机设备 | |
Zhang et al. | Vehicle target detection method based on improved YOLO V3 network model | |
CN116737814B (zh) | 基于多源异构大数据融合的快速集成方法及*** | |
CN113837863B (zh) | 一种业务预测模型创建方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |