CN112508080B - 基于经验回放的车辆型号识别方法、装置、设备及介质 - Google Patents

基于经验回放的车辆型号识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN112508080B
CN112508080B CN202011394840.2A CN202011394840A CN112508080B CN 112508080 B CN112508080 B CN 112508080B CN 202011394840 A CN202011394840 A CN 202011394840A CN 112508080 B CN112508080 B CN 112508080B
Authority
CN
China
Prior art keywords
model
vehicle
network
training
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011394840.2A
Other languages
English (en)
Other versions
CN112508080A (zh
Inventor
彭凌西
李泽轩
邵楚越
江卓飞
徐泽峰
林泉余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Enterprise Management Co ltd
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN202011394840.2A priority Critical patent/CN112508080B/zh
Publication of CN112508080A publication Critical patent/CN112508080A/zh
Application granted granted Critical
Publication of CN112508080B publication Critical patent/CN112508080B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于经验回放的车辆型号识别方法、装置、设备及介质，方法包括：获取原始车辆图像；所述原始车辆图像包括车辆型号信息；通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。本发明提高了对车辆型号的识别能力，设计了车辆外观图像训练样本的拓展方法，并在此基础上，针对生成结果不理想的车辆外观样本利用带有经验回放的优化了GAN的生成图片结果，可广泛应用于图像处理技术领域。

Description

基于经验回放的车辆型号识别方法、装置、设备及介质
技术领域
本发明涉及图像处理技术领域，尤其是一种基于经验回放的车辆型号识别方法、装置、设备及介质。
背景技术
汽车市场更新迭代速度不断提高，市面上不同品牌型号的车辆持续大量涌现，现有技术缺乏有效识别车辆品牌型号信息的手段。传统的车辆识别***识别信息只局限于号牌的字符、颜色的识别，能够识别的信息单一、缺乏多元性，且识别算法不能根据实际应用环境进行动态的自我调校更新及识别数据集的扩充，面对车辆厂家频频推出新型号的时代环境，已经不能满足车辆信息识别的需求。
车辆型号作为驾车用户画像的一部分，在个性化服务等领域尚未能作为有效的价值数据发挥其作用，若能将车辆型号、牌照等信息合理利用，将能在提升用户用车停车体验、消费体验、个性化定制服务等多方面的体验，也有助于相关行业产业推出定制化的商业推广、安保服务等产品。
发明内容
有鉴于此，本发明实施例提供一种基于经验回放的车辆型号识别方法、装置、设备及介质，提高识别准确率。
本发明的第一方面提供了一种基于经验回放的车辆型号识别方法，包括：
获取原始车辆图像；所述原始车辆图像包括车辆型号信息；
通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；
将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；
根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。
可选地，所述获取原始车辆图像信息，包括：
通过爬虫技术爬取已知车辆型号信息的原始车辆图像；
对所述原始车辆图像进行灰度化处理、亮度归一化处理以及对比度归一化处理，得到用于表征纹理信息的目标图像；
将所述目标图像输入到预训练网络中，提取出特征块；
将所述特征块输入SVM分类器中进行训练，得到目标SVM分类器；
将所述目标图像输入所述SVM分类器，输出各类识别结果的概率标签；
根据所述概率标签，计算车辆型号的识别结果，作为原始车辆图像中的车辆型号信息。
可选地，所述通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据，包括：
向所述GAN网络输入噪声数据，得到测试样本，将所述原始车辆图像作为训练样本；
将所述训练样本和所述测试样本输入所述GAN网络的初始判别器中，得到判别结果；
通过DQN网络对所述GAN网络进行训练，得到理想生成器和理想判别器；
通过所述理想生成器生成车辆外观图像，并由所述理想判别器对所述生成的车辆外观图像进行检验，并将通过检验的车辆外观图像作为所述原始车辆图像的扩充结果。
可选地，所述将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型，包括：
将所述车型样本数据作为当前状态数据；
将所述当前状态数据输入带有经验回放的对抗网络进行训练，对Q值函数进行更新，直到所述Q值函数收敛，获得收敛后的神经网络模型；
将所述测试样本输入所述神经网络模型，对所述神经网络模型进行测试，得到目标模型。
可选地，所述将所述当前状态数据输入带有经验回放的对抗网络进行训练，对Q值函数进行更新，直到所述Q值函数收敛，获得收敛后的神经网络模型，包括：
获取车辆信号图片的样本参数，生成马尔可夫决策过程四元组；
在Prioritized Replay DQN中初始化Q-Table；
在Prioritized Replay DQN中实现所述Q-Table。
可选地，所述在Prioritized Replay DQN中实现所述Q-Table，包括：
采用深度神经网络作为Q-Table，并预设目标参数；
在Q值中使用2范数来定义目标函数；
计算所述目标参数关于代价函数的梯度；
根据所述梯度，使用随机梯度下降法得到最优Q值；
根据所述最优Q值对所述深度神经网络进行循环训练；
获取经验回放数据集，根据所述目标函数，通过梯度反向传播来更新Q网络的所有超参数。
根据本发明的另一方面，提供了一种基于经验回放的车辆型号识别装置，包括：
获取模块，用于获取原始车辆图像；所述原始车辆图像包括车辆型号信息；
数据扩充模块，用于通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；
训练模块，用于将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；
识别模块，用于根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。
根据本发明的另一方面，提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明的实施例首先获取原始车辆图像；接着，通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；然后将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；最后根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。本发明实施例提高了对车辆型号的识别能力，设计了车辆外观图像训练样本的拓展方法，并在此基础上，针对生成结果不理想的车辆外观样本利用带有经验回放的优化了GAN的生成图片结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的方法步骤流程图；
图2为本发明实施例提供的完整实施流程图；
图3为本发明实施例提供的预训练网络DenseNet的结构示意图；
图4为本发明实施例提供的对抗生成网络的步骤流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
针对现有技术存在的问题，本发明提供了一种基于经验回放的车辆型号识别方法、装置、设备及介质。本发明提出利用深度卷积神经网络为车辆识别***增加车辆型号识别的能力，并基于GAN(生成对抗网络)设计了车辆外观图像训练样本的拓展方法，并在此基础上，针对生成结果不理想的车辆外观样本利用带有经验回放的优化了GAN的生成图片结果。
参照图1，本发明的方法包括以下步骤：
获取原始车辆图像；所述原始车辆图像包括车辆型号信息；
通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；
将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；
根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。
具体地，所述获取原始车辆图像信息，包括：
通过爬虫技术爬取已知车辆型号信息的原始车辆图像；
对所述原始车辆图像进行灰度化处理、亮度归一化处理以及对比度归一化处理，得到用于表征纹理信息的目标图像；
将所述目标图像输入到预训练网络中，提取出特征块；
将所述特征块输入SVM分类器中进行训练，得到目标SVM分类器；
将所述目标图像输入所述SVM分类器，输出各类识别结果的概率标签；
根据所述概率标签，计算车辆型号的识别结果，作为原始车辆图像中的车辆型号信息。
具体地，本发明实施例利用爬虫技术爬取确知型号的车辆图像与型号信息，对图像进行标签归类，形成训练样本集，为训练GAN网络及SVM判别模型做准备，具体步骤如下11-14：
步骤11，对图像进行预处理，对于车辆型号的判别，只需要使用其纹理信息，对图像数据集进行灰度化处理及亮度、对比度归一化等处理。
步骤12，将上述图像输入到预训练网络DenseNet中，检出目标并提取出特征分块，作为SVM支持向量机分类器的分块特征训练样本。对于DenseNet网络，其隐藏层每一层的输入均与前面所有层的输出相连，以xl表示第l层网络的输出，Hl(·)函数表示一种包含一系列BN-ReLU-Conv运算的组合运算
xl＝Hl([x0,x1,…,xl-1])
步骤13，待识别型号的车辆图像经过上述步骤11-12后，得到的输出作为分块特征测试样本，输入到SVM支持向量机分类器进行分类，输出特征分块识别结果的概率标签，对各分块概率标签计算得到识别结果。
步骤14，GAN网络补充的样本会进入到确知型号车辆图像的样本集中，因而需要持续更新训练SVM分类器的分块特征训练样本，并利用特征分块识别结果概率标签一同对SVM分类器进行迭代更新训练，以保持其良好分类性能。
本发明实施例所述预训练网络DenseNet具体包括：
对于预训练网络DenseNet，在每个处理模块中，特征信息均能通过直接通道从低层向高层进行前向传播，使高层可以充分获取来自低层的特征，使得冗余层的出现大大减少，加强了特征复用，抗过拟合能力更强。
可选地，所述通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据，包括：
向所述GAN网络输入噪声数据，得到测试样本，将所述原始车辆图像作为训练样本；
将所述训练样本和所述测试样本输入所述GAN网络的初始判别器中，得到判别结果；
通过DQN网络对所述GAN网络进行训练，得到理想生成器和理想判别器；
通过所述理想生成器生成车辆外观图像，并由所述理想判别器对所述生成的车辆外观图像进行检验，并将通过检验的车辆外观图像作为所述原始车辆图像的扩充结果。
具体地，所述GAN网络对车辆外观图像集进行扩充包括以下步骤21-25：
步骤21，向GAN生成器输入噪声z～P(z)得到输出G(z)作为测试样本。
步骤22，将训练集中的真实车辆外观图像x作为训练样本，与GAN生成器所生成的测试样本G(z)一起输入到GAN判别器D中获得判别结果D(G(z))。
步骤23，DQN网络对GAN进行训练，多次迭代后，得到生成图像不被判别器判伪概率趋近0.5的较理想生成器与对生成器所生成图像判真概率趋近0.5的较理想判别器。
步骤24，使用前述完成训练的生成器与判别器组合，由生成器持续学***时，生成器所生成的样本准许加入到车辆外观图像集，完成扩充。
步骤25，持续监测生成器与判别器状态，通过DQN网络计算回报迭代生成器、训练判别器，维持其较理想的状态。
可选地，所述将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型，包括：
将所述车型样本数据作为当前状态数据；
将所述当前状态数据输入带有经验回放的对抗网络进行训练，对Q值函数进行更新，直到所述Q值函数收敛，获得收敛后的神经网络模型；
将所述测试样本输入所述神经网络模型，对所述神经网络模型进行测试，得到目标模型。
具体地，本发明是实力所述的基于带有经验回放的深度强化学习的对抗网络训练方法，所述步骤具体包括31-34：
步骤31生成器生成并输入用来训练的车型样本作为当前状态数据；
步骤32将各参数输入带有经验回放的深度强化学习进行训练；不断更新Q值函数，直到Q值函数收敛，获得收敛后的神经神经网络模型；
步骤33将用来测试的生成样本动态参数输入上述得到的模型；
步骤34对GAN网络进行迭代，使得GAN网络能够输出接近于真实车型的样本图片。
可选地，所述将所述当前状态数据输入带有经验回放的对抗网络进行训练，对Q值函数进行更新，直到所述Q值函数收敛，获得收敛后的神经网络模型，包括：
获取车辆信号图片的样本参数，生成马尔可夫决策过程四元组；
在Prioritized Replay DQN中初始化Q-Table；
在Prioritized Replay DQN中实现所述Q-Table。
具体地，在上述步骤32中，具体包括：
获取车辆型号图片的样本参数，生成马尔可夫决策过程四元组E＝<S,A,P,R>，其中，S为状态集描述车辆型号样本生成的图片在神经网络输出的概率，A为对抗生成网络生成的样本图片，P为状态转移函数，R为奖赏函数；
采用Prioritized Replay DQN来训练数据；初始化Q-Table，行和列分别是S和A，Q-Table的值用来衡量当前状态s采取动作a的好坏；在训练过程中采用Bellman等式来更新Q-Table：
Q(s,a)＝r+γ(max(Q(s',a')))
其中，s为状态，a为动作，s'为下一个状态，a'为下一个状态可能采取的动作，Q(s,a)为当前状态s采取动作a后的Q值，r为实际奖励值，γ为衰减率，max(Q(s',a'))为下一个状态的最大Q值；
在Prioritized Replay DQN中通过神经网络来实现Q-Table，输入状态s，输出不同动作a的Q值。
可选地，所述在Prioritized Replay DQN中实现所述Q-Table，包括：
采用深度神经网络作为Q-Table，并预设目标参数；
在Q值中使用2范数来定义目标函数；
计算所述目标参数关于代价函数的梯度；
根据所述梯度，使用随机梯度下降法得到最优Q值；
根据所述最优Q值对所述深度神经网络进行循环训练；
获取经验回放数据集，根据所述目标函数，通过梯度反向传播来更新Q网络的所有超参数。
具体地，本发明实施例对Q-Table的实现具体包括以下步骤(1)-(6)：
(1)采用深度神经网络作为Q-Table，参数为θ：
Q(s,a,θ)＝Qπ(s,a)
(2)在Q值中使用2范数来定义目标函数：
L(θ)＝||r+γ·maxQ(s',a',θ)-Q(s,a,θ)||2；
(3)计算参数θ关于代价函数的梯度；
(4)使用随机梯度下降法实现端到端的优化目标；
计算出上述梯度，从深度神经网络中进行计算，使用随机梯度下降来更新参数，从而得到最优的Q值；
(5)以概率ε随机选择动作at或通过神经网络输出的Q值选择Q值最大的动作at，得到执行动作at后的奖励rt和下一个网络的输入，神经网络再根据当前的值计算下一个时刻网络的输出，如此循环。
所述步骤(5)中奖励值包括：神经网络输出的概率P1与实际概率P2的均方差值加上该生成样本车型占总车型的百分比K:
在训练的过程中经过若干次迭代、训练后，当代表奖赏的Q值收敛到最大值时，分配策略得到优化。
(6)将st、at、rt、st+1和终止判定指标依次存放入经验回放数据集D中，当数据达到一定数量时开始从D中连续采样m个样本，计算当前目标Q值，通过梯度反向传播来更新Q网络的所有超参数，同时令当前状态s＝s t+1，若s为终止状态则当前轮迭代完毕，或达到迭代轮数T则结束全部迭代，否则转到步骤(5)继续进行迭代。具体方法如下：
在数据不断迭代更新的过程中，每个数段t都将st、at、rt、st+1和终止判定指标done组成的五元组{s t,a t,r t,s t+1,done}存放入经验回放集合D中。当存入数量达到回放集合容量大小D时，按个滚动溢出旧的数据而存入新数据，保证D中样本的有效性。一旦样本数量达到小批量训练样本数量m时，就开始从D中随机采样m个样本(j＝1,2..,m)，计算每个样本对应的当前目标Q值yj。并将经验回放对数据中的状态st转换成标签储存，可用于商业数据分析。
使用均方差损失函数L(θ)，通过神经网络的梯度反向传播来更新Q网络的所有参数θ。
下面结合图2，详细描述本发明的车辆型号识别方法的实施步骤：
步骤1，车辆外观特征提取与识别：
本发明实施例利用爬虫技术爬取确知型号的车辆图像与型号信息，对图像进行标签归类，形成训练样本集，为训练GAN网络及SVM判别模型做准备，具体步骤如下：
步骤11，对图像进行预处理，对于车辆型号的判别，只需要使用其纹理信息，对图像数据集进行灰度化处理及亮度、对比度归一化等处理。
步骤12，将上述图像输入到预训练网络DenseNet中，检出目标并提取出特征分块，作为SVM支持向量机分类器的分块特征训练样本。对于DenseNet网络，其隐藏层每一层的输入均与前面所有层的输出相连，以xl表示第l层网络的输出，Hl(·)函数表示一种包含一系列BN-ReLU-Conv运算的组合运算
xl＝Hl([x0,x1,…,xl-1])
步骤13，待识别型号的车辆图像经过上述步骤11-12后，得到的输出作为分块特征测试样本，输入到SVM支持向量机分类器进行分类，输出特征分块识别结果的概率标签，对各分块概率标签计算得到识别结果。
步骤14，GAN网络补充的样本会进入到确知型号车辆图像的样本集中，因而需要持续更新训练SVM分类器的分块特征训练样本，并利用特征分块识别结果概率标签一同对SVM分类器进行迭代更新训练，以保持其良好分类性能。
步骤12所述预训练网络DenseNet具体包括：
对于预训练网络DenseNet，结构如图3所示，在每个处理模块中，特征信息均能通过直接通道从低层向高层进行前向传播，使高层可以充分获取来自低层的特征，使得冗余层的出现大大减少，加强了特征复用，抗过拟合能力更强。
步骤2，GAN网络对车辆外观图像集进行扩充
步骤21，向GAN生成器输入噪声z～P(z)得到输出G(z)作为测试样本。
步骤22，将训练集中的真实车辆外观图像x作为训练样本，与GAN生成器所生成的测试样本G(z)一起输入到GAN判别器D中获得判别结果D(G(z))。
步骤23，DQN网络对GAN进行训练，多次迭代后，得到生成图像不被判别器判伪概率趋近0.5的较理想生成器与对生成器所生成图像判真概率趋近0.5的较理想判别器。
步骤24，使用前述完成训练的生成器与判别器组合，由生成器持续学***时，生成器所生成的样本准许加入到车辆外观图像集，完成扩充。
步骤25，持续监测生成器与判别器状态，通过DQN网络计算回报迭代生成器、训练判别器，维持其较理想的状态。
步骤3所述的基于带有经验回放的深度强化学习的对抗网络训练方法，如图4所示，所述步骤具体包括：
步骤31生成器生成并输入用来训练的车型样本作为当前状态数据；
步骤32将各参数输入带有经验回放的深度强化学习进行训练；不断更新Q值函数，直到Q值函数收敛，获得收敛后的神经神经网络模型；
步骤33将用来测试的生成样本动态参数输入上述得到的模型；
步骤34对GAN网络进行迭代，使得GAN网络能够输出接近于真实车型的样本图片。
所述步骤32具体包括：
获取车辆型号图片的样本参数，生成马尔可夫决策过程四元组E＝<S,A,P,R>，其中，S为状态集描述车辆型号样本生成的图片在神经网络输出的概率，A为对抗生成网络生成的样本图片，P为状态转移函数，R为奖赏函数；
采用Prioritized Replay DQN来训练数据；初始化Q-Table，行和列分别是S和A，Q-Table的值用来衡量当前状态s采取动作a的好坏；在训练过程中采用Bellman等式来更新Q-Table：
Q(s,a)＝r+γ(max(Q(s',a')))
其中，s为状态，a为动作，s'为下一个状态，a'为下一个状态可能采取的动作，Q(s,a)为当前状态s采取动作a后的Q值，r为实际奖励值，γ为衰减率，max(Q(s',a'))为下一个状态的最大Q值；
在Prioritized Replay DQN中通过神经网络来实现Q-Table，输入状态s，输出不同动作a的Q值，具体实现过程如下：
(1)采用深度神经网络作为Q-Table，参数为θ：
Q(s,a,θ)＝Qπ(s,a)
(2)在Q值中使用2范数来定义目标函数：
L(θ)＝||r+γ·maxQ(s',a',θ)-Q(s,a,θ)||2；
(3)计算参数θ关于代价函数的梯度；
(4)使用随机梯度下降法实现端到端的优化目标；
计算出上述梯度，从深度神经网络中进行计算，使用随机梯度下降来更新参数，从而得到最优的Q值；
(5)以概率ε随机选择动作at或通过神经网络输出的Q值选择Q值最大的动作at，得到执行动作at后的奖励rt和下一个网络的输入，神经网络再根据当前的值计算下一个时刻网络的输出，如此循环。
所述步骤(5)中奖励值包括：神经网络输出的概率P1与实际概率P2的均方差值加上该生成样本车型占总车型的百分比K:
在训练的过程中经过若干次迭代、训练后，当代表奖赏的Q值收敛到最大值时，分配策略得到优化。
(6)将st、at、rt、st+1和终止判定指标依次存放入经验回放数据集D中，当数据达到一定数量时开始从D中连续采样m个样本，计算当前目标Q值，通过梯度反向传播来更新Q网络的所有超参数，同时令当前状态s＝s t+1，若s为终止状态则当前轮迭代完毕，或达到迭代轮数T则结束全部迭代，否则转到步骤(5)继续进行迭代。具体方法如下：
在数据不断迭代更新的过程中，每个数段t都将st、at、rt、st+1和终止判定指标done组成的五元组{s t,a t,r t,s t+1,done}存放入经验回放集合D中。当存入数量达到回放集合容量大小D时，按个滚动溢出旧的数据而存入新数据，保证D中样本的有效性。一旦样本数量达到小批量训练样本数量m时，就开始从D中随机采样m个样本(j＝1,2..,m)，计算每个样本对应的当前目标Q值yj。并将经验回放对数据中的状态st转换成标签储存，可用于商业数据分析。
使用均方差损失函数L(θ)，通过神经网络的梯度反向传播来更新Q网络的所有参数θ。
综上所述，本发明实施例提高了对车辆型号的识别能力，设计了车辆外观图像训练样本的拓展方法，并在此基础上，针对生成结果不理想的车辆外观样本利用带有经验回放的优化了GAN的生成图片结果。
本发明实施例还提供了一种基于经验回放的车辆型号识别装置，包括：
获取模块，用于获取原始车辆图像；所述原始车辆图像包括车辆型号信息；
数据扩充模块，用于通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；
训练模块，用于将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；
识别模块，用于根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。
本发明实施例还提供了一种电子设备，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如前面所述的方法。
本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (6)

1.一种基于经验回放的车辆型号识别方法，其特征在于，包括：
获取原始车辆图像；所述原始车辆图像包括车辆型号信息；
通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；
根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号；
所述将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型，包括：
将所述车型样本数据作为当前状态数据；
将所述当前状态数据输入带有经验回放的对抗网络进行训练，对Q值函数进行更新，直到所述Q值函数收敛，获得收敛后的神经网络模型；将测试样本输入所述神经网络模型，对所述神经网络模型进行测试，得到目标模型；
所述将所述当前状态数据输入带有经验回放的对抗网络进行训练，对Q值函数进行更新，直到所述Q值函数收敛，获得收敛后的神经网络模型，包括：
获取车辆信号图片的样本参数，生成马尔可夫决策过程四元组；
在Prioritized Replay DQN中初始化Q-Table；
在Prioritized Replay DQN中实现所述Q-Table；
所述在Prioritized Replay DQN中实现所述Q-Table，包括：采用深度神经网络作为Q-Table，并预设目标参数；
在Q值中使用2范数来定义目标函数；
计算所述目标参数关于代价函数的梯度；
根据所述梯度，使用随机梯度下降法得到最优Q值；
根据所述最优Q值对所述深度神经网络进行循环训练；
获取经验回放数据集，根据所述目标函数，通过梯度反向传播来更新Q网络的所有超参数；
具体的实现过程如下：
(1)采用深度神经网络作为Q-Table，参数为θ：
Q(s,a,θ)＝Qπ(s,a)
(2)在Q值中使用2范数来定义目标函数：
L(θ)＝||r+γ·maxQ(s',a',θ)-Q(s,a,θ)||2；
(3)计算参数θ关于代价函数的梯度；
(4)使用随机梯度下降法实现端到端的优化目标；
计算出上述梯度，从深度神经网络中进行计算，使用随机梯度下降来更新参数，从而得到最优的Q值；
(5)以概率ε随机选择动作at或通过神经网络输出的Q值选择Q值最大的动作at，得到执行动作at后的奖励rt和下一个网络的输入，神经网络再根据当前的值计算下一个时刻网络的输出，如此循环；
所述步骤(5)中奖励值包括：神经网络输出的概率P1与实际概率P2的均方差值加上该生成样本车型占总车型的百分比K:
在训练的过程中经过若干次迭代、训练后，当代表奖赏的Q值收敛到最大值时，分配策略得到优化；
(6)将s t、a t、r t、s t+1和终止判定指标依次存放入经验回放数据集D中，当数据达到一定数量时开始从D中连续采样m个样本，计算当前目标Q值，通过梯度反向传播来更新Q网络的所有超参数，同时令当前状态s＝s t+1，若s为终止状态则当前轮迭代完毕，或达到迭代轮数T则结束全部迭代，否则转到步骤(5)继续进行迭代。
2.根据权利要求1所述的一种基于经验回放的车辆型号识别方法，其特征在于，所述获取原始车辆图像信息，包括：
通过爬虫技术爬取已知车辆型号信息的原始车辆图像；
对所述原始车辆图像进行灰度化处理、亮度归一化处理以及对比度归一化处理，得到用于表征纹理信息的目标图像；
将所述目标图像输入到预训练网络中，提取出特征块；
将所述特征块输入SVM分类器中进行训练，得到目标SVM分类器；
将所述目标图像输入所述SVM分类器，输出各类识别结果的概率标签；根据所述概率标签，计算车辆型号的识别结果，作为原始车辆图像中的车辆型号信息。
3.根据权利要求2所述的一种基于经验回放的车辆型号识别方法，其特征在于，所述通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据，包括：
向所述GAN网络输入噪声数据，得到测试样本，将所述原始车辆图像作为训练样本；
将所述训练样本和所述测试样本输入所述GAN网络的初始判别器中，得到判别结果；具体地，所述判别结果的计算公式为：
其中，z～pr(z)为输入噪声数据；G(z)为测试样本；D代表初始判别器；D(G(z))为判别结果；
通过DQN网络对所述GAN网络进行训练，得到理想生成器和理想判别器；
通过所述理想生成器生成车辆外观图像，并由所述理想判别器对所述生成的车辆外观图像进行检验，并将通过检验的车辆外观图像作为所述原始车辆图像的扩充结果。
4.一种用于实现如权利要求1-3任一项所述的一种基于经验回放的车辆型号识别方法的装置，其特征在于，包括：
获取模块，用于获取原始车辆图像；所述原始车辆图像包括车辆型号信息；
数据扩充模块，用于通过GAN网络对所述原始车辆图像进行数据扩充，得到车型样本数据；
训练模块，用于将所述车型样本数据输入带有经验回放的对抗网络进行训练，得到目标模型；
识别模块，用于根据所述目标模型对获取的待识别车辆图像进行识别，确定所述待识别车辆图像中的车辆型号。
5.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-3中任一项所述的方法。
6.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-3中任一项所述的方法。
CN202011394840.2A 2020-12-03 2020-12-03 基于经验回放的车辆型号识别方法、装置、设备及介质 Active CN112508080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011394840.2A CN112508080B (zh) 2020-12-03 2020-12-03 基于经验回放的车辆型号识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011394840.2A CN112508080B (zh) 2020-12-03 2020-12-03 基于经验回放的车辆型号识别方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112508080A CN112508080A (zh) 2021-03-16
CN112508080B true CN112508080B (zh) 2024-01-12

Family

ID=74969435

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011394840.2A Active CN112508080B (zh) 2020-12-03 2020-12-03 基于经验回放的车辆型号识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112508080B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326941A (zh) * 2021-06-25 2021-08-31 江苏大学 基于多层多注意力迁移的知识蒸馏方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611193A (zh) * 2016-12-20 2017-05-03 太极计算机股份有限公司 一种基于特征变量算法的图像内容信息分析方法
CN108805177A (zh) * 2018-05-22 2018-11-13 同济大学 基于深度学习的复杂环境背景下车辆型号识别方法
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN110147709A (zh) * 2018-11-02 2019-08-20 腾讯科技（深圳）有限公司 车辆属性模型的训练方法、装置、终端及存储介质
CN110458120A (zh) * 2019-08-15 2019-11-15 中国水利水电科学研究院 一种复杂环境下不同车型识别方法及***
CN110874578A (zh) * 2019-11-15 2020-03-10 北京航空航天大学青岛研究院 一种基于强化学习的无人机视角车辆识别追踪方法
CN111079640A (zh) * 2019-12-09 2020-04-28 合肥工业大学 一种基于自动扩增样本的车型识别方法及***
CN111260072A (zh) * 2020-01-08 2020-06-09 上海交通大学 一种基于生成对抗网络的强化学习探索方法
CN111680640A (zh) * 2020-06-11 2020-09-18 合肥工业大学 一种基于领域迁移的车型识别方法及***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11048982B2 (en) * 2018-09-24 2021-06-29 Veritone, Inc. Object detection machine learning
US11554785B2 (en) * 2019-05-07 2023-01-17 Foresight Ai Inc. Driving scenario machine learning network and driving environment simulation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611193A (zh) * 2016-12-20 2017-05-03 太极计算机股份有限公司 一种基于特征变量算法的图像内容信息分析方法
CN108805177A (zh) * 2018-05-22 2018-11-13 同济大学 基于深度学习的复杂环境背景下车辆型号识别方法
US10176405B1 (en) * 2018-06-18 2019-01-08 Inception Institute Of Artificial Intelligence Vehicle re-identification techniques using neural networks for image analysis, viewpoint-aware pattern recognition, and generation of multi- view vehicle representations
CN110147709A (zh) * 2018-11-02 2019-08-20 腾讯科技（深圳）有限公司 车辆属性模型的训练方法、装置、终端及存储介质
CN110458120A (zh) * 2019-08-15 2019-11-15 中国水利水电科学研究院 一种复杂环境下不同车型识别方法及***
CN110874578A (zh) * 2019-11-15 2020-03-10 北京航空航天大学青岛研究院 一种基于强化学习的无人机视角车辆识别追踪方法
CN111079640A (zh) * 2019-12-09 2020-04-28 合肥工业大学 一种基于自动扩增样本的车型识别方法及***
CN111260072A (zh) * 2020-01-08 2020-06-09 上海交通大学 一种基于生成对抗网络的强化学习探索方法
CN111680640A (zh) * 2020-06-11 2020-09-18 合肥工业大学 一种基于领域迁移的车型识别方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Survey on Visual Navigation for Artificial Agents With Deep Reinforcement Learning;FANYU ZENG;Digital Object Identifier;第8卷;135426-135442 *
Machine Learning for Security in Vehicular Networks: A Comprehensive Survey;Anum Talpur;COMMUNICATIONS SURVEYS & TUTORIALS;第24卷(第1期);346-379 *

Also Published As

Publication number Publication date
CN112508080A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
Fan et al. Watching a small portion could be as good as watching all: Towards efficient video classification
US20210150345A1 (en) Conditional Computation For Continual Learning
US20200134455A1 (en) Apparatus and method for training deep learning model
CN112466298A (zh) 语音检测方法、装置、电子设备和存储介质
CN114357594B (zh) 一种基于sca-gru的桥梁异常监测方法、***、设备及存储介质
WO2019053052A1 (en) METHOD FOR (RE-) TRAINING MACHINE LEARNING COMPONENT
KR102562377B1 (ko) 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN112508901A (zh) 一种水下结构病害识别方法、***、装置及存储介质
CN113780242A (zh) 一种基于模型迁移学习的跨场景水声目标分类方法
Lu et al. Few-shot driver identification via meta-learning
CN112508080B (zh) 基于经验回放的车辆型号识别方法、装置、设备及介质
CN112613617A (zh) 基于回归模型的不确定性估计方法和装置
CN110427978B (zh) 面向小样本学习的变分自编码器网络模型和装置
CN113221758B (zh) 一种基于gru-nin模型的水声目标识别方法
CN113592071B (zh) 设备故障识别模型训练、识别方法、***、装置及介质
CN111160526A (zh) 基于mape-d环形结构的深度学习***在线测试方法与装置
CN113239809B (zh) 基于多尺度稀疏sru分类模型的水声目标识别方法
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
CN114722942A (zh) 设备故障诊断方法、装置、电子设备及存储介质
CN117523218A (zh) 标签生成、图像分类模型的训练、图像分类方法及装置
CN113488027A (zh) 一种层级分类的生成音频溯源方法及存储介质、计算机设备
CN114618167A (zh) 反作弊检测模型构建方法以及反作弊检测方法
CN113887357A (zh) 一种人脸表示攻击检测方法、***、装置及介质
CN114444597B (zh) 基于渐进式融合网络的视觉跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240507

Address after: 1003, Building A, Zhiyun Industrial Park, No. 13 Huaxing Road, Tongsheng Community, Dalang Street, Longhua District, Shenzhen City, Guangdong Province, 518000

Patentee after: Shenzhen Wanzhida Enterprise Management Co.,Ltd.

Country or region after: China

Address before: 510006 No. 230 West Ring Road, University of Guangdong, Guangzhou

Patentee before: Guangzhou University

Country or region before: China