CN112232449B - 神经网络的训练方法、电子设备及存储介质 - Google Patents

神经网络的训练方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112232449B
CN112232449B CN202011467224.5A CN202011467224A CN112232449B CN 112232449 B CN112232449 B CN 112232449B CN 202011467224 A CN202011467224 A CN 202011467224A CN 112232449 B CN112232449 B CN 112232449B
Authority
CN
China
Prior art keywords
loss function
function value
cargo
truck
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011467224.5A
Other languages
English (en)
Other versions
CN112232449A (zh
Inventor
刘智辉
王耀农
余言勋
杜治江
张震
肖钟雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011467224.5A priority Critical patent/CN112232449B/zh
Publication of CN112232449A publication Critical patent/CN112232449A/zh
Application granted granted Critical
Publication of CN112232449B publication Critical patent/CN112232449B/zh
Priority to PCT/CN2021/100736 priority patent/WO2022127058A1/en
Priority to EP21904992.1A priority patent/EP4260229A4/en
Priority to US18/209,561 priority patent/US20230347911A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B60W40/13—Load or weight
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种神经网络的训练方法、电子设备及存储介质，该神经网络用于货车载货识别，包括串联的识别模块和分类模块，该训练方法包括：将样本图像输入识别模块，以预测样本图像中货车的载货区域的多个关键点；根据预测的多个关键点得到仅包括载货区域的载货区域图；将载货区域图输入分类模块，以预测载货区域的货物属性；根据识别模块的预测结果得到第一损失函数值；根据分类模块的预测结果得到第二损失函数值；根据第一损失函数值和第二损失函数值而得到总损失函数值；更新识别模块和分类模块的参数以缩小总损失函数值；重复执行上述过程直至满足预设的停止训练的条件。通过本申请训练方法训练的神经网络能够提高载货识别的准确率。

Description

神经网络的训练方法、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种神经网络的训练方法、电子设备及存储介质。
背景技术
随着国民经济的快速发展，交通运输日益繁忙，公路货物运输市场内部竞争日益激烈，一些货车业主不顾交通安全，肆意恶性超限装载，不仅扰乱货运市场的秩序，而且严重威胁公路的结构安全和使用寿命，因此从技术层面约束治理货车超高装载势在必行。
发明内容
本申请主要解决的技术问题是提供一种神经网络的训练方法、电子设备及存储介质，能够提高货物识别的准确率。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种神经网络的训练方法，所述神经网络用于货车载货识别，其中，所述神经网络包括串联的识别模块和分类模块，所述方法包括：将样本图像输入所述识别模块，以预测所述样本图像中货车的载货区域的多个关键点；根据预测的多个所述关键点得到仅包括所述载货区域的载货区域图；将所述载货区域图输入所述分类模块，以预测所述载货区域的货物属性；根据所述识别模块的预测结果得到第一损失函数值；根据所述分类模块的预测结果得到第二损失函数值；根据所述第一损失函数值和所述第二损失函数值而得到总损失函数值；更新所述识别模块和所述分类模块的参数以缩小所述总损失函数值；重复执行上述过程直至满足预设的停止训练的条件。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种货车载货识别方法，所述方法包括：获取待测图像；利用预先训练好的第一神经网络识别所述待测图像中车辆的类型；若所述待测图像中存在货车，则利用预先训练好的第二神经网络识别所述待测图像而得到所述货车上载货区域的货物属性；若根据所述货车上载货区域的货物属性判定所述货车属于超载状态和/或所述货车上的货物属于易散落货物，则进行预警提示；其中，所述第二神经网络是利用上述任一项所述的训练方法训练得到的。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器以及所述通信电路，所述处理器在工作时控制自身以及所述存储器、所述通信电路以实现上述任一项方法中的步骤。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述任一项方法中的步骤。
本申请的有益效果是：本申请一方面根据第一损失函数值和第二损失函数值得到总损失函数值，使得在训练过程中，神经网络的识别模块和分类模块相互影响，相互“取长补短”，达到一个最佳平衡状态，进而提高最终训练好的神经网络的识别准确率，另一方面，分类模块基于仅包括载货区域的载货区域图进行训练，可以使训练好的神经网络仅对货车的载货区域的货物属性进行识别，排除货车周围的无效信息，能够进一步提高识别准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请神经网络的训练方法一实施方式的流程示意图；
图2是本申请神经网络一实施方式的网络结构图；
图3是本申请样本图像的结构示意图；
图4是本申请样本图像的结构示意图；
图5是本申请样本图像的结构示意图；
图6是本申请货车载货识别方法一实施方式的流程示意图；
图7是本申请电子设备一实施方式的结构示意图；
图8是本申请电子设备另一实施方式的结构示意图；
图9是本申请电子设备另一实施方式的结构示意图；
图10是本申请存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参阅图1和图2，在本申请一实施方式中，神经网络包括串联的识别模块110和分类模块120，同时神经网络的训练方法包括：
S110：将样本图像输入识别模块110，以预测样本图像中货车的载货区域的多个关键点。
其中，样本图像包括货车，货车具有一载货区域，该载货区域为货车用于载货的区域。
在将样本图像输入识别模块110后，识别模块110对载货区域上的多个关键点进行预测，具体表现为识别模块110输出多个关键点的预测坐标。
在一应用场景中，为了简化整个训练过程的难度，提高训练速度，样本图像仅包括一辆货车。
S120：根据预测的多个关键点得到仅包括载货区域的载货区域图。
其中，载货区域图仅包括货车的载货区域，不包括其他区域，而后续基于该载货区域图进行训练可以保证最终训练好的神经网络仅对货车的载货区域的货物属性进行识别，排除货车周围的无效信息。
S130：将载货区域图输入分类模块120，以预测载货区域的货物属性。
具体地，分类模块120用于对载货区域的货物属性进行预测，输出载货区域的预测货物属性。
在一应用场景中，载货区域的货物属性包括5种可能性，分别为：空载、条状纹理、规则块状纹理、不规则块状纹理以及其他。其中，载货区域的货物属性为空载，表明货车上没有运货，载货区域的货物属性为条状纹理，表明货车上运输的可能是木材、管子之类的货物，载货区域的货物属性为规则块状纹理，表明货车上运输的可能是砖头之类的货物，载货区域的货物属性为不规则块状纹理，表明货车上运输的可能是泡沫之类的货物，载货区域的货物属性为其他，表明货车上运输的货物无法辨别。
S140：根据识别模块110的预测结果得到第一损失函数值。
具体地，在识别模块110输出多个关键点的预测坐标后，根据多个关键点的预测坐标和多个关键点的实际坐标而得到第一损失函数值。
S150：根据分类模块120的预测结果得到第二损失函数值。
具体地，在分类模块120输出载货区域的预测货物属性后，根据载货区域的预测货物属性和实际货物属性而得到第二损失函数值。
S160：根据第一损失函数值和第二损失函数值而得到总损失函数值。
具体地，得到的总损失函数值能够同时表示识别模型和分类模型在训练过程中的收敛程度，同时表征识别模型和分类模型的训练程度。
其中，第一损失函数值是利用第一损失函数计算得到的，第二损失函数是利用第二损失函数计算得到的。
在一应用场景中，第一损失函数可以为任意一种适用检测任务损失函数，例如IoU、GIoU、DIoU、CIoU等，第二损失函数可以为任意一种适用分类任务损失函数例如LabelSmooth、AmSoftmax等。
在一实例中，第一损失函数为均方差损失函数，第二损失函数为交叉熵损失函数。
在其他应用场景中，第一损失函数为交叉熵损失函数，第二损失函数为均方差损失函数，或者，第一损失函数、第二损失函数均为交叉熵函数，或者，第一损失函数、第二损失函数均为均方差损失函数。
在一应用场景中，步骤S160具体包括：将第一损失函数值与第二损失函数值加权求和而得到总损失函数值。其中，第一损失函数值的权重和第二损失函数值的权重可由设计人员根据实际需求进行设定。
在其他应用场景中，还可以将第一损失函数值和第二损失函数值通过其他运算得到总损失函数值，例如，将第一损失函数值和第二损失函数值进行相乘得到总损失函数值，总而言之，关于如何通过第一损失函数值和第二损失函数值得到总损失函数值，本申请不做限制。
S170：更新识别模块110和分类模块120的参数以缩小总损失函数值。
具体地，逐渐缩小总损失函数值使识别模型110和分类模型120均达到收敛，最终使神经网络达到收敛。
S180：判断是否满足预设的停止训练的条件。
若判断结果为是，则结束流程，若判断结果为否，则返回执行步骤S110，即重复执行上述过程，直至满足预设的停止训练的条件。
在本实施方式中，一方面根据第一损失函数值和第二损失函数值得到总损失函数值，使得在训练过程中，神经网络的识别模块和分类模块相互影响，相互“取长补短”，达到一个最佳平衡状态，进而提高最终训练好的神经网络的识别准确率，另一方面，分类模块基于仅包括载货区域的载货区域图进行训练，可以使训练好的神经网络仅对货车的载货区域的货物属性进行识别，排除货车周围的无效信息，能够进一步提高识别准确率。
结合图2至图5，本实施方式中，分类模块120包括三个并联的分类单元121，同时，载货区域包括三个层级子区域，定义为第一层级子区域、第二层级子区域以及第三层级子区域。
具体地，第一层级子区域为由货车的实际载货区底面的四个几何角点（A0~A3）约束而形成的四边形、第二层级子区域为由货车的围栏上边界的四个几何角点（B0~B3）约束而形成的四边形，第三层级子区域为由货车的实际载货区顶面的四个几何角点（C0~C3）约束而形成的四边形，其中，C0、C1为货车车顶后方的两个几何角点，C2通过线段C1B1沿B1至B2方向平移获得，点C1与点C2之间的距离和点B1与点B2之间的距离相等，点C3通过线段C0B0分别沿着B0至B3方向平移获得，其中，点C0与点C3之间的距离和点B0与点B3之间的距离相等。
相应地，在训练过程中，识别模块110首先对载货区域上的12个关键点（A0~A3、B0~B3、C0~C3）进行预测，而后根据该12个关键点得到仅包括第一层级子区域的第一层级子区域图、仅包括第二层级子区域的第二层级子区域图以及仅包括第三层级子区域的第三层级子区域图。
而后将第一层级子区域图、第二层级子区域图以及第三层级子区域图分别输入三个分类单元121，以分别预测这三个层级子区域的货物属性，即三个分类单元121分别输出三个层级子区域的预测货物属性，而后根据三个分类单元121的预测结果生成第二损失函数值，即根据三个层级子区域的预测货物属性和实际货物属性而得到第二损失函数值。
其中，层级子区域的货物属性也有5种可能性，分别为空载、条状纹理、规则块状纹理、不规则块状纹理以及其他。
在一应用场景中，根据三个分类单元121的预测结果生成第二损失函数值的步骤，包括：根据三个分类单元121的预测结果得到三个第二子损失函数值；将三个第二子损失函数值进行加权求和得到第二损失函数值。
具体地，首先根据层级子区域的预测货物属性与实际货物属性得到第二子损失函数值，三个分类单元121对应三个第二子损失函数值，然后再将三个第二子损失函数值进行加权求和得到第二损失函数值。其中，在将三个第二子损失函数值进行加权求和时，三个第二子损失函数值的权重可由设计人员根据实际情况需求进行设定。
在其他应用场景中，在得到三个第二子损失函数值后，可以将三个第二子损失函数值进行其他运算例如乘法运算等而得到第二损失函数值。
在其他实施方式中，在得到三个第二子损失函数值后，可以将三个第二子损失函数值分别与第一损失函数值进行例如加权求和运算等而得到三个总损失函数值，然后更新识别模块和三个分类单元的参数以缩小三个总损失函数值。
参阅图2，在本实施方式中，根据12个关键点得到仅包括第一层级子区域的第一层级子区域图、仅包括第二层级子区域的第二层级子区域图以及仅包括第三层级子区域的第三层级子区域图的步骤，包括：
（a）对应多个预测的关键点生成多个关键点掩码图。
（b）将属于同一层级子区域的关键点所对应的关键点掩码图相加而得到层级子区域掩码图。
（c）遍历层级子区域掩码图中的所有像素点而将置于关键点所连成的最大外接多边形内部的像素点置1，反之置0，进而生成掩码图矩阵。
（d）将样本图像或样本图像的特征图与掩码图矩阵进行矩阵点乘而得到层级子区域图。
具体地，对应12个预测的关键点生成12个关键点掩码图，其中每一个关键点掩码图对应一个预测的关键点；然后将A0~A3对应的关键点掩码图相加而得到第一层级子区域掩码图，将B0~B3对应的关键点掩码图相加而得到第二层级子区域掩码图，将C0~C3对应的关键点掩码图相加而得到第三层级子区域掩码图（识别模块110在预测关键点时，先后输出12个关键点，其中按照预设的规则确定A0~A3、B0~B3以及C0~C3，例如，将前4个点确定为A0~A3，将中间4个点确定为B0~B3，将最后4个点确定为C0~C3）；接着遍历第一层级子区域掩码图中的所有像素点而将置于A0~A3所连成的最大外接多边形内部的像素点置1，反之置0，进而生成第一掩码图矩阵，同样地，采用相同的方法对第二层级子区域掩码图、第三层级子区域掩码图进行处理而得到第二掩码图矩阵、第三掩码图矩阵，最后将样本图像/样本图像的特征图分别与第一掩码图矩阵、第二掩码图矩阵或者第三掩码图矩阵进行点乘而分别得到第一层级子区域图、第二层级子区域以及第三层级子区域图。
其中，样本图像的特征图可以是例如样本图像的灰度图、边缘检测图等任一个能够表征样本图像的特征的图像，在此不做限制。
通过上述训练方法训练好的神经网络在识别待测图像时，能够识别货车载货区域上的三个层级子区域的货物属性，而后根据该神经网络输出的货物属性能够判断货车上的载货情况，例如，当神经网络识别出第一层级子区域的货物属性为空载时，可以判定该货车上没有载货，当神经网络识别出第三层级子区域的货物属性属于非空载（例如条状纹理或者不规则块状纹理）时，可以判定该货车超高载货，属于超载情况，当神经网络识别出第一层级子区域、第二层级子区域的货物属性均为条状纹理时，可以判定该货车上运输的货物为木材或者管子之类的货物且货物超出了围栏，存在散落的可能性，当神经网络识别出第一层级子区域的货物属性为不规则块状纹理，而第二层级子区域的货物属性为空载时，可以判定该货车上运输的货物为泡沫之类的货物且货物未超出围栏，属于安全运输的范围。
上述以载货区域包括三个层级子区域对本申请的方案进行了说明，但是本申请并不限制于此，在其他实施方式中，载货区域可以包括一个、四个、五个或者更多个层级子区域，相应地，分类单元121的数量也可以为一个、四个、五个或者更多个，只要分类单元121的数量与层级子区域的数量相等即可。例如，载货区域可以只包括第三层级子区域，分类单元121的数量也为一个，此时最终训练好的神经网络能够用于判断货车是否超载。
同时，本申请对载货区域中的层级子区域的约束也不做限制，例如，如图5所示，层级子区域还可以是C3、C2、B2以及B3四点约束的四边形区域（定义为第四层级子区域），或者C1、C2、B2以及B1四点约束的四边形区域（定义为第五层级子区域），或者C0、C3、B3以及B0四点约束的四边形区域（定义为第六层级子区域）。可以理解的是，此时最终训练得到的神经网络可以帮助识别货车是否超宽、超长运输货物，例如，当神经网络识别出第四层级子区域的货物属性不是空载时，则判定货车超长运输货物，属于超载情况，当神经网络识别出第五层级子区域或者第六层级子区域的货物属性不是空载时，则判定货车超宽运输货物，也属于超载情况。
同时，每个层级子区域对应的关键点也可以不是四个，可以是五个、8个或者更多个，本申请也不做限制。
参阅图6，图6是本申请货车载货识别方法一实施方式的流程示意图，该方法包括：
S210：获取待测图像。
待测图像包括车辆，且车辆的数量可以是一个，也可以是多个。
S220：利用预先训练好的第一神经网络识别待测图像中车辆的类型。
第一神经网络预先训练好，能够对待测图像中是否存在货车进行判断，其中，第一神经网络包括但不限于使用于SSD、Yolo、FasterRCNN、CenterNet、FCOS等，主干网络可以是ResNet，Inception，DenseNet，MobileNet等网络，本申请不做限制。
在一应用场景中，第一神经网络能够识别出待测图像中所有车辆的类型；在另一应用场景中，第一神经网络只能识别出待测图像中的货车，而对其他类型的车辆，例如轿车等无法进行识别。
在本实施方式中，第一神经网络的训练方法包括：获取多个样本图像，样本图像包括车辆；获取样本图像的标注信息，标注信息包括车辆的位置以及车辆的类型；以样本图像作为输入，并以标注信息作为真值标签对第一神经网络进行训练。
具体地，车辆的位置可以是车辆上某一点例如中心点在整个样本图像中的位置。
通过上述方式对第一神经网络进行训练，可以使训练好的第一神经网络在对待测图像进行识别时，不仅能够识别其中的货车，而且还能够确定货车在待测图像中的位置，从而当待测图像中的车辆不止一个时，可以抠取货车图像，该货车图像中仅包括一辆货车，而后基于该货车图像执行后续步骤，达到简化步骤，提高准确率的目的。
S230：判断待测图像中是否存在货车。
若判断结果为是，则进入步骤S240，若判断结果为否，则结束流程。
S240：利用预先训练好的第二神经网络识别待测图像而得到货车上载货区域的货物属性。
具体地，该第二神经网络是利用上述任一项实施方式中的训练方法训练而得到，详细的方法可参见上述实施方式，在此不再赘述。
S250：根据货车上载货区域的货物属性判断货车是否属于超载状态和/或货车上的货物是否属于易散落货物。
根据货车上载货区域的货物属性如何判断货车是否属于超载状态和/或货车上的货物是否属于易散落货物前面内容已经做了介绍，具体可参见前述内容，在此不再赘述。若判断结果为是，则进入步骤S260，若判断结果为否，则结束流程。
参阅图7，图7是本申请电子设备一实施方式的结构示意图，该电子设备200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220以及通信电路230，处理器210在工作时控制自身以及存储器220、通信电路230以实现上述任一项方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。
其中，电子设备200可以是任一项具有信息处理能力的设备，例如手机、电脑等，在此不做限制。
参阅图8，图8是本申请电子设备另一实施方式的结构示意图，该电子设备300包括图像处理模块310、函数处理模块320以及参数更新模块330，其中，函数处理模块320与图像处理模块310连接，参数更新模块330与函数处理模块320连接。
该电子设备300用于训练用于货车载货识别的神经网络，该神经网络包括串联的识别模块和分类模块。
图像处理模块310用于将样本图像输入识别模块，以预测样本图像中货车的载货区域的多个关键点，而后根据预测的多个关键点得到仅包括载货区域的载货区域图，接着将载货区域图输入分类模块，以预测载货区域的货物属性。
函数处理模块320用于根据识别模块的预测结果得到第一损失函数值，以及根据分类模块的预测结果得到第二损失函数值，并根据第一损失函数值和第二损失函数值而得到总损失函数值。
参数更新模块330用于更新识别模块和分类模块的参数以缩小总损失函数值。
同时，图像处理模块310、函数处理模块320以及参数更新模块330重复执行上述过程直至满足预设的停止训练的条件。
在一实施方式中，载货区域包括多个层级子区域，分类模块包括多个并联且数量与层级子区域数量相同的分类单元；图像处理模块310具体用于根据预测的多个关键点得到多个分别仅包括单个层级子区域的层级子区域图，以及将多个层级子区域图分别输入多个分类单元，以预测层级子区域的货物属性；函数处理模块320用于根据多个分类单元的预测结果得到第二损失函数值。
在一实施方式中，函数处理模块320用于根据多个分类单元的预测结果得到多个第二子损失函数值，并将多个第二子损失函数值进行加权求和得到第二损失函数值。
在一实施方式中，图像处理模块310用于对应多个预测的关键点生成多个关键点掩码图；将属于同一层级子区域的关键点所对应的关键点掩码图相加而得到层级子区域掩码图；遍历层级子区域掩码图中的所有像素点而将置于关键点所连成的最大外接多边形内部的像素点置1，反之置0，进而生成掩码图矩阵；将样本图像或样本图像的特征图与掩码图矩阵进行矩阵点乘而得到层级子区域图。
在一实施方式中，分类单元的数量为三个，层级子区域的数量为三个，分别为第一层级子区域、第二层级子区域以及第三层级子区域，第一层级子区域由货车的实际载货区底面的几何角点约束，第二层级子区域由货车的围栏上边界的几何角点约束，第三层级子区域由货车的实际载货区顶面的几何角点约束。
在一实施方式中，函数处理模块320用于将第一损失函数值与第二损失函数值加权求和而得到总损失函数值。
其中，电子设备300可以是任一项具有信息处理能力的设备，例如手机、电脑等，在此不做限制。
参阅图9，图9是本申请电子设备另一实施方式的结构示意图，该电子设备400包括图像获取模块410、类型识别模块420、属性识别模块430以及预警提示模块440。
图像获取模块410用于获取待测图像。
类型识别模块420，与图像获取模块410连接，用于利用预先训练好的第一神经网络识别待测图像中车辆的类型。
属性识别模块430与类型识别模块420连接，用于在待测图像中存在货车时，利用预先训练好的第二神经网络识别待测图像而得到货车上载货区域的货物属性。
预警提示模块440与属性识别模块430连接，用于根据货车上载货区域的货物属性判断货车是否属于超载状态和/或货车的货物是否属于易散落货物，并在判断结果为是时，进行预警提示。
其中，第二神经网络是利用上述任一项实施方式中的训练方法训练得到的。
在一实施方式中，电子设备400还包括网络训练模块，用于获取多个样本图像，样本图像包括车辆；并获取样本图像的标注信息，标注信息包括车辆的位置以及车辆的类型；然后以样本图像作为输入，并以标注信息作为真值标签对第一神经网络进行训练。
其中，电子设备400可以是任一项具有信息处理能力的设备，例如手机、电脑等，在此不做限制。
参阅图10，图10是本申请存储介质一实施方式的结构示意图。该存储介质500存储有计算机程序510，计算机程序510能够被处理器执行以实现上述任一项方法中的步骤。
其中，存储介质500具体可以为U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等可以存储计算机程序510的装置，或者也可以为存储有该计算机程序510的服务器，该服务器可将存储的计算机程序510发送给其他设备运行，或者也可以自运行该存储的计算机程序510。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (8)

1.一种神经网络的训练方法，所述神经网络用于货车载货识别，其特征在于，所述神经网络包括串联的识别模块和分类模块，所述方法包括：
将样本图像输入所述识别模块，以预测所述样本图像中货车的载货区域的多个关键点；
根据预测的多个所述关键点得到仅包括所述载货区域的载货区域图；
将所述载货区域图输入所述分类模块，以预测所述载货区域的货物属性；
根据所述识别模块的预测结果得到第一损失函数值；
根据所述分类模块的预测结果得到第二损失函数值；
根据所述第一损失函数值和所述第二损失函数值而得到总损失函数值；
更新所述识别模块和所述分类模块的参数以缩小所述总损失函数值；
重复执行所述将样本图像输入所述识别模块的步骤至所述更新所述识别模块和所述分类模块的参数以缩小所述总损失函数值的步骤，直至满足预设的停止训练的条件；
其中，所述载货区域包括多个层级子区域，所述分类模块包括多个并联且数量与所述层级子区域数量相同的分类单元；
所述根据预测的多个所述关键点得到仅包括所述载货区域的载货区域图的步骤，包括：
根据预测的多个所述关键点得到多个分别仅包括单个所述层级子区域的层级子区域图；
所述将所述载货区域图输入所述分类模块，以预测所述载货区域的货物属性的步骤，包括：
将多个所述层级子区域图分别输入多个所述分类单元，以预测所述层级子区域的货物属性；
所述根据所述分类模块的预测结果得到第二损失函数值的步骤，包括：
根据多个所述分类单元的预测结果得到所述第二损失函数值；
同时，所述根据预测的多个所述关键点得到多个分别仅包括单个所述层级子区域的层级子区域图的步骤，包括：
对应多个预测的所述关键点生成多个关键点掩码图；
将属于同一所述层级子区域的所述关键点所对应的所述关键点掩码图相加而得到层级子区域掩码图；
遍历所述层级子区域掩码图中的所有像素点而将置于所述关键点所连成的最大外接多边形内部的像素点置1，反之置0，进而生成掩码图矩阵；
将所述样本图像或所述样本图像的特征图与所述掩码图矩阵进行矩阵点乘而得到所述层级子区域图。
2.根据权利要求1所述的方法，其特征在于，所述根据多个所述分类单元的预测结果得到所述第二损失函数值的步骤，包括：
根据多个所述分类单元的预测结果得到多个第二子损失函数值；
将多个所述第二子损失函数值进行加权求和得到所述第二损失函数值。
3.根据权利要求1所述的方法，其特征在于，所述分类单元的数量为三个，所述层级子区域的数量为三个，分别为第一层级子区域、第二层级子区域以及第三层级子区域，所述第一层级子区域由所述货车的实际载货区底面的几何角点约束，所述第二层级子区域由所述货车的围栏上边界的几何角点约束，所述第三层级子区域由所述货车的实际载货区顶面的几何角点约束。
4.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失函数值和所述第二损失函数值而得到总损失函数值的步骤，包括：
将所述第一损失函数值与所述第二损失函数值加权求和而得到所述总损失函数值。
5.一种货车载货识别方法，其特征在于，所述方法包括：
获取待测图像；
利用预先训练好的第一神经网络识别所述待测图像中车辆的类型；
若所述待测图像中存在货车，则利用预先训练好的第二神经网络识别所述待测图像而得到所述货车上载货区域的货物属性；
若根据所述货车上载货区域的货物属性判定所述货车属于超载状态和/或所述货车上的货物属于易散落货物，则进行预警提示；
其中，所述第二神经网络是利用如权利要求1至4中任一项所述的训练方法训练得到的。
6.根据权利要求5所述的方法，其特征在于，所述方法进一步包括：
获取多个样本图像，所述样本图像包括车辆；
获取所述样本图像的标注信息，所述标注信息包括所述车辆的位置以及所述车辆的类型；
以所述样本图像作为输入，并以所述标注信息作为真值标签对所述第一神经网络进行训练。
7.一种电子设备，其特征在于，包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器以及所述通信电路，所述处理器在工作时控制自身以及所述存储器、所述通信电路以实现如权利要求1-6任一项所述方法中的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-6任一项所述方法中的步骤。
CN202011467224.5A 2020-12-14 2020-12-14 神经网络的训练方法、电子设备及存储介质 Active CN112232449B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202011467224.5A CN112232449B (zh) 2020-12-14 2020-12-14 神经网络的训练方法、电子设备及存储介质
PCT/CN2021/100736 WO2022127058A1 (en) 2020-12-14 2021-06-17 Truck load identification method, electronic device and storage medium
EP21904992.1A EP4260229A4 (en) 2020-12-14 2021-06-17 TRUCK LOAD IDENTIFICATION METHOD, ELECTRONIC DEVICE AND STORAGE MEDIUM
US18/209,561 US20230347911A1 (en) 2020-12-14 2023-06-14 Truck load identification method, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011467224.5A CN112232449B (zh) 2020-12-14 2020-12-14 神经网络的训练方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112232449A CN112232449A (zh) 2021-01-15
CN112232449B true CN112232449B (zh) 2021-04-27

Family

ID=74123690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011467224.5A Active CN112232449B (zh) 2020-12-14 2020-12-14 神经网络的训练方法、电子设备及存储介质

Country Status (4)

Country Link
US (1) US20230347911A1 (zh)
EP (1) EP4260229A4 (zh)
CN (1) CN112232449B (zh)
WO (1) WO2022127058A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232449B (zh) * 2020-12-14 2021-04-27 浙江大华技术股份有限公司 神经网络的训练方法、电子设备及存储介质
CN112766206B (zh) * 2021-01-28 2024-05-28 深圳市捷顺科技实业股份有限公司 一种高位视频车辆检测方法、装置、电子设备和存储介质
CN114220536A (zh) * 2021-12-10 2022-03-22 深圳市北科瑞声科技股份有限公司 基于机器学习的疾病分析方法、装置、设备及存储介质
CN115170923B (zh) * 2022-07-19 2023-04-07 哈尔滨市科佳通用机电股份有限公司 铁路货车托板螺母丢失的故障识别方法
CN117763337B (zh) * 2023-12-28 2024-08-09 东方世纪科技股份有限公司 基于cnn-lstm模型的货车动态称重方法和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063768A (zh) * 2018-08-01 2018-12-21 北京旷视科技有限公司 车辆重识别方法、装置及***
CN110348297A (zh) * 2019-05-31 2019-10-18 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、***、终端和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101955506B1 (ko) * 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
KR101863770B1 (ko) * 2017-02-17 2018-06-01 한국해양과학기술원 항만 보안검색 통합 서비스 시스템
CN110555347B (zh) * 2018-06-01 2022-06-03 杭州海康威视数字技术股份有限公司 具有危险载货行为的车辆目标识别方法、装置及电子设备
WO2020049517A1 (en) * 2018-09-07 2020-03-12 Stone Three Digital (Pty) Ltd Monitoring ore
CN111784747B (zh) * 2020-08-13 2024-02-27 青岛高重信息科技有限公司 一种基于关键点检测和校正的车辆多目标跟踪***及方法
CN112232449B (zh) * 2020-12-14 2021-04-27 浙江大华技术股份有限公司 神经网络的训练方法、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109063768A (zh) * 2018-08-01 2018-12-21 北京旷视科技有限公司 车辆重识别方法、装置及***
CN110348297A (zh) * 2019-05-31 2019-10-18 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、***、终端和存储介质

Also Published As

Publication number Publication date
WO2022127058A1 (en) 2022-06-23
EP4260229A1 (en) 2023-10-18
US20230347911A1 (en) 2023-11-02
CN112232449A (zh) 2021-01-15
EP4260229A4 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
CN112232449B (zh) 神经网络的训练方法、电子设备及存储介质
CN111062240B (zh) 汽车驾驶安全的监控方法、装置、计算机设备及存储介质
US9087263B2 (en) Vision based pedestrian and cyclist detection method
CN101369315A (zh) 人脸检测方法
CN113688805B (zh) 一种基于无人机的无牌渣土车识别方法及***
CN111523415A (zh) 一种基于图像的两客一危车辆检测方法和装置
CN110689440A (zh) 基于图片识别的车险理赔识别方法、装置、计算机设备及存储介质
CN113469158B (zh) 基于卷积神经网络的非法危化品运输车辆识别方法及***
CN114464014A (zh) 基于模糊逻辑的区域船舶碰撞风险处理方法、***和介质
CN114283383A (zh) 一种智慧城市公路养护方法、计算机设备及介质
CN116596425B (zh) 基于渗流分析石化港区槽罐车安全调度方法和***
CN116588573B (zh) 一种仓储智能起重***的散料抓取控制方法及***
CN116168377A (zh) 车牌识别方法、装置、计算机设备以及存储介质
CN114742503B (zh) 一种基于深度学习的智慧物流拼车方法和装置
CN115393791A (zh) 一种异物检测方法、设备和计算机可读存储介质
CN115520216A (zh) 行车状态判断方法、装置、计算机设备和存储介质
CN115879844A (zh) 实际承运人合规性监测方法、装置、电子设备及存储介质
CN115727771A (zh) 一种货车超限行为智能感知和预警方法及***
CN112966590B (zh) 基于aiot和企业安全指数的实时预警方法及装置
CN114067360A (zh) 一种行人属性检测方法及装置
CN111723601A (zh) 一种图像处理的方法及装置
CN115376025B (zh) 一种无人机目标检测方法、***、设备及存储介质
CN117474344B (zh) 一种货物运输过程的风险评估方法及***
CN112405532B (zh) 移动控制方法、装置及机器人
CN115713758B (zh) 一种车厢识别方法、***、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant