CN111652245B - 车辆轮廓检测方法、装置、计算机设备及存储介质 - Google Patents

车辆轮廓检测方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN111652245B
CN111652245B CN202010349732.7A CN202010349732A CN111652245B CN 111652245 B CN111652245 B CN 111652245B CN 202010349732 A CN202010349732 A CN 202010349732A CN 111652245 B CN111652245 B CN 111652245B
Authority
CN
China
Prior art keywords
vehicle
contour
detected
image
visual angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010349732.7A
Other languages
English (en)
Other versions
CN111652245A (zh
Inventor
付园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Property and Casualty Insurance Company of China Ltd
Original Assignee
Ping An Property and Casualty Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Property and Casualty Insurance Company of China Ltd filed Critical Ping An Property and Casualty Insurance Company of China Ltd
Priority to CN202010349732.7A priority Critical patent/CN111652245B/zh
Publication of CN111652245A publication Critical patent/CN111652245A/zh
Application granted granted Critical
Publication of CN111652245B publication Critical patent/CN111652245B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请属于人工智能领域，公开了一种车辆轮廓检测方法、装置、计算机设备及可读存储介质。所述方法通过预训练的车辆视角轮廓预测模型对待检测车辆图像的特征进行识别，预测出待检测车辆图像的视角预测结果，其中，视角预测结果中包括与该车辆的拍摄视角对应的轮廓点信息，比如轮廓点的数量、轮廓点的大致的位置坐标；且本提案可以根据视角预测结果预测得到车辆轮廓，可以对不同的视角的车辆图像进行轮廓点的预测，提高车辆识别的效率。采用本方法解决了现有技术中无法对车辆的关键点进行检测技术问题。本申请还涉及区块链技术，所述车辆视角轮廓预测模型可存储于区块链节点中。

Description

车辆轮廓检测方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能领域，特别是涉及一种车辆轮廓检测方法、装置、计算机设备和存储介质。
背景技术
现有技术中可以通过人脸关键点检测算法来对人脸关键点进行校验和校准实现人脸识别的目的。但是还没有针对不同拍摄视角的车辆对车辆轮廓点进行校准、识别的技术，因为车辆图片拍摄的角度不同，会导致关键点的个数、关键点的位置信息改变，所以想用单一学习网络模型来解决多视角的关键点检测会很困难。如图2中图2-1所示，正面视角的车辆轮廓点有8个，但是图2-2侧面视角车辆轮廓关键掉有14个，无论是关键点个数信息或者关键点位置信息都有不同，如果每一个视角都构建一个独立的网络框架来校测该视角的关键点，所需要的模型数量多，所占用的资源也比较大。
通常为了优化关键点检测模型，可以将原图像进行多种预处理得到多种图像，通过模型检测图像上的关键点坐标并利用预设的损失函数确定图像上的关键点坐标之间的损失值，根据损失值确定出优化值，并优化关键点检测模型，可以预测出待检测图像上关键点的位置坐标。然而，这种方式只能够获取待检测图上的关键点，存在不能对车辆场景下不同视角的车辆图片进行关键点检测，降低了车辆识别的效率的技术问题。
发明内容
基于此，有必要针对上述技术问题，本申请提供一种车辆轮廓检测方法、装置、计算机设备及存储介质，以解决现有技术中无法对车辆的关键点进行检测技术问题。
一种车辆轮廓检测方法，所述方法包括：
获取待检测车辆图像，并输入到车辆视角轮廓预测模型中；
通过堆叠沙漏网络识别所述待检测车辆图像的特征，基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果；
对所述待检测车辆图像进行卷积处理，得到车辆特征图，其中，所述车辆特征图的数量与所述车辆视角预测结果对应的轮廓点数量相等；
计算所述车辆特征图中每一个像素点为轮廓点的预测值，并将最高预测值对应的轮廓点作为目标轮廓点；
整合每一张待检测车辆图像的所有目标轮廓点，作为所述车辆视角轮廓预测模型输出的所述待检测车辆图像的轮廓点预测结果。
一种车辆轮廓检测装置，所述装置包括：
图像获取模块，用于获取待检测车辆图像，并输入到车辆视角轮廓预测模型中；
视角预测模块，用于通过堆叠沙漏网络识别所述待检测车辆图像的特征，基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果；
图像处理模块，用于对所述待检测车辆图像进行卷积处理，得到车辆特征图，其中，所述车辆特征图的数量与所述车辆视角预测结果对应的轮廓点数量相等；
坐标预测模块，用于计算所述车辆特征图中每一个像素点为轮廓点的预测值，并将最高预测值对应的轮廓点作为目标轮廓点；
轮廓整合模块，用于整合每一张待检测车辆图像的所有目标轮廓点，作为所述车辆视角轮廓预测模型输出的所述待检测车辆图像的轮廓点预测结果。
一种计算机设备，包括存储器和处理器，以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述车辆轮廓检测方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述车辆轮廓检测方法的步骤。
上述车辆轮廓检测方法、装置、计算机设备和存储介质，通过预训练的车辆视角轮廓预测模型对待检测车辆图像的特征进行识别，预测出待检测车辆图像的视角预测结果，其中，视角预测结果中包括与该车辆的拍摄视角对应的轮廓点信息，比如轮廓点的数量、轮廓点的大致的位置坐标；且本提案可以根据视角预测结果预测得到车辆轮廓，可以对不同的视角的车辆图像进行轮廓点的预测，提高车辆识别的效率。解决了现有技术中无法对车辆的关键点进行检测技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为车辆轮廓检测方法的应用环境示意图；
图2为现有技术中车辆拍摄视角与轮廓点数量示意图；
图3为车辆轮廓检测方法的流程示意图；
图4为图3中车辆视角轮廓预测模型的训练流程示意图；
图5为图3中步骤304的流程示意图；
图6为车辆轮廓检测装置的示意图；
图7为一个实施例中计算机设备的示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本申请的目的、技术方案及优点更加清楚明白，下面结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的车辆轮廓检测方法，可以应用于如图1所示的应用环境中。其中，该应用环境可以包括终端102、网络以及服务端104，网络用于在终端102和服务端104之间提供通信链路介质，网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端102通过网络与服务端104交互，以接收或发送消息等。终端102上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端102可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts Group AudioLayer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts GroupAudio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务端104可以是提供各种服务的服务器，例如对终端102上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的车辆轮廓检测方法一般由服务端/终端执行，相应地，车辆轮廓检测装置一般设置于服务端/终端设备中。
应该理解，图1中的终端、网络和服务端的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
其中，终端102通过网络与服务端104进行通信。服务端104从终端102获取车辆图片并通过车辆视角轮廓预测模型进行轮廓点预测。其中，终端102和服务端104之间通过网络进行连接，该网络可以是有线网络或者无线网络，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务端104可以用独立的服务器或者是多个组成的服务器集群来实现。
在一个实施例中，如图3所示，提供了一种车辆视角轮廓预测模型方法，以该方法应用于图1中的服务端为例进行说明，包括以下步骤：
步骤302，获取待检测车辆图像，并输入到车辆视角轮廓预测模型中。
待检测车辆图像的数量可以为一张，也可以为至少两张，每一张检测车辆图像中包括车辆，拍摄该车辆的角度是随意的，一般待检测车辆图像中的车辆是全身像，是拍摄得到的车辆经过图片预处理后得到的是二值化图片，车辆视角轮廓预测模型是用于车辆的拍摄视角预测与不同拍摄视角下车辆轮廓点预测的算法模型，可以根据获取到的已标注的样本数据训练得到。
步骤304，通过所述车辆视角轮廓预测模型中的堆叠沙漏网络识别待检测车辆图像的特征，基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果。
车辆视角轮廓预测模型需要对输入的每一张待检测车辆图像进行特征识别，识别得到的特征信息会以像素与像素之间的关系的形式表现出来，然后被车辆视角轮廓预测模型作为抽象的车辆整体特征信息用于车辆拍摄视角的预测。车辆视角轮廓预测模型需要对输入的每一张待检测车辆图像进行特征识别，识别得到的特征可以包括：车辆中保险杠的倾斜角度、尾灯/大灯的相对于车窗的位置、车窗玻璃的形状、车辆的大体轮廓、车辆的颜色、车辆的型号等等，这些识别得到的信息会以像素与像素之间的关系的形式表现出来，然后被车辆视角轮廓预测模型作为抽象的车辆整体特征信息用于车辆拍摄视角的预测。
车辆的视角预测结果可以是：车辆正前方视角、车辆左前方视角、车辆右前方视角、车辆正后方视角、车辆左后方视角、车辆右后方视角、车辆左方视角以及车辆右方视角。
通过车辆视角轮廓预测模型可以得到待检测车辆图像中的车辆拍摄视角属于8个视角的概率，并取概率最大的作为这张待检测车辆图像的视角预测结果。
步骤306，对待检测车辆图像进行卷积处理，得到车辆特征图，其中，车辆特征图的数量与车辆视角预测结果对应的轮廓点数量相等。
沙漏网络是用于姿态估计(pose estimation)的算法网络，主要贡献在于利用多尺度特征来识别姿态。姿态估计在计算机视觉领域是一个非常重要的方向，人类动作理解，人机互动等等应用都需要精确的姿态识别。目前，绝大多数的2d姿态识别都是识别人体的关键点，比如，给定一张普通的RGB图像，算法会给出人体的脚踝，胳膊，面部等区域的关键点(keypoint)。堆叠沙漏网络是4个沙漏网络串联起来的，串联的相比单个沙漏网络主要是复用全身关节信息来提高单个关节的识别精度。根据视角预测结果对待检测车辆图像进行卷积处理。
具体地，将4个沙漏网络(Stacked Hourglass)拼接成堆叠沙漏网络层。先对待检测车辆图像，比如feature map-0进行分辨率缩小操作，得到feature map-1，这种称为对待检测车辆图像进行降采样，就是将feature map-0的分辨率缩小，比如从256*256的分辨率下降到128*128，其中，在每一个降采样处，将得到的降采样图片feature map-1与原始的待检测车辆图像feature map-0进行卷积处理，得到最低分辨率8*8的车辆特征图像。以前估计姿态的网络结构，大多只使用最后一层的卷积特征，这样会造成信息的丢失。
对车辆特征图进行上采样(upsampling)处理，上采样的目的是为了获取宏观意义上的车辆特征。
采用通过对待检测车辆图像进行上采样、下采样、卷积等不同处理，可以得到不同分辨率的车辆特征图片，即不同尺度的车辆特征图片，且车辆特征图片的数量与先验信息中该车辆视角下车辆的轮廓点数量相同。其中，高分辨的车辆特征图对像素区域之间的联系表达的比较清晰，低分辨率的车辆特征图对局部像素点的关系表达的比较清晰。这样做的目的是将不同分辨率下的车辆特征图片进行融合,以达到对车辆的轮廓点的位置进行精准的预测的目的。
具体地，融合的方式为：对较低分辨率的车辆特征图片采用的最近邻上采样(nearest neighbor upsampling)的处理，然后将相同分辨率的车辆特征图进行逐元素相加，实现将相同特征维度上面的特征进行融合，逐元素相加的意思是将同一坐标上的元素相加，实现将不同特征维度上面的特征进行融合得到车辆特征图的目的。
进一步地，在卷积处理前会对待检测车辆图像进行均值池化操作，均值池化就是AvgPooL,池化Pooling是卷积神经网络当中的一个概念，实际是一种降采样，具体是将输入的待检测车辆图像划分为256个矩形区域，对每一个矩形区域输出其像素平均值，即池化结果。均值池化的目的是在特征减少，参数减少的目的下，保证待检测车辆图像的特征的不变性(旋转，平移，缩放)，均值池化的目的就是减少特征，减少参数，减少运算量。
步骤308，计算车辆特征图中每一个像素点为轮廓点的预测值，并将最高预测值对应的轮廓点作为目标轮廓点。
将得到的每一张车辆特征图输入到车辆视角轮廓预测模型中，计算每一个车辆特征图中每一个像素点为目标轮廓点的预测值。具体地，主要通过车辆视角轮廓预测模型中的堆叠沙漏网络对车辆特征图进行轮廓点预测。然后将最高预测值对应的像素点作为该车辆特征图的目标轮廓点。
步骤310，整合每一张待检测车辆图像的所有目标轮廓点，作为车辆视角轮廓预测模型输出的待检测车辆图像的轮廓点预测结果。
将以上得到的目标轮廓点进行整合，比如正视拍摄视角的车辆具有8个轮廓点，那个将8张中每一张车辆特征图对应的目标轮廓进行整合，计算得到该待检测车辆图像中的车辆的轮廓点的位置像素坐标。
上车辆轮廓检测方法中，通过预训练的车辆视角轮廓预测模型对待检测车辆图像的特征进行识别，预测出待检测车辆图像的视角预测结果，其中，视角预测结果中包括与该车辆的拍摄视角对应的轮廓点信息，比如轮廓点的数量、轮廓点的大致的位置坐标；且本提案可以根据视角预测结果预测得到车辆轮廓，可以对不同的视角的车辆图像进行轮廓点的预测，提高车辆识别的效率。解决了现有技术中无法对车辆的关键点进行检测技术问题。本实施例另一好处就是可以根据视角预测结果预测得到车辆轮廓，并不限制车辆的拍摄视角，可以对不同的视角的车辆图像进行轮廓点的预测。并通过堆叠沙漏网络对待检测车辆图像进行处理，使得不同的特征可以在不同的网络层上可以很好的被识别出来，提高特征识别的精确度。而且，可以同时完成车辆视角的分类和车辆轮廓的预测，提高了车辆轮廓预测的效率。
在一个实施例中，如图4所示，在步骤302之前，还包括：
步骤402，获取样本车辆图片，其中，样本车辆图片中包括不同拍摄视角下的车辆图片，样本车辆图片中包括已标注的轮廓点信息以及实际拍摄视角。
轮廓点信息包括不同视角下，车辆的轮廓点先验坐标、轮廓点数量。例如，车辆正前方视角的车辆的轮廓点为8个，而车辆左前方视角的轮廓点为14个，无论是轮廓点的个数信息和轮廓点的位置信息都不尽相同。
步骤404，将样本车辆图片输入到待训练预测模型中，得到样本视角预测结果以及轮廓点回归预测结果。
待训练预测模型是未完成训练的车辆视角轮廓预测模型，样本视角预测结果的流程与对待检测车辆图像的视角预测流程一样，需要对样本车辆图像进行特征识别，基于识别得到的车辆的样本特征信息确定样本车辆图像的样本视角预测结果Li。其中，根据公式(1)：
其中，i表示0，1，2，3，4，5，6，7一共8个不同的车辆视角：车辆正前方视角、车辆左前方视角、车辆右前方视角、车辆正后方视角、车辆左后方视角、车辆右后方视角、车辆左方视角、车辆右方视角，表示某一视角下待训练预测模型的样本车辆图片的特征权重，不同视角下特征权重，/>表示所有视角下特征权重的和；xi表示输入的识别到的样本特征信息，byi：偏移量，bi为常量数据。
步骤406，获取样本视角预测结果相对于实际拍摄视角的交叉熵损失函数。
根据样本预测结果与实际拍摄视角得到交叉熵损失函数的值，并根据得到的值对公式(1)进行参数调整。
其中，交叉熵损失函数为公式(2)：
CrossEntropy_Loss＝Ly，(y)＝-∑iy′ilog(yi) (2)
其中，yi是样本视角预测结果，y′i是实际拍摄视角，根据得到的损失函数的数值对公式(1)的参数进行调整，会根据机器学习得到的参数调整方式按照损失函数的数值对参数进行调整，直到损失函数的值达到0.006。当损失函数的值为0.006时，表示点与点之间的距离，像素与像素之间很小了，得到的预测值与实际值相差不大，可以满足我们的需要；其中，0.006是根据经验值得到的。
步骤408，计算轮廓点回归预测结果相对于已标注的轮廓点信息的回归预测函数。
已知样本车辆图像的实际拍摄视角、实际拍摄视角下车辆轮廓点先验信息，通过堆叠沙漏网络预测该样本车辆图像的轮廓点，然后与实际的轮廓点计算回归预测损失函数的数值。其中，回归预测的损失函数MSE_LOSS公式(3)如下：
其中，l(x，y)＝L＝{l1，...，ln}T，ln＝(xn-yn)2，yi是车辆的样本视角预测结果，y′i是车辆的实际拍摄视角，l(x，y)是轮廓点的回归预测结果，xn，yn是实际的轮廓点坐标信息。
步骤410，根据预设权重比例联合交叉熵损失函数与轮廓点回归预测函数得到联合后的损失函数，训练待训练模型，得到车辆视角轮廓预测模型。
预设权重比例是根据训练经验得到的，本实施例可以按照99∶1的比例联合交叉熵损失函数与回归预测函数得到损失函数调整待训练模型的参数。其中，联合后得到的损失函数为公式(4)：
Total_Loss＝0.99*CrossEntropy_Loss+0.01*MSE_Loss (4)
进一步地，根据损失函数的数值适当调整待训练模型的参数，直到最终得到的损失函数的数值低于0.001，训练结束，得到车辆视角轮廓预测模型。
本实施例通过样本图像的已知的两种标注信息：车辆视角、车辆轮廓点，分别根据车辆视角、车辆轮廓点预测出样本图像样本视角预测结果与轮廓点回归预测结果，然后根据两者的损失函数按照预设权重值进行模型的训练和优化，通过联合两个损失函数，涉及了一种新的联合损失函数，能够让涉及车辆视角分类的算法与涉及轮廓预测的算法同时收敛达到训练车辆视角轮廓预测模型的目的，而且该模型可以同时输入不同的视角，不同轮廓点的样本进行学习，提高了模型学习效率，并获得了更好的学习效果。
在一个实施例中，如图5所示，步骤304，包括：
步骤502，获取所有拍摄视角的特征权重；
步骤504，根据特征权重、识别得到的车辆视角整体特征信息通过堆叠沙漏网络预测待检测车辆图像的车辆拍摄视角属于预设视角的概率。
步骤506，取最大概率对应的预设视角作为视角预测结果。
车辆视角轮廓预测模型需要对输入的每一张待检测车辆图像进行特征识别，识别得到的特征可以包括：车辆中保险杠的倾斜角度、尾灯/大灯的相对于车窗的位置、车窗玻璃的形状、车辆的大体轮廓、车辆的颜色、车辆的型号等等，这些识别得到的信息会以像素与像素之间的关系的形式表现出来，然后被车辆视角轮廓预测模型作为抽象的车辆整体特征信息用于车辆拍摄视角的预测。其中，不同拍摄视角的特征对于视角预测有不同的特征权重，比如，正视图时，保险杠的倾斜角度所有的权重一般比较高，而车玻璃的形状、车辆的颜色、车的型号权重较低。基于特征权重和识别得到的特征信息，通过堆叠沙漏网络最终预测得到的车辆视角可以是：车辆正前方视角、车辆左前方视角、车辆右前方视角、车辆正后方视角、车辆左后方视角、车辆右后方视角、车辆左方视角或车辆右方视角。
具体地，通过车辆视角轮廓预测模型可以得到待检测车辆图像中的车辆拍摄视角属于8个视角的概率，并取概率最大的作为这张待检测车辆图像的视角预测结果。其中，每一次车辆视角预测结果都包括与车辆视角对应的车辆轮廓先验信息，车辆轮廓先验信息中包括该车辆视角下车辆的轮廓点数量、每一个轮廓点可能的像素坐标等等。比如：车辆正前方视角的车辆的轮廓点为8个，每一个轮廓点也都有一个先验坐标；而车辆左前方视角的轮廓点为14个，无论是轮廓点的个数信息和轮廓点的位置信息都不尽相同。
本实施例通过堆叠沙漏网络对待检测车辆图像进行处理，使得不同的特征可以在不同的网络层上可以很好的被识别出来，提高特征识别的精确度，并根据精准识别到的特征进行车辆拍摄视角的预测，提高了视角预测的精度。
应该理解的是，虽然图3-图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-图5中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图6所示，提供了一种车辆轮廓检测装置，该车辆轮廓检测装置与上述实施例中车辆轮廓检测方法一一对应。该车辆轮廓检测装置包括：
图像获取模块602，用于获取待检测车辆图像，并输入到车辆视角轮廓预测模型中；
视角预测模块604，用于通过堆叠沙漏网络识别待检测车辆图像的特征，基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果；
图像处理模块606，用于对待检测车辆图像进行卷积处理，得到车辆特征图，其中，车辆特征图的数量与车辆视角预测结果对应的轮廓点数量相等；
坐标预测模块608，用于计算车辆特征图中每一个像素点为轮廓点的预测值，并将最高预测值对应的轮廓点作为目标轮廓点；
轮廓整合模块610，用于整合每一张待检测车辆图像的所有目标轮廓点，作为车辆视角轮廓预测模型输出的待检测车辆图像的轮廓点预测结果。
进一步地，在图像获取模块602之前，车辆轮廓检测装置，还包括：
样本获取模块，用于获取样本车辆图片，其中，样本车辆图片中包括不同拍摄视角下的车辆图片，样本车辆图片中包括已标注的轮廓点信息以及实际拍摄视角；
轮廓点预测模块，用于将样本车辆图片输入到待训练预测模型中，得到样本视角预测结果以及轮廓点回归预测结果；
交叉熵损失计算模块，用于获取样本视角预测结果相对于实际拍摄视角的交叉熵函数交叉熵损失函数；
回归预测损失模块，用于计算轮廓点回归预测结果相对于已标注的轮廓点信息的回归预测函数；
损失联合模块，用于根据预设权重比例联合交叉熵函数交叉熵损失函数与轮廓点回归预测函数得到联合后的损失函数，训练待训练模型，得到车辆视角轮廓预测模型。
进一步地，视角预测模块604，包括：
权重获取子模块，用于获取所有拍摄视角的特征权重；
概率计算子模块，用于根据所述特征权重、识别得到的车辆视角整体特征信息通过堆叠沙漏网络预测待检测车辆图像的车辆拍摄视角属于预设视角的概率；
视角预测子模块，用于取最大概率对应的预设视角作为视角预测结果，其中，视角预测结果包括车辆先验轮廓点数量以及车辆先验轮廓点坐标。
上述车辆轮廓检测装置，通过模型检测图像上的关键点坐标并利用预设的损失函数确定图像上的关键点坐标之间的损失值，根据损失值确定出优化值，并优化关键点检测模型。可以预测出待检测图像上关键点的位置坐标。申请人在实施本发明实施例的过程中，发现背景技术中至少存在以下缺陷：这种方式只能够获取待检测图上的关键点，存在不能对车辆场景下不同视角的车辆图片进行关键点检测降低了车辆识别的效率的技术问题。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图7所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储车辆图片。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆轮廓检测方法。通过预训练的车辆视角轮廓预测模型对待检测车辆图像的特征进行识别，预测出待检测车辆图像的视角预测结果，其中，视角预测结果中包括与该车辆的拍摄视角对应的轮廓点信息，比如轮廓点的数量、轮廓点的大致的位置坐标；且本提案可以根据视角预测结果预测得到车辆轮廓，可以对不同的视角的车辆图像进行轮廓点的预测，提高车辆识别的效率。
其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中车辆轮廓检测方法的步骤，例如图3所示的步骤302至步骤310，或者，处理器执行计算机程序时实现上述实施例中车辆轮廓检测装置的各模块/单元的功能，例如图6所示模块602至模块610的功能。为避免重复，此处不再赘述。通过预训练的车辆视角轮廓预测模型对待检测车辆图像的特征进行识别，预测出待检测车辆图像的视角预测结果，其中，视角预测结果中包括与该车辆的拍摄视角对应的轮廓点信息，比如轮廓点的数量、轮廓点的大致的位置坐标；且本提案可以根据视角预测结果预测得到车辆轮廓，可以对不同的视角的车辆图像进行轮廓点的预测，提高车辆识别的效率。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
此外，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形、改进或者对部分技术特征进行等同替换，而这些修改或者替换，并不使相同技术方案的本质脱离本发明个实施例技术方案地精神和范畴，都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种车辆轮廓检测方法，其特征在于，所述方法包括：
获取待检测车辆图像，并输入到车辆视角轮廓预测模型中；
通过所述车辆视角轮廓预测模型中的堆叠沙漏网络识别所述待检测车辆图像的特征，基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果，其中，所述视角预测结果包括车辆先验轮廓点数量；
对所述待检测车辆图像进行卷积处理，得到车辆特征图，其中，所述车辆特征图的数量与所述车辆视角预测结果对应的轮廓点数量相等；
将所述车辆特征图输入到所述堆叠沙漏网络，计算所述车辆特征图中每一个像素点为轮廓点的预测值，并将最高预测值对应的轮廓点作为目标轮廓点；
整合每一张待检测车辆图像的所有目标轮廓点，作为所述车辆视角轮廓预测模型输出的所述待检测车辆图像的轮廓点预测结果。
2.根据权利要求1所述的方法，其特征在于，在所述获取待检测车辆图像，并输入到车辆视角轮廓预测模型中之前，包括：
获取样本车辆图片，其中，所述样本车辆图片中包括不同拍摄视角下的车辆图片，所述样本车辆图片中包括已标注的轮廓点信息以及实际拍摄视角；
将所述样本车辆图片输入到待训练预测模型中，得到样本视角预测结果以及轮廓点回归预测结果；
获取所述样本视角预测结果相对于所述实际拍摄视角的交叉熵损失函数；
计算轮廓点回归预测结果相对于已标注的轮廓点信息的回归预测函数；
根据预设权重比例联合所述交叉熵损失函数与所述轮廓点回归预测函数得到联合后的损失函数，训练所述待训练模型，得到所述车辆视角轮廓预测模型。
3.根据权利要求2所述的方法，其特征在于，所述根据预设权重比例联合所述交叉熵损失函数与所述轮廓点回归预测函数得到联合后的损失函数，包括：
按照99:1的预设权重比例联合所述交叉熵损失函数与所述轮廓点回归预测函数得到所述损失函数。
4.根据权利要求2所述的方法，其特征在于，
所述交叉熵损失函数为：CrossEntropy_Loss＝Ly′(y)＝-∑iy′ilog(yi)
其中，yi是样本视角预测结果，y′i是实际拍摄视角。
5.根据权利要求2所述的方法，其特征在于，
所述轮廓点回归预测函数为：
其中，l(x,y)＝L＝{l1,…,ln}T，ln＝(xn-yn)2，yi是车辆的样本视角预测结果，y′i是车辆的实际拍摄视角，l(x,y)是轮廓点回归预测结果，(xn，yn)是实际的轮廓点坐标信息。
6.根据权利要求1所述的方法，其特征在于，所述对所述待检测车辆图像进行卷积处理，得到车辆特征图，包括：
通过堆叠沙漏网络对待检测车辆图像进行降采样，并对每一降采样得到的降采样图片与所述待检测车辆进行卷积处理，得到所述车辆特征图。
7.根据权利要求1所述的方法，其特征在于，所述基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果，包括：
获取所有拍摄视角的特征权重；
根据所述特征权重、识别得到的车辆视角整体特征信息通过堆叠沙漏网络预测所述待检测车辆图像的车辆拍摄视角属于预设视角的概率；
取最大概率对应的预设视角作为所述视角预测结果。
8.一种车辆轮廓检测装置，其特征在于，包括：
图像获取模块，用于获取待检测车辆图像，并输入到车辆视角轮廓预测模型中；
视角预测模块，用于通过堆叠沙漏网络识别所述待检测车辆图像的特征，基于识别得到的车辆视角整体特征信息确定待检测车辆图像的视角预测结果；
图像处理模块，用于对所述待检测车辆图像进行卷积处理，得到车辆特征图，其中，所述车辆特征图的数量与所述车辆视角预测结果对应的轮廓点数量相等；
坐标预测模块，用于计算所述车辆特征图中每一个像素点为轮廓点的预测值，并将最高预测值对应的轮廓点作为目标轮廓点；
轮廓整合模块，用于整合每一张待检测车辆图像的所有目标轮廓点，作为所述车辆视角轮廓预测模型输出的所述待检测车辆图像的轮廓点预测结果。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010349732.7A 2020-04-28 2020-04-28 车辆轮廓检测方法、装置、计算机设备及存储介质 Active CN111652245B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010349732.7A CN111652245B (zh) 2020-04-28 2020-04-28 车辆轮廓检测方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010349732.7A CN111652245B (zh) 2020-04-28 2020-04-28 车辆轮廓检测方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111652245A CN111652245A (zh) 2020-09-11
CN111652245B true CN111652245B (zh) 2024-04-30

Family

ID=72346506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349732.7A Active CN111652245B (zh) 2020-04-28 2020-04-28 车辆轮廓检测方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111652245B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348035B (zh) * 2020-11-11 2024-05-24 东软睿驰汽车技术（沈阳）有限公司 车辆关键点检测方法、装置及电子设备
CN112784817B (zh) * 2021-02-26 2023-01-31 上海商汤科技开发有限公司 车辆所在车道检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022501A (ja) * 2010-07-14 2012-02-02 Mitsubishi Heavy Ind Ltd 車両寸法検出システム
CN105157608A (zh) * 2015-08-31 2015-12-16 浙江大华技术股份有限公司 一种超限车辆的检测方法、装置及***
CN105787482A (zh) * 2016-02-26 2016-07-20 华北电力大学 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN110853060A (zh) * 2019-11-14 2020-02-28 上海眼控科技股份有限公司 车辆外观检测方法、装置、计算机设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107025642B (zh) * 2016-01-27 2018-06-22 百度在线网络技术（北京）有限公司 基于点云数据的车辆轮廓检测方法和装置
CN108528474B (zh) * 2018-04-02 2019-09-13 交控科技股份有限公司 地铁车辆限界检测方法和***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012022501A (ja) * 2010-07-14 2012-02-02 Mitsubishi Heavy Ind Ltd 車両寸法検出システム
CN105157608A (zh) * 2015-08-31 2015-12-16 浙江大华技术股份有限公司 一种超限车辆的检测方法、装置及***
CN105787482A (zh) * 2016-02-26 2016-07-20 华北电力大学 一种基于深度卷积神经网络的特定目标轮廓图像分割方法
US10067509B1 (en) * 2017-03-10 2018-09-04 TuSimple System and method for occluding contour detection
CN108898628A (zh) * 2018-06-21 2018-11-27 北京纵目安驰智能科技有限公司 基于单目的车辆三维目标姿态估计方法、***、终端和存储介质
CN110853060A (zh) * 2019-11-14 2020-02-28 上海眼控科技股份有限公司 车辆外观检测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于机器视觉车祸车辆的识别方法研究;杨欣宇等;计算机仿真;20160731;第33卷(第07期);第238-241页 *
视角相关的车辆型号精细识别方法;朱文佳等;合肥工业大学学报(自然科学版);20200229;第43卷(第02期);第205-210、279页 *

Also Published As

Publication number Publication date
CN111652245A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
US11244435B2 (en) Method and apparatus for generating vehicle damage information
CN109886330B (zh) 文本检测方法、装置、计算机可读存储介质和计算机设备
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN110516541B (zh) 文本定位方法、装置、计算机可读存储介质和计算机设备
CN112016467B (zh) 交通标志识别模型训练方法、识别方法、***、设备及介质
CN110781744A (zh) 一种基于多层次特征融合的小尺度行人检测方法
CN111310770B (zh) 目标检测方法和装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN111144398A (zh) 目标检测方法、装置、计算机设备和存储介质
CN114049512A (zh) 模型蒸馏方法、目标检测方法、装置及电子设备
CN113496208B (zh) 视频的场景分类方法及装置、存储介质、终端
CN112016502B (zh) 安全带检测方法、装置、计算机设备及存储介质
CN112733672A (zh) 基于单目相机的三维目标检测方法、装置和计算机设备
CN114170231A (zh) 基于卷积神经网络的图像语义分割方法、装置及电子设备
CN114359361A (zh) 深度估计方法、装置、电子设备和计算机可读存储介质
CN112651399B (zh) 检测倾斜图像中同行文字的方法及其相关设备
CN117693768A (zh) 语义分割模型的优化方法和装置
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN116466320A (zh) 目标检测方法及装置
CN116091596A (zh) 一种自下而上的多人2d人体姿态估计方法及装置
CN112699809B (zh) 痘痘类别识别方法、装置、计算机设备及存储介质
CN111382654A (zh) 图像处理方法和装置以及存储介质
CN112686847B (zh) 身份证图像拍摄质量评价方法、装置、计算机设备和介质
CN115988260A (zh) 一种图像处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant