CN111860087A - 信息检测方法、信息检测装置、计算机设备及存储介质 - Google Patents
信息检测方法、信息检测装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111860087A CN111860087A CN201910981932.1A CN201910981932A CN111860087A CN 111860087 A CN111860087 A CN 111860087A CN 201910981932 A CN201910981932 A CN 201910981932A CN 111860087 A CN111860087 A CN 111860087A
- Authority
- CN
- China
- Prior art keywords
- information
- vehicle
- sampling
- license plate
- information detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 264
- 238000005070 sampling Methods 0.000 claims description 154
- 238000012549 training Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/63—Scene text, e.g. street names
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提出了一种信息检测方法、信息检测装置、计算机设备及存储介质。其中，信息检测方法包括：获取拍摄图像；利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息。通过本发明技术方案中分别对车辆和车牌进行检测，一方面加快了检测速度，另一方面提高了检测精度。
Description
技术领域
本发明涉及信息检测技术领域，具体而言，涉及一种信息检测方法、信息检测装置、计算机设备及存储介质。
背景技术
相关技术中的高精度目标检测主要部署在服务器端，有充裕的内存、GPU(Graphics Processing Unit，图形处理器)和FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)等高性能计算硬件支持，但在移动端内存受限，不仅没有通用GPU来支持目标检测模型计算，而且在使用CPU计算的过程中还要考虑用户终端中其他应用进程在运行，为了不影响其他应用进程运行，目标检测模型设置只使用单核单线程来计算，算力极大的受到限制。在终端上各方面都受限的条件下，目标检测大致分为一阶和二阶的检测模型架构，二阶检测模型大，检测精度高，但速度较慢；一些经典的一阶检测模型(例如，yolo，retinanet)虽然速度较快，但这些小型化模型是在牺牲一定精度的前提下实现的高速检测，不能满足高精度检测任务，这两类模型在速度和精度上不能同时满足业务需求。
发明内容
本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。
为此，本发明的一个方面在于提出了一种信息检测方法。
本发明的另一个方面在于提出了一种信息检测装置。
本发明的再一个方面在于提出了一种计算机设备。
本发明的又一个方面在于提出了一种计算机可读存储介质。
有鉴于此，根据本发明的一个方面，提出了一种信息检测方法，包括：获取拍摄图像；利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息。
本发明提供的信息检测方法，针对经典通用检测模型速度和精度的矛盾，摒弃了同时检测所有类别对象的方式，针对车辆(大物体)和车牌(小物体)使用独立检测分支，分别使用信息检测模型的特征层来单独接一个专属的检测分支，即利用信息检测模型的车辆检测分支检测车辆获取车辆信息，以及利用信息检测模型的车牌检测分支检测车牌获取车牌信息。通过本发明技术方案中分别对车辆和车牌进行检测，一方面加快了检测速度，另一方面提高了检测精度。
根据本发明的上述信息检测方法，还可以具有以下技术特征：
在上述技术方案中，还包括：根据车辆信息和车牌信息判断拍摄图像是否有效；当拍摄图像无效时，发出提示信息。
在该技术方案中，需要进行车辆验证时，在司机拍摄车辆过程中实时检测车辆和车牌，若检测到的车辆信息和车牌信息有误或者信息不全，则确定拍摄图像无效，及时发出提示信息提醒司机，确保司机提交审核的车辆短视频或图片是包含车辆和车牌的有效视频信息。
在上述任一技术方案中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
在该技术方案中，在车辆的独立检测分支中集成车门状态识别，输出车门开和关两种状态，在车辆的独立检测分支中还集成车辆方向识别，输出车辆照片0度、90度、180度、270度的方向信息，本发明不仅能够高精度实时检测车体和车牌，同时还能识别出车辆方向信息和车门状态。
在上述任一技术方案中，还包括：获取采样图像，以及获取采样图像中的采样信息；根据采样信息，建立信息检测模型。
在该技术方案中，将采样图像中的采样信息进行标记，将采样信息输入至信息检测模型，通过采样信息和标记对该信息检测模型的参数进行训练，得到最优模型，从而能够通过该模型对车辆信息和车牌信息进行精准且快速地检测。
在上述任一技术方案中，信息检测模型包括五层主干网络；根据采样信息，建立信息检测模型的步骤，具体包括：根据采样信息的车辆采样信息训练信息检测模型的第五层主干网络和车辆检测分支，以及根据采样信息的车牌采样信息训练信息检测模型的第一层主干网络、第二层主干网络、第三层主干网络、第四层主干网络以及车牌检测分支，其中，车辆采样信息包括采样车体中心点坐标、采样车体外框坐标、采样车体宽度、采样车体高度、采样车头或车尾属性、采样车门打开或关闭信息、采样车辆方向信息，车牌采样信息包括采样车牌中心点坐标、采样车牌宽度、采样车牌高度、采样车牌前景、采样车牌背景。
在该技术方案中，信息检测模型使用mobilenet_v3(深度学习模型)作为主干网络，使用特征分离的独立检测分支(车辆检测分支、车牌检测分支)分别检测车辆和车牌，检测分支根据车辆和车牌不同的形状，定制不同的anchor长宽比，更加贴合检测对象以显著提高检测精度，其中anchor为目标检测任务中检测特征图中每个点默认映射在原图上的固定的参考框。车辆在图中占比较大较容易检出，因此车辆检测分支接在主干网络的最后一层5×5低分辨率的特征层后，同时在该层集成车头或车尾、车门状态、车辆方向识别模型，这样既能够高精度检测大物体(车辆)，也能在增加极少量计算的情况下集成额外的属性识别。而车牌在图片中占比较小，不易检出需要较多的anchor覆盖量来保证检测精度，但使用更多的主干网络特征层接入额外的检测分支来增大anchor覆盖量会带来大量的计算，因此本发明的技术方案融合了主干网络剩余的4层特征层，融合后在20×20高分辨率的特征层下增加anchor的scale层级来提供足够的anchor覆盖，这样既满足了高精度检出的anchor覆盖数量又节省算力。
根据本发明的另一个方面，提出了一种信息检测装置，包括：图像获取单元，用于获取拍摄图像；信息检测单元，用于利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息。
本发明提供的信息检测装置，针对经典通用检测模型速度和精度的矛盾，摒弃了同时检测所有类别对象的方式，针对车辆(大物体)和车牌(小物体)使用独立检测分支，分别使用信息检测模型的特征层来单独接一个专属的检测分支，即利用信息检测模型的车辆检测分支检测车辆获取车辆信息，以及利用信息检测模型的车牌检测分支检测车牌获取车牌信息。通过本发明技术方案中分别对车辆和车牌进行检测，一方面加快了检测速度，另一方面提高了检测精度。
根据本发明的上述信息检测装置，还可以具有以下技术特征：
在上述技术方案中，还包括：处理单元，用于根据车辆信息和车牌信息判断拍摄图像是否有效；提示单元，用于当拍摄图像无效时，发出提示信息。
在该技术方案中，需要进行车辆验证时，处理单元在司机拍摄车辆过程中实时检测车辆和车牌，若检测到的车辆信息和车牌信息有误或者信息不全，则确定拍摄图像无效，提示单元及时发出提示信息提醒司机，确保司机提交审核的车辆短视频或图片是包含车辆和车牌的有效视频信息。
在上述任一技术方案中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
在该技术方案中，在车辆的独立检测分支中集成车门状态识别，输出车门开和关两种状态，在车辆的独立检测分支中还集成车辆方向识别，输出车辆照片0度、90度、180度、270度的方向信息，本发明不仅能够高精度实时检测车体和车牌，同时还能识别出车辆方向信息和车门状态。
在上述任一技术方案中，还包括：模型建立单元，用于获取采样图像，并获取采样图像中的采样信息；以及根据采样信息，建立信息检测模型。
在该技术方案中，将采样图像中的采样信息进行标记，将采样信息输入至信息检测模型，通过采样信息和标记对该信息检测模型的参数进行训练，得到最优模型，从而能够通过该模型对车辆信息和车牌信息进行精准且快速地检测。
在上述任一技术方案中，信息检测模型包括五层主干网络；模型建立单元根据采样信息，建立信息检测模型，具体包括：根据采样信息的车辆采样信息训练信息检测模型的第五层主干网络和车辆检测分支，以及根据采样信息的车牌采样信息训练信息检测模型的第一层主干网络、第二层主干网络、第三层主干网络、第四层主干网络以及车牌检测分支，其中，车辆采样信息包括采样车体中心点坐标、采样车体外框坐标、采样车体宽度、采样车体高度、采样车头或车尾属性、采样车门打开或关闭信息、采样车辆方向信息，车牌采样信息包括采样车牌中心点坐标、采样车牌宽度、采样车牌高度、采样车牌前景、采样车牌背景。
在该技术方案中，信息检测模型使用mobilenet_v3(深度学习模型)作为主干网络，使用特征分离的独立检测分支(车辆检测分支、车牌检测分支)分别检测车辆和车牌，检测分支根据车辆和车牌不同的形状，定制不同的anchor长宽比，更加贴合检测对象以显著提高检测精度，其中anchor为目标检测任务中检测特征图中每个点默认映射在原图上的固定的参考框。车辆在图中占比较大较容易检出，因此车辆检测分支接在主干网络的最后一层5×5低分辨率的特征层后，同时在该层集成车头或车尾、车门状态、车辆方向识别模型，这样既能够高精度检测大物体(车辆)，也能在增加极少量计算的情况下集成额外的属性识别。而车牌在图片中占比较小，不易检出需要较多的anchor覆盖量来保证检测精度，但使用更多的主干网络特征层接入额外的检测分支来增大anchor覆盖量会带来大量的计算，因此本发明的技术方案融合了主干网络剩余的4层特征层，融合后在20×20高分辨率的特征层下增加anchor的scale层级来提供足够的anchor覆盖，这样既满足了高精度检出的anchor覆盖数量又节省算力。
根据本发明的再一个方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一技术方案的信息检测方法的步骤。
本发明提供的计算机设备，处理器执行计算机程序时实现如上述任一技术方案的信息检测方法的步骤，因此该计算机设备包括上述任一技术方案的信息检测方法的全部有益效果。
根据本发明的又一个方面，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一技术方案的信息检测方法的步骤。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现如上述任一技术方案的信息检测方法的步骤，因此该计算机可读存储介质包括上述任一技术方案的信息检测方法的全部有益效果。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1示出了本发明的第一个实施例的信息检测方法的流程示意图；
图2示出了本发明的第二个实施例的信息检测方法的流程示意图；
图3示出了本发明的第三个实施例的信息检测方法的流程示意图；
图4示出了本发明的第四个实施例的信息检测模型的结构示意图；
图5示出了本发明的第一个实施例的信息检测装置的示意框图；
图6示出了本发明的第二个实施例的信息检测装置的示意框图；
图7示出了本发明的第三个实施例的信息检测装置的示意框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。
本发明第一方面的实施例，提出一种信息检测方法，以下通过多个实施例进行详细说明。
实施例一，图1示出了本发明的第一个实施例的信息检测方法的流程示意图。其中，该方法包括：
步骤102，获取拍摄图像；
步骤104，利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息。
本发明提供的信息检测方法，针对经典通用检测模型速度和精度的矛盾，摒弃了同时检测所有类别对象的方式，针对车辆(大物体)和车牌(小物体)使用独立检测分支，分别使用信息检测模型的特征层来单独接一个专属的检测分支，即利用信息检测模型的车辆检测分支检测车辆获取车辆信息，以及利用信息检测模型的车牌检测分支检测车牌获取车牌信息。通过本发明技术方案中分别对车辆和车牌进行检测，一方面加快了检测速度，另一方面提高了检测精度。
在该实施例中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。在车辆的独立检测分支中集成车门状态识别，输出车门开和关两种状态，在车辆的独立检测分支中还集成车辆方向识别，输出车辆照片0度、90度、180度、270度的方向信息，本发明不仅能够高精度实时检测车体和车牌，同时还能识别出车辆方向信息和车门状态。
实施例二，图2示出了本发明的第二个实施例的信息检测方法的流程示意图。其中，该方法包括：
步骤202，获取拍摄图像；
步骤204，利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息；
步骤206，根据车辆信息和车牌信息判断拍摄图像是否有效；
步骤208，当拍摄图像无效时，发出提示信息。
在该实施例中，需要进行车辆验证时，在司机拍摄车辆过程中实时检测车辆和车牌，若检测到的车辆信息和车牌信息有误或者信息不全，则确定拍摄图像无效，及时发出提示信息提醒司机，确保司机提交审核的车辆短视频或图片是包含车辆和车牌的有效视频信息。
其中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
实施例三，图3示出了本发明的第三个实施例的信息检测方法的流程示意图。其中，该方法包括：
步骤302，获取采样图像，以及获取采样图像中的采样信息；根据采样信息，建立信息检测模型；
步骤304，获取拍摄图像；
步骤306，利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息；
步骤308，根据车辆信息和车牌信息判断拍摄图像是否有效；
步骤310，当拍摄图像无效时，发出提示信息。
在该实施例中，将采样图像中的采样信息进行标记，将采样信息输入至信息检测模型，通过采样信息和标记对该信息检测模型的参数进行训练，得到最优模型，从而能够通过该模型对车辆信息和车牌信息进行精准且快速地检测。
信息检测模型包括五层主干网络；步骤302中，根据采样信息的车辆采样信息训练信息检测模型的第五层主干网络和车辆检测分支，以及根据采样信息的车牌采样信息训练信息检测模型的第一层主干网络、第二层主干网络、第三层主干网络、第四层主干网络以及车牌检测分支，其中，车辆采样信息包括采样车体中心点坐标、采样车体外框坐标、采样车体宽度、采样车体高度、采样车头或车尾属性、采样车门打开或关闭信息、采样车辆方向信息，车牌采样信息包括采样车牌中心点坐标、采样车牌宽度、采样车牌高度、采样车牌前景、采样车牌背景。
实施例四，本发明提出一种移动端车辆车牌检测方法，该方法包括：
1.设计模型，模型结构如图4所示，信息检测模型使用mobilenet_v3(深度学习模型)作为主干网络，使用特征分离的独立检测分支(车辆检测分支、车牌检测分支)分别检测车辆和车牌，检测分支根据车辆和车牌不同的形状，定制不同的anchor长宽比，更加贴合检测对象以显著提高检测精度，其中anchor为目标检测任务中检测特征图中每个点默认映射在原图上的固定的参考框。车辆在图中占比较大较容易检出，因此车辆检测分支接在主干网络的最后一层5×5低分辨率的特征层后，同时在该层集成车头或车尾、车门状态、车辆方向识别模型，这样既能够高精度检测大物体(车辆)，也能在增加极少量计算的情况下集成额外的属性识别。具体地，可在车辆检测分支中集成2层车门状态识别层，输出车门开和关两种状态，在车辆检测分支中集成4层车辆照片方向识别层，输出车辆照片0度、逆时针90度、逆时针180度、逆时针270度的方向信息。而车牌在图片中占比较小，不易检出需要较多的anchor覆盖量来保证检测精度，但使用更多的主干网络特征层接入额外的检测分支来增大anchor覆盖量会带来大量的计算，因此本发明的技术方案融合了主干网络剩余的4层特征层，融合后在20×20高分辨率的特征层下增加anchor的scale层级来提供足够的anchor覆盖，这样既满足了高精度检出的anchor覆盖数量又节省算力。
2.标注车辆、车牌的外框坐标数据。
3.标注车辆图片车头或车尾属性。
4.标注车辆图片车门状态(关闭或打开)。
5.调整所有车辆图片方向为正向，训练时逆时针随机旋转0度、90度、180度、270度并输出标签。
6.训练时输入RGB(Red Green Blue)图像，经主干网络mobilenet_v3输出后抽取5层特征层。其中最后一层作为车辆检测的分支和车辆外框坐标、车辆图片方向、车门状态、车头/车尾标签一起训练；其余4层通过金字塔上采样融合成一层作为车牌检测的分支和车牌外框坐标、车牌前景/背景标签一起训练。
7.训练完毕后，使用信息检测模型检测车辆和车牌的位置并输出车门状态、车辆图片分享、车头或车尾属性。
本发明第二方面的实施例，提出一种信息检测装置，以下通过多个实施例进行详细说明。
实施例一，图5示出了本发明的第一个实施例的信息检测装置50的示意框图。其中，该信息检测装置50包括：
图像获取单元502，用于获取拍摄图像；
信息检测单元504，用于利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息。
本发明提供的信息检测装置50，针对经典通用检测模型速度和精度的矛盾，摒弃了同时检测所有类别对象的方式，针对车辆(大物体)和车牌(小物体)使用独立检测分支，分别使用信息检测模型的特征层来单独接一个专属的检测分支，即利用信息检测模型的车辆检测分支检测车辆获取车辆信息，以及利用信息检测模型的车牌检测分支检测车牌获取车牌信息。通过本发明技术方案中分别对车辆和车牌进行检测，一方面加快了检测速度，另一方面提高了检测精度。
在上述实施例中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
在该实施例中，在车辆的独立检测分支中集成车门状态识别，输出车门开和关两种状态，在车辆的独立检测分支中还集成车辆方向识别，输出车辆照片0度、90度、180度、270度的方向信息，本发明不仅能够高精度实时检测车体和车牌，同时还能识别出车辆方向信息和车门状态。
实施例二，图6示出了本发明的第二个实施例的信息检测装置60的示意框图。其中，该信息检测装置60包括：
图像获取单元602，用于获取拍摄图像；
信息检测单元604，用于利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息；
处理单元606，用于根据车辆信息和车牌信息判断拍摄图像是否有效；
提示单元608，用于当拍摄图像无效时，发出提示信息。
在该实施例中，需要进行车辆验证时，处理单元606在司机拍摄车辆过程中实时判断车辆和车牌，若检测到的车辆信息和车牌信息有误或者信息不全，则确定拍摄图像无效，提示单元608及时发出提示信息提醒司机，确保司机提交审核的车辆短视频或图片是包含车辆和车牌的有效视频信息。
其中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
实施例三，图7示出了本发明的第三个实施例的信息检测装置70的示意框图。其中，该信息检测装置70包括：
模型建立单元702，用于获取采样图像，并获取采样图像中的采样信息；以及根据采样信息，建立信息检测模型；
图像获取单元704，用于获取拍摄图像；
信息检测单元706，用于利用信息检测模型的车辆检测分支检测拍摄图像中的车辆，获取车辆信息，以及利用信息检测模型的车牌检测分支检测拍摄图像中的车牌，获取车牌信息；
处理单元708，用于根据车辆信息和车牌信息判断拍摄图像是否有效；
提示单元710，用于当拍摄图像无效时，发出提示信息。
在该实施例中，将采样图像中的采样信息进行标记，将采样信息输入至信息检测模型，通过采样信息和标记对该信息检测模型的参数进行训练，得到最优模型，从而能够通过该模型对车辆信息和车牌信息进行精准且快速地检测。
在上述实施例中，信息检测模型包括五层主干网络；模型建立单元根据采样信息，建立信息检测模型，具体包括：根据采样信息的车辆采样信息训练信息检测模型的第五层主干网络和车辆检测分支，以及根据采样信息的车牌采样信息训练信息检测模型的第一层主干网络、第二层主干网络、第三层主干网络、第四层主干网络以及车牌检测分支，其中，车辆采样信息包括采样车体中心点坐标、采样车体外框坐标、采样车体宽度、采样车体高度、采样车头或车尾属性、采样车门打开或关闭信息、采样车辆方向信息，车牌采样信息包括采样车牌中心点坐标、采样车牌宽度、采样车牌高度、采样车牌前景、采样车牌背景。
在该实施例中，信息检测模型使用mobilenet_v3(深度学习模型)作为主干网络，使用特征分离的独立检测分支(车辆检测分支、车牌检测分支)分别检测车辆和车牌，检测分支根据车辆和车牌不同的形状，定制不同的anchor长宽比，更加贴合检测对象以显著提高检测精度，其中anchor为目标检测任务中检测特征图中每个点默认映射在原图上的固定的参考框。车辆在图中占比较大较容易检出，因此车辆检测分支接在主干网络的最后一层5×5低分辨率的特征层后，同时在该层集成车头或车尾、车门状态、车辆方向识别模型，这样既能够高精度检测大物体(车辆)，也能在增加极少量计算的情况下集成额外的属性识别。而车牌在图片中占比较小，不易检出需要较多的anchor覆盖量来保证检测精度，但使用更多的主干网络特征层接入额外的检测分支来增大anchor覆盖量会带来大量的计算，因此本发明的技术方案融合了主干网络剩余的4层特征层，融合后在20×20高分辨率的特征层下增加anchor的scale层级来提供足够的anchor覆盖，这样既满足了高精度检出的anchor覆盖数量又节省算力。
在该实施例中，需要进行车辆验证时，处理单元708在司机拍摄车辆过程中实时判断车辆和车牌，若检测到的车辆信息和车牌信息有误或者信息不全，则确定拍摄图像无效，提示单元710及时发出提示信息提醒司机，确保司机提交审核的车辆短视频或图片是包含车辆和车牌的有效视频信息。
其中，车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
本发明第三方面的实施例，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述任一实施例的信息检测方法的步骤。
本发明提供的计算机设备，处理器执行计算机程序时实现如上述任一实施例的信息检测方法的步骤，因此该计算机设备包括上述任一实施例的信息检测方法的全部有益效果。
本发明第四方面的实施例，提出了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上述任一实施例的信息检测方法的步骤。
本发明提供的计算机可读存储介质，计算机程序被处理器执行时实现如上述任一实施例的信息检测方法的步骤，因此该计算机可读存储介质包括上述任一实施例的信息检测方法的全部有益效果。
在本说明书的描述中，术语“第一”、“第二”仅用于描述的目的，而不能理解为指示或暗示相对重要性，除非另有明确的规定和限定；术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种信息检测方法，其特征在于，包括：
获取拍摄图像；
利用信息检测模型的车辆检测分支检测所述拍摄图像中的车辆，获取车辆信息，以及利用所述信息检测模型的车牌检测分支检测所述拍摄图像中的车牌，获取车牌信息。
2.根据权利要求1所述的信息检测方法，其特征在于，还包括：
根据所述车辆信息和所述车牌信息判断所述拍摄图像是否有效；
当所述拍摄图像无效时，发出提示信息。
3.根据权利要求1所述的信息检测方法，其特征在于，
所述车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；
所述车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
4.根据权利要求1至3中任一项所述的信息检测方法，其特征在于，还包括：
获取采样图像，以及获取所述采样图像中的采样信息；
根据所述采样信息，建立所述信息检测模型。
5.根据权利要求4所述的信息检测方法，其特征在于，所述信息检测模型包括五层主干网络；
根据所述采样信息，建立所述信息检测模型的步骤，具体包括：
根据所述采样信息的车辆采样信息训练所述信息检测模型的第五层主干网络和所述车辆检测分支，以及根据所述采样信息的车牌采样信息训练所述信息检测模型的第一层主干网络、第二层主干网络、第三层主干网络、第四层主干网络以及所述车牌检测分支，其中，所述车辆采样信息包括采样车体中心点坐标、采样车体外框坐标、采样车体宽度、采样车体高度、采样车头或车尾属性、采样车门打开或关闭信息、采样车辆方向信息，所述车牌采样信息包括采样车牌中心点坐标、采样车牌宽度、采样车牌高度、采样车牌前景、采样车牌背景。
6.一种信息检测装置，其特征在于，包括：
图像获取单元，用于获取拍摄图像；
信息检测单元，用于利用信息检测模型的车辆检测分支检测所述拍摄图像中的车辆，获取车辆信息，以及利用所述信息检测模型的车牌检测分支检测所述拍摄图像中的车牌，获取车牌信息。
7.根据权利要求6所述的信息检测装置，其特征在于，还包括：
处理单元，用于根据所述车辆信息和所述车牌信息判断所述拍摄图像是否有效；
提示单元，用于当所述拍摄图像无效时，发出提示信息。
8.根据权利要求6所述的信息检测装置，其特征在于，
所述车辆信息包括以下一种或其组合：车体中心点坐标、车体外框坐标、车体宽度、车体高度、车头或车尾属性、车门打开或关闭信息、车辆方向信息；
所述车牌信息包括以下一种或其组合：车牌中心点坐标、车牌宽度、车牌高度、车牌前景、车牌背景。
9.根据权利要求6至8中任一项所述的信息检测装置，其特征在于，还包括：
模型建立单元，用于获取采样图像，并获取所述采样图像中的采样信息；以及根据所述采样信息，建立所述信息检测模型。
10.根据权利要求9所述的信息检测装置，其特征在于，所述信息检测模型包括五层主干网络；
所述模型建立单元根据所述采样信息，建立所述信息检测模型，具体包括：
根据所述采样信息的车辆采样信息训练所述信息检测模型的第五层主干网络和所述车辆检测分支，以及根据所述采样信息的车牌采样信息训练所述信息检测模型的第一层主干网络、第二层主干网络、第三层主干网络、第四层主干网络以及所述车牌检测分支，其中，所述车辆采样信息包括采样车体中心点坐标、采样车体外框坐标、采样车体宽度、采样车体高度、采样车头或车尾属性、采样车门打开或关闭信息、采样车辆方向信息，所述车牌采样信息包括采样车牌中心点坐标、采样车牌宽度、采样车牌高度、采样车牌前景、采样车牌背景。
11.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的信息检测方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的信息检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910981932.1A CN111860087A (zh) | 2019-10-16 | 2019-10-16 | 信息检测方法、信息检测装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910981932.1A CN111860087A (zh) | 2019-10-16 | 2019-10-16 | 信息检测方法、信息检测装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111860087A true CN111860087A (zh) | 2020-10-30 |
Family
ID=72970669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910981932.1A Pending CN111860087A (zh) | 2019-10-16 | 2019-10-16 | 信息检测方法、信息检测装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860087A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830192A (zh) * | 2018-05-31 | 2018-11-16 | 珠海亿智电子科技有限公司 | 车载环境下基于深度学习的车辆与车牌检测方法 |
| CN109635656A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 基于神经网络的车辆属性识别方法、装置、设备及介质 |
| CN109635825A (zh) * | 2018-12-19 | 2019-04-16 | 苏州市科远软件技术开发有限公司 | 车辆属性检测方法、装置及存储介质 |
| WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
| KR102030628B1 (ko) * | 2019-04-04 | 2019-10-10 | (주)아이엠시티 | Cnn 기반 차량 번호판 인식 방법 및 시스템 |
-
2019
- 2019-10-16 CN CN201910981932.1A patent/CN111860087A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019169816A1 (zh) * | 2018-03-09 | 2019-09-12 | 中山大学 | 一种用于精细化识别车辆属性的深度神经网络及训练方法 |
| CN108830192A (zh) * | 2018-05-31 | 2018-11-16 | 珠海亿智电子科技有限公司 | 车载环境下基于深度学习的车辆与车牌检测方法 |
| CN109635656A (zh) * | 2018-11-12 | 2019-04-16 | 平安科技（深圳）有限公司 | 基于神经网络的车辆属性识别方法、装置、设备及介质 |
| CN109635825A (zh) * | 2018-12-19 | 2019-04-16 | 苏州市科远软件技术开发有限公司 | 车辆属性检测方法、装置及存储介质 |
| KR102030628B1 (ko) * | 2019-04-04 | 2019-10-10 | (주)아이엠시티 | Cnn 기반 차량 번호판 인식 방법 및 시스템 |
Non-Patent Citations (2)
| Title |
|---|
| 柳思健;: "基于卷积网络的车辆定位与细粒度分类算法", 自动化与仪表, no. 07 * |
| 赵田;安婧;韩彩霞;贾学科;: "面向自然环境的车牌检测算法设计", 兰州文理学院学报(自然科学版), no. 04 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11830230B2 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US20210343041A1 (en) | Method and apparatus for obtaining position of target, computer device, and storage medium | |
| CN110866871A (zh) | 文本图像矫正方法、装置、计算机设备及存储介质 | |
| US11790499B2 (en) | Certificate image extraction method and terminal device | |
| CN109711407B (zh) | 一种车牌识别的方法及相关装置 | |
| CN111259968A (zh) | 非法图像识别方法、装置、设备和计算机可读存储介质 | |
| CN112307853A (zh) | 航拍图像的检测方法、存储介质和电子装置 | |
| CN110674759A (zh) | 一种基于深度图的单目人脸活体检测方法、装置及设备 | |
| CN105657376A (zh) | 基于智能移动终端的家庭安防***及实现方法 | |
| CN108388880A (zh) | 一种监测司机开车使用手机的方法及装置 | |
| CN110554356A (zh) | 一种可见光通信中设备定位方法及*** | |
| CN113160231A (zh) | 一种样本生成方法、样本生成装置及电子设备 | |
| WO2023138537A1 (zh) | 一种图像处理方法、装置、终端设备及存储介质 | |
| CN112101205A (zh) | 基于多任务网络的训练方法和装置 | |
| US20220357159A1 (en) | Navigation Method, Navigation Apparatus, Electronic Device, and Storage Medium | |
| CN114612531B (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN117876608B (zh) | 三维图像重建方法、装置、计算机设备及存储介质 | |
| US20240153041A1 (en) | Image processing method and apparatus, computer, readable storage medium, and program product | |
| CN113112404A (zh) | 一种基于滑动窗口的图像拼接方法及装置 | |
| CN112070703B (zh) | 一种仿生机器鱼水下视觉图像增强方法及*** | |
| CN109698908A (zh) | 智能调用前后摄像头成像的方法、终端及存储介质 | |
| CN111724437B (zh) | 视觉定位方法及相关装置、设备、存储介质 | |
| WO2021022989A1 (zh) | 标定参数的获取方法、装置、处理器及电子设备 | |
| CN112446845A (zh) | 地图构建方法、装置、slam***以及存储介质 | |
| CN111860087A (zh) | 信息检测方法、信息检测装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |