CN114359222B - 一种任意多边形目标检测方法、电子设备及存储介质 - Google Patents

一种任意多边形目标检测方法、电子设备及存储介质 Download PDF

Info

Publication number
CN114359222B
CN114359222B CN202210005521.0A CN202210005521A CN114359222B CN 114359222 B CN114359222 B CN 114359222B CN 202210005521 A CN202210005521 A CN 202210005521A CN 114359222 B CN114359222 B CN 114359222B
Authority
CN
China
Prior art keywords
target
picture
target object
corner
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210005521.0A
Other languages
English (en)
Other versions
CN114359222A (zh
Inventor
赵磊
张铁监
汪洋
叶剑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duolun Technology Corp ltd
Original Assignee
Duolun Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duolun Technology Corp ltd filed Critical Duolun Technology Corp ltd
Priority to CN202210005521.0A priority Critical patent/CN114359222B/zh
Publication of CN114359222A publication Critical patent/CN114359222A/zh
Application granted granted Critical
Publication of CN114359222B publication Critical patent/CN114359222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种任意多边形目标检测方法、电子设备及存储介质，通过神经网络得到多边形目标检测模型，其能够不依赖先验框，检测出多边形形状的目标，突破了传统目标检测的矩形框检测，使得目标框与检测物体的IOU值更大，更加精准；并且统一了水平矩形框目标检测、旋转矩形框目标检测和多边形框目标检测模型，提升了模型的适用范围。

Description

一种任意多边形目标检测方法、电子设备及存储介质
技术领域
本发明属于目标检测技术领域，具体涉及一种任意多边形目标检测方法、电子设备及存储介质。
背景技术
目标检测是计算机视觉领域的基本任务之一，学术界已有将近二十年的研究历史。近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术。从最初2013年提出的R-CNN、OverFeat，到后面的Fast/Faster R-CNN，SSD，YOLO系列，再到2020年最近的SAPD。短短不到五年时间，基于深度学习的目标检测技术，在网络结构上，从two stage到one stage，从bottom-up only到Top-Down，从single scale network到feature pyramid network，从面向PC端到面向手机端，都涌现出许多好的算法技术，这些算法在开放目标检测数据集上的检测效果和性能都很出色。
目前，目标检测算法主要应用于人脸检测、车辆检测、物业安防等领域；其主流方法可分为水平矩形目标检测和旋转矩形目标检测，而上述两种目标检测方法对于不规则图形的检验存在缺陷，检验框精度不够，对于需要精确判定检测目标区域的应用领域来说不够精确。
发明内容
为了克服现有技术中存在的不足，本发明提供一种任意多边形目标检测方法、电子设备及存储介质，其能够不依赖先验框，检测出多边形形状的目标；该方法相比于现有的目标检测方法在环境适应性以及角度范围都有极大的优势。
为实现上述目的，本发明采用以下技术方案。
一种任意多边形目标检测方法,采集目标场景的各个图片作为目标场景图片数据集，执行以下步骤，对目标场景图片中的各目标物体分别进行中心点和角点向量的预测，实现目标场景图片中各目标物体的预测：
步骤S1：分别针对目标场景图片数据集中各图片中指定的各类别目标物体，基于分别与各类别目标物体一一对应的预设多边形，应用预设多边形以最小外接的方式分别对其对应类别的各目标物体进行框选；
步骤S2：分别针对目标场景图片数据集中各图片中由预设多边形框选的各目标物体，基于目标物体对应的外接预设多边形得到目标物体中心点，以该目标物体中心点为原点建立直角坐标系，对该目标物体对应的外接预设多边形的各角点进行角点排序，并且得到目标物体对应外接预设多边形上各角点在其自身坐标系下到中心点的向量，即目标物体对应的角点向量；进而获得各图片中各目标物体的中心点、各目标物体分别所对应外接预设多边形上各角点的角点排序、以及各目标物体分别对应的角点向量；
步骤S3：基于目标场景图片数据集作为训练集，根据目标场景图片数据集中各图片中各个目标物体的中心点、各目标物体分别所对应外接预设多边形上各角点的角点排序、以及各目标物体分别对应的角点向量为基准，以目标场景图片数据集中图片为输入，以该图片中各目标物体的中心点、以及各个目标物体分别分别对应的角点向量为输出，对包含目标物体特征提取模块的神经网络进行训练得到多边形目标检测模型，预测目标场景图片中各个目标物体分别对应的中心点和角点向量，实现目标场景图片中各目标物体的预测；目标物体特征提取模块用于提取目标场景图片中反映目标物体的特征信息。
作为本发明的一种优选技术方案，所述步骤S2中，分别针对目标场景图片数据集所对应各图片中由预设多边形框选的的各目标物体，执行以下步骤，进而获得各图片中各个目标物体的中心点、各图片中各个目标物体分别所对应外接预设多边形上各角点的角点排序、以及各图片中各目标物体分别对应的角点向量：
步骤S2.1:基于目标物体对应的外接预设多边形，得出该外接预设多边形的最小外接矩形，进而得到该最小外接矩形的中心点作为该目标物体中心点；
步骤S2.2:以目标物体中心点为原点，以图片坐标方向为基准建立直角坐标系，以该直角坐标系y轴正半轴顺时针转动与外接预设多边形各角点重合的夹角作为各角点的角度；
步骤S2.3:基于外接预设多边形各角点角度的大小，按从小到大对各角点进行角点排序，并且得到目标物体对应外接预设多边形上各角点在其自身坐标系下到中心点的向量，即目标物体对应的角点向量。
作为本发明的一种优选技术方案，所述步骤S3中，具体执行以下步骤，预测目标场景图片中各个目标物体分别对应的中心点和角点向量，实现目标场景图片中各目标物体的预测：
步骤S3.1：随机抽取目标场景标记图片数据集中的一张图片输入神经网络，神经网络的目标物体特征提取模块提取得到该图片的64维特征向量，针对该图片的64维特征向量分别使用256个3x3卷积核进行卷积，得到该图片的分类热力图和该图片中各目标物体分别对应的角点向量；
步骤S3.2：基于该图片中各个目标物体的中心点、该图片中各个目标物体分别所对应外接预设多边形上各角点的角点排序、以及该图片中各目标物体分别对应的角点向量为基准，分别对该图片分类热力图、该图片中各目标物体分别对应的角点向量进行优化，进而优化该神经网络；
步骤S3.3：依次不断从目标场景图片数据集中随机抽取一张图片输入神经网络执行步骤S3.1至步骤S3.2，分别对该图片分类热力图、该图片中各目标物体分别对应的角点向量进行迭代优化，进而对神经网络进行迭代优化，直到神经网络的损失函数值趋于收敛稳定，神经网络训练完成得到多边形目标检测模型，预测目标场景图片中各个目标物体分别对应的中心点和角点向量，实现目标场景图片中各目标物体的预测。
作为本发明的一种优选技术方案，使用多元交叉熵损失函数对图片分类热力图进行优化，即对图片中各目标物体中心点进行优化，当多元交叉熵损失函数趋于收敛稳定则优化完成；使用正则损失函数对图片中各目标物体分别对应的角点向量进行优化，当正则损失函数趋于收敛稳定则优化完成。
作为本发明的一种优选技术方案，所述神经网络的损失函数为多元交叉熵损失函数与正则损失函数之和。
作为本发明的一种优选技术方案，所述多元交叉熵损失函数LK如下：
其中，α和β是Focal Loss的超参数；N是图片中中心点总数量，即目标物体总数量；表示对于目标物体类别c，在图片分类热力图坐标(x,y)中检测到类别为c的目标物体；表示对于目标物体类别c，在图片分类热力图坐标(x,y)中未检测到类别为c的目标物体。
作为本发明的一种优选技术方案，所述正则损失函数L1如下：
其中，n表示第n个目标物体，1≤n≤K,N是图片中中心点总数量，即目标物体总数量；i表示第i个角点坐标，1≤i≤K,K为预设多边形的角点总数量；为目标场景图片预测分类热力图中第n个目标物体对应的第i个预测角点坐标到该目标物体预测中心点坐标的向量；sn，i为目标场景图片中实际第n个目标物体对应的第i个角点坐标到该目标物体中心点坐标的向量。
作为本发明的一种优选技术方案，所述神经网络为DLA34网络。
一种电子设备，其特征在于：包括存储装置、一个或多个处理器，存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的一种任意多边形目标检测方法。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现所述的一种任意多边形目标检测方法。
本发明的有益效果是：本发明提出的一种任意多边形目标检测方法、电子设备及存储介质，突破了传统目标检测的矩形框检测，使得目标框与检测物体的IOU值更大，更加精准；并且统一了水平矩形框目标检测、旋转矩形框目标检测和多边形框目标检测模型，提升了模型的适用范围。
附图说明
图1为本发明方法的流程图；
图2为本发明车辆的检测图；
图3为本发明地面平板的检测图。
具体实施方式
下面结合附图对本发明进行进一步说明。
目前，目标检测算法主要应用于人脸检测、车辆检测、物业安防等领域，本发明提供一种任意多边形目标检测方法、电子设备及存储介质，其能够不依赖先验框，检测出多边形形状的目标；该方法相比于现有的目标检测方法在环境适应性以及角度范围都有极大的优势。
在车辆检测目标场景下，一种任意多边形目标检测方法,采集车辆检测目标场景的各个图片作为车辆检测目标场景图片数据集，执行以下步骤，如图1所示，对车辆检测目标场景图片中的各目标车辆分别进行中心点和角点向量的预测，实现车辆检测目标场景图片中各目标车辆的预测。
步骤S1：分别针对车辆检测目标场景图片数据集所对应各图片中指定的各类别目标车辆，基于分别与各类别目标车辆一一对应的预设多边形，应用预设多边形以最小外接的方式分别对其对应类别的各目标车辆进行框选。这里我们假设只检测一种目标车辆。
步骤S2：分别针对车辆检测目标场景图片数据集所对应各图片中由预设多边形框选的的各目标车辆，基于目标车辆对应的外接预设多边形得到目标车辆中心点，以该目标车辆中心点为原点建立直角坐标系，对该目标车辆对应的外接预设多边形的各角点进行角点排序，并且得到目标车辆对应外接预设多边形上各角点在其自身坐标系下到中心点的向量，即目标车辆对应的角点向量；进而获得各图片中各个目标车辆的中心点、各图片中各个目标车辆分别所对应外接预设多边形上各角点的角点排序、以及各图片中各目标车辆分别对应的角点向量。
分别针对车辆检测目标场景图片数据集所对应各图片中由预设多边形框选的的各目标车辆，执行以下步骤，进而获得各图片中各个目标车辆的中心点、各图片中各个目标车辆分别所对应外接预设多边形上各角点的角点排序、以及各图片中各目标车辆分别对应的角点向量；
步骤S2.1:基于目标车辆对应的外接预设多边形，得出该外接预设多边形的最小外接矩形，进而得到该最小外接矩形的中心点作为该目标车辆中心点；
步骤S2.2:以目标车辆中心点为原点，以图片坐标方向为基准建立直角坐标系，以该直角坐标系y轴正半轴顺时针转动与外接预设多边形各角点重合的夹角作为各角点的角度；各坐标都是相同分辨率的坐标系；
步骤S2.3:基于外接预设多边形各角点角度的大小，按从小到大对各角点进行角点排序，并且得到目标车辆对应外接预设多边形上各角点在其自身坐标系下到中心点的向量，即目标车辆对应的角点向量。
步骤S3：基于车辆检测目标场景图片数据集作为训练集，根据车辆检测目标场景图片数据集所对应各图片中各个目标车辆的中心点、各图片中各个目标车辆分别所对应外接预设多边形上各角点的角点排序、以及各图片中各目标车辆分别对应的角点向量为基准，以车辆检测目标场景图片数据集中任意一图片为输入，以该图片中各目标车辆的中心点、以及各个目标车辆分别对应的角点向量为输出，对包含目标车辆特征提取模块的神经网络进行训练得到多边形目标检测模型，预测车辆检测目标场景图片中各个目标车辆分别对应的中心点和角点向量，实现车辆检测目标场景图片中各目标车辆的预测；目标车辆特征提取模块用于提取车辆检测目标场景图片中反映目标车辆的特征信息。
具体执行以下步骤，预测车辆检测目标场景图片中各个目标车辆分别对应的中心点和角点向量，实现车辆检测目标场景图片中各目标车辆的预测：
步骤S3.1：随机抽取车辆检测目标场景标记图片数据集中的一张图片输入神经网络，神经网络的目标车辆特征提取模块提取得到该图片的64维特征向量，针对该图片的64维特征向量分别使用256个3x3卷积核进行卷积，得到该图片的分类热力图和该图片中各目标车辆分别对应的角点到中心点的向量，即各目标车辆分别对应的角点向量；分类热力图体现该图片中各目标物体的中心点。
步骤S3.2：基于该图片中各个目标车辆的中心点、该图片中各个目标车辆分别所对应外接预设多边形上各角点的角点排序、以及该图片中各目标车辆分别对应的角点向量为基准，分别对该图片分类热力图、该图片中各目标车辆分别对应角点向量进行优化，进而优化该神经网络；
步骤S3.3：依次不断从车辆检测目标场景图片数据集中随机抽取一张图片输入神经网络执行步骤S3.1至步骤S3.2，分别对该图片分类热力图、该图片中各目标车辆分别对应角点向量进行迭代优化，进而对神经网络进行迭代优化，直到神经网络的损失函数值趋于收敛稳定，即训练过程中损失函数的值稳定在某个范围内，神经网络训练完成得到多边形目标检测模型，预测车辆检测目标场景图片中各个目标车辆分别对应的中心点和角点向量，实现车辆检测目标场景图片中各目标车辆的预测。如图2所示，为在车辆检测目标场景图片中对对目标车辆的检测结果；同时还有通过不同预设多边形检测不同的目标物体，如图3所示。
所述神经网络的损失函数为图片分类热力图的多元交叉熵损失函数，与图片中各目标车辆分别对应的角点向量的正则损失函数之和，所述神经网络为DLA34网络。
使用多元交叉熵损失函数对图片分类热力图进行优化，即对图片中各目标车辆中心点进行优化，当多元交叉熵损失函数趋于收敛稳定则优化完成；使用正则损失函数对图片中各目标车辆分别对应的角点向量进行优化，当正则损失函数趋于收敛稳定则优化完成。
假设输入图像为I∈RW×H×3，其中，W和H分别为图像的宽和高，经过训练网络DLA34预测得到热力图R为下采样比率，C为类别数(C的取值为要检测的物体的类别数，这里只检测一种目标车辆，则C＝1)，所述图片分类热力图的多元交叉熵损失函数LK如下：
其中，α和β是Focal Loss(焦点损失函数)的超参数，Focal loss是对多元交叉熵损失函数的改进；N是图片中中心点总数量，即目标车辆总数量；表示对于目标车辆类别c，在图片分类热力图坐标(x,y)中检测到类别为c的目标车辆；表示对于目标车辆类别c，在图片分类热力图坐标(x,y)中未检测到类别为c的目标车辆。
对于角点向量的损失函数：假设为目标n，所属类别为cn，中心点即为：
p(n)＝(x(n)，y(n))
使用关键点预测所有的中心点，对于每个目标的角点向量(point_vector)进行回归，最终回归到其中：
表示向下取整，通过直接求得热力图中心点坐标与角点坐标的向量，在不损失精度的情况下去除offset的预测，简化了模型；为了减少回归难度，使用作为预测值，使用L1损失函数,所述图片所有目标车辆角点向量的正则损失函数L1如下：
其中，n表示第n个目标车辆，1≤n≤N,N是图片中中心点总数量，即目标车辆总数量；i表示第i个角点坐标，1≤i≤K,K为预设多边形的角点总数量；为车辆检测目标场景图片预测分类热力图中第n个目标车辆对应的第i个预测角点坐标到该目标车辆预测中心点坐标的向量；sn，i为车辆检测目标场景图片中实际第n个目标车辆对应的第i个角点坐标到该目标车辆中心点坐标的向量。
一种电子设备，包括存储装置、一个或多个处理器，存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述的一种任意多边形目标检测方法。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现所述的一种任意多边形目标检测方法。
本发明设计的一种任意多边形目标检测方法、电子设备及存储介质，突破了传统目标检测的矩形框检测，使得目标框与检测物体的IOU值更大，更加精准；并且统一了水平矩形框目标检测、旋转矩形框目标检测和多边形框目标检测模型，提升了模型的适用范围。
以上结合附图对本发明的实施方式做出详细说明，但本发明不局限于所描述的实施方式。对本领域的普通技术人员而言，在本发明的原理和技术思想的范围内，对这些实施方式进行多种变化、修改、替换和变形仍落入本发明的保护范围内。

Claims (10)

1.一种任意多边形目标检测方法,其特征在于：采集目标场景的各个图片作为目标场景图片数据集，执行以下步骤，对目标场景图片中的各目标物体分别进行中心点和角点向量的预测，实现目标场景图片中各目标物体的预测：
步骤S1：分别针对目标场景图片数据集中各图片中指定的各类别目标物体，基于分别与各类别目标物体一一对应的预设多边形，应用预设多边形以最小外接的方式分别对其对应类别的各目标物体进行框选；
步骤S2：分别针对目标场景图片数据集中各图片中由预设多边形框选的各目标物体，基于目标物体对应的外接预设多边形得到目标物体中心点，以该目标物体中心点为原点建立直角坐标系，对该目标物体对应的外接预设多边形的各角点进行角点排序，并且得到目标物体对应外接预设多边形上各角点在其自身坐标系下到中心点的向量，即目标物体对应的角点向量；进而获得各图片中各目标物体的中心点、各目标物体分别所对应外接预设多边形上各角点的角点排序、以及各目标物体分别对应的角点向量；
步骤S3：基于目标场景图片数据集作为训练集，根据目标场景图片数据集中各图片中各个目标物体的中心点、各目标物体分别所对应外接预设多边形上各角点的角点排序、以及各目标物体分别对应的角点向量为基准，以目标场景图片数据集中图片为输入，以该图片中各目标物体的中心点、以及各个目标物体分别对应的角点向量为输出，对包含目标物体特征提取模块的神经网络进行训练得到多边形目标检测模型，预测目标场景图片中各个目标物体分别对应的中心点和角点向量，实现目标场景图片中各目标物体的预测；目标物体特征提取模块用于提取目标场景图片中反映目标物体的特征信息。
2.根据权利要求1所述的一种任意多边形目标检测方法，其特征在于：所述步骤S2中，分别针对目标场景图片数据集所对应各图片中由预设多边形框选的各目标物体，执行以下步骤，进而获得各图片中各个目标物体的中心点、各图片中各个目标物体分别所对应外接预设多边形上各角点的角点排序、以及各图片中各目标物体分别对应的角点向量：
步骤S2.1:基于目标物体对应的外接预设多边形，得出该外接预设多边形的最小外接矩形，进而得到该最小外接矩形的中心点作为该目标物体中心点；
步骤S2.2:以目标物体中心点为原点，以图片坐标方向为基准建立直角坐标系，以该直角坐标系y轴正半轴顺时针转动与外接预设多边形各角点重合的夹角作为各角点的角度；
步骤S2.3:基于外接预设多边形各角点角度的大小，按从小到大对各角点进行角点排序，并且得到目标物体对应外接预设多边形上各角点在其自身坐标系下到中心点的向量，即目标物体对应的角点向量。
3.根据权利要求1所述的一种任意多边形目标检测方法，其特征在于：所述步骤S3中，具体执行以下步骤，预测目标场景图片中各个目标物体分别对应的中心点和角点向量，实现目标场景图片中各目标物体的预测：
步骤S3.1：随机抽取目标场景标记图片数据集中的一张图片输入神经网络，神经网络的目标物体特征提取模块提取得到该图片的64维特征向量，针对该图片的64维特征向量分别使用256个3x3卷积核进行卷积，得到该图片的分类热力图和该图片中各目标物体分别对应的角点向量；
步骤S3.2：基于该图片中各个目标物体的中心点、该图片中各个目标物体分别所对应外接预设多边形上各角点的角点排序、以及该图片中各目标物体分别对应的角点向量为基准，分别对该图片分类热力图、该图片中各目标物体分别对应的角点向量进行优化，进而优化该神经网络；
步骤S3.3：依次不断从目标场景图片数据集中随机抽取一张图片输入神经网络执行步骤S3.1至步骤S3.2，分别对该图片分类热力图、该图片中各目标物体分别对应的角点向量进行迭代优化，进而对神经网络进行迭代优化，直到神经网络的损失函数值趋于收敛稳定，神经网络训练完成得到多边形目标检测模型，预测目标场景图片中各个目标物体分别对应的中心点和角点向量，实现目标场景图片中各目标物体的预测。
4.根据权利要求3所述的一种任意多边形目标检测方法，其特征在于：使用多元交叉熵损失函数对图片分类热力图进行优化，即对图片中各目标物体中心点进行优化，当多元交叉熵损失函数趋于收敛稳定则优化完成；使用正则损失函数对图片中各目标物体分别对应的角点向量进行优化，当正则损失函数趋于收敛稳定则优化完成。
5.根据权利要求4所述的一种任意多边形目标检测方法，其特征在于：所述神经网络的损失函数为多元交叉熵损失函数与正则损失函数之和。
6.根据权利要求4所述的一种任意多边形目标检测方法，其特征在于：所述多元交叉熵损失函数LK如下：
其中，α和β是Focal Loss的超参数；N是图片中中心点总数量，即目标物体总数量；表示对于目标物体类别c，在图片分类热力图坐标(x,y)中检测到类别为c的目标物体；表示对于目标物体类别c，在图片分类热力图坐标(x,y)中未检测到类别为c的目标物体。
7.根据权利要求4所述的一种任意多边形目标检测方法，其特征在于：所述正则损失函数L1如下：
其中，n表示第n个目标物体，1≤n≤N,N是图片中中心点总数量，即目标物体总数量；i表示第i个角点坐标，1≤i≤K,K为预设多边形的角点总数量；为目标场景图片预测分类热力图中第n个目标物体对应的第i个预测角点坐标到该目标物体预测中心点坐标的向量；sn，i为目标场景图片中实际第n个目标物体对应的第i个角点坐标到该目标物体中心点坐标的向量。
8.根据权利要求1所述的一种任意多边形目标检测方法，其特征在于：所述神经网络为DLA34网络。
9.一种电子设备，其特征在于：包括存储装置、一个或多个处理器，存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一项所述的一种任意多边形目标检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现如权利要求1-8中任一项所述的一种任意多边形目标检测方法。
CN202210005521.0A 2022-01-05 2022-01-05 一种任意多边形目标检测方法、电子设备及存储介质 Active CN114359222B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210005521.0A CN114359222B (zh) 2022-01-05 2022-01-05 一种任意多边形目标检测方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210005521.0A CN114359222B (zh) 2022-01-05 2022-01-05 一种任意多边形目标检测方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114359222A CN114359222A (zh) 2022-04-15
CN114359222B true CN114359222B (zh) 2024-07-05

Family

ID=81106566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210005521.0A Active CN114359222B (zh) 2022-01-05 2022-01-05 一种任意多边形目标检测方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114359222B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114742820B (zh) * 2022-05-11 2023-06-27 西南交通大学 一种基于深度学习的螺栓松动检测方法、***及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160242A (zh) * 2019-12-27 2020-05-15 上海眼控科技股份有限公司 图像目标检测方法、***、电子终端及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109977943B (zh) * 2019-02-14 2024-05-07 平安科技（深圳）有限公司 一种基于yolo的图像目标识别方法、***和存储介质
CN111160407B (zh) * 2019-12-10 2023-02-07 重庆特斯联智慧科技股份有限公司 一种深度学习目标检测方法及***
CN111523553B (zh) * 2020-04-03 2023-04-18 中国计量大学 一种基于相似度矩阵的中心点网络多目标检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111160242A (zh) * 2019-12-27 2020-05-15 上海眼控科技股份有限公司 图像目标检测方法、***、电子终端及存储介质

Also Published As

Publication number Publication date
CN114359222A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN106228185B (zh) 一种基于神经网络的通用图像分类识别***及方法
CN111179217A (zh) 一种基于注意力机制的遥感图像多尺度目标检测方法
TWI651697B (zh) 停車場空位偵測方法及其偵測模型建立方法
CN111028327B (zh) 一种三维点云的处理方法、装置及设备
CN110991311A (zh) 一种基于密集连接深度网络的目标检测方法
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN108428248B (zh) 车窗定位方法、***、设备及存储介质
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN109948457B (zh) 基于卷积神经网络和cuda加速的实时目标识别方法
WO2019006389A1 (en) DENSE OPTICAL FLOW PROCESSING IN AN ARTIFICIAL VISION SYSTEM
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114359222B (zh) 一种任意多边形目标检测方法、电子设备及存储介质
CN111611925A (zh) 一种建筑物检测与识别方法及装置
CN113076804A (zh) 基于YOLOv4改进算法的目标检测方法、装置及***
CN114022558A (zh) 图像定位方法、装置、计算机设备和存储介质
CN112101113B (zh) 一种轻量化的无人机图像小目标检测方法
CN112580435B (zh) 人脸定位方法、人脸模型训练与检测方法及装置
CN115861595B (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN116665054A (zh) 一种基于改进YOLOv3的遥感影像小目标检测方法
WO2022017129A1 (zh) 目标对象检测方法、装置、电子设备及存储介质
CN113033578B (zh) 基于多尺度特征匹配的图像校准方法、***、终端及介质
WO2022017133A1 (zh) 一种点云数据处理方法及装置
CN113033593B (zh) 基于深度学习的文本检测训练方法及装置
CN109614841B (zh) 嵌入式***中的快速人脸检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant