CN112308105B - 目标检测方法、目标检测器及相关设备 - Google Patents

目标检测方法、目标检测器及相关设备 Download PDF

Info

Publication number
CN112308105B
CN112308105B CN201910713477.7A CN201910713477A CN112308105B CN 112308105 B CN112308105 B CN 112308105B CN 201910713477 A CN201910713477 A CN 201910713477A CN 112308105 B CN112308105 B CN 112308105B
Authority
CN
China
Prior art keywords
convolution
feature
detection
sampling point
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910713477.7A
Other languages
English (en)
Other versions
CN112308105A (zh
Inventor
王乃岩
韩晨夏
陈韫韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tusimple Technology Co Ltd
Original Assignee
Beijing Tusimple Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Tusimple Technology Co Ltd filed Critical Beijing Tusimple Technology Co Ltd
Priority to CN201910713477.7A priority Critical patent/CN112308105B/zh
Publication of CN112308105A publication Critical patent/CN112308105A/zh
Application granted granted Critical
Publication of CN112308105B publication Critical patent/CN112308105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种目标检测方法、目标检测器及相关设备,以解决现有技术目标检测器分类精度低的问题。本方案提供的目标检测方法在对图像进行特征提取得到特征图之后,并不是直接对该特征图进行分类检测处理,而是针对该特征图中的每个特征点,确定出该特征点的检测框以及该检测框中的特征,并对检测框内特征进行卷积得到该特征点的新特征值,通过该种方式使得对该特征点进行卷积的卷积范围特征与该特征点对应的检测框特征能够对齐,而特征点对应的检测框中的特征能够更加精准的表达特征点的特征,通过该种方式能够使得更新后的特征图表达的特征更加精准,从而基于该新的特征图进行分类检测的结果也更加精准,从而提高了目标检测器的分类和检测的精度。

Description

目标检测方法、目标检测器及相关设备
技术领域
本发明涉及深度学习领域,特别涉及一种目标检测方法、一种目标检测器、一种计算机可读存储介质、一种包含指令的计算机程序产品、一种芯片***、一种电路***、一种计算机服务器和一种智能移动设备。
背景技术
目前,完成目标检测的目标检测器主要包括单阶段目标检测器和两阶段目标检测器,两阶段目标检测器由于不是全卷积网络,不便于部署,同时框架中有多次采样过程,涉及可调节的参数过多,这些参数会极大影响性能。而单阶段目标检测器由于其利于部署,而得到越来越多的关注,但是与两阶段目标检测器相比,仍然存在性能不足、无法做到精准分类的问题。
发明内容
鉴于单阶段目标检测器存在的上述技术问题,本发明提供一种目标检测方法及一种目标检测器,以提高目标检测器的分类精度。
本发明实施例第一方面,提供一种目标检测方法,方法包括:
对接收到的图像进行特征提取,得到与所述图像对应的特征图;
对所述特征图中每个特征点进行以下处理步骤得到所述图像对应的新特征图:确定特征点的检测框;根据预置卷积核和所述检测框确定出卷积采样点组;采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值;将新特征值替换所述特征点的原特征值;
对所述新特征图进行分类和检测,得到所述图像对应的目标检测结果。
在一些方面,本实施例提供的目标检测方法,在对图像进行特征提取得到特征图之后,并不是直接对该特征图进行分类检测处理,而是针对该特征图中的每个特征点,确定出该特征点的检测框以及该检测框中的特征,并对检测框内特征进行卷积得到该特征点的新特征值,通过该种方式从而使得对该特征点进行卷积的卷积范围特征与该特征点对应的检测框特征能够对齐,而特征点对应的检测框中的特征能够更加精准的表达特征点的特征,通过该种方式能够使得更新后的特征图表达的特征更加精准,从而基于该新的特征图进行分类检测的结果也更加精准,从而提高了目标检测器的分类和检测的精度。
本发明实施例第二方面,提供目标检测器,包括:
特征提取模块,用于对接收到的图像进行特征提取,得到与所述图像对应的特征图;
特征图修正模块,用于对所述特征图中每个特征点进行以下处理步骤得到所述图像对应的新特征图:确定特征点的检测框;根据预置卷积核和所述检测框确定出卷积采样点组;采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值;将新特征值替换所述特征点的原特征值;
分类检测模块,用于对接收到的所述新特征图进行分类和检测,得到所述图像对应的目标检测结果。
本发明实施例,第三方面,提供一种计算机可读存储介质,包括程序或指令,当所述程序或指令在计算机上运行时,如前述第一方面所述的目标检测方法被实现。
本发明实施例,第四方面,提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如前述第一方面所述的目标检测方法。
本发明实施例,第五方面,提供一种芯片***,包括处理器,所述处理器与存储器的耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现前述第一方面的目标检测方法。
本发明实施例,第六方面,提供一种电路***,所述电路***包括处理电路,所述处理电路配置为执行如前述第一方面的目标检测方法。
本发明实施例,第七方面,提供一种计算机服务器,包括存储器,以及与所述存储器通信连接的一个或多个处理器;所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器实现如前述第一方面所述的目标检测方法。
本发明实施例,第八方面,提供一种智能移动设备,包括摄像机和计算机服务器,所述摄像机将采集的图像传输给所述计算机服务器,所述计算机服务器包括存储器,以及与所述存储器通信连接的一个或多个处理器;所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器对接收到的图像实现如前述第一方面的目标检测方法。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,并不构成对本发明的限制,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例目标检测方法的流程图;
图2为本发明实施例中确定特征点的检测框的流程图;
图3A、图3B为本发明实施例中设置一个锚框、多个锚框的示意图;
图4为本发明实施例中根据锚框绘制得到检测框的示意图;
图5A、图5B为本发明实施例中在特征图中对特征点绘制锚框和检测框的示意图;
图6为本发明实施例中另一种确定特征点的检测框的流程图;
图7为本发明实施例基于图6所示的流程对检测框进行处理的示意图;
图8为本发明实施例中又一种确定特征点的检测框的流程图;
图9为本发明实施例基于图8所示的流程对检测框进行处理的示意图;
图10为本发明实施例中确定卷积采样组的流程图;
图11A、图11B和图11C为将检测框划分成多个区域的示意图;
图12A、图12B、图12C为本发明实施例中确定卷积采样点的特征值的示意图;
图13为确定第二卷机采样点组的示意图;
图14A、图14B为图像的特征图为一个、多个的示意图;
图15为本发明实施例中目标检测器的结构示意图;
图16为现有RetinaNet的结构示意图;
图17为本发明实施例基于RetinaNet得到的目标检测器的示意图;
图18为本发明实施例提供的计算机服务器的示例性结构示意图。
具体实施方式
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。此外,本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是,本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。在本申请实施例中,“A和/或B”表示A和B,A或B两个含义。“A,和/或B,和/或C”表示A、B、C中的任一个,或者,表示A、B、C中的任两个,或者,表示A和B和C。
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
实施例一
本发明实施例一提供目标检测方法的具体实施方式。
参见图1,为本发明实施例一中目标检测的方法流程图,所述方法可包括步骤101~步骤103,其中:
步骤101、对接收到的图像进行特征提取,得到与所述图像对应的特征图。
本发明实施例的前述步骤101中,可以采用任何图像特征提取技术对接收到的图像进行特征提取,本领域技术人员可以根据实际情况灵活选择,本发明实施例并不做任何的限定,例如HOG(Histogram of Oriented Gradient,方向梯度直方图)、SIFT(Scale-invariant features transform,尺度不变特征变换)、SURF(Speeded Up RobustFeatures,加速稳健特征)、DOG(Difference of Gaussian,高斯函数差分)、LBP(LocalBinary Pattern,局部二值模式)以及HAAR等。
步骤102、对所述特征图中每个特征点进行以下处理步骤102a~步骤102d得到所述图像对应的新特征图:
步骤102a、确定特征点的检测框(确定的检测框表示预测得到的图像中的目标的边界框);
步骤102b、根据预置卷积核和所述检测框确定出卷积采样点组;
步骤102c、采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值;
步骤102d、将新特征值替换所述特征点的原特征值。
步骤103、对所述新特征图进行分类和检测,得到所述图像对应的目标检测结果。
本发明实施例中,前述步骤103中,可以通过现有的目标检测分类器对所述新特征图进行分类和检测以得到所述图像对应的目标检测结果,例如SVM、DPM R-CNN、SPP-net、Fast R-CNN、Faster R-CNN等,本发明实施例不做严格限定,本领域技术人员可以根据实际情况灵活选择。
在一些可选的实施例中,所述步骤102a,确定特征点的检测框,具体可通过图2所示的步骤A1~步骤A3实现,其中:
步骤A1、根据所述特征点的坐标、预置的锚框尺寸,确定出所述特征点对应的锚框;
步骤A2、获取所述锚框的偏移量;
步骤A3、根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框。
在一些可选的实施例中,预先设置有锚框的尺寸,包括长、宽等尺寸,在得到特征点的坐标后,以该特征点坐标为中心点按照所述锚框尺寸绘制所述特征点的锚框。在一些可选的实施例中,可以预先对特征图中的每个特征点均设置同一个锚框尺寸,即在每个特征点上绘制的锚框的尺寸一致,例如如图3A所示。在一些可选的实施例中,可以预先对特征图中的每个特征点均设置多个锚框尺寸,每个特征点对应的多个锚框尺寸分别相同,即在每个特征点上绘制多个锚框,如图3B所示,为每个特征点设置两个锚框。
在一些可选的实施例中,所述步骤A2中获取锚框的偏移量,如图4所示,实线框表示特征点的锚框Anchor,虚线框表示该特征点的检测框Bbox,Anchor与Bbox之间的偏移量用offset(dx,dy,dw,dh)表示,Anchor坐标表示为(x1,y1,x2,y2),Bbox坐标表示为(x′1,y′1,x′2,y′2),其中:
在一些可选的实施例中,前述偏移量offset可以是通过训练得到预测模型根据anchor预测得到,或者还可以是人工输入得到,本领域技术人员可以根据实际情况灵活设置,本申请不作严格限定。
如图5A所示,为一张图像对应的一个特征图,以特征图中的特征点A为例,通过步骤A1绘制出特征点A的锚框(用Anchor表示);通过步骤A3绘制得到该特征点A对应的检测框(以用Bbox表示)。如图5B所示,为一张图像对应的一个特征图,以特征图中的特征点A为例,通过步骤A1绘制出特征点A的两个锚框(用Anchor1和Anchor2表示);通过步骤A3绘制得到该特征点A对应的两个检测框(以用Bbox1和Bbox2表示)。
在一些可选的实施例中,在所述步骤102a的步骤A3之后还可进一步包括步骤A4~步骤A5,如图6所示,其中:
步骤A4、判断所述检测框是否全部落入所述特征图中;若是则不做处理;若否则执行步骤A5;
步骤A5、将所述检测框中超出特征图的部分框剪裁掉,将落在特征图中的部分框确定为新的检测框。
如图7所示,为一张图像对应的一个特征图,以特征图中的特征点A、特征点B、特征点C为例,特征点A、特征点B、特征点C分别对应的检测框为BboxA、BboxB、BboxC(图7中用虚线框表示),其中BboxA未超出特征图,不对BboxA进行处理,其中BboxB、BboxC均超出特征图,对BboxB、BboxC进行裁剪后得到新的检测框BboxB、BboxC。
在一些可选的实施例中,在所述步骤102a的步骤A3之后还可进一步包括步骤A6~步骤A7,如图8所示,其中:
步骤A6、判断所述检测框是否全部落入所述特征图中;若是则不做处理;若否则执行步骤A7;
步骤A7、将所述特征图向外延展直到所述检测框全部落入所述特征图中,并将特征图中向外延展的区域的特征值设置为零。
如图9所示,为一张图像对应的一个特征图,以特征图中的特征点A、特征点B、特征点C为例,特征点A、特征点B、特征点C分别对应的检测框为BboxA、BboxB、BboxC,其中BboxA未超出特征图,不对BboxA进行处理,其中BboxB、BboxC均超出特征图,将特征图往外延展区域以使得BboxB、BboxC全部落入特征图中,并将延展区域的特征值设置为0。
在一些可选的实施例中,前述步骤102b中,根据预置卷积核和所述检测框确定出卷积采样点组,具体可通过图10所示的步骤B1~步骤B2实现,其中:
步骤B1、根据所述卷积核的尺寸将所述检测框均匀划分成多个区域,将各区域的中心点确定为卷积采样点组中的各卷积采样点,并计算各卷积采样点的坐标;
步骤B2、针对每个卷积采样点,根据卷积采样点的坐标确定该卷积采样点的特征值。
在一些可选的实施例中,假设检测框在特征图中的坐标为(x1,y1,x2,y2),其中检测框的大小为h×w,则可通过以下公式(2)计算得到检测框中各个区域中心点的坐标:
i∈{O,1,...,h-1},j∈{O,1,...,w-1}
其中,表示第i行第j列的区域的中心点坐标,(X,Y)表示特征点的坐标,S为卷积步长,(x1,y1)、(x2,y2)为检测框两个对角的角点在特征图中的坐标。
在一些可选的实施例中,步骤B1中将检测框均匀划分成多个区域,以卷积核大小为3*3为例,将检测框均匀划分成3*3个区域,可根据不同的情况划分的结果示意图如图11A、图11B、图11C所示,图11A为对前述图7中的BboxA进行均匀划分的多个区域,图11B为对前述图7中的BboxB进行均匀划分的多个区域,图11C为对图9中的BboxC进行均匀划分的多个区域。
步骤B2中,根据卷积采样点的坐标确定卷积采样点的特征值,具体可通过但不仅限于以下几种方式实现:
方式1、将所述卷积采样点的坐标对应的特征点的特征值确定为所述卷积采样点的特征值。卷积采样点的坐标对应的特征点可以是指坐标与卷积采样点坐标距离最近的特征点,如图12A、图12B中所示,卷积采样点为A(图中的黑圆点表示卷积采样点A),图12A、图12B中的特征点a和特征点b即为与卷积采样点A对应的特征点,将该特征点a、特征点b的特征值作为卷积采样点A的特征值。
方式2、确定所述卷积采样点的坐标周边预置范围内的特征点,并根据预置范围内的特征点的特征值确定所述卷积采样点的特征值,如图12C所示,根据预置范围内的特征点a、b、c、d的特征值确定卷积采样点A的特征值。例如:将预置范围内的各特征点的特征值取平均值,将该平均值确定为所述卷积采样点的特征值;或者,将预置范围内的各特征点的特征值进行加权平均得到所述卷积采样点的特征值;或者取预置范围内的特征点的特征值的中位数作为所述卷积采样点的特征值;或者采用双线性插值算法根据预置范围内的特征点的特征值来计算得到所述卷积采样点的特征值。
在一些可选的实施例中,可以采用可变形卷积对检测框内的卷积采样点进行卷积,以得到所述特征点的新特征值。可变形卷积可以是现有的可变形卷积,提供一个可变形卷积的调用接口,具体实现可通过以下步骤C1~步骤C2实现:
步骤C1、根据所述卷积核的大小将所述检测框均匀划分成多个区域,将各区域的中心点确定为卷积采样点组中的各卷积采样点,并计算各卷积采样点的坐标;
步骤C2、根据所述卷积核在所述特征图中确定出对所述特征点进行卷积的第二卷积采样点组;
步骤C3、计算卷积采样点组中各卷积采样点分别与第二卷积采样点组中相应卷积采样点之间的坐标偏移量,并将偏移量传输给可变形卷积调用接口;
步骤C4、通过调用所述可变形卷积对检测框的特征进行卷积计算,得到所述特征点的新特征值。
在一些可选的实施例中,步骤C2中根据所述卷积核在所述特征图中确定出对所述特征点进行卷积的第二卷积采样点组,具体实现可如下:以特征点为中心点,按照卷积核的大小确定出第二卷积采样点组的数目,将特征点在内的周边所述数目的特征点确定为第二卷积采样点组中的卷积采样点。如图13所示,假设特征点为A,以卷积核的大小为3*3为例,则将特征点A在内的9个特征点(图13中标斜横线的格子)确定为第二卷积采样点组。
在一些可选的实施例中,步骤C3中计算卷积采样点组中各卷积采样点分别与第二卷积采样点组中相应卷积采样点之间的坐标偏移量,假设卷积核的大小为h*w,具体可采用以下公式(6)、式(7)计算得到卷积采样点中各卷积采样点与第二卷积采样点组中的相应卷积采样点的坐标偏移量:
其中,表示第二卷积采样点组中的第i行第j列卷积采样点的坐标,Ox(i),Oy(j)表示卷积采样点组中的第i行第j列卷积采样点与第二卷积采样点组中的第i行第j列卷积采样点之间的坐标偏移量。
在一些可选的实施例中,所述图像对应的特征图可以为一个,如图14A所示,对所述特征图执行前述步骤101~步骤103的操作。
在一些可选的实施例中,所述图像对应的特征图可以为多个,如图14B所示的金字塔特征图,对金字塔特征图中的每个特征图分别独立执行前述步骤101~步骤103的操作。
实施例二
本发明实施例二提供一种目标检测器的具体实施方式。
如图15所示,为本发明实施例中目标检测器的结构示意图,所述目标检测器可包括特征提取模块1、特征图修正模块2和分类检测模块3,特征提取模块1与特征图修正模块2通信连接,特征图修正模块2与分类检测模块3通信连接,其中:
特征提取模块1,用于对接收到的图像进行特征提取,得到与所述图像对应的特征图;
特征图修正模块2,用于对所述特征图中每个特征点进行以下处理步骤得到所述图像对应的新特征图:确定特征点的检测框;根据预置卷积核和所述检测框确定出卷积采样点组;采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值;将新特征值替换所述特征点的原特征值;
分类检测模块3,用于对接收到的所述新特征图进行分类和检测,得到所述图像对应的目标检测结果。
在一些可选的实施例中,所述特征图修正模块2确定特征点的检测框,具体包括:根据所述特征点的坐标、预置的锚框尺寸,确定出所述特征点对应的锚框;获取所述锚框的偏移量;根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框。具体实现可参见实施例一中的相关内容,在此不再赘述。
在一些可选的实施例中,所述特征图修正模块2确定特征点的检测框进一步包括:在根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框之后,判断所述检测框是否全部落入所述特征图中;若否,则:将所述检测框中超出特征图的部分框剪裁掉得到,将落在特征图中的部分框确定为新的检测框;或者,将所述特征图向外延展直到所述检测框全部落入所述特征图中,并将特征图中向外延展的区域的特征值设置为零。具体实现可参见实施例一中的相关内容,在此不再赘述。
在一些可选的实施例中,所述特征图修正模块2根据预置卷积核和所述检测框确定出卷积采样点组,具体包括:根据所述卷积核的尺寸将所述检测框均匀划分成多个区域,将各区域的中心点确定为卷积采样点组中的各卷积采样点,并计算各卷积采样点的坐标;针对每个卷积采样点,根据卷积采样点的坐标确定该卷积采样点的特征值。
在一些可选的实施例中,所述特征图修正模块2根据卷积采样点的坐标确定该卷积采样点的特征值,具体包括:以卷积采样点的坐标为中心点,从所述特征图中获取所述卷积采样点坐标的周边预置范围内的特征值,根据获取的特征值确定所述卷积采样点的特征值。
在一些可选的实施例中,所述目标检测器可基于现有的能够实现目标检测功能的神经网络模型得到,例如可以基于RetinaNet、one-stage、ssd或者yolo等网络结构得到。本实施例以RetinaNet为例,现有RetinaNet的结构可如图16所示,包括特征提取和分类检测,对接收到的图像提取特征得到与所述图像对应的特征图,再对特征图进行分类和检测本发明实施例中,目标检测器基于RetinaNet结构,在该RetinaNet中增加特征图修正模块,如图17所示,特征图修正模块既可以预测特征图上的每个特征点的检测框,还可以对该检测框的特征进行卷积得到所述特征点的新特征值,并将该特征点的新特征值替换掉原特征值,依此得到一张新的特征图,将该新的特征图发送给分类检测模块进行分类和检测,具体地,在一个示例中,可以把对检测框特征进行卷积的部分称为RoiConv(即检测框内卷积)。在一些可选的实施例中,还可以在特征提取模块得到图像的特征图之后对该特征图进行一级或多级的卷积计算得到特征图,再将该特征图输入给特征图修正模块;和/或,在得到新特征图之后,还可以进一步对新特征图进行一级或多级的卷积后再进行分类和检测。在一些可选的实施例中,前述图17中所有神经网络为全连接卷积神经网络,以整体提高目标检测器的可部署性。
实施例三
本实施例三提供一种计算机可读存储介质,包括程序或指令,当所述程序或指令在计算机上运行时,实施例一提供的任意一种目标检测方法被实现。
实施例四
本实施例四提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如实施例一提供的任意一种目标检测方法。
实施例五
本实施例五提供一种芯片***,包括处理器,所述处理器与存储器的耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现实施例一提供的任意一种目标检测方法。
实施例六
本实施例六提供一种电路***,所述电路***包括处理电路,所述处理电路配置为执行实施例一提供的任意一种目标检测方法。
实施例七
本实施例七提供一种计算机服务器,包括存储器,以及与所述存储器通信连接的一个或多个处理器;
所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器实现实施例一提供的任意一种目标检测方法。
本发明实施例七,提供一种计算机服务器的一种示例性结构,如图18所示。该计算机服务器包括处理器,处理器和***总线耦合。处理器可以是一个或者多个处理器,其中,每个处理器都可以包括一个或多个处理器核。可选地,该计算机服务器还可以包括显示适配器,显示适配器可以驱动显示器,显示器和***总线耦合。***总线通过总线桥和输入输出(I/O)总线耦合。I/O接口和I/O总线耦合。I/O接口和多种I/O设备进行通信,比如输入设备(如:键盘,鼠标,触摸屏等),多媒体盘,例如CD-ROM,多媒体接口等。收发器(可以发送和/或接受无线电通信信号),摄像头和外部USB接口。可选的,和I/O接口相连接的接口可以是USB接口。处理器可以是任何传统处理器,包括精简指令集计算(“RISC”)处理器、复杂指令集计算(“CISC”)处理器或上述的组合。可选的,处理器可以是诸如专用集成电路(“ASIC”)的专用装置。可选的,处理器可以是神经网络处理器(Neural-network Processing Unit,NPU)或者是神经网络处理器和上述传统处理器的组合。可选的,处理器挂载有一个神经网络处理器。计算机服务器可以通过网络接口和软件部署服务器通信。网络接口是硬件网络接口,比如,网卡。网络以是外部网络,比如因特网,也可以是内部网络,比如以太网或者虚拟私人网络(VPN)。可选的,网络还可以是无线网络,比如WiFi网络,蜂窝网络等。硬盘驱动接口和***总线耦合。硬件驱动接口和硬盘驱动器相连接。***内存和***总线耦合。运行在***内存的数据可以包括计算机服务器的操作***和应用程序。操作***包括壳(Shell)和内核(kernel)。壳是介于使用者和操作***之内核(kernel)间的一个接口。壳是操作***最外面的一层。壳管理使用者与操作***之间的交互:等待使用者的输入,向操作***解释使用者的输入,并且处理各种各样的操作***的输出结果。内核由操作***中用于管理存储器、文件、外设和***资源的那些部分组成。直接与硬件交互,操作***内核通常运行进程,并提供进程间的通信,提供CPU时间片管理、中断、内存管理、IO管理等等。应用程序包括目标检测方法的相关程序,比如,对接收到的图像进行特征提取得到特征图的程序,对特征图上的特征点进行处理得到新特征图的程序,对新特征图进行分类和检测以得到图像的目标检测结果的程序,以及其他相关的程序。应用程序也可存在于软件部署服务器的***上。在一个实施例中,在需要执行应用程序时,计算机服务器可以从软件部署服务器下载应用程序。可选的,如果计算机服务器位于智能移动设备上(例如机器人、扫地机、车辆(例如乘用车、货车、挂车、AGV(Automated Guided Vehicle,自动导引运输车)小车、扫地车、洒水车、大巴、公交车、物流小车、轮胎吊、天车、岸桥等)、火车、飞行器、船舶、潜水艇),传感器可以是安装在只能移动设备上的摄像头等,摄像头将采集的图像传输给计算机服务器。在一些实施例中,也可以是由输入设备将图像传输给计算机服务器,例如输入设备进装载在U盘、磁盘、移动硬盘中的图像传输给计算机服务器等。
实施例八
本发明实施例八提供一种智能移动设备,包括摄像机和计算机服务器,所述摄像机将采集的图像传输给所述计算机服务器,所述计算机服务器包括存储器,以及与所述存储器通信连接的一个或多个处理器;所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器对接收到的图像实现实施例一提供的任意一种目标检测方法。
前述智能移动设备的种类可以包括但不仅限于以下:机器人、扫地机、车辆(例如乘用车、货车、挂车、AGV小车、扫地车、洒水车、大巴、公交车、物流小车、轮胎吊、天车、岸桥等)、火车、飞行器、船舶、潜水艇等。
以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件固件、软件或者他们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用它们的基本编程技能就能实现的。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的上述实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括上述实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (17)

1.一种目标检测方法,其特征在于,包括:
对接收到的图像进行特征提取,得到与所述图像对应的特征图;
对所述特征图中每个特征点进行以下处理步骤得到所述图像对应的新特征图:确定特征点的检测框;根据预置卷积核和所述检测框确定出卷积采样点组;采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值;将新特征值替换所述特征点的原特征值;
对所述新特征图进行分类和检测,得到所述图像对应的目标检测结果,其中,所述根据预置卷积核和所述检测框确定出所述卷积采样点组,包括:
根据所述卷积核的尺寸将所述检测框均匀划分成多个区域,将各区域的中心点确定为所述卷积采样点组中的各卷积采样点,并计算各卷积采样点的坐标;
其中,所述采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值,包括:
根据所述卷积核在所述特征图中确定出对所述特征点进行卷积的第二卷积采样点组;
计算所述卷积采样点组中各卷积采样点分别与所述第二卷积采样点组中相应卷积采样点之间的坐标偏移量,并将所述坐标偏移量传输给可变形卷积的调用接口;
通过调用所述可变形卷积对所述检测框的特征进行卷积计算,得到所述特征点的所述新特征值。
2.根据权利要求1所述的方法,其特征在于,确定特征点的检测框,具体包括:
根据所述特征点的坐标、预置的锚框尺寸,确定出所述特征点对应的锚框;
获取所述锚框的偏移量;
根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框。
3.根据权利要求2所述的方法,其特征在于,根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框之后,还包括:
判断所述检测框是否全部落入所述特征图中;
若否,则:将所述检测框中超出特征图的部分框剪裁掉,将落在特征图中的部分框确定为新的检测框;或者,将所述特征图向外延展直到所述检测框全部落入所述特征图中,并将特征图中向外延展的区域的特征值设置为零。
4.根据权利要求1所述的方法,其特征在于,根据预置卷积核和所述检测框确定出卷积采样点组,具体包括:
针对每个卷积采样点,根据卷积采样点的坐标确定该卷积采样点的特征值。
5.根据权利要求4所述的方法,其特征在于,根据卷积采样点的坐标确定该卷积采样点的特征值,具体包括:
以卷积采样点的坐标为中心点,从所述特征图中获取所述卷积采样点坐标的周边预置范围内的特征值,根据获取的特征值确定所述卷积采样点的特征值。
6.一种目标检测器,其特征在于,包括:
特征提取模块,用于对接收到的图像进行特征提取,得到与所述图像对应的特征图;
特征图修正模块,用于对所述特征图中每个特征点进行以下处理步骤得到所述图像对应的新特征图:确定特征点的检测框;根据预置卷积核和所述检测框确定出卷积采样点组;采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值;将新特征值替换所述特征点的原特征值;
分类检测模块,用于对接收到的所述新特征图进行分类和检测,得到所述图像对应的目标检测结果,其中,所述根据预置卷积核和所述检测框确定出所述卷积采样点组,包括:
根据所述卷积核的尺寸将所述检测框均匀划分成多个区域,将各区域的中心点确定为所述卷积采样点组中的各卷积采样点,并计算各卷积采样点的坐标;
其中,所述采用所述卷积核对所述卷积采样点组进行卷积得到所述特征点的新特征值,包括:
根据所述卷积核在所述特征图中确定出对所述特征点进行卷积的第二卷积采样点组;
计算所述卷积采样点组中各卷积采样点分别与所述第二卷积采样点组中相应卷积采样点之间的坐标偏移量,并将所述坐标偏移量传输给可变形卷积的调用接口;
通过调用所述可变形卷积对所述检测框的特征进行卷积计算,得到所述特征点的所述新特征值。
7.根据权利要求6所述的目标检测器,其特征在于,所述特征图修正模块确定特征点的检测框,具体包括:
根据所述特征点的坐标、预置的锚框尺寸,确定出所述特征点对应的锚框;
获取所述锚框的偏移量;
根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框。
8.根据权利要求7所述的目标检测器,其特征在于,所述特征图修正模块确定特征点的检测框进一步包括:
在根据所述偏移量对所述锚框进行偏移处理得到所述特征点的检测框之后,判断所述检测框是否全部落入所述特征图中;
若否,则:将所述检测框中超出特征图的部分框剪裁掉,将落在特征图中的部分框确定为新的检测框;或者,将所述特征图向外延展直到所述检测框全部落入所述特征图中,并将特征图中向外延展的区域的特征值设置为零。
9.根据权利要求6所述的目标检测器,其特征在于,所述特征图修正模块根据预置卷积核和所述检测框确定出卷积采样点组,具体包括:
针对每个卷积采样点,根据卷积采样点的坐标确定该卷积采样点的特征值。
10.根据权利要求9所述的目标检测器,其特征在于,所述特征图修正模块根据卷积采样点的坐标确定该卷积采样点的特征值,具体包括:
以卷积采样点的坐标为中心点,从所述特征图中获取所述卷积采样点坐标的周边预置范围内的特征值,根据获取的特征值确定所述卷积采样点的特征值。
11.根据权利要求6所述的目标检测器,其特征在于,所述特征图修正模块为全连接卷积神经网络模型。
12.一种计算机可读存储介质,其特征在于,包括程序或指令,当所述程序或指令在计算机上运行时,如权利要求1~5任一项所述的目标检测方法被实现。
13.一种包含指令的计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1~5任一项所述的目标检测方法。
14.一种芯片***,其特征在于,包括处理器,所述处理器与存储器的耦合,所述存储器存储有程序指令,当所述存储器存储的程序指令被所述处理器执行时实现权利要求1~5任一项所述的目标检测方法。
15.一种电路***,其特征在于,所述电路***包括处理电路,所述处理电路配置为执行如权利要求1~5任一项所述的目标检测方法。
16.一种计算机服务器,其特征在于,包括存储器,以及与所述存储器通信连接的一个或多个处理器;
所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器实现如权利要求1~5中任一项所述的目标检测方法。
17.一种智能移动设备,其特征在于,包括摄像机和计算机服务器,所述摄像机将采集的图像传输给所述计算机服务器,所述计算机服务器包括存储器,以及与所述存储器通信连接的一个或多个处理器;所述存储器中存储有可被所述一个或多个处理器执行的指令,所述指令被所述一个或多个处理器执行,以使所述一个或多个处理器对接收到的图像实现如权利要求1~5中任一项所述的目标检测方法。
CN201910713477.7A 2019-08-02 2019-08-02 目标检测方法、目标检测器及相关设备 Active CN112308105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713477.7A CN112308105B (zh) 2019-08-02 2019-08-02 目标检测方法、目标检测器及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713477.7A CN112308105B (zh) 2019-08-02 2019-08-02 目标检测方法、目标检测器及相关设备

Publications (2)

Publication Number Publication Date
CN112308105A CN112308105A (zh) 2021-02-02
CN112308105B true CN112308105B (zh) 2024-04-12

Family

ID=74486621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713477.7A Active CN112308105B (zh) 2019-08-02 2019-08-02 目标检测方法、目标检测器及相关设备

Country Status (1)

Country Link
CN (1) CN112308105B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114219930A (zh) * 2021-12-06 2022-03-22 安徽省配天机器人集团有限公司 特征点的检测方法、检测装置及计算机可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563446A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种微操作***目标检测方法
CN108121951A (zh) * 2017-12-11 2018-06-05 北京小米移动软件有限公司 特征点定位方法及装置
CN108229307A (zh) * 2017-11-22 2018-06-29 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN108734169A (zh) * 2018-05-21 2018-11-02 南京邮电大学 一种基于全卷积网络改进的场景文本提取方法
CN108830280A (zh) * 2018-05-14 2018-11-16 华南理工大学 一种基于区域提名的小目标检测方法
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
CN109325945A (zh) * 2018-09-13 2019-02-12 北京旷视科技有限公司 图像处理方法、装置、电子设备及储存介质
CN109655815A (zh) * 2018-11-23 2019-04-19 杭州电子科技大学 基于ssd的声呐目标检测方法
CN109816671A (zh) * 2019-01-31 2019-05-28 深兰科技(上海)有限公司 一种目标检测方法、装置及存储介质
CN109919000A (zh) * 2019-01-23 2019-06-21 杭州电子科技大学 一种基于多尺度融合策略的舰船目标检测方法
WO2019120114A1 (zh) * 2017-12-21 2019-06-27 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106920545B (zh) * 2017-03-21 2020-07-28 百度在线网络技术(北京)有限公司 基于人工智能的语音特征提取方法和装置
CN107844828B (zh) * 2017-12-18 2021-07-30 南京地平线机器人技术有限公司 神经网络中的卷积计算方法和电子设备

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629354A (zh) * 2017-03-17 2018-10-09 杭州海康威视数字技术股份有限公司 目标检测方法及装置
CN107563446A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种微操作***目标检测方法
CN108229307A (zh) * 2017-11-22 2018-06-29 北京市商汤科技开发有限公司 用于物体检测的方法、装置和设备
CN108121951A (zh) * 2017-12-11 2018-06-05 北京小米移动软件有限公司 特征点定位方法及装置
WO2019120114A1 (zh) * 2017-12-21 2019-06-27 深圳励飞科技有限公司 数据定点化处理方法、装置、电子设备及计算机存储介质
CN108875577A (zh) * 2018-05-11 2018-11-23 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108830280A (zh) * 2018-05-14 2018-11-16 华南理工大学 一种基于区域提名的小目标检测方法
CN108734169A (zh) * 2018-05-21 2018-11-02 南京邮电大学 一种基于全卷积网络改进的场景文本提取方法
CN109033950A (zh) * 2018-06-12 2018-12-18 浙江工业大学 基于多特征融合级联深度模型的车辆违停检测方法
CN109325945A (zh) * 2018-09-13 2019-02-12 北京旷视科技有限公司 图像处理方法、装置、电子设备及储存介质
CN109655815A (zh) * 2018-11-23 2019-04-19 杭州电子科技大学 基于ssd的声呐目标检测方法
CN109919000A (zh) * 2019-01-23 2019-06-21 杭州电子科技大学 一种基于多尺度融合策略的舰船目标检测方法
CN109816671A (zh) * 2019-01-31 2019-05-28 深兰科技(上海)有限公司 一种目标检测方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于深度学习的人体行为识别分析研究;董国豪;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;I138-764 *
基于视频的驾驶员疲劳驾驶实时监测***的设计和研究;刘芳;《万方》;1-56 *

Also Published As

Publication number Publication date
CN112308105A (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN111886603B (zh) 用于目标检测和表征的神经网络
CN111860155B (zh) 一种车道线的检测方法及相关设备
CN109087510B (zh) 交通监测方法及装置
KR102073162B1 (ko) 딥러닝 기반의 소형 물체 검출 기법
US9514366B2 (en) Vehicle detection method and system including irrelevant window elimination and/or window score degradation
Ding et al. Fast lane detection based on bird’s eye view and improved random sample consensus algorithm
CN111860060A (zh) 目标检测方法、装置、终端设备及计算机可读存储介质
Farag Real-time detection of road lane-lines for autonomous driving
CN112818792A (zh) 车道线检测方法、装置、电子设备及计算机存储介质
CN111062405A (zh) 训练图像识别模型的方法和装置以及图像识别方法和装置
CN113255445A (zh) 多任务模型训练及图像处理方法、装置、设备及存储介质
CN112052782A (zh) 基于环视的停车位识别方法、装置、设备及存储介质
CN114841910A (zh) 车载镜头遮挡识别方法及装置
CN112308105B (zh) 目标检测方法、目标检测器及相关设备
EP2677442A2 (en) Method for three dimensional perception processing an classification
CN111126248A (zh) 一种遮挡下的车辆识别方法及装置
CN112396043B (zh) 车辆环境信息感知方法、装置、电子设备及存储介质
WO2021000787A1 (zh) 道路几何识别方法及装置
CN110222652B (zh) 行人检测方法、装置及电子设备
CN109360137B (zh) 一种车辆事故评估方法、计算机可读存储介质及服务器
CN110689481A (zh) 车辆种类识别方法及装置
CN115965831A (zh) 一种车辆检测模型训练方法和车辆检测方法
CN115170612A (zh) 一种检测跟踪方法、装置、电子设备及存储介质
CN113963238A (zh) 多任务感知识别模型的构建方法以及多任务感知识别方法
CN112101139A (zh) 人形检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant