CN112668573B - 目标检测定位置信度确定方法、装置、电子设备及存储介质 - Google Patents
目标检测定位置信度确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112668573B CN112668573B CN202011572377.6A CN202011572377A CN112668573B CN 112668573 B CN112668573 B CN 112668573B CN 202011572377 A CN202011572377 A CN 202011572377A CN 112668573 B CN112668573 B CN 112668573B
- Authority
- CN
- China
- Prior art keywords
- candidate frame
- target
- feature
- image
- target detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 55
- 239000013598 vector Substances 0.000 claims description 42
- 230000015654 memory Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 58
- 208000005718 Stomach Neoplasms Diseases 0.000 description 7
- 206010017758 gastric cancer Diseases 0.000 description 7
- 230000003902 lesion Effects 0.000 description 7
- 201000011549 stomach cancer Diseases 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及人工智能技术领域,具体涉及一种目标检测定位置信度确定方法、装置、电子设备及存储介质。该方法包括:获取待检测图像;将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图;对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;从所述N个第一特征图中截取N个第二特征图;将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图;根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。本申请实施例有利于使高定位置信度更加精确。
Description
技术领域
本申请涉及人工智能技术领域,具体涉及一种目标检测定位置信度确定方法、装置、电子设备及存储介质。
背景技术
目标检测从复杂图像中分离出目标与背景,并指明每个目标的分类以及所在的区域框位置,是计算机视觉的基础任务之一。目标检测作为一种通用的前处理范式广泛应用于众多领域,如图像分割任务中使用目标检测得到的框信息输入分割网络,图像文本生成任务中使用目标检测得到的感兴趣位置特征输入至编解码器结构,目标追踪任务中使用目标检测获得的框位置进行分析。
目前目标检测方法大多使用分类的置信度作为候选框得分的基准。然而,被量化为候选框的信息中,分类好坏与定位好坏并不相关。为了提高评价候选框的准确度,在二阶段目标检测模型上增加了一个全连接神经网络分支用于评价候选框的定位精度。但是,该评价方法仅能应用到二阶段目标检测模型,并且,对候选框定位精度的评价依赖于之前的池化操作,造成用于评价定位精度的信息比较局限和片面。
因此,现有的目标检测,确定候选框定位精度的方式比较单一,准确度低。
发明内容
本申请实施例提供了一种目标检测定位置信度确定方法、装置、电子设备及存储介质,通过拼接底层特征图,提高对候选框的定位置信度的评价精度。
第一方面,本申请实施例提供一种目标检测定位置信度确定方法,包括:
获取待检测图像;
将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,N为大于1的整数;
对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;
从所述N个第一特征图中截取N个第二特征图;
将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸;
根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
第二方面,本申请实施例提供一种目标检测定位置信度确定装置,包括:
获取单元,用于获取待检测图像;
处理单元,用于将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,N为大于1的整数;
对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;
从所述N个第一特征图中截取N个第二特征图;
将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸;
根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
第三方面,本申请实施例提供一种电子设备,包括:处理器,所述处理器与存储器相连,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序,以使得所述电子设备执行如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序使得计算机执行如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机可操作来使计算机执行如第一方面所述的方法。
实施本申请实施例,具有如下有益效果:
可以看出,在本申请实施例中,在获取到每个候选的第一掩码图之后,先对第一掩码图进行扩充,增大了第一掩码图的规模,这样再截取第二特征图的过程中,会将候选框的周围信息截取出来,从而获取了与候选框相关的全局信息;此外,还从底部的第一特征图中截取第二特征图,由于底部网络层的深度比较浅,该第一特征图中会包含有大量的空间位置信息,因此,截取出的第二特征图中也包含有大量的与该候选框所框选的区域对应的空间位置信息。然后,将第二特征图与掩码图进行拼接,确定定位置信度,而不是单纯的使用掩码图确定定位置信度,提高了确定定位置信度的复杂性;由于拼接得到第一目标特征图即包含有该候选框所框选的区域的空间位置信息,也包含有该区域的全局信息,从而提高了定位置信度的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标检测定位置信度确定方法的流程示意图;
图2为本申请实施例提供的一种获取掩码图与截取特征图的示意图;
图3为本申请实施例提供的一种将N第二特征图与第二掩码图进行拼接的示意图;
图4为本申请实施例提供的一种对特征向量进行复制与组合的示意图;
图5为本申请实施例提供的一种目标检测定位置信度确定装置的功能单元组成框图;
图6为本申请实施例提供的一种目标检测定位置信度确定装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1,图1为本申请实施例提供的一种目标检测定位置信度确定方法的流程示意图。该方法应用于目标检测定位置信度确定装置。本实施例的方法包括以下步骤:
101:目标检测定位置信度确定装置获取待检测图像。
示例性的,该待检测图像可以为各种类型的图像。比如,可以为人脸图像,则目标检测就是检测出该待检测图像中人脸所在的区域,也可以为医学图像,则目标检测就是检测出该待检测图像中病灶所在的区域。本申请不对待检测图像的类型进行限定。
102:目标检测定位置信度确定装置将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,N为大于1的整数。
其中,N个通道与N个第一特征图一一对应。
示例性的,目标检测网络可以为完成训练的神经网络,比如,可以为Fast-CNN网络、Fast-RCNN网络、YOLO网络、SSD网络、IOU-net网络,等等。本申请中目标检测网络为IOU-net网络为例说明确定定位置信度的过程,且该IOU-net网络是以特征图金字塔网络(Feature Pyramid Networks,FPN)为骨架(backbone)构成的。
示例性的,如图2所示,通过FPN对该待识别图像进行特征提取,并将金字塔中每层得到的特征图输入到两个分支网络:即分类分支网络(class subnet)和框分支网络(boxsubnet)进行候选框的定位以及对候选框中的目标进行分类,得到至少一个候选框以及每个候选框的第一掩码图,其中,每个候选框的第一掩码图用于表征每个选框对应的图像区域中属于目标的概率,比如,0对应的像素点表示该像素点不属于目标,1对应的像素点表征该像素点属于目标。
此外,在对待检测图像进行目标检测的过程中,会通过目标检测网络的每个网络层对待检测图像进行不同尺度的特征提取。因此,N个第一特征图为通过第一网络层的N个通道进行特征提取的过程输出的N个特征图。
示例性的,由于目标检测网络包括包括多个网络层,且每个网络层包括有多个通道。因此,先获取该目标检测网络所规定的尺寸,即规定输入到该目标检测网络的图像的尺寸,应理解,若待检测图像的尺寸不满足该目标检测网络所规定的尺寸,则需要对该待检测图像进行扩充或者裁剪,以使该待检测图像的尺寸满足该目标检测网络所规定的尺寸;然后,根据每个候选框的第二掩码图的尺寸、目标检测网络所规定的尺寸以及预设的超参,确定目标检测网络的第一网络层。
一般来说,该第一网络层位于该目标检测网络的底部,因为这些网络层的深度比较浅,提取的特征图中会包含有原始图像(待检测图像)的大量空间位置信息,这样后续拼接之后的第一目标特征图中也会有大量的空间位置信息,进而使得到的候选框的定位置信度的精度较高。
示例性的,第一网络层可以通过公式(1)表示:
其中,k表示第一网络层在该多个网络层的位置,即将目标检测网络中的第k个网络层作为第一网络层,k0为预设的超参,比如,可以设置为4,W1和H1分别为第二掩码图的宽和高,W0和H0为目标检测网络所规定的尺寸。
应理解,图2中的数字代表FPN的通道数,以及特征图的尺寸(宽和高),比如,256和KA分别代表FPN的通道数量为256和KA,W和H分别表示特征图的宽和高。后续所提到特征图的尺寸均为特征图的宽和高,不再叙述。
103:目标检测定位置信度确定装置对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图。
示例性的,可以按照预设的扩充(padding)方式对第一掩码图进行扩充,比如,可以该第一掩码图的上下左右各扩充五个像素值为零的像素点,得到第二掩码图。当然,也可以有其他的扩充方式,本申请不对扩充方式进行限定。
104:目标检测定位置信度确定装置从N个第一特征图中截取N个第二特征图,其中,所述N个第二特征图以及所述N个第一特征图一一对应。
其中,N个第二特征图中的每个第二特征图与每个候选框的第二掩码图的尺寸相同,且每个第二特征图在所述待检测图像中的区域与所述每个候选框在所述待检测图像中框选的区域相同,N为大于1的整数。因此,可根据每个候选框所框选的区域从N个第一特征图上分别截取出N个第二特征图。
105:目标检测定位置信度确定装置将所述每个候选框的第二掩码图以及所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸。
示例性的,将每个候选框的第二掩码图以及N个第二特征图进行拼接(纵向拼接),得到每个候选框对应的第一目标特征图。如图3所示,将每个候选框的第二掩码图以及N个第二特征图进行纵向拼接,得到每个候选框对应的第一目标特征图,即一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为每个候选框的第二掩码图以及每个第二特征图的尺寸。应理解,本申请并不限定第二掩码图以及N个第二特征图的拼接顺序,比如,也可以将第二掩码图拼接到两个第二特征图之间,等等。
106:目标检测定位置信度确定装置根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
示例性的,如图2所示,在得到每个候选框的第一目标特征图之后,将每个候选框的第一目标特征图输入到一个全卷积网络,对每个候选框的第一目标特征图进行特征提取(在多个通道上分别进行特征提取),得到每个候选框的第二特征图(每个通道上都会得到一个第二特征图);然后,通过两个卷积核尺寸为1*1的卷积层先后对每个候选框的第二特征图进行卷积处理(即对多个通道上的第二特征图分别进行卷积处理),得到每个候选框的特征向量,并对每个候选框的特征向量进行归一化处理,得到每个候选框的定位置信度。
可以看出,在本申请实施例中,在获取到每个候选的第一掩码图之后,先对第一掩码图进行扩充,增大了第一掩码图的规模,这样再截取第二特征图的过程中,会将候选框的周围信息截取出来,从而获取了与候选框相关的全局信息;此外,还从底部截取第二特征图,由于底部网络层的深度比较浅,该第一特征图中会包含有大量的空间位置信息,因此,截取出的第二特征图中包含有大量的与该候选框所框选的区域的空间位置信息。然后,将第二特征图与掩码图进行拼接,去确定定位置信度,而不是单纯的使用掩码图去确定定位置信度,提高了确定定位置信度的复杂性;由于拼接得到第一目标特征图即包含有该候选框所框选的区域的空间位置信息,也包含有该区域的全局信息,从而提高了定位置信度的精度。
在本申请的一个实施方式中,在确定出每个候选框的定位置信度之后,可以获取每个候选框的分类置信度,其中,每个候选框的分类置信度可以在对待检测图像进行目标检测的过程中得到,不再叙述;然后,根据每个候选框的分类置信度以及每个候选框的定位置信度,确定每个候选框的目标置信度,即将每个候选框的分类置信度与该候选框的定位置信度相乘,得到每个候选框的目标置信度;最后,根据每个候选框的目标置信度,对该至少一个候选框进行非极大值抑制(Non Maximum Suppression,NMS),得到该至少一个候选框中的目标候选框,即对该至少一个候选框进行筛选,剔除重复框选了目标的候选框。应理解,由于确定出的定位置信度的精度较高,则得到的目标置信度的精度也相对较高,使保留下来的目标候选框的精度也比较高,提高了目标检测的精度。
在本申请的一个实施方式中,该待检测图像可以为人脸图像,则目标检测可以为检测该人脸图像中的人脸区域。因此,每个候选框中所框选的目标为人脸图像中的人脸区域。由于本申请的目标检测精度较高,目标候选框所框选出的人脸区域的精度比较高。
在本申请的一个实施方式中,该待检测图像可以为车辆图像,则目标检测可以为检测该车辆图像中的车辆区域。因此,每个候选框所框选的目标为车辆图像中的车辆区域。由于本申请的目标检测精度较高,则目标候选框所框选出的车辆区域的精度比较高。
在本申请的一个实施方式中,该待检测图像可以为医学图像,则目标检测可以为检测该医学图像中的目标,其中,该医学图像中的目标可为病灶区域、器官、组织,等等,本申请以检测医学图像中的病灶区域为例进行说明,其他目标的检测方式与此类似,不再叙述。由于本申请的目标检测精度比较高,目标候选框所框选出的病灶区域的精度比较高。
在本申请的一个实施方式中,在该待检测图像为医学图像的情况下,对该医学图像进行目标检测的实现方式可以为:将该医学图像输入到该目标检测网络,得到该医学图像的第三特征图;然后,获取与该医学图像所属的医学领域对应的医学知识图谱,即获取与该医学领域的医学知识图谱,其中,该医学知识图谱是由医学实体,与该医学实体对应的描述(即对该医学实体的解释说明)以及与该医学实体对应的医疗方案所组成的一种图谱。比如,胃癌医学知识图谱包括胃癌医学的医学实体“胃癌”,其对应的描述为“胃癌是起源于胃黏膜上皮的恶性肿瘤”,其对应的医疗方案包括:胃癌的差异性、胃癌症状、胃癌的扩散和转移途径,等等组成的一种图谱。然后,将该医学知识图谱进行向量化,得到与该医学知识图谱对应的第一特征向量。由于医学知识图谱本质是由多个医疗文本组成的关系。因此,可以通过类似词嵌入的方法分别对医学知识图谱中包含的每个医疗文本进行向量化,得到每个医疗文本对应的文本向量,比如,分别对医学知识图谱中的“实体”、治疗方案进行向量化,得到每个医疗文本对应的文本向量;最后,再把多个医疗文本对应的多个文本向量进行拼接,得到该医学知识图谱对应的第一特征向量。
进一步的,在得到医学知识图谱对应的第一特征向量之后,对该第一特征向量进行多次复制与组合,得到第一三维矩阵。如图4所示,将第一特征向量进行多次复制与组合,得到第一三维矩阵,该第一三维矩阵中每层的数据相同,其中,每层的维度与该医学图像的第三特征图的尺寸相同,即每层的尺寸均为W2和H2,即相当于将该第一特征向量横向复制W2次,纵向复制H2次,得到该第一三维矩阵;然后,将该第一三维矩阵与该医学图像的第三特征图进行拼接,得到第四特征图,其拼接方式与图3中的拼接方式类似,不再叙述。最后,根据该第四特征图进行目标检测,得到该医学图像中与病灶对应的至少一个候选框以及每个候选框对应的第一掩码图。
可以看出,在本申请实施例中,在对医学图像进行目标检测的过程中,拼接了医学图像对应的医学知识图谱。由于,该医学图谱描述有与该医学图像的目标相关的信息(比如,病灶的位置信息),相当于在目标检测的过程中加入了先验知识,这样候选框就不会出现在一些不应该出现的位置,提高了对医学图像目标检测的精度。
在本申请的一个实施方式中,在得到与病灶对应的目标候选框之后,由于候选框框选的区域一般是大于病灶的区域。因此,还可以基于目标候选框对该目标候选框中的病灶进行分割,以精确显示该目标候选框中的病灶区域。具体的,对该目标候选框所框选的图像进行特征提取,得到第五特征图,比如,可以将目标候选框所框选的图像从待检测图像中截取出来,然后,输入到完成训练的图像分割网络,通过该图像分割对该待检测图像进行特征提取,得到第五特征图,其中,该图像分割网络可以为全卷积网络(Fully ConvolutionalNetworks,FCN);将该医学图像所对应的身体部位进行编码,得到与该身体部位对应的第二特征向量,可以将该身体部位进行映射处理,得到该身体部位对应的第二特征向量,比如,可以将该身体部位的中文所对应的GB2312码作为该身体部位的第二特征向量;最后,将该第二特征向量进行多次复制与组合,得到第二三维矩阵,其中,对第二特征向量进行复制与组合的方式,与图4示出的方式类似,不再叙述。
进一步的,将目标候选框在待检测图像中的位置信息进行编码,得到第三特征向量,其中,目标候选框在待检测图像中的位置信息可以由目标候选框的坐标信息反映,其中,该目标候选框的坐标信息可以为该目标候选框的左上角的像素坐标和右上角的像素坐标反映,并且该目标候选框的左上角的像素坐标和右上角的像素坐标可以由目标检测网络在进行目标检测的过程中输出。然后,将左上角的像素坐标和右上角的像素坐标进行拼接,并将拼接后的坐标作为第三特征向量。比如,左上角的像素坐标为(4,3),右下角的像素坐标为(16,9),则拼接得到的第三特征向量为(4,3,16,9)。然后,将该第三特征向量进行多次复制与组合,得到第三三维矩阵,同样,该第三三维矩阵中每层的数据相同,且该第三三维矩阵的每层的尺寸与该第五特征图的尺寸相同,并且对第三特征向量进行复制与组合的方式与图4的方式类似,不再叙述。
最后,将第二三维矩阵、第三三维矩阵以及第五特征图进行拼接,得到第六特征图,拼接方式与图3示出的方式类似,不再叙述;然后,根据该全卷积网络以及该第六特征图,对该目标候选框中的病灶进行分割。
可以看出,在本申请实施例中,在对目标候选框中的病灶进行分割的过程中,融合了该医学图像所属的身体部位,这样就可以根据先验知识,提前知道该身体部位中的哪些区域会有病灶,以及是哪种病灶;然后,再融合该目标候选框的位置,则可以知道该目标候选框属于该身体部位的哪个区域,从而知道该目标候选框的哪些区域会有病灶以及病灶的类型,进而降低对该目标候选框的病灶进行病灶分割的假阳率,即不会在该目标候选框内的一些不可能出现病灶的区域分割出病灶,而且,也不会分割出分割出不属于该目标候选框的病灶类型,从而降低病灶分割的假阳率。
参阅图5,图5本申请实施例提供的一种目标检测定位置信度确定装置的功能单元组成框图。目标检测定位置信度确定装置500包括:获取单元501和处理单元502,其中:
获取单元501,用于获取待检测图像;
处理单元502,用于将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,N为大于1的整数;
对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;
从所述N个第一特征图中截取N个第二特征图;
将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸;根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
在一些可能的实施方式中,在从N个第一特征图中截取N个第二特征图之前,处理单元502,还用于:
获取所述目标检测网络所规定的尺寸;
根据所述每个候选框的第二掩码图的尺寸、所述目标检测网络所规定的尺寸以及预设的超参,确定所述目标检测网络的第一网络层。
在一些可能的实施方式中,在根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度方面,处理单元,具体用于:
对所述每个候选框对应的第一目标特征图进行特征提取,得到所述每个候选框对应的第二目标特征图;
通过两个卷积核尺寸为1*1的卷积层先后对所述每个候选框对应的第二目标特征图进行卷积处理,得到所述每个候选框对应的特征向量;
将所述每个候选框对应的特征向量进行归一化处理,得到所述每个候选框的定位置信度。
在一些可能的实施方式中,在根据所述目标特征图,确定所述每个候选框的定位置信度之后,处理单元502,还用于:
获取所述每个候选框的分类置信度;
根据所述每个候选框的分类置信度以及所述每个候选框的定位置信度,确定所述每个候选框的目标置信度;
根据所述每个候选框的目标置信度,对所述至少一个候选框进行非极大值抑制,得到所述至少一个候选框中的目标候选框。
在一些可能的实施方式中,所述待检测图像为医学图像。
在一些可能的实施方式中,在将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框以及所述至少一个候选框中每个候选框的第一掩码图方面,处理单元502,具体用于:
将所述医学图像输入到目标检测网络,得到所述医学图像的第三特征图;
获取与所述医学图像所属的医学领域对应的医学知识图谱;
将所述医学知识图谱进行向量化,得到与所述医学知识图谱对应的第一特征向量;
将所述第一特征向量进行多次复制与组合,得到第一三维矩阵,其中,所述第一三维矩阵中每层的数据相同,且所述第一三维矩阵的每层的尺寸与所述第三特征图的尺寸相同;
将所述第一三维矩阵与所述医学图像的第三特征图进行拼接,得到第四特征图,根据所述第四特征图对所述医学图像进行目标检测,得到所述医学图像中与目标对应的至少一个候选框以及所述每个候选框对应的第一掩码图。
在一些可能的实施方式中,处理单元502,还用于:
对所述目标候选框所框选的图像进行特征提取,得到第五特征图;
将所述医学图像所对应的身体部位进行编码,得到与所述身体部位对应的第二特征向量,将所述第二特征向量进行多次复制与组合,得到第二三维矩阵,其中,所述第二三维矩阵中每层的数据相同,且所述第二三维矩阵的每层的尺寸与所述第五特征图的尺寸相同;
将所述目标候选框在所述待检测图像中的位置信息进行编码,得到第三特征向量,将所述第三特征向量进行多次复制与组合,得到第三三维矩阵,其中,所述第三三维矩阵中每层的数据相同,且所述第三三维矩阵的每层的尺寸与所述第五特征图的尺寸相同;
将所述第二三维矩阵、所述第三三维矩阵以及所述第五特征图进行拼接,得到第六特征图;
根据所述第六特征图,对所述目标候选框中的目标进行分割。
参阅图6,图6为本申请实施例提供的一种电子设备的结构示意图。如图6所示,电子设备600包括收发器601、处理器602和存储器603。它们之间通过总线604连接。存储器603用于存储计算机程序和数据,并可以将存储器603存储的数据传输给处理器602。
处理器602用于读取存储器603中的计算机程序执行以下操作:
控制收发器601获取待检测图像;
将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,N为大于1的整数;
对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;
从所述N个第一特征图中截取N个第二特征图;
将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸;
根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
在一些可能的实施方式中,在从N个第一特征图中截取N个第二特征图之前,处理器602还用于读取存储器603中的计算机程序执行以下操作:
获取所述目标检测网络所规定的尺寸;
根据所述每个候选框的第二掩码图的尺寸、所述目标检测网络所规定的尺寸以及预设的超参,确定所述目标检测网络的第一网络层。
在一些可能的实施方式中,在根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度方面,处理器602具体用于执行以下操作:
对所述每个候选框对应的第一目标特征图进行特征提取,得到所述每个候选框对应的第二目标特征图;
通过两个卷积核尺寸为1*1的卷积层先后对所述每个候选框对应的第二目标特征图进行卷积处理,得到所述每个候选框对应的特征向量;
将所述每个候选框对应的特征向量进行归一化处理,得到所述每个候选框的定位置信度。
在一些可能的实施方式中,在根据所述目标特征图,确定所述每个候选框的定位置信度之后,处理器602还用于读取存储器603中的计算机程序执行以下操作:
获取所述每个候选框的分类置信度;
根据所述每个候选框的分类置信度以及所述每个候选框的定位置信度,确定所述每个候选框的目标置信度;
根据所述每个候选框的目标置信度,对所述至少一个候选框进行非极大值抑制,得到所述至少一个候选框中的目标候选框。
在一些可能的实施方式中,所述待检测图像为医学图像。
在一些可能的实施方式中,在将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框以及所述至少一个候选框中每个候选框的第一掩码图方面,处理器602具体用于执行以下操作:
将所述医学图像输入到目标检测网络,得到所述医学图像的第三特征图;
获取与所述医学图像所属的医学领域对应的医学知识图谱;
将所述医学知识图谱进行向量化,得到与所述医学知识图谱对应的第一特征向量;
将所述第一特征向量进行多次复制与组合,得到第一三维矩阵,其中,所述第一三维矩阵中每层的数据相同,且所述第一三维矩阵的每层的尺寸与所述第三特征图的尺寸相同;
将所述第一三维矩阵与所述医学图像的第三特征图进行拼接,得到第四特征图,根据所述第四特征图对所述医学图像进行目标检测,得到所述医学图像中与目标对应的至少一个候选框以及所述每个候选框对应的第一掩码图。
在一些可能的实施方式中,处理器602还用于读取存储器603中的计算机程序执行以下操作:
对所述目标候选框所框选的图像进行特征提取,得到第五特征图;
将所述医学图像所对应的身体部位进行编码,得到与所述身体部位对应的第二特征向量,将所述第二特征向量进行多次复制与组合,得到第二三维矩阵,其中,所述第二三维矩阵中每层的数据相同,且所述第二三维矩阵的每层的尺寸与所述第五特征图的尺寸相同;
将所述目标候选框在所述待检测图像中的位置信息进行编码,得到第三特征向量,将所述第三特征向量进行多次复制与组合,得到第三三维矩阵,其中,所述第三三维矩阵中每层的数据相同,且所述第三三维矩阵的每层的尺寸与所述第五特征图的尺寸相同;
将所述第二三维矩阵、所述第三三维矩阵以及所述第五特征图进行拼接,得到第六特征图;
根据所述第六特征图,对所述目标候选框中的目标进行分割。
具体地,上述收发器601可为图5所述的实施例的目标检测定位置信度确定装置500的获取单元501,上述处理器602可以为图5所述的实施例的目标检测定位置信度确定装置500的处理单元502。
应理解,本申请中的目标检测定位置信度确定装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备MID(Mobile Internet Devices,简称:MID)或穿戴式设备等。上述目标检测定位置信度确定装置仅是举例,而非穷举,包含但不限于上述目标检测定位置信度确定装置。在实际应用中,上述目标检测定位置信度确定装置还可以包括:智能车载终端、计算机设备等等。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如上述方法实施例中记载的任何一种目标检测定位置信度确定方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种目标检测定位置信度确定方法的部分或全部步骤。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种目标检测定位置信度确定方法,其特征在于,包括:
获取待检测图像;
将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,具体为:所述第一网络层在所述目标检测网络中的位置满足以下公式:其中,k表示所述第一网络层在所述目标检测网络包含的多个网络层中的位置,k0为预设的超参,W1和H1分别为所述每个候选框的第二掩码图的宽和高,W0和H0为所述目标检测网络所规定的尺寸,N为大于1的整数;
对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;
从所述N个第一特征图中截取N个第二特征图;
将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸;
根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
2.根据权利要求1所述的方法,其特征在于,在从N个第一特征图中截取N个第二特征图之前,所述方法还包括:
获取所述目标检测网络所规定的尺寸;
根据所述每个候选框的第二掩码图的尺寸、所述目标检测网络所规定的尺寸以及预设的超参,确定所述目标检测网络的第一网络层。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度,包括:
对所述每个候选框对应的第一目标特征图进行特征提取,得到所述每个候选框对应的第二目标特征图;
通过两个卷积核尺寸为1*1的卷积层先后对所述每个候选框对应的第二目标特征图进行卷积处理,得到所述每个候选框对应的特征向量;
将所述每个候选框对应的特征向量进行归一化处理,得到所述每个候选框的定位置信度。
4.根据权利要求1所述的方法,其特征在于,在根据所述目标特征图,确定所述每个候选框的定位置信度之后,所述方法还包括:
获取所述每个候选框的分类置信度;
根据所述每个候选框的分类置信度以及所述每个候选框的定位置信度,确定所述每个候选框的目标置信度;
根据所述每个候选框的目标置信度,对所述至少一个候选框进行非极大值抑制,得到所述至少一个候选框中的目标候选框。
5.根据权利要求4所述的方法,其特征在于,所述待检测图像包括医学图像。
6.根据权利要求5所述的方法,其特征在于,所述将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框以及所述至少一个候选框中每个候选框的第一掩码图,包括:
将所述医学图像输入到目标检测网络,得到所述医学图像的第三特征图;
获取与所述医学图像所属的医学领域对应的医学知识图谱;
将所述医学知识图谱进行向量化,得到与所述医学知识图谱对应的第一特征向量;
将所述第一特征向量进行多次复制与组合,得到第一三维矩阵,其中,所述第一三维矩阵中每层的数据相同,且所述第一三维矩阵的每层的尺寸与所述第三特征图的尺寸相同;
将所述第一三维矩阵与所述医学图像的第三特征图进行拼接,得到第四特征图,根据所述第四特征图对所述医学图像进行目标检测,得到所述医学图像中与目标对应的至少一个候选框以及所述每个候选框对应的第一掩码图。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
对所述目标候选框所框选的图像进行特征提取,得到第五特征图;
将所述医学图像所对应的身体部位进行编码,得到与所述身体部位对应的第二特征向量,将所述第二特征向量进行多次复制与组合,得到第二三维矩阵,其中,所述第二三维矩阵中每层的数据相同,且所述第二三维矩阵的每层的尺寸与所述第五特征图的尺寸相同;
将所述目标候选框在所述待检测图像中的位置信息进行编码,得到第三特征向量,将所述第三特征向量进行多次复制与组合,得到第三三维矩阵,其中,所述第三三维矩阵中每层的数据相同,且所述第三三维矩阵的每层的尺寸与所述第五特征图的尺寸相同;
将所述第二三维矩阵、所述第三三维矩阵以及所述第五特征图进行拼接,得到第六特征图;
根据所述第六特征图,对所述目标候选框中的目标进行分割。
8.一种目标检测定位置信度确定装置,其特征在于,包括:
获取单元,用于获取待检测图像;
处理单元,用于将所述待检测图像输入到目标检测网络进行目标检测,得到至少一个候选框、每个候选框的第一掩码图以及N个第一特征图,所述N个第一特征图为所述目标检测网络的第一网络层的N个通道上的N个特征图,所述第一网络层位于所述目标检测网络的底部,具体为:所述第一网络层在所述目标检测网络中的位置满足以下公式:其中,k表示所述第一网络层在所述目标检测网络包含的多个网络层中的位置,k0为预设的超参,W1和H1分别为所述每个候选框的第二掩码图的宽和高,W0和H0为所述目标检测网络所规定的尺寸,N为大于1的整数;
对所述每个候选框的第一掩码图进行扩充,得到所述每个候选框的第二掩码图;
从所述N个第一特征图中截取N个第二特征图;
将所述每个候选框的第二掩码图与所述N个第二特征图进行拼接,得到所述每个候选框对应的第一目标特征图,其中,所述第一目标特征图是一个维度为W1*H1*(N+1)的三维矩阵,W1*H1为所述每个候选框的第二掩码图以及每个第二特征图的尺寸;
根据所述每个候选框对应的第一目标特征图,确定所述每个候选框的定位置信度。
9.一种电子设备,其特征在于,包括:处理器和存储器,所述处理器与所述存储器相连,所述存储器用于存储计算机程序,所述处理器用于执行所述存储器中存储的计算机程序,以使得所述电子设备执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011572377.6A CN112668573B (zh) | 2020-12-25 | 2020-12-25 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
PCT/CN2021/096419 WO2022134464A1 (zh) | 2020-12-25 | 2021-05-27 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011572377.6A CN112668573B (zh) | 2020-12-25 | 2020-12-25 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112668573A CN112668573A (zh) | 2021-04-16 |
CN112668573B true CN112668573B (zh) | 2022-05-10 |
Family
ID=75410156
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011572377.6A Active CN112668573B (zh) | 2020-12-25 | 2020-12-25 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN112668573B (zh) |
WO (1) | WO2022134464A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112668573B (zh) * | 2020-12-25 | 2022-05-10 | 平安科技(深圳)有限公司 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
CN114898155B (zh) * | 2022-05-18 | 2024-05-28 | 平安科技(深圳)有限公司 | 车辆定损方法、装置、设备及存储介质 |
CN115272086B (zh) * | 2022-09-29 | 2022-12-27 | 杭州太美星程医药科技有限公司 | 医学图像缝合方法和装置、电子设备和存储介质 |
CN116563665B (zh) * | 2023-04-25 | 2024-07-02 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、目标检测方法、装置及设备 |
CN117351485B (zh) * | 2023-12-04 | 2024-03-08 | 深圳赛陆医疗科技有限公司 | 基因测序训练数据集的增强方法及装置、设备及存储介质 |
CN118115969A (zh) * | 2024-03-04 | 2024-05-31 | 北京化工大学 | 基于大语言模型的自动驾驶多模态感知决策方法及装置 |
CN118071746A (zh) * | 2024-04-19 | 2024-05-24 | 广州索诺星信息科技有限公司 | 基于人工智能的超声影像数据管理***及方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109389030A (zh) * | 2018-08-23 | 2019-02-26 | 平安科技(深圳)有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
CN111967595A (zh) * | 2020-08-17 | 2020-11-20 | 成都数之联科技有限公司 | 候选框标注方法及***及模型训练方法及目标检测方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7702673B2 (en) * | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
CN106682669A (zh) * | 2016-12-15 | 2017-05-17 | 深圳市华尊科技股份有限公司 | 一种图像处理方法及移动终端 |
CN107464230B (zh) * | 2017-08-23 | 2020-05-08 | 京东方科技集团股份有限公司 | 图像处理方法及装置 |
US10452923B2 (en) * | 2017-11-28 | 2019-10-22 | Visual Semantics, Inc. | Method and apparatus for integration of detected object identifiers and semantic scene graph networks for captured visual scene behavior estimation |
CN108416776B (zh) * | 2018-03-16 | 2021-04-30 | 京东方科技集团股份有限公司 | 图像识别方法、图像识别装置、计算机产品和可读存储介质 |
CN110070072A (zh) * | 2019-05-05 | 2019-07-30 | 厦门美图之家科技有限公司 | 一种生成物体检测模型的方法 |
CN110633661A (zh) * | 2019-08-31 | 2019-12-31 | 南京理工大学 | 一种融合语义分割的遥感图像目标检测方法 |
CN110909642A (zh) * | 2019-11-13 | 2020-03-24 | 南京理工大学 | 一种基于多尺度语义特征融合的遥感图像目标检测方法 |
CN111667468A (zh) * | 2020-05-28 | 2020-09-15 | 平安科技(深圳)有限公司 | 基于神经网络的oct图像病灶检测方法、装置及介质 |
CN112001841A (zh) * | 2020-07-14 | 2020-11-27 | 歌尔股份有限公司 | 图像待检测区域提取方法、装置和产品缺陷检测*** |
CN112668573B (zh) * | 2020-12-25 | 2022-05-10 | 平安科技(深圳)有限公司 | 目标检测定位置信度确定方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-25 CN CN202011572377.6A patent/CN112668573B/zh active Active
-
2021
- 2021-05-27 WO PCT/CN2021/096419 patent/WO2022134464A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109389030A (zh) * | 2018-08-23 | 2019-02-26 | 平安科技(深圳)有限公司 | 人脸特征点检测方法、装置、计算机设备及存储介质 |
CN111967595A (zh) * | 2020-08-17 | 2020-11-20 | 成都数之联科技有限公司 | 候选框标注方法及***及模型训练方法及目标检测方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的光学遥感图像飞机检测算法;董永峰;《激光与光电子学进展》;20200228;第57卷(第4期);第041007-1至041007-7页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112668573A (zh) | 2021-04-16 |
WO2022134464A1 (zh) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112668573B (zh) | 目标检测定位置信度确定方法、装置、电子设备及存储介质 | |
CN112017189B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
CN111311578B (zh) | 基于人工智能的对象分类方法以及装置、医学影像设备 | |
CN112597941B (zh) | 一种人脸识别方法、装置及电子设备 | |
CN111814794B (zh) | 文本检测方法、装置、电子设备及存储介质 | |
CN111754396B (zh) | 脸部图像处理方法、装置、计算机设备和存储介质 | |
CN111444744A (zh) | 活体检测方法、装置以及存储介质 | |
CN111681273A (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
CN111680675B (zh) | 人脸活体检测方法、***、装置、计算机设备和存储介质 | |
CN111104925B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
CN113920309B (zh) | 图像检测方法、装置、医学图像处理设备及存储介质 | |
CN111488872B (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
CN111667459B (zh) | 一种基于3d可变卷积和时序特征融合的医学征象检测方法、***、终端及存储介质 | |
CN112528974B (zh) | 测距方法、装置、电子设备及可读存储介质 | |
CN113033524B (zh) | 遮挡预测模型训练方法、装置、电子设备及存储介质 | |
CN112634369A (zh) | 空间与或图模型生成方法、装置、电子设备和存储介质 | |
CN111583184A (zh) | 图像分析方法、网络、计算机设备和存储介质 | |
CN110533120B (zh) | 器官结节的图像分类方法、装置、终端及存储介质 | |
CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
CN117372604B (zh) | 一种3d人脸模型生成方法、装置、设备及可读存储介质 | |
CN117710760A (zh) | 残差的注意神经网络用于胸部x线病灶检测的方法 | |
CN113052181A (zh) | 基于语义分割的表格重建方法、装置、设备及存储介质 | |
CN116310899A (zh) | 基于YOLOv5改进的目标检测方法及装置、训练方法 | |
CN114118127B (zh) | 一种视觉场景标志检测与识别方法及装置 | |
CN114299087A (zh) | 图像优化方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40041507 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |