CN115171225A - 图像检测方法和图像检测模型的训练方法 - Google Patents
图像检测方法和图像检测模型的训练方法 Download PDFInfo
- Publication number
- CN115171225A CN115171225A CN202210771396.4A CN202210771396A CN115171225A CN 115171225 A CN115171225 A CN 115171225A CN 202210771396 A CN202210771396 A CN 202210771396A CN 115171225 A CN115171225 A CN 115171225A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- classification
- features
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 210
- 238000012549 training Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims description 57
- 238000004590 computer program Methods 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims description 71
- 238000004364 calculation method Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 17
- 230000004044 response Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013145 classification model Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000007639 printing Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种图像检测方法、图像检测模型的训练方法、装置、设备、存储介质以及计算机程序产品,涉及人工智能技术领域,具体为深度学习、图像处理、计算机视觉技术领域,可应用于活体检测等场景。具体实现方案为:获取待检测图像;从待检测图像中提取至少两个不同特征尺度的图像特征;对图像特征进行尺度组合,确定目标图像特征;对目标图像特征进行图像分类,得到检测结果。提高了检测准确率。
Description
技术领域
本公开涉及人工智能技术领域,具体为深度学习、图像处理、计算机视觉技术领域,可应用于活体检测等场景,尤其涉及一种图像检测方法、图像检测模型的训练方法、装置、设备、存储介质以及计算机程序产品。
背景技术
目前在对图像进行活体检测时,通常将活体图像和攻击图像视为两个类别,通过二分类方法得到检测结果,但该方法对攻击图像采用同一尺度特征进行学习,影响检测效果。或者通过异常检测方法进行检测,但异常检测方法缺少攻击特征的监督,也会影响检测效果。
发明内容
本公开提供了一种图像检测方法、图像检测模型的训练方法、装置、设备、存储介质以及计算机程序产品,提高了检测准确率。
根据本公开的一方面,提供了一种图像检测方法,包括:获取待检测图像;从待检测图像中提取至少两个不同特征尺度的图像特征;对图像特征进行尺度组合,确定目标图像特征;对目标图像特征进行图像分类,得到检测结果。
根据本公开的另一方面,提供了一种图像检测模型的训练方法,包括:获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本;执行以下训练步骤:从训练样本集中选取一个图像样本;基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型;响应于目标损失值小于损失阈值,将训练后的图像检测模型确定为目标图像检测模型。
根据本公开的又一方面,提供了一种图像检测装置,包括:第一获取模块,被配置为获取待检测图像;提取模块,被配置为从待检测图像中提取至少两个不同特征尺度的图像特征;组合模块,被配置为对图像特征进行尺度组合,确定目标图像特征;分类模块,被配置为对目标图像特征进行图像分类,得到检测结果。
根据本公开的又一方面,提供了一种图像检测模型的训练装置,包括:第二获取模块,被配置为获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本;训练模块,被配置为执行以下训练步骤:从训练样本集中选取一个图像样本;基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型;响应于目标损失值小于损失阈值,将训练后的图像检测模型确定为目标图像检测模型。
根据本公开的又一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被上述至少一个处理器执行,以使上述至少一个处理器能够执行上述图像检测方法及图像检测模型的训练方法。
根据本公开的又一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,上述计算机指令用于使上述计算机执行上述图像检测方法及图像检测模型的训练方法。
根据本公开的再一方面,提供了一种计算机程序产品,包括计算机程序,上述计算机程序在被处理器执行时实现上述图像检测方法及图像检测模型的训练方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开可以应用于其中的示例性***架构图;
图2是根据本公开的图像检测方法的一个实施例的流程图;
图3是根据本公开的图像检测方法的另一个实施例的流程图;
图4是根据本公开的图像检测模型的训练方法的一个实施例的流程图;
图5是根据本公开的图像检测模型的训练方法的另一个实施例的流程图;
图6是根据本公开的图像检测模型的训练方法的一个示意图;
图7是根据本公开的图像检测装置的一个实施例的结构示意图;
图8是根据本公开的图像检测模型的训练装置的一个实施例的结构示意图;
图9是用来实现本公开实施例的图像检测方法或图像检测模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出了可以应用本公开的图像检测方法或图像检测模型的训练方法或图像检测装置或图像检测模型的训练装置的实施例的示例性***架构100。
如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以获取检测结果或目标图像检测模型等。终端设备101、102、103上可以安装有各种客户端应用,例如图像处理应用等等。
终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述电子设备中。其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以提供各种基于获取检测结果或目标图像检测模型的服务。例如,服务器105可以对从终端设备101、102、103获取到的待检测图像进行分析和处理,并生成处理结果(例如确定出检测结果等)。
需要说明的是,服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器105为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
需要说明的是,本公开实施例所提供的图像检测方法或图像检测模型的训练方法一般由服务器105执行,相应地,图像检测装置或图像检测模型的训练装置一般设置于服务器105中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,其示出了根据本公开的图像检测方法的一个实施例的流程200。该图像检测方法包括以下步骤:
步骤201、获取待检测图像。
在本实施例中,图像检测方法的执行主体(例如图1所示的服务器105)可以获取待检测图像。待检测图像可以是由真实的人脸或动物或植物拍摄而成的图像,也可以是非真实的人脸图像或动物图像或植物图像,其中,非真实图像可以是屏幕截图图像、打印图像、合成图像、有面具遮挡的图像等,本公开对此不做限定。上述执行主体可以从公开的图像数据库中选取一幅图像作为待检测图像,也可以拍摄一幅图像作为待检测图像,也可以画一幅图像作为待检测图像,本公开对此不做限定。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
步骤202、从待检测图像中提取至少两个不同特征尺度的图像特征。
在本实施例中,上述执行主体在获取待检测图像后,可以从待检测图像中提取至少两个不同特征尺度的图像特征。具体地,可以对待检测图像进行多次降采样,得到多种分辨率不同的图像,作为多种尺度的图像,任意选取一个图像特征提取模型,将每种尺度的图像作为输入数据,输入到图像特征提取模型中,从图像特征提取模型的输出端,输出对应的图像特征,以此得到至少两个不同特征尺度的图像特征。
其中,图像特征可以是任意表示待检测图像特性的特征,示例性的,图像特征可以是摩尔纹特征,可以是色差特征、纸张折痕特征等,本公开对此不做限定。
不同特征尺度的图像特征,是从不同分辨率的图像中提取的特征点,特征尺度可以包括低特征尺度、中特征尺度和高特征尺度,低特征尺度对应图象的概貌特征,高特征尺度对应图象的细节特征,示例性的,摩尔纹特征属于低层纹理特征,图像特征提取网络的浅层网络即可捕获该特征,因此,可以将摩尔纹特征视为低特征尺度的特征;色差特征、纸张折痕特征相对复杂,属于中层纹理特征,因此,可以将色差特征、纸张折痕特征视为中特征尺度的特征;若待检测图像是有面具遮挡的图像,面具特征较为逼真,更为复杂,因此,可以将面具特征视为高特征尺度的特征。
步骤203、对图像特征进行尺度组合,确定目标图像特征。
在本实施例中,上述执行主体在获取至少两个不同特征尺度的图像特征后,可以对图像特征进行尺度组合,确定目标图像特征。具体地,可以从至少两个不同特征尺度的图像特征中任选一个作为目标图像特征,也可以从至少两个不同特征尺度的图像特征中任选多个图像特征,对选取的多个图像特征按照预设尺度运算规则进行计算,将计算结果确定为目标图像特征,本公开对此不做限定。
步骤204、对目标图像特征进行图像分类,得到检测结果。
在本实施例中,上述执行主体在获取目标图像特征后,可以对目标图像特征进行图像分类,得到检测结果。具体地,可以任意选取一个图像分类模型,将目标图像特征作为输入数据,输入到图像分类模型中,从图像分类模型的输出端,输出检测结果。其中,检测结果可以是待检测图像是真实图像,或待检测图像是非真实图像。
本公开实施例提供的图像检测方法,首先获取待检测图像,然后从待检测图像中提取至少两个不同特征尺度的图像特征;接着对图像特征进行尺度组合,确定目标图像特征;最后对目标图像特征进行图像分类,得到检测结果。通过将图像特征划分为多个不同特征尺度,使确定出的目标图像特征更具判别性,从而使检测结果更准确。
进一步继续参考图3,其示出了根据本公开的图像检测方法的另一个实施例的流程300。该图像检测方法包括以下步骤:
步骤301、获取待检测图像。
在本实施例中,步骤301具体操作已在图2所示的实施例中步骤201进行了详细的介绍,在此不再赘述。
需要说明的是,在获取待检测图像后,可以将待检测图像输入预先训练的图像检测模型中,其中,图像检测模型包括金字塔特征提取网络、尺度分类网络和特征分类网络。图像检测模型可以是能够对待检测图像进行检测,得到检测结果的模型,金字塔特征提取网络可以是提取待检测图像的图像特征的网络,尺度分类网络可以是从提取的多个图像特征中筛选更具判别性的图像特征的网络,特征分类网络可以是基于筛选出的图像特征进行分类,得到检测结果的网络。可以基于图像检测模型执行以下步骤。
步骤302、将待检测图像输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征。
在本实施例中,上述执行主体在获取待检测图像后,可以将待检测图像输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征。具体地,可以将待检测图像作为输入数据,输入到金字塔特征提取网络中,从金字塔特征提取网络的输出端,输出至少两个不同特征尺度的初始图像特征。其中,金字塔特征提取网络具有多层,每一层可以提取一种尺度的图像的特征点,示例性的,金字塔特征提取网络的第一层可以提取原始图像的特征点,其余层的图像尺度分别是上一层图像的降采样的结果,因此金字塔特征提取网络输出的至少两个初始图像特征具有不同的特征尺度,示例性的,可以输出三个初始图像特征,三个初始图像特征分别是低特征尺度的特征,中特征尺度的特征,高特征尺度的特征。
步骤303、对至少两个初始图像特征执行侧边链接操作和上采样操作,得到至少两个不同特征尺度的图像特征。
在本实施例中,上述执行主体在获取多个初始图像特征后,可以对至少两个初始图像特征执行侧边链接操作和上采样操作,得到至少两个不同特征尺度的图像特征。其中,每个初始图像特征都是一个三维特征,示例性的,可以表示为一个D*H*W的特征,其中,D维代表通道数量,H、W维代表特征的宽高,表示特征的空间大小。具体地,金字塔特征提取网络输出的每个初始图像特征三维大小是不同的,可以先对至少两个初始图像特征执行侧边链接操作,得到至少两个等通道数初始图像特征,侧边链接操作可以使多个初始图像特征的D维相同,统一多个初始图像特征的通道数。
在本实施例的一些可选实现方式中,侧边链接可以使一个卷积网络,可以将至少两个初始图像特征作为输入数据,输入到上述卷积网络中,从卷积网络的输出端,输出至少两个等通道数初始图像特征。
然后对至少两个等通道数初始图像特征执行上采样操作,得到上述至少两个不同特征尺度的图像特征,上采样操作可以使多个等通道数初始图像特征H、W维相同,统一多个等通道数初始图像特征的空间大小。通过对多个初始图像特征执行侧边链接操作和上采样操作,使得到的多个不同特征尺度的图像特征三维大小相同。
步骤304、对图像特征执行特征链接操作和全局平均池化操作,得到输入特征。
在本实施例中,上述执行主体在获取多个不同特征尺度的图像特征后,可以对多个不同特征尺度的图像特征执行特征链接操作和全局平均池化操作,得到输入特征。具体地,可以先对多个不同特征尺度的图像特征执行特征链接操作,得到一个链接后的图像特征,其中,特征链接操作可以对多个不同特征尺度的图像特征进行拼接。然后对链接后的图像特征执行全局平均池化操作,得到输入特征,其中,全局平均池化操作可以使降低参数量,防止过拟合。
步骤305、将输入特征输入到尺度分类网络中进行计算,得到每个图像特征的概率。
在本实施例中,上述执行主体在获取输入特征后,可以将输入特征输入到尺度分类网络中进行计算,得到每个特征尺度的图像特征的概率。具体地,可以将输入特征作为输入数据,输入到尺度分类网络中,从尺度分类网络的输出端,输出每个特征尺度的图像特征的概率。其中,所有图像特征的概率之和为1,概率越大,对应的图像特征越具有判别性。待检测图像不同时,输出的每个特征尺度的图像特征的概率也不同。
步骤306、将得到的至少两个概率与图像特征进行加权求和,得到目标图像特征。
在本实施例中,上述执行主体在得到多个概率后,可以将得到的多个概率与多个不同特征尺度的图像特征进行加权求和,得到目标图像特征。具体地,可以将每个概率与对应的特征尺度的图像特征进行相乘,将所有的乘积结果进行相加,得到目标图像特征。
步骤307、将目标图像特征输入到特征分类网络中进行图像分类,得到图像分类结果。
在本实施例中,上述执行主体在得到目标图像特征后,可以将目标图像特征输入到特征分类网络中进行图像分类,得到图像分类结果。具体地,可以将目标图像特征作为输入数据,输入到特征分类网络中,从特征分类网络的输出端,输出图像分类结果。其中,图像分类结果可以是待检测图像是真实图像,或待检测图像是非真实图像。
步骤308、将图像分类结果确定为检测结果。
在本实施例中,上述执行主体在得到图像分类结果后,可以直接将图像分类结果确定为检测结果。
从图3中可以看出,与图2对应的实施例相比,本实施例中的图像检测方法,基于尺度分类网络得到选择每个特征尺度的图像特征的概率,基于概率确定出目标图像特征,使用于二分类的特征更具判别性,进一步提高了检测准确率。
进一步继续参考图4,其示出了根据本公开的图像检测模型的训练方法的一个实施例的流程400。该图像检测模型的训练方法包括以下步骤:
步骤401、获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本。
在本实施例中,图像检测模型的训练方法的执行主体(例如图1所示的服务器105)可以获取训练样本集。其中,执行主体可以从公开的数据库中获取存储于其中的现有的样本集,也可以通过终端设备(例如图1所示的终端设备101、102、103)来收集样本,这样,执行主体可以接收终端设备所收集的样本,并将这些样本存储在本地,从而生成训练样本集。
训练样本集中可以包括活体图像样本和至少两类攻击图像样本。活体图像样本可以是由真实的人脸或动物或植物拍摄而成的图像,攻击图像样本可以是非真实的人脸图像或动物图像或植物图像。其中,攻击图像样本有多种类型,示例性的,攻击图像样本可以包括屏幕截图类攻击图像样本、打印类攻击图像样本、面具类攻击图像样本,本公开对此不做限定。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
步骤402、从训练样本集中选取一个图像样本。
在本实施例中,上述执行主体在获取训练样本集后,可以从训练样本集中选取一个图像样本。具体地,可以从训练样本集中随机选取一个图像样本,也可以基于预设样本选取规则从训练样本集中选取一个图像样本,本公开对此不做限定。
步骤403、基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型。
在本实施例中,上述执行主体可以基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型。其中,初始图像检测模型可以是一个对输入的图像样本进行检测,得到检测结果的模型,可以将选取的图像样本作为输入数据,输入到初始图像检测模型中,初始图像检测模型可以先对输入的图像样本进行特征提取,得到多个不同特征尺度的图像特征,其中,多个图像特征具有不同的特征尺度,示例性的,可以输出三个图像特征,三个图像特征分别是低特征尺度的特征,中特征尺度的特征,高特征尺度的特征。
然后,初始图像检测模型可以对提取的多个图像特征进行尺度组合,示例性的,可以从多个不同特征尺度的图像特征中任选一个作为组合后的图像特征,也可以从多个不同特征尺度的图像特征中任选多个图像特征,对选取的多个图像特征按照预设尺度运算规则进行计算,将计算结果确定为组合后的图像特征,本公开对此不做限定。
在得到组合后的图像特征后,初始图像检测模型可以对组合后的图像特征进行图像分类,得到分类结果。其中,分类结果可以是输入的图像样本是真实图像,或输入的图像样本是非真实图像。可以基于分类结果计算得到目标损失值,并基于目标损失值对初始图像检测模型的参数进行调整,将调整后的图像检测模型确定为训练后的图像检测模型。
在得到目标损失值之后,可以将目标损失值与预设损失阈值进行比较,根据比较结果可以继续执行步骤404或405。
步骤404、响应于目标损失值大于等于损失阈值,将训练后的图像检测模型作为初始图像检测模型,再次执行训练步骤。
在本实施例中,上述执行主体在得到目标损失值后,可以将目标损失值与预设损失阈值进行比较,若目标损失值大于等于损失阈值,则将训练后的图像检测模型作为初始图像检测模型,再次执行上述训练步骤,具体地,可以基于训练后的图像检测模型再次执行步骤402-403。其中,示例性的,损失阈值可以是损失值小于0.05。
步骤405、响应于目标损失值小于损失阈值,将训练后的图像检测模型确定为目标图像检测模型。
在本实施例中,上述执行主体在得到目标损失值后,可以将目标损失值与预设损失阈值进行比较,若目标损失值小于损失阈值,可以判断训练后的图像检测模型训练完成,将训练后的图像检测模型确定为目标图像检测模型。
本公开实施例提供的图像检测模型的训练方法,首先获取训练样本集,然后执行以下训练步骤:从训练样本集中选取一个图像样本;基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型;响应于目标损失值小于损失阈值,将训练后的图像检测模型确定为目标图像检测模型。通过提取多个不同特征尺度的图像特征,并对提取的多个图像特征进行尺度组合和图像分类,使训练得到的目标图像检测模型检测结果更准确。
进一步继续参考图5,其示出了根据本公开的图像检测模型的训练方法的另一个实施例的流程500。该图像检测模型的训练方法包括以下步骤:
步骤501、获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本。
步骤502、从训练样本集中选取一个图像样本。
在本实施例中,步骤501-502具体操作已在图4所示的实施例中步骤401-402进行了详细的介绍,在此不再赘述。
需要说明的是,初始图像检测模型可以包括金字塔特征提取网络、尺度分类网络、特征分类网络。金字塔特征提取网络可以是提取输入的图像样本的图像特征的网络,尺度分类网络可以是从提取的多个图像特征中筛选更具判别性的图像特征的网络,特征分类网络可以是基于筛选出的图像特征进行分类,得到分类结果的网络。可以基于上述初始图像检测模型执行以下步骤。
步骤503、将选取的图像样本输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的图像特征,其中,特征尺度的类别数与攻击图像样本的类别数相同。
在本实施例中,上述执行主体在选取图像样本后,可以将选取的图像样本输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的图像特征。具体地,可以将选取的图像样本作为输入数据,输入到金字塔特征提取网络中,从金字塔特征提取网络的输出端,输出至少两个不同特征尺度的图像特征。
在本实施例的一些可选实现方式中,将选取的图像样本输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;对至少两个初始图像特征执行侧边链接操作和上采样操作,得到至少两个不同特征尺度的图像特征。
具体地,可以将选取的图像样本作为输入数据,输入到金字塔特征提取网络中,从金字塔特征提取网络的输出端,输出多个不同特征尺度的初始图像特征,其中,多个初始图像特征具有不同的特征尺度,示例性的,可以输出三个初始图像特征,三个初始图像特征分别是低特征尺度的特征,中特征尺度的特征,高特征尺度的特征。然后,对多个初始图像特征执行侧边链接操作和上采样操作,得到多个不同特征尺度的图像特征。其中,每个初始图像特征都是一个三维特征,示例性的,可以表示为一个D*H*W的特征,其中,D维代表通道数量,H、W维代表特征的宽高,表示特征的空间大小。具体地,金字塔特征提取网络输出的多个初始图像特征三维大小是不同的,可以先对多个初始图像特征执行侧边链接操作,得到多个等通道数初始图像特征,侧边链接操作可以使多个初始图像特征的D维相同,统一多个初始图像特征的通道数。然后对多个等通道数初始图像特征执行上采样操作,得到上述多个不同特征尺度的图像特征,上采样操作可以使多个等通道数初始图像特征H、W维相同,统一多个等通道数初始图像特征的空间大小。通过对多个初始图像特征执行侧边链接操作和上采样操作,使得到的多个不同特征尺度的图像特征三维大小相同。
其中,特征尺度的类别数与攻击图像样本的类别数相同。
步骤504、将提取的至少两个图像特征输入到尺度分类网络中进行计算,得到目标图像特征。
在本实施例中,上述执行主体在得到至少两个不同特征尺度的图像特征后,可以将提取的至少两个图像特征输入到尺度分类网络中进行计算,得到目标图像特征。具体地,可以将多个不同特征尺度的图像特征作为输入数据,输入到尺度分类网络中,从尺度分类网络的输出端,输出目标图像特征。
在本实施例的一些可选实现方式中,可以对提取的至少两个图像特征执行特征链接操作和全局平均池化操作,得到输入特征;将输入特征输入到尺度分类网络中进行计算,得到每个图像特征的概率;将得到的至少两个概率与提取的至少两个图像特征进行加权求和,得到目标图像特征。
具体地,可以先对多个不同特征尺度的图像特征执行特征链接操作,得到一个链接后的图像特征,其中,特征链接操作可以对多个不同特征尺度的图像特征进行拼接。然后对链接后的图像特征执行全局平均池化操作,得到输入特征,其中,全局平均池化操作可以使降低参数量,防止过拟合。然后将输入特征作为输入数据,输入到尺度分类网络中,从尺度分类网络的输出端,输出每个特征尺度的图像特征的概率。其中,所有图像特征的概率之和为1,概率越大,对应的图像特征越具有判别性。输入的图像样本不同时,输出的每个特征尺度的图像特征的概率也不同。在得到多个概率后,可以将每个概率与对应的特征尺度的图像特征进行相乘,将所有的乘积结果进行相加,得到目标图像特征。
在本实施例的一些可选实现方式中,可以在得到每个特征尺度的图像特征的概率之后,还可以响应于选取的图像样本为活体图像样本,确定至少两个目标概率均为攻击图像样本的类别数的倒数;响应于选取的图像样本为攻击图像样本,确定与选取的攻击图像样本的类别对应的一个目标概率为1,其余目标概率为0;基于得到的至少两个概率和至少两个目标概率计算得到尺度损失值,其中,至少两个目标概率与攻击图像样本的至少两个类别一一对应。
具体地,可以先将若选取的图像样本为活体图像样本,确定多个目标概率均为攻击图像样本的类别数的倒数;若选取的图像样本为攻击图像样本,先确定选取的图像样本的类别,示例性的,确定选取的图像样本的类别为屏幕截图类攻击图像样本,或者打印类攻击图像样本,或者面具类攻击图像样本。然后确定与选取的攻击图像样本的类别对应的一个目标概率为1,其余目标概率为0。在确定多个目标概率后,可以比较计算得到的多个概率和多个目标概率的差距大小,以此得到尺度损失值,其中,多个目标概率与攻击图像样本的多个类别一一对应。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
步骤505、将目标图像特征输入到特征分类网络中进行图像分类,得到目标损失值及训练后的图像检测模型。
在本实施例中,上述执行主体在得到目标图像特征后,可以将目标图像特征输入到特征分类网络中进行图像分类,得到目标损失值及训练后的图像检测模型。具体地,可以将目标图像特征作为输入数据,输入到特征分类网络中,从特征分类网络的输出端,输出图像样本分类结果。其中,图像样本分类结果可以是输入的图像样本是真实图像,或输入的图像样本是非真实图像。可以基于图像样本分类结果计算得到目标损失值及训练后的图像检测模型。
在本实施例的一些可选实现方式中,可以将目标图像特征输入到特征分类网络中进行图像分类,得到分类结果;基于分类结果计算得到分类损失值;基于尺度损失值和分类损失值计算得到目标损失值;基于目标损失值对初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,得到训练后的图像检测模型。
具体地,可以将目标图像特征作为输入数据,输入到特征分类网络中,从特征分类网络的输出端,输出图像样本分类结果。然后获取输入的图像样本的类型,将输出的图像样本分类结果和图像样本的类型进行比较,得到分类损失值。然后用第一参数乘以尺度损失值,得到第一乘积,用1减去第一参数得到第二参数,用第二参数乘以分类损失值,得到第二乘积,将第一乘积与第二乘积的和确定为目标损失值。第一参数和第二参数的和等于1,在初始训练阶段,可以将第一参数设定为0.9,随着训练次数增加,第一参数逐渐减小至0.5,该设置可以在初始训练阶段更侧重尺度分类网络的学习。接着基于目标损失值对初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,得到训练后的图像检测模型。
在得到目标损失值之后,可以将目标损失值与预设损失阈值进行比较,根据比较结果可以继续执行步骤506或507。
步骤506、响应于目标损失值大于等于损失阈值,将训练后的图像检测模型作为初始图像检测模型,再次执行训练步骤。
步骤507、响应于目标损失值小于损失阈值,将训练后的图像检测模型确定为目标图像检测模型。
在本实施例中,步骤506-507具体操作已在图4所示的实施例中步骤404-405进行了详细的介绍,在此不再赘述。
从图5中可以看出,与图4对应的实施例相比,本实施例中的图像检测模型的训练方法,基于尺度分类网络得到选择每个特征尺度的图像特征的概率,基于概率确定出目标图像特征,使用于二分类的特征更具判别性,进一步提高了训练完成的目标图像检测模型的检测准确率。基于尺度损失值和分类损失值计算得到目标损失值,基于目标损失值对初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,使尺度分类网络和特征分类网络更准确,进而提高了训练完成的目标图像检测模型的检测准确率。
进一步继续参考图6,其示出了根据本公开的图像检测模型的训练方法的一个示意图600。从图6中可以看出,可以先获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本,然后从训练样本集中选取一个图像样本,输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的图像特征,接着将至少两个不同特征尺度的图像特征输入到尺度分类网络中进行计算,得到目标图像特征,最后将目标图像特征输入到特征分类网络中进行图像分类,得到目标损失值,可以基于目标损失值对初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,完成一次迭代,以此迭代多次,直到目标损失值小于损失阈值,得到训练完成的目标图像检测模型。提高了训练完成的目标图像检测模型的检测准确率。
在本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
进一步参考图7,作为对上述图像检测方法的实现,本公开提供了一种图像检测装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图7所示,本实施例的图像检测装置700可以包括第一获取模块701,提取模块702,组合模块703,分类模块704。其中,第一获取模块701,被配置为获取待检测图像;提取模块702,被配置为从待检测图像中提取至少两个不同特征尺度的图像特征;组合模块703,被配置为对图像特征进行尺度组合,确定目标图像特征;分类模块704,被配置为对目标图像特征进行图像分类,得到检测结果。
在本实施例中,图像检测装置700:第一获取模块701,提取模块702,组合模块703,分类模块704的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-204的相关说明,在此不再赘述。
在本实施例的一些可选实现方式中,图像检测装置700还包括:输入模块,被配置为将待检测图像输入预先训练的图像检测模型,图像检测模型包括金字塔特征提取网络、尺度分类网络和特征分类网络;提取模块702包括:第一提取子模块,被配置为将待检测图像输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;采样子模块,被配置为对至少两个初始图像特征执行侧边链接操作和上采样操作,得到至少两个不同特征尺度的图像特征。
在本实施例的一些可选实现方式中,组合模块703包括:池化子模块,被配置为对图像特征执行特征链接操作和全局平均池化操作,得到输入特征;第一计算子模块,被配置为将输入特征输入到尺度分类网络中进行计算,得到每个图像特征的概率;第二计算子模块,被配置为将得到的至少两个概率与图像特征进行加权求和,得到目标图像特征。
在本实施例的一些可选实现方式中,分类模块704包括:第一分类子模块,被配置为将目标图像特征输入到特征分类网络中进行图像分类,得到图像分类结果;确定子模块,被配置为将图像分类结果确定为检测结果。
进一步参考图8,作为对上述图像检测模型的训练方法的实现,本公开提供了一种图像检测模型的训练装置的一个实施例,该装置实施例与图4所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图8所示,本实施例的图像检测模型的训练装置800可以包括第二获取模块801,训练模块802。其中,第二获取模块801,被配置为获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本;训练模块802,被配置为执行以下训练步骤:从训练样本集中选取一个图像样本;基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型;响应于目标损失值小于损失阈值,将训练后的图像检测模型确定为目标图像检测模型。
在本实施例中,图像检测模型的训练装置800:第二获取模块801,训练模块802的具体处理及其所带来的技术效果可分别参考图4对应实施例中的步骤401-405的相关说明,在此不再赘述。
在本实施例的一些可选实现方式中,图像检测模型的训练装置800还包括:再训练模块,被配置为响应于目标损失值大于等于损失阈值,将训练后的图像检测模型作为初始图像检测模型,再次执行训练步骤。
在本实施例的一些可选实现方式中,初始图像检测模型包括金字塔特征提取网络、尺度分类网络、特征分类网络;训练模块802包括:第二提取子模块,被配置为将选取的图像样本输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的图像特征,其中,特征尺度的类别数与攻击图像样本的类别数相同;第三计算子模块,被配置为将提取的至少两个图像特征输入到尺度分类网络中进行计算,得到目标图像特征;第二分类子模块,被配置为将目标图像特征输入到特征分类网络中进行图像分类,得到目标损失值及训练后的图像检测模型。
在本实施例的一些可选实现方式中,第二提取子模块包括:提取单元,被配置为将选取的图像样本输入到金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;采样单元,被配置为对至少两个初始图像特征执行侧边链接操作和上采样操作,得到至少两个不同特征尺度的图像特征。
在本实施例的一些可选实现方式中,第三计算子模块包括:池化单元,被配置为对提取的至少两个图像特征执行特征链接操作和全局平均池化操作,得到输入特征;第一计算单元,被配置为将输入特征输入到尺度分类网络中进行计算,得到每个图像特征的概率;第二计算单元,被配置为将得到的至少两个概率与提取的至少两个图像特征进行加权求和,得到目标图像特征。
在本实施例的一些可选实现方式中,在得到每个图像特征的概率之后,第三计算子模块还包括:第一确定单元,被配置为响应于选取的图像样本为活体图像样本,确定至少两个目标概率均为攻击图像样本的类别数的倒数;第二确定单元,被配置为响应于选取的图像样本为攻击图像样本,确定与选取的攻击图像样本的类别对应的一个目标概率为1,其余目标概率为0;第三计算单元,被配置为基于得到的至少两个概率和所述至少两个目标概率计算得到尺度损失值,其中,所述至少两个目标概率与攻击图像样本的至少两个类别一一对应。
在本实施例的一些可选实现方式中,第二分类子模块包括:分类单元,被配置为将目标图像特征输入到特征分类网络中进行图像分类,得到分类结果;第四计算单元,被配置为基于分类结果计算得到分类损失值;第五计算单元,被配置为基于尺度损失值和分类损失值计算得到目标损失值;调整单元,被配置为基于目标损失值对初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,得到训练后的图像检测模型。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在RAM903中,还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理,例如图像检测方法或图像检测模型的训练方法。例如,在一些实施例中,图像检测方法或图像检测模型的训练方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的图像检测方法或图像检测模型的训练方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图像检测方法或图像检测模型的训练方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以为分布式***的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。服务器可以为分布式***的服务器,或者是结合了区块链的服务器。服务器也可以是云服务器,或者是带人工智能技术的智能云计算服务器或智能云主机。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (25)
1.一种图像检测方法,包括:
获取待检测图像;
从所述待检测图像中提取至少两个不同特征尺度的图像特征;
对所述图像特征进行尺度组合,确定目标图像特征;
对所述目标图像特征进行图像分类,得到检测结果。
2.根据权利要求1所述的方法,还包括:
将所述待检测图像输入预先训练的图像检测模型,所述图像检测模型包括金字塔特征提取网络、尺度分类网络和特征分类网络;
所述从所述待检测图像中提取至少两个不同特征尺度的图像特征包括:
将所述待检测图像输入到所述金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;
对至少两个初始图像特征执行侧边链接操作和上采样操作,得到所述至少两个不同特征尺度的图像特征。
3.根据权利要求2所述的方法,其中,所述对所述图像特征进行尺度组合,确定目标图像特征包括:
对所述图像特征执行特征链接操作和全局平均池化操作,得到输入特征;
将所述输入特征输入到所述尺度分类网络中进行计算,得到每个图像特征的概率;
将得到的至少两个概率与所述图像特征进行加权求和,得到所述目标图像特征。
4.根据权利要求3所述的方法,其中,所述对所述目标图像特征进行图像分类,得到检测结果包括:
将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到图像分类结果;
将所述图像分类结果确定为所述检测结果。
5.一种图像检测模型的训练方法,包括:
获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本;
执行以下训练步骤:从所述训练样本集中选取一个图像样本;基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型;响应于所述目标损失值小于损失阈值,将所述训练后的图像检测模型确定为目标图像检测模型。
6.根据权利要求5所述的方法,还包括:
响应于所述目标损失值大于等于所述损失阈值,将所述训练后的图像检测模型作为所述初始图像检测模型,再次执行所述训练步骤。
7.根据权利要求6所述的方法,其中,所述初始图像检测模型包括金字塔特征提取网络、尺度分类网络、特征分类网络;
所述基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型包括:
将选取的图像样本输入到所述金字塔特征提取网络中进行特征提取,得到所述至少两个不同特征尺度的图像特征,其中,所述特征尺度的类别数与所述攻击图像样本的类别数相同;
将提取的至少两个图像特征输入到所述尺度分类网络中进行计算,得到目标图像特征;
将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到所述目标损失值及训练后的图像检测模型。
8.根据权利要求7所述的方法,其中,所述将选取的图像样本输入到所述金字塔特征提取网络中进行特征提取,得到所述至少两个不同特征尺度的图像特征包括:
将选取的图像样本输入到所述金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;
对至少两个初始图像特征执行侧边链接操作和上采样操作,得到所述至少两个不同特征尺度的图像特征。
9.根据权利要求8所述的方法,其中,所述将提取的至少两个图像特征输入到所述尺度分类网络中进行计算,得到目标图像特征包括:
对提取的至少两个图像特征执行特征链接操作和全局平均池化操作,得到输入特征;
将所述输入特征输入到所述尺度分类网络中进行计算,得到每个图像特征的概率;
将得到的至少两个概率与所述提取的至少两个图像特征进行加权求和,得到所述目标图像特征。
10.根据权利要求9所述的方法,其中,在得到每个图像特征的概率之后,所述方法还包括:
响应于选取的图像样本为活体图像样本,确定至少两个目标概率均为攻击图像样本的类别数的倒数;
响应于选取的图像样本为攻击图像样本,确定与选取的攻击图像样本的类别对应的一个目标概率为1,其余目标概率为0;
基于所述得到的至少两个概率和所述至少两个目标概率计算得到尺度损失值,其中,所述至少两个目标概率与攻击图像样本的至少两个类别一一对应。
11.根据权利要求10所述的方法,其中,所述将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到所述目标损失值及训练后的图像检测模型包括:
将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到分类结果;
基于所述分类结果计算得到分类损失值;
基于所述尺度损失值和所述分类损失值计算得到所述目标损失值;
基于所述目标损失值对所述初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,得到所述训练后的图像检测模型。
12.一种图像检测装置,所述装置包括:
第一获取模块,被配置为获取待检测图像;
提取模块,被配置为从所述待检测图像中提取至少两个不同特征尺度的图像特征;
组合模块,被配置为对所述图像特征进行尺度组合,确定目标图像特征;
分类模块,被配置为对所述目标图像特征进行图像分类,得到检测结果。
13.根据权利要求12所述的装置,所述装置还包括:
输入模块,被配置为将所述待检测图像输入预先训练的图像检测模型,所述图像检测模型包括金字塔特征提取网络、尺度分类网络和特征分类网络;
所述提取模块包括:
第一提取子模块,被配置为将所述待检测图像输入到所述金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;
采样子模块,被配置为对至少两个初始图像特征执行侧边链接操作和上采样操作,得到所述至少两个不同特征尺度的图像特征。
14.根据权利要求13所述的装置,其中,所述组合模块包括:
池化子模块,被配置为对所述图像特征执行特征链接操作和全局平均池化操作,得到输入特征;
第一计算子模块,被配置为将所述输入特征输入到所述尺度分类网络中进行计算,得到每个图像特征的概率;
第二计算子模块,被配置为将得到的至少两个概率与所述图像特征进行加权求和,得到所述目标图像特征。
15.根据权利要求14所述的装置,其中,所述分类模块包括:
第一分类子模块,被配置为将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到图像分类结果;
确定子模块,被配置为将所述图像分类结果确定为所述检测结果。
16.一种图像检测模型的训练装置,所述装置包括:
第二获取模块,被配置为获取训练样本集,其中,训练样本包括活体图像样本和至少两类攻击图像样本;
训练模块,被配置为执行以下训练步骤:从所述训练样本集中选取一个图像样本;基于初始图像检测模型从选取的图像样本中提取至少两个不同特征尺度的图像特征,并对提取的至少两个图像特征进行尺度组合和图像分类,得到目标损失值及训练后的图像检测模型;响应于所述目标损失值小于损失阈值,将所述训练后的图像检测模型确定为目标图像检测模型。
17.根据权利要求16所述的装置,所述装置还包括:
再训练模块,被配置为响应于所述目标损失值大于等于所述损失阈值,将所述训练后的图像检测模型作为所述初始图像检测模型,再次执行所述训练步骤。
18.根据权利要求17所述的装置,其中,所述初始图像检测模型包括金字塔特征提取网络、尺度分类网络、特征分类网络;
所述训练模块包括:
第二提取子模块,被配置为将选取的图像样本输入到所述金字塔特征提取网络中进行特征提取,得到所述至少两个不同特征尺度的图像特征,其中,所述特征尺度的类别数与所述攻击图像样本的类别数相同;
第三计算子模块,被配置为将提取的至少两个图像特征输入到所述尺度分类网络中进行计算,得到目标图像特征;
第二分类子模块,被配置为将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到所述目标损失值及训练后的图像检测模型。
19.根据权利要求18所述的装置,其中,所述第二提取子模块包括:
提取单元,被配置为将选取的图像样本输入到所述金字塔特征提取网络中进行特征提取,得到至少两个不同特征尺度的初始图像特征;
采样单元,被配置为对至少两个初始图像特征执行侧边链接操作和上采样操作,得到所述至少两个不同特征尺度的图像特征。
20.根据权利要求19所述的装置,其中,所述第三计算子模块包括:
池化单元,被配置为对提取的至少两个图像特征执行特征链接操作和全局平均池化操作,得到输入特征;
第一计算单元,被配置为将所述输入特征输入到所述尺度分类网络中进行计算,得到每个图像特征的概率;
第二计算单元,被配置为将得到的至少两个概率与所述提取的至少两个图像特征进行加权求和,得到所述目标图像特征。
21.根据权利要求20所述的装置,其中,在得到每个图像特征的概率之后,所述第三计算子模块还包括:
第一确定单元,被配置为响应于选取的图像样本为活体图像样本,确定至少两个目标概率均为攻击图像样本的类别数的倒数;
第二确定单元,被配置为响应于选取的图像样本为攻击图像样本,确定与选取的攻击图像样本的类别对应的一个目标概率为1,其余目标概率为0;
第三计算单元,被配置为基于得到的至少两个概率和所述至少两个目标概率计算得到尺度损失值,其中,所述至少两个目标概率与攻击图像样本的至少两个类别一一对应。
22.根据权利要求21所述的装置,其中,所述第二分类子模块包括:
分类单元,被配置为将所述目标图像特征输入到所述特征分类网络中进行图像分类,得到分类结果;
第四计算单元,被配置为基于所述分类结果计算得到分类损失值;
第五计算单元,被配置为基于所述尺度损失值和所述分类损失值计算得到所述目标损失值;
调整单元,被配置为基于所述目标损失值对所述初始图像检测模型的尺度分类网络和特征分类网络进行参数调整,得到所述训练后的图像检测模型。
23.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11中任一项所述的方法。
25.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-11中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210771396.4A CN115171225A (zh) | 2022-06-30 | 2022-06-30 | 图像检测方法和图像检测模型的训练方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210771396.4A CN115171225A (zh) | 2022-06-30 | 2022-06-30 | 图像检测方法和图像检测模型的训练方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115171225A true CN115171225A (zh) | 2022-10-11 |
Family
ID=83489745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210771396.4A Pending CN115171225A (zh) | 2022-06-30 | 2022-06-30 | 图像检测方法和图像检测模型的训练方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115171225A (zh) |
-
2022
- 2022-06-30 CN CN202210771396.4A patent/CN115171225A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112784778B (zh) | 生成模型并识别年龄和性别的方法、装置、设备和介质 | |
CN113971751A (zh) | 训练特征提取模型、检测相似图像的方法和装置 | |
CN108229418B (zh) | 人体关键点检测方法和装置、电子设备、存储介质和程序 | |
CN113379627A (zh) | 图像增强模型的训练方法和对图像进行增强的方法 | |
CN112949767A (zh) | 样本图像增量、图像检测模型训练及图像检测方法 | |
CN112861885B (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN113869449A (zh) | 一种模型训练、图像处理方法、装置、设备及存储介质 | |
CN113239807B (zh) | 训练票据识别模型和票据识别的方法和装置 | |
CN113627361B (zh) | 人脸识别模型的训练方法、装置及计算机程序产品 | |
CN113537192B (zh) | 图像检测方法、装置、电子设备及存储介质 | |
CN114612743A (zh) | 深度学习模型的训练方法、目标对象识别方法和装置 | |
CN113947188A (zh) | 目标检测网络的训练方法和车辆检测方法 | |
CN113705361A (zh) | 活体检测模型的方法、装置及电子设备 | |
CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
CN112651451A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
CN113592932A (zh) | 深度补全网络的训练方法、装置、电子设备及存储介质 | |
CN114169425B (zh) | 训练目标跟踪模型和目标跟踪的方法和装置 | |
CN113837965B (zh) | 图像清晰度识别方法、装置、电子设备及存储介质 | |
CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
CN116310356B (zh) | 深度学习模型的训练方法、目标检测方法、装置及设备 | |
CN112580666A (zh) | 图像特征的提取方法、训练方法、装置、电子设备及介质 | |
CN113591969B (zh) | 面部相似度评测方法、装置、设备以及存储介质 | |
CN115019057A (zh) | 图像特征提取模型确定方法及装置、图像识别方法及装置 | |
CN113792849B (zh) | 字符生成模型的训练方法、字符生成方法、装置和设备 | |
CN114943995A (zh) | 人脸识别模型的训练方法、人脸识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |