CN110874602A - 一种图像识别方法及装置 - Google Patents
一种图像识别方法及装置 Download PDFInfo
- Publication number
- CN110874602A CN110874602A CN201811003602.7A CN201811003602A CN110874602A CN 110874602 A CN110874602 A CN 110874602A CN 201811003602 A CN201811003602 A CN 201811003602A CN 110874602 A CN110874602 A CN 110874602A
- Authority
- CN
- China
- Prior art keywords
- feature
- sample pair
- detected
- feature vector
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像识别方法,其中,该方法包括:获取不同的待检测图像;分别对不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;将不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;将合并后的特征向量输入预先训练的验证分类模型,识别不同的待检测图像是否为同一待测物体的图像。采用上述方式,无需进行相似度的计算也无需与预设的阈值进行比较,即可实现对待检测图像识别验证,从而有效规避在不同应用场景下需要利用不同应用场景对应的测试集来更新最佳阈值的问题,使得验证分类模型在不同的应用场景中更具有鲁棒性,也提高了该验证分类模型在不同应用场景的可移植性。
Description
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种图像识别方法及装置。
背景技术
随着人工智能技术的不断发展,在很多应用场景下都可以基于图像处理技术来实现对待测物体的智能识别。例如,在银行办理业务、或在打车软件中进行打车业务等应用场景下,需要对用户进行人脸识别等。
目前,较为常用的人脸识别方式是计算采集到的人脸图像与预先存储的人脸图像之间的相似度,之后,将计算的相似度与预先设定的阈值进行比较,以确定上述两张人脸图像是否为同一个人的人脸图像。上述人脸识别方式中,影响人脸识别的准确率的因素之一为阈值的大小。现有方案中主要利用测试集中的图像样本进行测试以及验证得出最佳阈值,使得人脸识别的准确率较高。
然而,发明人发现,得出的最佳阈值往往会随着测试集的不同而变化,比如利用测试集A下得出的最佳阈值为0.39,而利用测试集B得出的最佳阈值可能就为0.29。因此,对于一个训练好的模型必须根据特定的测试场景去设定最佳阈值,当测试场景更换时,如果不更新最佳阈值,可能使得人脸识别的准确率下降。故上述人脸识别方式在不同应用场景下的可移植性不强。
发明内容
有鉴于此,本申请实施例的目的在于提供一种图像识别方法及装置,以有效规避在不同应用场景下需要利用不同应用场景对应的测试集来更新最佳阈值的问题。
第一方面,本申请实施例提供了一种图像处理方法,包括:
获取不同的待检测图像;
分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;
将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;
将所述合并后的特征向量输入预先训练的验证分类模型,识别所述不同的待检测图像是否为同一待测物体的图像。
具体的,所述分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量,包括:
将所述不同的待检测图像输入至预先训练的特征提取模型中进行特征提取后,得到每个待检测图像对应的特征向量。
一种可能的实施方式中,所述方法还包括:
获取第一样本训练集,所述第一样本训练集中包括不同待测物体的多个图像样本;
根据以下方式训练得到所述特征提取模型:
从所述第一样本训练集中选取第一预设数量的图像样本输入至待训练的特征提取模型中;
针对输入的每个图像样本,对每个图像样本进行特征提取后得到特征向量,并对每个图像样本的特征向量进行分类,确定用于指示图像样本所表征的待测物体的第一分类结果;
基于每个图像样本对应的第一分类结果、以及每个图像样本对应的第一预设结果,计算本轮训练过程的第一损失值;
当所述第一损失值大于第一设定值时,对所述待训练的特征提取模型的模型参数进行调整,并利用调整后的所述待训练的特征提取模型进行下一轮训练过程,直至计算出的第一损失值小于或等于所述第一设定值时,确定训练完成。
其中,所述将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量,包括:
将所述不同的待检测图像分别对应的特征向量进行并行组合,得到合并后的特征向量;其中,所述合并后的特征向量具备多个特征通道,每个特征通道与每个待检测图像对应的特征向量相映射。
进一步地,在确定出的第一损失值小于或等于所述第一设定值之后,所述方法还包括:
根据每个图像样本的特征向量,确定用于对待训练的验证分类模型进行训练的第二样本训练集。
一种可能的实施方式中,所述根据每个图像样本的特征向量,确定第二样本训练集,包括:
将不同图像样本的特征向量之间进行随机配对,确定多个正样本对、以及多个负样本对,每个正样本对中包括用于表征同一待测物体的不同图像样本的特征向量,每个负样本对中包括用于表征不同待测物体的不同图像样本的特征向量;其中,所述第二样本训练集包括确定出的多个正样本对、以及多个负样本对。
具体的,可以根据以下方式训练得到所述验证分类模型:
从所述第二样本训练集中选取第二预设数量的正样本对、以及第三预设数量的负样本对;
将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,所述第二分类结果用于指示不同图像样本的特征向量是否表征同一待测物体;
基于每个正样本对对应的第二分类结果和第二预设结果、每个负样本对对应的第二分类结果和第三预设结果,计算本轮训练过程的第二损失值;
当所述第二损失值大于第二设定值时,对所述待训练的验证分类模型的模型参数进行调整,并利用调整后的所述待训练的验证分类模型进行下一轮训练过程,直至计算出的第二损失值小于或等于所述第二设定值时,确定训练完成。
一种可能的实施方式中,所述将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,包括:
将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,将所述每个正样本对对应的正样本对特征向量输入至所述待训练的验证分类模型中;以及,
将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,将所述每个负样本对对应的负样本对特征向量输入至所述待训练的验证分类模型中。
其中,针对每个正样本对,将每个正样本对中的不同图像样本的特征向量进行并行组合,得到每个正样本对对应的正样本对特征向量,每个正样本对特征向量具备多个特征通道,每个特征通道与对应的正样本对中每个图样样本的特征向量相映射;
针对每个负样本对,将每个负样本对中的不同图像样本的特征向量进行并行组合,得到每个负样本对对应的负样本对特征向量,每个负样本对特征向量具备多个特征通道,每个特征通道与对应的负样本对中每个图样样本的特征向量相映射。
一种可能的实施方式中,所述将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,包括:
针对输入的每个所述正样本对特征向量,对每个所述正样本对特征向量进行特征融合,并对融合后的正样本对特征向量进行分类,计算出每个正样本对对应的所述第二分类结果;以及,
针对输入的每个所述负样本对特征向量,对每个所述负样本对特征向量进行特征融合,并对融合后的负样本对特征向量进行分类,计算出每个负样本对对应的所述第二分类结果。
一种可能的设计中,所述特征提取模型包括至少一个第一卷积层、至少一个第一全连接层;所述至少一个第一全连接层中最后一个第一全连接层包括的神经元的个数与所述待测物体的类型的数量相同;所述至少一个第一全连接层中倒数第二个第一全连接层与特征合并单元连接,所述特征合并单元用于对所述倒数第二个第一全连接层输出的所述不同的待检测图像分别对应的特征向量进行合并。
一种可能的设计中,所述验证分类模型包括至少一个第二卷积层、至少一个第二全连接层、以及分类器;其中,所述至少一个第二卷积层中的首个第二卷积层与特征合并单元连接,所述首个第二卷积层用于对合并后的特征向量进行特征融合;所述至少一个第二全连接层中的最后一个第二全连接层包括两个神经元,所述分类器用于输出所述不同的待检测图像是否为同一待测物体的图像的分类结果。
第二方面,本申请实施例还提供一种图像识别装置,包括:
获取模块,用于获取不同的待检测图像;
第一处理模块,用于分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;
第二处理模块,用于将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;
第三处理模块,用于将所述合并后的特征向量输入预先训练的验证分类模型,识别所述不同的待检测图像是否为同一待测物体的图像。
一种可能的实施方式中,所述第一处理模块,具体用于:
将所述不同的待检测图像输入至预先训练的特征提取模型中进行特征提取后,得到每个待检测图像对应的特征向量。
一种可能的设计中,所述获取模块,还用于:获取第一样本训练集,所述第一样本训练集中包括不同待测物体的多个图像样本;
所述装置还包括:
第一模型训练模块,用于根据以下方式训练得到所述特征提取模型:
从所述第一样本训练集中选取第一预设数量的图像样本输入至待训练的特征提取模型中;
针对输入的每个图像样本,对每个图像样本进行特征提取后得到特征向量,并对每个图像样本的特征向量进行分类,确定用于指示图像样本所表征的待测物体的第一分类结果;
基于每个图像样本对应的第一分类结果、以及每个图像样本对应的第一预设结果,计算本轮训练过程的第一损失值;
当所述第一损失值大于第一设定值时,对所述待训练的特征提取模型的模型参数进行调整,并利用调整后的所述待训练的特征提取模型进行下一轮训练过程,直至计算出的第一损失值小于或等于所述第一设定值时,确定训练完成。
一种可能的实施方式中,所述第二处理模块,具体用于:
将所述不同的待检测图像分别对应的特征向量进行并行组合,得到合并后的特征向量;其中,所述合并后的特征向量具备多个特征通道,每个特征通道与每个待检测图像对应的特征向量相映射。
一种可能的设计中,所述装置还包括:
样本确定模块,用于根据每个图像样本的特征向量,确定用于对待训练的验证分类模型进行训练的第二样本训练集。
所述样本确定模块,具体用于:
将不同图像样本的特征向量之间进行随机配对,确定多个正样本对、以及多个负样本对,每个正样本对中包括用于表征同一待测物体的不同图像样本的特征向量,每个负样本对中包括用于表征不同待测物体的不同图像样本的特征向量;
其中,所述第二样本训练集包括确定出的多个正样本对、以及多个负样本对。
一种可能的设计中,所述装置还包括:
第二模型训练模块,用于根据以下方式训练得到所述验证分类模型:
从所述第二样本训练集中选取第二预设数量的正样本对、以及第三预设数量的负样本对;
将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,所述第二分类结果用于指示不同图像样本的特征向量是否表征同一待测物体;
基于每个正样本对对应的第二分类结果和第二预设结果、每个负样本对对应的第二分类结果和第三预设结果,计算本轮训练过程的第二损失值;
当所述第二损失值大于第二设定值时,对所述待训练的验证分类模型的模型参数进行调整,并利用调整后的所述待训练的验证分类模型进行下一轮训练过程,直至计算出的第二损失值小于或等于所述第二设定值时,确定训练完成。
一种可能的实施方式中,所述第二模型训练模块,在将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中时,具体用于:
将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,将所述每个正样本对对应的正样本对特征向量输入至所述待训练的验证分类模型中;以及,
将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,将所述每个负样本对对应的负样本对特征向量输入至所述待训练的验证分类模型中。
一种可能的实施方式中,所述第二模型训练模块,在将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量时,具体用于:
将每个正样本对中的不同图像样本的特征向量进行并行组合,得到每个正样本对对应的正样本对特征向量,每个正样本对特征向量具备多个特征通道,每个特征通道与对应的正样本对中每个图样样本的特征向量相映射;
所述第二模型训练模块,在将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量时,具体用于:
将每个负样本对中的不同图像样本的特征向量进行并行组合,得到每个负样本对对应的负样本对特征向量,每个负样本对特征向量具备多个特征通道,每个特征通道与对应的负样本对中每个图样样本的特征向量相映射。
一种可能的实施方式中,所述第二模型训练模块,在将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果时,具体用于:
针对输入的每个所述正样本对特征向量,对每个所述正样本对特征向量进行特征融合,并对融合后的正样本对特征向量进行分类,计算出每个正样本对对应的所述第二分类结果;以及,
针对输入的每个所述负样本对特征向量,对每个所述负样本对特征向量进行特征融合,并对融合后的负样本对特征向量进行分类,计算出每个负样本对对应的所述第二分类结果。
一种可能的设计中,所述特征提取模型包括至少一个第一卷积层、至少一个第一全连接层;所述至少一个第一全连接层中最后一个第一全连接层包括的神经元的个数与所述待测物体的类型的数量相同;所述至少一个第一全连接层中倒数第二个第一全连接层与特征合并单元连接,所述特征合并单元用于对所述倒数第二个第一全连接层输出的所述不同的待检测图像分别对应的特征向量进行合并。
一种可能的设计中,所述验证分类模型包括至少一个第二卷积层、至少一个第二全连接层、以及分类器;其中,所述至少一个第二卷积层中的首个第二卷积层与特征合并单元连接,所述首个第二卷积层用于对合并后的特征向量进行特征融合;所述至少一个第二全连接层中的最后一个第二全连接层包括两个神经元,所述分类器用于输出所述不同的待检测图像是否为同一待测物体的图像的分类结果。
第三方面,本申请实施例还提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面所述的图像识别方法的步骤。
第四方面,本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面所述的图像识别方法的步骤。
本申请实施例中,在进行图像识别时,可以获取不同的待检测图像并提取不同待检测图像对应的特征向量,在对不同的特征向量进行合并之后,可以将合并后的特征向量输入至预先训练的验证分类模型中进行识别验证,即可以检测出不同的待检测图像是否为同一待测物体的图像。与现有方式相比,本申请提供的上述方式无需进行相似度的计算也无需与预设的阈值进行比较,从而有效规避在不同应用场景下需要利用不同应用场景对应的测试集来更新最佳阈值的问题,使得验证分类模型在不同的应用场景中更具有鲁棒性,也提高了该验证分类模型在不同应用场景的可移植性。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例可适用的一种***架构的示意图;
图2示出了本申请实施例提供的一种图像识别方法的流程示意图;
图3示出了本申请实施例列举的一种可能的模型结构示意图;
图4示出了本申请实施例提供的特征提取模型的训练过程的流程示意图;
图5示出了本申请实施例提供的验证分类模型的训练流程示意图;
图6示出了本申请实施例提供的模型训练过程的具体流程示意图;
图7示出了本申请实施例提供的一种图像识别装置的结构示意图;
图8示出了本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
首先,对本申请可适用的应用场景进行介绍。本申请可适用在人脸识别、物体真伪验证等需要针对待测物体的多张图像进行分析识别的场景下。例如,目前在诸如银行业务、打车业务等场景下,经常会进行人脸识别,以实现身份验证。具体的,以打车业务为例,司机在进行打车业务之前,司机使用的客户端可以采集司机的人脸图像并上传至业务服务器,之后,业务服务器可以将采集的人脸图像与数据库中预先记录的人脸图像进行对比,以检测当前执行打车业务的司机与打车平台上注册的司机是否一致,以验证司机身份是否合法。
目前常用的人脸识别方式为:提取采集到的人脸图像的特征向量、以及预先存储的人脸图像的特征向量,进而对提取出的特征向量进行欧式距离度量或者余弦距离度量,以求出采集到的人脸图像和预先存储的人脸图像之间的相似度,之后,通过将计算出的相似度与预先设定的阈值进行比较,以确定采集到的人脸图像和预先存储的人脸图像是否为同一个人的人脸图像。
然而,经研究发现,上述方式中,预先设定的阈值大小会影响人脸识别的准确率,这就需要通过利用测试集中的图像样本进行测试和验证来计算出最佳阈值,以保证人脸识别的准确率。并且,由于不同的应用场景下测试集中的图像样本不同,对于同一待测物体的多张图像之间的相似度也会有所区别,故针对不同的应用场景,若不更新所使用的阈值,很容易造成人脸识别的准确率下降。由此可见,上述人脸识别方式在不同的应用场景下的可移植性不强,还需要花费大量精力获取不同应用场景下的测试集分别进行测试和验证以得到不同应用场景下的最佳阈值,不仅操作繁琐,而且若计算出的最佳阈值有偏差,也容易造成人脸识别的准确率较低。
针对上述问题,本申请提出了一种图像识别方法及装置,可以在保证图像识别的准确率的基础上,解决现有方式中在不同应用场景中必须更新使用的阈值的问题。
在介绍本申请提供的技术方案之前,先对本申请可适用的***架构进行示例性说明。参照图1所示,为本申请实施例可适用的一种***架构的示意图,包括客户端、业务服务器。客户端可以安装在终端设备中,终端设备例如为手机、平板电脑、车载终端等。具体的,业务服务器与客户端之间能够建立通信连接,客户端可以采集待检测图像(例如为司机的人脸图像)并上传给业务服务器,业务服务器可以通过图像处理算法,识别客户端采集的待检测图像与预先记录的待检测图像(例如为已认证司机的人脸图像等)是否为同一待测物体的图像,然后将检测结果发送给客户端。另外,一示例中,该***中还可以包括云端存储中心,可以由云端存储中心存储预先记录的待检测图像,业务服务器在对客户端采集到的待检测图像进行识别时,可以从云端存储中心获取预先记录的待检测图像,进而对这两类待检测图像进行图像分析处理,以得出检测结果。
下面结合具体实施例对本申请提供的技术方案进行详细说明。
实施例一
参照图2所示,为本申请实施例提供的一种图像识别方法的流程示意图,包括以下步骤:
步骤201、获取不同的待检测图像。
这里,针对不同的应用场景,业务服务器可以从不同的数据源中获取待检测图像,数据源例如为与业务服务器建立通信连接的至少一个客户端、或者云端存储中心等。以打车场景为例,若需要对司机的身份进行认证,那么业务服务器可以从客户端中获取当前终端设备的使用者(即司机)的人脸图像,还可以获取本地记录的与该客户端账号绑定的已认证的使用者(即已认证司机)的人脸图像,将获取的上述两类人脸图像作为不同的待检测图像进行后续分析。或者,业务服务器也可以从云端存储中心等其它存储设备获取待检测图像,本申请对此并不限定,
步骤202、分别对不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量。
本申请实施例中,可以利用预先训练的特征提取模型对不同的待检测图像进行特征提取,以得到每个待检测图像对应的特征向量。一种可能的实施方式中,预先训练的特征提取模型中包括至少一个第一卷积层、以及至少一个第一全连接层,其中,针对每个待检测图像,将待检测图像输入至特征提取模型后,首先通过第一卷积层进行卷积运算得到多张特征图,进一步地,多张特征图通过第一全连接层之后可以转换为对应的特征向量,以便对待检测图像进行分类。另一种可能的实施方式,预先训练的特征提取模型中还可以包括第一池化层,第一池化层的作用包括对卷积处理后得到的多张特征图进行降维处理等。其中,上述特征提取模型中第一卷积层、第一全连接层、以及第一池化层中的配置参数,例如包括卷积核大小、卷积核个数、以及全连接层神经元个数等,可以在模型训练过程进行调整。关于上述特征提取模型的具体模型训练过程将在接下来的实施例中进行详细说明,这里暂时不介绍。
步骤203、将不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量。
具体实施中,在得到不同的待检测图像分别对应的特征向量之后,可以对得到的这些特征向量进行合并,将不同待检测图像分别对应的特征向量合并成一个特征向量,合并后的特征向量中包括用于描述上述不同的待检测图像的图像特征的参数值等,以便输入至预先训练的验证分类模型中进行分析处理。
其中,将不同的待检测图像分别对应的特征向量进行合并的方式有多种。一种实施方式中,可以将多个特征向量的对应位置分别相减,以得到合并后的特征向量,例如,若两个待检测图像分别对应的特征向量均为1*1024的特征向量,那么将两个特征向量进行对应位置相减之后得到的合并后的特征向量也为1*1024的特征向量。另一种实施方式中,还可以将多个特征向量进行拼接处理,以得到合并后的特征向量,例如,两个待检测图像分别对应的特征向量均为1*1024的特征向量,那么将两个特征向量进行拼接处理后得到的合并后的特征向量为1*2048的特征向量。上述两种实施方式中,将多个特征向量进行合并后达到的合并效果可以理解为是将多个特征向量进行串联。
本申请实施例中,还可以将多个特征向量进行并行组合,合成包括多个特征通道的特征向量,其中,每个特征通道与每个待检测图像对应的特征向量相映射,也就是说,合并后的特征向量中每个特征通道都能反映出对应的待检测图像的图像特征。采用这种方式可以达到将多个特征向量并行输入至验证分类模型的目的。例如,两个待检测图像分别对应的特征向量均为1*1024的特征向量,那么将两个特征向量进行并行组合后得到的合并后的特征向量相当于2*1024的特征向量,其中,2代表特征向量的特征通道个数。
相比上述将多个特征向量进行串联的方式,本申请中采用多个特征向量进行并行组合的方式能够得到多个特征通道的特征向量,后续可以利用卷积层对多个特征通道的特征向量进行特征融合,以便更好地将不同待检测图像分别对应的特征向量之间进行关联,这样在分析不同待检测图像是否为同一待测物体的图像时,可以提升图像识别的准确率。
步骤204、将合并后的特征向量输入预先训练的验证分类模型,识别不同的待检测图像是否为同一待测物体的图像。
具体的,预先训练的验证分类模型中包括至少一个第二卷积层、至少一个第二全连接层、以及分类器。其中,合并后的特征向量经过首个第二卷积层之后,可以将合并后的特征向量中多个特征通道分别描述的不同待检测图像的图像特征进行特征融合,之后还可以经过多个第二卷积层进行卷积处理,以便深层次地提取融合后的图像特征,进一步提升图像识别的准确率。进一步地,还可以通过第二全连接层对融合后的图像特征进行计算,其中,至少一个第二全连接层中最后一个全连接层的神经元的个数可以设置为两个,以便进行二分类。分类器主要对第二全连接层计算得到的特征向量值进行解析并转换为标量的数值,转换后的标量的数值也可以理解为对不同分类结果的打分值,其中,打分值最高的分类结果即为正确的分类结果。其中,上述验证分类模型中第二卷积层、第二全连接层、以及分类器的配置参数,可以在模型训练过程中进行调整,具体验证分类模型的模型训练过程将在接下来的实施例中进行详细说明,这里暂不介绍。
本申请实施例中,最终确定的分类结果包括两种,一种分类结果表示不同的待检测图像为同一待测物体的图像,另一种分类结果表示不同的待检测图像不为同一待测物体的图像。例如,对于人脸识别场景下,可以获取不同的人脸图像作为不同的待检测图像,然后经过上述图像识别处理后可以识别出不同的人脸图像是否为同一人的人脸图像。
具体实施中,业务服务器在识别出分类结果后,可以将分类结果推送给客户端,或者,也可以基于识别出的分类结果做出决策动作。一示例中,在打车场景下,若识别出客户端采集的司机的人脸图像与预先记录的已认证司机的人脸图像是同一人的人脸图像,那么可以确定司机身份认证通过,进而允许司机进行打车服务,反之,若识别出上述两个人脸图像不是同一人的人脸图像,那么可以确定司机身份认证失败,进而不允许司机进行打车服务等。
本申请提供的上述方式,在获取不同的待检测图像之后,可以提取不同待检测图像对应的特征向量并对不同的特征向量进行合并,进而将合并后的特征向量输入至预先训练的验证分类模型中,即可以实现识别不同待检测图像是否为同一待测物体的图像。与现有方式相比,无需进行相似度的计算也无需与预设的阈值进行比较,从而有效规避在不同应用场景下需要利用不同应用场景对应的测试集来更新最佳阈值的问题,使得验证分类模型在不同的应用场景中更具有鲁棒性,也提高了该验证分类模型在不同应用场景的可移植性。
接下来对上述图像识别流程中涉及的特征提取模型、以及验证分类模型的模型训练过程进行介绍。在介绍模型训练过程之前,首先结合实施例二对特征提取模型、以及验证分类模型的模型结构进行简要说明,以便更好地理解本申请提供的技术方案。
实施例二
示例性地,参照图3所示,为本申请实施例列举的一种可能的模型结构示意图,其中,特征提取模型中包括第一卷积层1至N1、第一池化层1至N2、第一全连接层1至N3,其中,第一卷积层和第一池化层依次连接。其中,上述第一全连接层中最后一个第一全连接层包括的神经元的个数与待测物体的类型的数量相同,以便识别待检测图像是哪一种待测物体的图像。在模型训练阶段,特征提取模型中还可以包括第一分类器,通过将第一分类器输出的用于指示待检测图像所表征的待测物体的第一分类结果与人工预先标定的第一预设结果进行比较,来判断上述特征提取模型提取的图像特征是否准确,以便确定特征提取模型是否收敛。
并且,第一全连接层中倒数第二个第一全连接层还可以与特征合并单元连接,特征合并单元用于对倒数第二个第一全连接层输出的不同的待检测图像分别对应的特征向量进行合并。关于特征合并单元进行多个特征向量的合并的方式可以参见上述实施例一中的描述,这里不再赘述。
继续参照图3所示,验证分类模型中包括第二卷积层1至N4、第二全连接层1至N5、以及第二分类器。其中,验证分类模型的首个卷积层可以与特征合并单元连接,以便实现对特征合并单元输出的合并后的特征向量进行特征融合,这里,合并后的特征向量可以为具备多个特征通道的特征向量。进一步地,第二卷积层2至N4可以进一步提取融合后的图像特征,提升后续验证分类的准确率。这里,验证分类模型可以是一个二分类的模型,即最后一个第二全连接层包括两个神经元,相应地,与最后一个第二全连接层相连接的第二分类器,可以输出针对两种分类结果的打分值,其中,一种分类结果表示不同的待检测图像为同一待测物体的图像的分类结果,另一种分类结果表示不同的待检测图像不为同一待测物体的图像的分类结果。
结合上述图3所示的模型结构图,进一步对特征提取模型以及验证分类模型的模型训练过程进行介绍。
实施例三
参照图4所示,为本申请实施例提供的特征提取模型的训练过程的流程示意图,包括以下步骤:
步骤401、获取第一样本训练集,第一样本训练集中包括不同待测物体的多个图像样本。
以人脸识别场景为例,第一样本训练集中可以包括不同人的多张人脸图像,例如,可以取一万人的几十万人脸图像作为图像样本,其中,每个人的人脸图像在50张左右,以保证样本均衡分布。
步骤402、从第一样本训练集中选取第一预设数量的图像样本输入至待训练的特征提取模型中。
具体的,可以将第一预设数量的图像样本作为本轮训练过程的图像样本依次输入至待训练的特征提取模型中进行处理。其中,第一预设数量可根据实际模型处理能力来进行配置。
步骤403、针对输入的每个图像样本,对每个图像样本进行特征提取后得到特征向量,并对每个图像样本的特征向量进行分类,确定用于指示图像样本所表征的待测物体的第一分类结果。
具体的,该特征提取模型中最后一个全连接层中神经元的个数与图像样本的类型总数相同。在对每个图像样本的特征向量进行分类时,可以分别计算该图像样本表征每一种待测物体的第一分类结果的打分值,然后将打分值最高的第一分类结果作为最终的第一分类结果。例如,以人脸识别场景为例,假设图像样本选取的是500个人的人脸图像,那么最后一个全连接层中神经元的个数可以为500个,在进行分类时,可以输出500个分类结果对应的打分值,每一种分类结果指示人脸图像为一个人的人脸图像,从这500个分类结果对应的打分值中可以确定出打分值最高的第一分类结果,作为最终的第一分类结果。
步骤404、基于每个图像样本对应的第一分类结果、以及每个图像样本对应的第一预设结果,计算本轮训练过程的第一损失值。
其中,每个图像样本对应的第一预设结果可以理解为是每个图像样本的分类结果的理论值,可以人工预先配置好。针对第一预设数量的图像样本中每个图像样本,通过比较得出的第一分类结果以及第一预设结果,可以计算出本轮训练过程的第一损失值,第一损失值可以表征本轮对第一预设数量的图像样本进行分类时的误差情况。
步骤405、判断本轮训练过程的第一损失值是否大于设定值。
若是,则执行步骤406;若否,则执行步骤407。
步骤406、对待训练的特征提取模型的模型参数进行调整,并返回步骤402,利用调整后的待训练的特征提取模型进行下一轮训练过程,直至计算出的第一损失值小于或等于第一设定值。
步骤407、确定特征提取模型训练完成。
在特征提取模型训练完成后,后续可以利用特征提取模型从第一样本训练集中提取出的每个图像样本的特征向量,来确定用于对待训练的验证分类模型进行训练的第二样本训练集,并对验证分类模型进行训练。具体可参见实施例四中的描述。
实施例四
参照图5所示,为本申请实施例提供的验证分类模型的训练流程示意图。首先,可以根据特征提取模块提取到的每个图像样本的特征向量,确定第二样本训练集。第二样本训练集可以包括多个正样本对、以及多个负样本对。一种可能的实施方式中,可以将不同图像样本的特征向量之间进行随机配对,确定多个正样本对、以及多个负样本对。其中,每个正样本对中包括用于表征同一待测物体的不同图像样本的特征向量,每个负样本对中包括用于表征不同待测物体的不同图像样本的特征向量。例如,以人脸识别场景为例,假设第一样本训练集中包括1万人的50万张人脸图像样本,经过特征提取模型后得到50万张人脸图像样本分别对应的特征向量,将这50万张人脸图像样本分别对应的特征向量进行两两随机配对,那么可以组成50*50万对特征向量。其中,将表征同一个人的图像样本对应的两个特征向量作为正样本对,将表征不同人的图像样本对应的两个特征向量作为负样本对。
进一步地,可以利用第二样本训练集对验证分类模型进行训练,经过模型训练最终得到验证分类模型。
参照图6所示,为本申请实施例提供的模型训练过程的具体流程示意图,包括以下步骤:
步骤601、从第二样本训练集中选取第二预设数量的正样本对、以及第三预设数量的负样本对。
具体的,可以采用一种不重复随机选取正样本对和负样本对的策略,从第二样本训练集中选取正样本对和负样本对,以便尽量多的遍历第二样本训练集中更多的样本对。选取出的第二预设数量的正样本对、以及第三预设数量的负样本对可以作为本轮训练过程的训练样本,对待训练的验证分类模型中进行处理。其中,第二预设数量、第三预设数量可根据实际模型处理能力来进行配置。第二预设数量和第三预设数量可以相同也可以不同。一示例中,可以在每轮训练过程中选取128个正样本对和128个负样本对等。
本申请实施例中,在将选取出的正样本对和负样本对输入至验证分类模型之前,可以对正样本对和负样本对进行预处理。具体的,可以将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,将每个正样本对对应的正样本对特征向量输入至待训练的验证分类模型中。以及,可以将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,将每个负样本对对应的负样本对特征向量输入至待训练的验证分类模型中。
一种可能的实施方式中,针对每个正样本对,可以将每个正样本对中的不同图像样本的特征向量进行并行组合,得到每个正样本对对应的正样本对特征向量,每个正样本对特征向量具备多个特征通道,每个特征通道与对应的正样本对中每个图样样本的特征向量相映射。针对每个负样本对,可以将每个负样本对中的不同图像样本的特征向量进行并行组合,得到每个负样本对对应的负样本对特征向量,每个负样本对特征向量具备多个特征通道,每个特征通道与对应的负样本对中每个图样样本的特征向量相映射。其中关于合并特征向量的具体描述可以参照上述实施例一中涉及的内容,这里不再赘述。
步骤602、将选取出的正样本对和负样本对输入至待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,第二分类结果用于指示不同图像样本的特征向量是否表征同一待测物体。
具体实施中,针对输入的每个正样本对特征向量,可以对每个正样本对特征向量进行特征融合,并对融合后的正样本对特征向量进行分类,计算出每个正样本对对应的第二分类结果。针对输入的每个负样本对特征向量,对每个负样本对特征向量进行特征融合,并对融合后的负样本对特征向量进行分类,计算出每个负样本对对应的第二分类结果。
其中,第二分类结果分为两种,一种第二分类结果用于指示不同图像样本的特征向量表征同一物体,例如,不同图像样本的特征向量表征同一个人的人脸,另一种第二分类结果用于指示不同图像样本的特征向量表征不同的物体,例如不同图像样本的特征向量表征不同人的人脸。具体的,可以计算每一种第二分类结果对应的打分值,然后将打分值最高的第二分类结果作为最终的第二分类结果。
步骤603、基于每个正样本对对应的第二分类结果和第二预设结果、每个负样本对对应的第二分类结果和第三预设结果,计算本轮训练过程的第二损失值。
本申请实施例中,第二预设结果和第三预设结果即为人工预先配置好的理论值,例如,对于正样本对的理论值可以设置为1,指示不同图像样本的特征向量表征同一待测物体,对于负样本对的理论值可以设置为0,指示不同图像样本的特征向量表征不同待测物体。通过比较第二分类结果和第二预设结果、第三分类结果和第三预设结果,可以计算出本轮训练过程的第二损失值,第二损失值可以表征本轮训练过程中识别不同待检测图像是否为同一待测物体的图像时的误差情况。
步骤604、判断本轮训练过程的第二损失值是否大于第二设定值。
若是,则执行步骤605;若否,则执行步骤606。
步骤605、对待训练的验证分类模型的模型参数进行调整,并返回步骤601,利用调整后待训练的验证分类模型进行下一轮训练过程,直至计算出的第二损失值小于或等于第二设定值。
步骤606、确定验证分类模型训练完成。
在上述特征提取模型以及验证分类模型训练完成后,可以利用训练好的两个模型对不同的待检测图像进行识别,输出不同的待检测图像是否表征同一待测物体的验证结果。
基于同一技术构思,本申请实施例中还提供了与图像识别方法对应的图像识别装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述图像识别方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
实施例五
参照图7所示,为本申请实施例提供的一种图像识别装置的结构示意图,所述装置70包括:
获取模块71,用于获取不同的待检测图像;
第一处理模块72,用于分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;
第二处理模块73,用于将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;
第三处理模块74,用于将所述合并后的特征向量输入预先训练的验证分类模型,识别所述不同的待检测图像是否为同一待测物体的图像。
本申请实施例中提供的上述装置,在进行图像识别时,可以获取不同的待检测图像并提取不同待检测图像对应的特征向量,在对不同的特征向量进行合并之后,可以将合并后的特征向量输入至预先训练的验证分类模型中进行识别验证,即可以检测出不同的待检测图像是否为同一待测物体的图像。与现有方式相比,本申请提供的上述方式无需进行相似度的计算也无需与预设的阈值进行比较,从而有效规避在不同应用场景下需要利用不同应用场景对应的测试集来更新最佳阈值的问题,使得验证分类模型在不同的应用场景中更具有鲁棒性,也提高了该验证分类模型在不同应用场景的可移植性。
一种可能的实施方式中,所述第一处理模块72,具体用于:
将所述不同的待检测图像输入至预先训练的特征提取模型中进行特征提取后,得到每个待检测图像对应的特征向量。
一种可能的设计中,所述获取模块71,还用于:获取第一样本训练集,所述第一样本训练集中包括不同待测物体的多个图像样本;
所述装置还包括:
第一模型训练模块75,用于根据以下方式训练得到所述特征提取模型:
从所述第一样本训练集中选取第一预设数量的图像样本输入至待训练的特征提取模型中;
针对输入的每个图像样本,对每个图像样本进行特征提取后得到特征向量,并对每个图像样本的特征向量进行分类,确定用于指示图像样本所表征的待测物体的第一分类结果;
基于每个图像样本对应的第一分类结果、以及每个图像样本对应的第一预设结果,计算本轮训练过程的第一损失值;
当所述第一损失值大于第一设定值时,对所述待训练的特征提取模型的模型参数进行调整,并利用调整后的所述待训练的特征提取模型进行下一轮训练过程,直至计算出的第一损失值小于或等于所述第一设定值时,确定训练完成。
一种可能的实施方式中,所述第二处理模块73,具体用于:
将所述不同的待检测图像分别对应的特征向量进行并行组合,得到合并后的特征向量;其中,所述合并后的特征向量具备多个特征通道,每个特征通道与每个待检测图像对应的特征向量相映射。
一种可能的设计中,所述装置还包括:
样本确定模块76,用于根据每个图像样本的特征向量,确定用于对待训练的验证分类模型进行训练的第二样本训练集。
所述样本确定模块76,具体用于:
将不同图像样本的特征向量之间进行随机配对,确定多个正样本对、以及多个负样本对,每个正样本对中包括用于表征同一待测物体的不同图像样本的特征向量,每个负样本对中包括用于表征不同待测物体的不同图像样本的特征向量;
其中,所述第二样本训练集包括确定出的多个正样本对、以及多个负样本对。
一种可能的设计中,所述装置还包括:
第二模型训练模块77,用于根据以下方式训练得到所述验证分类模型:
从所述第二样本训练集中选取第二预设数量的正样本对、以及第三预设数量的负样本对;
将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,所述第二分类结果用于指示不同图像样本的特征向量是否表征同一待测物体;
基于每个正样本对对应的第二分类结果和第二预设结果、每个负样本对对应的第二分类结果和第三预设结果,计算本轮训练过程的第二损失值;
当所述第二损失值大于第二设定值时,对所述待训练的验证分类模型的模型参数进行调整,并利用调整后的所述待训练的验证分类模型进行下一轮训练过程,直至计算出的第二损失值小于或等于所述第二设定值时,确定训练完成。
一种可能的实施方式中,所述第二模型训练模块77,在将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中时,具体用于:
将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,将所述每个正样本对对应的正样本对特征向量输入至所述待训练的验证分类模型中;以及,
将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,将所述每个负样本对对应的负样本对特征向量输入至所述待训练的验证分类模型中。
一种可能的实施方式中,所述第二模型训练模块77,在将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量时,具体用于:
将每个正样本对中的不同图像样本的特征向量进行并行组合,得到每个正样本对对应的正样本对特征向量,每个正样本对特征向量具备多个特征通道,每个特征通道与对应的正样本对中每个图样样本的特征向量相映射;
所述第二模型训练模块77,在将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量时,具体用于:
将每个负样本对中的不同图像样本的特征向量进行并行组合,得到每个负样本对对应的负样本对特征向量,每个负样本对特征向量具备多个特征通道,每个特征通道与对应的负样本对中每个图样样本的特征向量相映射。
一种可能的实施方式中,所述第二模型训练模块77,在将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果时,具体用于:
针对输入的每个所述正样本对特征向量,对每个所述正样本对特征向量进行特征融合,并对融合后的正样本对特征向量进行分类,计算出每个正样本对对应的所述第二分类结果;以及,
针对输入的每个所述负样本对特征向量,对每个所述负样本对特征向量进行特征融合,并对融合后的负样本对特征向量进行分类,计算出每个负样本对对应的所述第二分类结果。
一种可能的设计中,所述特征提取模型包括至少一个第一卷积层、至少一个第一全连接层;所述至少一个第一全连接层中最后一个第一全连接层包括的神经元的个数与所述待测物体的类型的数量相同;所述至少一个第一全连接层中倒数第二个第一全连接层与特征合并单元连接,所述特征合并单元用于对所述倒数第二个第一全连接层输出的所述不同的待检测图像分别对应的特征向量进行合并。
一种可能的设计中,所述验证分类模型包括至少一个第二卷积层、至少一个第二全连接层、以及分类器;其中,所述至少一个第二卷积层中的首个第二卷积层与特征合并单元连接,所述首个第二卷积层用于对合并后的特征向量进行特征融合;所述至少一个第二全连接层中的最后一个第二全连接层包括两个神经元,所述分类器用于输出所述不同的待检测图像是否为同一待测物体的图像的分类结果。
本实施例中,获取模块71、第一处理模块72、第二处理模块73、第三处理模块74、第一模型训练模块75、样本确定模块76、以及第二模型训练模块77的具体功能和交互方式,可参见图1至图6对应的实施例的记载,在此不再赘述。
基于相同的技术构思,本申请实施例还提供了一种计算机设备。参照图8所示,为本申请实施例提供的计算机设备80的结构示意图,包括处理器81、存储器82、和总线83。其中,存储器82用于存储执行指令,包括内存821和外部存储器822;这里的内存821也称内存储器,用于暂时存放处理器81中的运算数据,以及与硬盘等外部存储器822交换的数据,处理器81通过内存821与外部存储器822进行数据交换,当计算机设备80运行时,处理器81与存储器82之间通过总线83通信,使得处理器81在用户态执行以下指令:
获取不同的待检测图像;分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;将所述合并后的特征向量输入预先训练的验证分类模型,识别所述不同的待检测图像是否为同一待测物体的图像。
其中,处理器81的具体处理流程可以参照图1至图6中所述的图像识别方法中的步骤,这里不再赘述。
基于相同的技术构思,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述图像识别方法的步骤。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述图像识别方法,以有效规避在不同应用场景下需要利用不同应用场景对应的测试集来更新最佳阈值的问题。
基于相同的技术构思,本申请实施例还提供了一种计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行上述图像识别方法的步骤,具体实现可参见上述方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的***和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,应该理解到,所揭露的***、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (26)
1.一种图像识别方法,其特征在于,包括:
获取不同的待检测图像;
分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;
将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;
将所述合并后的特征向量输入预先训练的验证分类模型,识别所述不同的待检测图像是否为同一待测物体的图像。
2.如权利要求1所述的方法,其特征在于,所述分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量,包括:
将所述不同的待检测图像输入至预先训练的特征提取模型中进行特征提取后,得到每个待检测图像对应的特征向量。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
获取第一样本训练集,所述第一样本训练集中包括不同待测物体的多个图像样本;
根据以下方式训练得到所述特征提取模型:
从所述第一样本训练集中选取第一预设数量的图像样本输入至待训练的特征提取模型中;
针对输入的每个图像样本,对每个图像样本进行特征提取后得到特征向量,并对每个图像样本的特征向量进行分类,确定用于指示图像样本所表征的待测物体的第一分类结果;
基于每个图像样本对应的第一分类结果、以及每个图像样本对应的第一预设结果,计算本轮训练过程的第一损失值;
当所述第一损失值大于第一设定值时,对所述待训练的特征提取模型的模型参数进行调整,并利用调整后的所述待训练的特征提取模型进行下一轮训练过程,直至计算出的第一损失值小于或等于所述第一设定值时,确定训练完成。
4.如权利要求1至3任一所述的方法,其特征在于,所述将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量,包括:
将所述不同的待检测图像分别对应的特征向量进行并行组合,得到合并后的特征向量;其中,所述合并后的特征向量具备多个特征通道,每个特征通道与每个待检测图像对应的特征向量相映射。
5.如权利要求3所述的方法,其特征在于,在确定出的第一损失值小于或等于所述第一设定值之后,所述方法还包括:
根据每个图像样本的特征向量,确定用于对待训练的验证分类模型进行训练的第二样本训练集。
6.如权利要求5所述的方法,其特征在于,所述根据每个图像样本的特征向量,确定第二样本训练集,包括:
将不同图像样本的特征向量之间进行随机配对,确定多个正样本对、以及多个负样本对,每个正样本对中包括用于表征同一待测物体的不同图像样本的特征向量,每个负样本对中包括用于表征不同待测物体的不同图像样本的特征向量;
其中,所述第二样本训练集包括确定出的多个正样本对、以及多个负样本对。
7.如权利要求6所述的方法,其特征在于,根据以下方式训练得到所述验证分类模型:
从所述第二样本训练集中选取第二预设数量的正样本对、以及第三预设数量的负样本对;
将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,所述第二分类结果用于指示不同图像样本的特征向量是否表征同一待测物体;
基于每个正样本对对应的第二分类结果和第二预设结果、每个负样本对对应的第二分类结果和第三预设结果,计算本轮训练过程的第二损失值;
当所述第二损失值大于第二设定值时,对所述待训练的验证分类模型的模型参数进行调整,并利用调整后的所述待训练的验证分类模型进行下一轮训练过程,直至计算出的第二损失值小于或等于所述第二设定值时,确定训练完成。
8.如权利要求7所述的方法,其特征在于,所述将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,包括:
将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,将所述每个正样本对对应的正样本对特征向量输入至所述待训练的验证分类模型中;以及,
将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,将所述每个负样本对对应的负样本对特征向量输入至所述待训练的验证分类模型中。
9.如权利要求8所述的方法,其特征在于,所述将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,包括:
将每个正样本对中的不同图像样本的特征向量进行并行组合,得到每个正样本对对应的正样本对特征向量,每个正样本对特征向量具备多个特征通道,每个特征通道与对应的正样本对中每个图样样本的特征向量相映射;
所述将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,包括:
将每个负样本对中的不同图像样本的特征向量进行并行组合,得到每个负样本对对应的负样本对特征向量,每个负样本对特征向量具备多个特征通道,每个特征通道与对应的负样本对中每个图样样本的特征向量相映射。
10.如权利要求8至9任一所述的方法,其特征在于,所述将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,包括:
针对输入的每个所述正样本对特征向量,对每个所述正样本对特征向量进行特征融合,并对融合后的正样本对特征向量进行分类,计算出每个正样本对对应的所述第二分类结果;以及,
针对输入的每个所述负样本对特征向量,对每个所述负样本对特征向量进行特征融合,并对融合后的负样本对特征向量进行分类,计算出每个负样本对对应的所述第二分类结果。
11.如权利要求2或3所述的方法,其特征在于,所述特征提取模型包括至少一个第一卷积层、至少一个第一全连接层;
所述至少一个第一全连接层中最后一个第一全连接层包括的神经元的个数与所述待测物体的类型的数量相同;
所述至少一个第一全连接层中倒数第二个第一全连接层与特征合并单元连接,所述特征合并单元用于对所述倒数第二个第一全连接层输出的所述不同的待检测图像分别对应的特征向量进行合并。
12.如权利要求1或7所述的方法,其特征在于,所述验证分类模型包括至少一个第二卷积层、至少一个第二全连接层、以及分类器;
其中,所述至少一个第二卷积层中的首个第二卷积层与特征合并单元连接,所述首个第二卷积层用于对合并后的特征向量进行特征融合;
所述至少一个第二全连接层中的最后一个第二全连接层包括两个神经元,所述分类器用于输出所述不同的待检测图像是否为同一待测物体的图像的分类结果。
13.一种图像识别装置,其特征在于,包括:
获取模块,用于获取不同的待检测图像;
第一处理模块,用于分别对所述不同的待检测图像进行特征提取,得到每个待检测图像对应的特征向量;
第二处理模块,用于将所述不同的待检测图像分别对应的特征向量进行合并,得到合并后的特征向量;
第三处理模块,用于将所述合并后的特征向量输入预先训练的验证分类模型,识别所述不同的待检测图像是否为同一待测物体的图像。
14.如权利要求13所述的装置,其特征在于,所述第一处理模块,具体用于:
将所述不同的待检测图像输入至预先训练的特征提取模型中进行特征提取后,得到每个待检测图像对应的特征向量。
15.如权利要求14所述的装置,其特征在于,所述获取模块,还用于:
获取第一样本训练集,所述第一样本训练集中包括不同待测物体的多个图像样本;
所述装置还包括:
第一模型训练模块,用于根据以下方式训练得到所述特征提取模型:
从所述第一样本训练集中选取第一预设数量的图像样本输入至待训练的特征提取模型中;
针对输入的每个图像样本,对每个图像样本进行特征提取后得到特征向量,并对每个图像样本的特征向量进行分类,确定用于指示图像样本所表征的待测物体的第一分类结果;
基于每个图像样本对应的第一分类结果、以及每个图像样本对应的第一预设结果,计算本轮训练过程的第一损失值;
当所述第一损失值大于第一设定值时,对所述待训练的特征提取模型的模型参数进行调整,并利用调整后的所述待训练的特征提取模型进行下一轮训练过程,直至计算出的第一损失值小于或等于所述第一设定值时,确定训练完成。
16.如权利要求13至15任一所述的装置,其特征在于,所述第二处理模块,具体用于:
将所述不同的待检测图像分别对应的特征向量进行并行组合,得到合并后的特征向量;其中,所述合并后的特征向量具备多个特征通道,每个特征通道与每个待检测图像对应的特征向量相映射。
17.如权利要求15所述的装置,其特征在于,所述装置还包括:
样本确定模块,用于根据每个图像样本的特征向量,确定用于对待训练的验证分类模型进行训练的第二样本训练集。
18.如权利要求17所述的装置,其特征在于,所述样本确定模块,具体用于:
将不同图像样本的特征向量之间进行随机配对,确定多个正样本对、以及多个负样本对,每个正样本对中包括用于表征同一待测物体的不同图像样本的特征向量,每个负样本对中包括用于表征不同待测物体的不同图像样本的特征向量;
其中,所述第二样本训练集包括确定出的多个正样本对、以及多个负样本对。
19.如权利要求18所述的装置,其特征在于,所述装置还包括:
第二模型训练模块,用于根据以下方式训练得到所述验证分类模型:
从所述第二样本训练集中选取第二预设数量的正样本对、以及第三预设数量的负样本对;
将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果,所述第二分类结果用于指示不同图像样本的特征向量是否表征同一待测物体;
基于每个正样本对对应的第二分类结果和第二预设结果、每个负样本对对应的第二分类结果和第三预设结果,计算本轮训练过程的第二损失值;
当所述第二损失值大于第二设定值时,对所述待训练的验证分类模型的模型参数进行调整,并利用调整后的所述待训练的验证分类模型进行下一轮训练过程,直至计算出的第二损失值小于或等于所述第二设定值时,确定训练完成。
20.如权利要求19所述的装置,其特征在于,所述第二模型训练模块,在将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中时,具体用于:
将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量,将所述每个正样本对对应的正样本对特征向量输入至所述待训练的验证分类模型中;以及,
将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量,将所述每个负样本对对应的负样本对特征向量输入至所述待训练的验证分类模型中。
21.如权利要求20所述的装置,其特征在于,所述第二模型训练模块,在将每个正样本对中的不同图像样本的特征向量进行合并,得到每个正样本对对应的正样本对特征向量时,具体用于:
将每个正样本对中的不同图像样本的特征向量进行并行组合,得到每个正样本对对应的正样本对特征向量,每个正样本对特征向量具备多个特征通道,每个特征通道与对应的正样本对中每个图样样本的特征向量相映射;
所述第二模型训练模块,在将每个负样本对中的不同图像样本的特征向量进行合并,得到每个负样本对对应的负样本对特征向量时,具体用于:
将每个负样本对中的不同图像样本的特征向量进行并行组合,得到每个负样本对对应的负样本对特征向量,每个负样本对特征向量具备多个特征通道,每个特征通道与对应的负样本对中每个图样样本的特征向量相映射。
22.如权利要求20至21任一所述的装置,其特征在于,所述第二模型训练模块,在将选取出的正样本对和负样本对输入至所述待训练的验证分类模型中,得到每个正样本对和每个负样本对分别对应的第二分类结果时,具体用于:
针对输入的每个所述正样本对特征向量,对每个所述正样本对特征向量进行特征融合,并对融合后的正样本对特征向量进行分类,计算出每个正样本对对应的所述第二分类结果;以及,
针对输入的每个所述负样本对特征向量,对每个所述负样本对特征向量进行特征融合,并对融合后的负样本对特征向量进行分类,计算出每个负样本对对应的所述第二分类结果。
23.如权利要求14或15所述的装置,其特征在于,所述特征提取模型包括至少一个第一卷积层、至少一个第一全连接层;
所述至少一个第一全连接层中最后一个第一全连接层包括的神经元的个数与所述待测物体的类型的数量相同;
所述至少一个第一全连接层中倒数第二个第一全连接层与特征合并单元连接,所述特征合并单元用于对所述倒数第二个第一全连接层输出的所述不同的待检测图像分别对应的特征向量进行合并。
24.如权利要求13或19所述的装置,其特征在于,所述验证分类模型包括至少一个第二卷积层、至少一个第二全连接层、以及分类器;
其中,所述至少一个第二卷积层中的首个第二卷积层与特征合并单元连接,所述首个第二卷积层用于对合并后的特征向量进行特征融合;
所述至少一个第二全连接层中的最后一个第二全连接层包括两个神经元,所述分类器用于输出所述不同的待检测图像是否为同一待测物体的图像的分类结果。
25.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的图像识别方法的步骤。
26.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至12任一所述的图像识别方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811003602.7A CN110874602A (zh) | 2018-08-30 | 2018-08-30 | 一种图像识别方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811003602.7A CN110874602A (zh) | 2018-08-30 | 2018-08-30 | 一种图像识别方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110874602A true CN110874602A (zh) | 2020-03-10 |
Family
ID=69715210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811003602.7A Pending CN110874602A (zh) | 2018-08-30 | 2018-08-30 | 一种图像识别方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110874602A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523605A (zh) * | 2020-04-28 | 2020-08-11 | 新疆维吾尔自治区烟草公司 | 一种图像识别方法、装置、电子设备及介质 |
CN114881937A (zh) * | 2022-04-15 | 2022-08-09 | 北京医准智能科技有限公司 | 一种针对超声切面的检测方法、装置及计算机可读介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679158A (zh) * | 2013-12-31 | 2014-03-26 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
CN106096535A (zh) * | 2016-06-07 | 2016-11-09 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于双线性联合cnn的人脸验证方法 |
CN106845357A (zh) * | 2016-12-26 | 2017-06-13 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
CN107967461A (zh) * | 2017-12-08 | 2018-04-27 | 深圳云天励飞技术有限公司 | Svm 差分模型训练及人脸验证方法、装置、终端及存储介质 |
CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN108416323A (zh) * | 2018-03-27 | 2018-08-17 | 百度在线网络技术(北京)有限公司 | 用于识别人脸的方法和装置 |
-
2018
- 2018-08-30 CN CN201811003602.7A patent/CN110874602A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679158A (zh) * | 2013-12-31 | 2014-03-26 | 北京天诚盛业科技有限公司 | 人脸认证方法和装置 |
US20170039418A1 (en) * | 2013-12-31 | 2017-02-09 | Beijing Techshino Technology Co., Ltd. | Face authentication method and device |
CN106096535A (zh) * | 2016-06-07 | 2016-11-09 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于双线性联合cnn的人脸验证方法 |
CN106845357A (zh) * | 2016-12-26 | 2017-06-13 | 银江股份有限公司 | 一种基于多通道网络的视频人脸检测和识别方法 |
CN107967461A (zh) * | 2017-12-08 | 2018-04-27 | 深圳云天励飞技术有限公司 | Svm 差分模型训练及人脸验证方法、装置、终端及存储介质 |
CN108009528A (zh) * | 2017-12-26 | 2018-05-08 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
CN108416323A (zh) * | 2018-03-27 | 2018-08-17 | 百度在线网络技术(北京)有限公司 | 用于识别人脸的方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523605A (zh) * | 2020-04-28 | 2020-08-11 | 新疆维吾尔自治区烟草公司 | 一种图像识别方法、装置、电子设备及介质 |
CN114881937A (zh) * | 2022-04-15 | 2022-08-09 | 北京医准智能科技有限公司 | 一种针对超声切面的检测方法、装置及计算机可读介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766872B (zh) | 图像识别方法和装置 | |
CN110147726B (zh) | 业务质检方法和装置、存储介质及电子装置 | |
KR102455633B1 (ko) | 라이브니스 검사 방법 및 장치 | |
CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
WO2020248387A1 (zh) | 基于多路摄像的人脸识别方法、装置、终端及存储介质 | |
CN109886222B (zh) | 人脸识别方法、神经网络训练方法、装置及电子设备 | |
US11062120B2 (en) | High speed reference point independent database filtering for fingerprint identification | |
JP6969663B2 (ja) | ユーザの撮影装置を識別する装置及び方法 | |
CN111626371A (zh) | 一种图像分类方法、装置、设备及可读存储介质 | |
US10043071B1 (en) | Automated document classification | |
CN109299594B (zh) | 身份验证方法及装置 | |
CN110751069A (zh) | 一种人脸活体检测方法及装置 | |
CN109815823B (zh) | 数据处理方法及相关产品 | |
CN112836661A (zh) | 人脸识别方法、装置、电子设备及存储介质 | |
CN111067522A (zh) | 大脑成瘾结构图谱评估方法及装置 | |
CN111275070B (zh) | 一种基于局部特征匹配的签名验证方法及设备 | |
CN111241873A (zh) | 图像翻拍检测方法及其模型的训练方法、支付方法及装置 | |
CN110874602A (zh) | 一种图像识别方法及装置 | |
CN109800797A (zh) | 基于ai的文件黑白判断方法、装置及设备 | |
CN117636421A (zh) | 一种基于边缘特征采集的人脸深伪检测方法 | |
CN111353526A (zh) | 一种图像匹配方法、装置以及相关设备 | |
CN114707133A (zh) | 一种基于SaaS的智慧门店身份认证方法及*** | |
CN113837174A (zh) | 目标对象识别方法、装置及计算机设备 | |
CN112906676A (zh) | 人脸图像来源的识别方法、装置、存储介质及电子设备 | |
CN112580462A (zh) | 一种特征点选择方法、终端和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200310 |