CN113076963A - 一种图像识别方法、装置和计算机可读存储介质 - Google Patents
一种图像识别方法、装置和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113076963A CN113076963A CN202110628771.5A CN202110628771A CN113076963A CN 113076963 A CN113076963 A CN 113076963A CN 202110628771 A CN202110628771 A CN 202110628771A CN 113076963 A CN113076963 A CN 113076963A
- Authority
- CN
- China
- Prior art keywords
- image
- image sample
- label
- samples
- sample set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000000644 propagated effect Effects 0.000 claims description 86
- 239000013598 vector Substances 0.000 claims description 35
- 238000012216 screening Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000004931 aggregating effect Effects 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 description 46
- 230000006870 function Effects 0.000 description 21
- 238000012937 correction Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 8
- 238000002372 labelling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012550 audit Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种图像识别方法、装置和计算机可读存储介质;本发明实施例在获取图像样本集合后,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别;该方案可以提升图像识别的准确性。
Description
技术领域
本发明涉及通信技术领域,具体涉及一种图像识别方法、装置和计算机可读存储介质。
背景技术
近年来,随着神经网络技术在人工智能领域的大热,将神经网络应用于图像识别也有了长足的进展,尤其是图像中的行人重识别。在行人重识别过程中,需要人工对图像样本进行标注,由于标注难度大,往往会造成训练数据集存在噪声,因此,需要去除噪声。现有的图像识别方法往往采用分类器对训练样本的预测值来去除噪声,进而根据去噪后的训练数据集对神经网络进行训练来识别图像。
在对现有技术的研究和实践过程中,本发明的发明人发现在每一个有身份的行人的图像样本数量不多的情况下,分类器对标注错误时非常敏感的,使得分类器对图像样本进行去噪的准确率和召回率都很低,因此,导致图像识别的准确率大大降低。
发明内容
本发明实施例提供一种图像识别方法、装置和计算机可读存储介质,可以提高图像识别的准确性。
一种图像识别方法,包括:
获取图像样本集合,所述图像样本集合包括至少一个标记基础标签的图像样本;
采用预设识别模型对所述图像样本集合中的图像样本进行特征提取,得到图像特征集合;
根据所述图像特征集合,将所述图像样本作为数据节点构建近邻图;
基于所述近邻图对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合;
采用所述纠正后图像样本集合对所述预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
相应的,本发明实施例提供一种图像识别装置,包括:
获取单元,用于获取图像样本集合,所述图像样本集合包括至少一个标记基础标签的图像样本;
提取单元,用于采用预设识别模型对所述图像样本集合中的图像样本进行特征提取,得到图像特征集合;
构建单元,用于根据所述图像特征集合,将所述图像样本作为数据节点构建近邻图;
纠正单元,用于基于所述近邻图对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合;
识别单元,用于采用所述纠正后图像样本集合对所述预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
可选的,在一些实施例中,所述纠正单元,具体可以用于将所述图像样本的基础标签在所述近邻图的数据节点之间进行传播,得到所述图像样本的传播后标签信息;基于所述传播后标签信息,对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合。
可选的,在一些实施例中,所述纠正单元,具体可以用于根据所述图像样本的基础标签,构建所述图像样本集合对应的基础标签信息;采用预设传播策略,将所述基础标签信息在所述近邻图的数据节点之间进行传播,得到所述图像样本的传播后标签信息。
可选的,在一些实施例中,所述纠正单元,具体可以用于根据所述近邻图确定所述图像样本之间的相似度;获取所述相似度对应的加权系数,并基于所述加权系数,对所述图像样本的基础标签向量进行加权;将加权后的基础标签向量进行聚合,得到所述图像样本的传播后标签信息。
可选的,在一些实施例中,所述纠正单元,具体可以用于在所述传播后标签信息中提取出所述图像样本的传播后标签向量;根据所述传播后标签向量,确定所述图像样本的传播后标签;基于所述传播后标签,对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合。
可选的,在一些实施例中,所述纠正单元,具体可以用于在所述传播后标签向量中筛选出标签值最大的标签元素;在所述传播后标签向量中识别出所述标签元素的位置信息;获取所述位置信息对应的目标标签,将所述目标标签作为所述图像样本的传播后标签。
可选的,在一些实施例中,所述纠正单元,具体可以用于将所述传播后标签与对应的图像样本标注的基础标签进行对比;当所述传播后标签与基础标签不同时,确定所述图像样本为需要纠正的目标图像样本;将所述目标图像样本的基础标签替换为对应的传播后标签,得到所述纠正后图像样本集合。
可选的,在一些实施例中,所述构建单元,具体可以用于在所述图像特征集合中筛选出每一图像样本对应的图像特征,并基于所述图像样本的图像特征,计算所述图像样本之间的特征距离;基于所述特征距离,在所述图像样本集合中筛选出所述图像样本的近邻图像样本,得到所述图像样本的近邻图像样本集合;根据所述近邻图像样本集合,将所述图像样本作为数据节点构建近邻图。
可选的,在一些实施例中,所述构建单元,具体可以用于获取所述图像样本与对应的近邻图像样本集合中的图像样本之间的位置关系,得到所述图像样本的邻接信息;根据所述邻接信息,将所述图像样本作为数据节点构建初始近邻图,并对所述初始近邻图进行对称化处理,得到所述近邻图。
可选的,在一些实施例中,所述构建单元,具体可以用于在所述特征距离中筛选出所述图像样本与对应的近邻图像样本集合中图像样本之间的目标特征距离;对所述目标特征距离进行聚合,以得到所述图像样本与所述近邻图像样本集合中的图像样本之间的位置关系;基于所述位置关系,确定所述图像样本的邻接信息。
可选的,在一些实施例中,所述识别单元,具体可以用于基于所述纠正后图像样本集合中图像样本的图像特征和标签,对所述预设识别模型进行收敛;
采用所述预设识别模型对所述纠正后图像样本集合中的图像样本进行特征提取,得到目标图像特征集合;基于所述目标图像特征集合,对所述图像样本的标签进行纠正;返回执行所述基于所述纠正后图像样本集合中图像样本的图像特征和标签,对所述预设识别模型进行收敛的步骤,直至所述预设识别模型收敛完成,得到训练后识别模型。
可选的,在一些实施例中,所述识别单元,具体可以用于根据所述纠正后图像样本集合中图像样本的标签,确定所述图像样本的标签损失信息;基于所述纠正后图像样本集合中图像样本的图像特征,确定所述图像样本的特征损失信息;将所述标签损失信息和特征损失信息进行融合,并根据融合后损失信息对所述预设识别模型进行收敛。
可选的,在一些实施例中,所述识别单元,具体可以用于根据所述纠正后图像样本集合中图像样本的标签,对所述图像样本进行分类,得到每一标签对应的图像样本子集合;基于所述图像样本子集合中图像样本的图像特征,计算所述图像样本子集合对应的目标图像特征;将所述图像样本的图像特征和图像样本子集合对应的目标图像特征进行融合,得到所述图像样本的特征损失信息。
可选的,在一些实施例中,所述识别单元,具体可以用于根据所述图像样本的图像特征,计算所述图像样本子集合中图像样本之间的特征差值,得到第一特征差值;基于所述图像样本子集合对应的目标特征差值,计算所述图像样本子集合之间的特征差值,得到第二特征差值;计算所述第一特征差值和第二特征差值之间的特征差值,得到第三特征差值,并将所述第三特征差值与预设边界特征值进行融合,得到融合后特征值;当所述融合后特征值超过预设特征值时,计算所述融合后特征值的特征均值,得到所述图像样本的特征损失信息。
此外,本发明实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有应用程序,所述处理器用于运行所述存储器内的应用程序实现本发明实施例提供的图像识别方法。
此外,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种图像识别方法中的步骤。
本发明实施例在获取图像样本集合后,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别;由于该方案可以根据图像特征集合构建近邻图,利用图像样本本身的分布特点和相关关系来检测出噪声样本,不用依赖模型的分类,更加适合图像样本数量少的识别任务,而且,还可以对噪声样本进行标签纠正,提高图像样本的标注质量,从而提高识别模型的性能,因此,可以提升图像识别的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像识别方法的场景示意图;
图2是本发明实施例提供的图像识别方法的流程示意图;
图3是本发明实施例提供的对图像样本的基础标签纠正的示意图;
图4是本发明实施例提供的图像识别方法的另一流程示意图;
图5是本发明实施例提供的图像识别装置的结构示意图;
图6是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像识别方法、装置和计算机可读存储介质。其中,该图像识别装置可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备。
其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
例如,参见图1,以图像识别装置集成在电子设备中为例,电子设备在获取图像样本集合后,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别,进而达到精准识别图像的目的。
其中,本申请实施例提供的图像识别方法涉及人工智能领域中的计算机视觉方向。本申请实施例可以通过对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。其中,人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中,计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉,并进一步进行图像处理,使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别等技术,还包括常见的人脸识别、人体姿态识别等生物特征识别技术。
以下分别进行详细说明。需要说明的是,以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像识别装置的角度进行描述,该图像识别装置具体可以集成在电子设备中,该电子设备可以是服务器,也可以是终端等设备;其中,该终端可以包括平板电脑、笔记本电脑、以及个人计算机(PC,Personal Computer)、可穿戴设备、虚拟现实设备或其他可以进行图像识别的智能设备等设备。
一种图像识别方法,包括:
获取图像样本集合,该图像样本集合包括至少一个标记基础标签的图像样本,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,根据图像特征集合,将图像样本作为数据节点构建近邻图,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
如图2所示,该图像识别方法的具体流程如下:
101、获取图像样本集合。
其中,图像样本集合包括至少一个标注基础标签的图像样本,所谓基础标签可以为人工在图像样本中标注的原始标签,该原始标签用于指示图像样本中对象的身份信息。
其中,获取图像样本集合的方式可以有多种,比如,可以直接获取图像样本集合,或者,当图像样本集合中的图像样本数量较多或者内存较大时,也可以间接获取图像样本集合,等等,具体可以如下:
(1)直接获取图像样本集合;
例如,可以直接接收用户通过终端上传的图像样本,得到图像样本集合,或者,可以在网络上或者内容平台上获取预设数量的图像样本,得到图像样本集合,或者,还可以直接接收用户上传的原始图像,将原始图像发送至审核服务器,使得审核服务器对原始图像进行标注,接收审核服务器返回的标注后的原始图像作为图像样本,从而得到图像样本集合。
(2)间接获取图像样本集合;
例如,当图像样本集合中的图像样本数量较多或者内存较大时,接收终端或者内容服务器发送的图像识别请求,其中,该图像识别请求携带用户或者内容服务商存储的图像样本的存储地址,然后,在图像识别请求中提取出存储地址,根据存储地址,在内存、缓存或者第三方数据库中获取图像样本,得到图像样本集合。
可选的,当成功获取到图像样本集合之后,还可以向终端或内容服务器发送提示信息,以提示终端或内容服务器已成功获取到图像样本集合。
102、采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合。
例如,可以采用预设识别模型的特征提取网络提取图像样本集合中每一图像样本的图像特征,得到图像特征集合。
其中,特征提取网络可以有多种,比如,可以为不同深度的残差网络(ResNet),譬如,可以包括ResNet-50、ResNet-34、ResNet-152或者其他深度的残差网络;或者,可以为深度卷积神经网络(Visual Geometry Group Network,VGG),或者,还可以为密集卷积网络(DenseNet)或者神经元上的神经架构搜索网络(Neural Architecture Search Net,NASNet),等等。
其中,特征提取网络的深度和网络结构可以根据实际应用进行设定。
103、根据图像特征集合,将图像样本作为数据节点构建近邻图。
其中,近邻图为展示数据节点及其近邻的数据节点之间的关系的图数据,通常可以采用邻接矩阵来表示该邻近图。
其中,构建近邻图的方式具体可以如下:
例如,可以在图像特征集合中,筛选出每一图像样本对应的图像特征,并基于图像样本的图像特征,计算图像样本之间的特征距离,基于特征距离,在图像样本集合中筛选出图像样本的近邻图像样本,得到图像样本的近邻图像样本集合,根据近邻图像样本集合,将图像样本作为数据节点构建近邻图。
其中,根据近邻图像样本集合,构建近邻图的方式可以有多种,比如,可以获取图像样本与对应的近邻图像样本集合中的图像样本之间的位置关系,得到图像样本的邻接信息,根据邻接信息,将图像样本作为数据节点构建初始近邻图,并对初始近邻图进行对称化处理,得到近邻图。
其中,邻接信息可以理解为指示图像样本与近邻图像样本集合中的图像样本之间的距离、位置关系等信息。得到邻接信息的方式可以有多种,比如,可以在特征距离中筛选出图像样本与对应的近邻图像样本集合中的图像样本之间的目标特征距离,对所述目标特征距离进行聚合,以得到图像样本与近邻图像样本集合中图像样本之间的位置关系,基于位置关系,确定图像样本的邻接信息。
其中,对目标特征距离进行聚合,以得到图像样本与近邻图像样本集合中图像样本之间的位置关系的方式可以有多种,比如,可以对目标特征距离进行聚合,得到聚合后的特征距离,并对聚合后的特征距离进行排序,根据排序结果,确定图像样本之间的位置关系。
其中,根据邻接信息,将图像样本作为数据节点构建初始近邻图的方式可以有多
种,比如,基于邻接信息,构建一个稀疏的邻接矩阵,邻接矩阵中的每一个元素表示两个图
像样本之间的位置关系,当邻接信息包括这两个图像样本时,意味着这两个图像样本属于
邻接关系时,该元素可以为,图像样本不属于邻接关系时,该元素就可以为
0,因此,构建的稀疏的邻接矩阵的公式可以如公式(1)所示:
在构建完初始近邻图之后,便可以对初始近邻图进行对称化处理,得到近邻图。对称化的过程可以看作将邻接矩阵对称化,比如,将邻接矩阵进行转置,并将转置后的邻接矩阵进行融合,并计算融合后邻接矩阵的均值,从而得到对称化后的邻接矩阵,将对称化后的邻接矩阵作为近邻图,对称化的过程可以如公式(2)所示:
104、基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合。
例如,可以将图像样本的基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息,基于传播后标签信息,对图像样本的基础标签进行纠正,得到纠正后图像样本集合,具体可以如下:
S1、将图像样本的基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息。
其中,传播后标签信息可以为将基础标签对应的标签矩阵在近邻图中传播后的得到标签矩阵的信息。
其中,将图像样本的基础标签进行传播的方式可以有多种,具体如下:
例如,根据图像样本的基础标签,构建图像样本集合对应的基础标签信息,采用预设传播策略,将基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息,具体可以如下:
(1)根据图像样本的基础标签,构建图像样本集合对应的基础标签信息。
其中,基础标签信息可以为将图像样本集合中所有的图像样本的基础标签进行融合得到的标签矩阵。
其中,构建图像样本集合对应的基础标签信息的方式可以有多种,具体可以如下:
例如,根据图像样本的数量N和图像样本的基础标签的数量(也就是类目数)C,构造一个N*C的标签矩阵L,该标签矩阵中的元素用于表示对应的图像样本的基础标签,比如,以图像样本i的基础标签为j为例,在矩阵L的第i行的第j列设为1,其他列设为0,就可以表示该图像样本的基础标签的信息,还可以将第i行所有的元素组成一个向量,可以将该向量作为图像样本i对应的基础标签向量。因此,基础标签信息中可以包括每一图像样本对应的基础标签向量。
(2)采用预设传播策略,将基础标签信息在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息。
例如,可以根据近邻图确定图像样本之间的相似度,获取相似度对应的加权系数,并基于加权系数,对图像样本的基础标签向量进行加权,将加权后的基础标签向量进行聚合,得到图像样本的传播后标签信息。
其中,根据近邻图确定图像样本之间的相似度的方式可以有多种,比如,可以在近邻图中识别出数据节点之间的位置关系,根据位置关系,确定数据节点的距离差值,将距离差值转换为相似度,距离差值越小,就可以说明图像样本的相似度越大。
其中,将加权后的基础标签向量进行聚合,从而得到图像样本的传播后标签信息的方式可以有多种,比如,可以将加权后的基础标签向量进行聚合,从而获得一个新的标签分布,根据新的标签分布,对标签矩阵L进行更新,得到更新后的标签矩阵L∶,将更新后的标签矩阵L∶作为传播后标签信息,具体可以参考公式(3)所示:
S2、基于传播后标签信息,对图像样本的基础标签进行纠正,得到纠正后图像样本集合。
例如,在传播后标签信息中提取图像样本的传播后标签向量,根据传播后标签向量,确定图像样本的传播后标签,基于传播后标签,对图像样本的基础标签进行纠正,得到纠正后图像样本。
其中,在传播后标签信息中提取出图像样本的传播后标签向量的方式可以有多种,比如,以图像样本i为例,在更新后的标签矩阵中筛选出第i行的所有的元素,将这些元素进行组合,就可以得到图像样本的传播后标签向量,或者,还可以对元素进行加权后再组合,也可以得到图像样本的传播后标签向量。
在提取出图像样本的传播后标签向量之后,便可以确定图像样本的传播后标签,确定的方式可以有多种,比如,可以在传播后标签向量中筛选出标签值最大的标签元素,在传播后标签向量中识别出标签元素的位置信息,获取位置信息对应的目标标签,将目标标签作为图像样本的传播后标签,譬如,标签元素的位置为第j列,就可以将第j列对应的标签j作为图像样本的传播后标签,具体可以参考公式(4)所示:
在确定出图像样本的传播后标签,便可以对图像样本的基础标签进行纠正,得到纠正后图像样本集合,纠正的方式可以有多种,比如,可以将传播后标签与对应的图像样本的基础标签进行对比,当传播后标签与基础标签不同是,确定图像样本为需要纠正的目标图像样本,将目标图像样本的基础标签替换为对应的传播后标签,得到纠正后图像样本集合。
其中,对于确定需要纠正的目标图像样本来说,基础标签信息经过了在近邻图上的标签信息传播后,标签矩阵L聚合了每一个图像样本本身的原始标签信息以及在特征空间上它的近邻图像样本的标签信息。如果标签矩阵L中对应某个样本的标签向量中值最大的元素对应的标签与该样本的基础标签不吻合,说明在模型学到的特征空间中,有很多与该样本具有高度相似性而标签又不相同的样本。在这种情况下,可以认为该样本的标签有较高的概率属于错误标记的样本,需要进行标签修正。在修正过程中,把进行标签信息传播后的标签矩阵L中每一行的最大值对应的标签作为样本在下一轮训练的新标签,从而就可以得到纠正后图像样本集合。
105、采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
例如,具体可以如下:
C1、采用纠正后图像样本集合对预设识别模型进行训练。
例如,基于纠正后图像样本集合中的图像特征和标签,对预设识别模型进行收敛,采用预设识别模型对纠正后图像样本集合中的图像样本进行特征提取,基于目标图像特征集合,对图像样本的标签进行纠正,返回执行基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,直至预设识别模型收敛完成,得到训练后识别模型。具体可以如下:
(1)基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛。
例如,可以根据纠正后图像样本集合中图像样本的标签,确定图像样本的标签损失信息,基于纠正后图像样本集合中图像样本的图像特征,确定图像样本的特征损失信息,将标签损失信息和特征损失信息进行融合,并根据融合后损失信息对预设识别模型进行收敛。
其中,确定图像样本的标签损失信息的方式可以有多种,比如,可以将图像样本的基础标签与传播后的标签进行对比,确定预设识别模型预测的准确率和错误率,并采用交叉熵损失函数对准确率和错误率进行处理,进而得到标签损失信息,具体的过程可以参考公式(5)所示:
其中,确定图像样本的特征损失信息的方式可以有多种,比如,可以根据纠正后图像样本集合中图像样本的标签,对图像样本进行分类,得到每一标签对应的图像样本子集合,基于图像样本子集合中图像样本的图像特征,计算图像样本子集合对应的目标图像特征,将图像样本的图像特征和图像样本子集合对应的目标图像特征进行融合,得到图像样本的特征损失信息。
其中,计算图像样本子集合对应的目标图像特征的方式可以有多种,比如,可以计算图像样本子集合中图像样本的图像特征的特征均值,将该特征均值作为图像样本子集合对应的目标图像特征。
在计算完图像样本子集合对应的目标图像特征之后,便可以将图像样本的图像特征和图像样本子集合对应的目标图像特征进行融合,得到图像样本的特征损失信息,融合的方式可以有多种,比如,根据图像样本的图像特征,计算图像样本子集合中图像样本之间的特征差值,得到第一特征差值,基于图像样本子集合对应的目标特征差值,计算图像样本子集合之间的特征差值,得到第二特征差值,计算第一特征差值和第二特征差值之间的特征差值,得到第三特征差值,并将第三特征差值与预设边界特征值进行融合,得到融合后特征值,当融合后特征值超过预设特征值是,计算融合后特征的特征均值,得到图像样本的损失信息,具体可以参考公式(6)的三元损失函数所示:
其中,Ltri为特征损失信息,f(xi )为图像样本的图像特征,f(xp )为图像样本子集合中其他图像样本的图像特征,f(xn )为图像样本子集合对应的目标图像特征,m为预设边界特征值。
其中,将标签损失信息和特征损失信息进行融合,并根据融合后信息对预设识别模型进行收敛,具体的收敛方式可以有多种,比如,可以获取标签损失信息和特征损失信息对应的加权系数,根据加权系数,分别对标签损失信息和特征损失信息进行加权,并将加权后的标签损失信息和特征损失信息进行融合,得到融合后特征信息,并根据融合后特征信息对预设识别模型中的网络参数进行更新,以收敛预设识别模型,或者,还可以直接将标签损失信息和特征损失信息进行融合,并根据融合后特征信息,采用梯度下降算法对预设识别模型的网络参数进行更新,以收敛预设识别模型。
其中,对于损失函数来说,除了可以采用交叉熵损失函数和三元组损失函数以外,还可以使用其他损失函数,比如,arcface(一种人脸识别损失函数)、center loss(一种损失函数)等其他损失函数。
(2)采用预设识别模型对纠正后图像样本集合中的图像样本进行特征提取,得到目标图像特征集合。
例如,可以采用预设识别模型的特征提取网络提取纠正后图像样本集合中每一图像样本的图像特征,得到图像特征集合,具体的提取方式见上文,在此就不再一一赘述。
(3)基于目标图像特征集合,对图像样本的标签进行纠正。
例如,可以根据目标图像特征集合,将图像样本作为数据节点构建目标近邻图,将图像样本的标签在目标近邻图的数据节点之间进行传播,得到图像样本的目标传播后标签信息,基于目标传播后标签信息对图像样本的标签进行纠正,得到纠正后图像样本集合,具体的标签纠正的过程见上文,在此就不再一一赘述。
(4)返回执行基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,直至预设识别模型收敛完成,得到训练后识别模型。
例如,在对图像样本的标签进行纠正之后,就可以返回采用纠正图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,具体的收敛步骤参见上文,在此就不再一一赘述。由此,可以发现,在本方案中对标签信息传播模型的迭代是嵌入深度网络的参数学习过程中,在每一轮迭代中只将标签信息传播一次,并取最大值,而不是像半监督学习的标签传播一样反复传播标签信息,这样的做法可以抑制错误标签的传播,并且在网络学习到更具有判别能力的特征后,再进行下一轮的标签纠正。
其中,对于图像样本的基础标签的纠正具体可以如图3所示,首先使用原始标签训练深度卷积神经网络若干个迭代,这时候预设识别模型可以学习到对跨摄像头行人身份具有一定辨别能力的特征。然后利用预设识别模型对整个数据集的图像样本进行特征提取,构建近邻图,并进行基于图信息传播的标签纠正。在一轮的标签纠正后,获得了质量更高的标签,作为下一轮预设识别模型训练的监督信息,从而能够学会提取辨别能力更高特征,有助于下一轮的标签纠正,从而形成良性循环。如此往复,不断循环,直至收敛。
C2、通过训练后识别模型对待识别图像进行识别。
例如,可以获取待识别图像,该待识别图像中包括至少一个待识别对象,采用训练后识别模型的特征提取网络对待识别图像进行特征提取,得到待识别对象的图像特征,采用训练后识别模型对图像特征进行识别,得到待识别对象的识别结果,这里的识别结果可以包括待识别对象的身份信息或者类型信息。
其中,对图像特征进行识别的方式可以有多种,比如,可以采用训练后识别模型的全连接层对图像特征进行映射,得到每个候选识别结果对应的识别概率,基于识别概率,在候选识别结果中筛选出待识别图像的识别结果,或者,还可以采用训练后识别模型的分类器对图像特征进行分类,根据分类结果,确定待识别图像的识别结果。
可选的,在一实施例中,该图像识别装置还包括将图像样本纠正后的标签存储至区块链上,或者,可以将图像样本的标签设置为区块链标签,或者,还可以将待识别图像的识别结果存储至区块链上。
由以上可知,本发明实施例在获取图像样本集合后,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别;由于该方案可以根据图像特征集合构建近邻图,利用图像样本本身的分布特点和相关关系来检测出噪声样本,不用依赖模型的分类,更加适合图像样本数量少的识别任务,而且,还可以对噪声样本进行标签纠正,提高图像样本的标注质量,从而提高识别模型的性能,因此,可以提升图像识别的准确性。
根据上面实施例所描述的方法,以下将举例作进一步详细说明。
在本实施例中,将以该图像识别装置具体集成在电子设备,电子设备为识别服务器,待识别图像为待识别行人图像,图像识别方法的应用场景为行人重识别为例进行说明。
如图4所示,一种图像识别方法,具体流程如下:
201、识别服务器获取图像样本集合。
例如,识别服务器直接接收用户通过终端上传的图像样本,得到图像样本集合,或者,可以在网络上或者内容平台上获取预设数量的图像样本,得到图像样本集合,或者,还可以直接接收用户上传的原始图像,将原始图像发送至审核服务器,使得审核服务器对原始图像进行标注,接收审核服务器返回的标注后的原始图像作为图像样本,从而得到图像样本集合。当图像样本集合中的图像样本数量较多或者内存较大时,接收终端或者内容服务器发送的图像识别请求,在图像识别请求中提取出存储地址,根据存储地址,在内存、缓存或者第三方数据库中获取图像样本,得到图像样本集合。
202、识别服务器采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合。
例如,识别服务器采用预设识别模型的特征提取网络ResNet-50或者其他特征提取网络提取图像样本集合中每一图像样本的图像特征,得到图像特征集合。
203、识别服务器根据图像特征集合,将图像样本作为数据节点构建近邻图。
例如,识别服务器可以在图像特征集合中,筛选出每一图像样本对应的图像特征,
采用距离度量函数来计算两个图像特征之间的距离,从而得到图像样本之间的
特征距离。基于特征距离,在图像样本集合中筛选出图像样本的近邻图像样本,得到图像样
本的近邻图像样本集合。
识别服务器在特征距离中筛选出图像样本与对应的近邻图像样本集合中的图像
样本之间的目标特征距离,对目标特征距离进行聚合,得到聚合后的特征距离,并对聚合后
的特征距离进行排序,根据排序结果,确定图像样本之间的位置关系,基于位置关系,确定
图像样本的邻接信息。基于邻接信息,构建一个稀疏的邻接矩阵,邻接矩阵中的每一个元素
表示两个图像样本之间的位置关系,当邻接信息包括这两个图像样本时,意味着这两个图
像样本属于邻接关系时,该元素可以为,图像样本不属于邻接关系时,该元
素就可以为0,因此,构建的稀疏的邻接矩阵的公式可以如公式(1)所示。将稀疏的邻接矩阵
作为初始近邻图,再将邻接矩阵进行转置,并将转置后的邻接矩阵进行融合,并计算融合后
邻接矩阵的均值,从而得到对称化后的邻接矩阵,将对称化后的邻接矩阵作为近邻图,对称
化的过程可以如公式(2)所示。
204、识别服务器将图像样本的基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息。
例如,识别服务器根据图像样本的数量N和图像样本的基础标签的数量(也就是类目数)C,构造一个N*C的标签矩阵L,该标签矩阵中的元素用于表示对应的图像样本的基础标签,比如,以图像样本i的基础标签为j为例,在矩阵L的第i行的第j列设为1,其他列设为0,从而得到标签矩阵。
识别服务器在近邻图中识别出数据节点之间的位置关系,根据位置关系,确定数据节点的距离差值,将距离差值转换为相似度,获取相似度对应的加权系数,并基于加权系数,对图像样本的基础标签向量进行加权,将加权后的基础标签向量进行聚合,从而获得一个新的标签分布,根据新的标签分布,对标签矩阵L进行更新,得到更新后的标签矩阵L∶,将更新后的标签矩阵L∶作为传播后标签信息,具体可以参考公式(3)所示。
205、识别服务器基于传播后标签信息,对图像样本的基础标签进行纠正,得到纠正后图像样本集合。
例如,以图像样本i为例,识别服务器在更新后的标签矩阵中筛选出第i行的所有的元素,将这些元素进行组合,就可以得到图像样本的传播后标签向量,或者,还可以对元素进行加权后再组合,也可以得到图像样本的传播后标签向量。
识别服务器在传播后标签向量中筛选出标签值最大的标签元素,在传播后标签向量中识别出标签元素的位置信息,获取位置信息对应的目标标签,将目标标签作为图像样本的传播后标签,譬如,标签元素的位置为第j列,就可以将第j列对应的标签j作为图像样本的传播后标签,具体可以参考公式(4)所示。
识别服务器将传播后标签与对应的图像样本的基础标签进行对比,当传播后标签与基础标签不同是,确定图像样本为需要纠正的目标图像样本,将目标图像样本的基础标签替换为对应的传播后标签,得到纠正后图像样本集合。
206、识别服务器采用纠正后图像样本集合对预设识别模型进行训练。
例如,识别服务器将图像样本的基础标签与传播后的标签进行对比,确定预设识别模型预测的准确率和错误率,并采用交叉熵损失函数对准确率和错误率进行处理,进而得到标签损失信息,具体的过程可以参考公式(5)所示。
识别服务器根据纠正后图像样本集合中图像样本的标签,对图像样本进行分类,得到每一标签对应的图像样本子集合,计算图像样本子集合中图像样本的图像特征的特征均值,将该特征均值作为图像样本子集合对应的目标图像特征,根据图像样本的图像特征,计算图像样本子集合中图像样本之间的特征差值,得到第一特征差值,基于图像样本子集合对应的目标特征差值,计算图像样本子集合之间的特征差值,得到第二特征差值,计算第一特征差值和第二特征差值之间的特征差值,得到第三特征差值,并将第三特征差值与预设边界特征值进行融合,得到融合后特征值,当融合后特征值超过预设特征值是,计算融合后特征的特征均值,得到图像样本的损失信息,具体可以参考公式(6)的三元损失函数所示。
识别服务器获取标签损失信息和特征损失信息对应的加权系数,根据加权系数,分别对标签损失信息和特征损失信息进行加权,并将加权后的标签损失信息和特征损失信息进行融合,得到融合后特征信息,并根据融合后特征信息对预设识别模型中的网络参数进行更新,以收敛预设识别模型,或者,还可以直接将标签损失信息和特征损失信息进行融合,并根据融合后特征信息,采用梯度下降算法对预设识别模型的网络参数进行更新,以收敛预设识别模型。
识别服务器采用预设识别模型的特征提取网络提取纠正后图像样本集合中每一图像样本的图像特征,得到图像特征集合,根据目标图像特征集合,将图像样本作为数据节点构建目标近邻图,将图像样本的标签在目标近邻图的数据节点之间进行传播,得到图像样本的目标传播后标签信息,基于目标传播后标签信息对图像样本的标签进行纠正,得到纠正后图像样本集合,返回执行基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,直至预设识别模型收敛完成,从而就可以得到训练后识别模型。
207、识别服务器通过训练后识别模型对待识别行人图像进行识别。
例如,识别服务器可以获取待识别行人图像,该待识别图像中包括至少一个待识别行人,采用训练后识别模型的特征提取网络对待识别图像进行特征提取,得到待识别行人的图像特征,采用训练后识别模型的全连接层对图像特征进行映射,得到每个候选识别结果对应的识别概率,基于识别概率,在候选识别结果中筛选出待识别图像的识别结果,或者,还可以采用训练后识别模型的分类器对图像特征进行分类,根据分类结果,确定待识别图像的识别结果。
其中,本方案可以应用于行人重(再)识别的廉价落地。本方案的核心在于通过建立近邻图,利用数据本身的分布特点和相关关系来检测出标注错误,不需要依赖模型的分类,更加适合行人重识别这种少样本识别任务。我们通过对噪声样本进行标签纠正,实现了噪声样本的复用,无需过滤噪声样本,充分利用了数据集里的信息。而且自动化的对行人图像样本的错误标签进行检测和纠正,能够提高识别模型训练对人工标注失误的容忍度和鲁棒性,从而降低了对标注人员的要求,并可以减少对数据进行清洗的成本和时间,简化了行人重识别***的部署流程,在降低了标注人员的要求和所需成本之后,可以将行人重识别技术应用于智慧城市中大规模的智能交通、智能零售、智能安防等诸多场景,比如,可以将城市中不同的地铁站摄像头采集到的实时视频中检测到的行人图像加入行人重识别***中,实现目标行人(如嫌疑犯、失踪儿童等)的跨摄像头实时追踪,进一步可以推断出行人的行走轨迹。
由以上可知,本实施例的识别服务器在获取图像样本集合后,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别;由于该方案可以根据图像特征集合构建近邻图,利用图像样本本身的分布特点和相关关系来检测出噪声样本,不用依赖模型的分类,更加适合图像样本数量少的识别任务,而且,还可以对噪声样本进行标签纠正,提高图像样本的标注质量,从而提高识别模型的性能,因此,可以提升图像识别的准确性。
为了更好地实施以上方法,本发明实施例还提供一种图像识别装置,该图像识别装置可以集成在电子设备,比如服务器或终端等设备中,该终端可以包括平板电脑、笔记本电脑和/或个人计算机等。
例如,如图5所示,该图像识别装置可以包括获取单元301、提取单元302、构建单元303、纠正单元304和识别单元305,如下:
(1)获取单元301;
获取单元301,用于获取图像样本集合,该图像样本集合包括至少一个标记基础标签的图像样本。
例如,获取单元301,具体可以用于直接获取图像样本集合,或者,当图像样本集合中的图像样本数量较多或者内存较大时,也可以间接获取图像样本集合。
(2)提取单元302;
提取单元302,用于采用预设识别模型对所述图像样本集合中的图像样本进行特征提取,得到图像特征集合。
例如,提取单元302,具体可以用于采用预设识别模型的特征提取网络提取图像样本集合中每一图像样本的图像特征,得到图像特征集合。
(3)构建单元303;
构建单元303,用于根据图像特征集合,将图像样本作为数据节点构建近邻图。
例如,构建单元303,具体可以用于在图像特征集合中,筛选出每一图像样本对应的图像特征,并基于图像样本的图像特征,计算图像样本之间的特征距离,基于特征距离,在图像样本集合中筛选出图像样本的近邻图像样本,得到图像样本的近邻图像样本集合,根据近邻图像样本集合,将图像样本作为数据节点构建近邻图。
(4)纠正单元304;
纠正单元304,用于基于近邻图对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合。
例如,纠正单元304,具体可以用于将图像样本的基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息,基于传播后标签信息,对图像样本的基础标签进行纠正,得到纠正后图像样本集合。
(5)识别单元305;
识别单元305,用于采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
例如,识别单元305,具体可以用于基于纠正后图像样本集合中的图像特征和标签,对预设识别模型进行收敛,采用预设识别模型对纠正后图像样本集合中的图像样本进行特征提取,基于目标图像特征集合,对图像样本的标签进行纠正,返回执行基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,直至预设识别模型收敛完成,得到训练后识别模型,通过训练后识别模型对待识别图像进行识别。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由以上可知,本实施例在获取单元301获取图像样本集合后,提取单元302采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,构建单元303根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,纠正单元304基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,识别单元305采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别;由于该方案可以根据图像特征集合构建近邻图,利用图像样本本身的分布特点和相关关系来检测出噪声样本,不用依赖模型的分类,更加适合图像样本数量少的识别任务,而且,还可以对噪声样本进行标签纠正,提高图像样本的标注质量,从而提高识别模型的性能,因此,可以提升图像识别的准确性。
本发明实施例还提供一种电子设备,如图6所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理***与处理器401逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:
获取图像样本集合,该图像样本集合包括至少一个标记基础标签的图像样本,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,根据图像特征集合,将图像样本作为数据节点构建近邻图,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
例如,电子设备直接获取图像样本集合,或者,当图像样本集合中的图像样本数量较多或者内存较大时,也可以间接获取图像样本集合。采用预设识别模型的特征提取网络提取图像样本集合中每一图像样本的图像特征,得到图像特征集合。在图像特征集合中,筛选出每一图像样本对应的图像特征,并基于图像样本的图像特征,计算图像样本之间的特征距离,基于特征距离,在图像样本集合中筛选出图像样本的近邻图像样本,得到图像样本的近邻图像样本集合,根据近邻图像样本集合,将图像样本作为数据节点构建近邻图。将图像样本的基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息,基于传播后标签信息,对图像样本的基础标签进行纠正,得到纠正后图像样本集合。基于纠正后图像样本集合中的图像特征和标签,对预设识别模型进行收敛,采用预设识别模型对纠正后图像样本集合中的图像样本进行特征提取,基于目标图像特征集合,对图像样本的标签进行纠正,返回执行基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,直至预设识别模型收敛完成,得到训练后识别模型,通过训练后识别模型对待识别图像进行识别。
以上各个操作的具体实施可参见前面的实施例,在此不作赘述。
由以上可知,本发明实施例在获取图像样本集合后,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,然后,根据图像特征集合,将图像样本作为数据节点构建近邻图,然后,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,然后,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别;由于该方案可以根据图像特征集合构建近邻图,利用图像样本本身的分布特点和相关关系来检测出噪声样本,不用依赖模型的分类,更加适合图像样本数量少的识别任务,而且,还可以对噪声样本进行标签纠正,提高图像样本的标注质量,从而提高识别模型的性能,因此,可以提升图像识别的准确性。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像识别方法中的步骤。例如,该指令可以执行如下步骤:
获取图像样本集合,该图像样本集合包括至少一个标记基础标签的图像样本,采用预设识别模型对图像样本集合中的图像样本进行特征提取,得到图像特征集合,根据图像特征集合,将图像样本作为数据节点构建近邻图,基于近邻图对图像样本的基础标签进行纠正,得到纠正后图像样本集合,采用纠正后图像样本集合对预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
例如,可以直接获取图像样本集合,或者,当图像样本集合中的图像样本数量较多或者内存较大时,也可以间接获取图像样本集合。采用预设识别模型的特征提取网络提取图像样本集合中每一图像样本的图像特征,得到图像特征集合。在图像特征集合中,筛选出每一图像样本对应的图像特征,并基于图像样本的图像特征,计算图像样本之间的特征距离,基于特征距离,在图像样本集合中筛选出图像样本的近邻图像样本,得到图像样本的近邻图像样本集合,根据近邻图像样本集合,将图像样本作为数据节点构建近邻图。将图像样本的基础标签在近邻图的数据节点之间进行传播,得到图像样本的传播后标签信息,基于传播后标签信息,对图像样本的基础标签进行纠正,得到纠正后图像样本集合。基于纠正后图像样本集合中的图像特征和标签,对预设识别模型进行收敛,采用预设识别模型对纠正后图像样本集合中的图像样本进行特征提取,基于目标图像特征集合,对图像样本的标签进行纠正,返回执行基于纠正后图像样本集合中图像样本的图像特征和标签,对预设识别模型进行收敛的步骤,直至预设识别模型收敛完成,得到训练后识别模型,通过训练后识别模型对待识别图像进行识别。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像识别方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像识别方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
其中,根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述图像识别方面或者行人重识别方面的各种可选实现方式中提供的方法。
以上对本发明实施例所提供的一种图像识别方法、装置和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种图像识别方法,其特征在于,包括:
获取图像样本集合,所述图像样本集合包括至少一个标记基础标签的图像样本;
采用预设识别模型对所述图像样本集合中的图像样本进行特征提取,得到图像特征集合;
根据所述图像特征集合,将所述图像样本作为数据节点构建近邻图;
基于所述近邻图对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合;
采用所述纠正后图像样本集合对所述预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
2.根据权利要求1所述的图像识别方法,其特征在于,所述基于所述近邻图对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合,包括:
将所述图像样本的基础标签在所述近邻图的数据节点之间进行传播,得到所述图像样本的传播后标签信息;
基于所述传播后标签信息,对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合。
3.根据权利要求2所述的图像识别方法,其特征在于,所述将所述图像样本的基础标签在所述近邻图的数据节点之间进行传播,得到所述图像样本的传播后标签信息,包括:
根据所述图像样本的基础标签,构建所述图像样本集合对应的基础标签信息;
采用预设传播策略,将所述基础标签信息在所述近邻图的数据节点之间进行传播,得到所述图像样本的传播后标签信息。
4.根据权利要求3所述的图像识别方法,其特征在于,所述基础标签信息包括每一图像样本对应的基础标签向量,所述采用预设传播策略,将所述基础标签信息在所述近邻图的数据节点之间进行传播,得到所述图像样本的传播后标签信息,包括:
根据所述近邻图确定所述图像样本之间的相似度;
获取所述相似度对应的加权系数,并基于所述加权系数,对所述图像样本的基础标签向量进行加权;
将加权后的基础标签向量进行聚合,得到所述图像样本的传播后标签信息。
5.根据权利要求2所述的图像识别方法,其特征在于,所述基于所述传播后标签信息,对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合,包括:
在所述传播后标签信息中提取出所述图像样本的传播后标签向量;
根据所述传播后标签向量,确定所述图像样本的传播后标签;
基于所述传播后标签,对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合。
6.根据权利要求5所述的图像识别方法,其特征在于,所述根据所述传播后标签向量,确定所述图像样本的传播后标签,包括:
在所述传播后标签向量中筛选出标签值最大的标签元素;
在所述传播后标签向量中识别出所述标签元素的位置信息;
获取所述位置信息对应的目标标签,将所述目标标签作为所述图像样本的传播后标签。
7.根据权利要求5所述的图像识别方法,其特征在于,所述基于所述传播后标签,对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合,包括:
将所述传播后标签与对应的图像样本标注的基础标签进行对比;
当所述传播后标签与基础标签不同时,确定所述图像样本为需要纠正的目标图像样本;
将所述目标图像样本的基础标签替换为对应的传播后标签,得到所述纠正后图像样本集合。
8.根据权利要求1至7任一项所述的图像识别方法,其特征在于,所述根据所述图像特征集合,将所述图像样本作为数据节点构建近邻图,包括:
在所述图像特征集合中筛选出每一图像样本对应的图像特征,并基于所述图像样本的图像特征,计算所述图像样本之间的特征距离;
基于所述特征距离,在所述图像样本集合中筛选出所述图像样本的近邻图像样本,得到所述图像样本的近邻图像样本集合;
根据所述近邻图像样本集合,将所述图像样本作为数据节点构建近邻图。
9.根据权利要求8所述的图像识别方法,其特征在于,所述根据所述近邻图像样本集合,将所述图像样本作为数据节点构建近邻图,包括:
获取所述图像样本与对应的近邻图像样本集合中的图像样本之间的位置关系,得到所述图像样本的邻接信息;
根据所述邻接信息,将所述图像样本作为数据节点构建初始近邻图,并对所述初始近邻图进行对称化处理,得到所述近邻图。
10.根据权利要求9所述的图像识别方法,其特征在于,所述获取所述图像样本与所述近邻图像样本集合中的图像样本之间的位置关系,得到所述图像样本的邻接信息,包括:
在所述特征距离中筛选出所述图像样本与对应的近邻图像样本集合中图像样本之间的目标特征距离;
对所述目标特征距离进行聚合,以得到所述图像样本与所述近邻图像样本集合中的图像样本之间的位置关系;
基于所述位置关系,确定所述图像样本的邻接信息。
11.根据权利要求1至7任一项所述的图像识别方法,其特征在于,所述采用所述纠正后图像样本集合对所述预设识别模型进行训练,包括:
基于所述纠正后图像样本集合中图像样本的图像特征和标签,对所述预设识别模型进行收敛;
采用所述预设识别模型对所述纠正后图像样本集合中的图像样本进行特征提取,得到目标图像特征集合;
基于所述目标图像特征集合,对所述图像样本的标签进行纠正;
返回执行所述基于所述纠正后图像样本集合中图像样本的图像特征和标签,对所述预设识别模型进行收敛的步骤,直至所述预设识别模型收敛完成,得到训练后识别模型。
12.根据权利要求11所述的图像识别方法,其特征在于,所述基于所述纠正后图像样本集合中图像样本的图像特征和标签,对所述预设识别模型进行收敛,包括:
根据所述纠正后图像样本集合中图像样本的标签,确定所述图像样本的标签损失信息;
基于所述纠正后图像样本集合中图像样本的图像特征,确定所述图像样本的特征损失信息;
将所述标签损失信息和特征损失信息进行融合,并根据融合后损失信息对所述预设识别模型进行收敛。
13.根据权利要求12所述的图像识别方法,其特征在于,所述基于所述纠正后图像样本集合中图像样本的图像特征,确定所述图像样本的特征损失信息,包括:
根据所述纠正后图像样本集合中图像样本的标签,对所述图像样本进行分类,得到每一标签对应的图像样本子集合;
基于所述图像样本子集合中图像样本的图像特征,计算所述图像样本子集合对应的目标图像特征;
将所述图像样本的图像特征和图像样本子集合对应的目标图像特征进行融合,得到所述图像样本的特征损失信息。
14.根据权利要求13所述的图像识别方法,其特征在于,所述将所述图像样本的图像特征和图像样本子集合对应的目标图像特征进行融合,得到所述图像样本的特征损失信息,包括:
根据所述图像样本的图像特征,计算所述图像样本子集合中图像样本之间的特征差值,得到第一特征差值;
基于所述图像样本子集合对应的目标特征差值,计算所述图像样本子集合之间的特征差值,得到第二特征差值;
计算所述第一特征差值和第二特征差值之间的特征差值,得到第三特征差值,并将所述第三特征差值与预设边界特征值进行融合,得到融合后特征值;
当所述融合后特征值超过预设特征值时,计算所述融合后特征值的特征均值,得到所述图像样本的特征损失信息。
15.一种图像识别装置,其特征在于,包括:
获取单元,用于获取图像样本集合,所述图像样本集合包括至少一个标记基础标签的图像样本;
提取单元,用于采用预设识别模型对所述图像样本集合中的图像样本进行特征提取,得到图像特征集合;
构建单元,用于根据所述图像特征集合,将所述图像样本作为数据节点构建近邻图;
纠正单元,用于基于所述近邻图对所述图像样本的基础标签进行纠正,得到纠正后图像样本集合;
识别单元,用于采用所述纠正后图像样本集合对所述预设识别模型进行训练,并通过训练后识别模型对待识别图像进行识别。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至14任一项所述的图像识别方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110628771.5A CN113076963B (zh) | 2021-06-07 | 2021-06-07 | 一种图像识别方法、装置和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110628771.5A CN113076963B (zh) | 2021-06-07 | 2021-06-07 | 一种图像识别方法、装置和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113076963A true CN113076963A (zh) | 2021-07-06 |
CN113076963B CN113076963B (zh) | 2021-08-13 |
Family
ID=76617089
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110628771.5A Active CN113076963B (zh) | 2021-06-07 | 2021-06-07 | 一种图像识别方法、装置和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113076963B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511760A (zh) * | 2022-02-14 | 2022-05-17 | 中国农业银行股份有限公司 | 一种样本均衡方法、装置、设备及存储介质 |
CN114529772A (zh) * | 2022-04-19 | 2022-05-24 | 广东唯仁医疗科技有限公司 | Oct三维图像分类方法、***、计算机装置及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040208390A1 (en) * | 2003-04-18 | 2004-10-21 | Medispectra, Inc. | Methods and apparatus for processing image data for use in tissue characterization |
CN104331698A (zh) * | 2014-11-19 | 2015-02-04 | 中国农业科学院农业资源与农业区划研究所 | 一种遥感图像城区提取方法 |
CN105608478A (zh) * | 2016-03-30 | 2016-05-25 | 苏州大学 | 一种图像的特征提取与分类联合方法及*** |
CN110147725A (zh) * | 2019-04-12 | 2019-08-20 | 杭州电子科技大学 | 一种基于正交指数局保投影的高光谱图像特征提取方法 |
-
2021
- 2021-06-07 CN CN202110628771.5A patent/CN113076963B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040208390A1 (en) * | 2003-04-18 | 2004-10-21 | Medispectra, Inc. | Methods and apparatus for processing image data for use in tissue characterization |
CN104331698A (zh) * | 2014-11-19 | 2015-02-04 | 中国农业科学院农业资源与农业区划研究所 | 一种遥感图像城区提取方法 |
CN105608478A (zh) * | 2016-03-30 | 2016-05-25 | 苏州大学 | 一种图像的特征提取与分类联合方法及*** |
CN110147725A (zh) * | 2019-04-12 | 2019-08-20 | 杭州电子科技大学 | 一种基于正交指数局保投影的高光谱图像特征提取方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114511760A (zh) * | 2022-02-14 | 2022-05-17 | 中国农业银行股份有限公司 | 一种样本均衡方法、装置、设备及存储介质 |
CN114511760B (zh) * | 2022-02-14 | 2024-07-12 | 中国农业银行股份有限公司 | 一种样本均衡方法、装置、设备及存储介质 |
CN114529772A (zh) * | 2022-04-19 | 2022-05-24 | 广东唯仁医疗科技有限公司 | Oct三维图像分类方法、***、计算机装置及存储介质 |
CN114529772B (zh) * | 2022-04-19 | 2022-07-15 | 广东唯仁医疗科技有限公司 | Oct三维图像分类方法、***、计算机装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113076963B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | An edge traffic flow detection scheme based on deep learning in an intelligent transportation system | |
Fu et al. | Fast crowd density estimation with convolutional neural networks | |
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN108960080B (zh) | 基于主动防御图像对抗攻击的人脸识别方法 | |
CN106897738B (zh) | 一种基于半监督学习的行人检测方法 | |
CN112131978B (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
CN109978893A (zh) | 图像语义分割网络的训练方法、装置、设备及存储介质 | |
CN112069929A (zh) | 一种无监督行人重识别方法、装置、电子设备及存储介质 | |
CN111340105A (zh) | 一种图像分类模型训练方法、图像分类方法、装置及计算设备 | |
CN113255617B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN111382190B (zh) | 一种基于智能的对象推荐方法、装置和存储介质 | |
CN113076963B (zh) | 一种图像识别方法、装置和计算机可读存储介质 | |
CN113052150B (zh) | 活体检测方法、装置、电子设备和计算机可读存储介质 | |
CN114332578A (zh) | 图像异常检测模型训练方法、图像异常检测方法和装置 | |
WO2021243947A1 (zh) | 对象再识别方法及装置、终端和存储介质 | |
CN112819065A (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和*** | |
CN117152459B (zh) | 图像检测方法、装置、计算机可读介质及电子设备 | |
CN113033523A (zh) | 跌倒判断模型的构建方法及***、跌倒判断方法及*** | |
CN112052771A (zh) | 一种对象重识别方法及装置 | |
CN113128526B (zh) | 图像识别方法、装置、电子设备和计算机可读存储介质 | |
CN113822130A (zh) | 模型训练方法、场景识别方法、计算设备和介质 | |
CN113688814B (zh) | 图像识别方法及装置 | |
CN115062709A (zh) | 模型优化方法、装置、设备、存储介质及程序产品 | |
CN115705706A (zh) | 视频处理方法、装置、计算机设备和存储介质 | |
CN113762041A (zh) | 视频分类方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40049233 Country of ref document: HK |