CN112069981A - 图像分类方法、装置、电子设备及存储介质 - Google Patents

图像分类方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112069981A
CN112069981A CN202010916955.7A CN202010916955A CN112069981A CN 112069981 A CN112069981 A CN 112069981A CN 202010916955 A CN202010916955 A CN 202010916955A CN 112069981 A CN112069981 A CN 112069981A
Authority
CN
China
Prior art keywords
feature vector
image
classification
group
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010916955.7A
Other languages
English (en)
Inventor
孔翰
程文龙
叶志凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010916955.7A priority Critical patent/CN112069981A/zh
Publication of CN112069981A publication Critical patent/CN112069981A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像分类方法、装置、电子设备及存储介质，涉及图像处理技术领域。其中，该方法包括：获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得；将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量；根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别，获得更准确的分类结果。

Description

图像分类方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，更具体地，涉及一种图像分类方法、装置、电子设备及存储介质。
背景技术
当存在多个图像时，可能有些图像因为存在一定相似性而属于一个类别，因此可以对图像进行分类，方便用户的查看。通常的分类方法，并没有充分利用图像的相关特征，分类精确度不高。
发明内容
鉴于上述问题，本申请提出了一种图像分类方法、装置、电子设备及存储介质，以改善上述问题。
第一方面，本申请实施例提供了一种图像分类方法，所述方法包括：获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得；将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量；根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别。
第二方面，本申请实施例提供了一种图像分类装置，所述装置包括：向量获取模块，用于获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得；融合模块，用于将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量；分类模块，用于根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别。
第三方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被所述处理器执行用于执行上述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述的方法。
本申请实施例提供的图像分类方法、装置、电子设备及存储介质，对于待分类的图组，获取有图组中图像的特征向量融合获得的图组特征向量以及由图组中图像拍摄时的环境信息融合获得的环境特征向量。将图组特征向量以及环境特征向量融合获得融合特征向量，再根据环境特征向量、图组特征向量以及融合特征向量对组所属类别进行确定，从而充分挖掘图像本身的特征、与图像拍摄时的环境条件相关的特征，利用这些特征以及这些特征的融合确定图组的分类，使分类结果更准确。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一实施例提供的图像分类方法的流程图。
图2示出了本申请另一实施例提供的图像分类方法的流程图。
图3示出了本申请实施例提供的一种相册显示示意图。
图4示出了一种实现本申请实施例提供的图像分类方法的网络结构体。
图5示出了本申请又一实施例提供的图像分类方法的流程图。
图6示出了本申请实施例提供的一种聚类示意图。
图7示出了本申请实施例提供的图像分类装置的功能模块图。
图8示出了本申请实施例提供的电子设备的结构框图。
图9是本申请实施例的用于保存或者携带实现根据本申请实施例的方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在具有大量图像时，对图像进行分类更便于图像的查看。该分类为从大量图像中确定各个类别的图像并识别各个类别的图像具体所属类别。例如，在手机、平板电脑等电子设备的相册中，可能存储有大量的拍摄的照片，用户若想要查看某些特殊事件的照片，需要从杂乱的照片中进行翻找，十分不便。但是，若对存储的照片进行分类，区分各个类别的照片，将照片分类显示，则用户想要查看某个类别的照片，直接根据分类结果查看，方便快捷。如以不同的事件作为照片的不同类别，用户想要查看某个事件的照片时，可以直接查看分类后该事件对应的照片。
通常的，一个类别的照片，从不同的方面具有共有特征；而对于其中某一个方面，同一个类别的照片之间可能又存在一些差异。因此，在确定某一类别的照片具体所属类别时，可以充分利用图像相关的特征，这些相关的特征可以是同一类别具有较大的相似性，而不同类别具有较大的差异性的特征。
发明人通过研究发现，对于通过拍摄获得的同一类别的图像，在图像特征方面具有相似性，在拍摄时的环境信息方面也具有相似性。因此，提出了本申请实施例的图像分类方法、装置、电子设备及存储介质，根据待分类的图组的图组特征向量以及环境特征向量，以及二者的结合，识别待分类的图组具体所属类别，提高了图像分类的准确性。下面将通过具体实施例对本申请实施例提供的图像分类方法、装置、电子设备及存储介质进行详细说明。
请参阅图1，示出了本申请实施例提供的图像分类方法。该方法可以用于电子设备，该电子设备可以是手机、电脑、平板电脑、智能穿戴式设备等终端设备，也可以是服务器等云端设备。若是终端设备，终端设备可以对自身拍摄的图像进行分类，也可以获取到其他设备拍摄的图像进行分类；若是云端设备，可以获取到终端设备拍摄的图像并进行分类。本申请实施例主要以终端设备为例进行说明。具体的，该方法可以包括如下步骤。
步骤S110：获取待分类的图组的图组特征向量以及环境特征向量。所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得。
在本申请实施例中，一个图组中包括多个图像，图组中的图像为同一个类别的图像。该待分类的图组为需要确定具体所属类别的图组，图组具体所属类别，也是图组中所有图像具体所属类别。其中，可以通过类别的唯一身份标识表示具体所属类别，如通过类别的名称表示类别的唯一身份标识，确定图组具体所属类别，即是确定图组的类别名称。本申请实施例以名称表示类别的唯一身份标识为例进行说明。
对于待分类的图组，可以获取由图组中各个图像的图像特征向量融合获得的向量，定义该由各个图像的图像特征向量融合获得的向量为图组特征向量。
另外，本申请实施例中，对通过拍摄获得的图像的类别进行确定，图组中各个图像为拍摄获得的图像，并对应记录有各个图像拍摄时的环境信息。对于待分类的图组，还可以获取由各个图像的拍摄时的环境信息融合获得向量，定义该由各个图像的拍摄时的环境信息融合获得向量为环境特征向量。
步骤S120：将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量。
获得图组的图组特征向量以及环境特征向量，可以获取这两个向量获得新的向量。在本申请实施例中，为便于描述，定义融合图组特征向量以及环境特征向量获得的新的向量为融合特征向量。
步骤S130：根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别。
在本申请实施例中，图组特征向量提醒了图组中各个图像的特征，环境特征向量体现了各个图像拍摄时的环境特征，而融合特征向量则体现图像特征以及拍摄时环境特征的共同作用。可以通过获取到的这三个向量对图组具体所属类别进行确定，从而充分利用图像的相关信息，丰富了图组类别确定的依据，提高了分类的准确性。
本申请另一实施例提供的图像分类方法，描述了类别的具体确定方式。请参见图2，该实施例提供的图像分类方法包括如下步骤。
步骤S210：获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得。
在本申请实施例中，获取图组的图组特征向量的方式可以是，对该图组中的各个图像进行图像特征提取，获得分别对应各个图像的图像特征向量；将获得的图像特征向量进行融合，获得图组特征向量。
也就是说，可以对图组中的各个图像分别提取图像特征，生成图像特征向量。图组中有多个图像，可以获得多个图像特征向量，将获得的多个图像特征向量融合为一个向量，以融合后的向量作为对应该图组的特征向量，命名为图组特征向量。
可选的，为了分类更准确，可以将图组中所有图像的图像特征向量进行融合，获得图组特征向量。
可选的，在本申请实施例中，也可以从图组中选取部分图像，用于图组类别的确定。具体可以获取选取的图像的特征向量，将获得的特征向量融合为一个特征向量，作为图组特征向量。
在本申请实施例中，可以通过特征提取算法提取图像特征，通过向量对提取的图像特征进行表示，例如用直方图或其统计特征描述的特征向量；灰度共现矩阵描述的特征向量。
在本申请实施例中，也可以通过神经网络模型提取图像特征，如卷积神经网络(CNN网络)。该神经网络模型通过训练，具有图像特征提取能力，如通过一个用于视觉对象识别软件研究的大型可视化数据库ImageNet中的图像以及对应图像标注的特征向量，对神经网络模型进行训练。
在获取到图组中各个图像特征向量以后，将各个图像特征向量通过融合算法进行融合。
可选的，在本申请实施例中，可以将各个图像特征向量拼接在一起进行融合。
可选的，在本申请实施例中，可以通过神经网络进行特征向量的融合。另外，本步骤输出的图组特征向量可以作为需要输入图组特征向量的步骤的输入，因此可以采用可导的融合方法，实现端到端的训练以及识别，如通过最大池化(Maxpooling)，循环神经网络(RNN)，NetVLAD等。
另外，图组中的图像可以是通过拍摄获得的图像，如可以是电子设备的相册中的图像，或者电子设备获取到的其他设备拍摄的图像。
获取图组对应的类别，可以是获取图组所属的事件。对于同一事件的各个图像，拍摄时拍摄地的环境信息具有相似性，如拍摄图像的时间差别较小，拍摄图像的地理位置较为接近，拍摄图像时的气候条件相似，如湿度、温度、光照强度等相似，拍摄时周围的声音的声音特征相似等。从而可以通过环境信息的相似性确定属于同一类别的图像。
对应的，图像在拍摄时，可以对应图像记录拍摄时的环境信息，如拍摄时的地理位置，拍摄时的时间、周围的温度、湿度、光照强度、声音特征等中的一种或多种。其中，各种环境信息可以通过电子设备中的相应检测设备获得，如通过电子设备的定位***获得地理位置以及时间，如通过GPS定位***(全球定位***)获取地理位置和时间；通过温度传感器获取温度；通过湿度传感器获取环境中的湿度；通过光照传感器获取环境的光照强度；通过麦克风获取环境中的声音以提取声音特征等。
在对图组进行类别确定时，可以结合图组中各个图像的环境信息。在本申请实施例中，可以获取图组中的各个图像拍摄时的环境信息，将获得的环境信息融合为一个特征向量，作为环境特征向量。
可选的，在本申请实施例中，可以将图组中用于获取环境信息向量的每个图像的不同种类的环境信息按照相同的方式排列，再将各个图像的环境信息拼接，获得环境信息向量。
可选的，在本申请实施例中，可以对图组中用于获取环境信息向量的每个图像的环境信息先进行主成分分析(Princjpal Component Analysis,PCA)，实现环境信息的压缩以及降维，去除无用的噪声，再提取各个图像的统计信息，如图像的环境信息为多种，分布在不同维度，可以统计不同维度分布的熵、不同维度的范围、不同维度的维度轴的乘积、不同维度的维度轴的比值、不同维度的方差等，并且将统计信息组合为一个统计特征向量，作为环境信息向量。例如，环境信息为时间以及GPS信息表示的地理位置，GPS信息包括经度和维度，则环境信息分布在分别对应经度、维度以及时间的三个维度，获取统计信息可以获取三维空间分布的熵、三个维度的范围、三个维度轴的乘积、三个维度轴的比值以及三个维度的方差等其中的一个或多个，或者其他更多的特征。
在本申请实施例中，可以获取记录的图像的所有环境信息作为获取环境特征向量的环境信息，也可以获取部分种类的环境信息，在本申请实施例中并不限定。
在本申请实施例中，可以将图组中所有图像作为于获取环境信息向量的图像；也可以从图组中选取部分图像作为于获取环境信息向量的图像。其中，用于获取环境信息向量的图像与用于获取图组特征向量的图像相同。
步骤S220：将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量。
图像特征向量以及环境特征向量可能共同对类别的确定产生影响，本申请实施例中，还可以将图组特征向量以及环境特征向量进行融合，获得新的特征向量。
在本申请实施例中，具体融合方式并不限定，如可以直接将图组特征向量以及环境特征向量拼接在一起；或者通过其他融合算法或者神经网络算法进行融合。
步骤S230：将所述图组特征向量、所述环境特征向量以及所述融合特征向量输入分类模型，所述分类模型用于确定输入其中的图像信息所属的类别。
步骤S240：获取所述分类模型输出的类别，作为所述图组对应的类别。
在本申请实施例中，根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别时，可以通过分类模型对同类图组所属类别进行确定。该分类模型可以是经过训练后，具有分类能力的神经网络模型，可以确定输入其中的图像信息所属类别，以图像信息的类别作为该图像信息对应的图组的类别。输入分类模型的图像信息可以包括多个图像特征向量融合获得的图组特征向量、多个环境信息融合获得的环境特征向量以及由图像特征向量和环境特征向量融合获得的融合特征向量。
在该实施方式中，分类模型确定图组所属类别时，输入分类模型的图像信息可以包括该图组中的图组特征向量、环境特征向量以及融合特征向量，分类模型用于确定输入其中的图像信息所属类别。如，待分类的图组中有图像A、图像B、图像C以及图像D，将图像A、图像B、图像C以及图像D的提取图像特征并融合，获得图组特征向量；将图像A、图像B、图像C以及图像D拍摄时获得的环境信息融合，获得环境特征向量；将图组特征向量以及环境特征向量融合获得融合特征向量；将根据像A、图像B、图像C以及图像D获得的图组特征向量、环境特征向量以及融合特征向量输入分类模型，并获取分类模型对应的输出，以该输出确定的类别，作为包括图像A、图像B、图像C以及图像D的图组所属的类别。
分类模型确定输入其中的图像信息所属类别时，该图像信息的类别被确定为分类模型预先训练时学习的多个类别中的一个，或者为不属于任何一个类别，即没有实现分类。例如，在训练分类模型时，其学习的类别包括类别A、类别B、类别C以及类别D，则在使用该分类模型确定图像信息的类别时，该图像信息的类别确定为该4个类别中的一个，或者不属于该四个类别中的任何一个。
即，在通过训练好的分类模型确定图组的具体类别时，可以将图组对应的图像信息输入分类模型。再获取该分类模型输出的类别，作为该图组对应的类别。如，分类模型输出的类别为“婚礼”，表示该图组具体所属类别为婚礼；分类模型输出类别为“旅行”，表示该图组具体所属类别为旅行。
在本申请实施例中，还可以包括对分类模型进行训练。具体的，可以将已知类别的图组作为训练样本，标注训练样本的类别名称，多个训练样本分别标注对应的类别名称，每个训练样本的图像信息的类别为该训练样本的类别。对分类模型训练时，以训练样本作为待分类的图组，获取训练样本的图组特征向量以及环境特征向量；将图组特征向量以及所述环境特征向量进行融合，获得融合特征向量，从而获得训练样本的图像信息，并输入分类模型，该分类模型为待训练的分类模型。分类模型输出该图像信息所属类别，获取分类模型输出的类别。
获得分类模型输出的类别后，可以判断分类模型输出的类别与标注的类别是否相同，若分类模型输出的类别与训练样本标注的类别不同，则对分类模型的参数进行调整，使分类模型输出的类别向训练样本标注的类别靠近。调整分类模型的参数后，可以再次获取图像信息输入分类模型，并判断分类模型输出的类别与标注的类别是否相同，若不同，再次对分类模型的参数进行调整，使分类模型输出的类别向训练样本标注的类别靠近，获取训练样本的图像信息输入分类模型，判断分类模型输出的类别与标注的类别是否相同。以此类推，实现多次进行输出类别与标注的类别的比较以及参数调整，直至分类模型输出的类别与训练样本的类别相同。
在本申请实施例中，可以通过多个训练样本对分类模型进行训练，调整分类模型的参数，直至分类模型的分类准确率达到预设准确率，获得可以用于对图组进行分类的分类模型。其中，分类模型输入第一数量的图像信息，分类准确的图像信息的数量为第二数量，第二数量占第一数量的比例表示分类模型的准确率。
可选的，在本申请实施例中，在训练过程中，确定训练样本所属类别的过程中所涉及到的所有参数，都可以与分类模型的参数同步调整。如，在每次确定分类模型输出的类别与标注的类别不同需要调整分类模型的参数时，同时调整获取图像信息过程中涉及到的参数，使获取到的图像信息有助于更准确地分类，使分类模型输出的类别向标注的类别靠近。
可选的，在本申请实施例中，分类模型的输出可以是向量，该向量中包括对应不同维度的数值，每个维度表示该分类模型学习的一个类别，每个维度对应的数值表示图组为该维度对应的类别的概率。向量中最大的数值若大于第一预设值，且其他数值小于第二预设值，表示分类模型输出的类别为该最大数值所在维度对应的类别，第一预设值大于或等于第二预设值。例如，分类模型输出的向量为(x，y，z)，x所在维度对应类别A的概率，y所在维度对应类别B的概率，z所在维度对应类别C的概率，若x的值大于第一预设值，y和z的值小于第二预设值，可以确定该输出表示的类别为类别A。调整分类模型的输出向某个类别靠近，则是调整分类模型的参数，使分类模型输出的向量中，该类别所在维度对应的数值增大至大于第一预设值，其他类别对应的数值减小至小于第二预设值。
可选的，在本申请实施例中，确定图组对应的类别，即确定了图组具体所属的类别，或者说图组的类别名称。为了方便查看，可以将各个图组分别以不同的文件夹显示，每个文件夹中存放一个图组中的图像，每个文件夹的命名为其存放的图组的名称。例如图3所示，分类相册中，“事件1”对应的文件夹中，存储的为类别为“事件1”的图组中的图像，打开该“事件1”对应的文件夹，可以看到类别为“事件1”的图像。同理，图3中的“事件2”对应的文件夹，存放类别名称为“事件2”的同类图组中的图像；图3中的“事件3”对应的文件夹，存放类别名称为“事件3”的同类图组中的图像。
在本申请实施例中，通过训练后的分类模型，根据图组中的图组特征向量、环境特征向量以及融合特征向量共同确定图组所属类别，提高了类别确定的准确性。
在本申请实施例中，分类模型可以是一个神经网络模型，如贝叶斯(Bayesian)模型，决策树(Decision Tree)模型等。
本申请实施例提供中，分类模型也可以是由多个具有分类能力的模型或者网络结合而成。具体的，如图4示出了本申请实施例中对图组进行识别的网络结构，如图4所示，分类模型可以包括第一子分类模型、第二子分类模型、第三子分类模型以及占比计算模型，用于实现图组的分类。请参见图4，以包括N个图像的图组为例，N为大于1的正整数。根据该网络结构进行图组的类型识别时，对图组中的N个图像进行图像特征提取，将提取到的N个图像特征向量进行融合，获得图组特征向量。对图组中的N个环境信息进行融合，获得环境特征向量。将图组特征向量以及环境特征向量融合，获得融合特征向量。将融合特征向量输入占比计算模型，将图组特征向量输入第一子分类模型，将环境特征向量输入第二子分类模型，将融合特征向量输入第三子分类模型。将第一子分类模型的输出、第二子分类模型的输出以及第三子分类模型的输出分别与占比计算模型计算的相应比例相乘，并且将相乘的结果相加，根据相加的结果确定图组所属类别。
可选的，在该网络结构中，以图组的图像作为输入，输出图组的类别，在中间过程中的处理为连续的，因此，中间过程中的各个处理算法以及模型等可以是可导的，如图像特征向量融合时，可以采取可导的融合方法，以实现端到端的处理。
如图5示出了通过该网络结构实现图像分类方法的流程图，可以包括如下步骤。
步骤S310：获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得。
在本申请实施例中，图组特征向量以及环境特征向量的获取的具体先后顺序并不限定，可以根据具体执行时的执行情况确定，例如图4所示，可以同时获取图组特征向量以及环境特征向量。具体获取图组特征向量以及环境特征向量的方式可以参见本申请其他实施例中相同部分或相似部分的描述，在此不再赘述。
步骤S320：将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量。
本步骤的具体描述可以参见本申请其他实施例中相同部分或相似部分的描述，在此不再赘述。
步骤S330：将所述融合特征向量输入占比计算模型，获取所述占比计算模型输出的所述图组特征向量、所述环境特征向量以及所述融合特征向量分别对应的比例。所述占比计算模型用于根据输入其中的融合特征向量，确定图组特征向量、所述环境特征向量以及所述融合特征向量的比例，所述图组特征向量、所述环境特征向量以及所述融合特征向量的比例之和为1。
输入占比计算模型的融合特征向量，同时具有图组特征向量、环境特征向量以及融合特征向量的特征，占比计算模型可以根据输入的融合特征向量，计算出该图组特征向量的比例、环境特征向量的比例以及融合特征向量的比例。
具体的，占比计算模型可以输出三个比例值，三个比例值分别表示图组特征向量的比例，表示图组特征向量与分类结果的相关性；环境特征向量的比例，表示环境特征向量与分类结果的相关性；融合特征向量的比例，表示融合特征向量与分类结果的相关性。三个比例值分别为0至1之间的数字，且三个比例值之和为1，比例的值越大，该比例对应的特征向量与分类结果的相关性越高，对分类结果的影响越大。
在本申请实施例中，占比计算模型具体为何种神经网络模型在本申请实施例中并不限定，如门(gate)网络。
步骤S340：将所述图组特征向量输入第一子分类模型，获得第一子分类模型输出的第一分类向量；将所述环境特征向量输入第二子分类模型，获得第二子分类模型输出的第二分类向量；将所述融合特征向量输入第三子分类模型，获得第三子分类模型输出的第三分类向量；所述第一子分类模型、第二子分类模型以及第三子分类模型用于根据输入其中的图像信息确定所述图像信息属于不同类别的概率。
如图4所示，将获得的图组特征向量、环境特征向量以及融合特征向量分别输入三个子分类模型，并获得每个子分类模型的输出。其中，每个子分类模型用于根据输入其中的图像信息确定所述图像信息属于不同类别的概率，子分类模型的输出可以为一个向量，该向量中包括对应不同维度的数值，每个维度表示一个类别，每个维度的数值表示子分类模型确定的该维度对应的类别的概率。
定义图组特征向量输入的子分类模型为第一子分类模型，第一子分类模型输出的向量定义为第一分类向量；环境特征向量输入的子分类模型为第二子分类模型，第二子分类模型输出的向量为第二分类向量；融合特征向量输入的子分类模型为第三子分类模型，第三子分类模型输出的向量为第三分类向量。
在本申请实施例中，三个子分类模型可以是相同的分类模型，可以为具有分类能力的神经网络模型，具体为何种分类模型在本申请实施例中并不限定，如每个子分类模型可以是全连接层。
步骤S350：将图组特征向量的比例与第一分类向量相乘，获得第一乘积；将环境特征向量的比例与第二分类向量相乘，获得第二乘积；将融合特征向量的比例与第三分类向量相乘，获得第三乘积。
由于占比计算模型输出的比例表示图组特征向量、环境特征向量以及融合特征向量分别表示与分类结果的相关性，如图4所示，可以将各个子分类模型输出的分类向量与对应的比例相乘，从而提高图组特征向量、环境特征向量以及融合特征向量中，与分类结果相关性高的特征向量对分类结果的影响，降低与分类结果相关性低的特征向量对分类结果的影响。
步骤S360：将所述第一乘积、第二乘积以及第三乘积相加获得分类向量。
步骤S370：以分类向量中概率最高的类别，作为所述图组的类别。
第一乘积为第一分类向量按图组特征向量的比例缩小后的向量，第二乘积为第二分类向量按环境特征向量的比例缩小后的向量，第三乘积为第三分类向量按融合特征向量的比例缩小后的向量。将第一乘积、第二乘积以及第三乘积相加的结果，可以作为用于确定图组所属类别的分类向量。
其中，将第一乘积、第二乘积以及第三乘积相加时，将相同类别对应的维度的数值相加。如第一乘积、第二乘积以及第三乘积都是三维向量，且都是第一维表示类别A，第二维表示类别B以及第三维表示类别C，则将第一乘积、第二乘积以及第三乘积的第一维的数值相加之和，作为分类向量的第一维，表示类别A的概率；将第一乘积、第二乘积以及第三乘积的第二维的数值相加的和，作为分类向量的第二维，表示类别B的概率；将第一乘积、第二乘积以及第三乘积的第三维的数值相加的和，作为分类向量的第三维，表示类别C的概率。
在分类向量中，数值最大的一维对应的类别，表示概率最高的类别，可以作为该图组的类别。如在前述举例中，若第三维的数值大于第一维以及第二维的数值，则可以确定图组的类别为类别C。
另外，在本申请实施例中，在对图4所示的网络结构进行训练时，以标注有类别的图组作为训练样本，输入该网络结构，即将图组中的图像输入进行图像特征提取，将环境信息输入进行融合。在根据标注类别与该网络结构输出的类别进行参数调整时，可以对该网络结构中所有涉及到的可调整的参数进行调整，如调整图像特征提取相关的参数、调整子分类模型的参数、调整占比计算模型的参数等，最终调整结果达到输出的类别与训练样本的实际类别相同。从而，该网络结构中的各个参数经训练后可以更加准确，在通过该网络结构进行分类时，分类结果更加准确。如参数的调整实现各个特征向量对应的比例更加准确地表示了不同特征向量与分类结果的相关性，使分类结果中各个特征向量的占比更准确。
并且，该训练过程可以实现端到端的训练，缩短训练流程，并且更有效地提取并融合图像信息以及环境信息，提高分类的精度。
在本申请实施例中，根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别时，分类模型中可以包括占比计算模型以及三个子分类模型，从而可以将同的特征向量输入子分类模型，得到根据各个特征向量分别确定的分类结果。再通过占比计算模型计算得到的比例，对各个特征向量分别确定的分类结果进行按比例缩小，根据缩小后的结果确定最终的分类结果，从而实现根据各个特征向量与分类结果的相关性不同，调整各个特征向量在最终分类结果中的占比，获得更准确的分类向量。
本申请实施例结合图4，通过一种具体实施场景的描述对本申请实施例的图像分类方法进行说明。在本申请实施例中，如图4所示，以N个图像作为一个待分类的图组，N为正整数。可以通过CNN网络对该N个图像进行图像特征提取，获得N个图像特征向量。其中，该CNN网络可以预先通过ImageNet数据集训练该CNN网络的图像特征提取能力。
把上述提取出来的N个图像特征向量融合为一个向量，定义该融合后的向量为图组特征向量。其中，可以采取可导的融合方法进行融合，以实现端到端训练，如包括且不限于Max pooling，RNN，NetVLAD等。
另外，以待分类的图组中的各个图像拍摄时的GPS信息作为环境信息，N个图像对应N个GPS信息。可以对N个图像提取GPS统计信息，作为N个图像分别对应的环境信息。其中，对N个图像提取GPS统计信息的方式可以是，对待分类的图组中的N个GPS信息首先进行PCA处理之后提取统计信息。其中，如前所述，GPS信息可以包括经度和维度，经度和维度形成二位向量，提取的统计信息包括且不限于二维空间分布的熵，两个维度的范围，两个维度轴的乘积，两个维度轴的比值，两个维度的方差等。将提取到的N个GPS统计信息组合成一个GPS统计特征向量，作为本申请实施例中的环境特征向量。
将获得的图组特征向量和环境特征向量拼接在一起，如通过Concat函数，实现图组特征向量和环境特征向量的融合，将图组特征向量和环境特征向量拼接后的向量定义为融合特征向量。
如图4所示，可以由一个全连接层和一个softmax函数组成一个gate网络，作为占比计算模型，用于控制该图像分类方法中三个支路对最终预测结果的贡献占比。三个支路分别是：融合图片特征；GPS统计特征；融合图片特征加GPS统计特征，即图像特征向量、环境特征向量以及融合特征向量分别对应的一个支路。其中，以融合特征向量作为该gate网络的输入，该gate网络输出三个支路分别对应的占比，三个支路的占比之和为1。
请参见图4，可以通过全连接层(FC)对每个支路进行分类，即每个支路以FC作为子分类模型，并且以每个支路的特征向量作为对应FC的输入，每个支路输出FC的分类结果。如图组特征向量输入对应的FC，该FC输出图组特征向量的分类结果；融合特征向量输入对应的FC，该FC输出融合特征向量的分类结果；环境特征向量输入对应的FC，该FC输出环境特征向量的分类结果。
每个支路输出的分类结果再与gate网络输出的该支路对应的占比相乘，获得各个支路相乘后的结果。将三个支路分别获得的相乘后的结果相加，作为最后确定类别的依据。如每个支路经FC后输出的为一个向量，三个支路分别由FC输出的向量与对应的占比相乘后相加，得到的仍然为一个向量，在该向量中，每个维度对应一个类别，哪个维度的数值最大，则该维度对应的类别即为该N个图像的形成的图组的最终分类结果。
在前述实施例中，描述了对图组的类别确定，即对已经确定为同一个类别的图组，识别其具体的类别名称。在实际应用中，可能存在大量待分类图像，这些图像可能属于不同的类别，因此，可以先确定待分类的图像中哪些图像属于同一类别，将属于同一类别的图像确定为同一图组中的图像，再对图组的具体类别名称进行识别。
在本申请实施例中，确定待分类图像中属于同一图组的图像的方式可以是，对待分类图像进行聚类，提取属于同一类别的图像，作为待分类的图组。
在一种实施方式中，可以通过图像特征提取算法提取待分类图像的图像特征，再通过聚类算法对图像特征进行聚类，属于同一类别的图像特征对应的图像，确定为同一类别的图像。
在另一种实施方式中，同类图组的类别可以是事件类别，一个事件类别的图像属于一个事件中的图像。对于同一事件，图像拍摄时的环境信息具有相似性，因此，可以根据环境信息对待分类图像进行分类，相比于根据图像特征进行分类，降低了对图像特征的依赖，并且，属于同一事件的图像即使图像特征差别较大，也可以准确分类到同一类别。
可选的，在该实施方式中，可以将每个图像的环境信息转换为坐标系中的点，环境信息之间的差别通过点之间的距离进行衡量，小于预设距离的点作为同一类别中的点。具体可以根据环境信息的种类建立坐标系，本申请实施例环境信息包括地理位置以及时间为例进行说明，如图6所示，以时间为横坐标，地理位置为纵坐标，根据每个环境信息的时间以及地理位置，将每个环境信息作为坐标系中的一个点。遍历待分类图像对应的所有的点，且不重复遍历。对于每一个遍历到的点，如果其预设距离范围内有大于预设数量的点，则标记遍历到的这个点为核心点，核心点的预设范围内定义为核心点的领域，在核心点预设范围内的点为该核心点的领域内的点。对于每一个点，如果是核心点，则将该核心点以及该核心点领域内的点加入一个聚类簇，在同一个聚类簇中的点如果是核心点，将该核心点领域内的点仍然加入该聚类簇，直到聚类簇中的所有核心点的领域内的点都加入到该聚类簇中，该聚类簇中的环境信息为同一类别的环境信息。例如图6所示，可以获得聚类簇101以及聚类簇102，聚类簇101内的各个点对应的环境信息为同一类别的环境信息，聚类簇102内的各个点对应的环境信息为同一类别的环境信息。
同一类别的环境信息对应的图像，为同一类别的图像，可以作为同一个图组中的图像。如图6所示，环境信息为聚类簇101内的环境信息的图像，为同一个类别的图像，作为一个图组；环境信息为聚类簇102内的环境信息的图像，为同一个类别的图像，作为一个图组，根据图6所示的聚类，可以获得两个图组。点103以及点104分别对应的图像，不属于任何图组。
可选的，在该实施方式中，也可以通过现有的聚类算法对环境信息进行聚类，如基于密度的聚类算法HDBSCAN算法、K均值聚类算法(K-Means算法)、均值漂移算法(MeanShift算法)等。每一种聚类算法中，可以设置同一类别中图像的数量大于预设数量，使图组中图像的数量大于预设数量。
在本申请实施例中，可以对待分类图像进行聚类，从而提取出待分类图像中属于同一类别的图像，将属于同一类别的图像作为同一个图组中的图像，在获得的图组中，剔除了不属于任何类别的无关图像。再结合图组的图组特征向量以及环境特征向量对图组进行类别识别，即确定图组具体所属类别，提高分类的准确性。
本申请实施例还提供了一种图像分类装置400。如图7所示，该装置400包括：向量获取模块410，用于获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得；融合模块420，用于将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量；分类模块430，用于根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别。
可选的，分类模块430可以用于将所述图组特征向量、所述环境特征向量以及所述融合特征向量输入分类模型，所述分类模型用于确定输入其中的图像信息所属的类别；获取所述分类模型输出的类别，作为所述图组对应的类别。
可选的，分类模型可以包括第一子分类模型、第二子分类模型、第三子分类模型以及占比计算模型。分类模块430可以用于将所述融合特征向量输入占比计算模型，获取所述占比计算模型输出的图组特征向量、所述环境特征向量以及所述融合特征向量的比例，所述占比计算模型用于根据输入其中的融合特征向量，确定图组特征向量、所述环境特征向量以及所述融合特征向量的比例，所述图组特征向量、所述环境特征向量以及所述融合特征向量的比例之和为1；将所述图组特征向量输入第一子分类模型，获得第一子分类模型输出的第一分类向量；将所述环境特征向量输入第二子分类模型，获得第二子分类模型输出的第二分类向量；将所述融合特征向量输入第三子分类模型，获得第三子分类模型输出的第三分类向量；所述第一子分类模型、第二子分类模型以及第三子分类模型用于根据输入其中的图像信息确定所述图像信息属于不同类别的概率；将图组特征向量的比例与第一分类向量相乘，获得第一乘积；将环境特征向量的比例与第二分类向量相乘，获得第二乘积；将融合特征向量的比例与第三分类向量相乘，获得第三乘积；将所述第一乘积、第二乘积以及第三乘积相加获得的分类向量；以分类向量中概率最高的类别，作为所述图组的类别。
可选的，该装置还可以包括训练模块，用于获取标注的所述图组的类别；判断所述分类模型输出的类别与标注的类别是否相同；若不同，调整所述分类模型参数，再次执行所述获取待分类的图组的图组特征向量以及环境特征向量的步骤至判断所述分类模型输出的类别与标注的类别是否相同。
可选的，向量获取模块410可以包括图组特征向量获取单元，用于对所述图组中的各个图像进行图像特征提取，获得分别对应各个图像的图像特征向量；将获得的图像特征向量进行融合，获得图组特征向量。
可选的，向量获取模块410可以包括环境特征向量获取单元，用于获取所述图组中的各个图像拍摄时的环境信息；将所述获得的环境信息融合为一个向量，作为所述环境特征向量。
可选的，该装置还可以包括分组模块，用于对待分类图像进行聚类，提取属于同一类别的图像，作为待分类的图组。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述的各个方法实施例之间可以相互参照；上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。各个模块可以配置在不同的电子设备中，也可以配置在相同的电子设备中，本申请实施例并不限定。
请参考图8，其示出了本申请实施例提供的一种电子设备500的结构框图。该电子设备可以包括一个或多个处理器510(图中仅示出一个)，存储器520以及一个或多个程序。其中，所述一个或多个程序被存储在所述存储器520中，并被配置为由所述一个或多个处理器510执行。所述一个或多个程序被处理器执行用于执行前述实施例所描述的方法。
处理器510可以包括一个或者多个处理核。处理器510利用各种接口和线路连接整个电子设备500内的各个部分，通过运行或执行存储在存储器520内的指令、程序、代码集或指令集，以及调用存储在存储器520内的数据，执行电子设备500的各种功能和处理数据。可选地，处理器510可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器510可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作***、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器510中，单独通过一块通信芯片进行实现。
存储器520可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器520可用于存储指令、程序、代码、代码集或指令集。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作***的指令、用于实现至少一个功能的指令、用于实现上述各个方法实施例的指令等。存储数据区还可以电子设备在使用中所创建的数据等。
请参考图9，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质600中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质600可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质600包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质600具有执行上述方法中的任何方法步骤的程序代码610的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码610可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种图像分类方法，其特征在于，所述方法包括：
获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得；
将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量；
根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别，包括：
将所述图组特征向量、所述环境特征向量以及所述融合特征向量输入分类模型，所述分类模型用于确定输入其中的图像信息所属的类别；
获取所述分类模型输出的类别，作为所述图组对应的类别。
3.根据权利要求2所述的方法，其特征在于，所述分类模型包括第一子分类模型、第二子分类模型、第三子分类模型以及占比计算模型，所述将所述图组特征向量、所述环境特征向量以及所述融合特征向量输入分类模型，获取所述分类模型输出的类别，作为所述图组对应的类别，还包括：
将所述融合特征向量输入占比计算模型，获取所述占比计算模型输出的所述图组特征向量、所述环境特征向量以及所述融合特征向量的分别对应的比例，所述占比计算模型用于根据输入其中的融合特征向量，确定图组特征向量、所述环境特征向量以及所述融合特征向量的比例，所述图组特征向量、所述环境特征向量以及所述融合特征向量的比例之和为1；
将所述图组特征向量输入第一子分类模型，获得第一子分类模型输出的第一分类向量；将所述环境特征向量输入第二子分类模型，获得第二子分类模型输出的第二分类向量；将所述融合特征向量输入第三子分类模型，获得第三子分类模型输出的第三分类向量；所述第一子分类模型、第二子分类模型以及第三子分类模型用于根据输入其中的图像信息确定所述图像信息属于不同类别的概率；
将图组特征向量的比例与第一分类向量相乘，获得第一乘积；将环境特征向量的比例与第二分类向量相乘，获得第二乘积；将融合特征向量的比例与第三分类向量相乘，获得第三乘积；
将所述第一乘积、第二乘积以及第三乘积相加获得分类向量；
以分类向量中概率最高的类别，作为所述图组的类别。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取标注的所述图组的类别；
判断所述分类模型输出的类别与标注的类别是否相同；
若不同，调整所述分类模型参数，再次执行所述获取待分类的图组的图组特征向量以及环境特征向量的步骤至判断所述分类模型输出的类别与标注的类别是否相同。
5.根据权利要求1所述的方法，其特征在于，获取待分类的图组的图组特征向量，包括：
对所述图组中的各个图像进行图像特征提取，获得分别对应各个图像的图像特征向量；
将获得的图像特征向量进行融合，获得图组特征向量。
6.根据权利要求1所述的方法，其特征在于，获取待分类的图组的环境特征向量，包括：
获取所述图组中的各个图像拍摄时的环境信息；
将所述获得的环境信息融合为一个向量，作为所述环境特征向量。
7.根据权利要求1所述的方法，其特征在于，所述获取待分类的图组的图组特征向量以及环境特征向量之前，还包括：
对待分类图像进行聚类，提取属于同一类别的图像，作为待分类的图组。
8.一种图像分类装置，其特征在于，所述装置包括：
向量获取模块，用于获取待分类的图组的图组特征向量以及环境特征向量，所述图组中包括多个图像，所述图组特征向量由图组中各个图像的图像特征向量融合获得，所述环境特征向量由图组中各个图像拍摄时的环境信息融合获得；
融合模块，用于将所述图组特征向量以及所述环境特征向量进行融合，获得融合特征向量；
分类模块，用于根据所述图组特征向量、所述环境特征向量以及所述融合特征向量，确定所述图组所属类别。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序被所述处理器执行用于执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-7任一项所述的方法。
CN202010916955.7A 2020-09-03 2020-09-03 图像分类方法、装置、电子设备及存储介质 Pending CN112069981A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010916955.7A CN112069981A (zh) 2020-09-03 2020-09-03 图像分类方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010916955.7A CN112069981A (zh) 2020-09-03 2020-09-03 图像分类方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112069981A true CN112069981A (zh) 2020-12-11

Family

ID=73665422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010916955.7A Pending CN112069981A (zh) 2020-09-03 2020-09-03 图像分类方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112069981A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033682A (zh) * 2021-03-31 2021-06-25 北京有竹居网络技术有限公司 视频分类方法、装置、可读介质、电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064700A (ja) * 2002-07-31 2004-02-26 Sony Corp 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム
CN104820718A (zh) * 2015-05-22 2015-08-05 哈尔滨工业大学 基于地理位置特征与全局视觉特征的图像分类和检索方法
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN108090203A (zh) * 2017-12-25 2018-05-29 上海七牛信息技术有限公司 视频分类方法、装置、存储介质及电子设备
CN109063754A (zh) * 2018-07-18 2018-12-21 武汉大学 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN109635789A (zh) * 2019-01-23 2019-04-16 西安电子科技大学 基于强度比和空间结构特征提取的高分辨sar图像分类方法
CN110516586A (zh) * 2019-08-23 2019-11-29 深圳力维智联技术有限公司 一种人脸图像聚类方法、***、产品及介质
CN111008651A (zh) * 2019-11-13 2020-04-14 科大国创软件股份有限公司 一种基于多特征融合的图像翻拍检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004064700A (ja) * 2002-07-31 2004-02-26 Sony Corp 画像分類装置、画像分類方法、プログラム、及び記録媒体、並びに画像分類システム
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN104820718A (zh) * 2015-05-22 2015-08-05 哈尔滨工业大学 基于地理位置特征与全局视觉特征的图像分类和检索方法
CN108090203A (zh) * 2017-12-25 2018-05-29 上海七牛信息技术有限公司 视频分类方法、装置、存储介质及电子设备
CN109063754A (zh) * 2018-07-18 2018-12-21 武汉大学 一种基于OpenStreetMap的遥感影像多特征联合分类方法
CN109635789A (zh) * 2019-01-23 2019-04-16 西安电子科技大学 基于强度比和空间结构特征提取的高分辨sar图像分类方法
CN110516586A (zh) * 2019-08-23 2019-11-29 深圳力维智联技术有限公司 一种人脸图像聚类方法、***、产品及介质
CN111008651A (zh) * 2019-11-13 2020-04-14 科大国创软件股份有限公司 一种基于多特征融合的图像翻拍检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
ANSELMO FERREIRA 等: "Eyes in the Skies: A Data-Driven Fusion Approach to Identifying Drug Crops From Remote Sensing Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 12, no. 12, 31 December 2019 (2019-12-31), pages 4773, XP011770027, DOI: 10.1109/JSTARS.2019.2917024 *
LIHUA YE 等: "Parallel multi-stage features fusion of deep convolutional neural networks for aerial scene classification", 《REMOTE SENSING LETTERS》, vol. 9, no. 3, pages 294 - 303, XP055736755, DOI: 10.1080/2150704X.2017.1415477 *
VINEETA DAS 等: "Multi-scale deep feature fusion for automated classification of macular pathologies from OCT images", 《BIOMEDICAL SIGNAL PROCESSING AND CONTROL》, vol. 54, pages 1 - 10 *
叶志凌: "一种新的邻域重构法及其在机器学习中的应用", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 7, pages 140 - 46 *
汤鹏杰;谭云兰;李金忠;: "融合图像场景及物体先验知识的图像描述生成模型", 中国图象图形学报, no. 09, 16 September 2017 (2017-09-16), pages 862 - 866 *
赵晴晴: "基于特征融合和孪生网络的行人再识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑(月刊)》, no. 2, pages 138 - 1801 *
邓江洪 等: "多特征筛选与支持向量机相融合的图像分类模型", 《吉林大学学报(理学版)》, vol. 54, no. 4, pages 862 - 866 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033682A (zh) * 2021-03-31 2021-06-25 北京有竹居网络技术有限公司 视频分类方法、装置、可读介质、电子设备
CN113033682B (zh) * 2021-03-31 2024-04-30 北京有竹居网络技术有限公司 视频分类方法、装置、可读介质、电子设备

Similar Documents

Publication Publication Date Title
CN109086811B (zh) 多标签图像分类方法、装置及电子设备
CN112434721A (zh) 一种基于小样本学习的图像分类方法、***、存储介质及终端
CN105574550A (zh) 一种车辆识别方法及装置
CN110781911B (zh) 一种图像匹配方法、装置、设备及存储介质
US11562179B2 (en) Artificial intelligence system for inspecting image reliability
Cheng et al. A data-driven point cloud simplification framework for city-scale image-based localization
CN111126514A (zh) 图像多标签分类方法、装置、设备及介质
CN111639970A (zh) 基于图像识别的物品价格确定方法及相关设备
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN113837257B (zh) 一种目标检测方法及装置
CN111078924B (zh) 图像检索方法、装置、终端及存储介质
CN111179270A (zh) 基于注意力机制的图像共分割方法和装置
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN110147460B (zh) 基于卷积神经网络与多视角图的三维模型检索方法及装置
CN110852263A (zh) 一种基于人工智能的手机拍照识别垃圾分类方法
CN112668675B (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN115115825A (zh) 图像中的对象检测方法、装置、计算机设备和存储介质
CN112069342A (zh) 图像分类方法、装置、电子设备及存储介质
CN112069981A (zh) 图像分类方法、装置、电子设备及存储介质
CN112069335A (zh) 图像分类方法、装置、电子设备及存储介质
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及***
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN112015937B (zh) 一种图片地理定位方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination