CN104361357B - 基于图片内容分析的相片集分类***及分类方法 - Google Patents

Abstract

本发明公开了一种基于图片内容分析的相片集分类***及分类方法，其中，分类***包括：图片接收模块、图像预处理模块、人物检测模块、分类结果输出模块，前述图像预处理模块包括：缩小图片尺寸子模块、获取图片属性子模块、旋转图片子模块、提取颜色直方图子模块、过滤子模块；前述人物检测模块包括：形变部件模型子模块、特征金字塔子模块、窗口扫描子模块、判断子模块、返回子模块。本发明的分类***通过图像预处理模块实现了快速分类、通过人物检测模块实现了精准自动分类；本发明的分类方法能够直接识别图片内容，即使是没有预先进行内容标注的用户图片，也可以进行自动分类，大幅度提高了相片集分类的自动化程度和效率。

Description

基于图片内容分析的相片集分类***及分类方法

技术领域

本发明涉及一种相片集分类***及分类方法，具体涉及一种基于图片内容分析的相片集分类***及分类方法，属于模式识别与机器智能技术领域。

背景技术

随着电子成像技术和互联网的发展，人们创造图片、分享图片和获得图片的途径越来越方便且多样。目前，众多的新型设备(包括移动电话)都有数码相机的功能，普通用户可能积攒了一大批数字图片。

传统的相片集分类***，是以关键词的形式对图片内容做出注释，这不仅不能很好的匹配到对应的图片上，同时还会增加用户的工作量。

另外，现有的人体检测方法存在运算效率低下的缺点，导致用户体验降低。

发明内容

为解决现有技术的不足，本发明的目的在于提供一种基于图片内容分析的相片集分类***及分类方法，该相片集分类***和分类方法对即使是没有预先进行内容标注的用户图片也能够自动有效的进行组织和管理，减少用户交互并帮助用户更好的使用和分享自己拍摄的图片。

为了实现上述目标，本发明采用如下的技术方案：

一种基于图片内容分析的相片集分类***，其特征在于，分类***能够对照片内是否存在人物自动进行判断，并根据检测的位置对用户个人照片集进行自动分类，前述分类***包括：

图片接收模块：用于接收用户通过网络传输的个人照片集；

图像预处理模块：用于对图像进行预处理，快速过滤掉不符合***算法预定义条件的非人物图像，筛出备选的感兴趣图片；

人物检测模块：用于确定图片的正确类别；

分类结果输出模块：根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像两部分，分类结果输出模块用于将结果返回至用户。

前述的基于图片内容分析的相片集分类***，其特征在于，前述图像预处理模块包括以下子模块：

缩小图片尺寸子模块：用于缩小图片接收模块接收到的图片的尺寸；

获取图片属性子模块：用于获得图片的属性信息和拍摄数据，前述拍摄数据包括拍摄时间、地点和旋转参数；

旋转图片子模块：用于获取图片的拍摄方向并将图片旋转至后续算法需要的角度；

提取颜色直方图子模块：用于在原图像的三种空间分布中提取直方图或者积分直方图；

过滤子模块：用于初步过滤掉不符合***算法预定义条件的非人物图像。

前述的基于图片内容分析的相片集分类***，其特征在于，前述人物检测模块包括以下子模块：

形变部件模型子模块：用于获取已经过训练并存储在存储介质中的形变部件模型，并将表征人体不同部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模板、部件模板、形变模型三部分组成；

特征金字塔子模块：用于得到特征金字塔；

窗口扫描子模块：用于获得每个扫描窗口总响应；

判断子模块：用于确定窗口响应是否包含人体；

返回子模块：用于将判断结果返回至用户。

一种基于图片内容分析的相片集分类方法，其特征在于，包括以下步骤：

(1)、接收图片：接收用户通过网络传输的个人照片集；

(2)、预处理图像：先提取图片携带的辅助信息，再结合图像颜色空间对图像进行预处理，快速过滤掉不符合算法预定义条件的非人物图像，筛出备选的感兴趣图片；前述辅助信息包括图片的拍摄时间、地点和旋转参数；

(3)、检测人物：先提取备选的感兴趣图片的图像特征，再结合形变部件模型分析图像的内容，确定图片的正确类别；

(4)、输出结果：根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像两部分，将结果返回至用户。

前述的基于图片内容分析的相片集分类方法，其特征在于，在步骤(2)中，对图像进行预处理的具体过程如下：

(2a)、缩小接收到的图片的尺寸；

(2b)、通过相片中携带的可交换图像文件格式获得图片的属性信息和拍摄数据，前述拍摄数据包括拍摄时间、地点和旋转参数；

(2c)、根据图片的旋转参数获取图片的拍摄方向，并将图片旋转至后续算法需要的角度；

(2d)、在原图像的三种空间分布中提取直方图或者积分直方图，前述三种空间：第一种空间为完整的原图像空间，第二种空间为对原图像空间进行上下两部分均匀划分所形成的两个子空间，第三种空间为对原图像空间进行上下左右四部分均匀划分所形成的四个子空间；在第二种空间和第三种空间中，对每一个子空间提取独立的直方图或者积分直方图；

(2e)、对于第一种空间和第二种空间提取的直方图或者积分直方图，筛除颜色单一的图片；对于第二种空间和第三种空间提取的直方图或者积分直方图，对比各部分图像块的直方图相似度，筛除各个部分为均一重复模式的图像。

前述的基于图片内容分析的相片集分类方法，其特征在于，在步骤(3)中，确定图片的正确类别的具体过程如下：

(3a)、获取已经过训练并存储在存储介质中的形变部件模型，并将表征人体不同部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模板、部件模板、形变模型三部分组成；

(3b)、通过计算输入图像金字塔中每层图像的HOG特征得到特征金字塔；

(3c)、通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底向上逐层返回响应结果并对各部分的响应进行加和，获得每个扫描窗口总响应；

(3d)、根据预先设置的阈值，确定窗口响应是否包含人体；

(3e)、获得检测结果并返回。

本发明的有益之处在于：

1、本发明的相片集分类***通过增加图像预处理模块，并采用一系列图像处理、机器学习及模式识别的方法，对用户图片内容进行自动分类，不仅有效的提高了算法的精度以及效率，提高了用户体验，而且还满足了***实时性的要求，鲁棒性能好，可以用于其他类别的分类识别；

2、本发明的相片集分类***不需要用户手动设置图像类别或对图片内容进行文字标注，减少了用户的交互；

3、本发明的相片集分类方法依据一定的算法直接去识别图片内容，即使是没有预先进行内容标注的用户图片，也可以进行自动分类，大幅度提高了相片集分类的自动化程度和效率；

4、本发明的相片集分类方法采用了形变部件模型，增加了对人体姿态遮挡尺度变化的适应性，提高了算法的精确度；

5、本发明的相片集分类方法利用了图像直方图的特性，对待处理图片进行了预处理，提高了算法的整体效率。

附图说明

图1是本发明的相片集分类***的组成示意图；

图2是本发明的相片集分类方法的主要流程图；

图3是图像预处理的流程图；

图4是旋转图片示意图；

图5是三种空间的示意图；

图6是某一图像与图5中的三种空间对应的灰度直方图；

图7是人物检测的流程图；

图8是获得特征金字塔的示意图。

具体实施方式

首先介绍本发明的相片集分类***。

本发明的相片集分类***，根据图片的拍摄时间、地点和内容等信息，能够对照片内是否存在人物自动进行判断，并根据检测的位置对用户个人照片集进行自动分类。

以下结合附图和具体实施例对本发明的相片集分类***作具体的介绍。

参照图1，本发明的相片集分类***包括：图片接收模块、图像预处理模块、人物检测模块、以及分类结果输出模块，其中：

1、用户通过网络将图片上传至云端服务器，并以用户的ID将图片合并成该用户个人的相片集合，图片接收模块用于接收用户通过网络传输的个人照片集。

2、图像预处理模块用于对图像进行预处理，先提取图片携带的辅助信息，再结合图像颜色空间对图像进行处理，从而快速过滤掉不符合***算法预定义条件的非人物图像，筛出备选的感兴趣图片，最终实现对大量图片集快速分类。

图像预处理模块包括以下子模块：

(1)、缩小图片尺寸子模块：用于缩小图片接收模块接收到的图片的尺寸。

(2)、获取图片属性子模块：用于获得图片的属性信息和拍摄数据，拍摄数据包括拍摄时间、地点和旋转参数等。根据相片的拍摄时间，***对相片集进行重新排序。

(3)、旋转图片子模块：用于获取图片的拍摄方向并将图片旋转至后续算法需要的角度。

(4)、提取颜色直方图子模块：用于在原图像的三种空间分布中提取直方图或者积分直方图。

参照图5，三种空间：第一种空间为完整的原图像空间，第二种空间为对原图像空间进行上下两部分均匀划分所形成的两个子空间，第三种空间为对原图像空间进行上下左右四部分均匀划分所形成的四个子空间。

在第二种空间和第三种空间中，提取颜色直方图子模块对每一个子空间提取独立的直方图或者积分直方图。

提取的直方图并不限于灰度直方图，还可以采用颜色RGB等。

(5)、过滤子模块：用于初步过滤掉不符合***算法预定义条件的非人物图像。

3、人物检测模块用于确定图片的正确类别，即确定图片中是否存在人物(这是图片自动分类的主要依据)，并精确定位人物的位置以及尺度大小。

人物检测模块包括以下子模块：

(1)、形变部件模型子模块：用于获取已经过训练并存储在存储介质中的形变部件模型，并将表征不同人体部分以及姿态的形变部件模型进行组合。

每一个形变部件模型均由三部分组成：第一部分为一个较为粗糙的覆盖整个人体目标的全局根模板(或叫根滤波器，root filter)；第二部分为若干(该***中设置为8个)高分辨率的部件模板(或叫部件滤波器，part filter)；第三部分为形变模型，该形变模型为部件模板相对于全局根模板相对空间位置发生形变的代价。

为了适应人体在不同图片中出现的不同姿态以及遮挡，***将表征人体不同部位和姿态的形变部件模型进行组合，用以提高***检测率。

例如：存储的形变部件模型，主要表征3种人体部分：1、人体肩部以上；2、上半身；3、全身。因而，形变部件模型包含3种人体部分左右不同姿态共6种，用于适应人体不同姿态以及不同程度遮挡情况下的识别。

这样的设置提高了***的运行效率，结合预处理模块的快速筛查，从而保证了整体的实时性。

(2)、特征金字塔子模块：用于得到特征金字塔。

***采用36维的HOG特征，并通过计算输入图像金字塔中每层图像的HOG特征得到特征金字塔。

特征金字塔包含的特征图个数由输入图像的分辨率、下采样率以及模板的大小共同决定。

(3)、窗口扫描子模块：用于获得每个扫描窗口总响应。

窗口扫描子模块通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底向上逐层返回响应结果并对各部分的响应进行加和，从而获得每个扫描窗口总响应。

(4)、判断子模块：用于确定窗口响应是否包含人体。

根据预先设置的阈值，确定窗口响应是否包含人体。若高于阈值，则保留该窗口的尺度位置等相关信息。

(5)、返回子模块：用于将判断结果返回至用户。

4、根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像两部分，分类结果输出模块用于将结果返回至用户。

由此可见，本发明的相片集分类***通过增加图像预处理模块，并采用一系列图像处理、机器学习及模式识别的方法，对用户图片内容进行快速、自动分类，不仅有效的提高了算法的精度以及效率，提高了用户体验，而且还满足了***实时性的要求，鲁棒性能好，可以用于其他类别的分类识别。

接下来介绍上述相片集分类***对图片进行快速、自动分类的方法。

本发明的相片集分类方法依据一定的算法直接去识别图片内容，即使是没有预先进行内容标注的用户图片，也可以进行快速、自动分类(分类的主要依据：图片中是否包含人物)。

由于用户拍摄的图片中，人物的位置、姿态、尺度大小等多样且随机化，给人物检测算法的精确度及效率带来了极大挑战。同时，随着用户上传图片的不断增多，云端服务器的计算压力也不断增加。为了克服上述问题，本发明的方法提供了一种图片预处理算法对图片集进行快速筛选、并将可能含有人物的图片做进一步的人物检测，从而最终实现对大量图片集快速自动分类。

以下结合附图和具体实施例对本发明的相片集分类方法作具体的介绍。

参照图2，本发明的相片集分类方法包括以下步骤：

步骤1、接收图片

接收用户通过网络传输的个人照片集。该步骤通过图片接收模块实现。

步骤2、预处理图像

由于用户拍摄的图片中，人物的位置、姿态、尺度大小等多样且随机化，给人物检测算法的精确度及效率带来了极大挑战，同时，随着用户上传图片的不断增多，云端服务器的计算压力也不断增加。

所以，本发明的方法先对图像进行了预处理，即先提取图片携带的辅助信息(包括图片的拍摄时间、地点和旋转参数)，再结合图像颜色空间对图像进行预处理(初步筛选)，快速过滤掉不符合算法预定义条件的非人物图像，筛出备选的感兴趣图片。该步骤通过图像预处理模块实现。

参照图3，图像预处理模块对图像进行预处理的具体过程如下：

(2a)、缩小接收到的图片的尺寸

随着技术以及硬件的不断更新换代，即使普通用户亦能利用个人的拍照设备(包括手机以及数码相机)获取高质量的相片。用户在通过网络将图片上传至服务器时，为了节约网络带宽已经对图片内容进行了压缩(例如转成JPG格式)，但是仍然保留了较高分辨率。基于过高分辨率的图片进行后续算法，将造成不必要的运算负担，因而本发明的方法首先缩小图片的尺寸，以提高算法效率。

(2b)、获取图片属性

通过相片中携带的可交换图像文件格式(Exchangeable image file format,Exif)获得图片的属性信息和拍摄数据，拍摄数据包括拍摄时间、地点和旋转参数等。

(2c)、旋转图片

根据图片的旋转参数获取图片的拍摄方向，并将图片旋转至后续算法需要的角度。

例如，当拍摄异常时，可通过对图片进行水平翻转或垂直翻转等操作，使其旋转至后续算法需要的角度，如图4所示。

(2d)、提取图片金字塔颜色直方图

由于直方图计算高效，不涉及复杂运算，因而适用于图像的初步筛选。

本发明的方法在原图像的三种空间分布中提取直方图(包括：颜色RGB、灰度直方图等)或者积分直方图。

下面以灰度直方图为例进行说明。

直方图的表示，n_i表示灰度i出现的次数，这样图像中灰度i的像素的出现概率是：

L是图像中所有的灰度数，n是图像中所有的像素数，p实际上就是图像的直方图，并归一化至[0，1]。把c作为对应于p的累计概率函数(积分直方图)，定义为：

参照图5，三种空间：第一种空间为完整的原图像空间，第二种空间为对原图像空间进行上下两部分均匀划分所形成的两个子空间，第三种空间为对原图像空间进行上下左右四部分均匀划分所形成的四个子空间。

参照图6，在第二种空间和第三种空间中，对每一个子空间提取独立的灰度直方图或者灰度积分直方图。

(2e)、过滤掉不符合算法预定义条件的非人物图像

过滤规则①：

其中，实际上为图像像素总和，t和T需要预先定义。

在本实施例中，T设置为0.7，L设置为128，t设置为16和120，目的在于筛除颜色单一的图片。

该过滤规则主要用于第一种空间和第二种空间提取的灰度直方图或者灰度积分直方图的筛选。

过滤规则②：对比各部分图像块的直方图相似度，筛除各个部分为均一重复模式的图像。

相似性利用直方图相交法来衡量：

该过滤规则主要用于第二种空间和第三种空间提取的灰度直方图或者灰度积分直方图的筛选。

可见，通过图像预处理模块对图像进行预处理(先提取图片携带的位置时间等辅助信息，再结合图像颜色空间对图像预处理)，筛出了备选的感兴趣图片，有效的提高了算法的精度以及效率，从而克服了现有人体检测方法中运算效率低下的缺点。

步骤3、检测人物

物体分类要求回答一张图片中是否包含某种物体，对图像进行特征描述是物体分类的主要研究内容。对于人物分类，存在以下问题：首先，由于用户图片在采集过程中光照条件、拍摄视角、距离的不同、被拍照人物的非刚体形变以及被部分遮挡，使得人物实列的表征特征产生很大的变化；其次，不同的人穿着不同的衣服也会使其表观特征差别比较大；再次，在实际场景下，存在复杂的背景感染，使得分类问题难度大大增加。

所以，本发明有针对性的提出了一种人物自动检测的方法，用于实现更高精度的分类。该人物自动检测方法先提取备选的感兴趣图片的图像特征，再结合形变部件模型分析图像的内容，确定图片的正确类别，即确定图片中是否存在人物，精确定位人物的位置以及尺度大小。该步骤通过人物检测模块实现。

参照图7，人物检测模块确定图片中是否存在人物的具体过程如下：

(3a)、获取并组合形变部件模型

获取经过预处理的输入图像和已经过训练并存储在存储介质中的形变部件模型。

在存储介质中,形变部件模型有若干组，每一组形变部件模型均由全局根模板、部件模板、形变模型三部分组成。

参照图8，组成形变部件模型的三部分分别是：

第一部分是一个较为粗糙的覆盖整个人体目标的全局根模板(或叫根滤波器，root filter)；

第二部分是若干(该方法中设置为8个)高分辨率的部件模板(或叫部件滤波器，part filter)；

第三部分是形变模型，该形变模型为部件模板相对于全局根模板相对空间位置发生形变的代价。

为了适应人体在不同图片中出现的不同姿态以及遮挡，本发明的方法将表征人体不同部位和姿态的形变部件模型进行组合，用以提高人物检测的效率，进而提高整个算法的运算效率。

例如：存储的形变部件模型，主要表征3种人体部分：1、人体肩部以上；2、上半身；3、全身。因而，形变部件模型包含3种人体部分左右不同姿态共6种，用于适应人体不同姿态以及不同程度遮挡情况下的识别。

(3b)、得到特征金字塔

采用36维的HOG特征，通过计算输入图像金字塔中每层图像的HOG特征得到特征金字塔。

特征金字塔包含的特征图个数由输入图像的分辨率、下采样率以及模板的大小共同决定。

在图8中，图像III为输入的原图像，图像II和图像I为分别采用不同的采样比例对原图像进行下采样获得的新图像。

(3c)、获得每个扫描窗口总响应

通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底向上逐层返回响应结果并对各部分的响应进行加和，获得每个扫描窗口总响应。

(3d)、根据预先设置的阈值，确定窗口响应是否包含人体。若高于阈值，则保留该窗口的尺度位置等相关信息。

(3e)、获得检测结果并返回。

步骤4、输出结果

根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像两部分，将结果返回至用户。该步骤通过分类结果输出模块实现。

由此可见，本发明的相片集分类方法对即使是没有预先进行内容标注的用户图片，也可以进行自动分类，大幅度提高了相片集分类的自动化程度和效率。

需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (4)

1.一种基于图片内容分析的相片集分类***，其特征在于，分类***能够对照片内是否存在人物自动进行判断，并根据检测的位置对用户个人照片集进行自动分类，所述分类***包括：

图片接收模块：用于接收用户通过网络传输的个人照片集；

图像预处理模块：用于对图像进行预处理，快速过滤不符合***算法预定义条件的非人物图像，筛出备选的感兴趣图片；

人物检测模块：用于确定图片的正确类别；

分类结果输出模块：根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像两部分，分类结果输出模块用于将结果返回至用户；

其中，所述人物检测模块包括以下子模块：

形变部件模型子模块：用于获取已经过训练并存储在存储介质中的形变部件模型，并将表征人体不同部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模板、部件模板、形变模型三部分组成；

特征金字塔子模块：用于得到特征金字塔；

窗口扫描子模块：用于获得每个扫描窗口总响应；

判断子模块：用于确定窗口响应是否包含人体；

返回子模块：用于将判断结果返回至用户。

2.根据权利要求1所述的基于图片内容分析的相片集分类***，其特征在于，所述图像预处理模块包括以下子模块：

缩小图片尺寸子模块：用于缩小图片接收模块接收到的图片的尺寸；

获取图片属性子模块：用于获得图片的属性信息和拍摄数据，所述拍摄数据包括拍摄时间、地点和旋转参数；

旋转图片子模块：用于获取图片的拍摄方向并将图片旋转至后续算法需要的角度；

提取颜色直方图子模块：用于在原图像的三种空间分布中提取直方图或者积分直方图；

过滤子模块：用于初步过滤掉非人物图像。

3.一种基于图片内容分析的相片集分类方法，其特征在于，包括以下步骤：

(1)、接收图片：接收用户通过网络传输的个人照片集；

(2)、预处理图像：先提取图片携带的辅助信息，再结合图像颜色空间对图像进行预处理，快速过滤掉不符合算法预定义条件的非人物图像，筛出备选的感兴趣图片；所述辅助信息包括图片的拍摄时间、地点和旋转参数；

(3)、检测人物：先提取备选的感兴趣图片的图像特征，再结合形变部件模型分析图像的内容，确定图片的正确类别；

(4)、输出结果：根据图像预处理结果和人物检测结果，图片集合被分为人物图像和非人物图像两部分，将结果返回至用户；

其中，在步骤(3)中，确定图片的正确类别的具体过程如下：

(3a)、获取已经过训练并存储在存储介质中的形变部件模型，并将表征人体不同部位和姿态的形变部件模型进行组合，每一个形变部件模型均由全局根模板、部件模板、形变模型三部分组成；

(3b)、通过计算输入图像金字塔中每层图像的HOG特征得到特征金字塔；

(3c)、通过逐窗口扫描，获取模板在特征图的各个位置的响应，并自底向上逐层返回响应结果并对各部分的响应进行加和，获得每个扫描窗口总响应；

(3d)、根据预先设置的阈值，确定窗口响应是否包含人体；

(3e)、获得检测结果并返回。

4.根据权利要求3所述的基于图片内容分析的相片集分类方法，其特征在于，在步骤(2)中，对图像进行预处理的具体过程如下：

(2a)、缩小接收到的图片的尺寸；

(2b)、通过相片中携带的可交换图像文件格式获得图片的属性信息和拍摄数据，所述拍摄数据包括拍摄时间、地点和旋转参数；

(2c)、根据图片的旋转参数获取图片的拍摄方向，并将图片旋转至后续算法需要的角度；

(2d)、在原图像的三种空间分布中提取直方图或者积分直方图，所述三种空间：第一种空间为完整的原图像空间，第二种空间为对原图像空间进行上下两部分均匀划分所形成的两个子空间，第三种空间为对原图像空间进行上下左右四部分均匀划分所形成的四个子空间；在第二种空间和第三种空间中，对每一个子空间提取独立的直方图或者积分直方图；

(2e)、对于第一种空间和第二种空间提取的直方图或者积分直方图，筛除颜色单一的图片；对于第二种空间和第三种空间提取的直方图或者积分直方图，对比各部分图像块的直方图相似度，筛除各个部分为均一重复模式的图像。