CN100464332C - 一种图片查询方法及*** - Google Patents
一种图片查询方法及*** Download PDFInfo
- Publication number
- CN100464332C CN100464332C CNB2007100645694A CN200710064569A CN100464332C CN 100464332 C CN100464332 C CN 100464332C CN B2007100645694 A CNB2007100645694 A CN B2007100645694A CN 200710064569 A CN200710064569 A CN 200710064569A CN 100464332 C CN100464332 C CN 100464332C
- Authority
- CN
- China
- Prior art keywords
- picture
- characteristic parameter
- people
- face
- pictures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000014509 gene expression Effects 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 16
- 230000000052 comparative effect Effects 0.000 claims description 2
- 238000004422 calculation algorithm Methods 0.000 description 26
- 238000005516 engineering process Methods 0.000 description 17
- 238000012549 training Methods 0.000 description 14
- 238000010606 normalization Methods 0.000 description 9
- 238000000513 principal component analysis Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 8
- 238000010168 coupling process Methods 0.000 description 8
- 238000005859 coupling reaction Methods 0.000 description 8
- 230000001815 facial effect Effects 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000006399 behavior Effects 0.000 description 4
- 210000000887 face Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种图片查询方法及装置,用以解决现有技术中存在图片查询速度慢,精确度低以及操作繁琐的问题。本发明方法,通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,该方法包括步骤:对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片。本发明还公开了一种图片查询装置。本发明用于图片查询,提高图片查询的精确度,简化图片查询操作。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图片查询方法及***。
背景技术
随着数码相机、摄像头等图像采集设备的普及,图片已经和文字一样成为人们生活中最重要的信息载体之一,但是,大量图片的整理和查找,却越来越成为人们的负担,图片的组织和查询一直都是一个待解决的困难问题。
现有的图片浏览软件,只能支持诸如基于文件名称的查询、基于文件夹的图片组织浏览等非智能功能,无法满足人们对于快捷方便智能的需求。存在的少量基于图片内容的智能图片管理软件,往往对整幅图片进行特征提取和匹配分类,由于没有能区分重要区域和非重要的背景区域,因而精确度较差。
与此同时,模式识别和计算机视觉技术发展到今天,取得了很多成熟技术和应用成果。其中包括人脸检测、人体检测、表情识别、性别识别、人脸认证、物体匹配等在内的技术都取得了很多成果,这些成果在各自领域中都取得了很多有价值的应用,为人们提供了很多智能快捷方便的产品。但是,这些高层次的图像信息并没有被应用在图片组织和查询***中,传统的采用图像整体色彩、纹理、形状、边缘等信息来进行图片匹配的***,由于仅仅采用了图像的低层次信息,无法精确描述图片之间的相似程度,查找结果往往不能如人所愿。
人们生活中采集的图片,尤其是所拍摄的照片,其中最为重要的主体就是人,图片中最重要的区域就是人所在的区域,但是现有技术并没有以人为主体进行图片查询。
综上,现有技术图片查询操作繁琐,查询精确度低。
发明内容
本发明提供一种图片查询方法及装置,用以解决现有技术中存在图片查询操作繁琐,查询精确度低的问题。
本发明方法,通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,其中,所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数,该方法包括以下步骤:
获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值;
对每个所述比较值进行加权,获得综合比较值;
输出与所述综合比较值相对应的图片。
所述图片的特征参数存储在预先建立的索引表中;
则,所述对输入的特征参数与预先存储的图片的特征参数进行比较的步骤为:对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较。
所述图片的特征参数为人脸检测信息和/或人体检测信息。
当所述图片包括人脸时,所述预先保存的图片的特征参数还包括人脸识别特征参数,则该方法包括:
输入包括人脸的图片,提取该图片的人脸识别特征参数,并将该特征参数与预先保存的图片的人脸识别特征参数进行比较,输出与所述输入的图片中的人脸相同和/或相似的图片。
本发明装置包括:
图片查询单元,用于预先通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,其中,所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数,获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值;对每个所述比较值进行加权,获得综合比较值;输出与所述综合比较值相对应的图片。
所述图片查询单元包括:
图片检测信息获取单元,用于预先通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数;
查询单元,用于对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片。
所述查询单元包括:
比较单元,用于对输入的特征参数与预先存储的图片的特征参数进行比较;
输出单元,用于根据所述比较结果,输出符合所述输入的特征参数的图片。
所述图片查询单元还包括:
索引表单元,用于根据所述图片的特征参数,建立索引表;
则,所述查询单元,用于对输入的特征参数与存储在预先建立的所述索引表中的图片的特征参数进行比较,输出符合所述输入的特征参数的图片。
所述图片的特征参数为人脸检测信息和/或人体检测信息。
当所述输入的特征参数包括一个以上的参数时,所述比较单元包括:
获得比较值单元,用于获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值;
加权单元,用于对每个所述比较值进行加权,获得综合比较值,将该综合比较值发送给所述输出单元;
则,所述输出单元用于输出与所述综合比较值相对应的图片。
当所述图片包括人脸时,所述预先保存的图片的特征参数还包括人脸识别特征参数,则,
所述图片检测信息获取单元,还用于提取图片的人脸识别特征参数;
所述查询单元,用于将所述人脸识别特征参数与预先保存的图片的人脸识别特征参数进行比较,输出与所述输入的图片中的人脸相同和/或相似的图片。
本发明对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片其中,所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数,获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值;对每个所述比较值进行加权,获得综合比较值;输出与所述综合比较值相对应的图片。通过该技术方案,提高了图片查询的精确度,简化了图片查询操作。
附图说明
图1为本发明方法的流程示意图;
图2为本发明方法实施例的流程示意图;
图3为本发明方法实施例中层次型分类器的结构示意图;
图4为本发明方法实施例中七组弱特征的示意图;
图5为本发明方法实施例中表情识别处理的流程示意图;
图6为本发明装置实施例的结构示意图。
具体实施方式
本发明公开了一种图片查询方法及装置,通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片的技术方案,提高了图片查询的精确度,简化了图片查询操作。
参见图1,本发明方法包括步骤:
S101、通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数;
S102、对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片;
较佳地,所述图片的特征参数存储在预先建立的索引表中,所述对输入的特征参数与预先存储的图片的特征参数进行比较的步骤为:对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较;
较佳地,所述图片的特征参数为人脸检测信息和/或人体检测信息;
较佳地,当所述输入的特征参数包括一个以上的参数时,步骤S102包括:
获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值;
对每个所述比较值进行加权,获得综合比较值;
输出与所述综合比较值相对应的图片;
较佳地,所述每张图片的特征参数包括以下一种或多种参数:
每张图片中包含的人的数目,每个人的表情、性别以及呈现部分;
较佳地,当所述图片包括人脸时,所述预先保存的图片的特征参数还包括人脸识别特征参数,则本发明方法包括:
输入包括人脸的图片,提取该图片的人脸识别特征参数,并将该特征参数与预先保存的图片的人脸识别特征参数进行比较,输出与所述输入的图片中的人脸相同和/或相似的图片。
本发明提供的实施例采用模式识别和计算机视觉领域的先进技术,抛弃传统方法中对图像整体进行颜色、纹理、形状信息提取的方式,首先采用人脸检测、人体检测等方式获取图片中与人相关的区域作为匹配的重要区域,这样就最大程度的降低了背景区域的干扰;然后,对于提取得到的人脸,采用表情识别、性别识别等技术进一步得到人的信息,而对于得到的人体,获取人体区域的颜色、纹理、形状等信息作为人体的特征,这些高层次信息为查询提供了更多的可选匹配信息,从而能更精确的得到目标图片,为了更好地衡量图片之间的相似程度,本发明实施例采用人脸认证技术来确定不同人脸间的相似程度,采用物体匹配技术来确定人体之间的相似程度,并将二者结合在一起作为人所在区域的相似度,之后将这些人所在区域之间相似度作为图片相似度的重要衡量指标,这样,就避免了低层次信息无法精确描述图片内容相似度的缺陷,从而能得到更为精确的匹配结果;
在提取得到图片中人的相关信息之后,***会自动为图片和图片中含有的人分别建立索引表:图片索引表中,每张图片是一个索引项,人索引表中,每个人是一个索引项,而一个人的索引可能会含有人脸记录、人体记录中的一种或者两种,两个索引表中,图片和图片中的人存在对应关系,便于查找管理;
在上述技术获取得到的人脸、人体信息,和不同人之间的相似程度的基础上,本发明实施例基于两个索引表构建了一个查询***,该***支持两种查询方式,第一种,以图片为目标进行查询,采用图片中含有的人的数目、人的表情、性别以及是否含有人脸或人体来进行分类和查询(如果引入其他技术获取更多人的信息,也可以很容易添加到***中作为查询项);第二种,以人脸/人体为查询主体,对于索引中的人脸/人体,采用人脸认证或物体匹配技术获取其与索引表中存在的所有其他人脸/人体的相似程度,并按照相似程度由大到小排列显示,还支持由查询结果的人脸/人体链接到对应的图片,便于查找相同/相似的人的图片。
那么,下面提供本发明方法的一个具体实施例,如图2所示,包括步骤:
S201、对于待分类的所有图片,进行人脸检测、人体检测,得到图片中人的数目、大小、位置;
将没有检测到人脸和人体的图片分类为风景图片;
为了获取图片中人的相关信息,需要进行人脸检测、人体检测、表情识别、性别识别、人脸认证、物体匹配等技术,下面分别举例说明各技术可以采用的实施方案;
在本实施方案中,人脸检测、人体检测、性别识别都统一采用了一种基于层次型连续自适应加强法(Real-Adaboost,Real Adaptive boosting)的模式识别方法,该层次型Real-Adaboost算法的处理流程如下:
第一步,对于给定的已经标定样本的类别标号和对应的候选弱特征,采用Real-Adaboost弱特征构造选择算法构造弱分类器;
第二步,采用第一步中选择构造的一系列弱分类器构造强分类器;
第三步,采用多个第二步中训练得到的强分类器构造层次型分类器;
在每轮迭代中,对于弱分类器构造算法,采用区域分割弱分类器构造方法来构造弱分类器,并从中选取使得分类误差上界最小的弱分类器作为本轮输出,弱分类器构造选择算法如下:
在分布D1上,对于候选特征空间H中的每个特征构造其对应的弱分类器:将样本空间分为n个不同的区间X1,...,Xn,X1∪X2∪...∪Xn=X且 在分布D1上,计算:
对于Xj中的每个x,设定其对应的弱分类器输出为:
其中,ε<<1/2N,引入ε是为了避免分母为零时引起的数字溢出;
计算
从构造的所有弱分类器中,选择使得Z最小的h作为此轮最终选择输出的弱分类器,即
Real AdaBoost算法的强分类器训练算法流程如下:
给定训练集L={(xi,yi,i=1,...,n,yi∈{+1,-1}是样本标号,xi∈X是样本特征;
样本的初始权重
迭代次数t=1,...,T:在该轮分布D1上,采用弱分类器构造选择算法,获取此轮最佳的弱分类器,得到h1:X→{+∝,-∝};
更新样本的权重 其中 是规一化因子;
输出最后的强分类器:
如图3所示为层次型分类器的结构示意图,层次型分类器分为多层,每一层都是自适应加强法(AdaBoost)算法训练得到的一个强分类器,最初,我们随机选择反样本和所有正样本采用步骤二中的强分类器训练算法训练得到一个强分类器作为层次型分类器的第一层,然后,我们采用层次型分类器对所有反样本进行检测,对于通过层次型分类器而成为误检的反样本,我们重新采用他们与正样本训练得到一个新的强分类器作为层次型强分类器的下一层,并采用新的层次型分类器,对所有反样本进行检测,采用误检反样本和正样本训练得到新的强分类器作为层次型分类器的下一层,直到误检反样本比例达到要求,这样,层次型分类器每一层都能让几乎全部正样本通过,而拒绝很大一部分负样本,靠近前面的各层,采用少量的特征却拒绝了大部分的负样本,靠近后面的各层,虽然采用大量的特征来排除干扰大的反样本,但是由于需要处理的窗口数目很少,对于整体运算时间的耗费很小,就在保证分类效果的同时,提高了分类速度;
此外,为了完成层次型Real-Adaboost算法,我们还必须设计弱分类器训练中需要的弱特征,如图4所示为七组弱特征示意图,我们采用图4所示的七组弱特征作为候选弱特征;
层次型Real-Adaboost算法能很好的解决两类分类问题,而人脸检测、人体检测、性别识别都属于两类分类问题,因而可以采用层次型Real-Adaboost算法进行分类判断,对于人脸检测,人脸和非人脸为需要区分的两类,采用这两类样本训练层次型Real-Adaboost就可以得到能够从图片中检测到人脸所在位置和大小的检测器,对于人体检测,人体和非人体为需要区分的两类,采用这两类样本训练层次型Real-Adaboost就可以得到能自动从图片中检测到人体所在位置和大小的检测器,而对于性别识别,男和女为需要区分的两类,采用男人脸样本和女人脸样本训练层次型Real-Adaboost,就可以得到能够自动判定人脸性别的分类器;
人脸表情识别的具体步骤如图5所示,包括:
S501、采集人脸表情图像;
采集得到各种不同表情的人脸图像作为训练样本;
S502、人脸检测和眼睛定位;
采用人脸检测算法和眼睛定位算法获取人脸样本双眼位置;
S503、根据双眼位置割取归一化后的人脸图像;
采用形状和灰度归一化的方法获取人脸区域图像;
S504、人脸轮廓特征点定位;
S505、采用主动形状模型得到形状归一化后的人脸图像;
对于获取的人脸区域图像,采用主动形状模型(ASM,Active shape models)器官轮廓特征点定位算法定位其轮廓特征点,并将轮廓特征点归一化从而得到形状无关的人脸图像;
S506、提取Gabor特征;
提取形状无关的图像的Gabor特征;
S507、利用Adaboost挑选特征,并采用支持向量机进行训练;
采用Adaboost算法挑选Gabor特征中表征能力强的特征;
S508、识别模型;
将挑选得到的特征采用支持向量机(SVM,support vector machine)分类器进行训练得到表情识别模型;
需要指出的是,该算法中为了识别不同表情,会分别训练多个表情分类器,可以根据不同分类器的输出为当前人脸指定的表情给出一个;
下面介绍一下本实施例中人脸相似度的获取算法;
我们采用人脸认证算法来获取人脸相似度,例如,可以采用基于主分量分析的方法来进行人脸认证;
该算法步骤如下:
第一步,对于人脸检测获取的人脸图像,采用眼睛定位算法定位双眼;
第二步,根据双眼位置,获取形状归一化的人脸图像,即保证不同人脸的眼睛位于同一个位置上,此外,采用直方图均衡等算法对获取的人脸进行灰度归一化;
第三步,将采集得到的人脸经过第二步处理后,采用主成分分析(PCA,principal component analysis)方法训练得到人脸图像PCA空间;
第四步,对于需要比较相似度的两个人脸,分别将其投影到PCA空间,并记录前M个特征脸对应的PCA系数,然后计算PCA系数间的欧式距离,采用欧式距离作为人脸相似度;
下面介绍一下本实施例中人体相似度的获取算法;
我们需要采用物体匹配算法来衡量人体和人体之间的相似程度,例如,可以采用颜色直方图的方式来进行物体匹配,对于图片的红绿蓝三色(RGB,red,green,blue)值(采用三个字节数据表示,假定为r,g,b),首先,我们将其采用式:
((b>>6)+((g>>5)<<2)+(r & 224))
进行变换得到一个字节(byte)值用来表征象素(r,g,b)的颜色特征;之后,对于人体所在区域内的所有象素,统计其变换后的值的直方图,为了避免图像大小的影响,我们采用象素数目总和对直方图进行归一化,得到与图像大小无关的归一化直方图,对于两个人体,我们采用他们归一化直方图的相似度作为他们外观的相似度数值,例如,假定二者的直方图分别为hist0[256]和hist1[256],则其相似度为
对于两个人之间,既存在人脸对应,又存在人体对应的情况,二者之间的相似度取人脸相似度和人体相似度中的大者;
S202、对于有人存在的图片,获取其中每个人的人脸位置、大小和人体所在位置、大小;
采用表情识别判定主体人的表情,可以分为中性、开心、愤怒、惊讶等;
采用性别识别判定主体人的性别,分为男、女;
根据人脸和人体检测结果,判定该人是全身图片、半身图片、人脸;
S203、确定任意两个人脸之间的相似度,以及任意两个人体之间的相似度;
采用人脸认证技术确定任意两个人脸之间的相似度,并采用物体匹配技术确定任意两个人体之间的相似度;
本实施方案中,人脸检测、人体检测、性别识别都统一采用了一种基于层次型Real-Adaboost的模式识别方法;
对于两个人之间,既存在人脸对应又存在人体对应的情况,二者之间的相似度取为人脸相似度和人体相似度中的大者;
S204、根据图片的特征参数,建立索引表;
对每幅图片设定一个ID号,建立一个图片索引表,同时为检测图片所得到的每个人设定一个ID号,并建立一个人的索引表,并将每幅图片中出现的人和图片建立一个对应关系,即所述每张图片的标识与该图片中的每个人的标识相对应,所述图片中的每个人的标识与该人所在的每张图片的标识相对应,如:图片1中存在两个人,分别分配ID为1、2,则将人1、人2和图片1建立对应关系,能方便的从图片1查找到人1、人2,反之,从人1、人2也能方便的查找到图片1,当然,也可以从人1找到处于同一副图片中的人2;
每张图片索引项包含的信息为:该图片保存的路径、该图片中的人数、该图片所包含的每个人的位置和大小以及该人对应的ID;
每个人的索引项包含的信息为:该人ID,该人存在于的图片ID;该人的人脸位置和大小;该人的表情指数,即符合中性、开心、愤怒、惊讶的程度;该人的性别指数,即符合男、女的程度;该人的人***置、大小,对应一个矩形框,如果不存在人体项,则此项信息为空;该人的呈现部分,即全身像、半身像或仅脸部;该人的外观相似程度,即该人与索引表中其他人的相似程度,如果无法比较则外观相似程度为0;
如果不存在人脸项,则人脸位置、大小记录为空,表情指数、性别指数均为0;
S205、对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较;
本实施例中可以通过以下两种查询方式进行图片查询,详细说明如下;
第一种查询方式,以图片为主体进行查询,查找满足某限定条件的图片;
采用图片中含有人的数目、含有人的表情、性别以及呈现部分来进行分类和查询,如果引入其他技术获取更多人的信息,也可以很容易添加到***中作为查询项;
按照图片中是否有人存在,首先将照片分为有人照片和风景照片两类;
对于有人照片,依照候选照片索引项与查询条件的人数、表情、性别、呈现部分的匹配程度计算加权的综合匹配程度,假设人数匹配程度为S1,表情匹配程度为S2,性别匹配程度为S3,呈现部分匹配程度为S4,权值分别为w1,w2,w3,w4,并且,(w1+w2+w3+w4)=1,则最终的综合匹配程度为最后依照各图片索引项的综合匹配程度由大到小将各索引项进行排列显示;
本实施例中具体匹配程度计算的方法如下:
人数匹配程度计算规则:人数的匹配规则可以包括“=”,“>”,“>=”,“<”,“<=”等,对应一个匹配区间[a,b],假定图片中最大人数为20,最小人数为0。如果候选图片人数为p,则找到匹配区间中与p最接近的值,假设该值为q,以该值为中心,匹配区间宽度为方差得到一个一维高斯分布,设定匹配程度计算公式为如:匹配条件设定为>=2,对应匹配区间为[2,20],如果候选图片中包含人数p为3,则匹配区间与候选最接近值q为3,匹配程度则为认为匹配程度为1;如果匹配条件设定为=1,匹配区间为[1,1],如果候选图片人数p为3,与匹配区间最接近值n=1,匹配程度为
表情匹配程度计算规则:表情的匹配规则可以包括包含某种表情和不包含某种表情。首先对于图片中存在的所有人脸,读取其记录在索引中的符合中性、开心、愤怒、惊讶的程度,计算图片中所有人脸中符合该表情程度最大的值mexp,如果设定为包含某种表情,则匹配程度为mexp;如果设定规则为不包含某种表情,则匹配程度为1-mexp;
性别匹配程度计算规则:性别的匹配规则可以设定为包含某种性别和不包含某种性别,首先,对于图片中的所有人脸,读取其记录在人索引中的性别指数,得到所有人中最大值mgend,如果匹配规则设定为包含某种性别,则匹配程度为mgend,如果匹配规则设定为不包含某种性别,则匹配程度为1-mgend;
呈现部分匹配程度:呈现部分可分为全身像、半身像、仅脸部等,匹配规则可以包含符合某类,和不符合某类,如果同类,匹配程度为1,如果不同类,当为全身像和半身像,或者半身像和仅脸部时,匹配程度为0.5,当为全身像和仅脸部时为0。对于图片中所有人,得到最大的呈现部分匹配程度mpart,如果匹配规则为包含某类,则图片的呈现部分匹配程度为mpart,如果匹配规则为不包含某类,则图片的呈现部分匹配程度为1-mpart;
***可在信息提取阶段增加其他信息,从而可以增加分类标准和分类情况;
第二种查询方式,以人为查询主体,查找与索引表中某人相近且满足查询条件的人以及该人对应图片;
对于人的索引表中存在的某一索引项,按照其与索引表中其他索引项的外观相似程度、图片人数匹配程度、表情匹配程度、性别匹配程度、呈现部分匹配程度等得到加权的综合匹配程度,并按该值由大到小的顺序排列显示对应的其他索引项,并能够由人索引项自动链接到对应的图片,便于查找相同/相似人的图片,从而达到方便快捷查找目标图片的目的;
用户选择需要查询的人对应的索引项信息,设定需要查询的对象的表情匹配条件、性别匹配条件、呈现部分匹配条件、图片人数匹配条件,并设定外观相似度的权值w0′、图片人数匹配程度的权值w1′、表情匹配程度的权值w2′、性别匹配程度的权值w3′、呈现部分匹配程度的权值w4′,***按照待查索引项与索引表中其他索引项的外观相似程度图片人数匹配程度表情匹配程度性别匹配程度呈现部分匹配程度等,得到加权的综合匹配程度值按照该综合匹配程度值的从大到小的顺序,对相应的索引项进行排列显示;
本实施例中具体匹配程度的计算方法如下:
外观相似度计算规则:从索引表中获取待查索引项和候选索引项共有的人脸/人体记录的匹配程度,即如果待查索引项和候选索引项均包含人脸记录,则采用人脸认证算法计算待查索引项与候选索引项的人脸外观相似程度,如果待查索引项和候选索引项均包含人体记录,则采用物体匹配算法计算待查索引项和候选索引项的人体外观相似程度,最后依据待查索引项和候选索引项的人脸、人体匹配程度得到综合的人体、人脸匹配程度,如果待查索引项和候选索引项都同时包含人体和人脸,则采用人脸相似度和人体相似的均值作为外观相似度值,如果共有部分只为人体或者人脸,则采用人体或者人脸的外观相似度作为人的外观相似度,如果没有共有部分,则外观相似度为0;
人数匹配程度计算规则:采用待查索引项中人所在的图片与候选索引项人所在图片的人数匹配程度作为待查和候选人索引项的人数匹配程度;
表情匹配程度计算规则:表情的匹配规则可以包括某种表情和非某种表情,读取待查索引项中的人符合匹配规则对应表情的程度e,如果规则设定为某种表情,则匹配程度为e;如果设定规则为非某种表情,则匹配程度为1-e;
性别匹配程度:性别的匹配规则可以设定为某种性别和非某种性别,读取待查人索引项的性别指数g,如果匹配规则设定为某种性别,则匹配程度为g,如果匹配规则设定为非某种性别,则匹配程度为1-g;
呈现部分匹配程度:呈现部分可分为全身像、半身像、仅脸部等,匹配规则可以是符合某类,和不符合某类,如果同类,匹配程度为1,如果不同类,当为全身像和半身像,或者半身像和仅脸部时,匹配程度为0.5,当为全身像和仅脸部时,匹配程度为0,按照上述设定的规则,得到待查和候选人呈现部分匹配程度u,如果匹配规则为符合某类,则匹配程度为u,如果规则为不符合某类,则匹配程度为1-u;
对于查找与输入的待查询图片中的人相似的人所在的图片的情况,先将输入的图片进行信息提取,并将提取到的信息添加到索引表,然后,转化为查找与索引表中某人相似且满足条件的人以及该人对应的图片;
***还能很容易扩展增加诸如图片拍摄时间、图片大小、格式等非智能查询项;
S206、输出符合所述输入的特征参数的图片;
为了更好地给出满足查询要求的图片,本发明根据用户提交的查询条件参数指定模糊查询匹配规则对所有图片进行排列显示,***会根据候选图片与各项查询要求之间的符合程度给出匹配程度值,为不同的查询参数设定不同权重,最后,综合候选图片与各项查询要求的匹配程度给出一个总的匹配程度作为各个图片排序的依据;其中,所述的查询要交为所述索引表中的索引项所包括的各个信息参数;
当所述输入的查询条件参数包括一个以上的参数时,获得每个所述输入的查询条件参数与所述索引表中的相应参数的匹配值;对每个所述匹配值进行加权,获得综合匹配值;根据所述综合匹配值,显示查询到的每张图片。
以下提供本发明装置的一种实施例;
参见图6,本发明一种图片查询装置包括:图片查询单元31;
所述图片查询单元31包括:图片检测信息获取单元311、索引表单元312和查询单元313;
所述查询单元313包括:比较单元3131和输出单元3132;
所述比较单元3131包括:获得比较值单元31311和加权单元31312;
所述图片查询单元31,用于预先通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片;
其中,所述图片的特征参数为人脸检测信息和/或人体检测信息;
所述每张图片的特征参数包括以下一种或多种参数:
每张图片中包含的人的数目,每个人的表情、性别以及呈现部分;
所述图片检测信息获取单元311,用于预先通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数;
所述索引表单元312,用于根据所述图片的特征参数,建立索引表;
所述查询单元313,用于对输入的特征参数与存储在预先建立的所述索引表中的图片的特征参数进行比较,输出符合所述输入的特征参数的图片;
其中,所述比较单元3131,用于对输入的特征参数与预先存储的图片的特征参数进行比较;
当所述输入的特征参数包括一个以上的参数时,所述获得比较值单元31311,用于获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值;
所述加权单元31312,用于对每个所述比较值进行加权,获得综合比较值,将该综合比较值发送给所述输出单元;
所述输出单元3132,用于输出与所述综合比较值相对应的图片;
当所述图片包括人脸时,所述预先保存的图片的特征参数还包括人脸识别特征参数;
当输入一张包括人脸的图片时,所述图片检测信息获取单元311,还用于提取所述图片的人脸识别特征参数;所述查询单元313,用于将所述人脸识别特征参数与预先保存的图片的人脸识别特征参数进行比较,输出与所述输入的图片中的人脸相同和/或相似的图片。
本发明公开了一种图片查询方法和装置,例如,采用人脸检测、人体检测、表情识别、性别识别等技术获取图片中人的相关信息,并根据获取的信息对图片进行组织和查询,所述查询可以是基于图片内容和基于主体身份的两种查询,因此,本发明为大量图片的整理和查询工作提供了一种简单快捷的解决方案,提高了图片查询的精确度,简化了图片查询操作,本发明方案具有很强的应用前景。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (11)
1.一种图片查询方法,其特征在于,通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,其中,所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数,该方法包括以下步骤:
获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值;
对每个所述比较值进行加权,获得综合比较值;
输出与所述综合比较值相对应的图片。
2.如权利要求1所述的方法,其特征在于,所述图片的特征参数存储在预先建立的索引表中;
则,所述对输入的特征参数与预先存储的图片的特征参数进行比较的步骤为:对输入的特征参数与存储在预先建立的索引表中的图片的特征参数进行比较。
3.如权利要求1所述的方法,其特征在于,所述图片的特征参数为人脸检测信息和/或人体检测信息。
4.如权利要求1所述的方法,其特征在于,当所述图片包括人脸时,所述预先保存的图片的特征参数还包括人脸识别特征参数,则该方法包括:
输入包括人脸的图片,提取该图片的人脸识别特征参数,并将该特征参数与预先保存的图片的人脸识别特征参数进行比较,输出与所述输入的图片中的人脸相同和/或相似的图片。
5.一种图片查询装置,其特征在于,该装置包括:
图片查询单元,用于预先通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数,其中,所述每张图片的特征参数包括每张图片中包含的人的数目、每个人的表情、性别以及呈现部分中的多种参数,获得输入的每个特征参数与预先存储的图片的相应特征参数的比较值;对每个所述比较值进行加权,获得综合比较值;输出与所述综合比较值相对应的图片。
6.如权利要求5所述的装置,其特征在于,所述图片查询单元包括:
图片检测信息获取单元,用于预先通过对每张图片的区域进行划分提取每张图片的特征参数,并保存所述每张图片的特征参数;
查询单元,用于对输入的特征参数与预先存储的图片的特征参数进行比较,输出符合所述输入的特征参数的图片。
7.如权利要求6所述的装置,其特征在于,所述查询单元包括:
比较单元,用于对输入的特征参数与预先存储的图片的特征参数进行比较;
输出单元,用于根据所述比较结果,输出符合所述输入的特征参数的图片。
8.如权利要求6所述的装置,其特征在于,所述图片查询单元还包括:
索引表单元,用于根据所述图片的特征参数,建立索引表;
则,所述查询单元,用于对输入的特征参数与存储在预先建立的所述索引表中的图片的特征参数进行比较,输出符合所述输入的特征参数的图片。
9.如权利要求5所述的装置,其特征在于,所述图片的特征参数为人脸检测信息和/或人体检测信息。
10.如权利要求7所述的装置,其特征在于,当所述输入的特征参数包括一个以上的参数时,所述比较单元包括:
获得比较值单元,用于获得所述输入的每个特征参数与所述预先存储的图片的特征参数的比较值;
加权单元,用于对每个所述比较值进行加权,获得综合比较值,将该综合比较值发送给所述输出单元;
则,所述输出单元用于输出与所述综合比较值相对应的图片。
11.如权利要求6所述的装置,其特征在于,当所述图片包括人脸时,所述预先保存的图片的特征参数还包括人脸识别特征参数,则,
所述图片检测信息获取单元,还用于提取图片的人脸识别特征参数;
所述查询单元,用于将所述人脸识别特征参数与预先保存的图片的人脸识别特征参数进行比较,输出与所述输入的图片中的人脸相同和/或相似的图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007100645694A CN100464332C (zh) | 2007-03-20 | 2007-03-20 | 一种图片查询方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB2007100645694A CN100464332C (zh) | 2007-03-20 | 2007-03-20 | 一种图片查询方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101021870A CN101021870A (zh) | 2007-08-22 |
CN100464332C true CN100464332C (zh) | 2009-02-25 |
Family
ID=38709633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2007100645694A Active CN100464332C (zh) | 2007-03-20 | 2007-03-20 | 一种图片查询方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100464332C (zh) |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101594450B (zh) * | 2008-05-30 | 2012-11-21 | 鸿富锦精密工业(深圳)有限公司 | 数码相框中照片的自动分级方法 |
CN101350102B (zh) * | 2008-08-29 | 2012-10-10 | 北京中星微电子有限公司 | 一种化妆辅助方法及*** |
CN101546359A (zh) * | 2009-04-28 | 2009-09-30 | 上海银晨智能识别科技有限公司 | 人体生物信息整理***及整理方法 |
CN102122389A (zh) * | 2010-01-12 | 2011-07-13 | 阿里巴巴集团控股有限公司 | 一种图像相似性判断的方法及装置 |
CN102971766B (zh) * | 2010-06-30 | 2016-06-29 | 日本电气方案创新株式会社 | 头部检测方法、头部检测装置、属性判定方法、属性判定装置和属性判定*** |
CN102594896B (zh) * | 2012-02-23 | 2015-02-11 | 广州商景网络科技有限公司 | 电子相片共享方法及*** |
CN102914286B (zh) * | 2012-09-12 | 2014-09-10 | 福建网龙计算机网络信息技术有限公司 | 基于手持设备对使用者坐姿进行自动检测方法 |
CN103092946A (zh) * | 2013-01-11 | 2013-05-08 | 中兴通讯股份有限公司 | 终端批量图片选择的方法及*** |
CN103177102A (zh) * | 2013-03-22 | 2013-06-26 | 北京小米科技有限责任公司 | 一种图像处理方法和装置 |
CN104519267A (zh) * | 2013-09-30 | 2015-04-15 | 北京三星通信技术研究有限公司 | 一种控制拍摄的方法及终端设备 |
CN104182458B (zh) * | 2014-07-17 | 2019-02-01 | 百度在线网络技术(北京)有限公司 | 图片的关联存储方法和查询方法以及装置 |
CN105446997B (zh) * | 2014-07-22 | 2019-06-18 | 华为技术有限公司 | 图片内容识别方法和装置 |
CN104850600B (zh) * | 2015-04-29 | 2019-05-28 | 百度在线网络技术(北京)有限公司 | 一种用于搜索包含人脸的图片的方法和装置 |
CN104866564B (zh) * | 2015-05-21 | 2019-03-15 | 百度在线网络技术(北京)有限公司 | 图片搜索方法及装置 |
CN105138633A (zh) * | 2015-08-21 | 2015-12-09 | 成都秋雷科技有限责任公司 | 一种网页检索的方法 |
CN105354308A (zh) * | 2015-11-09 | 2016-02-24 | 惠州Tcl移动通信有限公司 | 一种移动终端的照片预览处理方法及*** |
CN105512255A (zh) * | 2015-12-01 | 2016-04-20 | 上海斐讯数据通信技术有限公司 | 图片筛选方法及装置、移动终端 |
CN106886789A (zh) * | 2015-12-16 | 2017-06-23 | 芋头科技(杭州)有限公司 | 一种图像识别分类装置及方法 |
CN106056138A (zh) * | 2016-05-25 | 2016-10-26 | 努比亚技术有限公司 | 照片处理装置及方法 |
CN107918624B (zh) * | 2016-10-11 | 2022-03-15 | 富士通株式会社 | 图像检索装置及方法、电子设备 |
CN107527033A (zh) * | 2017-08-25 | 2017-12-29 | 歌尔科技有限公司 | 摄像头模组和社交*** |
CN109426785B (zh) * | 2017-08-31 | 2021-09-10 | 杭州海康威视数字技术股份有限公司 | 一种人体目标身份识别方法及装置 |
CN109063656B (zh) * | 2018-08-08 | 2021-08-24 | 厦门市美亚柏科信息股份有限公司 | 一种利用多个人脸引擎进行人脸查询的方法及装置 |
CN109636938A (zh) * | 2018-12-28 | 2019-04-16 | 慕贝尔汽车部件(太仓)有限公司 | 培训考核*** |
CN109979057B (zh) * | 2019-03-26 | 2022-05-10 | 国家电网有限公司 | 一种基于云计算的电力通信安防人脸智能识别*** |
CN111447420A (zh) * | 2020-05-15 | 2020-07-24 | 广州全宇风信息科技有限公司 | 一种视频数据解析方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1184542A (zh) * | 1995-03-20 | 1998-06-10 | Lau技术公司 | 识别图象的***和方法 |
CN1403997A (zh) * | 2001-09-07 | 2003-03-19 | 昆明利普机器视觉工程有限公司 | 数字视频人脸自动识别*** |
US6665446B1 (en) * | 1998-12-25 | 2003-12-16 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US6690814B1 (en) * | 1999-03-11 | 2004-02-10 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
-
2007
- 2007-03-20 CN CNB2007100645694A patent/CN100464332C/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1184542A (zh) * | 1995-03-20 | 1998-06-10 | Lau技术公司 | 识别图象的***和方法 |
US6665446B1 (en) * | 1998-12-25 | 2003-12-16 | Canon Kabushiki Kaisha | Image processing apparatus and method |
US6690814B1 (en) * | 1999-03-11 | 2004-02-10 | Kabushiki Kaisha Toshiba | Image processing apparatus and method |
CN1403997A (zh) * | 2001-09-07 | 2003-03-19 | 昆明利普机器视觉工程有限公司 | 数字视频人脸自动识别*** |
Non-Patent Citations (6)
Title |
---|
基于Gabor滤波的多分类器集成人脸表情识别. 周艳平,夏利民,宋星光.长沙交通学院学报,第21卷第2期. 2005 |
基于Gabor滤波的多分类器集成人脸表情识别. 周艳平,夏利民,宋星光.长沙交通学院学报,第21卷第2期. 2005 * |
基于聚类的大型人脸检索***. 刘燕,张星明,郭宇聪.计算机工程,第31卷第15期. 2005 |
基于聚类的大型人脸检索***. 刘燕,张星明,郭宇聪.计算机工程,第31卷第15期. 2005 * |
证件照片的一种混合人脸识别方法. 华强胜,陈志刚.计算机工程,第29卷第10期. 2003 |
证件照片的一种混合人脸识别方法. 华强胜,陈志刚.计算机工程,第29卷第10期. 2003 * |
Also Published As
Publication number | Publication date |
---|---|
CN101021870A (zh) | 2007-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100464332C (zh) | 一种图片查询方法及*** | |
CN106815566B (zh) | 一种基于多任务卷积神经网络的人脸检索方法 | |
CN107330451B (zh) | 基于深度卷积神经网络的服装属性检索方法 | |
CN106897390B (zh) | 基于深度度量学习的目标精确检索方法 | |
Rachmadi et al. | Vehicle color recognition using convolutional neural network | |
CN108520226B (zh) | 一种基于躯体分解和显著性检测的行人重识别方法 | |
CN111340126B (zh) | 物品识别方法、装置、计算机设备和存储介质 | |
CN108510000A (zh) | 复杂场景下行人细粒度属性的检测与识别方法 | |
CN108268838B (zh) | 人脸表情识别方法及人脸表情识别*** | |
CN102184419B (zh) | 基于敏感部位检测的色情图像识别方法 | |
CN110532970B (zh) | 人脸2d图像的年龄性别属性分析方法、***、设备和介质 | |
CN109829467A (zh) | 图像标注方法、电子装置及非暂态电脑可读取储存媒体 | |
CN110334687A (zh) | 一种基于行人检测、属性学习和行人识别的行人检索增强方法 | |
CN107341688A (zh) | 一种客户体验的采集方法及*** | |
CN104992142A (zh) | 一种基于深度学习和属性学习相结合的行人识别方法 | |
CN107506703A (zh) | 一种基于无监督局部度量学习和重排序的行人再识别方法 | |
CN102880729A (zh) | 基于人脸检测与识别的人物图片索引方法及装置 | |
CN102902959A (zh) | 基于二代身份证存储证件照的人脸识别方法及*** | |
CN109934047A (zh) | 基于深度学习的人脸识别***及其人脸识别方法 | |
CN110443137A (zh) | 多维度身份信息识别方法、装置、计算机设备及存储介质 | |
CN111209818A (zh) | 视频个体识别方法、***、设备及可读存储介质 | |
CN110008899B (zh) | 一种可见光遥感图像候选目标提取与分类方法 | |
CN112149538A (zh) | 一种基于多任务学习的行人重识别方法 | |
CN115272652A (zh) | 基于多元回归和自适应焦点损失的密集物体图像检测方法 | |
CN109934258A (zh) | 特征加权和区域整合的图像检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C41 | Transfer of patent application or patent right or utility model | ||
TR01 | Transfer of patent right |
Effective date of registration: 20160520 Address after: 519031 Guangdong city of Zhuhai province Hengqin Baohua Road No. 6, room 105 -478 Patentee after: GUANGDONG ZHONGXING ELECTRONICS CO., LTD. Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Patentee before: Beijing Vimicro Corporation |