CN106776950A - 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法 - Google Patents

一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法 Download PDF

Info

Publication number
CN106776950A
CN106776950A CN201611097257.9A CN201611097257A CN106776950A CN 106776950 A CN106776950 A CN 106776950A CN 201611097257 A CN201611097257 A CN 201611097257A CN 106776950 A CN106776950 A CN 106776950A
Authority
CN
China
Prior art keywords
image
sigma
similarity score
expert
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611097257.9A
Other languages
English (en)
Other versions
CN106776950B (zh
Inventor
王新年
吴艳军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Maritime University
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN201611097257.9A priority Critical patent/CN106776950B/zh
Publication of CN106776950A publication Critical patent/CN106776950A/zh
Application granted granted Critical
Publication of CN106776950B publication Critical patent/CN106776950B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明是一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法,本发明对于与查询图像同一现场图像,利用专家经验给出相应的专家意见相似度得分,并利用该得分引导检索,提升检索精度;本发明构建专家意见得分预测模型,有效地避免了由人主观原因引起的检索精度的降低;本发明通过引入流形学习方法,考虑库中图像两两之间的关系,进一步提高检索精度;本发明引入了系数矩阵,有效地解决了传统流形学习检索中使计算排序得分趋于零的问题。通过实验证明本方法在现场鞋印花纹图像的检索实验中的检索精度明显优于现有技术,利用少量的同一现场鞋印花纹图像样本提高了检索性能。因此,本发明可以广泛用于现场鞋印花纹图像检索领域。

Description

一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法
技术领域
本发明涉及一种图像检索方法,特别是关于一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法。涉及专利分类号G06计算;推算;计数G06F电数字数据处理G06F17/00特别适用于特定功能的数字计算设备或数据处理设备或数据处理方法G06F17/30信息检索;及其数据库结构。
背景技术
在刑事案件中,鞋底痕迹花纹对于侦破案件发挥巨大的作用。其中,最具有挑战性的任务就是将犯罪现场遗留的低质量的鞋底痕迹花纹图像与数据库中的鞋底痕迹花纹比较,找出最匹配的一幅图像。现场鞋底痕迹花纹图像检索方法的目的是帮助鉴定专家准确的检索出最匹配的鞋底痕迹花纹图像,从而提高破案效率。
目前,国内外的鞋印花纹图像检索算法主要分为三类:基于鞋印花纹,基于局部区域和基于感兴趣点的检索方法。但是,这些方法都是对人工合成的清晰完整的鞋印痕迹图像进行检索,而在实际应用中,需要进行检索的鞋印痕迹图像多维现场采集的鞋印痕迹图像,且在多数环境下,现场采集的鞋印痕迹图像具有图像质量低,图像不完整或不清晰等特点,所以上面所提到的几类鞋印痕迹检索方法在实际应用中有很多限制。2015年XinnianWang等提出了一种基于小波-傅里叶变换的现场鞋印花纹图像自动检索方法,将鞋印痕迹图像分为脚掌和脚跟部分分别提取特征,具体方法为:对脚掌和脚跟部分分别进行小波变换,对小波变换后的图像进行傅里叶变换,对其幅值进行极坐标变换,并进行傅里叶变换的得到图像的频谱特征,以其频谱特征进行匹配。匹配的正确率为87.5%。
针对鞋印痕迹检索,虽然,现有技术已经取得了一定的成果,但是针对大量的低质现场鞋印痕迹图像,目前的方法并不能取得很好的检索结果,且现有现场鞋印痕迹图像检索方法只考虑查询图像与每幅库中图像的关系,未考虑库中图像两两间的关系。发明人在具体实现本发明的过程中,发现现有技术中存在以下问题:
1)现有方法均提取低级特征,并依据特征进行匹配,并没有考虑高级语义概念与低级特征之间的语义鸿沟,使得检索精度不高;2)现有方法没有利用与查询图像同一现场提取的其他鞋印痕迹图像,不利于检索性能的进一步提升;3)现有方法未引入刑侦人员的经验,容易造成客观的检索结果与刑侦人员的主观结果不一致。
有鉴于此,特提出本发明。
发明内容
针对上述问题,本发明的目的是提供一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法,包括如下步骤:
—计算待查询现场鞋印痕迹图像与图像库中样本图像之间的相似性,对所述图像库中的图像按相似度得分从大到小进行排序;计算图像库中任意两个图像样本之间的相似度得分,构建流形正则化项;
—由专家依据两幅鞋印痕迹图像的花纹相似程度按经验划分成多个相似等级和等级对应的分数,依据上述等级,对所述查询图处于同一现场的样本图像,标记相应的相似分数,作为其专家主观意见相似度得分,
—查找图像库中与查询现场鞋印痕迹图像采集自同一现场的样本图像的k个最近邻图像;赋予k个最近邻图像专家主观意见相似等级和等级对应的分数,对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家主观意见相似度得分表示为:
其中oi为表示查询图像及与查询图像采集自同一现场的图像集中第i幅图像的专家主观意见相似度得分,w(qj,ui)为与查询图像采集自同一现场的图像集中第j幅图像与其k个最近邻图像的相似度得分,其计算形式如下:
其中,Amn为与查询图像采集自同一现场的图像集Q中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为库中k个最近邻图像的频谱特征中的元素,表示频谱特征B的平均值;
-构建专家主观意见相似度得分ys预测模型:
对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的预测专家意见相似度得分表示为上述关于查询图像与该图像相似度的一个四参数逻辑回归函数;
-上述预测模型的参数通过学习得到,构建并使用训练样本库T={(x(i),y(i)),i=1,2,…,M},利用最小二乘法学习上述预测模型的参数,并求得最优化参数为:
训练样本库T中的图像被随机分为LT组,每组中由一个参考图像和其余n(i)幅鞋印痕迹图像组成;
令多位刑侦专家对训练样本库T中各组的图像,依据其与该组参考图像的相似程度,分别给出专家意见相似度得分,并对专家意见相似度得分取平均,记为y(i);计算每组参考图像与该组其余图像的相似度得分x(i),相似度得分计算公式为:
其中,Amn为训练样本库中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为训练样本库中该组参考图像的频谱特征中的元素,表示频谱特征B的平均值;
-对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像,利用公式对专家主观意见相似度得分和预测专家意见相似度得分进行融合,其中as和ap表示权重系数,且as+ap=1;对于图像库中其他图像
-构造并求解目标函数,计算各图像样本的排序分数,给出排序结果,完成图像检索;所述的目标函数如下所示:
其中f*为最优计算排序得分,ui表示图像库U中的第i幅图像,fi为图像库U中的第i幅图像排序得分;α,β,γ为权重系数,α<β,0<α,β,γ<1,R为系数矩阵,为对角阵,Ri,i表示R中第i行第i列元素;W表示邻接矩阵,其中元素对应的是图像库U中任意两幅样本图像的相似度得分;C是一个对角矩阵,Cii为其对角线上第i个元素,Cii表示第i幅图像与其余图像的相似度的和,qi为与查询图像采集自同一现场的图像集Q中第i幅图像,q1为查询图像,Nk(qi)为qi的k个最近邻图像;为专家意见相似度得分。
作为优选的实施方式,所述的图像库,
其中表示采集自不同现场的待检索鞋印痕迹图像集,表示查询图像及与查询图像采集自同一现场的图像集,其中q1为查询图像。
作为优选的实施方式,所述计算待查询现场鞋印痕迹图像与图像库中样本图像之间的相似性具体过程如下:
-对库中样本图像提取二值图频谱特征,得到样本图像与查询图像的相似性;
-依据所得到的相似性对样本图像库中的鞋印痕迹花纹图像进行排序,使样本图像库中得每幅图像获得一个排序索引Ind(ui);
-构建目标函数第一项的系数矩阵R,R为一个对角矩阵,R中第i行第i列元素Rii的值为
其中K表示场鞋印痕迹样本图像库中图像的总数,K=n+N。
作为优选的实施方式,所述两个图像样本之间的相似性,并构建流形正则化项具体包括如下步骤:
-计算图像库U中两个图像样本之间的二值图频谱特征的相似度得分w(ui,uj),依据如下计算公式:
其中,Amn为图像库U中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为图像库U中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征B的平均值;依据该相似度得分,可以得到相似度矩阵W(i,j)=w(ui,uj);
-通过相似度得分构建拉普拉斯流形正则化项,其中
作为优选的实施方式,由专家依据两幅鞋印痕迹图像的花纹相似程度按经验划分成多个相似等级和等级对应的分数,依据上述等级,对所述查询图处于同一现场的样本图像,标记相应的相似分数,作为其专家主观意见相似度得分,
-查找图像库中与查询现场鞋印痕迹图像采集自同一现场的样本图像的k个最近邻图像;赋予k个最近邻图像专家主观意见相似等级和等级对应的分数,对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家主观意见相似度得分表示为:
其中,表示查询图像及与查询图像采集自同一现场的图像集,qi为该图像集中的图像,Nk(qj)为其k个最近邻图像,oi为其专家主观意见得分,w(qj,ui)为qj与其k个最近邻图像的相似度。
其中oi为表示查询图像及与查询图像采集自同一现场的图像集中第i幅图像的专家主观意见相似度得分,w(qj,ui)为与查询图像采集自同一现场的图像集中第j幅图像与其k个最近邻图像的相似度得分,其计算形式如下:
其中,Amn为与查询图像采集自同一现场的图像集中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为库中k个最近邻图像的频谱特征中的元素,表示频谱特征B的平均值;
作为优选的实施方式,所述的目标函数的转化为矩阵形式的求解过程如下:
求最优化f使得Q(f)最小,Q(f)对f的导数可写为:
令其等于零,即
按照计算排序得分的高低对库中图像样本进行排序,输出排序后的结果。
本发明由于采取以上技术方案,其具有以下优点:
(1)创新性:1)提出了一种新的基于专家经验引导的检索方法,利用专家经验,给出意见相似度得分,并引导检索,提升检索精度;
2)构建了专家意见相似度得分预测模型,用多位专家的意见相似度得分训练模型,有效地避免了由人的主观因素引起的检索精度的降低;
3)利用少量的同一现场鞋印花纹图像样本及其k个最近邻样本提高了检索性能;
4)与传统流形学习方法不同,本发明只考虑与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像对检索的引导作用,有效地避免库中其余图像计算排序得分趋于非常小的值;
5)通过流形正则化学习,通过参考库中图像两两之间的关系,进一步提高检索精度。
(2)有效性:通过实验证明本方法在现场鞋印花纹图像的检索实验中的检索精度明显优于现有技术,利用少量的同一现场鞋印花纹图像样本提高了检索性能。
附图说明
图1是本发明实施例的现场鞋印痕迹花纹图像检索方法的流程图;
图2是现场采集到的鞋印痕迹图像的示意图;
图3是现场采集到的鞋印痕迹图像经过二值化处理后的图像的示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述,但并不因此而限定本发明的内容。
设现场鞋印痕迹样本图像库其中表示采集自不同现场的待检索鞋印痕迹图像集,表示查询图像及与查询图像采集自同一现场的图像集,其中q1为查询图像;
如图1所示,一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其包括以下步骤:
步骤101、计算查询图与图像库中图像样本之间的相似性,并依此对图像样本进行排序;
其中该步骤具体包括:
(1)对库中样本图像提取二值图频谱特征,上述特征提取算法为Wang XN,Sun HH,Yu Q,Zhang C(2015)Automatic Shoeprint Retrieval Algorithm for Real CrimeScenes.ACCV,Singapore,pp 399-413;
得到样本图像与查询图像的相似性,依据公式
其中,Amn为库中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为查询图像的频谱特征中的元素,表示频谱特征B的平均值;
(2)依据相似性对样本图像库中的鞋印痕迹花纹图像进行排序,使样本图像库中得每幅图像获得一个排序索引Ind(ui);
(3)构建目标函数第一项的系数矩阵R,
R为一个对角矩阵,R中第i行第i列元素Rii的值为其中K表示场鞋印痕迹样本图像库中图像的总数,K=n+N
由于目前的主流只考虑查询图与库中样本图像的相似度,并未考虑到样本图像之间的相互关系也是影响查全率的重要因素之一,所以导致现有算法的查全率不甚理想,故作为优选的实施方式,
步骤102、计算图像库中任意两个图像样本之间的相似性,并构建流形正则化项;
其中该步骤具体包括:
(1)计算图像库U中两个图像样本之间的二值图频谱特征的相似度得分w(ui,uj),依据计算公式
其中,Amn为图像库U中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为图像库U中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征B的平均值。依据该相似度得分,可以得到相似度矩阵W(i,j)=w(ui,uj);
(2)通过相似度得分构建拉普拉斯流形正则化项,其中
步骤103、由刑侦专家对与查询图同一现场图像样本,依据其与查询图像的相似性,对其相似性程度进行划分为五个等级,并给每个相似度等级分配对应的专家主观意见相似度分数;
对所述图像样本库中与查询现场鞋印痕迹图像采集自同一现场的样本图像按照与查询鞋印花纹图像的相似性程度划分为五个等级,相同,近似相同,相似,近似相似及不同,并给每个相似度等级分配对应的专家主观意见相似度分数,例如分别为1,0.8,0.6,0.4,0.2;
步骤104、查找库中与查询现场鞋印痕迹图像采集自同一现场的样本图像的k个最近邻图像,并赋予k个最近邻图像相同的专家主观意见相似度分数;
其中该步骤具体包括:
查找图像库中与查询现场鞋印痕迹图像采集自同一现场的样本图像的k个最近邻图像,在本实施例中k的数值取5;赋予k个最近邻图像,即与其相似程度最大的k个图像,专家主观意见相似等级和等级对应的分数,对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家主观意见相似度得分表示为:
其中,表示查询图像及与查询图像采集自同一现场的图像集,qi为该图像集中的图像,Nk(qj)为其k个最近邻图像,oi为其专家主观意见得分,w(qj,ui)为qj与其k个最近邻图像的相似度。
其中,Amn为与查询图像采集自同一现场的图像集Q中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为库中k个最近邻图像的频谱特征中的元素,表示频谱特征B的平均值;
这样可以得到与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家主观意见相似度分数ys
步骤105、构建并训练专家意见相似度分数预测模型,对与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家意见相似度分数进行预测;
其中该步骤具体包括:
1)构建专家意见相似度分数预测模型:
对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的预测专家意见相似度得分表示为上述关于查询图像与该图像相似度的一个四参数逻辑回归函数;
2)上述预测模型的参数通过学习得到,构建并使用训练样本库T={(x(i),y(i)),i=1,2,…,M},利用最小二乘法学习上述预测模型的参数,并求得最优化参数为:
参数用最小二乘法获得最优参数λ1λ2λ3λ4初始取值分别为,λ1的初始值为所有训练样本库中图像平均专家意见得分的最大值max(y),λ2的初始值为所有训练样本库中图像平均专家意见得分的最小值min(y),λ3的初始值为所有训练样本库中图像平均专家意见得分的均值mean(y),λ4的初始值为1。
训练样本库T中的图像被随机分为LT组,每组中由一个参考图像和其余n(i)幅鞋印痕迹图像组成;
令多位刑侦专家对训练样本库T中各组的图像,依据其与该组参考图像的相似程度,分别给出专家意见相似度得分,并对专家意见相似度得分取平均,记为y(i);计算每组参考图像与该组其余图像的相似度得分x(i),相似度得分计算公式为:
其中,Amn为训练样本库中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为训练样本库中该组参考图像的频谱特征中的元素,表示频谱特征B的平均值;
步骤106、专家主观意见相似度分数及预测专家意见相似度分数进行融合,得到专家意见相似度得分;
对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像,利用步骤103和步骤104,可以得到其专家主观意见相似度得分ys,利用步骤105可以得到其预测专家意见相似度得分yp,对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像,利用公式对专家主观意见相似度得分和预测专家意见相似度得分进行融合,其中as和ap表示权重系数,且as+ap=1;对于图像库中其他图像
步骤107、构造并求解目标函数,计算各图像样本的排序分数,把排序后的结果反馈给用户。
其中该步骤构造的目标函数如下:
其中f*为最优计算排序得分,ui表示图像库U中的第i幅图像,fi为图像库U中的第i幅图像排序得分;α,β,γ为权重系数,α<β,0<α,β,γ<1,R为系数矩阵,为对角阵,Ri,i表示R中第i行第i列元素;W表示邻接矩阵,其中元素对应的是图像库U中任意两幅样本图像的相似度得分;C是一个对角矩阵,Cii为其对角线上第i个元素,Cii表示第i幅图像与其余图像的相似度的和,qi为与查询图像采集自同一现场的图像集Q中第i幅图像,q1为查询图像,Nk(qi)为qi的k个最近邻图像;为专家意见相似度得分。
为方便求解目标函数,目标函数可以写成矩阵形式:
求最优化f使得Q(f)最小,Q(f)对f的导数可写为:
令其等于零,即
可得
按照计算排序得分的高低对库中图像样本进行排序,并把排序后的结果反馈给用户。
下面以一个具体的实验来验证本发明实施例提供的一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法得有效性,实验具体为:
实验采用两个鞋印痕迹图像数据库,分别为MUES-SR10KS2S鞋印图像检索数据库(Wang XN,Sun HH,Yu Q,Zhang C(2015)Automatic Shoeprint Retrieval Algorithm forReal Crime Scenes.ACCV,Singapore,pp 399-413)和Adam Kortylewski提供的CSFID-170数据库(Kortylewski A,Albrecht T,Vetter T(2014)Unsupervised FootwearImpression Analysis and Retrieval from Crime Scene Data.ACCV 2014 Workshops,Singapore,Singapore.pp 644-658)。MUES-SR10KS2S包含10096幅采集自案件现场的鞋印痕迹图像,其中包含72幅查询图像,如图2、图3所示。CSFID-170数据库包含170幅采集自案件现场的鞋印痕迹查询图像,及1175幅采集自嫌疑人的图像样本。实验结果采用Recall@K%衡量,即排序结果的前K%的查全率。实验中,本方法在MUES-SR10KS2S鞋印图像检索数据库上进行实验,得到实验结果如下:
在CSFID-170数据库上与Adam Kortylewski提出的方法进行对比,得到实验结果如下:
通过表可以看出,相比对比方法的结果,本方法所提出的方案能够使检索精度获得显著的提高。
上述实施例中的实施方案可以进一步组合或者替换,且实施例仅仅是对本发明的优选实施例进行描述,并非对本发明的构思和范围进行限定,在不脱离本发明设计思想的前提下,本领域中专业技术人员对本发明的技术方案作出的各种变化和改进,均属于本发明的保护范围。

Claims (6)

1.一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其特征在于包括如下步骤:
—计算待查询现场鞋印痕迹图像与图像库中样本图像之间的相似性,对所述图像库中的图像按相似度得分从大到小进行排序;
—计算图像库中任意两个图像样本之间的相似度得分,构建流形正则化项;
—由专家依据两幅鞋印痕迹图像的花纹相似程度按经验划分成多个相似等级和等级对应的分数,依据上述等级,对所述查询图处于同一现场的样本图像,标记相应的相似分数,作为其专家主观意见相似度得分;
—查找图像库中与查询现场鞋印痕迹图像采集自同一现场的样本图像的k个最近邻图像;赋予k个最近邻图像专家主观意见相似等级和等级对应的分数,对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家主观意见相似度得分表示为:
y s ( u i ) = o i u i &Element; Q w ( q j , u i ) o j u i &Element; N k ( q j )
其中oi为表示查询图像及与查询图像采集自同一现场的图像集中第i幅图像的专家主观意见相似度得分,w(qj,ui)为与查询图像采集自同一现场的图像集中第j幅图像与其k个最近邻图像的相似度得分,其计算形式如下:
w ( q j , u i ) = &Sigma; m &Sigma; n ( A m n - A &OverBar; ) ( B m n - B &OverBar; ) ( &Sigma; m &Sigma; n ( A m n - A &OverBar; ) 2 ) ) ( &Sigma; m &Sigma; n ( B m n - B &OverBar; ) 2 ) )
其中,Amn为与查询图像采集自同一现场的图像集Q中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为库中k个最近邻图像的频谱特征中的元素,表示频谱特征B的平均值;
—构建专家主观意见相似度得分预测模型:
y p ( u i ) = &lambda; 1 - &lambda; 2 1 + exp &lsqb; - ( w ( q 1 , u i ) - &lambda; 3 ) / | &lambda; 4 | &rsqb; + &lambda; 2 , u i &Element; Q &cup; N k ( Q )
对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的预测专家意见相似度得分表示为上述关于查询图像与该图像相似度的一个四参数逻辑回归函数;
—上述预测模型的参数通过学习得到,构建并使用训练样本库T={(x(i),y(i)),i=1,2,…,M},利用最小二乘法学习上述预测模型的参数,并求得最优化参数为:
&lsqb; &lambda; ^ 1 , &lambda; ^ 2 , &lambda; ^ 3 , &lambda; ^ 4 &rsqb; = arg m i n &lambda; &Sigma; i = 1 M { &lambda; 1 - &lambda; 2 1 + exp &lsqb; - ( x ( i ) - &lambda; 3 ) / | &lambda; 4 | &rsqb; + &lambda; 2 - y ( i ) } 2
训练样本库T中的图像被随机分为LT组,每组中由一个参考图像和其余n(i)幅鞋印痕迹图像组成;
令多位刑侦专家对训练样本库T中各组的图像,依据其与该组参考图像的相似程度,分别给出专家意见相似度得分,并对专家意见相似度得分取平均,记为y(i);计算每组参考图像与该组其余图像的相似度得分x(i),相似度得分计算公式为:
x ( i ) = &Sigma; m &Sigma; n ( A m n - A &OverBar; ) ( B m n - B &OverBar; ) ( &Sigma; m &Sigma; n ( A m n - A &OverBar; ) 2 ) ) ( &Sigma; m &Sigma; n ( B m n - B &OverBar; ) 2 ) )
其中,Amn为训练样本库中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为训练样本库中该组参考图像的频谱特征中的元素,表示频谱特征B的平均值;
—对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像,利用公式对专家主观意见相似度得分和预测专家意见相似度得分进行融合,其中as和ap表示权重系数,且as+ap=1;对于图像库中其他图像
—构造并求解目标函数,计算各图像样本的排序分数,给出排序结果,完成图像检索;所述的目标函数如下所示:
f * = arg m i n f Q ( f ) = 1 2 &alpha; &Sigma; u i &Element; U R i , i f i 2 + 1 4 &beta; &Sigma; u i &Element; U &Sigma; u j &Element; U W i j ( 1 C i i f i - 1 C j j f j ) 2 + 1 2 &gamma; &Sigma; q i &Element; Q &lsqb; ( f i - y ^ i ) 2 + &Sigma; u l &Element; N k ( q i ) ( f l - y ^ l ) 2 &rsqb;
其中f*为最优计算排序得分,ui表示图像库U中的第i幅图像,fi为图像库U中的第i幅图像排序得分;α,β,γ为权重系数,α<β,0<α,β,γ<1,R为系数矩阵,为对角阵,Ri,i表示R中第i行第i列元素;W表示邻接矩阵,其中元素对应的是图像库U中任意两幅样本图像的相似度得分;C是一个对角矩阵,Cii为其对角线上第i个元素,Cii表示第i幅图像与其余图像的相似度的和,qi为与查询图像采集自同一现场的图像集Q中第i幅图像,q1为查询图像,Nk(qi)为qi的k个最近邻图像;为专家意见相似度得分。
2.根据权利要求1所述的基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其特征还在于所述的图像库,其中表示采集自不同现场的待检索鞋印痕迹图像集,表示查询图像及与查询图像采集自同一现场的图像集,其中q1为查询图像。
3.根据权利要求1所述的基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其特征还在于所述计算待查询现场鞋印痕迹图像与图像库中样本图像之间的相似性具体过程如下:
—对图像库中样本图像提取二值图频谱特征,得到样本图像与查询图像的相似性;
—依据所得到的相似性对样本图像库中的鞋印痕迹花纹图像进行排序,使样本图像库中的每幅图像获得一个排序索引Ind(ui);
—构建目标函数第一项的系数矩阵R,R为一个对角矩阵,R中第i行第i列元素Rii的值为
r ( u i ) = I n d ( u i ) K
其中K表示场鞋印痕迹样本图像库中图像的总数,K=n+N,n、N分别表示所述的采集自不同现场的待检索鞋印痕迹图像集D和与查询图像采集自同一现场的图像集Q中的样本图像数量。
4.根据权利要求1所述的基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其特征还在于所述两个图像样本之间的相似性,并构建流形正则化项具体包括如下步骤:
—两个图像样本之间的二值图频谱特征的相似度得分w(ui,uj),依据如下计算公式:
w ( u i , u j ) = &Sigma; m &Sigma; n ( A m n - A &OverBar; ) ( B m n - B &OverBar; ) ( &Sigma; m &Sigma; n ( A m n - A &OverBar; ) 2 ) ) ( &Sigma; m &Sigma; n ( B m n - B &OverBar; ) 2 ) )
其中,Amn为图像库U中第i幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为图像库U中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征B的平均值;依据该相似度得分,可以得到相似度矩阵W(i,j)=w(ui,uj);
—通过相似度得分构建拉普拉斯流形正则化项,其中
C i , i = &Sigma; j = 1 K W ( i , j ) .
5.根据权利要求1所述的基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其特征还在于:
—由专家依据两幅鞋印痕迹图像的花纹相似程度按经验划分成多个相似等级和等级对应的分数,依据上述等级,对所述查询图处于同一现场的样本图像,标记相应的相似分数,作为其专家主观意见相似度得分;
—查找图像库中与查询现场鞋印痕迹图像采集自同一现场的样本图像的k个最近邻图像;赋予k个最近邻图像专家主观意见相似等级和等级对应的分数,对于与查询现场鞋印痕迹图像采集自同一现场的样本图像,及其k个最近邻图像的专家主观意见相似度得分表示为:
y s ( u i ) = o i u i &Element; Q w ( q j , u i ) o j u i &Element; N k ( q j )
其中,表示查询图像及与查询图像采集自同一现场的图像集,qi为该图像集中的图像,Nk(qj)为其k个最近邻图像,oi为其专家主观意见得分,w(qj,ui)为qj与其k个最近邻图像的相似度,其计算形式如下:
w ( q j , u i ) = &Sigma; m &Sigma; n ( A m n - A &OverBar; ) ( B m n - B &OverBar; ) ( &Sigma; m &Sigma; n ( A m n - A &OverBar; ) 2 ) ) ( &Sigma; m &Sigma; n ( B m n - B &OverBar; ) 2 ) )
其中,Amn为与查询图像采集自同一现场的图像集Q中第j幅鞋印花纹图像的频谱特征中的元素,表示频谱特征A的平均值,Bmn为库中k个最近邻图像的频谱特征中的元素,表示频谱特征B的平均值;
6.根据权利要求1所述的基于专家经验引导的现场鞋印痕迹花纹图像检索方法,其特征还在于所述的目标函数的转化为矩阵形式的求解过程如下:
f * = arg m i n f Q ( f ) = 1 2 &alpha;f T R f + 1 4 &beta;f T L f + 1 2 &gamma; ( f - y ^ ) T A ( f - y ^ )
求最优化f使得Q(f)最小,Q(f)对f的导数可写为:
&part; Q &part; f = &alpha; R f + &beta; L f + &gamma; A ( f - y ^ )
令其等于零,即
&part; Q &part; f = &alpha; R f + &beta; L f + &gamma; A ( f - y ^ ) = 0
( &alpha; R + &beta; L + &gamma; A ) f = &gamma; A y ^
f = &gamma; A ( &alpha; R + &beta; L + &gamma; A ) - 1 y ^
按照计算排序得分的高低对库中图像样本进行排序,输出排序后的结果。
CN201611097257.9A 2016-12-02 2016-12-02 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法 Expired - Fee Related CN106776950B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611097257.9A CN106776950B (zh) 2016-12-02 2016-12-02 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611097257.9A CN106776950B (zh) 2016-12-02 2016-12-02 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法

Publications (2)

Publication Number Publication Date
CN106776950A true CN106776950A (zh) 2017-05-31
CN106776950B CN106776950B (zh) 2020-05-05

Family

ID=58883018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611097257.9A Expired - Fee Related CN106776950B (zh) 2016-12-02 2016-12-02 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法

Country Status (1)

Country Link
CN (1) CN106776950B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436943A (zh) * 2017-07-31 2017-12-05 大连海事大学 一种结合主观显著性的现场鞋底花纹检索方法
CN110188222A (zh) * 2019-06-03 2019-08-30 大连海事大学 基于局部语义滤波器和桥接相似度的鞋印检索方法
CN110287370A (zh) * 2019-06-26 2019-09-27 中国人民公安大学 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质
CN112633338A (zh) * 2020-12-14 2021-04-09 辽宁师范大学 基于鞋印的嫌疑人性别预测方法
CN112800267A (zh) * 2021-02-03 2021-05-14 大连海事大学 一种细粒度鞋印图像检索方法
CN112966716A (zh) * 2021-02-03 2021-06-15 大连海事大学 一种素描引导的鞋印图像检索方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101464951A (zh) * 2007-12-21 2009-06-24 北大方正集团有限公司 图像识别方法及***
US7702247B1 (en) * 2005-03-04 2010-04-20 John Michael Weldon Latent image developer system and method
CN105023027A (zh) * 2014-04-18 2015-11-04 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702247B1 (en) * 2005-03-04 2010-04-20 John Michael Weldon Latent image developer system and method
CN101464951A (zh) * 2007-12-21 2009-06-24 北大方正集团有限公司 图像识别方法及***
CN105023027A (zh) * 2014-04-18 2015-11-04 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINNIAN WANG ET AL: "A manifold ranking based method using hybrid features", 《MULTIMED TOOLS APPL》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436943A (zh) * 2017-07-31 2017-12-05 大连海事大学 一种结合主观显著性的现场鞋底花纹检索方法
CN107436943B (zh) * 2017-07-31 2020-05-29 大连海事大学 一种结合主观显著性的现场鞋底花纹检索方法
CN110188222A (zh) * 2019-06-03 2019-08-30 大连海事大学 基于局部语义滤波器和桥接相似度的鞋印检索方法
CN110287370A (zh) * 2019-06-26 2019-09-27 中国人民公安大学 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质
CN110287370B (zh) * 2019-06-26 2022-03-04 中国人民公安大学 基于现场鞋印的犯罪嫌疑人追踪方法、装置及存储介质
CN112633338A (zh) * 2020-12-14 2021-04-09 辽宁师范大学 基于鞋印的嫌疑人性别预测方法
CN112800267A (zh) * 2021-02-03 2021-05-14 大连海事大学 一种细粒度鞋印图像检索方法
CN112966716A (zh) * 2021-02-03 2021-06-15 大连海事大学 一种素描引导的鞋印图像检索方法
CN112966716B (zh) * 2021-02-03 2023-10-27 大连海事大学 一种素描引导的鞋印图像检索方法
CN112800267B (zh) * 2021-02-03 2024-06-11 大连海事大学 一种细粒度鞋印图像检索方法

Also Published As

Publication number Publication date
CN106776950B (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN106776950A (zh) 一种基于专家经验引导的现场鞋印痕迹花纹图像检索方法
CN110851645B (zh) 一种基于深度度量学习下相似性保持的图像检索方法
CN102426583B (zh) 基于图像内容分析的中医舌象检索方法
CN111177446B (zh) 一种用于足迹图像检索的方法
CN107506793B (zh) 基于弱标注图像的服装识别方法及***
dos Santos et al. A relevance feedback method based on genetic programming for classification of remote sensing images
CN103262118B (zh) 属性值估计装置和属性值估计方法
CN103761295B (zh) 基于图片自动分类的艺术类图片的定制化特征量提取方法
CN109002492B (zh) 一种基于LightGBM的绩点预测方法
CN110689091B (zh) 弱监督细粒度物体分类方法
CN103186538A (zh) 一种图像分类方法和装置、图像检索方法和装置
CN103810299A (zh) 基于多特征融合的图像检索方法
CN110866134B (zh) 一种面向图像检索的分布一致性保持度量学习方法
CN106446004A (zh) 数字病理全切片图像检索方法
CN106169083A (zh) 基于视觉特征的电影推荐方法和***
Botella et al. Overview of GeoLifeCLEF 2019: plant species prediction using environment and animal occurrences
CN108897750A (zh) 融合多元上下文信息的个性化地点推荐方法及设备
López-Cifuentes et al. Attention-based knowledge distillation in scene recognition: the impact of a dct-driven loss
Castro et al. PUC Chile team at Caption Prediction: ResNet visual encoding and caption classification with Parametric ReLU.
CN103440332B (zh) 一种基于关系矩阵正则化增强表示的图像检索方法
Rahman et al. A CNN Model-based ensemble approach for Fruit identification using seed
CN106570910B (zh) 基于自编码特征和近邻模型的图像自动标注方法
CN115661739A (zh) 基于属性特征知识图谱的葡萄园病虫害细粒度识别方法
Leite et al. PhenoVis–A tool for visual phenological analysis of digital camera images using chronological percentage maps
CN106156063B (zh) 用于图片对象搜索结果排序的相关方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200505

CF01 Termination of patent right due to non-payment of annual fee