CN103345511B - 一种基于稀疏表达的遥感图像检索方法 - Google Patents
一种基于稀疏表达的遥感图像检索方法 Download PDFInfo
- Publication number
- CN103345511B CN103345511B CN201310280249.8A CN201310280249A CN103345511B CN 103345511 B CN103345511 B CN 103345511B CN 201310280249 A CN201310280249 A CN 201310280249A CN 103345511 B CN103345511 B CN 103345511B
- Authority
- CN
- China
- Prior art keywords
- query
- image
- remote sensing
- dictionary
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于稀疏表达的遥感图像检索方法,技术特征在于:首先对查询图像提取底层特征并使用在线字典学习方法训练过完备字典,然后将查询图像的底层特征使用由查询图像与数据库图像的过完备字典构成的联合字典稀疏编码并计算重构误差,根据重构误差投票,计算出查询图像与数据库中图像的相似度,最后根据相似度的降序排列得到最终的排序检索结果。利用本发明方法,可以实现遥感图像快速、有效地检索,提高检索质量,且具有较好的鲁棒性。
Description
技术领域
本发明涉及一种基于稀疏表达的遥感图像检索方法,可以实现从海量遥感影像数据库中快速、准确地检索查询出相关的场景图像。
背景技术
随着卫星遥感技术的不断发展,遥感影像数据在城市规划、环境保护、地质勘探、灾害管理、军事侦查与打击等领域得到了日益广泛的应用。然而,随着获取数据的急速增长,如何从海量遥感影像数据库中快速、准确地检索查询出相关的场景图像已经成为目前迫切需要解决的问题之一。
目前已有的遥感图像检索方法,概括起来可以分为基于文本的图像检索、基于内容的图像检索和基于语义的图像检索三大类。基于文本的图像检索主要是根据人对图像内容的理解所标注的关键词进行检索,然而对于遥感图像数据,其场景复杂,内容丰富,很难用关键词准确地描述图像的相关信息,且标注任务惊人,无法满足遥感图像检索需求。基于内容的遥感图像检索主要是根据提取的图像底层视觉特征来计算图像间的相似性得到检索结果,然而这种方法由于利用底层特征信息,会忽略掉高层语义信息,导致检索结果不佳。基于语义的图像检索主要是提取图像的高层语义信息,根据信息检索图像,然而如何提取和表达图像的语义成为需要解决的关键问题。
现有的遥感图像检索方法中有利用目标的形状和视觉特征、空间纹理信息的方法来检索遥感图像。但是,这些方法所提取的特征都是针对具体目标或场景的,对于一些目标多样,场景多变的遥感图像而言,这些方法有一定的局限性。近年来,局部不变特征(SIFT)因具有尺度旋转不变性及对不同目标及场景的独立性,在遥感图像检索中也得到了一定的应用。Yi Yang等人在《IEEE Transaction on Geoscience and RemoteSensing》2013年2月第51卷第4期“Geographic Image Retrieval Using Local InvariantFeatures”一文中提出使用BoW的方法实现遥感图像检索。该方法首先提取遥感图像的SIFT特征,然后利用Bag-of-Words(BoW)建立图像的描述索引,最后根据查询图像与数据库中图像的相似度得到排序检索结果。但是,该方法在使用BoW模型表示图像时,仅利用视觉词汇的频数信息,而忽略了词汇之间的空域关系,这将会影响图像的检索精度。
发明内容
要解决的技术问题
为了避免现有技术的不足之处,本发明提出了一种基于稀疏表达的遥感图像检索方法。这种方法可以从遥感图像数据库中快速、准确地检索查询到相关的场景图像,具有较高的检索精度和较好的鲁棒性。
技术方案
一种基于稀疏表达的遥感图像检索方法,其设计步骤如下:
步骤1训练查询图像的过完备字典:首先将一幅查询图像Iquery划分成若干大小为n×n×3的图像块,每个图像块之间有50%的重叠;然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n2×1维的向量,作为查询图像Iquery的底层特征其中:Nquery为查询图像Iquery的底层特征个数;然后对查询图像Iquery的底层特征使用在线字典学习方法训练出过完备字典,得到查询图像Iquery的过完备字典Dquery,大小为m×kquery,其中m=3n2,m<kquery,kquery为Dquery中原子的个数;
步骤2图像间相似度计算:计算查询图像Iquery与遥感图像数据库I中图像的相似度,具体步骤如下:
步骤a构建联合字典:选取遥感图像数据库I中的任一幅图像Ireference,Ireference∈I,在遥感图像数据库过完备字典集合Dict中对应的过完备字典Dreference∈Dict,然后将Dreference与步骤1的Dquery组合起来,构成联合字典Dunite=[Dreference,Dquery];
其中,I={Ir|r=1,2,...,T},Ir是遥感图像数据库I中的图像,T为遥感图像数据库I中图像的个数;Dreference是图像Ireference所对应的过完备字典,其大小为m×kreference,m<kreference,kreference为Dreference中原子的个数;Dict={Dr|r=1,2,...,T},Dr是Ir所对应的过完备字典;
步骤b稀疏编码:对查询图像Iquery的底层特征在联合字典Dunite上采用LARS-Lasso方法稀疏编码,得到对应的稀疏编码系数其大小为(kreference+kquery)×1;
步骤c计算相似度:根据求出的稀疏编码系数计算的重构误差其中||·||2为l2范数;将中对应Dquery原子位置处的系数置为零,得到仅使用Dreference中原子重构的重构误差
将中对应Dreference原子位置处的系数置为零,得到仅使用Dquery中原子重构的重构误差然后比较与的大小,如果则给Dreference投票,如果则给Dquery投票,得到对Dreference和Dquery的投票率分别为Vreference和Vquery,其中0<Vreference,Vquery<1;
最后计算查询图像Iquery与图像Ireference的相似度为
步骤3得到排序检索结果:依次计算查询图像Iquery与遥感图像数据库I中每幅图像的相似度,并将得到的相似度值按降序排列,得到排序检索结果。
所述步骤2中Dr的训练方法是:首先将Ir划分成若干大小为n×n×3的图像块,每个图像块之间有50%的重叠;然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n2×1维的向量,作为Ir的底层特征然后对Ir的底层特征使用在线字典学习方法训练出过完备字典Dr,大小为m×kr,m<kr,kr为Dr中原子的个数。
所述在线字典学习方法采用为Online Learning for Matrix Factorization and SparseCoding文章中的计算方法。
所述步骤b中的LARS-Lasso方法采用文章Least angle regression中的计算方法。
所述l2范数的计算公式为
式中,z是大小为Q×1的向量,ξq为向量z的元素,q=1,2,...,Q。
有益效果
本发明提出的一种基于稀疏表达的遥感图像检索方法,首先对查询图像提取底层特征并使用在线字典学习方法训练过完备字典,然后将查询图像的底层特征使用由查询图像的过完备字典与数据库中图像的过完备字典构成的联合字典稀疏编码并计算重构误差,根据重构误差投票,计算出查询图像与数据库中图像的相似度,最后根据相似度的降序排列得到最终的排序检索结果。
本发明的有益效果:可以在遥感图像数据库中快速、准确地查询到感兴趣的目标或场景图像。实践证明,该方法具有较高的检索精度和较好的鲁棒性。
附图说明
图1:本发明方法的基本流程框图
图2:本发明方法所使用的数据库部分图像示例
图3:本发明方法的检索结果示例
图4:本发明方法的实验结果对比
(a)Precision-Recall曲线对比(蓝色虚线代表BoW方法,红色实线代表本发明方法)
(b)F1-measure曲线对比(蓝色虚线代表BoW方法,红色实线代表本发明方法)
具体实施方式
现结合实施实例、附图对本发明作进一步描述:
用于实施的硬件环境是:Intel Pentium 2.93GHz CPU计算机、2.0GB内存,运行的软件环境是:Matlab R2011a和Windows XP。本实验使用公开数据库UC Merced LandUse Dataset,该数据集共有2100幅图像,包含21类常见的遥感图像,其中每个类别包含100幅图像,每幅图像大小为256×256,图像空间分辨率为30cm/pixel。为了显示数据的可靠性,从每类数据中随机挑选20幅图像,构成一个共420幅图像数据库用于测试。另外,从每类选择一幅图像,作为查询图像。
本发明具体实施如下:
1.训练查询图像的过完备字典:对于一幅查询图像Iquery,首先将其划分成若干大小为8×8×3的图像块,每个图像块之间有50%的重叠;然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为192×1维的向量,作为查询图像Iquery的底层特征其中Nquery为查询图像Iquery的底层特征个数;然后对查询图像Iquery的底层特征使用在线字典学习方法训练出过完备字典,得到查询图像Iquery的过完备字典Dquery,大小为192×300;
所述在线字典学习方法见论文Mairal J,Bach F,Ponce J,Sapiro G.Online Learningfor Matrix Factorization and Sparse Coding[J].The Journal of Machine Learning Research,2010,11:19-60.
2.图像间相似度计算:计算查询图像Iquery与遥感图像数据库I中图像的相似度,具体步骤如下:
(1)构建联合字典:对于遥感图像数据库I中的一幅图像Ireference∈I,选取Ireference在遥感图像数据库过完备字典集合Dict中对应的过完备字典Dreference∈Dict,然后将Dreference与Dquery组合起来,构成联合字典Dunite=[Dreference,Dquery];
其中,I={Ir|r=1,2,...,T},Ir是遥感图像数据库I中的图像,T为遥感图像数据库I中图像的个数;Dreference是图像Ireference所对应的过完备字典,其大小为192×500;Dict={Dr|r=1,2,...,T},Dr是Ir所对应的过完备字典,Dr的训练方法是首先将Ir划分成若干大小为8×8×3的图像块,每个图像块之间有50%的重叠;然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为192×1维的向量,作为Ir的底层特征然后对Ir的底层特征使用在线字典学习方法训练出过完备字典Dr,大小为192×500;
(2)稀疏编码:对查询图像Iquery的底层特征在联合字典Dunite上采用LARS-Lasso方法稀疏编码,得到对应的稀疏编码系数其大小为800×1;
所述LARS-Lasso方法见文章Efron B,Hastie T,Johnstone I,Tibshirani R.Leastangle regression.The Annals of Statistics,2004,32(2):407–499.
(3)计算相似度:根据求出的稀疏编码系数计算的重构误差其中||·||2为l2范数;将中对应Dquery原子位置处的系数置为零,得到仅使用Dreference中原子重构的重构误差将中对应Dreference原子位置处的系数置为零,得到仅使用Dquery中原子重构的重构误差然后比较与的大小,如果则给Dreference投票,如果则给Dquery投票,最终得到对Dreference和Dquery的投票率分别为Vreference和Vquery,其中0<Vreference,Vquery<1;最后计算查询图像Iquery与图像Ireference的相似度为
所述l2范数的计算公式为
式中,z是大小为Q×1的向量,ξq为向量z的元素,q=1,2,...,Q;
3.得到排序检索结果:依次计算查询图像Iquery与遥感图像数据库I中每幅图像的相似度,并将得到的相似度值按降序排列,得到最终的排序检索结果。
选用查准率-查全率曲线(即Precision-Recall曲线)(见附图4(a))和F1-measure曲线(见附图4(b))对本发明的检索性能评估,Precision和Recall的计算公式如下:
其中,TP为目标图像中与查询图像相似的图像数目,TN为一次查询返回的图像中相关图像的数目,T为检索***返回图像的数目。
F1-measure是根据Precision和Recall给出的一个综合评价指标,其计算公式为:
另外,选用MPEG-7提出的ANMRR(Average Normalized Modified Retrieval Rank)值作为对本发明的检索有效性进行评估。这种评价方法比查全率和查准率的对图像的评价效果更好,更能反映出图像的检索精度。其取值范围为0~1,值越小表明检索效果越好。将本发明所得的检索结果与基于BoW的检索方法进行了对比,对比结果如表1所示。从实验分析比较表中的数据可见,使用本发明的检索精度更高。
表1检索结果评价
所述ANMRR值的求取方法见图书:Salembier P,Sikora T,Manjunath B S.Introduction to MPEG-7:multimedia content description interface[M].John Wiley & Sons,Inc.,2002.
Claims (3)
1.一种基于稀疏表达的遥感图像检索方法,其设计步骤在于:
步骤1训练查询图像的过完备字典:首先将一幅查询图像Iquery划分成若干大小为n×n×3的图像块,每个图像块之间有50%的重叠;然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n2×1维的向量,作为查询图像Iquery的底层特征其中:Nquery为查询图像Iquery的底层特征个数;然后对查询图像Iquery的底层特征使用在线字典学习方法训练出过完备字典,得到查询图像Iquery的过完备字典Dquery,大小为m×kquery,其中m=3n2,m<kquery,kquery为Dquery中原子的个数;
步骤2图像间相似度计算:计算查询图像Iquery与遥感图像数据库I中图像的相似度,具体步骤如下:
步骤a构建联合字典:选取遥感图像数据库I中的任一幅图像Ireference,Ireference∈I,在遥感图像数据库过完备字典集合Dict中对应的过完备字典Dreference∈Dict,然后将Dreference与步骤1的Dquery组合起来,构成联合字典Dunite=[Dreference,Dquery];
其中,I={Ir|r=1,2,...,T},Ir是遥感图像数据库I中的图像,T为遥感图像数据库I中图像的个数;
Dreference是图像Ireference所对应的过完备字典,其大小为m′×kreference,m′<kreference,kreference为Dreference中原子的个数;Dict={Dr|r=1,2,...,T},Dr是Ir所对应的过完备字典;
步骤b稀疏编码:对查询图像Iquery的底层特征在联合字典Dunite上采用LARS-Lasso方法稀疏编码,得到对应的稀疏编码系数其大小为(kreference+kquery)×1;
步骤c计算相似度:根据求出的稀疏编码系数计算的重构误差其中||·||2为l2范数;将中对应Dquery原子位置处的系数置为零,得到仅使用Dreference中原子重构的重构误差
将中对应Dreference原子位置处的系数置为零,得到仅使用Dquery中原子重构的重构误差然后比较与的大小,如果则给Dreference投票,如果则给Dquery投票,得到对Dreference和Dquery的投票率分别为Vreference和Vquery,其中0<Vreference,Vquery<1;
最后计算查询图像Iquery与图像Ireference的相似度为
步骤3得到排序检索结果:依次计算查询图像Iquery与遥感图像数据库I中每幅图像的相似度,并将得到的相似度值按降序排列,得到排序检索结果。
2.根据权利要求1所述基于稀疏表达的遥感图像检索方法,其特征在于:所述步骤2中Dr的训练方法是:首先将Ir划分成若干大小为n×n×3的图像块,每个图像块之间有50%的重叠;然后将每个图像块中的红、绿、蓝三个颜色通道的像素值转化为3n2×1维的向量,作为Ir的底层特征然后对Ir的底层特征使用在线字典学习方法训练出过完备字典Dr,大小为m″×kr,m″<kr,kr为Dr中原子的个数。
3.根据权利要求1所述基于稀疏表达的遥感图像检索方法,其特征在于:所述l2范数的计算公式为
式中,z是大小为Q×1的向量,ξq为向量z的元素,q=1,2,...,Q。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310280249.8A CN103345511B (zh) | 2013-07-04 | 2013-07-04 | 一种基于稀疏表达的遥感图像检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310280249.8A CN103345511B (zh) | 2013-07-04 | 2013-07-04 | 一种基于稀疏表达的遥感图像检索方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103345511A CN103345511A (zh) | 2013-10-09 |
CN103345511B true CN103345511B (zh) | 2016-08-10 |
Family
ID=49280306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310280249.8A Active CN103345511B (zh) | 2013-07-04 | 2013-07-04 | 一种基于稀疏表达的遥感图像检索方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103345511B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103678551B (zh) * | 2013-12-05 | 2017-09-26 | 银江股份有限公司 | 一种基于随机稀疏编码的大规模医学图像检索方法 |
CN103714148B (zh) * | 2013-12-24 | 2017-05-10 | 西安电子科技大学 | 基于稀疏编码分类的sar图像检索方法 |
CN104376538B (zh) * | 2014-11-26 | 2017-04-12 | 清华大学深圳研究生院 | 一种图像的稀疏去噪方法 |
CN106682087A (zh) * | 2016-11-28 | 2017-05-17 | 东南大学 | 一种基于车载装饰品特征稀疏编码的车辆检索方法 |
CN112966131B (zh) * | 2021-03-02 | 2022-09-16 | 中华人民共和国成都海关 | 一种海关数据风控类型识别方法、海关智能化风险布控方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101241504A (zh) * | 2008-01-23 | 2008-08-13 | 武汉大学 | 一种基于内容的遥感图像数据智能搜索方法 |
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN102930573A (zh) * | 2012-11-02 | 2013-02-13 | 北京工业大学 | 一种基于二维分析稀疏模型及其训练字典的图像重建方法 |
CN103077400A (zh) * | 2012-12-26 | 2013-05-01 | 中国土地勘测规划院 | 土地利用数据库支持的地类信息遥感自动识别方法 |
CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
-
2013
- 2013-07-04 CN CN201310280249.8A patent/CN103345511B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101241504A (zh) * | 2008-01-23 | 2008-08-13 | 武汉大学 | 一种基于内容的遥感图像数据智能搜索方法 |
CN102142137A (zh) * | 2011-03-10 | 2011-08-03 | 西安电子科技大学 | 基于高分辨率字典的稀疏表征图像超分辨重建方法 |
CN102930573A (zh) * | 2012-11-02 | 2013-02-13 | 北京工业大学 | 一种基于二维分析稀疏模型及其训练字典的图像重建方法 |
CN103077400A (zh) * | 2012-12-26 | 2013-05-01 | 中国土地勘测规划院 | 土地利用数据库支持的地类信息遥感自动识别方法 |
CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
Non-Patent Citations (1)
Title |
---|
基于结构相似保真的图像稀疏表述模型;杨宇平等;《小型微型计算机***》;20130531;第1198-1200页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103345511A (zh) | 2013-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhao et al. | Dirichlet-derived multiple topic scene classification model for high spatial resolution remote sensing imagery | |
Jain et al. | Learning to re-rank: query-dependent image re-ranking using click data | |
CN102549603B (zh) | 基于相关性的图像选择 | |
CN103345511B (zh) | 一种基于稀疏表达的遥感图像检索方法 | |
US8995716B1 (en) | Image search results by seasonal time period | |
CN104615767A (zh) | 搜索排序模型的训练方法、搜索处理方法及装置 | |
CN106203483B (zh) | 一种基于语义相关多模态映射方法的零样本图像分类方法 | |
CN104361102A (zh) | 一种基于群组匹配的专家推荐方法及*** | |
CN103810299A (zh) | 基于多特征融合的图像检索方法 | |
Leung et al. | Exploring geotagged images for land-use classification | |
Cheng et al. | On very large scale test collection for landmark image search benchmarking | |
CN102693316B (zh) | 基于线性泛化回归模型的跨媒体检索方法 | |
CN108897750B (zh) | 融合多元上下文信息的个性化地点推荐方法及设备 | |
CN102385578A (zh) | 图片搜索的方法和装置 | |
CN104317837A (zh) | 一种基于主题模型的跨模态检索方法 | |
Lv et al. | Person re-identification with expanded neighborhoods distance re-ranking | |
CN102831161B (zh) | 用于图像检索的基于流形正则化的半监督排序学习方法 | |
CN102193934A (zh) | 用于寻找图像集合中的代表性图像的***和方法 | |
Wang et al. | Separable vocabulary and feature fusion for image retrieval based on sparse representation | |
Ma et al. | A remote-sensing image-retrieval model based on an ensemble neural networks | |
CN103886066A (zh) | 一种基于鲁棒非负矩阵分解的图像检索方法 | |
CN109034213A (zh) | 基于相关熵原则的高光谱图像分类方法和*** | |
Sasikala et al. | Efficient content based image retrieval system with metadata processing | |
Tong et al. | Gang and moniker identification by graffiti matching | |
Leung et al. | Land cover classification using geo-referenced photos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |