CN113486906B - 快照式光谱图像的马赛克空谱梯度方向直方图提取方法 - Google Patents
快照式光谱图像的马赛克空谱梯度方向直方图提取方法 Download PDFInfo
- Publication number
- CN113486906B CN113486906B CN202110767678.2A CN202110767678A CN113486906B CN 113486906 B CN113486906 B CN 113486906B CN 202110767678 A CN202110767678 A CN 202110767678A CN 113486906 B CN113486906 B CN 113486906B
- Authority
- CN
- China
- Prior art keywords
- spectrum
- spatial
- gradient
- neighborhood
- sfa
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 314
- 238000000605 extraction Methods 0.000 title claims abstract description 29
- 230000003595 spectral effect Effects 0.000 claims abstract description 94
- 238000000034 method Methods 0.000 claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims description 46
- 238000013461 design Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 9
- 238000006243 chemical reaction Methods 0.000 abstract description 4
- 230000008707 rearrangement Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000000701 chemical imaging Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 235000021391 short chain fatty acids Nutrition 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000012306 spectroscopic technique Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法,获取快照式光谱图像拍摄时使用的光谱滤波阵列;根据光谱滤波阵列构造快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;基于快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定快照式光谱图像的空谱梯度算子;使用空谱梯度算子对快照式光谱图像进行卷积,得到马赛克空谱梯度图;基于马赛克空谱梯度图构建马赛克空谱梯度方向直方图;本发明通过分析马赛克图像的SFA模式特性,设计了四个马赛克空谱梯度算子来提取马赛克空谱梯度特征,无需对采集的原始马赛克图像进行去马赛克或重新排列操作,有效消除了转换过程带来的空谱失真的影响。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法。
背景技术
光谱成像技术结合光谱技术和成像技术,可以获取多个连续的光谱图像。光谱图像记录了每个物体的空间信息和光谱信息,可以提供场景中物体的材料或材质信息,从而以更高的精度和细节来描述物体特性,现已被广泛用于军事、工业、农业等各领域。但是,由于光谱图像包含信息量大,拍照时间较长,难以拍摄视频。随着技术的更新,已经开发出高紧凑、低成本、高采集速率的快照式马赛克光谱成像技术,能够以视频速率收集运动场景,为视频任务提供了可能。这种快照式成像技术在单个传感器表面覆盖一层光谱滤波阵列(spectral filter array,SFA),可以在单次快照中采集多个光谱波段。SFA由基本重复模式构成,每个滤波位置只允许记录一个波段的光谱信息,所采集的二维SFA图像称之为马赛克光谱图像,也可以称为快照式光谱图像。
目前,已开发了一系列具有不同SFA的快照光谱传感器,例如彩色成像中的彩色滤光片阵列(color filter array,CFA)和多/高光谱成像中的多光谱滤波阵列(multi-SFA,MSFA)。由于所获取图像具有马赛克结构,在特征提取之前,一般需要通过重新排列或去马赛克(例如WB)将二维原始马赛克图像转换为三维光谱立方体。
但是,这两种方法可能会破坏原始马赛克图像的结构信息,引入空谱失真,并带来较高的计算和存储成本。
发明内容
本发明的目的是提供一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法,直接从原始马赛克图像中提取特征,无需对其进行去马赛克或重新排列操作,避免产生空谱失真。
本发明采用以下技术方案:一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法,包括以下步骤:
获取快照式光谱图像拍摄时使用的光谱滤波阵列;
根据光谱滤波阵列构造快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;
基于快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定快照式光谱图像的空谱梯度算子;
使用空谱梯度算子对快照式光谱图像进行卷积,得到马赛克空谱梯度图;
基于马赛克空谱梯度图构建马赛克空谱梯度方向直方图。
进一步的,确定快照式光谱图像的空谱梯度算子包括:
根据空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子;
根据光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子。
进一步的,根据空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子包括:
构建空间SFA邻域的第一空间相关矩阵fs和第一光谱相关矩阵fk;
根据确定空谱水平梯度算子,其中,fxk为空谱水平梯度算子,fsx根据第一空间相关矩阵fs确定;
根据确定空谱水平梯度算子,其中,fyk为空谱垂直梯度算子,fsy根据第一空间相关矩阵fs确定。
进一步的,根据光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子包括:
构建光谱SFA邻域的第二空间相关矩阵fsk和第二光谱相关矩阵fλk;
根据确定空谱一阶梯度算子,其中,fk-l1为空谱一阶梯度算子,fλ1k根据第二空间相关矩阵fsk确定;
根据确定空谱二阶梯度算子,其中,fk-l2为空谱二阶梯度算子,fλ2k根据第二光谱相关矩阵fλk确定。
进一步的,使用空谱梯度算子对快照式光谱图像进行卷积包括:
分别使用空谱水平梯度算子、空谱垂直梯度算子、空谱一阶梯度算子和空谱二阶梯度算子对快照式光谱图像进行卷积,分别得到快照式光谱图像的空谱水平梯度图、空谱垂直梯度图、空谱一阶梯度图和空谱二阶梯度图。
进一步的,基于马赛克空谱梯度图构建马赛克空谱梯度方向直方图包括:
通过空谱水平梯度图和空谱垂直梯度图构建第一直方图;
通过空谱水平梯度图、空谱垂直梯度图和空谱一阶梯度图构建第二直方图;
通过空谱水平梯度图、空谱垂直梯度图和空谱二阶梯度图构建第三直方图;
将第一直方图、第二直方图和第三直方图再第三维度串联,形成马赛克空谱梯度方向直方图。
进一步的,空间SFA邻域为围绕目标像素p形成的n×n区域内的所有像素集合,且不包含目标像素p;
光谱SFA邻域为与目标像素p的关联波段相邻的m个波段所关联的像素集合;
其中,m和n均为正整数。
本发明的另一种技术方案:一种快照式光谱图像的马赛克空谱梯度方向直方图提取装置,包括:
获取模块,用于获取快照式光谱图像拍摄时使用的光谱滤波阵列;
构造模块,用于根据光谱滤波阵列构造快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;
设计模块,用于基于快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定快照式光谱图像的空谱梯度算子;
卷积模块,用于使用空谱梯度算子对快照式光谱图像进行卷积,得到马赛克空谱梯度图;
构建模块,用于基于马赛克空谱梯度图构建马赛克空谱梯度方向直方图。
进一步的,确定快照式光谱图像的空谱梯度算子包括:
根据空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子;
根据光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子。
本发明的另一种技术方案:一种快照式光谱图像的马赛克空谱梯度方向直方图提取装置,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法。
本发明的有益效果是:本发明通过分析马赛克图像的SFA模式特性,提出了SFAN概念,并据此设计了四个马赛克空谱梯度算子来提取马赛克空谱梯度特征。由于梯度算子是基于马赛克光谱传感器的SFA结构设计,而不是所获取的数据设计的,因此所提出的特征描述符不受SFA模式不同的限制,可以扩展到任何SFA模式,无需对采集的原始马赛克图像进行去马赛克或重新排列操作,有效消除了转换过程带来的空谱失真的影响。
附图说明
图1为本发明实施例一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法的原理流程图;
图2为本发明实施例中SFA及配置该SFA采集的快照式光谱图像示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
梯度信息已经成为目标识别、跟踪等应用的重要描述符,被广泛使用。当前已为普通二维图像开发了许多梯度特征,例如LBP、SIFT、SURF、HOG和ExHOG等。然而,这些方法的梯度算子是根据空间相关性设计的,因此,不能准确的描述原始马赛克图像空谱混叠信息。根据SFA模式,图像的相邻像素表示不同波段的光谱强度值,从而导致同一对象的强度值不一致,因此,构造特征提取算子必须考虑原始马赛克图像的结构属性。
本发明针对上述问题,为快照式光谱图像提供了一种新颖的空谱特征提取器,称为马赛克空谱梯度方向直方图(histogram oforiented mosaic spatial-spectralgradient,HOMSSG)描述符。考虑到光谱滤波阵列(Spectral filter array,SFA)的特性,提出了SFA邻域(SFA neighborhood,SFAN)来描述空谱梯度信息,并据此设计了马赛克空谱梯度算子,最终构造HOMSSG描述子以直接从原始马赛克图像中提取空间光谱特征。而且,由于梯度算子是基于快照式光谱传感器的SFA结构而不是所获取的数据设计的,因此所提出的特征描述符可扩展到任何SFA模式。
本发明实施例公开了一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法,如图1所示,包括以下步骤:
获取快照式光谱图像拍摄时使用的光谱滤波阵列;根据所述光谱滤波阵列构造所述快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;基于所述快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定所述快照式光谱图像的空谱梯度算子;使用所述空谱梯度算子对所述快照式光谱图像进行卷积,得到马赛克空谱梯度图;基于所述马赛克空谱梯度图构建马赛克空谱梯度方向直方图。
应理解,上述实施例中各步骤并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本发明通过分析马赛克图像的SFA模式特性,提出了SFAN概念,并据此设计了四个马赛克空谱梯度算子来提取马赛克空谱梯度特征。由于梯度算子是基于马赛克光谱传感器的SFA结构设计,而不是所获取的数据设计的,因此所提出的特征描述符不受SFA模式不同的限制,可以扩展到任何SFA模式,无需对采集的原始马赛克图像进行去马赛克或重新排列操作,有效消除了转换过程带来的空谱失真的影响。
在本发明实施例中,首先需要构造快照式光谱图像的SFAN。原始马赛克光谱图像中存在两种形式的SFAN:空间SFA邻域和光谱SFA邻域,空间SFA邻域即空间SFAN(spatialSFAN,Spa-SFAN),光谱SFA邻域即光谱SFAN(Spectral SFAN,Spe-SFAN)。
Spa-SFAN用于描述像素空间邻域的空间光谱相关性,Spe-SFAN用于描述像素所关联波段的光谱邻域的空间光谱相关性。给定一个关联波段k的像素p,其Spa-SFAN关联波段集由该邻域中像素相关联的光谱波段的空间排序来表示,Spe-SFAN关联的波段集由该邻域中的光谱波段的升序排列来表示。如图2(a)所示,关联波段为4的像素,其Spa-SFAN即为由关联波段为7、3、19、20、22、6、10和8的像素组成,当然,也可以是更多的像素组成。其Spe-SFAN即为关联波段为2、3、5和6的像素组成,也可以是更多的像素组成(如1、2、3、5、6和7)。
进而可知,空间SFA邻域为围绕目标像素p形成的n×n区域内的所有像素集合,且不包含目标像素p;光谱SFA邻域为与目标像素p的关联波段相邻的m个波段所关联的像素集合;其中,m和n均为正整数,更为优选的,m为大于等于2的正整数,n应为大于等于3的正整数。即Spa-SFAN专注于围绕目标像素p的n×n窗口的空间光谱相关性。Spe-SFAN侧重于像素p与分配给像素p的波段最接近的预先固定数量的波段的空间光谱相关性。
分别分析关联每个波段的像素的Spa-SFAN和Spa-SFAN的空谱相关性,本申请设计了四个马赛克空谱梯度算子:基于Spa-SFAN的空谱水平梯度算子和空谱垂直梯度算子,以及基于Spe-SFAN的空谱一阶梯度算子和空谱二阶梯度算子。本实施例中分别使用空间距离和光谱距离来表示空间和光谱相关性。空间和光谱距离分别由像素之间的欧式距离和像素关联波段的中心波长差计算得到。
在本发明的一个实施例中,确定快照式光谱图像的空谱梯度算子包括:
根据空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子;根据光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子。
在Spa-SFAN中,马赛克图像的所有像素具有相同的空间相关矩阵,而关联不同波段的像素具有不同的光谱相关矩阵,针对采集K个波段的马赛克光谱图像,共具有K个光谱相关矩阵。在Spe-SFAN中,关联同一波段的像素具有相同的空间和光谱相关矩阵,而关联不同波段的像素其空间和光谱相关矩阵是不同,针对采集K个波段的马赛克光谱图像,共具有K个空间和光谱相关矩阵。
更为具体的,空谱水平梯度算子和空谱垂直梯度算子的一种计算方法为:构建空间SFA邻域的第一空间相关矩阵fs和第一光谱相关矩阵fk;根据确定空谱水平梯度算子,其中,fxk为空谱水平梯度算子,fsx根据第一空间相关矩阵fs确定;根据确定空谱水平梯度算子,其中,fyk为空谱垂直梯度算子,fsy根据第一空间相关矩阵fs确定。
本发明的一个实施例中根据光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子包括:
构建光谱SFA邻域的第二空间相关矩阵fsk和第二光谱相关矩阵fλk;根据确定空谱一阶梯度算子,其中,fk-l1为空谱一阶梯度算子,fλ1k根据第二空间相关矩阵fsk确定;根据/>确定空谱二阶梯度算子,其中,fk-l2为空谱二阶梯度算子,fλ2k根据第二光谱相关矩阵fλk确定。
为了方便理解,本实施例以3×3邻域的Spa-SFAN和8波段邻域的Spe-SFAN为例进行解释说明。Spa-SFAN中第一空间相关矩阵fs和关联波段k的像素的第一光谱相关矩阵fk,以及关联波段k的像素的Spe-SFAN的第二空间相关矩阵fsk和第二光谱相关矩阵fλk分别表示如下:
第一空间相关矩阵第一光谱相关矩阵/>第二空间相关矩阵fsk={fsk1,fsk2,fsk3,fsk4,1,fsk5,fsk6,fsk7,fsk8},第二光谱相关矩阵fλk={fλk1,fλk2,fλk3,fλk4,1,fλk5,fλk6,fλk7,fλk8};
其中,fsi=1/(1+dsi),i=1,2,…,8,dsi表示像素p和其Spa-SFAN邻域像素si之间的空间距离,fki=1/1(1+dsi-k),dsi-k是像素p关联的波段k和其Spa-SFAN邻域像素si关联的波段之间的光谱距离;fski=1/(1+dλi),dλi表示像素p和其Spe-SFAN邻域像素λi之间的空间距离,fλki=1/(1+dλi-k),dλi-k是像素p关联的波段k和其邻域Spe-SFAN像素λi关联的波段之间的光谱距离,i表示该像素的空间位置。
最终,如上所述可得到马赛克的空谱水平梯度算子fxk和空谱水平梯度算子fyk,以及空谱一阶梯度算子fk-l1和空谱一阶梯度算子fk-l2,其中,fλ1k={fsk1,fsk2,fsk3,fsk4,0,-fsk5,-fsk6,-fsk7,-fsk8},fλ2k={fλk1,fλk2,fλk3,fλk4,-Dk,fλk5,fλk6,fλk7,fλk8},/>
在本发明的一个实施例中,使用空谱梯度算子对快照式光谱图像进行卷积包括:分别使用空谱水平梯度算子、空谱垂直梯度算子、空谱一阶梯度算子和空谱二阶梯度算子对快照式光谱图像进行卷积,分别得到快照式光谱图像的空谱水平梯度图、空谱垂直梯度图、空谱一阶梯度图和空谱二阶梯度图。具体的,由于以上计算的空谱水平梯度算子、空谱垂直梯度算子、空谱一阶梯度算子和空谱二阶梯度算子均是对应像素的概念,所以,卷积计算后得到的是各个像素的空谱水平梯度图、空谱垂直梯度图、空谱一阶梯度图和空谱二阶梯度图,再将各个像素的梯度组组合得到快照式光谱图像的空谱水平梯度图、空谱垂直梯度图、空谱一阶梯度图和空谱二阶梯度图。
在本发明的一个实施例中,基于马赛克空谱梯度图构建马赛克空谱梯度方向直方图包括:通过空谱水平梯度图和空谱垂直梯度图构建第一直方图;通过空谱水平梯度图、空谱垂直梯度图和空谱一阶梯度图构建第二直方图;通过空谱水平梯度图、空谱垂直梯度图和空谱二阶梯度图构建第三直方图;将第一直方图、第二直方图和第三直方图再第三维度串联,形成用于快照马赛克光谱图像描述的马赛克空谱梯度方向直方图(histogram oforiented mosaic spatial-spectral gradient,HOMSSG)。
进而,可以使用HOMSSG梯度信息作为目标识别、跟踪等应用的重要描述符来使用。
本发明针对最新发展的快照式成像传感器实时采集的马赛克光谱图像,创新性的提出了一种马赛克空谱梯度方向直方图特征提取方法,能够直接从原始马赛克图像中提取空谱特征,而无需对采集的原始马赛克图像进行去马赛克或重新排列操作,有效消除了转换过程带来的空谱失真的影响,并减少了计算和存储成本,提高了特征提取的鲁棒性和有效性,可以适用于实时视频处理,能够为后续的识别跟踪等工作提高较高的精度。
本发明另一实施例还公开了一种快照式光谱图像的马赛克空谱梯度方向直方图提取装置,包括:获取模块,用于获取快照式光谱图像拍摄时使用的光谱滤波阵列;构造模块,用于根据光谱滤波阵列构造快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;设计模块,用于基于快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定快照式光谱图像的空谱梯度算子;卷积模块,用于使用空谱梯度算子对快照式光谱图像进行卷积,得到马赛克空谱梯度图;构建模块,用于基于马赛克空谱梯度图构建马赛克空谱梯度方向直方图。
具体的,确定快照式光谱图像的空谱梯度算子包括:根据空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子;根据光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子。
本发明的另一实施例还公开了一种快照式光谱图像的马赛克空谱梯度方向直方图提取装置,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法。
所述提取装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该提取装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器在一些实施例中可以是所述提取装置的内部存储单元,例如提取装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述提取装置的外部存储设备,例如所述提取装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器还可以既包括所述提取装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/模块之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述***中模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
应当理解,当在本申请说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、等仅用于区分描述,而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在另外一个实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
本申请实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)等终端设备上,本申请实施例对终端设备的具体类型不作任何限制。
例如,所述终端设备可以是WLAN中的站点(STAION,ST),可以是蜂窝电话、无绳电话、会话启动协议(Session InitiationProtocol,SIP)电话、无线本地环路(WirelessLocal Loop,WLL))站、个人数字处理(Personal Digital Assistant,PDA)设备、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、车联网终端、电脑、膝上型计算机、手持式通信设备、手持式计算设备、卫星无线设备、无线调制解调器卡、电视机顶盒(set top box,STB)、用户驻地设备(customer premise equipment,CPE)和/或用于在无线***上进行通信的其它设备以及下一代通信***,例如,5G网络中的移动终端或者未来演进的公共陆地移动网络(Public Land Mobile Network,PLMN)网络中的移动终端等。
作为示例而非限定,当所述终端设备为可穿戴设备时,该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称,如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上,或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备,更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖智能手机实现完整或者部分的功能,如智能手表或智能眼镜等,以及只专注于某一类应用功能,需要和其它设备如智能手机配合使用,如各类进行体征监测的智能手环、智能首饰等。
Claims (3)
1.一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法,其特征在于,包括以下步骤:
获取快照式光谱图像拍摄时使用的光谱滤波阵列;
根据所述光谱滤波阵列构造所述快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;
基于所述快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定所述快照式光谱图像的空谱梯度算子;
使用所述空谱梯度算子对所述快照式光谱图像进行卷积,得到马赛克空谱梯度图;
基于所述马赛克空谱梯度图构建马赛克空谱梯度方向直方图;
确定所述快照式光谱图像的空谱梯度算子包括:
根据所述空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子;
根据所述光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子;
根据所述空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子包括:
构建所述空间SFA邻域的第一空间相关矩阵fs和第一光谱相关矩阵fk;第一空间相关矩阵第一光谱相关矩阵/>
根据确定空谱水平梯度算子,其中,fxk为空谱水平梯度算子,fsx根据所述第一空间相关矩阵fs确定,/>
根据确定空谱垂直梯度算子,其中,fyk为空谱垂直梯度算子,fsy根据所述第一空间相关矩阵fs确定,/>
根据所述光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子包括:
构建所述光谱SFA邻域的第二空间相关矩阵fsk和第二光谱相关矩阵fλk;第二空间相关矩阵fsk={fsk1,fsk2,fsk3,fsk4,1,fsk5,fsk6,fsk7,fsk8},第二光谱相关矩阵fλk={fλk1,fλk2,fλk3,fλk4,1,fλk5,fλk6,fλk7,fλk8};其中,fsi=1/(1+dsi),i=1,2,…,8,dsi表示像素p和其Spa-SFAN邻域像素si之间的空间距离,fki=1/1(1+dsi-k),dsi-k是像素p关联的波段k和其Spa-SFAN邻域像素si关联的波段之间的光谱距离;fski=1/(1+dλi),dλi表示像素p和其Spe-SFAN邻域像素λi之间的空间距离,fλki=1/(1+dλi-k),dλi-k是像素p关联的波段k和其邻域Spe-SFAN像素λi关联的波段之间的光谱距离,i表示该像素的空间位置;
根据确定所述空谱一阶梯度算子,其中,fk-l1为空谱一阶梯度算子,fλ1k根据所述第二空间相关矩阵fsk确定,fλ1k={fsk1,fsk2,fsk3,fsk4,0,-fsk5,-fsk6,-fsk7,-fsk8};
根据确定所述空谱二阶梯度算子,其中,fk-l2为空谱二阶梯度算子,fλ2k根据所述第二光谱相关矩阵fλk确定,fλ2k={fλk1,fλk2,fλk3,fλk4,-Dk,fλk5,fλk6,fλk7,fλk8},
使用所述空谱梯度算子对所述快照式光谱图像进行卷积包括:
分别使用所述空谱水平梯度算子、空谱垂直梯度算子、空谱一阶梯度算子和空谱二阶梯度算子对所述快照式光谱图像进行卷积,分别得到所述快照式光谱图像的空谱水平梯度图、空谱垂直梯度图、空谱一阶梯度图和空谱二阶梯度图;
基于所述马赛克空谱梯度图构建马赛克空谱梯度方向直方图包括:
通过所述空谱水平梯度图和空谱垂直梯度图构建第一直方图;
通过所述空谱水平梯度图、空谱垂直梯度图和空谱一阶梯度图构建第二直方图;
通过所述空谱水平梯度图、空谱垂直梯度图和空谱二阶梯度图构建第三直方图;
将所述第一直方图、第二直方图和第三直方图再第三维度串联,形成马赛克空谱梯度方向直方图;
所述空间SFA邻域为围绕目标像素p形成的n×n区域内的所有像素集合,且不包含目标像素p;
所述光谱SFA邻域为与所述目标像素p的关联波段相邻的m个波段所关联的像素集合;
其中,m和n均为正整数。
2.一种快照式光谱图像的马赛克空谱梯度方向直方图提取装置,其特征在于,包括:
获取模块,用于获取快照式光谱图像拍摄时使用的光谱滤波阵列;
构造模块,用于根据所述光谱滤波阵列构造所述快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域;
设计模块,用于基于所述快照式光谱图像中像素的空间SFA邻域和光谱SFA邻域,确定所述快照式光谱图像的空谱梯度算子;
卷积模块,用于使用所述空谱梯度算子对所述快照式光谱图像进行卷积,得到马赛克空谱梯度图;
构建模块,用于基于所述马赛克空谱梯度图构建马赛克空谱梯度方向直方图;
确定所述快照式光谱图像的空谱梯度算子包括:
根据所述空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子;
根据所述光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子;
根据所述空间SFA邻域确定空谱水平梯度算子和空谱垂直梯度算子包括:
构建所述空间SFA邻域的第一空间相关矩阵fs和第一光谱相关矩阵fk;第一空间相关矩阵第一光谱相关矩阵/>
根据确定空谱水平梯度算子,其中,fxk为空谱水平梯度算子,fsx根据所述第一空间相关矩阵fs确定,/>
根据确定空谱垂直梯度算子,其中,fyk为空谱垂直梯度算子,fsy根据所述第一空间相关矩阵fs确定,/>
根据所述光谱SFA邻域确定空谱一阶梯度算子和空谱二阶梯度算子包括:
构建所述光谱SFA邻域的第二空间相关矩阵fsk和第二光谱相关矩阵fλk;第二空间相关矩阵fsk={fsk1,fsk2,fsk3,fsk4,1,fsk5,fsk6,fsk7,fsk8},第二光谱相关矩阵fλk={fλk1,fλk2,fλk3,fλk4,1,fλk5,fλk6,fλk7,fλk8};其中,fsi=1/(1+dsi),i=1,2,…,8,dsi表示像素p和其Spa-SFAN邻域像素si之间的空间距离,fki=1/1(1+dsi-k),dsi-k是像素p关联的波段k和其Spa-SFAN邻域像素si关联的波段之间的光谱距离;fski=1/(1+dλi),dλi表示像素p和其Spe-SFAN邻域像素λi之间的空间距离,fλki=1/(1+dλi-k),dλi-k是像素p关联的波段k和其邻域Spe-SFAN像素λi关联的波段之间的光谱距离,i表示该像素的空间位置;
根据确定所述空谱一阶梯度算子,其中,fk-l1为空谱一阶梯度算子,fλ1k根据所述第二空间相关矩阵fsk确定,fλ1k={fsk1,fsk2,fsk3,fsk4,0,-fsk5,-fsk6,-fsk7,-fsk8};
根据确定所述空谱二阶梯度算子,其中,fk-l2为空谱二阶梯度算子,fλ2k根据所述第二光谱相关矩阵fλk确定,fλ2k={fλk1,fλk2,fλk3,fλk4,-Dk,fλk5,fλk6,fλk7,fλk8},
使用所述空谱梯度算子对所述快照式光谱图像进行卷积包括:
分别使用所述空谱水平梯度算子、空谱垂直梯度算子、空谱一阶梯度算子和空谱二阶梯度算子对所述快照式光谱图像进行卷积,分别得到所述快照式光谱图像的空谱水平梯度图、空谱垂直梯度图、空谱一阶梯度图和空谱二阶梯度图;
基于所述马赛克空谱梯度图构建马赛克空谱梯度方向直方图包括:
通过所述空谱水平梯度图和空谱垂直梯度图构建第一直方图;
通过所述空谱水平梯度图、空谱垂直梯度图和空谱一阶梯度图构建第二直方图;
通过所述空谱水平梯度图、空谱垂直梯度图和空谱二阶梯度图构建第三直方图;
将所述第一直方图、第二直方图和第三直方图再第三维度串联,形成马赛克空谱梯度方向直方图;
所述空间SFA邻域为围绕目标像素p形成的n×n区域内的所有像素集合,且不包含目标像素p;
所述光谱SFA邻域为与所述目标像素p的关联波段相邻的m个波段所关联的像素集合;
其中,m和n均为正整数。
3.一种快照式光谱图像的马赛克空谱梯度方向直方图提取装置,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1所述的一种快照式光谱图像的马赛克空谱梯度方向直方图提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767678.2A CN113486906B (zh) | 2021-07-07 | 2021-07-07 | 快照式光谱图像的马赛克空谱梯度方向直方图提取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110767678.2A CN113486906B (zh) | 2021-07-07 | 2021-07-07 | 快照式光谱图像的马赛克空谱梯度方向直方图提取方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113486906A CN113486906A (zh) | 2021-10-08 |
CN113486906B true CN113486906B (zh) | 2024-01-09 |
Family
ID=77941095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110767678.2A Active CN113486906B (zh) | 2021-07-07 | 2021-07-07 | 快照式光谱图像的马赛克空谱梯度方向直方图提取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113486906B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016012980A1 (en) * | 2014-07-24 | 2016-01-28 | Ecole Polytechnique Federale De Lausanne (Epfl) | Compact multifunctional system for imaging spectroscopy |
CN110211044A (zh) * | 2019-05-24 | 2019-09-06 | 北京理工大学 | 基于去马赛克算法和主成分分析的多光谱成像方法及装置 |
CN110458766A (zh) * | 2019-07-11 | 2019-11-15 | 天津大学 | 一种快照式高光谱图像去马赛克方法 |
GB202008371D0 (en) * | 2020-06-03 | 2020-07-15 | King S College London | Method and system for joint demosaicking and spectral signature estimation |
-
2021
- 2021-07-07 CN CN202110767678.2A patent/CN113486906B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016012980A1 (en) * | 2014-07-24 | 2016-01-28 | Ecole Polytechnique Federale De Lausanne (Epfl) | Compact multifunctional system for imaging spectroscopy |
CN110211044A (zh) * | 2019-05-24 | 2019-09-06 | 北京理工大学 | 基于去马赛克算法和主成分分析的多光谱成像方法及装置 |
CN110458766A (zh) * | 2019-07-11 | 2019-11-15 | 天津大学 | 一种快照式高光谱图像去马赛克方法 |
GB202008371D0 (en) * | 2020-06-03 | 2020-07-15 | King S College London | Method and system for joint demosaicking and spectral signature estimation |
Non-Patent Citations (2)
Title |
---|
Object Tracking in Hyperspectral-Oriented Video with Fast Spatial-Spectral Features;Lulu Chen et al.;Remote Sens.;全文 * |
光谱滤光片阵列进展;赵永强等;激光与光电子学进展;第57卷(第19期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113486906A (zh) | 2021-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110827200B (zh) | 一种图像超分重建方法、图像超分重建装置及移动终端 | |
CN108681994B (zh) | 一种图像处理方法、装置、电子设备及可读存储介质 | |
CN113536864B (zh) | 手势识别方法、装置、计算机可读存储介质及终端设备 | |
US20110255781A1 (en) | Efficient descriptor extraction over multiple levels of an image scale space | |
US20140270344A1 (en) | Reducing object detection time by utilizing space localization of features | |
CN111369450B (zh) | 去除摩尔纹的方法与装置 | |
CN111598776A (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
US20210217145A1 (en) | System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks | |
CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
Zhang et al. | Cloud detection method using CNN based on cascaded feature attention and channel attention | |
WO2023000907A1 (zh) | 一种光谱图像的确定方法、装置、终端和存储介质 | |
CN110197504A (zh) | 图像配准方法、装置、电子设备及计算机可读存储介质 | |
CN113537254B (zh) | 图像特征提取方法、装置、电子设备及可读存储介质 | |
JP2023520625A (ja) | 画像特徴マッチング方法及び関連装置、機器並びに記憶媒体 | |
CN113507558A (zh) | 去除图像眩光的方法、装置、终端设备和存储介质 | |
CN116188808B (zh) | 图像特征提取方法和***、存储介质及电子设备 | |
CN116468917A (zh) | 图像处理方法、电子设备及存储介质 | |
CN115082310B (zh) | 一种卫星视频的超分辨率重建方法、装置及处理设备 | |
CN111047622A (zh) | 视频中对象的匹配方法和装置、存储介质及电子装置 | |
Erives et al. | Automated registration of hyperspectral images for precision agriculture | |
CN115578590A (zh) | 基于卷积神经网络模型的图像识别方法、装置及终端设备 | |
CN113486906B (zh) | 快照式光谱图像的马赛克空谱梯度方向直方图提取方法 | |
CN114758203A (zh) | 用于高光谱图像分类的残差密集视觉转换方法和*** | |
CN113313002A (zh) | 一种基于神经网络的多模态遥感影像特征提取方法 | |
CN108198163A (zh) | 一种基于离散余弦变换的全色与多光谱图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |