CN104700109B - 高光谱本征图像的分解方法及装置 - Google Patents
高光谱本征图像的分解方法及装置 Download PDFInfo
- Publication number
- CN104700109B CN104700109B CN201510130849.5A CN201510130849A CN104700109B CN 104700109 B CN104700109 B CN 104700109B CN 201510130849 A CN201510130849 A CN 201510130849A CN 104700109 B CN104700109 B CN 104700109B
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- hyperspectral
- decomposition
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 125
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000005286 illumination Methods 0.000 claims abstract description 125
- 238000001228 spectrum Methods 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 26
- 239000011159 matrix material Substances 0.000 claims description 26
- 230000005540 biological transmission Effects 0.000 claims description 24
- 230000003595 spectral effect Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 14
- 238000003064 k means clustering Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 abstract description 3
- 230000015556 catabolic process Effects 0.000 abstract 1
- 230000003760 hair shine Effects 0.000 abstract 1
- 239000000463 material Substances 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000003993 interaction Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000006467 substitution reaction Methods 0.000 description 5
- 238000000701 chemical imaging Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000012887 quadratic function Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 230000008033 biological extinction Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种高光谱本征图像的分解方法及装置,其中,方法包括以下步骤:获取高光谱图像序列;通过Retinex约束、非局部纹理约束和绝对尺度进行分解;通过共轭梯度算法对分解后的高光谱图像进行求解,以获取初始反射本征图与直接光照本征图;通过基于高光谱字典学习的间接光照分量分解算法对初始反射本征图进行基光谱训练和光传输分解,以获取反射本征图和间接光照本征图。该方法通过基于Retinex理论并添加非局部纹理约束,结合字典学习,从而提高图像分解的准确性,简单方便,更好地满足用户的使用需求。
Description
技术领域
本发明涉及计算机视觉技术领域,特别涉及一种高光谱本征图像的分解方法及装置。
背景技术
物体在人们眼中所呈的像是由物体的本质属性与环境属性相互作用确定,如物体表面的形状、颜色、材质,以及环境光照、周围物体的反射等。其中,光照和反射是其中最重要的两种属性:光照对应环境中的光照信息,包括直接光照和间接光照;反射对应物体的固有属性,包括形状、颜色和材质。
计算机视觉领域的一个主要任务是从场景中提取本征属性,从而对图像的每一个像素进行描述。为了解决这种高度欠约束问题,获取人们所需要的信息,先前的研究已经提出了很多简单或复杂的模型,但真实场景中对这些模型的估计仍然是一个开放性问题,因为真实场景中物体所呈的像由于阴影、高光、相互反射往往更为复杂,并受到他们的光源色度特性进一步影响。对复杂场景中的反射和光照特性进行估计,对许多计算机视觉和图形学的应用至关重要:一方面,透过物体表面,本征图像分解给出了一个不随光照等环境变化的更具有区别性的反射图像,这无疑简化了图像分割、物体识别等问题。另一方面,人们不需要熟悉场景就可以对场景进行估计,人们也可以描述之前从未见过的场景,这也对物体重着色、纹理编辑、场景重建、虚拟现实等问题提供了新的解决方案。
相关技术中的本征图像分解通常是基于单幅彩色或灰度图像,但是由于缺少场景的光谱细节,导致反射和光照分离效果受到很大限制。而对于更加欠约束的光照分解问题,相关技术中是对光照图中像素的RGB值分解,并加入用户交互,但这种方法主观性强,使用较为复杂。
发明内容
本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
为此,本发明的一个目的在于提出一种能提高图像分解的准确性,并且简单方便的高光谱本征图像的分解方法。
本发明的另一个目的在于提出一种高光谱本征图像的分解装置。
为达到上述目的,本发明一方面实施例提出了一种高光谱本征图像的分解方法,包括以下步骤:获取高光谱图像序列;通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行初始分解;通过共轭梯度算法对初始分解后的高光谱图像进行求解,以获取初始反射本征图与直接光照本征图;通过基于高光谱字典学习的间接光照分量分解算法对所述初始反射本征图进行基光谱训练和光传输分解,以获取反射本征图和间接光照本征图。
根据本发明实施例提出的高光谱本征图像的分解方法,通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行分解,并且在获取初始反射本征图与直接光照本征图之后,对初始反射本征图进行基光谱训练和光传输分解,结合字典学习,力求分解误差最小化,从而提高图像分解的准确性,简单方便,更好地满足用户的使用需求。
另外,根据本发明上述实施例的高光谱本征图像的分解方法还可以具有如下附加的技术特征:
进一步地,在本发明的一个实施例中,在所述获取初始本征图与直接光照本征图之后,还包括:通过K-Means聚类算法对所述初始反射本征图进行聚类。
进一步地,在本发明的一个实施例中,基于所述Retinex约束、非局部纹理约束和绝对尺度的目标函数为:
arg minsF(S)=μlfl(S)+μrfr(S)+μαfα(S),
其中,S为光照本征图,μl为第一正数权值,μr为第二正数权值,μα为第三正数权值,fl为所述Retinex约束的局部项,fr为所述非局部纹理约束的全局项,fα为所述绝对尺度的绝对值项。
进一步地,在本发明的一个实施例中,通过以下公式进行基光谱训练,所述公式为:
其中,为图像高光谱数据的二维矩阵,n为高光谱通道个数,m为场景中像素点个数,为基光谱字典,q为基光谱字典原子个数,为每列为k-稀疏向量xi的矩阵,并且k为预设稀疏程度。
进一步地,在本发明的一个实施例中,通过以下公式进行光传输分解,所述公式为:
其中,x,y为像素位置,R(λ)为各波段的反射光谱图像,Tj为传输系数矩阵,dj为基光谱。本发明另一方面实施例提出了一种高光谱本征图像的分解装置,包括:获取模块,用于获取高光谱图像序列;第一分解模块,用于通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行初始分解;计算模块,用于通过共轭梯度算法对初始分解后的高光谱图像进行求解,以获取初始反射本征图与直接光照本征图;第二分解模块,用于通过基于高光谱字典学习的间接光照分量分解算法对所述初始反射本征图进行基光谱训练和光传输分解,以获取反射本征图和间接光照本征图。
根据本发明实施例提出的高光谱本征图像的分解装置,通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行分解,并且在获取初始反射本征图与直接光照本征图之后,对初始反射本征图进行基光谱训练和光传输分解,结合字典学习,力求分解误差最小化,从而提高图像分解的准确性,简单方便,更好地满足用户的使用需求。
另外,根据本发明上述实施例的高光谱本征图像的分解装置还可以具有如下附加的技术特征:
进一步地,在本发明的一个实施例中,上述装置还包括:聚类模块,用于通过K-Means聚类算法对所述初始反射本征图进行聚类。
进一步地,在本发明的一个实施例中,基于所述Retinex约束、非局部纹理约束和绝对尺度的目标函数为:
arg minsF(S)=μlfl(S)+μrfr(S)+μαfα(S),
其中,S为光照本征图,μl为第一正数权值,μr为第二正数权值,μα为第三正数权值,fl为所述Retinex约束的局部项,fr为所述非局部纹理约束的全局项,fα为所述绝对尺度的绝对值项。
进一步地,在本发明的一个实施例中,通过以下公式进行基光谱训练,所述公式为:
其中,为图像高光谱数据的二维矩阵,n为高光谱通道个数,m为场景中像素点个数,为基光谱字典,q为基光谱字典原子个数,为每列为k-稀疏向量xi的矩阵,并且k为预设稀疏程度。
进一步地,在本发明的一个实施例中,通过以下公式进行光传输分解,所述公式为:
其中,x,y表示像素位置,R(λ)为各波段的反射光谱图像,Tj为传输系数矩阵,dj表示基光谱。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为根据本发明实施例的高光谱本征图像的分解方法的流程图;
图2为根据本发明一个实施例的高光谱本征图像的分解方法的流程图;
图3为根据本发明实施例的高光谱本征图像的分解装置的结构示意图;
图4为根据本发明一个实施例的高光谱本征图像的分解装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度小于第二特征。
下面参照附图描述根据本发明实施例提出的高光谱本征图像的分解方法及装置,首先将参照附图描述根据本发明实施例提出的高光谱本征图像的分解方法。参照图1所示,该方法包括以下步骤:
S101,获取高光谱图像序列。
S102,通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行初始分解。
进一步地,在本发明的一个实施例中,基于Retinex约束、非局部纹理约束和绝对尺度的目标函数为:
arg minsF(S)=μlfl(S)+μrfr(S)+μαfα(s),
其中,S为光照本征图,μl为第一正数权值,μr为第二正数权值,μα为第三正数权值,fl为Retinex约束的局部项,fr为非局部纹理约束的全局项,fα为绝对尺度的绝对值项。
具体地,对一幅高光谱图像(波长为λ),像素p的强度Ip(λ)可由其反射特性Rp(λ)和光照Sp(λ)相乘表示,即Ip(λ)=Rp(λ)×Sp(λ),对等式两边取对数,得到:
Ip(λ)=Rp(λ)+Sp(λ), (1)
对一组每幅有M个像素、N个波段的高光谱图像,存在MN个方程和2MN个未知数,因此高光谱本征图像分解是一个高度欠约束问题。由于校正后的高光谱数据已消除光源颜色的影响,每个像素的光照Sp在各个波段可看成相同,得到:
Ip(λ)=Rp(λ)+Sp, (2)
那么对一组高光谱图像的未知数变为M(N+1),未知数个数大大减少。而Sp可由对场景的RGB图像进行分解得到,再由Rp(λ)=Ip(λ)-Sp得到各光谱波段的反射图。
由于临近像素的反射特性与光照受到多种约束的影响,本发明实施例将Retinex局部约束、非局部纹理约束和绝对尺度约束加入到高光谱本征图像分解中,将问题转化为如下的目标函数最小化问题:
上式的μl、μr和μα都是将这三种不同目标函数结合在一起的正数权值。fl为代表Retinex约束的局部项,全局项fr和绝对值项fα代表了非局部的约束,具体地,fr为非局部纹理约束的全局项,fα为绝对尺度的绝对值项。
Retinex约束:fl定义为对整幅图像的相邻像素间光照和反射的差异加权和:
其中,Ω表示所有相邻像素对的集合,为满足光照和反射的平衡性条件,可使用ω(p,q)进行调节。
其中,t为阈值,和分别为像素p和像素q的色度。若已知像素p的RGB值,那么色度当色度值发生较大变化时,图像变化的梯度值被分在反射特性之中;否则梯度被分在光照之中。将Rp替代为Ip-Sp,可将式(4)化为关于Sp的目标函数。
非局部纹理约束:如果两个像素的邻域纹理向量相同,那么认为这两个像素反射特性相同。由于自然界中的纹理大多是冗余的,根据这一准则将输入图像的像素进行分类,可找到不相邻甚至相隔遥远但具有相同反射特性的像素,进一步简化问题。fr(S)定义为:
其中,Γ为所有像素集合,表示具有相同纹理的像素集合,p,q为中的不需要相邻的两个像素,将Rp替代为In-Sp,可将式(6)化为关于Sn的目标函数。
绝对尺度约束:对于式(1)的分解具有很强的任意性,需要对图像中最亮像素的阴影进行归一化。定义fα:
其中,Gα表示最亮像素的集合。
现得到目标函数F(S)表达式,这是一个关于光照S的二次函数,可将该函数表示成标准二次形式,其中A是一个对称正定矩阵,s为所有像素光照部分连接成的M×1向量,b为另一个M×1向量,该二次方程有唯一全局最小值,当且仅当s满足下面的线性方程:
As=b, (8)
进一步地,式(8)可使用共轭梯度算法求解,s即为光照光谱图像S,再由R(λ)=I(λ)-S可得到该波段下的反射光谱图像R(λ)。
进一步地,在本发明的一个实施例中,在获取初始本征图与直接光照本征图之后,还包括:通过K-Means聚类算法对初始反射本征图进行聚类。
具体地,反射特性聚类:在本发明的实施例中,分解出的光照图S即为直接光照分量,由于在分解中将带颜色的间接光照分量作为反射处理,分解出的反射光谱图像R(λ)不仅包含场景本身的反射特性,也包含了间接光照分量。在以下叙述中,本发明实施例将提到基于高光谱字典学习的间接光照分量分解算法将从R(λ)中解出各间接光照分量。
因此,为获得除去间接光照分量后的反射本征图,可认为对具有相互反射的像素而言,其最重要的颜色影响因素仍是其本身材料的光谱,因此,若对初始反射本征图各像素的高光谱进行聚类,大多数情况下具有相同颜色的物体将被归为同类。
本发明实施例使用K-Means聚类算法进行初始反射本征图的聚类。经过数次迭代,可得到准确的分类结果,作为最终的反射图。由聚类结果得到各个类别的分割图,做成掩膜,可在光照分解中指导间接光照分量的分解。
S103,通过共轭梯度算法对初始分解后的高光谱图像进行求解,以获取初始反射本征图与直接光照本征图。
S104,通过基于高光谱字典学习的间接光照分量分解算法对初始反射本征图进行基光谱训练和光传输分解,以获取反射本征图和间接光照本征图。
进一步地,在本发明的一个实施例中,通过以下公式进行基光谱训练,公式为:
其中,为图像高光谱数据的二维矩阵,n为高光谱通道个数,m为场景中像素点个数,为基光谱字典,q为基光谱字典原子个数,为每列为k-稀疏向量xi的矩阵,并且k为预设稀疏程度。
进一步地,在本发明的一个实施例中,通过以下公式进行光传输分解,公式为:
其中,x,y为像素位置,R(λ)为各波段的反射光谱图像,Tj为传输系数矩阵,dj为基光谱。
具体地,基光谱字典训练:高光谱图像是具有显著冗余特性的数据,从图像场景的物质组成上看,尽管高光谱图像由上百个波段的图像组成,但场景中的物质不会发生剧烈的变化。基于先前的研究对场景中光谱的观察,本发明实施例认为场景点中所有像素的光谱曲线都可由数条基光谱曲线根据稀疏系数线性组合而成。假设场景中像素点的反射光谱曲线r在一些基函数或者是字典D下有稀疏表示:
其中,是字典的原子,而x=[x1,…,xq]T是稀疏系数,但中大多数系数的值接近于0。使用公式(9)的稀疏表示,高光谱反射图像可以被表示为:R=DX。
该字典学习可以形式化为优化问题:
其中,是将三维高光谱反射图像转换的二维矩阵(m为场景中像素点个数,即图像的长×宽),是每列为k-稀疏向量xi的矩阵,并且k为指定的稀疏程度。式(10)可使用K-SVD算法进行求解。
间接光照分解模型:由于本征图像分解得到的各波段反射光谱图中包含了反射特性和各间接光照分量,各像素的光谱曲线也都是由基函数光谱线性组合而成。
因此,对于某一像素:
对于整个高光谱三维反射图像:
其中,R(λ)是各波段的反射光谱图像,Tj是传输系数矩阵,即基光谱dj在反射图中的每个像素权值的贡献组成的矩阵。不难得出,所有的Ti必须满足非负性,属于同一间接光照分量的像素对于各个光照分量的传输系数大小的比例大致上是相同的,因此间接光照分解转化为如下的分解误差最小化问题:
将求解出的矩阵Tj,通过其与相机RGB响应曲线和基光谱曲线相乘后积分(式(14)):
Rj=∫λTjR(λ)dj(λ)dλ,
Gj=∫λTjG(λ)dj(λ)dλ, (14)
Bj=∫λTjB(λ)dj(λ)dλ,
其中,R(λ)、G(λ)、B(B)表示相机的RGB响应曲线,Rj、Gj、Bj表示第j个间接光照分量的RGB三通道的数据了,进而可以得到场景中各物体加上其对其他物体产生的间接分量的RGB效果图。
结合上一步中反射特性聚类形成的各物体掩膜与对应的RGB效果图相乘,可得到除去反射部分,最终分离出各个间接光照分量。
在本发明的实施例中,本发明实施例利用高光谱成像,对场景中的每个点进行数十个乃至数百个颜色光谱的采样测量,采集到的高光谱图像是一个三维数据矩阵,携带光谱一维、空间二维数据。由于高分辨率光谱携带的信息记录了场景中环境光照和物体的本质属性,因此能为分解提供更多的信息,提高准确性。
具体地,参照图2所示,本发明实施例包含两个部分:第一,一种基于Retinex理论并添加非局部纹理约束的高光谱本征图像分解方法。通过在高光谱图像分解过程中添加Retinex约束和非局部纹理约束以减少未知数个数,将问题转化为二次函数最小化问题,使用标准的共轭梯度算法得以求解,获得各波段的光照本征图与反射本征图。第二,一种新颖的基于字典学习的间接光照分量分解方法。基于高光谱数据的冗余性和场景光谱曲线可由一组低维基光谱表示的理论,利用字典学习得到可以稀疏表示场景中绝大部分光谱曲线的基光谱原子,并利用基光谱原子和各波段反射本征图在满足约束条件下解出各个传输系数矩阵,结合反射特性聚类形成的掩膜,得到各间接光照分量。
本发明实施例可以通过对高光谱本征图像分解和间接光照分量分解进行数学建模来实现。具体地,本发明实施例提出了高光谱本征图像分解模型,联合基于Retinex理论并添加非局部纹理约束的高光谱本征图像分解方法和基于字典学习的间接光照分量分解方法,可将图像分解为反射、直接光照分量和各个间接光照分量,并且对于每个场景的高光谱图像均可得到一组低维的基光谱原子,可对高光谱场景数据进行二维编码投影,可用于高光谱图像的压缩和高分辨率的三维高光谱图像的重建,以及在合成场景和真实场景中验证了方法的可行性。
具体地,本发明实施例还可以用于物体重新着色和场景重光照。
物体重新着色:在很多图像处理软件中,对物体颜色的改变一般只涉及其本身颜色的改变,而对于实际场景中物体对其他物体的镜面反射、漫反射相互作用形成的颜色,并没有改变。这使得图像不自然,降低了图像的真实性。本发明可通过将待修改的颜色区域所代表的基光谱dj(λ)替换成修改后的颜色的基光谱dj‘(λ),从而对镜面反射、漫反射相互作用形成的颜色做出相应的改变。原模型为:
I(λ)=R(λ)×S, (15)
通过编辑基光谱dj,保持S和Tj不变,可得到新的高光谱图像数据,恢复为RGB图像后,在实现物体重新着色的同时,保持图像颜色的一致性。
场景重光照:本发明实施例分解分出的光照本征图S为主动光源的阴影,而原场景中由于已校正的光源为白光(白色的光谱特性类似于一条直线),故S为灰度的。由于S在各光谱波段均一,可使用不同颜色光谱曲线dj(λ)与之相乘后积分,便可得带有颜色的光照本征图S’。保持R(λ)不变,由I(λ)=R(λ)×S’可重建不同颜色光照条件下的场景图。
综上所述,本发明实施例针对于对高光谱图像的处理。就目前,高光谱成像***相较于普通成像***,曝光时间更长。高光谱图像相比于普通图像多记录了一维光谱信息,数据量更大,给数据的存储、传输和处理增大难度。但正由于它能提供了更多的自由度和准确性,高光谱图像的处理在解决图像细节增强、纹理分离、图像分割/消光等问题上具有很大的潜力。
在本发明的实施例中,本发明实施例相对于之前对单幅灰度图或彩色图的分解,因为其利用了光谱信息,结果更具有准确性,不仅能将场景的反射和光照高质量地分离,还能将各个间接光照分量分解。本发明实施例对于真实场景中对于反射与光照进行估计,对许多计算机视觉的应用至关重要。
根据本发明实施例提出的高光谱本征图像的分解方法,通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行分解,并且在获取初始反射本征图与直接光照本征图之后,对初始反射本征图进行基光谱训练和光传输分解,结合字典学习,力求分解误差最小化,从而提高图像分解的准确性,简单方便,并且能够将各个间接光照分量从图像中高质量地分离出来,从而便于之后对图像的编辑处理,以及获得的反射图像和各光照分量图像可应用于基于高光谱图像的物体重新着色和场景光照等,更好地满足用户的使用需求。
下面参照附图描述根据本发明实施例提出的高光谱本征图像的分解装置。该装置100包括:获取模块10、第一分解模块20、计算模块30和第二分解模块40。
其中,获取模块10用于获取高光谱图像序列。第一分解模块20用于通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行初始分解。计算模块30用于通过共轭梯度算法对初始分解后的高光谱图像进行求解,以获取初始反射本征图与直接光照本征图。第二分解模块40用于通过基于高光谱字典学习的间接光照分量分解算法对初始反射本征图进行基光谱训练和光传输分解,以获取反射本征图和间接光照本征图。
进一步地,在本发明的一个实施例中,基于Retinex约束、非局部纹理约束和绝对尺度的目标函数为:
arg minsF(S)=μlfl(S)+μrfr(S)+μαfα(S),
其中,S为光照本征图,μl为第一正数权值,μr为第二正数权值,μα为第三正数权值,fl为Retinex约束的局部项,fr为非局部纹理约束的全局项,fα为绝对尺度的绝对值项。
具体地,对一幅高光谱图像(波长为λ),像素p的强度Ip(λ)可由其反射特性Rn(λ)和光照Sp(λ)相乘表示,即Ip(λ)=Rp(λ)×Sp(λ),对等式两边取对数,得到:
Ip(λ)=Rp(λ)+Sp(λ), (1)
对一组每幅有M个像素、N个波段的高光谱图像,存在MN个方程和2MN个未知数,因此高光谱本征图像分解是一个高度欠约束问题。由于校正后的高光谱数据已消除光源颜色的影响,每个像素的光照Sn在各个波段可看成相同,得到:
Ip(λ)=Rp(λ)+Sp, (2)
那么对一组高光谱图像的未知数变为M(N+1),未知数个数大大减少。而Sp可由对场景的RGB图像进行分解得到,再由Rp(λ)=Ip(λ)-Sp得到各光谱波段的反射图。
由于临近像素的反射特性与光照受到多种约束的影响,本发明实施例将Retinex局部约束、非局部纹理约束和绝对尺度约束加入到高光谱本征图像分解中,将问题转化为如下的目标函数最小化问题:
上式的μl、μr和μα都是将这三种不同目标函数结合在一起的正数权值。fl为代表Retinex约束的局部项,全局项fr和绝对值项fα代表了非局部的约束,具体地,fr为非局部纹理约束的全局项,fα为绝对尺度的绝对值项。
Retinex约束:fl定义为对整幅图像的相邻像素间光照和反射的差异加权和:
其中,Ω表示所有相邻像素对的集合,为满足光照和反射的平衡性条件,可使用ω(p,q)进行调节。
其中,t为阈值,和分别为像素p和像素q的色度。若已知像素p的RGB值,那么色度当色度值发生较大变化时,图像变化的梯度值被分在反射特性之中;否则梯度被分在光照之中。将Rp替代为In-Sn,可将式(4)化为关于Sp的目标函数。
非局部纹理约束:如果两个像素的邻域纹理向量相同,那么认为这两个像素反射特性相同。由于自然界中的纹理大多是冗余的,根据这一准则将输入图像的像素进行分类,可找到不相邻甚至相隔遥远但具有相同反射特性的像素,进一步简化问题。fr(S)定义为:
其中,Γ为所有像素集合,表示具有相同纹理的像素集合,p,q为中的不需要相邻的两个像素,将Rp替代为In-Sp,可将式(6)化为关于Sp的目标函数。
绝对尺度约束:对于式(1)的分解具有很强的任意性,需要对图像中最亮像素的阴影进行归一化。定义fα:
其中,Gα表示最亮像素的集合。
现得到目标函数F(S)表达式,这是一个关于光照S的二次函数,可将该函数表示成标准二次形式,其中A是一个对称正定矩阵,s为所有像素光照部分连接成的M×1向量,b为另一个M×1向量,该二次方程有唯一全局最小值,当且仅当s满足下面的线性方程:
As=b, (8)
进一步地,式(8)可使用共轭梯度算法求解,s即为光照光谱图像S,再由R(λ)=I(λ)-S可得到该波段下的反射光谱图像R(λ)。
进一步地,在本发明的一个实施例中,参照图4所示,本发明实施例的装置100还包括:聚类模块50。其中,聚类模块50用于通过K-Means聚类算法对初始反射本征图进行聚类。
具体地,反射特性聚类:在本发明的实施例中,分解出的光照图S即为直接光照分量,由于在分解中将带颜色的间接光照分量作为反射处理,分解出的反射光谱图像R(λ)不仅包含场景本身的反射特性,也包含了间接光照分量。在以下叙述中,本发明实施例将提到基于高光谱字典学习的间接光照分量分解算法将从R(λ)中解出各间接光照分量。
因此,为获得除去间接光照分量后的反射本征图,可认为对具有相互反射的像素而言,其最重要的颜色影响因素仍是其本身材料的光谱,因此,若对初始反射本征图各像素的高光谱进行聚类,大多数情况下具有相同颜色的物体将被归为同类。
本发明实施例使用K-Means聚类算法进行初始反射本征图的聚类。经过数次迭代,可得到准确的分类结果,作为最终的反射图。由聚类结果得到各个类别的分割图,做成掩膜,可在光照分解中指导间接光照分量的分解。
进一步地,在本发明的一个实施例中,通过以下公式进行基光谱训练,公式为:
其中,为图像高光谱数据的二维矩阵,n为高光谱通道个数,m为场景中像素点个数,为基光谱字典,q为基光谱字典原子个数,为每列为k-稀疏向量xi的矩阵,并且k为预设稀疏程度。
进一步地,在本发明的一个实施例中,通过以下公式进行光传输分解,公式为:
其中,x,y为像素位置,R(λ)为各波段的反射光谱图像,Tj为传输系数矩阵,dj为基光谱。
具体地,基光谱字典训练:高光谱图像是具有显著冗余特性的数据,从图像场景的物质组成上看,尽管高光谱图像由上百个波段的图像组成,但场景中的物质不会发生剧烈的变化。基于先前的研究对场景中光谱的观察,本发明实施例认为场景点中所有像素的光谱曲线都可由数条基光谱曲线根据稀疏系数线性组合而成。假设场景中像素点的反射光谱曲线r在一些基函数或者是字典D下有稀疏表示:
其中,是字典的原子,而x=[x1,…,xq]T是稀疏系数,但中大多数系数的值接近于0。使用公式(9)的稀疏表示,高光谱反射图像可以被表示为:R=DX。
该字典学习可以形式化为优化问题:
其中,是将三维高光谱反射图像转换的二维矩阵(m为场景中像素点个数,即图像的长×宽),是每列为k-稀疏向量xi的矩阵,并且k为指定的稀疏程度。式(10)可使用K-SVD算法进行求解。
间接光照分解模型:由于本征图像分解得到的各波段反射光谱图中包含了反射特性和各间接光照分量,各像素的光谱曲线也都是由基函数光谱线性组合而成。
因此,对于某一像素:
对于整个高光谱三维反射图像:
其中,R(λ)是各波段的反射光谱图像,Tj是传输系数矩阵,即基光谱dj在反射图中的每个像素权值的贡献组成的矩阵。不难得出,所有的Tj必须满足非负性,属于同一间接光照分量的像素对于各个光照分量的传输系数大小的比例大致上是相同的,因此间接光照分解转化为如下的分解误差最小化问题:
将求解出的矩阵Tj,通过其与相机RGB响应曲线和基光谱曲线相乘后积分(式(14)):
Rj=∫λTjR(λ)dj(λ)dλ,
Gj=∫λTjG(λ)dj(λ)dλ, (14)
Bj=∫λTjB(λ)dj(λ)dλ,
其中,R(λ)、G(λ)、B(λ)表示相机的RGB响应曲线,Rj、Gj、Bj表示第j个间接光照分量的RGB三通道的数据了,进而可以得到场景中各物体加上其对其他物体产生的间接分量的RGB效果图。
结合上一步中反射特性聚类形成的各物体掩膜与对应的RGB效果图相乘,可得到除去反射部分,最终分离出各个间接光照分量。
在本发明的实施例中,本发明实施例利用高光谱成像,对场景中的每个点进行数十个乃至数百个颜色光谱的采样测量,采集到的高光谱图像是一个三维数据矩阵,携带光谱一维、空间二维数据。由于高分辨率光谱携带的信息记录了场景中环境光照和物体的本质属性,因此能为分解提供更多的信息,提高准确性。
具体地,参照图2所示,本发明实施例包含两个部分:第一,一种基于Retinex理论并添加非局部纹理约束的高光谱本征图像分解方法。通过在高光谱图像分解过程中添加Retinex约束和非局部纹理约束以减少未知数个数,将问题转化为二次函数最小化问题,使用标准的共轭梯度算法得以求解,获得各波段的光照本征图与反射本征图。第二,一种新颖的基于字典学习的间接光照分量分解方法。基于高光谱数据的冗余性和场景光谱曲线可由一组低维基光谱表示的理论,利用字典学习得到可以稀疏表示场景中绝大部分光谱曲线的基光谱原子,并利用基光谱原子和各波段反射本征图在满足约束条件下解出各个传输系数矩阵,结合反射特性聚类形成的掩膜,得到各间接光照分量。
本发明实施例可以通过对高光谱本征图像分解和间接光照分量分解进行数学建模来实现。具体地,本发明实施例提出了高光谱本征图像分解模型,联合基于Retinex理论并添加非局部纹理约束的高光谱本征图像分解方法和基于字典学习的间接光照分量分解方法,可将图像分解为反射、直接光照分量和各个间接光照分量,并且对于每个场景的高光谱图像均可得到一组低维的基光谱原子,可对高光谱场景数据进行二维编码投影,可用于高光谱图像的压缩和高分辨率的三维高光谱图像的重建,以及在合成场景和真实场景中验证了方法的可行性。
具体地,本发明实施例还可以用于物体重新着色和场景重光照。
物体重新着色:在很多图像处理软件中,对物体颜色的改变一般只涉及其本身颜色的改变,而对于实际场景中物体对其他物体的镜面反射、漫反射相互作用形成的颜色,并没有改变。这使得图像不自然,降低了图像的真实性。本发明可通过将待修改的颜色区域所代表的基光谱dj(λ)替换成修改后的颜色的基光谱dj‘(λ),从而对镜面反射、漫反射相互作用形成的颜色做出相应的改变。原模型为:
I(λ)=R(λ)×S, (15)
通过编辑基光谱dj,保持S和Tj不变,可得到新的高光谱图像数据,恢复为RGB图像后,在实现物体重新着色的同时,保持图像颜色的一致性。
场景重光照:本发明实施例分解分出的光照本征图S为主动光源的阴影,而原场景中由于已校正的光源为白光(白色的光谱特性类似于一条直线),故S为灰度的。由于S在各光谱波段均一,可使用不同颜色光谱曲线dj(λ)与之相乘后积分,便可得带有颜色的光照本征图S’。保持R(V)不变,由I(λ)=R(λ)×S’可重建不同颜色光照条件下的场景图。
综上所述,本发明实施例针对于对高光谱图像的处理。就目前,高光谱成像***相较于普通成像***,曝光时间更长。高光谱图像相比于普通图像多记录了一维光谱信息,数据量更大,给数据的存储、传输和处理增大难度。但正由于它能提供了更多的自由度和准确性,高光谱图像的处理在解决图像细节增强、纹理分离、图像分割/消光等问题上具有很大的潜力。
在本发明的实施例中,本发明实施例相对于之前对单幅灰度图或彩色图的分解,因为其利用了光谱信息,结果更具有准确性,不仅能将场景的反射和光照高质量地分离,还能将各个间接光照分量分解。本发明实施例对于真实场景中对于反射与光照进行估计,对许多计算机视觉的应用至关重要。
根据本发明实施例提出的高光谱本征图像的分解装置,通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行分解,并且在获取初始反射本征图与直接光照本征图之后,对初始反射本征图进行基光谱训练和光传输分解,结合字典学习,力求分解误差最小化,从而提高图像分解的准确性,简单方便,并且能够将各个间接光照分量从图像中高质量地分离出来,从而便于之后对图像的编辑处理,以及获得的反射图像和各光照分量图像可应用于基于高光谱图像的物体重新着色和场景光照等,更好地满足用户的使用需求。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用,或结合这些指令执行***、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (8)
1.一种高光谱本征图像的分解方法,其特征在于,包括以下步骤:
获取高光谱图像序列;
通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行初始分解;
通过共轭梯度算法对初始分解后的高光谱图像进行求解,以获取初始反射本征图像与直接光照本征图像,在所述获取初始反射本征图像与直接光照本征图像之后,还包括:通过K-Means聚类算法对所述初始反射本征图像进行聚类;
通过基于高光谱字典学习的间接光照分量分解算法对所述初始反射本征图像进行基光谱训练和光传输分解,以获取反射本征图像和间接光照本征图像。
2.根据权利要求1所述的高光谱本征图像的分解方法,其特征在于,基于所述Retinex约束、非局部纹理约束和绝对尺度的目标函数为:
arg mins F(S)=μlfl(S)+μrfr(S)+μαfα(S),
其中,S为所述直接光照本征图像,μl为第一正数权值,μr为第二正数权值,μα为第三正数权值,fl为所述Retinex约束的局部项,fr为所述非局部纹理约束的全局项,fα为所述绝对尺度的绝对值项。
3.根据权利要求1所述的高光谱本征图像的分解方法,其特征在于,通过以下公式进行基光谱训练,所述公式为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mo>{</mo>
<mi>D</mi>
<mo>,</mo>
<mi>X</mi>
<mo>}</mo>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>R</mi>
<mo>-</mo>
<mi>D</mi>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>m</mi>
<mo>,</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中,为图像高光谱数据的二维矩阵,n为高光谱通道个数,m为场景中像素点个数,为基光谱字典,q为基光谱字典原子个数,为每列为k-稀疏向量xi的矩阵,并且k为预设稀疏程度。
4.根据权利要求1所述的高光谱本征图像的分解方法,其特征在于,通过以下公式进行光传输分解,所述公式为:
<mrow>
<msub>
<mi>min</mi>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
</msub>
<mo>{</mo>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>}</mo>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</msubsup>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>,</mo>
</mrow>
其中,x,y为像素位置,R(λ)为各波段的反射光谱图像,Tj为传输系数矩阵,dj为基光谱,λ为光谱波长,q为基光谱字典原子个数。
5.一种高光谱本征图像的分解装置,其特征在于,包括:
获取模块,用于获取高光谱图像序列;
第一分解模块,用于通过Retinex约束、非局部纹理约束和绝对尺度对高光谱图像进行初始分解;
计算模块,用于通过共轭梯度算法对初始分解后的高光谱图像进行求解,以获取初始反射本征图像与直接光照本征图像;
聚类模块,用于通过K-Means聚类算法对所述初始反射本征图像进行聚类;
第二分解模块,用于通过基于高光谱字典学习的间接光照分量分解算法对所述初始反射本征图像进行基光谱训练和光传输分解,以获取反射本征图像和间接光照本征图像。
6.根据权利要求5所述的高光谱本征图像的分解装置,其特征在于,基于所述Retinex约束、非局部纹理约束和绝对尺度的目标函数为:
arg mins F(S)=μlfl(S)+μrfr(S)+μαfα(S),
其中,S为所述直接光照本征图像,μl为第一正数权值,μr为第二正数权值,μα为第三正数权值,fl为所述Retinex约束的局部项,fr为所述非局部纹理约束的全局项,fα为所述绝对尺度的绝对值项。
7.根据权利要求5所述的高光谱本征图像的分解装置,其特征在于,通过以下公式进行基光谱训练,所述公式为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<munder>
<mi>min</mi>
<mrow>
<mo>{</mo>
<mi>D</mi>
<mo>,</mo>
<mi>X</mi>
<mo>}</mo>
</mrow>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>R</mi>
<mo>-</mo>
<mi>D</mi>
<mi>X</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>;</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>s</mi>
<mo>.</mo>
<mi>t</mi>
<mo>.</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>&ForAll;</mo>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
<mo>,</mo>
<mn>...</mn>
<mo>,</mo>
<mi>m</mi>
<mo>,</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>0</mn>
</msub>
<mo>&le;</mo>
<mi>k</mi>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>,</mo>
</mrow>
其中,为图像高光谱数据的二维矩阵,n为高光谱通道个数,m为场景中像素点个数,为基光谱字典,q为基光谱字典原子个数,为每列为k-稀疏向量xi的矩阵,并且k为预设稀疏程度。
8.根据权利要求5所述的高光谱本征图像的分解装置,其特征在于,通过以下公式进行光传输分解,所述公式为:
<mrow>
<msub>
<mi>min</mi>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
</msub>
<mo>{</mo>
<mi>e</mi>
<mi>r</mi>
<mi>r</mi>
<mi>o</mi>
<mi>r</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>}</mo>
<mo>=</mo>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
</munder>
<mo>|</mo>
<mo>|</mo>
<mi>R</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>,</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>q</mi>
</msubsup>
<msub>
<mi>T</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<msub>
<mi>d</mi>
<mi>j</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>&lambda;</mi>
<mo>)</mo>
</mrow>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
<mo>,</mo>
</mrow>
其中,x,y为像素位置,R(λ)为各波段的反射光谱图像,Tj为传输系数矩阵,dj为基光谱,λ为光谱波长,q为基光谱字典原子个数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510130849.5A CN104700109B (zh) | 2015-03-24 | 2015-03-24 | 高光谱本征图像的分解方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510130849.5A CN104700109B (zh) | 2015-03-24 | 2015-03-24 | 高光谱本征图像的分解方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104700109A CN104700109A (zh) | 2015-06-10 |
CN104700109B true CN104700109B (zh) | 2018-04-10 |
Family
ID=53347207
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510130849.5A Active CN104700109B (zh) | 2015-03-24 | 2015-03-24 | 高光谱本征图像的分解方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104700109B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105678769A (zh) * | 2016-01-05 | 2016-06-15 | 南京大学 | 地物光谱图像本质分解 |
CN106067171B (zh) * | 2016-05-26 | 2018-10-19 | 南京大学 | 一种高光谱图像本质分解和图像分割方法 |
CN106226247A (zh) * | 2016-07-15 | 2016-12-14 | 暨南大学 | 一种基于高光谱显微成像技术的细胞检测方法 |
CN106339999A (zh) * | 2016-08-31 | 2017-01-18 | 上海交通大学 | 一种本征图像重构方法 |
CN106570928B (zh) * | 2016-11-14 | 2019-06-21 | 河海大学 | 一种基于图像的重光照方法 |
CN106600594A (zh) * | 2016-12-19 | 2017-04-26 | 天津工业大学 | 基于***Bregman的干涉高光谱图像快速分解算法 |
CN106780424A (zh) * | 2017-01-12 | 2017-05-31 | 清华大学 | 一种基于极少数优化选择波段的高光谱图像获取方法 |
CN107133953B (zh) * | 2017-03-09 | 2020-04-24 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于偏微分方程学习的本征图像分解方法 |
CN107146225A (zh) * | 2017-05-05 | 2017-09-08 | 郑州云海信息技术有限公司 | 一种获取本征图像的方法与装置 |
CN109146003B (zh) * | 2018-09-30 | 2022-06-07 | 合刃科技(深圳)有限公司 | 一种基于高光谱成像的分类识别方法、装置及*** |
CN110033495B (zh) * | 2019-03-25 | 2021-04-20 | 西安交通大学 | 基于k-均值聚类字典学习的mr图像重构方法 |
CN109961488A (zh) * | 2019-03-25 | 2019-07-02 | ***股份有限公司 | 一种实物图像生成方法及装置 |
US20220207856A1 (en) * | 2020-03-30 | 2022-06-30 | Shenzhen Hypernano Optics Technology Co., Ltd. | Method for extracting spectral information of a substance under test |
CN111915625B (zh) * | 2020-08-13 | 2021-04-13 | 湖南省有色地质勘查研究院 | 一种能量积分的遥感影像地形阴影自动检测方法和*** |
CN112927200B (zh) * | 2021-02-23 | 2022-02-01 | 贝壳找房(北京)科技有限公司 | 本征图像分解方法、装置、可读存储介质及电子设备 |
CN112967350B (zh) * | 2021-03-08 | 2022-03-18 | 哈尔滨工业大学 | 基于稀疏图编码的高光谱遥感图像本征分解方法及*** |
CN113192055B (zh) * | 2021-05-20 | 2023-01-17 | 中国海洋大学 | 一种合成图像的和谐化方法及模型 |
CN115546010B (zh) * | 2022-09-21 | 2023-09-12 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103310075A (zh) * | 2013-07-03 | 2013-09-18 | 清华大学 | 光传输成分分解方法 |
CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及*** |
CN104268897A (zh) * | 2014-10-28 | 2015-01-07 | 天津大学 | 一种协同本征图像分解方法 |
-
2015
- 2015-03-24 CN CN201510130849.5A patent/CN104700109B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103310075A (zh) * | 2013-07-03 | 2013-09-18 | 清华大学 | 光传输成分分解方法 |
CN104063857A (zh) * | 2014-06-30 | 2014-09-24 | 清华大学 | 高光谱图像的生成方法及*** |
CN104268897A (zh) * | 2014-10-28 | 2015-01-07 | 天津大学 | 一种协同本征图像分解方法 |
Non-Patent Citations (4)
Title |
---|
a closed-form solution to retinex with nonlocal texture constraints;qi zhao et al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20120731;第34卷(第7期);第1437-1444页 * |
illumination decomposition for material recoloring with consistent interreflections;robert carroll et al;《ACM transactions on graphics》;20110731;第30卷(第4期);第1-9页 * |
intrinsic images by clustering;elena garces et al;《eurographics symposium in rendering 2012》;20121231;第31卷(第4期);第1-10页 * |
rich intrinsic image decomposition of outdoor scenes from multiple views;pierre-yves laffont et al;《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》;20130228;第19卷(第2期);第210-224页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104700109A (zh) | 2015-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104700109B (zh) | 高光谱本征图像的分解方法及装置 | |
Roy et al. | A study about color normalization methods for histopathology images | |
Anwar et al. | Deep underwater image enhancement | |
EP3678059B1 (en) | Image processing method, image processing apparatus, and a neural network training method | |
Liang et al. | High-resolution photorealistic image translation in real-time: A laplacian pyramid translation network | |
Rematas et al. | Deep reflectance maps | |
US11164295B2 (en) | Methods and apparatus for enhancing optical images and parametric databases | |
Ferradans et al. | Regularized discrete optimal transport | |
Liu et al. | Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives | |
Wang et al. | Exposure fusion based on sparse representation using approximate K-SVD | |
Pintus et al. | State‐of‐the‐art in Multi‐Light Image Collections for surface visualization and analysis | |
CN113240622A (zh) | 人体场景图像本征分解与重光照方法和装置 | |
Kotwal et al. | An optimization-based approach to fusion of multi-exposure, low dynamic range images | |
US20240021021A1 (en) | Light source spectrum and multispectral reflectivity image acquisition methods and apparatuses, and electronic device | |
CN112967373A (zh) | 一种基于非线性3dmm的人脸图像特征编码方法 | |
JP2010198382A (ja) | シミュレーション装置、シミュレーション方法、及びコンピュータプログラム | |
Xu et al. | AACNet: Asymmetric attention convolution network for hyperspectral image dehazing | |
Si et al. | A novel method for single nighttime image haze removal based on gray space | |
Darling et al. | Real-time multispectral rendering with complex illumination | |
Yu et al. | Haze removal using deep convolutional neural network for Korea Multi-Purpose Satellite-3A (KOMPSAT-3A) multispectral remote sensing imagery | |
Yu et al. | Pvnn: A neural network library for photometric vision | |
Majumdar et al. | Retinex algorithm with reduced halo artifacts | |
Dai et al. | Adjustable enhancer for low-light image enhancement using multi-expressions fusion and convolutional kernel calibration | |
Yoon et al. | Efficient image enhancement using sparse source separation in the Retinex theory | |
Celik et al. | Adaptive colour constancy algorithm using discrete wavelet transform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |