CN108171680B - 应用于结构光图像的超稀疏cs融合方法 - Google Patents
应用于结构光图像的超稀疏cs融合方法 Download PDFInfo
- Publication number
- CN108171680B CN108171680B CN201810068726.7A CN201810068726A CN108171680B CN 108171680 B CN108171680 B CN 108171680B CN 201810068726 A CN201810068726 A CN 201810068726A CN 108171680 B CN108171680 B CN 108171680B
- Authority
- CN
- China
- Prior art keywords
- image
- supersparsity
- structure light
- coefficient
- guide rail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000011084 recovery Methods 0.000 claims abstract description 8
- 230000006835 compression Effects 0.000 claims abstract description 5
- 238000007906 compression Methods 0.000 claims abstract description 5
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 4
- 230000008054 signal transmission Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 abstract description 8
- 230000007547 defect Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种应用于结构光图像的超稀疏CS融合方法,步骤一:当结构光设备拍摄的图像为细节不清晰或者细节缺失的多幅图像时,将图像传输至计算机;步骤二:将每幅图像进行小波分解;步骤三:将压缩感知框架下分解的较大小波系数,进行压缩感知压缩,压缩后的超稀疏系数通过绝对值最大化进行融合;融合基的选取采用coif4小波基;步骤四:通过正交匹配追踪方法,经过迭代运算,实现超稀疏系数融合后的CS图像恢复;步骤五:将恢复后的图像通过电信号传输回机构光成像仪,以供继续机械操作。实现了在信号稀疏或近似稀疏的条件下的进行欠采样,再通过基于压缩感知的最佳融合方法对缺损结构光图像进行高概率还原。
Description
技术领域
本发明涉及图像欠采样融合处理领域,尤其涉及应用于结构光图像的超稀疏CS融合方法。
背景技术
结构光成像目前的成像方法往往会受到一些因素的制约。如基于傅里叶条纹分析的成像方法,由于只需要获取一帧图像就能全场重建被测物体面形,非常适合于动态场景。但其缺点集中表现在计算量大,频域混频、泄漏等因素使误差较大。近两年有学者提出了结构光照明荧光显微成像***,显著提升了成像速度和图像分辨率。但若要进一步提高计算准确度,则必须考虑更加复杂的算法且花费更多计算时间。另外,在双目视觉中由于镜头移动,对焦不同,出现遮挡物等使得照片存在部分模糊或者图片信息缺失现象。已有的压缩感知融合处理的小波基选取并不全面,没有考虑最新小波基。应用范围没有涉及到结构光图像处理领域。
发明内容
发明目的
本发明的目的是解决目前结构光成像***速度慢精度低、对信息欠缺图像采样要求较高的问题。实现在信号稀疏或近似稀疏的条件下的进行欠采样,再通过基于压缩感知的最佳融合方法对缺损结构光图像进行高概率还原。
技术方案
应用于结构光图像的超稀疏CS融合方法,其特征在于:本方法的实施过程分为以下五个步骤:
步骤一:当结构光设备拍摄的图像为细节不清晰或者细节缺失的多幅图像时,将图像传输至计算机;
步骤二:将每幅图像进行小波分解,以信息熵、互信息量、峰值信噪比和平均梯度为评价标准评价出的最佳小波稀疏基coif5进行图像稀疏投影,将图像数值分解成较大的稀疏系数,其它大部分系数变成与零大小相当;
压缩感知理论中,存在实值有限长一维离散时间信号,即原信号f∈RN*1,其中R是任意实数,N*1是N行1列信号;在从1到N的小波稀疏基下展开,其中ψi是第i个小波稀疏基;原信号f得到如(1)所示:
其中第i个小波系数 是第i个小波稀疏基的转置;Φ是M,M<<N,阶测量矩阵,其中M是M维,N是N维,M和N是自然数;之后得到小于原信号f长度的投影y,矩阵表示稀疏化如(2)所示,投影如式(3)所示:
f=Ψθ (2)
y=Φf (3)
其中θ是小波系数,Ψ是小波稀疏基,将(2)式带入(3)式,得到总的降维测量矩阵A:
y=ΦΨθ=Aθ (4)
由于M<<N,若Φ满足一致不确定性原则或约束等容特性,可将0范数l0重构问题等效为1范数l1最小化问题,如式(5)所示,进而高精确地重构f,在y=Aθ约束下解最小化1范数;
其中为最小化1范数求和;
步骤三:将压缩感知框架下分解的较大小波系数,进行压缩感知压缩,压缩后的超稀疏系数通过绝对值最大化进行融合;融合基的选取采用coif4小波基;
步骤四:通过正交匹配追踪方法,经过
gr为第r个匹配字典中的向量原子,使内积最大的gr定义为,是Hilbert空间H=Rn的单位矢量,Rn表示的是n维实数,Rm表示的是m维实数,满足维度Г>>n,初值R0y’=y’,R0代表初始的实数值,对任意给定的信号y’∈Rn,都可以表示成原子迭加的形式;原子选定后,通过Gram-Schmidt方法正交化处理后得到第m个中间变量um,如公式(7):
上式中p代表序号,up为第p个中间变量,||up||表示up的1范数;
残差在um上投影:
信号y’的M项表示为:
RM代表整个M维的数组,M<N,N为信号空间的维数,若M=N,则最终解出融合后的投影数值y”:
的迭代运算,实现超稀疏系数融合后的CS图像恢复;
步骤五:将恢复后的图像通过电信号传输回机构光成像仪,以供继续机械操作。
所述结构光设备包括载物台、照射台和导轨,照射台位于载物台的上方,照射台的下端面设有同一水平面朝向载物台的两个镜头,照射台的下端面位于两个镜头之间还设有一个投影仪,投影仪位于载物台的正上方,光缆将两个镜头和投影仪连通,照射台连接在导轨上。
所述导轨包括竖直导轨和水平导轨,照射台连接在水平导轨上,水平导轨连接在竖直导轨上。
优点及效果
结构光应用在自动化流水线的辅助上,大量图像的快速处理,就成为该***成功快速运行的基本保障。
本发明的主要效果体现在对结构光图像的精准快速融合处理,利用压缩感知方法实现***的欠采样。在相对少的图像采样情况下,可以明显提高整个***的运行流畅度和效率。
最少图像采集的时候,采用本专利实验的两种最佳小波基,可以得到评价指标最高的效果最好的恢复图像。
附图说明
图1为结构光设备结构示意图。
附图标记说明:1.载物台、2.照射台、3.镜头、4.投影仪、5.竖直导轨、6.水平导轨。
具体实施方式
下面结合附图对本发明做进一步的说明:
针对提高速率问题,提出了欠采样的快采样快融合高效恢复的压缩感知融合方法。
压缩感知理论解决在像素最大化的融合规则下的大量数据处理难题。
应用于结构光图像的超稀疏CS融合方法,本方法的实施过程分为以下五个步骤:
步骤一:当结构光设备拍摄的图像为细节不清晰或者细节缺失的多幅图像时,将图像传输至计算机;如图1所示,结构光设备包括载物台1、照射台2和导轨,照射台2位于载物台1的上方,照射台2的下端面设有同一水平面朝向载物台的两个镜头3,照射台2的下端面位于两个镜头3之间还设有一个投影仪4,投影仪4位于载物台的正上方,光缆将两个镜头和投影仪4连通,导轨包括竖直导轨5和水平导轨6,照射台2连接在水平导轨6上,照射台2能够在水平导轨6上水平移动,水平导轨6连接在竖直导轨5上,照射台2能够在竖直导轨5上竖直上下移动。
步骤二:将每幅图像进行小波分解,以信息熵IE(Information Entropy)、互信息量MI(Mutual Information)、峰值信噪比PSNR(Peak-to-peak Signal-to-Noise Ratio)和平均梯度(Average Gradient,AG)为评价标准评价出的最佳小波稀疏基coif5进行图像稀疏投影,将图像数值分解成较大的稀疏系数,其它大部分系数变成与零大小相当;
压缩感知(CS)理论中,存在实值有限长一维离散时间信号,即原信号f∈RN*1,其中R是任意实数,N*1是N行1列信号;在从1到N的小波稀疏基下展开,其中ψi是第i个小波稀疏基;原信号f得到如(1)所示:
其中第i个小波系数 是第i个小波稀疏基的转置;Φ是M,M<<N,阶测量矩阵,其中M是M维,N是N维,M和N是自然数;之后得到小于原信号f长度的投影y,矩阵表示稀疏化如(2)所示,投影如式(3)所示:
f=Ψθ (2)
y=Φf (3)
其中θ是小波系数,Ψ是小波稀疏基,将(2)式带入(3)式,得到总的降维测量矩阵A:
y=ΦΨθ=Aθ (4)
由于M<<N,恢复f是N-P hard问题,CS理论的创造者Candès证明,若Φ满足一致不确定性原则(uniform uncertainty principle,UUP)或约束等容特性(restrictedisometry property,RIP),可将0范数l0重构问题等效为1范数l1最小化问题,如式(5)所示,进而高精确地重构f,在y=Aθ约束下解最小化1范数;
其中为最小化1范数求和;
步骤三:将压缩感知框架下分解的较大小波系数,进行压缩感知(CompressedSensing,CS)压缩,压缩后的超稀疏系数通过绝对值最大化进行融合;融合基的选取采用coif4小波基;
步骤四:在压缩感知众多的恢复方法中,包括基于最优化理论的范数求解方法,和基于贪婪思想的方法。梯度投影(GPSR)方法是在l1等价基础上进行的NP-hard问题求解,正交匹配追踪方法(OMP)是一种贪婪迭代方法。为最快最好得到融合后的恢复图像,解决超完备稀疏最优化问题的方法,采用贪婪迭代法,正交匹配追踪(OMP)方法,递归地对所选原子的集合进行正交化。通过正交匹配追踪(Orthogonal Matching Pursuit:OMP)方法,经过
gr为第r个匹配字典中的向量原子,使内积最大的gr定义为是Hilbert空间H=Rn的单位矢量,Rn表示的是n维实数,Rm表示的是m维实数,满足维度Г>>n,初值R0y’=y’,R0代表初始的实数值,对任意给定的信号y’∈Rn,都可以表示成原子迭加的形式;原子选定后,通过Gram-Schmidt方法正交化处理后得到第m个中间变量um,如公式(7):
上式中p代表序号,up为第p个中间变量,||up||表示up的1范数;
残差在um上投影:
信号y’的M项表示为:
RM代表整个M维的数组,M<N,N为信号空间的维数。若M=N,则最终解出融合后的投影数值y”:
的迭代运算,实现超稀疏系数融合后的CS图像恢复;设计基于OMP的CS小波融合方法,可以在恢复数据阶段采用最少的原始样本得到最佳的视觉效果及评价指标。同时,本专利选择了速度作为考量方法有效性的首选因素,达到快速有效的融合效果。
步骤五:将恢复后的图像通过电信号传输回机构光成像仪,以供继续机械操作,y’的复原,体现了图像欠采样的特点。例如对于2幅,256*256像素点的基础图像,利用100-190次的迭代计算即可实现像素点的恢复。
Claims (3)
1.应用于结构光图像的超稀疏CS融合方法,其特征在于:本方法的实施过程分为以下五个步骤:
步骤一:当结构光设备拍摄的图像为细节不清晰或者细节缺失的多幅图像时,将图像传输至计算机;
步骤二:将每幅图像进行小波分解,以信息熵、互信息量、峰值信噪比和平均梯度为评价标准评价出的最佳小波稀疏基coif5进行图像稀疏投影,将图像数值分解成较大的稀疏系数,其它大部分系数变成与零大小相当;
压缩感知理论中,存在实值有限长一维离散时间信号,即原信号f∈RN*1,其中R是任意实数,N*1是N行1列信号;在从1到N的小波稀疏基下展开,其中ψi是第i个小波稀疏基;原信号f得到如(1)所示:
其中第i个小波系数 是第i个小波稀疏基的转置;Φ是M,M<<N,阶测量矩阵,其中M是M维,N是N维,M和N是自然数;之后得到小于原信号f长度的投影y,矩阵表示稀疏化如(2)所示,投影如式(3)所示:
f=Ψθ (2)
y=Φf (3)
其中θ是小波系数,Ψ是小波稀疏基,将(2)式带入(3)式,得到总的降维测量矩阵A:
y=ΦΨθ=Aθ (4)
由于M<<N,若Φ满足一致不确定性原则或约束等容特性,可将0范数l0重构问题等效为1范数l1最小化问题,如式(5)所示,进而高精确地重构f,在y=Aθ约束下解最小化1范数;
其中为最小化1范数求和;
步骤三:将压缩感知框架下分解的较大小波系数,进行压缩感知压缩,压缩后的超稀疏系数通过绝对值最大化进行融合;融合基的选取采用coif4小波基;
步骤四:通过正交匹配追踪方法,经过
gr为第r个匹配字典中的向量原子,使内积最大的gr定义为是Hilbert空间H=Rn的单位矢量,Rn表示的是n维实数,Rm表示的是m维实数,满足维度Г>>n,初值R0y’=y’,R0代表初始的实数值,对任意给定的信号y’∈Rn,都可以表示成原子迭加的形式;原子选定后,通过Gram-Schmidt方法正交化处理后得到第m个中间变量um,如公式(7):
上式中p代表序号,up为第p个中间变量,||up||1表示up的1范数;
残差在um上投影:
信号y’的M项表示为:
RM代表整个M维的数组,M<N,N为信号空间的维数,若M=N,则最终解出融合后的投影数值y”:
的迭代运算,实现超稀疏系数融合后的CS图像恢复;
步骤五:将恢复后的图像通过电信号传输回机构光成像仪,以供继续机械操作。
2.根据权利要求1所述的应用于结构光图像的超稀疏CS融合方法,其特征在于:所述结构光设备包括载物台、照射台和导轨,照射台位于载物台的上方,照射台的下端面设有同一水平面朝向载物台的两个镜头,照射台的下端面位于两个镜头之间还设有一个投影仪,投影仪位于载物台的正上方,光缆将两个镜头和投影仪连通,照射台连接在导轨上。
3.根据权利要求2所述的应用于结构光图像的超稀疏CS融合方法,其特征在于:所述导轨包括竖直导轨和水平导轨,照射台连接在水平导轨上,水平导轨连接在竖直导轨上。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810068726.7A CN108171680B (zh) | 2018-01-24 | 2018-01-24 | 应用于结构光图像的超稀疏cs融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810068726.7A CN108171680B (zh) | 2018-01-24 | 2018-01-24 | 应用于结构光图像的超稀疏cs融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108171680A CN108171680A (zh) | 2018-06-15 |
CN108171680B true CN108171680B (zh) | 2019-06-25 |
Family
ID=62515326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810068726.7A Active CN108171680B (zh) | 2018-01-24 | 2018-01-24 | 应用于结构光图像的超稀疏cs融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108171680B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113344985B (zh) * | 2021-06-18 | 2023-12-22 | 张羽 | 一种针对相移结构光成像的多径干扰的解扰方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393958A (zh) * | 2011-07-16 | 2012-03-28 | 西安电子科技大学 | 基于压缩感知的多聚焦图像融合方法 |
CN103186891A (zh) * | 2013-03-11 | 2013-07-03 | 西安电子科技大学 | 基于压缩感知的六边形图像重构方法 |
CN103903233A (zh) * | 2014-04-10 | 2014-07-02 | 北京工业大学 | 基于双树离散小波包和信噪比估计的图像去噪方法 |
CN104268841A (zh) * | 2014-10-09 | 2015-01-07 | 哈尔滨工程大学 | 一种基于压缩感知算法的红外图像预处理方法 |
CN104811664A (zh) * | 2015-04-27 | 2015-07-29 | 中国矿业大学(北京) | 矿井视频图像压缩与传输方法及装置 |
CN105184833A (zh) * | 2015-08-25 | 2015-12-23 | 河海大学 | 一种带噪cs-mri图像重建方法 |
CN107016656A (zh) * | 2017-04-01 | 2017-08-04 | 中国科学院光电技术研究所 | 基于压缩感知的图像重建中的小波稀疏基优化方法 |
CN107516301A (zh) * | 2017-08-30 | 2017-12-26 | 中国科学院光电技术研究所 | 一种基于压缩感知在图像重建中测量矩阵的构造优化方法 |
CN107527371A (zh) * | 2017-09-07 | 2017-12-29 | 中国科学院光电技术研究所 | 一种在压缩感知中逼近光滑l0范数的图像重建算法的设计构建方法 |
-
2018
- 2018-01-24 CN CN201810068726.7A patent/CN108171680B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102393958A (zh) * | 2011-07-16 | 2012-03-28 | 西安电子科技大学 | 基于压缩感知的多聚焦图像融合方法 |
CN103186891A (zh) * | 2013-03-11 | 2013-07-03 | 西安电子科技大学 | 基于压缩感知的六边形图像重构方法 |
CN103903233A (zh) * | 2014-04-10 | 2014-07-02 | 北京工业大学 | 基于双树离散小波包和信噪比估计的图像去噪方法 |
CN104268841A (zh) * | 2014-10-09 | 2015-01-07 | 哈尔滨工程大学 | 一种基于压缩感知算法的红外图像预处理方法 |
CN104811664A (zh) * | 2015-04-27 | 2015-07-29 | 中国矿业大学(北京) | 矿井视频图像压缩与传输方法及装置 |
CN105184833A (zh) * | 2015-08-25 | 2015-12-23 | 河海大学 | 一种带噪cs-mri图像重建方法 |
CN107016656A (zh) * | 2017-04-01 | 2017-08-04 | 中国科学院光电技术研究所 | 基于压缩感知的图像重建中的小波稀疏基优化方法 |
CN107516301A (zh) * | 2017-08-30 | 2017-12-26 | 中国科学院光电技术研究所 | 一种基于压缩感知在图像重建中测量矩阵的构造优化方法 |
CN107527371A (zh) * | 2017-09-07 | 2017-12-29 | 中国科学院光电技术研究所 | 一种在压缩感知中逼近光滑l0范数的图像重建算法的设计构建方法 |
Non-Patent Citations (1)
Title |
---|
结合 SIST 和压缩感知的 CT 与 MRI 图像融合;殷明等;《光电工程》;20160831;第43卷(第8期);全文 |
Also Published As
Publication number | Publication date |
---|---|
CN108171680A (zh) | 2018-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Bobin et al. | Compressed sensing in astronomy | |
CN104793343B (zh) | 三通道单渥拉斯顿棱镜偏振成像装置及偏振信息探测方法 | |
CN106772310B (zh) | 一种基于计算鬼成像的目标鉴定装置及其方法 | |
CN109194959B (zh) | 一种压缩感知成像方法、装置、设备、***及存储介质 | |
CN111739116B (zh) | 基于深度神经网络透过散射介质的目标定位和重建方法 | |
CN105758524A (zh) | 基于全通单模板互补采样的光谱相机及成像方法 | |
CN108171680B (zh) | 应用于结构光图像的超稀疏cs融合方法 | |
Lastilla et al. | 3D high-quality modeling of small and complex archaeological inscribed objects: Relevant issues and proposed methodology | |
CN106663312B (zh) | 用于改善计算成像的***和方法 | |
CN108280894A (zh) | 用于电力设备的不停车巡检方法 | |
Lei et al. | Single-shot structured light projection profilometry with SwinConvUNet | |
CN103914818A (zh) | 一种基于全向全变分的全向图像稀疏重构方法 | |
CN108873363A (zh) | 基于结构光标记的三维光场成像***及方法 | |
Sun et al. | Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction | |
Ouyang et al. | Integrating dynamic and distributed compressive sensing techniques to enhance image quality of the compressive line sensing system for unmanned aerial vehicles application | |
CN115278247A (zh) | 一种偏振光谱视频压缩采集*** | |
Al-Durgham et al. | Bundle adjustment-based stability analysis method with a case study of a dual fluoroscopy imaging system | |
Kazemi et al. | Multifocus image fusion based on compressive sensing for visual sensor networks | |
Hu et al. | Cost-efficient Entangled Light Quantum Imaging Based on Compressed Sensing | |
Zhang et al. | Real-time snapshot fractional Fourier phase retrieval via deep unfolding network | |
Smith et al. | Denoising infrared maritime imagery using tailored dictionaries via modified K-SVD algorithm | |
Hogg et al. | Astronomical imaging: The theory of everything | |
Majumder et al. | Compressive Sensing Based Active Imaging System Using Programable Coded Mask and a Photodiode | |
CN114037971B (zh) | 一种基于fpga实现的双目地外星体着陆避障*** | |
CN114693756B (zh) | 一种适用于机载光谱成像***的实时图像处理装置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |