CN110751599B - 一种基于截断核范数的视觉张量数据补全方法 - Google Patents
一种基于截断核范数的视觉张量数据补全方法 Download PDFInfo
- Publication number
- CN110751599B CN110751599B CN201910458186.8A CN201910458186A CN110751599B CN 110751599 B CN110751599 B CN 110751599B CN 201910458186 A CN201910458186 A CN 201910458186A CN 110751599 B CN110751599 B CN 110751599B
- Authority
- CN
- China
- Prior art keywords
- tensor
- completion
- model
- target
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000000007 visual effect Effects 0.000 title description 8
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 25
- 238000011478 gradient descent method Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006872 improvement Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- JXASPPWQHFOWPL-UHFFFAOYSA-N Tamarixin Natural products C1=C(O)C(OC)=CC=C1C1=C(OC2C(C(O)C(O)C(CO)O2)O)C(=O)C2=C(O)C=C(O)C=C2O1 JXASPPWQHFOWPL-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
技术领域
本发明涉及视觉张量数据补全技术领域,尤其涉及一种基于截断核 范数的视觉张量数据补全方法。
背景技术
在计算机视觉研究中,很多视觉数据如彩色图像,视频序列等往往具 有很复杂的高阶数据结构。传统的数据表示形式如向量和矩阵等不能很 好的反映这些多维数据结构信息,张量作为向量(一阶)和矩阵(二阶) 表示的更高阶(大于等于3的阶数)的推广,能更好的反映诸如图像、视 频等多维数据的内在结构。
实际获取数据的过程中,由于编码、传输和数据转换等,会造成张量 数据中某些元素的丢失,利用张量数据中已知元素预测和恢复未知元素 的技术称为张量补全。张量补全的一种处理方式为低秩张量补全,低秩张 量补全通常基于以下两种张量分解技术:CANDECOMP/PARAFAC(CP)分 解和Tucker分解;CP模型分解一个张量为多个秩1张量的和,但基于 CP分解的模型通常有计算量高和求解方式复杂等问题;Tucker分解模型 则沿某一维度将一个N阶的张量分解为一个核心张量和N个矩阵的模式 基,但Tucker分解通常需要预先估计展开矩阵的秩,在实际应用中通常 不能得到正确的估计结果,从而导致补全效果不佳。另一种处理方式是运 用矩阵补全技术,采用凸优化方法,直接最小化张量展开后所有矩阵的迹 范数和,这种张量补全方式通常可以取得较好的效果,但需要应用奇异值 分解(SVD)在所有展开的矩阵上,故算法效率较低。
Zhou等人提出的方法(Zhou P,Lu C,Lin Z,et al.Tensor Factorization forLow-Rank Tensor Completion.[J].IEEE Trans Image Process,2017, PP(99):1-1.)中采用矩阵分解思想,在优化过程中把大的张量数据分解成 两个小的张量数据,然后迭代的求取原目标函数的解。该方法速度快,且 算法被证明可以收敛到一个KKT点;但是没有考虑到高阶张量自身重要 的结构信息,采用矩阵分解的方法破坏了张量数据的内在低秩结构,并且, 在原本张量数据丢失严重和待补全张量数据量大的情况下,该方法对数 据中的结构信息和数据的低秩特性不能很好的利用,因而在对张量数据 的补全上效果不佳。
中国专利CN201710102313.1公开一种基于局部低秩张量估计的视觉 数据补全方法,该方法将原始图像和视频映射为典型的3阶张量数据结 构,并将原张量有重叠的分解为多个子张量,以最小化子张量的迹范数加 权进行迭代的求解。该专利较好的保留了每个数据元素与周围元素的高 相关性;但是分解结果的好坏直接影响最终补全效果,如重叠的张量在实 际应用中并不能正确估计最终的补全结果,如彩色图像的补全,会造成图 像边缘细节的模糊等问题;该方法的模型为所有分解后小张量的迹范数 和,模型本身并不能很好的逼近原始张量的秩,导致最终的补全效果变差。
发明内容
(一)要解决的技术问题
为了解决现有技术的上述问题,本发明提供一种基于截断核范数的 视觉张量数据补全方法。张量数据补全效率高,算法速度快,补全结果质 量高。
(二)技术方案
为了达到上述目的,本发明采用的主要技术方案包括:
一种基于截断核范数的视觉张量数据补全方法,包括以下步骤:
作为本发明基于截断核范数的视觉张量数据补全方法的一种改进, 步骤S1中,根据待补全张量初始化目标张量具体为:初始化目标 张量以满足映射其中,为目标张 量映射成的非缺失值数据,为待补全张量映射成的已知数据, 为目标张量中的缺失值元素。
然后建立基于t-SVD的张量截断核范数模型为:
其中,tr(×)是张量的及运算符;*为张量积运算符;和是经t-SVD 分解得到的左右奇异张量;和采用Matlab形式可表示为 r是和沿第二 维截取列的数量,为单位张量(张量第一维切片为单位矩阵,其余切片 全部为0。
作为本发明基于截断核范数的视觉张量数据补全方法的一种改进, 步骤S2中,采用梯度下降法求解张量补全模型,具体为:
(三)有益效果
本发明的有益效果是:
2、通过为每次迭代产生的目标张量所有正面切片都引入了一个权 重矩阵,当某一切片每行中已知元素越多时,赋予更小权重以增加重建 概率;当迭代次数增加时,数据的未知元素稀疏性会显著提升,从而加 快算法速度。
3、本发明通过从用户给定的张量数据作为整体进行处理,补全过 程中不需要对张量进行多次分解,因而补全合成结果能够很好的保全张 量的空间结构信息,从而能够产生高质量的补全结果。
附图说明
本发明借助于以下附图进行描述:
图1为本发明具体实施方式中基于截断核范数的视觉张量补全方法 的流程图;
图2为本发明具体实施方式中张量数据转换演示图;
图3为本发明具体实施方式中的原始图像;
图4为本发明具体实施方式中的待补全图像;
图5为本发明具体实施方式中的补全后图像;
图6为本发明具体实施方式中的原始视频序列;
图7为本发明具体实施方式中的待补全视频序列;
图8为本发明具体实施方式中的补全后视频序列。
具体实施方式
为了更好的解释本发明,以便于理解,下面结合附图,通过具体实施 方式,对本发明作详细描述。
在对视觉数据(如彩色图像和视频等高维数据)转化为张量数据形式 后,即需要对补全过程进行建模。在低秩张量补全模型中,通常采用最小 化核范数等凸优化技术逼近原始张量的秩,在实际应用中,数据的主要信 息包含在一些较大的奇异值当中(即矩阵的低秩特性),而最小化张量的 所有奇异值并不能很好的逼近张量的秩。改进的张量截断核范数只最小 化包含数据主要信息的一部分较大的奇异值,在实际应用中能更好的反 映张量准确的秩,从而更好的逼近原始张量的秩。
因此,如图1所示,本发明提供了一种基于截断核范数的视觉张量数 据补全方法,包括以下步骤:
步骤S2中,张量补全模型由以下方法构建而成:
然后构造如下用于张量补全的张量截断核范数模型:
基于以上给出的张量截断核范数模型,和矩阵情形类似,将上述张量 截断核范数模型改写为下式:
其中,为标准张量迹范数;tr(×)是张量的及运算符;*为张量积 运算符,具体参照《Tensor Factorization for Low-Rank Tensor Completion》;和采用Matlab形式可表示为 r是和沿第二维截取列的数量,为单位张量(张 量第一维切片为单位矩阵,其余切片全部为0。
对于三阶张量现有中许多基于奇异值分解的张量补全方法需要在 张量矩阵化后全部n3个矩阵上应用奇异值分解,算法执行效率低下,而 本发明采用一种瘦的t-SVD技术,只需要在傅里叶域中对前个 张量正面切面矩阵进行奇异值分解操作,避免了张量数据规模变大、存储 困难和时间消耗巨大等问题,极大提高了张量数据的补全效率。
其中,θ>0,N(1<N<p)是一个正整数,是的正面 切片矩阵W(i)(i=1,…,n3)中的元素。和唯一的不同在于θ的取值不 同。为每次迭代产生的目标张量所有正面切片都引入了一个权重矩阵,当 某一切片每行中已知元素越多时赋予更小权重以增加重建概率,当迭代 次数增加时,数据的未知元素稀疏性会显著提升,从而加快算法速度。
现有中求解张量补全模型通常使用交替方向乘子法(ADMM)。然而, 本发明的模型是非凸的,理论上ADMM方法不能保证非凸函数的收敛性。 在本发明中,采用梯度下降法求解本发明的张量补全模型。具体方法如下:
本发明中的截断张量核范数模型可用以下约束问题进行描述:
本发明采用简单的梯度搜索迭代方法,不同于现有张量补全模型中 常用的交替方向乘子法(ADMM),保证了算法每步迭代都能产生闭式解。
判断当前模型求解算法获得的闭式解相对于前一步模型求解算法获 得的闭式解的变化值小于预先设定的阈值,或者迭代轮数大于等于预先 设定的迭代数时停止迭代,输出目标张量的解。即或者 k≥K,K和ε均为预先设定的阈值。
综上所述,本发明相比于现有的基于张量核范数的张量补全方法,通 过使用瘦的t-SVD技术,避免了张量数据规模变大、存储困难和时间消 耗巨大等问题,极大提高了张量数据的补全效率。通过向每次迭代产生的 目标张量所有正面切片都引入了一个权重矩阵,当某一切片每行中已知 元素越多时赋予更小权重以增加重建概率,当迭代次数增加时,数据的未 知元素稀疏性会显著提升,从而加快算法速度。本发明通过从用户给定的 张量数据作为整体进行处理,补全过程中不需要对张量进行多次分解,因 而补全合成结果能够很好的保全张量的空间结构信息,从而能够产生高 质量的补全结果。
采用本发明提出的技术方案对随机损失一定比例数据像素点后的图 像(如图4)进行补全恢复任务,结果如图5所示。采用本发明提出的技 术方案对随机损失一定比例数据像素点后的视频序列(如图7)进行补全 恢复任务,结果如图8所示。将恢复后的图像(图5)与原始图像(图3) 进行对比,将恢复后的视频序列(图8)与原始视频序列(图6)进行对比,可见,在视频序列和图像上应用本发明,获得的恢复结果中整体的视 觉效果好,且局部的边缘细节信息也能得到好的恢复。
需要理解的是,以上对本发明的具体实施例进行的描述只是为了说 明本发明的技术路线和特点,其目的在于让本领域内的技术人员能够了 解本发明的内容并据以实施,但本发明并不限于上述特定实施方式。凡 是在本发明权利要求的范围内做出的各种变化或修饰,都应涵盖在本发 明的保护范围内。
Claims (2)
1.一种基于截断核范数的视觉张量数据补全方法,其特征在于,包括以下步骤:
所述张量补全模型的具体构建方法如下:
然后建立基于t-SVD的张量截断核范数模型为:
步骤S2中,采用梯度下降法求解张量补全模型,具体为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910458186.8A CN110751599B (zh) | 2019-05-29 | 2019-05-29 | 一种基于截断核范数的视觉张量数据补全方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910458186.8A CN110751599B (zh) | 2019-05-29 | 2019-05-29 | 一种基于截断核范数的视觉张量数据补全方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110751599A CN110751599A (zh) | 2020-02-04 |
CN110751599B true CN110751599B (zh) | 2022-08-05 |
Family
ID=69275733
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910458186.8A Active CN110751599B (zh) | 2019-05-29 | 2019-05-29 | 一种基于截断核范数的视觉张量数据补全方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110751599B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988760B (zh) * | 2021-04-27 | 2021-07-30 | 北京航空航天大学 | 一种基于张量分解的交通时空大数据缺失补全方法 |
CN115103029B (zh) * | 2022-05-20 | 2023-06-30 | 西安邮电大学 | 基于截断核范数的低秩张量补全QoS预测方法及装置 |
CN116912107B (zh) * | 2023-06-13 | 2024-04-16 | 万基泰科工集团数字城市科技有限公司 | 一种基于dct的加权自适应张量数据补全方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345729A (zh) * | 2013-06-30 | 2013-10-09 | 浙江贝尔技术有限公司 | 一种基于截断核范数正则化的图像恢复方法 |
CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
CN107818346A (zh) * | 2017-11-03 | 2018-03-20 | 广州图普网络科技公司 | 一种基于截断核范数正则化的大规模图像数据多分类方法 |
CN108510013A (zh) * | 2018-07-02 | 2018-09-07 | 电子科技大学 | 基于低秩核心矩阵的改进稳健张量主成分分析方法 |
CN109377760A (zh) * | 2018-11-29 | 2019-02-22 | 北京航空航天大学 | 基于迭代张量算法的丢失交通数据检测和修复方法 |
CN109658362A (zh) * | 2018-12-30 | 2019-04-19 | 东北大学秦皇岛分校 | 基于Capped核范数的三维张量补全方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11645835B2 (en) * | 2017-08-30 | 2023-05-09 | Board Of Regents, The University Of Texas System | Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications |
-
2019
- 2019-05-29 CN CN201910458186.8A patent/CN110751599B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103345729A (zh) * | 2013-06-30 | 2013-10-09 | 浙江贝尔技术有限公司 | 一种基于截断核范数正则化的图像恢复方法 |
CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
CN107818346A (zh) * | 2017-11-03 | 2018-03-20 | 广州图普网络科技公司 | 一种基于截断核范数正则化的大规模图像数据多分类方法 |
CN108510013A (zh) * | 2018-07-02 | 2018-09-07 | 电子科技大学 | 基于低秩核心矩阵的改进稳健张量主成分分析方法 |
CN109377760A (zh) * | 2018-11-29 | 2019-02-22 | 北京航空航天大学 | 基于迭代张量算法的丢失交通数据检测和修复方法 |
CN109658362A (zh) * | 2018-12-30 | 2019-04-19 | 东北大学秦皇岛分校 | 基于Capped核范数的三维张量补全方法 |
Non-Patent Citations (1)
Title |
---|
Tensor Completion for Estimating Missing Values in Visual Data;Ji Liu 等;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20120124;第35卷(第1期);208-220 * |
Also Published As
Publication number | Publication date |
---|---|
CN110751599A (zh) | 2020-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Nonlocal low-rank tensor completion for visual data | |
Ji et al. | Tensor completion using total variation and low-rank matrix factorization | |
Cao et al. | Hyperspectral image denoising via subspace-based nonlocal low-rank and sparse factorization | |
CN110751599B (zh) | 一种基于截断核范数的视觉张量数据补全方法 | |
CN109886884B (zh) | 一种基于限定核范数的低秩张量估计的视觉数据补全方法 | |
Mu et al. | Accelerated low-rank visual recovery by random projection | |
Miao et al. | Color image recovery using low-rank quaternion matrix completion algorithm | |
CN108510013B (zh) | 基于低秩核心矩阵的改进稳健张量主成分分析的背景建模方法 | |
Li et al. | Low-rank tensor completion via combined non-local self-similarity and low-rank regularization | |
Song et al. | An efficient tensor completion method via truncated nuclear norm | |
CN115393231B (zh) | 一种缺陷图像的生成方法、装置、电子设备和存储介质 | |
CN111325697B (zh) | 一种基于张量本征变换的彩色图像修复方法 | |
CN113870130A (zh) | 基于三维全变分和Tucker分解的低秩张量补全方法 | |
Li et al. | Robust Low-Rank Tensor Completion Based on Tensor Ring Rank via $\ell _ {p,\epsilon} $-Norm | |
Wang et al. | Low-rank tensor completion by approximating the tensor average rank | |
Song et al. | Nonlocal patch based t-svd for image inpainting: Algorithm and error analysis | |
Wang et al. | CoNot: Coupled nonlinear transform-based low-rank tensor representation for multidimensional image completion | |
Jiang et al. | Superpixel-based robust tensor low-rank approximation for multimedia data recovery | |
Chen et al. | Hierarchical factorization strategy for high-order tensor and application to data completion | |
CN112184571A (zh) | 一种基于非凸秩近似的鲁棒主成分分析方法 | |
CN115170418B (zh) | 符合退化的低秩高维图像填充模型及其填充方法与*** | |
Asif et al. | Low-rank tensor ring model for completing missing visual data | |
Xu et al. | Adaptive rank estimate in robust principal component analysis | |
CN106203480B (zh) | 基于缺损数据的非线性特征提取和分类方法 | |
Li et al. | Alternating direction method of multipliers for solving dictionary learning models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |