CN112907443B - 一种面向卫星相机的视频超分辨率重建方法及*** - Google Patents
一种面向卫星相机的视频超分辨率重建方法及*** Download PDFInfo
- Publication number
- CN112907443B CN112907443B CN202110159228.5A CN202110159228A CN112907443B CN 112907443 B CN112907443 B CN 112907443B CN 202110159228 A CN202110159228 A CN 202110159228A CN 112907443 B CN112907443 B CN 112907443B
- Authority
- CN
- China
- Prior art keywords
- image
- pixel points
- gray
- pixel point
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
一种面向卫星相机的视频超分辨率重建方法及***,方法包括:S1.视频中第n帧图像、第n‑1帧图像和第n‑2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配,根据灰度匹配结果重建第三图像;S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。本发明通过低复杂度的算法提升视频图像的分辨率。
Description
技术领域
本发明涉及图像处理技术领域,特别是涉及一种面向卫星相机的视频超分辨率重建方法及***。
背景技术
随着新材料、电子学、光学与人工智能等技术的发展,几十公斤的微纳卫星已经能够执行过去数百公斤卫星需承担的任务。卫星体积和重量缩小后,除可大大降低开发费和运营费外,研制时间亦可大大缩短,并能有效利用发射能力小的火箭进行发射,还有利于计划管理及适应各种任务的需求。要实现卫星的超小型化,关键则在于能否有效利用高新技术,研制成功超小型、轻量且性能稳定的有效载荷。卫星相机是遥感卫星的核心载荷,其体积重量直接决定了遥感卫星的体积重量。
在通过卫星相机进行采集、传输、存储等过程中,视频可能会受到周围环境和硬件设备的影响产生一定程度的失真,导致视频出现模糊等问题,影响人们对图像/视频信息的正确认识,甚至无法使用。如何恢复模糊或失真的视频,超分辨率技术应运而生,成为卫星相机领域需要的一个关键技术。目前大多数学者提出的超分辨率算法都是针对普通相机的,而专门针对卫星相机的视频模糊问题目前还没有什么比较好的解决方案。
前面的叙述在于提供一般的背景信息,并不一定构成现有技术。
发明内容
本发明的目的在于提供一种面向卫星相机的视频超分辨率重建方法及***,能够获得较好的高分辨率图像,并且算法复杂度低,能够很好的应用在卫星相机上。
本发明提供一种面向卫星相机的视频超分辨率重建方法,包括:
S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;
S2.所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配,根据灰度匹配结果重建所述第三图像;
S3.根据步骤S1和步骤S2依次处理所述视频中的各帧图像。
其中,所述步骤S1包括:
S11.所述第n帧图像的分辨率放大一倍得到所述第一图像,将所述第n帧图像的各像素点映射至所述第一图像,得到第一类像素点;
S12.确定由所述第一类像素点组成顶点的最小正方形,所述最小正方形的中心像素点为第二类像素点,对四个顶点的所述第一类像素点取平均值,得到所述第二类像素点的取值;
S13.确定所述最小正方形中未赋值像素点为第三类像素点,对所述第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值,得到所述第三类像素点的取值;
S14.根据步骤S11至S13依次处理第n-1帧图像和第n-2帧图像。
其中,所述对所述第三类像素点的上、下、左、右方向的像素点取加权平均值,包括:
根据所述正上、正下、正左、正右方向的像素点所在类别确定加权系数;
对所述第三类像素点的上、下、左、右方向的像素点根据所述加权系数取加权平均值。
其中,所述将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配,包括:
选取所述第三图像的一图像子块作为目标图像块,在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合;
计算目标图像块的灰度均值,根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量;
通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异,确定差异最小的候选图像块上中心像素点为所述目标图像块上中心像素点的对应像素点。
其中,所述在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合,包括:
在所述第二图像和所述第三图像上分别滑动所述目标图像块,得到多个候选图像块,计算该图像子块与目标图像子块的灰度差值;
滑动搜索结束后,根据所述灰度差值排序结果确定所述候选图像块集合。
其中,所述根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量,包括:
将所述目标图像中各像素点的灰度值与灰度均值进行比较,若像素点的所述灰度值小于所述灰度均值,将所述像素点标记为1,否则标记为0;
将各像素点的标记值顺次连接,得到由0和1组成的特征向量T_K。
其中,所述通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异,包括:
提取各候选图像块的特征向量T_Hi;
根据汉明距离计算T_Hi和T_K的灰度差异。
其中,所述根据灰度匹配结果重建所述第三图像,包括:
根据灰度匹配结果确定所述第三图像上各像素点在所述第一图像和实施第二图像的对应像素点;
融合所述第一图像和所述第二图像的对应像素点至所述第三图像。
其中,根据如下公式融合所述第一图像和所述第二图像的对应像素点至所述第三图像:
其中,Cn0(x,y)表示融合后图像,Bn0-2(x,y)为表示第一图像,Bn0-1(x,y)表示第二图像,Bn0(x,y)表示第三图像,(α,β,γ)表示权重系数;
所述权重系数根据所述像素点所在类别及所在图像确定:
其中,Tn0-2(x0,y0)=1表示第一图像的第一类像素点,Tn0-2(x0,y0)=2表示第一图像的第二类像素点,Tn0-2(x0,y0)=3表示第一图像第三类像素点,Tn0-1(x0,y0)=1表示第二图像的第一类像素点,Tn0-1(x0,y0)=2表示第二图像的第二类像素点,Tn0-1(x0,y0)=3表示第二图像第三类像素点,Tn0(x0,y0)=1表示第三图像的第一类像素点,Tn0(x0,y0)=2表示第三图像的第二类像素点,Tn0(x0,y0)=3表示第三图像第三类像素点。
本发明还提供一种面向卫星相机的视频超分辨率重建***,包括图像放大模块、图像匹配模块和图像重建模块;
所述图像放大模块,用于将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像;
所述图像匹配模块,用于将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配;
所述图像重建模块,用于根据所述图像匹配模块的灰度匹配结果重建所述第三图像。
本发明提供的一种面向卫星相机的视频超分辨率重建方法及***,方法包括:S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配,根据灰度匹配结果重建第三图像;S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。本发明通过低复杂度的算法提升视频图像的分辨率。
附图说明
图1为本发明实施例中面向卫星相机的视频超分辨率重建方法的流程示意图。
图2为本发明实施例中指示函数的生成及分布规律的示意图。
图3为本发明实施例中面向卫星相机的视频超分辨率重建***的结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
如图1所示,本实施例中,提供一种面向卫星相机的视频超分辨率重建方法,包括:
步骤S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;
步骤S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配,根据灰度匹配结果重建第三图像;
步骤S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。
超分辨率技术是通过处理一系列低分辨率图像得到清晰的高分辨率图像的一个过程,本质是利用图像本身的空间信息冗余和视频帧中相邻帧之间的时间信息冗余,恢复出高分辨率视频图像,用以获得更细腻的画质,提升人眼的视觉感受。
步骤S1中,首先将第n帧图像的分辨率放大一倍得到第一图像,将第n帧图像的各像素点映射至第一图像,得到第一类像素点,用指示函数Tn0(x,y)=1表示,如图2(a)。然后确定由第一类像素点组成顶点的最小正方形,最小正方形的中心像素点为第二类像素点,用指示函数Tn0(x,y)=2表示,如图2(b)。对四个顶点的第一类像素点取平均值,得到第二类像素点的取值。接着,确定最小正方形中未赋值像素点为第三类像素点,用指示函数Tn0(x,y)=3表示,如图2(c)。对第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值,得到第三类像素点的取值。
具体地,输入待处理的低分辨率视频图像,低分辨率视频图像序列为{An(x,y)|n=1,2,…,N},n是帧数目,每帧图像An(x,y)都是一个H×W的矩阵。取第n帧图像An0(x,y)、第n-1帧图像An0-1(x,y)和第n-2帧图像An0-2(x,y),其中n0≥3,将An0(x,y)、An0-1(x,y)和An0-2(x,y)的分辨率提高一倍,分别得到一个(2H-1)×(2W-1)的第一图像Bn0-2(x,y)、第二图像Bn0-1(x,y)和第三图像Bn0(x,y),以及Bn0(x,y)上的每个像素点对应的指示函数。
将图像An0(x,y)上所有的像素按下述公式映射到图像Bn0(x,y)上:
其中x∈[1,H],y∈[1,W],Tn0(x,y)是一个自定义的指示函数,说明图像Bn0(x,y)上该像素点的来源信息。
然后,在图像Bn0(x,y)上,定义一个像素集合Ω1={(x,y)|Tn0(x±1,y±1)=1},也即集合Ω1中的像素均满足以自身为中心的大小为3*3的正方形的四个顶点的指示函数均为1,然后将这四个顶点的均值作为该像素的取值,公式如下:
其中(x,y)∈Ω1,并令集合Ω1的所有像素点的指示函数Tn0(x,y)=2。
在图像Bn0(x,y)上,将还没有获得赋值的像素点组成的集合定义为Ω2,通过观察分析可以知道,对于Ω2中任一个像素,它的正上方、正下方、正左方、正右方的像素点均已被赋值,将这四个像素点的加权均值作为该像素的取值,公式如下:
其中(x,y)∈Ω2,λ为加权参数,如果像素点An0(x+1,y)的指示函数Tn0(x+1,y)=1那么令λ=0.7,否则令λ=0.3,最后令集合Ω2的所有像素点的指示函数Tn0(x,y)=3。
通过上述方法,可以得到一个(2H-1)×(2W-1)的图像Bn0(x,y),和对应的指示函数Tn0(x,y)。如图2所示,给出一个大小为7*7的指示函数Tn0(x,y)的生成及分布规律的示意图。
步骤S2中,将第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配。首先选取第三图像的一图像子块作为目标图像块,在第二图像和第三图像上滑动搜索与目标图像块灰度匹配的候选图像块集合。实际实现时,在第二图像和第三图像上分别滑动目标图像块,得到多个候选图像块,计算该图像子块与目标图像子块的灰度差值。滑动搜索结束后,根据灰度差值排序结果确定候选图像块集合。
然后计算目标图像块的灰度均值,根据灰度均值及目标图像块中各像素点的灰度值提取目标图像块的特征向量。将目标图像中各像素点的灰度值与灰度均值进行比较,若像素点的灰度值小于灰度均值,将像素点标记为1,否则标记为0;将各像素点的标记值顺次连接,得到由0和1组成的特征向量T_K。
最后通过特征向量计算目标图像块与候选图像块集合中各候选图像块的灰度差异,确定差异最小的候选图像块上中心像素点为目标图像块上中心像素点的对应像素点。提取各候选图像块的特征向量T_Hi,并根据汉明距离计算T_Hi和T_K的灰度差异。
本实施例中需要给图像Bn0(x,y)上的每一个像素点,找到其在图像Bn0-1(x,y)上的对应像素点,任取图像Bn0(x,y)上的一点(x0,y0)为例。在图像Bn0(x,y)上以(x0,y0)为中心,选择a×a的图像子块,记为K(x,y),其中a是参数,使用一个大小为a×a的窗口,在图像Bn0-1(x,y)上进行滑动搜索,通过灰度匹配找到一个候选图像块集合。滑动搜索时,窗口每滑动一次在图像Bn0-1(x,y)上得到的一个大小为a×a的图像块,记为H(x,y),计算H(x,y)和目标图像K(x,y)的灰度差值SAD(H):
SAD(H)=∑|K(x,y)-H(x,y)| (4)
灰度差值越小,两者匹配程度越高。因此窗口滑动搜索完毕后,对所有的灰度差值进行排序,选择数值最小的前100个对应的图像块作为候选图像块集合,记为{Hi(x,y)|i=1,…,100}。
然后计算图像K(x,y)的灰度均值μ,然后将图像K(x,y)的每个像素点的灰度值与灰度均值μ进行比较,若该值小于中心像素点的灰度值,将其记为1,否则记为0。最后将它们按位连接,得到一串由0和1组成的特征向量,记为T_K。
通过特征向量计算图像K(x,y)和候选图像的差异,选择最小的作为最佳匹配结果。以任一候选图像Hi(x,y)为例说明计算过程,提取Hi(x,y)的特征向量,记为为T_Hi,采用汉明距离计算T_Hi和T_K的差异,记为HAMM(Hi);
HAMM(Hi)=Hamming(T_Hi,T_K) (5)
其中Hamming表示求汉明距离的算子。
对所有的候选图像都采用上述方法计算和目标图像的距离后,进行排序,找到距离最小的候选图像Hi0(x,y)作为最佳匹配结果,然后图像Hi0(x,y)的中心像素点(x01,y01),就是像素点(x0,y0)就是在图像Bn0-1(x,y)上的对应像素点。遍历图像Bn0(x,y)上的每一个像素点,按照上述方法可找到其在图像Bn0-1(x,y)上的对应像素点。接着按照上述方法,给图像Bn0(x,y)上的每一个像素点,找到其在图像Bn0-2(x,y)上的对应像素点。
步骤S2中,根据灰度匹配结果重建第三图像时,根据灰度匹配结果确定第三图像上各像素点在第一图像和实施第二图像的对应像素点;融合第一图像和第二图像的对应像素点至第三图像。使用图像Bn0-1(x,y)和Bn0-2(x,y)的信息,对图像Bn0(x,y)进行融合增强,增强后图像记为Cn0(x,y),任取图像Bn0(x,y)上的一点(x0,y0)进行说明:
其中,Cn0(x,y)表示融合后图像,Bn0-2(x,y)为表示第一图像,Bn0-1(x,y)表示第二图像,Bn0(x,y)表示第三图像,(α,β,γ)表示权重系数。权重系数根据像素点所在类别及所在图像确定,权重系数关系到融合图像的质量。需要根据这三个像素点的指示函数来决定取值,规则如下:
其中,Tn0-2(x0,y0)=1表示第一图像的第一类像素点,Tn0-2(x0,y0)=2表示第一图像的第二类像素点,Tn0-2(x0,y0)=3表示第一图像第三类像素点,Tn0-1(x0,y0)=1表示第二图像的第一类像素点,Tn0-1(x0,y0)=2表示第二图像的第二类像素点,Tn0-1(x0,y0)=3表示第二图像第三类像素点,Tn0(x0,y0)=1表示第三图像的第一类像素点,Tn0(x0,y0)=2表示第三图像的第二类像素点,Tn0(x0,y0)=3表示第三图像第三类像素点。
指示函数为1时,该像素值来源于原始低分辨率图像;指示函数为2时,该像素值来源于指示函数为1的像素值的运算;指示函数为3时,该像素值来源于指示函数为1和指示函数为2的像素值的运算;所以,在像素值的可靠性方面,指示函数1>指示函数2>指示函数3。另外,在和当前帧的相似度方面,当前帧>前一帧>前两帧。基于此设计了上述的权重系数的取值规律。
步骤S3中,令低分辨率的视频图像序列{An(x,y)|n=1,2,…,N},从第3帧图像开始,根据步骤S1和步骤S2依次处理视频中的各帧图像,得到高分辨率视频图像序列{Cn(x,y)|n=3,4,…,N}。对于第1帧和第2帧图像,则分别与其后两帧图像按预设倍数扩充分辨率后进行灰度匹配和融合强化,以提升视频图像整体的分辨率,保证视频图像的清晰度和流畅度。
本发明提出的视频超分辨率方法,能够充分利用低分辨率图像的信息,获得较好的高分辨率图像,并且算法复杂度低,能够很好的应用在卫星相机上。
本实施例的面向卫星相机的视频超分辨率重建方法包括:S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;S2.第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配,根据灰度匹配结果重建第三图像;S3.根据步骤S1和步骤S2依次处理视频中的各帧图像。本发明通过低复杂度的算法提升视频图像的分辨率。
如图3所示,本发明还提供一种面向卫星相机的视频超分辨率重建***60,包括图像放大模块602、图像匹配模块604和图像重建模块606;
图像放大模块602,用于将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像;
图像匹配模块604,用于将第一图像的像素点和第二图像的像素点分别与第三图像的像素点进行灰度匹配;
图像重建模块606,用于根据图像匹配模块的灰度匹配结果重建第三图像。
本实施例的具体实施步骤详见面向卫星相机的视频超分辨率重建方法的实施例,在此不再赘述。
在附图中,为了清晰起见,会夸大层和区域的尺寸和相对尺寸。应当理解的是,当元件例如层、区域或基板被称作“形成在”、“设置在”或“位于”另一元件上时,该元件可以直接设置在所述另一元件上,或者也可以存在中间元件。相反,当元件被称作“直接形成在”或“直接设置在”另一元件上时,不存在中间元件。
在本文中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语的具体含义。
在本文中,术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了表达技术方案的清楚及描述方便,因此不能理解为对本发明的限制。
在本文中,用于描述元件的序列形容词“第一”、“第二”等仅仅是为了区别属性类似的元件,并不意味着这样描述的元件必须依照给定的顺序,或者时间、空间、等级或其它的限制。
在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,除了包含所列的那些要素,而且还可包含没有明确列出的其他要素。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种面向卫星相机的视频超分辨率重建方法,其特征在于,包括:
S1.视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;
S2.所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配,根据灰度匹配结果重建所述第三图像;
S3.根据步骤S1和步骤S2依次处理所述视频中的各帧图像;
所述步骤S1包括:
S11.所述第n帧图像的分辨率放大一倍得到所述第一图像,将所述第n帧图像的各像素点映射至所述第一图像,得到第一类像素点;
S12.确定由所述第一类像素点组成顶点的最小正方形,所述最小正方形的中心像素点为第二类像素点,对四个顶点的所述第一类像素点取平均值,得到所述第二类像素点的取值;
S13.确定所述最小正方形中未赋值像素点为第三类像素点,对所述第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值,得到所述第三类像素点的取值;
S14.根据步骤S11至S13依次处理第n-1帧图像和第n-2帧图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值,包括:
根据所述正上、正下、正左、正右方向的像素点所在类别确定加权系数;
对所述第三类像素点的正上、正下、正左、正右方向的像素点根据所述加权系数取加权平均值。
3.根据权利要求1所述的方法,其特征在于,所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配,包括:
选取所述第三图像的一图像子块作为目标图像块,在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合;
计算目标图像块的灰度均值,根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量;
通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异,确定差异最小的候选图像块上中心像素点为所述目标图像块上中心像素点的对应像素点。
4.根据权利要求3所述的方法,其特征在于,所述在所述第二图像和所述第三图像上滑动搜索与所述目标图像块灰度匹配的候选图像块集合,包括:
在所述第二图像和所述第三图像上分别滑动所述目标图像块,得到多个候选图像块,计算该图像子块与目标图像子块的灰度差值;
滑动搜索结束后,根据所述灰度差值排序结果确定所述候选图像块集合。
5.根据权利要求3所述的方法,其特征在于,所述根据所述灰度均值及目标图像块中各像素点的灰度值提取所述目标图像块的特征向量,包括:
将所述目标图像中各像素点的灰度值与灰度均值进行比较,若像素点的所述灰度值小于所述灰度均值,将所述像素点标记为1,否则标记为0;
将各像素点的标记值顺次连接,得到由0和1组成的特征向量T_K。
6.根据权利要求5所述的方法,其特征在于,所述通过特征向量计算目标图像块与所述候选图像块集合中各候选图像块的灰度差异,包括:
提取各候选图像块的特征向量T_Hi;
根据汉明距离计算T_Hi和T_K的灰度差异。
7.根据权利要求3所述的方法,其特征在于,所述根据灰度匹配结果重建所述第三图像,包括:
根据灰度匹配结果确定所述第三图像上各像素点在所述第一图像和所述第二图像的对应像素点;
融合所述第一图像和所述第二图像的对应像素点至所述第三图像。
9.一种面向卫星相机的视频超分辨率重建***,其特征在于,包括图像放大模块、图像匹配模块和图像重建模块;
所述图像放大模块,用于将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,n大于等于3;
所述图像匹配模块,用于将所述第一图像的像素点和所述第二图像的像素点分别与所述第三图像的像素点进行灰度匹配;
所述图像重建模块,用于根据所述图像匹配模块的灰度匹配结果重建所述第三图像;
所述将视频中第n帧图像、第n-1帧图像和第n-2帧图像的分辨率分别按预设倍数放大,得到第一图像、第二图像和第三图像,包括:
S11.所述第n帧图像的分辨率放大一倍得到所述第一图像,将所述第n帧图像的各像素点映射至所述第一图像,得到第一类像素点;
S12.确定由所述第一类像素点组成顶点的最小正方形,所述最小正方形的中心像素点为第二类像素点,对四个顶点的所述第一类像素点取平均值,得到所述第二类像素点的取值;
S13.确定所述最小正方形中未赋值像素点为第三类像素点,对所述第三类像素点的正上、正下、正左、正右方向的像素点取加权平均值,得到所述第三类像素点的取值;
S14.根据步骤S11至S13依次处理第n-1帧图像和第n-2帧图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159228.5A CN112907443B (zh) | 2021-02-05 | 2021-02-05 | 一种面向卫星相机的视频超分辨率重建方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110159228.5A CN112907443B (zh) | 2021-02-05 | 2021-02-05 | 一种面向卫星相机的视频超分辨率重建方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112907443A CN112907443A (zh) | 2021-06-04 |
CN112907443B true CN112907443B (zh) | 2023-06-16 |
Family
ID=76122621
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110159228.5A Active CN112907443B (zh) | 2021-02-05 | 2021-02-05 | 一种面向卫星相机的视频超分辨率重建方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112907443B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914807A (zh) * | 2012-12-31 | 2014-07-09 | 北京大学 | 一种缩放尺度补偿的非局部性图像超分辨率方法及*** |
CN104182931A (zh) * | 2013-05-21 | 2014-12-03 | 北京大学 | 超分辨率方法和装置 |
CN105354795A (zh) * | 2015-10-08 | 2016-02-24 | Tcl集团股份有限公司 | 一种基于相位相关的自学习超分辨率图像获取方法及*** |
CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技(深圳)有限公司 | 一种视频图像超分辨率重建方法及装置 |
CN106778915A (zh) * | 2017-01-17 | 2017-05-31 | 湖南优象科技有限公司 | 一种面向多摄像机的目标匹配方法 |
CN108346133A (zh) * | 2018-03-15 | 2018-07-31 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
CN112037129A (zh) * | 2020-08-26 | 2020-12-04 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
WO2020253103A1 (zh) * | 2019-06-17 | 2020-12-24 | 睿魔智能科技(深圳)有限公司 | 视频图像处理方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103810675B (zh) * | 2013-09-09 | 2016-09-21 | 深圳市华星光电技术有限公司 | 图像超分辨率重构***及方法 |
CN103700062B (zh) * | 2013-12-18 | 2017-06-06 | 华为技术有限公司 | 图像处理方法和装置 |
CN103810685B (zh) * | 2014-02-25 | 2016-05-25 | 清华大学深圳研究生院 | 一种深度图的超分辨率处理方法 |
-
2021
- 2021-02-05 CN CN202110159228.5A patent/CN112907443B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103914807A (zh) * | 2012-12-31 | 2014-07-09 | 北京大学 | 一种缩放尺度补偿的非局部性图像超分辨率方法及*** |
CN104182931A (zh) * | 2013-05-21 | 2014-12-03 | 北京大学 | 超分辨率方法和装置 |
CN105354795A (zh) * | 2015-10-08 | 2016-02-24 | Tcl集团股份有限公司 | 一种基于相位相关的自学习超分辨率图像获取方法及*** |
CN106600536A (zh) * | 2016-12-14 | 2017-04-26 | 同观科技(深圳)有限公司 | 一种视频图像超分辨率重建方法及装置 |
CN106778915A (zh) * | 2017-01-17 | 2017-05-31 | 湖南优象科技有限公司 | 一种面向多摄像机的目标匹配方法 |
CN108346133A (zh) * | 2018-03-15 | 2018-07-31 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
WO2020253103A1 (zh) * | 2019-06-17 | 2020-12-24 | 睿魔智能科技(深圳)有限公司 | 视频图像处理方法、装置、设备及存储介质 |
CN112037129A (zh) * | 2020-08-26 | 2020-12-04 | 广州视源电子科技股份有限公司 | 图像超分辨率重建方法、装置、设备及存储介质 |
Non-Patent Citations (3)
Title |
---|
卫星视频影像超分辨率重建方法对比分析;翟韩笑 等;《测绘与空间地理信息》;20201125;第71-78页 * |
改进SA方法的卫星视频图像超分辨率重建;卜丽静等;《测绘科学技术学报》;20170115(第01期);第63-67页 * |
高分辨率视频卫星影像超分辨率重建技术研究;姚烨;《中国优秀硕士学位论文全文数据库信息科技辑》;20181015;第1-83页 * |
Also Published As
Publication number | Publication date |
---|---|
CN112907443A (zh) | 2021-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109886121B (zh) | 一种遮挡鲁棒的人脸关键点定位方法 | |
EP3644270A1 (en) | Image processing device, imaging device, image processing method, program, and storage medium | |
Wang et al. | Subpixel mapping using Markov random field with multiple spectral constraints from subpixel shifted remote sensing images | |
CN109872278B (zh) | 基于u形网络和生成对抗网络的图像云层移除方法 | |
US20060193535A1 (en) | Image matching method and image interpolation method using the same | |
CN111583285B (zh) | 一种基于边缘关注策略的肝脏影像语义分割方法 | |
CN115496928B (zh) | 基于多重特征匹配的多模态图像特征匹配方法 | |
Ju et al. | BDPK: Bayesian dehazing using prior knowledge | |
CN113762147B (zh) | 人脸表情迁移方法、装置、电子设备及存储介质 | |
CN109635714B (zh) | 文档扫描图像的矫正方法及装置 | |
JP2016062588A (ja) | 階層グラフに基づく画像マッティングおよび前景推定の方法およびシステム | |
CN116645592B (zh) | 一种基于图像处理的裂缝检测方法和存储介质 | |
CN113065496B (zh) | 神经网络机器翻译模型训练方法、机器翻译方法和装置 | |
CN113378897A (zh) | 基于神经网络的遥感图像分类方法、计算设备及存储介质 | |
CN113591528A (zh) | 文档矫正方法、装置、计算机设备和存储介质 | |
CN111161159B (zh) | 一种基于先验知识与深度学习结合的图像去雾方法和装置 | |
CN112241745A (zh) | 一种基于光照不变颜色空间的特征点提取方法 | |
CN111861949A (zh) | 一种基于生成对抗网络的多曝光图像融合方法及*** | |
CN114494786A (zh) | 一种基于多层协调卷积神经网络的细粒度图像分类方法 | |
CN112907443B (zh) | 一种面向卫星相机的视频超分辨率重建方法及*** | |
Chen et al. | Face super resolution based on parent patch prior for VLQ scenarios | |
Barrera et al. | Multimodal template matching based on gradient and mutual information using scale-space | |
CN115082533B (zh) | 一种基于自监督的临近空间遥感图像配准方法 | |
Guo et al. | Learn to Be Clear and Colorful: An End-to-End Network for Panchromatic Image Enhancement | |
Tarabalka et al. | Improved hierarchical optimization-based classification of hyperspectral images using shape analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |