CN111445388A - 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 - Google Patents
一种图像超分辨重建模型训练方法、船只跟踪方法及装置 Download PDFInfo
- Publication number
- CN111445388A CN111445388A CN201911381391.5A CN201911381391A CN111445388A CN 111445388 A CN111445388 A CN 111445388A CN 201911381391 A CN201911381391 A CN 201911381391A CN 111445388 A CN111445388 A CN 111445388A
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- training
- sparse
- training sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 212
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 49
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 25
- 238000013135 deep learning Methods 0.000 claims abstract description 16
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000012360 testing method Methods 0.000 claims description 44
- 238000001514 detection method Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种图像超分辨重建模型训练方法、船只跟踪方法及装置，该图像超分辨重建模型训练方法包括：获取船只图像训练样本，船只图像训练样本为高分辨率训练样本；根据高分辨率训练样本得到低分辨率训练样本；根据低分辨率稀疏表达算法将低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本；将低分辨率稀疏表达算法映射到高分辨率上，得到高分辨率稀疏表达算法；根据高分辨率稀疏表达算法将高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本；根据低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。通过实施本发明，实现高分辨率图像重建精度的提升。
Description
技术领域
本发明涉及计算机视觉领域，具体涉及一种图像超分辨重建模型训练方法、船只跟踪方法及装置。
背景技术
船只作为一种重要的交通运输工具，在生产生活中具有重要作用，为了保证船只的安全，对船只的监控跟踪必不可少。相关技术中，利用视频卫星对船只进行跟踪，但是视频卫星固有的低分辨率成像特性以及为适应信道传输能力而采取的高倍率压缩方法使得传统的基于多帧融合的视频超分辨率技术难以恢复足够的细节信息，得到的船只图像模糊，对船只识别准确率低。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的船只识别准确率低的缺陷，从而提供一种图像超分辨重建模型训练方法、船只跟踪方法及装置。
根据第一方面，本发明实施例公开了一种图像超分辨重建模型训练方法，应用于船只图像识别，包括：获取船只图像训练样本，所述船只图像训练样本为高分辨率训练样本；根据所述高分辨率训练样本得到低分辨率训练样本；根据低分辨率稀疏表达算法将所述低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本；将所述低分辨率稀疏表达算法映射到所述高分辨率上，得到高分辨率稀疏表达算法；根据所述高分辨率稀疏表达算法将所述高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本；根据所述低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。
结合第一方面，在第一方面第一实施方式中，在所述根据所述高分辨率训练样本得到低分辨率训练样本之后，所述方法还包括：根据超像素分割对所述高分辨率训练样本和所述低分辨率样本进行分割。
结合第一方面，在第一方面第二实施方式中，所述方法还包括：在训练过程中，根据如下公式迭代更新所述图像超分辨重建模型：
其中，PSNR表示高分辨率稀疏训练样本和训练得到的图像的相似度，n表示每个像素的比特数，MSE表示高分辨率稀疏训练样本和训练得到的图像的均方差。
结合第一方面第二实施方式，在第一方面第三实施方式中，所述方法还包括：获取船只图像测试样本，所述船只图像测试样本为高分辨率测试样本；根据所述高分辨率测试样本得到低分辨率测试样本；根据所述低分辨率测试样本及所述图像超分辨重建模型得到测试结果；当所述测试结果满足预设条件时，将所述图像超分辨重建模型确定为可用的图像超分辨重建模型。
根据第二方面，本发明实施例还公开了一种船只跟踪方法，包括如下步骤：获取视频卫星采集的视频图像；将所述视频图像输入至图像超分辨重建模型，得到船只检测图像；所述图像超分辨重建模型是通过如第一方面或第一方面任一实施方式所述的图像超分辨重建模型训练方法训练生成的；将所述船只检测图像利用目标算法进行关联，得到所述船只的运行轨迹。
结合第二方面，在第二方面第一实施方式中，在所述获取视频卫星采集的视频图像之后、将所述视频图像输入至图像超分辨重建模型之前，还包括：对所述视频图像进行图像增强及去噪处理。
根据第三方面，本发明实施例还公开了一种图像超分辨重建模型训练装置，应用于船只图像识别，包括：第一获取模块，用于获取船只图像训练样本，所述船只图像训练样本为高分辨率训练样本；低分辨率训练样本获取模块，用于根据所述高分辨率训练样本得到低分辨率训练样本；第一分解模块，用于根据低分辨率稀疏表达算法将所述低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本；映射模块，用于将所述低分辨率稀疏表达算法映射到所述高分辨率上，得到高分辨率稀疏表达算法；第二分解模块，用于根据所述高分辨率稀疏表达算法将所述高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本；训练模块，用于根据所述低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。
根据第四方面，本发明实施例还公开了一种船只跟踪装置，包括：第二获取模块，用于获取视频卫星采集的视频图像；检测模块，用于将所述视频图像输入至图像超分辨重建模型，得到船只检测图像；所述图像超分辨重建模型是通过如第一方面或第一方面任一实施方式所述的图像超分辨重建模型训练方法训练生成的；关联模块，用于将所述船只检测图像利用目标算法进行关联，得到所述船只的运行轨迹。
根据第五方面，本发明实施例还公开了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面或第一方面任一实施方式所述的图像超分辨重建模型训练方法或如第二方面或第二方面任一实施方式项所述的船只跟踪方法的步骤。
根据第六方面，本发明实施例还公开了一种存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面或第一方面任一实施方式所述的图像超分辨重建模型训练方法或如第二方面或第二方面任一实施方式项所述的船只跟踪方法的步骤。
本发明技术方案，具有如下优点：
1.本发明提供的图像超分辨重建模型训练方法及装置，通过获取船只图像训练样本，船只图像训练样本为高分辨率训练样本，根据高分辨率训练样本得到低分辨率训练样本，根据低分辨率稀疏表达算法将低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本，将低分辨率稀疏表达算法映射到高分辨率上，得到高分辨率稀疏表达算法，根据高分辨率稀疏表达算法将高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本，根据低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。通过实施本发明，建立基于稀疏域深度学习网络的高低分辨率稀疏表达的映射模型，实现高分辨率图像重建精度的提升，提高船只识别准确率，便于实现对船只的跟踪。
2.本发明提供的船只跟踪方法及装置，通过获取视频卫星采集的视频图像，将视频图像输入至图像超分辨重建模型，得到船只检测图像，将船只检测图像利用目标算法进行关联，得到船只的运行轨迹。本发明通过将视频卫星采集的视频图像输入到图像超分辨重建模型，使得视频图像的细节信息更丰富、船只轮廓更清晰，便于实现对船只的跟踪。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中图像超分辨重建模型训练方法的一个具体示例的流程图；
图2为本发明实施例2中船只跟踪方法的一个具体示例的流程图；
图3为本发明实施例3中图像超分辨重建模型训练装置的一个具体示例的原理框图；
图4为本发明实施例4中船只跟踪装置的一个具体示例的原理框图；
图5为本发明实施例5中计算机设备的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供一种图像超分辨重建模型训练方法，应用于船只图像识别，如图1所示，包括如下步骤：
S11：获取船只图像训练样本，船只图像训练样本为高分辨率训练样本。
示例性地，图像超分辨率重建模型学习低分辨率图像和高分辨率图像的分布关系，为了提高识别准确率，在本发明实施例中，该船只图像训练样本应该保证图像多样性，包括不同的拍摄环境、不同的传感器、不同的降质模型等，该船只图像训练样本可以是由某一摄像头采集处理后存储在终端，直接从终端调用的，也可以是从网络数据库中获取，本发明实施例对该船只图像训练样本的获取方式不作限定，可以根据实际需要选择。
S12：根据高分辨率训练样本得到低分辨率训练样本。
示例性地，在本发明实施例中，将高分辨率图像训练集先进行3倍下采样，再通过双立方插值方法进行3倍上采样，获得低分辨图像训练集。
S13：根据低分辨率稀疏表达算法将低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本。
示例性地，将低分辨率训练样本进行稀疏表达分解，获得用于稀疏域深度学习网络训练的样本，稀疏表达的目的就是从低分辨率训练样本选择具有代表性的原子来表示输入图像。低分辨率训练样本通常会是一个过完备的字典，因此在进行编码时得到的向量通常只有少数几个元素是不为零的，其他的都为零，因此把这样的编码向量称之为稀疏编码。
S14：将低分辨率稀疏表达算法映射到高分辨率上，得到高分辨率稀疏表达算法。
示例性地，使用最小二乘法，计算这些低分辨率块、高分辨率原子之间的投影矩阵，遍历完整个字典原子，最终每个原子，对应都有一团邻居原子及投影矩阵，根据投影矩阵得到高分辨率稀疏表达算法。
S15：根据高分辨率稀疏表达算法将高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本。高分辨率训练样本字典中，同样取出上述低分辨率训练样本对应的原子，具体实施方式见上述步骤S13的描述，在此不再赘述。
S16：根据低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。
示例性地，将低分辨率稀疏训练样本输入到稀疏域深度学习网络模型进行训练，对应的高分辨率稀疏训练样本用于监督该训练过程，根据低分辨率稀疏训练样本不断调整稀疏域深度学习网络模型的权值，对稀疏域深度学习网络模型进行不断优化，得到图像超分辨重建模型。
本发明提供的图像超分辨重建模型训练方法，通过获取船只图像训练样本，船只图像训练样本为高分辨率训练样本，根据高分辨率训练样本得到低分辨率训练样本，根据低分辨率稀疏表达算法将低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本，将低分辨率稀疏表达算法映射到高分辨率上，得到高分辨率稀疏表达算法，根据高分辨率稀疏表达算法将高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本，根据低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。通过实施本发明，建立基于稀疏域深度学习网络的高低分辨率稀疏表达的映射模型，实现高分辨率图像重建精度的提升，提高船只识别准确率，便于实现对船只的跟踪。
作为本申请一个可选实施方式，在根据高分辨率训练样本得到低分辨率训练样本之后，该图像超分辨重建模型训练方法还包括：
根据超像素分割对高分辨率训练样本和低分辨率样本进行分割。
示例性地，图像的超像素分割是指将图像分割成多个图像子区域的过程，在本发明实施例中，该图像超像素分割可以为简单线性迭代聚类(simple linear iterativeclustering，SLIC)，该图像分割过程为：在常规网格步长S处采样像素来初始化聚类中心，在3x3的领域内移动聚类中心到最低的梯度位置，为每一个像素设置一个标签，为每一个像素设置距离，对于每一个聚类中心遍历2Sx2S区域内的每一个像素点，计算距离决定是否更新像素的标签和距离，更新聚类中心，重复对于每一个聚类中心遍历2Sx2S区域内的每一个像素点的步骤，直到收敛。
作为本申请一个可选实施方式，该图像超分辨重建模型训练方法还包括：在训练过程中，根据如下公式迭代更新图像超分辨重建模型：
其中，PSNR表示高分辨率稀疏训练样本和训练得到的图像的相似度，n表示每个像素的比特数，MSE表示高分辨率稀疏训练样本和训练得到的图像的均方差。
示例性地，在图像超分辨重建模型训练过程中，采用峰值信噪比PSNR来评价训练过程中得到的图像的质量，PSNR是指高分辨率稀疏训练样本和训练得到的图像的相似度，比较了图像像素层面的差异，数值越大，失真越小，当该相似度PSNR达到一定预设值时，停止训练，当该相似度PSNR的值一直不满足预设值时，该更新图像超分辨重建模型训练过程会一直更新进行。该预设值可以为50dB，本申请实施例对该预设值不作限定，本领域技术人员可以根据实际情况设定。使用均方差作为损失函数，有利于获得更高的相似度PSNR。
作为本申请一个可选实施方式，该图像超分辨重建模型训练方法还包括：
首先，获取船只图像测试样本，船只图像测试样本为高分辨率测试样本。
示例性地，获取船只图像测试样本的方式可以是S11中获取到的船只图像样本中随机划分出的一部分，比如不同于船只图像训练样本的剩余30％作为图像测试样本。本实施例对船只图像测试样本的获取方式不做限定，可以根据需要确定。
其次，根据高分辨率测试样本得到低分辨率测试样本。具体实施方式见上述步骤S12的描述，在此不再赘述。
再次，根据低分辨率测试样本及图像超分辨重建模型得到测试结果。
示例性地，根据低分辨率测试样本及图像超分辨重建模型得到测试结果的方式可以是将所有低分辨率测试样本输入至图像超分辨重建模型，根据图像超分辨重建模型输出的多个预测边界框以及预测边界框内的检测结果与标记进行交并比计算，将所有交并比的计算结果的平均值作为准确率，从而得到神经网络的输出结果的准确率；也可以是根据图像超分辨重建模型输出的多个预测边界框以及预测边界框内的检测结果与标记进行交并比计算，判断每一个交并比计算结果是否满足预定阈值，当满足预定阈值则表示此低分辨率测试样本的检测结果准确，将检测结果准确的低分辨率测试样本与所有对应的高分辨率测试样本的比值作为神经网络的输出结果的准确率。本实施例对具体采用何种方式获取测试结果不做限定，可以根据需要确定。
最后，当测试结果满足预设条件时，将图像超分辨重建模型确定为可用的图像超分辨重建模型。其中该预设阈值可以是98％，本实施例对预设阈值大小不做限定，可以按照需要设置。
实施例2
本发明实施例提供一种船只跟踪方法，如图2所示，包括如下步骤：
S21：获取视频卫星采集的视频图像。
示例性地，视频卫星采集的视频图像空间分辨率低，图像模糊，其获取方式可以是将视频卫星采集的视频进行解帧处理，获取每一帧视频图像；也可以是跳帧处理，将相隔一定帧数的视频图像作为获取的视频图像，比如，每隔3帧视频获取一个视频图像。本实施例对获取无人机采集的视频图像的方式不做限定，可以通过需求确定。
S22：将视频图像输入至图像超分辨重建模型，得到船只检测图像；图像超分辨重建模型是通过如上述实施例1的图像超分辨重建模型训练方法训练生成的。
示例性地，图像超分辨重建模型是通过如上述实施例1的图像超分辨重建模型训练方法训练生成的，船只检测图像表征船只在当前视频图像中检测出的位置坐标框，其余此处不再赘述。
S23：将船只检测图像利用目标算法进行关联，得到船只的运行轨迹。
示例性地，在本发明实施例中，将船只检测图像利用目标算法进行关联，得到船只的运行轨迹的方式可以是将任意相邻两个视频卫星采集的视频图像中的船只检测图像分为两个集合，寻找两个集合的最大匹配，将匹配结果进行数据关联，从而得到船只的运行轨迹；也可以是采用IOU算法，获取任意相邻两个视频卫星采集的视频图像中的船只检测图像依次进行交并比计算，将交并比计算结果最大的两个船只检测结果进行数据关联，从而得到船只的运行轨迹。本实施例对该目标算法不做限定，可以通过需求确定。
本发明提供的船只跟踪方法，通过获取视频卫星采集的视频图像，将视频图像输入至图像超分辨重建模型，得到船只检测图像，将船只检测图像利用目标算法进行关联，得到船只的运行轨迹。本发明通过将视频卫星采集的视频图像输入到图像超分辨重建模型，使得视频图像的细节信息更丰富、船只轮廓更清晰，便于实现对船只的跟踪。
作为本申请一个可选实施方式，在获取视频卫星采集的视频图像之后、将视频图像输入至图像超分辨重建模型之前，该船只跟踪方法还包括：对视频图像进行图像增强及去噪处理。有利于进一步降低视频卫星图像数据中的噪音或者天气情况对检测结果的影响。
实施例3
本发明实施例还提供一种图像超分辨重建模型训练装置，应用于船只图像识别，如图3所示，包括：
第一获取模块31，用于获取船只图像训练样本，船只图像训练样本为高分辨率训练样本；具体实现方式见实施例1中步骤S11，在此不再赘述。
低分辨率训练样本获取模块32，用于根据高分辨率训练样本得到低分辨率训练样本；具体实现方式见实施例1中步骤S12，在此不再赘述。
第一分解模块33，用于根据低分辨率稀疏表达算法将低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本；具体实现方式见实施例1中步骤S13，在此不再赘述。
映射模块34，用于将低分辨率稀疏表达算法映射到高分辨率上，得到高分辨率稀疏表达算法；具体实现方式见实施例1中步骤S14，在此不再赘述。
第二分解模块35，用于根据高分辨率稀疏表达算法将高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本；具体实现方式见实施例1中步骤S15，在此不再赘述。
训练模块36，用于根据低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。具体实现方式见实施例1中步骤S16，在此不再赘述。
本发明提供的图像超分辨重建模型训练装置，通过获取船只图像训练样本，船只图像训练样本为高分辨率训练样本，根据高分辨率训练样本得到低分辨率训练样本，根据低分辨率稀疏表达算法将低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本，将低分辨率稀疏表达算法映射到高分辨率上，得到高分辨率稀疏表达算法，根据高分辨率稀疏表达算法将高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本，根据低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。通过实施本发明，建立基于稀疏域深度学习网络的高低分辨率稀疏表达的映射模型，实现高分辨率图像重建精度的提升，提高船只识别准确率，便于实现对船只的跟踪。
作为本申请一个可选实施方式，该图像超分辨重建模型训练装置还包括：
分割模块，用于根据超像素分割对高分辨率训练样本和低分辨率样本进行分割。具体实现方式见实施例1中对应的步骤，在此不再赘述。
作为本申请一个可选实施方式，该图像超分辨重建模型训练装置还包括：在训练过程中，根据如下公式迭代更新图像超分辨重建模型：
其中，PSNR表示高分辨率稀疏训练样本和训练得到的图像的相似度，n表示每个像素的比特数，MSE表示高分辨率稀疏训练样本和训练得到的图像的均方差。具体实现方式见实施例1中对应的步骤，在此不再赘述。
作为本申请一个可选实施方式，该图像超分辨重建模型训练装置还包括：
第三获取模块，用于获取船只图像测试样本，船只图像测试样本为高分辨率测试样本。具体实现方式见实施例1中对应的步骤，在此不再赘述。
低分辨率测试样本获取模块，用于根据高分辨率测试样本得到低分辨率测试样本。具体实现方式见实施例1中对应的步骤，在此不再赘述。
测试模块，用于根据低分辨率测试样本及图像超分辨重建模型得到测试结果。具体实现方式见实施例1中对应的步骤，在此不再赘述。
确定模块，用于当测试结果满足预设条件时，将图像超分辨重建模型确定为可用的图像超分辨重建模型。具体实现方式见实施例1中对应的步骤，在此不再赘述。
实施例4
本发明实施例还提供一种船只跟踪装置，包括：
第二获取模块41，用于获取视频卫星采集的视频图像；具体实现方式见实施例2中步骤S21，在此不再赘述。
检测模块42，用于将视频图像输入至图像超分辨重建模型，得到船只检测图像；图像超分辨重建模型是通过如上述实施例1的图像超分辨重建模型训练方法训练生成的；具体实现方式见实施例2中步骤S22，在此不再赘述。
关联模块43，用于将船只检测图像利用目标算法进行关联，得到船只的运行轨迹。具体实现方式见实施例2中步骤S23，在此不再赘述。
本发明提供的船只跟踪装置，通过获取视频卫星采集的视频图像，将视频图像输入至图像超分辨重建模型，得到船只检测图像，将船只检测图像利用目标算法进行关联，得到船只的运行轨迹。本发明通过将视频卫星采集的视频图像输入到图像超分辨重建模型，使得视频图像的细节信息更丰富、船只轮廓更清晰，便于实现对船只的跟踪。
作为本申请一个可选实施方式，该船只跟踪装置还包括：
图像处理模块，用于对视频图像进行图像增强及去噪处理。具体实现方式见实施例2中对应的步骤，在此不再赘述。
实施例5
本发明实施例还提供了一种计算机设备，如图5所示，该计算机设备可以包括处理器51和存储器52，其中处理器51和存储器52可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器52作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的图像超分辨重建模型训练方法或船只跟踪方法对应的程序指令/模块(例如，图3所示的第一获取模块31、低分辨率训练样本获取模块32、第一分解模块33、映射模块34、第二分解模块35和训练模块36或图4所示的第二获取模块41、检测模块42和关联模块43)。处理器51通过运行存储在存储器52中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的图像超分辨重建模型训练方法或船只跟踪方法。
存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器51所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至处理器51。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器52中，当被所述处理器51执行时，执行如图1所示实施例中的图像超分辨重建模型训练方法或如图2所示实施例中的船只跟踪方法。
上述电子设备具体细节可以对应参阅图1或图2所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
实施例6
本发明实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的图像超分辨重建模型训练方法或船只跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种图像超分辨重建模型训练方法，应用于船只图像识别，其特征在于，包括：
获取船只图像训练样本，所述船只图像训练样本为高分辨率训练样本；
根据所述高分辨率训练样本得到低分辨率训练样本；
根据低分辨率稀疏表达算法将所述低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本；
将所述低分辨率稀疏表达算法映射到所述高分辨率上，得到高分辨率稀疏表达算法；
根据所述高分辨率稀疏表达算法将所述高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本；
根据所述低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。
2.根据权利要求1所述的方法，其特征在于，在所述根据所述高分辨率训练样本得到低分辨率训练样本之后，所述方法还包括：
根据超像素分割对所述高分辨率训练样本和所述低分辨率样本进行分割。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：在训练过程中，根据如下公式迭代更新所述图像超分辨重建模型：
其中，PSNR表示高分辨率稀疏训练样本和训练得到的图像的相似度，n表示每个像素的比特数，MSE表示高分辨率稀疏训练样本和训练得到的图像的均方差。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取船只图像测试样本，所述船只图像测试样本为高分辨率测试样本；
根据所述高分辨率测试样本得到低分辨率测试样本；
根据所述低分辨率测试样本及所述图像超分辨重建模型得到测试结果；
当所述测试结果满足预设条件时，将所述图像超分辨重建模型确定为可用的图像超分辨重建模型。
5.一种船只跟踪方法，其特征在于，包括如下步骤：
获取视频卫星采集的视频图像；
将所述视频图像输入至图像超分辨重建模型，得到船只检测图像；所述图像超分辨重建模型是通过如权利要求1-4任一所述的图像超分辨重建模型训练方法训练生成的；
将所述船只检测图像利用目标算法进行关联，得到所述船只的运行轨迹。
6.根据权利要求5所述的方法，其特征在于，在所述获取视频卫星采集的视频图像之后、将所述视频图像输入至图像超分辨重建模型之前，还包括：
对所述视频图像进行图像增强及去噪处理。
7.一种图像超分辨重建模型训练装置，应用于船只图像识别，其特征在于，包括：
第一获取模块，用于获取船只图像训练样本，所述船只图像训练样本为高分辨率训练样本；
低分辨率训练样本获取模块，用于根据所述高分辨率训练样本得到低分辨率训练样本；
第一分解模块，用于根据低分辨率稀疏表达算法将所述低分辨率训练样本进行稀疏表达分解，得到低分辨率稀疏训练样本；
映射模块，用于将所述低分辨率稀疏表达算法映射到所述高分辨率上，得到高分辨率稀疏表达算法；
第二分解模块，用于根据所述高分辨率稀疏表达算法将所述高分辨率训练样本进行稀疏表达分解，得到高分辨率稀疏训练样本；
训练模块，用于根据所述低分辨率稀疏训练样本和高分辨率稀疏训练样本对稀疏域深度学习网络模型进行训练，得到图像超分辨重建模型。
8.一种船只跟踪装置，其特征在于，包括：
第二获取模块，用于获取视频卫星采集的视频图像；
检测模块，用于将所述视频图像输入至图像超分辨重建模型，得到船只检测图像；所述图像超分辨重建模型是通过如权利要求1-4任一所述的图像超分辨重建模型训练方法训练生成的；
关联模块，用于将所述船只检测图像利用目标算法进行关联，得到所述船只的运行轨迹。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一所述的图像超分辨重建模型训练方法或如权利要求5-6任一项所述的船只跟踪方法的步骤。
10.一种存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-4任一所述的图像超分辨重建模型训练方法或如权利要求5-6任一项所述的船只跟踪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911381391.5A CN111445388A (zh) | 2019-12-27 | 2019-12-27 | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911381391.5A CN111445388A (zh) | 2019-12-27 | 2019-12-27 | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111445388A true CN111445388A (zh) | 2020-07-24 |
Family
ID=71626921
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911381391.5A Pending CN111445388A (zh) | 2019-12-27 | 2019-12-27 | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111445388A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN112258394A (zh) * | 2020-11-11 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
| CN112465042A (zh) * | 2020-12-02 | 2021-03-09 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| AU2015101167A4 (en) * | 2015-07-26 | 2015-10-01 | Macau University Of Science And Technology | A Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
| CN105513014A (zh) * | 2016-01-21 | 2016-04-20 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建*** |
| CN105931179A (zh) * | 2016-04-08 | 2016-09-07 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及*** |
| CN107392855A (zh) * | 2017-07-19 | 2017-11-24 | 苏州闻捷传感技术有限公司 | 基于稀疏自编码网络与极速学习的图像超分辨重建方法 |
| CN108830792A (zh) * | 2018-05-09 | 2018-11-16 | 浙江师范大学 | 一种利用多类字典的图像超分辨率方法 |
| US20190073594A1 (en) * | 2017-09-01 | 2019-03-07 | Thomson Licensing | Apparatus and method to process and cluster data |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109816606A (zh) * | 2019-01-18 | 2019-05-28 | 中国科学院电子学研究所 | 一种利用光学遥感卫星进行目标跟踪的方法 |
| CN110570351A (zh) * | 2019-08-01 | 2019-12-13 | 武汉大学 | 一种基于卷积稀疏编码的图像超分辨率重建方法 |
-
2019
- 2019-12-27 CN CN201911381391.5A patent/CN111445388A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104778659A (zh) * | 2015-04-15 | 2015-07-15 | 杭州电子科技大学 | 基于深度学习的单帧图像超分辨率重建方法 |
| AU2015101167A4 (en) * | 2015-07-26 | 2015-10-01 | Macau University Of Science And Technology | A Single Image Super-Resolution Method Using Transform-Invariant Directional Total Variation with S1/2+L1/2-norm |
| CN105513014A (zh) * | 2016-01-21 | 2016-04-20 | 集美大学 | 一种多帧图像超分辨率重建方法及其重建*** |
| CN105931179A (zh) * | 2016-04-08 | 2016-09-07 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及*** |
| CN107392855A (zh) * | 2017-07-19 | 2017-11-24 | 苏州闻捷传感技术有限公司 | 基于稀疏自编码网络与极速学习的图像超分辨重建方法 |
| US20190073594A1 (en) * | 2017-09-01 | 2019-03-07 | Thomson Licensing | Apparatus and method to process and cluster data |
| CN108830792A (zh) * | 2018-05-09 | 2018-11-16 | 浙江师范大学 | 一种利用多类字典的图像超分辨率方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
| CN109816606A (zh) * | 2019-01-18 | 2019-05-28 | 中国科学院电子学研究所 | 一种利用光学遥感卫星进行目标跟踪的方法 |
| CN110570351A (zh) * | 2019-08-01 | 2019-12-13 | 武汉大学 | 一种基于卷积稀疏编码的图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| 吴炜: "《基于学习的图像增强技术》", 28 February 2013 * |
| 曹铁勇等译: "《稀疏与冗余表示----理论及其在信号与图像处理中的应用》", 31 May 2015 * |
| 欧阳合，韩军: "《H.264和MPEG-4视频压缩---新一代多媒体的视频编码技术》", 30 November 2004 * |
| 黄祚继，王春林，孙金彦，董丹丹: "《多源遥感数据目标地物的分类与优化》", 31 May 2017 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN111932462B (zh) * | 2020-08-18 | 2023-01-03 | Oppo（重庆）智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
| CN112258394A (zh) * | 2020-11-11 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
| CN112258394B (zh) * | 2020-11-11 | 2022-04-29 | 珠海大横琴科技发展有限公司 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
| CN112465042A (zh) * | 2020-12-02 | 2021-03-09 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
| CN112465042B (zh) * | 2020-12-02 | 2023-10-24 | 中国联合网络通信集团有限公司 | 一种分类网络模型的生成方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681273B (zh) | 图像分割方法、装置、电子设备及可读存储介质 | |
| US11222211B2 (en) | Method and apparatus for segmenting video object, electronic device, and storage medium | |
| CN112446383B (zh) | 车牌识别方法及装置、存储介质、终端 | |
| CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
| CN109583345B (zh) | 道路识别方法、装置、计算机装置及计算机可读存储介质 | |
| CN111445388A (zh) | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 | |
| WO2023082453A1 (zh) | 一种图像处理方法及装置 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN113313047B (zh) | 一种基于车道结构先验的车道线检测方法及*** | |
| CN115147418B (zh) | 缺陷检测模型的压缩训练方法和装置 | |
| WO2020043296A1 (en) | Device and method for separating a picture into foreground and background using deep learning | |
| CN116363535A (zh) | 基于卷积神经网络的无人机航拍影像中的船舶检测方法 | |
| CN115035172A (zh) | 基于置信度分级及级间融合增强的深度估计方法及*** | |
| CN112330618B (zh) | 图像偏移检测方法、设备及存储介质 | |
| EP3156943A1 (en) | Method and device for clustering patches of a degraded version of an image | |
| CN110490170B (zh) | 一种人脸候选框提取方法 | |
| CN113393385A (zh) | 基于多尺度融合的无监督去雨方法、***、装置及介质 | |
| CN112418229A (zh) | 一种基于深度学习的无人船海上场景图像实时分割方法 | |
| CN117078574A (zh) | 一种图像去雨方法及装置 | |
| CN111582013A (zh) | 一种基于灰度共生矩阵特征船只检索方法及装置 | |
| CN114429602A (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| CN110648291B (zh) | 一种基于深度学习的无人机运动模糊图像的复原方法 | |
| CN110738225B (zh) | 图像识别方法及装置 | |
| CN111950527A (zh) | 一种基于yolo v2神经网络的目标检测方法及装置 | |
| CN114596580B (zh) | 一种多人体目标识别方法、***、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200724 |