CN112258394B - 数据处理方法、船只跟踪方法、装置、设备及存储介质 - Google Patents
数据处理方法、船只跟踪方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112258394B CN112258394B CN202011257995.1A CN202011257995A CN112258394B CN 112258394 B CN112258394 B CN 112258394B CN 202011257995 A CN202011257995 A CN 202011257995A CN 112258394 B CN112258394 B CN 112258394B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- image data
- video
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000005070 sampling Methods 0.000 claims abstract description 56
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000001514 detection method Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 16
- 238000003062 neural network model Methods 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 12
- 230000003068 static effect Effects 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000004804 winding Methods 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能领域，具体涉及一种数据处理方法、船只跟踪方法、装置、设备及存储介质。包括如下步骤：获取待重建图像数据；提取待重建图像数据的特征信息；将特征信息作为预先构建的密集深度反馈网络的输入，密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个上采样单元和多个下采样单元对特征信息进行迭代误差反馈处理，输出高分辨率图像。密集深度反馈网络中的多个上采样单元和多个下采样单元对特征信息进行迭代误差反馈处理，反复交替地计算高分辨率图像和低分辨率图像，该过程可以理解为自我纠正的步骤，不停地将误差映射到卷积层/反卷积层上，从而改变图像的分辨率，最终得到效果好的高分辨率图像。
Description
技术领域
本发明涉及人工智能领域，具体涉及一种数据处理方法、船只跟踪方法、装置、设备及存储介质。
背景技术
在遥感领域，视频卫星是一种新型对地观测卫星，它主要利用低轨视频成像卫星或者敏捷成像卫星来实现。
视频卫星与传统对地光学遥感卫星的最大不同就是它具有较高的时间分辨率，能够对一定区域进行连续观测，以视频录像的方式获得目标更多的运动变化信息，特别适合对运动目标的高分辨率观测，用于获得目标的运动速度和方向，而这些重要信息是传统对地光学遥感卫星难以获得的。卫星视频影像正成为一种重要的动态遥感大数据，广泛应用于自然灾害预报、地表三维建模、地球资源普查以及动态目标跟踪等方面。
相比于传统光学静态遥感卫星，视频卫星提高了时间分辨率、牺牲了空间分辨率。同时，视频的数据量远远大于单张遥感影像，随着视频卫星采集视频的数据量急剧攀升，为了适应信道传输能力，不得不对卫星所采集到的视频进行压缩，从而导致传回地面的视频空间分辨率大大降低、清晰度严重下降。
目前提出的超分辨率重建的深度网络中，大多采用前向结构学习输入的特征，并通过非线性映射到高分辨率输出中。然而，这些方法并没有考虑高分辨率图像和低分辨率图像之间的互相依赖性，从而导致超分辨重建效果不好。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中超分辨重建效果不好的缺陷，从而提供一种影像数据处理方法，包括如下步骤：
获取待重建图像数据；
提取所述待重建图像数据的特征信息；
将所述特征信息作为预先构建的密集深度反馈网络的输入，所述密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个所述上采样单元和多个所述下采样单元对所述特征信息进行迭代误差反馈处理，输出高分辨率图像。
优选地，每个所述上采样单元与至少一个所述下采样单元连接，所有所述上采样单元的输出端串联。
优选地，所述上采样单元至少包括依次连接的第一反卷积层、第一卷积层和第二反卷积层，下采样单元至少包括依次连接的第二卷积层、第三反卷积层和第三卷积层；其中，所述卷积层用于对图像分辨率进行缩小；反卷积层用于对图像分辨率进行放大。
优选地，所述上采样单元的过程如下式：
第一反卷积层：
第一卷积层：
残差：
第二反卷积层：
输出：
其中，*表示卷积操作，Lt-1表示第一反卷积层的输入，pt表示第一反卷积层，↑s表示反卷积s倍，gt表示第一卷积层，↓s表示卷积s倍，qt表示第二反卷积层；
所述下采样单元的过程如下式：
第二卷积层：
第三反卷积层：
残差：
第三卷积层：
输出：
其中，Ht表示第二卷积层的输入，g′t表示第二卷积层，p′t表示第三反卷积层，g′t表示第三卷积层。
优选地，所述提取待重建图像数据的特征信息包括：
先通过第四卷积层提取大量的特征信息，再经过第五卷积层减少特征信息的数量，其中，所述第四卷积层的卷积核大于第五卷积层的卷积核。
本发明还提供了一种船只跟踪方法，包括如下步骤：
获取拍摄到船只的待跟踪视频图像；
利用影像数据处理方法对所述待跟踪视频图像进行预处理，得到处理后的视频图像；
根据所述处理后的视频图像进行船只跟踪检测。
本发明还提供了一种影像数据处理装置，包括：
第一获取单元，用于获取待重建图像数据；
提取单元，用于提取所述待重建图像数据的特征信息；
输出单元，用于将所述特征信息作为预先构建的密集深度反馈网络的输入，所述密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个所述上采样单元和多个所述下采样单元对所述特征信息进行迭代误差反馈处理，输出高分辨率图像。
本发明还提供了一种船只跟踪装置，包括：
第二获取单元，用于获取拍摄到船只的待跟踪视频图像；
处理单元，用于利用影像数据处理方法对所述待跟踪视频图像进行预处理，得到处理后的视频图像；
跟踪单元，用于根据所述处理后的视频图像进行船只跟踪检测。
本发明还提供了一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行影像数据处理方法或船只跟踪方法。
本发明还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行影像数据处理方法或船只跟踪方法。
本发明技术方案，具有如下优点：
1.本发明提供的影像数据处理方法，神经网络模型提取到待重建图像数据的特征信息，神经网络模型中的密集深度反馈网络对所提取的特征信息进行迭代误差反馈处理，即密集深度反馈网络中的多个上采样单元和多个下采样单元对特征信息进行迭代误差反馈处理，反复交替地计算高分辨率图像和低分辨率图像，该过程可以理解为自我纠正的步骤，不停地将误差映射到卷积层/反卷积层上，从而改变图像的分辨率，最终得到效果好的高分辨率图像。
2.本发明提供的影像数据处理装置，第一获取模块获取到低分辨率的图像，提取模块对所获取的低分辨率图像进行特征信息提取，输出单元中的密集深度反馈网络对所提取的特征信息进行迭代误差反馈处理，即密集深度反馈网络中的多个上采样单元和多个下采样单元对特征信息进行迭代误差反馈处理，反复交替地计算高分辨率图像和低分辨率图像，该过程可以理解为自我纠正的步骤，不停地将误差映射到卷积层/反卷积层上，从而改变图像的分辨率，最终得到效果好的高分辨率图像。
3.本发明提供的船只跟踪方法，利用影像数据处理方法对所获得的拍摄到船只的待跟踪视频图像进行预处理，得到效果好的高分辨率视频图像，利用处理后的视频图像进行船只跟踪检测，能够使得船只的跟着更加的精确，提高船只跟踪检测的效果更好，并减少跟踪检测的错误率。
4.本发明提供的船只跟踪装置，第二获取单元获取到拍摄有船只的待跟踪视频图像，处理单元对第二获取单元所获取的待跟踪视频图像进行预处理，得到效果好的高分辨率视频图像，跟踪单元利用处理后的视频图像进行船只跟踪检测，能够使得船只的跟着更加的精确，提高船只跟踪检测的效果更好，并减少跟踪检测的错误率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中影像数据处理方法的流程图；
图2为本发明实施例2中影像数据处理装置的原理框图；
图3为本发明实施例3中船只跟踪方法的流程图；
图4为本发明实施例4中船只跟踪方法的原理框图；
图5为本发明实施例5中电子设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供了一种影像数据处理方法，图1是说明根据本发明某些实施例，通过对待重建图像数据进行超分辨重建的流程图。虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚的了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行(例如使用并行处理器或者多线程环境)。
本实施例提供的一种影像数据处理方法，如图1所示，包括以下步骤：
S101、获取待重建图像数据。
在上述实施方式中，待重建图像数据包括但不限于监控摄像头所拍摄到的图像/视频、手机或摄像机等具备摄像功能的电子设备所拍摄到的图像/视频、视频卫星所拍摄到的图像/视频以及天文望远镜所拍摄到的图像/视频。所获取到的待重建图像数据由于一些原因导致分辨率低，例如图像/视频被压缩、人为添加噪音等都会导致所拍摄到的高分辨率图像/视频的分辨率大大降低，从而导致图像/视频的清晰度严重下降。
举例来说，待重建图像数据可以为视频卫星所拍摄到的图像/视频，由于视频卫星具有较高的时间分辨率，能够对一定区域进行连续观测，以视频录像的方式获得目标更多的运动变化信息，特别适合对运动目标的高分辨率观测，例如利用视频卫星所拍摄到的视频对船只进行跟踪。然而随着视频卫星所拍摄的视频数量急剧攀升，为了适应信道传输能力，不得不对所拍摄到的卫星视频进行压缩，导致传回到地面的卫星视频的分辨率大大降低，视频清晰度严重下降，为了更好地利用视频卫星所拍摄到的视频，对传回地面的卫星视频进行超分辨重建是非常有意义的。
S102、提取所述待重建图像数据的特征信息。
在上述实施方式中，利用已训练好的神经网络模型提取经步骤S101获得的待重建图像数据的特征信息，即先利用已训练好的神经网络模型中卷积核大的卷积层从待重建图像数据中提取大量的特征信息，再利用卷积核小的卷积层减少所提取到的特征信息的数量。举例来说，先通过已训练好的神经网络模型中的第四卷积层提取大量的特征信息，再经过第五卷积层减少特征信息的数量，其中，第四卷积层的卷积核大于第五卷积层的卷积核。在本实施例中，第四卷积层以及第五卷积层的卷积核大小在此不做限定，本领域技术人员可根据具体情况进行合理的确定。
在对神经网络模型进行训练前，先大量收集训练所需要的图像或视频，并对所收集到的图像或视频进行预处理，例如对所收集到的高分辨率图像或视频进行压缩、添加噪音等降质处理，并将降质处理后的图像或视频作为预训练的图像数据集。
举例来说，为了对视频卫星所传送回地面的图像或视频进行超分辨重建，需要收集到大量的相关图像进行预处理，然而超视距作业环境下的视频卫星的成像条件与普通自然图像的成像条件不同，采用相似成像条件下的高分辨率遥感影像作为预训练的图像数据集能提高机器学习的针对性。传统的遥感卫星的静态图像分辨率可以达到0.1m，视频卫星目前只能提供1m左右的分辨率，静态卫星比动态卫星包含更多的高频细节信息。因此，可以借助静态遥感影像作为视频卫星超分辨率重建的训练图像数据集。
在收集到足够多的静态遥感影像后，对所收集的静态遥感影像进行预处理，即通过人为的方式模拟传回至地面的卫星视频的降质过程。首先将所收集到的静态遥感影像逐帧提取(如果所收集到的静态遥感影像是视频)，得到高分辨率的图像序列，从而对高分辨率的图像序列进行预处理，预处理包括以下步骤：
a.将每一张高分辨率图像的宽度和高度均卷积k倍，得到低分辨率图像序列；其中k为2-8的整数，本领域技术人员可根据具体情况对k进行合理取值，在此不做限制。
在上述步骤a中，对每张从静态遥感影像中逐帧提取到的高分辨率图像的高度和宽度均卷积4倍，从而得到低分辨率序列。
b.将低分辨率图像序列按H.264进行视频编码，每个像素的码率不低于1.98bps，进而得到压缩的低分辨率图像序列。
c.将压缩的低分辨率图像序列按H.264进行编码，得到解码还原但存在压缩失真效应的低分辨率训练图像，并将该低分辨率训练图像作为神经网络模型的训练集。
S103、将所述特征信息作为预先构建的密集深度反馈网络的输入，所述密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个所述上采样单元和多个所述下采样单元对所述特征信息进行迭代误差反馈处理，输出高分辨率图像。
在上述实施方式中，已训练好的神经网络模型中存有预先构建的密集深度反馈网络，密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，构建密集深度反馈网络可以获得更好的重建效果。
在本实施例中，上采样单元包括依次连接的第一反卷积层、第一卷积层和第二反卷积层，下采样单元包括依次连接的第二卷积层、第三反卷积层和第三卷积层，其中，第一反卷积层、第二反卷积层以及第三反卷积层用于对图像分辨率进行放大，第一卷积层、第二卷积层以及第三卷积层用于对图像分辨率进行缩小。在一些实施例中，上采样单元还可以在第二反卷积层后依次连接第六卷积层和第四反卷积层，甚至连接更多，只需要卷积层和反卷积层是依次连接的，并且最后一个是反卷积层即可；下采样单元还可以在第三卷积层后依次连接第五反卷积层和第七卷积层，甚至连接更多，只需要反卷积层和卷积层是依次连接的，并且最后一个是卷积层即可。卷积层与反卷积层交叉连接，即卷积层只与反卷积层连接，反卷积层也只与卷积层连接。
在密集深度反馈网络中，每个上采样单元与至少一个下采样单元连接，并将所有上采样单元输出端输出的高分辨率图像串联起来，经过卷积层重建出高分辨率视频影像。
在本实施例中，上采样单元包括依次连接的第一反卷积层、第一卷积层和第二反卷积层，下采样单元包括依次连接的第二卷积层、第三反卷积层和第三卷积层。将经步骤S102所提取到的特征信息作为预先构建的密集深度反馈网络中上采样单元的输入，利用多个上采样单元和多个下采样单元对经步骤S102所提取到的特征信息进行迭代误差反馈处理，从而得到并输出高分辨率图像。
所提取到的特征信息在上采样单元中的过程如下式：
第一反卷积层：
第一卷积层：
残差：
第二反卷积层：
输出：
其中，*表示卷积操作，Lt-1表示第一反卷积层的输入，pt表示第一反卷积层，↑s表示反卷积s倍，gt表示第一卷积层，↓s表示卷积s倍，qt表示第二反卷积层。
将所提取到的特征信息Lt-1作为上采样单元中第一反卷积层pt的输入，第一反卷积层pt对特征信息Lt-1反卷积s倍得到特征信息
将特征信息
输入到第一卷积层gt中，第一卷积层gt对特征信息
卷积s倍得到特征信息
将特征信息
与特征信息Lt-1做残差处理得到特征信息
将特征信息
作为第二反卷积层qt的输入，第二反卷积层qt对特征信息
反卷积s倍得到特征信息
对特征信息
和特征信息
做处理输出特征信息Ht。
将所输出的特征信息Ht作为下采样单元的输入，特征信息Ht在下采样单元中的过程如下式：
第二卷积层：
第三反卷积层：
残差：
第三卷积层：
输出：
其中，*表示卷积操作，Ht表示第二卷积层的输入，g′t表示第二卷积层，p′t表示第三反卷积层，g′t表示第三卷积层,↑s表示反卷积s倍，↓s表示卷积s倍。
第二卷积层g′t对特征信息Ht卷积s倍得到特征信息
将特征信息
输入到第三反卷积层p′t中，第三反卷积层p′t对特征信息
反卷积s倍得到特征信息
将特征信息Ht和特征信息
做残差处理得到特征信息
将特征信息
输入到第三卷积层g′t中，第三卷积层g′t将特征信息
卷积s倍得到特征信息
对特征信息
和特征信息
做处理输出特征信息Lt，并将特征信息Lt作为上采样单元的输入进行迭代误差反馈处理，直到达到所要求的迭代次数。
举例来说，将传回地面的卫星视频进行逐帧提取，并将所提取到的图像导入神经网络模型中，神经网络模型提取图像的特征信息，神经网络模型中的密集深度反馈网络对所提取到的特征信息进行迭代误差反馈处理，从而输出高分辨率的图像。
在本实施例中，神经网络模型提取到待重建图像数据的特征信息，神经网络模型中的密集深度反馈网络对所提取的特征信息进行迭代误差反馈处理，即密集深度反馈网络中的多个上采样单元和多个下采样单元对特征信息进行迭代误差反馈处理，反复交替地计算高分辨率图像和低分辨率图像，该过程可以理解为自我纠正的步骤，不停地将误差映射到卷积层/反卷积层上，从而改变图像的分辨率，最终得到效果好的高分辨率图像。
实施例2
本实施例提供了一种影像数据处理装置，用于对低分辨率的图像进行处理得到效果好的高分辨率图像，如图2所示，包括：
第一获取单元201，用于获取待重建图像数据。详细内容请参见上述方法实施例1对应步骤S101的相关描述，此处不再赘述。
提取单元202，用于提取所述待重建图像数据的特征信息。详细内容请参见上述方法实施例1对应步骤S102的相关描述，此处不再赘述。
输出单元203，用于将所述特征信息作为预先构建的密集深度反馈网络的输入，所述密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个所述上采样单元和多个所述下采样单元对所述特征信息进行迭代误差反馈处理，输出高分辨率图像。详细内容请参见上述方法实施例1对应步骤S103的相关描述，此处不再赘述。
在本实施例中，第一获取模块201获取到低分辨率的图像，提取模块202对所获取的低分辨率图像进行特征信息提取，输出单元203中的密集深度反馈网络对所提取的特征信息进行迭代误差反馈处理，即密集深度反馈网络中的多个上采样单元和多个下采样单元对特征信息进行迭代误差反馈处理，反复交替地计算高分辨率图像和低分辨率图像，该过程可以理解为自我纠正的步骤，不停地将误差映射到卷积层/反卷积层上，从而改变图像的分辨率，最终得到效果好的高分辨率图像。
实施例3
船只的运动情况作为临海区域感知信息的重要目标，对海上船只的监控跟踪有利于维护国家海洋安全。本实施例提供了一种船只跟踪方法，图3是说明根据本发明某些实施例，通过对所拍摄到的船只视频图像进行超分辨重建，得到效果好的高分辨率视频，进而对船只进行跟踪的流程图。虽然下文描述的过程包括以特定的顺序出现的多个操作，但是应该清楚的了解到，这些过程也可以包括更多或者更少的操作，这些操作可以顺序执行或者并行执行(例如使用并行处理器或者多线程环境)。
S301、获取拍摄到船只的待跟踪视频图像。
在上述实施方式中，待跟踪视频图像可以为监控摄像头所拍摄到的视频、卫星所拍摄到的视频等。然而由于普通的视频监控只能监视靠近岸边的船只，无法监视离岸边较远距离的船只，而视频卫星可以不受距离限制，它的实时性以及广阔的幅宽为海上船只的跟踪提供了有效的数据。因此，在本实施例中，采用视频卫星所拍摄到的船只视频图像进行超分辨重建及船只跟踪。在一些实施例中，也可以采用监控摄像头所拍摄到的视频，或者一些其他卫星所拍摄到的视频。本领域技术人员可根据具体情况进行合理的选用，在此不做限制。
S302、利用实施例1中所述的影像数据处理方法对所述待跟踪视频图像进行预处理，得到处理后的视频图像。
视频图像超分辨重建是建立在图像超分辨基础之上，利用视频帧间相关性进行视频超分辨重建。在上述实施方式中，由于所获取的是视频图像，需要对所获取到的视频图像进行逐帧提取，形成相应的图像序列。利用实施例1所述的影像数据处理方法将图像序列进行处理，得到效果好的高分辨率图像，并将得到的高分辨率图像转为高分辨率视频图像。
S303、根据所述处理后的视频图像进行船只跟踪检测。
在上述实施方式中，步骤S302已经对低分辨率的卫星视频进行了超分辨重建，得到了效果好的高分辨率视频图像。利用所得到的效果好的高分辨率视频图像进行船只跟踪，使得船只跟踪检测的效果更好，减少跟踪检测的错误率。在本实施例中，对船只进行跟踪的方法采用现有的技术即可，在此不做过多的描述。
在本实施例中，利用实施例1中所述的影像数据处理方法对所获得的拍摄到船只的待跟踪视频图像进行预处理，得到效果好的高分辨率视频图像，利用处理后的视频图像进行船只跟踪检测，能够使得船只的跟着更加的精确，提高船只跟踪检测的效果更好，并减少跟踪检测的错误率。
实施例4
本实施例提供了一种船只跟踪装置，用于对所拍摄到的船只视频图像进行超分辨重建及船只跟踪，如图4所示，包括：
第二获取单元401，用于获取拍摄到船只的待跟踪视频图像。详细内容请参见上述方法实施例3对应步骤S301的相关描述，此处不再赘述。
处理单元402，用于利用实施例1中所述的影像数据处理方法对所述待跟踪视频图像进行预处理，得到处理后的视频图像。详细内容请参见上述方法实施例3对应步骤S302的相关描述，此处不再赘述。
跟踪单元403，用于根据所述处理后的视频图像进行船只跟踪检测。详细内容请参见上述方法实施例3对应步骤S303的相关描述，此处不再赘述。
在本实施例中，第二获取单元401获取到拍摄有船只的待跟踪视频图像，处理单元402对第二获取单元401所获取的待跟踪视频图像进行预处理，得到效果好的高分辨率视频图像，跟踪单元403利用处理后的视频图像进行船只跟踪检测，能够使得船只的跟着更加的精确，提高船只跟踪检测的效果更好，并减少跟踪检测的错误率。
实施例5
本实施例提供了一种电子设备，如图5所示，该电子设备包括处理器501和存储器502，其中处理器501和存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器501可以为中央处理器(Central Processing Unit，CPU)。处理器501还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)、嵌入式神经网络处理器(Neural-network ProcessingUnit，NPU)或者其他专用的深度学习协处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器501作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例1中的影像数据处理方法或实施例3中的船只跟踪方法对应的程序指令/模块(如图2所示的第一获取单元201、提取单元202以及输出单元203，或如图4所示的第二获取单元401、处理单元402以及跟踪单元403)。处理器501通过运行存储在存储器502中的非暂态软件程序、指令以及模块，从而执行处理器501的各种功能应用以及数据处理，即实现上述方法实施例1中的影像数据处理方法或实施例3中的船只跟踪方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储处理器501所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至处理器501。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器502中，当被所述处理器501执行时，执行如图1所示的影像数据处理方法或如图3所示的船只跟踪方法。
在本实施例中，处理器501通过执行存储在存储器502内的非暂态软件程序、指令以及模块，从而执行实施例1的影像数据处理方法或实施例3的船只跟踪方法，最终得到效果好的高分辨率图像，或使得船只的跟着更加的精确，提高船只跟踪检测的效果更好，并减少跟踪检测的错误率。
上述计算机设备具体细节可以对应参阅图1或图3所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。未在本实施例中详尽描述的技术细节，具体可参见如图1或图3所示的实施例中的相关描述。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的影像数据处理方法或船只跟踪方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (8)
1.一种影像数据处理方法，其特征在于，包括如下步骤：
获取待重建图像数据，所述图像数据为视频卫星所拍摄到的图像数据；
提取所述待重建图像数据的特征信息；
将所述特征信息作为预先构建的密集深度反馈网络的输入，所述密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个所述上采样单元和多个所述下采样单元对所述特征信息进行迭代误差反馈处理，输出高分辨率图像；
其中，每个所述上采样单元与至少一个所述下采样单元连接，所有所述上采样单元的输出端串联；
其中，所述方法还包括：
a.将每一张高分辨率图像的宽度和高度均卷积k倍，得到低分辨率图像序列；其中，k为2-8的整数，所述每一张高分辨率图像为静态遥感影像；
b.将所述低分辨率图像序列按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率图像序列；
c.将所述压缩的低分辨率图像序列按H.264进行编码，得到解码还原但存在压缩失真效应的低分辨率训练图像，并将该低分辨率训练图像作为神经网络模型的训练集。
2.如权利要求1所述的影像数据处理方法，其特征在于，所述上采样单元至少包括依次连接的第一反卷积层、第一卷积层和第二反卷积层，下采样单元至少包括依次连接的第二卷积层、第三反卷积层和第三卷积层；其中，所述卷积层用于对图像分辨率进行缩小；反卷积层用于对图像分辨率进行放大。
3.如权利要求1或2所述的影像数据处理方法，其特征在于，提取待重建图像数据的特征信息包括：
先通过第四卷积层提取大量的特征信息，再经过第五卷积层减少特征信息的数量，其中，所述第四卷积层的卷积核大于第五卷积层的卷积核。
4.一种船只跟踪方法，其特征在于，包括如下步骤：
获取拍摄到船只的待跟踪视频图像；
利用权利要求1-3任一项所述的影像数据处理方法对所述待跟踪视频图像进行预处理，得到处理后的视频图像；
根据所述处理后的视频图像进行船只跟踪检测。
5.一种影像数据处理装置，其特征在于，包括：
第一获取单元，用于获取待重建图像数据，所述图像数据为视频卫星所拍摄到的图像数据；
提取单元，用于提取所述待重建图像数据的特征信息；
输出单元，用于将所述特征信息作为预先构建的密集深度反馈网络的输入，所述密集深度反馈网络为多个上采样单元和多个下采样单元密集连接形成的网络架构，利用多个所述上采样单元和多个所述下采样单元对所述特征信息进行迭代误差反馈处理，输出高分辨率图像；其中，每个所述上采样单元与至少一个所述下采样单元连接，所有所述上采样单元的输出端串联；
所述装置还包括：
卷积模块，用于将每一张高分辨率图像的宽度和高度均卷积k倍，得到低分辨率图像序列；其中，k为2-8的整数，所述每一张高分辨率图像为静态遥感影像；
第一编码模块，用于将所述低分辨率图像序列按H.264进行视频编码，每个像素的码率不低于1.98bps，得到压缩的低分辨率图像序列；
第二编码模块，用于将所述压缩的低分辨率图像序列按H.264进行编码，得到解码还原但存在压缩失真效应的低分辨率训练图像，并将该低分辨率训练图像作为神经网络模型的训练集。
6.一种船只跟踪装置，包括：
第二获取单元，用于获取拍摄到船只的待跟踪视频图像；
处理单元，用于利用权利要求1-3任一项所述的影像数据处理方法对所述待跟踪视频图像进行预处理，得到处理后的视频图像；
跟踪单元，用于根据所述处理后的视频图像进行船只跟踪检测。
7.一种电子设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-3中任一项所述的影像数据处理方法或权利要求4所述的船只跟踪方法。
8.一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-3中任一项所述的影像数据处理方法或权利要求4所述的船只跟踪方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011257995.1A CN112258394B (zh) | 2020-11-11 | 2020-11-11 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011257995.1A CN112258394B (zh) | 2020-11-11 | 2020-11-11 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112258394A CN112258394A (zh) | 2021-01-22 |
| CN112258394B true CN112258394B (zh) | 2022-04-29 |
Family
ID=74265504
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011257995.1A Active CN112258394B (zh) | 2020-11-11 | 2020-11-11 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112258394B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115810016B (zh) * | 2023-02-13 | 2023-04-28 | 四川大学 | 肺部感染cxr图像自动识别方法、***、存储介质及终端 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109741260A (zh) * | 2018-12-29 | 2019-05-10 | 天津大学 | 一种基于深度反投影网络的高效超分辨率方法 |
| CN109740665A (zh) * | 2018-12-29 | 2019-05-10 | 珠海大横琴科技发展有限公司 | 基于专家知识约束的遮挡图像船只目标检测方法及*** |
| US10410322B2 (en) * | 2017-04-05 | 2019-09-10 | Here Global B.V. | Deep convolutional image up-sampling |
| CN111353940A (zh) * | 2020-03-31 | 2020-06-30 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
| CN111445388A (zh) * | 2019-12-27 | 2020-07-24 | 珠海大横琴科技发展有限公司 | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110087092B (zh) * | 2019-03-11 | 2020-06-05 | 西安电子科技大学 | 基于图像重构卷积神经网络的低码率视频编解码方法 |
-
2020
- 2020-11-11 CN CN202011257995.1A patent/CN112258394B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10410322B2 (en) * | 2017-04-05 | 2019-09-10 | Here Global B.V. | Deep convolutional image up-sampling |
| CN109741260A (zh) * | 2018-12-29 | 2019-05-10 | 天津大学 | 一种基于深度反投影网络的高效超分辨率方法 |
| CN109740665A (zh) * | 2018-12-29 | 2019-05-10 | 珠海大横琴科技发展有限公司 | 基于专家知识约束的遮挡图像船只目标检测方法及*** |
| CN111445388A (zh) * | 2019-12-27 | 2020-07-24 | 珠海大横琴科技发展有限公司 | 一种图像超分辨重建模型训练方法、船只跟踪方法及装置 |
| CN111353940A (zh) * | 2020-03-31 | 2020-06-30 | 成都信息工程大学 | 一种基于深度学习迭代上下采样的图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112258394A (zh) | 2021-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及*** | |
| CN111598778B (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN110599401A (zh) | 遥感图像超分辨率重建方法、处理装置及可读存储介质 | |
| CN111105352A (zh) | 超分辨率图像重构方法、***、计算机设备及存储介质 | |
| CN111127325B (zh) | 基于循环神经网络的卫星视频超分辨率重建方法及*** | |
| CN111091503A (zh) | 基于深度学习的图像去失焦模糊方法 | |
| CN109146813B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
| CN109191411B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
| CN111951195A (zh) | 图像增强方法及装置 | |
| Dong et al. | Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network | |
| CN113362338B (zh) | 铁轨分割方法、装置、计算机设备和铁轨分割处理*** | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、***、电子设备及存储介质 | |
| Huang et al. | Learning deformable and attentive network for image restoration | |
| CN112258394B (zh) | 数据处理方法、船只跟踪方法、装置、设备及存储介质 | |
| Wang et al. | Afdn: Attention-based feedback dehazing network for UAV remote sensing image haze removal | |
| Ren et al. | A lightweight object detection network in low-light conditions based on depthwise separable pyramid network and attention mechanism on embedded platforms | |
| Shin et al. | LoGSRN: Deep super resolution network for digital elevation model | |
| Cai et al. | Real-time super-resolution for real-world images on mobile devices | |
| Chen et al. | Nested error map generation network for no-reference image quality assessment | |
| CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
| Liu et al. | LG-DBNet: Local and Global Dual-Branch Network for SAR Image Denoising | |
| Xia et al. | MFC-Net: Multi-scale fusion coding network for Image Deblurring |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |