CN113658230B - 一种光流估计方法、终端以及存储介质 - Google Patents
一种光流估计方法、终端以及存储介质 Download PDFInfo
- Publication number
- CN113658230B CN113658230B CN202010396695.5A CN202010396695A CN113658230B CN 113658230 B CN113658230 B CN 113658230B CN 202010396695 A CN202010396695 A CN 202010396695A CN 113658230 B CN113658230 B CN 113658230B
- Authority
- CN
- China
- Prior art keywords
- layer
- feature
- layers
- optical flow
- feature layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 152
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000007499 fusion processing Methods 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 10
- 230000002829 reductive effect Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种光流估计方法、终端及存储介质，所述光流估计方法对待估计光流的图像中用于输入至光流估计网络中的每一层特征层，在输入至光流估计网络进行光流估计之前，都利用其他的特征层进行处理，使得输入至光流估计网络中的每一层特征能够融合其他层的特征，光流估计网络能够有效利用更丰富的特征进行光流估计，提升光流估计的精度。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种光流估计方法、终端以及存储介质。
背景技术
光流在计算机视觉领域中有广泛的应用，如视频编压缩、视频行为识别、视频插帧等，目前，已有用于估计光流的深度学习模型。在基于特征金字塔网络结构的光流估计网络模型中，在估计光流时，是根据原始图像建立特征金字塔，从底层特征开始逐层向上估计光流，然而，这种光流估计网络模型对于存在物体复杂运动的图像的光流估计误差较大。
因此，现有技术还有待改进和提高。
发明内容
针对现有技术的上述缺陷，本发明提供一种光流估计方法、终端及存储介质，旨在解决现有技术中的基于金字塔网络结构的光流估计网络模型中对于复杂运动的光流估计误差大的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种光流估计方法，其中，所述光流估计方法包括：
获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征，其中，所述第一特征包括N层特征层，N为大于等于2的正整数；
获取所述N层特征层中第一层特征层之外的M层特征层，根据所述M层特征层中其他的特征层对所述M层特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征，其中，所述第二特征包括M层特征层，M＝N-1，M为正整数；
将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
所述的光流估计方法，其中，所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
根据所述目标图像提取出所述N层特征层中的第一层特征层；
按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i+1层，其中i的数值依次取1、2、…、N-1，从而获取所述目标图像的所述N层特征层。
所述的光流估计方法，其中，所述M层特征层中各层的分辨率从第1层至第M层依次降低；所述根据所述M个特征层中其他的特征层对所述M个特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征包括：
对于所述M层特征中的第m层特征层，根据所述M层特征层中的第1层特征层和/或第m+1层特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤M。
所述的光流估计方法，其中，所述根据所述M层特征层中的第1层特征层和/或第m+1层特征层对所述第m层特征层进行处理包括：
根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
其中，所述第一中间特征层为对第m+1层特征层进行上采样后获取的与所述第m层特征层的分辨率一致的特征层，所述第二中间特征层为对所述M层特征层中的第1层特征层进行下采样后获取的与所述第m层特征层的分辨率一致的特征层。
所述的光流估计方法，其中，所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
当1＜m＜M时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；
当m＝M时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层。
所述的光流估计方法，其中，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
所述的光流估计方法，其中，所述根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层包括：
对所述第一中间特征层进行卷积，生成第一卷积特征层；
将所述第一卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
所述的光流估计方法，其中，所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层包括：
对所述第二中间特征层进行卷积，生成第二卷积特征层；
将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第M层特征层。
一种终端，其中，所述终端包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述任一项所述的光流估计方法的步骤。
一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项所述的光流估计方法的步骤。
有益效果：与现有技术相比，本发明提供了一种光流估计方法、终端及存储介质，所述光流估计方法对待估计光流的图像中用于输入至光流估计网络中的每一层特征层，在输入至光流估计网络进行光流估计之前，都利用其他的特征层进行处理，使得输入至光流估计网络中的每一层特征能够融合其他层的特征，光流估计网络能够有效利用更丰富的特征进行光流估计，提升光流估计的精度。
附图说明
图1为本发明提供的光流估计方法的实施例的流程图；
图2为PWC-Net光流估计网络的工作示意图；
图3为本发明提供的光流估计方法中根据第一特征生成第二特征的示意图；
图4为本发明提供的光流估计方法与现有方法估计的光流EPE值对比图；
图5为本发明提供的光流估计方法与现有方法估计的光流的可视化图对比图；
图6为本发明提供的终端的实施例的结构原理图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本发明提供的一种光流估计方法，是可以应用在终端中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。所述终端在获取到待估计光流的图像对时，可以通过本发明提供的光流估计方法估计图像对对应的光流。
实施例一
发明人发现，在现有的基于特征金字塔网络结构的光流估计网络(如PWC-Net、FlowNet2.0、LiteFlowNet等)中，是根据原始图像建立特征金字塔，然后根据原始图像建立的特征金字塔来估计光流，如图2所示，图2是PWC-Net光流估计网络的光流估计过程示意图，PWC-Net是先根据原始图像提取6层金字塔特征，然后利用分辨率较小的后5层特征预测光流，从顶层特征开始逐层向下估计光流，光流越来越精细，分辨率也越来越高，每层估计光流时利用上一层上采样后的光流后再进行一系列的运算得到最终估计的光流。而从原始图像建立的特征金字塔中，由于从底层到顶层每一层特征层的分辨率逐渐减小，也就是说，底层的特征细节丰富，高层特征更抽象，语义信息更丰富，现有的基于特征金字塔网络结构的光流估计网络在每层估计光流是利用上一层上采样后的光流，这就导致在光流估计过程中会丢失较多的细节，造成在图像中存在复杂运动时得到的最终光流估计结果误差较大。
基于上述问题，本发明提供了一种光流估计方法，在根据原始图像得到金字塔特征层后，对其进行进一步处理，对于待输入至光流估计网络的各个特征层都融合其他特征层。
请参照图1，图1为本发明提供的光流估计方法的实施例一的流程图。
所述光流估计方法包括步骤：
S100、获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征。
具体地，光流估计是根据两张图像之间的差异来确定两张图像之间的光流，在本实施例中，首先获取待估计光流的目标图像对，所述目标图像对中包括两张目标图像，对各个目标图像均进行特征提取，获取所述各个目标图像分别对应的第一特征，所述第一特征N层特征层，N为大于等于2的正整数。所述第一特征包括的特征层的数量可以根据用于估计光流的光流估计网络对于特征层的数量设置而确定，具体地，本实施例提供的光流估计方法，在对所述目标图像进行处理后，是将所述目标图像对应的特征输入至预设的光流估计网络中，N可以为预设光流估计网络中对输入特征的特征层数设置值加一，例如PWC-Net网络对于输入的特征的层数设置为5层，那么，N可以取6。
所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
S110、根据所述目标图像提取出所述N层特征层中的第一层特征层；
在获取到所述目标图像后，对所述目标图像进行卷积池化，获取特征层，将对所述目标图像进行卷积池化后获得的特征层作为所述第一特征中的第一层特征层，对目标图像进行卷积池化为本领域的常见处理方式，在此不多赘述。
S120、按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i+1层，其中i的数值依次取1、2、…、N-1，从而获取所述目标图像的所述N层特征层。
在获取到所述N层特征层中的第一层特征层后，在第一层特征层的基础上依次进行卷积池化，在每次卷积池化时，按照预设的分辨率缩放比例获取更小分辨率的新的一层特征层，也就是说，在第一层特征层的基础上卷积池化得到第二层特征层，在第二层特征层的基础上卷积池化得到第三层特征层，直至获取到包括第一层特征层在内的N层特征层，每次对特征层进行卷积池化得到新的特征层时，新的特征层与前一层特征层的分辨率比例一定，这样，能够得到分辨率依次降低的N层特征层。即第一层特征层的分辨率最大，第N层特征层的分辨率最小。例如，预设的分辨率缩放比例可以为2：1，也就是说，每个特征层的分辨率为上一层特征层的分辨率的一半。
在根据所述目标图像获取所述第一特征的过程中，由于在获取每一层特征层时分辨率逐渐缩小，底层的特征层分辨率大，包含了更丰富的细节特征，而顶层的特征层虽然特征更集中，具有更丰富的语义信息，但是会丢失部分细节，因此，直接将所述第一特征输入值预设的光流估计网络进行光流估计，对于图像对中存在物体复杂运动的情形，会造成较大的估计误差。在本实施例中，在获取到所述第一特征之后，对所述第一特征进行进一步处理。
S200、获取所述N层特征层中第一层特征层之外的M层特征层，根据所述M层特征层中其他的特征层对所述M层特征层中的各个特征层进行处理，获取所述目标图像分别对应的第二特征。
在所述N层特征层中，由于第一层特征层的分辨率最大，用于光流估计会大大增加参数量和计算量，因此，在本实施例中，是对所述N层特征层中第一层特征层之外的M层特征层进行处理，获取用于估计光流的第二特征，其中，M＝N-1，M为正整数。
具体地，所述M层特征层中各层的分辨率是从第1层至第M层依次降低，所述根据所述M层特征层中其他的特征层对所述M层特征层中的各个特征层进行处理，获取所述目标图像分别对应的第二特征包括：
对于所述M层特征中的第m层特征层，根据所述M层特征层中的第1层特征层和/或第m+1层特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤M。
由于分辨率高的特征层具有更丰富的细节，而分辨率低的特征层更抽象，语义信息更丰富，在本实施例中，如图3所示，对于所述M层特征中的第m层特征层，是根据所述M层特征层中分辨率最大的特征层(即第1层特征层)和/或第m+1层特征层进行处理，获取目标图像对应的第二特征，具体为：根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层。所述第一中间特征层为对第m+1层特征层进行上采样后获取的于所述第m层特征层的尺寸一致的特征层，所述第二中间特征层为对所述M层特征层中的第1层特征层进行下采样后获取的于所述第m层特征层的尺寸一致的特征层。
根据所述M层特征层中的第1层特征层和/或第m+1特征层对所述第m层特征层进行特征融合处理时，是预先对所述M层特征层中的第1层特征层和/或第m+1特征层进行处理，生成与所述第m层特征层的分辨率一致的特征层，具体地，是对相邻的上一层特征层进行上采样实现分辨率的升高，生成所述第一中间特征层，对分辨率最大的特征层进行下采样实现分辨率的降低，生成所述第二中间特征层。
特征融合是指对特征层中的特征进行运算，生成融合了多个特征层的特征的新的特征层，所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
S210、当1＜m＜M时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
S220、当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；
S230、当m＝M时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层。具体地，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
S211、分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
S212、将所述第一卷积特征层和所述第二卷积特征层于所述第m层特征层相加，生成第三中间特征层；
S213、对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
当1＜m＜M时，在获取到与所述第m层特征层分辨率一致的所述第一中间特征层和所述第二中间特征层后，由于所述第一中间特征层、所述第二中间特征层以及所述第m层特征层分辨率一致，可以直接进行相加运算，即可以直接将所述第一中间特征层、所述第二中间特征层与所述第m层特征层相加，进行特征融合，生成第三中间特征层。在一种可能的实现方式中，在将所述第一中间特征层、所述第二中间特征层与所述第m层特征层相加之前，是对所述第一中间特征层和所述第二中间特征层预先分别进行卷积处理，以对所述第一中间特征层和所述第二中间特征层进行升维或降维，以利于运算，具体地，可以是利用尺寸为1*1的卷积核对所述第一中间特征层和所述第二中间特征层分别进行卷积获述第一卷积特征层和第二卷积特征层，再将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层进行相加，生成第三中间特征层。
在获取所述第三中间特征层后，可以直接将所述第三中间特征层直接作为所述第二特征中的第m层特征层，在一种可能的实现方式中，还可以对所述第三中间特征层进行进一步地卷积，进一步地提取特征，例如，可以用尺寸为3*3的卷积核对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层包括：
S221、所述第二中间特征层进行卷积，生成第二卷积特征层；
S222、将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
S223、对所述第三中间特征层进行卷积，生成所述第二特征中的第M层特征层。
当m＝1时，在获取到与所述第m层特征层分辨率一致的所述第一中间特征层后，由于所述第一中间特征层与所述第m层特征层分辨率一致，可以直接进行相加运算，即可以直接将所述第一中间特征层与所述第m层特征层相加，进行特征融合，生成第三中间特征层。在一种可能的实现方式中，在将所述第一中间特征层与所述第m层特征层相加之前，是对所述第一中间特征层预先进行卷积处理，以对所述第一中间特征层进行升维或降维，以利于运算。具体地，可以是利用尺寸为1*1的卷积核对所述第一中间特征层进行卷积获取第一卷积特征层，再将所述第一卷积特征层与所述第m层特征层进行相加，生成第三中间特征层。
在获取所述第三中间特征层后，可以直接将所述第三中间特征层直接作为所述第二特征中的第1层特征层，在一种可能的实现方式中，还可以对所述第三中间特征层进行进一步地卷积，进一步地提取特征，例如，可以用尺寸为3*3的卷积核对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层包括：
S231、对所述第二中间特征层进行卷积，生成第二卷积特征层；
S232、将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
S233、对所述第三中间特征层进行卷积，生成所述第二特征中的第M层特征层。
当m＝M时，在获取到与所述第m层特征层分辨率一致的所述第二中间特征层后，由于所述第二中间特征层以及所述第m层特征层分辨率一致，可以直接进行相加运算，即可以直接将所述第二中间特征层与所述第m层特征层相加，进行特征融合，生成第三中间特征层。在一种可能的实现方式中，在将所述第二中间特征层与所述第m层特征层相加之前，是对所述第二中间特征层预先分别进行卷积处理，以对所述第二中间特征层进行升维或降维，以利于运算，具体地，可以是利用尺寸为1*1的卷积核对所述第二中间特征层进行卷积获取第二卷积特征层，再将所述第二卷积特征层与所述第m层特征层进行相加，生成第三中间特征层。
在获取所述第三中间特征层后，可以直接将所述第三中间特征层直接作为所述第二特征中的第M层特征层，在一种可能的实现方式中，还可以对所述第三中间特征层进行进一步地卷积，进一步地提取特征，例如，可以用尺寸为3*3的卷积核对所述第三中间特征层进行卷积，生成所述第二特征中的第M层特征层。
对所述目标图像对中的各个目标图像分别对应的所述第一特征均进行处理，得到所述各个目标图像分别对应的所述第二特征之后，所述光流估计方法还包括：
S300、将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
根据前面所说明的，所述预设光流估计网络可以是现有的基于特征金字塔网络结构的光流估计网络，如PWC-Net、FlowNet2.0、LiteFlowNet等，由于M与所述预设光流估计网络中对于输入特征的层数设置值相等，可以直接将所述第二特征输入至所述预设光流估计网络，由所述预设光流估计网络输出所述目标图像对的光流。
为了验证本发明提供的光流估计方法的效果，进行了实验验证，通过本发明提供的光流估计方法(采用PWC-Net作为所述预设光流估计网络)以及现有的PWC-Net光流估计网络对同样的图像进行光流估计，实验的样本是从Flying Chairs测试集中选取的300张图像，结果如图4-图5所示，图4为利用本发明提供的光流估计方法与现有的光流估计网络进行光流估计的光流EPE值对比图，EPE为光流的评价指标，越小光流越精确。图5为部分实验样本的光流可视化图的对比图，图5中第一行为真实的光流可视化图，第二行为现有的光流估计网络估计的光流的可视化图，第三行为本发明提供的光流估计方法估计的光流的可视化图。从图4可以看出，本发明提供的光流估计方法估计出的光流EPE值明显低于现有方法，即更精确，从图5可以看出，本发明提供的光流估计方法估计出的光流的可视化图的颜色与真实的光流的可视化图颜色更接近，即更接近真实值。
综上所述，本实施例提供一种光流估计方法，待估计光流的图像中用于输入至光流估计网络中的每一层特征层，在输入至光流估计网络进行光流估计之前，都利用其他的特征层进行处理，使得输入至光流估计网络中的每一层特征能够融合其他层的特征，光流估计网络能够有效利用更丰富的特征进行光流估计，提升光流估计的精度。
应该理解的是，虽然本发明说明书附图中给出的的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
实施例二
基于上述实施例，本发明还提供了一种终端，其原理框图可以如图6所示。该终端包括通过***总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该终端的处理器用于提供计算和控制能力。该终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种光流估计方法。该终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该终端的温度传感器是预先在终端内部设置，用于检测内部设备的当前运行温度。
本领域技术人员可以理解，图6中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：
获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征，其中，所述第一特征包括N层特征层，N为大于等于2的正整数；
获取所述N层特征层中第一层特征层之外的M层特征层，根据所述M层特征层中其他的特征层对所述M层特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征，其中，所述第二特征包括M层特征层，M＝N-1，M为正整数；
将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
其中，所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
根据所述目标图像提取出所述N层特征层中的第一层特征层；
按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i+1层，其中i的数值依次取1、2、…、N-1，从而获取所述目标图像的所述N层特征层。
其中，所述M层特征层中各层的分辨率从第1层至第M层依次降低，所述根据所述M个特征层中其他的特征层对所述M个特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征包括：
对于所述M层特征中的第m层特征层，根据所述M层特征层中的第1层特征层和/或第m+1特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤M。
其中，所述根据所述M层特征层中的第1层特征层和/或第m+1特征层对所述第m层特征层进行处理包括：
根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
其中，所述第一中间特征层为对第m+1层特征层进行上采样后获取的与所述第m层特征层的分辨率一致的特征层，所述第二中间特征层为对所述M层特征层中的第1层特征层进行下采样后获取的与所述第m层特征层的分辨率一致的特征层。
其中，所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
当1＜m＜M时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；
当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；
当m＝M时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层。
其中，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
其中，所述根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层包括：
对所述第一中间特征层进行卷积，生成第一卷积特征层；
将所述第一卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
其中，所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层包括：
对所述第二中间特征层进行卷积，生成第二卷积特征层；
将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第M层特征层。
实施例三
本发明还提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述实施例所述的光流估计方法的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (7)
1.一种光流估计方法，其特征在于，所述光流估计方法包括：
获取待估计光流的目标图像对，对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征，其中，所述第一特征包括N层特征层，N为大于等于2的正整数；
获取所述N层特征层中第一层特征层之外的M层特征层，根据所述M层特征层中其他的特征层对所述M层特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征，其中，所述第二特征包括M层特征层，M＝N-1，M为正整数；
其中，所述M层特征层中各层的分辨率从第1层至第M层依次降低；所述根据所述M个特征层中其他的特征层对所述M个特征层中的各个特征层进行处理，获取所述目标图像对应的第二特征包括：对于所述M层特征中的第m层特征层，根据所述M层特征层中的第1层特征层和/或第m+1特征层对所述第m层特征层进行处理，获取所述目标图像对应的第二特征，其中，m为正整数，1≤m≤M；
所述根据所述M层特征层中的第1层特征层和/或第m+1层特征层对所述第m层特征层进行处理包括：根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；其中，所述第一中间特征层为对第m+1层特征层进行上采样后获取的与所述第m层特征层的分辨率一致的特征层，所述第二中间特征层为对所述M层特征层中的第1层特征层进行下采样后获取的与所述第m层特征层的分辨率一致的特征层；
所述根据第一中间特征层和/或第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：当1＜m＜M时，根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层；当m＝1时，根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层；当n＝M时，根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层；
将所述目标图像对中所述各个目标图像分别对应的第二特征输入至预设光流估计网络，获取所述预设光流估计网络输出的光流。
2.根据权利要求1所述的光流估计方法，其特征在于，所述对所述目标图像对中的各个目标图像进行特征提取，获取所述各个目标图像分别对应的第一特征包括：
根据所述目标图像提取出所述N层特征层中的第一层特征层；
按照预设的分辨率缩放比例对第i层特征层进行卷积池化，得到第i+1层，其中i的数值依次取1、2、…、N-1，从而获取所述目标图像的所述N层特征层。
3.根据权利要求1所述的光流估计方法，其特征在于，所述根据所述第一中间特征层和所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第m层特征层包括：
分别对所述第一中间特征层和所述第二中间特征层进行卷积，生成第一卷积特征层和第二卷积特征层；
将所述第一卷积特征层和所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第m层特征层。
4.根据权利要求1所述的光流估计方法，其特征在于，所述根据所述第一中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第1层特征层包括：
对所述第一中间特征层进行卷积，生成第一卷积特征层；
将所述第一卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第1层特征层。
5.根据权利要求1所述的光流估计方法，其特征在于，所述根据所述第二中间特征层对所述第m层特征层进行特征融合处理，获取所述第二特征中的第M层特征层包括：
对所述第二中间特征层进行卷积，生成第二卷积特征层；
将所述第二卷积特征层与所述第m层特征层相加，生成第三中间特征层；
对所述第三中间特征层进行卷积，生成所述第二特征中的第M层特征层。
6.一种终端，其特征在于，所述终端包括：处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令，所述处理器适于调用所述存储介质中的指令，以执行实现上述权利要求1-5任一项所述的光流估计方法的步骤。
7.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-5任一项所述的光流估计方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010396695.5A CN113658230B (zh) | 2020-05-12 | 2020-05-12 | 一种光流估计方法、终端以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010396695.5A CN113658230B (zh) | 2020-05-12 | 2020-05-12 | 一种光流估计方法、终端以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658230A CN113658230A (zh) | 2021-11-16 |
| CN113658230B true CN113658230B (zh) | 2024-05-28 |
Family
ID=78488670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010396695.5A Active CN113658230B (zh) | 2020-05-12 | 2020-05-12 | 一种光流估计方法、终端以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658230B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107155110A (zh) * | 2017-06-14 | 2017-09-12 | 福建帝视信息科技有限公司 | 一种基于超分辨率技术的图片压缩方法 |
| CN107679462A (zh) * | 2017-09-13 | 2018-02-09 | 哈尔滨工业大学深圳研究生院 | 一种基于小波的深度多特征融合分类方法 |
| CN108764063A (zh) * | 2018-05-07 | 2018-11-06 | 华中科技大学 | 一种基于特征金字塔的遥感影像时敏目标识别***及方法 |
| CN109816671A (zh) * | 2019-01-31 | 2019-05-28 | 深兰科技（上海）有限公司 | 一种目标检测方法、装置及存储介质 |
| CN109903315A (zh) * | 2019-03-08 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 用于光流预测的方法、装置、设备以及可读存储介质 |
| CN110175613A (zh) * | 2019-06-03 | 2019-08-27 | 常熟理工学院 | 基于多尺度特征和编解码器模型的街景图像语义分割方法 |
| CN110176023A (zh) * | 2019-04-29 | 2019-08-27 | 同济大学 | 一种基于金字塔结构的光流估计方法 |
| CN110324664A (zh) * | 2019-07-11 | 2019-10-11 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760805B2 (en) * | 2014-10-10 | 2017-09-12 | The Penn State Research Foundation | Identifying visual storm signatures from satellite images |
| WO2019000396A1 (zh) * | 2017-06-30 | 2019-01-03 | 深圳市大疆创新科技有限公司 | 光流跟踪装置和方法 |
-
2020
- 2020-05-12 CN CN202010396695.5A patent/CN113658230B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107155110A (zh) * | 2017-06-14 | 2017-09-12 | 福建帝视信息科技有限公司 | 一种基于超分辨率技术的图片压缩方法 |
| CN107679462A (zh) * | 2017-09-13 | 2018-02-09 | 哈尔滨工业大学深圳研究生院 | 一种基于小波的深度多特征融合分类方法 |
| CN108764063A (zh) * | 2018-05-07 | 2018-11-06 | 华中科技大学 | 一种基于特征金字塔的遥感影像时敏目标识别***及方法 |
| CN109816671A (zh) * | 2019-01-31 | 2019-05-28 | 深兰科技（上海）有限公司 | 一种目标检测方法、装置及存储介质 |
| CN109903315A (zh) * | 2019-03-08 | 2019-06-18 | 腾讯科技（深圳）有限公司 | 用于光流预测的方法、装置、设备以及可读存储介质 |
| CN110176023A (zh) * | 2019-04-29 | 2019-08-27 | 同济大学 | 一种基于金字塔结构的光流估计方法 |
| CN110175613A (zh) * | 2019-06-03 | 2019-08-27 | 常熟理工学院 | 基于多尺度特征和编解码器模型的街景图像语义分割方法 |
| CN110324664A (zh) * | 2019-07-11 | 2019-10-11 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于金字塔型残差神经网络的红外图像深度估计;顾婷婷;赵海涛;孙韶媛;;红外技术(第05期);全文 * |
| 应用色彩纹理特征的人脸防欺骗算法;包晓安, 等;计算机科学;第46卷(第10期);全文 * |
| 结合上下文特征与CNN多层特征融合的语义分割;罗会兰;张云;;中国图象图形学报(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658230A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028153B (zh) | 图像处理和神经网络训练方法、装置及计算机设备 | |
| CN112200722A (zh) | 图像超分辨重构模型的生成方法、重构方法及电子设备 | |
| CN111914654B (zh) | 一种文本版面分析方法、装置、设备和介质 | |
| CN113435594B (zh) | 安防检测模型训练方法、装置、设备及存储介质 | |
| CN113421276B (zh) | 一种图像处理方法、装置及存储介质 | |
| CN113012169B (zh) | 一种基于非局部注意力机制的全自动抠图方法 | |
| CN111191533A (zh) | 行人重识别的处理方法、装置、计算机设备和存储介质 | |
| CN112001399B (zh) | 基于局部特征显著化的图像场景分类方法和装置 | |
| CN112597918A (zh) | 文本检测方法及装置、电子设备、存储介质 | |
| CN112287947A (zh) | 一种区域建议框检测方法、终端及存储介质 | |
| CN112232397A (zh) | 图像分类模型的知识蒸馏方法、装置和计算机设备 | |
| CN113658230B (zh) | 一种光流估计方法、终端以及存储介质 | |
| CN116311120A (zh) | 视频标注模型训练方法、视频标注方法、装置以及设备 | |
| CN114549849A (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| CN115620017A (zh) | 图像的特征提取方法、装置、设备及存储介质 | |
| CN115731263A (zh) | 融合移位窗口注意力的光流计算方法、***、设备及介质 | |
| CN114913436A (zh) | 基于多尺度注意力机制的地物分类方法、装置、电子设备及介质 | |
| CN114064972A (zh) | 视频类型确定方法及相关装置 | |
| CN113256662A (zh) | 病理切片图像分割方法、装置、计算机设备和存储介质 | |
| CN116659520B (zh) | 基于仿生偏振视觉增强的匹配定位方法、装置和设备 | |
| CN113283453B (zh) | 目标检测方法、装置、计算机设备和存储介质 | |
| CN116452813B (zh) | 基于空间和语义信息的图像处理方法、***、设备和介质 | |
| CN117372261B (zh) | 基于卷积神经网络的分辨率重建方法、装置、设备及介质 | |
| CN112115860B (zh) | 人脸关键点定位方法、装置、计算机设备和存储介质 | |
| CN113239878B (zh) | 图像分类方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |