CN110647934B - 视频超分辨率重建模型的训练方法、装置和电子设备 - Google Patents
视频超分辨率重建模型的训练方法、装置和电子设备 Download PDFInfo
- Publication number
- CN110647934B CN110647934B CN201910896838.6A CN201910896838A CN110647934B CN 110647934 B CN110647934 B CN 110647934B CN 201910896838 A CN201910896838 A CN 201910896838A CN 110647934 B CN110647934 B CN 110647934B
- Authority
- CN
- China
- Prior art keywords
- video
- resolution
- branch
- super
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 title claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 118
- 238000013528 artificial neural network Methods 0.000 claims abstract description 103
- 238000000605 extraction Methods 0.000 claims abstract description 64
- 238000012545 processing Methods 0.000 claims abstract description 14
- 230000015654 memory Effects 0.000 claims description 21
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 238000005070 sampling Methods 0.000 description 11
- 238000012544 monitoring process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了视频超分辨率重建模型的训练方法、装置和电子设备，涉及计算机视觉技术领域。具体实现方案为：获取多个样本数据，每一样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，第一分辨率小于第二分辨率；建立视频超分辨率重建模型；视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；采用多个样本数据对视频超分辨率重建模型进行训练。有利于保留视频中的时域信息，处理视频中的动态模糊，大大提高超分辨率的视觉效果。
Description
技术领域
本申请涉及一种计算机技术领域，尤其涉及一种计算机视觉领域。
背景技术
现有的超分辨率重建技术主要专注于在图像上的应用。虽然图像超分辨率技术可以直接应用在视频的每一帧上，然而对视频逐帧进行超分辨率重建的效果一般，并且无法解决视频中的动态模糊现象，用户视觉体验感差。
发明内容
本申请实施例提供一种视频超分辨率重建模型的训练方法、装置和电子设备，以解决现有技术中的一个或多个技术问题。
第一方面，本申请实施例提供一种视频超分辨率重建模型的训练方法，包括：
获取多个样本数据，每一样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，第一分辨率小于第二分辨率；
建立视频超分辨率重建模型；视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频；
采用多个样本数据对视频超分辨率重建模型进行训练。
上述实施例结合多尺度特征融合技术，训练一个神经网络，对输入视频进行超分辨率处理，输出对应的超分辨率后的视频片段，提高超分辨率的视觉效果。
在一种实施方式中，每一分支的特征融合模块包括至少两个特征融合模块；
特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征，包括：
第一个特征融合模块被设置用于根据所在分支的特征提取模块输出的特征和相邻低尺度分支的特征提取模块输出的特征生成与所在分支的尺度对应的特征；
非第一个特征融合模块被设置用于根据当前分支的上一特征融合模块输出的特征和相邻低尺度分支的上一特征融合模块输出的特征生成与所在分支的尺度对应的特征；
将最后一个特征融合模块输出的特征作为所在分支的输出特征。
上述实施方式设置多层的特征融合模块，实现特征的多次融合，提高超分辨率的视觉效果。
在一种实施方式中，对于神经网络分支的尺度小于输入的视频的尺度的特征提取模块，特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征包括：特征提取模块对输入的视频进行下采样处理，得到与所在分支的尺度对应的下采样视频；对下采样视频进行特征提取，得到与所在分支的尺度对应的特征。
上述实施方式中，神经网络分支可以实现对输入的视频进行下采样处理，以进行低尺度的特征提取。
在一种实施方式中，采用多个样本数据对视频超分辨率重建模型进行训练，包括：
采用第一分辨率的视频样本作为视频超分辨率重建模型的输入；
利用第二分辨率的视频样本作为各条神经网络分支的监督信号，以及利用第二分辨率的视频样本作为特征融合总模块的监督信号，对视频超分辨率重建模型进行训练。
上述实施方式中，不仅对模型的输出进行监督，还对各条神经网络分支进行监督，大大提高模型的训练效果，从而提高视频超分辨率重建的效果。
在一种实施方式中，利用第二分辨率的视频样本作为各条神经网络分支的监督信号包括：对于每一神经网络分支，根据神经网络分支的输出特征生成第二分辨率的分支待监督视频，利用第二分辨率的视频样本监督第二分辨率的分支待监督视频。
第二方面，本申请实施例提供一种视频超分辨率的重建方法，其特征在于，包括：
接收待超分辨率的原始视频；
将原始视频输入视频超分辨率重建模型；
获取视频超分辨率重建模型输出的视频，作为超分辨率视频；
视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频。
上述实施例采用了多尺度特征融合的视频超分辨率重建模型对视频进行超分辨率重建，可以处理视频中的动态模糊，提高超分辨率的视觉效果。
第三方面，本申请实施例提供一种视频超分辨率重建模型的训练装置，包括：
样本数据获取单元，用于获取多个样本数据，每一样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，第一分辨率小于第二分辨率；
模型建立单元，用于建立视频超分辨率重建模型；视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频；
训练单元，用于采用多个样本数据对视频超分辨率重建模型进行训练。
在一种实施方式中，训练单元，包括：
输入子单元，用于采用第一分辨率的视频样本作为视频超分辨率重建模型的输入；
监督子单元，用于利用第二分辨率的视频样本作为各条神经网络分支的监督信号，以及利用第二分辨率的视频样本作为特征融合总模块的监督信号，对视频超分辨率重建模型进行训练。
第四方面，本申请实施例提供一种视频超分辨率的重建装置，包括：
原始视频接收单元，用于接收待超分辨率的原始视频；
原始视频输入单元，用于将原始视频输入视频超分辨率重建模型；
超分辨率视频获取单元，用于获取视频超分辨率重建模型输出的视频，作为超分辨率视频；
视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频。
第五方面，本申请实施例提供了一种电子设备，电子设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，电子设备的结构中包括处理器和存储器，存储器用于存储支持电子设备执行上述视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的程序，处理器被配置为用于执行存储器中存储的程序。电子设备还可以包括通信接口，用于与其他设备或通信网络通信。
第六方面，本申请实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，用于存储电子设备所用的计算机软件指令，其包括用于执行上述视频超分辨率重建模型的训练方法或视频超分辨率的重建方法所涉及的程序。
上述申请中的一个实施例具有如下优点或有益效果：提高超分辨率的视觉效果。根据本申请实施例的技术方案，通过结合多尺度特征融合技术所得到神经网络处理视频片段，有利于保留视频中的时域信息，处理视频中的动态模糊，大大提高超分辨率的视觉效果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的视频超分辨率重建模型的训练方法的流程示意图；
图2是根据本申请第一实施例的视频超分辨率重建模型的训练方法的视频超分辨率重建模型的一种示例图；
图3是根据本申请第一实施例的视频超分辨率重建模型的训练方法的视频超分辨率重建模型的训练时的结构示例图；
图4是根据本申请第二实施例的视频超分辨率的重建方法的流程示意图；
图5是根据本申请第三实施例的视频超分辨率重建模型的训练装置的结构框图；
图6是根据本申请第三实施例的视频超分辨率重建模型的训练装置的训练单元53的结构框图；
图7是根据本申请第四实施例的视频超分辨率的重建装置的结构框图；
图8是用来实现本申请实施例的视频超分辨率重建模型的训练方法的视频超分辨率的重建方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示出本申请第一实施例提供一种视频超分辨率重建模型的训练方法的流程示意图，包括：
S11、获取多个样本数据，每一样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，第一分辨率小于第二分辨率；
S12、建立视频超分辨率重建模型；视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频；
S13、采用多个样本数据对视频超分辨率重建模型进行训练。
需要说明的是，作为所对应的尺度最低的神经网络分支，由于不存在相邻低尺度分支，则该尺度最低的神经网络分支的特征融合模块只接收到所在分支的特征。
视频的分辨率是用于度量图像内数据量多少的一个参数，通常表示成ppi(每英寸像素Pixel per inch)。通常，形容视频的320X180是指它在横向和纵向上的有效像素，严格意义上的分辨率是指单位长度内的有效像素值ppi。
超分辨率重建(Super-Resolution)即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像的过程。可以简称为超分辨率。
上述特征是有尺度的。对于同一对象，在不同观测尺度下，所观测到的特征可能是不同的。本申请实施例通过融合不同尺度下对应提取的特征，以生成最终的超分辨率视频，减少信息的丢失。在计算量不变的情况下，有利于提高超分辨率的视觉效果。
在一种实施方式中，特征提取模块所输出的特征和特征融合模块所输出的特征，可以包括：像素点的时间信息和空间信息。
在一种实施方式中，特征提取模块所输出的特征和特征融合模块出的特征，可以是以张量的形式输出。张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数。
在一种实施方式中，每一分支的特征融合模块包括至少两个特征融合模块；
特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征，包括：
第一个特征融合模块被设置用于根据所在分支的特征提取模块输出的特征和相邻低尺度分支的特征提取模块输出的特征生成与所在分支的尺度对应的特征。
非第一个特征融合模块被设置用于根据当前分支的上一特征融合模块输出的特征和相邻低尺度分支的上一特征融合模块输出的特征生成与所在分支的尺度对应的特征；
将最后一个特征融合模块输出的特征作为所在分支的输出特征。
上述对于每一神经网络分支的特征融合模块的排序，如第一个、非第一个和最后一个，为依据特征数据传输的方向进行依次排序，第一个特征融合模块连接特征提取模块，最后一个特征融合模块的输出作为所在分支的输出。
在一种实施方式中，对于神经网络分支的尺度小于输入的视频的尺度的特征提取模块，特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征包括：特征提取模块对输入的视频进行下采样处理，得到与所在分支的尺度对应的下采样视频；对下采样视频进行特征提取，得到与所在分支的尺度对应的特征。
对应的，一种示例，对于神经网络分支的尺度小于输入的视频的尺度的特征提取模块，可以将特征提取模块设计为“视频下采样子模块+特征提取子模块”的形式。即，视频下采样子模块被设置用于对输入的视频进行下采样处理，得到与所在分支的尺度对应的下采样视频；而特征提取子模块被设置用于根据下采样视频进行特征提取，得到与所在分支的尺度对应的特征。
在一种实施方式中，在多条神经网络分支中，有一条神经网络分支的尺度等于输入的视频的尺度。一方面在多尺度特征融合中，包含了基于输入的视频的尺度提取的特征，最终得到的超分辨率视频视觉效果较佳；另一方面，在该分支无需对输入的视频进行下采样处理，减少计算量，提高效率。
在一种实施方式中，特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频，包括：特征融合总模块被设置用于根据多条神经网络分支的输出特征，利用多个尺度的特征生成预设尺度特征；根据预设尺度特征，生成超分辨率视频。预设尺度大于多条神经网络分支所对应的尺度。该超分辨率视频的高度和宽度相对于视频超分辨率重建模型所输入的视频的高度和宽度扩大了预设倍数。高度表示垂直方向像素个数，宽度表示水平方向像素个数。
若以第二分辨率的视频样本作为监督信号，则上述该超分辨率视频的高度和宽度相对于视频超分辨率重建模型所输入的视频的高度和宽度扩大了预设倍数，使该超分辨率视频的高度和宽度第二分辨率的视频样本的高度和宽度一致。
在一种实施方式中，步骤S13，包括：采用第一分辨率的视频样本作为视频超分辨率重建模型的输入；利用第二分辨率的视频样本作为各条神经网络分支的监督信号，以及利用第二分辨率的视频样本作为特征融合总模块的监督信号，对视频超分辨率重建模型进行训练。第二分辨率的视频样本也可以理解为视频超分辨率重建模型的期望输出值。
在一种实施方式中，利用第二分辨率的视频样本作为各条神经网络分支的监督信号包括：对于每一神经网络分支，根据神经网络分支的输出特征生成第二分辨率的分支待监督视频，利用第二分辨率的视频样本监督第二分辨率的分支待监督视频。
一种示例，参见图2和图3的示例，本申请实施例所提供的视频超分辨率重建模型包括特征融合总模块和三条神经网络分支。
第一神经网络分支对应第一尺度，第二神经网络分支对应第二尺度，第三神经网络分支对应第三尺度，第一尺度>第二尺度>第三尺度，第一尺度与输入的视频的尺度一样。
第一神经网络分支包括第一特征提取模块A1、特征融合模块B11和特征融合模块B12；第二神经网络分支包括第二特征提取模块A2、特征融合模块B21和特征融合模块B22；第三神经网络分支包括第三特征提取模块A3、特征融合模块B31和特征融合模块B32。
对于第一神经网络分支，特征融合模块B11接收第一特征提取模块A1输出的特征和第二特征提取模块A2输出的特征，生成第一尺度的特征。特征融合模块B12接收特征融合模块B11输出的特征和特征融合模块B21输出的特征，生成第一尺度的特征。
对于第二神经网络分支，特征融合模块B21接收第二特征提取模块A2输出的特征和第三特征提取模块A3输出的特征，并生成第二尺度的特征。特征融合模块B22接收特征融合模块B21输出的特征和特征融合模块B31输出的特征，并生成第二尺度的特征。
对于第三神经网络分支，特征融合模块B31接收第三特征提取模块A3输出的特征，并生成第三尺度的特征。特征融合模块B32接收特征融合模块B31输出的特征，并生成第三尺度的特征。
需要说明的是，由于第二神经网络分支和第三神经网络分支的尺度均小于输入的视频的尺度，可以将第二特征提取模块和第三特征提取模块设计为“视频下采样子模块+特征提取子模块”的形式。即，视频下采样子模块被设置用于对输入的视频进行下采样处理，得到与所在分支的尺度对应的下采样视频；而特征提取子模块被设置用于根据下采样视频进行特征提取，得到与所在分支的尺度对应的特征。当然，在其它实施方式中，也可以将特征提取模块设计为不实现下采样处理的功能，而在第二神经网络分支和第三神经网络分支增加一个视频下采样模块去单独实现下采样功能。
一种示例，可以设置多个分支监督模块，每一分支监督模块对应连接一神经网络分支的输出，即连接神经网络分支的最后一个特征融合模块。分支监督模块用于利用第二分辨率的视频样本作为各条神经网络分支的监督信号，实现对各条神经网络分支进行监督。
一种示例，还可以设置总监督模块，总监督模块用于利用第二分辨率的视频样本作为特征融合总模块的监督信号，对特征融合总模块的输出进行监督，即对视频超分辨率重建模型的输出进行监督。
上述图2和图3给出的神经网络分支的条数和特征融合模块的个数仅为一种示例，本领域人员可以根据需求调整神经网络分支的条数和特征融合模块的个数。
图4示出本申请第二实施例提供一种视频超分辨率的重建方法的流程示意图，参见图4，包括：
S41、接收待超分辨率的原始视频；
S42、将原始视频输入视频超分辨率重建模型；
S43、获取视频超分辨率重建模型输出的视频，作为超分辨率视频；
视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频。
本实施例的视频超分辨率重建模型的具体内容可以对应参照第一实施例的视频超分辨率重建模型的训练方法的说明，此处不再赘述。
图5示出本申请实施例提供一种视频超分辨率重建模型的训练装置5的结构框图。参见图5，包括：
样本数据获取单元51，用于获取多个样本数据，每一样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，第一分辨率小于第二分辨率；
模型建立单元52，用于建立视频超分辨率重建模型；视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频；
训练单元53，用于采用多个样本数据对视频超分辨率重建模型进行训练。
在一种实施方式中，参见图6，训练单元53，包括：
输入子单元61，用于采用第一分辨率的视频样本作为视频超分辨率重建模型的输入；
监督子单元62，用于利用第二分辨率的视频样本作为各条神经网络分支的监督信号，以及利用第二分辨率的视频样本作为特征融合总模块的监督信号，对视频超分辨率重建模型进行训练。
图7示出本申请实施例提供一种视频超分辨率的重建装置7的结构框图。参见图7，包括：
原始视频接收单元71，用于接收待超分辨率的原始视频；
原始视频输入单元72，用于将原始视频输入视频超分辨率重建模型；
超分辨率视频获取单元73，用于获取视频超分辨率重建模型输出的视频，作为超分辨率视频；
视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一神经网络分支对应不同的尺度，每一神经网络分支均包括特征提取模块和特征融合模块；特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将生成的特征作为所在分支的输出特征；特征融合总模块被设置用于根据多条神经网络分支的输出特征生成超分辨率视频。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图8所示，是根据本申请实施例的视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器***)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的视频超分辨率重建模型的训练方法或视频超分辨率的重建方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的视频超分辨率重建模型的训练方法或视频超分辨率的重建方法对应的程序指令/模块(例如，附图5所示的样本数据获取单51、模型建立单元52和训练单元53)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的视频超分辨率重建模型的训练方法或视频超分辨率的重建方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至实现视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与视频超分辨率重建模型的训练方法或视频超分辨率的重建方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LiquidCrystal Display，LCD)、发光二极管(Light Emitting Diode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network.WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过结合多尺度特征融合技术所得到神经网络，对输入视频进行超分辨率处理，得到超分辨率后的视频片段，大大提高超分辨率的视觉效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (11)
1.一种视频超分辨率重建模型的训练方法，其特征在于，包括：
获取多个样本数据，每一所述样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，所述第一分辨率小于所述第二分辨率；
建立视频超分辨率重建模型；所述视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一所述神经网络分支对应不同的尺度，每一所述神经网络分支均包括特征提取模块和特征融合模块；所述特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；所述特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将所述生成的特征作为所在分支的输出特征；所述特征融合总模块被设置用于根据所述至少两条神经网络分支的输出特征生成超分辨率视频；
采用所述多个样本数据对所述视频超分辨率重建模型进行训练。
2.根据权利要求1所述的方法，其特征在于，每一所述分支的所述特征融合模块包括至少两个特征融合模块；
所述特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将所述生成的特征作为所在分支的输出特征，包括：
第一个所述特征融合模块被设置用于根据所在分支的所述特征提取模块输出的特征和相邻低尺度分支的所述特征提取模块输出的特征生成与所在分支的尺度对应的特征；
非第一个所述特征融合模块被设置用于根据当前分支的上一所述特征融合模块输出的特征和相邻低尺度分支的上一所述特征融合模块输出的特征生成与所在分支的尺度对应的特征；
将最后一个所述特征融合模块输出的特征作为所在分支的输出特征。
3.根据权利要求1所述的方法，其特征在于，对于所述神经网络分支的尺度小于所述输入的视频的尺度的特征提取模块，所述特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征包括：所述特征提取模块被设置用于对所述输入的视频进行下采样处理，得到与所在分支的尺度对应的下采样视频；对所述下采样视频进行特征提取，得到与所在分支的尺度对应的特征。
4.根据权利要求1所述的方法，其特征在于，所述采用所述多个样本数据对所述视频超分辨率重建模型进行训练，包括：
采用所述第一分辨率的视频样本作为所述视频超分辨率重建模型的输入；
利用所述第二分辨率的视频样本作为各条所述神经网络分支的监督信号，以及利用所述第二分辨率的视频样本作为所述特征融合总模块的监督信号，对所述视频超分辨率重建模型进行训练。
5.根据权利要求4所述的方法，其特征在于，所述利用所述第二分辨率的视频样本作为各条所述神经网络分支的监督信号包括：对于每一所述神经网络分支，根据所述神经网络分支的输出特征生成所述第二分辨率的分支待监督视频，利用所述第二分辨率的视频样本监督所述第二分辨率的分支待监督视频。
6.一种视频超分辨率的重建方法，其特征在于，包括：
接收原始视频；
将所述原始视频输入视频超分辨率重建模型；
获取所述视频超分辨率重建模型输出的视频，作为超分辨率视频；
所述视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一所述神经网络分支对应不同的尺度，每一所述神经网络分支均包括特征提取模块和特征融合模块；所述特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；所述特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将所述生成的特征作为所在分支的输出特征；所述特征融合总模块被设置用于根据所述至少两条神经网络分支的输出特征生成超分辨率视频。
7.一种视频超分辨率重建模型的训练装置，其特征在于，包括：
样本数据获取单元，用于获取多个样本数据，每一所述样本数据包括第一分辨率的视频样本和第二分辨率的视频样本，所述第一分辨率小于所述第二分辨率；
模型建立单元，用于建立视频超分辨率重建模型；所述视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一所述神经网络分支对应不同的尺度，每一所述神经网络分支均包括特征提取模块和特征融合模块；所述特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；所述特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将所述生成的特征作为所在分支的输出特征；所述特征融合总模块被设置用于根据所述至少两条神经网络分支的输出特征生成超分辨率视频；
训练单元，用于采用所述多个样本数据对所述视频超分辨率重建模型进行训练。
8.根据权利要求7所述的装置，其特征在于，所述训练单元，包括：
输入子单元，用于采用所述第一分辨率的视频样本作为所述视频超分辨率重建模型的输入；
监督子单元，用于利用所述第二分辨率的视频样本作为各条所述神经网络分支的监督信号，以及利用所述第二分辨率的视频样本作为所述特征融合总模块的监督信号，对所述视频超分辨率重建模型进行训练。
9.一种视频超分辨率的重建装置，其特征在于，包括：
原始视频接收单元，用于接收原始视频；
原始视频输入单元，用于将所述原始视频输入视频超分辨率重建模型；
超分辨率视频获取单元，用于获取所述视频超分辨率重建模型输出的视频，作为超分辨率视频；
所述视频超分辨率重建模型包括特征融合总模块和至少两条神经网络分支，每一所述神经网络分支对应不同的尺度，每一所述神经网络分支均包括特征提取模块和特征融合模块；所述特征提取模块被设置用于根据输入的视频提取与所在分支的尺度对应的特征；所述特征融合模块被设置用于根据所在分支的特征和相邻低尺度分支的特征生成与所在分支的尺度对应的特征，并将所述生成的特征作为所在分支的输出特征；所述特征融合总模块被设置用于根据所述至少两条神经网络分支的输出特征生成超分辨率视频。
10.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910896838.6A CN110647934B (zh) | 2019-09-20 | 2019-09-20 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910896838.6A CN110647934B (zh) | 2019-09-20 | 2019-09-20 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110647934A CN110647934A (zh) | 2020-01-03 |
| CN110647934B true CN110647934B (zh) | 2022-04-08 |
Family
ID=68992321
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910896838.6A Active CN110647934B (zh) | 2019-09-20 | 2019-09-20 | 视频超分辨率重建模型的训练方法、装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110647934B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111369440B (zh) * | 2020-03-03 | 2024-01-30 | 网易（杭州）网络有限公司 | 模型训练、图像超分辨处理方法、装置、终端及存储介质 |
| CN118041364A (zh) * | 2024-02-26 | 2024-05-14 | 广芯微电子（广州）股份有限公司 | 一种adc超分辨率重建方法、装置及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| CN109255755A (zh) * | 2018-10-24 | 2019-01-22 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
| CN109271960A (zh) * | 2018-10-08 | 2019-01-25 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
| CN109345449A (zh) * | 2018-07-17 | 2019-02-15 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109426786A (zh) * | 2017-08-31 | 2019-03-05 | 爱唯秀股份有限公司 | 人数检测***与人数检测方法 |
| CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
| CN110084745A (zh) * | 2019-03-12 | 2019-08-02 | 天津大学 | 基于并联的稠密卷积神经网络的图像超分辨率重建方法 |
| CN110136066A (zh) * | 2019-05-23 | 2019-08-16 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10147167B2 (en) * | 2015-11-25 | 2018-12-04 | Heptagon Micro Optics Pte. Ltd. | Super-resolution image reconstruction using high-frequency band extraction |
-
2019
- 2019-09-20 CN CN201910896838.6A patent/CN110647934B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991646A (zh) * | 2017-03-28 | 2017-07-28 | 福建帝视信息科技有限公司 | 一种基于密集连接网络的图像超分辨率方法 |
| CN109426786A (zh) * | 2017-08-31 | 2019-03-05 | 爱唯秀股份有限公司 | 人数检测***与人数检测方法 |
| CN108428212A (zh) * | 2018-01-30 | 2018-08-21 | 中山大学 | 一种基于双拉普拉斯金字塔卷积神经网络的图像放大方法 |
| CN109345449A (zh) * | 2018-07-17 | 2019-02-15 | 西安交通大学 | 一种基于融合网络的图像超分辨率及去非均匀模糊方法 |
| CN109271960A (zh) * | 2018-10-08 | 2019-01-25 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
| CN109255755A (zh) * | 2018-10-24 | 2019-01-22 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
| CN109685717A (zh) * | 2018-12-14 | 2019-04-26 | 厦门理工学院 | 图像超分辨率重建方法、装置及电子设备 |
| CN110084745A (zh) * | 2019-03-12 | 2019-08-02 | 天津大学 | 基于并联的稠密卷积神经网络的图像超分辨率重建方法 |
| CN110136066A (zh) * | 2019-05-23 | 2019-08-16 | 北京百度网讯科技有限公司 | 面向视频的超分辨率方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Lightweight Image Super-Resolution with Adaptive Weighted Learning Network;Chaofeng Wang等;《arXiv》;20190430;第1-9页 * |
| 基于多尺度递归网络的图像超分辨率重建;吴磊等;《光学学报》;20190630;第1-8页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110647934A (zh) | 2020-01-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111182254B (zh) | 一种视频处理方法、装置、设备及存储介质 | |
| CN111709878B (zh) | 人脸超分辨率实现方法、装置、电子设备及存储介质 | |
| CN111654723B (zh) | 视频质量提升方法、装置、电子设备和存储介质 | |
| CN114549935B (zh) | 信息生成方法和装置 | |
| CN112584077B (zh) | 视频的插帧方法、装置及电子设备 | |
| CN111967538A (zh) | 应用于小目标检测的特征融合方法、装置、设备以及存储介质 | |
| CN111192215B (zh) | 图像处理方法、装置、设备和可读存储介质 | |
| CN111327926A (zh) | 视频插帧方法、装置、电子设备及存储介质 | |
| CN111753961A (zh) | 模型训练方法和装置、预测方法和装置 | |
| CN112541482A (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
| CN111754407B (zh) | 图像展示的布局方法、装置、设备以及存储介质 | |
| EP3819820B1 (en) | Method and apparatus for recognizing key identifier in video, device and storage medium | |
| CN110647934B (zh) | 视频超分辨率重建模型的训练方法、装置和电子设备 | |
| CN111539438B (zh) | 文本内容的识别方法、装置及电子设备 | |
| CN111524166A (zh) | 视频帧的处理方法和装置 | |
| CN110648294A (zh) | 图像修复方法、装置及电子设备 | |
| CN112560875A (zh) | 深度信息补全模型训练方法、装置、设备以及存储介质 | |
| CN110648293B (zh) | 图像修复方法、装置及电子设备 | |
| CN111832701A (zh) | 模型的蒸馏方法、装置、电子设备及存储介质 | |
| US20220103782A1 (en) | Method for video frame interpolation, and electronic device | |
| CN113014936A (zh) | 视频插帧方法、装置、设备以及存储介质 | |
| CN110647936B (zh) | 视频超分辨率重建模型的训练方法、装置和电子设备 | |
| CN111601013A (zh) | 用于处理视频帧的方法和装置 | |
| CN112508964B (zh) | 图像分割方法、装置、电子设备和存储介质 | |
| CN110798681B (zh) | 成像设备的监测方法、装置和计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |