CN109525859A - 模型训练、图像发送、图像处理方法及相关装置设备 - Google Patents
模型训练、图像发送、图像处理方法及相关装置设备 Download PDFInfo
- Publication number
- CN109525859A CN109525859A CN201811186315.4A CN201811186315A CN109525859A CN 109525859 A CN109525859 A CN 109525859A CN 201811186315 A CN201811186315 A CN 201811186315A CN 109525859 A CN109525859 A CN 109525859A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- model
- training
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 142
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 230000005540 biological transmission Effects 0.000 title claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 73
- 238000000034 method Methods 0.000 claims abstract description 63
- 238000003860 storage Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 22
- 238000012545 processing Methods 0.000 claims description 16
- 238000007634 remodeling Methods 0.000 claims description 8
- 238000011084 recovery Methods 0.000 claims description 7
- 238000003475 lamination Methods 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 20
- 238000013528 artificial neural network Methods 0.000 description 15
- 238000005516 engineering process Methods 0.000 description 7
- 210000004218 nerve net Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000002716 delivery method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模型训练方法，包括：将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；将输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；将第一损失值与第二损失值进行加权求和，得到第三损失值；第一损失值为第二分辨率的输出图像与第二分辨率的训练图像的损失值，第二损失值为超分辨率图像与第一分辨率的训练图像的损失值；根据第三损失值调整第一卷积神经网络和第二卷积神经网络的参数。本发明还公开了一种图像发送方法、图像处理方法、相关装置、设备及计算机可读存储介质，解决了传统降采样模型会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节的技术问题。
Description
技术领域
本发明涉及计算机领域，尤其涉及一种模型训练方法、一种图像发送方法、一种图像处理方法、相关装置、设备和计算机可读存储介质。
背景技术
在数位信号处理领域中，降采样，又作减采集，是一种多速率数字信号处理的技术或是降低信号采样率的过程，通常用于降低数据传输速率或者数据大小。例如，图像降采样具体可以指通过降采样算法或降采样模型，降低图像的分辨率，那么向图像接收端发送降采样得到的低分辨率图像，可以节省带宽，然后在图像接收端接收到该低分辨率图像后，可以采用超分辨率算法或超分辨率模型来提高图像的分辨率，也就是说恢复该低分辨率图像的细节，实现了在有限带宽下得到更高的画质，提高了用户体验。
现有技术中，通过传统降采样模型把高分辨率图像的分辨率降低，降采样得到低分辨率图像之后，使用高分辨率图片与低分辨率图片来训练超分辨率模型。然而，传统降采样模型没有进行针对性的训练和优化，导致会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节，超分辨率模型处理后的图像画质有所下降。
发明内容
本发明实施例提供了一种模型训练方法、一种图像发送方法、一种图像处理方法、一种模型训练装置、一种图像发送装置、一种图像处理装置、一种模型训练设备、一种图像发送设备、一种图像处理设备以及一种计算机可读存储介质，以解决传统降采样模型会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节，超分辨率模型处理后的图像画质有所下降的技术问题。
为了解决上述技术问题，本发明实施例一方面公开了一种模型训练方法，包括：
将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；所述第二分辨率低于所述第一分辨率；
将所述第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；
将第一损失值与第二损失值进行加权求和，得到第三损失值；所述第一损失值为所述第二分辨率的输出图像与第二分辨率的训练图像的损失值，所述第二损失值为所述超分辨率图像与所述第一分辨率的训练图像的损失值；
根据所述第三损失值调整所述第一卷积神经网络和所述第二卷积神经网络的参数。
本发明实施例另一方面公开了一种图像发送方法，包括：
将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；
将所述第二分辨率的待发送图像进行发送；
其中，所述图像降采样模型为通过上述模型训练方法中训练完成后的第一卷积神经网络。
本发明实施例另一方面公开了一种图像处理方法，包括：
接收第二分辨率的待处理图像；所述待处理图像为通过上述模型训练方法发送的图像；
将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像；
其中，所述图像超分辨率模型为通过上述模型训练方法中训练完成后的第二卷积神经网络。
本发明实施例另一方面公开了一种模型训练装置，包括用于执行上述模型训练方法的单元。
本发明实施例另一方面公开了一种图像发送装置，包括用于执行上述图像发送方法的单元。
本发明实施例另一方面公开了一种图像处理装置，包括用于执行上述图像处理方法的单元。
本发明实施例另一方面公开了一种模型训练设备，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储数据处理代码，所述处理器被配置用于调用所述程序代码，执行上述模型训练方法。
本发明实施例另一方面公开了一种图像发送设备，包括处理器、存储器和通信模块，所述处理器、存储器和通信模块相互连接，其中，所述存储器用于存储数据处理代码，所述处理器被配置用于调用所述程序代码，将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；所述通信模块用于将所述第二分辨率的待发送图像进行发送；其中，所述图像降采样模型为通过上述模型训练方法训练完成后的第一卷积神经网络。
本发明实施例另一方面公开了一种图像处理设备，包括处理器、存储器和通信模块，所述处理器、存储器和通信模块相互连接，其中，所述存储器用于存储数据处理代码，所述通信模块用于接收第二分辨率的待处理图像；所述待处理图像为通过上述图像发送设备发送的图像；所述处理器被配置用于调用所述程序代码，将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像；其中，所述图像超分辨率模型为通过上述模型训练方法训练完成后的第二卷积神经网络。
本发明实施例另一方面公开了一种计算机可读存储介质，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行上述模型训练方法或图像发送方法或图像处理方法。
实施本发明实施例，通过将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；将第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；并把约束第一卷积神经网络的第一损失值与约束第二卷积神经网络的第二损失值以加权求和的方式结合起来，作为最终的第三损失值，从而能够同时训练图像降采样模型和图像超分辨率模型，得到相互配套的图像降采样模型和图像超分辨率模型，通过本发明实施例的图像超分辨率模型恢复出的高分辨率图像的画质更好，能够更好的保留与之配套的图像降采样模型处理前原图像的边缘，因此可以更好的恢复降采样的图像的细节，解决了传统降采样模型会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节，超分辨率模型处理后的图像画质有所下降的技术问题，峰值信噪比(peak signal to noise ratio，PSNR)评价指标也比现有技术的技术方案的更高，相对于现有技术能够取得更佳的图像效果。
附图说明
为了说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本发明实施例模型训练、图像发送以及图像处理方法的***架构的示意图；
图2是本发明实施例提供的模型训练方法的流程示意图；
图3是本发明实施例的神经网络的网络结构示意图；
图4是本发明提供的神经网络的网络结构的另一实施例的示意图；
图5是本发明实施例提供的训练数据集的构造方法的示意图；
图6是本发明实施例提供的图像发送和处理方法的流程示意图；
图7是本发明实施例提供的模型训练装置的结构示意图；
图8是本发明实施例提供的模型训练设备的结构示意图；
图9是本发明实施例提供的图像发送装置的结构示意图；
图10是本发明实施例提供的图像发送设备的结构示意图；
图11是本发明实施例提供的图像处理装置的结构示意图；
图12是本发明实施例提供的图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。
为了更好的理解本发明实施例提供的模型训练方法、图像发送方法、图像处理方法、相关装置、设备和计算机可读存储介质，下面先对本发明实施例模型训练、图像发送以及图像处理方法的***架构进行描述，如图1所示，模型训练设备可以先进行模型训练，该模型训练设备可以为网络设备或终端设备，通过本发明实施例的模型训练方法，完成模型训练后，得到相互配套的图像降采样模型和图像超分辨率模型；然后图像发送端可以利用该图像降采样模型对高分辨率图像进行降采样，得到低分辨率图像后，将该低分辨率图像通过网络发送给图像接收端，该图像接收端通过网络接收到该低分辨率图像后，将该低分辨率图像输入该图像超分辨率模型进行恢复，从而提高该低分辨率图像的分辨率，得到高分辨率图像。
本发明实施例中的图像发送端和图像接收端可以为服务器等网络设备，也可以为台式计算机、膝上型计算机、平板计算机、智能终端等终端设备。该服务器可以为独立服务器，也可以为集群服务器。本发明实施例不做限制。
下面先结合图2示出的本发明实施例提供的模型训练方法的流程示意图，具体说明本发明实施例的如何进行模型训练，可以包括以下步骤：
步骤S200：模型训练设备将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；所述第二分辨率低于所述第一分辨率；
具体地，训练数据集中有用于进行模型训练的训练图像，模型训练设备可以从训练数据集中将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像。本发明实施例中的第一分辨率可以为高分辨率，第二分辨率可以为低分辨率；模型训练设备可以包含该训练数据集，直接从设备内部获取训练数据集中的第一分辨率的训练图像，也可以不包含该训练数据集，从外部设备中获取训练数据集中的第一分辨率的训练图像。
本发明实施例中的第一卷积神经网络可以将第一分辨率的训练图像进行多个卷积层等处理，将该训练图像的分辨率降低，例如降低N倍，从而输出第二分辨率的输出图像。
步骤S202：模型训练设备将所述第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；
具体地，模型训练设备在得到第二分辨率的输出图像后，将该第二分辨率的输出图像输入第二卷积神经网络进行训练，本发明实施例中的第二卷积神经网络可以将第二分辨率的输出图像进行多个卷积层等处理，以恢复该输出图像的细节，从而恢复该输出图像的分辨率，得到超分辨率图像。
步骤S204：模型训练设备将第一损失值与第二损失值进行加权求和，得到第三损失值；
具体的，模型训练设备在将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像之后，可以分析该第二分辨率的输出图像与训练数据集中的第二分辨率的训练图像之间的损失值Loss，即本发明实施例中的第一损失值，也可以称作第一欧氏距离；其中该训练数据集中的第二分辨率的训练图像可以为该第一分辨率的训练图像所对应的图像，也就是说该第二分辨率的训练图像可以为该第一分辨率的训练图像经过传统降采样模型处理后分辨率降低的图像，即该训练数据集中第一分辨率的训练图像对应的第二分辨率的图像，第一分辨率的训练图像与第二分辨率的训练图像是两张内容相同的图像，只是分辨率不同。
其中，本发明实施例中的第一损失值可以用于对本发明实施例的降采样模型进行约束，保证降采样模型得到的低分辨率图像(即第二分辨率的输出图像)与传统降采样模型得到的低分辨率图像没有明显差异。
另外，模型训练设备在将该第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像之后，也可以分析该超分辨率图像与训练数据集中的第一分辨率的训练图像之间的Loss，即本发明实施例中的第二损失值，也可以称作第二欧氏距离。
其中，本发明实施例中的第二损失值可以用于对本发明实施例的超分辨率模型和本发明实施例的降采样模型进行约束，使得降采样模型尽可能的保留细节且超分辨率模型能够尽可能的恢复细节。
那么步骤S204中，模型训练设备将该第一损失值与第二损失值进行加权求和，也就是说将约束本发明实施例降采样模型的第一损失值与约束本发明实施例超分辨率模型的第二损失值结合起来，作为第三损失值，即最终的损失值。因此，本发明实施例的模型训练方法能够同时训练图像降采样模型和图像超分辨率模型，得到相互配套的图像降采样模型和图像超分辨率模型。
步骤S206：模型训练设备根据所述第三损失值调整所述第一卷积神经网络和所述第二卷积神经网络的参数。
具体地，通过该第三损失值来衡量，以使得该第三损失值最小，从而优化训练模型的目标函数的输出值，使得神经网络的参数达到最优，那么第一卷积神经网络和第二卷积神经网络即训练完毕。例如可以通过训练数量来衡量，比如训练数量达到阈值，则表明第一卷积神经网络和第二卷积神经网络的参数调整到位，达到最优；或者还可以通过第三损失值的大小来衡量，比如该第三损失值小于阈值，则表明第一卷积神经网络和第二卷积神经网络的参数调整到位，达到最优。
实施本发明实施例，通过将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；将第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；并把约束第一卷积神经网络的第一损失值与约束第二卷积神经网络的第二损失值以加权求和的方式结合起来，作为最终的第三损失值，从而能够同时训练图像降采样模型和图像超分辨率模型，得到相互配套的图像降采样模型和图像超分辨率模型，通过本发明实施例的图像超分辨率模型恢复出的高分辨率图像的画质更好，能够更好的保留与之配套的图像降采样模型处理前原图像的边缘，因此可以更好的恢复降采样的图像的细节，解决了传统降采样模型会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节，超分辨率模型处理后的图像画质有所下降的技术问题，PSNR评价指标也比现有技术的技术方案的更高，相对于现有技术能够取得更佳的图像效果。
下面结合图3示出的本发明实施例的神经网络的网络结构示意图，举例说明本发明实施例中如何同时训练第一卷积神经网络和第二卷积神经网络，得到相互配套的图像降采样模型和图像超分辨率模型：
图3中的神经网络的网络结构包括两个模型，一个是降采样模型，另一个是超分辨率模型，该降采样模型相当于图2实施例中的第一卷积神经网络，该超分辨率模型相当于图2实施例中的第二卷积神经网络。
首先将训练数据集中的高分辨率图像输入到降采样模型进行训练，图3中的高分辨率图像即为图2实施例中的输入的第一分辨率的训练图像。该降采样模型可以包括m个串联的卷积层，其具体的参数可以如表1所示：
| 层号i | 输出通道数c<sub>i</sub> | 步长L<sub>i</sub> | 卷积核大小s<sub>i</sub> | 填充(padding) |
| 1 | 无限制 | N | 奇偶性与N相同 | (s<sub>i</sub>-1)/2 |
| 2,…,m-1 | 无限制 | 1 | 奇数 | (s<sub>i</sub>-1)/2 |
| m-1 | 1 | 1 | 奇数 | (s<sub>i</sub>-1)/2 |
表1
其中，表1以将当前训练的降采样模型需要把图像的分辨率降低N倍为例进行说明。降采样模型的第一个卷积层的步长stride可以为N，保证图像的尺寸降低N倍，卷积核大小si的奇偶性与N相同，降采样模型的第二个至第m个卷积层的步长可以都为1，保证图像的大小在此层不变，并且第m个卷积层的输出通道数为1，保证输出的低分辨率图像的尺寸、通道数都与传统降采样模型输出的低分辨率图像相同。图3中的传统低分辨率图像相当于图2实施例中的第二分辨率的训练图像，输出的低分辨率图像相当于图2实施例中的第二分辨率的输出图像。其中，本发明实施例中的m为正整数，具体可以根据降采样模型的实际需要进行设置，比如m可以为5或6，也可以8或9，等等，本发明实施例不做限制。
然后，计算从降采样模型输出的低分辨率图像与传统低分辨率图像的欧氏距离1，该欧式距离1相当于图2实施例中的第一损失值。该欧式距离1用于对降采样模型进行约束，保证降采样模型得到的本文低分辨率图像与传统方法得到的低分辨率图像没有明显差异。
并且，将从降采样模型输出的低分辨率图像输入超分辨率模型进行训练，该超分辨率模型包括n个串联的卷积层和重塑reshape层；其中超分辨率模型中的第一个卷积层，在图3中的神经网络的网络结构中相当于第m+1个卷积层，因为在此之前进行训练的降采样模型包括m个卷积层。该超分辨率模型的具体参数可以如表2所示：
| 层号i | 输出通道数c<sub>i</sub> | 步长L<sub>i</sub> | 卷积核大小s<sub>i</sub> | 填充(padding) |
| m+1,…,n+m-1 | 无限制 | 1 | 奇数 | (s<sub>i</sub>-1)/2 |
| n+m | N<sup>2</sup> | 1 | 奇数 | (s<sub>i</sub>-1)/2 |
表2
其中，该超分辨率模型的前n-1个卷积层可以做多通道的图像宽高不变的卷积，最后一个卷积层，即第n个卷积层的输出通道数可以为N2，该N为放大倍数，第n个卷积层输出的图像输入reshape层进行拼接后输出超分辨率图像。该输出的超分辨率图像相当于图2实施例中的超分辨率图像。其中，本发明实施例中的n为正整数，具体可以根据降采样模型的实际需要进行设置，比如n可以为1，也可以3，也可以为80，也可以只要不超过100即可，等等，本发明实施例不做限制。
在其中一个实施方式中，reshape层的重塑或拼接方法可以如下：假设卷积层n+m(即超分辨率模型中的第n层)输出的图像Iin宽高分别为w、h，Iin(i,j,k)表示第k个通道第i行第j列的元素。则经过reshape层后，宽高变为Nw、Nh，N的定义与上述实施例的相同。记reshape层后输出的图像为Iout，其中Iout(i,j)表示其第i行第j列的元素。则reshape层的过程可用以下公式1来描述：
Iout(Ni+k/2,Nj+k％2)＝Iin(i,j,k)公式1
其中，i＝1,…,(h-1)，j＝1,…,(w-1)，k＝0,…,(N2-1)，％表示取余运算，/表示除法运算并对结果去尾。
然后，计算从超分辨率模型输出的超分辨率图像与高分辨率图像的欧氏距离2，该欧式距离2相当于图2实施例中的第二损失值。该欧式距离2用于对超分辨率和降采样模型进行约束，使得降采样模型尽可能的保留细节且超分辨率模型能够尽可能的恢复细节。
最后，图3中神经网络的网络结构还包括加权求和层，把约束降采样模型的Loss1(欧氏距离1的输出)，与约束超分辨率模型的Loss2(欧式距离2的输出)结合起来，作为最终的Loss(相当于图2实施例中的第三损失值)。例如可以通过如下公式2来计算第三损失值：
L3＝W1L1+W2L2公式2
其中，所述L1为第一损失值，相当于图3实施例的欧式距离1，L2为第二损失值，相当于图3实施例的欧式距离2，L3为第三损失值，W1为第一权重，W2为第二权重，W1小于W2。
在其中一个实施方式中，加权的时候，权重可以是人工设定的，可以是任意值。例如第一权重可以取0.1，第二权重可以取0.9；或者第一权重可以取0.15，第二权重可以取0.85。等等。通过设置第二权重大于第一权重，表明本发明实施例更加看重后面超分辨率模型的还原能力强不强。
在确定好模型之后，进行训练，通过该第三损失值来衡量，以使得该第三损失值最小，从而优化训练模型的目标函数的输出值，使得神经网络的参数达到最优，那么第一卷积神经网络和第二卷积神经网络即训练完毕，得到训练出的图像降采样模型与图像超分辨率模型。
在其中一个实施方式中，本发明实施例中神经网络的网络结构不限于图3实施例所示的网络结构，本发明实施例中的降采样模型和超分辨率模型还可以加入跳远连接skipconnection、生成对抗网络(generative adversarial nets，GAN)等设计。
例如，如图4示出的本发明提供的神经网络的网络结构的另一实施例的示意图，本发明实施例中的降采样模型和超分辨率模型可以在图3实施例的基础上加上skipconnection，skip connection和捷径类似，它一次跳过一层或多层，可以作用到网络的更深处，能够训练更深层的神经网络，有效避免发生梯度消失和梯度***，解决了传统卷积神经网络在信息传递时，或多或少会丢失原始信息的问题，保护数据的完整性，整个网络只需要学习输入、输出差别的一部分，简化了学习的难度和目标。
又如，本发明实施例中的降采样模型和超分辨率模型还可以加入对抗样本进行相应的对抗训练，从而提高模型的抗干扰能力。在对抗样本GANs中，可以包含一个生成模型G和一个判别模型D，D要判别样本是来自G还是真实数据集，而G的目标是生成能够骗过D的对抗样本。
在其中一个实施方式中，本发明实施例中的第一分辨率的训练图像可以包括第一分辨率的纯色图像。也就是说，本发明实施例中的训练数据集与传统训练方法的数据集不同，传统的方法仅适用自然的图像进行增广得到训练模型使用的数据集，而本发明实施例中的训练数据集除了可以包括非纯色图像(例如自然图像等)以外，还可以包括纯色图像，具体可以如5示出的本发明实施例提供的训练数据集的构造方法的示意图：
将第一分辨率的自然图像进行数据增广之后，通过降采样模型进行处理，得到了第二分辨率的自然图像；第一分辨率的纯色图像通过降采样模型进行处理后，得到第二分辨率的纯色图像。最后本发明实施例中的训练数据集是可以包括第一分辨率的自然图像、第二分辨率的自然图像、第一分辨率的纯色图像以及第二分辨率的纯色图像。
通过本发明实施例中的训练数据集，使得降采样模型能够得到更加正确的训练，保证了训练出的降采样模型生成的图片画面更加自然，且不会产生明显的亮度变化。
为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种图像发送方法和图像处理方法，如图6示出的本发明实施例提供的图像发送和处理方法的流程示意图，可以包括如下步骤：
步骤S600：图像发送端将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；
具体地，该图像降采样模型为通过上述图2至图5任意实施例中训练完成后的第一卷积神经网络。
步骤S602：将所述第二分辨率的待发送图像进行发送；
步骤S604：图像接收端接收第二分辨率的待处理图像；
步骤S606：将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像。
具体地，该图像超分辨率模型为通过上述图2至图5任意实施例中训练完成后的第二卷积神经网络。
实施本发明实施例，通过将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；将第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；并把约束第一卷积神经网络的第一损失值与约束第二卷积神经网络的第二损失值以加权求和的方式结合起来，作为最终的第三损失值，从而能够同时训练图像降采样模型和图像超分辨率模型，得到相互配套的图像降采样模型和图像超分辨率模型，本发明实施例中的卷积参数并非通过人工定下来或人工进行调整的，而是自适应训练得到的，通过本发明实施例的图像超分辨率模型恢复出的高分辨率图像的画质更好，能够更好的保留与之配套的图像降采样模型处理前原图像的边缘，因此可以更好的恢复降采样的图像的细节，解决了传统降采样模型会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节，超分辨率模型处理后的图像画质有所下降的技术问题，PSNR评价指标也比现有技术的技术方案的更高，相对于现有技术能够取得更佳的图像效果。
为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种模型训练装置，下面结合附图来进行详细说明：
如图7示出的本发明实施例提供的模型训练装置的结构示意图，模型训练装置70可以包括：第一训练单元700、第二训练单元702、加权求和单元704和参数调整单元706，其中，
第一训练单元700用于将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；所述第二分辨率低于所述第一分辨率；
第二训练单元702用于将所述第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；
加权求和单元704用于将第一损失值与第二损失值进行加权求和，得到第三损失值；所述第一损失值为所述第二分辨率的输出图像与第二分辨率的训练图像的损失值，所述第二损失值为所述超分辨率图像与所述第一分辨率的训练图像的损失值；
参数调整单元706用于根据所述第三损失值调整所述第一卷积神经网络和所述第二卷积神经网络的参数。
其中，该第一分辨率的训练图像可以包括第一分辨率的纯色图像。
加权求和单元704具体可以通过公式L3＝W1L1+W2L2，计算得到第三损失值；
其中，所述L1为所述第一损失值，所述L2为所述第二损失值，所述L3为所述第三损失值，所述W1为所述第一权重，所述W2为所述第二权重，所述W1小于所述W2。
其中，本发明实施例中的第一卷积神经网络可以包括m个串联的卷积层；其中，所述第一卷积神经网络的第一个卷积层的步长为N，所述第一卷积神经网络的第二个至第m个卷积层的步长为1，第m个卷积层的输出通道数为1。
本发明实施例中的第二卷积神经网络可以包括n个串联的卷积层和重塑层；其中，所述第二卷积神经网络的第n个卷积层的输出通道数为N2，所述第n个卷积层输出的图像输入所述重塑层进行拼接后输出所述超分辨率图像。
需要说明的是，本发明实施例中的模型训练装置70各单元用于对应执行上述各方法实施例中图1至图5实施例中的模型训练方法的步骤，这里不再赘述。
为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种模型训练设备，下面结合附图来进行详细说明：
如图8示出的本发明实施例提供的模型训练设备的结构示意图，模型训练设备80可以包括处理器81、显示屏82、存储器84和通信模块85，处理器81、显示屏82、存储器84和通信模块85可以通过总线86相互连接。存储器84可以是高速随机存储记忆体(Random AccessMemory，RAM)存储器，也可以是非易失性的存储器(non-volatile memory)，例如至少一个磁盘存储器，存储器84包括本发明实施例中的flash。存储器84可选的还可以是至少一个位于远离前述处理器81的存储***。存储器84用于存储应用程序代码，可以包括操作***、网络通信模块、用户接口模块以及模型训练程序，通信模块85用于与外部设备进行信息和数据交互，获取视频内容；处理器81被配置用于调用该程序代码，执行以下步骤：
将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；所述第二分辨率低于所述第一分辨率；
将所述第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；
将第一损失值与第二损失值进行加权求和，得到第三损失值；所述第一损失值为所述第二分辨率的输出图像与第二分辨率的训练图像的损失值，所述第二损失值为所述超分辨率图像与所述第一分辨率的训练图像的损失值；
根据所述第三损失值调整所述第一卷积神经网络和所述第二卷积神经网络的参数。
其中，第一分辨率的训练图像包括第一分辨率的纯色图像。
其中，处理器81将第一损失值与第二损失值进行加权求和，得到第三损失值，可以具体包括：
通过公式L3＝W1L1+W2L2，计算得到第三损失值；
其中，所述L1为所述第一损失值，所述L2为所述第二损失值，所述L3为所述第三损失值，所述W1为所述第一权重，所述W2为所述第二权重，所述W1小于所述W2。
其中，第一卷积神经网络可以包括m个串联的卷积层；其中，所述第一卷积神经网络的第一个卷积层的步长为N，所述第一卷积神经网络的第二个至第m个卷积层的步长为1，第m个卷积层的输出通道数为1。
其中，第二卷积神经网络可以包括n个串联的卷积层和重塑层；其中，所述第二卷积神经网络的第n个卷积层的输出通道数为N2，所述第n个卷积层输出的图像输入所述重塑层进行拼接后输出所述超分辨率图像。
需要说明的是，本发明实施例中模型训练设备80中处理器81的执行步骤可参考上述各方法实施例中图1至图5实施例中的模型训练方法的具体实现方式，这里不再赘述。
为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种图像发送装置，下面结合附图来进行详细说明：
如图9示出的本发明实施例提供的图像发送装置的结构示意图，图像发送装置90可以包括：第一输入单元900和发送单元902，其中，
第一输入单元900用于将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；
发送单元902用于将所述第二分辨率的待发送图像进行发送；
本发明还对应提供了一种图像发送设备，下面结合附图来进行详细说明：
如图10示出的本发明实施例提供的图像发送设备的结构示意图，图像发送设备10可以包括处理器101、显示屏102、存储器104和通信模块105，处理器101、显示屏102、存储器104和通信模块105可以通过总线106相互连接。存储器104可以是高速随机存储记忆体(Random Access Memory，RAM)存储器，也可以是非易失性的存储器(non-volatilememory)，例如至少一个磁盘存储器，存储器104包括本发明实施例中的flash。存储器104可选的还可以是至少一个位于远离前述处理器101的存储***。存储器104用于存储应用程序代码，可以包括操作***、网络通信模块、用户接口模块以及图像发送程序，通信模块105用于与外部设备进行信息和数据交互，获取视频内容；处理器101被配置用于调用该程序代码，执行以下步骤：
将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；
通过通信模块105将所述第二分辨率的待发送图像进行发送。
其中，所述图像降采样模型为通过如上述图1至图5实施例所述的方法中训练完成后的第一卷积神经网络。
为了便于更好地实施本发明实施例的上述方案，本发明还对应提供了一种图像处理装置，下面结合附图来进行详细说明：
如图11示出的本发明实施例提供的图像处理装置的结构示意图，图像处理装置11可以包括：接收单元110和第二输入单元112，其中，
接收单元110用于接收第二分辨率的待处理图像；
第二输入单元112用于将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像。
本发明还对应提供了一种图像处理设备，下面结合附图来进行详细说明：
如图12示出的本发明实施例提供的图像处理设备的结构示意图，图像处理设备12可以包括处理器121、显示屏122、存储器124和通信模块125，处理器121、显示屏122、存储器124和通信模块125可以通过总线126相互连接。存储器124可以是高速随机存储记忆体(Random Access Memory，RAM)存储器，也可以是非易失性的存储器(non-volatilememory)，例如至少一个磁盘存储器，存储器124包括本发明实施例中的flash。存储器124可选的还可以是至少一个位于远离前述处理器121的存储***。存储器124用于存储应用程序代码，可以包括操作***、网络通信模块、用户接口模块以及图像处理程序，通信模块125用于与外部设备进行信息和数据交互，获取视频内容；处理器121被配置用于调用该程序代码，执行以下步骤：
通过通信模块125接收第二分辨率的待处理图像；
将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像；
所述待处理图像为通过图8实施例的图像发送装置80或图9实施例的图像发送设备90发送的图像；该图像超分辨率模型为通过上述图1至图5实施例的方法中训练完成后的第二卷积神经网络。
实施本发明实施例，通过将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；将第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；并把约束第一卷积神经网络的第一损失值与约束第二卷积神经网络的第二损失值以加权求和的方式结合起来，作为最终的第三损失值，从而能够同时训练图像降采样模型和图像超分辨率模型，得到相互配套的图像降采样模型和图像超分辨率模型，本发明实施例中的卷积参数并非通过人工定下来或人工进行调整的，而是自适应训练得到的，通过本发明实施例的图像超分辨率模型恢复出的高分辨率图像的画质更好，能够更好的保留与之配套的图像降采样模型处理前原图像的边缘，因此可以更好的恢复降采样的图像的细节，解决了传统降采样模型会出现不必要的图像细节的丢失，使得超分辨率模型无法更好的恢复原有图像的细节，超分辨率模型处理后的图像画质有所下降的技术问题，PSNR评价指标也比现有技术的技术方案的更高，相对于现有技术能够取得更佳的图像效果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。
Claims (14)
1.一种模型训练方法，其特征在于，包括：
将第一分辨率的训练图像输入第一卷积神经网络进行训练，得到第二分辨率的输出图像；所述第二分辨率低于所述第一分辨率；
将所述第二分辨率的输出图像输入第二卷积神经网络进行训练，得到超分辨率图像；
将第一损失值与第二损失值进行加权求和，得到第三损失值；所述第一损失值为所述第二分辨率的输出图像与第二分辨率的训练图像的损失值，所述第二损失值为所述超分辨率图像与所述第一分辨率的训练图像的损失值；
根据所述第三损失值调整所述第一卷积神经网络和所述第二卷积神经网络的参数。
2.如权利要求1所述的方法，其特征在于，所述第一分辨率的训练图像包括第一分辨率的纯色图像。
3.如权利要求1所述的方法，其特征在于，所述将第一损失值与第二损失值进行加权求和，得到第三损失值包括：
通过公式L3＝W1L1+W2L2，计算得到第三损失值；
其中，所述L1为所述第一损失值，所述L2为所述第二损失值，所述L3为所述第三损失值，所述W1为所述第一权重，所述W2为所述第二权重，所述W1小于所述W2。
4.如权利要求1-3任一项所述的方法，其特征在于，所述第一卷积神经网络包括m个串联的卷积层；其中，所述第一卷积神经网络的第一个卷积层的步长为N，所述第一卷积神经网络的第二个至第m个卷积层的步长为1，第m个卷积层的输出通道数为1；所述m为正整数。
5.如权利要求4所述的方法，其特征在于，所述第二卷积神经网络包括n个串联的卷积层和重塑层；其中，所述第二卷积神经网络的第n个卷积层的输出通道数为N2，所述第n个卷积层输出的图像输入所述重塑层进行拼接后输出所述超分辨率图像；所述n为正整数。
6.一种图像发送方法，其特征在于，包括：
将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；
将所述第二分辨率的待发送图像进行发送；
其中，所述图像降采样模型为通过如权利要求1-5任一项所述的方法中训练完成后的第一卷积神经网络。
7.一种图像处理方法，其特征在于，包括：
接收第二分辨率的待处理图像；所述待处理图像为通过权利要求6所述的方法发送的图像；
将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像；
其中，所述图像超分辨率模型为通过如权利要求1-5任一项所述的方法中训练完成后的第二卷积神经网络。
8.一种模型训练装置，其特征在于，包括用于执行如权利要求1-5任一项所述的方法的单元。
9.一种图像发送装置，其特征在于，包括用于执行如权利要求6所述的方法的单元。
10.一种图像处理装置，其特征在于，包括用于执行如权利要求7所述的方法的单元。
11.一种模型训练设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接，其中，所述存储器用于存储数据处理代码，所述处理器被配置用于调用所述程序代码，执行如权利要求1-5任一项所述的方法。
12.一种图像发送设备，其特征在于，包括处理器、存储器和通信模块，所述处理器、存储器和通信模块相互连接，其中，所述存储器用于存储数据处理代码，所述处理器被配置用于调用所述程序代码，将第一分辨率的待发送图像输入图像降采样模型，通过所述图像降采样模型降低所述待发送图像的分辨率，得到第二分辨率的待发送图像；所述通信模块用于将所述第二分辨率的待发送图像进行发送；其中，所述图像降采样模型为通过如权利要求1-5任一项所述的方法中训练完成后的第一卷积神经网络。
13.一种图像处理设备，其特征在于，包括处理器、存储器和通信模块，所述处理器、存储器和通信模块相互连接，其中，所述存储器用于存储数据处理代码，所述通信模块用于接收第二分辨率的待处理图像；所述待处理图像为通过权利要求12所述的图像发送设备发送的图像；所述处理器被配置用于调用所述程序代码，将所述第二分辨率的待处理图像输入图像超分辨率模型，通过所述图像超分辨率模型恢复所述待处理图像的分辨率，得到第一分辨率的恢复图像；其中，所述图像超分辨率模型为通过如权利要求1-5任一项所述的方法中训练完成后的第二卷积神经网络。
14.一种计算机可读存储介质，其特征在于，所述计算机存储介质存储有程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811186315.4A CN109525859B (zh) | 2018-10-10 | 2018-10-10 | 模型训练、图像发送、图像处理方法及相关装置设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811186315.4A CN109525859B (zh) | 2018-10-10 | 2018-10-10 | 模型训练、图像发送、图像处理方法及相关装置设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109525859A true CN109525859A (zh) | 2019-03-26 |
| CN109525859B CN109525859B (zh) | 2021-01-15 |
Family
ID=65772542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811186315.4A Active CN109525859B (zh) | 2018-10-10 | 2018-10-10 | 模型训练、图像发送、图像处理方法及相关装置设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109525859B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059618A (zh) * | 2019-04-17 | 2019-07-26 | 北京易达图灵科技有限公司 | 一种违禁物品的识别方法及装置 |
| CN111754406A (zh) * | 2020-06-22 | 2020-10-09 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN111860823A (zh) * | 2019-04-30 | 2020-10-30 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法及装置、设备及存储介质 |
| WO2021000650A1 (zh) * | 2019-07-04 | 2021-01-07 | 国家广播电视总局广播电视科学研究院 | 节目分发方法和装置、接收方法、终端设备及介质 |
| CN113157760A (zh) * | 2020-01-22 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 目标数据确定方法及装置 |
| CN113240576A (zh) * | 2021-05-12 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 风格迁移模型的训练方法、装置、电子设备及存储介质 |
| CN113343979A (zh) * | 2021-05-31 | 2021-09-03 | 北京百度网讯科技有限公司 | 用于训练模型的方法、装置、设备、介质和程序产品 |
| US11140422B2 (en) * | 2019-09-25 | 2021-10-05 | Microsoft Technology Licensing, Llc | Thin-cloud system for live streaming content |
| CN113763230A (zh) * | 2020-06-04 | 2021-12-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、风格迁移方法及装置 |
| CN114584805A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | 视频传输方法、服务器、终端和视频传输*** |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2257636A2 (en) * | 2008-07-03 | 2010-12-08 | NEC Laboratories America, Inc. | Epithelial layer detector and related methods |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN106683048A (zh) * | 2016-11-30 | 2017-05-17 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| CN107784628A (zh) * | 2017-10-18 | 2018-03-09 | 南京大学 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
| CN108012157A (zh) * | 2017-11-27 | 2018-05-08 | 上海交通大学 | 用于视频编码分数像素插值的卷积神经网络的构建方法 |
| CN108304821A (zh) * | 2018-02-14 | 2018-07-20 | 广东欧珀移动通信有限公司 | 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质 |
| CN108346133A (zh) * | 2018-03-15 | 2018-07-31 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
| CN108629743A (zh) * | 2018-04-04 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
-
2018
- 2018-10-10 CN CN201811186315.4A patent/CN109525859B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2257636A2 (en) * | 2008-07-03 | 2010-12-08 | NEC Laboratories America, Inc. | Epithelial layer detector and related methods |
| CN106683048A (zh) * | 2016-11-30 | 2017-05-17 | 浙江宇视科技有限公司 | 一种图像超分辨率方法及设备 |
| CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
| CN106910161A (zh) * | 2017-01-24 | 2017-06-30 | 华南理工大学 | 一种基于深度卷积神经网络的单幅图像超分辨率重建方法 |
| CN107784628A (zh) * | 2017-10-18 | 2018-03-09 | 南京大学 | 一种基于重建优化和深度神经网络的超分辨率实现方法 |
| CN108012157A (zh) * | 2017-11-27 | 2018-05-08 | 上海交通大学 | 用于视频编码分数像素插值的卷积神经网络的构建方法 |
| CN108564097A (zh) * | 2017-12-05 | 2018-09-21 | 华南理工大学 | 一种基于深度卷积神经网络的多尺度目标检测方法 |
| CN108537731A (zh) * | 2017-12-29 | 2018-09-14 | 西安电子科技大学 | 基于压缩多尺度特征融合网络的图像超分辨率重建方法 |
| CN108304821A (zh) * | 2018-02-14 | 2018-07-20 | 广东欧珀移动通信有限公司 | 图像识别方法及装置、图像获取方法及设备、计算机设备及非易失性计算机可读存储介质 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN108346133A (zh) * | 2018-03-15 | 2018-07-31 | 武汉大学 | 一种面向视频卫星超分辨率重建的深度学习网络训练方法 |
| CN108629743A (zh) * | 2018-04-04 | 2018-10-09 | 腾讯科技（深圳）有限公司 | 图像的处理方法、装置、存储介质和电子装置 |
Non-Patent Citations (2)
| Title |
|---|
| YIFAN WANG ET AL: "Information-Compensated Downsampling for Image Super-Resolution", 《IEEE SIGNAL PROCESSING LETTERS ( VOLUME: 25 , ISSUE: 5 , MAY 2018 )》 * |
| 陈颖龙: "基于卷积神经网络的单帧图像超分辨率重建", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110059618A (zh) * | 2019-04-17 | 2019-07-26 | 北京易达图灵科技有限公司 | 一种违禁物品的识别方法及装置 |
| CN111860823A (zh) * | 2019-04-30 | 2020-10-30 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法及装置、设备及存储介质 |
| CN111860823B (zh) * | 2019-04-30 | 2024-06-11 | 北京市商汤科技开发有限公司 | 神经网络训练、图像处理方法及装置、设备及存储介质 |
| WO2021000650A1 (zh) * | 2019-07-04 | 2021-01-07 | 国家广播电视总局广播电视科学研究院 | 节目分发方法和装置、接收方法、终端设备及介质 |
| US11140422B2 (en) * | 2019-09-25 | 2021-10-05 | Microsoft Technology Licensing, Llc | Thin-cloud system for live streaming content |
| CN113157760A (zh) * | 2020-01-22 | 2021-07-23 | 阿里巴巴集团控股有限公司 | 目标数据确定方法及装置 |
| CN113763230B (zh) * | 2020-06-04 | 2024-05-17 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、风格迁移方法及装置 |
| CN113763230A (zh) * | 2020-06-04 | 2021-12-07 | 北京达佳互联信息技术有限公司 | 图像风格迁移模型训练方法、风格迁移方法及装置 |
| CN111754406B (zh) * | 2020-06-22 | 2024-02-23 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN111754406A (zh) * | 2020-06-22 | 2020-10-09 | 北京大学深圳研究生院 | 图像分辨率处理方法、装置、设备及可读存储介质 |
| CN114584805A (zh) * | 2020-11-30 | 2022-06-03 | 华为技术有限公司 | 视频传输方法、服务器、终端和视频传输*** |
| CN113240576B (zh) * | 2021-05-12 | 2024-04-30 | 北京达佳互联信息技术有限公司 | 风格迁移模型的训练方法、装置、电子设备及存储介质 |
| CN113240576A (zh) * | 2021-05-12 | 2021-08-10 | 北京达佳互联信息技术有限公司 | 风格迁移模型的训练方法、装置、电子设备及存储介质 |
| CN113343979A (zh) * | 2021-05-31 | 2021-09-03 | 北京百度网讯科技有限公司 | 用于训练模型的方法、装置、设备、介质和程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109525859B (zh) | 2021-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109525859A (zh) | 模型训练、图像发送、图像处理方法及相关装置设备 | |
| US11870947B2 (en) | Generating images using neural networks | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN110363716B (zh) | 一种基于条件生成对抗网络复合降质图像高质量重建方法 | |
| US20200098144A1 (en) | Transforming grayscale images into color images using deep neural networks | |
| CN109544448A (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
| CN112771578B (zh) | 使用细分缩放和深度上缩放的图像生成 | |
| CN111510739B (zh) | 一种视频传输方法及装置 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN110570356A (zh) | 图像处理方法和装置、电子设备及存储介质 | |
| CN108875900A (zh) | 视频图像处理方法和装置、神经网络训练方法、存储介质 | |
| CN110136055A (zh) | 图像的超分辨率方法和装置、存储介质、电子装置 | |
| KR20210018668A (ko) | 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템 | |
| US20220067888A1 (en) | Image processing method and apparatus, storage medium, and electronic device | |
| Sankisa et al. | Video error concealment using deep neural networks | |
| CN113837980A (zh) | 分辨率的调整方法、装置、电子设备及存储介质 | |
| CN114926336A (zh) | 视频超分辨率重建方法、装置、计算机设备及存储介质 | |
| CN115713462A (zh) | 超分辨模型训练方法、图像识别方法、装置及设备 | |
| CN116977191A (zh) | 画质提升模型的训练方法和视频会议***画质的提升方法 | |
| CN113850721A (zh) | 单幅图像超分辨率重建方法、装置、设备及可读存储介质 | |
| CN113747242A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| WO2023098688A1 (zh) | 图像编解码方法和装置 | |
| US20220327663A1 (en) | Video Super-Resolution using Deep Neural Networks | |
| US20230060988A1 (en) | Image processing device and method | |
| CN111861877A (zh) | 视频超分变率的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |