CN105847968B - 基于深度学习的解像方法和*** - Google Patents

基于深度学习的解像方法和*** Download PDF

Info

Publication number
CN105847968B
CN105847968B CN201610161589.2A CN201610161589A CN105847968B CN 105847968 B CN105847968 B CN 105847968B CN 201610161589 A CN201610161589 A CN 201610161589A CN 105847968 B CN105847968 B CN 105847968B
Authority
CN
China
Prior art keywords
low
face characteristic
image
resolution
coding structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610161589.2A
Other languages
English (en)
Other versions
CN105847968A (zh
Inventor
张丽杰
李正龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201610161589.2A priority Critical patent/CN105847968B/zh
Priority to PCT/CN2016/086494 priority patent/WO2017161710A1/zh
Priority to US15/537,677 priority patent/US10769758B2/en
Publication of CN105847968A publication Critical patent/CN105847968A/zh
Application granted granted Critical
Publication of CN105847968B publication Critical patent/CN105847968B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种解像方法和***。该解像方法包括：a.利用原始高分辨率图像集建立样本库；b.利用样本库对卷积结构网络进行训练；c.利用训练后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号。根据本公开的解像方法和***通过简单扩展硬件，不需要大的改变算法，就可实现对扩容之后的数据进行处理；将复杂算法部署为并行化设计，可以在不同服务器之间相互独立工作；并且是模块化设计，可以通过后期的优化更改各功能模块设计方案。

Description

基于深度学习的解像方法和***
技术领域
本公开涉及电视显示中的图像处理领域，更具体地说，涉及一种基于深度学习的人脸和图像高分辨率解像方法和***。
背景技术
超解像，是针对当前视频信号源的分辨率不如高清电视可显示的分辨率而提出的。超解像技术通过将原始图像拉伸、比较、修正从而输出更适合在全高清(FHD，Full HighDefinition)液晶电视上显示的图像，增强视觉清晰度。与普通液晶电视只是简单的将标清信号拉伸放大到高清屏幕上相比，超解像技术显示细节更为突出，改变了人们对高清电视看有线DVD反而不如低分辨率电视的印象。
图像的分辨率，又称解像度、解像力、解析度，是指显示器上所能显示的像素多少，显示器上的像素点越多，其画面就越精细。分辨率高的图像含有的像素密度高，能提供丰富的细节信息，对客观场景的描述更准确细致。高分辨率图像在信息时代的需求非常广泛，诸如卫星遥感图像、视频安全监控、军事侦查航拍领域、医学数字影像和视频标准转换等领域都具有十分重要的应用。
人脸幻化是一种由低分辨率输入，生成一种高分辨率输出的特定区域超解像技术。低分辨率图像由高分辨率图像经过降采样、线性卷积处理所得到。幻化技术可理解为重构高频细节，对于目前的超解像技术，很少有关于点在人脸幻化上的。
发明内容
在本公开的实施例中提供一种基于深度学习的人脸和图像高分辨率解像方法和***。按照本公开的一个方面，提供一种解像方法，该方法包括下列步骤：a.利用原始高分辨率图像集建立样本库；b.利用样本库对卷积结构网络进行训练；c.利用训练后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号。
按照本公开的另一方面，提供一种解像***，包括：样本库构建装置，被配置以利用原始高分辨率图像集建立样本库；训练装置，被配置以利用样本库对卷积结构网络进行训练；输出装置，被配置以利用调整后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号。
本公开的方法在利用原输入图像本身信息解像放大的同时，添加了人脸特征部位相似度信息，丰富了解像后图像中人脸的细节，使得清晰度得到明显的提升。
根据本公开的解像方法和***通过简单扩展硬件，不需要大的改变算法，就可实现对扩容之后的数据进行处理；将复杂算法部署为并行化设计，可以在不同服务器之间相互独立工作；并且是模块化设计，可以通过后期的优化更改各功能模块设计方案。
附图说明
图1示出了人脸解像技术的一种通用方法。
图2示出了人脸解像技术的另一种通用方法。
图3示出了根据本发明实施例的解像方法的流程图。
图4示出了根据本发明第一实施例的图3的解像方法的具体实现流程。
图5示出了图4的训练过程S405的具体实现过程。
图6示出了根据本发明第二实施例的图3的解像方法的具体实现流程。
图7示出了图6的第二训练过程S607的具体实现过程。
图8示出了根据本发明实施例的解像***的方框图。
图9示出了根据本发明第一实施例的图8的解像***的具体实现框图。
图10示出了根据本发明第二实施例的图8的解像***的具体实现框图。
具体实施方式
通过结合附图对本发明的示例性实施例进行详细描述，本发明的上述特性和优点将会变得更加清楚，附图中相同的标号指定相同结构的单元。
下面将参照附图描述本发明的实施例。然而，本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。在附图中，为了清楚起见放大了组件。
图1示出了人脸解像技术的一种通用方法。
如图1所示，采用PCA(主成分分析)算法进行人脸识别。将低分辨率图像映射到高分辨率图像，并利用约束条件进行人脸重构，最后进行高分辨率图像输出。
图2示出了人脸解像技术的另一种通用方法。
如图2所示，首先，输入低分辨率的人脸图像；进行人脸部的各个特征检测，并对检测到的特征(眼睛/鼻子/嘴巴/)进行标记；然后提取脸部不同特征，得到多张不同的特征成分模板；从这些模板中利用高通滤波函数继续提取，得到高频成分，也就是图像的高分辨率面部成分；人脸结构性较强，因此可利用结构相似性函数，对输入的人脸图像进行特征映射，补充添加相似性较高的高频细节，完成人脸的重构。最后进行高分辨率人脸图像的输出。
以上方法存在的问题：
问题1：人脸高低分辨率特征图像对映射函数中的系数是确定的、唯一的，一旦固定，对应的特征图像对将不可更改，可移植性和可扩展性不强；
问题2：人脸的特征重建中细节的填充是建立在重构的图像上，输出结果表现的较为不自然和不真实。
针对以上问题，本公开提出了如下解决方案：
问题1的解决方案：
利用深度神经网络构建高低分辨率人脸库的训练模型，模型拟合好之后，后续可随意更改样本库和数量，只需更新整个训练模型，获得新的特征滤波参数即可。
问题2的解决方案：
在训练整个人脸高低分辨率模型的同时，对高分辨率人脸的主要特征进行标记，通过高低通滤波器，对标记的图像块进行细节模型训练，获得对应的细节填充滤波参数。
该方法在利用原输入图像本身信息解像放大的同时，添加了人脸特征部位相似度信息，丰富了解像后图像中人脸的细节，使得清晰度得到明显的提升。
图3示出了根据本发明实施例的解像方法的流程图。
如图3所示，在步骤S301，利用原始高分辨率图像集建立样本库。
在步骤S302，利用样本库对卷积结构网络进行训练。
在步骤S303，利用训练后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号。
图4示出了根据本发明第一实施例的图3的解像方法的具体实现流程。
如图4所示，图3中的步骤S301进一步包括步骤S401-S404。
在步骤S401，对原始高分辨率图像集进行下采样处理得到低分辨率图像集。其中，下采样处理例如可以采取线性卷积处理等现有的或将来的能够实现相同功能的处理。
在步骤S402，使用人脸特征提取方法提取低分辨率图像的人脸特征信息。其中，人脸特征提取方法可以是诸如边缘检测算法的现有的或将来的能够实现相同功能的方法。
在步骤S403，对高分辨率图像进行人脸特征点标记，以获得高分辨率图像的人脸特征信息。人脸图像的结构化主要包括面部成分、轮廓和平滑区域组成。标记检测用于局部的面部成分和轮廓。
在步骤S404，利用低分辨率图像的人脸特征信息和高分辨率图像的人脸特征信息建立包含低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对的人脸特征样本库。
如图4所示，图3中的步骤S302进一步包括步骤S405。在步骤S405，对人脸特征样本库中的低分辨率图像和高分辨率图像的人脸特征信息对进行训练以得到第一滤波参数。所述第一滤波参数例如是用于卷积结构网络的分类器滤波参数。
如图4所示，图3中的步骤S303进一步包括步骤S406-S408。
在步骤S406，输入低分辨率图像的人脸特征信息作为输入信号。
在步骤S407，基于在步骤S405得到的调整后的第一滤波参数，利用卷积结构网络对输入的低分辨率图像的人脸特征信息进行处理。
在步骤S408，输出经卷积结构网络处理的高分辨率图像的人脸特征信息作为输出信号。
图5示出了图4的训练过程S405的具体实现过程。
如图5所示，在步骤S501，对人脸特征样本库中的低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对进行相关性分析，得到卷积结构网络的第一滤波参数。
在步骤S502和S503，对高分辨率图像的人脸特征信息分别进行高通滤波和低通滤波以得到人脸特征高频信息作为高通滤波人脸结果和人脸特征低频信息作为低通滤波人脸结果。其中，高通滤波人脸特征信息可以得到高频特征，例如，人脸部结构轮廓信息；而低通滤波人脸特征信息可以得到细化信息，例如，人脸部皮肤纹理/粗糙程度等细节。
在步骤S504，将高通滤波人脸结果和低通滤波人脸结果叠加，以得到叠加的结果，也即，提取的高频和低频信息的叠加(特征轮廓和细节纹理)。
在步骤S505，对叠加的结果进行特征分类，得到高分辨率图像的人脸特征信息的细节模板作为卷积结构网络的反馈信号。例如，标记诸如a、b、c等的不同特征分别作为一个类别，得到不同类别的细节模板。
采用低分辨率图像的人脸特征信息作为卷积结构网络的输入信号，调整卷积结构网络中的第一滤波参数，以使得在卷积结构网络中采用调整后的第一滤波参数对输入信号进行处理后得到的预测结果信号与反馈信号基本相同。也即，预测结果信号与反馈信号之间的差值小于第一阈值，第一阈值可以根据实际情况进行设置，例如第一阈值可以小于等于0.01。
之后，基于调整后的第一滤波参数，利用卷积结构网络对低分辨率图像的人脸特征信息进行处理以得到高分辨率图像的人脸特征信息。
如图5所述，卷积结构网络是由多个卷积层和激励层交替连接而成。卷积层和激励层的数目可以根据实际情况设定，例如2个或更多。卷积结构网络除了输入和输出之外，其他每层都是将上一层的输出作为输入，并将本层的输出传递到下一层。
每个卷积层都可以包括多个具有可调整滤波参数的滤波单元。每个卷积层中包含的滤波单元的个数可以相同也可以不同。
卷积层通过卷积操作从输入信号或者前一层的特征图中提取特征得到卷积后的人脸特征图。一般地，每个滤波单元采用如下公式进行卷积操作：F(x)＝Wx+b。其中，W和b是滤波参数，x是输入，F(x)为输出。
激励层用于去除人眼敏感度低的特征。激励层例如可以采用激励函数F(x)＝max(0,x)实现。也即，去除人眼敏感度低的特征，即F(x)≤0的特征，以找到敏感度最高的特征图。
当经过卷积结构网络得到预测结果信号(其中表示预测结果信号(即，特征值)，m表示人脸特征样本库中图像集的个数，FMi表示经由最后一层激励层输出的特征图)之后，与反馈信号相比，利用如下方差函数计算出错误率J(W,b)，然后对每个滤波参数计算其对错误率的偏导数，然后根据偏导数(梯度)调整滤波参数。
其中J(W,b)表示错误率，m表示人脸特征样本库中图像集的个数，表示反馈信号，表示预测结果信号，hW,b表示权重系数。hW,b为经验值，默认值为1，hW,b按照网络复杂程度依靠经验进行大小调整。
图6示出了根据本发明第二实施例的图3的解像方法的具体实现流程。
如图6所示，图3中的步骤S301进一步包括步骤S601-S605。
在步骤S601，对原始高分辨率图像集进行下采样处理得到低分辨率图像集。其中，下采样处理例如可以采取线性卷积处理等现有的或将来的能够实现相同功能的处理。
在步骤S602，使用人脸特征提取方法提取低分辨率图像的低分辨率图像的人脸特征信息。其中，人脸特征提取方法可以是诸如边缘检测算法的现有的或将来的能够实现相同功能的方法。
在步骤S603，对高分辨率图像进行人脸特征点标记，以获得高分辨率图像的人脸特征信息。
在步骤S604，利用低分辨率图像的人脸特征信息和高分辨率图像的人脸特征信息建立包含低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对的人脸特征样本库。
在步骤S605，利用低分辨率图像和高分辨率图像建立包含低分辨率图像和相关的高分辨率图像对的图像样本库。
如图6所示，图3中的步骤S302进一步包括步骤S606和S607。
在步骤S606，对人脸特征样本库中的低分辨率图像和高分辨率图像的人脸特征信息对进行训练以得到第一滤波参数。
在步骤S607，对图像样本库中的低分辨率图像和高分辨率图像对进行训练以得到第二滤波参数。
如图6所示，图3中的步骤S303进一步包括步骤S608-S610。
在步骤S608，输入低分辨率的信息作为输入信号。
在步骤S609，基于在步骤S606得到的调整后的第一滤波参数以及在步骤S607得到的调整后的第二滤波参数，利用卷积结构网络对输入信号进行处理。
在步骤S610，输出经卷积结构网络处理的高分辨率的信息作为输出信号。
图6中的第一训练过程S606与图4中的训练过程S405相同。在次不再赘述。
图7示出了图6的第二训练过程S607的具体实现过程。
如图7所示，在步骤S701，对图像样本库中的低分辨率图像和相关的高分辨率图像对进行相关性分析，得到卷积结构网络的第二滤波参数。
在步骤S702和S703，对高分辨率图像分别进行高通滤波和低通滤波以得到图像高频信息作为高通滤波图像结果和图像低频信息作为低通滤波图像结果。其中，高通滤波图像可以得到图像的高频信息，也就是图像中相对较为突出的特征；而低通滤波图像可以得到图像的低频信息，也就是图像中的细节纹理特征。
在步骤S704，将高通滤波人脸结果和低通滤波人脸结果叠加，以得到叠加的结果，也即，提取的高频和低频信息的叠加(特征轮廓和细节纹理)。
在步骤S705，对叠加的结果进行特征分类，得到高分辨率图像的细节模板作为卷积结构网络的反馈信号。例如，标记诸如a、b、c等的不同特征分别作为一个类别，得到不同类别的细节模板。
采用低分辨率图像作为卷积结构网络的输入信号，调整卷积结构网络中的第二滤波参数，以使得在卷积网络中采用调整后的第二滤波参数对输入信号进行处理后得到的预测结果信号与反馈信号基本相同。也即，预测结果信号与反馈信号之间的差值小于第一阈值，第一阈值可以根据实际情况进行设置，例如第一阈值可以小于等于0.01。
之后，基于调整后的滤波参数，利用卷积结构网络对低分辨率图像进行处理以得到高分辨率图像。
对于第二训练过程S707的具体训练过程，其与图4中的训练过程S405的具体训练过程类似。其不同之处仅仅在于：将人脸特征样本库中的低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对替换为在图7的步骤S705中建立的图像样本库中的低分辨率图像和高分辨率图像对。因此，在此将不对其进行赘述。
图8示出了根据本发明实施例的解像***的方框图。
如图8所示，解像***包括：样本库构建装置801、训练装置802和输出装置803。
样本库构建装置801，被配置以利用原始高分辨率图像集建立样本库。
训练装置802，被配置以利用样本库对卷积结构网络进行训练。
输出装置803，被配置以利用训练后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号。
图9示出了根据本发明第一实施例的图8的解像***的具体实现框图。
如图9所示，图8中的样本库构建装置801进一步包括：下采样单元901、人脸解析单元902、特征点标记单元903、人脸特征样本库建立单元904。图8中的训练装置802进一步包括训练单元905。图8中的输出装置803进一步包括：输入单元906、卷积结构网络907和输出单元908。
下采样单元901，被配置以对原始高分辨率图像集进行下采样处理得到低分辨率图像集。其中，下采样处理例如可以采取线性卷积处理等现有的或将来的能够实现相同功能的处理。
人脸解析单元902，被配置以使用人脸特征提取方法提取低分辨率图像的低分辨率图像的人脸特征信息。其中，人脸特征提取方法可以是诸如边缘检测算法的现有的或将来的能够实现相同功能的方法。
特征点标记单元903，被配置以对高分辨率图像进行人脸特征点标记，以获得高分辨率图像的人脸特征信息。人脸图像的结构化主要包括面部成分、轮廓和平滑区域组成。标记检测用于局部的面部成分和轮廓。
人脸特征样本库建立单元904，被配置以利用低分辨率图像的人脸特征信息和高分辨率图像的人脸特征信息建立包含低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对的人脸特征样本库。
训练单元905，被配置以对人脸特征样本库中的低分辨率图像和高分辨率图像的人脸特征信息对进行训练以得到第一滤波参数。所述第一滤波参数例如是用于卷积结构网络的分类器滤波参数。
输入单元906，被配置以输入低分辨率图像的人脸特征信息作为输入信号。
卷积结构网络907，被配置以基于调整后的第一滤波参数，利用卷积结构网络对输入的低分辨率图像的人脸特征信息进行处理。
输出单元908，被配置以输出经卷积结构网络处理的高分辨率图像的人脸特征信息作为输出信号。
图10示出了根据本发明第二实施例的图8的解像***的具体实现框图。
如图10所示，图8中的样本库构建装置801进一步包括：下采样单元1001、人脸解析单元1002、特征点标记单元1003、人脸特征样本库1004、图像样本库1005。图8中的训练装置802进一步包括第一训练单元1006、和第二训练单元1007。图8中的输出装置803进一步包括：输入单元1008、卷积结构网络1009和输出单元1010。
下采样单元1001，被配置以对原始高分辨率图像集进行下采样处理得到低分辨率图像集。其中，下采样处理例如可以采取线性卷积处理等现有的或将来的能够实现相同功能的处理。
人脸解析单元1002，被配置以使用人脸特征提取方法提取低分辨率图像的低分辨率图像的人脸特征信息。其中，人脸特征提取方法可以是诸如边缘检测算法的现有的或将来的能够实现相同功能的方法。
特征点标记单元1003，被配置以对高分辨率图像进行人脸特征点标记，以获得高分辨率图像的人脸特征信息。
人脸特征样本库建立单元1004，被配置以利用低分辨率图像的人脸特征信息和高分辨率图像的人脸特征信息建立包含低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对的人脸特征样本库。
图像样本库建立单元1005，被配置以利用低分辨率图像和高分辨率图像建立包含低分辨率图像和相关的高分辨率图像对的图像样本库。
第一训练单元1006，被配置以对人脸特征样本库中的低分辨率图像的人脸特征信息和高分辨率图像的人脸特征信息对进行训练以得到第一滤波参数。
第二训练单元1007，被配置以对图像样本库中的低分辨率图像和高分辨率图像对进行训练以得到第二滤波参数。
输入单元1008，被配置以输入低分辨率图像的人脸特征信息和/或图像作为输入信号。
卷积结构网络1009，被配置以基于调整后的第一和/或第二滤波参数，利用卷积结构网络对输入的低分辨率图像的人脸特征信息和/或图像进行处理。
输出单元1010，被配置以输出经卷积结构网络处理的高分辨率图像的人脸特征信息和/或图像作为输出信号。
对于图9和图10中的训练单元的具体训练过程，可参照图5和图7的具体训练过程。因此，在此将不对其进行赘述。
基于深度学习的解像***，包含：并行化和层次化设计训练模型和解像模型。具有以下优点：
1.具有可扩展性：通过简单扩展硬件，不需要大的改变算法，就可实现对扩容之后的数据进行处理。
2.高效性：将复杂算法部署为并行化设计，不同服务器之间相互独立工作。
2.多变性：模块化设计，可以通过后期的优化更改各功能模块设计方案。
应当理解，当称“元件”“连接到”或“耦接”到另一元件时，它可以是直接连接或耦接到另一元件或者可以存在中间元件。相反，当称元件“直接连接到”或“直接耦接到”另一元件时，不存在中间元件。相同的附图标记指示相同的元件。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
应当理解，尽管这里可以使用术语第一、第二、第三等描述各个元件、组件和/或部分，但这些元件、组件和/或部分不受这些术语限制。这些术语仅仅用于将元件、组件或部分相互区分开来。因此，下面讨论的第一元件、组件或部分在不背离本发明教学的前提下可以称为第二元件、组件或部分。
这里使用的术语仅仅是为了描述特定实施例的目的，而并不意图限制本发明。这里使用的单数形式“一”、“一个”和“那(这个)”也意图包含复数形式，除非上下文中明确地指出不包含。应当理解，术语“包括”当用在本说明书中时指示所述特征、整数、步骤、操作、元件和/或组件的存在，但并不排除一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合的存在或添加。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
这里参照支持根据本发明实施例的方法、装置(***)的方框图和流程图描述本发明示例性实施例。应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图的方框组合可以通过计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得通过计算机或其他可编程数据处理装置的处理器执行的指令创建实现流程图和/或方框图方框中指定功能/动作的手段。
这些计算机程序指令也可以存储在计算机可读存储器中，可以引导计算机或其他可编程数据处理装置以特定方式运行，使得存储在计算机可读存储器中的指令产生包括实现流程图和/或方框图方框中指定功能/动作的指令手段的制造物品。
计算机程序指令还可以加载到计算机或其他可编程数据处理装置上，导致在计算机或其他可编程装置上执行一系列操作步骤来产生计算机实现的处理，使得计算机或其他可编程装置上执行的指令提供实现流程图和/或方框图方框中指定功能/动作的步骤。每个方框可以表示代码模块、片断或部分，其包括一个或多个用来实现指定逻辑功能的可执行指令。还应当注意，在其他实现中，方框中标出的功能可能不按图中标出的顺序发生。例如，根据所涉及的功能，连续示出的两个方框可能实际上基本上并发地执行，或者方框有时可能以相反的顺序执行。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (22)

1.一种解像方法，包括：
a.利用原始高分辨率图像集建立样本库；
b.利用样本库对卷积结构网络进行训练；
c.利用训练后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号，
其中，所述样本库包括人脸特征样本库，步骤a进一步包括：
对原始高分辨率图像集进行下采样处理得到低分辨率图像集；
使用人脸特征提取方法提取低分辨率图像的人脸特征信息；
对高分辨率图像进行人脸特征点标记，以获得高分辨率图像的人脸特征信息；
利用提取的低分辨率图像的人脸特征信息和标记的高分辨率图像的人脸特征信息建立用于对卷积结构网络进行训练的人脸特征样本库，其包含低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对，
步骤b进一步包括：
对高分辨率图像的人脸特征信息分别进行高通滤波和低通滤波以得到高通滤波人脸结果和低通滤波人脸结果；
将高通滤波人脸结果和低通滤波人脸结果叠加并进行特征分类，得到高分辨率图像的人脸特征信息的细节模板作为卷积结构网络的反馈信号。
2.如权利要求1所述的解像方法，其中，步骤b进一步包括：
对人脸特征样本库中的低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对进行相关性分析，得到卷积结构网络的第一滤波参数；
采用低分辨率图像的人脸特征信息作为卷积结构网络的输入信号，调整卷积结构网络中的第一滤波参数，以使得采用调整后的第一滤波参数对输入信号进行处理后的卷积结构网络输出的预测结果信号与反馈信号相同。
3.如权利要求2所述的解像方法，其中，步骤c进一步包括：
输入低分辨率图像的人脸特征信息；
基于调整后的第一滤波参数，利用卷积结构网络对输入的低分辨率图像的人脸特征信息进行处理；
输出经卷积结构网络处理的高分辨率图像的人脸特征信息。
4.如权利要求2或3所述的解像方法，其中，所述样本库还包括图像样本库。
5.如权利要求4所述的解像方法，其中，步骤a进一步包括：
利用低分辨率图像集和高分辨率图像集建立包含低分辨率图像和相关的高分辨率图像对的图像样本库。
6.如权利要求5所述的解像方法，其中，步骤b进一步包括：
对低分辨率图像和相关的高分辨率图像对进行相关性分析，得到卷积结构网络的第二滤波参数；
对高分辨率图像分别进行高通滤波和低通滤波以得到高通滤波结果和低通滤波结果；将高通滤波结果和低通滤波结果叠加并进行特征分类，得到高分辨率图像的细节模板作为卷积结构网络的反馈信号；
采用低分辨率图像作为卷积结构网络的输入信号，调整卷积结构网络中的第二滤波参数，以使得采用调整后的第二滤波参数对输入信号进行处理后的卷积结构网络输出的预测结果信号与反馈信号相同。
7.如权利要求6所述的解像方法，其中，步骤c进一步包括：
输入低分辨率的图像；
基于调整后的第二滤波参数，利用卷积结构网络对输入的低分辨率的图像进行处理；
输出经卷积结构网络处理的高分辨率的图像。
8.如权利要求7所述的解像方法，其中，卷积结构网络是由多个卷积层和激励层交替连接而成。
9.如权利要求8所述的解像方法，其中，每个卷积层都可以包括多个具有可调整滤波参数的滤波单元，其中，每个滤波单元采用公式F(x)＝Wx+b进行卷积操作，其中，W和b是滤波参数，x是输入，F(x)为输出。
10.如权利要求9所述的解像方法，当根据如下公式得到的J(W,b)小于第一阈值时，确定预测结果信号与反馈信号相同，
其中J(W,b)表示错误率，m表示人脸特征样本库中图像集的个数，表示反馈信号，表示预测结果信号，hW,b表示权重系数。
11.如权利要求10所述的解像方法，当预测结果信号与反馈信号不相同时，对于每个滤波参数，计算J(W,b)的偏导数，并根据偏导数调整第一滤波参数或第二滤波参数。
12.如权利要求11所述的解像方法，其中，所述第一滤波参数是用于卷积结构网络的分类器滤波参数。
13.一种解像***，包括：
样本库构建装置，被配置以利用原始高分辨率图像集建立样本库；
训练装置，被配置以利用样本库对卷积结构网络进行训练；
输出装置，被配置以利用训练后的卷积结构网络对低分辨率的输入信号进行处理以得到高分辨率的输出信号，
其中，所述样本库包括人脸特征样本库，样本库构建装置进一步包括：
下采样单元，被配置以对原始高分辨率图像集进行下采样处理得到低分辨率图像集；
人脸解析单元，被配置以使用人脸特征提取方法提取低分辨率图像的低分辨率图像的人脸特征信息；
特征点标记单元，被配置以对高分辨率图像进行人脸特征点标记，以获得高分辨率图像的人脸特征信息；
人脸特征样本库建立单元，被配置以利用提取的低分辨率图像的人脸特征信息和标记的高分辨率图像的人脸特征信息建立用于对卷积结构网络进行训练的人脸特征样本库，其包含低分辨率图像的人脸特征信息和相关的高分辨率图像的人脸特征信息对，
训练装置还被配置以对高分辨率图像的人脸特征信息分别进行高通滤波和低通滤波以得到高通滤波人脸结果和低通滤波人脸结果；并将高通滤波人脸结果和低通滤波人脸结果叠加并进行特征分类，得到高分辨率图像的人脸特征信息的细节模板作为卷积结构网络的反馈信号。
14.如权利要求13所述的解像***，其中，训练装置进一步包括：
训练单元，被配置以对人脸特征样本库中的低分辨率图像和高分辨率图像的人脸特征信息对进行训练以得到第一滤波参数，采用低分辨率图像的人脸特征信息作为卷积结构网络的输入信号，调整卷积结构网络中的第一滤波参数，以使得采用调整后的第一滤波参数对输入信号进行处理后的卷积结构网络输出的预测结果信号与反馈信号相同。
15.如权利要求14所述的解像***，其中，输出装置进一步包括：
输入单元，被配置以输入低分辨率图像的人脸特征信息；
卷积结构网络，被配置以基于调整后的第一滤波参数，利用卷积结构网络对输入的低分辨率图像的人脸特征信息进行处理；
输出单元，被配置以输出经卷积结构网络处理的高分辨率图像的人脸特征信息。
16.如权利要求14或15所述的解像***，其中，所述样本库还包括图像样本库。
17.如权利要求16所述的解像***，其中，样本库构建装置进一步包括：
图像样本库建立单元，被配置以利用低分辨率图像和高分辨率图像建立包含低分辨率图像和相关的高分辨率图像对的图像样本库。
18.如权利要求17所述的解像***，其中，
输入单元，被进一步配置以输入低分辨率的人脸特征信息和/或图像；
卷积结构网络，被进一步配置以基于调整后的第一和/或第二滤波参数，利用卷积结构网络对输入的低分辨率的人脸特征信息和/或图像进行处理；
输出单元，被进一步配置以输出经卷积结构网络处理的高分辨率的人脸特征信息和/或图像。
19.如权利要求18所述的解像***，其中，卷积结构网络是由多个卷积层和激励层交替连接而成。
20.如权利要求19所述的解像***，其中，每个卷积层都可以包括多个具有可调整滤波参数的滤波单元，其中，每个滤波单元采用公式F(x)＝Wx+b进行卷积操作，其中，W和b是滤波参数，x是输入，F(x)为输出。
21.如权利要求20所述的解像***，当根据如下公式得到的J(W,b)小于第一阈值时，确定预测结果信号与反馈信号相同，
其中J(W,b)表示错误率，m表示人脸特征样本库中图像集的个数，表示反馈信号，表示预测结果信号，hW,b表示权重系数。
22.如权利要求21所述的解像***，当预测结果信号与反馈信号不相同时，对于每个滤波参数，计算J(W,b)的偏导数，并根据偏导数调整第一滤波参数或第二滤波参数。
CN201610161589.2A 2016-03-21 2016-03-21 基于深度学习的解像方法和*** Active CN105847968B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610161589.2A CN105847968B (zh) 2016-03-21 2016-03-21 基于深度学习的解像方法和***
PCT/CN2016/086494 WO2017161710A1 (zh) 2016-03-21 2016-06-21 基于深度学习的解像方法和***
US15/537,677 US10769758B2 (en) 2016-03-21 2016-06-21 Resolving method and system based on deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610161589.2A CN105847968B (zh) 2016-03-21 2016-03-21 基于深度学习的解像方法和***

Publications (2)

Publication Number Publication Date
CN105847968A CN105847968A (zh) 2016-08-10
CN105847968B true CN105847968B (zh) 2018-12-21

Family

ID=56588161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610161589.2A Active CN105847968B (zh) 2016-03-21 2016-03-21 基于深度学习的解像方法和***

Country Status (3)

Country Link
US (1) US10769758B2 (zh)
CN (1) CN105847968B (zh)
WO (1) WO2017161710A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138603A1 (en) * 2017-01-26 2018-08-02 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and electronic device including the semiconductor device
US10489887B2 (en) 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
CN107633218B (zh) * 2017-09-08 2021-06-08 百度在线网络技术（北京）有限公司 用于生成图像的方法和装置
JPWO2019181137A1 (ja) * 2018-03-23 2021-03-25 ソニー株式会社 情報処理装置および情報処理方法
CN108875904A (zh) * 2018-04-04 2018-11-23 北京迈格威科技有限公司 图像处理方法、图像处理装置和计算机可读存储介质
CN109977963B (zh) * 2019-04-10 2021-10-15 京东方科技集团股份有限公司 图像处理方法、设备、装置以及计算机可读介质
CN112215761A (zh) * 2019-07-12 2021-01-12 华为技术有限公司 图像处理方法、装置及设备
CN110543815B (zh) * 2019-07-22 2024-03-08 平安科技（深圳）有限公司 人脸识别模型的训练方法、人脸识别方法、装置、设备及存储介质
CN111899252B (zh) * 2020-08-06 2023-10-27 腾讯科技（深圳）有限公司 基于人工智能的病理图像处理方法和装置
CN112580617B (zh) * 2021-03-01 2021-06-18 中国科学院自动化研究所 自然场景下的表情识别方法和装置
CN113658040B (zh) * 2021-07-14 2024-07-16 北京海百川科技有限公司 一种基于先验信息和注意力融合机制的人脸超分辨方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899830A (zh) * 2015-05-29 2015-09-09 清华大学深圳研究生院 一种图像超分辨方法
WO2015141463A1 (en) * 2014-03-20 2015-09-24 Mitsubishi Electric Corporation Method for processing input low-resolution (lr) image to output high-resolution (hr) image
CN105120130A (zh) * 2015-09-17 2015-12-02 京东方科技集团股份有限公司 一种图像升频***、其训练方法及图像升频方法
CN204948182U (zh) * 2015-09-17 2016-01-06 京东方科技集团股份有限公司 一种图像升频***及显示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216889A (zh) * 2008-01-14 2008-07-09 浙江大学 一种融合全局特征与局部细节信息的人脸图像超分辨率方法
CN101299235B (zh) * 2008-06-18 2010-06-02 中山大学 一种基于核主成分分析的人脸超分辨率重构方法
CN101477684B (zh) * 2008-12-11 2010-11-10 西安交通大学 一种利用位置图像块重建的人脸图像超分辨率方法
KR20110065997A (ko) * 2009-12-10 2011-06-16 삼성전자주식회사 영상처리장치 및 영상처리방법
CN101719270B (zh) 2009-12-25 2012-01-11 武汉大学 一种基于非负矩阵分解的人脸超分辨率处理方法
JP5706177B2 (ja) 2010-02-09 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 超解像処理装置及び超解像処理方法
CN101950415B (zh) * 2010-09-14 2011-11-16 武汉大学 一种基于形状语义模型约束的人脸超分辨率处理方法
US8743119B2 (en) * 2011-05-24 2014-06-03 Seiko Epson Corporation Model-based face image super-resolution
JP5723249B2 (ja) * 2011-09-13 2015-05-27 日本電子株式会社 信号処理方法、及び信号処理装置
CN103020940B (zh) * 2012-12-26 2015-07-15 武汉大学 一种基于局部特征转换的人脸超分辨率重建方法
JP6767966B2 (ja) * 2014-04-09 2020-10-14 エントルピー インコーポレーテッドＥｎｔｒｕｐｙ Ｉｎｃ． 微視的差異からの機械学習を使用する物体の真贋鑑定
CN105960657B (zh) * 2014-06-17 2019-08-30 北京旷视科技有限公司 使用卷积神经网络的面部超分辨率

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141463A1 (en) * 2014-03-20 2015-09-24 Mitsubishi Electric Corporation Method for processing input low-resolution (lr) image to output high-resolution (hr) image
CN104899830A (zh) * 2015-05-29 2015-09-09 清华大学深圳研究生院 一种图像超分辨方法
CN105120130A (zh) * 2015-09-17 2015-12-02 京东方科技集团股份有限公司 一种图像升频***、其训练方法及图像升频方法
CN204948182U (zh) * 2015-09-17 2016-01-06 京东方科技集团股份有限公司 一种图像升频***及显示装置

Also Published As

Publication number Publication date
US10769758B2 (en) 2020-09-08
CN105847968A (zh) 2016-08-10
WO2017161710A1 (zh) 2017-09-28
US20180089803A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN105847968B (zh) 基于深度学习的解像方法和***
CN107204010B (zh) 一种单目图像深度估计方法与***
WO2017036092A1 (zh) 超解像方法和***、服务器、用户设备及其方法
CN105426827B (zh) 活体验证方法、装置和***
CN108073876A (zh) 面部解析设备和面部解析方法
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN107784293A (zh) 一种基于全局特征和稀疏表示分类的人体行为识别方法
CN107729948A (zh) 图像处理方法及装置、计算机产品和存储介质
CN105917354A (zh) 用于图像处理的空间金字塔池化网络
CN106874857A (zh) 一种基于视频分析的活体判别方法及***
Jiang et al. A deep evaluator for image retargeting quality by geometrical and contextual interaction
CN101950422B (zh) 一种基于奇异值分解的图像质量评价方法
CN107993194A (zh) 一种基于平稳小波变换的超分辨率重建方法
CN107424145A (zh) 基于三维全卷积神经网络的核磁共振图像的分割方法
Chen et al. Boundary-aware network for fast and high-accuracy portrait segmentation
Zhang et al. Video salient region detection model based on wavelet transform and feature comparison
Tan et al. Computational aesthetics of photos quality assessment based on improved artificial neural network combined with an autoencoder technique
Kanimozhi et al. Brain MR image segmentation using self organizing map
CN111062329A (zh) 基于增广网络的无监督行人重识别方法
Luvizon et al. Adaptive multiplane image generation from a single internet picture
Kong Technique for image fusion based on NSST domain INMF
Maity et al. Multimodal low resolution face and frontal gait recognition from surveillance video
CN113076918B (zh) 基于视频的人脸表情克隆方法
CN115631285B (zh) 基于统一驱动的人脸渲染方法、装置、设备及存储介质
CN113554047A (zh) 图像处理模型的训练方法、图像处理方法及对应的装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant