图像的超分辨率重建方法及装置
技术领域
本发明涉及图像处理技术领域,具体涉及一种图像的超分辨率重建方法及装置。
背景技术
超分辨率算法是指由低分辨率图像恢复出高分辨率图像。高分辨率图像的像素密度更高,可以提供更多的细节。单幅图像的超分辨率算法主要分为三类:基于插值的方法、基于重建的方法和基于学习的方法。
目前,比较热门的是基于学习的方法中的基于深度神经网络的方法。基于深度神经网络的超分辨率方法中,主要采用的是CNN(Convolutional Neural Network,卷积神经网络)。如输入图像分辨率为MxN,经过CNN处理后,得到s倍放大的图像。从3层的超分辨率重建卷积神经网络到20层的VDSR,再到100层左右的EDSR。随着神经网络不断加深,计算量越来越大。
现有技术(CN 107194872 A)公开了一种基于内容感知深度学习网络的遥感图像超分辨率重建方法,该方案中针对遥感图像,将训练样本分块后,根据图像块的复杂度分成高中低三类,构建出三种不同的训练集,分别用于三种不同复杂度的GAN网络训练。在输入图像时,将图像分块,根据图像块的复杂度,选择该复杂度对应的一种GAN网络模型进行超分辨率处理。
发明人在实现本发明的过程中发现,现有技术对于整幅图像都是利用单一的技术进行超分辨率重建,这种方式的处理效果不够理想,现有技术中缺乏一种具有针对性的超分辨率重建方式。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的图像的超分辨率重建方法和装置。
根据本发明的一个方面,提供了一种图像的超分辨率重建方法,包括:
构建超分辨率网络模型;
对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型;
基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
可选地,构建超分辨率网络模型进一步包括:构建针对于目标对象的超分辨率网络模型;
对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型进一步包括:
对待处理图像进行目标识别处理,根据识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型;
基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建进一步包括:
基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果;以及,
按照预设的超分辨率算法,对待处理图像中除目标区域之外的其他区域所包含的图像块进行放大处理,得到放大处理结果;
将目标重建结果与放大处理结果进行融合处理,得到待处理图像的超分辨率重建结果。
可选地,当识别结果包含至少两个目标的识别结果时,则将目标重建结果与放大处理结果进行融合处理进一步包括:
判断各个目标区域进行超分辨率重建之后得到的目标重建区域之间是否交叠;
若是,确定各个目标区域对应的目标重建区域之间的交叠区域,针对交叠区域中任一像素点,根据该像素点到与交叠区域关联的各个目标重建区域的中心之间的距离,确定与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的融合权重;
计算与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的加权和,得到该像素点的超分辨率重建结果;
将与交叠区域关联的各个目标重建区域中除交叠区域之外的其他区域所对应的重建结果与放大处理结果进行融合。
可选地,将目标重建结果与放大处理结果进行融合处理进一步包括:
确定目标区域进行超分辨率重建之后得到的目标重建区域与待处理图像中的其他区域进行放大之后得到的放大区域之间的交界区域;
针对于交界区域中的任一像素点,确定目标重建结果中该像素点的重建结果的融合权重,以及放大结果中该像素点的放大结果的融合权重;
计算该像素点的重建结果以及该像素点的放大结果的加权和,得到该像素点的超分辨率重建结果;
将目标重建区域中除交界区域之外的其他区域的目标重建结果,与放大区域中除交界区域之外的其他区域的放大结果进行融合。
可选地,对待处理图像进行识别处理进一步包括:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理;
则基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建之前,进一步包括:
根据下采样处理时的比例,将识别出的下采样图像中的目标区域的位置信息进行放大,根据放大后的位置信息确定待处理图像中的目标区域。
可选地,构建超分辨率网络模型进一步包括:
构建针对于图像场景的超分辨率网络模型;
则对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型进一步包括:
对待处理图像进行场景识别处理,根据识别出的图像场景筛选相应的针对于图像场景的超分辨率网络模型。
可选地,对待处理图像进行识别处理进一步包括:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。
根据本发明的另一方面,提供了一种图像的超分辨率重建装置,包括:
模型构建模块,适于构建超分辨率网络模型。
识别模块,适于对待处理图像进行识别处理。
筛选模块,适于根据识别结果筛选相应的超分辨率网络模型。
重建模块,适于基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
可选地,模型构建模块进一步适于:构建针对于目标对象的超分辨率网络模型;
则识别模块进一步适于:对待处理图像进行目标识别处理;
筛选模块进一步适于:根据识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型;
重建模块进一步适于:
基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果;以及,按照预设的超分辨率算法,对待处理图像中除目标区域之外的其他区域所包含的图像块进行放大处理,得到放大处理结果;
将目标重建结果与放大处理结果进行融合处理,得到待处理图像的超分辨率重建结果。
可选地,当识别结果包含至少两个目标的识别结果时,重建模块进一步适于:
判断各个目标区域进行超分辨率重建之后得到的目标重建区域之间是否交叠;
若是,确定各个目标区域对应的目标重建区域之间的交叠区域,针对交叠区域中任一像素点,根据该像素点到与交叠区域关联的各个目标重建区域的中心之间的距离,确定与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的融合权重;
计算与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的加权和,得到该像素点的超分辨率重建结果;
将与交叠区域关联的各个目标重建区域中除交叠区域之外的其他区域所对应的重建结果与放大处理结果进行融合。
可选地,重建模块进一步适于:
确定目标区域进行超分辨率重建之后得到的目标重建区域与待处理图像中的其他区域进行放大之后得到的放大区域之间的交界区域;
针对于交界区域中的任一像素点,确定目标重建结果中该像素点的重建结果的融合权重,以及放大结果中该像素点的放大结果的融合权重;
计算该像素点的重建结果以及该像素点的放大结果的加权和,得到该像素点的超分辨率重建结果;
将目标重建区域中除交界区域之外的其他区域的目标重建结果,与放大区域中除交界区域之外的其他区域的放大结果进行融合。
可选地,识别模块进一步适于:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理;
装置进一步包括:区域还原模块,适于根据下采样处理时的比例,将识别出的下采样图像中的目标区域的位置信息进行放大,根据放大后的位置信息确定待处理图像中的目标区域。
可选地,模型构建模块进一步适于:
构建针对于图像场景的超分辨率网络模型;
则识别模块进一步适于:对待处理图像进行场景识别处理;
筛选模块进一步适于:根据识别出的图像场景筛选相应的针对于图像场景的超分辨率网络模型。
可选地,识别模块进一步适于:对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。
根据本发明的又一方面,提供了一种计算设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行上述图像的超分辨率重建方法对应的操作。
根据本发明的再一方面,提供了一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如上述图像的超分辨率重建方法对应的操作。
根据本发明实施例提供的一种图像的超分辨率重建方法及装置,通过构建超分辨率网络模型;对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型;基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。本发明实施例提供了一种面向对象的超分辨率重建方法,通过构建不同的超分辨率神经网络模型,输入图像时,对图像内容进行检测识别,对不同识别结果采用不同的超分辨率网络模型进行重建,能够提升超分辨率重建的精度和视觉效果。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的图像的超分辨率重建方法的流程图;
图2示出了本发明另一实施例提供的图像的超分辨率重建方法的流程图;
图3示出了本发明另一实施例提供的图像的超分辨率重建方法的流程图;
图4示出了本发明一个实施例中交叠区域的示意图;
图5示出了本发明另一实施例提供的图像的超分辨率重建方法的流程图;
图6示出了本发明图像的超分辨率重建装置实施例的结构示意图;
图7示出了本发明计算设备实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
图1示出了本发明实施例提供的图像的超分辨率重建方法的流程图,如图1所示,该方法包括以下步骤:
步骤S101,构建超分辨率网络模型。
例如,构建针对于不同图像场景的超分辨率网络模型,如针对于城市场景、自然风光场景等场景的超分辨率网络模型,和/或针对于不同的类别目标构建超分辨率网络模型,如针对于人脸、植物等不同类别的目标的超分辨率网络模型。
步骤S102,对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型。
对待处理模型进行检测识别,识别出待处理图像的图像场景或者待处理图像所包含的目标,然后根据识别结果筛选相应的超分辨率网络模型。
步骤S103,基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
沿用上述示例,如果识别出待处理图像是城市场景的,则筛选出针对于城市场景的超分辨率网络模型,对待处理图像完成超分辨率重建处理。如果识别出待处理图像包含人脸目标,则筛选出针对于人脸的超分辨率网络模型,对待处理图像完成超分辨率重建处理。
根据本发明实施例的图像的超分辨率重建方法,该方法是一种面向对象的超分辨率方法,通过构建不同的超分辨率神经网络模型,输入图像时,对图像内容进行检测识别,对不同识别结果采用专门的超分辨率网络模型进行重建,实现了有针对性的图像超分辨率重建,能够提升超分辨率重建的精度和视觉效果。
图2示出了本发明另一实施例提供的图像的超分辨率重建方法的流程图,如图2所示,该方法包括以下步骤:
步骤S201,构建针对于目标对象的超分辨率网络模型。
针对于不同类别的目标对象,根据目标对象的训练集进行超分辨率网络训练。例如,根据人脸、文字、植物、建筑等目标训练集,训练针对于人脸、文字、植物、建筑等目标对象的超分辨率网络模型。
步骤S202,对待处理图像进行目标识别处理,根据识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型。
对待处理图像进行目标识别处理,识别出待处理图像所包含的目标对象,并根据识别出的目标对象筛选相应的超分辨率网络模型。例如,识别出待处理图像中包含的人脸,则筛选出针对于人脸的超分辨率网络模型。
在一种可选的方式中,对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。为了降低复杂度,将待处理图像下采样,得到尺寸较小的图像进行场景的分类。在这种方式中,步骤S203之前,还包括以下步骤:根据下采样处理时的比例,将识别出的下采样图像中的目标区域的位置信息进行放大,根据放大后的位置信息确定待处理图像中的目标区域。
步骤S203,基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果。
沿用上述示例,基于筛选的人脸对应的超分辨率网络模型,对待处理图像中的人脸区域所包含的图像块完成超分辨率重建,得到目标重建结果。其中,当待处理图像包括多个目标时,则分别针对于每一个识别出的目标,筛选出该目标相应的超分辨率网络,并基于筛选的超分辨率网络模型对目标区域所包含的图像块完成超分辨率重建。
步骤S204,按照预设的超分辨率算法,对待处理图像中除目标区域之外的其他区域所包含的图像块进行放大处理,得到放大处理结果。
对于待处理图像中除目标区域之外的其他区域,对该其他区域所包含的图像块,采用其他训练集训练出的神经网络模型或者使用其他常规的超分辨率方法(如多相位滤波器的插值方法)进行放大,得到放大处理结果。
步骤S205,将目标重建结果与放大处理结果进行融合处理,得到待处理图像的超分辨率重建结果。
将目标区域的目标重建结果与待处理图像中除目标区域之外的其他区域的放大处理结果进行融合,得到待处理图像的超分辨率重建结果。
本发明实施例中,为了让重建结果在目标区域和非目标区域的边界过渡平滑,进一步提升图像重建结果的精细度,提供了一种针对目标区域与其他非目标区域之间的交界区域的重建结果的确定方法。具体如下:
首先,确定目标区域进行超分辨率重建之后得到的目标重建区域与待处理图像中的其他区域进行放大之后得到的放大区域之间的交界区域;其次,针对于交界区域中的任一像素点,确定目标重建结果中该像素点的重建结果的融合权重,以及放大结果中该像素点的放大结果的融合权重;然后,计算该像素点的重建结果以及该像素点的放大结果的加权和,得到该像素点的超分辨率重建结果。其中,像素点的超分辨率重建结果也就是像素点的色彩值等,例如RGB值。例如,交界区域可以由从边界(目标重建区域和放大区域的边界)向目标重建区域延伸的部分区域和向放大区域延伸的部分区域构成,但本发明方案并不以此为限。
交界区域的重建结果需要结合超分辨率网络模型的重建结果以及放大结果。举例来说,将位于交界区域且位于目标重建区域内像素点初始权重设为1,位于交界区域内但位于目标重建区域之外的像素点初始权重设为0,对交界区域内每个像素点计算以其为中心MxN窗口大小内初始权重的平均值,作为其使用目标重建结果的融合权重w,其使用放大结果的融合权重为1-w。具体公式如下:
out=w*out1+(1-w)*out2
其中,out1代表基于超分辨率网络模型得到的重建结果,out2代表基于预设的超分辨率算法得到的放大结果。
至此,得到了交界区域中每一个像素点的重建结果,也即得到了交界区域的重建结果。
然后,将目标重建区域中除交界区域之外的其他区域的目标重建结果,与放大区域中除交界区域之外的其他区域的放大结果进行融合。
至此,得到了整个待处理图像的超分辨率重建结果。
根据本发明实施例的图像的超分辨率重建方法,该方法是一种面向对象的超分辨率方法,构建针对于不同目标对象的超分辨率神经网络模型,输入图像时,对图像中的目标进行检测识别,对不同的目标采用专门的超分辨率模型进行重建,对不属于目标区域的其他区域采用其他方法进行放大,最终对目标区域的超分辨率重建结果和其他区域的放大结果进行融合,得到待处理图像的超分辨率重建结果,并且,针对目标与其他内容的交界区域,将两种结果进行融合从而得到交界处的超分辨率重建结果,该方式能够提升超分辨率重建的精度和视觉效果。
图3示出了本发明另一实施例提供的图像的超分辨率重建方法的流程图,如图3所示,该方法包括以下步骤:
步骤S301,构建针对于目标对象的超分辨率网络模型。
步骤S302,对待处理图像进行目标识别处理,当识别结果包含至少两个目标的识别结果时,分别根据至少两个识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型。
当待处理图像包含至少两个目标时,通过对待处理图像进行目标识别处理,能够得到至少两个目标的识别结果,则分别根据至少两个识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型。例如,识别出待处理图像中包含人脸和植物,则筛选出针对于人脸的超分辨率重建网络模型,以及筛选出针对于植物的超分辨率重建网络模型。
步骤S303,基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果。
沿用上述示例,针对于识别出的人脸区域所包含的各个图像块,利用针对于人脸的超分辨率网络模型完成超分辨率重建,得到人脸区域的重建结果;同时,针对于识别出植物区域所包含的各个图像块,利用针对于植物的超分辨率网络模型完成超分辨率重建,得到植物区域的重建结果。
步骤S304,按照预设的超分辨率算法,对待处理图像中的其他区域所包含的图像块进行放大处理,得到放大处理结果。
对于待处理图像中除目标区域之外的其他区域,对该其他区域所包含的图像块,采用其他训练集训练出的神经网络模型或者使用其他常规的超分辨率方法(如多相位滤波器的插值方法)进行放大,得到放大处理结果。
步骤S305,判断各个目标区域进行超分辨率重建之后得到的目标重建区域之间是否交叠。
本实施例中,由于待处理图像中包含至少两个目标,那么检测识别出的各个目标的目标区域之间可能会交叠,那么各个目标区域进行高分辨率重建之后,得到的目标重建区域之间也会交叠,本实施例提供了一种针对于交叠区域的高分辨率重建方法。具体地,各个目标区域的重建完成之后,判断各个目标区域的目标重建区域是否交叠。
步骤S306,若交叠,确定各个目标区域对应的目标重建区域之间的交叠区域,针对交叠区域中任一像素点,根据该像素点到与交叠区域关联的各个目标重建区域的中心之间的距离,确定与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的融合权重。
图4示出了本发明一个实施例中交叠区域的示意图,如图4所示,这里假设上述人脸区域的目标重建区域为第一目标重建区域,植物区域的目标重建区域为第二目标重建区域,第一目标重建区域和第二目标重建区域之间存在交叠,与该交叠区域关联的各个目标重建区域也就是第一目标重建区域和第二目标重建区域。针对于交叠区域中的任一像素点,根据该像素点到第一目标重建区域的中心的距离以及到第二目标重建区域的中心的距离,确定该像素点使用其第一目标重建结果的权重以及使用其第二目标重建结果的权重。其中,像素点的超分辨率重建结果也就是像素点的色彩值等,例如RGB值。
具体地,第一目标重建结果中该像素点的重建结果的融合权重w1的计算公式为:
第二目标重建结果中该像素点的重建结果的融合权重w2的计算公式为:
步骤S307,计算与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的加权和,得到该像素点的超分辨率重建结果。
然后计算该像素点的第一目标重建结果以及第二目标重建结果的加权和,得到该像素点最终的重建结果。该像素点最终的重建结果的计算公式为:
out=w1*out1+w2*out2
其中,d1表示的是像素点到第一目标重建区域的中心的距离,d2表示的是像素点到第二目标重建区域的中心的距离,out1表示的是第一目标重建结果中像素点的重建结果,out2表示的是第二目标重建结果中像素点的重建结果。
至此,得到了交叠区域中每一个像素点的超分辨率重建结果。
步骤S308,将与交叠区域关联的各个目标重建区域中除交叠区域之外的其他区域所对应的重建结果与放大处理结果进行融合。
通过上述步骤S306-步骤S307确定了交叠区域的超分辨率重建结果,然后,将第一目标重建区域中除交叠区域之外的其他区域的重建结果、第二目标重建区域中除交叠区域之外的其他区域的重建结果、以及待处理图像中除目标区域之外的其他区域的放大结果进行融合,最终,得到待处理图片的超分辨率重建结果。
容易理解的是,当识别结果包含至少两个目标的识别结果时,且判断出各个目标区域的目标重建区域之间不存在交叠,则直接将各个目标区域的目标重建结果和非目标区域的放大结果进行简单合并即可。
需要说明的是,本实施例中以两个目标区域的目标重建区域存在交叠为例进行了说明,但在实际应用中,还可能会存在两个以上的目标重建区域存在交叠的情况,这种情况也可以参照上述计算融合权重的方式计算交叠区域内各个像素点的超分辨率重建结果,在此不进行赘述。
根据本实施例的图像的超分辨率重建方法,该方法是一种面向对象的超分辨率方法,通过构建不同的超分辨率神经网络模型,输入图像时,对图像中的目标进行识别,对识别出的目标区域采用专门的超分辨率神经网络模型进行重建,对图像中的其他非目标区域采用其他方法进行放大,最终对目标区域的超分辨率重建结果和其他区域的放大结果进行融合,得到待处理图像的超分辨率重建结果。并且,针对于各个目标之间的交叠区域,将各个目标的重建结果进行融合从而得到交叠区域的超分辨率重建结果,该方式能够提升超分辨率重建的精度和视觉效果。
图5示出了本发明另一实施例提供的图像的超分辨率重建方法的流程图,如图5所示,该方法包括以下步骤:
步骤S501,构建针对于图像场景的超分辨率网络模型。
构建人脸、文字、花草树木、建筑、风景等其他各类场景相关的训练集,进行超分辨率网络训练,得到针对于图像场景的超分辨率网络模型。
步骤S502,对待处理图像进行场景识别处理,根据识别出的图像场景筛选相应的针对于图像场景的超分辨率网络模型。
检测识别待处理图像的场景,并根据识别图像场景选择相应的针对于图像场景的超分辨率网络模型,例如,待处理图像是山水风景图像,则检测识别出该待处理图像属于风景类图像,则筛选出针对于风景图像的超分辨率网络模型。
可选地,对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。为了降低复杂度,将待处理图像下采样,得到尺寸较小的图像进行场景的分类。
步骤S503,基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
基于筛选的针对于图像场景的超分辨率网络模型,对整个待处理图像进行超分辨率重建,得到待处理图像的超分辨率重建结果。
根据本实施例所提供的图像的超分辨率重建方法,该方法是一种面向对象的超分辨率方法,构建不同图像场景的超分辨率神经网络模型,输入图像时,对图像场景进行检测识别,对不同的场景识别结果采用专门的超分辨率方法,能够提升超分辨率重建的精度和视觉效果。
图6示出了本发明图像的超分辨率重建装置实施例的结构示意图,如图6所示,该装置包括:
模型构建模块61,适于构建超分辨率网络模型。
识别模块62,适于对待处理图像进行识别处理。
筛选模块63,适于根据识别结果筛选相应的超分辨率网络模型。
重建模块64,适于基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
在一种可选的方式中,模型构建模块61进一步适于:构建针对于目标对象的超分辨率网络模型;
则识别模块62进一步适于:对待处理图像进行目标识别处理;
筛选模块63进一步适于:根据识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型;
重建模块64进一步适于:基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果;以及,按照预设的超分辨率算法,对待处理图像中除目标区域之外的其他区域所包含的图像块进行放大处理,得到放大处理结果;
将目标重建结果与放大处理结果进行融合处理,得到待处理图像的超分辨率重建结果。
在一种可选的方式中,当识别结果包含至少两个目标的识别结果时,重建模块64进一步适于:判断各个目标区域进行超分辨率重建之后得到的目标重建区域之间是否交叠;
若是,确定各个目标区域对应的目标重建区域之间的交叠区域,针对交叠区域中任一像素点,根据该像素点到与交叠区域关联的各个目标重建区域的中心之间的距离,确定与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的融合权重;
计算与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的加权和,得到该像素点的超分辨率重建结果;
将与交叠区域关联的各个目标重建区域中除交叠区域之外的其他区域所对应的重建结果与放大处理结果进行融合。
在一种可选的方式中,重建模块64进一步适于:
确定目标区域进行超分辨率重建之后得到的目标重建区域与待处理图像中的其他区域进行放大之后得到的放大区域之间的交界区域;
针对于交界区域中的任一像素点,确定目标重建结果中该像素点的重建结果的融合权重,以及放大结果中该像素点的放大结果的融合权重;
计算该像素点的重建结果以及该像素点的放大结果的加权和,得到该像素点的超分辨率重建结果;
将目标重建区域中除交界区域之外的其他区域的目标重建结果,与放大区域中除交界区域之外的其他区域的放大结果进行融合。
在一种可选的方式中,识别模块62进一步适于:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理;
装置进一步包括:区域还原模块,适于根据下采样处理时的比例,将识别出的下采样图像中的目标区域的位置信息进行放大,根据放大后的位置信息确定待处理图像中的目标区域。
在一种可选的方式中,模型构建模块61进一步适于:构建针对于图像场景的超分辨率网络模型;
则识别模块62进一步适于:对待处理图像进行场景识别处理:;
筛选模块63进一步适于:根据识别出的图像场景筛选相应的针对于图像场景的超分辨率网络模型。
在一种可选的方式中,识别模块62进一步适于:对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。
本发明实施例提供了一种非易失性计算机存储介质,所述计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述任意方法实施例中的图像的超分辨率重建方法。
可执行指令具体可以用于使得处理器执行以下操作:
构建超分辨率网络模型;
对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型;
基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
构建针对于目标对象的超分辨率网络模型;
对待处理图像进行目标识别处理,根据识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型;
基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果;以及,按照预设的超分辨率算法,对待处理图像中除目标区域之外的其他区域所包含的图像块进行放大处理,得到放大处理结果;
将目标重建结果与放大处理结果进行融合处理,得到待处理图像的超分辨率重建结果。
在一种可选的方式中,当识别结果包含至少两个目标的识别结果时,所述可执行指令使所述处理器执行以下操作:
判断各个目标区域进行超分辨率重建之后得到的目标重建区域之间是否交叠;
若是,确定各个目标区域对应的目标重建区域之间的交叠区域,针对交叠区域中任一像素点,根据该像素点到与交叠区域关联的各个目标重建区域的中心之间的距离,确定与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的融合权重;
计算与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的加权和,得到该像素点的超分辨率重建结果;
将与交叠区域关联的各个目标重建区域中除交叠区域之外的其他区域所对应的重建结果与放大处理结果进行融合。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
确定目标区域进行超分辨率重建之后得到的目标重建区域与待处理图像中的其他区域进行放大之后得到的放大区域之间的交界区域;
针对于交界区域中的任一像素点,确定目标重建结果中该像素点的重建结果的融合权重,以及放大结果中该像素点的放大结果的融合权重;
计算该像素点的重建结果以及该像素点的放大结果的加权和,得到该像素点的超分辨率重建结果;
将目标重建区域中除交界区域之外的其他区域的目标重建结果,与放大区域中除交界区域之外的其他区域的放大结果进行融合。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理;
基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建之前,根据下采样处理时的比例,将识别出的下采样图像中的目标区域的位置信息进行放大,根据放大后的位置信息确定待处理图像中的目标区域。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
构建针对于图像场景的超分辨率网络模型;
对待处理图像进行场景识别处理,根据识别出的图像场景筛选相应的针对于图像场景的超分辨率网络模型。
在一种可选的方式中,所述可执行指令使所述处理器执行以下操作:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。
图7示出了本发明计算设备实施例的结构示意图,本发明具体实施例并不对计算设备的具体实现做限定。
如图7所示,该计算设备可以包括:处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。
其中:处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。通信接口704,用于与其它设备比如客户端或其它服务器等的网元通信。处理器702,用于执行程序710,具体可以执行上述用于计算设备的图像的超分辨率重建方法实施例中的相关步骤。
具体地,程序710可以包括程序代码,该程序代码包括计算机操作指令。
处理器702可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。计算设备包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器706,用于存放程序710。存储器706可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序710具体可以用于使得处理器702执行以下操作:
构建超分辨率网络模型;
对待处理图像进行识别处理,根据识别结果筛选相应的超分辨率网络模型;
基于筛选的超分辨率网络模型,对待处理图像完成超分辨率重建。
在一种可选的方式中,所述程序710使所述处理器702执行以下操作:
构建针对于目标对象的超分辨率网络模型;
对待处理图像进行目标识别处理,根据识别出的目标的类别筛选相应的针对于目标对象的超分辨率网络模型;
基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建,得到目标重建结果;以及,按照预设的超分辨率算法,对待处理图像中除目标区域之外的其他区域所包含的图像块进行放大处理,得到放大处理结果;
将目标重建结果与放大处理结果进行融合处理,得到待处理图像的超分辨率重建结果。
在一种可选的方式中,当识别结果包含至少两个目标的识别结果时,所述程序710使所述处理器702执行以下操作:
判断各个目标区域进行超分辨率重建之后得到的目标重建区域之间是否交叠;
若是,确定各个目标区域对应的目标重建区域之间的交叠区域,针对交叠区域中任一像素点,根据该像素点到与交叠区域关联的各个目标重建区域的中心之间的距离,确定与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的融合权重;
计算与交叠区域关联的各个目标区域的目标重建结果中该像素点的重建结果的加权和,得到该像素点的超分辨率重建结果;
将与交叠区域关联的各个目标重建区域中除交叠区域之外的其他区域所对应的重建结果与放大处理结果进行融合。
在一种可选的方式中,所述程序710使所述处理器702执行以下操作:
确定目标区域进行超分辨率重建之后得到的目标重建区域与待处理图像中的其他区域进行放大之后得到的放大区域之间的交界区域;
针对于交界区域中的任一像素点,确定目标重建结果中该像素点的重建结果的融合权重,以及放大结果中该像素点的放大结果的融合权重;
计算该像素点的重建结果以及该像素点的放大结果的加权和,得到该像素点的超分辨率重建结果;
将目标重建区域中除交界区域之外的其他区域的目标重建结果,与放大区域中除交界区域之外的其他区域的放大结果进行融合。
在一种可选的方式中,所述程序710使所述处理器702执行以下操作:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理;
基于筛选的针对于目标对象的超分辨率网络模型,对识别出的待处理图像中的目标区域所包含的图像块完成超分辨率重建之前,根据下采样处理时的比例,将识别出的下采样图像中的目标区域的位置信息进行放大,根据放大后的位置信息确定待处理图像中的目标区域。
在一种可选的方式中,所述程序710使所述处理器702执行以下操作:
构建针对于图像场景的超分辨率网络模型;
对待处理图像进行场景识别处理,根据识别出的图像场景筛选相应的针对于图像场景的超分辨率网络模型。
在一种可选的方式中,所述程序710使所述处理器702执行以下操作:
对待处理图像进行下采样处理,得到下采样图像,对下采样图像进行识别处理。
在此提供的算法或显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述,构造这类***所要求的结构是显而易见的。此外,本发明实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。上述实施例中的步骤,除有特殊说明外,不应理解为对执行顺序的限定。