CN113888411A - 分辨率提升方法及可读存储介质 - Google Patents
分辨率提升方法及可读存储介质 Download PDFInfo
- Publication number
- CN113888411A CN113888411A CN202111168450.8A CN202111168450A CN113888411A CN 113888411 A CN113888411 A CN 113888411A CN 202111168450 A CN202111168450 A CN 202111168450A CN 113888411 A CN113888411 A CN 113888411A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- training
- super
- network model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 93
- 238000012549 training Methods 0.000 claims abstract description 130
- 238000012937 correction Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 13
- 238000012360 testing method Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000007796 conventional method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种分辨率提升方法及可读存储介质。所述分辨率提升方法包括：待处理图像基于超分辨率网络模型得到第一图像，其中，所述待处理图像为传统拜尔阵列的Raw域图像，所述第一图像为Quad Bayer Raw图像，所述超分辨率网络模型的训练数据基于Quad Bayer Raw图像生成；所述第一图像进行颜色校正得到第二图像；所述第二图像转换得到预设格式的输出图像。如此配置，一方面合理利用了Raw域图像的原始信息，另一方面训练数据的生成方式也比较简单；提升了最终输出图像的清晰度，解决了现有技术中图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊的问题。
Description
技术领域
本发明涉及图像信号处理技术领域，特别涉及一种分辨率提升方法及可读存储介质。
背景技术
在电子图像应用领域，人们期望得到高分辨率的图像。但由于设备、传感器、数据传输等原因，得到的往往是低分辨率图像。
图像超分辨率是由一幅低分辨率(Low resolution简称LR)的图像或者图像序列计算得到高分辨率(High resolution简称HR)的图像，为应用提供更多的图像细节信息。
以下是两种目前基于深度学习的图像超分辨率方法。
方法一：先基于低分辨率的Raw图得到低分辨率YUV图，再基于低分辨率的YUV得到高分辨率YUV图，仅Y通道参与超分辨率计算。方法一中，使用YUV图是相机设备拍摄的Raw图经过多次线性、非线性变换得到的，信息损失较大，因此最终得到的YUV图仍然是相对模糊的。
方法二：低分辨率的Raw图通过神经网络模型直接得到高分辨率的RGB图。方法二中尽管算法本身直接使用Raw图的原始信息没有造成信息丢失，但是方法二中的神经网络模型训练时需要输入图像和输出图像是两种格式的图像，因此构建训练集的过程中，或者输入图像需要进行转换，或者输出图像需要进行转换，转换过程仍然丢失了信息，导致方法二中的神经网络模型的训练结果不佳，从而导致最终的输出图像仍然是相对模糊的。另外，由于方法二的训练集构建过程并不容易，一般都是基于特定的相机进行构建，缺乏泛化能力，不够灵活。
综上所述，现有技术中，图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊。
发明内容
本发明的目的在于提供一种分辨率提升方法及可读存储介质，以解决现有技术中图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊的问题。
为了解决上述技术问题，本发明提供了一种分辨率提升方法，所述分辨率提升方法包括：
待处理图像基于超分辨率网络模型得到第一图像，其中，所述待处理图像为传统拜尔阵列的Raw域图像，所述第一图像为Quad Bayer Raw图像，所述第一图像的长和宽分别为所述待处理图像的长和宽的两倍，所述超分辨率网络模型的训练数据基于Quad BayerRaw图像生成；
所述第一图像进行颜色校正得到第二图像；以及，
所述第二图像转换得到预设格式的输出图像。
可选的，所述第一图像进行颜色校正得到第二图像的步骤包括：
对所述第一图像中的每一个2*2像素组执行：计算
计算K＝L/Q；计算adjLi＝clip(K*Li,Lmin,Lmax)；以及，用adjLi替换Li；
其中，所述2*2像素组中的像素的颜色通道相同，Q表示所述2*2像素组的平均亮度，Li表示第i个像素的亮度值，K表示修正系数，L表示所述2*2像素组对应的所述待处理图像中的一个像素的亮度值，adjLi表示第i个像素的亮度修正值，clip()表示区间取值函数，Lmin表示***支持的亮度值的最小值，Lmax表示***支持的亮度值的最大值，i的取值范围为1到4。
可选的，所述超分辨率网络模型的模型结构为SRCNN、VDSR、DRCN、RED、SRDenseNet、SRGAN、EDSR、IDN、RDN、RCAN和CBDNet中的一者；或者，所述超分辨率网络模型的模型结构为用于图像恢复的网络模型结构中的一者，所述用于图像恢复的网络模型结构包括ResNet、Unet和DenseNet；所述超分辨率网络模型的损失函数为L1损失函数或者混合损失函数。
可选的，所述超分辨率网络模型的模型结构为IDN、VDSR或者DenseNe。
可选的，所述训练数据的生成步骤包括：
Quad Bayer阵列的图像传感器在至少两个预设工况下拍摄，得到原始图像；任意两个所述预设工况的拍摄角度、拍摄距离、光源特征值以及拍摄位置中的至少一者不同。
可选的，所述训练数据的生成步骤包括：
所述原始图像作为原始训练输出图像；以及，
所述原始图像中的2*2像素组的四个像素替换为一个四合一像素得到原始训练输入图像，替换时，所述四合一像素的颜色通道与所述2*2像素组的颜色通道相同，所述四合一像素的亮度值为对应的所述2*2像素组的四个像素的亮度值的平均值。
可选的，所述训练数据包括第一训练输出图像和第一训练输入图像，所述训练数据的生成步骤包括：
切割所述原始训练输出图像得到所述第一训练输出图像；以及，
切割所述原始训练输入图像中相对应的位置，得到所述第一训练输入图像。
可选的，所述训练数据包括第二训练输出图像和第二训练输入图像，所述训练数据的生成步骤包括：
所述第一训练输出图像基于镜像和/或旋转操作，得到所述第二训练输出图像；以及，
所述第一训练输入图像基于相同的操作，得到所述第二训练输入图像。
可选的，所述第一训练输出图像的尺寸为2N×2N，所述第一训练输入图像的尺寸为N×N，其中，N为大于或者等于13的奇数。
为了解决上述技术问题，本发明还提供了一种存储介质，所述存储介质上存储有程序，所述程序运行时，执行上述的分辨率提升方法。
与现有技术相比，本发明提供的分辨率提升方法及可读存储介质中，所述分辨率提升方法包括：待处理图像基于超分辨率网络模型得到第一图像，其中，所述待处理图像为传统拜尔阵列的Raw域图像，所述第一图像为Quad Bayer Raw图像，所述超分辨率网络模型的训练数据基于Quad Bayer Raw图像生成；所述第一图像进行颜色校正得到第二图像；所述第二图像转换得到预设格式的输出图像。如此配置，一方面合理利用了Raw域图像的原始信息，另一方面训练数据的生成方式也比较简单；提升了最终输出图像的清晰度，解决了现有技术中图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊的问题。
附图说明
本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：
图1是本发明一实施例的分辨率提升方法的流程示意图；
图2是本发明一实施例的传统拜尔阵列的Raw域图像转换为Quad Bayer Raw图像的示意图；
图3是本发明一实施例的训练数据的生成步骤的流程示意图；
图4a是本发明一实施例的一张第一训练输出图像；
图4b是图4a所示的图像经过水平镜像后得到的第二训练输出图像；
图4c是图4a所示的图像经过垂直镜像后得到的第二训练输出图像；
图4d是图4a所示的图像经过水平镜像以及逆时针旋转90°后得到的第二训练输出图像；
图4e是图4a所示的图像经过垂直镜像以及逆时针旋转90°后得到的第二训练输出图像；
图5a是测试用的第一待处理图像；
图5b是本发明一实施例的分辨率提升方法对图5a所示的图像处理后得到的第一图像；
图5c是图5a的图像直接进行转换得到的RGB图像；
图5d是本发明一实施例的分辨率提升方法对图5a所示的图像处理后得到的输出结果；
图6a是测试用的第二待处理图像；
图6b是本发明一实施例的分辨率提升方法对图6a所示的图像处理后得到的第一图像；
图6c是图6a的图像直接进行转换得到的RGB图像；
图6d是本发明一实施例的分辨率提升方法对图6a所示的图像处理后得到的输出结果；
图7a是测试用的第三待处理图像直接进行转换得到的RGB图像；
图7b是本发明一实施例的分辨率提升方法对图7a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图7c是现有技术中的方法一对图7a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图7d是现有技术中的方法二对图7a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图8a是测试用的第四待处理图像直接进行转换得到的RGB图像；
图8b是本发明一实施例的分辨率提升方法对图8a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图8c是现有技术中的方法一对图8a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图8d是现有技术中的方法二对图8a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图9a是测试用的第五待处理图像直接进行转换得到的RGB图像；
图9b是本发明一实施例的分辨率提升方法对图9a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图9c是现有技术中的方法一对图9a所示的RGB图像对应的Raw域图像处理后得到的输出结果；
图9d是现有技术中的方法二对图9a所示的RGB图像对应的Raw域图像处理后得到的输出结果。
具体实施方式
为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的核心思想在于提供一种分辨率提升方法及可读存储介质，以解决现有技术中图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊的问题。
以下参考附图进行描述。
请参考图1至图9d，其中，图1是本发明一实施例的分辨率提升方法的流程示意图；图2是本发明一实施例的传统拜尔阵列的Raw域图像转换为Quad Bayer Raw图像的示意图；图3是本发明一实施例的训练数据的生成步骤的流程示意图；图4a是本发明一实施例的一张第一训练输出图像；图4b是图4a所示的图像经过水平镜像后得到的第二训练输出图像；图4c是图4a所示的图像经过垂直镜像后得到的第二训练输出图像；图4d是图4a所示的图像经过水平镜像以及逆时针旋转90°后得到的第二训练输出图像；图4e是图4a所示的图像经过垂直镜像以及逆时针旋转90°后得到的第二训练输出图像；图5a是测试用的第一待处理图像；图5b是本发明一实施例的分辨率提升方法对图5a所示的图像处理后得到的第一图像；图5c是图5a的图像直接进行转换得到的RGB图像；图5d是本发明一实施例的分辨率提升方法对图5a所示的图像处理后得到的输出结果；图6a是测试用的第二待处理图像；图6b是本发明一实施例的分辨率提升方法对图6a所示的图像处理后得到的第一图像；图6c是图6a的图像直接进行转换得到的RGB图像；图6d是本发明一实施例的分辨率提升方法对图6a所示的图像处理后得到的输出结果；图7a是测试用的第三待处理图像直接进行转换得到的RGB图像；图7b是本发明一实施例的分辨率提升方法对图7a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图7c是现有技术中的方法一对图7a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图7d是现有技术中的方法二对图7a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图8a是测试用的第四待处理图像直接进行转换得到的RGB图像；图8b是本发明一实施例的分辨率提升方法对图8a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图8c是现有技术中的方法一对图8a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图8d是现有技术中的方法二对图8a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图9a是测试用的第五待处理图像直接进行转换得到的RGB图像；图9b是本发明一实施例的分辨率提升方法对图9a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图9c是现有技术中的方法一对图9a所示的RGB图像对应的Raw域图像处理后得到的输出结果；图9d是现有技术中的方法二对图9a所示的RGB图像对应的Raw域图像处理后得到的输出结果。
如图1所示，本实施例提供了一种分辨率提升方法，所述分辨率提升方法包括：
S10待处理图像基于超分辨率网络模型得到第一图像，其中，所述待处理图像为传统拜尔阵列的Raw域图像，所述第一图像为Quad Bayer Raw图像，所述第一图像的长和宽分别为所述待处理图像的长和宽的两倍，所述超分辨率网络模型的训练数据基于Quad BayerRaw图像生成；
S20所述第一图像进行颜色校正得到第二图像；以及，
S30所述第二图像转换得到预设格式的输出图像。在本实施例中，预设格式为RGB格式，在其他的实施例中，预设格式也可以是其他的格式。
Quad Bayer为本领域的专有名词，可以大致理解为一种四合一形式的像素结构，但是“四合一像素结构”的中文描述所指代的内容和“Quad Bayer”所指代的内容并不完全相同，因此在本申请全文中保留“Quad Bayer”描述，本领域技术人员可以根据“QuadBayer”毫无疑义地理解其描述的像素结构以及采集该像素结构的图像传感器的内部构造。Raw图是指通过图像传感器获得的未经处理的原始图像，然而“原始图像”的中文描述所指代的内容和“Raw”所指代的内容也并不完全相同，因此在本申请全文中保留“Raw”的描述，本领域技术人员可以根据“Raw”毫无疑义地理解其描述的图像数据的格式和来源。
请参考图2，传统拜尔阵列的Raw域图像(图2左侧)可以理解为在每4个相邻的像素中，颜色通道从左到右从上到下依次为B、G、G、R，而Quad Bayer Raw图像(图2右侧)恰好由若干个2*2像素组组成，在所述2*2像素组中的四个像素的颜色通道相同，并且若将所述2*2像素组视为一个像素则其整体结构与传统拜尔阵列的Raw域图像相对应。因此，通过QuadBayer Raw图像得到所述超分辨率网络模型的训练数据是较为容易的，具体细节在说明书的后续内容中进行描述。
通过背景技术中的分析，现有技术中的方法，或者在进行超分辨率转换时对Raw域图所携带的原始信息利用率不高，或者在模型训练时难以建立训练数据，本质上即训练模型对Raw域图所携带的原始信息利用率不高。因而无论采用哪种方案，对Raw域图所携带的原始信息利用率都不高。在本实施例中，先将传统拜尔阵列的Raw域图像转化为Quad BayerRaw图像，再通过Quad Bayer Raw图像转化为RGB格式的输出图像，事实上，相同分辨率的Quad Bayer Raw域图像得到的RGB图像和相同分辨率的传统拜尔阵列的Raw域图像得到的RGB图像，在清晰程度上是有所下降的。也就是说仅考虑步骤S30的设置，对于得到清晰的图像是不利的，但是如此设置，使得所述超分辨率网络模型的训练数据容易得到，并且训练数据并不丢失Raw域图所携带的原始信息。因此，步骤S10的设置能够提高图像的清晰度。正是因为步骤S30具有降低图像清晰度的不利效果，因此本申请克服了“不能通过Quad BayerRaw图像提高图像清晰度”的技术偏见，选择了步骤S10和步骤S30结合的方案，得到两者综合后的清晰度较高的有益效果。另外，发明人还发现基于Quad Bayer Raw图像的训练集会导致亮度上存在差异，因此补充了步骤S20修正了影响，进一步提高了本方案的有益效果；从而解决了解决现有技术中图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊的问题。
所述第一图像进行颜色校正得到第二图像的步骤(即步骤S20)包括：
对所述第一图像中的每一个2*2像素组执行：计算
计算K＝L/Q；计算adjLi＝clip(K*Li,Lmin,Lmax)；以及，用adjLi替换Li；
其中，所述2*2像素组中的像素的颜色通道相同，Q表示所述2*2像素组的平均亮度，Li表示第i个像素的亮度值，K表示修正系数，L表示所述2*2像素组对应的所述待处理图像中的一个像素的亮度值，adjLi表示第i个像素的亮度修正值，clip()表示区间取值函数，Lmin表示***支持的亮度值的最小值，Lmax表示***支持的亮度值的最大值，i的取值范围为1到4。
clip(a,b,c)的计算结果如下：若a大于c，则结果为c；若a小于b，则结果为b；在其他情况下，结果为a。
在一实施例中，使用10bit存储一个亮度值，Lmin为0，Lmax表示系为210-1，即1023。在其他的实施例中，Lmin和Lmax可以根据***的实际情况进行设置。
所述超分辨率网络模型的模型结构为SRCNN、VDSR、DRCN、RED、SRDenseNet、SRGAN、EDSR、IDN、RDN、RCAN和CBDNet中的一者；或者，所述超分辨率网络模型的模型结构为用于图像恢复的网络模型结构中的一者，所述用于图像恢复的网络模型结构包括ResNet、Unet和DenseNet；所述超分辨率网络模型的损失函数为L1损失函数或者混合损失函数。上述模型结构、计算方式和损失函数的具体细节，可以根据本领域公知常识进行理解，在此不进行展开描述。
较优地，所述超分辨率网络模型的模型结构为IDN、VDSR或者DenseNe。
可以根据计算量和计算速度可以选择简单或者复杂的模型结构。如果设备可以承载的计算量和计算速度比较高，可以选择复杂的模型结构，得到的超分效果更好，例如可以使用DenseNet。如果设备可以承载的计算量和计算速度比较低，可以选择简单的模型结构，得到的超分效果和计算量相适应效果，例如可以使用IDN模型。
在本实施例中，以VDSR作为模型结构。
请参考图3，所述训练数据的生成步骤包括：
S110Quad Bayer阵列的图像传感器在至少两个预设工况下拍摄，得到原始图像；任意两个所述预设工况的拍摄角度、拍摄距离、光源特征值以及拍摄位置中的至少一者不同。所述光源特征值包括光源的种类，例如太阳光、环境光、灯光等；光照强度的分布、光源的位置等；所述拍摄位置包括室外和室内。基于多个预设工况拍摄，可以扩大训练数据的范围，从而增加模型的有效性。
进一步地，所述训练数据的生成步骤包括：
S120所述原始图像作为原始训练输出图像；以及，
S130所述原始图像中的2*2像素组的四个像素替换为一个四合一像素得到原始训练输入图像，替换时，所述四合一像素的颜色通道与所述2*2像素组的颜色通道相同，所述四合一像素的亮度值为对应的所述2*2像素组的四个像素的亮度值的平均值。
需理解，在理想状态下，由于所述四合一像素的亮度值为对应的所述2*2像素组的四个像素的亮度值的平均值，那么所述超分辨率网络模型的输出图像中的所述2*2像素组的四个像素的亮度值的平均值也应当等于所述超分辨率网络模型的输入图像中对应像素的亮度值。但是由于Quad Bayer阵列具有特殊的结构，因此所述超分辨率网络模型在训练后的模型并不能恰好满足上述条件，发明人正是发现了上述特征，从而设置了步骤S20。
从步骤S130的描述可知，基于所述原始图像得到原始训练输入图像的步骤是非常简单的，并且也不需要有其他的转换算法介入，因此没有丢失Raw域图像的原始信息，从而使得本实施例的输出结果具有较高的清晰度。
所述训练数据包括第一训练输出图像和第一训练输入图像，所述训练数据的生成步骤包括：
S140切割所述原始训练输出图像得到所述第一训练输出图像；以及，
S150切割所述原始训练输入图像中相对应的位置，得到所述第一训练输入图像。需理解，相对应的位置即得到所述第一训练输出图像的切割位置。
所述训练数据包括第二训练输出图像和第二训练输入图像，所述训练数据的生成步骤包括：
S160所述第一训练输出图像基于镜像和/或旋转操作，得到所述第二训练输出图像；以及，
S170所述第一训练输入图像基于相同的操作，得到所述第二训练输入图像。相同的操作是指得到所述第二训练输出图像相同的操作，例如，得到所述第二训练输出图像时的操作为先垂直镜像再逆时针旋转90°，那么对所述第一训练输入也进行先垂直镜像再逆时针旋转90°的操作。
在一实施例中，对每个所述第一训练输出图像以及每个所述第一训练输入图像均进行了如下四个操作，水平镜像，垂直镜像，先水平镜像再逆时针旋转90°以及先垂直镜像再逆时针旋转90°，最终得到的样本数量为操作之前的5倍。上述操作过程可以参考图4a～图4e进行理解。如此配置，可以增加训练数据的数量。
所述第一训练输入图像和所述第一训练输出图像所展示的图像内容实际上是一致的，只是所述第一训练输出图像的分辨率更高。所述第二训练输入图像和所述第二训练输出图像的关系也可以这样理解。
需理解，所述第一训练输入图像和所述第二训练输入图像中的“第一”和“第二”仅用于区分得到两者的步骤，在训练过程中，不区分两者而将两者混合打乱后加入训练数据集合。所述第一训练输出图像和所述第二训练输出图像中的“第一”和“第二”也可以按照上述思路进行理解。
需理解，在另外的一些实施例中，为了进一步提高模型的精度，也可以考虑不进行步骤S160和步骤S170，而仅通过拍摄更多的所述原始图像来扩充训练数据的数量。
较优地，所述第一训练输出图像的尺寸为2N×2N，所述第一训练输入图像的尺寸为N×N，其中，N为大于或者等于13的奇数。N的取值范围较优地为13～65。
较优地，所述训练数据的生成步骤还包括：
S180选取中心点梯度大于预设阈值的所述训练数据，剔除其余的所述训练数据。
所述超分辨率网络模型的训练过程，包括将所述训练数据如何拆分为训练集、验证集和测试集，以及在训练过程中的对参数的调节和优化等细节，本领域技术人员可以根据公知常识进行设置，在此不进行展开描述。
为了验证上述的实施例的实际效果，本申请书提供了五张测试用的待处理图像，其中，第一待处理图像和第二待处理图像分别如图5a和图6a所示。图5c展示了不经过本实施例处理的图5a得到的RGB图像，图5d展示了本实施例处理后得到的RGB图像，显然，图5d的清晰度高于图5c，同时为了便于理解，还展示了图5b，图5b为本实施例运行过程中得到的所述第一图像。图6b～图6d也可以按照上述思路进行理解。第三待处理图像、第四待处理图像和第五待处理图像未直接展示，为了便于比较效果，图7a、图8a和图9a分别展示了第三待处理图像、第四待处理图像和第五待处理图像直接转换后得到的RGB图像。图7b展示了第三待处理图像在本实施例处理后的结果，图7c和图7d展示了对照组的运行结果，其中，图7c经过方法一处理，图7d经过方法二处理，方法一即本申请背景技术中介绍的方法一，方法二即本申请背景技术中介绍的方法二。从图7b～7d可以看出，本实施例的运行结果优于方法一和方法二的运行结果。图8b～8d以及图9b～9d的内容可以按照上述思路进行理解。
为了解决上述技术问题，本实施例还提供了一种存储介质，所述存储介质上存储有程序，所述程序运行时，执行上述的分辨率提升方法。由于所述程序能够执行上述的分辨率提升方法，因而所述存储介质也具有提升了最终输出图像的清晰度的有益效果。
综上所述，本实施例提供的分辨率提升方法及可读存储介质中，所述分辨率提升方法包括：待处理图像基于超分辨率网络模型得到第一图像，其中，所述待处理图像为传统拜尔阵列的Raw域图像，所述第一图像为Quad Bayer Raw图像，所述超分辨率网络模型的训练数据基于Quad Bayer Raw图像生成；所述第一图像进行颜色校正得到第二图像；所述第二图像转换得到预设格式的输出图像。如此配置，一方面合理利用了Raw域图像的原始信息，另一方面训练数据的生成方式也比较简单；提升了最终输出图像的清晰度，解决了现有技术中图像超分辨率方法对Raw图所携带的原始信息利用率不高，转换得到的高分辨率图像仍然较为模糊的问题。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明技术方案的保护范围。
Claims (10)
1.一种分辨率提升方法，其特征在于，所述分辨率提升方法包括：
待处理图像基于超分辨率网络模型得到第一图像，其中，所述待处理图像为传统拜尔阵列的Raw域图像，所述第一图像为Quad Bayer Raw图像，所述第一图像的长和宽分别为所述待处理图像的长和宽的两倍，所述超分辨率网络模型的训练数据基于Quad Bayer Raw图像生成；
所述第一图像进行颜色校正得到第二图像；以及，
所述第二图像转换得到预设格式的输出图像。
2.根据权利要求1所述的分辨率提升方法，其特征在于，所述第一图像进行颜色校正得到第二图像的步骤包括：
对所述第一图像中的每一个2*2像素组执行：
计算
计算K＝L/Q；
计算adjLi＝clip(K*Li，Lmin，Lmax)；以及，
用adjLi替换Li；
其中，所述2*2像素组中的像素的颜色通道相同，Q表示所述2*2像素组的平均亮度，Li表示第i个像素的亮度值，K表示修正系数，L表示所述2*2像素组对应的所述待处理图像中的一个像素的亮度值，adjLi表示第i个像素的亮度修正值，clip()表示区间取值函数，Lmin表示***支持的亮度值的最小值，Lmax表示***支持的亮度值的最大值，i的取值范围为1到4。
3.根据权利1所述的分辨率提升方法，其特征在于，所述超分辨率网络模型的模型结构为SRCNN、VDSR、DRCN、RED、SRDenseNet、SRGAN、EDSR、IDN、RDN、RCAN和CBDNet中的一者；或者，所述超分辨率网络模型的模型结构为用于图像恢复的网络模型结构中的一者，所述用于图像恢复的网络模型结构包括ResNet、Unet和DenseNet；所述超分辨率网络模型的损失函数为L1损失函数或者混合损失函数。
4.根据权利要求3所述的分辨率提升方法，其特征在于，所述超分辨率网络模型的模型结构为IDN、VDSR或者DenseNet。
5.根据权利要求1～4中任一项所述的分辨率提升方法，其特征在于，所述训练数据的生成步骤包括：
Quad Bayer阵列的图像传感器在至少两个预设工况下拍摄，得到原始图像；任意两个所述预设工况的拍摄角度、拍摄距离、光源特征值以及拍摄位置中的至少一者不同。
6.根据权利要求5所述的分辨率提升方法，其特征在于，所述训练数据的生成步骤包括：
所述原始图像作为原始训练输出图像；以及，
所述原始图像中的2*2像素组的四个像素替换为一个四合一像素得到原始训练输入图像，替换时，所述四合一像素的颜色通道与所述2*2像素组的颜色通道相同，所述四合一像素的亮度值为对应的所述2*2像素组的四个像素的亮度值的平均值。
7.根据权利要求6所述的分辨率提升方法，其特征在于，所述训练数据包括第一训练输出图像和第一训练输入图像，所述训练数据的生成步骤包括：
切割所述原始训练输出图像得到所述第一训练输出图像；以及，
切割所述原始训练输入图像中相对应的位置，得到所述第一训练输入图像。
8.根据权利要求7所述的分辨率提升方法，其特征在于，所述训练数据包括第二训练输出图像和第二训练输入图像，所述训练数据的生成步骤包括：
所述第一训练输出图像基于镜像和/或旋转操作，得到所述第二训练输出图像；以及，
所述第一训练输入图像基于相同的操作，得到所述第二训练输入图像。
9.根据权利要求7所述的分辨率提升方法，其特征在于，所述第一训练输出图像的尺寸为2N×2N，所述第一训练输入图像的尺寸为N×N，其中，N为大于或者等于13的奇数。
10.一种存储介质，其特征在于，所述存储介质上存储有程序，所述程序运行时，执行如权利要求1～9中任一项所述的分辨率提升方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111168450.8A CN113888411A (zh) | 2021-09-29 | 2021-09-29 | 分辨率提升方法及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111168450.8A CN113888411A (zh) | 2021-09-29 | 2021-09-29 | 分辨率提升方法及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113888411A true CN113888411A (zh) | 2022-01-04 |
Family
ID=79005489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111168450.8A Pending CN113888411A (zh) | 2021-09-29 | 2021-09-29 | 分辨率提升方法及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113888411A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675404A (zh) * | 2019-09-03 | 2020-01-10 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN112752009A (zh) * | 2019-10-29 | 2021-05-04 | 中兴通讯股份有限公司 | 图像处理方法、模块、可读存储介质和图像传感器 |
| CN112767290A (zh) * | 2019-11-01 | 2021-05-07 | RealMe重庆移动通信有限公司 | 图像融合方法、图像融合装置、存储介质与终端设备 |
| CN112862681A (zh) * | 2021-01-29 | 2021-05-28 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
| WO2021115242A1 (zh) * | 2019-12-09 | 2021-06-17 | 华为技术有限公司 | 一种超分辨率图像处理方法以及相关装置 |
-
2021
- 2021-09-29 CN CN202111168450.8A patent/CN113888411A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110675404A (zh) * | 2019-09-03 | 2020-01-10 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN112752009A (zh) * | 2019-10-29 | 2021-05-04 | 中兴通讯股份有限公司 | 图像处理方法、模块、可读存储介质和图像传感器 |
| CN112767290A (zh) * | 2019-11-01 | 2021-05-07 | RealMe重庆移动通信有限公司 | 图像融合方法、图像融合装置、存储介质与终端设备 |
| WO2021115242A1 (zh) * | 2019-12-09 | 2021-06-17 | 华为技术有限公司 | 一种超分辨率图像处理方法以及相关装置 |
| CN112862681A (zh) * | 2021-01-29 | 2021-05-28 | 中国科学院深圳先进技术研究院 | 一种超分辨率方法、装置、终端设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7710470B2 (en) | Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise | |
| US20070257944A1 (en) | Color display system with improved apparent resolution | |
| CN106447020B (zh) | 一种智能菌落计数方法 | |
| EP3131084A1 (en) | Image processing device with image compensation function and image processing method thereof | |
| CN111612725B (zh) | 一种基于可见光图像对比度增强的图像融合方法 | |
| CN109118437B (zh) | 一种可实时处理浑水图像的方法、存储介质 | |
| WO2019056549A1 (zh) | 图像增强方法以及图像处理装置 | |
| CN109886906B (zh) | 一种细节敏感的实时弱光视频增强方法和*** | |
| CN111882489A (zh) | 用于水下图像同时增强的超分辨率图形恢复方法 | |
| CN110910319B (zh) | 一种基于大气散射模型的手术视频实时去雾增强方法 | |
| CN112652027B (zh) | 一种伪彩检测方法及*** | |
| CN107133936B (zh) | 数字半色调方法 | |
| US6950210B2 (en) | Method and apparatus for adaptively binarizing color document images | |
| CN113068011B (zh) | 图像传感器、图像处理方法及*** | |
| CN107220934A (zh) | 图像重建方法及装置 | |
| Miyata et al. | Novel inverse colorization for image compression | |
| WO2022120799A9 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111047521B (zh) | 一种基于图像熵的红外图像非均匀性参数化校正优选方法 | |
| CN113888411A (zh) | 分辨率提升方法及可读存储介质 | |
| CN117115612A (zh) | 基于多传感器图像增强优化的多通道图像融合方法及*** | |
| CN112200753A (zh) | 一种图像宽动态范围的处理方法 | |
| CN111476746A (zh) | 一种基于ihs变换与自适应区域特征的遥感图像融合方法 | |
| CN113658157B (zh) | 一种基于hsv空间的颜色分割方法及装置 | |
| CN109493302B (zh) | 一种基于云模型的图像增强方法 | |
| CN109658358B (zh) | 一种基于多导向滤波的快速bayer彩色重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |