CN114283066A - 影像处理设备以及超解析处理方法 - Google Patents
影像处理设备以及超解析处理方法 Download PDFInfo
- Publication number
- CN114283066A CN114283066A CN202111646609.2A CN202111646609A CN114283066A CN 114283066 A CN114283066 A CN 114283066A CN 202111646609 A CN202111646609 A CN 202111646609A CN 114283066 A CN114283066 A CN 114283066A
- Authority
- CN
- China
- Prior art keywords
- resolution image
- super
- attention
- image
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 79
- 238000003672 processing method Methods 0.000 title claims description 23
- 238000005070 sampling Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 101100339481 Cochliobolus miyabeanus HOG1 gene Proteins 0.000 description 9
- 101150009928 SRM1 gene Proteins 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 210000005013 brain tissue Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
一种影像处理设备，包括影像撷取电路以及处理器。影像撷取电路用以撷取高解析影像。处理器连接影像撷取电路，并执行超解析模型以及注意力模型，其中处理器用以进行下列操作：对高解析影像执行下采样处理以产生低解析影像；利用超解析模型对低解析影像进行超解析处理以产生超解析影像；将注意力模型套用至高解析影像以及超解析影像产生注意力加权高解析影像以及注意力加权超解析影像，并依据注意力加权高解析影像以及注意力加权超解析影像计算第一损失；以及依据第一损失更新该超解析模型。借此，可提升超像素处理的效果，并可对高解析影像中的兴趣区进行增强，进而提升高解析影像中的兴趣区的超像素处理的效果。
Description
技术领域
本发明有关于一种影像处理技术，且特别是有关于影像处理设备以及超解析处理方法。
背景技术
就目前影像处理技术而言，常常对影像执行超解析(Super Resolution)处理，以进行各种下游任务。例如，提升医学影像清晰度、生物识别成效，或是增进自驾车影像分割效果等。因此，处理后的超解析影像内容是否能精确呈现“下游任务所需要的关键细节”成为目前超解析处理的关键议题。
发明内容
本发明的一态样揭露一种影像处理设备，包括影像撷取电路以及处理器。影像撷取电路用以撷取高解析影像。处理器连接影像撷取电路，并执行超解析模型以及注意力模型，其中处理器用以进行下列操作：对高解析影像执行下采样处理以产生低解析影像；利用超解析模型对低解析影像进行超解析处理以产生超解析影像；将注意力模型套用至高解析影像以及超解析影像产生注意力加权高解析影像以及注意力加权超解析影像，并依据注意力加权高解析影像以及注意力加权超解析影像计算第一损失；以及依据第一损失更新该超解析模型。
在一实施例中，处理器还用以：将注意力模型套用至高解析影像以及超解析影像进行影像滤波处理以产生注意力加权高解析影像以及注意力加权超解析影像，其中影像滤波处理为元素操作的乘法运算、元素操作的加法运算、元素操作的减法运算或其组合。
在一实施例中，注意力模型包括与至少一影像遮罩对应的遮罩处理模型，且处理器还用以：利用遮罩处理模型分别对高解析影像以及超解析影像进行影像滤波处理以产生注意力加权高解析影像以及注意力加权超解析影像。
在一实施例中，至少一影像遮罩对应于至少一影像兴趣区，且处理器还用以：依据至少一影像兴趣区分别对高解析影像以及超解析影像进行元素操作的乘法运算以产生注意力加权高解析影像以及注意力加权超解析影像，其中注意力加权高解析影像以及注意力加权超解析影像分别对应于高解析影像以及超解析影像；以及依据注意力加权高解析影像以及注意力加权超解析影像执行距离函数运算以产生第一损失，其中距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
在一实施例中，至少一影像遮罩对应于至少一权重集，且处理器还用以：依据至少一权重集分别对高解析影像以及超解析影像进行元素操作的乘法运算以产生注意力加权高解析影像以及注意力加权超解析影像，其中注意力加权高解析影像以及注意力加权超解析影像分别对应于高解析影像以及超解析影像；以及依据注意力加权高解析影像以及注意力加权超解析影像执行距离函数运算以产生第一损失，其中距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
在一实施例中，处理器还用以：利用超解析模型依据高解析影像以及超解析影像计算第二损失；以及依据第一损失以及第二损失计算总和损失，并依据总和损失对超解析模型进行反向传播运算以产生更新后的超解析模型。
本发明的另一态样揭露一种超解析处理方法，包括：撷取高解析影像，并对高解析影像执行下采样处理以产生低解析影像；利用超解析模型对低解析影像进行超解析处理以产生超解析影像；将注意力模型套用至高解析影像以及超解析影像产生注意力加权高解析影像以及注意力加权超解析影像，并依据注意力加权高解析影像以及注意力加权超解析影像计算第一损失；以及依据第一损失更新超解析模型。
在一实施例中，超解析处理方法还包括：将注意力模型套用至高解析影像以及超解析影像进行影像滤波处理以产生注意力加权高解析影像以及注意力加权超解析影像，其中影像滤波处理为元素操作的乘法运算、元素操作的加法运算、元素操作的减法运算或其组合。
在一实施例中，注意力模型包括与至少一影像遮罩对应的遮罩处理模型，且超解析处理方法还包括：利用遮罩处理模型分别对高解析影像以及超解析影像进行影像滤波处理以产生注意力加权高解析影像以及注意力加权超解析影像。
在一实施例中，至少一影像遮罩对应于至少一影像兴趣区，且超解析处理方法还包括：依据至少一影像兴趣区分别对高解析影像以及超解析影像进行元素操作的乘法运算以产生注意力加权高解析影像以及注意力加权超解析影像，其中注意力加权高解析影像以及注意力加权超解析影像分别对应于高解析影像以及超解析影像；以及依据注意力加权高解析影像以及注意力加权超解析影像执行距离函数运算以产生第一损失，其中距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
在一实施例中，至少一影像遮罩对应于至少一权重集，且超解析处理方法还包括：依据至少一权重集分别对高解析影像以及超解析影像进行元素操作的乘法运算以产生注意力加权高解析影像以及注意力加权超解析影像，其中注意力加权高解析影像以及注意力加权超解析影像分别对应于高解析影像以及超解析影像；以及依据注意力加权高解析影像以及注意力加权超解析影像执行距离函数运算以产生第一损失，其中距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
在一实施例中，超解析处理方法还包括：利用超解析模型依据高解析影像以及超解析影像计算第二损失；以及依据第一损失以及第二损失计算一总和损失，并依据总和损失对超解析模型进行反向传播运算以产生更新后的超解析模型。
附图说明
图1是本发明的影像处理设备的方框图。
图2是本发明的超解析处理方法的流程图。
图3是依据本发明一些实施例的影像处理设备的方框图。
图4是依据本发明一些实施例的超解析处理方法的流程图。
图5是依据本发明一些实施例的超解析模型的示意图。
图6是依据本发明一些实施例的注意力模型的示意图。
图7是依据本发明一些实施例的执行注意力模型的示意图。
图8是依据本发明另一些实施例的执行注意力模型的示意图。
图9是依据本发明另一些实施例的执行注意力模型的示意图。
图10是依据本发明另一些实施例的执行注意力模型的示意图。
具体实施方式
参照图1，图1是本发明的影像处理设备100的方框图。于一实施例中，影像处理设备100包括影像撷取电路110以及处理器120。影像撷取电路110用以撷取高解析(HighResolution)影像HR。处理器120连接影像撷取电路110。
在一些实施例中，影像处理设备100可由计算机、服务器或处理中心建立。在一些实施例中，影像撷取电路110可以是用以撷取影像的摄影机或可以连续拍照的照相机。例如，数码单眼相机(Digital Single-Lens Reflex Camera，DSLR)、数码摄影机(DigitalVideo Camera，DVC)或近红外线相机(Near-infrared Camera，NIRC)等。在一些实施例中，处理器120可由处理单元、中央处理单元或计算单元实现。
在一些实施例中，影像处理设备100并不限于包括影像撷取电路110以及处理器120，影像处理设备100可以进一步包括操作以及应用中所需的其他元件，举例来说，影像处理设备100可还包括输出界面(例如，用于显示信息的显示面板)、输入界面(例如，触控面板、键盘、麦克风、扫描仪或闪存读取器)以及通讯电路(例如，WiFi通讯模型、蓝牙通讯模型、无线电信网络通讯模型等)。
如图1所示，处理器120基于相应的软件或固件指令程序以执行超解析模型SM1以及注意力模型AM。
在一些实施例中，处理器120还可基于相应的软件或固件指令程序以执行下采样(Down Sampling)模型DS，并可利用下采样模型DS对高解析影像HR执行下采样处理以产生低解析(Low Resolution)影像，其中低解析影像LR的分辨率低于高解析影像HR的分辨率。
在一些实施例中，超解析模型SM1可用以对低解析影像LR进行超解析处理以产生超解析(Super Resolution)影像SR，其中超解析影像SR1的分辨率等于高解析影像HR的分辨率。值得注意的是，超解析模型SM1可以是任意可执行超解析处理的模型，并没有特别的限制。例如，超解析模型SM1可以是超解析生成对抗网络(Super-Resolution GenerativeAdversarial Network，SRGAN)、深度递归卷积网络(Deep Recursive ConvolutionalNetwork，DRCN)或超解析卷积神经网络(Super-Resolution Convolution NeuralNetwork，SRCNN)等。
在一些实施例中，注意力模型AM可用以对超解析影像SR1以及高解析影像HR进行影像滤波处理。接着，对经处理后的超解析影像SR1以及高解析影像HR进行距离函数运算以产生第一损失loss1，以依据第一损失loss1对超解析模型SM1进行更新，详细作法将在后续段落详细说明。
在一些实施例中，超解析模型SM1在产生超解析影像SR1的过程中可产生第二损失loss2，并可依据上述第一损失loss1以及第二损失loss2对超解析模型SM1进行更新，详细作法将在后续段落详细说明。
参照图2，图2是本发明的超解析处理方法的流程图。图2所示实施例的方法适用于图1的影像处理设备100，但不以此为限。为方便及清楚说明起见，下述同时参照图1以及图2，以影像处理设备100中各元件之间的作动关系来说明图2所示超解析处理方法的详细步骤。
在一实施例中，超解析处理方法包括步骤S210～S240。首先，于步骤S210中，撷取高解析影像HR，并对高解析影像HR执行下采样处理以产生低解析影像LR。
再者，于步骤S220中，利用超解析模型SM1对低解析影像LR进行超解析处理以产生超解析影像SR1。
在一些实施例中，超解析模型SM1的参数以及超参数的初始值可以是依据过往训练经验当中取得的平均值或是人工给定的默认值。
再者，于步骤S230中，将注意力模型AM套用至高解析影像HR以及超解析影像SR1产生注意力加权高解析影像以及注意力加权超解析影像，并依据注意力加权高解析影像以及注意力加权超解析影像计算第一损失loss1。
在一些实施例中，可将注意力模型AM套用至高解析影像HR以及超解析影像SR1进行影像滤波处理以产生注意力加权高解析影像以及注意力加权超解析影像，其中影像滤波处理为元素操作(Element-Wise Operation)的乘法运算、元素操作的加法运算、元素操作的减法运算或其组合。
在一些实施例中，注意力模型AM可包括与至少一影像遮罩对应的遮罩处理模型。借此，可利用遮罩处理模型分别对高解析影像HR以及超解析影像SR1进行影像滤波处理以产生注意力加权高解析影像以及注意力加权超解析影像。
在一些实施例中，至少一影像遮罩可对应于至少一影像兴趣区。借此，可依据至少一影像兴趣区分别对高解析影像HR以及超解析影像SR1进行元素操作的乘法运算以产生注意力加权高解析影像以及注意力加权超解析影像，其中注意力加权高解析影像以及注意力加权超解析影像分别对应于高解析影像HR以及超解析影像SR1。
在一些实施例中，至少一影像遮罩可对应于至少一权重集。借此，可依据至少一权重集分别对高解析影像HR以及超解析影像SR1进行元素操作的乘法运算以产生注意力加权高解析影像以及注意力加权超解析影像，其中注意力加权高解析影像以及注意力加权超解析影像分别对应于高解析影像HR以及超解析影像SR1。
在一些实施例中，上述影像兴趣区以及与其对应的权重集可在各种使用情境中依据高解析影像HR来设定。举例而言，在进行虹膜识别的使用情境中，可对高解析影像HR执行任意影像特征撷取运算(例如，卷积神经网络)从高解析影像HR撷取具有特征的区域，以产生一个二元遮罩(Binary Mask)，或者是将具有特征的区域设置不同程度的权重值，形成语意兴趣区遮罩(Semantic ROI Mask)，其中语意兴趣区遮罩可以是三自由度遮罩(3DOFMask)或多自由度遮罩(Multiple DOF Mask)等。
在一些实施例中，可利用二元遮罩或语意兴趣区遮罩中的权重值分别与高解析影像HR中的对应像素值进行乘法运算以产生注意力加权高解析影像，并可利用二元遮罩或语意兴趣区遮罩中的权重值分别与超解析影像SR1中的对应像素值进行乘法运算以产生注意力加权超解析影像。
在一些实施例中，可依据注意力加权高解析影像以及注意力加权超解析影像执行距离函数运算以产生第一损失loss1，其中该距离函数运算为L1距离(L1loss)运算、L2距离(L2 loss)运算、卡邦尼耶(Charbonnier)距离运算或其组合。
再者，于步骤S240中，依据第一损失loss1更新超解析模型SM1。在一些实施例中，可依据第一损失loss1更新超解析模型SM1的参数以产生更新后的超解析模型。
在一些实施例中，可利用超解析模型SM1依据高解析影像HR以及超解析影像SR1计算第二损失loss2。接着，可依据第一损失loss1以及第二损失loss2计算总和损失，并依据总和损失对超解析模型SM1进行反向传播(Back Propagation)运算以产生更新后的超解析模型。
借由上述步骤，影像处理设备100可在训练阶段中依据由注意力模型AM所产生的第一损失loss1以及超解析模型SM1所产生的第二损失loss2对超解析模型SM1进行更新。借此，将可精准呈现下游任务所需要的关键细节(即，对高解析影像HR中的兴趣区会有更强的超像素处理的效果)。
同时参照图3以及图4，图3是依据本发明一些实施例的影像处理设备100的方框图，且图4是依据本发明一些实施例的超解析处理方法的流程图，其中图4的超解析处理方法适用于图3的影像处理设备100，但不以此为限。以影像处理设备100中各元件之间的作动关系来说明图4所示超解析处理方法的详细步骤。值得注意的是，图3与图1之间的差异仅在于，影像处理设备100中的处理器120可执行更新后的超解析模型SM2。因此，针对其余相似元件不再进一步赘述。
首先，于步骤S410中，撷取低解析影像LR2。再者，于步骤S420中，利用更新后的超解析模型SM2对低解析影像LR2进行超解析处理以产生超解析影像SR2。进一步而言，在模型训练完成后，可进一步借由影像撷取电路110撷取低解析影像LR2以借由处理器120利用更新后的超解析模型SM2进行超解析处理，进而产生超解析影像SR2，其中超解析影像SR2的分辨率高于低解析影像LR2的分辨率。
借由上述步骤，影像处理设备100可在使用阶段中直接利用更新后的超解析模型SM2进行超解析处理以获得所需要的超解析影像SR2。
以下将提出具体的超解析模型SM1以及注意力模型AM的例子。参照图5，图5是依据本发明一些实施例的超解析模型SM1的示意图。如图3所示，超解析模型SM1可以是一个SRGAN，其包括生成器(Generator)模型GM以及判别器(Discriminator)模型DM，其中判别器模型DM可包括分类器(Classifier)模型(未绘示)以及特征萃取器(Feature Extractor)模型(未绘示)。
首先，生成器模型GM可用以依据低解析影像LR产生超解析影像SR1，以将超解析影像SR1传送至判别器模型DM以及注意力模型AM。接着，判别器模型DM中的分类器模型以及特征萃取器模型可依据超解析影像SR1以及高解析影像HR分别计算出两个损失值，且判别器模型DM可依据这两个损失值以及分别与两个损失值对应的两个权重值计算出第二损失loss2。注意力模型AM可依据超解析影像SR1产生第一损失loss1。接着，生成器模型GM可将第一损失loss1乘以第一权重值，并可将第二损失loss2乘以第二权重值，进而将所获得的两个乘积相加以产生总和损失。值得注意的是，上述分别与两个损失值对应的两个权重值、第一权重值以及第二权重值也可以是依据过往训练经验当中取得的平均值或是人工给定的默认值。最后，生成器模型GM可依据总和损失更新超解析模型SM1的参数以及超参数以产生更新后的超解析模型。
参照图6，图6是依据本发明一些实施例的注意力模型AM的示意图。如图4所示，注意力模型AM可包括遮罩处理模型MM以及损失模型LM。
首先，遮罩处理模型MM可对预先设定的遮罩影像以及超解析影像SR1进行元素操作的乘法运算以产生注意力加权高解析影像，并可对遮罩影像以及高解析影像HR进行元素操作的乘法运算以产生注意力加权超解析影像，进而将注意力加权高解析影像以及注意力加权超解析影像传送至损失模型LM。接着，损失模型LM可对注意力加权高解析影像以及注意力加权超解析影像进行影像的元素与元素间的L1距离运算，以产生第一损失loss1。
进一步而言，以下提出各种使用情境中的执行注意力模型AM的例子。参照图7，图7是依据本发明一些实施例的执行注意力模型的示意图。如图7所示，在虹膜识别的使用情境中，遮罩处理模型MM可对高解析影像HR设定一个二元遮罩BRM1，其中二元遮罩BRM1中的白色区域的权重值的数值被设定为1(即，与视网膜对应的影像兴趣区)，二元遮罩BRM1中的黑色区域的像素的像素值被设定为0(即，非影像兴趣区)。
接着，遮罩处理模型MM可将超解析影像SR1中的像素的像素值依序与二元遮罩BRM1中的权重值进行乘法运算以产生注意力加权超解析影像RWI1，并可将高解析影像HR中的像素的像素值依序与二元遮罩BRM1中的权重值进行乘法运算以产生注意力加权高解析影像RWI2。最后，损失模型LM可接收注意力加权超解析影像RWI1以及注意力加权高解析影像RWI2，并可对注意力加权超解析影像RWI1的像素的像素值依序与注意力加权高解析影像RWI2的像素的像素值相减，并将所获得的差值取绝对值，最后加总起来以产生第一损失loss1(即，L1距离运算)。
参照图8，图8是依据本发明另一些实施例的执行注意力模型的示意图。如图8所示，在人脸识别的使用情境中，遮罩处理模型MM可对高解析影像HR设定一个二元遮罩BRM2，其中二元遮罩BRM2中的白色区域的像素的权重值被设定为1(即，与脸孔特征对应的影像兴趣区)，二元遮罩BRM2中的黑色区域的像素的权重值被设定为0(即，非影像兴趣区)。
接着，遮罩处理模型MM可将超解析影像SR1中的像素的像素值依序与二元遮罩BRM2中的权重值进行乘法运算以产生注意力加权超解析影像RWI1，并可将高解析影像HR中的像素的像素值依序与二元遮罩BRM2中的权重值进行乘法运算以产生注意力加权高解析影像RWI2。最后，损失模型LM可接收注意力加权超解析影像RWI1以及注意力加权高解析影像RWI2，并可对注意力加权超解析影像RWI1的像素的像素值依序与注意力加权高解析影像RWI2的像素的像素值相减，并将所获得的差值取绝对值，最后加总起以产生第一损失loss1(即，L1距离运算)。
参照图9，图9是依据本发明另一些实施例的执行注意力模型的示意图。如图9所示，在医疗影像识别的使用情境中，遮罩处理模型MM可对高解析影像HR设定一个语意兴趣区遮罩SRM1(三个自由度的遮罩)，其中语意兴趣区遮罩SRM1中的白色区域的像素被设定为最高的权重值(即，与肿瘤组织对应的影像兴趣区)，语意兴趣区遮罩SRM1中的灰色区域的像素被设定为次高的权重值(即，与脑组织对应的较次要的影像兴趣区)，以及语意兴趣区遮罩SRM1中的黑色区域的像素被设定为最低的权重值(即，非影像兴趣区)。
举例而言，在语意兴趣区遮罩SRM1中，与肿瘤组织对应的影像兴趣区的像素具有较高的灰度值，与脑组织对应的较次要的影像兴趣区的像素具有次高的灰度值，以及非影像兴趣区的像素具有最低的灰度值，其中这些灰度值分别等于权重集中的权重值。
接着，遮罩处理模型MM可将超解析影像SR1中的像素的像素值依序与语意兴趣区遮罩SRM1中的权重值进行乘法运算以产生注意力加权超解析影像RWI1，并可将高解析影像HR中的像素的像素值依序与语意兴趣区遮罩SRM1中的权重值进行乘法运算以产生注意力加权高解析影像RWI2。
接着，损失模型LM可接收注意力加权超解析影像RWI1以及注意力加权高解析影像RWI2，并可对注意力加权超解析影像RWI1的像素的像素值依序与注意力加权高解析影像RWI2的像素的像素值相减，并将所获得的差值取绝对值，进而加总起来以产生一个差值总和(即，L1距离运算)。接着，损失模型LM可进一步对注意力加权超解析影像RWI1以及注意力加权高解析影像RWI2进行欧式距离运算以产生一个欧式距离值(即，L2距离运算)。最后，损失模型LM可依据L1距离值以及L2距离值对应的两个预设的权重值，对L1距离值以及L2距离值进行加权运算以产生第一损失loss1。
参照图10，图10是依据本发明另一些实施例的执行注意力模型的示意图。如图10所示，在自驾车影像分割的使用情境中，遮罩处理模型MM可对高解析影像HR设定一个语意兴趣区遮罩SRM2(多个自由度的遮罩)，其中语意兴趣区遮罩SRM2中的区域R1～R5分别具有不同的数值，不同的数值对应于一个权重集中的不同的权重值，以及单一权重值对应于高解析影像HR中的相同类型的对象。举例而言，区域R1中的像素具有相同的灰度值，且此灰度值等于与树木对象对应的权重值。在另一个例子中，区域R4中的像素具有相同的RGB数值，且此RGB数值等于与树木对象对应的权重值。
接着，遮罩处理模型MM可将超解析影像SR1中的像素的数值依序与语意兴趣区遮罩SRM2中的像素的数值进行乘法运算以产生注意力加权超解析影像RWI1，并可将高解析影像HR中的像素的像素值依序与语意兴趣区遮罩SRM1中的权重值进行乘法运算以产生注意力加权高解析影像RWI2。
接着，损失模型LM可接收注意力加权超解析影像RWI1以及注意力加权高解析影像RWI2，并可对注意力加权超解析影像RWI1的像素的像素值依序与注意力加权高解析影像RWI2的像素的像素值相减，并将所获得的差值加总起来以产生第一损失loss1(即，L1距离运算)。
综上所述，本发明实施例影像处理设备以及超解析处理方法可利用与影像遮罩相关的注意力模型产生一个第一损失以更新超解析模型，进而提升超像素处理的效果。此外，还可利用注意力模型中的影像兴趣区或权重集对高解析影像中的兴趣区进行增强，进而提升高解析影像中的兴趣区的超像素处理的效果。
虽然本发明的特定实施例已经揭露有关上述实施例，此些实施例不意欲限制本发明。各种替代及改良可借由相关领域中的一般技术人员在本发明中执行而没有从本发明的原理及精神背离。因此，本发明的保护范围由所附权利要求书范围确定。
【符号说明】
100：影像处理设备
110：影像撷取电路
120：处理器
HR：高解析影像
LR1、LR2：低解析影像
SR1、SR2：超解析影像
DS：下采样模型
SM1：超解析模型
AM：注意力模型
loss1：第一损失
loss2：第二损失
S210～S240、S410～S420：步骤
SM2：更新后的超解析模型
GM：生成器模型
DM：判别器模型
MM：遮罩处理模型
LM：损失模型
BRM1、BRM2：二元遮罩
RWI1：注意力加权超解析影像
RWI2：注意力加权高解析影像
SRM1、SRM2：语意兴趣区遮罩
R1～R5：区域。
Claims (12)
1.一种影像处理设备，其特征在于，包括：
影像撷取电路，用以撷取高解析影像；
处理器，连接该影像撷取电路，并执行超解析模型以及注意力模型，其中该处理器用以进行下列操作：
对该高解析影像执行下采样处理以产生低解析影像；
利用该超解析模型对该低解析影像进行超解析处理以产生超解析影像；
将该注意力模型套用至该高解析影像以及该超解析影像产生注意力加权高解析影像以及注意力加权超解析影像，并依据该注意力加权高解析影像以及该注意力加权超解析影像计算第一损失；以及
依据该第一损失更新该超解析模型。
2.根据权利要求1所述的影像处理设备，其特征在于，其中该处理器还用以进行下列操作：
将该注意力模型套用至该高解析影像以及该超解析影像进行影像滤波处理以产生该注意力加权高解析影像以及该注意力加权超解析影像，其中该影像滤波处理为元素操作的乘法运算、元素操作的加法运算、元素操作的减法运算或其组合。
3.根据权利要求1所述的影像处理设备，其特征在于，其中该注意力模型包括与至少一影像遮罩对应的遮罩处理模型，且该处理器还用以进行下列操作：
利用该遮罩处理模型分别对该高解析影像以及该超解析影像进行影像滤波处理以产生该注意力加权高解析影像以及该注意力加权超解析影像。
4.根据权利要求3所述的影像处理设备，其特征在于，其中该至少一影像遮罩对应于至少一影像兴趣区，且该处理器还用以进行下列操作：
依据该至少一影像兴趣区分别对该高解析影像以及该超解析影像进行元素操作的乘法运算以产生该注意力加权高解析影像以及该注意力加权超解析影像，其中该注意力加权高解析影像以及该注意力加权超解析影像分别对应于该高解析影像以及该超解析影像；以及
依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产生该第一损失，其中该距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
5.根据权利要求3所述的影像处理设备，其特征在于，其中该至少一影像遮罩对应于至少一权重集，且该处理器还用以进行下列操作：
依据该至少一权重集分别对该高解析影像以及该超解析影像进行元素操作的乘法运算以产生该注意力加权高解析影像以及该注意力加权超解析影像，其中该注意力加权高解析影像以及该注意力加权超解析影像分别对应于该高解析影像以及该超解析影像；以及
依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产生该第一损失，其中该距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
6.根据权利要求1所述的影像处理设备，其特征在于，其中该处理器还用以进行下列操作：
利用该超解析模型依据该高解析影像以及该超解析影像计算第二损失；以及
依据该第一损失以及该第二损失计算总和损失，并依据该总和损失对该超解析模型进行反向传播运算以产生更新后的该超解析模型。
7.一种超解析处理方法，其特征在于，包括：
撷取高解析影像，并对该高解析影像执行下采样处理以产生低解析影像；
利用超解析模型对该低解析影像进行超解析处理以产生超解析影像；
将注意力模型套用至该高解析影像以及该超解析影像产生注意力加权高解析影像以及注意力加权超解析影像，并依据该注意力加权高解析影像以及该注意力加权超解析影像计算第一损失；以及
依据该第一损失更新该超解析模型。
8.根据权利要求7所述的超解析处理方法，其特征在于，其中将该注意力模型套用至该高解析影像以及该超解析影像产生该注意力加权高解析影像以及该注意力加权超解析影像的步骤包括：
将该注意力模型套用至该高解析影像以及该超解析影像进行影像滤波处理以产生该注意力加权高解析影像以及该注意力加权超解析影像，其中该影像滤波处理为元素操作的乘法运算、元素操作的加法运算、元素操作的减法运算或其组合。
9.根据权利要求7所述的超解析处理方法，其特征在于，其中该注意力模型包括与至少一影像遮罩对应的遮罩处理模型，将该注意力模型套用至该高解析影像以及该超解析影像产生该注意力加权高解析影像以及该注意力加权超解析影像的步骤包括：
利用该遮罩处理模型分别对该高解析影像以及该超解析影像进行影像滤波处理以产生该注意力加权高解析影像以及该注意力加权超解析影像。
10.根据权利要求9所述的超解析处理方法，其特征在于，其中该至少一影像遮罩对应于至少一影像兴趣区，其中将该注意力模型套用至该高解析影像以及该超解析影像产生该注意力加权高解析影像以及该注意力加权超解析影像的步骤包括：
依据该至少一影像兴趣区分别对该高解析影像以及该超解析影像进行元素操作的乘法运算以产生该注意力加权高解析影像以及该注意力加权超解析影像，其中该注意力加权高解析影像以及该注意力加权超解析影像分别对应于该高解析影像以及该超解析影像，
其中依据该注意力加权高解析影像以及该注意力加权超解析影像计算该第一损失的步骤包括：
依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产生该第一损失，其中该距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
11.根据权利要求9所述的超解析处理方法，其特征在于，其中该至少一影像遮罩对应于至少一权重集，其中将该注意力模型套用至该高解析影像以及该超解析影像产生该注意力加权高解析影像以及该注意力加权超解析影像的步骤包括：
依据该至少一权重集分别对该高解析影像以及该超解析影像进行元素操作的乘法运算以产生该注意力加权高解析影像以及该注意力加权超解析影像，其中该注意力加权高解析影像以及该注意力加权超解析影像分别对应于该高解析影像以及该超解析影像，
其中依据该注意力加权高解析影像以及该注意力加权超解析影像计算该第一损失的步骤包括：
依据该注意力加权高解析影像以及该注意力加权超解析影像执行距离函数运算以产生该第一损失，其中该距离函数运算为L1距离运算、L2距离运算、卡邦尼耶(Charbonnier)距离运算或其组合。
12.根据权利要求7所述的超解析处理方法，其特征在于，其中依据该第一损失更新该超解析模型的步骤包括：
利用该超解析模型依据该高解析影像以及该超解析影像计算第二损失；以及
依据该第一损失以及该第二损失计算总和损失，并依据该总和损失对该超解析模型进行反向传播运算以产生更新后的该超解析模型。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163239423P | 2021-09-01 | 2021-09-01 | |
| US63/239,423 | 2021-09-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114283066A true CN114283066A (zh) | 2022-04-05 |
Family
ID=80878354
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111646609.2A Pending CN114283066A (zh) | 2021-09-01 | 2021-12-30 | 影像处理设备以及超解析处理方法 |
| CN202111650266.7A Pending CN114331845A (zh) | 2021-09-01 | 2021-12-30 | 影像处理设备以及方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111650266.7A Pending CN114331845A (zh) | 2021-09-01 | 2021-12-30 | 影像处理设备以及方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US20230063201A1 (zh) |
| CN (2) | CN114283066A (zh) |
| TW (2) | TWI788171B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117877034B (zh) * | 2024-01-08 | 2024-07-02 | 耕宇牧星(北京)空间科技有限公司 | 一种基于动态卷积增强的遥感图像实例分割方法及模型 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101815157B (zh) * | 2009-02-24 | 2013-01-23 | 虹软(杭州)科技有限公司 | 图像及视频的放大方法与相关的图像处理装置 |
| EP3336608A1 (en) * | 2016-12-16 | 2018-06-20 | ASML Netherlands B.V. | Method and apparatus for image analysis |
| TWI682359B (zh) * | 2018-01-29 | 2020-01-11 | 國立清華大學 | 影像補全方法 |
| TWI718750B (zh) * | 2019-11-07 | 2021-02-11 | 國立中央大學 | 來源分離方法、裝置及非暫態電腦可讀取媒體 |
| CN111047515B (zh) * | 2019-12-29 | 2024-01-09 | 兰州理工大学 | 一种基于注意力机制的空洞卷积神经网络图像超分辨率重建方法 |
| CN112712526B (zh) * | 2020-12-31 | 2024-02-27 | 杭州电子科技大学 | 基于非对称卷积神经网络双通道的视网膜血管分割方法 |
| CN112966594A (zh) * | 2021-03-03 | 2021-06-15 | 北京鼎翰科技有限公司 | 一种环境感知方法 |
| CN112991173B (zh) * | 2021-03-12 | 2024-04-16 | 西安电子科技大学 | 基于双通道特征迁移网络的单帧图像超分辨率重建方法 |
-
2021
- 2021-12-30 TW TW110149687A patent/TWI788171B/zh active
- 2021-12-30 TW TW110149688A patent/TWI788172B/zh active
- 2021-12-30 CN CN202111646609.2A patent/CN114283066A/zh active Pending
- 2021-12-30 CN CN202111650266.7A patent/CN114331845A/zh active Pending
-
2022
- 2022-09-01 US US17/823,960 patent/US20230063201A1/en active Pending
- 2022-09-01 US US17/823,963 patent/US20230060988A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN114331845A (zh) | 2022-04-12 |
| TW202312091A (zh) | 2023-03-16 |
| TWI788171B (zh) | 2022-12-21 |
| US20230063201A1 (en) | 2023-03-02 |
| TW202312089A (zh) | 2023-03-16 |
| US20230060988A1 (en) | 2023-03-02 |
| TWI788172B (zh) | 2022-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Real-esrgan: Training real-world blind super-resolution with pure synthetic data | |
| US20220222786A1 (en) | Image processing method, smart device, and computer readable storage medium | |
| WO2021088473A1 (en) | Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium | |
| US10846836B2 (en) | View synthesis using deep convolutional neural networks | |
| CN110163237B (zh) | 模型训练及图像处理方法、装置、介质、电子设备 | |
| US7542600B2 (en) | Video image quality | |
| US20110211233A1 (en) | Image processing device, image processing method and computer program | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN111985281B (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN112602088B (zh) | 提高弱光图像的质量的方法、***和计算机可读介质 | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN112598587A (zh) | 一种联合人脸去口罩和超分辨率的图像处理***和方法 | |
| CN114298900A (zh) | 图像超分方法和电子设备 | |
| CN107220934B (zh) | 图像重建方法及装置 | |
| CN110958363B (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| US20240202886A1 (en) | Video processing method and apparatus, device, storage medium, and program product | |
| US20230063201A1 (en) | Image processing device and super-resolution processing method | |
| EP2465095A1 (en) | System and method for region-of-interest-based artifact reduction in image sequences | |
| CN113658065A (zh) | 图像降噪方法及装置、计算机可读介质和电子设备 | |
| CN110880160B (zh) | 图片帧超分方法、装置、终端设备及计算机可读存储介质 | |
| CN111861940A (zh) | 一种基于条件连续调节的图像调色增强方法 | |
| CN116309158A (zh) | 网络模型的训练方法、三维重建方法、装置、设备和介质 | |
| CN116882511A (zh) | 机器学习方法以及设备 | |
| US20220398704A1 (en) | Intelligent Portrait Photography Enhancement System | |
| Zhang et al. | Bilateral upsampling network for single image super-resolution with arbitrary scaling factors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |