CN115880559A - 信息处理装置、信息处理方法和存储介质 - Google Patents

Abstract

本公开涉及一种信息处理装置、信息处理方法和存储介质。所述信息处理装置包括：识别单元，所述识别单元被配置为，识别输入图像的部分区域；以及处理单元，所述处理单元被配置为，通过使用神经网络进行推断而对所述输入图像进行用以减少所述输入图像的劣化的图像处理。所述处理单元被配置为，在所述部分区域与其他区域之间改变所述图像处理。

Description

信息处理装置、信息处理方法和存储介质

技术领域

本公开涉及一种用于减少图像劣化的信息处理技术。

背景技术

近年来，深度神经网络(DNN)已应用于各种信息处理应用程序。DNN特指包括两个或多个隐藏层的神经网络，并且其性能随着隐藏层数的增加而提高。使用DNN的信息处理的示例是用于减少图像劣化的图像处理。图像的劣化元素包括例如噪声、模糊、低分辨率和缺失数据。减少图像劣化的处理可以包括降噪、去模糊、超分辨率和缺失数据补偿。

张凯、左旺孟、张磊的“FFDNet:Toward A Fast AND Flexible Solution for CNNbased Image Denoising”，电气和电子工程师协会(IEEE)图像处理汇刊，第27卷、第9期，pp.4608-4622(下文称为非专利文献1)中讨论了一种使用具有不同噪声水平的多个图像训练神经网络的方法。果实、闫子飞、张凯、左旺孟、张磊的“Toward Convolutional BlindDenoising of Real Photographs”，2019年国际计算机视觉与模式识别会议(CVPR)(IEEE/计算机视觉基金会(CVF))(下文称为非专利文献2)中讨论了一种通过使用多层神经网络的信息处理，根据泊松分布方差估计实际拍摄图像中的噪声并基于估计结果获得降噪图像的方法。

然而，在前述非专利文献1和非专利文献2中讨论的方法不能有利地减少要单独处理的图像在每个局部部分区域中的劣化。

发明内容

根据本公开的一个方面，一种信息处理装置包括：识别单元，所述识别单元被配置为，识别输入图像的部分区域；以及处理单元，所述处理单元被配置为，通过使用神经网络进行推断而对所述输入图像进行用以减少所述输入图像的劣化的图像处理。所述处理单元被配置为在所述部分区域与其他区域之间改变所述图像处理。

通过以下参照附图对示例性实施例的描述，本公开的其他特征将变得显而易见。

附图说明

图1是图示应用信息处理装置的***配置的示例的图。

图2是图示根据本公开的一个或多个方面的整个信息处理***的功能配置的图。

图3A和图3B是描述用于推断和训练的过程的图。

图4A和图4B是描述卷积神经网络(CNN)结构和训练过程的图。

图5是描述劣化添加处理的图。

图6A和图6B是图示根据本公开的一个或多个方面的信息处理过程的流程图。

图7是图示根据本公开的一个或多个方面的整个信息处理***的功能配置的图。

图8A和图8B是图示根据本公开的一个或多个方面的信息处理过程的流程图。

具体实施方式

下面将参照附图描述一些示例性实施例。以下示例性实施例不旨在限制本公开，并且并非示例性实施例中描述的特征的所有组合都被用作本公开的解决手段。可依据应用本公开的装置的规格和各种条件(诸如，使用条件和使用环境)，适当地修改或改变示例性实施例的配置。可以适当地对以下描述的示例性实施例的部分进行组合。在以下示例性实施例的描述中，相同的数字将指代相同的组件。

<关于CNN>

首先，将描述在以下示例性实施例中使用的基于深度学习的通用信息处理技术中使用的卷积神经网络(CNN)。CNN是一种对图像数据重复进行通过训练或学习生成的滤波器的卷积及非线性计算的技术。滤波器也称为局部感受野(Local Receptive Fields，LRF)。通过对图像数据进行滤波器的卷积，然后进行非线性计算得到的图像数据称为特征图(feature map)。训练使用包括输入图像数据和输出图像数据对的训练数据(训练图像或数据集)来进行。简言之，训练是指根据训练数据生成能够高精度地将输入图像数据转换成对应的输出图像数据的滤波器值。下面将描述其细节。

如果图像数据包括红色、绿色和蓝色(RGB)颜色通道或者如果特征图包括多个图像的图像数据，则用于卷积的滤波器也相应地包括多个通道。更具体而言，卷积滤波器由包括垂直和水平尺寸、图像数量和通道数量的四维阵列表示。用于对图像数据(或特征图)进行滤波器的卷积和非线性计算的处理以层为单位表示，如第n层特征图和第n层滤波器。例如，重复滤波器卷积和非线性计算三次的CNN具有三层网络结构。这种非线性计算处理可由以下等式(1)表示：

…

在等式(1)中，W_n为第n层滤波器，b_n为第n层偏差，f为非线性算子，X_n为第n层特征图，*为卷积算子。(l)指示滤波器或特征图是第l个。滤波器和偏差通过下面描述的训练而生成，并且统称为“网络参数”。例如，非线性计算使用S型函数或修正线性单元(ReLU)。ReLU由以下等式(2)给出：

如等式(2)所示，输入向量X的负分量变为零，而正分量保持原样。

在已知的基于CNN的网络之中，包括图像识别领域的残差网络(ResNet)及其在超分辨率领域的应用残差编码器-解码器网络(RED-Net)。两者均包括多层CNN，以针对高精度处理进行多次滤波器卷积。例如，ResNet的特征为包括用于直连卷积层的路径的网络结构，从而构建包括多达152层的多层网络来实现接近人类识别率的高精度识别。

简言之，多层CNN提高处理精度的原因在于输入与输出之间的非线性关系可通过多次重复非线性计算来表现。

<CNN训练>

接下来，将描述CNN训练。通过最小化与训练数据相关的目标函数来训练CNN，所述训练数据包括输入训练图像(下文也称为学生图像)数据和相应的输出训练图像(下文也称为教师图像)数据对。目标函数通常由以下等式(3)表示：

在等式(3)中，L是用于测定正确答案与其估值之间的误差的损失函数。Y_i是第i个输出训练图像数据，而X_i是第i个输入训练图像数据。F是共同表示在CNN的每一层中进行的计算(等式(1))的函数。θ是网络参数(滤波器和偏差)。||Z||₂是L2范数，或者简言之，是向量Z的分量的和的平方根。n是在训练中使用的训练数据的总数。由于训练数据的总数通常很大，因此随机梯度下降(SGD)随机选择一些训练图像数据并且使用选定的训练数据进行训练。这可减少使用大量训练数据进行训练的计算负荷。已知存在各种用于最小化(优化)目标函数的方法，包括动量法、自适应梯度(AdaGrad)、自适应增量(AdaDelta)和自适应矩估计(Adam)。Adam由以下等式(4)给出：

在等式(4)中，θ_i ^t是第t次重复时的第i个网络参数，而g是损失函数L对于θ_i ^t的梯度。m和v是力矩向量，α是基础学习率，β₁和β₂是超参数，而ε是小常数。由于没有用于训练的优化方法的选择指南，因此基本上可使用任意方法。然而，不同的方法具有不同的收敛特性，并且已知会在训练时间上产生差异。

在本示例性实施例中，使用上述CNN进行用于减少图像劣化的信息处理(图像处理)。图像的劣化元素的示例包括诸如噪声、模糊、像差、压缩、低分辨率和缺失数据等劣化，以及诸如在摄像期间由于天气(包括雾、霭、雪和雨)引起的对比度下降等劣化。用于减少图像劣化的图像处理的示例可以包括降噪、去模糊、像差校正、缺失数据补偿、基于压缩的劣化的校正、对低分辨率图像的超分辨率处理以及用于校正在摄像期间由于天气导致的对比度下降的处理。根据本示例性实施例的图像劣化减少处理是用于根据劣化图像生成或恢复成无劣化(或少劣化)图像的处理。在以下描述中，将这种图像劣化减少处理称为图像恢复处理。

换言之，根据本示例性实施例的图像恢复涵盖能够减少原始图像本身中所包括的劣化的情况，以及恢复本身无劣化(少劣化)但随后因放大、压缩、解压缩或其他图像处理而劣化的图像的情况。

针对可由一个或多个特定参数表示的图像劣化，使用神经网络的图像恢复处理可提供超过不使用神经网络的传统处理的图像恢复性能。然而，如果存在各种类型的图像劣化，则单个神经网络的图像恢复性能可能会不足。例如，在降噪的情况下，如果图像恢复处理的目标图像具有与训练中类似的噪声水平，则使用具有单一噪声水平或范围十分窄的噪声水平的图像训练的神经网络即可提供充分的降噪效果。另一方面，如果图像恢复处理的目标图像具有与训练中使用的图像的噪声水平不同的噪声水平，则神经网络可能提供不充分的降噪效果。前述非专利文献1讨论了一种使用不同噪声水平的多个图像训练神经网络以使得单个神经网络可处理不同噪声水平的多个图像的方法。根据非专利文献1中讨论的方法，如果图像恢复处理的目标图像具有与训练中使用的图像中的一者的噪声水平类似的噪声水平，则可获得充分的降噪效果。然而，如上所述，非专利文献1和非专利文献2中讨论的方法不能有利地减少图像恢复处理的目标图像的局部部分区域中的劣化。

第一示例性实施例涉及一种在不改变神经网络的配置的情况下，估计输入图像中的图像质量劣化强度并基于估计结果调整输入图像的每个局部区域中的恢复强度，以便可对要处理的图像逐个区域地减少劣化的方法。恢复强度是指在劣化减少处理中劣化的减少量，即，图像恢复处理中的恢复量。下面将使用噪声作为图像的劣化元素的示例、使用进行降噪处理作为图像恢复处理的示例来描述本示例性实施例。

<信息处理***的配置示例>

图1是图示应用根据第一示例性实施例的信息处理装置的***配置的示例的图。图1中所示的信息处理装置包括经由互联网连接的云服务器200和边缘设备100。云服务器200负责生成训练数据、估计图像质量劣化和进行用于恢复的训练。边缘设备100负责要处理的图像的劣化恢复。下文将云服务器200中的训练数据的生成、图像质量劣化的估计和用于恢复的训练称为劣化恢复训练。将边缘设备100中的劣化恢复称为劣化恢复推断。

<边缘设备的硬件配置>

根据本示例性实施例的边缘设备100获得从摄像装置10输入的原始图像数据(拜耳布置(Bayer arrangement))作为要进行图像恢复处理的输入图像。然后，边缘设备100通过应用由云服务器200提供的经训练网络参数对要处理的输入图像进行劣化恢复推断。换言之，边缘设备100是通过使用由云服务器200提供的神经网络并运行预先安装的信息处理应用程序来降低原始图像数据中的噪声的信息处理装置。边缘设备100包括中央处理单元(CPU)101、随机存取存储器(RAM)102、只读存储器(ROM)103、大容量存储设备104、通用接口(I/F)105和网络I/F 106。这些组件通过***总线107彼此连接。边缘设备100还经由通用I/F 105连接到摄像装置10、输入装置20、外部存储设备30和显示设备40。

CPU 101使用RAM 102作为工作存储器来运行存储在ROM 103中的程序，并且经由***总线107集中控制边缘设备100的组件。大容量存储设备104例如是硬盘驱动器(HDD)或固态驱动器(SSD)，并且存储要由边缘设备100处理的各种类型的数据和图像数据。CPU 101经由***总线107将数据写到大容量存储设备104并读取存储在大容量存储设备104中的数据。通用I/F 105是串行总线I/F，诸如通用串行总线(USB)、电气和电子工程师协会(IEEE)1394以及高清多媒体接口

I/F。边缘设备100经由通用I/F 105从外部存储设备30(诸如存储卡、标准闪存(CompactFlash，CF)卡、安全数字(SD)卡、USB存储器等各种存储介质)获得数据。边缘设备100还经由通用I/F 105从诸如鼠标和键盘等输入装置20接受用户指令。边缘设备100经由通用I/F 105将CPU 101处理的图像数据输出到显示设备40(诸如液晶显示器等各种图像显示设备)。边缘装置100经由通用I/F 105从摄像装置10获得拍摄图像(原始图像)的数据以进行降噪处理。网络I/F 106是用于连接到互联网的I/F。边缘设备100使用安装的网络浏览器访问云服务器200，并且获得用于劣化恢复推断的网络参数。/>

<云服务器的硬件配置>

根据本示例性实施例的云服务器200是在互联网上提供云服务的信息处理装置。更具体而言，云服务器200生成训练数据，进行劣化恢复训练，并且生成存储由训练产生的网络参数和网络结构的经训练模型。然后，云服务器200响应于来自边缘设备100的请求提供经训练模型。云服务器200包括CPU 201、ROM 202、RAM 203、大容量存储设备204和网络I/F 205。这些组件通过***总线206彼此连接。CPU 201通过读取存储在ROM 202中的控制程序并进行各种类型的处理来控制整个云服务器200的操作。RAM 203用作诸如CPU 201的主存储器和工作区域的临时存储区域。大容量存储设备204是诸如HDD和SSD的大容量二级存储设备，并且存储图像数据和各种程序。网络I/F 205是用于连接到互联网的I/F。网络I/F205响应于来自边缘设备100上的网络浏览器的请求，提供存储前述网络参数和网络结构的经训练模型。

虽然边缘设备100和云服务器200还包括除前述组件之外的其他组件，但这里将省略其描述。在本示例性实施例中，假设将通过云服务器200生成训练数据并进行劣化恢复训练而获得的经训练模型下载到边缘设备100，并且边缘设备100对要处理的输入图像数据进行劣化恢复推断。这样的***配置仅为示例而非限制性的。例如，可以对云服务器200的功能进行细分，并且可以通过不同的装置进行训练数据的生成和劣化恢复训练。摄像装置10可以被配置为具有边缘设备100的功能和云服务器200的功能两者，并且进行所有的训练数据生成、劣化恢复训练和劣化恢复推断。

<整个信息处理***的功能块>

接下来，将参照图2描述根据本示例性实施例的整个信息处理***的功能配置。

如图2中所示，边缘设备100包括特定区域提取单元111和推断单元112。如下面将详细描述，推断单元112具有用于减少图像劣化的图像恢复处理的功能。推断单元112包括推断用劣化估计单元113、强度调整单元114和推断用劣化恢复单元115。换言之，推断单元112包括两个神经网络，即，包括推断用劣化估计单元113的劣化推断网络和包括推断用劣化恢复单元115的劣化恢复网络。

云服务器200包括劣化添加单元211和训练单元212。如下面将详细描述，训练单元212具有使用教师图像和学生图像估计学生图像的劣化的劣化估计功能和基于劣化估计的结果对学生图像进行图像恢复处理的劣化恢复功能。训练单元212包括训练用劣化估计单元213、训练用劣化恢复单元214、误差计算单元215和模型更新单元216。换言之，训练单元212包括两个神经网络，即，包括训练用劣化估计单元213的劣化估计网络和包括训练用劣化恢复单元214的劣化恢复网络。

图2中所示的配置可适当地修改或改变。例如，可以将一个功能单元划分为多个功能单元。可以将两个或多个功能单元整合成一个。图2中所示的配置可以由两个或多个装置来实现。

在这种情况下，装置经由电路或者有线或无线网络连接，并且通过彼此进行数据通信以协作操作来进行根据本示例性实施例的处理。

首先，将描述边缘设备100的功能单元。

特定区域提取单元111获得输入图像数据116，并且从输入图像数据116(输入图像)中提取局部部分区域。在本示例性实施例中，下文将输入图像的局部部分区域称为特定区域。然后，特定区域提取单元111输出指示特定区域的提取结果的特定区域图。在本示例性实施例中，将每个像素具有与R、G或B颜色对应的像素值的原始图像数据用作输入图像数据116。原始图像数据是使用拜耳布置的彩色滤色器拍摄的图像数据，在所述拜耳布置中，每个像素均具有与一种颜色有关的信息。

在本示例性实施例中，特定区域可以是输入图像数据116中包括的主要被摄体或特定被摄体的区域，或者不同被摄体的区域。可能存在一个用以提取特定区域的主要被摄体，也可能存在多个主要被摄体。可能存在一个与主要被摄体不同的、用以提取特定区域的被摄体，也可能存在多个这样的被摄体。例如，可以预先确定或由用户自由选择将这些主要被摄体和其他被摄体的哪个区域提取为特定区域。特定区域不限于图像内部的区域，如被摄体内部的区域。例如，可提取图像中包括的特定频带内的分量作为特定区域。作为示例，可以提取使用边缘检测滤波器(如索贝尔(Sobel)滤波器和拉普拉斯(Laplacian)滤波器)检测到的诸如高频带内的特定频带内的分量作为特定区域。可以将较低频带中未检测到的分量提取为特定区域。可以将特定被摄体或主要被摄体的区域(或其他区域)以及特定频带(或其他频带)内的分量两者都提取为特定区域。可以适当地选择性切换提取哪些区域。提取特定区域的方法不限于此，并且也可以使用将输入图像中用户自由指定的区域提取为特定区域的方法。用户指定的特定区域可以为主要被摄体或特定被摄体的区域，也可以是不同的区域。用户指定的特定区域可以为包括特定频带内的分量的区域或者包括其他频带内的分量的区域。

推断单元112使用从云服务器200接收到的经训练模型220来估计输入图像数据116的劣化，并且基于估计结果进行劣化恢复推断。

在本示例性实施例中，推断单元112在分别控制特定区域和其他区域中的恢复处理的恢复量的同时减少劣化(进行劣化恢复)。本文中所采用的恢复量是指在特定区域和其他区域中的每个区域中调整劣化恢复强度的量，即，通过劣化减少处理劣化减少的量。在本示例性实施例中，劣化恢复推断由推断用劣化估计单元113、强度调整单元114和推断用劣化恢复单元115进行。

推断用劣化估计单元113获得输入图像数据116，并且使用经训练模型220估计指示输入图像数据116的劣化程度的劣化量。劣化量使用神经网络来估计。图3A是图示推断单元112的处理过程的图。如图3A中所示，推断用劣化估计单元113将输入图像数据116输入到第一CNN 301中，以多次重复由等式(1)和等式(2)表示的卷积计算和非线性计算，并且输出作为图像劣化的估计结果的劣化估计结果302。

图4A和图4B是用于描述CNN结构和用于推断和训练的过程的图。

首先，将参照图3A和图4A描述第一CNN 301的处理。

第一CNN 301包括多个滤波器401，所述多个滤波器401用于进行前述等式(1)的计算。首先，推断用劣化估计单元113将输入图像数据116输入到该CNN中。然后，推断用劣化估计单元113依序将滤波器401应用于输入图像数据116以计算特征图(未示出)。推断用劣化估计单元113将最后一个滤波器401的应用结果作为劣化估计结果302输出。劣化估计结果302与输入图像数据116具有相同的通道。

强度调整单元114使用由特定区域提取单元111提供的特定区域图303，来处理由推断用劣化估计单元113估计的劣化估计结果302。在本示例性实施例中，劣化估计结果的处理是指在劣化估计结果302中包括的特定区域中逐像素地调整劣化估计量的强度调整处理。作为强度调整处理304，强度调整单元114通过逐像素地将劣化估计结果302中的特定区域乘以系数α117，来调整劣化估计量。如果α＞1，则输入图像数据116的恢复量增加。如果α<1，则恢复量减少。

接下来，推断用劣化恢复单元115接收由强度调整单元114处理的劣化估计结果302，并且基于处理后的劣化估计结果302对输入图像数据116的劣化进行恢复处理。换言之，推断用劣化恢复单元115基于强度调整单元114逐像素在特定区域中处理的估计量，通过控制劣化减少的量，来对输入图像数据116的劣化进行恢复处理。更具体而言，推断用劣化恢复单元115将输入图像数据116和处理后的劣化估计结果302输入到第二CNN 305中。然后，推断用劣化恢复单元115使用由等式(1)和等式(2)表示的滤波器多次重复卷积计算和非线性计算，并且输出恢复的输出图像数据118。

接下来，将参照图3A和图4B描述第二CNN 305的处理。

如图4B中所示，第二CNN 305包括多个滤波器401和连接层402。首先，推断用劣化恢复单元115将沿通道方向彼此连接或添加的输入输入图像数据116和处理后的劣化估计结果302输入到第二CNN 305中。然后，推断用劣化恢复单元115将滤波器401连续应用于输入数据以计算特征图。然后，推断用劣化恢复单元115使用连接层402沿通道方向连接特征图和输入数据。推断用劣化恢复单元115进一步将滤波器401连续应用于连接结果，并且从最后一个滤波器401输出与输入图像数据116具有相同数量通道的输出图像数据118。

接下来，将描述云服务器200的功能单元。

劣化添加单元211通过将至少一种或多种类型的劣化元素添加到从无劣化的教师图像组中取出的教师图像数据来生成学生图像数据。在本示例性实施例中，将噪声描述为劣化元素的示例。因此，劣化添加单元211通过将噪声作为劣化元素添加到教师图像数据来生成学生图像数据。在本示例性实施例中，劣化添加单元211分析摄像装置10的物理特性，并且通过将与比摄像装置10中可能出现的劣化量更宽范围的劣化量对应的噪声作为劣化元素添加到教师图像数据来生成学生图像数据。添加比分析结果中劣化量更宽范围的劣化量的原因是提供用于改进稳健性的余量，这是因为劣化量的范围可能因摄像装置10的个体差异而变化。更具体而言，如图5中所示，劣化添加单元211通过基于摄像装置10的物理特性的分析结果218将噪声作为劣化元素添加502到从教师图像组217中取出的教师图像数据501，来生成学生图像数据504。然后，劣化添加单元211将教师图像数据501与学生图像数据504配对，以生成训练数据。劣化添加单元211通过将劣化元素添加到教师图像组217中的每个教师图像数据501来生成包括多个学生图像数据的学生图像组，由此生成训练数据505。虽然本示例性实施例将噪声作为示例处理，但是劣化添加单元211可以将多种类型的劣化元素中的任何一种或者两种或多种的组合添加到教师图像数据501。如上所述，劣化元素的示例包括模糊、像差、压缩、低分辨率、缺失数据以及摄像时由于天气导致的对比度下降。

教师图像组217包括各种类型的图像数据。示例包括包含风景照片和动物图片的自然照片、诸如工作室肖像和运动图片的肖像照片以及诸如建筑和产品图片的人造图片。在本示例性实施例中，与输入图像数据116一样，教师图像数据501是每个像素具有与R、G或B颜色对应的像素值的原始图像数据。摄像装置10的物理特性的分析结果218例如包括照相机(摄像装置)10的内置图像传感器在每一灵敏度下出现的噪声量以及由透镜引起的像差量。使用分析结果218，可针对每个摄像条件估计出现了多少图像质量劣化。换言之，通过将在摄像条件下估计的劣化添加到教师图像数据501，可生成与在摄像中获得的图像类似的图像。

训练单元212获得要应用于CNN以进行劣化恢复训练的网络参数219，使用网络参数219初始化CNN的权重，并且使用劣化添加单元211生成的训练数据505进行劣化恢复训练。网络参数219包括CNN参数的初始值，以及指示CNN的结构和优化方法的超参数。训练单元212中的劣化恢复训练通过训练用劣化估计单元213、训练用劣化恢复单元214、误差计算单元215和模型更新单元216进行。

图3B是图示训练单元212的处理过程的图。

训练用劣化估计单元213从劣化添加单元211接收训练数据306并且估计添加到学生图像数据308的劣化量307。具体而言，首先，训练用劣化估计单元213将学生图像数据308输入到第一CNN 301，以使用由等式(1)和等式(2)表示的滤波器多次重复卷积计算和非线性计算，并且输出劣化估计结果310。

误差计算单元215将添加的劣化量307和劣化估计结果310输入到作为损失函数计算的第一损失处理311，并且计算它们之间的误差。这里，添加的劣化量307、学生图像数据308和劣化估计结果310都具有相同数量的像素。接下来，模型更新单元216将误差计算单元215计算出的误差输入到第一更新处理312中，并且更新第一CNN 301的网络参数以减少(最小化)误差。

训练用劣化恢复单元214接收学生图像数据308和训练用劣化估计单元213估计的劣化估计结果310，并且对学生图像数据308进行恢复处理。具体而言，首先，训练用劣化恢复单元214将学生图像数据308和劣化估计结果310输入到第二CNN 305中，以使用由等式(1)和等式(2)表示的滤波器多次重复卷积计算和非线性计算，并且输出恢复结果313。

然后，误差计算单元215将教师图像数据309和恢复结果313输入到第二损失处理314中，以计算它们之间的误差。这里，教师图像数据309和恢复结果313具有相同数量的像素。然后，模型更新单元216将误差计算单元215计算出的误差输入到第二更新处理315中，并且更新第二CNN 305的网络参数以减少(最小化)误差。训练用劣化估计单元213和训练用劣化恢复单元214在不同定时处计算误差，但在相同定时处更新网络参数。训练单元212使用的第一CNN 301和第二CNN 305分别是与推断单元112使用的第一CNN 301和第二CNN 305相同的神经网络。

<整个信息处理***的处理过程>

接下来，将参照图6A和图6B描述根据本示例性实施例的信息处理***进行的各种类型的处理。图6A和图6B是图示根据本示例性实施例的信息处理***的处理过程的流程图。图2中所示的功能单元由根据本示例性实施例运行信息处理计算机程序的CPU 101和201实现。图2中所示的所有或一些功能单元可以通过硬件实现。现在，将参照图6A和图6B的流程图给出描述。

首先，将参照图6A的流程图描述由云服务器200进行的劣化恢复训练的过程的示例。

在步骤S601中，将预先准备好的教师图像组217和摄像装置10的物理特性的分析结果218(诸如，图像传感器的特性、摄像灵敏度、物距、透镜焦距、光圈值和曝光值)输入到云服务器200。例如，教师图像数据是拜耳布置的原始图像并且可通过摄像装置10拍摄图像而获得。这并非是限制性的。摄像装置10拍摄的图像可直接上传到云服务器200。预先拍摄的图像可以存储在HDD中且随后上传到云服务器200。输入到云服务器200的教师图像组217的数据和摄像装置10的物理特性的分析结果218被传送到劣化添加单元211。

在步骤S602中，劣化添加单元211通过基于摄像装置10的物理特性的分析结果218将噪声添加到在步骤S601中输入的教师图像组217中的教师图像数据中，来生成学生图像数据。这里，劣化添加单元211以预设顺序或随机顺序添加基于摄像装置10的物理特性的分析结果218预先测量的噪声量。

在步骤S603中，将应用于CNN以进行劣化恢复训练的网络参数输入到云服务器200。如上所述，这里的网络参数包括CNN参数的初始值，以及指示CNN的结构和优化方法的超参数。输入网络参数被传送到训练单元212。训练单元212使用接收到的网络参数初始化第一CNN 301和第二CNN 305的权重。

在步骤S604中，训练用劣化估计单元213估计在步骤S602中生成的学生图像数据的劣化。然后，训练用劣化恢复单元214基于估计结果，来恢复学生图像数据。

在步骤S605中，误差计算单元215基于由等式(3)表示的损失函数，计算恢复结果与教师图像数据之间的误差。

在步骤S606中，模型更新单元216更新网络参数，以减少(最小化)如上所述在步骤S605中获得的误差。

在步骤S607中，训练单元212确定是否结束训练。例如，如果网络参数的更新量已经达到预定量，则训练单元212可确定结束训练。如果训练单元212确定不结束训练(在步骤S607中为“否”)，则处理返回到步骤S604。在步骤S604和后续步骤的处理中，云服务器200使用其他学生图像数据和教师图像数据对进行训练。

接下来，将参照图6B的流程图描述由边缘设备100进行的劣化恢复推断的过程的示例。

在步骤S608中，将由云服务器200训练的经训练模型220和作为要进行劣化恢复处理的拜耳布置原始图像的输入图像数据116输入到边缘设备100。例如，可以将由摄像装置10拍摄的图像作为原始图像直接输入。可以读取预先拍摄并存储在大容量存储设备104中的图像。输入图像数据116被传送到特定区域提取单元111和推断单元112。经训练模型220被传送到推断单元112。

在步骤S609中，特定区域提取单元111从输入图像数据116中提取一个或多个特定区域。提取结果作为特定区域图303被传送到强度调整单元114。

在步骤S610中，推断用劣化估计单元113构造与训练单元212在训练中使用的CNN的相同的第一CNN 301，并且估计输入图像数据116的劣化。这里，使用从云服务器200接收到的已更新网络参数初始化现有网络参数。推断用劣化估计单元113因此将输入图像数据116输入到应用了已更新网络参数的第一CNN 301，并且进行劣化估计以通过与训练单元212进行的方法相同的方法获得劣化估计结果302。

在步骤S611中，强度调整单元114使用在步骤S609中输出的特定区域图303，根据在步骤S610中输出的劣化估计结果310调整劣化恢复量。

在步骤S612中，推断用劣化恢复单元115构造与训练单元212在训练中使用的CNN相同的第二CNN 305，并且使用在步骤S611中调整的劣化估计结果对输入图像数据116进行劣化恢复。更具体而言，与步骤S610一样，推断用劣化恢复单元115使用从云服务器200接收到的更新后的网络参数初始化现有网络参数，并且通过与训练单元212进行的方法相同的方法对输入图像数据116进行劣化恢复。然后，将由推断用劣化恢复单元115劣化恢复的图像数据作为输出图像数据118输出。

上面已经描述了根据本示例性实施例的信息处理***进行的整个处理过程。因此，在不改变推断单元112的神经网络配置的情况下，可估计输入图像数据116中的图像劣化，并且可基于估计结果在输入图像的每个区域中调整恢复强度。

在本示例性实施例中，在步骤S602中生成训练数据306。然而，训练数据306可以随后生成。具体而言，云服务器200可以被配置为在后续劣化恢复训练中生成与教师图像数据对应的学生图像数据。

在本示例性实施例中，使用预先准备的教师图像组217的数据从头开始进行训练。然而，可以基于经训练网络参数进行本示例实施例的处理。

已结合使用拜耳布置的彩色滤波器拍摄的原始图像对本示例性实施例进行了描述。然而，可以采用其他彩色滤波器布置。图像数据格式也并不限于原始图像。例如，可以使用去马赛克的RGB图像或YUV转换的图像。

已通过使用噪声作为劣化元素的示例描述了本示例性实施例。但是，劣化元素并不限于此。如上所述，劣化元素可包括以下任何一种或组合：模糊、像差、压缩、低分辨率、缺失数据以及摄像时由于雾、霭、雪和雨的影响而导致的对比度下降。

在本示例实施例中，推断单元112被描述为仅输出通过对输入图像数据116进行恢复处理而获得的输出图像数据118。然而，可以与输出图像数据118一起输出由推断用劣化估计单元113输出的劣化估计结果302。

在本示例性实施例中，边缘设备100被描述为使用经训练模型220仅基于输入图像数据116进行劣化恢复。然而，也可以使用用于协助劣化恢复的参数。例如，可以预先存储包括依据诸如与被摄体的距离、焦距、传感器尺寸和曝光等摄像条件对图像质量中会出现的劣化程度的估计的查找表，并且可以在劣化恢复中通过参考查找表来调整恢复量。换言之，边缘设备100的推断单元112可以基于拍摄输入图像数据116的图像的摄像条件，来调整劣化恢复的强度。

已通过使用存在单个输入图像数据116的情况作为示例描述了本示例性实施例。然而，也可以处理诸如运动图像数据的帧的连续图像数据。在这种情况下，将时间序列中的连续教师图像数据和通过对其添加劣化而生成的学生图像数据用作劣化恢复训练中的训练图像。在对连续的输入图像数据进行劣化恢复时，输出相同数量的劣化估计结果。这里，边缘设备100确定劣化估计结果之间的差异，并且在差异值较大的区域中将降噪量设置为较大以减少重影并使运动平滑，这是因为差异值大的区域可包括运动被摄体、基于摄影技巧的运动或相机抖动。

下面将描述第二示例性实施例。第一示例性实施例已经处理了根据输入图像数据116估计一种类型的劣化元素(在前述示例中为噪声)并且基于估计结果逐个区域地调整恢复量的示例。

在第二示例性实施例中，将描述用于根据输入图像数据估计具有各自优先级的多个劣化元素并基于估计结果和指示优先级的劣化估计优先级来进行恢复处理的方法。将省略对与第一示例性实施例中描述的信息处理***的基本配置共用的信息处理***的基本配置的描述，下面将主要描述不同之处。

图7是图示根据第二示例性实施例的整个信息处理***的功能配置的框图。

如图7中所示，根据第二示例性实施例的边缘设备700包括推断用优先级确定单元701、特定区域提取单元702和推断单元703。推断单元703包括推断用劣化估计单元704、强度调整单元705和推断用劣化恢复单元706。

根据第二示例性实施例的云服务器710包括训练数据生成单元711、训练用优先级确定单元714和训练单元715。训练数据生成单元711包括数据分析单元712和劣化添加单元713。训练单元715包括训练用劣化估计单元716、训练用劣化恢复单元717、误差计算单元718和模型更新单元719。

首先，将描述边缘设备700的功能单元。

推断用优先级确定单元701确定对输入图像数据707中包括的多个劣化元素及其强度进行估计的顺序，即，推断优先级。

合适的是以与从光子到像素值的转换处理的顺序相反的顺序确定估计顺序。现在将简要描述处理。从被摄体飞出的光子按顺序通过透镜、光学低通滤波器和滤色器并到达光电二极管。光电二极管将光子转换为电荷，电荷通过电容器转换为电压，电压通过放大器放大，然后通过模数(A/D)转换电路转换为像素值。可对光子到达光电二极管之前出现的模糊和像差进行光学分析。关于在到达光电二极管之后且在转换为像素值之前出现的噪声，传感器的分析允许再现在拍摄的图像中出现了多少图像质量劣化。还可分析由于如雾、霭、雨和雪等天气导致的对比度下降等图像质量劣化，这是因为此类劣化在光子通过透镜时出现。在将光子转换为像素值之后，图像质量也会因在将原始图像转换为彩色图像时根据原始图像生成RGB值的去马赛克处理、从RGB颜色空间到YUV颜色空间的颜色细化处理以及位压缩而劣化。如果图像处理方法和压缩方法已知，则也可分析这些因素。推断用优先级确定单元701基于分析结果确定对输入图像数据707中包括的多个劣化元素及其强度进行估计的顺序，即，估计优先级。

特定区域提取单元702通过与根据第一示例性实施例的特定区域提取单元111的处理类似的处理来提取一个或多个特定区域。

使用从云服务器710接收到的经训练模型723，推断单元703基于推断用优先级确定单元701确定的估计优先级估计输入图像数据707中包括的多个劣化元素，并且基于估计结果进行劣化恢复推断。劣化恢复推断由推断用劣化估计单元704、强度调整单元705和推断用劣化恢复单元706进行。

推断用劣化估计单元704从推断用优先级确定单元701获得输入图像数据707和估计优先级，并且使用经训练模型723基于优先级估计输入图像数据707中包括的多个劣化元素及其劣化量。从而获得与要估计的劣化元素的数量一样多的劣化估计结果。以逐像素劣化量图的形式获得劣化量。

强度调整单元705使用特定区域提取单元702生成的特定区域图来处理由推断用劣化估计单元704估计的劣化估计结果。劣化估计结果的处理与第一示例性实施例中的处理类似，而根据第二示例性实施例的强度调整单元705可调整关于每个劣化元素的强度。例如，如果存在噪声、模糊和像差的劣化估计结果，则强度调整单元705通过逐像素地将劣化量图乘以系数α708来调整劣化估计的量。在仅对特定区域进行降噪的情况下，强度调整单元705仅激活关于噪声的劣化量图。这里，如果没有劣化，则将与模糊和像差有关的劣化量图中的所有像素值都设置为0。

推断用劣化恢复单元706接收由强度调整单元705处理的劣化估计结果，并且将基于优先级对输入图像数据707的劣化进行恢复的结果作为输出图像数据709输出。

接下来，将描述根据第二示例性实施例的云服务器710的功能单元。

数据分析单元712分析从教师图像组720中取出的教师图像数据的特征。具体而言，数据分析单元712使用空间滤波器提取高频分量，并且计算高频分量的比例作为特征值。数据分析单元712还进行设置以优先将诸如噪声、模糊和像差等多种类型的劣化元素及其劣化量添加到具有较高特征值的教师图像数据，即，包括较高比例的高频分量的教师图像数据。特征分析技术并不限于此。数据分析单元712可以进行设置，以优先将多种类型的劣化元素及其劣化量添加到包括特定被摄体的教师图像数据。

劣化添加单元713进行与根据第一示例性实施例的劣化添加单元211的处理类似的处理，进行处理的次数与要添加的劣化元素的数量一样多。

训练用优先级确定单元714确定对添加到学生图像数据的多个劣化元素及其强度进行估计的顺序，也即，训练用优先级。通过与推断用优先级确定单元701的处理类似的处理来确定估计顺序。

训练单元715获得要应用于CNN以进行劣化恢复训练的的网络参数722。训练单元715使用网络参数722来初始化CNN的权重，并且使用由劣化添加单元713生成的训练数据来进行劣化恢复训练。网络参数722包括CNN的参数的初始值和指示CNN结构和优化方法的超参数。训练单元715的劣化恢复训练通过训练用劣化估计单元716、训练用劣化恢复单元717、误差计算单元718和模型更新单元719进行。

训练用劣化估计单元716从训练数据生成单元711接收训练数据，并且基于由训练用优先级确定单元714确定的优先级来估计学生图像数据中包括的多个劣化元素。

训练用劣化恢复单元717接收学生图像数据和由训练用劣化估计单元716估计的劣化估计结果，并且进行与学生图像数据中包括的多个劣化元素对应的劣化恢复处理。

误差计算单元718与根据第一示例性实施例的误差计算单元215具有相同的功能。模型更新单元719与根据第一示例性实施例的模型更新单元216具有相同的功能。

如上所述，第二示例性实施例与第一示例性实施例的不同之处在于，基于训练用优先级确定单元714确定的优先级来估计多个劣化元素，并且基于估计结果来进行劣化恢复处理。

<整个信息处理***的处理过程>

接下来，将参照图8A和图8B描述由根据第二示例性实施例的信息处理***进行的各种类型的处理。图8A和图8B是图示根据第二示例性实施例的信息处理***的处理过程的流程图。图7中所示的功能单元通过CPU 101或201运行与各个功能单元对应的计算机程序来实现。

首先，将参照图8A的流程图描述由根据第二示例性实施例的云服务器710进行的处理过程。

在步骤S801中，将预先准备的教师图像组720和摄像装置10的物理特性的分析结果721输入到云服务器710。教师图像数据及其上传与前述第一示例性实施例类似。输入到云服务器710的关于教师图像组720的数据和摄像装置10的物理特性的分析结果721被传送到数据分析单元712。

在步骤S802中，数据分析单元712分析教师图像数据的特征。例如，作为分析结果，如果发现一个教师图像数据包括大量高频分量，则劣化添加单元713以各种强度将诸如噪声、模糊和像差的劣化元素添加到教师图像数据中。以这种方式，生成多个学生图像数据。

在步骤S803中，训练用优先级确定单元714确定优先级，以估计学生图像数据中包括的劣化元素。

在步骤S804中，将要应用于CNN以进行劣化恢复训练的网络参数输入到云服务器710。与第一示例性实施例一样，这里的网络参数包括CNN的参数的初始值和指示CNN结构和优化方法的超参数。输入的网络参数被传送到训练单元715。

在步骤S805中，训练用劣化估计单元716基于优先级，估计学生图像数据中包括的多个劣化元素。训练用劣化恢复单元717基于估计结果，进行劣化恢复处理。

在步骤S806中，误差计算单元718基于由等式(3)表示的损失函数，计算恢复结果与教师图像数据之间的误差。

在步骤S807中，模型更新单元719更新网络参数以减小(最小化)在步骤S806中获得的误差。

在步骤S808中，训练单元715确定是否结束训练。与前述第一示例性实施例一样，如果网络参数的更新量已达到预定量，则训练单元715可确定结束训练。如果训练单元715确定不结束训练(在步骤S808中为“否”)，则处理返回到步骤S805。在步骤S805和后续步骤的处理中，云服务器710使用其他学生图像数据和教师图像数据对进行训练。

接下来，将参照图8B的流程图描述由根据第二示例性实施例的边缘设备700进行的处理过程。

在步骤S809中，将由云服务器710训练的经训练模型723和进行劣化恢复处理的输入图像数据707输入到边缘设备700。与第一示例性实施例一样，输入图像数据707为原始图像。输入图像数据707被传送到推断用优先级确定单元701和特定区域提取单元702。经训练模型723被传送到推断单元703。

在步骤S810中，推断用优先级确定单元701确定用以估计第一图像数据707中包括的多个劣化元素的优先级。

在步骤S811中，特定区域提取单元702从输入图像数据707中提取一个或多个特定区域。提取结果作为特定区域图被传送到强度调整单元705。

在步骤S812中，推断用劣化估计单元704基于在步骤S810中确定的优先级，来估计输入图像数据707中包括的多个劣化元素。

在步骤S813中，强度调整单元705对多个劣化估计结果进行处理，即，调整恢复的强度。

在步骤S814中，推断用劣化恢复单元706基于在步骤S813中处理的劣化估计结果，对输入图像数据707进行劣化恢复处理。将推断用劣化恢复单元706恢复劣化的图像数据作为输出图像数据709输出。

上面已经描述了由根据第二示例性实施例的信息处理***进行的整个处理过程。因此，在不改变推断单元703的神经网络配置的情况下，可估计输入图像数据707中的多个图像质量劣化元素，并且可基于估计结果对输入图像逐个区域地调整恢复强度。

在本示例性实施例中，在进行劣化恢复训练时，由训练用优先级确定单元714确定要估计的劣化元素的优先级。然而，劣化添加单元713可以以与估计顺序相反的顺序添加劣化元素，并且可以跳过训练用优先级确定单元714。

<修改>

前述第一示例性实施例和第二示例性实施例已经处理了提取特定区域和逐个区域调整恢复强度的示例。然而，可以对输入图像数据中除预先遮罩的特定区域之外的区域进行劣化恢复推断。这可提供仅恢复输入图像数据的特定区域的劣化的结果。

本公开的示例性实施例还可通过以下处理来实现：经由网络或存储介质将用于实现前述示例性实施例的一个或多个功能的程序提供给***或装置，并且由***或装置的计算机中的一个或多个处理器读取和运行所述程序。也可使用用于实现一个或多个功能的电路(诸如，专用集成电路[ASIC])来实现。

所有前述示例性实施例仅为实现本公开的实施例的示例，并且本公开的技术范围不应被解释为限于前述示例性实施例。

换言之，本公开的示例性实施例在不背离本公开的技术概念或基本特征的情况下可以各种形式实现。

根据本公开的示例性实施例，可在要处理的图像的每个部分区域中减少劣化。

其他实施例

本公开的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已参照示例性实施例描述了本公开，但是应当理解，本公开并不局限于所公开的示例性实施例。应给予随附权利要求范围最宽泛的解释，以涵盖所有这些修改以及等效结构和功能。

Claims (23)

1.一种信息处理装置，所述信息处理装置包括：

识别单元，所述识别单元被配置为，识别输入图像的部分区域；以及

处理单元，所述处理单元被配置为，通过使用神经网络进行推断而对所述输入图像进行用以减少所述输入图像的劣化的图像处理，

其中，所述处理单元被配置为，在所述部分区域与其他区域之间改变所述图像处理。

2.根据权利要求1所述的信息处理装置，其中，所述识别单元被配置为，将所述输入图像中的至少一个或多个被摄体的区域识别为所述部分区域。

3.根据权利要求1所述的信息处理装置，其中，所述识别单元被配置为，将所述输入图像中特定频带内的分量识别为所述部分区域。

4.根据权利要求1所述的信息处理装置，其中，所述识别单元被配置为，将所述输入图像中用户指定的区域识别为所述部分区域。

5.根据权利要求1所述的信息处理装置，其中，所述处理单元被配置为，基于通过使用所述神经网络的所述推断对所述输入图像的所述劣化进行估计的结果，分别对所述输入图像的所述部分区域和其他区域进行用以减少所述劣化的所述图像处理。

6.根据权利要求1所述的信息处理装置，其中，所述处理单元被配置为，通过分别在所述部分区域和所述其他区域中的所述图像处理，控制劣化减少量。

7.根据权利要求6所述的信息处理装置，其中，所述劣化减少量为分别在所述部分区域和其他区域中调整所述劣化的减少强度的量。

8.根据权利要求6所述的信息处理装置，其中，所述处理单元被配置为，通过进行逐像素地调整估计量的处理来控制所述劣化减少量，所述估计量为在每个区域中对所述劣化进行估计的结果。

9.根据权利要求6所述的信息处理装置，其中，所述处理单元被配置为，基于拍摄所述输入图像所用的摄像条件，控制所述劣化减少量。

10.根据权利要求1所述的信息处理装置，其中，所述处理单元被配置为，输出通过进行用以减少所述输入图像的所述劣化的所述图像处理而获得的图像。

11.根据权利要求1所述的信息处理装置，其中，所述处理单元被配置为，根据所述输入图像确定用以估计所述劣化的优先级，并且基于所述优先级估计所述输入图像的劣化元素。

12.根据权利要求1所述的信息处理装置，所述信息处理装置还包括：

添加单元，所述添加单元被配置为，将至少一种或多种类型的劣化元素添加到教师图像，以生成学生图像；以及

训练单元，所述训练单元被配置为，基于所述教师图像和所述学生图像，来训练神经网络，

其中，所述训练单元被配置为，基于使用所述教师图像和所述学生图像对所述学生图像的劣化进行估计的结果进行用以减少所述学生图像的所述劣化的图像处理，并且使用通过所述图像处理减少所述劣化的所述学生图像和所述教师图像训练所述神经网络。

13.根据权利要求12所述的信息处理装置，其中，所述添加单元被配置为，通过优先级添加所述多种类型的劣化元素，所述教师图像包括预定高频分量。

14.根据权利要求12所述的信息处理装置，其中，所述添加单元被配置为，基于摄像装置的物理特性的分析结果，添加比所述摄像装置中出现的劣化量更宽范围的劣化量。

15.根据权利要求12所述的信息处理装置，其中，所述训练单元被配置为，根据所述学生图像确定用以估计所述劣化的优先级，并且基于所述优先级估计所述学生图像的劣化元素。

16.根据权利要求15所述的信息处理装置，其中，以与从光子到摄像素值的转换处理的顺序相反的顺序确定所述优先级。

17.根据权利要求1至16中任一项所述的信息处理装置，其中，所述神经网络包括估计所述劣化的劣化估计网络和进行用以减少所述劣化的所述图像处理的劣化恢复网络。

18.根据权利要求1至16中任一项所述的信息处理装置，其中，所述劣化包括以下一者或多者：噪声、压缩、低分辨率、模糊、相差、缺失数据以及摄像时由于天气导致的对比度下降。

19.一种信息处理装置，所述信息处理装置包括：

添加单元，所述添加单元被配置为，将多种类型的劣化元素添加到第一图像，以生成第二图像；以及

训练单元，所述训练单元被配置为，基于所述第一图像和所述第二图像，训练神经网络，

其中，所述训练单元被配置为，基于使用所述第一图像和所述第二图像对所述第二图像的劣化进行估计的结果进行用以减少所述第二图像的所述劣化的图像处理，并且使用通过所述图像处理减少所述劣化的所述第二图像和所述第一图像训练所述神经网络。

20.根据权利要求19所述的信息处理装置，其中，所述训练单元被配置为，根据所述第二图像估计所述劣化的强度，并且训练所述神经网络以最小化所述劣化的强度的估计结果与添加的劣化元素的强度之间的误差。

21.根据权利要求19所述的信息处理装置，其中，所述训练单元被配置为，输出通过基于所述第二图像和对所述劣化进行的所述估计的所述结果进行的所述图像处理而获得的图像，并且训练所述神经网络以最小化通过进行所述图像处理而获得的所述图像与所述第一图像之间的误差。

22.一种信息处理方法，所述信息处理方法包括：

识别输入图像的部分区域；以及

通过使用神经网络进行推断而对所述输入图像进行用于减少所述输入图像的劣化的图像处理，

其中，在所述部分区域与其他区域之间改变所述图像处理。

23.一种信息处理方法，所述信息处理方法包括：

将多种类型的劣化元素添加到第一图像，以生成第二图像；以及

基于所述第一图像和所述第二图像，训练神经网络，

其中，在所述训练期间，基于使用所述第一图像和所述第二图像对所述第二图像的劣化进行估计的结果进行用以减少所述第二图像的所述劣化的图像处理，并且使用通过所述图像处理减少所述劣化的所述第二图像和所述第一图像训练所述神经网络。

Images