CN116210022A

CN116210022A - 图像处理设备及其操作方法

Info

Publication number: CN116210022A
Application number: CN202180064086.2A
Authority: CN
Inventors: 李泰美; 姜受旼; 朴在演; 宋荣赞; 安一埈
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2020-09-18
Filing date: 2021-09-08
Publication date: 2023-06-02
Also published as: EP4187482A4; WO2022060001A1; US20230214971A1; EP4187482A1; KR20220037764A

Abstract

提供了一种图像处理装置，该图像处理装置包括存储一个或多个指令的存储器，以及处理器，该处理器被配置为执行存储在存储器中的一个或多个指令以：基于包括在第一图像中的每个像素与每个像素的相邻像素之间的差异获得相似性信息，基于相似性信息，确定权重信息，通过第一图像和第一内核之间的卷积运算获得第一特征信息，通过将权重信息应用于第一特征信息获得第二特征信息，以及基于第二特征信息，生成第二图像。

Description

图像处理设备及其操作方法

技术领域

各种实施例涉及通过使用神经网络从图像中消除噪声的图像处理装置，以及该图像处理装置的操作方法。

背景技术

随着计算机技术的发展，数据流量呈指数级增长，人工智能已成为推动未来创新的重要趋势。人工智能是一种模仿人类思维的方法，因此几乎可以无限地应用于所有行业。人工智能的代表性技术的示例包括模式识别、机器学习、专家***、神经网络和自然语言处理。

神经网络通过数学表达式对人类生物神经细胞的特性进行建模，并使用模拟人类学习能力的算法。通过该算法，神经网络可以生成输入数据和输出数据之间的映射，并且生成该映射的能力可以表示为神经网络的学习能力。此外，神经网络具有泛化能力，以基于学习结果，针对尚未用于学习的输入数据生成正确的输出数据。

当使用深度神经网络(例如，深层卷积神经网络(CNN))来执行图像去噪时，可以根据像素的局部特性来执行自适应处理。然而，当包括在CNN中的层数由于计算量的限制而减少时，存在自适应处理的性能恶化的问题。

发明内容

技术问题

各种实施例可以提供一种能够通过使用卷积神经网络来执行去噪的图像处理装置，以及该图像处理装置的操作方法。

技术方案

根据实施例的图像处理装置可以包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在存储器中的一个或多个指令，以基于包括在第一图像中的每个像素与每个像素的相邻像素之间的差异获得相似性信息，基于相似性信息确定权重信息；通过第一图像和第一内核之间的卷积运算获得第一特征信息，通过将权重信息应用于第一特征信息获得第二特征信息，以及基于第二特征信息生成第二图像。

根据实施例的处理器还可以被配置为执行一个或多个指令，以基于包括在第一图像中的每个像素与相对于每个像素的第一相对位置处的第一相邻像素之间的差异来获得第一相似性信息，并且基于包括在第一图像中的每个像素与相对于每个像素的第二相对位置处的第二相邻像素之间的差异来获得第二相似性信息。

根据实施例的处理器还可以被配置为执行一个或多个指令，以通过将自然指数函数或softmax函数应用于相似性信息来计算权重信息。

可以确定根据实施例的第一内核的通道数量使得权重信息的通道数量等于第一特征信息的通道数量。

根据实施例的处理器还可以被配置为执行一个或多个指令，以通过执行权重信息和第一特征信息的逐元素乘法运算来获得第二特征信息。

根据实施例的处理器还可以被配置为执行一个或多个指令，以通过第二特征信息和第二内核之间的卷积运算获得第三特征信息，并基于第三特征信息生成第二图像。

根据实施例的处理器还可以被配置为执行一个或多个指令，以通过权重信息和第三内核之间的卷积运算获得第二权重信息，通过将第二权重信息应用于第二特征信息获得第四特征信息，并且基于第四特征信息，生成第二图像。

根据实施例的处理器还可以被配置为执行一个或多个指令，以通过执行第二特征信息和第二权重信息的逐元素乘法运算来获得第四特征信息。

根据实施例的处理器还可以被配置为执行一个或多个指令，以通过使用包括多个层的神经网络处理第一图像来生成第二图像，其中第一图像可以被输入到多个层中的第n层，并且第二特征信息可以被输入到多个层中的第(n+1)层。

根据实施例的图像处理装置的操作方法可以包括：基于包括在第一图像中的每个像素和每个像素的相邻像素之间的差异获得相似性信息；基于相似性信息确定权重信息；通过第一图像和第一内核之间的卷积运算获得第一特征信息；通过将权重信息应用于第一特征信息获得第二特征信息；以及基于第二特征信息生成第二图像。

有益效果

当通过使用包括在图像中的多个像素中的每个像素和相邻像素在每个像素中执行图像处理时，根据实施例的图像处理装置可进一步强调具有相似特征的相邻像素的特征，相应地，可以根据局部像素特性来执行自适应图像处理。

根据实施例的图像处理装置可以通过使用神经网络来执行用于精细边缘处理的去噪，并且在从输入图像中消除噪声的同时保持纹理。

根据实施例，在对输入图像去噪的神经网络中，即使层数减少，根据像素的局部特性的自适应处理性能也不会恶化。

附图说明

图1是根据实施例的由图像处理装置通过使用图像处理网络执行的图像处理操作的图。

图2是根据实施例的边缘保留滤波器块的图。

图3是所参考的用于描述根据实施例的边缘保留滤波器块的操作的示意图。

图4是所参考的用于描述根据实施例的获得差异信息D1的方法的图。

图5和图6是所参考的用于描述根据实施例的卷积运算的图。

图7和图8是根据另一实施例的边缘保留滤波器块的图。

图9是根据实施例的图像处理装置的操作方法的流程图。

图10是根据实施例的图像处理装置的配置的框图。

具体实施方式

在下文中，将简要描述说明书中使用的术语，并且将详细描述本公开。

考虑到关于本公开的功能，本公开中使用的术语是当前在本领域中广泛使用的那些通用术语，但是这些术语可以根据本领域普通技术人员的意图、先例或本领域的新技术而变化。此外，申请人可以选择特定术语，并且在这种情况下，其详细含义将在本公开的详细描述中描述。因此，本公开中使用的术语不应理解为简单的名称，而是应基于术语的含义和本公开的总体描述。

在整个说明书中，当一部分“包括”一要素时，可以进一步包括另一个要素，而不是排除其他要素的存在，除非另有说明。此外，诸如“...器”，“…模块”等之类的术语指的是执行至少一个功能或操作的单元，并且这些单元可以被实现为硬件或软件，或者硬件和软件的组合。

现在将参考附图以本领域技术人员可以容易地实施实施例的方式来描述实施例。然而，本公开可以以许多不同的形式来体现，并且不应该被解释为限于这里阐述的实施例。此外，为了清楚地描述本公开，在附图中省略了与描述无关的要素，并且在整个说明书中，附图中相同的附图标记表示相同的要素。

参考图1，根据实施例的图像处理网络30可以接收输入图像10，并通过处理输入图像10来生成输出图像20。在这种情况下，输入图像10可能包括噪声。图像处理装置100可以通过使用图像处理网络30，通过执行用于精细边缘处理的去噪并在从输入图像10中消除噪声的同时保持纹理来生成输出图像20。

根据实施例的图像处理网络30可以包括一个或多个卷积层31、32，...39和至少一个边缘保留滤波器块200。图1示出了边缘保留滤波器块200位于第一卷积层31和第二卷积层32之间，但是不限于此。

根据实施例的边缘保留滤波器块200位于第一卷积层31之前，并且可以连接到图像处理网络30的输入端。可替换地，边缘保留滤波器块200可以位于第二至第N卷积层32，...，39中的两个相邻卷积层之间。此外，两个或更多个边缘保留滤波器块200可以连续地位于第一至第N卷积层31，32，...，39中的两个相邻卷积层之间。可替换地，边缘保留滤波器块200位于第N卷积层39之后，并且可以连接到图像处理网络30的输出。

此外，在图像处理网络30中包括的每个卷积层31，32，...，39中，可以通过内核和输入到卷积层的图像之间的卷积运算来生成特征图(特征信息)，并且可以执行用于将激活函数应用到特征图的激活函数运算。激活函数运算将非线性特性分配给作为卷积运算的结果而生成的特征图，并且激活函数可以包括sigmoid函数、Tanh函数、修正线性单元(rectified linear unit，ReLU)函数、泄漏(leaky)ReLU函数等。然而，本公开不限于此。

此外，边缘保留滤波器块200还可以通过执行输入图像和内核之间的卷积运算、激活函数运算等来获得特征信息。边缘保留滤波器块200获得关于相邻像素的相似性信息，并将相似性信息应用于特征信息，并且因此，可以在特征信息中考虑输入图像的局部特性(例如，边缘特性、纹理特性等)。

下面参照附图详细描述由根据实施例的边缘保留滤波器块200执行的图像处理。

图2是根据实施例的边缘保留滤波器块的图。

参照图2，根据实施例的边缘保留滤波器块200可以包括相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250。

根据实施例的边缘保留滤波器块200可以包括接收第一图像F_in的输入并输出第二图像F_out的结构，并且第一图像F_in和第二图像F_out可以具有相同的尺寸和不同数量的通道。然而，本公开不限于此。

此外，边缘保留滤波器块200位于图1的第一卷积层31之前，并且可以连接到图像处理网络30的输入端。在这种情况下，图2的第一图像F_in可以与图像处理网络30的输入图像10相同。可替换地，当边缘保留滤波器块200位于多个卷积层中的第m卷积层之后时，图2的第一图像F_in可以是从第m卷积层(边缘保留滤波器块的前一层)输出的特征信息。

此外，图2的第二图像F_out可以是输入到边缘保留滤波器块200的下一层的特征信息。

在下文中，参考图3详细描述由图2的边缘保留滤波器块200执行的操作。

图3是所参考的用于描述根据实施例的边缘保留滤波器块的操作的图。

为了便于描述，基于第一图像F_in的宽度为w、高度为h、通道数量为1的假设来描述图3。相似性计算器210可以计算包括在第一图像F_in中的每个像素和相邻像素之间的差值。例如，相似性计算器210可以计算第一像素(参考像素)与第一图像F_in中包括的多个像素中的九个像素中的每一个像素之间的差值，所述九个像素包括该第一像素(参考像素)以及位于该第一像素(参考像素)周围的八个像素。因此，相似性计算器210可以获得第一像素的九个差值。

相似性计算器210可以通过使用第一图像中包括的多个像素中的每一个作为参考像素，以相同的方式获得多个相应像素的九个差值。相应地，相似性计算器210可以生成关于第一图像F_in的通道数量是9的差异信息D1，但是不限于此。

可以根据用于确定相邻像素的标准来不同地确定差异信息D1的通道数量。例如，当相邻像素被确定为位于第一像素的上下左右的四个像素时，差异信息D1的通道数量可以是5。此外，根据实施例的差异信息D1的大小(w×h)可以等于第一图像F_in的大小(w×h)。

图3的差异信息D1的第一通道图像可以指示第一图像F_in中包括的每个像素与相对于每个像素的第一相对位置处的相邻像素(例如，与每个像素的右侧相邻的像素)之间的差值。在这种情况下，差异信息D1的第一通道图像可以指对应于差异信息D1的第一通道的图像(信息)。

可替换地，对应于差异信息D1的第二通道的第二通道图像可以指示第一图像F_in中包括的每个像素与相对于每个像素的第二相对位置处的相邻像素(例如，与每个像素的左侧相邻的像素)之间的差值。

根据实施例的相似性计算器210可以通过对第一图像F_in执行掩模(mask)处理来获得差异信息D1。例如，当相似性计算器210获得关于位于像素(参考像素)周围的八个像素的差异信息时，如图4所示，相似性计算器210可以通过使用每个具有3×3的大小的八个掩模滤波器M1、M2、M3、M4、M5、M6、M7和M8来执行掩模处理。

图4是描述根据实施例的获得差异信息D1的方法的图。

为了便于描述，基于第一图像F_in的大小为5×5的假设来描述图4。可以通过第一图像F_in和每个掩模滤波器之间的卷积运算来执行掩模处理。相应地，当包括八个掩模滤波器时，可以通过掩模处理来生成差异信息D1中包括的八个通道图像421、422，...427和428。例如，相似性计算器210可以通过第一图像F_in和第一掩模滤波器M1之间的卷积运算来生成差异信息D1的第一通道图像421，并且通过第一图像F_in和第二掩模滤波器之间的卷积运算来生成差异信息D1的第二通道图像422。

参照图4，相似性计算器210可以通过分别将包括在第一图像F_in中的3×3大小的区域中包括的像素值与包括在每个掩模滤波器中的像素值(参数值)相乘，并对计算结果求和，来计算差异信息D1中包括的像素值。

在这种情况下，包括在掩模滤波器中的参数值可以根据用于计算差异信息的相邻像素的位置来确定。例如，第一掩模滤波器M1可以是用于计算参考像素和位于参考像素左上方的像素之间的差异信息的掩模滤波器。相应地，在第一掩模滤波器M1中，中心像素的值可以是“1”，位于中心像素左上方的像素的值可以是“-1”，而其他像素的值可以是“0”。

根据实施例的相似性计算器210可以通过在第一掩模滤波器M1和以第一像素415为中心的第一区域410之间执行卷积运算来计算差异信息D1的第一通道图像421中包括的第二像素431的值。在这种情况下，第一图像F_in中的第一像素415的位置和差异信息D1的第一通道图像421中的第二像素431的位置可以是相同的。包括在第一通道图像421中的第二像素431的值可以是通过从第一像素值P12减去位于第一像素415左上方的像素值P6而获得的值。

以相同的方式，可以改变经历卷积运算的区域，使得第一图像F_in中包括的每个像素位于经历卷积运算的区域的中心，在这种情况下，位于区域中心的像素是参考像素。相似性计算器210可以通过执行改变的区域和第一掩模滤波器M1之间的卷积运算来计算包括在第一通道图像421中的像素值。

此外，第二掩模滤波器M2可以是用于计算参考像素和位于参考像素上方的像素之间的差异信息的掩模滤波器。相应地，在第二掩模滤波器M2中，中心像素的值可以是“1”，位于中心像素上方的像素的值可以是“-1”，其他像素的值可以是“0”。

相似性计算器210可以通过在第二掩模滤波器M2和以第一像素415为中心的第一区域410之间执行卷积运算，来计算包括在差异信息D1的第二通道图像422中的第三像素432的值。在这种情况下，第一图像F_in中的第一像素415的位置和第二通道图像422中的第三像素432的位置可以相同。相应地，包括在第二通道图像422中的第三像素432的值可以是通过从第一像素值P12减去位于第一像素415上方的像素值P7而获得的值。

以相同的方式，改变经历卷积运算的区域，使得包括在第一图像F_in中的每个像素位于经历卷积运算的区域的中心，并且在改变的区域和第二掩模滤波器M2之间执行卷积运算，并且因此，可以计算包括在第二通道图像422中的像素的值。

此外，第三掩模滤波器M3可以是用于计算参考像素和位于参考像素右上方的像素之间的差异信息的掩模滤波器，并且第四掩模滤波器M4可以是用于计算参考像素和位于参考像素右侧的像素之间的差异信息的掩模滤波器。其他掩模滤波器(第五至第八掩模滤波器M5、M6、M7和M8)也是用于计算参考像素和相邻像素(位于参考像素周围的像素)之间的差异信息的掩模滤波器。

根据实施例的相似性计算器210可以通过使用参照图4示出和描述的第一至第八掩模滤波器执行掩模处理来获得包括第一图像F_in中包括的各个像素和相对于各个像素在第一至第八相对位置处的相邻像素之间的差值的差异信息D1。例如，相似性计算器210可以通过使用第一至第八掩模M1、M2、M3、M3、M4、M5、M6、M7和M8来生成差异信息D1的第一至第八通道图像421、422、423、424、425、426、427和428。

此外，根据实施例的差异信息D1可以包括其中所有像素值都是‘0’的第九通道图像。例如，第九通道图像可以是指示第一图像F_in中包括的每个像素与每个像素本身的差异信息的图像。

此外，图4所示的掩模处理仅仅是获得差异信息D1的方法的示例，相似性计算器210可以通过使用各种方法来获得包括在第一图像F_in中的每个像素与相邻像素之间的差异信息。

返回参考图3，相似性计算器210可以通过对包括在差异信息D1中的每个值执行特定操作来生成相似性信息D2。根据实施例的相似性信息D2可以包括指示参考像素与相邻像素之间的相似性的程度的值。

例如，相似性计算器210可以通过对包括在差异信息D1中的每个值求平方并将平方值乘以-1来生成相似性信息D2。因此，当相似性信息D2在负方向上具有大的值时，这可以意味着参考像素与相邻像素之间的差异大，而当相似性信息在负方向上具有小的值时，这可以意味着参考像素与相邻像素彼此相似。然而，本公开不限于此，相似性计算器210可以通过对差异信息D1执行各种操作来生成相似性信息D2。

根据实施例的相似性信息D2可以具有与差异信息D1相同的大小和通道数量。

根据实施例的权重确定器220可以基于相似性信息D2来确定权重信息W。权重确定器220可以基于相似性信息D2中包括的值来确定权重信息W中包括的权重值。权重确定器220可以确定权重信息W，使得权重值随着参考像素与相邻像素之间的差异减小(参考像素和相邻像素越相同或相似)而增大，并且权重值随着参考像素与相邻像素之间的差异增大(参考像素和相邻像素越不同)而减小。相应地，当将权重信息W应用于将在下面描述的第一特征信息F1时，可以强调与参考像素相同或相似的相邻像素的特征。

例如，权重确定器220可以确定权重值，使得每个权重值随着相似性信息D2中包括的值的幅度在负方向上增大而更接近0，并且每个权重值随着相似性信息中包括的值的幅度在负方向上减小而更接近1。在这种情况下，权重确定器220可以通过将自然指数函数或softmax函数应用于相似性信息D2中包括的值来计算权重信息W。例如，当通过应用自然指数函数来计算权重信息W时，它可以由等式1来表示。

[等式1]

W(x_i)＝exp(D2(x_i))

在等式1中，D2(x_i)指的是相似性信息中包括的值中的位置i处的值，而W(x_i)指的是权重信息中包括的值中的位置i处的值。

此外，当通过应用softmax函数来计算权重信息W时，它可以由等式2来表示。

[等式2]

在等式2中，D2(x_i)指的是相似性信息中包括的值中的位置i处的值，而D2(x_j)指的是相似性信息中的位置j处的值。此外，W(x_i)是指权重信息中包括的值中的位置i处的值。

此外，参照图3，第一卷积单元230可以通过执行第一图像F_in和第一内核之间的卷积运算来生成第一特征信息F1。

以下，参照图5和图6描述通过执行卷积运算来生成第一特征信息F1的方法。

图5和图6是所参考的根据实施例的描述卷积运算的图。

图5是根据实施例的输入到第一卷积单元230的第一图像F_in、第一内核K1和第一特征信息F1的图。

参照图5，根据实施例的输入到第一卷积单元230的第一图像F_in的大小可以是w×h，通道数量Cin可以是1。然而，在图5中，为了便于描述而假设第一图像F_in的通道数量Cin为1，但是本公开不限于此。

此外，第一卷积单元230可以包括第一内核K1，并且第一内核K1可以包括Cout个子内核。此外，一个子内核的大小可以是W×H×Cin。一个子内核的通道数量Cin可以等于第一图像F_in的通道数量Cin。在图5中，为了便于描述，假设一个子内核的大小为W×H，一个子内核的通道数量Cin为1，并且子内核数量Cout为9。

第一卷积单元230可以通过执行第一图像F_in和第一内核K1之间的卷积运算来生成第一特征信息F1。在这种情况下，第一特征信息F1的大小可以是w×h，并且第一特征信息F1的通道数量可以由第一内核K1的子内核的数量Cout来确定。第一特征信息F1的通道数量可以是9(Cout)。

图6是所参考的描述根据实施例的通过第一图像F_in和包括在第一内核K1中的第一子内核510之间的卷积运算生成第一特征信息F1的第一通道图像520的过程的图。

在图6中，为了便于描述，假设第一图像F_in大小为5×5，并且其通道数量是1。此外，假设应用于第一图像F_in的第一内核K1中包括的一个子内核的大小为3x3，并且子内核的通道数量是1。

参照图6，示出了通过从第一图像F_in的左上端到右下端应用第一子内核510来提取第一图像F_in的特征的过程。例如，可以通过将第一子内核510应用于第一图像F_in的左上端处的3×3大小的区域621中包括的像素来执行卷积运算。也就是说，可以通过将左上3×3大小的区域621中包括的像素值与第一子内核510中包括的参数值相乘，并对乘积求和，来生成映射到左上3×3大小的区域621的一个像素值631。

此外，可以通过将从第一图像F_in的左上端处的3×3大小的区域621向右移动一个像素的3×3大小的区域622中包括的像素值与第一子内核610中包括的参数值相乘，并对乘积求和，来生成映射到3×3大小的区域622的一个像素值632。以相同的方式，可以通过乘以第一子内核610中包括的参数值并对乘积求和，同时在第一图像F_in中一次一个像素地从左到右、从上到下扫描卷积运算的对象，来生成第一特征信息F1的第一通道图像630中包括的像素值。经历卷积运算的数据可以一次扫描一个像素，但也可以以两个或更多的像素数量来扫描。输入数据在扫描过程中移动的像素数量被称为步幅，并且输出的第一特征信息F1的大小可以根据步幅的大小来确定。此外，如图6所示，可以执行填充，使得第一特征信息F1的大小等于第一图像F_in的大小。填充是指通过将特定值(例如，“0”)分配给第一图像F_in(输入数据)的边缘来增加第一图像F_in的大小，以防止输出特征信息(输出数据)的大小减小。当在执行填充之后执行卷积运算时，第一特征信息的大小可以等于第一图像的大小。然而，本公开不限于此。

另外，尽管在图6中仅示出了第一子内核510的卷积运算结果(第一特征信息的第一通道图像520)，但是当对九个子内核执行卷积运算时，可以输出包括九个通道图像的第一特征信息F1。也就是说，第一特征信息F1的通道数量可以根据第一内核K1中包括的子内核的数量来确定。在这种情况下，因为第一特征信息F1的大小和通道数量需要等于由权重确定器220确定的权重信息W的大小和通道数量，所以可以确定包括在第一内核K1中的子内核的数量Cout，使得第一特征信息F1的大小和通道数量等于由权重确定器220确定的权重信息W的大小和通道数量。

此外，根据实施例的第一卷积单元230可以对执行了卷积运算的第一特征信息F1附加地执行激活函数运算。激活函数运算将非线性特性分配给第一特征信息，并且激活函数可以包括sigmoid函数、Tanh函数、ReLU函数或泄漏ReLU函数，但不限于此。

返回参考图2和图3，根据实施例的权重应用器240可以将权重信息W应用于第一特征信息F1。例如，权重应用器240可以通过逐元素乘法运算将权重信息W应用于第一特征信息F1。逐元素乘法运算是当将包括在第一特征信息F1中的值与包括在权重信息W中的值相乘时，将相同位置处的值相乘的运算。可以通过将权重信息W应用于第一特征信息F1来生成第二特征信息F2。

第二卷积单元250可以通过执行第二特征信息F2和第二内核之间的卷积运算来生成第三特征信息F_out。已经参照图5和图6详细描述了执行卷积运算的方法，因此，不再提供对其的详细描述。

第二卷积单元250可以包括第二内核，第二内核可以包括c个子内核，并且一个子内核可以具有W×H×Cin的大小。一个子内核的通道数量Cin可以等于第二特征信息F2的通道数量。此外，子内核的数量c可以等于第三特征信息F_out的通道数量。第三特征信息F_out可以具有w×h的大小，并且其通道数量可以是c。此外，第二卷积单元250可以对执行了卷积运算的第三特征信息F3附加地执行激活函数运算。

可以将根据实施例的第三特征信息F_out输入到边缘保留滤波器块200的下一层。在这种情况下，下一层可以是图1中的多个卷积层中的任何一个。例如，当图2的边缘保留滤波器块200位于第m卷积层和第(m+1)卷积层之间时，可以将第三特征信息F_out输入到第(m+1)卷积层。

另外，在图2和图3中，已经示出和描述了将第三特征信息F_out输入到边缘保留滤波器块200的下一层，但是本公开不限于此。可以将第二特征信息F2输入到边缘保留滤波器块200的下一层。在这种情况下，不执行第二特征信息F2和第二内核之间的卷积运算。

此外，已经参照图2至图6示出和描述的相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250中的至少一个可以以硬件芯片的形式制造并安装在图像处理装置100中。例如，相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250中的至少一个可以以用于人工智能(AI)的专用硬件芯片的形式制造或者作为现有通用处理器(例如，中央处理单元(CPU)或应用处理器)或专用图形处理器(例如，图形处理单元(GPU))的一部分，并且安装在根据实施例的图像处理装置100中。

此外，相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250中的至少一个可以在软件模块中实现。当相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250中的至少一个以软件模块(或包括指令的程序模块)实现时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由操作***(OS)或某个应用来提供。可替换地，一些软件模块可以由OS提供，而其他一些可以由某个应用提供。

图7和图8是根据另一实施例的边缘保留滤波器块的图。

参照图7，根据实施例的边缘保留滤波器块200可以包括相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740、第二卷积单元750、第三卷积单元760和第二权重应用器770。

图7的相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740和第二卷积单元750分别对应于图2的相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250，因此，这里不提供对它们的冗余描述。

参照图7和图8，第三卷积单元760可以通过在第三内核和由权重确定器720确定的权重信息W之间执行卷积运算来生成第二权重信息W2。已经参照图5和图6详细描述了执行卷积运算的方法，因此不再提供对其的详细描述。

第三卷积单元760可以包括第三内核，并且第三内核可以包括多个子内核。在这种情况下，一个子内核的通道数量可以等于权重信息W的通道数量，并且第二权重信息W2的通道数量可以等于子内核的数量。

第二权重应用器770可以将第二权重信息W2应用于第三特征信息F3。例如，第二权重应用器770可以通过逐元素乘法运算将第二权重信息W2应用于第三特征信息F3。在这种情况下，第三特征信息的大小和通道数量可以等于第二权重信息的大小和通道数量。可以通过将第二权重信息W2应用于第三特征信息F3来生成第四特征信息F_out，并且可以将第四特征信息F_out输入到边缘保留滤波器块200的下一层。在这种情况下，下一层可以是图1中的多个卷积层中的任何一个。例如，当图7的边缘保留滤波器块200位于第m卷积层和第(m+1)卷积层之间时，可以将第四特征信息F_out输入到第(m+1)卷积层。

此外，尽管在图7和图8中未示出，但是根据实施例的边缘保留滤波器块200还可以包括第四卷积单元，该第四卷积单元对第四特征信息F_out附加地执行附加卷积运算和激活函数运算。此外，可以将由第四卷积单元通过卷积运算和激活函数运算生成的特征信息输入到边缘保留滤波器块200的下一层。

此外，已经参照图7和图8示出和描述的相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740、第二卷积单元750、第三卷积单元760和第二权重应用器770中的至少一个可以以硬件芯片的形式制造并安装在根据实施例的图像处理装置中。例如，相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740、第二卷积单元750、第三卷积单元760和第二权重应用器770中的至少一个可以以用于AI的专用硬件芯片的形式制造，或者作为现有通用处理器(例如，CPU或应用处理器)或专用图形处理器(例如，GPU)的一部分，并且安装在根据实施例的图像处理装置100中。

此外，相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740、第二卷积单元750、第三卷积单元760和第二权重应用器770中的至少一个可以以软件模块实现。当相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740、第二卷积单元750、第三卷积单元760和第二权重应用器770中的至少一个以软件模块(或包括指令的程序模块)实现时，软件模块可以存储在非暂时性计算机可读介质中。此外，在这种情况下，至少一个软件模块可以由OS或某个应用提供。可替换地，一些软件模块可以由OS提供，而其他一些可以由某个应用提供。

此外，参考图2至图8描述的边缘保留滤波器块200的框图是实施例的框图。框图的每个组件可以根据实际实现的包括边缘保留滤波器块200的图像处理装置100的规格而被集成、添加或省略。也就是说，两个或更多个组件可以组合成一个组件，或者一个组件可以根据需要细分成两个或更多个组件。此外，由每个块执行的功能是为了解释实施例，并且其具体操作或设备不限制本公开的范围。

图9是根据实施例的图像处理装置的操作方法的流程图。

参照图9，根据实施例的图像处理装置100可以基于包括在第一图像中的每个像素和每个像素的相邻像素之间的差异来获得相似性信息(S910)。

根据实施例的图像处理装置100可以生成指示包括在第一图像中的每个像素和每个像素的相邻像素之间的差异的差异信息D1。例如，图像处理装置100可以计算第一像素(参考像素)与第一图像中包括的多个像素中的相对于第一像素(参考像素)的九个像素中的每一个像素之间的差值，所述九个像素包括该第一像素(参考像素)以及位于该第一像素周围的八个像素。

图像处理装置100可以通过使用计算的差值来生成差异信息D1。图像处理装置100可以获得第一像素(参考像素)的九个差值，并且对于包括在差异信息D1中的每个通道图像，可以将九个差值中的每一个确定为与第一像素对应的像素的像素值。在这种情况下，可以根据用于确定参考像素的相邻像素的标准来确定相邻像素的数量，并且可以根据相邻像素的数量来确定差异信息D1的通道数量(通道图像的数量)。

已经参照图3和图4详细描述了根据实施例的生成差异信息D1的方法，因此，不再提供对其的详细描述。

当生成了差异信息D1时，图像处理装置100可以通过对差异信息D1中包括的每个值执行特定操作来生成相似性信息D2。根据实施例的相似性信息D2可以包括指示参考像素与相邻像素之间的相似性程度的值。

例如，图像处理装置100可以通过对包括在差异信息D1中的每个值求平方并将平方值乘以-1来生成相似性信息D2。相应地，当相似性信息D2在负方向上具有大的值时，这可以意味着参考像素与相邻像素之间的差异大，而当相似性信息在负方向上具有小的值时，这可以意味着参考像素和相邻像素彼此相似。然而，本公开不限于此，图像处理装置100可以通过对差异信息D1执行各种操作来生成相似性信息。

根据实施例的图像处理装置100可以基于相似性信息D2确定权重信息W(S920)。

图像处理装置100可以确定权重信息，使得权重值随着参考像素与相邻像素之间的差异减小而增大，并且权重值随着参考像素与相邻像素之间的差异增大而减小。例如，图像处理装置100可以确定权重值，使得随着相似性信息D2中包括的值在负方向上增大，权重值更接近0，并且随着相似性信息D2中包括的值的幅度在负方向上减小，权重值更接近1。在这种情况下，图像处理装置100可以通过将自然指数函数或softmax函数应用于相似性信息D2中包括的值来确定权重值。应用自然指数函数的情况可以由上述等式1表示，应用softmax函数的情况可以由上述等式2表示。

返回参考图9，根据实施例的图像处理装置100可以通过执行第一图像和第一内核之间的卷积运算来获得第一特征信息(S930)。此外，图像处理装置100还可以对第一特征信息执行激活函数运算。

根据实施例的图像处理装置100可以通过将权重信息W应用于第一特征信息来获得第二特征信息(S940)。例如，图像处理装置100可以通过执行第一特征信息和权重信息的逐元素乘法运算来生成第二特征信息。

根据实施例的图像处理装置100可以基于第二特征信息生成第二图像(S950)。第二特征信息可以通过位于边缘保留滤波器块之后的卷积层，并且当第二特征信息通过所述卷积层时，可以在所述卷积层中的每个卷积层中执行卷积运算和激活函数运算。相应地，可以生成第二图像。

可替换地，图像处理装置100可以通过执行第二特征信息和第二内核之间的卷积运算来获得第三特征信息，并且第三特征信息可以通过位于边缘保留滤波器块之后的卷积层，相应地，可以生成第二图像。

可替换地，图像处理装置100可以通过执行权重信息W和第三内核之间的卷积运算来生成第二权重信息W2，并且通过第三特征信息和第二权重信息的逐元素乘法运算来生成第四特征信息。第四特征信息可以通过位于边缘保留滤波器块之后的卷积层，相应地，可以生成第二图像。

图10是根据实施例的图像处理装置的配置的框图。

参照图10，根据实施例的图像处理装置100可以包括处理器120和存储器130。

根据实施例的处理器120可以总体控制图像处理装置100。根据实施例的处理器120可以执行存储在存储器130中的一个或多个程序。

根据实施例的存储器130可以存储用于驱动和控制图像处理装置100的各种数据、程序或应用。存储在存储器130中的程序可以包括一个或多个指令。存储在存储器130中的程序(一个或多个指令)或应用可以由处理器120执行。

根据实施例的处理器120可以包括CPU、GPU和视频处理单元(VPU)中的至少一个。可替换地，根据实施例，处理器120可以以片上***(SoC)的形式实现，其中集成了CPU、GPU和VPU中的至少一个。可替换地，处理器120可以进一步包括神经处理单元(NPU)。

根据实施例的处理器120可以使用一个或多个图像处理网络来生成输出图像，在该输出图像上执行了用于精细边缘处理以及在从输入图像消除噪声的同时保持纹理的去噪。根据实施例的图像处理网络30可以包括至少一个边缘保留滤波器块和一个或多个卷积层。

例如，处理器120可以执行参照图2至图6示出和描述的相似性计算器210、权重确定器220、第一卷积单元230、权重应用器240和第二卷积单元250的操作中的至少一个，并可以执行已经参照图7和图8示出和描述的相似性计算器710、权重确定器720、第一卷积单元730、第一权重应用器740、第二卷积单元750，第三卷积单元760和第二权重应用器770的操作中的至少一个。

处理器120可以生成指示包括在第一图像中的每个像素和每个像素的相邻像素之间的差异的差异信息。当生成差异信息时，处理器120可以通过对差异信息中包括的每个值执行特定操作来生成相似性信息。根据实施例的相似性信息可以包括指示参考像素与相邻像素之间的相似性程度的值。

处理器120可以基于相似性信息来确定权重信息W。图像处理装置100可以确定权重信息，使得权重值随着参考像素与相邻像素之间的差异减小而增大，并且权重值随着参考像素与相邻像素之间的差异增大而减小。

处理器120可以通过执行第一图像和第一内核之间的卷积运算来获得第一特征信息。处理器120可以通过将权重信息W应用于第一特征信息来获得第二特征信息。

处理器120可以基于第二特征信息生成第二图像。例如，第二特征信息可以通过位于图像处理网络30中包括的边缘保留滤波器块之后的卷积层。处理器120可以在所述卷积层中的每个卷积层中执行卷积运算和激活函数运算，从而生成第二图像。

可替换地，处理器120可以通过执行第二特征信息和第二内核之间的卷积运算来获得第三特征信息，并且第三特征信息可以通过位于图像处理网络30中包括的边缘保留滤波器块之后的卷积层，并且相应地，可以生成第二图像。

可替换地，处理器120可以通过执行权重信息和第三内核之间的卷积运算来生成第二权重信息W2，并且通过第三特征信息和第二权重信息的逐元素乘法运算来生成第四特征信息。第四特征信息可以通过位于边缘保留滤波器块之后的卷积层，并且相应地，可以生成第二图像。

此外，根据实施例的图像处理网络30可以是由服务器或外部设备训练的网络。外部设备可以基于训练数据来训练图像处理网络30。在这种情况下，训练数据可以包括多个数据集，这些数据集包括包含噪声的图像数据和其中边缘特性或纹理特性被保留而噪声被消除的图像数据。

服务器或外部设备可以确定图像处理网络30中包括的多个卷积层中的每一个卷积层中使用的内核以及边缘保留滤波器块中包括的内核(例如，第一内核、第二内核和第三内核)中包括的参数值。例如，服务器或外部设备可以确定参数值，使得由图像处理网络30生成的图像数据和作为训练数据的其中边缘特性或纹理特性被保持而噪声被消除的图像数据之间的差异(损失信息)减小。

根据实施例的图像处理装置100可以从服务器或外部设备接收已经完成训练的图像处理网络30，并将其存储在存储器130中。例如，根据实施例，存储器130可以存储图像处理网络30的结构和参数值，并且通过使用存储在存储器130中的参数值，处理器120可以根据实施例从第一图像生成边缘特性或纹理特性被保留而噪声被消除的第二图像。

此外，图10所示的图像处理装置100的框图是实施例的框图。根据实际实现的图像处理装置100的规格，框图的每个组件可以被集成、添加或省略。也就是说，两个或更多个组件可以组合成一个组件，或者一个组件可以根据需要细分成两个或更多个组件。此外，由每个块执行的功能是用于解释实施例的，其具体操作或设备不限制本公开的范围。

根据实施例的图像处理装置的操作方法可以体现为可由各种计算机部件执行的程序命令，并且可以记录在计算机可读记录介质上。计算机可读记录介质可以包括单独或组合的程序命令、数据文件、数据结构等。写入计算机可读记录介质的程序命令可以是为本公开内容专门设计和配置的，或者可以是本领域普通技术人员公知的和可获得的。计算机可读记录介质的示例可以包括诸如硬盘、软盘和磁带之类的磁介质，诸如压缩盘只读存储器(CD-ROM)和数字多功能盘(DVD)之类的光介质，诸如光软盘之类的磁光介质，以及特别配置成存储和执行程序命令的硬件设备，诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存存储器等。程序命令的示例包括可以由计算机通过使用解释器等执行的高级语言代码，以及由编译器生成的机器语言代码。

此外，可以将根据公开的实施例的图像处理装置和图像处理装置的操作方法包括在计算机程序产品中，并且以该形式提供。计算机程序产品是可以在卖方和买方之间交易的商业产品。

计算机程序产品可以包括S/W(软件)程序或存储该S/W程序的计算机可读存储介质。例如，计算机程序产品可以包括通过图像处理装置的制造公司或电子市场(例如，谷歌商店(Google Play Store)或应用(App)商店)电子分发的S/W程序产品(例如，可下载的应用)。对于电子分发，S/W程序的至少一部分可以存储在存储介质中，或者可以临时生成。在这种情况下，存储介质可以是制造商的服务器、电子市场的服务器或临时存储S/W程序的中继服务器的存储介质。

计算机程序产品可以包括包括服务器和客户端设备的***中的服务器的存储介质或客户端设备的存储介质。可替换地，当存在与服务器或客户端设备通信的第三设备(例如，智能手机)时，计算机程序产品可以包括第三设备的存储介质。可替换地，计算机程序产品可以包括从服务器传输到客户端设备或第三设备或者从第三设备传输到客户端设备的软件程序本身。

在这种情况下，服务器、客户端设备和第三设备之一可以通过执行计算机程序产品来执行根据公开的实施例的方法。可替换地，服务器、客户端设备和第三设备中的至少两个可以通过执行计算机程序产品以分布式方式执行根据所公开的实施例的方法。

例如，服务器(例如，云服务器或AI服务器)可以执行存储在服务器中的计算机程序产品，并且可以控制与服务器通信的客户端设备来执行根据公开的实施例的方法。

虽然已经详细描述了实施例，但是本公开的范围不限于此，并且本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可以在形式和细节上进行各种改变。

Claims

1.一种图像处理装置，包括：

存储一个或多个指令的存储器；和

处理器，被配置为执行存储在所述存储器中的所述一个或多个指令，以：

基于包括在第一图像中的每个像素和每个像素的相邻像素之间的差异，获得相似性信息；

基于所述相似性信息，确定权重信息；

通过所述第一图像和第一内核之间的卷积运算获得第一特征信息；

通过将所述权重信息应用于所述第一特征信息来获得第二特征信息；和

基于所述第二特征信息生成第二图像。

2.根据权利要求1所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令，以：

基于包括在所述第一图像中的每个像素与相对于每个像素的第一相对位置处的第一相邻像素之间的差异，获得第一相似性信息，以及

基于包括在所述第一图像中的每个像素与相对于每个像素的第二相对位置处的第二相邻像素之间的差异，获得第二相似性信息。

3.根据权利要求1所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令，以通过将自然指数函数或softmax函数应用于所述相似性信息来计算所述权重信息。

4.根据权利要求1所述的图像处理装置，其中，确定所述第一内核的通道数量，使得所述权重信息的通道数量等于所述第一特征信息的通道数量。

5.根据权利要求1所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令，以通过执行所述权重信息和所述第一特征信息的逐元素乘法运算来获得所述第二特征信息。

6.根据权利要求1所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令，以：

通过所述第二特征信息和第二内核之间的卷积运算获得第三特征信息，以及

基于所述第三特征信息生成所述第二图像。

7.根据权利要求1所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令，以：

通过所述权重信息和第三内核之间的卷积运算获得第二权重信息，

通过将第二权重信息应用于所述第二特征信息来获得第四特征信息，以及

基于所述第四特征信息生成所述第二图像。

8.根据权利要求7所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令，以通过执行所述第二特征信息和所述第二权重信息的逐元素乘法运算来获得所述第四特征信息。

9.根据权利要求1所述的图像处理装置，其中，所述处理器被进一步配置为执行所述一个或多个指令以通过使用包括多个层的神经网络处理所述第一图像来生成所述第二图像，

其中，所述第一图像被输入到所述多个层中的第n层，并且

所述第二特征信息被输入到所述多个层中的第(n+1)层。

10.一种图像处理装置的操作方法，所述操作方法包括：

基于所述相似性信息，确定权重信息；

基于所述第二特征信息生成第二图像。

11.根据权利要求10所述的操作方法，其中，获得相似性信息包括：

基于包括在所述第一图像中的每个像素与相对于每个像素的第一相对位置处的第一相邻像素之间的差异，获得第一相似性信息；和

12.根据权利要求10所述的操作方法，其中，确定权重信息包括：通过将自然指数函数或softmax函数应用于所述相似性信息来计算权重信息。

13.根据权利要求10所述的操作方法，其中，确定第一内核的通道数量，使得所述权重信息的通道数量等于所述第一特征信息的通道数量。

14.根据权利要求10所述的操作方法，其中，获得第二特征信息包括：通过执行所述权重信息和所述第一特征信息的逐元素乘法运算来获得所述第二特征信息。

15.一种计算机可读记录介质，其中存储有用于执行权利要求10所述的操作方法的程序。