CN111344736A - 图像处理方法、图像处理装置和无人机 - Google Patents
图像处理方法、图像处理装置和无人机 Download PDFInfo
- Publication number
- CN111344736A CN111344736A CN201880069922.4A CN201880069922A CN111344736A CN 111344736 A CN111344736 A CN 111344736A CN 201880069922 A CN201880069922 A CN 201880069922A CN 111344736 A CN111344736 A CN 111344736A
- Authority
- CN
- China
- Prior art keywords
- image
- result
- ith
- filtering
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000001914 filtration Methods 0.000 claims abstract description 204
- 230000004927 fusion Effects 0.000 claims abstract description 133
- 238000005070 sampling Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims description 31
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 230000002596 correlated effect Effects 0.000 claims description 8
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 16
- 230000008569 process Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000000717 retained effect Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开涉及图像处理方法，包括：对原图像进行n‑1次下采样，以确定n个分辨率的图像；针对每个图像分别进行保边滤波，以获得高频信息和滤波结果；对第i个图像的高频信息和第i‑1个图像的高频信息进行融合，得到第i‑1高频融合结果；根据第i‑1高频融合结果，对第i个图像的滤波结果和第i‑1个图像的滤波结果进行融合，得到第i‑1滤波融合结果。根据本公开的实施例，可以同时实现在图像的高频区域保留细节较多，在低频区域的去噪效果较高。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及图像处理方法、图像处理装置和无人机。
背景技术
为了得到优良的显示效果，对于图像需要进行去噪处理，以去除图像中的噪声。
然而基于目前对于图像去噪的方式，如果要实现较好的去噪效果，就会损失较多图像的细节信息，而若需要保留较多图像的细节信息，那么去噪效果就会被削弱。
发明内容
本发明提供穿图像处理方法、图像处理装置和无人机，以解决相关技术中的技术问题。
根据本公开实施例的第一方面，提出一种图像处理方法，包括：
对原图像进行n-1次下采样，以确定n个分辨率的图像，其中，第i个图像的分辨率小于第i-1个图像的分辨率，1＜i≤n，第1个图像为所述原图像；
针对每个图像分别进行保边滤波，以获得高频信息和滤波结果；
对第2至第n个图像分别执行以下步骤，直至得到第1滤波融合结果：
对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果，其中，在i＜n时，将第i高频融合结果作为第i个图像的高频信息；
根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，其中，在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果。
根据本公开实施例的第二方面，提出一种图像处理装置，包括处理器，所述处理器用于，
对原图像进行n-1次下采样，以确定n个分辨率的图像，其中，第i个图像的分辨率小于第i-1个图像的分辨率，1＜i≤n，第1个图像为所述原图像；
针对每个图像分别进行保边滤波，以获得高频信息和滤波结果；
对第2至第n个图像分别执行以下步骤，直至得到第1滤波融合结果：
对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果，其中，在i＜n时，将第i高频融合结果作为第i个图像的高频信息；
根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，其中，在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果。
根据本公开实施例的第三方面，提出一种无人机，包括上述实施例所述的图像处理装置。
根据本公开的实施例，由于第i个图像是基于第i-1个图像下采样得到的，下采样后的第i个图像的分辨率小于第i-1个图像的分辨率，会导致丢失部分高频信息，因此具有较好的降噪效果，那么第i个图像的滤波结果相对于第i-1个图像的滤波结果高频信息更少，而高频融合结果较大的像素对应到滤波图像中的像素是边缘的可能性更大，因此可以保留更多的高频信息，以便使边缘得到正确提取。
基于本实施例，可以根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，例如可以通过设置第i-1高频融合结果与第i个图像的滤波结果的权值反相关，且与第i-1个图像的滤波结果的权值正相关，从而对于第i-1滤波融合结果同时实现了在高频区域保留细节较多，在低频区域的去噪效果较高。
进而在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果，可以对第2至第n-1个图像继续执行上述实施例中的后两步，从而根据第i-1滤波融合结果得到第i-2滤波融合结果，根据第i-2滤波融合结果得到第i-3滤波融合结果，…，直至得到第1滤波融合结果，那么第1滤波融合结果相对于原图像而言，就同时实现了在高频区域保留细节较多，在低频区域的去噪效果较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是根据本公开的实施例示出的一种图像处理方法的示意流程图。
图2是根据本公开的实施例示出的一种对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果的示意流程图。
图3是根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果的示意流程图。
图4是确定与第i-1高频融合结果对应的第i-1第二权值的示意流程图。
图5是根据本公开的实施例示出的另一种图像处理方法的示意流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图1是根据本公开的实施例示出的一种图像处理方法的示意流程图。本实施例所示的图像处理方法，可以应用于终端，例如手机、平板电脑、可穿戴设备等，也可以应用于服务器，还可以应用于其他具备处理数据功能的设备，例如无人机。
如图1所示，所述图像处理方法可以包括以下步骤：
步骤S1，对原图像进行n-1次下采样，以确定n个分辨率的图像，其中，第i个图像的分辨率小于第i-1个图像的分辨率，1＜i≤n，第1个图像为所述原图像。
在一个实施例中，通过对原图像进行下采样，可以得到分辨率较低的图像，需要说明的是，每次下采样后，相对于下采样前，图像的分辨率降低的比例可以是相同的，也可以是不同的。以下主要在图像的分辨率降低的比例是相同的情况下进行示例性说明。
例如n＝4，那么对原图像进行3次下采样，每次下采样后，相对于下采样前，图像的分辨率降低的比例为1/2，也即下采样后的图像的分辨率，是下采样前的图像的分辨率的1/2。那么第一次下采样后的第2个图像d2的分辨率是原图像d1的分辨率的1/2，第二次下采样后的第3个图像d3的分辨率是d2的分辨率的1/2，第三次下采样后的第4个图像d4的分辨率是d3的分辨率的1/2。
以下主要在n＝4，每次下采样后，相对于下采样前，图像的分辨率降低的比例为1/2的情况下，对本公开的实施例进行示例性说明。
步骤S2，针对每个图像分别进行保边滤波，以获得高频信息和滤波结果。
在一个实施例中，针对每个图像，例如上述d1,d2,d3,d4，可以分别进行保边滤波，其中，保边滤波是指在滤波过程中能够有效的保留图像中边缘信息的滤波方式，例如可以是双边滤波、引导滤波、加权最小二乘法滤波等。以双边滤波为例，滤波所采用的卷积核最小为3×3，例如可以采用7×7的卷积核。
通过保边滤波对图像进行滤波后，可以得到图像的高频信息和滤波结果。
其中，某个区域的高频信息可以表达该区域是否变化剧烈，具体是指该区域是否存在较多纹理，例如某个像素对应的高频信息越大，那么该像素越有可能属于图像中物体的边缘。
滤波结果是从滤波前的图像中去除一些噪声和细节后的结果，理论上滤波结果的信噪比高于滤波前图像的信噪比。对于下采样后的图像进行保边滤波的滤波结果可以反应下采样前图像的低频信息，某个区域的低频信息可以表达该区域是否变化平缓，具体是指该区域是否存在大片的色块。
为了方便描述，记做第4个图像d4的高频信息为d4_diff，滤波结果为d4_filter；第3个图像d3的高频信息为d3_diff，滤波结果为d3_filter；第2个图像d2的高频信息为d2_diff，滤波结果为d2_filter；第1个图像d1的高频信息为d1_diff，滤波结果为d1_filter。
对第2至第n个图像分别执行以下步骤，直至得到第1滤波融合结果：
步骤S3，对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果，其中，在i＜n时，将第i高频融合结果作为第i个图像的高频信息；
步骤S4，根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果。
在一个实施例中，首先从第n个图像开始，对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果。例如n＝4，那么从第4个图像d4开始，对第4个图像的高频信息d4_diff和第3个图像d3的高频信息d3_diff进行融合，得到第3高频融合结果d3_diff_merge。
进而在i＜n时，将第i高频融合结果作为第i个图像的高频信息，例如i＝3时，将第3高频融合结果d3_diff_merge作为第3个图像的高频信息d3_diff，i＝2时，将第2高频融合结果d2_diff_merge作为第2个图像的高频信息d2_diff。
在得到第2个图像的高频信息d2_diff后，可以进一步对第2个图像的高频信息d2_diff和第1个图像的高频信息d1_diff进行融合，得到第1高频融合结果d1_diff_merge。
由于图像经过下采样会减少图像噪声，因此根据不同分辨率的图像的高频信息进行逐次融合得到的第1高频融合结果，相对于原图像，也即第1个图像的高频信息，可以在保留高频信息的同时减少噪声的干扰，提高边缘检测的正确性。
进而根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，例如融合是指加权求和，那么可以设置第i-1高频融合结果与第i个图像的滤波结果的权值反相关，且与第i-1个图像的滤波结果的权值正相关，使得高频融合结果较大的像素对应的第i个图像的滤波结果的权值较小，且第i-1个图像的滤波结果对应的权值较大。
由于第i个图像是基于第i-1个图像下采样得到的，下采样后的第i个图像的分辨率小于第i-1个图像的分辨率，会导致丢失部分高频信息，因此具有较好的降噪效果，那么第i个图像的滤波结果相对于第i-1个图像的滤波结果高频信息更少，而高频融合结果较大的像素对应到滤波图像中的像素是边缘的可能性更大，因此可以保留更多的高频信息，以便使边缘得到正确提取。
基于本实施例，可以根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，例如可以通过设置第i-1高频融合结果与第i个图像的滤波结果的权值反相关，且与第i-1个图像的滤波结果的权值正相关。当第i-1高频融合结果较大时，此处像素是高频信息的可能性大，对应到滤波结果中，使得第i-1个图像的滤波结果的权值较大，而第i个图像的滤波结果的权值较小；当第i-1高频融合结果较小时，此处像素是低频信息的可能性大，对应到滤波结果中，使得第i-1个图像的滤波结果的权值较小，而第i个图像的滤波结果的权值较大；从而对于第i-1滤波融合结果同时实现了在高频区域保留细节较多，在低频区域的去噪效果较高。
进而在i＜n时，将第i高频融合结果作为第i个图像的高频信息，将第i滤波融合结果作为第i个图像的滤波结果，从而在对第2至第n-1个图像执行上述步骤S3和S4的过程中，可以对第i-1个图像的高频信息和第i-2个图像的高频信息进行融合，得到第i-2高频融合结果，对第i-2个图像的高频信息和第i-3个图像的高频信息进行融合，得到第i-3高频融合结果，…，最终得到第1高频融合结果；另外，还可以对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，对第i-1个图像的滤波结果和第i-2个图像的滤波结果进行融合，得到第i-2滤波融合结果，…，最终得到第1滤波融合结果，第1滤波融合结果相对于原图像而言，就同时实现了在高频区域保留细节较多，在低频区域的去噪效果较高。
在图1所示实施例的基础上，图2是根据本公开的实施例示出的一种对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果的示意流程图。如图2所示，所述对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果包括：
步骤S31，对第i个图像的高频信息进行上采样，得到第i高频上采样结果；
步骤S32，根据第i-1第一权值，对第i高频上采样结果和第i-1个图像的高频信息进行加权求和，得到第i-1高频融合结果。
在一个实施例中，由于第i个图像的分辨率小于第i-1个图像的分辨率，因此第i个图像的高频信息的分辨率小于第i-1个图像的高频信息的分辨率，为了将第i个图像的高频信息和第i-1个图像的高频信息进行加权求和，需要提高第i个图像的高频信息的分辨率，其中，可以通过对第i个图像的高频信息进行上采样，得到第i高频上采样结果，第i高频上采样结果的分辨率与第i-1个图像的高频信息的分辨率相同。
例如对于第4个图像的高频信息d4_diff，进行上采样得到第4高频上采样结果d4_up_diff，d4_up_diff的分辨率与第3个图像的高频信息d3_diff的分辨率相同。
进一步地，根据第i-1第一权值，对第i高频上采样结果和第i-1个图像的高频信息进行加权求和，得到第i-1高频融合结果，所采用的第i-1第一权值可以根据需要进行设置，例如在i＝4时，第3第一权值为w3，第3高频融合结果d3_diff_merge的计算方式如下：
d3_diff_merge＝d3_diff×w3+d4_up_diff×(1-w3)；
由于第i个图像是基于第i-1个图像下采样得到的，下采样后的第i个图像的分辨率小于第i-1个图像的分辨率，那么第i-1个图像的高频信息相对于第i个图像的高频信息，可以表达更多的高频信息，在这种情况下，通过设置第i-1第一权值，可以对融合过程中的去噪效果和细节保留程度进行调整。通常情况下，第一权重值为预设值，可以根据原始图像的信噪比确定第一权重值w(i-1)，如果原始图像的信噪比较高，则w(i-1)可以取较大值。一般情况下，可以设置w(n-1)，w(n-2)……w0依次递减。
例如将第i-1第一权值设置的较大，那么第i-1个图像的高频信息可以较多地被融合，从而使得较多更高频的高频信息得以保留，也即融合过程中细节保留程度较高；相应地，若将第i-1第一权值设置的较小，那么第i高频上采样结果可以较多地被融合，从而使得较少的更高频的高频信息得以保留，那么相对而言去噪效果较好。
需要说明的是，针对一个第i-1高频融合结果，可以通过一个第i-1第一权值来计算，例如在d3_diff_merge＝d3_diff×w3+d4_up_diff×(1-w3)中，对于d3_diff和每个d4_up_diff中的每个像素而言，w3是固定值。但是，也可以根据需要设置第i-1第一权值为可变的，其中，针对不同位置的像素可以设置不同的第i-1第一权值，例如在d3_diff_merge＝d3_diff×w3+d4_up_diff×(1-w3)中，对于d3_diff和每个d4_up_diff中的每个像素而言，基于像素位置的不同，w3可以有所不同。
在图1或图2所示实施例的基础上，图3是根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果的示意流程图。如图3所示，所述根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果包括：
步骤S41，对第i个图像的滤波结果进行上采样，得到第i滤波上采样结果；
步骤S42，确定与第i-1高频融合结果对应的第i-1第二权值，其中，第i-1高频融合结果与第i-1第二权值正相关；
步骤S43，根据第i-1第二权值对第i滤波上采样结果加权，根据1与第i-1第二权值之差对第i-1个图像的滤波结果加权，根据加权求和结果得到第i-1滤波融合结果。
在一个实施例中，由于第i个图像的分辨率小于第i-1个图像的分辨率，因此第i个图像的滤波结果的分辨率小于第i-1个图像的滤波结果的分辨率，为了将第i个图像的滤波结果和第i-1个图像的滤波结果进行加权求和，需要提高第i个图像的滤波结果的分辨率，其中，可以通过对第i个图像的滤波结果进行上采样，得到第i滤波上采样结果，第i滤波上采样结果的分辨率与第i-1个图像的滤波结果的分辨率相同。例如对于第4个图像的滤波结果d4_filter，进行上采样得到第4高频上采样结果d4_up_filter，d4_up_filter的分辨率与第3个图像的滤波结果d4_filter的分辨率相同。
进一步地，可以确定与第i-1高频融合结果对应的第i-1第二权值，通过设置第i-1高频融合结果与第i个图像的滤波结果的权值反相关，与第i-1个图像的滤波结果的权值正相关，使得高频融合结果较大的像素对应的第i个图像的滤波结果的权值较小，且第i-1个图像的滤波结果对应的权值较大。
例如在n＝4的情况下，可以根据第3高频融合结果d3_diff_merge确定第3第二权值d3_weight，其中，针对具有不同d3_diff_merge的像素，所确定的d3_weight不同，那么对于第3个图像d3中的像素(i,j)，其对应的第4滤波上采样结果d4_up_filter(i,j)，对应的第3高频融合结果为d3_diff_merge(i,j)，那么所确定的第3第二权值为d3_weight(i,j)，像素(i,j)的第i-1高频融合结果d3_filter_new(i,j)等于：
d3_filter(i,j)*d3_weight(i,j)+d4_up_filter(i,j)*(1-d3_weight(i,j))
基于图1实施例所言，由于第4个图像是基于第3个图像下采样得到的，下采样后的第4个图像的分辨率小于第3个图像的分辨率，会导致丢失部分高频信息，因此具有较好的降噪效果，那么第4个图像的滤波结果d4_filter相对于第3个图像的滤波结果d3_filter高频信息更少，而高频融合结果较大的像素对应到滤波图像中的像素是边缘的可能性更大，因此可以保留更多的高频信息，以便使边缘得到正确提取。
基于本实施例，可以根据第3高频融合结果，对第4个图像的滤波结果和第3个图像的滤波结果进行加权求和，例如可以通过设置第3高频融合结果与第4个图像的滤波结果的权值反相关，且与第3个图像的滤波结果的权值正相关，从而对于第3滤波融合结果同时实现了在高频区域保留细节较多，在低频区域的去噪效果较高。
进而在i＜4时，将第i高频融合结果作为第i个图像的高频信息，将第i滤波融合结果作为第i个图像的滤波结果，从而在对第2至第3个图像执行上述步骤S3和S4的过程中，可以对第3个图像的高频信息和第2个图像的高频信息进行加权求和，得到第2高频融合结果，并据此确定第2第二权值d2_weight，然后对第2个图像的高频信息和第1个图像的高频信息进行加权求和，得到第1高频融合结果，并据此确定第1第二权值d1_weight；另外，还可以基于第2第二权值d2_weight，对第3个图像的滤波结果和第2个图像的滤波结果进行加权求和，得到第2滤波融合结果，然后基于第1第二权值d1_weight，对第2个图像的滤波结果和第1个图像的滤波结果进行加权求和，最终得到第1滤波融合结果，第1滤波融合结果相对于原图像而言，就同时实现了在高频区域保留细节较多，在低频区域的去噪效果较高。
可选地，第i-1高频融合结果与第i个图像的滤波结果的权值反相关，与第i-1个图像的滤波结果的权值正相关。
需要说明的是，本公开实施例中的正相关，是指A和B正相关时，A在整体趋势上随着B的增大而增大，而在局部区间内，A可以随着B的增大而保持不变；本公开实施例中的正相关，是指A和B反相关时，A在整体趋势上随着B的增大而增减，而在局部区间内，A可以随着B的增大保持不变。
在图3所示实施例的基础上，图4是确定与第i-1高频融合结果对应的第i-1第二权值的示意流程图。如图4所示，所述确定与第i-1高频融合结果对应的第i-1第二权值包括：
步骤S421，根据第i-1第二权值与第i-1高频融合结果的关联关系表，确定与第i-1高频融合结果对应的第i-1第二权值。
在一个实施例中，可以通过关联关系表来存储第i-1第二权值与第i-1高频融合结果，在关联关系表中，不同的第i-1高频融合结果可以对应不同的第i-1第二权值，从而后续可以根据该关联关系表查询第i-1高频融合结果对应的第i-1第二权值。
可选地，下采样的方式包括以下至少之一：
高斯下采样，均值下采样，最大值或最小值下采样，中值下采样。
在一个实施例中，所采用的下采样的方式可以根据需要选择，并且每次下采样操作的方式可以是相同，也可以是不同的。
可选地，上采样的方式包括以下至少之一：
最邻近元法，双线性内插法，三次内插法。
在一个实施例中，所采用的上采样的方式可以根据需要选择，并且每次上采样操作的方式可以是相同，也可以是不同的。
可选地，保边滤波的方式包括以下至少之一：
双边滤波、引导滤波、加权最小二乘法滤波。
在一个实施例中，所采用的保边滤波的方式可以根据需要选择。
在上述任一实施例的基础上，图5是根据本公开的实施例示出的另一种图像处理方法的示意流程图。如图5所示，对原图像进行n-1次下采样，以确定n个分辨率的图像之前，所述方法还包括：
步骤S5，根据所述原图像的分辨率，确定n的值。
在一个实施例中，基于原图像的分辨率可以确定n的值，进而确定下采样的次数n-1，例如，原图像的分辨率越大，n可以越大，也即下采样的次数n-1可以越大，进而可以保证得到足够低频率的低频信息，以便保证融合后的结果具有较好的去噪效果。
可选地，所述高频信息包括对应图像中每个像素和各自邻域内像素的像素值差值的绝对值之和的均值。
在一个实施例中，针对图像中的每个像素，可以计算该像素和邻域内像素的像素值差值的绝对值之和的均值，该均值可以表达该像素与其邻域内像素值的差值情况，若该均值较大，说明该像素与其邻域内像素值的差值较大，那么该像素就越可能属于图像中物体的边缘，因此可以将该均值作为该像素的高频信息。
与上述图像处理方法的实施例相对应地，本公开还提出了图像处理装置的实施例。
本公开的实施例提出一种图像处理装置，包括处理器，所述处理器用于，
对原图像进行n-1次下采样，以确定n个分辨率的图像，其中，第i个图像的分辨率小于第i-1个图像的分辨率，1＜i≤n，第1个图像为所述原图像；
针对每个图像分别进行保边滤波，以获得高频信息和滤波结果；
对第2至第n个图像分别执行以下步骤，直至得到第1滤波融合结果：
对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果，其中，在i＜n时，将第i高频融合结果作为第i个图像的高频信息；
根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，其中，在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果。
在一个实施例中，所述处理器用于，
对第i个图像的高频信息进行上采样，得到第i高频上采样结果；
根据第i-1第一权值，对第i高频上采样结果和第i-1个图像的高频信息进行加权求和，得到第i-1高频融合结果。
在一个实施例中，所述处理器用于，
对第i个图像的滤波结果进行上采样，得到第i滤波上采样结果；
确定与第i-1高频融合结果对应的第i-1第二权值，其中，第i-1高频融合结果与第i-1第二权值正相关；
根据第i-1第二权值对第i滤波上采样结果加权，根据1与第i-1第二权值之差对第i-1个图像的滤波结果加权，根据加权求和结果得到第i-1滤波融合结果。
在一个实施例中，第i-1高频融合结果与第i个图像的滤波结果的权值反相关，与第i-1个图像的滤波结果的权值正相关。
在一个实施例中，所述处理器用于，
根据第i-1第二权值与第i-1高频融合结果的关联关系表，确定与第i-1高频融合结果对应的第i-1第二权值。
在一个实施例中，下采样的方式包括以下至少之一：
高斯下采样，均值下采样，最大值或最小值下采样，中值下采样。
在一个实施例中，上采样的方式包括以下至少之一：
最邻近元法，双线性内插法，三次内插法。
在一个实施例中，保边滤波的方式包括以下至少之一：
双边滤波、引导滤波、加权最小二乘法滤波。
在一个实施例中，处理器还用于，根据所述原图像的分辨率，确定n的值。
在一个实施例中，所述高频信息包括对应图像中每个像素和各自邻域内像素的像素值差值的绝对值之和的均值。
本公开的实施例提出一种无人机，包括上述任一实施例所述的图像处理装置。
上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (21)
1.一种图像处理方法，其特征在于，包括：
对原图像进行n-1次下采样，以确定n个分辨率的图像，其中，第i个图像的分辨率小于第i-1个图像的分辨率，1＜i≤n，第1个图像为所述原图像；
针对每个图像分别进行保边滤波，以获得高频信息和滤波结果；
对第2至第n个图像分别执行以下步骤，直至得到第1滤波融合结果：
对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果，其中，在i＜n时，将第i高频融合结果作为第i个图像的高频信息；
根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，其中，在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果。
2.根据权利要求1所述的方法，其特征在于，所述对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果包括：
对第i个图像的高频信息进行上采样，得到第i高频上采样结果；
根据第i-1第一权值，对第i高频上采样结果和第i-1个图像的高频信息进行加权求和，得到第i-1高频融合结果。
3.根据权利要求1所述的方法，其特征在于，所述根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果包括：
对第i个图像的滤波结果进行上采样，得到第i滤波上采样结果；
确定与第i-1高频融合结果对应的第i第二权值，其中，第i-1高频融合结果与第i-1第二权值正相关；
根据第i-1第二权值对第i滤波上采样结果加权，根据1与第i-1第二权值之差对第i-1个图像的滤波结果加权，根据加权求和结果得到第i-1滤波融合结果。
4.根据权利要求3所述的方法，其特征在于，第i-1高频融合结果与第i个图像的滤波结果的权值反相关，与第i-1个图像的滤波结果的权值正相关。
5.根据权利要求3所述的方法，其特征在于，所述确定与第i-1高频融合结果对应的第i-1第二权值包括：
根据第i-1第二权值与第i-1高频融合结果的关联关系表，确定与第i-1高频融合结果对应的第i-1第二权值。
6.根据权利要求1至5中任一项所述的方法，其特征在于，下采样的方式包括以下至少之一：
高斯下采样，均值下采样，最大值或最小值下采样，中值下采样。
7.根据权利要求1至5中任一项所述的方法，其特征在于，上采样的方式包括以下至少之一：
最邻近元法，双线性内插法，三次内插法。
8.根据权利要求1至5中任一项所述的方法，其特征在于，保边滤波的方式包括以下至少之一：
双边滤波、引导滤波、加权最小二乘法滤波。
9.根据权利要求1至5中任一项所述的方法，其特征在于，对原图像进行n-1次下采样，以确定n个分辨率的图像之前，所述方法还包括：
根据所述原图像的分辨率，确定n的值。
10.根据权利要求1至5中任一项所述的方法，其特征在于，所述高频信息包括对应图像中每个像素和各自邻域内像素的像素值差值的绝对值之和的均值。
11.一种图像处理装置，其特征在于，包括处理器，所述处理器用于，
对原图像进行n-1次下采样，以确定n个分辨率的图像，其中，第i个图像的分辨率小于第i-1个图像的分辨率，1＜i≤n，第1个图像为所述原图像；
针对每个图像分别进行保边滤波，以获得高频信息和滤波结果；
对第2至第n个图像分别执行以下步骤，直至得到第1滤波融合结果：
对第i个图像的高频信息和第i-1个图像的高频信息进行融合，得到第i-1高频融合结果，其中，在i＜n时，将第i高频融合结果作为第i个图像的高频信息；
根据第i-1高频融合结果，对第i个图像的滤波结果和第i-1个图像的滤波结果进行融合，得到第i-1滤波融合结果，其中，在i＜n时，将第i滤波融合结果作为第i个图像的滤波结果。
12.根据权利要求10所述的装置，其特征在于，所述处理器用于，
对第i个图像的高频信息进行上采样，得到第i高频上采样结果；
根据第i-1第一权值，对第i高频上采样结果和第i-1个图像的高频信息进行加权求和，得到第i-1高频融合结果。
13.根据权利要求10所述的装置，其特征在于，所述处理器用于，
对第i个图像的滤波结果进行上采样，得到第i滤波上采样结果；
确定与第i-1高频融合结果对应的第i-1第二权值，其中，第i-1高频融合结果与第i-1第二权值正相关；
根据第i-1第二权值对第i滤波上采样结果加权，根据1与第i-1第二权值之差对第i-1个图像的滤波结果加权，根据加权求和结果得到第i-1滤波融合结果。
14.根据权利要求13所述的装置，其特征在于，第i-1高频融合结果与第i个图像的滤波结果的权值反相关，与第i-1个图像的滤波结果的权值正相关。
15.根据权利要求14所述的装置，其特征在于，所述处理器用于，
根据第i-1第二权值与第i-1高频融合结果的关联关系表，确定与第i-1高频融合结果对应的第i-1第二权值。
16.根据权利要求11至15中任一项所述的装置，其特征在于，下采样的方式包括以下至少之一：
高斯下采样，均值下采样，最大值或最小值下采样，中值下采样。
17.根据权利要求11至15中任一项所述的装置，其特征在于，上采样的方式包括以下至少之一：
最邻近元法，双线性内插法，三次内插法。
18.根据权利要求11至15中任一项所述的装置，其特征在于，保边滤波的方式包括以下至少之一：
双边滤波、引导滤波、加权最小二乘法滤波。
19.根据权利要求11至15中任一项所述的装置，其特征在于，处理器还用于，根据所述原图像的分辨率，确定n的值。
20.根据权利要求11至15中任一项所述的装置，其特征在于，所述高频信息包括对应图像中每个像素和各自邻域内像素的像素值差值的绝对值之和的均值。
21.一种无人机，其特征在于，包括权利要求11至20中任一项所述的图像处理装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/121726 WO2020124355A1 (zh) | 2018-12-18 | 2018-12-18 | 图像处理方法、图像处理装置和无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111344736A true CN111344736A (zh) | 2020-06-26 |
Family
ID=71100109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880069922.4A Pending CN111344736A (zh) | 2018-12-18 | 2018-12-18 | 图像处理方法、图像处理装置和无人机 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN111344736A (zh) |
| WO (1) | WO2020124355A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113296664A (zh) * | 2021-05-18 | 2021-08-24 | Oppo广东移动通信有限公司 | 屏幕分辨率调整方法、装置、终端设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080253678A1 (en) * | 2007-04-10 | 2008-10-16 | Arcsoft, Inc. | Denoise method on image pyramid |
| CN103778606A (zh) * | 2014-01-17 | 2014-05-07 | Tcl集团股份有限公司 | 一种图像的处理方法及相关装置 |
| US20150093015A1 (en) * | 2013-09-26 | 2015-04-02 | Hong Kong Applied Science & Technology Research Institute Company Limited | Visual-Experience-Optimized Super-Resolution Frame Generator |
| CN106204657A (zh) * | 2016-07-21 | 2016-12-07 | 北京邮电大学 | 基于高斯金字塔和小波变换的运动目标跨尺度描述方法 |
| CN108154474A (zh) * | 2017-12-22 | 2018-06-12 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
| CN108205804A (zh) * | 2016-12-16 | 2018-06-26 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置及电子设备 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8120679B2 (en) * | 2008-08-01 | 2012-02-21 | Nikon Corporation | Image processing method |
| CN104008539B (zh) * | 2014-05-29 | 2017-02-15 | 西安理工大学 | 基于多尺度几何分析的图像超分辨率重建方法 |
| CN106530244B (zh) * | 2016-10-26 | 2019-03-19 | 长安大学 | 一种图像增强方法 |
| CN106611408A (zh) * | 2016-10-26 | 2017-05-03 | 成都易云知科技有限公司 | 一种图像融合方法 |
| CN107316274A (zh) * | 2017-05-10 | 2017-11-03 | 重庆邮电大学 | 一种边缘保持的红外图像重建方法 |
-
2018
- 2018-12-18 WO PCT/CN2018/121726 patent/WO2020124355A1/zh active Application Filing
- 2018-12-18 CN CN201880069922.4A patent/CN111344736A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080253678A1 (en) * | 2007-04-10 | 2008-10-16 | Arcsoft, Inc. | Denoise method on image pyramid |
| US20150093015A1 (en) * | 2013-09-26 | 2015-04-02 | Hong Kong Applied Science & Technology Research Institute Company Limited | Visual-Experience-Optimized Super-Resolution Frame Generator |
| CN103778606A (zh) * | 2014-01-17 | 2014-05-07 | Tcl集团股份有限公司 | 一种图像的处理方法及相关装置 |
| CN106204657A (zh) * | 2016-07-21 | 2016-12-07 | 北京邮电大学 | 基于高斯金字塔和小波变换的运动目标跨尺度描述方法 |
| CN108205804A (zh) * | 2016-12-16 | 2018-06-26 | 阿里巴巴集团控股有限公司 | 图像处理方法、装置及电子设备 |
| CN108154474A (zh) * | 2017-12-22 | 2018-06-12 | 浙江大华技术股份有限公司 | 一种超分辨率图像重构方法、装置、介质及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113296664A (zh) * | 2021-05-18 | 2021-08-24 | Oppo广东移动通信有限公司 | 屏幕分辨率调整方法、装置、终端设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020124355A1 (zh) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101743861B1 (ko) | 이미지 안정화를 위한 이미지 융합 방법 | |
| CN107492066B (zh) | 用于执行预处理以获得清晰度提高的图像的图像处理装置和方法 | |
| EP3620989A1 (en) | Information processing method, information processing apparatus, and program | |
| CN108629744B (zh) | 一种图像增强方法 | |
| US20060139376A1 (en) | Content adaptive resizer | |
| CN105631828A (zh) | 一种处理图像的方法及装置 | |
| CN113344821B (zh) | 图像降噪方法、装置、终端、存储介质 | |
| EP3438923B1 (en) | Image processing apparatus and image processing method | |
| WO2022016326A1 (zh) | 图像处理方法、电子设备和计算机可读介质 | |
| CN108234826B (zh) | 图像处理方法及装置 | |
| CN111031241B (zh) | 图像处理方法及其装置、终端和计算机可读存储介质 | |
| CN111833269A (zh) | 视频降噪方法、装置、电子设备及计算机可读介质 | |
| CN113344820B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| JP2003509779A (ja) | 圧縮エッジ適応ビデオ及び画像鮮鋭化及びスケーリング方法及びシステム | |
| JP2020031422A (ja) | 画像処理方法及び装置 | |
| CN111344736A (zh) | 图像处理方法、图像处理装置和无人机 | |
| KR101615479B1 (ko) | 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 | |
| van Zyl Marais et al. | Robust defocus blur identification in the context of blind image quality assessment | |
| CN111311498B (zh) | 图像鬼影剔除方法及装置、存储介质、终端 | |
| WO2021102704A1 (zh) | 图像处理方法和装置 | |
| JP2019160297A (ja) | 画像信号から階段状アーチファクトを低減するための画像処理装置 | |
| CN114596210A (zh) | 噪声估计方法、装置、终端设备及计算机可读存储介质 | |
| CN113469889A (zh) | 一种图像降噪的方法及装置 | |
| CN111986095A (zh) | 基于边缘提取的图像处理方法及图像处理装置 | |
| KR101650897B1 (ko) | 저해상도 컨텐츠를 위한 윈도우 사이즈 주밍 방법 및 그 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200626 |
|
| WD01 | Invention patent application deemed withdrawn after publication |