CN113327228B - 图像处理方法和装置、终端和可读存储介质 - Google Patents
图像处理方法和装置、终端和可读存储介质 Download PDFInfo
- Publication number
- CN113327228B CN113327228B CN202110578212.8A CN202110578212A CN113327228B CN 113327228 B CN113327228 B CN 113327228B CN 202110578212 A CN202110578212 A CN 202110578212A CN 113327228 B CN113327228 B CN 113327228B
- Authority
- CN
- China
- Prior art keywords
- current frame
- frame image
- data corresponding
- image
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 29
- 238000009499 grossing Methods 0.000 claims description 28
- 230000002123 temporal effect Effects 0.000 claims description 13
- 230000005484 gravity Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- -1 falling Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种图像处理方法。图像处理方法包括获取当前帧图像及对应的姿态数据;根据所述姿态数据计算运动程度;及基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪。本申请实施方式的图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质,通过获取当前帧图像及对应的姿态数据,能够根据姿态数据准确计算出每帧图像拍摄时,终端的运动程度,从而基于运动剧烈程度,调整时域去噪和空域去噪的去噪强度。由于确定去噪强度时,引入运动程度进行参考,可防止运动剧烈时,时域去噪强度过大导致的鬼影的出现,并可在时域去噪强度较低时,增强空域去噪强度以保证去噪效果。
Description
技术领域
本申请涉及图像技术领域,特别涉及一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。
背景技术
目前,在对图像去噪以消除鬼影时,都是单纯利用图像信息(如利用时域去噪(Temporal noise reduction,TNR)方式融合连续多帧图像)来进行去噪。然而,在运动程度较为剧烈时,利用时域去噪方式融合连续多帧图像后,融合后的图像易出现鬼影。
发明内容
本申请的实施方式提供了一种图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质。
本申请实施方式的图像处理方法包括获取当前帧图像及对应的姿态数据;根据所述姿态数据计算运动程度;及基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪。
本申请实施方式的图像处理装置包括获取模块、计算模块和调整模块。所述获取模块用于获取当前帧图像及对应的姿态数据;所述计算模块用于根据所述姿态数据计算运动程度;所述调整模块用于基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪。
本申请实施方式的终端包括处理器,所述处理器用于获取当前帧图像及对应的姿态数据;根据所述姿态数据计算运动程度;及基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪。
本申请的一种包含计算机程序的非易失性计算机可读存储介质,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行图像处理方法。所述图像处理方法包括获取当前帧图像及对应的姿态数据;根据所述姿态数据计算运动程度;及基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪。
本申请实施方式的图像处理方法、图像处理装置、终端和非易失性计算机可读存储介质,通过获取当前帧图像及对应的姿态数据,能够根据姿态数据准确计算出每帧图像拍摄时,终端的运动程度,从而基于运动剧烈程度,调整时域去噪和空域去噪的去噪强度。由于确定去噪强度时,引入运动程度进行参考,可防止运动剧烈时,时域去噪强度过大导致的鬼影的出现,并可在时域去噪强度较低时,增强空域去噪强度以保证去噪效果。
本申请的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请某些实施方式的图像处理方法的流程示意图;
图2是本申请某些实施方式的图像处理装置的模块示意图;
图3是本申请某些实施方式的终端平面示意图;
图4是本申请某些实施方式的图像处理方法的原理示意图;
图5至图8是本申请某些实施方式的图像处理方法的流程示意图;
图9是本申请某些实施方式的图像处理方法的原理示意图;和
图10本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
以下结合附图对本申请的实施方式作进一步说明。附图中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。另外,下面结合附图描述的本申请的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的限制。
请参阅图1至图3,本申请实施方式的图像处理方法包括以下步骤:
011:获取当前帧图像及对应的姿态数据;
012:根据姿态数据计算运动程度;及
013:基于运动程度,调整时域去噪和空域去噪的强度,以对当前帧图像进行去噪。
本申请实施方式的图像处理装置10包括获取模块11、计算模块12和调整模块13。获取模块11、计算模块12和调整模块13分别用于执行步骤011、步骤012和步骤013。即,获取模块11用于获取当前帧图像及对应的姿态数据;计算模块12用于根据姿态数据计算运动程度;调整模块13用于基于运动程度,调整时域去噪和空域去噪的强度,以对当前帧图像进行去噪。
本申请实施方式的终端100包括处理器20。处理器20用于获取当前帧图像及对应的姿态数据;根据姿态数据计算运动程度;及基于运动程度,调整时域去噪和空域去噪的强度,以对当前帧图像进行去噪。也即是说,步骤011、步骤012和步骤013可以由处理器20实现。
具体地,终端100包括壳体40、处理器20和相机30。终端100可以是手机、平板电脑、显示设备、笔记本电脑、柜员机、闸机、智能手表、头显设备、游戏机等。如图3所示,本申请实施方式以终端100是手机为例进行说明,可以理解,终端100的具体形式并不限于手机。壳体40还可用于安装终端100的显示装置、成像装置、供电装置、通信装置等功能模块,以使壳体40为功能模块提供防尘、防摔、防水等保护。
相机30可拍摄图像。例如,在预览界面,相机30实时获取每一帧图像,在用户按下拍摄按钮时,预览界面的当前图像即为当前帧图像。再例如,相机30可进行视频拍摄,由用户手动选择视频中的任一帧为当前帧图像。
处理器20在获取当前帧图像时,还会从传感器获取终端100的姿态数据。传感器可包括陀螺仪、加速度计、重力计等。姿态数据可根据陀螺仪数据、加速度计数据和/或重力计数据计算得到。例如,姿态数据可根据陀螺仪数据计算得到;或者,姿态数据可根据加速度计数据计算得到;或者,姿态数据可根据重力计数据计算得到;或者,姿态数据可根据陀螺仪数据和加速度计数据计算得到;或者,姿态数据可根据陀螺仪数据和重力计数据计算得到;或者,姿态数据可根据加速度计数据和重力计数据计算得到;或者,姿态数据可根据陀螺仪数据、加速度计数据和重力计数据计算得到。如此,可通过一种或多种传感器的数据准确计算得到终端100的姿态数据。本申请实施方式中,姿态数据根据陀螺仪数据计算得到。
然后处理器20根据陀螺仪数据,计算运动程度。陀螺仪数据包括第一方向数据、第二方向数据和第三方向数据。如第一方向数据、第二方向数据和第三方向数据分别为终端100在物理坐标系的三轴(如以终端100的中心为坐标原点建立的坐标系的三轴)的角速度,角速度越大,说明终端100在对应的轴的运动越剧烈,因此,综合考虑三轴的角速度对应的运动程度,即可确定终端100的运动程度。例如,建立角速度和运动程度的映射关系,以第一方向数据、第二方向数据和第三方向数据的和(即,三轴的角速度之和)对应的运动程度作为终端100的运动程度;再例如,根据每个轴的角速度单独计算出每个轴对应的运动程度,然后根据三轴的运动程度之和作为终端100的运动程度。
其中,运动程度可通过数值表示,如运动程度位于区间[0,1],运动程度为0时表示终端100静止不动,运动程度为1则表示终端100的运动非常剧烈。当然,运动程度的范围并不限于上述区间,上述区间仅用于举例说明。
在确定运动程度后,处理器20可根据运动程度来调整时域去噪的强度和空域去噪的强度,以实现对当前帧图像的去噪。
时域去噪时,会考虑当前帧图像前后的连续多帧图像,如当前帧图像的前N帧图像(N为整数),然后根据当前帧图像和前N帧图像对应位置处的像素,来调整当前帧图像的像素值,以完成时域去噪。如当前帧图像和前N帧图像分别具有不同的权重,当前帧图像和前N帧图像对应位置处的像素值分别乘以对应的权重,即可计算得到当前帧图像的像素值。
然而,时域去噪强度越大,前N帧图像的权重也就越大,若此时运动程度也较大,由于终端100运动导致被摄场景发生变化,从而导致融合后的图像出现鬼影。因此,可根据运动程度,调整时域去噪的强度(即,前N帧图像的权重)。如当运动程度为1(达到最大)时,前N帧图像的权重为0,当前帧图像的权重为1,从而不融合当前帧图像和前N帧图像,使用当前帧图像直接作为时域去噪后输出的图像,防止因运动剧烈产生的鬼影。
由于时域去噪强度降低,此时为了防止噪声过多,处理器20还可根据运动程度,调整空域去噪的强度。
请参阅图4,空域去噪(Spatial noise reduction,SNR)时,仅利用当前帧图像的信息。空域去噪会利用轮询框S轮询当前帧图像,根据轮询框S框选的目标图像区域A1和周围的多个参考图像区域A2,来实现目标图像区域A1的去噪。其中,多个参考图像区域A2的大小和目标图像区域A1相同。空域去噪的强度不同,则对于参考图像区域A2的选取阈值也不同。例如,处理器20会计算目标图像区域A1和每个参考图像区域A2的相似度,然后选取相似度大于相似度阈值的参考图像区域A2,来对目标图像区域A1进行去噪,因此,空域去噪强度越大,则相似度阈值越小,可引入更多的参考图像区域A2来对目标图像区域A1进行去噪,从而在终端100运动剧烈,时域去噪强度较低导致去噪效果较差时,通过提升空域去噪强度来保证去噪效果。
需要指出的是,图4中的轮询框S、目标图像区域A1和参考图像区域A2均使用矩形虚线框表示,但矩形虚线框的大小并不代表轮询框S、目标图像区域A1和参考图像区域A2的大小,轮询框S、目标图像区域A1和参考图像区域A2实际为对应的矩形虚线框内包含的多个(具体为4个)像素所在的图像区域。
本申请实施方式的图像处理方法、图像处理装置10和终端100通过获取当前帧图像及对应的姿态数据,能够根据姿态数据准确计算出每帧图像拍摄时,终端100的运动程度,从而基于运动剧烈程度,调整时域去噪和空域去噪的去噪强度。由于确定去噪强度时,引入运动程度进行参考,可防止运动剧烈时,时域去噪强度过大导致的鬼影的出现,并可在时域去噪强度较低时,增强空域去噪强度以保证去噪效果。
请参阅图2、图3和图5,在某些实施方式中,步骤012包括以下步骤:
0121:计算当前帧图像对应的姿态数据和参考姿态数据的差值,参考姿态数据包括当前帧图像的前N帧图像对应的姿态数据,其中,N为整数;
0122:根据差值、当前帧图像对应的姿态数据和当前帧图像的前N帧图像对应的姿态数据,对当前帧图像对应的姿态数据进行平滑滤波;
0123:根据平滑滤波后的当前帧图像对应的姿态数据计算运动程度。
在某些实施方式中,计算模块12还用于执行步骤0121、步骤0122和步骤0123。即,计算模块12还用于计算当前帧图像对应的姿态数据和参考姿态数据的差值,参考姿态数据包括当前帧图像的前N帧图像对应的姿态数据,其中,N为整数;根据差值、当前帧图像对应的姿态数据和当前帧图像的前N帧图像对应的姿态数据,对当前帧图像对应的姿态数据进行平滑滤波。根据平滑滤波后的当前帧图像对应的姿态数据计算运动程度。
在某些实施方式中,处理器20还用于计算当前帧图像对应的姿态数据和参考姿态数据的差值,参考姿态数据包括当前帧图像的前N帧图像对应的姿态数据,其中,N为整数;根据差值、当前帧图像对应的姿态数据和当前帧图像的前N帧图像对应的姿态数据,对当前帧图像对应的姿态数据进行平滑滤波。根据平滑滤波后的当前帧图像对应的姿态数据计算运动程度。也即是说,步骤0121、步骤0122和步骤0123。可以由处理器20实现。
具体地,可以理解,连续的多帧之间的时间差很小,故姿态数据差异一般不会过大,为了保证当前帧图像对应的姿态数据(下称当前姿态数据)的准确性,可对当前姿态数据进行平滑滤波,从而校正当前姿态数据,防止当前姿态数据和前N帧的姿态数据差异过大。
处理器20可首先计算当前姿态数据和参考姿态数据的差值。参考姿态数据可以是前N帧图像对应的姿态数据,例如N为1、2、3等。处理器20可计算当前姿态数据和前N帧图像对应的姿态数据的差值,并取其中的最大差值作为当前姿态数据和参考姿态数据的差值。
平滑滤波时,处理器20会给当前姿态数据和参考姿态数据不同的权重,从而根据当前姿态数据和其对应的权重、及参考姿态数据和其对应的权重来调整当前姿态数据。如,当前姿态数据对应的权重为0.7,参考姿态数据对应的权重为0.3,则调整后的当前姿态数据=调整前的当前姿态数据*0.7+参考姿态数据*0.3。
然后处理器20可根据差值(由于角速度有方向,具体可以是差值的绝对值)来调整当前姿态数据对应的权重及参考姿态数据对应的权重,例如,差值的绝对值越大,则进行平滑滤波时,当前姿态数据对应的权重越小,防止当前姿态数据和前N帧图像对应的姿态数据的偏差过大,减少姿态数据图片带来的状态突变,减少闪噪情况,从而提高当前姿态数据的准确性。
另外,每帧图像对应的姿态数据和差值可以存储到缓存,以供下一帧图像的平滑滤波提供参考,如根据当前帧图像对应的差值和前N帧图像对应的差值的变化规律(如终端处于匀加速状态时,每帧图像对应的差值均相同),从而预判当前帧图像对应的差值。或者,根据当前帧图像对应的姿态数据和前N帧图像已存储的姿态数据实时计算当前帧图像对应的差值。
处理器20根据平滑滤波后的当前姿态数据即可计算得到运动程度,从而提高运动程度的计算准确性。
请参阅图2、图3和图6,在某些实施方式中,姿态数据包括第一方向数据、第二方向数据及第三方向数据,差值包括第一差值、第二差值和第三差值,步骤0121还包括以下步骤:
01211:计算当前帧图像对应的第一方向数据和当前帧图像的前N帧图像对应的第一方向数据的第一差值;
01212:计算当前帧图像对应的第二方向数据和当前帧图像的前N帧图像对应的第二方向数据的第二差值;
01213:计算当前帧图像对应的第三方向数据和当前帧图像的前N帧图像对应的第三方向数据的第三差值。
在某些实施方式中,计算模块12还用于执行步骤01211、步骤01212和步骤01213。即,计算模块12还用于计算当前帧图像对应的第一方向数据和当前帧图像的前N帧图像对应的第一方向数据的第一差值;计算当前帧图像对应的第二方向数据和当前帧图像的前N帧图像对应的第二方向数据的第二差值;计算当前帧图像对应的第三方向数据和当前帧图像的前N帧图像对应的第三方向数据的第三差值。
在某些实施方式中,处理器20还用于计算当前帧图像对应的第一方向数据和当前帧图像的前N帧图像对应的第一方向数据的第一差值;计算当前帧图像对应的第二方向数据和当前帧图像的前N帧图像对应的第二方向数据的第二差值;计算当前帧图像对应的第三方向数据和当前帧图像的前N帧图像对应的第三方向数据的第三差值。也即是说,步骤01211、步骤01212和步骤01213。可以由处理器20实现。
具体地,在计算当前姿态数据和参考姿态数据的差值时,可分别计算当前姿态数据中的第一方向数据和前N帧图像对应的第一方向数据的第一差值;当前姿态数据中的第二方向数据和前N帧图像对应的第二方向数据的第二差值;当前姿态数据中的第三方向数据和前N帧图像对应的第三方向数据的第三差值;从而分别为不同方向的姿态数据计算差值,方便后续对第一方向数据、第二方向数据及第三方向数据进行平滑滤波。
请再次参阅图2、图3和图6,,在某些实施方式中,步骤0122包括:
01221:根据第一差值、当前帧图像对应的第一方向数据和当前帧图像的前N帧图像对应的第一方向数据,对当前帧图像对应的第一方向数据进行平滑滤波;
01222:根据第二差值、当前帧图像对应的第二方向数据和当前帧图像的前N帧图像对应的第二方向数据,对当前帧图像对应的第二方向数据进行平滑滤波;
01223:根据第三差值、当前帧图像对应的第三方向数据和当前帧图像的前N帧图像对应的第三方向数据,对当前帧图像对应的第三方向数据进行平滑滤波。
在某些实施方式中,计算模块12还用于执行步骤01221、步骤01222和步骤01223。即,计算模块12还用于根据第一差值、当前帧图像对应的第一方向数据和当前帧图像的前N帧图像对应的第一方向数据,对当前帧图像对应的第一方向数据进行平滑滤波;根据第二差值、当前帧图像对应的第二方向数据和当前帧图像的前N帧图像对应的第二方向数据,对当前帧图像对应的第二方向数据进行平滑滤波;根据第三差值、当前帧图像对应的第三方向数据和当前帧图像的前N帧图像对应的第三方向数据,对当前帧图像对应的第三方向数据进行平滑滤波。
在某些实施方式中,处理器20还用于根据第一差值、当前帧图像对应的第一方向数据和当前帧图像的前N帧图像对应的第一方向数据,对当前帧图像对应的第一方向数据进行平滑滤波;根据第二差值、当前帧图像对应的第二方向数据和当前帧图像的前N帧图像对应的第二方向数据,对当前帧图像对应的第二方向数据进行平滑滤波;根据第三差值、当前帧图像对应的第三方向数据和当前帧图像的前N帧图像对应的第三方向数据,对当前帧图像对应的第三方向数据进行平滑滤波。即,步骤01221、步骤01222和步骤01223可以由处理器20实现。
具体地,在计算得到第一差值、第二差值和第三差值后,可通过第一差值调节当前帧图像对应的第一方向数据的权重、通过第二差值调节当前帧图像对应的第二方向数据的权重、通过第三差值调节当前帧图像对应的第三方向数据的权重。例如第一差值的绝对值越大,当前帧图像对应的第一方向数据的权重越小,防止第一方向数据和前N帧图像对应的第一方向数据的偏差过大;第二差值的绝对值越大,当前帧图像对应的第二方向数据的权重越小,防止第二方向数据和前N帧图像对应的第二方向数据的偏差过大;第三差值的绝对值越大,当前帧图像对应的第三方向数据的权重越小,防止第三方向数据和前N帧图像对应的第三方向数据的偏差过大,从而提高当前姿态数据的准确性。
请参阅图2、图3和图7,在某些实施方式中,步骤013包括以下步骤:
0131:根据运动程度确定当前帧图像的前N帧图像及当前帧图像的权重,运动程度越大,当前帧图像的权重越大;
0132:根据权重、及当前帧图像的前N帧图像和当前帧图像中对应位置的像素值,计算当前帧图像的像素值。
在某些实施方式中,调整模块13还用于执行步骤0131和步骤0132。即,调整模块13还用于根据运动程度确定当前帧图像的前N帧图像及当前帧图像的权重,运动程度越大,当前帧图像的权重越大;根据权重、及当前帧图像的前N帧图像和当前帧图像中对应位置的像素值,计算当前帧图像的像素值。
在某些实施方式中,处理器20还用于根据运动程度确定当前帧图像的前N帧图像及当前帧图像的权重,运动程度越大,当前帧图像的权重越大;根据权重、及当前帧图像的前N帧图像和当前帧图像中对应位置的像素值,计算当前帧图像的像素值。也即是说,步骤0131和步骤0132可以由处理器20实现。
具体地,处理器20在对当前帧图像进行时域去噪时,首先根据运动程度计算当前帧图像和当前帧图像的前N帧图像的权重,以确定时域去噪的强度。运动程度和当前帧图像的权重存在映射关系,运动程度越大,当前帧图像的权重则越大。
例如,以N为2为例进行说明,处理器20根据运动程度确定了当前帧图像的权重为0.3,则当前帧图像的前2帧图像(包括第一图像和第二图像)的权重分别为0.35(第一图像和第二图像的权重为0.35),处理器20根据当前帧图像及其权重、和当前帧图像的前2帧图像及其权重,即可对当前帧图像进行时域去噪。如将当前帧图像、第一图像和第二图像对应位置处的像素值乘以其对应的权重,以作为去噪后的当前帧图像对应位置处的像素值,即去噪后的当前帧图像=去噪前的当前帧图像*0.3+第一图像*0.35+第二图像*0.35。如此,通过运动程度对时域去噪的强度进行调整,从而在运动剧烈时,防止时域去噪强度较大易产生鬼影的问题。
请参阅图2、图3和图8,在某些实施方式中,步骤013包括以下步骤:
0133:以预设尺寸的轮询框S轮询当前帧图像;
0134:计算轮询框S周围的多个参考图像区域A2和轮询框S对应的目标图像区域A1的相似度;
0135:根据相似度大于相似度阈值的参考图像区域A2及目标图像区域A1,计算目标图像区域A1的像素值,运动程度越大,相似度阈值越小。
在某些实施方式中,调整模块13还用于执行步骤0133、步骤0134和0135。即,调整模块13还用于以预设尺寸的轮询框S轮询当前帧图像;计算轮询框S周围的多个参考图像区域A2和轮询框S对应的目标图像区域A1的相似度;根据相似度大于相似度阈值的参考图像区域A2及目标图像区域A1,计算目标图像区域A1的像素值,运动程度越大,相似度阈值越小。
在某些实施方式中,处理器20还用于以预设尺寸的轮询框S轮询当前帧图像;计算轮询框S周围的多个参考图像区域A2和轮询框S对应的目标图像区域A1的相似度;根据相似度大于相似度阈值的参考图像区域A2及目标图像区域A1,计算目标图像区域A1的像素值,运动程度越大,相似度阈值越小。也即是说,步骤0133、步骤0134和0135可以由处理器20实现。
具体地,在进行空域去噪时,可采用非局部均值(Non local mean,NLM)算法。当然,还可以采用其他空域去噪算法如均值滤波器,中值滤波器,低通滤波器,高斯滤波,双边滤波,引导滤波。
处理器20首先根据运动程度计算相似度阈值,以确定空域去噪的强度。运动程度越大,则相似度阈值则越小。
请参阅图4和图9,然后处理器20以预设尺寸的轮询框S对当前帧图像进行轮询,例如预设尺寸为2*2像素大小、4*4、9*9像素等。轮询时,轮询框S可从当前帧图像的左上角开始向右移动直到右上角,然后轮询框S向下移动一个像素或多个像素,再从当前帧图像的右侧移动到左侧,直至轮询框S的移动轨迹覆盖整个当前帧图像,从而完成当前帧图像的轮询。
每次轮询时,处理器20都会计算轮询框S周围的多个参考图像区域A2和轮询框S对应的目标图像区域A1的相似度。例如,当轮询框S位于左上角时,可确定离轮询框S的边缘预定距离(如0个像素、1个像素、2个像素、4个像素、5个像素等)的图像区域为参考图像区域A2,如图4,沿当前帧图像的行方向和列方向上均存在1个参考图像区域A2,从而最终确定2个参考图像区域A2。其中,参考图像区域A2的大小与轮询框S的尺寸相同。再例如,当轮询框S位于当前帧图像的中心位置时,可确定离轮询框S的边缘预定距离(如0个像素、1个像素、2个像素、4个像素、5个像素等)的图像区域为参考图像区域A2,如沿当前帧图像的行方向和列方向上均存在2个参考图像区域A2,从而最终确定4个参考图像区域A2;或者请参阅图9,沿当前帧图像的两个对角线方向上均存在2个参考图像区域A2,从而最终确定4个参考图像区域A2。
然后处理器20选出相似度大于相似度阈值的参考图像区域A2,然后为参考图像区域A2及目标图像区域A1分配权重,从而根据参考图像区域A2及其权重、和目标图像区域A1及其权重计算目标图像区域A1的像素值。例如,参考图像区域A2为4个,分别为第一参考图像区域A21、第二参考图像区域A22、第三参考图像区域A23和第四参考图像区域A24,其中,相似度大于相似度阈值的参考图像区域A2为第一参考图像区域A21和第二参考图像区域A22。处理器20为目标图像区域A1分配权重0.5,为第一参考图像区域A21和第二参考图像区域A22分别分配权重0.25。则去噪后的目标图像区域A1的像素值=去噪前的目标图像区域A1的像素值*0.5+第一参考图像区域A21*0.25+第二参考图像区域A22*0.25。如此,通过运动程度控制空域去噪的强度,防止时域去噪强度过低引起的去噪效果差的问题。
请参阅图10,本申请实施方式的一种存储有计算机程序302的非易失性计算机可读存储介质300,当计算机程序302被一个或多个处理器20执行时,使得处理器20可执行上述任一实施方式的图像处理方法。
例如,请结合图1,当计算机程序302被一个或多个处理器20执行时,使得处理器20执行以下步骤:
011:获取当前帧图像及对应的姿态数据;
012:根据姿态数据计算运动程度;及
013:基于运动程度,调整时域去噪和空域去噪的强度,以对当前帧图像进行去噪。
再例如,请结合图5,当计算机程序302被一个或多个处理器20执行时,处理器20还可以执行以下步骤:
0121:计算当前帧图像对应的姿态数据和参考姿态数据的差值,参考姿态数据包括当前帧图像的前N帧图像对应的姿态数据,其中,N为整数;
0122:根据差值、当前帧图像对应的姿态数据和当前帧图像的前N帧图像对应的姿态数据,对当前帧图像对应的姿态数据进行平滑滤波;
0123:根据平滑滤波后的当前帧图像对应的姿态数据计算运动程度。
在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的程序的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
获取当前帧图像及对应的姿态数据;
根据所述姿态数据计算运动程度;及
基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪,其中,所述根据所述姿态数据计算运动程度,包括:
计算所述当前帧图像对应的所述姿态数据和参考姿态数据的差值,所述参考姿态数据包括所述当前帧图像的前N帧图像对应的所述姿态数据,其中,N为整数;
根据所述差值、所述当前帧图像对应的所述姿态数据和所述当前帧图像的前N帧图像对应的所述姿态数据,对所述当前帧图像对应的所述姿态数据进行平滑滤波;
根据平滑滤波后的所述当前帧图像对应的所述姿态数据计算所述运动程度。
2.根据权利要求1所述的图像处理方法,其特征在于,所述姿态数据可根据陀螺仪数据、加速度计数据和/或重力计数据确定。
3.根据权利要求1所述的图像处理方法,其特征在于,所述姿态数据包括第一方向数据、第二方向数据及第三方向数据,所述根据所述姿态数据计算运动程度,包括:
根据所述第一方向数据、所述第二方向数据及所述第三方向数据的和计算所述运动程度。
4.根据权利要求1所述的图像处理方法,其特征在于,所述计算所述当前帧图像对应的所述姿态数据和参考姿态数据的差值,包括:
所述计算所述当前帧图像对应的所述姿态数据和所述当前帧图像的前N帧图像对应的所述姿态数据的最大差值。
5.根据权利要求1所述的图像处理方法,其特征在于,所述姿态数据包括第一方向数据、第二方向数据及第三方向数据,所述差值包括第一差值、第二差值和第三差值,所述计算所述当前帧图像对应的所述姿态数据和参考姿态数据的差值,包括:
计算所述当前帧图像对应的所述第一方向数据和所述当前帧图像的前N帧图像对应的所述第一方向数据的所述第一差值;
计算所述当前帧图像对应的所述第二方向数据和所述当前帧图像的前N帧图像对应的所述第二方向数据的所述第二差值;
计算所述当前帧图像对应的所述第三方向数据和所述当前帧图像的前N帧图像对应的所述第三方向数据的所述第三差值。
6.根据权利要求5所述的图像处理方法,其特征在于,所述根据所述差值、所述当前帧图像对应的所述姿态数据和所述当前帧图像的前N帧图像对应的所述姿态数据,对所述当前帧图像对应的所述姿态数据进行平滑滤波,包括:
根据所述第一差值、所述当前帧图像对应的所述第一方向数据和所述当前帧图像的前N帧图像对应的所述第一方向数据,对所述当前帧图像对应的所述第一方向数据进行平滑滤波;
根据所述第二差值、所述当前帧图像对应的所述第二方向数据和所述当前帧图像的前N帧图像对应的所述第二方向数据,对所述当前帧图像对应的所述第二方向数据进行平滑滤波;
根据所述第三差值、所述当前帧图像对应的所述第三方向数据和所述当前帧图像的前N帧图像对应的所述第三方向数据,对所述当前帧图像对应的所述第三方向数据进行平滑滤波。
7.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪,包括:
根据所述运动程度确定所述当前帧图像的前N帧图像及所述当前帧图像的权重,所述运动程度越大,所述当前帧图像的所述权重越大;
根据所述权重、及所述当前帧图像的前N帧图像和所述当前帧图像中对应位置的像素值,计算所述当前帧图像的像素值。
8.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪,包括:
以预设尺寸的轮询框轮询所述当前帧图像;
计算所述轮询框周围的多个参考图像区域和所述轮询框对应的目标图像区域的相似度;
根据相似度大于相似度阈值的所述参考图像区域及所述目标图像区域,计算所述目标图像区域的像素值,所述运动程度越大,所述相似度阈值越小。
9.一种图像处理装置,其特征在于,包括:
获取模块,用于获取当前帧图像及对应的姿态数据;
计算模块,用于根据所述姿态数据计算运动程度;
调整模块,用于基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪,其中,所述计算模块用于:
计算所述当前帧图像对应的所述姿态数据和参考姿态数据的差值,所述参考姿态数据包括所述当前帧图像的前N帧图像对应的所述姿态数据,其中,N为整数;
根据所述差值、所述当前帧图像对应的所述姿态数据和所述当前帧图像的前N帧图像对应的所述姿态数据,对所述当前帧图像对应的所述姿态数据进行平滑滤波;
根据平滑滤波后的所述当前帧图像对应的所述姿态数据计算所述运动程度。
10.一种终端,其特征在于,包括处理器,所述处理器用于获取当前帧图像及对应的姿态数据;根据所述姿态数据计算运动程度;及基于所述运动程度,调整时域去噪和空域去噪的强度,以对所述当前帧图像进行去噪,其中,所述处理器还用于计算所述当前帧图像对应的所述姿态数据和参考姿态数据的差值,所述参考姿态数据包括所述当前帧图像的前N帧图像对应的所述姿态数据,其中,N为整数;根据所述差值、所述当前帧图像对应的所述姿态数据和所述当前帧图像的前N帧图像对应的所述姿态数据,对所述当前帧图像对应的所述姿态数据进行平滑滤波;根据平滑滤波后的所述当前帧图像对应的所述姿态数据计算所述运动程度。
11.一种包含计算机可读指令的非易失性计算机可读存储介质,所述计算机可读指令被处理器执行时,使得所述处理器执行权利要求1-8任意一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110578212.8A CN113327228B (zh) | 2021-05-26 | 2021-05-26 | 图像处理方法和装置、终端和可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110578212.8A CN113327228B (zh) | 2021-05-26 | 2021-05-26 | 图像处理方法和装置、终端和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113327228A CN113327228A (zh) | 2021-08-31 |
CN113327228B true CN113327228B (zh) | 2024-04-16 |
Family
ID=77415085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110578212.8A Active CN113327228B (zh) | 2021-05-26 | 2021-05-26 | 图像处理方法和装置、终端和可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113327228B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045513A (zh) * | 2009-10-13 | 2011-05-04 | 原相科技股份有限公司 | 图像噪声滤除方法 |
CN103218824A (zh) * | 2012-12-24 | 2013-07-24 | 大连大学 | 基于距离曲线幅度的运动关键帧提取 |
CN111429554A (zh) * | 2020-03-26 | 2020-07-17 | 深圳壹账通智能科技有限公司 | 运动视频数据处理方法、装置、计算机设备和存储介质 |
CN111652814A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大华技术股份有限公司 | 一种视频图像的去噪方法、装置、电子设备及存储介质 |
-
2021
- 2021-05-26 CN CN202110578212.8A patent/CN113327228B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102045513A (zh) * | 2009-10-13 | 2011-05-04 | 原相科技股份有限公司 | 图像噪声滤除方法 |
CN103218824A (zh) * | 2012-12-24 | 2013-07-24 | 大连大学 | 基于距离曲线幅度的运动关键帧提取 |
CN111429554A (zh) * | 2020-03-26 | 2020-07-17 | 深圳壹账通智能科技有限公司 | 运动视频数据处理方法、装置、计算机设备和存储介质 |
CN111652814A (zh) * | 2020-05-26 | 2020-09-11 | 浙江大华技术股份有限公司 | 一种视频图像的去噪方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113327228A (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110121882B (zh) | 一种图像处理方法及装置 | |
CN106464803B (zh) | 增强的图像捕获 | |
CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
CN106165391B (zh) | 增强的图像捕获 | |
CN110769158B (zh) | 增强的图像捕获 | |
US20090237516A1 (en) | Method and system for intelligent and efficient camera motion estimation for video stabilization | |
WO2017020150A1 (zh) | 一种图像处理方法、装置及摄像机 | |
CN108605087B (zh) | 终端的拍照方法、拍照装置和终端 | |
WO2013151873A1 (en) | Joint video stabilization and rolling shutter correction on a generic platform | |
CN113132612B (zh) | 一种图像稳像处理方法、终端拍摄方法、介质及*** | |
US8965105B2 (en) | Image processing device and method | |
CN112369009A (zh) | 用于创建场景的超分辨率图像的光学图像稳定移动 | |
CN113556464A (zh) | 拍摄方法、装置及电子设备 | |
CN115546043B (zh) | 视频处理方法及其相关设备 | |
CN113610865B (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN113327228B (zh) | 图像处理方法和装置、终端和可读存储介质 | |
US20230290061A1 (en) | Efficient texture mapping of a 3-d mesh | |
CN114390186A (zh) | 视频拍摄方法及电子设备 | |
CN114125298B (zh) | 视频生成方法及装置、电子设备及计算机可读存储介质 | |
CN113301249B (zh) | 全景视频处理方法、装置、计算机设备和存储介质 | |
WO2022040988A1 (zh) | 图像处理方法、装置及可移动平台 | |
US11790483B2 (en) | Method, apparatus, and device for identifying human body and computer readable storage medium | |
US20230146794A1 (en) | Video image display method and apparatus | |
EP4280154A1 (en) | Image blurriness determination method and device related thereto | |
CN112637482B (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |