CN108769523A - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像处理方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN108769523A CN108769523A CN201810579249.0A CN201810579249A CN108769523A CN 108769523 A CN108769523 A CN 108769523A CN 201810579249 A CN201810579249 A CN 201810579249A CN 108769523 A CN108769523 A CN 108769523A
- Authority
- CN
- China
- Prior art keywords
- image
- frequency component
- frequency
- spectrograms
- spectrogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。所述方法包括：获取拍摄内容一致的多张图像；分别提取各张图像的频率分量；所述频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；通过获取所述多张图像间相同的频率分量得到处理后的多张图像；所述相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。上述图像处理方法，可以得到消除摩尔纹的多张图像。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
利用电子设备对物体进行拍摄时，若被摄物体存在密纹的纹理，则拍摄的图像往往会出现如水波一样的彩色条纹，这就是摩尔纹。例如，通过电子设备拍摄显示屏的显示画面时，电子设备拍摄到的图像经常会出现摩尔纹。拍摄图像中存在摩尔纹会严重影响拍摄效果。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质，可以消除图像中的摩尔纹。
一种图像处理方法，包括：
获取拍摄内容一致的多张图像；
分别提取各张图像的频率分量；所述频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
通过获取所述多张图像间相同的频率分量得到处理后的多张图像；所述相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
一种图像处理装置，包括：
获取模块，用于获取拍摄内容一致的多张图像；
提取模块，用于分别提取各张图像的频率分量；所述频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
处理模块，用于通过获取所述多张图像间相同的频率分量得到处理后的多张图像；所述相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的图像处理方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行如上所述的图像处理方法的步骤。
本申请实施例中的图像处理方法和装置、电子设备、计算机可读存储介质，获取了拍摄内容一致的多张图像，分别提取了多张图像的频率分量。各张图像中的摩尔纹是由多张图像中不同的频率分量产生的，通过保留各张图像中相同的频率分量并去除不同的频率分量，可以去除各张图像中产生摩尔纹的频率分量，进而得到消除摩尔纹的多张图像。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中电子设备的架构示意图；
图2为一个实施例中图像处理方法的流程图；
图3为另一个实施例中图像处理方法的流程图；
图4为一个实施例中图像处理装置的结构框图；
图5为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例中的图像处理方法应用于图1所示的电子设备中。如图1所示的电子设备包括通过***总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的应用处理方法。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作***和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像处理方法。内存储器为非易失性存储介质中的操作***计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法，以运行于图1中的电子设备为例进行描述。如图2所示，图像处理方法包括步骤202至步骤206。
步骤202，获取拍摄内容一致的多张图像。
具体地，当通过电子设备对存在密纹纹理的物体进行拍摄时，电子设备可以通过设置本机的连拍功能，对一致的拍摄内容进行多次拍摄，并获取拍摄内容一致的多张图像。
步骤204，分别提取各张图像的频率分量；频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分。
对于步骤204，各张图像的频率分量是表征各张图像中灰度变化剧烈程度的指标。如：大面积的沙漠在图像中是一片灰度变化缓慢的区域，对应的图像中的各个频率分量值都较低；而对于地表属性变换剧烈的边缘区域在图像中是一片灰度变化剧烈的区域，对应的图像中的各个频率分量值都较高。
步骤206，通过获取多张图像间相同的频率分量得到处理后的多张图像；相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
对于上述步骤，电子设备可以分别提取各张图像的频率分量进行比较。若多张图像都是没有摩尔纹的图像，则各张图像对应的频率分量可以是完全相同的；若存在含摩尔纹的图像，则图像中的摩尔纹是由多张图像中不同的频率分量产生的。将各张图像中不同的频率分量去除就可以消除各张图像中的摩尔纹，例如，图像1、图像2和图像3分别含四个频率分量，图像1的频率分量为ABCDEF，图像2的频率分量为ABCDE1F，图像3的频率分量为ABCDEF1，则可以将图像1、图像2和图像3中相同的频率分量ABCD保留下来，其余不同的频率分量去除。去除不同的频率分量的同时去除了由这些不同频率分量产生的摩尔纹。
上述实施例，获取了拍摄内容一致的多张图像，分别提取了多张图像的频率分量。其中，各张图像中的摩尔纹是由多张图像中不同的频率分量产生的，通过保留各张图像中相同的频率分量并去除不同的频率分量，可以去除各张图像中产生摩尔纹的频率分量，进而得到消除摩尔纹的多张图像，提高图像质量。
在一个实施例中，对于步骤206，可以通过以下步骤得到消除摩尔纹的多张图像：比较各张第一频谱图的频率分量；通过保留各张第一频谱图中相同的频率分量，并去除各张第一频谱图中不同的频率分量，得到多张第二频谱图；将各张第二频谱图进行频域逆变换，得到处理后的多张图像。
在上述实施例中，可以经过快速傅氏变换(Fast Fourier Transformation，FFT)得到第一频谱图，快速傅氏变换是根据离散傅氏变换的奇、偶、虚、实等特性，对离散傅立叶变换的算法进行改进获得的。通过快速傅氏变换可以得到二维的频谱图，在频谱图中，可以用横轴代表频率，用纵轴代表相位，用每个点的亮度值代表频率的振幅。若各张频谱图中同一位置的点的亮度值相同，则该点对应的频率分量相同。
上述实施例，获取了拍摄内容一致的多张图像，分别提取了多张图像的频率分量。通过保留各张图像中相同的频率分量并去除不同的频率分量，可以去除各张图像中产生摩尔纹的频率分量，进而得到消除摩尔纹的多张图像。
在一个实施例中，在去除多张图像中的摩尔纹时，还可以执行以下步骤：保留各张第一频谱图中相同的频率分量；提取各张第一频谱图中不同的频率分量，通过保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，并去除所有第一频谱图中出现的次数小于或等于指定阈值的不同的频率分量，得到多张第二频谱图。
在上述实施例中，可以通过统计在所有的第一频谱图中各个不同的频率分量出现的次数来确定是否保留该不同的频率分量。也可以通过统计含某个不同的频率分量的第一频谱图在所有的第一频谱图中所占的比例来确定是否保留该不同的频率分量；例如，当含该不同的频率分量的第一频谱图在所有的第一频谱图中所占的比例超过指定的阈值，则保留第一频谱图中该不同的频率分量，否则去除第一频谱图中该不同的频率分量。其中，指定的阈值可以根据不同的应用场景进行相应的调整。
下面结合示例进行说明，例如，设阈值为50％，第一频谱图1、第一频谱图2和第一频谱图3分别含四个频率分量，第一频谱图1的频率分量为ABCDEF，第一频谱图2的频率分量为ABCDE1F，第一频谱图3的频率分量为ABCDEF1，可以先将第一频谱图1、第一频谱图2和第一频谱图3中相同的频率分量ABCD保留下来，再将所有第一频谱图中各个不同的频率分量(E、E1、F以及F1)进行统计。所有第一频谱图中含频率分量E的第一频谱图比例约为67％，超过预设的阈值50％，保留第一频谱图中1和第一频谱图3中的频率分量E；所有第一频谱图中含频率分量E1的第一频谱图比例约为33％，不超过预设的阈值50％，去除第一频谱图中2中的频率分量E1；所有第一频谱图中含频率分量F的第一频谱图比例约为67％，超过预设的阈值50％，保留第一频谱图中1和第一频谱图3中的频率分量F；所有第一频谱图中含频率分量F1的第一频谱图比例约为33％，不超过预设的阈值50％，去除第一频谱图中2中的频率分量F1。最终得到的第一频谱图1的频率分量为ABCDEF，第一频谱图2的频率分量为ABCDF，第一频谱图3的频率分量为ABCDE。
上述实施例，通过对所有第一频谱图中各个不同的频率分量进行统计，当含该不同的频率分量的第一频谱图在所有的第一频谱图中所占的比例超过指定的阈值时，保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，否则去除第一频谱图中该不同的频率分量，避免在去除第一频谱图中不同的频率分量时将不是产生摩尔纹的频率分量去除，可以更好地保障图像的清晰度。
在一个实施例中，对于步骤202，可以通过以下步骤获取拍摄内容一致的多张图像：获取相邻两次拍摄的时间间隔；若时间间隔小于预设间隔阈值，则判定相邻两次拍摄的图像对应的拍摄内容一致；获取拍摄内容一致的多张图像。
本机在进行拍摄时，可以通过高动态范围拍摄获取拍摄内容一致的多张图像。高动态范围(High-Dynamic Range，HDR)拍摄为对相同的拍摄内容进行多次拍摄获得多张照片，再依次增大这些照片的曝光时间。在消除了高动态范围拍摄获取的多张图像的摩尔纹之后，可以利用不同的曝光时间对应的不同的图像的最佳图像细节对多张图像进行合成，能够更好的反映真实环境中的视觉效果。
具体地，预设间隔阈值可以是100ms，在高动态范围拍摄过程中，若相邻两次拍摄的时间间隔小于100ms，则可以判定相邻两次拍摄的图像对应的拍摄内容一致。其中，获取到的拍摄内容一致的图像的张数可以是3张以上。
通过相邻两次拍摄的时间间隔来判断相邻两次拍摄的拍摄内容是否一致，可以保证电子设备是对拍摄内容一致的多张图像进行进一步的处理，保留拍摄内容一致的多张图像中相同的频率分量并去除不同的频率分量，可以去除各张图像中产生摩尔纹的频率分量，进而得到消除摩尔纹的多张图像。
在一个实施例中，在步骤204之前，可以分别对各张图像进行降采样处理。
在上述实施例中，在对各张图像分别进行频域变换得到各张第一频谱图之前，可以先分别对各张图像进行降采样。同时也可以在频域逆变换之后进行上采样，得到消除摩尔纹的多张图像。在频域变换之前需要对图像数据进行采样，降采样是降低图像数据采样过程的采样率，通过降采样可以降低待处理图像数据的大小，对降采样后的图像进行频域变换可以极大地提高频域变换的变换效率。上采样是通过插值增大图像的采样率，在频域变换之后对图像数据进行上采样可以通过插值恢复图像数据的大小，避免降采样造成的图像分辨率过低。
上述实施例，在对多张图像分别进行频域变换得到多张频谱图之前，先分别对多张图像进行降采样，再在频域逆变换之后进行上采样，得到消除摩尔纹的多张图像，由于进行频域变换的是降采样的图像，极大地减少了需要频域变换的数据量，使得摩尔纹的去除更加快速。
在一个实施例中，在步骤204之前，可以剔除各张第一频谱图中频率幅度大于预设幅度阈值的频率分量。
环境噪声产生的频率分量一般是高频分量，图像摩尔纹的频率分量一般也是高频分量，可以通过预设幅度阈值，预先过滤掉环境噪声产生的高频分量和产生摩尔纹的高频分量。预设幅度阈值可以根据频谱图中的最高频率分量确定，例如预设幅度阈值可以是频域的频谱图中最高频率分量的80％,即过滤掉频率超过最高频率分量的80％的信息。
当多张第一频谱图中同时存在一个或多个产生摩尔纹的高频频率分量，且该高频频率分量高于预设幅度阈值时，通过设置幅度阈值优先过滤掉该高频频率分量，可以去除更多的产生摩尔纹的高频频率分量，使最终得到的图像出现摩尔纹的概率更低，也可以去除更多的环境噪声产生的高频分量，使图像受环境噪声的干扰更小。
在一个实施例中，电子设备在得到处理后的多张图像之后，还可以执行以下步骤：分别提取处理后的多张图像中的最佳曝光区域；根据各个最佳曝光区域将处理后的多张图像合成一张图像进行输出。
对于上述实施例，可以根据设定的相机响应曲线(Camera Response Curve)来获取最终输出的图像中每个像素点的最佳像素值。相机响应曲线能够反映拍摄得到的图像对应的图像数据和实际场景照度(Scene Radiance)之间的映射关系，根据响应曲线就能确定实际场景照度。根据实际场景照度就可以获取到图像每个像素点的最佳像素值。在确定了每个像素点的最佳像素值之后，可以将各张不同曝光程度的图像中每个像素点的像素值与上述最佳像素值进行比较，可以将像素值差异低于预设的像素值差异阈值的像素点所在的区域设为最佳曝光区域。
上述实施例，电子设备提取各张消除摩尔纹的图像中的最佳曝光区域，再根据各个最佳曝光区域将多张图像合成一张图像进行输出，可以更好地反映各个图像区域的图像细节，提高最终输出的图像的视觉效果。
在一个实施例中提供一种图像处理方法，如图3所示，包括以下步骤：
步骤302，获取高动态范围拍摄过程中相邻两次拍摄的时间间隔。其中电子设备可以获取本机拍摄的图像，也可以获取其他设备的图像，此处不对图像的来源做限定。
步骤304，获取时间间隔满足预设条件的多张图像。
步骤306，提取各张图像的频率分量。可以将多张图像分别进行频域变换得到多张第一频谱图，并获取各张第一频谱图中的频率分量。
步骤308，剔除各张第一频谱图中频率幅度大于预设幅度阈值的频率分量。
步骤310，剔除产生摩尔纹的频率分量，得到消除摩尔纹的多张图像。比较各张第一频谱图的频率分量，保留各张第一频谱图中相同的频率分量，提取各张第一频谱图中不同的频率分量，通过保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，并去除所有第一频谱图中出现的次数小于或等于指定阈值的不同的频率分量，得到多张第二频谱图，再将各张第二频谱图进行频域逆变换，得到处理后的多张图像。
步骤312，分别提取各张处理后的图像中的最佳曝光区域，根据各个最佳曝光区域将多张图像合成一张图像进行输出。
上述实施例，获取了高动态范围拍摄的多张图像，分别提取了多张图像的频率分量，并剔除了频率幅度超过幅度阈值的频率分量，可以去除更多的产生摩尔纹的高频频率分量，使最终得到的图像出现摩尔纹的概率更低，也可以去除更多的环境噪声产生的高频分量，使图像受环境噪声的干扰更小。通过保留各张图像中相同的频率分量并去除不同的频率分量，可以去除各张图像中产生摩尔纹的频率分量，进而得到消除摩尔纹的多张图像。提取各张消除摩尔纹的图像中的最佳曝光区域，再根据各个最佳曝光区域将多张图像合成一张图像进行输出，可以更好地反映各个图像区域的图像细节，提高最终输出的图像的视觉效果。
应该理解的是，虽然图2和3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图4为一个实施例的图像处理装置的结构框图。如图4所示，本实施例的图像处理装置包括：
获取模块402，用于获取拍摄内容一致的多张图像；
提取模块404，用于分别提取各张图像的频率分量；频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
处理模块406，用于通过获取多张图像间相同的频率分量得到处理后的多张图像；相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
上述图像处理装置，获取了拍摄内容一致的多张图像，分别提取了多张图像的频率分量。各张图像中的摩尔纹是由多张图像中不同的频率分量产生的，通过保留各张图像中相同的频率分量并去除不同的频率分量，可以去除各张图像中产生摩尔纹的频率分量，进而得到消除摩尔纹的多张图像。
在一个实施例中，处理模块406还用于比较各张第一频谱图的频率分量；通过保留各张第一频谱图中相同的频率分量，并去除各张第一频谱图中不同的频率分量，得到多张第二频谱图；将各张第二频谱图进行频域逆变换，得到处理后的多张图像。
在一个实施例中，处理模块406还用于保留各张第一频谱图中相同的频率分量；提取各张第一频谱图中不同的频率分量，通过保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，并去除所有第一频谱图中出现的次数小于或等于指定阈值的不同的频率分量，得到多张第二频谱图。
在一个实施例中，获取模块402还用于获取相邻两次拍摄的时间间隔；若时间间隔小于预设间隔阈值，则判定相邻两次拍摄的图像对应的拍摄内容一致；获取拍摄内容一致的多张图像。
在一个实施例中，图像处理装置还包括降采样模块，降采样模块用于分别对各张图像进行降采样处理。
在一个实施例中，图像处理装置还包括剔除模块，剔除模块用于剔除各张第一频谱图中频率幅度大于预设幅度阈值的频率分量。
在一个实施例的图像处理装置中，还包括曝光区域提取模块和图像合成模块，其中，曝光区域提取模块用于分别提取处理后的多张图像中的最佳曝光区域；图像合成模块用于根据各个最佳曝光区域将处理后的多张图像合成一张图像进行输出。
上述图像处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像摩尔纹消除装置按照需要划分为不同的模块，以完成上述图像摩尔纹消除装置的全部或部分功能。
关于图像摩尔纹消除装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像摩尔纹消除装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本申请实施例中提供的图像摩尔纹消除装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当计算机可执行指令被一个或多个处理器执行时，使得处理器执行以下步骤：
获取拍摄内容一致的多张图像；
分别提取各张图像的频率分量；频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
通过获取多张图像间相同的频率分量得到处理后的多张图像；相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
在一个实施例中，当计算机可执行指令被一个或多个处理器执行时，还使得处理器执行以下步骤：比较各张第一频谱图的频率分量；通过保留各张第一频谱图中相同的频率分量，并去除各张第一频谱图中不同的频率分量，得到多张第二频谱图；将各张第二频谱图进行频域逆变换，得到处理后的多张图像。
在一个实施例中，当计算机可执行指令被一个或多个处理器执行时，还使得处理器执行以下步骤：保留各张第一频谱图中相同的频率分量；提取各张第一频谱图中不同的频率分量，通过保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，并去除所有第一频谱图中出现的次数小于或等于指定阈值的不同的频率分量，得到多张第二频谱图。
在一个实施例中，当计算机可执行指令被一个或多个处理器执行时，还使得处理器执行以下步骤：获取相邻两次拍摄的时间间隔；若时间间隔小于预设间隔阈值，则判定相邻两次拍摄的图像对应的拍摄内容一致；获取拍摄内容一致的多张图像。
在一个实施例中，当计算机可执行指令被一个或多个处理器执行时，还使得处理器执行以下步骤：分别对各张图像进行降采样处理。
在一个实施例中，当计算机可执行指令被一个或多个处理器执行时，还使得处理器执行以下步骤：剔除各张第一频谱图中频率幅度大于预设幅度阈值的频率分量。
在一个实施例中，当计算机可执行指令被一个或多个处理器执行时，还使得处理器执行以下步骤：分别提取处理后的多张图像中的最佳曝光区域；根据各个最佳曝光区域将处理后的多张图像合成一张图像进行输出。
一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行以下步骤：
获取拍摄内容一致的多张图像；
分别提取各张图像的频率分量；所述频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
通过获取所述多张图像间相同的频率分量得到处理后的多张图像；所述相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图5为一个实施例中图像处理电路的示意图。如图5所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。
如图5所示，图像处理电路包括ISP处理器540和控制逻辑器550。成像设备510捕捉的图像数据首先由ISP处理器540处理，ISP处理器540对图像数据进行分析以捕捉可用于确定和/或成像设备510的一个或多个控制参数的图像统计信息。成像设备510可包括具有一个或多个透镜512和图像传感器514的照相机。图像传感器514可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器514可获取用图像传感器514的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器540处理的一组原始图像数据。传感器520(如陀螺仪)可基于传感器520接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器540。传感器520接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。
此外，图像传感器514也可将原始图像数据发送给传感器520，传感器520可基于传感器520接口类型把原始图像数据提供给ISP处理器540，或者传感器520将原始图像数据存储到图像存储器530中。
ISP处理器540按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器540可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。
ISP处理器540还可从图像存储器530接收图像数据。例如，传感器520接口将原始图像数据发送给图像存储器530，图像存储器530中的原始图像数据再提供给ISP处理器540以供处理。图像存储器530可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。
当接收到来自图像传感器514接口或来自传感器520接口或来自图像存储器530的原始图像数据时，ISP处理器540可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器530，以便在被显示之前进行另外的处理。ISP处理器540从图像存储器530接收处理数据，并对处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器540处理后的图像数据可输出给显示器570，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器540的输出还可发送给图像存储器530，且显示器570可从图像存储器530读取图像数据。在一个实施例中，图像存储器530可被配置为实现一个或多个帧缓冲器。此外，ISP处理器540的输出可发送给编码器/解码器560，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器570设备上之前解压缩。编码器/解码器560可由CPU或GPU或协处理器实现。
ISP处理器540确定的统计数据可发送给控制逻辑器550单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜512阴影校正等图像传感器514统计信息。控制逻辑器550可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备510的控制参数及ISP处理器540的控制参数。例如，成像设备510的控制参数可包括传感器520控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜512控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜512阴影校正参数。
以下为运用图5中图像处理技术实现图像处理方法的步骤：
获取拍摄内容一致的多张图像；
分别提取各张图像的频率分量；频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
通过获取多张图像间相同的频率分量得到处理后的多张图像；相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
在一个实施例中，还可以实现以下步骤：比较各张第一频谱图的频率分量；通过保留各张第一频谱图中相同的频率分量，并去除各张第一频谱图中不同的频率分量，得到多张第二频谱图；将各张第二频谱图进行频域逆变换，得到处理后的多张图像。
在一个实施例中，还可以实现以下步骤：保留各张第一频谱图中相同的频率分量；提取各张第一频谱图中不同的频率分量，通过保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，并去除所有第一频谱图中出现的次数小于或等于指定阈值的不同的频率分量，得到多张第二频谱图。
在一个实施例中，还可以实现以下步骤：获取相邻两次拍摄的时间间隔；若时间间隔小于预设间隔阈值，则判定相邻两次拍摄的图像对应的拍摄内容一致；获取拍摄内容一致的多张图像。
在一个实施例中，还可以实现以下步骤：分别对各张图像进行降采样处理。
在一个实施例中，还可以实现以下步骤：剔除各张第一频谱图中频率幅度大于预设幅度阈值的频率分量。
在一个实施例中，还可以实现以下步骤：分别提取处理后的多张图像中的最佳曝光区域；根据各个最佳曝光区域将处理后的多张图像合成一张图像进行输出。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法，其特征在于，包括：
获取拍摄内容一致的多张图像；
分别提取各张图像的频率分量；所述频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
通过获取所述多张图像间相同的频率分量得到处理后的多张图像；所述相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
2.根据权利要求1所述的图像处理方法，其特征在于，所述通过获取所述多张图像间相同的频率分量得到处理后的多张图像，包括：
比较各张所述第一频谱图的频率分量；
通过保留各张所述第一频谱图中相同的频率分量，并去除各张所述第一频谱图中不同的频率分量，得到多张第二频谱图；
将各张所述第二频谱图进行频域逆变换，得到处理后的多张图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述通过保留各张所述第一频谱图中相同的频率分量，并去除各张所述第一频谱图中不同的频率分量，得到多张第二频谱图，包括：
保留各张所述第一频谱图中相同的频率分量；
提取各张所述第一频谱图中不同的频率分量，通过保留在所有第一频谱图中出现的次数大于指定阈值的不同的频率分量，并去除所有第一频谱图中出现的次数小于或等于指定阈值的不同的频率分量，得到多张第二频谱图。
4.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述获取拍摄内容一致的多张图像，包括：
获取相邻两次拍摄的时间间隔；
若所述时间间隔小于预设间隔阈值，则判定相邻两次拍摄的图像对应的拍摄内容一致；
获取拍摄内容一致的多张图像。
5.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述分别提取各张图像的频率分量之前，包括：
分别对各张图像进行降采样处理。
6.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述分别提取各张图像的频率分量之后，包括：
剔除各张所述第一频谱图中频率幅度大于预设幅度阈值的频率分量。
7.根据权利要求1至3中任一项所述的图像处理方法，其特征在于，所述方法还包括：
分别提取处理后的多张图像中的最佳曝光区域；
根据各个所述最佳曝光区域将处理后的多张图像合成一张图像进行输出。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取拍摄内容一致的多张图像；
提取模块，用于分别提取各张图像的频率分量；所述频率分量为每张图像经频域变换得到的第一频谱图中的各个频率成分；
处理模块，用于通过获取所述多张图像间相同的频率分量得到处理后的多张图像；所述相同的频率分量为各张第一频谱图之间坐标位置相同且频率幅值相同的频率成分。
9.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810579249.0A CN108769523B (zh) | 2018-06-07 | 2018-06-07 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810579249.0A CN108769523B (zh) | 2018-06-07 | 2018-06-07 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108769523A true CN108769523A (zh) | 2018-11-06 |
| CN108769523B CN108769523B (zh) | 2020-06-30 |
Family
ID=63999245
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810579249.0A Active CN108769523B (zh) | 2018-06-07 | 2018-06-07 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108769523B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110300325A (zh) * | 2019-08-06 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 视频的处理方法、装置、电子设备及计算机可读存储介质 |
| CN110661969A (zh) * | 2019-08-19 | 2020-01-07 | 厦门快商通科技股份有限公司 | 显示屏的图像采集方法、装置、电子设备及介质 |
| CN111062922A (zh) * | 2019-12-14 | 2020-04-24 | 创新奇智(北京)科技有限公司 | 一种翻拍图像的判别方法、***及电子设备 |
| CN111311511A (zh) * | 2020-01-22 | 2020-06-19 | 凌云光技术集团有限责任公司 | 一种去除莫尔纹的方法和装置 |
| CN111798380A (zh) * | 2019-04-09 | 2020-10-20 | Tcl集团股份有限公司 | 一种图像处理方法、图像处理装置及终端设备 |
| CN112351205A (zh) * | 2020-10-28 | 2021-02-09 | 维沃移动通信有限公司 | 拍摄控制方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1894169A2 (en) * | 2005-06-23 | 2008-03-05 | SDU Identification B.V. | Identification card |
| CN104010174A (zh) * | 2009-10-13 | 2014-08-27 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN107424123A (zh) * | 2017-03-29 | 2017-12-01 | 北京粉笔未来科技有限公司 | 一种摩尔纹去除方法及装置 |
| CN107749953A (zh) * | 2017-11-17 | 2018-03-02 | 嘉兴学院 | 一种基于双目镜筒的双相机图像增频装置及控制方法 |
-
2018
- 2018-06-07 CN CN201810579249.0A patent/CN108769523B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1894169A2 (en) * | 2005-06-23 | 2008-03-05 | SDU Identification B.V. | Identification card |
| CN104010174A (zh) * | 2009-10-13 | 2014-08-27 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| CN107424123A (zh) * | 2017-03-29 | 2017-12-01 | 北京粉笔未来科技有限公司 | 一种摩尔纹去除方法及装置 |
| CN107749953A (zh) * | 2017-11-17 | 2018-03-02 | 嘉兴学院 | 一种基于双目镜筒的双相机图像增频装置及控制方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111798380A (zh) * | 2019-04-09 | 2020-10-20 | Tcl集团股份有限公司 | 一种图像处理方法、图像处理装置及终端设备 |
| CN110300325A (zh) * | 2019-08-06 | 2019-10-01 | 北京字节跳动网络技术有限公司 | 视频的处理方法、装置、电子设备及计算机可读存储介质 |
| CN110661969A (zh) * | 2019-08-19 | 2020-01-07 | 厦门快商通科技股份有限公司 | 显示屏的图像采集方法、装置、电子设备及介质 |
| CN110661969B (zh) * | 2019-08-19 | 2021-09-10 | 厦门快商通科技股份有限公司 | 显示屏的图像采集方法、装置、电子设备及介质 |
| CN111062922A (zh) * | 2019-12-14 | 2020-04-24 | 创新奇智(北京)科技有限公司 | 一种翻拍图像的判别方法、***及电子设备 |
| CN111062922B (zh) * | 2019-12-14 | 2024-02-20 | 创新奇智(北京)科技有限公司 | 一种翻拍图像的判别方法、***及电子设备 |
| CN111311511A (zh) * | 2020-01-22 | 2020-06-19 | 凌云光技术集团有限责任公司 | 一种去除莫尔纹的方法和装置 |
| CN111311511B (zh) * | 2020-01-22 | 2023-08-29 | 凌云光技术股份有限公司 | 一种去除莫尔纹的方法和装置 |
| CN112351205A (zh) * | 2020-10-28 | 2021-02-09 | 维沃移动通信有限公司 | 拍摄控制方法及装置 |
| CN112351205B (zh) * | 2020-10-28 | 2022-08-16 | 维沃移动通信有限公司 | 拍摄控制方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108769523B (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108769523A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110428366B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| JP6169186B2 (ja) | 画像処理方法及び装置並びに撮影端末 | |
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| CN110149482A (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| CN113170030A (zh) | 使用神经网络对摄影曝光不足进行校正 | |
| CN107395991B (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
| CN109978774B (zh) | 多帧连续等曝光图像的去噪融合方法及装置 | |
| KR20200031169A (ko) | 이미지 처리 방법 및 장치 | |
| CN103581556A (zh) | 摄像装置、图像信号处理方法和程序 | |
| WO2010145910A1 (en) | Low-light video frame enhancement | |
| CN108322650A (zh) | 视频拍摄方法和装置、电子设备、计算机可读存储介质 | |
| CN114586337B (zh) | 视频防抖优化处理方法和装置、电子设备 | |
| US20100092086A1 (en) | Method and system for image deblurring | |
| CN112150400B (zh) | 图像增强方法、装置和电子设备 | |
| CN112651911B (zh) | 一种基于偏振图像的高动态范围成像生成方法 | |
| CN109410152A (zh) | 成像方法和装置、电子设备、计算机可读存储介质 | |
| CN110942427A (zh) | 一种图像降噪的方法及装置、设备、存储介质 | |
| CN113632134A (zh) | 使用预组合去噪的高动态范围图像生成 | |
| CN107341782B (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| CN108322648A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN110365897A (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
| EP1963970A2 (fr) | Procede pour fournir des donnees a un moyen de traitement numerique | |
| Raimundo et al. | LAN: Lightweight attention-based network for RAW-to-RGB smartphone image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |