CN116823669A - 图像处理方法、装置、电子设备和存储介质 - Google Patents

图像处理方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN116823669A
CN116823669A CN202310860657.4A CN202310860657A CN116823669A CN 116823669 A CN116823669 A CN 116823669A CN 202310860657 A CN202310860657 A CN 202310860657A CN 116823669 A CN116823669 A CN 116823669A
Authority
CN
China
Prior art keywords
point
pixel
value
sawtooth
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310860657.4A
Other languages
English (en)
Inventor
马云鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202310860657.4A priority Critical patent/CN116823669A/zh
Publication of CN116823669A publication Critical patent/CN116823669A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/12Indexing scheme for image data processing or generation, in general involving antialiasing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、装置、电子设备和存储介质,属于图像处理技术领域。该方法包括:获取第一图像帧;根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的相邻预设范围内的像素点。

Description

图像处理方法、装置、电子设备和存储介质
技术领域
本申请属于图像处理领域,具体涉及一种图像处理方法、装置、电子设备和存储介质。
背景技术
随着电子设备技术的飞速发展,在使用电子设备对图像进行显示时,用户对所显示的图像的画质的要求也越来越高,然而,图像中会有许多锯齿,如何对这些锯齿进行处理,以提高图像的画质是目前亟待解决的问题。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备和存储介质。以对图像中的锯齿进行处理,提升图像的质量。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取第一图像帧;
根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;
根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;
根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;
基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的相邻预设范围内的像素点。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:
获取模块,用于获取第一图像帧;
确定模块,用于根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;
确定模块,还用于根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;
所述确定模块,还用于根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;
所述确定模块,还用于基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的相邻预设范围内的像素点。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。
在本申请实施例中,通过根据第一图像帧的空间域核中的像素点的灰度值和像素域核中的像素点的灰度值,确定第一图像帧中需要进行平滑处理的至少一个锯齿点,然后根据锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,并基于目标采样步长和锯齿点的坐标信息对锯齿点进行平滑处理,得到平滑处理后的锯齿点,由于在对各锯齿点进行平滑处理时,针对每个锯齿点具有不同的目标采样步长,然后根据不同的目标采样步长来对该锯齿点进行平滑处理,而非是对所有锯齿点统一按照一样的采样步长来进行平滑处理,提升了对各锯齿点平滑处理的精确度,提升了第一图像帧的画质。
附图说明
图1是本申请的一些实施例提供的图像处理方法的流程示意图;
图2是本申请的一些实施例提供的锯齿点的示意图;
图3是本申请的一些实施例提供的滑动窗口的示意图;
图4是本申请的一些实施例提供的第一像素点的相邻预设范围的示意图;
图5是本申请的一些实施例提供的锯齿点平滑处理后的第一图像帧的示意图;
图6是本申请的一些实施例提供的图像处理方法的流程示意图;
图7是本申请的一些实施例示出的图像处理装置的结构示意图;
图8是本申请的一些实施例示出的电子设备的结构示意图;
图9是本申请的一些实施例示出的电子设备的硬件结构示意图
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
在介绍本申请实施例的技术方案之前,首先介绍本申请实施例的背景技术:
在使用电子设备对图像进行显示时,图像中会有许多锯齿,通常情况下是所有的锯齿点都做相同程度的平滑处理,如此不仅会导致锯齿影响小的地方模糊,锯齿影响大的地方平滑处理不够,而且还会造成性能浪费。
为了解决上述问题,本申请实施例提供了一种图像处理方法、装置、电子设备和存储介质,通过根据第一图像帧的空间域核中的像素点的灰度值和像素域核中的像素点的灰度值,确定第一图像帧中需要进行平滑处理的至少一个锯齿点,然后根据锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,并基于目标采样步长和锯齿点的坐标信息对锯齿点进行平滑处理,得到平滑处理后的锯齿点,由于在对各锯齿点进行平滑处理时,针对每个锯齿点具有不同的目标采样步长,然后根据不同的目标采样步长来对该锯齿点进行平滑处理,而非是对所有锯齿点统一按照一样的采样步长来进行平滑处理,提升了对各锯齿点平滑处理的精确度,提升了第一图像帧的画质。
本申请实施例的技术方案可以应用于图像存在锯齿,对锯齿进行处理的场景中,例如手游的游戏画面处理场景。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。本申请实施例的方法可以应用于电子设备,电子设备可以但不限于是个人电脑(Personal Computer,PC)、智能手机、平板电脑或个人数字助理(PersonalDigital Assistant,PDA)等。
图1是本申请实施例所提供的一种图像处理方法的流程示意图,如图1所示,本申请实施例提供的图像处理方法可以包括步骤110-步骤150。
步骤110、获取第一图像帧。
其中,第一图像帧可以是待进行处理的图像帧,在该图像帧中可以包括至少一个锯齿点。例如,该第一图像帧可以是手游中的某一帧存在锯齿点的游戏图像。
在本申请的一些实施例中,该第一图像帧可以是用户通过相机等图像采集设备采集的,还可以是从电子设备本地数据库直接获取的,在本申请实施例中不做限定。
步骤120、根据第一图像帧中的像素点,确定第一图像帧的空间域核和像素域核。
在本申请的一些实施例中,可以根据第一图像帧中的像素点,对第一图像帧分别进行空间域和像素域的转换,分别得到该第一图像帧的空间域核和像素域核。
需要说明的是,根据某一图像中的像素点,对该图像分别进行空间域和像素域的转换,分别得到该图像的空间域核和像素域核,具体的空间域和像素域的转换属于现有技术,在本申请实施例中不再赘述。
步骤130、根据空间域核中的像素点的灰度值和像素域核中的像素点的灰度值,确定第一图像帧中需要进行平滑处理的至少一个锯齿点。
在本申请的一些实施例中,可以根据空间域核中的所有像素点的灰度值和像素域核中的所有像素点的灰度值,确定第一图像帧中需要进行平滑处理的至少一个锯齿点。
在一个示例中,参考图2,图2中的区域21中的像素点模糊,则区域21内的像素点是要进行平滑处理的像素点,即锯齿点。
在本申请的一些实施例中,为了精确确定第一图像帧中需要进行平滑处理的至少一个锯齿点,步骤120具体可以包括:
根据第一图像帧中的第一像素点的相邻预设范围内的像素点,确定预设范围的空间域核和像素域核;
对应的,步骤130具体可以包括:
获取预设范围内的空间域核中的所有像素点的灰度值中的最大灰度值和最小灰度值,以及预设范围内的像素域核中的所有像素点的灰度值中的最大灰度值和最小灰度值;
将空间核中的最大灰度值和像素域核中的最大灰度值中的较大值,确定为第一灰度值;
将空间核中的最小灰度值和像素域核中的最小灰度值中的较小值,确定为第二灰度值;
在确定第一灰度值和第二灰度值的差值满足预设条件的情况下,根据第一像素点,确定第一图像帧中需要进行平滑处理的锯齿点。
其中,第一像素点可以是第一图像帧中的任意一个像素点,更为具体的可以是该第一图像帧中用户肉眼可观测到的可能为锯齿点的像素点。
第一像素点的相邻预设范围可以是与第一像素点相邻的一定范围,该预设范围可以根据用户需求自行设置,在本申请实施例中不做限定。
在本申请的一些实施例中,可以在第一像素点的相邻预设范围内构建一个滑动窗口,该滑动窗口一般是以该第一像素点为中心点,该滑动窗口的大小一般小于或等于第一像素点的相邻预设范围,如此在确定锯齿点时,只在该滑动窗口内进行计算确定即可,无需在整个第一图像帧上进行确定,简化了计算,提升了锯齿点的确定效率。
在一个示例中,参考图3,图3中像素点31为第一像素点,在该像素点31的预设范围32内可以具有一个滑动窗口33,该滑动窗口33的中心点为像素点34。
第一灰度值可以是空间核中的最大灰度值和像素域核中的最大灰度值中的较大值。
第二灰度值可以是空间核中的最小灰度值和像素域核中的最小灰度值中的较小值。
预设条件可以是预先设置的在确定锯齿点时,第一灰度值和第二灰度值所要满足的条件。
在本申请的一些实施例中,一般情况下,锯齿点的像素点与其周围的像素点的像素值差值会比较大,故可以根据像素值的差值,将像素值差值较大的区域选取为可能出现锯齿点的区域,在该区域内选取一个像素点作为第一像素点,然后根据该第一像素点的相邻预设范围内的像素点,确定预设范围内的空间域核和像素域核,然后将空间核中的最大灰度值和像素域核中的最大灰度值中的较大值,确定为第一灰度值,将空间核中的最小灰度值和像素域核中的最小灰度值中的较小值,确定为第二灰度值,在确定第一灰度值和第二灰度值的差值满足预设条件的情况下,根据第一像素点,可确定第一图像帧中需要进行平滑处理的锯齿点。
在本申请的实施例中,通过先根据第一图像帧中的第一像素点的相邻预设范围内的像素点,首先确定预设范围的空间域核和像素域核,如此将可能出现锯齿点的区域先确定处理,仅需要对该区域内的像素点进行确定是否有锯齿点即可,无需在整个第一图像帧中对所有像素点均进行处理,节省了计算算力。在确定了预设范围的空间域核和像素域核后,可将空间核中的最大灰度值和像素域核中的最大灰度值中的较大值,确定为第一灰度值,将空间核中的最小灰度值和像素域核中的最小灰度值中的较小值,确定为第二灰度值,在确定第一灰度值和第二灰度值的差值满足预设条件的情况下,可根据第一像素点,精确确定第一图像帧中需要进行平滑处理的锯齿点。
在本申请的一些实施例中,为了精确确定锯齿点,所述在确定第一灰度值和第二灰度值的差值满足预设条件的情况下,根据第一像素点,确定第一图像帧中需要进行平滑处理的锯齿点,具体可以包括:
获取第一图像帧的预设亮度系数和第一图像帧的预设灰度阈值;
基于预设亮度系数和第一灰度值,得到第一数值;
提取第一数值和预设灰度阈值中的最大值,作为第二数值;
在确定第一灰度值和第二灰度值的差值小于第二数值的情况下,确定第一像素点为第一图像帧中需要进行平滑处理的锯齿点。
其中,预设亮度系数可以是预先设置的能够看清楚第一图像帧的锯齿点的最大亮度系数,该预设亮度系数可以基于第一图像帧的最大亮度系数确定,具体的可以是比第一图像帧的最大亮度系数小,确保能够看清楚第一图像帧的锯齿点即可。
预设灰度阈值可以是预先设置的能够看清楚第一图像帧的锯齿点的最小灰度值,该预设灰度阈值基于第一图像帧的最小灰度值确定。
在本申请的一些实施例中,如果一个图像帧太过于亮,则该图像帧呈现很白的状态,如此锯齿点就无法看清楚,故在设置预设亮度系数时,需设置的比第一图像帧的最大亮度系数要小,确保能够看清楚第一图像帧的锯齿点。同样的,如果一个图像帧的灰度值太小,比如是0,则该图像帧为全黑的,如此就无法看清楚第一图像帧中的锯齿点,故在设置预设灰度阈值时,要设置的比第一图像帧的最小灰度值要大,确保能够看清楚第一图像帧的锯齿点。
第一数值可以是基于预设亮度系数和第一灰度值确定,具体的可以是预设亮度系数和第一灰度值的乘积。
第二数值可以是第一数值和预设灰度阈值中的最大值。
在本申请的一些实施例中,在确定锯齿点时,首先要确保第一图像帧的亮度和像素点的灰度值,确保该第一图像帧中的锯齿点是可以明显看清楚的。在此基础上,可根据预设亮度系数和第一灰度值,得到第一数值,然后提取第一数值和预设灰度阈值中的最大值作为第二数值,在第一灰度值和第二灰度值的差值小于第二数值的情况下,可确定第一像素点为第一图像帧中需要进行平滑处理的锯齿点。
在本申请的实施例中,通过获取第一图像帧的预设亮度系数和第一图像帧的预设灰度阈值,然后基于预设亮度系数和第一灰度值,得到第一数值,提取第一数值和预设灰度阈值中的最大值,作为第二数值,在确定第一灰度值和第二灰度值的差值小于第二数值的情况下,确定第一像素点为第一图像帧中需要进行平滑处理的锯齿点,如此在确定锯齿点时,不仅考虑第一灰度值和第二灰度值,还考虑第一图像帧的亮度,确定可在第一图像帧中明显看到锯齿点,如此可精确确定出锯齿点。
步骤140、根据锯齿点的像素值与邻域像素点的像素值的差值,确定目标采用步长。
其中,邻域像素点为锯齿点的相邻预设范围内的像素点。
目标采样步长可以是对锯齿点进行平滑处理时所要采样多少步长的采样点。在该目标采样步长内包括预设数量的采样点,该预设数量可以是预先设置的与目标采样步长相对应的采样点的数量。不同的目标采样步长可以设置不同数量的采样点。
在本申请的一些实施例中,可以根据锯齿点的像素值与邻域像素点的像素值的差值,确定对锯齿点进行平滑处理的采样点的目标采样步长,具体的可以是若锯齿点的像素值的像素值与邻域像素点的像素值的差值较大,则要选取较多的邻域像素点来对锯齿点进行平滑处理,即要缩小采样步长,以增加采样密度。若锯齿点的像素值的像素值与邻域像素点的像素值的差值较小,则要选取较少的邻域像素点来对锯齿点进行平滑处理,即要增大采样步长,以减少采样密度。
在本申请的一些实施例中,预设数量可以包括第一预设数量和第二预设数量。步骤140具体可以包括:
在锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定目标采样步长为第一采样步长,其中,第一采样步长内包括第一预设数量的采样点;
在锯齿点的像素值与邻域像素点的像素值的差值小于或等于预设差值阈值的情况下,确定目标采样步长为第二采样步长,其中,第二采样步长内包括第二预设数量的采样点,第二预设数量小于第一预设数量。
其中,第一采样步长可以是在锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定的对锯齿点进行平滑处理的采样点的采样步长。
第二采样步长可以是在锯齿点的像素值与邻域像素点的像素值的差值小于或等于预设差值阈值的情况下,确定对锯齿点进行平滑处理的采样点的采样步长。
预设差值阈值可以是预先设置的锯齿点的像素值与邻域像素点的像素值的差值的阈值。
在本申请的一些实施例中,在锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定对锯齿点进行平滑处理的采样点的采样步长为第一采样步长,该第一采样步长内包括第一预设数量的采样点,在锯齿点的像素值与邻域像素点的像素值的差值小于或等于预设差值阈值的情况下,确定对锯齿点进行平滑处理的采样点的采样步长为第二采样步长,该第二采样步长内包括第二预设数量的采样点,第二预设数量小于第一预设数量,也就是说,若锯齿点的像素值的像素值与邻域像素点的像素值的差值较大,则要选取较多的邻域像素点来对锯齿点进行平滑处理,即要缩小采样步长,以增加采样密度。若锯齿点的像素值的像素值与邻域像素点的像素值的差值较小,则要选取较少的邻域像素点来对锯齿点进行平滑处理,即要增大采样步长,以减少采样密度。
在本申请的实施例中,根据锯齿点的像素值与邻域像素点的像素值的差值与预设差值阈值的关系,选取不同的对锯齿点进行平滑处理的采样点的目标采样步长,如此针对每个锯齿点进行不同程度的平滑处理,提升了对第一图像帧的锯齿点进行平滑处理的精确性,进而提升了第一图像帧的质量。
步骤150、基于目标采样步长和锯齿点的坐标信息对锯齿点进行平滑处理,得到平滑处理后的锯齿点。在本申请的一些实施例中,可以根据目标采样步长和锯齿点的坐标信息来对锯齿点进行平滑处理,得到平滑处理后的锯齿点。具体的,为了精确提升第一图像帧的画质,步骤150具体可以包括:
根据锯齿点的坐标信息和预设数量的采样点的坐标信息,计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重;
根据偏移量和权重,对锯齿点进行平滑处理,得到锯齿点的目标灰度值。
其中,目标灰度值可以是根据偏移量和权重,对锯齿点进行平滑处理后,锯齿点的灰度值。
偏移量可以是每个采样点相较于锯齿点的偏差,即每个采样点与锯齿点之间的差异。
权重可以在利用每个采样点对锯齿点进行平滑处理时,每个采样点对锯齿点进行平滑处理的比重。
在本申请的一些实施例中,根据偏移量和权重,可按照如下公式(1)对锯齿点进行平滑处理,得到锯齿点的目标灰度值:
需要说明的是,公式(1)是以预设数量等于4为例来进行说明的,即针对某一锯齿点,其所采用的目标采样步长中的采样点的数量为4个。
其中,p(i,j)为锯齿点,pixelp(i,j)为锯齿点的目标灰度值,weight[0]、weight[1]、weight[2]和weight[3]分别为4个采样点的权重,Pi+offset[0],j+offset[0]、Pi+offset[1],j+offset[1]、Pi+offset[2],j+offset[2]和Pi+offset[3],j+offset[3]分别为4个采样点与锯齿点的偏移量。
在本申请的实施例中,根据锯齿点的坐标信息和预设数量的采样点的坐标信息,计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重,根据偏移量和权重,对锯齿点进行平滑处理,得到锯齿点的目标灰度值,如此针对每个锯齿点,根据该锯齿点的坐标信息,以及该锯齿点对应的目标采样步长对该锯齿点进行平滑处理,即针对不同锯齿点进行不同程度的平滑处理,提升了对第一图像帧的锯齿点进行平滑处理的精确性,进而提升了第一图像帧的质量。
在本申请的一些实施例中,为了进一步提升第一图像帧的画质,在所述根据锯齿点的坐标信息和预设数量的采样点的坐标信息,计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重之前,上述所涉及的方法还可以包括:
对锯齿点和预设数量的采样点进行拟合,得到锯齿点和预设数量的采样点之间的关联关系;
所述根据锯齿点的坐标信息和预设数量的采样点的坐标信息,计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重,具体可以包括:
根据锯齿点的坐标信息、预设数量的采样点的坐标信息和关联关系,分别计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重。
在本申请的一些实施例中,在确定每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重之前,首先要得到每个采样点与锯齿点之间的关联关系,如此才可以根据该关联关系,得到每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重。具体的可以是将每个采样点与锯齿点进行拟合,即用一条平滑的曲线将每个采样点与锯齿点连接起来,如此得到锯齿点和预设数量的采样点之间的关联关系。
在本申请的一些实施例中,可以通过如下公式(2)将每个采样点与锯齿点进行拟合,得到锯齿点和预设数量的采样点之间的关联关系:
pn=p0*(-0.5*t3+t2-0.5*t)+p1*(1.5*t3-2.5*t2+1.0)+
p2*(-1.5*t3+2.0*t2+0.5*t)+p3*(0.5*t3-0.5*t2)(2)
在上述公式(2)中,t∈[0,1],是该公式(2)的超参数,用于控制线段的个数,公式(2)中的其他数值均与所采用的拟合曲线的类型有关。
上述t用于控制线段的个数可以理解为:锯齿点与每个采样点之间均有线段进行连接,采样点的数量有多少个,线段的个数就有多少个。
需要说明的是,上述公式(2)以预设数量等于4为例,采样点分别为p0、p1、p2和p3,公式(2)中的pn为锯齿点。
在本申请的一些实施例中,在得到锯齿点和预设数量的采样点之间的关联关系后,可根据锯齿点的坐标信息、预设数量的采样点的坐标信息和该关联关系,分别计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重。
在本申请的实施例中,通过对锯齿点和预设数量的采样点进行拟合,得到锯齿点和预设数量的采样点之间的关联关系,如此可根据锯齿点的坐标信息、预设数量的采样点的坐标信息和关联关系,精确得到每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重。
在本申请的一些实施例中,为了精确得到每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重。所述根据锯齿点的坐标信息、预设数量的采样点的坐标信息和关联关系,分别计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重,具体可以包括:
对锯齿点的坐标信息和预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息;
根据归一化后的坐标信息和关联关系,得到每个采样点与锯齿点之间的偏移量;
根据每个采样点与锯齿点之间的偏移量,确定每个采样点对应的权重。
在本申请的一些实施例中,可以对锯齿点的坐标信息和预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息。例如,以锯齿点为例,对该锯齿点进行归一化,得到归一化后的坐标信息为:f=vec2(i,j,1.0-(i,j)),然后将归一化后的锯齿点的坐标信息和归一化后的预设数量的采样点的坐标信息代入到公式(2)中,可得到每个采样点与锯齿点之间的偏移量,然后根据该偏移量可确定每个采样点对锯齿点进行平滑处理的权重。
在一个示例中,参考图4,图4为某一锯齿点对应的滑动窗口的示意图,在该滑动窗口中,锯齿点41位于滑动窗口的中心,以预设数量等于4为例,预设数量的采样点为图4中的采样点42、采样点43、采样点44和采样点45,则根据采样点42、采样点43、采样点44和采样点45,以及锯齿点41,以及公式(1),可得到采样点42、采样点43、采样点44和采样点45与锯齿点41的偏移量,以及采样点42、采样点43、采样点44和采样点45的权重。
需要说明的是,图4中仅选取了4个对锯齿点的平滑处理相关的采样点,可以理解的是,在实际处理过程中,并不限制为4个,具体的数量可以根据用户需求自行选取,在本申请实施例中不做限定。
在本申请的实施例中,对锯齿点的坐标信息和预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息,然后根据归一化后的坐标信息和关联关系,可精确得到每个采样点与锯齿点之间的偏移量,进而根据每个采样点与锯齿点之间的偏移量,精确确定每个采样点对应的权重,进而精确提升第一图像帧的画质。
在本申请的一些实施例中,在第一图像帧为移动端游戏,即手游中的一个图像帧的情况下,由于移动端有限的计算资源和图形处理能力,移动端游戏在画质处理上往往处在一定限制。
为了解决上述问题,在确定锯齿点为N个的情况下,步骤140-步骤150具体可以包括:
基于N个处理线程并行对N个锯齿点进行以下操作:
根据锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;基于目标采样步长和锯齿点的坐标信息对锯齿点进行平滑处理,得到平滑处理后的锯齿点。
其中,N个处理线程与N个锯齿点一一对应,N为大于1的正整数。
在本申请的一些实施例中,在锯齿点的数量为多个的情况下,基于电子设备上的图形处理器(Graphics Processing Unit,GPU)中的Compute Shader程序可创建多个处理线程,每个线程与一个锯齿点相对应,基于N个处理线程并行对N个锯齿点执行上述的平滑处理过程。
在本申请的实施例中,在确定锯齿点为多个的情况下,基于N个处理线程并行对N个锯齿点进行平滑处理的过程,如此每次遍历操作都是一次单独的计算过程,利用GPU的高并发行,使得一次完成所有锯齿点的平滑处理,提升了锯齿点的平滑处理效率。
在本申请的一些实施例中,在对所有锯齿点均处理完成后,可将处理结果返回给电子设备的中央处理器,然后基于电子设备的显示器显示处理后的第一图像帧。
在一示例中,继续参考图2,对图2中区域21内的锯齿点进行处理后,得到如图5所示的结果,由图5可以看出,图2中的区域21中的锯齿点被平滑处理。
在本申请的一些实施例中,为了更好的理解本申请实施例的技术方案,本申请实施例还提供了图像处理方法的另一种可实现方式,如图6所示,该图像处理方法可以包括步骤610-步骤650。
步骤610、获取第一图像帧。
该步骤610与上述实施例中的步骤110一致,在此不再赘述。
步骤620、判断第一图像帧的画质是否需要提升,若是,执行步骤630,若否,执行步骤650。
在该步骤620中,在判断第一图像帧中的画质是否需要提升,也就是判断第一图像帧中是否具有锯齿点,具有锯齿点则该第一图像帧需要进行画质提升,若没有锯齿点则无需进行画质提升。锯齿点的确定与上述实施例中锯齿点的确定方式一致,在此不再赘述。
步骤630、根据锯齿点的像素值与邻域像素点的像素值的差值,采用自适应采样步长的抗锯齿方法对锯齿点进行平滑处理,得到平滑处理后的锯齿点。
该步骤630中采样自适应采样步长的抗锯齿方法即为上述实施例中根据每个锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,并根据该目标采样采样步长和锯齿点的坐标信息来对锯齿点进行平滑处理,即步骤630与上述实施例中的步骤140-步骤150的实现过程一致,在此不再赘述。
步骤640、移动端GPU加速。
该步骤640即为上述实施例中利用N个处理线程并行处理N个锯齿点的过程,在此不再赘述。
步骤650、输出平滑处理后的第一图像帧。
在该步骤650中,在对第一图像帧中的锯齿点平滑处理后,可将平滑处理后的第一图像帧输出显示。
本申请实施例提供的图像处理方法,执行主体可以为图像处理装置。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
图7是根据一示例性实施例示出的一种图像处理装置的结构示意图。
如图7所示,该图像处理装置700可以包括:
获取模块710,用于获取第一图像帧;
确定模块720,用于根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;
确定模块720,还用于根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;
确定模块720,还用于根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;
确定模块720,还用于基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的像素邻域内的像素点。
在本申请的实施例中,通过根据第一图像帧的空间域核中的像素点的灰度值和像素域核中的像素点的灰度值,确定第一图像帧中需要进行平滑处理的至少一个锯齿点,然后根据锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,并基于目标采样步长和锯齿点的坐标信息对锯齿点进行平滑处理,得到平滑处理后的锯齿点,由于在对各锯齿点进行平滑处理时,针对每个锯齿点具有不同的目标采样步长,然后根据不同的目标采样步长来对该锯齿点进行平滑处理,而非是对所有锯齿点统一按照一样的采样步长来进行平滑处理,提升了对各锯齿点平滑处理的精确度,提升了第一图像帧的画质。
在本申请的一些实施例中,确定模块720具体用于:根据所述第一图像帧中的第一像素点的相邻所述预设范围内的像素点,确定所述预设范围的空间域核和像素域核,其中,所述第一像素点为所述第一图像帧中的任意一个像素点;
获取模块710,还用于获取所述预设范围的空间域核中的所有像素点的灰度值中的最大灰度值和最小灰度值,以及所述预设范围的像素域核中的所有像素点的灰度值中的最大灰度值和最小灰度值;
确定模块720,具体用于将所述空间核中的最大灰度值和所述像素域核中的最大灰度值中的较大值,确定为第一灰度值;将所述空间核中的最小灰度值和所述像素域核中的最小灰度值中的较小值,确定为第二灰度值;在确定所述第一灰度值和所述第二灰度值的差值满足预设条件的情况下,根据所述第一像素点,确定所述第一图像帧中需要进行平滑处理的锯齿点。
在本申请的一些实施例中,获取模块710,还用于获取所述第一图像帧的预设亮度系数和所述第一图像帧的预设灰度阈值,其中,所述预设亮度系数基于所述第一图像帧的最大亮度系数确定,所述预设灰度阈值基于所述第一图像帧的最小灰度值确定;
确定模块720,具体用于基于所述预设亮度系数和所述第一灰度值,得到第一数值;提取所述第一数值和所述预设灰度阈值中的最大值,作为第二数值;在确定所述第一灰度值和所述第二灰度值的差值小于所述第二数值的情况下,确定所述第一像素点为所述第一图像帧中需要进行平滑处理的锯齿点。
在本申请的一些实施例中,所述目标采样步长内包括预设数量的采样点,确定模块720具体用于:
根据所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息,计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重;根据所述偏移量和所述权重,对所述锯齿点进行平滑处理,得到所述锯齿点的目标灰度值。
在本申请的一些实施例中,所述预设数量包括第一预设数量和第二预设数量,确定模块720具体用于:
在所述锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定所述目标采样步长为第一采样步长,其中,所述第一采样步长内包括第一预设数量的采样点;
在所述锯齿点的像素值与邻域像素点的像素值的差值小于或等于所述预设差值阈值的情况下,确定所述目标采样步长为第二采样步长,其中,所述第二采样步长内包括第二预设数量的采样点,所述第二预设数量小于所述第一预设数量。
在本申请的一些实施例中,上述所涉及的装置还可以包括:
拟合模块,用于对所述锯齿点和所述预设数量的采样点进行拟合,得到所述锯齿点和所述预设数量的采样点之间的关联关系;
确定模块720具体用于:
根据所述锯齿点的坐标信息、所述预设数量的采样点的坐标信息和所述关联关系,分别计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重。
在本申请的一些实施例中,确定模块720具体用于:
对所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息;
根据所述归一化后的坐标信息和所述关联关系,得到每个采样点与所述锯齿点之间的偏移量;
根据每个采样点与所述锯齿点之间的偏移量,确定每个所述采样点对应的权重。
在本申请的一些实施例中,在确定所述锯齿点为N个的情况下,确定模块720具体用于:
基于所述N个处理线程并行对N个所述锯齿点进行以下操作:
根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点;其中,所述N个处理线程与N个所述锯齿点一一对应,N为大于1的正整数。
本申请实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device,MID)、增强现实(augmented reality,AR)/虚拟现实(virtualreality,VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,还可以为服务器、网络附属存储器(Network Attached Storage,NAS)、个人计算机(personalcomputer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***,可以为ios操作***,还可以为其他可能的操作***,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1和图6的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图8所示,本申请实施例还提供一种电子设备800,包括处理器801和存储器802,存储器802上存储有可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图9为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
本领域技术人员可以理解,电子设备900还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理***与处理器910逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,射频单元901,用于获取第一图像帧;
处理器910,用于根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的像素邻域内的像素点。
如此,通过根据第一图像帧的空间域核中的像素点的灰度值和像素域核中的像素点的灰度值,确定第一图像帧中需要进行平滑处理的至少一个锯齿点,然后根据锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,并基于目标采样步长和锯齿点的坐标信息对锯齿点进行平滑处理,得到平滑处理后的锯齿点,由于在对各锯齿点进行平滑处理时,针对每个锯齿点具有不同的目标采样步长,然后根据不同的目标采样步长来对该锯齿点进行平滑处理,而非是对所有锯齿点统一按照一样的采样步长来进行平滑处理,提升了对各锯齿点平滑处理的精确度,提升了第一图像帧的画质。
可选地,处理器910,还用于根据所述第一图像帧中的第一像素点的相邻所述预设范围内的像素点,确定所述预设范围的空间域核和像素域核,其中,所述第一像素点为所述第一图像帧中的任意一个像素点;
射频单元901,还用于获取所述预设范围的所述空间域核中的所有像素点的灰度值中的最大灰度值和最小灰度值,以及所述预设范围的所述像素域核中的所有像素点的灰度值中的最大灰度值和最小灰度值;
处理器910,还用于将所述空间核中的最大灰度值和所述像素域核中的最大灰度值中的较大值,确定为第一灰度值;将所述空间核中的最小灰度值和所述像素域核中的最小灰度值中的较小值,确定为第二灰度值;在确定所述第一灰度值和所述第二灰度值的差值满足预设条件的情况下,根据所述第一像素点,确定所述第一图像帧中需要进行平滑处理的锯齿点。
如此,通过先根据第一图像帧中的第一像素点的相邻预设范围内的像素点,首先确定预设范围的空间域核和像素域核,如此将可能出现锯齿点的区域先确定处理,仅需要对该区域内的像素点进行确定是否有锯齿点即可,无需在整个第一图像帧中对所有像素点均进行处理,节省了计算算力。在确定了预设范围的空间域核和像素域核后,可将空间核中的最大灰度值和像素域核中的最大灰度值中的较大值,确定为第一灰度值,将空间核中的最小灰度值和像素域核中的最小灰度值中的较小值,确定为第二灰度值,在确定第一灰度值和第二灰度值的差值满足预设条件的情况下,可根据第一像素点,精确确定第一图像帧中需要进行平滑处理的锯齿点。
可选地,射频单元901,还用于获取所述第一图像帧的预设亮度系数和所述第一图像帧的预设灰度阈值,其中,所述预设亮度系数基于所述第一图像帧的最大亮度系数确定,所述预设灰度阈值基于所述第一图像帧的最小灰度值确定;
处理器910,还用于基于所述预设亮度系数和所述第一灰度值,得到第一数值;提取所述第一数值和所述预设灰度阈值中的最大值,作为第二数值;在确定所述第一灰度值和所述第二灰度值的差值小于所述第二数值的情况下,确定所述第一像素点为所述第一图像帧中需要进行平滑处理的锯齿点。
如此,通过获取第一图像帧的预设亮度系数和第一图像帧的预设灰度阈值,然后基于预设亮度系数和第一灰度值,得到第一数值,提取第一数值和预设灰度阈值中的最大值,作为第二数值,在确定第一灰度值和第二灰度值的差值小于第二数值的情况下,确定第一像素点为第一图像帧中需要进行平滑处理的锯齿点,如此在确定锯齿点时,不仅考虑第一灰度值和第二灰度值,还考虑第一图像帧的亮度,确定可在第一图像帧中明显看到锯齿点,如此可精确确定出锯齿点。
可选地,所述目标采样步长内包括预设数量的采样点;所述预设数量包括第一预设数量和第二预设数量,处理器910,还用于在所述锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定所述目标采样步长为第一采样步长,其中,所述第一采样步长内包括第一预设数量的采样点;
在所述锯齿点的像素值与邻域像素点的像素值的差值小于或等于所述预设差值阈值的情况下,确定所述目标采样步长为第二采样步长,其中,所述第二采样步长内包括第二预设数量的采样点,所述第二预设数量小于所述第一预设数量。
如此,根据锯齿点的像素值与邻域像素点的像素值的差值与预设差值阈值的关系,选取不同的对锯齿点进行平滑处理的采样点的目标采样步长,如此针对每个锯齿点进行不同程度的平滑处理,提升了对第一图像帧的锯齿点进行平滑处理的精确性,进而提升了第一图像帧的质量。
可选地,处理器910,还用于根据所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息,计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重;根据所述偏移量和所述权重,对所述锯齿点进行平滑处理,得到所述锯齿点的目标灰度值。
如此,根据锯齿点的坐标信息和预设数量的采样点的坐标信息,计算每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重,根据偏移量和权重,对锯齿点进行平滑处理,得到锯齿点的目标灰度值,如此针对每个锯齿点,根据该锯齿点的坐标信息,以及该锯齿点对应的目标采样步长对该锯齿点进行平滑处理,即针对不同锯齿点进行不同程度的平滑处理,提升了对第一图像帧的锯齿点进行平滑处理的精确性,进而提升了第一图像帧的质量。
可选地,处理器910,还用于对所述锯齿点和所述预设数量的采样点进行拟合,得到所述锯齿点和所述预设数量的采样点之间的关联关系;根据所述锯齿点的坐标信息、所述预设数量的采样点的坐标信息和所述关联关系,分别计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重。
如此,通过对锯齿点和预设数量的采样点进行拟合,得到锯齿点和预设数量的采样点之间的关联关系,如此可根据锯齿点的坐标信息、预设数量的采样点的坐标信息和关联关系,精确得到每个采样点与锯齿点之间的偏移量,以及每个采样点对应的权重。
可选地,处理器910,还用于对所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息;根据所述归一化后的坐标信息和所述关联关系,得到每个采样点与所述锯齿点之间的偏移量;根据每个采样点与所述锯齿点之间的偏移量,确定每个所述采样点对应的权重。
如此,对锯齿点的坐标信息和预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息,然后根据归一化后的坐标信息和关联关系,可精确得到每个采样点与锯齿点之间的偏移量,进而根据每个采样点与锯齿点之间的偏移量,精确确定每个采样点对应的权重,进而精确提升第一图像帧的画质。
可选地,在确定所述锯齿点为N个的情况下,处理器910,还用于基于N个处理线程并行对N个所述锯齿点进行以下操作:根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点;其中,所述N个处理线程与N个所述锯齿点一一对应,N为大于1的正整数。。
如此,在确定锯齿点为多个的情况下,基于N个处理线程并行对N个锯齿点进行平滑处理的过程,如此每次遍历操作都是一次单独的计算过程,利用GPU的高并发行,使得一次完成所有锯齿点的平滑处理,提升了锯齿点的平滑处理效率。
应理解的是,本申请实施例中,输入单元904可以包括图形处理器(GraphicsProcessing Unit,GPU)9041和麦克风9042,图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072中的至少一种。触控面板9071,也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
存储器909可用于存储软件程序以及各种数据。存储器909可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器909可以包括易失性存储器或非易失性存储器,或者,存储器909可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM,DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DRRAM)。本申请实施例中的存储器909包括但不限于这些和任意其它适合类型的存储器。
处理器910可包括一个或多个处理单元;可选的,处理器910集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作***、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器910中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。
本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (18)

1.一种图像处理方法,其特征在于,所述方法包括:
获取第一图像帧;
根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;
根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;
根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;
基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的相邻预设范围内的像素点。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核,包括:
根据所述第一图像帧中的第一像素点的相邻所述预设范围内的像素点,确定所述预设范围的空间域核和像素域核,其中,所述第一像素点为所述第一图像帧中的任意一个像素点;
所述根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的锯齿点,包括:
获取所述预设范围的所述空间域核中的所有像素点的灰度值中的最大灰度值和最小灰度值,以及所述预设范围的所述像素域核中的所有像素点的灰度值中的最大灰度值和最小灰度值;
将所述空间核中的最大灰度值和所述像素域核中的最大灰度值中的较大值,确定为第一灰度值;
将所述空间核中的最小灰度值和所述像素域核中的最小灰度值中的较小值,确定为第二灰度值;
在确定所述第一灰度值和所述第二灰度值的差值满足预设条件的情况下,根据所述第一像素点,确定所述第一图像帧中需要进行平滑处理的锯齿点。
3.根据权利要求2所述的方法,其特征在于,所述在确定所述第一灰度值和所述第二灰度值的差值满足预设条件的情况下,根据所述第一像素点,确定所述第一图像帧中需要进行平滑处理的锯齿点,包括:
获取所述第一图像帧的预设亮度系数和所述第一图像帧的预设灰度阈值,其中,所述预设亮度系数基于所述第一图像帧的最大亮度系数确定,所述预设灰度阈值基于所述第一图像帧的最小灰度值确定;
基于所述预设亮度系数和所述第一灰度值,得到第一数值;
提取所述第一数值和所述预设灰度阈值中的最大值,作为第二数值;
在确定所述第一灰度值和所述第二灰度值的差值小于所述第二数值的情况下,确定所述第一像素点为所述第一图像帧中需要进行平滑处理的锯齿点。
4.根据权利要求1所述的方法,其特征在于,所述目标采样步长内包括预设数量的采样点;所述预设数量包括第一预设数量和第二预设数量,所述根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,包括:
在所述锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定所述目标采样步长为第一采样步长,其中,所述第一采样步长内包括第一预设数量的采样点;
在所述锯齿点的像素值与邻域像素点的像素值的差值小于或等于所述预设差值阈值的情况下,确定所述目标采样步长为第二采样步长,其中,所述第二采样步长内包括第二预设数量的采样点,所述第二预设数量小于所述第一预设数量。
5.根据权利要求4所述的方法,其特征在于,所述基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,包括:
根据所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息,计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重;
根据所述偏移量和所述权重,对所述锯齿点进行平滑处理,得到所述锯齿点的目标灰度值。
6.根据权利要求5所述的方法,其特征在于,在所述根据所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息,计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重之前,所述方法还包括:
对所述锯齿点和所述预设数量的采样点进行拟合,得到所述锯齿点和所述预设数量的采样点之间的关联关系;
所述根据所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息,计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重,包括:
根据所述锯齿点的坐标信息、所述预设数量的采样点的坐标信息和所述关联关系,分别计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重。
7.根据权利要求6所述的方法,其特征在于,所述根据所述锯齿点的坐标信息、所述预设数量的采样点的坐标信息和所述关联关系,分别计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重,包括:
对所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息;
根据所述归一化后的坐标信息和所述关联关系,得到每个采样点与所述锯齿点之间的偏移量;
根据每个采样点与所述锯齿点之间的偏移量,确定每个所述采样点对应的权重。
8.根据权利要求1-7任一所述的方法,其特征在于,在确定所述锯齿点为N个的情况下,所述根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,采用基于所述目标采样步长的自适应采样步长的抗锯齿方法对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,包括:
基于N个处理线程并行对N个所述锯齿点进行以下操作:
根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点;
其中,所述N个处理线程与N个所述锯齿点一一对应,N为大于1的正整数。
9.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取第一图像帧;
确定模块,用于根据所述第一图像帧中的像素点,确定所述第一图像帧的空间域核和像素域核;
确定模块,还用于根据所述空间域核中的像素点的灰度值和所述像素域核中的像素点的灰度值,确定所述第一图像帧中需要进行平滑处理的至少一个锯齿点;
所述确定模块,还用于根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长;
所述确定模块,还用于基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点,其中,所述邻域像素点为所述锯齿点的相邻预设范围内的像素点。
10.根据权利要求9所述的装置,其特征在于,所述确定模块具体用于:
根据所述第一图像帧中的第一像素点的相邻所述预设范围内的像素点,确定所述预设范围的空间域核和像素域核,其中,所述第一像素点为所述第一图像帧中的任意一个像素点;
所述获取模块,还用于获取所述预设范围的空间域核中的所有像素点的灰度值中的最大灰度值和最小灰度值,以及所述预设范围的像素域核中的所有像素点的灰度值中的最大灰度值和最小灰度值;
所述确定模块,具体用于将所述空间核中的最大灰度值和所述像素域核中的最大灰度值中的较大值,确定为第一灰度值;将所述空间核中的最小灰度值和所述像素域核中的最小灰度值中的较小值,确定为第二灰度值;在确定所述第一灰度值和所述第二灰度值的差值满足预设条件的情况下,根据所述第一像素点,确定所述第一图像帧中需要进行平滑处理的锯齿点。
11.根据权利要求10所述的装置,其特征在于,所述获取模块,还用于获取所述第一图像帧的预设亮度系数和所述第一图像帧的预设灰度阈值,其中,所述预设亮度系数基于所述第一图像帧的最大亮度系数确定,所述预设灰度阈值基于所述第一图像帧的最小灰度值确定;
所述确定模块,具体用于基于所述预设亮度系数和所述第一灰度值,得到第一数值;提取所述第一数值和所述预设灰度阈值中的最大值,作为第二数值;在确定所述第一灰度值和所述第二灰度值的差值小于所述第二数值的情况下,确定所述第一像素点为所述第一图像帧中需要进行平滑处理的锯齿点。
12.根据权利要求9所述的装置,其特征在于,所述目标采样步长内包括预设数量的采样点,所述预设数量包括第一预设数量和第二预设数量,所述确定模块具体用于:
在所述锯齿点的像素值与邻域像素点的像素值的差值大于预设差值阈值的情况下,确定所述目标采样步长为第一采样步长,其中,所述第一采样步长内包括第一预设数量的采样点;
在所述锯齿点的像素值与邻域像素点的像素值的差值小于或等于所述预设差值阈值的情况下,确定所述目标采样步长为第二采样步长,其中,所述第二采样步长内包括第二预设数量的采样点,所述第二预设数量小于所述第一预设数量。
13.根据权利要求12所述的装置,其特征在于,所述确定模块具体用于:
根据所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息,计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重;根据所述偏移量和所述权重,对所述锯齿点进行平滑处理,得到所述锯齿点的目标灰度值。
14.根据权利要求13所述的装置,其特征在于,所述装置还包括:
拟合模块,用于对所述锯齿点和所述预设数量的采样点进行拟合,得到所述锯齿点和所述预设数量的采样点之间的关联关系;
所述确定模块具体用于:
根据所述锯齿点的坐标信息、所述预设数量的采样点的坐标信息和所述关联关系,分别计算每个采样点与所述锯齿点之间的偏移量,以及每个所述采样点对应的权重。
15.根据权利要求14所述的装置,其特征在于,所述确定模块具体用于:
对所述锯齿点的坐标信息和所述预设数量的采样点的坐标信息均进行归一化处理,得到归一化后的坐标信息;
根据所述归一化后的坐标信息和所述关联关系,得到每个采样点与所述锯齿点之间的偏移量;
根据每个采样点与所述锯齿点之间的偏移量,确定每个所述采样点对应的权重。
16.根据权利要求9-15任一所述的装置,其特征在于,在确定所述锯齿点为N个的情况下,所述确定模块具体用于:
基于所述N个处理线程并行对N个所述锯齿点进行以下操作:
根据所述锯齿点的像素值与邻域像素点的像素值的差值,确定目标采样步长,基于所述目标采样步长和所述锯齿点的坐标信息对所述锯齿点进行平滑处理,得到平滑处理后的锯齿点;其中,所述N个处理线程与N个所述锯齿点一一对应,N为大于1的正整数。
17.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-8任一项所述的图像处理方法的步骤。
18.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-8任一项所述的图像处理方法的步骤。
CN202310860657.4A 2023-07-13 2023-07-13 图像处理方法、装置、电子设备和存储介质 Pending CN116823669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310860657.4A CN116823669A (zh) 2023-07-13 2023-07-13 图像处理方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310860657.4A CN116823669A (zh) 2023-07-13 2023-07-13 图像处理方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN116823669A true CN116823669A (zh) 2023-09-29

Family

ID=88120178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310860657.4A Pending CN116823669A (zh) 2023-07-13 2023-07-13 图像处理方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN116823669A (zh)

Similar Documents

Publication Publication Date Title
CN113126862B (zh) 截屏方法、装置、电子设备以及可读存储介质
CN113015007B (zh) 视频插帧方法、装置及电子设备
CN113822817A (zh) 文档图像增强方法、装置及电子设备
CN106598523A (zh) 图片加载方法、装置及电子设备
CN112947824A (zh) 显示参数调整方法、装置、电子设备及介质
CN112308797A (zh) 角点检测方法、装置、电子设备及可读存储介质
CN112837251A (zh) 图像处理方法及装置
CN111835937A (zh) 图像处理方法、装置及电子设备
CN109065001B (zh) 一种图像的降采样方法、装置、终端设备和介质
CN112035877A (zh) 信息隐藏方法、装置、电子设备及可读存储介质
CN112511890A (zh) 视频图像处理方法、装置及电子设备
CN113393391B (zh) 图像增强方法、图像增强装置、电子设备和存储介质
CN116823669A (zh) 图像处理方法、装置、电子设备和存储介质
CN115439386A (zh) 图像融合方法、装置、电子设备和存储介质
US11782850B2 (en) Information processing method, server, terminal, and computer storage medium
CN113506304A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN111784607A (zh) 图像色调映射方法、装置、终端设备及存储介质
CN112446848A (zh) 图像处理方法、装置及电子设备
CN114143448B (zh) 拍摄方法、装置、电子设备及可读存储介质
CN111461991B (zh) 图像绘制方法、装置、计算机设备和存储介质
CN113487700A (zh) 图像处理方法、装置和电子设备
CN116528053A (zh) 图像的曝光方法、装置及电子设备
CN117793513A (zh) 视频处理方法及其装置
CN116485665A (zh) 图像处理方法、装置、采集卡、电子设备及存储介质
CN117745613A (zh) 图像处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination