CN115965848B - 一种图像处理方法和相关装置 - Google Patents
一种图像处理方法和相关装置 Download PDFInfo
- Publication number
- CN115965848B CN115965848B CN202310235014.0A CN202310235014A CN115965848B CN 115965848 B CN115965848 B CN 115965848B CN 202310235014 A CN202310235014 A CN 202310235014A CN 115965848 B CN115965848 B CN 115965848B
- Authority
- CN
- China
- Prior art keywords
- processed
- image
- pixel
- feature
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开一种图像处理方法和相关装置,针对待处理图像,可以直接利用待处理图像的待处理特征与目标基准图像的扩充特征进行特征比对,待处理特征能够表征实际状态下的图像情况,扩充特征能够表征理想状态下的图像情况,基于二者进行特征比对能够确定待处理图像与目标基准图像之间的特征差异,完成对待处理图像是否是目标图像的检测。在特征比对时,利用的是目标基准图像的扩充特征,而扩充特征是对目标基准图像的基准特征进行扩充得到的,相较于基准特征具有更高的特征兼容性,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。同时,无需人工标记,以降低成本。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法和相关装置。
背景技术
随着计算机和移动终端的普及,游戏已经成为一种越来越普遍的娱乐形式。随着游戏市场规模的不断扩大,如何减少游戏中存在的漏洞是各大游戏厂商日益关注的问题。
目前可以通过录制回放的方式检测图像是否异常,具体可以将图像划分成多个网格区域,通过对比回放画面和录制画面的差异找到候选的异常区域。最后将这些候选的异常区域人工打上标签,用于训练异常检测模型,以便利用训练好的异常检测模型来检测图像是否异常。
然而,这种方式对对齐效果要求较高,随机动画或特效会干扰其检测效果。另外,这种方法需要大量的图像作为样本训练异常检测模型,需要人工标记大规模的数据库,会耗费大量人力成本。
发明内容
为了解决上述技术问题,本申请提供了一种图像处理方法和相关装置,能够兼容存在一定偏移的情况,可以降低对对齐效果的要求,提高检测准确性。同时,无需大量的图像作为样本训练异常检测模型,也无需人工标记,因此,可以降低成本。
本申请实施例公开了如下技术方案:
一方面,本申请实施例提供一种图像处理方法,所述方法包括:
获取待处理图像;
对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征;
获取所述待处理图像对应的目标基准图像的扩充特征,所述扩充特征是对所述目标基准图像的基准特征进行扩充得到的,所述目标基准图像的基准特征是对所述目标基准图像进行特征提取得到的;
根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异;
若所述特征差异满足预设条件,确定所述待处理图像为目标图像。
一方面,本申请实施例提供一种图像处理装置,所述装置包括获取单元、提取单元、比对单元和确定单元:
所述获取单元,用于获取待处理图像;
所述提取单元,用于对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征;
所述获取单元,还用于获取所述待处理图像对应的目标基准图像的扩充特征,所述扩充特征是对所述目标基准图像的基准特征进行扩充得到的,所述目标基准图像的基准特征是对所述目标基准图像进行特征提取得到的;
所述比对单元,用于根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异;
所述确定单元,用于若所述特征差异满足预设条件,确定所述待处理图像为目标图像。
一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行前述任一方面所述的方法。
一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序当被处理器执行时使所述处理器执行前述任一方面所述的方法。
一方面,本申请实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现前述任一方面所述的方法。
由上述技术方案可以看出,针对获取到的待处理图像,可以首先对其进行特征提取,得到待处理图像的待处理特征,该待处理特征能够表征实际状态下的图像情况,以及获取待处理图像对应的目标基准图像的扩充特征。其中,目标基准图像可以是指待处理图像在理想状态下的图像,目标基准图像是不存在任何异常的,可以将其作为检测待处理图像是否存在异常的标准。目标基准图像的基准特征是对目标基准图像进行特征提取得到的,该基准特征能够表征理想状态下的图像情况,对基准特征进行扩充得到的扩充特征仍能表征理想状态下的图像情况。因此,可以根据待处理特征与扩充特征进行特征比对,得到待处理图像和目标基准图像之间的特征差异,该特征差异能够表征实际状态下的图像情况与理想状态下的图像情况之间的差异,可以用于检测待处理图像是否是目标图像。最后,在特征差异满足预设条件时,可以确定待处理图像为目标图像,基于此,完成对待处理图像是否是目标图像的检测。由于在特征比对的过程中,利用的是目标基准图像的扩充特征,而扩充特征是对基准特征进行扩充得到的,相较于基准特征具有更高的特征兼容性,如此一来,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。同时,本申请提供的是一种基于待处理图像的待处理特征与目标基准图像的扩充特征的直接检测方式,无需训练异常检测模型,也无需人工标记大规模的数据库,因此,可以降低成本。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术成员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理方法的应用场景示意图;
图2为本申请实施例提供的一种图像处理方法的流程图;
图3为本申请实施例提供的一种图像处理流程的示意图;
图4为本申请实施例提供的一种游戏场景中的待处理图像的示意图;
图5为本申请实施例提供的一种游戏场景中的第一基准图像的示意图;
图6为本申请实施例提供的一种图像处理装置的结构图;
图7为本申请实施例提供的一种终端的结构图;
图8为本申请实施例提供的一种服务器的结构图。
具体实施方式
下面结合附图,对本申请的实施例进行描述。
在图像展示中,大部分的漏洞可以通过视觉感知到,比如图像内容的缺失、画面花屏等。以游戏场景为例,漏洞具体可以是指皮肤显示大厅的出现异常(例如背景丢失、物件丢失、皮肤丢失)的展示画面等。通常,可以通过检测对应图像是否异常确定是否存在漏洞,便于对漏洞进行修复,降低对视觉体验造成的影响。
相关技术中,可以通过录制回放的方式检测图像是否异常,具体可以是通过对比回放画面和录制画面的差异找到候选的异常区域,并将这些候选的异常区域人工打上标签,用于训练异常检测模型,最后,便可以利用训练好的异常检测模型检测图像是否异常。比如,异常检测模型可以是卷积神经网络(Convolutional Neural Network,CNN)、分类器、深度网络或轻量级深度网络等。
然而,在实际应用中,尤其是在游戏场景中,在游戏皮肤展示页面可能存在随机动画或特效,比如游戏皮肤的出场动画、技能特效等,这会使得测试的游戏皮肤展示页面难以与基准的游戏皮肤展示页面完全对齐。而相关技术中所采用的方式对于对齐效果的要求较高,针对存在随机动画或特效使得难以完全对齐的情况,采用相关技术时,检测准确性较差。同时,为了防止出现过拟合的问题,相关技术中所采用的方式还需要大量的图像作为样本以训练异常检测模型,这就需要人工标记大规模的图像以构建数据库,会耗费大量人力成本。在人工标记之后,可以基于人工智能(Artificial Intelligence,AI)技术对异常检测模型进行训练,得到训练好的卷积神经网络或训练好的分类器用于图像检测。
为此,本申请实施例提供了一种图像处理方法和相关装置,针对待处理图像,可以直接利用待处理图像的待处理特征与目标基准图像的扩充特征进行特征比对,由于待处理特征能够表征实际状态下的图像情况,扩充特征能够表征理想状态下的图像情况,故基于二者进行特征比对能够确定待处理图像与目标基准图像之间的特征差异,完成对待处理图像是否是目标图像的检测。由于在特征比对时,利用的是目标基准图像的扩充特征,而扩充特征是对目标基准图像的基准特征进行扩充得到的,相较于基准特征具有更高的特征兼容性,如此一来,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。同时,这种方式不再需要训练异常检测模型,也无需人工标记大规模的数据库,可以降低成本。
本申请实施例所提供的图像处理方法可以通过计算机设备实施,该计算机设备可以是终端或服务器,其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云计算服务的云服务器。终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。本申请实施例可应用于各种场景,包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。本申请实施例具体可以应用于涉及图像展示的场景,在图像展示时,若图像存在异常,会对视觉体验造成不好的影响。因此,通常会在图像展示之前进行检测,主要可以是指对需要进行检测的图像检测是否存在异常。在本申请实施例中,可以将需要进行检测的图像称为待处理图像。如果检测到待处理图像存在异常,便可以及时修复,以降低对视觉体验造成的影响。涉及图像展示的场景例如可以是游戏场景等。
图1示出了本申请实施例提供的图像处理方法的应用场景示意,在图1所示的场景中,以服务器100作为前述计算机设备的示例进行说明:
针对获取到的待处理图像,服务器100可以首先对待处理图像进行特征提取,得到待处理图像的待处理特征,该待处理特征能够表征实际状态下的图像情况。以及,服务器100可以获取待处理图像对应的目标基准图像的扩充特征,目标基准图像可以是指待处理图像在理想状态下的图像,目标基准图像是不存在任何异常的,可以将其作为检测待处理图像是否存在异常的标准。目标基准图像的基准特征是对目标基准图像进行特征提取得到的,该基准特征能够表征理想状态下的图像情况。考虑到一些涉及图像展示的场景中,会存在不完全对齐的情况,比如在游戏场景中存在随机动画或特效,使得难以完全对齐,为了能够兼容不完全对齐的情况,本申请实施例中获取的是目标基准图像的扩充特征,并将该扩充特征用于对待处理图像的检测中,使得能够兼容不完全对齐的情况。具体的,目标基准图像的扩充特征可以是指对基准特征进行扩充得到的,扩充特征仍能表征理想状态下的图像情况。
进而,服务器100可以根据待处理特征与扩充特征进行特征比对,得到待处理图像和目标基准图像之间的特征差异,该特征差异能够表征实际状态下的图像情况与理想状态下的图像情况之间的差异,可以用于检测待处理图像是否是目标图像。由于在特征比对的过程中,利用的是目标基准图像的扩充特征,而扩充特征是对基准特征进行扩充得到的,相较于基准特征具有更高的特征兼容性,如此一来,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。
最后,在特征差异满足预设条件时,表明特征差异能够满足确定待处理图像是目标图像的条件,此时,服务器100可以确定待处理图像为目标图像。基于此,完成对待处理图像是否是目标图像的检测。
同时,本申请提供的是一种基于待处理图像的待处理特征与目标基准图像的扩充特征的直接检测方式,无需训练异常检测模型,也无需人工标记大规模的数据库,因此,可以降低成本。
图2为本申请实施例提供的一种图像处理方法的流程图,以服务器作为前述计算机设备的示例进行说明,所述方法包括S201-S205:
S201:获取待处理图像。
在涉及图像展示的场景中,当需要进行图像检测时,服务器可以首先获取待处理图像,该待处理图像可以是指需要进行检测的图像,便于后续检测待处理图像是否存在异常。以游戏场景为例,待处理图像可以是皮肤显示大厅的展示画面。
需要说明的是,针对待处理图像的数量,本申请不做任何限定。比如,待处理图像可以是一张图像,也可以是多张图像。可以理解的是,在待处理图像是多张图像的情况时,针对多张图像中的每张图像,均可以采用本申请实施例提供的图像处理方法进行检测。
S202:对待处理图像进行特征提取,得到待处理图像的待处理特征。
S203:获取待处理图像对应的目标基准图像的扩充特征。
在获取到待处理图像之后,服务器可以对待处理图像进行特征提取,得到待处理图像的待处理特征,该待处理特征能够表征实际状态下的图像情况。特征提取是图像处理中的一个初级运算,可以检查待处理图像中的每个像素来确定该像素是否可以代表一个特征,从而从待处理图像中提取有用的信息,减少了数据量,但保留了描述待处理图像的特点的像素。提取到的待处理特征是能够反映待处理图像的特点的特征,待处理特征可以是不同特征维度的特征,例如可以包括颜色特征、纹理特征、形状特征、空间关系特征等。
以及,服务器可以获取待处理图像对应的目标基准图像的扩充特征,其中,目标基准图像可以是指待处理图像在理想状态下的图像,目标基准图像是不存在任何异常的,可以将其作为检测待处理图像是否存在异常的标准。考虑到一些涉及图像展示的场景中,会存在不完全对齐的情况。其中,不完全对齐可以是指由于各种因素导致的待处理图像相对于目标基准图像存在偏移,例如可以包括位置偏移、帧偏移等。比如在游戏场景中存在随机动画或特效,动画或特效可能会上下左右摇摆,使得同一动画或特效在待处理图像中的位置与在目标基准图像中的位置存在偏移;又如待处理图像所表示的图像帧与目标基准图像所表示的图像帧没有实现帧对齐,举例来说,针对游戏场景中某一游戏皮肤展示过程中某一时刻记录得到的待处理图像是第3帧,但针对该时刻记录得到的目标基准图像可能是第4帧,即没有实现帧对齐。为了能够兼容不完全对齐的情况,本申请实施例中获取的是目标基准图像的扩充特征,并将该扩充特征用于对待处理图像的检测中,使得能够兼容不完全对齐的情况。具体的,目标基准图像的扩充特征可以是对目标基准图像的基准特征进行扩充得到的,目标基准图像的基准特征是对目标基准图像进行特征提取得到的,该基准特征能够表征理想状态下的图像情况,对基准特征进行扩充得到的扩充特征仍能表征理想状态下的图像情况。
其中,对基准特征进行扩充可以是指在基准特征的基础上进行修改得到新的特征,该新的特征与基准特征是同一特征维度的特征,从而扩展特征的数量,此时该新的特征可以称为扩充特征。例如,基准特征可以通过某一数值表示,对基准特征进行扩充可以是对表示该基准特征的数值进行偏移处理,从而得到新的数值来表示新的特征。需要说明的是,提取到的基准特征的特征维度与待处理特征的特征维度应该是一致的,相应的,对基准特征进行扩充得到的扩充特征的特征维度与待处理特征的特征维度也是一致的,从而便于实现后续从同一特征维度进行扩充特征与待处理特征之间的特征比对。例如待处理特征的特征维度是颜色特征,那么提取到的基准特征和扩充得到的扩充特征也应该是颜色特征。
需要说明的是,针对获取目标基准图像的扩充特征的方式,本申请实施例均不做任何限定。为了便于理解,本申请实施例提供了如下两种方式作为示例:
由于目标基准图像是用于检测待处理图像的标准,对于同一图像展示的场景,作为标准的基准图像是固定的,因此,为了降低针对待处理图像进行检测过程中的计算量,在一种可能的实现方式中,服务器中可以保存预先确定好的目标基准图像的扩充特征,这样,在需要使用目标基准图像的基准特征时,服务器获取目标基准图像的扩充特征的方式可以是直接获取预先确定好的目标基准图像的扩充特征,该扩充特征的特征维度可以参见前述介绍,例如可以是颜色特征、纹理特征、形状特征、空间关系特征等。在具体实施时,服务器可以预先执行对目标基准图像进行特征提取的步骤,以得到目标基准图像的基准特征。进一步,服务器可以执行对基准特征进行扩充的步骤,以得到扩充特征,对基准图像进行扩充的方式可以参考前述介绍,此处不再赘述。然后,服务器可以对得到的扩充特征进行保存,以便于在需要利用扩充特征时,能够方便获取。一般,针对多个基准图像,均可以预先确定并保存这些基准图像的扩充特征,相应的,在需要获取扩充特征时,可以根据目标基准图像的标识从中获取目标基准图像的扩充特征。基于此,将确定扩充特征的过程与对待处理图像的检测过程进行了分离,故无需每次检测都重新执行提取基准特征并扩充得到扩充特征的步骤,从而可以降低计算量,效率更高。
在又一种可能的实现方式中,服务器获取扩充特征的方式可以是实时确定扩充特征。在具体实施时,在对待处理图像进行检测的过程中,服务器可以首先确定待处理图像对应的目标基准图像,进而对目标基准图像进行特征提取得到基准特征,并对基准特征进行扩充得到扩充特征。基于此,可以是在需要扩充特征的时候,才实时执行确定扩充特征的步骤,更加符合图像检测需求。
还需说明的是,针对如何确定待处理图像对应的目标基准图像,本申请不做任何限定。为了便于理解,下面进行说明:
在一些涉及图像展示的场景中,图像展示是一个过程,在这个过程中可以产生一系列图像,这一系列图像按照时间序列排列得到一个图像序列。对于这种情况,在测试阶段对图像展示过程所产生的图像进行记录得到的图像序列可以称为测试图像序列,此时测试图像序列中的每个图像都可以作为待处理图像。相应的,为了能够对测试图像序列中每个图像是否异常进行检测,可以预先针对一个正常的图像展示过程记录产生的、能够作为标准的基准图像,这些基准图像按照时间序列排列得到的图像序列可以称为基准图像序列。
例如,在游戏场景中,待处理图像可以是游戏皮肤展示过程中记录的测试图像序列中的图像,测试图像序列可以是在游戏测试阶段记录的,用于表示实际测试状态下的游戏皮肤展示过程。通常,测试图像序列中的图像具有一定的排序位置,排序位置能够用于标识该图像在测试图像序列中出现的顺序。相应的,服务器可以根据待处理图像在测试图像序列中的排序位置确定待处理图像对应的目标基准图像。可以理解的是,在实际应用中,确定待处理图像对应的目标基准图像可以是在获取目标基准图像的扩充特征之前执行的。也就是说,可以是在前述的S203之前,服务器根据待处理图像在测试图像序列中的排序位置确定待处理图像对应的目标基准图像。
通常,在待处理图像是测试图像序列中的图像的情况中,测试图像序列在理想状态下的、不存在任何异常的图像序列也可以称为基准图像序列,对应的,前述的目标基准图像可以是基准图像序列中的图像。基于此,在根据待处理图像在测试图像序列中的排序位置确定基准图像时,可以基于基准图像序列确定目标基准图像。需要说明的是,对于如何基于基准图像序列确定目标基准图像的方式,本申请不做任何限定。为了便于理解,本申请实施例提供了以下两种方式作为示例:
在一种可能的实施方式中,由于测试图像序列和基准图像序列都是针对同一图像展示过程按照相同时间间隔记录得到的图像序列,只不过基准图像序列中是不存在任何异常的,可以作为检测测试图像序列是否存在异常的标准的图像序列。因此,很多情况下,针对图像展示过程的同一时刻记录的图像在测试图像序列中的排序位置与基准图像序列中的排序位置是一致的。在这种情况下,服务器可以根据待处理图像在测试图像序列中的排序位置,从基准图像序列中获取与待处理图像的排序位置相同的第一基准图像。其中,基准图像序列可以是指测试图像序列对应的在理想状态下的序列,可以反映理想状态下的游戏皮肤展示过程,基准图像序列是不存在任何异常的,可以作为检测测试图像序列是否存在异常的标准。由于第一基准图像和待处理图像具有相同的排序位置,故可以将第一基准图像认为是待处理图像对应的目标基准图像,此时,服务器可以直接将第一基准图像作为目标基准图像。基于此,能够利用排序位置快速确定待处理图像对应的目标基准图像,更为便捷。
在另一种可能的实现方式中,游戏皮肤会存在随机动画或特效,从而导致待处理图像与目标基准图像的图像帧不对齐,使得在游戏皮肤展示过程中存在不完全对齐的情况。即针对图像展示过程的同一时刻记录的图像在测试图像序列中的排序位置与基准图像序列中的排序位置可能存在偏移,而这种偏移不会很大。例如针对游戏场景中某一游戏皮肤展示过程中某一时刻记录得到的待处理图像是第3帧,但针对该时刻记录得到的目标基准图像可能是第4帧,即没有实现帧对齐。在这种情况下,为了能够兼容不完全对齐的情况,在确定待处理图像的目标基准图像时,可以考虑待处理图像在测试图像序列中的排序位置相对于目标基准图像在基准图像序列中的排序位置可能发生偏移的情况,服务器可以根据待处理图像在测试图像序列中的排序位置,首先从基准图像序列中获取与待处理图像的排序位置相同的第一基准图像。然而由于可能存在图像帧不对齐的情况,这就导致该第一基准图像与待处理图像记录的可能不是同一时刻的图像,并且与待处理图像记录同一时刻的图像可能位于第一基准图像附近,因此,服务器可以从基准图像序列中获取与第一基准图像相邻的第二基准图像,最后,服务器可以将第一基准图像和第二基准图像作为目标基准图像。其中,与第一基准图像相邻的第二基准图像可以是指基准图像序列中位于第一基准图像前一帧和位于第一基准图像后一帧的图像。若第一基准图像为基准图像序列中第一帧图像,由于第一帧图像不存在前一帧图像,故此时第二基准图像为第一基准图像的后一帧图像;若第一基准图像为基准图像序列中最后一帧图像,由于最后一帧图像不存在后一帧图像,故此时第二基准图像为第一基准图像的前一帧图像。
基于此,能够在利用排序位置确定第一基准图像的基础上,同时扩充第一基准图像相邻的第二基准图像共同作为目标基准图像,从而在后续与待处理图像进行特征比对时,目标基准图像的扩充特征中融合了第一基准图像附近的其他基准图像(即第二基准图像)的特征,使得目标基准图像的扩充特征更能够准确反映与待处理图像记录同一时刻的图像的特征,能够兼容待处理图像和第一基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。
在实际应用中,若第一基准图像是基准图像序列中的第一帧图像或最后一帧图像,则第二基准图像可以是指第一基准图像相邻的下一帧图像或上一帧图像,此时的目标基准图像可以包括两帧图像。若第一基准图像是基准图像序列中的除第一帧图像和最后一帧图像外的任一帧图像,则第二基准图像可以是指第一基准图像左右相邻的两帧图像,此时的目标基准图像可以包括三帧图像。
相关技术中通过录制回放的检测方式,也可以认为是一种基于帧对齐的检测方式。具体的,以游戏场景为例,可以通过录制回放的方式实现游戏自动化完成录制回放,随后通过帧对齐确定回放帧(可以是指前述的待处理图像)对应的录制帧(可以是指前述的第一基准图像),对比回放画面和录制画面的差异,筛选出现异常的区域。最后,通过人工标记这些区域,确定标签,构建大规模的数据库。最后,基于数据库中的样本作为深度网络或轻量级深度网络的输入,通过深度网络或轻量级深度网络自动学习样本的深度特征,最后输出用于指示样本是否出现异常的标签。在训练时,可以采用梯度下降法对深度网络或轻量级深度网络的参数进行优化,便于更为快速地完成训练,得到训练好的深度网络或轻量级深度网络,以便对实际的待处理图像是否出现异常进行检测。其中,深度网络可以是指参数量比较大,具有很多隐藏层的神经网络。轻量级深度网络可以是指参数量小,能够适用于中央处理器(Central Processing Unit,CPU)和嵌入式设备的小型深度网络,深度特征可以是指通过深度网络或轻量级深度网络最终提取到的特征,可以包含图像的抽象信息。
然而,这种基于录制回放的检测方式依赖帧对齐的效果,对于对齐效果的要求较高。在一些场景中,尤其对于游戏场景中,由于存在难以对齐的随机动画或特效使得对齐效果较低的情况,录制回放的检测方式无法很好地适用。采用本申请实施例提供的图像处理方法,能够在第一基准图像的基础上,同时扩充第一基准图像相邻的第二基准图像共同作为目标基准图像,能够兼容随机动画或特效,可以降低对对齐效果的要求,针对不完全对齐的情况仍具有较高的检测准确性,对于游戏场景更为适用。同时,也不再需要进行人工标记,能够降低成本。
此外,无论是针对待处理图像还是目标基准图像,为了进一步降低计算量,还可以在处理之前(比如可以是进行特征提取之前),服务器将待处理图像与目标基准图像进行缩放到相同的预设图像大小。基于此,通过缩放的方式减小图像大小,有利于降低计算量。同时,如此能够在相同的预设图像大小的情况下,进行后续检测,有利于提高检测准确性。需要说明的是,对预设图像大小的设置,本申请不做任何限定。比如,可以将预设图像大小设置为1280*720,通常,1280和720的单位可以是像素。
S204:根据待处理图像的待处理特征与目标基准图像的扩充特征进行特征比对,得到待处理图像和目标基准图像之间的特征差异。
由于待处理特征与扩充特征能够分别表征实际状态下以及理想状态下的图像情况,故在得到待处理特征以及扩充特征之后,服务器可以根据待处理图像的待处理特征与目标基准图像的扩充特征进行特征比对,得到待处理图像和目标基准图像之间的特征差异,该特征差异能够表征实际状态下的图像情况与理想状态下的图像情况之间的差异,可以用于后续检测待处理图像是否是目标图像的步骤。且在特征比对的过程中,利用的是目标基准图像的扩充特征,相较于基准特征具有更高的特征兼容性,如此一来,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性,减少误检。
S205:若特征差异满足预设条件,确定待处理图像为目标图像。
若特征差异满足预设条件,则表明特征差异能够满足确定待处理图像是目标图像的条件,此时,服务器可以确定待处理图像为目标图像。反之,若特征差异不满足预设条件,则表明特征差异还不能够满足确定待处理图像是目标图像的条件,此时,服务器可以确定待处理图像不是目标图像。其中,预设条件可以是指用于判断特征差异是否能够确定待处理图像是目标图像的条件。目标图像可以是指特征差异满足预设条件的待处理图像。
需要说明的是,针对预设条件以及目标图像的设置,本申请实施例均不做任何限定。比如,可以根据实际的图像检测场景进行设置。具体的,可以将预设条件设置为待处理图像的待处理特征与目标基准图像的扩充特征之间存在差异,基于此,一旦存在差异,便可以确定待处理图像相较于目标基准图像出现异常。若实际的图像检测场景是异常图像检测场景,则可以设定目标图像为异常图像或正常图像,基于此,能够针对任一待处理图像,达到检测待处理图像是否是异常图像的目的。
在实际应用中,可以将与目标基准图像相比,存在差异的待处理图像保留下来。对于这部分待处理图像,后续还可以结合人工审核,以筛选出真实的异常图像。由于需要人工审核的可以是通过前述方法检测确定存在差异的那部分待处理图像,而对于检测确定不存在差异的那部分待处理图像,也就不再需要人工审核。基于此,能够降低人工审核的量级,减少人工成本。
由上述技术方案可以看出,针对获取到的待处理图像,可以首先对其进行特征提取,得到待处理图像的待处理特征,该待处理特征能够表征实际状态下的图像情况,以及获取待处理图像对应的目标基准图像的扩充特征。其中,目标基准图像可以是指待处理图像在理想状态下的图像,目标基准图像是不存在任何异常的,可以将其作为检测待处理图像是否存在异常的标准。目标基准图像的基准特征是对目标基准图像进行特征提取得到的,该基准特征能够表征理想状态下的图像情况,对基准特征进行扩充得到的扩充特征仍能表征理想状态下的图像情况。因此,可以根据待处理特征与扩充特征进行特征比对,得到待处理图像和目标基准图像之间的特征差异,该特征差异能够表征实际状态下的图像情况与理想状态下的图像情况之间的差异,可以用于检测待处理图像是否是目标图像。最后,在特征差异满足预设条件时,可以确定待处理图像为目标图像,基于此,完成对待处理图像是否是目标图像的检测。由于在特征比对的过程中,利用的是目标基准图像的扩充特征,而扩充特征是对基准特征进行扩充得到的,相较于基准特征具有更高的特征兼容性,如此一来,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。同时,本申请提供的是一种基于待处理图像的待处理特征与目标基准图像的扩充特征的直接检测方式,无需训练异常检测模型,也无需人工标记大规模的数据库,因此,可以降低成本。
在以上介绍的实施例中,针对对待处理图像进行特征提取的方式,本申请不做任何限定。为了便于理解,本申请实施例提供了如下方式作为示例:
为了提高检测准确性,在一种可能的实现方式中,可以设置对待处理图像进行特征提取的方式为对待处理图像的多个图像子区域进行特征提取。具体的,可以首先对待处理图像进行图像分割,图像分割可以是指将待处理图像细分为多个图像子区域的过程,基于图像分割可以得到多个图像子区域。其中,多个图像子区域包括两个及两个以上的区域。进而,在特征提取时,可以提取每个图像子区域的待处理特征,将得到的多个图像子区域的待处理特征构成待处理图像的待处理特征。其中,待处理特征可以参见前述介绍,其特征维度例如可以包括颜色特征、纹理特征、形状特征、空间关系特征等,只不过此时待处理特征是以每个图像子区域为粒度提取得到的。
基于此,利用图像子区域的待处理特征这种更细粒度的特征表征实际状态下的图像情况,能够提升待处理特征的特征辨别能力,有利于提高检测准确性,尤其针对特征差异不太显著的情况,仍能够具有较高的检测准确性。
相关技术中,还可以基于人工定义特征进行图像检测。具体的,以异常图像检测场景为例,首先可以记录样本图像,然后工程师可以基于人工分析图像的特性定义特征,进而可以利用人工定义特征与样本图像的特征对样本图像进行人工打标,基于人工打标的方式得到数据库,该数据库可以包含带有标签的正常图像和异常图像,标签能够表明是否异常。进而可以提取每张样本图像的特征,将该特征与对应的标签作为分类器的输入,训练分类器的参数,使得分类器输出的标签尽量逼近人工标记的标签。最后,得到训练好的分类器可用于对任一待处理图像是否为异常图像的分类检测。以游戏场景为例,相关技术中可以通过深度强化学习或通过模仿学习训练人工智能实现自动玩游戏,以此记录样本图像。其中,深度强化学习可以是指强化学习中的一部分用深度学习的模型来实现,可以是指深度学习和强化学习的结合。
首先,相关技术中的方法,在实际检测时,是直接将待处理图像输入训练好的分类器,通过训练好的分类器输出待处理图像是否为异常图像的分类检测结果。在此过程中,利用的是待处理图像的待处理特征,然而,当待处理图像的画面内容比较丰富,同时待处理图像中出现异常的画面内容仅占全部画面内容的一小部分时,待处理图像的待处理特征不能够准确地表征出现异常的画面内容,故导致检测准确性较差。对此,本申请实施例中采用的是图像子区域的待处理特征,粒度更细,使得能够准确地表征图像子区域的特征,以提升待处理特征的特征辨别能力,针对画面内容比较丰富,同时出现异常的画面内容仅占一小部分的这种特征差异不太显著的情况,仍能够具有较高的检测准确性。其次,这种基于人工定义特征的方式需要工程师对异常图像具有较高的先验知识,以保证人工定义特征的准确性,尤其在复杂的图像场景(例如复杂的游戏场景)下,人工定义特征难以保持较高的精度。而本申请提供的图像处理方法无需人工定义特征,可以降低人工成本的同时也能避免人工主观偏差对准确性的影响。此外,基于人工定义特征的方式,针对不同应用场景中的图像检测,通常需要重新设计人工定义特征,扩展性较差。而针对任一应用场景中的图像检测,均能够采用本申请提供的方法进行检测,具有良好的扩展性。
需要说明的是,对于图像分割的具体方式,本申请不做任何限定。为了便于理解,本申请实施例提供如下方式作为示例:
在一种可能的实现方式中,服务器可以首先设置图像子区域的个数(该个数可以大于或等于两个),进而服务器可以根据图像子区域的个数对待处理图像进行图像分割,以便得到对应个数的图像子区域。比如,可以结合待处理图像的图像大小设置图像子区域的个数,然后对待处理图像进行的图像分割。这种图像分割方式,简单易操作。
在又一种可能的实现方式中,为了进一步提高待处理特征的特征辨别能力,服务器还可以根据待处理图像的特征情况进行图像分割,具体可以是将待处理图像中存在特征相似的区域融合为一个图像子区域,且每一个图像子区域是连通的。其中,特征相似可以包括颜色、亮度以及纹理等特征相似。基于此,每个图像子区域内的特征是相似的,有利于提高图像子区域的待处理特征的特征辨别能力。
在实际应用中,任一图像可以认为是由多个像素点构成的,该图像中存在特征相似的区域也可以认为是由一系列相邻且特征相似的像素点组成的,在这种情况下,基于特征情况进行图像分割得到的图像子区域可以称为超像素区域,即超像素区域是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域,此时的图像分割可以称为超像素分割。在具体实施时,针对待处理图像,在进行图像分割时,服务器可以首先对待处理图像进行超像素分割,得到多个待处理超像素区域,待处理超像素区域为对待处理图像进行超像素分割得到的超像素区域。进一步,针对多个待处理超像素区域中的每个待处理超像素区域,可以基于待处理超像素区域进行特征提取,得到待处理超像素区域的待处理特征。此处是以待处理超像素区域为粒度进行特征提取,并非以整个待处理图像为粒度进行特征提取,不过对待处理超像素区域进行特征提取的方式与前述介绍的对待处理图像进行特征提取的方式类似,此处不再详细赘述。
在本申请实施例中,由于每个待处理超像素区域是由特征相似的像素点组成的,故待处理超像素区域的待处理特征能够更为准确地表征该待处理超像素区域的特征,即具有更高的特征分辨能力。相应的,多个待处理超像素区域分别对应的待处理特征即可构成待处理图像的待处理特征,基于此,待处理图像的待处理特征具有更细的粒度,有利于后续的图像检测。
在这种基于超像素分割的方式中,为了进行图像检测,相应的,前述的S203在具体实施时,服务器可以获取目标基准图像的每个基准超像素区域的扩充特征,多个基准超像素区域分别对应的扩充特征即可构成目标基准图像的扩充特征。如此使得目标基准图像的扩充特征也是基于超像素区域这种粒度的,相应的,前述的S204在具体实施时,服务器可以针对每个待处理超像素区域,根据待处理超像素区域的待处理特征与待处理超像素区域对应的基准超像素区域的扩充特征进行特征比对,得到待处理超像素区域的比对结果。比对结果可以指示该待处理超像素区域的待处理特征与对应的基准超像素区域的扩充特征是否一致,例如待处理特征可以是通过数值体现,而扩充特征也可以是通过数值体现,从而通过数值是否一致确定待处理超像素区域的待处理特征与对应的基准超像素区域的扩充特征是否一致。若一致,说明该待处理超像素区域在目标基准图像中可以匹配到基准超像素区域,否则,说明该待处理超像素区域在目标基准图像中未匹配到基准超像素区域。针对多个待处理超像素区域可以得到多个比对结果,相应的,服务器可以根据多个待处理超像素区域的比对结果确定待处理图像和目标基准图像之间的特征差异。此种情况下,前述的S205在具体实施时,若特征差异指示存在待处理超像素区域在目标基准图像中未匹配到基准超像素区域,则表明待处理图像相较于目标基准图像存在差异,此时,服务器可以确定待处理图像为目标图像。也就是说,在将待处理图像细分为多个待处理超像素区域的这种实施方式中,可以将预设条件设置为是否存在待处理超像素区域在目标基准图像中未匹配到基准超像素区域,相应的,若存在,可以认为特征差异满足预设条件,可以确定待处理图像为目标图像。
基于此,特征比对也是在超像素区域这种细粒度上进行的,从而可以结合每个待处理超像素区域的比对结果判断待处理图像是否异常,有利于兼容特征差异不太显著的情况。
需要说明的是,对于未匹配到基准超像素区域的待处理超像素区域的数量,本申请不做任何限定。比如,可以根据图像检测的精度要求设置未匹配到基准超像素区域的待处理超像素区域的数量。具体的,以目标图像为异常图像为例,若图像检测的精度要求较高,可以设置未匹配到基准超像素区域的待处理超像素区域的数量较小,比如可以设置为1,在实际检测时,只要存在一个待处理超像素区域是未匹配到基准超像素区域的,则直接确定待处理图像为异常图像。若图像检测的精度要求较低,可以设置未匹配到基准超像素区域的待处理超像素区域的数量较大(小于或等于待处理超像素区域的总数),比如可以设置为总数的30%,基于此,只有当未匹配到基准超像素区域的待处理超像素区域的数量达到总数的30%时,才确定待处理图像为异常图像。基于此,能够根据图像检测的精度要求,灵活设置,能够适用于精度要求不同的各种图像检测场景。
在这种基于超像素分割的方式中,特征比对也是在超像素区域这种细粒度上进行的,具体可以是针对每个待处理超像素区域,根据待处理超像素区域的待处理特征与待处理超像素区域对应的基准超像素区域的扩充特征进行特征比对的。其中,待处理超像素区域对应的基准超像素区域可以是指,待处理超像素区域在目标基准图像上对应的超像素区域。需要说明的是,针对如何确定待处理超像素区域对应的基准超像素区域的具体方式,本申请不做任何限定。比如,可以根据待处理超像素区域的中心位置确定处理超像素区域对应的基准超像素区域。为了便于理解,本申请实施例提供以下方式作为示例:
可以理解的是,在实际应用中,确定待处理超像素区域对应的基准超像素区域的步骤可以是在进行特征比对之前执行的。具体的,在进行特征比对之前,服务器可以首先确定待处理超像素区域的中心位置,该中心位置能够标识待处理超像素区域在待处理图像中所处位置。进而,服务器可以在目标基准图像中确定以中心位置为中心的预设像素范围。其中,预设像素范围能够标识目标基准图像中以中心位置为中心的一定区域,对于预设像素范围的设置,本申请不做任何限定。比如,可以根据图像检测的经验设置预设像素范围的大小,例如可以将预设像素范围设置为200像素。基于此,以中心位置为中心的方式,能够首先确定待处理超像素区域对应的基准超像素区域在目标基准图像中所处位置,在此基础上,结合预设像素范围,能够进一步确定中心周围的一定区域,对于位于预设像素范围内的基准超像素区域,可以认为是能够作为待处理超像素区域的基准超像素区域,也就是说,服务器可以将位于预设像素范围内的基准超像素区域确定为待处理超像素区域对应的基准超像素区域,实现确定待处理超像素区域对应的基准超像素区域的目的。基于此,能够兼容因不完全对齐导致的中心位置在目标基准图像中所属的超像素区域与待处理超像素区域不对应的情况,有利于提高检测准确性。
在实际应用中,对于如何判断基准超像素区域是否是位于预设像素范围内的,本申请不做任何限定。比如,可以利用基准超像素区域的中心位置进行判断。具体的,若基准超像素区域的中心位置位于预设像素范围内,则可以认为该基准超像素区域是位于预设像素范围内的,反之,则不是。其中,基准超像素区域的中心位置可以是根据基准超像素区域的形状确定的,能够标识基准超像素区域在目标基准图像中所处位置。
在这种基于超像素分割的方式中,还需要说明的是,对于进行超像素分割的方式,本申请不做任何限定。为了便于理解,本申请实施例提供以下方式作为示例:
通常,对于特征相似的任意两个相邻像素点,可以认为这两个相邻像素点之间没有边缘线的,也就可以将这两个相邻像素点确定在同一个超像素区域内。而对于特征不相似的任意两个相邻像素点,可以认为这两个相邻像素点之间存在边缘线。因此,在一种可能的实现方式中,针对待处理图像,可以根据待处理图像的边缘进行超像素分割。在具体实施时,服务器可以首先对待处理图像进行边缘提取,比如可以是通过图像边缘检测算法对待处理图像进行边缘提取。进而,服务器可以根据提取到的边缘确定待处理图像中的连通区域,连通区域内的任意两个像素点存在至少一条不被边缘线阻隔的路径,可以认为连通区域内的任意两个像素点是特征相似的,因此,可以将连通区域确定为待处理超像素区域。
其中,边缘检测算法可以是Canny边缘检测算法。当边缘检测算法是Canny边缘检测算法时,在实际应用中,确定连通区域的具体实现方式可以是遍历待处理图像的每个像素点。具体的,通过对像素点进行扩展,确定周围一定数量的像素点(比如可以根据经验设置一次确定周围的8个),并判断这些像素点是否是边缘点,若是边缘点,则表明已经出现边缘,则停止扩展,若不是,则以这些像素点继续扩展,直至没有新的扩展点,也就是直至最后一次的扩展点是边缘点。其中,判断一个像素点是否是边缘点,可以基于Canny边缘检测算法实现,即可以根据待处理图像计算每个像素点的梯度强度与方向,进而,基于待处理图像中全部像素点的梯度强度与方向确定出图像梯度幅值矩阵。若一个像素点在图像梯度幅值矩阵中对应的值越大,表明该像素点更有可能是边缘点,因此,在本申请实施例中,若该像素点在图像梯度幅值矩阵中对应的值很大,例如达到某一阈值,可以确定该像素点是边缘点。
需要说明的是,由于Canny边缘检测算法通常用于对灰度图像的处理,故在利用Canny边缘检测算法对待处理图像进行边缘提取时,若待处理图像是彩色图像,可以首先将待处理图像进行灰度化,然后,利用Canny边缘检测算法对灰度化后的待处理图像进行边缘提取。
基于此,以一个像素点为基础进行扩展直至没有新的扩展点时,可以认为全部扩展点属于同一个连通区域,此时,可以确定一个连通区域。随后,跳过已经确定出的连通区域内的像素点,继续遍历其他的像素点,直至所有的像素点都能找到对应的连通区域,基于此,完成针对待处理图像的连通区域的确定过程。
这种基于待处理图像的边缘进行超像素分割的方式,能够将特征相似连通区域分割出来,进而提取该区域对应的基准特征。比如针对游戏场景中,对于两次检测中所保存的同一帧待处理图像可能由于帧率的波动变化,会存在一定的偏差,通过边缘进行超像素分割,能够将游戏角色的游戏皮肤中的同一个部位分割出来。针对目标基准图像为多帧图像时,能够关注各个不同的部位(每个部位内可以认为是特征相似的),兼容帧率的波动变化造成的不对齐的情况。
在这种基于超像素分割的方式中,针对如何基于待处理超像素区域进行特征提取的方式,本申请不做任何限定。比如,可以是根据待处理特征的特征类型灵活选择合适的特征提取方式。为了便于理解,本申请实施例提供以下示例:
在一种可能的实现方式中,待处理特征的特征类型可以为字典特征,即将待处理特征以字典形式体现,字典特征是一种特征体现形式,针对不同特征维度提取得到的待处理特征都可以通过字典形式体现,从而得到待处理特征。例如从颜色特征这一特征维度对待处理图像进行特征提取,然后可以将提取到的特征以字典形式进行体现,从而得到字典特征。如此便于利用字典索引的方式构建待处理超像素区域的字典特征。
需要说明的是,前述介绍的颜色特征、纹理特征、形状特征、空间关系特征等都是视觉属性方面的特征,视觉属性方面的特征可以通过其在待处理图像中所对应的数值表示,这个数值可以称为视觉属性值。因此,在这些特征维度进行特征提取时首先可以得到对应的视觉属性值。在具体实施时,服务器可以首先获取处理超像素区域内的多个第一像素。通常,在图像中,每个像素都能够利用对应的视觉属性值进行表示。为了便于构建字典特征,在获取到多个第一像素之后,服务器可以针对每个第一像素,将第一像素的视觉属性值转换为字典索引,转换得到的字典索引仍能够表示第一像素。最后,服务器可以基于待处理超像素区域内多个第一像素分别对应的字典索引构建待处理超像素区域的字典特征,从而将待处理图像在视觉属性方面的特征以字典形式进行体现。基于此,通过将视觉属性值转换为字典索引的方式,实现构建待处理超像素区域的字典特征的目的。
需要说明的是,针对如何将第一像素的视觉属性值转换为字典索引的方式以及如何基于待处理超像素区域内多个第一像素分别对应的字典索引构建待处理超像素区域的字典特征的方式,本申请均不做任何限定。为了便于理解,下面将一一进行介绍:
首先,针对如何将第一像素的视觉属性值转换为字典索引,本申请实施例提供以下方式作为示例:
通常,视觉属性值本身对应有取值范围,可以利用属性值区间表示这个取值范围,在实际应用中,属性值区间比较大,如果直接利用视觉属性值,可能会存在计算量比较大的问题。对此,为了降低计算量,在一种可能的实现方式中,服务器可以首先根据视觉属性值的量化数量获取量化区间。相较于属性值区间,量化区间比较小,该量化区间可以用于对视觉属性值进行量化的过程。进一步的,服务器可以按照量化区间对第一像素的视觉属性值进行量化,得到第一像素对应的字典索引。通过量化,可以实现对视觉属性值的转换,能够将原本取值比较大的视觉属性值转换为取值比较小的字典索引,有利于降低计算量。通常,量化得到的字典索引也可以对应有取值范围,该取值范围可以是根据量化数量确定的,是比属性值区间小的,从而能够使得量化后得到的字典索引的取值范围相较于原始的视觉属性值更为简单,易于计算,有利于降低计算量。在具体实施时,可以通过判断第一像素的视觉属性值落在哪个量化区间的方式,对视觉属性值进行量化以确定对应的字典索引。
在进行量化的具体实施方式中,需要说明的是,对于量化数量的设置,本申请不做任何限定。比如,可以根据服务器的算力设置量化数量。又如,还可以根据检测精度的要求设置量化数量。还需要说明的是,针对如何获取量化区间的方式,本申请不做任何限定。为了便于理解,本申请提供以下方式作为示例:
在图像中,视觉属性可以包括颜色、亮度、纹理中的至少一种。在实际应用中,视觉属性不同,对应的视觉属性值的表示方式也可以有所不同,相应的,获取量化区间的方式可能会存在差异。由于在大多数的图像中,颜色具有更为显著的视觉传达效果,用户对于颜色的感知更为敏感,因此,本申请实施例中将以视觉属性为颜色为例进行更为详细的介绍。
当视觉属性为颜色时,视觉属性值可以是颜色值。在实际应用中,为了提升颜色的视觉传达效果,通常可以是利用多个颜色通道的颜色值来表示一个像素的颜色值,也就是说,颜色值可以由多个颜色通道的颜色值组成。对应的,可以针对不同的颜色通道,根据颜色通道对应的视觉属性值的量化数量获取颜色通道的量化区间。基于此,在进行后续的量化时,能够对每个颜色通道的颜色值均根据对应的量化区间进行量化,以确定字典索引。在具体实施时,针对每个颜色通道,服务器可以按照颜色通道的量化区间,对第一像素在颜色通道的颜色值进行量化得到第一像素在颜色通道的量化索引,从而完成量化。可以理解的是,基于此确定出的第一像素的量化索引也是由多个颜色通道的量化索引组成的,这多个颜色通道的量化索引共同表示第一像素。为了简化字典索引的表示,服务器还可以将第一像素在各个颜色通道的量化索引进行融合得到第一像素对应的字典索引。基于此,通过融合得到的字典索引相较于量化索引更为简单,有利于后续的图像检测。
通常,待处理图像对应的颜色通道可以包括三个,具体可以是指红色通道(可以记作R通道)、绿色通道(可以记作G通道)以及蓝色通道(可以记作B通道),相应的,颜色值可以记作RGB值。在实际应用中,对于每个颜色通道,颜色值本身对应的属性值区间都可以是[0,255]。进而,在量化时,比如可以根据服务器的算力设置量化数量为20,相应的,针对每个颜色通道,此处以红色通道为例,可以将[0,255/20)确定为红色通道的第一个量化区间、将[255/20,255/10)确定为红色通道的第二个量化区间、……、以此类推,可以获得红色通道的全部量化区间。由于每个颜色通道对应的属性值区间都可以是[0,255],故对于绿色通道和蓝色通道的处理,可以与对红色通道的处理一致,此处不再赘述。相应的,在进行量化时,针对第一像素,可以通过判断第一像素的RGB值落在哪个量化区间的方式,确定对应的量化索引。比如,基于量化数量20可以确定量化索引的取值范围是[0,19],以第一像素的RGB值为(20,255,255)为例,根据上述量化区间对每个颜色通道的颜色值进行量化得到的量化索引可以是(0,19,19),相较于原始的RGB值,更为简单,易于计算,有利于降低计算量。
需要说明的是,针对如何将第一像素在各个颜色通道的量化索引进行融合得到第一像素对应的字典索引的融合方式,本申请不做任何限定。为了便于理解,本申请实施例提供以下方式作为示例:
可以理解的是,本申请实施例从颜色这一特征维度体现待处理图像的特征,而颜色是由多种颜色通道构成,每种颜色通道的颜色表现力可能相同也可能不同,从而使得在基于多个颜色通道的量化索引构建字典索引时,不同颜色通道在字典索引中的影响力可能相同也可能不同。因此,针对不同的颜色通道,可以设置对应的融合权重,进而利用各个颜色通道的融合权重对各个颜色通道的量化索引进行融合,确定字典索引。在一种可能的实现方式中,不同颜色通道的融合权重可以是相同的,基于此,可以直接简化融合过程,相应的,融合后的字典索引对于各个颜色通道的颜色表现力是无差别的。在又一种可能的实现方式中,不同颜色通道的融合权重还可以是不同的,基于此,融合后的字典索引对于各个颜色通道的颜色表现力是有差别的。具体的,可以对更为关注的颜色通道设置更高的融合权重,基于此,提高融合后的字典索引在更为关注的颜色通道的颜色表现力。
在实际应用中,融合权重还可以根据量化数量设置的。具体的,在更为关注红色通道,接着依次是蓝色通道与绿色通道的情况下,鉴于通常情况下的量化数量可以是大于一的整数,故可以直接将红色通道的融合权重设置为量化数量的二次方,将蓝色通道的融合权重设置为量化数量的一次方,将绿色通道的融合权重设置为量化数量的零次方。基于此,可以更为便捷地确定不同的融合权重,对更为关注的颜色通道设置的融合权重更高。对应的,进行融合确定字典索引的过程可以通过如下公式进行:
其次,针对如何基于待处理超像素区域内多个第一像素分别对应的字典索引构建待处理超像素区域的字典特征,本申请实施例提供以下方式作为示例:
为了降低计算量,在一种可能的实现方式中,服务器可以首先统计待处理超像素区域内每个字典索引的出现次数,出现次数能够表示字典索引所标识的特征的出现频次。相应的,对于出现次数低于预设次数阈值的字典索引,可以认为这些字典索引所标识的是待处理像素区域中出现频次较低的特征,故可以去除出现次数低于预设次数阈值的字典索引,得到待处理超像素区域的字典特征。基于此,可以通过字典索引的出现次数进行筛选,保留出现次数大于或等于预设次数阈值的字典索引,得到的待处理超像素区域的字典特征的数量可以有所减少,有利于降低计算量。
需要说明的是,对于预设次数阈值的设置,本申请不做任何限定。比如,可以根据经验设置预设次数阈值,具体可以将预设次数阈值设置为20。在实际应用中,大部分待处理超像素区域内的字典索引小于10,故将预设次数阈值设置为20,能够去除大多数的字典索引,保留少部分但是高频出现的字典索引。这种情况下,得到的字典特征的数量可以有所减少,因此,可以将去除出现次数低于预设次数阈值的字典索引所得到字典特征称为稀疏字典特征。
待处理超像素区域是指待处理图像中的一个小区域,而待处理超像素区域的相对空间位置关系,在一定程度上能够反映待处理超像素区域是否存在异常。通常,待处理图像中与待处理超像素区域相邻的超像素区域,可以称为待处理超像素区域的相邻超像素区域,能够反映待处理超像素区域的相对空间位置关系,因此,在又一种可能的实现方式中,在确定待处理超像素区域的字典特征时,在待处理超像素区域的基础上,还可以结合待处理超像素区域的相邻超像素区域。在具体实施时,服务器可以首先基于待处理超像素区域内多个第一像素分别对应的字典索引确定第一字典特征,该第一字典特征可以是指待处理超像素区域自身的字典特征。进而,服务器可以获取待处理超像素区域的相邻超像素区域,并确定相邻超像素区域的第二字典特征,该第二字典特征可以是指相邻超像素区域自身的字典特征。最后,服务器可以将第一字典特征与第二字典特征进行融合得到待处理超像素区域的字典特征。由于相邻超像素区域能够反映待处理超像素区域对应的相对空间位置关系,比如,以待处理图像为游戏皮肤展示过程中的图像为例,待处理超像素区域标识的可以是游戏角色的游戏皮肤的鼻子这一部位,相邻超像素区域可以标识的是鼻子附近的其他部位(例如嘴巴、眼睛等部位),能够反映鼻子这一部位的相对于嘴巴、眼睛等部位的相对空间位置关系,故基于第一字典特征与第二字典特征进行融合得到的待处理超像素区域的字典特征,是考虑了相对空间位置关系的,有利于提高后续的检测准确性。
需要说明的是,针对如何对第一字典特征与第二字典特征进行融合的方式,本申请不做任何限定。比如,在实际应用中,为了简化融合过程,可以直接将第一字典特征与第二字典特征进行串联,从而以较为简单的方式达到融合的目的。
在这种方式中,不仅考虑了待处理超像素区域的第一字典特征,还结合了相邻超像素区域的第二字典特征,故基于此确定出的待处理超像素区域的字典特征也可以称为多尺度的字典特征。在实际应用中,第一字典特征和第二字典特征均可以是采用前述的稀疏字典特征,由此能够进一步降低对第一字典特征与第二字典特征进行融合时的计算量,简化融合过程。此时,确定出的待处理超像素区域的字典特征也可以称为多尺度的稀疏字典特征。
当待处理图像的待处理特征可以是在超像素区域这种粒度下确定的,待处理特征的特征类型可以是字典特征时,为了提高检测准确性,相应的,待处理图像的目标基准图像的基准特征和扩充特征也可以是在超像素区域这种粒度下确定的,以及基准特征的特征类型和扩充特征的特征类型也可以为字典特征。基于此,能够在相同粒度以及相同特征类型的调价下进行特征比对,得到的比对结果能够更为准确,有利于提高检测准确性。
对应的,本申请实施例还提供了如何构建扩充特征的一种实施方式,具体的:
可以理解的时候,构建扩充特征的步骤可以在获取扩充特征之前执行的,即,可以是在前述的获取目标基准图像的每个基准超像素区域的扩充特征之前执行的。在构建扩充特征的具体实施过程中,服务器可以首先对目标基准图像进行超像素分割,得到多个基准超像素区域。进而,针对多个基准超像素区域中每个基准超像素区域,服务器可以获取基准超像素区域内的多个第二像素。更进一步,针对每个第二像素,服务器可以将第二像素的视觉属性值转换为初始字典索引,该初始字典索引能够以字典索引的形式表示第一像素,而字典索引的形式更易于扩充,有利于扩充特征的构建,同时,在基于初始字典索引确定基准特征时,能够保证基准特征的特征类型是字典特征。接着,针对每个第二像素对应的初始字典索引,服务器可以对第二像素对应的初始字典索引进行扩充,得到第二像素对应的扩充字典索引,扩充字典索引能够作为初始字典索引的补充,以便于构建出具有更高特征兼容性的扩充特征。最后,服务器可以基于多个第二像素分别对应的初始字典索引和扩充字典索引构建基准超像素区域的扩充特征。基于此,在初始字典索引的基础上,补充了扩充字典索引,使得构建出的扩充特征能够具有更高的特征兼容性。
完成扩充后,针对每个待处理超像素区域,判断待处理超像素区域在目标基准图像中是否匹配到基准超像素区域的方式可以是判断基准超像素区域的扩充特征(包括初始字典索引和扩充字典索引)中是否全部包含待处理超像素区域的字典特征中的所有字典索引。若没有全部包含,表明未匹配到基准超像素区域,可以认为待处理超像素区域与基准超像素区域之间存在差异,从而确定待处理超像素区域存在异常。比如,在目标基准图像包括三帧图像的情况下,如果三帧图像中都没有找到能够完全包含待处理超像素区域的字典特征中的所有字典索引的基准超像素区域,则说明没有可以匹配的基准超像素区域,此时可以确定待处理超像素区域存在异常。
需要说明的是,在构建扩充特征的具体实施过程中,针对如何对目标基准图像进行超像素分割的方式、如何获取基准超像素区域内的多个第二像素的方式以及如何基于多个第二像素分别对应的初始字典索引和扩充字典索引构建基准超像素区域的扩充特征的方式,分别与前述的对待处理图像进行超像素分割的方式、获取待处理超像素区域内的多个第一像素的方式以及基于待处理超像素区域内多个第一像素分别对应的字典索引构建待处理超像素区域的字典特征的方式类似,具体可以参见前述介绍,此处不再赘述。
为了便于理解如何对第二像素对应的初始字典索引进行扩充以确定第二像素对应的扩充字典索引,本申请实施例仍以视觉属性为颜色为例进行说明,具体的:
首先,服务器可以先确定第二像素对应的初始字典索引。具体的,当视觉属性为颜色时,第二像素的视觉属性值可以为颜色值,该颜色值可以由多个颜色通道分别对应的颜色值组成。进而,针对每个颜色通道,服务器可以对第二像素在颜色通道的颜色值进行量化得到第二像素在颜色通道的初始量化索引。然后,服务器可以将第二像素在各个颜色通道的初始量化索引进行融合得到第二像素对应的初始字典索引。可以理解的是,对于如何确定第二像素的初始字典索引的方式,与前述的确定第一像素对应的字典索引的方式类似,具体可以参见前述介绍,此处不再赘述。
进一步,服务器可以对初始字典索引对应的初始量化索引进行偏移处理,以此达到扩充的目的,确定出扩充字典索引。具体的,针对一个初始字典索引中每个颜色通道对应的初始量化索引,服务器可以首先对颜色通道的初始量化索引进行第一预设步长的左偏移处理,以及对颜色通道的初始量化索引进行第二预设步长的右偏移处理。即,在实际应用中,前述的偏移处理可以包括第一预设步长的左偏移处理和第二预设步长的右偏移处理,通常情况中,可以将第一预设步长和第二预设步长设置为相同的,基于此,能够实现对初始量化索引进行对称的偏移。进而,服务器可以利用各个颜色通道的初始量化索引和偏移后的量化索引计算第二像素对应的扩充字典索引。基于此,通过对初始量化索引进行左偏移处理以及右偏移处理,实现扩充的目的。确定出的扩充字典索引能够作为确定扩充特征时的补充,有利于提高扩充特征的特征兼容性。
为了更好地理解偏移处理,本申请实施例仍以待处理图像是游戏皮肤展示过程中的图像为例,此时的一张待处理图像可以认为是针对某一游戏角色的游戏皮肤的一帧图像,具体可以是测试阶段的游戏皮肤展示页面,相应的,目标基准图像可以是基准的游戏皮肤展示页面。在实际的游戏皮肤展示过程中,尤其是在皮肤显示大厅进行展示时,会展示有游戏皮肤的随机动画或特效。然而,实际应用中,通常客观地存在帧率波动以及随机动画或特效的干扰,使得测试的游戏皮肤展示页面难以与基准的游戏皮肤展示页面完全对齐。在不完全对齐的情况下,即使同一个游戏角色的同一游戏皮肤的同一部位的视觉属性值也会存在一些偏差。通过对初始量化索引进行左偏移处理以及右偏移处理之后,相当于每个颜色通道的量化索引可能的取值范围变大(该取值范围不越界,以量化数量为20为例,取值范围可以是不小于0且不大于19),能够达到扩充的目的,从而有利于后续构建具有更高特征兼容性的扩充特征,使得针对不完全对齐的情况,仍能具有较高的检测准确性。
具体的,以颜色通道包括红色通道、绿色通道以及蓝色通道这三个颜色通道、量化数量为20、第一预设步长和第二预设步长相同且均为1为例,对前述的偏移处理进行说明,具体如下:
假设一个第二像素的初始量化索引为(1,3,4),即,红色通道的初始量化索引为1、绿色通道的初始量化索引为3、蓝色通道的初始量化索引为4。针对红色通道,对初始量化索引1进行左偏移处理1后得到0、以及进行右偏移处理1后得到2。针对绿色通道,对初始量化索引为3进行左边左偏移处理1后得到2、以及进行右偏移处理1后得到4。针对蓝色通道,对初始量化索引为4进行左边左偏移处理1后得到3、以及进行右偏移处理1后得到5。如此,每个颜色通道的量化索引可能的取值范围从原来的只能取固定的一个值,变成可以取三个值,故可以认为每个颜色通道的量化索引可能的取值个数变成从1个变成了3个,实现扩充的目的。同时,对于三个颜色通道的情况,经过组合便可以总共有3*3*3=27个量化索引,这个27个量化索引可以包括原来的1个初始量化索引和扩充得到的26个偏移后的量化索引。基于此,对于每个第二像素而言,可以增加26个偏移后的量化索引,相应的,在原来的初始字典索引的基础上,可以增加26个扩充字典索引,这26个扩充字典索引都可以加入对基准超像素区域的扩充特征的构建,由此提高扩充特征的特征兼容性。
对应于游戏场景,本申请实施例还提供一种图像处理流程,具体可以参见图3所示。图3示出了一种图像处理流程的示意图,具体可以包括S301-S304:
S301:遍历游戏角色的游戏皮肤,得到待处理图像。
在实际应用中,在游戏的皮肤显示大厅中可以展示有游戏角色的游戏皮肤,待处理图像可以是游戏皮肤展示过程中记录的图像。
为了确定待处理图像,可以针对测试版本的游戏,首先通过调用游戏控件函数自动进入皮肤显示大厅对应的页面,然后可以通过调用函数遍历游戏角色的游戏皮肤,每款游戏皮肤包含出场动画、旋转皮肤等不同的阶段状态。在遍历过程中,可以保存每帧图像,每帧图像可以包含游戏角色名称、游戏皮肤标识(Identity Document,ID)、阶段状态以及帧数(该帧数可以用于确定前述的排序位置)。在遍历完所有游戏皮肤后,可以结束,控制退出,并将本次记录下来的全部图像集合传输至服务器,便于服务器将全部图像集合中的任一图像作为待处理图像进行检测。例如,基于此确定出的待处理图像可以参见图4所示,图4示出了一种游戏场景中的待处理图像的示意图,在该待处理图像中,可以展示有游戏角色A的经典皮肤、游戏角色A的限定皮肤,以及展示有目前已穿戴的游戏皮肤,此外,还展示有背景元素。需要说明的是,图4示出的待处理图像是存在皮肤丢失的异常图像,对此,将在后续部分进行介绍。
可以理解的,若该游戏是在终端(例如智能手机)运行的,则S301也可以是利用终端执行的,故在完成遍历之后,可以从终端将本次记录下来的全部图像集合传输至服务器。
同样的,为了确定目标基准图像,可以针对基准版本的游戏,通过上述方式确定,此处不再赘述。其中,基准版本的游戏可以是不存在任何异常的,可以作为对测试版本的游戏进行检测的标准。其中,基准版本的游戏可以认为是不存在漏洞的,故可以用于提取目标基准图像。例如,基于此确定出的第一基准图像可以参见图5所示,图5示出了一种游戏场景中的第一基准图像的示意图,在第一基准图像中,可以展示有游戏角色A的经典皮肤、游戏角色A的限定皮肤,以及展示有目前已穿戴的游戏皮肤,此外,还展示有背景元素。在实际应用,还可以获取第一基准图像相邻的第二基准图像,共同作为目标基准图像。
S302:针对待处理图像,提取多个待处理超像素区域。
S303:针对每个待处理超像素区域,提取待处理超像素区域对应的多尺度的稀疏字典特征。
针对待处理图像,可以提取多个处理超像素区域,进而针对每个待处理超像素区域,提取待处理超像素区域对应的多尺度的稀疏字典特征。基于此,能够在超像素区域这种更细粒度的情况下进行特征提取,能够兼容特征差异不太显著的情况。采用多尺度的稀疏字典特征,能够考虑相对空间位置关系,有利于提高检测准确性,同时,稀疏字典特征的形式能够降低计算量。也就是说,前述的待处理特征可以是稀疏字典特征。
针对目标基准图像,与针对待处理图像的处理类似,比如,也是在超像素区域这种更细粒度的情况下进行特征提取等。
S304:针对每个待处理超像素区域,将待处理超像素区域对应的多尺度的稀疏字典特征,与待处理超像素区域对应的基准超像素区域对应的多尺度的稀疏字典特征进行特征比对。
最后,可以针对每个待处理超像素区域,将待处理超像素区域对应的多尺度的稀疏字典特征,与待处理超像素区域对应的基准超像素区域对应的多尺度的稀疏字典特征进行特征比对,以便于确定待处理图像与目标基准图像之间的特征差异。
比如,以图4和图5为例,经过特征比对,能够检测出待处理图像与第一目标基准图像之间存在特征差异,具体可以是图4所示的待处理图像中矩形框所框选出的区域存在皮肤丢失,此时,可以将待处理图像作为异常图像。
在实际应用中,可以利用本申请实施例提供的图像处理方法解决如何检测游戏的皮肤显示大厅的出现异常的展示画面(即异常图像)。在具体的检测过程中,本申请提供的图像处理方法能够基于超像素分割以及多尺度的稀疏字典特征进行,对游戏场景中的随机动画或特效不太敏感,能够兼容随机动画或特效的干扰等不完全对齐的情况,从而提高游戏场景中的异常图像检测准确性。
需要说明的是,本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
基于图2对应实施例提供的图像处理方法,本申请实施例还提供一种图像处理装置600,所述图像处理装置600包括获取单元601、提取单元602、比对单元603和确定单元604:
所述获取单元601,用于获取待处理图像;
所述提取单元602,用于对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征;
所述获取单元601,还用于获取所述待处理图像对应的目标基准图像的扩充特征,所述扩充特征是对所述目标基准图像的基准特征进行扩充得到的,所述目标基准图像的基准特征是对所述目标基准图像进行特征提取得到的;
所述比对单元603,用于根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异;
所述确定单元604,用于若所述特征差异满足预设条件,确定所述待处理图像为目标图像。
在一种可能的实现方式中,所述提取单元还用于:
对所述待处理图像进行超像素分割,得到多个待处理超像素区域;
针对所述多个待处理超像素区域中的每个待处理超像素区域,基于所述待处理超像素区域进行特征提取,得到所述待处理超像素区域的待处理特征,所述多个待处理超像素区域分别对应的待处理特征构成所述待处理图像的待处理特征;
所述获取单元,还用于:
获取所述目标基准图像的每个基准超像素区域的扩充特征,多个基准超像素区域分别对应的扩充特征构成所述目标基准图像的扩充特征;
所述比对单元,还用于:
针对每个待处理超像素区域,根据所述待处理超像素区域的待处理特征与所述待处理超像素区域对应的基准超像素区域的扩充特征进行特征比对,得到所述待处理超像素区域的比对结果;
根据多个所述待处理超像素区域的比对结果,确定所述待处理图像和所述目标基准图像之间的特征差异;
所述确定单元,还用于:
若所述特征差异指示存在待处理超像素区域在所述目标基准图像中未匹配到基准超像素区域,确定所述待处理图像为目标图像。
在一种可能的实现方式中,所述待处理特征的特征类型为字典特征,所述提取单元还用于:
获取所述待处理超像素区域内的多个第一像素;
针对每个第一像素,将所述第一像素的视觉属性值转换为字典索引;
基于所述待处理超像素区域内所述多个第一像素分别对应的字典索引,构建所述待处理超像素区域的字典特征。
在一种可能的实现方式中,所述提取单元还用于:
根据视觉属性值的量化数量获取量化区间;
按照所述量化区间对所述第一像素的视觉属性值进行量化,得到所述第一像素对应的字典索引。
在一种可能的实现方式中,所述视觉属性值为颜色值,所述颜色值由多个颜色通道分别对应的颜色值组成,所述提取单元还用于:
针对不同的颜色通道,根据所述颜色通道对应的视觉属性值的量化数量获取所述颜色通道的量化区间;
针对每个颜色通道,按照所述颜色通道的量化区间,对所述第一像素在所述颜色通道的颜色值进行量化得到所述第一像素在所述颜色通道的量化索引;
将所述第一像素在各个颜色通道的量化索引进行融合得到所述第一像素对应的字典索引。
在一种可能的实现方式中,所述提取单元还用于:
统计所述待处理超像素区域内每个字典索引的出现次数;
去除出现次数低于预设次数阈值的字典索引,得到所述待处理超像素区域的字典特征。
在一种可能的实现方式中,所述提取单元还用于:
基于所述待处理超像素区域内所述多个第一像素分别对应的字典索引,确定第一字典特征;
获取所述待处理超像素区域的相邻超像素区域,并确定所述相邻超像素区域的第二字典特征;
将所述第一字典特征与所述第二字典特征进行融合得到所述待处理超像素区域的字典特征。
在一种可能的实现方式中,所述基准特征的特征类型和所述扩充特征的特征类型为字典特征,所述确定单元还用于:
对所述目标基准图像进行超像素分割,得到多个基准超像素区域;
针对所述多个基准超像素区域中每个基准超像素区域,获取所述基准超像素区域内的多个第二像素;
针对每个第二像素,将所述第二像素的视觉属性值转换为初始字典索引;
针对每个第二像素对应的初始字典索引,对所述第二像素对应的初始字典索引进行扩充,得到所述第二像素对应的扩充字典索引;
基于所述多个第二像素分别对应的初始字典索引和扩充字典索引构建所述基准超像素区域的扩充特征。
在一种可能的实现方式中,若所述第二像素的视觉属性值为颜色值,所述颜色值由多个颜色通道分别对应的颜色值组成,所述确定单元还用于:
针对每个颜色通道,对所述第二像素在所述颜色通道的颜色值进行量化得到所述第二像素在所述颜色通道的初始量化索引;
将所述第二像素在各个颜色通道的初始量化索引进行融合得到所述第二像素对应的初始字典索引;
针对一个初始字典索引中每个颜色通道对应的初始量化索引,对所述颜色通道的初始量化索引进行第一预设步长的左偏移处理,以及对所述颜色通道的初始量化索引进行第二预设步长的右偏移处理;
利用各个颜色通道的初始量化索引和偏移后的量化索引计算所述第二像素对应的扩充字典索引。
在一种可能的实现方式中,所述待处理图像是游戏皮肤展示过程中记录的测试图像序列中的图像,所述确定单元还用于:
根据所述待处理图像在所述测试图像序列中的排序位置,从基准图像序列中获取与所述待处理图像的排序位置相同的第一基准图像;
从所述基准图像序列中获取与所述第一基准图像相邻的第二基准图像;
将所述第一基准图像和所述第二基准图像作为所述目标基准图像。
在一种可能的实现方式中,所述确定单元还用于:
确定所述待处理超像素区域的中心位置;
在所述目标基准图像中确定以所述中心位置为中心的预设像素范围;
将位于所述预设像素范围内的基准超像素区域确定为所述待处理超像素区域对应的基准超像素区域。
在一种可能的实现方式中,所述确定单元还用于:
对所述待处理图像进行边缘提取;
根据提取到的边缘确定所述待处理图像中的连通区域;
将所述连通区域确定为所述待处理超像素区域。
由上述技术方案可以看出,针对获取到的待处理图像,可以首先对其进行特征提取,得到待处理图像的待处理特征,该待处理特征能够表征实际状态下的图像情况,以及获取待处理图像对应的目标基准图像的扩充特征。其中,目标基准图像可以是指待处理图像在理想状态下的图像,目标基准图像是不存在任何异常的,可以将其作为检测待处理图像是否存在异常的标准。目标基准图像的基准特征是对目标基准图像进行特征提取得到的,该基准特征能够表征理想状态下的图像情况,对基准特征进行扩充得到的扩充特征仍能表征理想状态下的图像情况。因此,可以根据待处理特征与扩充特征进行特征比对,得到待处理图像和目标基准图像之间的特征差异,该特征差异能够表征实际状态下的图像情况与理想状态下的图像情况之间的差异,可以用于检测待处理图像是否是目标图像。最后,在特征差异满足预设条件时,可以确定待处理图像为目标图像,基于此,完成对待处理图像是否是目标图像的检测。由于在特征比对的过程中,利用的是目标基准图像的扩充特征,而扩充特征是对基准特征进行扩充得到的,相较于基准特征具有更高的特征兼容性,如此一来,能够兼容待处理图像和目标基准图像存在一定偏差的情况,可以降低对对齐效果的要求,针对存在偏差的情况仍具有较高的检测准确性。同时,本申请提供的是一种基于待处理图像的待处理特征与目标基准图像的扩充特征的直接检测方式,无需训练异常检测模型,也无需人工标记大规模的数据库,因此,可以降低成本。
本申请实施例还提供了一种计算机设备,该计算机设备可以执行异常阵容检测方法。该计算机设备例如可以是终端,以终端为智能手机为例:
图7示出的是与本申请实施例提供的智能手机的部分结构的框图。参考图7,智能手机包括:射频(英文全称:Radio Frequency,英文缩写:RF)电路710、存储器720、输入单元730、显示单元740、传感器750、音频电路760、无线保真(英文缩写:WiFi)模块770、处理器780、以及电源790等部件。输入单元730可包括触控面板731以及其他输入设备732,显示单元740可包括显示面板741,音频电路760可以包括扬声器761和传声器762。可以理解的是,图7中示出的智能手机结构并不构成对智能手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储器720可用于存储软件程序以及模块,处理器780通过运行存储在存储器720的软件程序以及模块,从而执行智能手机的各种功能应用以及数据处理。存储器720可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据智能手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器780是智能手机的控制中心,利用各种接口和线路连接整个智能手机的各个部分,通过运行或执行存储在存储器720内的软件程序和/或模块,以及调用存储在存储器720内的数据,执行智能手机的各种功能和处理数据。可选的,处理器780可包括一个或多个处理单元;优选的,处理器780可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器780中。
在本实施例中,上述由智能手机中的处理器780执行的步骤可以基于图7所示的结构实现。
本申请实施例提供的计算机设备还可以是服务器,请参见图8所示,图8为本申请实施例提供的服务器800的结构图,服务器800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器,例如中央处理器(Central Processing Units,简称CPU)822,以及存储器832,一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器822可以设置为与存储介质830通信,在服务器800上执行存储介质830中的一系列指令操作。
服务器800还可以包括一个或一个以上电源826,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口858,和/或,一个或一个以上操作***841,例如Windows Server,Mac OS X,Unix, Linux,FreeBSD等等。
在本实施例中,服务器800中的中央处理器822可以执行以下步骤:
获取待处理图像;
对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征;
获取所述待处理图像对应的目标基准图像的扩充特征,所述扩充特征是对所述目标基准图像的基准特征进行扩充得到的,所述目标基准图像的基准特征是对所述目标基准图像进行特征提取得到的;
根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异;
若所述特征差异满足预设条件,确定所述待处理图像为目标图像。
根据本申请的一个方面,提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行前述各个实施例所述的图像处理方法。
根据本申请的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述实施例各种可选实现方式中提供的方法。
上述各个附图对应的流程或结构的描述各有侧重,某个流程或结构中没有详述的部分,可以参见其他流程或结构的相关描述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请所提供的几个实施例中,应该理解到,所揭露的***,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储计算机程序的介质。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术成员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像;
对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征;
对所述待处理图像对应的目标基准图像进行超像素分割,得到多个基准超像素区域;
针对所述多个基准超像素区域中每个基准超像素区域,获取所述基准超像素区域内的多个第二像素;
针对每个第二像素,将所述第二像素的视觉属性值转换为初始字典索引;
针对每个第二像素对应的初始字典索引,对所述初始字典索引对应的初始量化索引进行偏移处理,得到所述第二像素对应的扩充字典索引,使得所述扩充字典索引对应的量化索引的取值范围大于所述初始字典索引对应的初始量化索引的取值范围;
基于所述多个第二像素分别对应的初始字典索引和扩充字典索引,构建所述基准超像素区域的扩充特征;
获取所述目标基准图像的每个基准超像素区域的扩充特征,所述多个基准超像素区域分别对应的扩充特征构成所述目标基准图像的扩充特征;所述目标基准图像的扩充特征的特征维度与所述待处理特征的特征维度相一致;
根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异;
若所述特征差异满足预设条件,确定所述待处理图像为目标图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征,包括:
对所述待处理图像进行超像素分割,得到多个待处理超像素区域;
针对所述多个待处理超像素区域中的每个待处理超像素区域,基于所述待处理超像素区域进行特征提取,得到所述待处理超像素区域的待处理特征,所述多个待处理超像素区域分别对应的待处理特征构成所述待处理图像的待处理特征;
所述根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异,包括:
针对每个待处理超像素区域,根据所述待处理超像素区域的待处理特征与所述待处理超像素区域对应的基准超像素区域的扩充特征进行特征比对,得到所述待处理超像素区域的比对结果;
根据多个所述待处理超像素区域的比对结果,确定所述待处理图像和所述目标基准图像之间的特征差异;
所述若所述特征差异满足预设条件,确定所述待处理图像为目标图像,包括:
若所述特征差异指示存在待处理超像素区域在所述目标基准图像中未匹配到基准超像素区域,确定所述待处理图像为目标图像。
3.根据权利要求2所述的方法,其特征在于,所述待处理特征的特征类型为字典特征,所述基于所述待处理超像素区域进行特征提取,得到所述待处理超像素区域的待处理特征,包括:
获取所述待处理超像素区域内的多个第一像素;
针对每个第一像素,将所述第一像素的视觉属性值转换为字典索引;
基于所述待处理超像素区域内所述多个第一像素分别对应的字典索引,构建所述待处理超像素区域的字典特征。
4.根据权利要求3所述的方法,其特征在于,所述将所述第一像素的视觉属性值转换为字典索引,包括:
根据视觉属性值的量化数量获取量化区间;
按照所述量化区间对所述第一像素的视觉属性值进行量化,得到所述第一像素对应的字典索引。
5.根据权利要求4所述的方法,其特征在于,所述视觉属性值为颜色值,所述颜色值由多个颜色通道分别对应的颜色值组成,所述根据视觉属性值的量化数量获取量化区间,包括:
针对不同的颜色通道,根据所述颜色通道对应的视觉属性值的量化数量获取所述颜色通道的量化区间;
所述按照所述量化区间对所述第一像素的视觉属性值进行量化,得到所述第一像素对应的字典索引,包括:
针对每个颜色通道,按照所述颜色通道的量化区间,对所述第一像素在所述颜色通道的颜色值进行量化得到所述第一像素在所述颜色通道的量化索引;
将所述第一像素在各个颜色通道的量化索引进行融合得到所述第一像素对应的字典索引。
6.根据权利要求3所述的方法,其特征在于,所述基于所述待处理超像素区域内所述多个第一像素分别对应的字典索引,构建所述待处理超像素区域的字典特征,包括:
统计所述待处理超像素区域内每个字典索引的出现次数;
去除出现次数低于预设次数阈值的字典索引,得到所述待处理超像素区域的字典特征。
7.根据权利要求3所述的方法,其特征在于,所述基于所述待处理超像素区域内所述多个第一像素分别对应的字典索引,构建所述待处理超像素区域的字典特征,包括:
基于所述待处理超像素区域内所述多个第一像素分别对应的字典索引,确定第一字典特征;
获取所述待处理超像素区域的相邻超像素区域,并确定所述相邻超像素区域的第二字典特征;
将所述第一字典特征与所述第二字典特征进行融合得到所述待处理超像素区域的字典特征。
8.根据权利要求1-7任一项所述的方法,其特征在于,若所述第二像素的视觉属性值为颜色值,所述颜色值由多个颜色通道分别对应的颜色值组成,所述将所述第二像素的视觉属性值转换为初始字典索引,包括:
针对每个颜色通道,对所述第二像素在所述颜色通道的颜色值进行量化得到所述第二像素在所述颜色通道的初始量化索引;
将所述第二像素在各个颜色通道的初始量化索引进行融合得到所述第二像素对应的初始字典索引;
所述对所述初始字典索引对应的初始量化索引进行偏移处理,得到所述第二像素对应的扩充字典索引,包括:
针对一个初始字典索引中每个颜色通道对应的初始量化索引,对所述颜色通道的初始量化索引进行第一预设步长的左偏移处理,以及对所述颜色通道的初始量化索引进行第二预设步长的右偏移处理;
利用各个颜色通道的初始量化索引和偏移后的量化索引,计算所述第二像素对应的扩充字典索引。
9.根据权利要求1-7任一项所述的方法,其特征在于,所述待处理图像是游戏皮肤展示过程中记录的测试图像序列中的图像,在所述对所述待处理图像对应的目标基准图像进行超像素分割,得到多个基准超像素区域之前,所述方法还包括:
根据所述待处理图像在所述测试图像序列中的排序位置,从基准图像序列中获取与所述待处理图像的排序位置相同的第一基准图像;
从所述基准图像序列中获取与所述第一基准图像相邻的第二基准图像;
将所述第一基准图像和所述第二基准图像作为所述目标基准图像。
10.根据权利要求2-7任一项所述的方法,其特征在于,在所述根据所述待处理超像素区域的待处理特征与所述待处理超像素区域对应的基准超像素区域的扩充特征进行特征比对,得到所述待处理超像素区域的比对结果之前,所述方法还包括:
确定所述待处理超像素区域的中心位置;
在所述目标基准图像中确定以所述中心位置为中心的预设像素范围;
将位于所述预设像素范围内的基准超像素区域确定为所述待处理超像素区域对应的基准超像素区域。
11.根据权利要求2-7任一项所述的方法,其特征在于,所述对所述待处理图像进行超像素分割,得到多个待处理超像素区域,包括:
对所述待处理图像进行边缘提取;
根据提取到的边缘确定所述待处理图像中的连通区域;
将所述连通区域确定为所述待处理超像素区域。
12.一种图像处理装置,其特征在于,所述装置包括获取单元、提取单元、比对单元和确定单元:
所述获取单元,用于获取待处理图像;
所述提取单元,用于对所述待处理图像进行特征提取,得到所述待处理图像的待处理特征;
所述确定单元,用于对所述待处理图像对应的目标基准图像进行超像素分割,得到多个基准超像素区域;针对所述多个基准超像素区域中每个基准超像素区域,获取所述基准超像素区域内的多个第二像素;针对每个第二像素,将所述第二像素的视觉属性值转换为初始字典索引;针对每个第二像素对应的初始字典索引,对所述初始字典索引对应的初始量化索引进行偏移处理,得到所述第二像素对应的扩充字典索引,使得所述扩充字典索引对应的量化索引的取值范围大于所述初始字典索引对应的初始量化索引的取值范围;基于所述多个第二像素分别对应的初始字典索引和扩充字典索引,构建所述基准超像素区域的扩充特征;
所述获取单元,还用于获取所述目标基准图像的每个基准超像素区域的扩充特征,所述多个基准超像素区域分别对应的扩充特征构成所述目标基准图像的扩充特征;所述目标基准图像的扩充特征的特征维度与所述待处理特征的特征维度相一致;
所述比对单元,用于根据所述待处理图像的待处理特征与所述目标基准图像的扩充特征进行特征比对,得到所述待处理图像和所述目标基准图像之间的特征差异;
所述确定单元,还用于若所述特征差异满足预设条件,确定所述待处理图像为目标图像。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:
所述存储器用于存储计算机程序,并将所述计算机程序传输给所述处理器;
所述处理器用于根据所述计算机程序中的指令执行权利要求1-11任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序当被处理器执行时使所述处理器执行权利要求1-11任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310235014.0A CN115965848B (zh) | 2023-03-13 | 2023-03-13 | 一种图像处理方法和相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310235014.0A CN115965848B (zh) | 2023-03-13 | 2023-03-13 | 一种图像处理方法和相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115965848A CN115965848A (zh) | 2023-04-14 |
CN115965848B true CN115965848B (zh) | 2023-05-23 |
Family
ID=85890474
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310235014.0A Active CN115965848B (zh) | 2023-03-13 | 2023-03-13 | 一种图像处理方法和相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115965848B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102194133A (zh) * | 2011-07-05 | 2011-09-21 | 北京航空航天大学 | 基于数据聚类的适应性图像sift特征匹配方法 |
CN103310453A (zh) * | 2013-06-17 | 2013-09-18 | 北京理工大学 | 一种基于子图像角点特征的快速图像配准方法 |
CN111476780A (zh) * | 2020-04-07 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、电子设备以及存储介质 |
CN115526815A (zh) * | 2022-08-31 | 2022-12-27 | 深圳市汇顶科技股份有限公司 | 一种图像处理方法、装置及电子设备 |
CN115578399A (zh) * | 2021-06-17 | 2023-01-06 | 中移(成都)信息通信科技有限公司 | 一种图像处理方法及装置、存储介质 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103905746B (zh) * | 2012-12-28 | 2017-02-22 | 清华大学 | 亚像素级图像偏移定位及叠加方法和装置以及视频设备 |
CN103237168A (zh) * | 2013-04-02 | 2013-08-07 | 清华大学 | 一种基于综合增益的高动态范围图像视频处理方法 |
CN108139548B (zh) * | 2015-10-12 | 2020-11-20 | 3M创新有限公司 | 光学套管 |
CN107146245B (zh) * | 2017-05-05 | 2020-06-05 | 天津京东深拓机器人科技有限公司 | 图像匹配方法和装置 |
CN110163805B (zh) * | 2018-06-05 | 2022-12-20 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置和存储介质 |
CN110060238B (zh) * | 2019-04-01 | 2022-04-19 | 桂林电子科技大学 | 基于深度学习的pcb板标注印刷质量检测方法 |
CN114187333A (zh) * | 2020-09-14 | 2022-03-15 | Tcl科技集团股份有限公司 | 一种图像对齐方法、图像对齐装置及终端设备 |
CN113344794B (zh) * | 2021-08-04 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、计算机设备及存储介质 |
US11900552B2 (en) * | 2021-08-16 | 2024-02-13 | Perfectfit Systems Private Limited | System and method for generating virtual pseudo 3D outputs from images |
CN113810715B (zh) * | 2021-08-18 | 2024-04-05 | 南京航空航天大学 | 一种基于空洞卷积神经网络的视频压缩参考图像生成方法 |
CN113963303A (zh) * | 2021-11-11 | 2022-01-21 | 百果园技术(新加坡)有限公司 | 图像处理方法、视频识别方法、装置、设备及存储介质 |
CN114951976A (zh) * | 2022-04-15 | 2022-08-30 | 深圳华工新能源装备有限公司 | 一种激光加工方法和*** |
-
2023
- 2023-03-13 CN CN202310235014.0A patent/CN115965848B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102194133A (zh) * | 2011-07-05 | 2011-09-21 | 北京航空航天大学 | 基于数据聚类的适应性图像sift特征匹配方法 |
CN103310453A (zh) * | 2013-06-17 | 2013-09-18 | 北京理工大学 | 一种基于子图像角点特征的快速图像配准方法 |
CN111476780A (zh) * | 2020-04-07 | 2020-07-31 | 腾讯科技(深圳)有限公司 | 一种图像检测方法、装置、电子设备以及存储介质 |
CN115578399A (zh) * | 2021-06-17 | 2023-01-06 | 中移(成都)信息通信科技有限公司 | 一种图像处理方法及装置、存储介质 |
CN115526815A (zh) * | 2022-08-31 | 2022-12-27 | 深圳市汇顶科技股份有限公司 | 一种图像处理方法、装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115965848A (zh) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110544258B (zh) | 图像分割的方法、装置、电子设备和存储介质 | |
CN111488756B (zh) | 基于面部识别的活体检测的方法、电子设备和存储介质 | |
CN107636589B (zh) | 用于减少多个限界区的***和方法 | |
CN112052186B (zh) | 目标检测方法、装置、设备以及存储介质 | |
US9305208B2 (en) | System and method for recognizing offensive images | |
CN104408429A (zh) | 一种视频代表帧提取方法及装置 | |
CN112633313B (zh) | 一种网络终端的不良信息识别方法及局域网终端设备 | |
CN112348765A (zh) | 数据增强方法、装置、计算机可读存储介质及终端设备 | |
US10262220B1 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
CN111739027A (zh) | 一种图像处理方法、装置、设备及可读存储介质 | |
CN113449639A (zh) | 一种物联网网关对仪表的无接触数据采集方法 | |
CN111127358B (zh) | 图像处理方法、装置及存储介质 | |
CN114066823A (zh) | 检测色块的方法及其相关产品 | |
CN111738310B (zh) | 物料分类方法、装置、电子设备和存储介质 | |
CN109977738A (zh) | 一种视频场景分割判断方法、智能终端及存储介质 | |
US11341759B2 (en) | Image classification using color profiles | |
CN115063800B (zh) | 文本识别方法和电子设备 | |
CN115965848B (zh) | 一种图像处理方法和相关装置 | |
CN114449362B (zh) | 视频封面的选取方法、装置、设备及存储介质 | |
CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN114463168A (zh) | 数据脱敏处理的方法、装置和电子设备 | |
CN113298753A (zh) | 敏感肌的检测方法、图像处理方法、装置及设备 | |
CN108133210B (zh) | 一种图像格式识别方法及装置 | |
WO2015117464A1 (zh) | 一种视频图像处理装置和方法 | |
CN112511890A (zh) | 视频图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40084974 Country of ref document: HK |