CN108229535A - 涉黄图像审核方法、装置、计算机设备及存储介质 - Google Patents
涉黄图像审核方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN108229535A CN108229535A CN201711249233.5A CN201711249233A CN108229535A CN 108229535 A CN108229535 A CN 108229535A CN 201711249233 A CN201711249233 A CN 201711249233A CN 108229535 A CN108229535 A CN 108229535A
- Authority
- CN
- China
- Prior art keywords
- yellow
- classification
- relates
- relate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了涉黄图像审核方法、装置、计算机设备及存储介质,其中方法包括:获取待处理的图像;将待处理的图像输入给预先训练得到的判别模型;获取判别模型输出的待处理的图像是否涉黄的判定结果,所述判定结果为判别模型在获取到待处理的图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。应用本发明所述方案,能够提高审核效率等。
Description
【技术领域】
本发明涉及计算机应用技术,特别涉及涉黄图像审核方法、装置、计算机设备及存储介质。
【背景技术】
一切涉及原创内容(UGC)的互联网公司,按照国家有关规定,都需要进行涉黄图像的审核,并对涉黄图像进行过滤等。
现有的涉黄图像审核方式主要为:利用一个训练出的图像分类器,将图像分为色情和正常两个类别,图像分类器的输入为一幅图像,输出为色情和正常两个类别的得分,取得分高者作为图像的判定类别。
在实际应用中,不同的应用场景下,对于涉黄图像的定义(审核标准)是不同的。比如,某些应用场景中,会认为女性吃香蕉是暗示性的动作,从而不允许在图像中出现,而对于一些审核标准相对宽松的应用场景,则允许在图像中出现上述内容。
那么,按照现有处理方式,则需要针对不同的应用场景,分别训练对应的图像分类器,从而增大了工作量,降低了审核效率。
【发明内容】
有鉴于此,本发明提供了涉黄图像审核方法、装置、计算机设备及存储介质,能够提高审核效率。
具体技术方案如下:
一种涉黄图像审核方法,包括:
获取待处理的图像;
将所述图像输入给预先训练得到的判别模型;
获取所述判别模型输出的所述图像是否涉黄的判定结果,所述判定结果为所述判别模型在获取到所述图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。
根据本发明一优选实施例,所述判别模型包括:神经网络模型。
根据本发明一优选实施例,所述获取待处理的图像之前,进一步包括:
获取作为训练样本的图像,并分别获取每个训练样本对应的标签,所述标签包括:所属的涉黄类别;
根据各训练样本及对应的标签训练得到所述判别模型。
根据本发明一优选实施例,所述涉黄类别分为必选类别和可选类别;
所述必选类别为用户必需选择的涉黄类别,所述可选类别为允许用户选择或不选的涉黄类别。
根据本发明一优选实施例,若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则所述判定结果为所述图像涉黄,否则,所述判定结果为所述图像未涉黄。
根据本发明一优选实施例,该方法进一步包括:
当判定结果为所述图像涉黄时,获取所述判别模型输出的作为涉黄原因的涉黄类别信息。
根据本发明一优选实施例,所述作为涉黄原因的涉黄类别包括:
用户选定的涉黄类别中概率值最大的涉黄类别。
一种涉黄图像审核装置,包括:获取单元以及审核单元;
所述获取单元,用于获取待处理的图像;
所述审核单元,用于将所述图像输入给预先训练得到的判别模型,获取所述判别模型输出的所述图像是否涉黄的判定结果,所述判定结果为所述判别模型在获取到所述图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。
根据本发明一优选实施例,所述判别模型包括:神经网络模型。
根据本发明一优选实施例,所述装置中进一步包括:预处理单元;
所述预处理单元,用于获取作为训练样本的图像,并分别获取每个训练样本对应的标签,所述标签包括:所属的涉黄类别,根据各训练样本及对应的标签训练得到所述判别模型。
根据本发明一优选实施例,所述涉黄类别分为必选类别和可选类别;
所述必选类别为用户必需选择的涉黄类别,所述可选类别为允许用户选择或不选的涉黄类别。
根据本发明一优选实施例,若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则所述判定结果为所述图像涉黄,否则,所述判定结果为所述图像未涉黄。
根据本发明一优选实施例,所述审核单元进一步用于,当判定结果为所述图像涉黄时,获取所述判别模型输出的作为涉黄原因的涉黄类别信息。
根据本发明一优选实施例,所述作为涉黄原因的涉黄类别包括:
用户选定的涉黄类别中概率值最大的涉黄类别。
一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出,采用本发明所述方案,在获取到待处理的图像后,可将待处理的图像输入给预先训练得到的判别模型,并获取判别模型输出的待处理的图像是否涉黄的判定结果,所述判定结果为判别模型在获取到待处理的图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的,相比于现有技术,本发明所述方案中可根据实际需要灵活调整选定的涉黄类别,从而可适用于各种不同的应用场景,进而减少了工作量,提高了审核效率。
【附图说明】
图1为本发明所述涉黄图像审核方法第一实施例的流程图。
图2为本发明所述涉黄图像审核方法第二实施例的流程图。
图3为本发明所述涉黄图像审核装置实施例的组成结构示意图。
图4示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。
【具体实施方式】
针对现有技术中存在的问题,本发明中提出一种涉黄图像审核方式,能够根据用户的需求配置,动态地调整审核标准。
为了使本发明的技术方案更加清楚、明白,以下参照附图并举实施例,对本发明所述方案进行进一步说明。
显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
图1为本发明所述涉黄图像审核方法第一实施例的流程图。如图1所示,包括以下具体实现方式。
在101中,获取待处理的图像。
在102中,将待处理的图像输入给预先训练得到的判别模型。
在103中,获取判别模型输出的待处理的图像是否涉黄的判定结果,所述判定结果为判别模型在获取到待处理的图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。
可以看出,本实施例中,基于判别模型来进行涉黄图像审核,判别模型为预先训练得到的。较佳地,判别模型可为神经网络模型。
为此,需要获取作为训练样本的图像,并分别获取每个训练样本对应的标签,该标签为细粒度标签,可包括:所属的涉黄类别。
比如,可从互联网上采集作为训练样本的图像,并获取人工标注的每个训练样本对应的标签,通常,标签中包括的所属的涉黄类别的个数为一,这个涉黄类别可为图像中呈现出的最为严重、最为明显的涉黄类别。
涉黄类别可包括:实质性行为、敏感部位裸露、SM、性用品及性玩具、模拟***姿势及行为、接吻、拥抱、女性衣着暴露、男性衣着暴露、情趣内衣、人体隐私部位偷拍、性暗示及性挑逗、正常等,具体包括哪些类别可根据实际需要而定。
可根据各训练样本及对应的标签,训练得到判别模型如神经网络模型。其中,针对输入的图像及对应的标签,可计算对已有神经网络参数的梯度,并利用神经网络训练常用的梯度下降法,进行参数更新,直到网络收敛。
训练得到判别模型之后,即可进行实际的涉黄图像审核。
另外,还可进行服务配置,在服务配置过程中,用户可选定针对哪个/哪些涉黄类别对图像进行涉黄审核。
涉黄类别可分为必选类别和可选类别。其中,必选类别为用户必需选择的涉黄类别,可选类别为允许用户选择或不选的涉黄类别。
比如,实质性行为可为必选类别,其它涉黄类别如性暗示及性挑逗、性用品及性玩具等可为可选类别,用户可根据实际需要从可选类别中选定一个或多个涉黄类别,也可不进行选择。
判别模型获取输入的待处理的图像,并获取用户选定的涉黄类别信息,针对待处理的图像,可首先获取待处理的图像分别属于每个涉黄类别的概率值,所述概率值可为0~1之间的任意值,之后,可通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值,得到待处理的图像是否涉黄的判定结果。
具体地,可分别计算用户选定的涉黄类别的概率值相加之和以及用户未选定的涉黄类别的概率值相加之和,并将两个计算结果进行比较,若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则可判定待处理的图像涉黄,否则,判定待处理的图像未涉黄。
上述过程可举例说明如下:
假设共存在10个涉黄类别,分别为涉黄类别1~涉黄类别10,其中,用户选定的涉黄类别为涉黄类别1、涉黄类别3和涉黄类别6。
分别获取待处理的图像属于涉黄类别1的概率值1、待处理的图像属于涉黄类别2的概率值2、待处理的图像属于涉黄类别3的概率值3、…、待处理的图像属于涉黄类别9的概率值9以及待处理的图像属于涉黄类别10的概率值10。
之后,计算概率值1、概率值3和概率值6的相加之和,得到第一相加结果,并计算概率值2、概率值4、概率值5、概率值7、概率值8、概率值9和概率值10的相加之和,得到第二相加结果。
若第一相加结果大于第二相加结果,那么则可判定待处理的图像涉黄,否则,可判定待处理的图像未涉黄。
另外,现有技术中,当一幅图像被判定为涉黄图像之后,用户是无法知道是由于什么原因导致图像被判定为涉黄图像的,如是因为出现了漏点等硬性问题,还是因为图像中出现了性玩具等导致的图像无法过审,这些对用户并不透明。
而本实施例中,当判定结果为待处理的图像涉黄时,还可获取判别模型输出的作为涉黄原因的涉黄类别信息,即判别模型在输出判别结果时,若判别结果为待处理的图像涉黄,那么还可同时输出涉黄原因。
比如,可将用户选定的涉黄类别中概率值最大的涉黄类别作为涉黄原因输出,从而使用户能够及时准确地了解到图像未过审的原因。
参照上述举例,假设用户选定的涉黄类别为涉黄类别1、涉黄类别3和涉黄类别6,对应的概率值分别为概率值1、概率值3和概率值6,其中概率值3的取值最大,那么当判定结果为待处理的图像涉黄时,可将涉黄类别3作为涉黄原因输出。
基于上述介绍,图2为本发明所述涉黄图像审核方法第二实施例的流程图。如图2所示,包括以下具体实现方式。
在201中,获取作为训练样本的图像,并分别获取每个训练样本对应的标签,所述标签包括:所属的涉黄类别。
比如,可从互联网上采集作为训练样本的图像,并获取人工标注的每个训练样本对应的标签,通常,标签中包括的所属的涉黄类别的个数为一,这个涉黄类别可为图像中呈现出的最为严重、最为明显的涉黄类别。
涉黄类别可包括:实质性行为、敏感部位裸露、SM、性用品及性玩具、模拟***姿势及行为、接吻、拥抱、女性衣着暴露、男性衣着暴露、情趣内衣、人体隐私部位偷拍、性暗示及性挑逗、正常等。
在202中,根据各训练样本及对应的标签训练得到神经网络模型。
针对输入的图像及对应的标签,可计算对已有神经网络参数的梯度,并利用神经网络训练常用的梯度下降法,进行参数更新,直到网络收敛。
神经网络模型可为多任务输出卷积神经网络模型。
在203中,获取用户选定的涉黄类别及待处理的图像。
涉黄类别可分为必选类别和可选类别,必选类别为用户必需选择的涉黄类别,可选类别为允许用户选择或不选的涉黄类别。
在204中,将待处理的图像及用户选定的涉黄类别输入给神经网络模型。
在205中,获取神经网络模型根据用户选定的涉黄类别对待处理的图像进行涉黄审核后输出的待处理的图像是否涉黄的判定结果,若判定结果为涉黄,同时获取神经网络模型输出的作为涉黄原因的涉黄类别信息。
对于神经网络模型来说,针对待处理的图像,可依次进行以下处理:
1)获取待处理的图像分别属于每个涉黄类别的概率值;
2)分别计算用户选定的涉黄类别的概率值相加之和以及用户未选定的涉黄类别的概率值相加之和,并将两个计算结果进行比较,若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则可判定待处理的图像涉黄,否则,判定待处理的图像未涉黄;
3)若判定结果为涉黄,则选出用户选定的涉黄类别中概率值最大的涉黄类别,将选出的涉黄类别输出。
这样,针对待处理的图像,根据神经网络模型获取到的审核结果可包括如下内容:图像涉黄,具有性暗示及性挑逗。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
总之,采用上述各方法实施例所述方案,在获取到待处理的图像后,可将待处理的图像输入给预先训练得到的神经网络模型,并获取神经网络模型输出的待处理的图像是否涉黄的判定结果,所述判定结果为神经网络模型在获取到待处理的图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的,相比于现有技术,上述各方法实施例所述方案中可根据实际需要灵活调整选定的涉黄类别,从而可适用于各种不同的应用场景,进而减少了工作量,提高了审核效率,而且,当判定结果为涉黄时,可进一步获取到涉黄原因,从而使用户能够及时准确地了解到图像未过审的原因。
以上是关于方法实施例的介绍,以下通过装置实施例,对本发明所述方案进行进一步说明。
图3为本发明所述涉黄图像审核装置实施例的组成结构示意图。如图3所示,包括:获取单元301以及审核单元302。
获取单元301,用于获取待处理的图像。
审核单元302,用于将待处理的图像输入给预先训练得到的判别模型,获取判别模型输出的待处理的图像是否涉黄的判定结果,所述判定结果为判别模型在获取到待处理的图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。
可以看出,本实施例中,基于判别模型来进行涉黄图像审核,判别模型为预先训练得到的。较佳地,判别模型可为神经网络模型。
为此,图3所示装置中可进一步包括:预处理单元300,用于获取作为训练样本的图像,并分别获取每个训练样本对应的标签,所述标签包括:所属的涉黄类别,根据各训练样本及对应的标签训练得到判别模型。
比如,预处理单元300可从互联网上采集作为训练样本的图像,并获取人工标注的每个训练样本对应的标签,通常,标签中包括的所属的涉黄类别的个数为一,这个涉黄类别可为图像中呈现出的最为严重、最为明显的涉黄类别。
涉黄类别可包括:实质性行为、敏感部位裸露、SM、性用品及性玩具、模拟***姿势及行为、接吻、拥抱、女性衣着暴露、男性衣着暴露、情趣内衣、人体隐私部位偷拍、性暗示及性挑逗、正常等。
之后,预处理单元300可根据各训练样本及对应的标签训练得到判别模型如神经网络模型。
另外,还可进行服务配置,在服务配置过程中,用户可选定针对哪个/哪些涉黄类别对图像进行涉黄审核。
涉黄类别可分为必选类别和可选类别。其中,必选类别为用户必需选择的涉黄类别,可选类别为允许用户选择或不选的涉黄类别。
比如,实质性行为可为必选类别,其它涉黄类别如性暗示及性挑逗、性用品及性玩具等可为可选类别,用户可根据实际需要从可选类别中选定一个或多个涉黄类别,也可不进行选择。
审核单元302可将待处理的图像以及用户选定的涉黄类别信息输入给判别模型,针对待处理的图像,判别模型可首先获取待处理的图像分别属于每个涉黄类别的概率值,之后,可通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值,得到待处理的图像是否涉黄的判定结果。
具体地,可分别计算用户选定的涉黄类别的概率值相加之和以及用户未选定的涉黄类别的概率值相加之和,并将两个计算结果进行比较,若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则可判定待处理的图像涉黄,否则,判定待处理的图像未涉黄。
另外,当判定结果为图像涉黄时,审核单元302还可获取判别模型输出的作为涉黄原因的涉黄类别信息。即判别模型在输出判别结果时,若判别结果为待处理的图像涉黄,那么还可同时输出涉黄原因。
比如,可将用户选定的涉黄类别中概率值最大的涉黄类别作为涉黄原因输出。
图3所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明,不再赘述。
总之,采用上述装置实施例所述方案,可根据实际需要灵活调整选定的涉黄类别,从而可适用于各种不同的应用场景,进而减少了工作量,提高了审核效率,而且,当判定结果为涉黄时,可进一步获取到涉黄原因,从而使用户能够及时准确地了解到图像未过审的原因。
图4示出了适于用来实现本发明实施方式的示例性计算机***/服务器12的框图。图4显示的计算机***/服务器12仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示,计算机***/服务器12以通用计算设备的形式表现。计算机***/服务器12的组件可以包括但不限于:一个或者多个处理器(处理单元)16,存储器28,连接不同***组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器,***总线,图形加速端口,处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说,这些体系结构包括但不限于工业标准体系结构(ISA)总线,微通道体系结构(MAC)总线,增强型ISA总线、视频电子标准协会(VESA)局域总线以及***组件互连(PCI)总线。
计算机***/服务器12典型地包括多种计算机***可读介质。这些介质可以是任何能够被计算机***/服务器12访问的可用介质,包括易失性和非易失性介质,可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机***可读介质,例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机***/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机***存储介质。仅作为举例,存储***34可以用于读写不可移动的、非易失性磁介质(图4未显示,通常称为“硬盘驱动器”)。尽管图4中未示出,可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器,以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下,每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品,该程序产品具有一组(例如至少一个)程序模块,这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40,可以存储在例如存储器28中,这样的程序模块42包括——但不限于——操作***、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机***/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信,还可与一个或者多个使得用户能与该计算机***/服务器12交互的设备通信,和/或与使得该计算机***/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡,调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且,计算机***/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图4所示,网络适配器20通过总线18与计算机***/服务器12的其它模块通信。应当明白,尽管图中未示出,可以结合计算机***/服务器12使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID***、磁带驱动器以及数据备份存储***等。
处理器16通过运行存储在存储器28中的程序,从而执行各种功能应用以及数据处理,例如实现图1或2所示实施例中的方法。
本发明同时公开了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时将实现如图1或2所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括——但不限于——无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法等,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (16)
1.一种涉黄图像审核方法,其特征在于,包括:
获取待处理的图像;
将所述图像输入给预先训练得到的判别模型;
获取所述判别模型输出的所述图像是否涉黄的判定结果,所述判定结果为所述判别模型在获取到所述图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。
2.根据权利要求1所述的方法,其特征在于,
所述判别模型包括:神经网络模型。
3.根据权利要求1所述的方法,其特征在于,
所述获取待处理的图像之前,进一步包括:
获取作为训练样本的图像,并分别获取每个训练样本对应的标签,所述标签包括:所属的涉黄类别;
根据各训练样本及对应的标签训练得到所述判别模型。
4.根据权利要求1所述的方法,其特征在于,
所述涉黄类别分为必选类别和可选类别;
所述必选类别为用户必需选择的涉黄类别,所述可选类别为允许用户选择或不选的涉黄类别。
5.根据权利要求1所述的方法,其特征在于,
若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则所述判定结果为所述图像涉黄,否则,所述判定结果为所述图像未涉黄。
6.根据权利要求1所述的方法,其特征在于,
该方法进一步包括:
当所述判定结果为所述图像涉黄时,获取所述判别模型输出的作为涉黄原因的涉黄类别信息。
7.根据权利要求6所述的方法,其特征在于,
所述作为涉黄原因的涉黄类别包括:
用户选定的涉黄类别中概率值最大的涉黄类别。
8.一种涉黄图像审核装置,其特征在于,包括:获取单元以及审核单元;
所述获取单元,用于获取待处理的图像;
所述审核单元,用于将所述图像输入给预先训练得到的判别模型,获取所述判别模型输出的所述图像是否涉黄的判定结果,所述判定结果为所述判别模型在获取到所述图像分别属于每个涉黄类别的概率值后,通过比较用户选定的涉黄类别的概率值以及用户未选定的涉黄类别的概率值得到的。
9.根据权利要求8所述的装置,其特征在于,
所述判别模型包括:神经网络模型。
10.根据权利要求8所述的装置,其特征在于,
所述装置中进一步包括:预处理单元;
所述预处理单元,用于获取作为训练样本的图像,并分别获取每个训练样本对应的标签,所述标签包括:所属的涉黄类别,根据各训练样本及对应的标签训练得到所述判别模型。
11.根据权利要求8所述的装置,其特征在于,
所述涉黄类别分为必选类别和可选类别;
所述必选类别为用户必需选择的涉黄类别,所述可选类别为允许用户选择或不选的涉黄类别。
12.根据权利要求8所述的装置,其特征在于,
若用户选定的涉黄类别的概率值相加之大于用户未选定的涉黄类别的概率值相加之和,则所述判定结果为所述图像涉黄,否则,所述判定结果为所述图像未涉黄。
13.根据权利要求8所述的装置,其特征在于,
所述审核单元进一步用于,当所述判定结果为所述图像涉黄时,获取所述判别模型输出的作为涉黄原因的涉黄类别信息。
14.根据权利要求13所述的装置,其特征在于,
所述作为涉黄原因的涉黄类别包括:
用户选定的涉黄类别中概率值最大的涉黄类别。
15.一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~7中任一项所述的方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1~7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711249233.5A CN108229535B (zh) | 2017-12-01 | 2017-12-01 | 涉黄图像审核方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711249233.5A CN108229535B (zh) | 2017-12-01 | 2017-12-01 | 涉黄图像审核方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108229535A true CN108229535A (zh) | 2018-06-29 |
CN108229535B CN108229535B (zh) | 2019-07-23 |
Family
ID=62653744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711249233.5A Active CN108229535B (zh) | 2017-12-01 | 2017-12-01 | 涉黄图像审核方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108229535B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670055A (zh) * | 2018-11-30 | 2019-04-23 | 广州市百果园信息技术有限公司 | 一种多媒体数据审核方法、装置、设备及存储介质 |
CN109829379A (zh) * | 2018-12-28 | 2019-05-31 | 广州华多网络科技有限公司 | 信息处理方法、装置、服务器以及存储介质 |
CN110210356A (zh) * | 2019-05-24 | 2019-09-06 | 厦门美柚信息科技有限公司 | 一种图片鉴别方法、装置及*** |
CN110971939A (zh) * | 2018-09-30 | 2020-04-07 | 武汉斗鱼网络科技有限公司 | 一种违规图片的识别方法及相关装置 |
CN111125539A (zh) * | 2019-12-31 | 2020-05-08 | 武汉市烽视威科技有限公司 | 一种基于人工智能的cdn有害信息阻断方法及*** |
CN111382291A (zh) * | 2020-03-12 | 2020-07-07 | 北京金山云网络技术有限公司 | 机器审核方法、装置及机器审核服务器 |
CN111859237A (zh) * | 2020-07-23 | 2020-10-30 | 恒安嘉新(北京)科技股份公司 | 网络内容审核方法、装置、电子设备、及存储介质 |
CN112598016A (zh) * | 2020-09-17 | 2021-04-02 | 北京小米松果电子有限公司 | 图像分类方法及装置、通信设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090141936A1 (en) * | 2006-03-01 | 2009-06-04 | Nikon Corporation | Object-Tracking Computer Program Product, Object-Tracking Device, and Camera |
KR20100124983A (ko) * | 2009-05-20 | 2010-11-30 | 인포뱅크 주식회사 | 유해물 차단 서비스 시스템 및 방법 |
US20120054638A1 (en) * | 2010-08-31 | 2012-03-01 | Disney Enterprises, Inc. | Automated effort judgement of user generated content |
CN102799635A (zh) * | 2012-06-27 | 2012-11-28 | 天津大学 | 一种用户驱动的图像集合排序方法 |
CN106250919A (zh) * | 2016-07-25 | 2016-12-21 | 河海大学 | 基于空间金字塔模型的多特征组合表达的场景图像分类方法 |
CN106970942A (zh) * | 2017-02-20 | 2017-07-21 | 绿网天下(福建)网络科技股份有限公司 | 一种涉黄内容主动防御的方法及终端 |
CN107145904A (zh) * | 2017-04-28 | 2017-09-08 | 北京小米移动软件有限公司 | 图像类别的确定方法、装置及存储介质 |
CN107220667A (zh) * | 2017-05-24 | 2017-09-29 | 北京小米移动软件有限公司 | 图像分类方法、装置及计算机可读存储介质 |
CN107332698A (zh) * | 2017-06-19 | 2017-11-07 | 西北大学 | 一种面向明长城智能感知***的安全态势感知***及方法 |
-
2017
- 2017-12-01 CN CN201711249233.5A patent/CN108229535B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090141936A1 (en) * | 2006-03-01 | 2009-06-04 | Nikon Corporation | Object-Tracking Computer Program Product, Object-Tracking Device, and Camera |
KR20100124983A (ko) * | 2009-05-20 | 2010-11-30 | 인포뱅크 주식회사 | 유해물 차단 서비스 시스템 및 방법 |
US20120054638A1 (en) * | 2010-08-31 | 2012-03-01 | Disney Enterprises, Inc. | Automated effort judgement of user generated content |
CN102799635A (zh) * | 2012-06-27 | 2012-11-28 | 天津大学 | 一种用户驱动的图像集合排序方法 |
CN106250919A (zh) * | 2016-07-25 | 2016-12-21 | 河海大学 | 基于空间金字塔模型的多特征组合表达的场景图像分类方法 |
CN106970942A (zh) * | 2017-02-20 | 2017-07-21 | 绿网天下(福建)网络科技股份有限公司 | 一种涉黄内容主动防御的方法及终端 |
CN107145904A (zh) * | 2017-04-28 | 2017-09-08 | 北京小米移动软件有限公司 | 图像类别的确定方法、装置及存储介质 |
CN107220667A (zh) * | 2017-05-24 | 2017-09-29 | 北京小米移动软件有限公司 | 图像分类方法、装置及计算机可读存储介质 |
CN107332698A (zh) * | 2017-06-19 | 2017-11-07 | 西北大学 | 一种面向明长城智能感知***的安全态势感知***及方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110971939A (zh) * | 2018-09-30 | 2020-04-07 | 武汉斗鱼网络科技有限公司 | 一种违规图片的识别方法及相关装置 |
CN110971939B (zh) * | 2018-09-30 | 2022-02-08 | 武汉斗鱼网络科技有限公司 | 一种违规图片的识别方法及相关装置 |
CN109670055A (zh) * | 2018-11-30 | 2019-04-23 | 广州市百果园信息技术有限公司 | 一种多媒体数据审核方法、装置、设备及存储介质 |
CN109829379A (zh) * | 2018-12-28 | 2019-05-31 | 广州华多网络科技有限公司 | 信息处理方法、装置、服务器以及存储介质 |
CN109829379B (zh) * | 2018-12-28 | 2021-09-21 | 广州华多网络科技有限公司 | 信息处理方法、装置、服务器以及存储介质 |
CN110210356A (zh) * | 2019-05-24 | 2019-09-06 | 厦门美柚信息科技有限公司 | 一种图片鉴别方法、装置及*** |
CN111125539A (zh) * | 2019-12-31 | 2020-05-08 | 武汉市烽视威科技有限公司 | 一种基于人工智能的cdn有害信息阻断方法及*** |
CN111125539B (zh) * | 2019-12-31 | 2024-02-02 | 武汉市烽视威科技有限公司 | 一种基于人工智能的cdn有害信息阻断方法及*** |
CN111382291A (zh) * | 2020-03-12 | 2020-07-07 | 北京金山云网络技术有限公司 | 机器审核方法、装置及机器审核服务器 |
CN111382291B (zh) * | 2020-03-12 | 2023-05-23 | 北京金山云网络技术有限公司 | 机器审核方法、装置及机器审核服务器 |
CN111859237A (zh) * | 2020-07-23 | 2020-10-30 | 恒安嘉新(北京)科技股份公司 | 网络内容审核方法、装置、电子设备、及存储介质 |
CN112598016A (zh) * | 2020-09-17 | 2021-04-02 | 北京小米松果电子有限公司 | 图像分类方法及装置、通信设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN108229535B (zh) | 2019-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108229535B (zh) | 涉黄图像审核方法、装置、计算机设备及存储介质 | |
CN108171257B (zh) | 细粒度图像识别模型训练及识别方法、装置及存储介质 | |
CN109902659B (zh) | 用于处理人体图像的方法和装置 | |
CN107958455B (zh) | 图像清晰度评估方法、装置、计算机设备及存储介质 | |
CN107545241A (zh) | 神经网络模型训练及活体检测方法、装置及存储介质 | |
CN107220235A (zh) | 基于人工智能的语音识别纠错方法、装置及存储介质 | |
CN109214238A (zh) | 多目标跟踪方法、装置、设备及存储介质 | |
CN107609481A (zh) | 为人脸识别生成训练数据的方法、装置和计算机存储介质 | |
CN106663426A (zh) | 生成对社交会话输入的计算机响应 | |
CN107919130A (zh) | 基于云端的语音处理方法和装置 | |
CN107077201A (zh) | 用于多模式会话交互中的口头语言理解的眼睛注视 | |
CN107911491A (zh) | 信息推荐方法、装置及存储介质、服务器和移动终端 | |
CN107133221A (zh) | 信息审核方法、装置、计算机可读介质和电子设备 | |
CN109446907A (zh) | 一种视频聊天的方法、装置、设备和计算机存储介质 | |
CN109034069A (zh) | 用于生成信息的方法和装置 | |
CN110377905A (zh) | 语句的语义表示处理方法及装置、计算机设备及可读介质 | |
CN110378346A (zh) | 建立文字识别模型的方法、装置、设备和计算机存储介质 | |
CN113407850B (zh) | 一种虚拟形象的确定和获取方法、装置以及电子设备 | |
CN107609463A (zh) | 活体检测方法、装置、设备及存储介质 | |
CN108363999A (zh) | 基于人脸识别的操作执行方法和装置 | |
CN108255943A (zh) | 人机对话质量评估方法、装置、计算机设备及存储介质 | |
CN108305057A (zh) | 电子红包的发放装置、方法及计算机可读存储介质 | |
CN108171208A (zh) | 信息获取方法和装置 | |
CN108446658A (zh) | 用于识别人脸图像的方法和装置 | |
CN108491812A (zh) | 人脸识别模型的生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |