CN105808610B - 一种互联网图片过滤方法及装置 - Google Patents
一种互联网图片过滤方法及装置 Download PDFInfo
- Publication number
- CN105808610B CN105808610B CN201410855326.2A CN201410855326A CN105808610B CN 105808610 B CN105808610 B CN 105808610B CN 201410855326 A CN201410855326 A CN 201410855326A CN 105808610 B CN105808610 B CN 105808610B
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- picture
- candidate
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 63
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000002372 labelling Methods 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 abstract description 16
- 238000001514 detection method Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000003203 everyday effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种互联网图片过滤方法及装置，方法包括：按预设不同尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；计算不同尺寸图片的快速特征；采用预设的图像标注信息和快速特征训练生成目标图像分类器；利用目标图像分类器对互联网图像进行检测，确定含有目标属性的候选图像区域；候选图像区域输入到卷积神经网络计算卷积神经网络特征；用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像进行分类，以实现图片过滤。本发明可以更好地实现互联网图片的过滤，提高计算的效率，能够实现用户在线对深度神经网络进行微调，使得检测性能比其它一般方法更高。
Description
技术领域
本发明涉及模式识别技术，具体的讲是一种互联网图片过滤方法及装置。
背景技术
据统计，截至2014年6月末，我国互联网用户已达6.32亿。在每天上网的过程中，要浏览无数的图片，但其中很多图片并不是用户需要的，既浪费了时间，也浪费了存储空间，因此，需要一种互联网的图片进行过滤功能，使得不需要的图片直接被过滤掉，只剩下用户需要的图片。
现有技术中已有的图片过滤技术，已经涉及到互联网图片的过滤，如在发明专利申请名称为“一种互联网图片广告过滤***及其过滤方法”(申请号201210004669，公开号102419777A)的专利中，定义了如下模块：内容输入接口、特征分析模块、以及决策计算模块、信息库、指令输出接口。其中，内容输入接口用于接收来自于互联网互动产品的用户生成内容；特征分析模块用于分析用户生成内容，提取用户生成内容的多种特征，并根据特征历史情况及人工操作记录计算特征值，生成特征向量；信息库用于存储用户生成内容的各项特征数据；决策计算模块用于根据特征分析模块生成的特征向量综合判断是否对用户生成内容进行过滤；指令输出接口用于将决策计算模块判断的结果整理成显示/屏蔽操作指令，同步给互联网互动产品。这种方法在一定程度上能够实现图片的过滤功能。
但现有技术中的图片过滤方案存在的问题包括：1)只针对互联网广告图片进行过滤，并不针对所有出现的互联网图片，以及用户定义的某种特定类型的图片进行过滤；2)***需要分析用户生成内容，提取多种特征，并根据特征历史情况及人工操作记录计算特征值，生成特征向量，此种方法在时间和性能方面的计算效率并不高效。
发明内容
为提高互联网图片过滤的效率，实现从海量的互联网图像中快速过滤出具有特定属性或包含特定内容的图片(如包含暴力、色情、蒙面人、恐怖组织特定标识等)，本发明提供一种互联网图片过滤方法，包括：
按预设不同尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；
计算所述不同尺寸图片的快速特征；
采用预设的图像标注信息和所述快速特征训练生成提取候选图像区域的分类器；
利用所述目标图像分类器对互联网图像进行检测，确定含有目标属性的候选图像区域；
将所述候选图像区域输入到卷积神经网络计算卷积神经网络特征；
利用分类器根据所述卷积神经网络特征对图片是否含有目标属性进行分类，以实现图片过滤。
具体的，本发明一实施例中，采用预设的图像标注信息和所述快速特征训练生成目标图像分类器包括：
根据所述预设的带标注信息的图像构造正样本集和负样本集；
根据所述正样本集和负样本集训练生成目标图像分类器。
具体的，本发明一实施例中，利用所述目标图像分类器对互联网图像进行检测，确定含有目标图像的候选图像区域包括：
利用目标图像分类器计算图像不同区域的似物性得分；
根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域。
具体的，本发明实施例中，根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域包括：
采用预设个数的图像候选框按照似物性得分从高到低的顺序选取候选区域，生成候选框图像；
根据选取的候选框图像确定含有目标图像的候选图像区域。
具体的，本发明实施例中，将候选图像区域输入到卷积神经网络计算卷积神经网络特征包括：
对所述候选图像区域的图像进行压缩；
利用卷积神经网络框架提取压缩后的候选图像区域的特征向量计算卷积神经网络特征。
具体的，本发明实施例中，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像进行分类，以实现图片过滤包括：
利用分类器对卷积神经网络特征进行分类确定图片中是否含有目标图像属性；
对含有目标图像属性的图片进行过滤处理。
具体的，本发明实施例中，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标属性进行分类，以实现图片过滤包括：
将被过滤的含有目标属性的图片发送给用户；
将用户反馈的并非目标图片的图片作为所述负样本集。
具体的，本发明实施例中，计算不同尺寸图片的快速特征包括：
对所述图像进行二值化处理以计算所述图像的快速特征。
同时，本发明还提供一种互联网图片过滤装置，包括：
图片处理模块，用于按预设尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；
快速特征计算模块，用于计算所述不同尺寸图片的快速特征；
训练模块，用于采用预设的图像标注信息和所述快速特征训练生成提取候选图像区域的分类器；
区域确定模块，利用所述目标图像分类器对互联网图像进行检测，确定含有目标图像的候选图像区域；
卷积神经网络模块，用于将所述候选图像区域输入到卷积神经网络计算卷积神经网络特征；
过滤模块，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像属性进行分类，以实现图片过滤。
具体的，本发明一实施例中，训练模块包括：
样本集构造单元，根据所述预设的带标注信息的图像构造正样本集和负样本集；
分类器训练单元，根据所述正样本集和负样本集训练生成目标图像分类器。
具体的，本发明实施例中，区域确定模块包括：
似物性得分计算单元，利用目标图像分类器计算图像不同区域的似物性得分；
候选图像区域确定单元，用于根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域。
具体的，本发明实施例中，候选图像区域确定单元包括：
候选框图像生成单元，采用预设个数的图像候选框按照似物性得分从高到低的顺序选取图像，生成候选框图像；
候选图像区域确定单元，用于根据选取的候选框图像确定含有目标图像的候选图像区域。
具体的，本发明实施例中，卷积神经网络模块包括：
压缩单元，用于对所述候选图像区域的图像进行压缩；
卷积神经网络特征计算单元，用于利用卷积神经网络框架提取压缩后的候选图像区域的特征向量计算卷积神经网络特征。
具体的，本发明实施例中，过滤模块包括：
目标图像属性确定单元，利用分类器对所述卷积神经网络特征进行分类确定图片中是否含有目标图像属性；
图片过滤单元，用于对含有目标图像属性的图片进行过滤处理。
具体的，本发明实施例中，过滤模块还包括：
发送单元，用于将被过滤的含有目标属性的图片发送给用户；
反馈处理单元，用于将用户反馈的并非目标图片的图片作为所述负样本集。
具体的，本发明实施例中，快速特征计算模块计算所述不同尺寸图片的快速特征包括：对所述图像进行二值化处理以抽取所述图像的快速特征。
本发明与现有技术相比，基于快速特征的提取，可以更好地实现互联网图片或视频的过滤，可以提高计算的效率、减少时间成本、避免了局部极值、进而实现了更加精确的过滤效果。基于深度神经网络的方法，能够实现用户在线对深度神经网络进行微调，使得检测性能比其它一般方法更高。因此，该发明提出的方法计算上较传统的方法更快，同时具有更好的性能。
为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种互联网图片过滤方法的流程图；
图2为本发明实施例中的一步骤的流程图；
图3为本发明实施例中的一步骤的流程图；
图4为本发明一具体实施方式的流程示意图
图5为本发明一种互联网图片过滤装置的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明实施例提供一种互联网图片过滤方法，方法包括：
步骤S101，按预设不同尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；
步骤S102，计算所述不同尺寸图片的快速特征；
步骤S103，采用预设的图像标注信息和所述快速特征训练生成目标图像分类器；
步骤S104，利用所述目标图像分类器对互联网图像进行检测，确定含有目标图像的候选图像区域；
步骤S105，将所述候选图像区域输入到卷积神经网络计算卷积神经网络特征；
步骤S106，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像进行分类，以实现图片过滤。根据卷积神经网络计算所得的特征，利用分类器，按照图片是否具有特定属性分类以实现图片过滤。
具体的，本发明一实施例中，如图2所示，步骤S103采用预设的图像标注信息和所述快速特征训练生成目标图像分类器包括：
步骤S1031，根据所述预设的带标注信息的图像构造正样本集和负样本集；
步骤S1032，根据正样本集和负样本集训练生成目标图像分类器。本实施例中的目标图像分类器包括支持向量机。
具体的，本发明实施例中，利用所述目标图像分类器对互联网图像进行检测，确定含有目标图像的候选图像区域包括：
利用目标图像分类器计算图像不同区域的似物性得分；
根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域。
具体的，本发明已实施例中，如图3所示，步骤S104根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域包括：
步骤S1041，采用预设个数的图像候选框按照似物性得分从高到低的顺序选取候选区域，生成候选框图像；
步骤S1042，根据选取的候选框图像确定含有目标图像的候选图像区域。
具体的，本发明已实施例中，将候选图像区域输入到卷积神经网络计算卷积神经网络特征包括：
对所述候选图像区域的图像进行压缩；
利用卷积神经网络框架提取压缩后的候选图像区域的特征向量计算卷积神经网络特征。
具体的，本发明已实施例中，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像进行分类，以实现图片过滤包括：
利用分类器对所述卷积神经网络特征进行分类确定图片中是否含有目标图像属性；
对含有目标图像属性的图片进行过滤处理。
具体的，本发明一实施例中，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标属性进行分类，以实现图片过滤包括：
将被过滤的含有目标属性的图片发送给用户；
将用户反馈的并非目标图片的图片作为所述负样本集。
具体的，本发明已实施例中，计算不同尺寸图片的快速特征包括：
对所述图像进行二值化处理以计算所述图像的快速特征。
本发明利用深度学习训练一分类器判断图像中是否具有特定属性或包含特定内容，深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念由Hinton等人于2006年提出。基于深度置信网络(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。此外Lecun等人提出的基于区域的卷积神经网络是第一个真正多层结构的学习算法，它利用空间相对关系减少参数数目以提高训练性能。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习，深度学习的不同在于：1)强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2)明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
本发明提出一种基于深度学习的两阶段互联网图片过滤方法，在第一个阶段快速检测出可能包含特定属性或内容的图像区域，第二阶段对每个特定区域分别利用深度神经网络进行分类检测，判断该区域包含特定属性或内容(即目标图像)的置信度，然后再将多个区域置信度进行融合，判断图片是否属于过滤对象。这一方法也可推广到互联网视频的过滤。
本发明的具体实施方式主要分为训练和测试两个部分，如图4所示，其中训练部分由以下几个步骤完成：
1)获取图像；
2)对图像进行标注，在本发明实施例中中，采用大型竞赛(PASCAL VOCChallenge)标注标准对图像进行标注；
3)对于已经标注的图像，缩放到不同的尺寸；
4)对于不同尺寸下的图片，均提取快速特征(如二值特征)，再利用我们的标注信息训练出可快速检测可能包含特定属性或内容的图像区域的分类器，将这些区域进行置信度融合，生成带候选框的候选图像区域；
5)对于4)中已经产生的候选图像区域信息送至深度神经网络，对每个特定区域分别利用深度神经网络进行分类检测，判断该区域包含特定属性或内容的置信度，然后再将多个区域置信度进行融合，判断图片是否属于过滤对象，训练出能够精确判断图片是否含有特定属性的模型。
测试部分主要包括以下几个步骤完成：1)对于用户选择的某一类或者几类图片，将海量网络中的图片输入本发明的图片过滤模型，由训练步骤中生成的分类器模型和深度神经网络模型构成，将讲过图片过滤模型处理后的图片推送给用户；2)若此图片用户非用户所需，则将该图片返回至训练部分对深度网络进行微调，否则结束。整个流程如图4所示。
具体实施例中，本发明的核心在于(一)如何快速检测出可能包含特定属性或内容的图像区域，(二)对每个特定区域分别利用深度神经网络进行分类检测，判断图片是否属于过滤对象，就上述两部分分别说明如下：
一、快速检测可能包含特定属性或内容的图像区域：
步骤一：采集图像，即包括某些一般物体的图像数据，也即网络图片作为我们的训练样本；
步骤二：将训练样本图像按照WO,HO∈{10，20，40，80，160，320}缩放到36个不同的尺度，其中WO为图像的宽度，HO为图像的高度；
步骤三：抽取图像快速特征(本实施例中，二值化梯度绝对值特征，图像梯度的绝对值定义为相邻像素颜色相减的绝对值)，生成新的图像数据，并按照带有真实标注信息的包含物体的图像和随机采样的不包含物体的背景图像两种类别构造训练的正样本集和负样本集；
步骤四：运用步骤二建立的正样本集和负样本集进行分类器训练，训练一个可以快速检测图像中是否具有特定属性或包含特定内容的分类器，其中，带标注信息的图像为正样本，随机采样的不带标注信息的图像为负样本；
其中，所述步骤四中训练可快速检测图像中是否具有特定属性或包含特定内容的分类器的具体步骤如下：：
步骤I:采用一个线性SVM学习一个简单的线性模型w，然后获取图像窗口的似物性得分；本实施例中根据正样本集和负样本集的特征学习一个模型w，根据前面已经提取的每个图像的快速特征，即这里的gl，用公式(1)将线性模型w和gl做内积操作即可计算似物性得分sl。其中，
sl＝<w，gl> (1)
l＝(i，x，y) (2)
其中，sl为图像窗口似物性得分，得分越高表示该区域包含特定属性或内容的可能性越大，gl为快速特征，l为图像窗口位置，i为图像窗口大小，(x，y)为图像窗口坐标。
步骤II:用步骤I中的似物性得分作为一个一维特征，用另一个线性SVM为训练图像中每个大小为i的窗口图像学习一个学习系数vi和偏差项ti，该步骤中的SVM分类器仍然要按上述训练方式进行训练学习。该步骤中进行进一步训练学习的目的是将步骤I中产生的似物性得分进行校正，将高的似物性得分升到更高，小的似物性得分减到更小，可以理解为，将是目标物体的图像更加突出，不是目标物体的图像的影响减小，即前面步骤中所述的区域置信度融合。这一步过后，似物性得分是按照从高到低的顺序排列的。到生成候选框的时候，如果要生成100个候选框，那么选取ol中的前100个值作为它们的似物性得分即可。然后根据新的似物性得分重新排序，即：ol＝vi·si+ti, (3)
其中，ol为新的似物性得分，按照包含特定属性或内容可能性的高低顺序排列。
步骤五：对待检测的图像进行检测，从图像中检测出可能包含特定属性或内容的图像区域；
二、利用深度神经网络对图像进行精确分类：
步骤六：将原图像经过步骤四生成候选框的图像输入到深度神经网络(例如RCNN)；
步骤七：将步骤五中的图像压缩到227*227的大小，用caffe计算卷积神经网络特征，计算每个候选框图像的特定维数的(如4096)的特征向量；
步骤八：对六中得到的特征运用分类器进行分类，对七中得到的特征运用分类器按照该图片是否含有特定属性进行分类，从而对图片进行过滤，如图4的流程示意图所示，对于其中的图片1和图片2均含有汽车这一属性，但是图片2中含有蒙面人，恐怖标识这类特定属性，需要过滤。
步骤九：将步骤八中进行过滤后获得的被过滤图片推送给用户，将经过步骤八进行过滤筛选后的图片推送给用户，若用户反馈为非需要，则把该图片继续返回到深度神经网络中即步骤二作为负样本，对深度神经网络进行微调，否则输出为最终结果，结束。
本发明与现有技术相比，可以更好地实现互联网图片或视频的过滤。基于快速特征提取的方法，可以提高计算的效率、减少时间成本、避免了局部极值、进而实现了更加精确的过滤效果。基于深度神经网络的方法，能够实现用户在线对深度神经网络进行微调，使得检测性能比其它一般方法更高。因此，该发明提出的方法计算上较传统的方法更快，同时具有更好的性能。本发明的解决方案能够高效正确地检测出可能包含特定属性或内容的图像区域。
同时，本发明实施例还提供一种互联网图片过滤装置，如图5所示，包括：
图片处理模块501，用于按预设尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；
快速特征计算模块502，用于计算所述不同尺寸图片的快速特征；
训练模块503，用于采用预设的图像标注信息和所述快速特征训练生成目标图像分类器；
区域确定模块504，利用所述目标图像分类器对互联网图像进行检测，确定含有目标图像的候选图像区域；
卷积神经网络模块505，用于将所述候选图像区域输入到卷积神经网络计算卷积神经网络特征；
过滤模块506，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像属性进行分类，以实现图片过滤。
具体的，本发明实施例中，训练模块包括：
样本集构造单元，根据所述预设的带标注信息的图像构造正样本集和负样本集；
分类器训练单元，根据所述正样本集和负样本集训练生成目标图像分类器。
具体的，本发明实施例中，区域确定模块包括：
似物性得分计算单元，利用目标图像分类器计算图像不同区域的似物性得分；
候选图像区域确定单元，用于根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域。
具体的，本发明实施例中，候选图像区域确定单元包括：
候选框图像生成单元，采用预设个数的图像候选框按照似物性得分从高到低的顺序选取图像，生成候选框图像；
候选图像区域确定单元，用于根据选取的候选框图像确定含有目标图像的候选图像区域。
具体的，本发明实施例中，卷积神经网络模块包括：
压缩单元，用于对所述候选图像区域的图像进行压缩；
卷积神经网络特征计算单元，用于利用卷积神经网络框架提取压缩后的候选图像区域的特征向量计算卷积神经网络特征。
具体的，本发明实施例中，过滤模块包括：
目标图像属性确定单元，利用分类器对所述卷积神经网络特征进行分类确定图片中是否含有目标图像属性；
图片过滤单元，用于对含有目标图像属性的图片进行过滤处理。
具体的，本发明实施例中，过滤模块还包括：
发送单元，用于将被过滤的含有目标属性的图片发送给用户；
反馈处理单元，用于将用户反馈的并非目标图片的图片作为所述负样本集。
具体的，本发明实施例中，快速特征计算模块计算所述不同尺寸图片的快速特征包括：对所述图像进行二值化处理以抽取所述图像的快速特征。
本发明通过对图像进行快速特征的定义和抽取，基于快速特征的图像表示方法，利用深度神经网络的图像分类，对目标区域置信度融合，在训练部分的不同尺寸下的图片，产生同样大小的候选框，且在本发明实施例中，候选框的总个数固定，相对于现有技术的随机产生候选框等方法具有速度快，效率高的优点。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种互联网图片过滤方法，其特征在于，所述的方法包括：
按预设不同尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；
计算所述不同尺寸图片的快速特征；
采用预设的图像标注信息和所述快速特征训练生成提取候选图像区域的目标图像分类器；
利用所述目标图像分类器对互联网图像进行检测，确定含有目标属性的候选图像区域；
将所述候选图像区域输入到卷积神经网络计算卷积神经网络特征；
利用分类器根据所述卷积神经网络特征对图片是否含有目标属性进行分类，以实现图片过滤；
其中，所述的利用所述目标图像分类器对互联网图像进行检测，确定含有目标属性的候选图像区域包括：
利用目标图像分类器计算图像不同区域的似物性得分；
根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域；
所述的根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域包括：
采用预设个数的图像候选框按照似物性得分从高到低的顺序选取候选区域，生成候选框图像；
根据选取的候选框图像确定含有目标图像的候选图像区域。
2.如权利要求1所述的互联网图片过滤方法，其特征在于，所述的采用预设的图像标注信息和所述快速特征训练生成提取候选图像区域的目标图像分类器包括：
根据所述预设的带标注信息的图像构造正样本集和负样本集；
根据所述正样本集和负样本集训练生成目标图像分类器。
3.如权利要求2所述的互联网图片过滤方法，其特征在于，所述的将候选图像区域输入到卷积神经网络计算卷积神经网络特征包括：
对所述候选图像区域的图像进行压缩；
利用卷积神经网络框架提取压缩后的候选图像区域的特征向量计算卷积神经网络特征。
4.如权利要求3所述的互联网图片过滤方法，其特征在于，所述的用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像进行分类，以实现图片过滤包括：
利用分类器对所述卷积神经网络特征进行分类确定图片中是否含有目标属性；
对含有目标属性的图片进行过滤处理。
5.如权利要求4所述的互联网图片过滤方法，其特征在于，所述的用于利用分类器根据所述卷积神经网络特征对图片是否含有目标属性进行分类，以实现图片过滤包括：
将被过滤的含有目标属性的图片发送给用户；
将用户反馈的并非目标图片的图片作为所述负样本集。
6.如权利要求2所述的互联网图片过滤方法，其特征在于，所述的计算不同尺寸图片的快速特征包括：
对所述图像进行二值化处理以计算所述图像的快速特征。
7.一种互联网图片过滤装置，其特征在于，所述的装置包括：
图片处理模块，用于按预设尺寸对获取的互联网图像进行缩放处理，生成不同尺寸的图片；
快速特征计算模块，用于计算所述不同尺寸图片的快速特征；
训练模块，用于采用预设的图像标注信息和所述快速特征训练生成提取候选图像区域的目标图像分类器；
区域确定模块，利用所述目标图像分类器对互联网图像进行检测，确定含有目标图像的候选图像区域；
卷积神经网络模块，用于将所述候选图像区域输入到卷积神经网络计算卷积神经网络特征；
过滤模块，用于利用分类器根据所述卷积神经网络特征对图片是否含有目标图像属性进行分类，以实现图片过滤；
其中，所述的区域确定模块包括：
似物性得分计算单元，利用目标图像分类器计算图像不同区域的似物性得分；
候选图像区域确定单元，用于根据所述图像不同区域的似物性得分确定含有目标图像的候选图像区域；
所述的候选图像区域确定单元包括：
候选框图像生成单元，采用预设个数的图像候选框按照似物性得分从高到低的顺序选取图像，生成候选框图像；
候选图像区域确定单元，用于根据选取的候选框图像确定含有目标图像的候选图像区域。
8.如权利要求7所述的互联网图片过滤装置，其特征在于，所述训练模块包括：
样本集构造单元，根据所述预设的带标注信息的图像构造正样本集和负样本集；
分类器训练单元，根据所述正样本集和负样本集训练生成目标图像分类器。
9.如权利要求8所述的互联网图片过滤装置，其特征在于，所述的卷积神经网络模块包括：
压缩单元，用于对所述候选图像区域的图像进行压缩；
卷积神经网络特征计算单元，用于利用卷积神经网络框架提取压缩后的候选图像区域的特征向量计算卷积神经网络特征。
10.如权利要求9所述的互联网图片过滤装置，其特征在于，所述的过滤模块包括：
目标图像属性确定单元，利用分类器对所述卷积神经网络特征进行分类确定图片中是否含有目标图像属性；
图片过滤单元，用于对含有目标图像属性的图片进行过滤处理。
11.如权利要求10所述的互联网图片过滤装置，其特征在于，所述的过滤模块还包括：
发送单元，用于将被过滤的含有目标属性的图片发送给用户；
反馈处理单元，用于将用户反馈的并非目标图片的图片作为所述负样本集。
12.如权利要求8所述的互联网图片过滤装置，其特征在于，所述的快速特征计算模块计算所述不同尺寸图片的快速特征包括：对所述图像进行二值化处理以抽取所述图像的快速特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410855326.2A CN105808610B (zh) | 2014-12-31 | 2014-12-31 | 一种互联网图片过滤方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410855326.2A CN105808610B (zh) | 2014-12-31 | 2014-12-31 | 一种互联网图片过滤方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105808610A CN105808610A (zh) | 2016-07-27 |
| CN105808610B true CN105808610B (zh) | 2019-12-20 |
Family
ID=56465315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410855326.2A Active CN105808610B (zh) | 2014-12-31 | 2014-12-31 | 一种互联网图片过滤方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105808610B (zh) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529564B (zh) * | 2016-09-26 | 2019-05-31 | 浙江工业大学 | 一种基于卷积神经网络的食物图像自动分类方法 |
| CN107025429A (zh) * | 2016-12-02 | 2017-08-08 | 财团法人车辆研究测试中心 | 具平行架构的阶层式标的物侦测***及其方法 |
| CN106951848B (zh) * | 2017-03-13 | 2018-12-28 | 平安科技（深圳）有限公司 | 图片识别的方法及*** |
| CN108932273B (zh) * | 2017-05-27 | 2022-03-04 | 腾讯科技（深圳）有限公司 | 图片筛选方法及装置 |
| CN107292823A (zh) * | 2017-08-20 | 2017-10-24 | 平安科技（深圳）有限公司 | 电子装置、***分类的方法及计算机可读存储介质 |
| CN107657269A (zh) * | 2017-08-24 | 2018-02-02 | 百度在线网络技术（北京）有限公司 | 一种用于训练图片提纯模型的方法和装置 |
| CN107665333A (zh) * | 2017-08-28 | 2018-02-06 | 平安科技（深圳）有限公司 | 一种基于卷积神经网络的不雅图片识别方法、终端、设备及计算机可读存储介质 |
| CN107509083B (zh) * | 2017-08-31 | 2018-09-04 | 武汉斗鱼网络科技有限公司 | 直播人数真实性检测方法、存储介质、电子设备及*** |
| CN108156519B (zh) * | 2017-12-25 | 2020-12-11 | 深圳Tcl新技术有限公司 | 图像分类方法、电视设备及计算机可读存储介质 |
| CN110097583B (zh) * | 2018-01-31 | 2022-07-22 | 腾讯科技（深圳）有限公司 | 图片筛选方法及装置 |
| CN108268904B (zh) * | 2018-03-01 | 2022-03-25 | 中国银行股份有限公司 | 一种图片识别方法、装置及电子设备 |
| CN108510084B (zh) * | 2018-04-04 | 2022-08-23 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN108681743B (zh) | 2018-04-16 | 2019-12-06 | 腾讯科技（深圳）有限公司 | 图像对象识别方法和装置、存储介质 |
| CN108764374B (zh) * | 2018-06-11 | 2022-07-19 | 杭州网易智企科技有限公司 | 图像分类方法、***、介质和电子设备 |
| CN110837760B (zh) * | 2018-08-17 | 2022-10-14 | 北京四维图新科技股份有限公司 | 目标检测方法、用于目标检测的训练方法和装置 |
| CN109522925B (zh) * | 2018-09-30 | 2021-08-06 | 咪咕文化科技有限公司 | 一种图像识别方法、装置和存储介质 |
| CN109740482A (zh) * | 2018-12-26 | 2019-05-10 | 北京科技大学 | 一种图像文本识别方法和装置 |
| CN110348824A (zh) * | 2019-07-12 | 2019-10-18 | 陈虎 | 一种人类智慧、行动力实时共享互助平台 |
| CN110619391B (zh) * | 2019-09-19 | 2023-04-18 | 华南理工大学 | 一种检测模型压缩方法、装置和计算机可读存储介质 |
| CN113688265B (zh) * | 2020-05-19 | 2023-12-29 | 杭州海康威视数字技术股份有限公司 | 图片查重方法、装置和计算机可读存储介质 |
| CN112598453B (zh) * | 2020-12-29 | 2022-11-29 | 上海硬通网络科技有限公司 | 广告投放方法、装置及电子设备 |
| CN113837171B (zh) * | 2021-11-26 | 2022-02-08 | 成都数之联科技有限公司 | 候选区域提取方法及***及装置及介质及目标检测方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1912161A3 (en) * | 2006-10-11 | 2009-12-16 | Seiko Epson Corporation | Method and apparatus for automatic image categorization |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101655910A (zh) * | 2008-08-21 | 2010-02-24 | 索尼（中国）有限公司 | 训练***、训练方法及检测方法 |
| US8582807B2 (en) * | 2010-03-15 | 2013-11-12 | Nec Laboratories America, Inc. | Systems and methods for determining personal characteristics |
| CN103164687B (zh) * | 2011-12-15 | 2017-03-01 | 阿里巴巴集团控股有限公司 | 一种色情图像侦测的方法和*** |
| CN104036323B (zh) * | 2014-06-26 | 2016-11-09 | 叶茂 | 一种基于卷积神经网络的车辆检测方法 |
| CN104182735A (zh) * | 2014-08-18 | 2014-12-03 | 厦门美图之家科技有限公司 | 训练优化的基于卷积神经网络的色情图像或视频检测方法 |
-
2014
- 2014-12-31 CN CN201410855326.2A patent/CN105808610B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1912161A3 (en) * | 2006-10-11 | 2009-12-16 | Seiko Epson Corporation | Method and apparatus for automatic image categorization |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105808610A (zh) | 2016-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105808610B (zh) | 一种互联网图片过滤方法及装置 | |
| WO2020088216A1 (zh) | 一种音视频处理方法、装置、设备及介质 | |
| CN106815604B (zh) | 基于多层信息融合的注视点检测方法 | |
| Bianco et al. | Predicting image aesthetics with deep learning | |
| CN111813997B (zh) | 入侵分析方法、装置、设备及存储介质 | |
| CN109993040A (zh) | 文本识别方法及装置 | |
| CN108492294B (zh) | 一种图像色彩和谐程度的评估方法及装置 | |
| CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| CN108416314B (zh) | 图片重要人脸检测方法 | |
| JP2017168057A (ja) | 画像分類装置、画像分類システム及び画像分類方法 | |
| US20230027412A1 (en) | Method and apparatus for recognizing subtitle region, device, and storage medium | |
| CN107992937B (zh) | 基于深度学习的非结构化数据判决方法和装置 | |
| CN111090763A (zh) | 一种图片自动标签方法及装置 | |
| CN109598301B (zh) | 检测区域去除方法、装置、终端和存储介质 | |
| CN111368634A (zh) | 基于神经网络的人头检测方法、***及存储介质 | |
| CN113936175A (zh) | 一种识别视频中的事件的方法及*** | |
| CN113591758A (zh) | 一种人体行为识别模型训练方法、装置及计算机设备 | |
| CN111882034A (zh) | 神经网络处理及人脸识别方法、装置、设备和存储介质 | |
| CN113240033B (zh) | 一种基于场景图高阶语义结构的视觉关系检测方法及装置 | |
| CN107886109A (zh) | 一种基于有监督视频分割的视频摘要方法 | |
| CN108268904B (zh) | 一种图片识别方法、装置及电子设备 | |
| CN116958729A (zh) | 对象分类模型的训练、对象分类方法、装置及存储介质 | |
| Curran et al. | Accurate New Zealand wildlife image classification-deep learning approach | |
| Xu et al. | Estimating similarity of rich internet pages using visual information | |
| CN114743045A (zh) | 一种基于双分支区域建议网络的小样本目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |