CN104142995B - 基于视觉属性的社会事件识别方法 - Google Patents
基于视觉属性的社会事件识别方法 Download PDFInfo
- Publication number
- CN104142995B CN104142995B CN201410370304.7A CN201410370304A CN104142995B CN 104142995 B CN104142995 B CN 104142995B CN 201410370304 A CN201410370304 A CN 201410370304A CN 104142995 B CN104142995 B CN 104142995B
- Authority
- CN
- China
- Prior art keywords
- video
- event
- perceptual property
- training
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 43
- 230000004438 eyesight Effects 0.000 claims description 42
- 239000013598 vector Substances 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims description 8
- 239000012141 concentrate Substances 0.000 claims description 6
- 230000005484 gravity Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 3
- 230000007306 turnover Effects 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005065 mining Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉属性的社会事件识别方法,该方法包括:步骤101,从训练事件视频集中的视频中提取视觉属性,所述视觉属性用于描述与视频对应的事件相关的属性;其中,所述训练事件视频中的每个视频对应一个已知事件类别;步骤102,基于提升的迭代模型,训练得到视觉属性分类器,并利用所述视觉属性分类器训练得到多个事件弱分类器;步骤103,基于上述得到的视觉属性分类器以及多个事件弱分类器对待分类事件视频进行分类。本发明针对传统的基于属性的视频事件识别方法中需要大量人工给定的语义标签问题,提出了自动的视觉属性挖掘方法;另外针对视频事件识别中视觉属性复杂多变的问题,本发明对同一种视觉属性建立了多种特征表示。
Description
技术领域
本发明属于社会媒体(social media)挖掘和视频分析领域,具体涉及基于图像分享网站和视频分享网站的视觉属性的社会事件的识别方法。
背景技术
随着手机、数字摄像头以及Flickr、Youtube等社交媒体的不断普及,人们变得更容易从网络上获取和分享信息。这使得发生在人们周围的社会事件以更快的速度传播并随之产生了大量与事件相关的不同模态的媒体数据,例如图像、文本和视频。根据大量多媒体数据来理解特定社会事件可以更好地帮助人们浏览、搜索和监控社会事件。但由于社会事件的复杂多变,如何有效地挖掘媒体数据来理解社会事件仍然是一个难题。
近年来,已有大量利用各种媒体数据的社会事件识别和检测的方法被提出。针对MediaEval公布的多媒体事件检测问题,图像的文本描述,标签、地理位置以及时间标记等数据被广泛用于事件的理解与检测。这些方法所关注的社会事件是发生在特定时间、地点的一类事件,例如“发生在西班牙巴塞罗拉和意大利罗马的所有足球事件”。还有一些方法借助社交网站、博客、维基以及搜索引擎中的大量文本信息来挖掘更为抽象的社会事件,例如“拉里·佩奇和谢尔盖·布林在1998年创立了谷歌公司”。除此之外,还有大量的方法被提出用于检测和识别视频中的事件。例如在多媒体事件检测(MED)数据集中,视频事件主要是关于“生日聚会”,“做蛋糕”以及“攀岩”等。由于包含在图像和视频中的视觉语义信息不易被提取和利用,目前的事件识别方法难以在视频事件中获得好的效果。为了改进对视频的社会事件的理解和识别,目前有大量的方法依赖于属性来描述视频中的事件。
目前基于属性的视频事件识别方法可以分为三个主要步骤。(1)人工标定视觉样本(图像或视频)的属性,这些属性是人为选定的最能体现事件特征的语义信息。(2)利用包含属性标记的视频或图像样本训练属性分类器。(3)利用属性分类器进一步得到视频的属性描述特征向量。最终将根据视频的属性描述特征向量来进行事件分类。尽管目前基于属性的方法可以得到好的效果,但仍然存在大量问题。一方面是标定属性需要耗费大量人力成本。另一方面是给定属性对应的单个分类器不足以描述事件对应的复杂多变的视觉外观。
发明内容
本发明的目的是通过自动挖掘视觉属性,得到对视频中的事件更有效的特征描述方式,进而可以得到更好的分类效果。针对事件复杂多变的视觉外观,用多种特征来描述给定的视觉属性,可以更全面的表达事件的视觉外观。
为实现上述目的,本发明提供一种基于视觉属性的社会事件识别方法,该方法包括以下步骤:
步骤101,从训练事件视频集中的视频中提取视觉属性,所述视觉属性用于描述与视频对应的事件相关的属性;其中,所述训练事件视频中的每个视频对应一个已知事件类别;
步骤102,基于提升的迭代模型,训练得到视觉属性分类器,并利用所述视觉属性分类器训练得到多个事件弱分类器;
步骤103,基于上述得到的视觉属性分类器以及多个事件弱分类器对待分类事件视频进行分类。
本发明的有益效果:本发明通过自动挖掘视觉属性,减少了传统基于视觉属性的事件识别方法中需要人工标定属性的耗费。基于提升的多特征属性表示方法可以有效地表示视频事件中复杂多变的视觉外观。
附图说明
图1是本发明基于视觉属性的社会事件识别方法的流程图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
图1为本发明提出的基于视觉属性的社会事件识别方法的流程图,所述方法通过自动挖掘视觉属性得到可以识别社会事件的关键视觉属性,这些视觉属性被进一步提升来更好地表示社会事件,最终视频事件被表示为视觉属性的特征向量。如图1所示,所述方法包括三个部分:1)视觉属性提取,2)视觉属性提升,3)基于视觉属性的社会事件识别。具体来说,所述方法包括以下步骤:
步骤101,视觉语义属性提取,所述视觉语义属性表示描述特定事件相关的物体,场景,行为等视觉语义;物体可以是人、车或者动物等;场景可能是体育场、教堂等,行为主要是人的行为活动,比如拥抱、握手等。
所述步骤101进一步包括以下步骤:
步骤1011,从训练事件视频集中的每一个事件视频的文本描述中提取语义单词和词组;其中,所述训练事件视频集中的每一个事件视频对应一个特定的社会事件,即每个事件视频具有一个事件类别;所述训练事件视频集中的所有事件视频对应预定数目个社会事件,所述预定数目小于训练视频集中的视频个数。
设为特定社会事件相关的一个事件视频的文本描述,可以被分割为多个语义或者词组单元其中sei表示一个语义或词组单元,所述词组单元为最能表达视觉属性的词组。视频的文本描述分割问题可以进一步表示为一个优化问题:
这里其中Stc表示衡量分割词组粘滞性的函数。较高的粘滞值表示词组被进一步分割会影响词组的语义完整性。明确来说,Stc被定义为
Stc(se)=L(se)eQ(se)Sigmod(SCP(se)) (2)
这里Q(se)表示se作为关键词条的概率,如出现在***中的概率等。SCP表示N元文法模型的对称条件概率,根据se所有可能的二分方式,SCP可以被定义为:
这里Pr()表示一先验概率,即为括号内词组序列的联合概率,该联合概率根据该词组序列中每个词组的条件概率乘积得到。n表示se中单词的个数,w表示se中的某个单词。所述Pr()可以直接由微软N元文法服务得到,所述微软N元文法服务是一个开源的云计算项目,用户可以给该服务的服务器发送一个词组,该云服务就可以返回该词组序列的联合概率。L(se)被用来优先选择较短的词组分割结果,se的绝对值表示词组se中的单词个数。
其中,|se|表示se中的单词个数。
步骤1012,收集语义单词和词组se对应的图片,这里的图片可以是用步骤1011中得到的词组se作为检索词时,从Flickr上返回的图片;根据视觉信息计算语义单词和词组se的视觉表示力,结合语义单词或词组的语义粘滞性,从语义单词和词组中选出视觉语义属性集,即选出视觉语义属性概率较高的预定数量的语义单词或词组。实验证明使用500个左右的词组就可以达到最好的事件识别效果。
一个分割词组se被选为视觉语义属性的概率是由se的语义粘滞性和视觉表示力共同决定的。
Score(se)=Stc(se)Vflickr(se) (5)
这里Vflickr是se的视觉表示力,是通过图像集的视觉相似性来计算得到:
这里的Ise是当se作为检索词时,图像共享网站Flickr上返回的图像集。可选地为每个se从Flickr上收集了大约100张图像。Cent(Ise)表示Ise的重心。图像的重心是指图像对应的特征向量的重心。图像集Ise的重心通过对图像集Ise中所有图像的特征向量求均值来计算得到。假设vi和vj是图像i和j的特征向量,这里的图像相似度sim()是借助于傅里叶变换来计算得到,这里表示傅里叶变换,λ是一个正则化参数,预先设定的,用于防止分母太小的时候而计算得到无意义的相似性值。
步骤102,视觉语义属性提升,即通过提升模型对视觉语义属性进行提升。所述提升模型用于学习视觉语义属性集中视觉语义属性的多种特征表示和对于特定事件的权重,不同的特征表示反映了属性的不同视觉表象,属性的权重表示该属性对于识别特定事件的作用大小;即该步骤中基于提升(boosting)的迭代模型
所述步骤102是基于提升(boosting)的迭代模型来构建的:
符号假设:表示所述训练事件视频集,其包括n个事件视频。这里vj表示一个由lj帧图像组成的事件视频。表示中所有视频对应的事件类别,即不同的社会事件,K是视频所包含的事件类别的个数。表示视频中所有帧图像的总数。表示视频集中所有帧图像的视觉特征向量。我们用Cpts表示步骤101中提取得到的视觉语义属性的集合。表示视频集中所有帧图像的视觉语义标签,一个帧图像的视觉语义标签为该帧图像所属的事件视频的视觉语义属性集合。这些视觉语义标签可以根据101步骤中得到的视频的视觉语义属性得到。在步骤101中提取视觉语义属性的过程中,每个视觉语义属性都是从某个视频的文本描述中提取,因此可以给视频自动赋予视觉语义属性标签。对于某个视频vj,如果c∈Cpts是从它的文本信息中提取出来的视觉语义属性,那么视频vj中的所有图像的视觉语义属性标签都会包含c。另外假设为一个辅助图像集,我们用表示所述辅助图像集中所有图像的视觉特征向量。这个辅助图像集是以每个事件类别的名称作为检索词从Flickr上得到。所述辅助图像集中所有图像的视觉语义标签表示为辅助图像集中的图像都是从Flickr上检索得到,因此都带有一定的文本描述信息。如果一幅图像xi的文本中包含有某个视觉语义属性c∈Cpts,那么这个图像的视觉语义属性标签ai就包含这个视觉语义属性c。另外我们假设训练事件视频集和辅助图像集中的所有图像的权重分布表示为和这些权重将在提升迭代中不断被更新。
在每次提升迭代中,我们首先根据dV和dI来学习领域适应的特征表示,然后利用这些特征来训练视觉属性分类器,视觉属性分类器将进一步被用于训练社会事件的事件识别分类器。在所述视觉属性的提升迭代过程中涉及的领域适应的特征学习,视觉属性分类器训练,利用视觉属性的社会事件识别三个主要部分将分别在下面的步骤1021,步骤1022和步骤1023中介绍。
步骤1021领域适应的特征学习;
为了同时利用视频集中的帧图像和辅助图像集中的图像,我们需要学***方优化目标方程来重建原始特征向量。在mSDA中,把视频帧图像和辅助图像集中的图像放在一起训练可以减小领域差异。通常对特征向量加多重噪声,此时优化目标方程为:
这里我们采用的去噪自编码器是用加了噪声以后的特征恢复得到原来的特征。是指去噪自编码器的重构误差,也就是恢复得到的特征与原始特征的误差。w表示映射矩阵,xi是第i个样本图像的原始特征,是对第i个样本的原始特征第j次加噪声以后的特征。s表示训练样本个数,r表示对每个样本加噪声的次数。
这个二次优化方程可以求得解析解:
这里X=[x1,...,xs],另外是由加噪声后的特征向量组成。此外E表示期望,T表示矩阵的转置,-1表示矩阵的逆。
所述共有特征表示就是将原有特征乘以所述映射矩阵W得到。在下面的步骤中,用g(xi)表示原来的特征向量xi被所述映射矩阵W映射后的特征。
步骤1022训练视觉属性分类器
基于上一步得到的共有特征表示,我们学习属性分类器。每个属性分类器都是用线性SVM训练得到。考虑到只有视频的某些帧图像才与属性相关联,因此我们只是采样了视频中的一部分帧图像来训练分类器。这里是用步骤1021中的图像样本子集的共有特征表示来训练属性分类器。训练得到属性分类器之后,我们可以根据分类准确率更新视频帧图像的权重。属性分类器准确分类的那些帧图像样本将在下次boosting迭代中更容易被选择出来用于训练属性分类器。对于第c个属性分类器,分类误差与权重更新率可以分别计算为:
表示分类误差,表示符号函数,如果括弧中的条件满足,则函数值为1,否则函数值为0;xi表示第i个训练样本的特征,即中的第i个图像帧的特征向量;g(xi)表示xi对应的步骤1021中所述的共有特征表示;fc(g(xi))表示第c个属性分类器,如果xi是属于属性c,则函数值为1,否则为0,所述属性c就是前面提取得到的视觉语义属性;di是第i个训练样本权重,image(c)表示属性c对应的所有图像,包括提取出视觉语义属性c的视频包括的所有帧图像。
αc表示权重更新率。对视频中的所有帧图像,其权重更新方式可以表示为:
其中image(c)表示第c个属性分类器对应的视频包含的所有帧图像。试验中我们为了得到最好的效果选择500个左右视觉语义属性。每次迭代中每个视觉语义属性都对应一个属性分类器。在步骤101提取视觉语义属性的过程中,每个视觉语义属性都是从某个视频的文本描述中提取,因此可以给视频自动赋予视觉语义属性标签。对于帧图像来说,帧所在的视频属于哪个视觉语义属性,这个帧图像也就具有和视频相同的视觉语义属性。用同样的方式,更新辅助图像集中所有图像的权重。
步骤1023利用视觉属性分类器训练得到事件视频的分类器,并更新视频帧图像的权重;
根据步骤1022,我们可以利用视觉属性分类器来描述事件视频。这里说的描述事件视频主要是指对每个视频得到一个特征表示向量。在步骤1022中,我们最终是得到了每个视觉语义属性对应的属性分类器。用所有属性分类器对视频进行打分,也就是用所有属性分类器的输出构造一个视频的特征描述。具体来说,事件视频中的每个帧图像都可以利用视觉属性分类器得到一个分类输出值。这些分类器的输出构成一个关于视觉属性的特征向量。然后我们把视频中所有帧图像对应的视觉属性特征向量做池化得到视频的视觉属性特征向量。池化简单来说就是把多个特征向量变成一个特征向量,但需要尽量保持原来特征向量所表达的信息。实现的时候我们是对多个特征向量的每一维取最大值,得到一个特征向量。最后我们利用这些视觉属性特征向量进行事件识别,进而训练得到事件视频的分类器。这里我们根据事件的识别准确率对视频对应的帧图像权重做进一步调整。根据视频帧图像样本的权重,我们可以计算关于视频的权重向量。
其中表示第j个视频的权重,di是图像i的权重,image(j)表示第j个视频对应的所有帧图像。n表示视频总数。
社会事件视频分类误差与事件视频弱分类器权重可以分别计算为:
这里vj表示第j个视频,前面符号假设部分有说明,yj表示训练事件视频集中第j个视频的事件类别。h(vj)表示对视频vj训练得到的事件弱分类器,α表示弱分类器h(vj)的权重。这里的事件弱分类器是根据步骤1023池化得到的视频的视觉属性特征向量来训练得到的。表示符号函数,如果括弧中的条件满足,则函数值为1,否则函数值为0。K表示事件类别的个数。
所有视频帧图像的权重可以相应被更新,l表示所有视频的所有帧图像总数:
上述三个步骤1021,1022和1023不断迭代进行,帧图像和辅助数据集的权重不断被更新,每次迭代都会产生一个新的特征表示方式,一个事件分类器,每个属性都产生一个属性分类器。因此经过T次迭代后,对于得到T个特征表示,T个事件分类器,对每个属性也得到T个属性分类器。
步骤103,基于视觉属性的社会事件识别,所述社会事件识别是根据视觉属性的图像样本权重和视觉属性分类器来识别特定社会事件。在步骤102中,随着提升过程的不断迭代,我们得到了视觉属性的多种特征表示和多个属性分类器。同时我们也得到了特定事件相关的视觉属性的权重,以及每个视觉属性对应的帧图像的权重。得到这些特征表示和事件分类器之后,我们就可以构造用于识别特定社会事件相关的视频v的分类器H(v),这里αi表示第t次迭代中产生的弱分类器ht(v)的权重,由于总共有K个事件类别,因此k的取值范围是1到K。是符号函数,如果弱分类器ht(v)的输出为k,那么函数的输出为1,否则为0。
具体来说,对于某个测试视频v,第t个弱分类器ht(v)是按如下方式进行分类的:我们先利用步骤1021中学习得到的映射矩阵w来计算新的特征表示,然后采用步骤1022中的属性分类器得到视觉属性特征向量,最后采用步骤1023中的事件弱分类器h(v)对其分类。最终测试视频v的事件类别是根据(17)式所示的方式由T个弱分类器的结果共同决定。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于视觉属性的社会事件识别方法,其特征在于,该方法包括以下步骤:
步骤101,从训练事件视频集中的视频中提取视觉属性,所述视觉属性用于描述与视频对应的事件相关的属性;其中,所述训练事件视频中的每个视频对应一个已知事件类别;
步骤102,基于提升的迭代模型,训练得到视觉属性分类器,并利用所述视觉属性分类器训练得到多个事件弱分类器;
步骤103,基于上述得到的视觉属性分类器以及多个事件弱分类器对待分类事件视频进行分类;
其中,所述步骤101进一步包括以下步骤:
步骤1011,从所述训练事件视频集中每个视频的文本描述中提取语义单词和词组;
步骤1012,收集所述语义单词和词组对应的图像,根据视觉信息计算语义单词和词组的视觉表示力,结合语义单词和词组的语义粘滞性,从语义单词和词组中选出多个视觉属性;
其中,设为一个视频的文本描述,被分割为多个语义或者词组单元其中sei表示一个语义单元或词组单元;视频的文本描述分割问题可以进一步表示为一个优化问题:
这里其中Stc表示衡量语义单元或词组单元粘滞性的函数。
2.根据权利要求1所述的方法,其特征在于,一个语义单元或词组单元se被选为视觉属性的概率是由se的语义粘滞性和视觉表示力共同决定的:
Score(se)=Stc(se)Vflickr(se)
这里Vflickr是se的视觉表示力,是通过收集得到的与其对应的图像集的视觉相似性来计算得到:
其中,Ise是当se作为检索词时,从图像共享网站搜索得到的图像集;Cent(Ise)表示Ise的重心;sim()表示图像的相似度。
3.根据权利要求1所述的方法,其特征在于,步骤102具体通过迭代执行以下三个步骤:
步骤1021:学习领域适应的共有特征表示,该步骤中利用权重分布采样所有视频对应的图像帧集合和辅助图像集中的图像;并利用去噪自编码器学习所采样的样本图像的共有特征表示;其中,所述辅助图像集是利用所述训练事件视频集中所有视频对应的已知事件类别名称作为关键词从图像共享网站检索得到;
步骤1022:利用所学习得到的领域适应的共有特征表示,训练得到与所述视觉属性对应的多个视觉属性分类器,并利用所述视觉属性分类器更新所述训练事件视频集中所有视频对应的图像帧以及辅助图像集中图像的权重;
步骤1023:利用所有视觉属性分类器对训练事件视频集中的每个视频进行描述以构造每个视频的视觉属性特征向量,然后利用视觉属性特征向量训练得到事件弱分类器;训练得到事件弱分类器,并利用所述事件弱分类器进一步更新训练事件视频集中所有视频对应的图像帧的权重。
4.如权利要求3所述的方法,其特征在于,步骤1021中,去噪自编码器利用加了噪声后的特征恢复得到原来的特征,其重构误差方程如下表示:
其中,是指去噪自编码器的重构误差,W表示将所述训练事件视频集中所有视频对应的图像帧和辅助图像集中的图像帧映射成共有特征表示的映射矩阵;s表示采样得到的样本个数,r表示对每个样本加噪声的次数;xi是第i个样本的原始特征,是对第i个样本的原始特征第j次加噪声以后的特征;
通过上述重构误差方程可以求得映射矩阵W的解析解,具体如下表示:
其中,X=[x1,…,xs]表示采样得到的样本集合,另外是由加噪声后的视觉属性特征向量组成;E表示期望。
5.如权利要求4所述的方法,其特征在于,步骤1022中,视觉属性分类器的分类误差如下表示:
其中,∈c表示分类误差,表示符号函数,如果括弧中的条件满足,则函数值为1,否则函数值为0;g(xi)表示将xi的特征映射为共有特征表示后的特征;fc(g(xi))表示第c个视觉属性分类器;
利用训练得到的分类器如下更新训练事件视频集和辅助图像集中图像的权重:
αc=ln((1-∈c)/ ∈c)
其中,di表示第i个图像的权重,image(c)表示第c个视觉属性分类器对应的视频包含的所有帧图像;αc表示权重更新率。
6.如权利要求5所述的方法,其特征在于,步骤1023中每个视频的所述视觉属性特征向量如下构建:
利用所有视觉属性分类器对所述训练事件视频集中每个视频对应的图像帧得到分类输出值,这些分类输出值构成图像帧的视觉属性特征向量,将一个视频对应的所有帧图像对应的视觉属性特征向量进行池化得到该视频的视觉属性特征向量。
7.如权利要求3所述的方法,其特征在于,步骤1023中,事件弱分类器的分类误差和权重如下计算:
α=ln((1-∈)/ ∈)+ln(K-1)
其中,∈表示事件弱分类器的分类误差,vj表示第j个视频,yj表示训练事件视频集中第j个视频的事件类别;h(vj)表示对视频vj训练得到的事件弱分类器,α表示事件弱分类器h(vj)的权重;表示第j个视频的权重,K表示事件类别的个数,表示符号函数。
8.如权利要求6所述的方法,其特征在于,步骤103具体包括:
对于待识别视频,利用映射矩阵W计算其对应的图像帧的特征表示;
将所述特征表示作为所述视觉属性分类器的输入,进而得到待识别视频的视觉属性特征向量;
将所述待识别视频的视觉属性特征向量作为所有事件弱分类器的输入,对所述待识别视频进行分类。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410370304.7A CN104142995B (zh) | 2014-07-30 | 2014-07-30 | 基于视觉属性的社会事件识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410370304.7A CN104142995B (zh) | 2014-07-30 | 2014-07-30 | 基于视觉属性的社会事件识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104142995A CN104142995A (zh) | 2014-11-12 |
CN104142995B true CN104142995B (zh) | 2017-09-26 |
Family
ID=51852169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410370304.7A Active CN104142995B (zh) | 2014-07-30 | 2014-07-30 | 基于视觉属性的社会事件识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104142995B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020219380A1 (en) * | 2019-04-23 | 2020-10-29 | Raitonsa Dynamics Llc | Perceptual property vector for an object |
WO2020219381A1 (en) * | 2019-04-23 | 2020-10-29 | Raitonsa Dynamics Llc | Responding to representations of physical elements |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104484666A (zh) * | 2014-12-17 | 2015-04-01 | 中山大学 | 一种基于人机交互的图像高级语义解析的方法 |
CN106203296B (zh) * | 2016-06-30 | 2019-05-07 | 北京小白世纪网络科技有限公司 | 一种属性辅助的视频动作识别方法 |
CN107707931B (zh) * | 2016-08-08 | 2021-09-10 | 阿里巴巴集团控股有限公司 | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 |
CN106980658A (zh) * | 2017-03-15 | 2017-07-25 | 北京旷视科技有限公司 | 视频标注方法及装置 |
CN109726726B (zh) * | 2017-10-27 | 2023-06-20 | 北京邮电大学 | 视频中的事件检测方法及装置 |
CN109325127B (zh) * | 2018-11-28 | 2021-11-19 | 创新先进技术有限公司 | 一种风险识别方法和装置 |
WO2020232666A1 (zh) * | 2019-05-22 | 2020-11-26 | 深圳市大疆创新科技有限公司 | 一种图像处理方法、终端、***以及计算机可读存储介质 |
CN111488932B (zh) * | 2020-04-10 | 2021-03-16 | 中国科学院大学 | 一种基于帧率感知的自监督视频时-空表征学习方法 |
CN111178458B (zh) * | 2020-04-10 | 2020-08-14 | 支付宝(杭州)信息技术有限公司 | 分类模型的训练、对象分类方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279579A (zh) * | 2013-06-24 | 2013-09-04 | 魏骁勇 | 基于视觉空间的视频检索方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080162561A1 (en) * | 2007-01-03 | 2008-07-03 | International Business Machines Corporation | Method and apparatus for semantic super-resolution of audio-visual data |
-
2014
- 2014-07-30 CN CN201410370304.7A patent/CN104142995B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103279579A (zh) * | 2013-06-24 | 2013-09-04 | 魏骁勇 | 基于视觉空间的视频检索方法 |
Non-Patent Citations (2)
Title |
---|
Social event detection with robust high-order co-clustering;Bing-Kun Bao等;《ICMR’13 Proceedings of the 3rd ACM conference on International conference on multimedia retrieval》;20130420;第135-142页 * |
基于语义的视频事件检测分析方法研究;柯佳;《中国博士学位论文全文数据库信息科技辑》;20130815(第08期);第1-109页 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020219380A1 (en) * | 2019-04-23 | 2020-10-29 | Raitonsa Dynamics Llc | Perceptual property vector for an object |
WO2020219381A1 (en) * | 2019-04-23 | 2020-10-29 | Raitonsa Dynamics Llc | Responding to representations of physical elements |
Also Published As
Publication number | Publication date |
---|---|
CN104142995A (zh) | 2014-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104142995B (zh) | 基于视觉属性的社会事件识别方法 | |
CN109447140B (zh) | 一种基于神经网络深度学习的图像识别并推荐认知的方法 | |
CN112734775B (zh) | 图像标注、图像语义分割、模型训练方法及装置 | |
CN111126069B (zh) | 一种基于视觉对象引导的社交媒体短文本命名实体识别方法 | |
CN108388544A (zh) | 一种基于深度学习的图文融合微博情感分析方法 | |
Xu et al. | Remote sensing image scene classification based on generative adversarial networks | |
CN109960763B (zh) | 基于用户细粒度摄影偏好的摄影社区个性化好友推荐方法 | |
CN110021051A (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
CN106383816B (zh) | 基于深度学习的中文少数民族地区地名的识别方法 | |
CN111615706A (zh) | 基于子流形稀疏卷积神经网络分析空间稀疏数据 | |
CN107578292B (zh) | 一种用户画像构建*** | |
CN106991382A (zh) | 一种遥感场景分类方法 | |
Zhao et al. | Scene classification via latent Dirichlet allocation using a hybrid generative/discriminative strategy for high spatial resolution remote sensing imagery | |
Tracewski et al. | Repurposing a deep learning network to filter and classify volunteered photographs for land cover and land use characterization | |
CN110390363A (zh) | 一种图像描述方法 | |
CN106127222B (zh) | 一种基于视觉的字符串相似度计算方法及相似性判断方法 | |
CN105808757B (zh) | 基于多特征融合的bow模型的中草药植物图片检索方法 | |
CN110502743A (zh) | 基于对抗学习和语义相似度的社交网络跨媒体搜索方法 | |
CN104778224A (zh) | 一种基于视频语义的目标对象社交关系识别方法 | |
CN106537387B (zh) | 检索/存储与事件相关联的图像 | |
CN110196945A (zh) | 一种基于LSTM与LeNet融合的微博用户年龄预测方法 | |
Guo et al. | Using multi-scale and hierarchical deep convolutional features for 3D semantic classification of TLS point clouds | |
CN109408655A (zh) | 结合带孔卷积与多尺度感知网络的手绘草图检索方法 | |
CN108806355A (zh) | 一种书画艺术互动教育*** | |
CN104484347A (zh) | 一种基于地理信息的层次化视觉特征提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |