CN109189889B - 一种弹幕识别模型建立方法、装置、服务器及介质 - Google Patents

一种弹幕识别模型建立方法、装置、服务器及介质 Download PDF

Info

Publication number
CN109189889B
CN109189889B CN201811052795.5A CN201811052795A CN109189889B CN 109189889 B CN109189889 B CN 109189889B CN 201811052795 A CN201811052795 A CN 201811052795A CN 109189889 B CN109189889 B CN 109189889B
Authority
CN
China
Prior art keywords
bullet screen
sample
bullet
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811052795.5A
Other languages
English (en)
Other versions
CN109189889A (zh
Inventor
王非池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201811052795.5A priority Critical patent/CN109189889B/zh
Publication of CN109189889A publication Critical patent/CN109189889A/zh
Application granted granted Critical
Publication of CN109189889B publication Critical patent/CN109189889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种弹幕识别模型建立方法、装置、服务器及介质。该方法包括:使用弹幕训练样本对对预先构建的卷积神经网络进行训练;将训练完成的卷积神经网络作为弹幕识别模型;其中,弹幕训练样本对包括弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值,弹幕类型值包括正常弹幕输出值和异常弹幕输出值。采用上述技术方案训练获得的弹幕识别模型,可以有效过滤异常弹幕,提高异常弹幕的识别正确率和识别效率,同时能够实现弹幕识别模型的自主增量学习。

Description

一种弹幕识别模型建立方法、装置、服务器及介质
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种弹幕识别模型建立方法、装置、服务器及介质。
背景技术
弹幕是网络直播的重要组成部分,是直播间热度的客观反应。用户之间可以通过弹幕进行互动,主播也可以通过弹幕直接了解用户的想法,提升用户的观看体验。
随着直播平台的发展,超大型主播观看人数***,这导致直播过程中短时间的弹幕量可能达到几千甚至几万量级。如果短时间在直播界面上显示如此海量的弹幕,一方面会由于弹幕过于密集遮挡主播的直播内容;另一方面会导致用户软件服务高负载,耗费大量流量和内存。
由于短时间内海量弹幕中包含大量的低质量弹幕,因此,可以通过对低质量弹幕识别的方式实现直播界面所显示的弹幕的数量的有效控制。现有技术中,通常采用人工筛查或关键词正则匹配等方式进行低质量弹幕(也即异常弹幕)的过滤。然而,上述方法对低质量弹幕的识别效果较差,识别效率也较低。同时,由于建立的弹幕识别模型在训练过程中无法进行训练样本的增量调整,因此也无法实现模型训练中的自主增量学习。
发明内容
本发明实施例提供了一种弹幕识别模型建立方法、装置、服务器及介质,以实现对低质量弹幕的过滤。
第一方面,本发明实施例提供了一种弹幕识别模型建立方法,包括:
使用弹幕训练样本对对预先构建的卷积神经网络进行训练;
其中,所述弹幕训练样本对包括:弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值;
将训练完成的卷积神经网络作为所述弹幕识别模型。
第二方面,本发明实施例还提供了一种弹幕识别模型建立装置,包括:
训练模块,用于使用弹幕训练样本对对预先构建的卷积神经网络进行训练;
其中,所述弹幕训练样本对包括:至少两个弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值;
模型生成模块,用于将训练完成的卷积神经网络作为所述弹幕识别模型。
第三方面,本发明实施例还提供了一种服务器,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面实施例所提供的一种弹幕识别模型建立方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如第一方面实施例所提供的一种弹幕识别模型建立方法。
本发明实施例通过使用弹幕训练样本对对预先构建的卷积神经网络进行训练;将训练完成的卷积神经网络作为弹幕识别模型;其中,弹幕训练样本对包括弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值,弹幕类型值包括正常弹幕输出值和异常弹幕输出值。采用上述技术方案训练获得的弹幕识别模型,可以有效过滤异常弹幕,提高异常弹幕的识别正确率和识别效率,同时能够实现弹幕识别模型的自主增量学习。
附图说明
图1是本发明实施例一中的一种弹幕识别模型建立方法的流程图;
图2是本发明实施例二中的一种弹幕识别模型建立方法的流程图;
图3是本发明实施例三中的一种弹幕识别模型建立方法的流程图;
图4是本发明实施例四中的一种弹幕识别模型建立方法的流程图;
图5A是本发明实施例五中的卷积神经网络模型结构图;
图5B是本发明实施例五中的一种弹幕识别模型建立方法的流程图;
图6是本发明实施例六中的一种弹幕识别模型装置的结构图;
图7是本发明实施例七提供的一种服务器的硬件结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的一种弹幕识别模型建立方法的流程图。本发明实施例可适用于在直播过程中对弹幕进行过滤的情况,该方法可以由弹幕识别模型建立装置来执行,该装置由软件和/或硬件实现,并具体配置于服务器中。
如图1所示的弹幕识别模型建立方法,包括:
S110、使用弹幕训练样本对对预先构建的卷积神经网络进行训练。
其中,所述弹幕训练样本对包括:弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值。
其中,弹幕训练样本可以从训练样本库中直接获取各弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;还可以从原始弹幕库中获取原始弹幕样本进行编码预处理后得到。
需要说明的是,当弹幕样本词向量由原始弹幕样本经过编码预处理得到时,预处理过程可以在训练卷积神经网络之前,还可以在训练卷积神经网络过程中进行。
示例性地,卷积神经网络包括输入层、隐藏层、全连接层和输出层首尾相接;所述隐藏层包括至少两个计算网络分支;所述计算网络分支包括卷积层、与所述卷积层连接的激活层、与所述激活层连接的池化层和与所述池化层连接的折叠层。其中,在输入层可以对原始弹幕样本进行编码预处理得到弹幕样本词向量。
示例性地,弹幕样本词向量可以由获取的原始弹幕样本进行编码处理形成词向量。
示例性地,获取原始弹幕样本的方式可以是:从弹幕库中获取原始弹幕样本,通过异常关键词匹配的方式识别正常弹幕和异常弹幕;或者从弹幕库中获取原始弹幕样本,人工识别正常弹幕和异常弹幕。
示例性地,弹幕类型值的确定方式可以是:将正常弹幕的弹幕类型值设定为正常弹幕输出值;将异常弹幕的弹幕类型值设定为异常弹幕输出值。其中,正常弹幕输出值与异常弹幕输出值不同。示例性地,正常弹幕输出值可以设置为0,相应的异常弹幕可以设置为1。
其中,各正常弹幕以及正常弹幕对应的正常弹幕输出值形成正常弹幕训练样本对;各异常弹幕以及异常弹幕对应的异常弹幕输出值形成异常弹幕训练样本对。其中,弹幕训练样本对包括正常弹幕训练样本对和异常弹幕训练样本对。
具体的,将正常弹幕训练样本对和异常弹幕训练样本对均作为输入样本对卷积神经网络进行训练。
S120、将训练完成的卷积神经网络作为所述弹幕识别模型。
其中,卷积神经网络是否训练完成可以通过对训练后的卷积神经网络进行模型评价,当模型评价结果满足模型生成条件时,将训练后的卷积神经网络作为弹幕识别模型。
示例性地,模型评价过程可以是:采用评价弹幕样本词向量作为输入样本输入至所述弹幕识别模型,得到各所述评价弹幕样本词向量的预测结果;根据所述预测结果与所述评价弹幕样本词向量的实际弹幕类型值,获取模型评价结果,以对所述弹幕识别模型进行评价。
示例性地,模型评价结果可以是下述至少一种:正常弹幕被预测为正常弹幕的概率,异常弹幕被预测为异常弹幕的概率,正常弹幕被预测为异常弹幕的概率,以及异常弹幕被预测为正常弹幕的概率等。
相应的,模型生成条件可以是模型评价结果是否满足相应的设定阈值,其中,不同模型评价结果对应不同的设定阈值,各设定阈值由技术人员设定为经验值或根据应用需求自行设定。
本发明实施例通过使用弹幕训练样本对对预先构建的卷积神经网络进行训练;将训练完成的卷积神经网络作为弹幕识别模型;其中,弹幕训练样本对包括弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值,弹幕类型值包括正常弹幕输出值和异常弹幕输出值。采用上述技术方案训练获得的弹幕识别模型,可以有效过滤异常弹幕,提高异常弹幕的识别正确率和识别效率,同时能够实现弹幕识别模型的自主增量学习。
实施例二
图2是本发明实施例二中的一种弹幕识别模型建立方法的流程图。本发明实施例在上述各实施例的技术方案的基础上,进行了追加优化。
进一步地,在操作“使用弹幕训练样本对预先构建的卷积神经网络进行训练”之前,追加“获取至少两个原始弹幕样本;根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量;对所述初始弹幕样本词向量进行降维处理,生成所述弹幕样本词向量”,以完善弹幕样本词向量的生成方式,提高模型精度和稳定性。
进一步地,在操作“根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量”之前,追加“去除各原始弹幕样本中的异常字符,并更新所述原始弹幕样本;和/或去除各所述原始弹幕样本中内容相同的弹幕样本,并更新所述原始弹幕样本”,以对原始弹幕样本的预处理,进一步提高训练模型精度和稳定性。
如图2所示的弹幕识别模型建立方法,包括:
S210、获取原始弹幕样本。
其中,原始弹幕样本表示用户所发送的未经处理的原始弹幕。其中原始弹幕包括正常弹幕和异常弹幕。其中,异常弹幕包括下述至少一种:喷子弹幕、低俗弹幕、广告弹幕以及涉政弹幕。其中,正常弹幕是指非异常弹幕或与用户所观看内容相关的非异常弹幕。
优选地,正常弹幕与异常弹幕的数量均衡分配;异常弹幕中各种类的弹幕数量均衡分配。
具体的,获取原始弹幕样本的方式可以是:从建立弹幕识别模型的当前服务器本地获取,从与当前服务器通信连接的其他服务器中获取,或者从云端获取。
S220、去除各原始弹幕样本中的异常字符,并更新所述原始弹幕样本;和/或去除各所述原始弹幕样本中内容相同的弹幕样本,并更新所述原始弹幕样本。
其中,异常字符包括表情符、图片以及乱码等无实际含义字符和非可识别字符。由于去除异常字符不会对原始弹幕样本的语义产生影响,因此可以将异常字符进行去除。
示例性地,可以将原始弹幕样本中的各个字符与预设标准词表进行比对;若预设标准词表中未包含相应的字符,则确定未包含的字符为异常字符,并通过剔除原始弹幕样本中的异常字符,更新原始弹幕样本。其中,预设标准词表中包括一定数量的通用字符。其中,通用字符的数量较大,例如可以是20000。
示例性地,还可以将原始弹幕样本的各个字符与预设异常词表进行比对;若预设异常词表包含相应的字符,则确定所包含的字符为异常字符,并通过剔除原始弹幕样本中的异常字符,更新原始弹幕样本。其中,预设异常词表中包括一定数量的异常字符。其中,异常字符的数量较大,例如可以是20000。
当不同用户发送相同或相似的观看弹幕,或者同一用户重复发送相同的观看弹幕时,导致获取的原始弹幕样本或更新后的原始弹幕样本相同。采用相同的训练样本对模型进行训练,将会浪费训练时间,同时对模型的稳定性造成影响,因此需要对原始弹幕样本进行去重处理。
具体的,当获取的原始弹幕样本或更新后的原始弹幕样本相同时,将重复的原始弹幕样本剔除,以更新原始弹幕样本。
需要说明的是,异常字符去除操作和去重操作可以同时进行,也可以先后进行,同时对两者执行的先后顺序和执行次数不做任何限定。
S230、根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量。
其中,一个原始弹幕样本对应的初始弹幕样本词向量的维数与预设标准词表中所包含通用字符的个数相同。
S240、对所述初始弹幕样本词向量进行降维处理,生成所述弹幕样本词向量。
由于初始弹幕样本词向量维数较大,直接采用初始弹幕样本词向量进行模型训练会由于训练过程计算量过大导致训练时间长,同时训练得到的模型容易发生过拟合,影响模型精度。因此,需要对初始弹幕样本词向量进行降维处理,生成弹幕样本词向量。其中,弹幕样本词向量的向量纬度远远小于初始弹幕样本词向量。示例性地,初始弹幕样本词向量为20000维,弹幕样本词向量为200维。
示例性地,可以采用skip-gram模型对初始弹幕样本词向量,或者采用特征提取的方式对初始弹幕样本词向量进行降维处理,获取弹幕样本词向量。
S250、使用弹幕训练样本对对预先构建的卷积神经网络进行训练。
其中,所述弹幕训练样本对包括:至少两个弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值。
S260、将训练完成的卷积神经网络作为所述弹幕识别模型。
本发明实施例通过在模型训练之前,追加获取原始弹幕样本,并对原始弹幕样本进行独热编码生成弹幕样本词向量,以完善训练样本的生成方式,提高模型精度和稳定性;通过在生成弹幕样本词向量之前,追加异常字符去除步骤和/或重复样本去除步骤,以更新原始弹幕样本,实现对原始弹幕样本的预处理,进一步提高训练模型精度和稳定性。
实施例三
图3是本发明实施例三中的一种弹幕识别模型建立方法的流程图。本发明实施例在上述各实施例的技术方案的基础上进行了优化。
进一步地,将操作“使用弹幕训练样本对对预先构建的神经网络进行训练”细化为“选取设定数量的弹幕训练样本对;依次获取一个弹幕训练样本对输入至预先构建的卷积神经网络中,得到所述卷积神经网络基于弹幕样本词向量的输出结果,并基于所述输出结果对预先构建的卷积神经网络中的加权参数进行调整;返回执行获取一个弹幕样本词向量输入至所述卷积神经网络的操作,直至达到预先设定的训练结束条件”,以完善对卷积神经网络的训练过程。
如图3所示的一种弹幕识别模型建立方法,包括:
S310、选取设定数量的弹幕训练样本对。
其中,所述弹幕训练样本对包括:弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值。
其中,弹幕训练样本对的数量由技术人员根据经验设定为固定值,或者根据训练过程需要设定为可调值。
S320、依次获取一个弹幕训练样本对输入至预先构建的卷积神经网络中,得到所述卷积神经网络基于弹幕样本词向量的输出结果。
在选取的弹幕训练样本对中,按照设定顺序获取或随机获取一个弹幕训练样本对作为输入样本输入至预先构建的卷积神经网络中进行训练。在对卷积神经网络训练之后,会得到与输入样本对应的输出结果。
其中,所述卷积神经网络,包括:输入层、隐藏层、全连接层和输出层首尾相连;所述隐藏层包括至少两个计算网络分支;所述计算网络分支包括卷积层、与所述卷积层连接的激活层、与所述激活层连接的池化层和与所述池化层连接的折叠层。
其中,卷积神经网络中各层包括加权参数,当弹幕训练样本输入至卷积神经网络中时,会结合各层的加权参数进行计算,得到输出结果。其中,第一次训练卷积神经网络时采用的预先设定的加权参数进行计算;在每次训练过程中会对各层加权参数进行调整,因此再次训练卷积神经网络时,会根据调整后的加权参数进行计算。
S330、基于所述输出结果对预先构建的卷积神经网络中的加权参数进行调整。
具体的,计算所述输出结果和弹幕类型值之间的交叉熵函数;采用设定权重更新算法,沿着最小化交叉熵函数的方向,反向逐层更新预先构建的卷积神经网络中各层的加权参数。
S340、判断进行训练的弹幕训练样本是否达到设定数量;如果是,执行S350,如果否,返回执行S320。
S350、将训练完成的卷积神经网络作为所述弹幕识别模型。
本发明实施例通过将弹幕训练样本逐一输入卷积神经网络得到输出结果,通过输出结果对卷积神经网络的加权参数进行调整,不断优化加权参数最终生成弹幕识别模型的方案,进一步完善了卷积神经网络的训练过程。
实施例四
图4是本发明实施例四中的一种弹幕识别模型建立方法的流程图。本发明实施例在上述各实施例的技术方案的基础上,进行了追加优化。
进一步地,在操作“将训练完成的卷积神经网络作为所述弹幕识别模型”之后,追加“获取弹幕预测样本作为输入样本输入所述弹幕识别模型中;根据所述弹幕识别模型的预测结果,标记所述弹幕预测样本;根据标记结果,对所述弹幕样本对应的原始弹幕进行显示”,以通过弹幕识别模型有效滤除异常弹幕,仅对正常弹幕加以显示,实现了对弹幕数量以及弹幕质量的有效控制。
如图4所示的一种弹幕识别模型建立方法,包括:
S410、使用弹幕训练样本对对预先构建的卷积神经网络进行训练。
其中,所述弹幕训练样本对包括:弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值。
S420、将训练完成的卷积神经网络作为所述弹幕识别模型。
S430、获取弹幕预测样本作为输入样本输入所述弹幕识别模型中。
其中,弹幕预测样本包括弹幕预测样本词向量。
示例性地,获取弹幕预测样本的方式可以是:从当前服务器本地直接获取,从与当前服务器具备通信连接的其他服务器中获取,或者从云端获取。
其中,弹幕预测样本可以是原始预测弹幕,还可以是对原始预测弹幕进行预处理后生成的弹幕预测样本词向量。
其中,对原始预测弹幕进行预处理生成弹幕预测样本词向量,包括:按照预设标准此表对原始预测弹幕进行独热编码生成初始弹幕预测样本词向量;对初始弹幕预测样本词向量进行降维处理生成弹幕预测样本词向量。
相应的,将弹幕预测样本词向量作为输入样本输入所述弹幕识别模型中。
S440、根据所述弹幕识别模型的预测结果,标记所述弹幕预测样本。
具体的,当所述弹幕识别模型的输出结果为异常弹幕输出值时,标记相应的弹幕预测样本为异常弹幕;当所述弹幕识别模型的输出结果为正常弹幕输出值时,标记相应的弹幕预测样本为正常弹幕。
S450、根据标记结果,对所述弹幕样本对应的原始弹幕进行显示。
具体的,剔除异常弹幕对应的用户输入的原始弹幕,并在直播界面上显示正常弹幕对应的用户输入的原始弹幕。
在上述各实施例的技术方案的基础上,还包括:
将弹幕预测样本和预测结果对应存储。
本发明实施例通过对弹幕预测样本和预测结果对应存储,以便于后续的比对验证,为模型优化或其他模型的建立提供数据。
实施例五
本发明实施例在上述各实施例的技术方案的基础上提供了一优选实施例。其中,本发明实施例采用的卷积神经网络模型结构图可参见图5A。
其中,卷积神经网络包括输入层、隐藏层、全连接层和输出层首尾相连;所述隐藏层包括至少两个计算网络分支;所述计算网络分支包括卷积层、与所述卷积层连接的激活层、与所述激活层连接的池化层和与所述池化层连接的折叠层。
如图5B所示的一种弹幕识别模型建立方法,包括:
S510、获取弹幕训练样本。
其中,弹幕训练样本包括正常弹幕和异常弹幕。其中,异常弹幕包括喷子弹幕、低俗弹幕、广告弹幕和涉政弹幕。其中,正常弹幕和异常弹幕数量均衡,各异常弹幕数量均衡。
S521、对弹幕训练样本进行清洗,去除异常字符,得到无重复的纯净弹幕,以更新弹幕训练样本。
S522、将弹幕训练样本向量化,生成弹幕样本词向量。
根据标准词库对弹幕训练样本逐词编码生成one-hot向量,并生成的one-hot向量作为弹幕样本词向量。其中,标准词库由技术人员根据需要进行扩充,例如可以加入观看直播这一特定场景时的高频词。具体的,标准词库中高频词为20000个,相应的弹幕样本词向量为20000维。
其中,S521~S522对应图5A中的输入层操作,用于实现弹幕预处理。
S530、根据skip-gram模型对弹幕样本词向量进行降维处理,并更新弹幕样本词向量。
具体的,降维后的弹幕样本词向量为200维。
其中,S530对应图5A中的嵌入层操作,用于实现向量降维。
以64个神经元形成计算网络分支为例,对弹幕样本词向量进行处理的步骤参加S541~S544。其中,计算网络分支的个数由工作人员自行设定。示例性地,本发明实施例中为3个。
S541、根据弹幕样本词向量和预设卷积核函数进行卷积处理,得到第一隐层值。
具体的,根据公式
Figure BDA0001795019960000141
得到第一隐层值。
其中,xk为弹幕样本词向量中当前卷积窗口所对应位置的各特征值形成的向量,k为窗口大小;Wij为预设卷积核函数对应位置的权重值,i和j分别为卷积核的对应位置,y为第一隐层值。
示例性地,本发明实施例卷积层为3×200维。
其中,卷积核函数可以视为机器视觉中的感受野激活,如果对应的形状位置与卷积核的形状越相似,输出则越大。
其中,S541对应图5A中的卷积层的操作,用于对弹幕样本词向量进行特征提取。
S542、采用线性整流函数对第一隐层值进行处理,得到第二隐层值。
具体的,根据公式Φ(x)=max(0,x),得到第二隐层值;
其中,x为第一隐层值,Φ(x)为第二隐层值。
其中,S542对应图5A中的第一激活层的操作,用于将卷积层结果进行映射。
S543、采用最大池化函数对计算网络分支中各第二隐层值进行处理,得到第三隐层值。
具体的,根据公式y=max(x1,x2,..…,xk),得到第三隐层值。
其中,xi为第二隐层值,i=1…k,k为池化步长。
其中,池化步长为待优化参数。本发明实施例中池化步长预设为50.
其中,S543对应图5A中的池化层操作,用于对实现隐层输出降维。
S544、将计算网络分支中的各神经元对应的第三隐层值合并为第三隐层向量。
其中,S544对应图5A中的折叠层,用于将维向量折叠成一维向量。
S550、将各计算网络分支的第三隐层向量进行加权处理,得到第四隐层向量。
其中,S550对应图5A中的全连接层,用于将各计算网络分支输出的隐层向量进行拼接。
S560、采用激活参数对第四隐层向量进行分类,得到分类结果。
具体的,根据公式
Figure BDA0001795019960000151
得到分类数值;将分类数值与预设阈值进行比较,当大于预设阈值则为异常弹幕;当不大于预设阈值,则为正常弹幕。
其中,xi为第四隐层向量中的最大值,j为计算网络分支的神经元个数。其中,σ(x)为分类数值。示例性地,预设阈值可以为0.5。
其中,S560对应图5A中的第二激活层和输出层。其中,激活层用于将弹幕类型映射倒0-1之间的数值;输出层用于输出弹幕类型。
S570、计算分类结果与实际弹幕类型值的交叉熵函数,采用反向传播算法对卷积神经网络中各层的待优化参数进行优化。
具体的,根据公式
Figure BDA0001795019960000152
得到残差值;
其中,n为弹幕训练样本的个数,loss为残差值,yi为实际弹幕类型值,yi'为模型预测的分类结果。
根据公式
Figure BDA0001795019960000161
最小化模型的交叉熵;其中,θ为各层的待优化参数,zi为中间层的输出。
具体的,可以通过反向传播算法,也即链式法则将loss函数不断传播至前面各层的待优化参数。
S580、采用预测弹幕样本数据输入至已优化的模型中,得到模型输出值,并根据模型输出值与真实输出值对模型进行评价。
具体的,根据公式
Figure BDA0001795019960000162
对模型进行评价;
其中,TP表示异常弹幕被判断为异常弹幕,TN表示正常弹幕被判断为正常弹幕,FP表示正常弹幕被判断为异常弹幕,FN表示异常弹幕被判断为正常弹幕;accuracy为模型准确率;recall为模型召回率;F-measure为模型F得分。
其中,F得分越高说明模型效果越好。
需要说明的是,在对模型进行训练的过程中,对已训练的模型还可以进行增量训练。具体的,增量训练过程包括:将模型未识别的样本进行采样,组成一侧新的训练集进行迭代训练。可以理解的是,由于增量学习样本较少,为了避免过拟合现象,迭代次数不宜过多。
实施例六
图6是本发明实施例六中的一种弹幕识别模型装置的结构图。本发明实施例可适用于在直播过程中对弹幕进行过滤的情况,该装置由软件和/或硬件实现,并具体配置于服务器中。如图6所示的弹幕识别模型建立装置,包括:训练模块610和模型生成模块620。
其中,训练模块610,用于使用弹幕训练样本对对预先构建的卷积神经网络进行训练;
其中,所述弹幕训练样本对包括:至少两个弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值;
模型生成模块620,用于将训练完成的卷积神经网络作为所述弹幕识别模型。
本发明实施例通过训练模块使用弹幕训练样本对对预先构建的卷积神经网络进行训练;通过模型生成模块将训练完成的卷积神经网络作为弹幕识别模型;其中,弹幕训练样本对包括弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值,弹幕类型值包括正常弹幕输出值和异常弹幕输出值。采用上述技术方案训练获得的弹幕识别模型,可以有效过滤异常弹幕,提高异常弹幕的识别正确率和识别效率,同时能够实现弹幕识别模型的自主增量学习。
进一步地,所述卷积神经网络,包括:输入层、隐藏层、全连接层和输出层首尾相连;
所述隐藏层包括至少两个计算网络分支;
所述计算网络分支包括卷积层、与所述卷积层连接的激活层、与所述激活层连接的池化层和与所述池化层连接的折叠层。
进一步地,该装置,还包括:
获取模块,用于在所述使用弹幕训练样本对预先构建的卷积神经网络进行训练之前,获取原始弹幕样本;
编码模块,用于根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量;
降维模块,用于对所述初始弹幕样本词向量进行降维处理,生成所述弹幕样本词向量。
进一步地,该装置,还包括:
去除模块,用于根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量之前,去除各原始弹幕样本中的异常字符,并更新所述原始弹幕样本;和/或
去除各所述原始弹幕样本中内容相同的弹幕样本,并更新所述原始弹幕样本。
进一步地,所述训练模块610,包括:
选取单元,用于选取设定数量的弹幕训练样本对;
训练单元,用于依次获取一个弹幕训练样本对输入至预先构建的卷积神经网络中,得到所述卷积神经网络基于弹幕样本词向量的输出结果,并基于所述输出结果对预先构建的卷积神经网络中的加权参数进行调整;
循环单元,用于返回执行获取一个弹幕样本词向量输入至所述卷积神经网络的操作,直至达到预先设定的训练结束条件。
进一步地,所述训练单元,在基于所述输出结果对预先构建的卷积神经网络中的加权参数进行调整时,具体用于:
计算所述输出结果和弹幕类型值之间的交叉熵函数;
采用设定权重更新算法,沿着最小化交叉熵函数的方向,反向逐层更新预先构建的卷积神经网络中各层的加权参数。
进一步地,该装置,还包括预测模块,具体包括:
获取单元,用于在所述将训练完成的卷积神经网络作为所述弹幕识别模型之后,获取弹幕预测样本作为输入样本输入所述弹幕识别模型中;
预测单元,用于根据所述弹幕识别模型的预测结果,标记所述弹幕预测样本;
显示单元,用于根据标记结果,对所述弹幕样本对应的原始弹幕进行显示。
上述弹幕识别模型建立装置可执行本发明任意实施例所提供的弹幕识别模型建立方法,具备执行弹幕识别模型建立方法相应的功能模块和有益效果。
实施例七
图7是本发明实施例七提供的一种服务器的硬件结构示意图,该服务器包括处理器710以及存储装置720。
一个或多个处理器710;
存储装置720,用于存储一个或多个程序。
图7中以一个处理器710为例,该服务器中的处理器710和存储装置720可以通过总线或其他方式连接,图7中以通过总线连接为例。
在本实施例中,服务器中的处理器710可以使用弹幕训练样本对对预先构建的卷积神经网络进行训练,还可以将训练完成的卷积神经网络作为弹幕识别模型。
该服务器中的存储装置720作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本发明实施例中弹幕识别模型建立方法对应的程序指令/模块(例如,附图6所示的训练模块610和模型生成模块620)。处理器710通过运行存储在存储装置720中的软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的弹幕识别模型建立方法。
存储装置720可包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序;存储数据区可存储数据等(如上述实施例中的卷积神经网络、弹幕样本词向量、弹幕类型值以及弹幕识别模型等)。此外,存储装置720可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储装置720可进一步包括相对于处理器710远程设置的存储器,这些远程存储器可以通过网络连接至服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
此外,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被弹幕识别模型建立装置执行时实现本发明实施提供的弹幕识别模型建立方法,该方法包括:使用弹幕训练样本对对预先构建的卷积神经网络进行训练;其中,所述弹幕训练样本对包括:弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值;将训练完成的卷积神经网络作为所述弹幕识别模型。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的弹幕识别模型建立方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种弹幕识别模型建立方法,其特征在于,包括:
使用弹幕训练样本对对预先构建的卷积神经网络进行训练;
其中,所述弹幕训练样本对包括:弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值;
将训练完成的卷积神经网络作为所述弹幕识别模型;
将训练完成的卷积神经网络作为所述弹幕识别模型,包括:
对训练后的卷积神经网络进行模型评价,若模型评价结果满足模型生成条件,则将训练后的卷积神经网络作为弹幕识别模型;所述模型评价结果包括下述至少一种:正常弹幕被预测为正常弹幕的概率,异常弹幕被预测为异常弹幕的概率,正常弹幕被预测为异常弹幕的概率,以及异常弹幕被预测为正常弹幕的概率。
2.根据权利要求1所述的方法,其特征在于,所述卷积神经网络,包括:输入层、隐藏层、全连接层和输出层首尾相连;
所述隐藏层包括至少两个计算网络分支;
所述计算网络分支包括卷积层、与所述卷积层连接的激活层、与所述激活层连接的池化层和与所述池化层连接的折叠层。
3.根据权利要求1所述的方法,其特征在于,在所述使用弹幕训练样本对预先构建的卷积神经网络进行训练之前,还包括:
获取原始弹幕样本;
根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量;
对所述初始弹幕样本词向量进行降维处理,生成所述弹幕样本词向量。
4.根据权利要求3所述的方法,其特征在于,在根据预设标准词表,对各所述原始弹幕样本进行独热编码,生成初始弹幕样本词向量之前,还包括:
去除各原始弹幕样本中的异常字符,并更新所述原始弹幕样本;和/或
去除各所述原始弹幕样本中内容相同的弹幕样本,并更新所述原始弹幕样本。
5.根据权利要求1所述的方法,其特征在于,使用弹幕训练样本对对预先构建的神经网络进行训练,包括:
选取设定数量的弹幕训练样本对;
依次获取一个弹幕训练样本对输入至预先构建的卷积神经网络中,得到所述卷积神经网络基于弹幕样本词向量的输出结果,并基于所述输出结果对预先构建的卷积神经网络中的加权参数进行调整;
返回执行获取一个弹幕样本词向量输入至所述卷积神经网络的操作,直至达到预先设定的训练结束条件。
6.根据权利要求5所述的方法,其特征在于,所述基于所述输出结果对预先构建的卷积神经网络中的加权参数进行调整,包括:
计算所述输出结果和弹幕类型值之间的交叉熵函数;
采用设定权重更新算法,沿着最小化交叉熵函数的方向,反向逐层更新预先构建的卷积神经网络中各层的加权参数。
7.根据权利要求1-6任一项所述的方法,其特征在于,在所述将训练完成的卷积神经网络作为所述弹幕识别模型之后,还包括:
获取弹幕预测样本作为输入样本输入所述弹幕识别模型中;
根据所述弹幕识别模型的预测结果,标记所述弹幕预测样本;
根据标记结果,对所述弹幕样本对应的原始弹幕进行显示。
8.一种弹幕识别模型建立装置,其特征在于,包括:
训练模块,用于使用弹幕训练样本对对预先构建的卷积神经网络进行训练;
其中,所述弹幕训练样本对包括:至少两个弹幕样本词向量以及与弹幕样本词向量对应的弹幕类型值;所述弹幕类型值包括正常弹幕输出值和异常弹幕输出值;
模型生成模块,用于将训练完成的卷积神经网络作为所述弹幕识别模型;
所述模型生成模块,具体用于:
对训练后的卷积神经网络进行模型评价,若模型评价结果满足模型生成条件,则将训练后的卷积神经网络作为弹幕识别模型;所述模型评价结果包括下述至少一种:正常弹幕被预测为正常弹幕的概率,异常弹幕被预测为异常弹幕的概率,正常弹幕被预测为异常弹幕的概率,以及异常弹幕被预测为正常弹幕的概率。
9.一种服务器,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的一种弹幕识别模型建立方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的一种弹幕识别模型建立方法。
CN201811052795.5A 2018-09-10 2018-09-10 一种弹幕识别模型建立方法、装置、服务器及介质 Active CN109189889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811052795.5A CN109189889B (zh) 2018-09-10 2018-09-10 一种弹幕识别模型建立方法、装置、服务器及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811052795.5A CN109189889B (zh) 2018-09-10 2018-09-10 一种弹幕识别模型建立方法、装置、服务器及介质

Publications (2)

Publication Number Publication Date
CN109189889A CN109189889A (zh) 2019-01-11
CN109189889B true CN109189889B (zh) 2021-03-12

Family

ID=64915758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811052795.5A Active CN109189889B (zh) 2018-09-10 2018-09-10 一种弹幕识别模型建立方法、装置、服务器及介质

Country Status (1)

Country Link
CN (1) CN109189889B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110166802B (zh) * 2019-05-06 2022-11-01 腾讯科技(深圳)有限公司 弹幕处理方法、装置及存储介质
CN111225227A (zh) * 2020-01-03 2020-06-02 网易(杭州)网络有限公司 弹幕的发布方法、模型生成方法及装置
CN111930943B (zh) * 2020-08-12 2022-09-02 中国科学技术大学 一种剧透弹幕检测方法及装置
CN112767106B (zh) * 2021-01-14 2023-11-07 中国科学院上海高等研究院 自动化审计方法、***、计算机可读存储介质及审计设备
CN115550672B (zh) * 2021-12-30 2023-11-03 北京国瑞数智技术有限公司 网络直播环境下弹幕爆发行为识别方法和***

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357586A (zh) * 2015-09-28 2016-02-24 北京奇艺世纪科技有限公司 视频弹幕过滤方法及装置
CN106028072A (zh) * 2016-05-16 2016-10-12 武汉斗鱼网络科技有限公司 一种直播房间弹幕控制方法及装置
CN107277643A (zh) * 2017-07-31 2017-10-20 合网络技术(北京)有限公司 弹幕内容的发送方法及客户端
CN107396144A (zh) * 2017-06-30 2017-11-24 武汉斗鱼网络科技有限公司 一种弹幕分发方法及装置
CN107480123A (zh) * 2017-06-28 2017-12-15 武汉斗鱼网络科技有限公司 一种垃圾弹幕的识别方法、装置及计算机设备
CN107592578A (zh) * 2017-09-22 2018-01-16 广东欧珀移动通信有限公司 信息处理方法、装置、终端设备及存储介质
CN107613392A (zh) * 2017-09-22 2018-01-19 广东欧珀移动通信有限公司 信息处理方法、装置、终端设备及存储介质
CN107608964A (zh) * 2017-09-13 2018-01-19 上海六界信息技术有限公司 基于弹幕的直播内容的筛选方法、装置、设备及存储介质
CN107645686A (zh) * 2017-09-22 2018-01-30 广东欧珀移动通信有限公司 信息处理方法、装置、终端设备及存储介质
CN108513175A (zh) * 2018-03-29 2018-09-07 网宿科技股份有限公司 一种弹幕信息的处理方法及***
CN110198453A (zh) * 2019-05-23 2019-09-03 武汉瓯越网视有限公司 基于弹幕的直播内容过滤方法、存储介质、设备及***
CN111225227A (zh) * 2020-01-03 2020-06-02 网易(杭州)网络有限公司 弹幕的发布方法、模型生成方法及装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105357586A (zh) * 2015-09-28 2016-02-24 北京奇艺世纪科技有限公司 视频弹幕过滤方法及装置
CN106028072A (zh) * 2016-05-16 2016-10-12 武汉斗鱼网络科技有限公司 一种直播房间弹幕控制方法及装置
CN107480123A (zh) * 2017-06-28 2017-12-15 武汉斗鱼网络科技有限公司 一种垃圾弹幕的识别方法、装置及计算机设备
CN107396144A (zh) * 2017-06-30 2017-11-24 武汉斗鱼网络科技有限公司 一种弹幕分发方法及装置
CN107277643A (zh) * 2017-07-31 2017-10-20 合网络技术(北京)有限公司 弹幕内容的发送方法及客户端
CN107608964A (zh) * 2017-09-13 2018-01-19 上海六界信息技术有限公司 基于弹幕的直播内容的筛选方法、装置、设备及存储介质
CN107592578A (zh) * 2017-09-22 2018-01-16 广东欧珀移动通信有限公司 信息处理方法、装置、终端设备及存储介质
CN107613392A (zh) * 2017-09-22 2018-01-19 广东欧珀移动通信有限公司 信息处理方法、装置、终端设备及存储介质
CN107645686A (zh) * 2017-09-22 2018-01-30 广东欧珀移动通信有限公司 信息处理方法、装置、终端设备及存储介质
CN108513175A (zh) * 2018-03-29 2018-09-07 网宿科技股份有限公司 一种弹幕信息的处理方法及***
CN110198453A (zh) * 2019-05-23 2019-09-03 武汉瓯越网视有限公司 基于弹幕的直播内容过滤方法、存储介质、设备及***
CN111225227A (zh) * 2020-01-03 2020-06-02 网易(杭州)网络有限公司 弹幕的发布方法、模型生成方法及装置

Also Published As

Publication number Publication date
CN109189889A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109189889B (zh) 一种弹幕识别模型建立方法、装置、服务器及介质
CN110457589B (zh) 一种车辆推荐方法、装置、设备及存储介质
US11941527B2 (en) Population based training of neural networks
CN110033023B (zh) 一种基于绘本识别的图像数据处理方法及***
CN111931062A (zh) 一种信息推荐模型的训练方法和相关装置
CN110287328B (zh) 一种文本分类方法、装置、设备及计算机可读存储介质
CN111026971A (zh) 内容的推送方法及装置、计算机存储介质
CN108509827B (zh) 视频流中异常内容的识别方法及视频流处理***和方法
CN113220886A (zh) 文本分类方法、文本分类模型训练方法及相关设备
CN113469289B (zh) 视频自监督表征学习方法、装置、计算机设备和介质
WO2020238353A1 (zh) 数据处理方法和装置、存储介质及电子装置
CN111488985A (zh) 深度神经网络模型压缩训练方法、装置、设备、介质
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
CN110956038B (zh) 图文内容重复判断方法及装置
CN114780831A (zh) 基于Transformer的序列推荐方法及***
CN113127737B (zh) 融合注意力机制的个性化搜索方法和搜索***
CN110956037A (zh) 多媒体内容重复判断方法及装置
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
CN114283350A (zh) 视觉模型训练和视频处理方法、装置、设备及存储介质
CN113971644A (zh) 基于数据增强策略选择的图像识别方法及装置
CN115618101A (zh) 基于负反馈的流媒体内容推荐方法、装置及电子设备
CN113011532A (zh) 分类模型训练方法、装置、计算设备及存储介质
CN117216281A (zh) 一种基于知识图谱的用户兴趣扩散推荐方法及***
CN113792659A (zh) 文档识别方法、装置及电子设备
CN113762005B (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant