CN108650546B

CN108650546B - 弹幕处理方法、计算机可读存储介质及电子设备

Info

Publication number: CN108650546B
Application number: CN201810453525.9A
Authority: CN
Inventors: 肖源; 陈少杰; 张文明
Original assignee: Wuhan Douyu Network Technology Co Ltd
Current assignee: Wuhan Douyu Network Technology Co Ltd
Priority date: 2018-05-11
Filing date: 2018-05-11
Publication date: 2021-07-23
Anticipated expiration: 2038-05-11
Also published as: CN108650546A

Abstract

本发明提供了一种弹幕处理方法，其包括以下步骤S1，收集原始弹幕数据，所述原始弹幕数据包括用户发送的弹幕内容；S2，对所述原始弹幕数据进行实时处理和离线处理分析，其中，所述离线处理分析包括处理分析所述弹幕内容；以及S3，根据步骤S2中对所述弹幕内容进行处理分析后的结果，对用户进行状态分析。本发明还涉及相关的计算机可读存储介质以及相关的电子设备。

Description

弹幕处理方法、计算机可读存储介质及电子设备

技术领域

本发明涉及数据领域，具体涉及一种弹幕处理方法、相关的计算机可读存储介质以及电子设备。

背景技术

目前，随着直播行业的快速发展，直播受众也在不断地扩大中，各种类型的直播内容也越来越丰富。观众可以在观看直播的同时通过发送弹幕的方式参与评论与互动，从而极大的提升了用户的参与度，丰富了直播内容。

弹幕留言作为直播平台主要的娱乐交流方式之一，是整个平台必须着重发展和维护的对象，而对其进行有效的、合理的管理将能够有利的调动参与者的积极性。直播网站作为一个开放性的平台，如何有效的控制大流量的舆论导向，从海量的弹幕数据中获取有用的信息，屏蔽不文明的言论，这对直播公司而言有着很大的挑战。

传统对于弹幕内容的分析和屏蔽一般是根据词库对比分析，在客户端进行敏感词过滤。然而仅通过简单的词库分析并不能完全有效的控制弹幕内容，而且对于直播来讲，在进行大型赛事或娱乐直播时，弹幕条数非常巨大，很容易占满整个屏幕，人眼无法及时有效的从滚动的弹幕中确定是否有用户发送了不良言论。

因此，有必要提出一种新的弹幕处理方法。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明的实施例提供一种弹幕处理方法，包括以下步骤：

S1，收集原始弹幕数据，所述原始弹幕数据包括用户发送的弹幕内容；

S2，对所述原始弹幕数据进行实时处理和离线处理分析，其中，

所述离线处理分析包括处理分析所述弹幕内容；以及

S3，根据步骤S2中对所述弹幕内容进行处理分析后的结果，对用户进行状态分析。

进一步地，所述实时处理包括：

将所述原始弹幕数据存储到数据库中，并按照第一预设时间段将所述原始数据分别存储到数据库的不同的子数据库中。

进一步地，所述实时处理还包括：根据所述弹幕内容扩展语料库。

例如，在步骤S2中，所述处理分析所述弹幕内容的步骤包括：

S21，对所述弹幕内容进行分词处理；以及

S22，将包括分词处理后的弹幕内容的弹幕数据存储到数据仓库中。

进一步地，在步骤S21之前，所述处理分析所述弹幕内容的步骤还包括：

S20，对所述弹幕内容进行预处理，所述预处理包括去除对分词处理有影响的特殊字符；

进一步地，在所述数据仓库中对弹幕内容进行分析，判断所述弹幕内容是否为垃圾弹幕，并将分析结果存储到结果集数据库中。

进一步地，在所述结果集数据库中，根据目标用户在第二预设时间段内发送的弹幕内容中垃圾弹幕所占比重，判断所述目标用户是否为消极状态。

进一步地，所述离线处理分析还包括利用数据服务接口查询离线处理分析的进度。

根据本发明的另一方面，提供一种计算机可读存储介质，其上存储有可执行指令，所述可执行指令在由处理器执行时，实现如上所述的任一种弹幕处理方法的步骤。

根据本发明的另一方面，提供一种电子设备，包括：

存储器，用于存储可执行指令；以及

处理器，用于执行所述存储器中存储的可执行指令，实现如上所述的任一种弹幕处理方法的步骤。

与现有技术相比，本发明具有以下优点：

(1)通过对弹幕数据进行分库处理，可以有效的应对数据迁移业务，也可以保证弹幕内容能够及时被检索出来；

(2)通过实时处理和离线分析处理，可以有效的帮助管理员封禁不良言论；

(3)对用户进行情感状态分析可以有效帮助管理员根据用户状态缩小关注范围，从而使得实时禁言更加快捷。

附图说明

通过下文中参照附图对本发明所作的描述，本发明的其它目的和优点将显而易见，并可帮助对本发明有全面的理解。

图1为本发明实施例提供的弹幕处理的方法的实施步骤的流程图；

图2为本发明实施例提供的计算机可读存储介质的结构示意图；

图3为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一个实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。

根据本发明的一个方面，提供了一种弹幕处理的方法，具体实现思路如下：

对弹幕数据进行收集后，再通过对弹幕数据的实时处理和离线处理分析，封禁不良言论的同时可以得到用户状态，管理员可以根据用户状态，在实时禁言时缩小关注范围，快速找到发送不良言论者。

更具体的，下面结合附图对本发明弹幕处理的方法进行详细的描述。

参考图1所示，本发明的实施例提供的弹幕处理的方法，可以包括如下步骤：

S1，收集原始弹幕数据，原始弹幕数据包括用户发送的弹幕内容；

弹幕数据信息主要是用户在观看直播内容时发表的文字、表情等表达自己情绪的信息，弹幕数据信息可以包括：用户id、用户昵称、设备类型、用户等级、设备id、弹幕内容、发送时间等。

在具体实施过程中，可以采用文本框的方式来获取弹幕数据信息，例如采用文本框控件TextBox来获取用户发送的弹幕数据。将原始弹幕数据收集之后，先进行初步的敏感词过滤，例如将一些脏词过滤掉或者过滤其他不良言论。

目前，主流的客户端一般为Web、Android、iOS等，因此，可以在进行初步敏感词过滤时采用与敏感词库对比的方式，将用户发送的敏感词过滤掉，这些被过滤掉的敏感词将不会被存储到数据库中，也不会显示在屏幕中，而是会以弹窗的方式警告这些敏感词的发送者，在同一用户被多次警告后，可以由管理员根据情况设置禁言时间，情况严重者可以设置该用户永久禁言。

具体的，可以通过下述逻辑将敏感词过滤：

通过判断用户发送的弹幕内容(content)是否存在于敏感词库(dictionary)中，若存在，则将其过滤掉，若不存在则上传到服务器，存储在数据库中。

需要说明的是，敏感词的初步过滤仅仅是将一部分不良言论过滤掉，还有一部分不良言论是通过对比敏感词词库的方式无法判断出来的，需要后续步骤进行分析处理。也就是说，并非作为不良言论的所有敏感词都被存储在敏感词词库中。当然，敏感词词库可以根据业务经验进行更新。

S2，对原始弹幕数据进行实时处理和离线处理分析。

在本实施例中，实时处理可以包括将原始弹幕数据存储到数据库中，并按照第一预设时间段将原始数据分别存储到数据库的不同的子数据库中。

在具体实施过程中，由于直播平台经常会面临弹幕数量剧增，以及弹幕内容长度不可控的场景，比如明星参与直播互动或新的热门主播加入时，这就要求存储弹幕内容的服务器能够伸缩性的应对此类场景，采用将不同时间段内的弹幕数据存储到数据库的不同子数据库中的方式，可以有效的应对数据迁移业务，同时弹幕内容能够及时被检索出来。

在本实施例中，可以采用nosql数据库。nosql数据库具有可以在海量数据下，拥有优异的读写性能、数据模型灵活以及数据间无关系，易于扩展等优点，非常适合本实施例中海量弹幕的存储。

具体的可以采用mongodb数据库，按照第一预设时间段将弹幕数据以特定格式分别存储到不同的子数据库中。对于弹幕的查询一般都会有时间的限制，跨度基本都在一年以内，所以优选预设时间段以天为单位，例如可以是一天或两天等，当查询同一用户的弹幕时需要遍历在跨度内的所有子数据库，找到对应的用户id的弹幕数据即可。

具体的，若将每天的弹幕数据存储到不同的子数据库中，可以采用mongo_danmu_20180312这种形式，表示的是将2018年3月12日的弹幕存储到一个子数据库中。

在其他较佳实施例中，实时处理还可以包括根据弹幕内容扩展语料库。

语料库指经科学取样和加工的大规模电子文本库，具体的可以采用ChnSentiCorp语料库，但是仅仅采用ChnSentiCorp语料库，效果不够好，因为弹幕内容汇总会有很多带有直播平台特色的专有词汇，比如“666”，它不止是一个数值，在直播场景中代表着喝彩；还有“裸狼”是狼人杀游戏的专有术语。因此需要结合直播平台的弹幕特色，对语料库进行扩展。

扩展语料库可以在后续分词处理中，有效减少特征提取的取值个数，比如将“裸狼”一词加入语料库，在后续分词过程中会将“裸狼”切分为一个词，而不会分成“裸”和“狼”两个单词。还可以将一些高频出现的个性化词语加入到语料库中，个性化词语不同于常规词语，语料库可以每天都会定时增量更新，以提高语料库的准确度。

具体的，可以在语料扩展平台上，通过采用神经网络的训练和自学习的方式，根据弹幕内容扩展语料库。

离线处理分析包括处理分析弹幕内容。

具体的处理分析弹幕内容可以包括：

S21，对弹幕内容进行分词处理。

分词处理就是根据词袋模型将每条弹幕内容转换成一个个词语的集合，并且可以将一些影响小或者无影响的词语进行过滤，这样最终得到有效的词语，在转换过程中可以根据语料库进行分词，例如，在语料库中有“裸狼”一词，在对弹幕“今天主播裸狼玩的太棒了”进行分词处理时，将“今天”、“的”以及“了”过滤掉，剩下的词语就是“主播”、“裸狼”、“玩”以及“太棒”，那么该弹幕内容的词袋模型就是[“主播”、“裸狼”、“玩”、“太棒”]。

在其他较佳实施方式中，可以在对弹幕内容进行分词前，对弹幕内容进行预处理。

预处理是指去除对分词有影响的一些特殊字符，比如空格，若是在一个词语之间存在空格，可能会出现实际需要分成一个词，但是因为空格的存在而被分成两个词的情况。

例如，若“裸狼”这个词语中带有空格，分词的时候回把“裸狼”分成“裸”和“狼”，这样就影响了后续弹幕识别的准确率，因此，需要在预处理的时候，要去除弹幕内容中为空的数据、标点符号和弹幕类型为空的数据。

在本实施例中，数据仓库可以采用hive，hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。hive没有专门的数据格式。hive可以很好的工作在Thrift之上，控制分隔符，也允许用户指定数据格式。

在进一步较佳实施例中，在数据仓库中对弹幕内容进行分析，判断弹幕内容是否为垃圾弹幕，并将分析结果存储到结果集数据库中。

在具体实施过程中，可以采用结合词向量和RNN训练的神经网络模型判断弹幕内容是否是垃圾弹幕，而且由于hive分析时间过长且查询所需时间较长，可以将分析结果存储到结果集数据库中，结果集数据库可以是mysq1或ElasticSearch等。若弹幕为垃圾弹幕，则用户在观看回放时，该弹幕不会显示在屏幕上。同时，通过发送站内警告信的方式对发送垃圾弹幕者提出警告，必要情况下，可以做出禁言处理，达到一定次数后，可以做出永久禁言处理。

在进一步较佳的实施例中，可以在Redis中标记当前结果集是哪一天的处理分析结果，标记可以为FLAG_danmu_yyyyMMdd，这样在进行查询处理分析结果时，可以在当天的弹幕数据还未分析处理完成的情况下，随后通过访问FLAG_danmu_yyyyMMdd得到上一次的分析处理结果，达到高可用的目的。

在具体实施过程中，可以利用数据服务接口查询离线处理分析的进度。

数据服务接口主要采用springBoot提供的HTTP接口，请求方需要传递用户id或昵称、查询日期等信息，首先需要访问FLAG_danmu_yyyyMMdd以获得最新的数据集SET_yyyyMMdd，然后提供数据查询结果，主要过程如下：

S3，根据步骤S2中对弹幕内容进行处理分析后的结果，对用户进行状态分析。

在本实施例中，可以分析某一特定用户在第二预设时间段内发送的弹幕内容中垃圾弹幕所占比重，由此判断目标用户是否为消极状态。

例如，可以分析某一用户在最近7天所发出的弹幕总条数、每天弹幕数、每天弹幕内容及最近前100条弹幕中垃圾弹幕所占比重，当垃圾弹幕所占比重超过50％时，可以认为该用户处于消极状态，这时可以通过发送站内警告信的方式对该用户提出警告，警告多次后可以设置禁言时间或永久禁言。而且，在判断某一用户处于消极状态时，若该用户未处于禁言状态，则可以重点关注该用户发送的弹幕内容是否有不良言论，由此可以帮助管理员根据用户状态缩小关注范围，更为快速的发现不良言论。

这样，通过本实施例提供的方法，通过对弹幕数据进行分库处理，可以有效的应对数据迁移业务，也可以保证弹幕内容能够及时被检索出来；通过实时处理和离线分析处理，可以有效的帮助管理员封禁不良言论；对用户进行情感状态分析可以有效帮助管理员根据用户状态缩小关注范围，从而使得实时禁言更加快捷。

基于同一发明构思，参考图2所示，本发明的实施例还提供一种计算机可读存储介质201，其上存储有可执行指令202，可执行指令202在由一个或多个处理器执行时，实现如上的任一种弹幕处理的方法的步骤。

基于同一发明构思，参考图3所示，本发明实施例还提供了一种电子设备301，该电子设备301可以包括：

存储器310，其用于存储可执行指令311；以及

处理器320，其用于执行存储器310中存储的可执行指令311，实现如上的任一种弹幕处理的方法的步骤。

对于本发明的实施例，还需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合以得到新的实施例。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims

1.一种弹幕处理方法，包括以下步骤：

S2，对所述原始弹幕数据进行实时处理和离线处理分析，其中，所述实时处理包括：将所述原始弹幕数据存储到数据库中，并按照第一预设时间段将所述原始弹幕数据分别存储到数据库的不同的子数据库中；所述实时处理还包括根据所述弹幕内容扩展语料库；所述离线处理分析包括处理分析所述弹幕内容；以及

2.如权利要求1所述的方法，其特征在于，在步骤S2中，所述处理分析所述弹幕内容的步骤包括：

S21，对所述弹幕内容进行分词处理；以及

3.如权利要求2所述的方法，其特征在于，在步骤S21之前，所述处理分析所述弹幕内容的步骤还包括：

S20，对所述弹幕内容进行预处理，所述预处理包括去除对分词处理有影响的特殊字符。

4.如权利要求2所述的方法，其特征在于，在所述数据仓库中对弹幕内容进行处理分析，判断所述弹幕内容是否为垃圾弹幕，并将分析结果存储到结果集数据库中。

5.如权利要求4所述的方法，其特征在于，在所述结果集数据库中，根据目标用户在第二预设时间段内发送的弹幕内容中垃圾弹幕所占比重，判断所述目标用户是否为消极状态。

6.如权利要求1所述的方法，其特征在于，所述离线处理分析还包括利用数据服务接口查询离线处理分析的进度。

7.一种计算机可读存储介质，其上存储有可执行指令，其特征在于，所述指令在由处理器执行时，实现如权利要求1-6中的任一项所述的弹幕处理方法的步骤。

8.一种电子设备，包括：

存储器，用于存储可执行指令；以及

处理器，用于执行所述存储器中存储的可执行指令，以实现如权利要求1-6中的任一项所述的弹幕处理方法的步骤。