CN114302161A - 视频流审核控制方法及其装置、设备、介质 - Google Patents
视频流审核控制方法及其装置、设备、介质 Download PDFInfo
- Publication number
- CN114302161A CN114302161A CN202111648976.6A CN202111648976A CN114302161A CN 114302161 A CN114302161 A CN 114302161A CN 202111648976 A CN202111648976 A CN 202111648976A CN 114302161 A CN114302161 A CN 114302161A
- Authority
- CN
- China
- Prior art keywords
- video stream
- health score
- live broadcast
- live
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 230000036541 health Effects 0.000 claims abstract description 191
- 230000000694 effects Effects 0.000 claims abstract description 58
- 230000006399 behavior Effects 0.000 claims description 158
- 239000013598 vector Substances 0.000 claims description 51
- 230000008859 change Effects 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 11
- 238000012550 audit Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 13
- 230000009471 action Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 11
- 238000004458 analytical method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000003062 neural network model Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 235000019504 cigarettes Nutrition 0.000 description 3
- 230000000391 smoking effect Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 206010012335 Dependence Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000004132 cross linking Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开一种视频流审核控制方法及其装置、设备、介质,所述方法包括:根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分;检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型;根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分;检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播权限以控制其直播视频流的产出。本申请基于对直播视频流的直播内容所包含的人为活动的行为类型的正确识别,构建出直播内容健康评价体系,确保网络直播平台产出优质的直播内容。
Description
技术领域
本申请涉及网络直播技术领域,尤其涉及一种视频流审核控制方法及其相应的装置、计算机设备、计算机可读存储介质,以及计算机程序产品。
背景技术
现有技术中,为了整顿主播的违规行为并规范其直播行为,存在一种用于识别主播信用程度的衡量方法。该衡量方法对主播预设周期内的直播行为进行归一化处理,从而获取主播信用基础分。在获取主播信用基础分的上判断主播是否存在违规行为,若有违规行为则调整基础信用分值,得到预设周期内的主播信用值。但是,信用基础分的评价方法依赖于主播用户至少两项直播特征指标,如播付费人数、付费金额、平均同时观看直播人数、平均日活跃人数、弹幕均值,通过为直播特征指标进行归一化处理,获取主播信用基础分值,此种技术没有涉及主播的动作行为是否规范化,内容是否符合健康直播,难以客观的检测直播内容的健康程度。实际上,直播内容的健康度与付费人数、付费金额等直播特征指标并非完全正比关系,因此,这种方法无法有效度量直播内容的健康情况。
现有技术中的另一方法,通过从直播中获取音视频文件,确定音视频文件中文字信息的违规类型,根据违规类型计算直播节目的违规分值。该方法基于文字信息确定违规分值,对违规行为的程度进行评分,并没有建立一套评定直播内容是否健康的分值体系,不具备体系化和普适性。
综上,直播平台为了加强对直播内容的管理,建设绿色健康有序网络直播环境,促进网络直播内容规范化管理,要针对直播内容进行健康情况检测,须建立一套***化的直播内容健康评分的技术检测方法和装置,确保网络直播环境下能产出更多优质视频流。
发明内容
本申请的首要目的在于解决上述问题至少之一而提供一种视频流审核控制方法及其相应的装置、计算机设备、计算机可读存储介质、计算机程序产品。
为满足本申请的各个目的,本申请采用如下技术方案:
适应本申请的目的之一而提出的一种视频流审核控制方法,包括如下步骤:
根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分;
检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,所述直播内容包含语言信息、图像信息、字幕信息中任意一项或任意多项;
根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分;
检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播操作权限以控制其直播视频流的产出。
一种实施例中,检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,包括如下步骤:
对所述直播视频流中的视频流进行图文分离,获得相应的图像信息和字幕信息;
对所述直播视频流中的音频流进行声学语音识别,获得其中的语音信息相对应的文本内容;
采用预设的图像特征提取模型提取所述图像信息的图像特征向量;
采用预设的文本特征提取模型提取由所述字幕信息及文本内容集合而成的文本信息的文本特征向量;
将所述图像特征向量及文本特征向量拼接为综合特征向量;
根据综合特征向量进行分类映射,判定所述视频帧中人为活动相对应的行为类型。
另一实施例中,检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,包括如下步骤:
从所述直播视频流中提取多个视频帧;
采用预设的多个单行为类型判决模型,每个单行为判决模型用于判决所述视频帧中人为活动是否属于一种特定的行为类型,判决出相应的二值化结果;
根据所述多个单行为类型判决模型输出的二值化结果,确定所述直播视频流相对应的一个或多个行为类型。
具体化的实施例中,根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分,包括如下步骤:
确定所述行为类型在为其预设的频度统计周期内出现的次序;
查询预设的评分映射表,确定出所述行为类型及其出现次序相对应的变动健康评分及其变动方向;
按照所述变动方向从当前健康评分中相应累加或扣减所述当前健康评分。
扩展的一种实施例中,检测所述当前健康评分是否满足预设条件的步骤之前,包括如下步骤:
在当前计分周期结束后,统计该主播用户未重复因相同行为类型被扣减当前健康评分的持续时长;
判断所述持续时长是否达到预设阈值,当达到预设阈值后,将该相同行为类型相对应的奖励健康评分加计至其当前健康评分中。
扩展的另一实施例中,检测所述当前健康评分是否满足预设条件的步骤之后,包括如下步骤:
响应申诉撤销指令,将该指令所指定的行为类型相对应的变动健康评分加计至所述当前健康评分中。
扩展的再一实施例中,检测所述当前健康评分是否满足预设条件的步骤之后,包括如下步骤:
检测当前计分周期是否期满,若期满,启动新的计分周期,将该当前计分周期的当前健康评分的期末数值叠加预设分值,作为新的计分周期的当前健康评分的期初数值。
适应本申请的目的之一而提供的一种视频流审核控制装置,包括:分值调用模块、行为检测模块、评分调节模块,以及产出控制模块,其中,所述分值调用模块,用于根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分;所述行为检测模块,用于检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,所述直播内容包含语言信息、图像信息、字幕信息中任意一项或任意多项;所述评分调节模块,用于根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分;所述产出控制模块,用于检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播操作权限以控制其直播视频流的产出。
一种实施例中,所述行为检测模块,包括:图文分离子模块,用于对所述直播视频流中的视频流进行图文分离,获得相应的图像信息和字幕信息;声学识别模块,用于对所述直播视频流中的音频流进行声学语音识别,获得其中的语音信息相对应的文本内容;图像处理子模块,用于采用预设的图像特征提取模型提取所述图像信息的图像特征向量;文本处理子模块,用于采用预设的文本特征提取模型提取由所述字幕信息及文本内容集合而成的文本信息的文本特征向量;向量拼接子模块,用于将所述图像特征向量及文本特征向量拼接为综合特征向量;分类映射子模块,用于根据综合特征向量进行分类映射,判定所述视频帧中人为活动相对应的行为类型。
另一实施例中,所述行为检测模块,包括:视频提取子模块,用于从所述直播视频流中提取多个视频帧;行为分析子模块,用于采用预设的多个单行为类型判决模型,每个单行为判决模型用于判决所述视频帧中人为活动是否属于一种特定的行为类型,判决出相应的二值化结果;行为确定子模块,用于根据所述多个单行为类型判决模型输出的二值化结果,确定所述直播视频流相对应的一个或多个行为类型。
具体化的实施例中,所述评分调节模块,包括:次序确定子模块,用于确定所述行为类型在为其预设的频度统计周期内出现的次序;评分映射子模块,用于查询预设的评分映射表,确定出所述行为类型及其出现次序相对应的变动健康评分及其变动方向;评分微调子模块,用于按照所述变动方向从当前健康评分中相应累加或扣减所述当前健康评分。
扩展的一种实施例中,本申请的视频流审核控制装置,还包括:合规监测模块,用于在当前计分周期结束后,统计该主播用户未重复因相同行为类型被扣减当前健康评分的持续时长;奖励叠加模块,用于判断所述持续时长是否达到预设阈值,当达到预设阈值后,将该相同行为类型相对应的奖励健康评分加计至其当前健康评分中。
扩展的另一实施例中,本申请的视频流审核控制装置,还包括:申诉处理模块,用于响应申诉撤销指令,将该指令所指定的行为类型相对应的变动健康评分加计至所述当前健康评分中。
扩展的再一实施例中,本申请的视频流审核控制装置,还包括:周期计时模块,用于检测当前计分周期是否期满,若期满,启动新的计分周期,将该当前计分周期的当前健康评分的期末数值叠加预设分值,作为新的计分周期的当前健康评分的期初数值。
适应本申请的目的之一而提供的一种计算机设备,包括中央处理器和存储器,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述的视频流审核控制方法的步骤。
适应本申请的另一目的而提供的一种计算机可读存储介质,其以计算机可读指令的形式存储有依据所述的视频流审核控制方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行该方法所包括的步骤。
适应本申请的另一目的而提供的一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现本申请任意一种实施例中所述方法的步骤。
相对于现有技术,本申请的优势如下:
首先,本申请根据网络直播产出的直播视频流中的直播内容进行智能识别,识别出其中的人为活动相对应的行为类型,然后结合健康评分机制,对直播视频流的中主播用户的动作行为进行健康评分,通过健康评分对用户直播行为进行引导,在健康评分满足预设条件的必要情况下,对相应的主播用户或其直播间的直播操作权限进行控制,基于坚实的图文智能分析能力,结合有效的评分机制和控制手段,实现对网络直播平台中海量直播间的直播视频流的内容进行监控,通过引导直播视频流中的人为活动实现对直播内容的规范,可提升直播视频流的内容品质,确保直播内容的健康稳定。
其次,本申请在行为类型的基础上结合评分机制以及预设条件而建立起独特的视频流审核控制业务逻辑,实现控制业务逻辑的标准化,更适于为专业网络直播平台服务,使网络直播平台胜任对海量的直播视频流实施有效管控的能力。
此外,本申请基于直播内容,包括其中的语言信息、图像信息以及字幕信息,而非基于相关直播参数对直播内容所包含的行为类型进行分析,可以利用直播内容中的语义信息做出更为精准的判决,能够提升正确识别用户动作行为类型的准确率,降低人工审核成本,使网络直播平台可以收获规模经济效益。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本申请的视频流审核控制方法的典型实施例的流程示意图;
图2为本申请一个实施例中判定行为类型的过程的流程示意图;
图3为本申请的示例性的神经网络模型的网络架构的原理框图;
图4为本申请另一实施例中判定行为类型的过程的流程示意图;
图5为本申请实施例中按照频率分值调节健康评分的过程的流程示意图;
图6为本申请的视频流审核控制方法的扩展实施例之一的流程示意图;
图7为本申请的视频流审核控制方法的另一扩展实施例的流程示意图;
图8为本申请的视频流审核控制方法的又一扩展实施例的流程示意图;
图9为本申请的视频流审核控制装置的原理框图;
图10为本申请所采用的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解,这里所使用的“客户端”、“终端”、“终端设备”既包括无线信号接收器的设备,其仅具备无发射能力的无线信号接收器的设备,又包括接收和发射硬件的设备,其具有能够在双向通信链路上,进行双向通信的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他诸如个人计算机、平板电脑之类的通信设备,其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备;PCS(PersonalCommunications Service,个人通信***),其可以组合语音、数据处理、传真和/或数据通信能力;PDA(Personal Digital Assistant,个人数字助理),其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global PositioningSystem,全球定位***)接收器;常规膝上型和/或掌上型计算机或其他设备,其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“客户端”、“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的,或者适合于和/或配置为在本地运行,和/或以分布形式,运行在地球和/或空间的任何其他位置运行。这里所使用的“客户端”、“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端,例如可以是PDA、MID(Mobile Internet Device,移动互联网设备)和/或具有音乐/视频播放功能的移动电话,也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件,本质上是具备个人计算机等效能力的电子设备,为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置,计算机程序存储于其存储器中,中央处理器将存储在外存中的程序调入内存中运行,执行程序中的指令,与输入输出设备交互,借此完成特定的功能。
需要指出的是,本申请所称的“服务器”这一概念,同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理,所述各服务器应是逻辑上的划分,在物理空间上,这些服务器既可以是互相独立但可通过接口调用的,也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通,而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征,除非明文指定,既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问,也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型,除非明文指定,既可部署于远程服务器且在客户端实施远程调用,也可部署于设备能力胜任的客户端直接调用,某些实施例中,当其运行于客户端时,其相应的智能可通过迁移学习来获得,以便降低对客户端硬件运行资源的要求,避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据,除非明文指定,既可远程存储于服务器,也可存储于本地终端设备,只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓:本申请的各种方法,虽然基于相同的概念而进行描述而使其彼此间呈现共通性,但是,除非特别说明,否则这些方法都是可以独立执行的。同理,对于本申请所揭示的各个实施例而言,均基于同一发明构思而提出,因此,对于相同表述的概念,以及尽管概念表述不同但仅是为了方便而适当变换的概念,应被等同理解。
本申请即将揭示的各个实施例,除非明文指出彼此之间的相互排斥关系,否则,各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例,只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通,本领域技术人员应当知晓。
本申请的一种视频流审核控制方法,可被编程为计算机程序产品,部署于服务器中运行而实现,藉此可以通过访问该计算机程序产品运行后开放的接口,通过图形用户界面与该计算机程序产品的进程进行人机交互而执行该方法。
请参阅图1,本申请的视频流审核控制方法在其典型实施例中,包括如下步骤:
步骤S1100、根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分:
在网络直播平台中,运行多个直播间实例,每个直播间由相应的主播用户在其客户端设备录制视频流后,推送至网络直播平台的服务机群内的媒体服务器,由媒体服务器处理后推送至直播间的观众用户的客户端设备,构成直播视频流。大型的网络直播平台中,同一时间通常存在大量的直播间实例,因而也存在大量并发的直播视频流,本申请的技术方案可以部署于服务机群内的服务器,或者直接部署于媒体服务器中,对到达媒体服务器的各个直播视频流进行处理。
本申请通过建立一个直播内容健康评价体系作为引导和规范主播用户直播行为的业务逻辑,通过考察主播用户产出的直播视频流中的直播内容是否的信息价值计算主播用户的当前健康评分,最终依据主播用户获得的当前健康评分对主播用户的直播视频流的产出过程实施有效的控制,以达到控制网络直播平台中的直播视频流的健康产出的目的。
根据所述直播内容健康评价体系,将对主播用户的直播内容健康评价设置计分周期,可在期初,通常是直播起始时刻,给主播用户赋予一个初始健康评分,在计分周期内依据直播视频流的评价结果实施健康评分的奖惩操作,在计分周期到达时,该计分周期的当前健康评分即为该计分周期的期末健康评分。在一次直播活动中,可以包含多个连续的计分周期,由此,可将上一计分周期的期末健康评分直接或者叠加一预设分值后,作为下一计分周期的期初健康评分,即主播用户在该下一计分周期的期初时刻的当前健康评分。设置多个计分周期有利于对主播用户产出优质直播视频流的行为实施阶段性的激励。
作为一个实现标准化支持的后台服务,本申请的计算机程序产品在后台运行时,针对每一路直播视频流,可先确定该直播视频流相应的主播用户在当前计分周期的当前健康评分,以便在当前健康评分的基础上,启动对该主播用户的健康评分的控制操作,借助健康评分的控制操作,实现对主播用户的直播操作权限的有效控制。
步骤S1200、检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,所述直播内容包含语言信息、图像信息、字幕信息中任意一项或任意多项:
为了识别出直播视频流中包含何种人为活动,可以通过对直播视频流中的语言信息、图像信息及字幕信息进行单独或综合分析来实现。
所述的人为活动,主要是指主播用户的客户端设备摄录所得的人物的发言内容、人物动作行为所实施的活动,以及发布在直播视频流中以供播放显示的字幕信息所包含的活动。这些字幕信息可以包括直播视频流中添加的特效文字和其他性质的备注字幕。所述人为活动可以通过直播视频流内音频流中的语言信息来识别,也可通过直播视频流内视频帧中的人物图像信息的姿态或者连续动作来识别,也可通过直播视频流内视频帧中的字幕信息来加以识别,或者是使用语言信息、图像信息、字幕信息中的任意多项的组合来识别。在识别人为活动时,本领域技术人员可以采用多种现有技术来实现对直播视频流中的人为活动的识别,例如可采用基于神经网络模型搭建的网络架构来实施,从而可以根据主播用户所实施的人为活动来判定人为活动所属的行为类型。
根据直播内容进行人为活动的识别时,可以进行适当的前期处理,首先需要分别获取所述直播视频流中的视频流和音频流,如果仅对其中的图像内容进行识别,则可以视频帧为基础实施;如果需对其中的语言信息进行识别,则可以音频帧为基础实施。如果需要对其中的文字信息进行识别,则可先对所述的视频帧实施图文分离操作,和/或对所述音频流进行声学语音识别,即通过视频帧和音频帧获取两路文字内容,然后将两者合并为文本信息,再根据自然语言处理技术对其进行判决。
本申请中,优选基于神经网络模型来实现对直播视频流中的人为活动的行为类型进行识别,所述神经网络模型可以基于CNN、RNN、DNN等网络架构来实现,采用相同性质的训练样本对这些神经网络模型实施训练,使相应的神经网络模型习得根据所述直播视频流判断出其中的人为活动相对应的行为类型,直接获得所需的行为类型即可。
步骤S1300、根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分:
本申请中,预配置有一个评分映射表,所述评分映射表包含行为类型到对应的变动健康评分及其变动方向之间的映射关系数据,所述变动方向用于指示针对该行为类型对主播用户的当前健康评分实施累加或扣减操作,所述变动健康评分是指对应该行为类型而做出累加或扣减操作相对应的具体分值。因此,根据该评分映射表,便可确定每种人为活动相对应的奖、惩操作以及其相对应的变动健康评分,从而控制主播用户的当前健康评分的增减。所述的变动方向,也可简化为所述变动健康评分的正值或负值表示,对此,本领域技术人员可灵活实施。
所述的变动健康评分,可以是固定分值,也可以是频率分值。所述固定分值是指不计算该一个行为类型的触发次数,每次该行为类型发生时,均扣除(或增加)一个固定的分值;所述的频率分值是指当主播出现某一行为类型时,统计主播在预设频率周期内出现该行为类型的次数,根据该行为类型对应的发生次数扣除(或增加)对应预设的分值。比如,在预设的30分钟内,主播在直播过程中,第一次抽烟预设扣减3分,第二次抽烟预设扣减5分,将违规行为与时间、次数联系起来。
概而言之,一个行为类型对应何种变动方向,以及增加或扣除多少健康评分,均可由本领域技术人员根据直播平台自身的管理机制来设定。
步骤S1400、检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播操作权限以控制其直播视频流的产出:
本申请可在后台实施对每个主播用户的当前健康评分实施监控,实时检测每个主播用户的当前健康评分,检测该当前健康评分是否满足预设条件,而满足预设条件时,便可按照事先预设的控制策略,实施对其相应的主播用户的直播操作权限的控制。所述的直播操作权限,包括但不限于禁止发言、禁止视频流传输、禁止使用直播间***的某个控件、禁止向视频流中加载文字或特效、直播控制主播用户下线、禁止主播用户在未来一段时间内发起直播的权限等等这些消极权限控制。
当然,作为本实施例可选的仅仅一种变通和扩展,从积极权限控制的角度出发,对于事先已经被实施这些消极权限控制的主播用户而言,如果其当前健康积分较高,多次出现积极行为类型,则理论上也可反向实施直播操作权限控制,渐次解除对该主播用户的直播操作权限的消极控制,使该主播用户增强直播操作的自由度。对此,本领域技术人员可灵活调节。
另一种变通实施例中,可以在每一个计分周期结束时,将当前信用评分与预设的多个分值区间相匹配,当匹配其中的一个分值区间时,便采用该分值区间相对应的直播操作权限的控制策略,实施对相应的主播用户的直播操作权限的控制。
一个示例中,存在两个预设条件,第一预设条件中,检测主播用户的当前健康评分是否低于第一预设阈值,当低于第一预设阈值时,便禁止该主播用户的特效权限;第二预设条件中,检测主播用户的当前健康评分是否低于第二预设阈值,当低于第二预设阈值时,便禁止该主播用户的发言权限。
通过利用健康评分实现对主播用户的直播操作权限的控制,可以对主播用户在直播过程中输出的直播内容进行引导,及时对主播用户进行警示,提醒其所实施的动作行为以及所呈现的图文信息均应朝向积极方向,引导主播用户输出更为健康的直播视频流,从而提升整个网络直播平台的直播视频流的内容品质。
对于网络直播平台方而言,适用本申请的控制原理,可针对全平台中海量的直播视频流及其主播用户实施标准化的管控,从而极大地简化平台方在后台管理中投入的人力物力,却可达到维护网络直播内容符合健康积极的目的。
通过本实施例,可以理解,本申请包含多方面积极优势,包括但不限于如下各方面:
首先,本申请根据网络直播产出的直播视频流中的直播内容进行智能识别,识别出其中的人体动作行为人为活动相对应的行为类型,然后结合健康评分机制,对直播视频流的中主播用户的动作行为进行健康评分,通过健康评分对用户直播行为进行引导,在健康评分满足预设条件的必要情况下,对相应的主播用户或其直播间的直播操作权限进行控制,基于坚实的智能分析能力,结合有效的评分机制和控制手段,实现对网络直播平台中海量直播间的直播视频流的内容进行监控,通过引导直播视频流中的人体动作行为人为活动实现对直播内容的规范,可提升直播视频流的内容品质,确保直播内容的健康稳定。
其次,本申请在行为类型的基础上结合评分机制以及预设条件而建立起独特的视频流审核控制业务逻辑,实现控制业务逻辑的标准化,更适于为专业网络直播平台服务,使网络直播平台胜任对海量的直播视频流实施有效管控的能力。
此外,本申请基于直播内容,包括其中的语言信息、图像信息以及字幕信息,而非基于相关直播参数对直播内容所包含的行为类型进行分析,可以利用直播内容中的语义信息做出更为精准的判决,能够提升正确识别用户动作行为类型的准确率,降低人工审核成本,使网络直播平台可以收获规模经济效益。
请参阅图2,一种实施例中,所述步骤S1200、检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,包括如下步骤:
步骤S1211、对所述直播视频流中的视频流进行图文分离,获得相应的图像信息和字幕信息:
直播视频流播放时展示的内容中,既包含图像信息,也包含字幕信息。其中的字幕信息通常是主播用户通过预先设置视频特效或者添加备注字幕所形成的,因此,可以根据图文不同做不同的处理,以分离出其中的图像信息和字幕信息。
通过对所述直播视频流的视频流提取出其中的一个或多个视频帧,利用光学识别技术(OCR),转换为字符串,获得视频帧中包含的字幕信息。相应的,也可对所述字幕信息进行预处理,包括去停用词、去除空格等常规操作。将视频帧中的字幕信息区域的图像删除并予以补全图像,获得视频帧中的图像信息。
步骤S1212、对所述直播视频流中的音频流进行声学语音识别,获得其中的语音信息相对应的文本内容:
此外,可借助一个声学语音识别模型,通过对直播视频流中的音频流进行语音预处理,经声学模型提取语音特征之后,采用语言模型识别语音特征,获得相应的文本内容,实现语音转文字的操作。
步骤S1213、采用预设的图像特征提取模型提取所述图像信息的图像特征向量:
采用一个预训练至收敛状态的图像特征提取模型,例如Resnet,对所述图像信息进行特征提取,获得表征其深层语义信息的图像特征向量,将该图像特征向量归一化为高维向量。
步骤S1214、采用预设的文本特征提取模型提取由所述字幕信息及文本内容集合而成的文本信息的文本特征向量:
本实施例中,存在两个具体来源的文本内容,其一为从直播视频流中的所述视频流中提取出的字幕内容,其二为从直播视频流中的所述音频流中提取出的文字内容,两种文本内容可以构成同一集合,构成同一文本信息一并处理。
采用一个预训练至收敛状态的文本特征提取模型,例如Bert、LSTM等,对所述文本信息进行特征提取,获得表征其深层语义信息的文本特征向量,将该文本特征向量归一化为高维向量。
步骤S1215、将所述图像特征向量及文本特征向量拼接为综合特征向量:
为实现对文本特征向量和图像特征向量的综合,可将两者拼接为高维的综合特征向量,由此,直播视频流中的多源的具体信息,包括所述的图像信息、语言信息以及文本信息等,多个模态相对应的信息便被融合为同一向量表示,可以在此基础上做出综合判决。
步骤S1216、根据综合特征向量进行分类映射,判定所述视频帧中人为活动相对应的行为类型:
采用一个分类器,将所述综合特征向量全连接后映射到分类空间,得出该综合特征向量映射到多个行为类型相对应的分类概率,其中分类概率最大的分类模型,即为直播视频流的直播内容所包含的行为类型。
示例而言,如果直播视频流的视频帧中,主播用户的桌面放置有香烟,但所占图像面积较小,而其字幕或语言中出现诸如“过把瘾”之类的字眼,这种情况下,经综合香烟图像及“过把瘾”字眼的深层语义信息之后,模型便可将其通过多分类映射,判决出当前的视频帧中存在违规行为,即确定出“疑似抽烟”相对应的行为类型。
如图3所示,可以将由所述图像特征提取模型、文本特征提取模型,以及分类器搭建而成的网络架构进行统一的训练,采用相对应采集的直播视频流作为训练样本,经分别提取图像特征信息与文本特征信息并拼接后,经分类器映射出相应的行为类型,再采用该训练样本相对应的监督标签计算模型损失值,当该损失值达到预设阈值时,模型收敛,可终止训练,否则,对模型实施梯度更新,矫正模型的权重参数,促使模型收敛,并调用下一训练样本继续对模型实施训练,直到模型收敛即可。
本实施例中,以多模态融合的方式,综合了直播视频流中的图像信息、语言信息以及文本信息,经综合处理,归一化为图像特征向量和文本特征向量两类向量,最终又归一化为综合特征向量,过程中各种模态的信息相互参考,可以提升行为类型判断的准确性。
本实施例判断出直播内容中包含的人为活动相对应的行为类型后,便可供确定该行为类型相对应的变动健康评分及其变动方向,从而用于及时反映用户的当前健康评分。
请参阅图4,另一实施例中,所述步骤S1200、检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,包括如下步骤:
步骤S1221、从所述直播视频流中提取多个视频帧:
不同于前一实施例,本实施例将采用单行为类型判决模型,此一判决模型更依赖于直播视频流中的多个视频帧提供参考信息,这些视频帧一般是预设时长范围内时间戳不连续的两个或更多个视频帧,此一预设时长,以能够描述一个动作行为的变化为准,因此一般是一个经验值或者实验值,本领域技术人员可灵活设定。
步骤S1222、采用预设的多个单行为类型判决模型,每个单行为判决模型用于判决所述视频帧中人为活动是否属于一种特定的行为类型,判决出相应的二值化结果:
所述的单行为类型判决模型,可以是TSN、TRN、TSM、SlowFast模型等模型来实施,此类模型均是通过提取多个视频帧的深层语义信息,综合多个视频帧之间表示动作的图像变化信息,来获得这一变化相应的深层语义信息,从而实现对视频帧所表示的人为活动的特定行为类型的识别。最终,根据特征提取所获得的深层语义信息通过二分类器进行二分类映射,获得相应的视频帧内的人为活动是否属于相应的特征行为类型的二值化的判决结果。
步骤S1223、根据所述多个单行为类型判决模型输出的二值化结果,确定所述直播视频流相对应的一个或多个行为类型:
每个单行为类型判决模型通常针对一种特定的行为类型训练而得,因此,如果需要判决多个行为类型,则需相应训练获得多个分别针对不同行为类型的单行为类型判决模型,并行地将所述多个视频帧输入各个单行为类型判决模型进行判决,最终获得所有模型的判决结果,一般而言,均可获得被确定出的一种特定行为类型,或者获得的结果中,指示未存在任何一种各个模型所能识别的特定行为类型。
本领域技术人员应当理解,每种特定行为类型相对应的所述单行为类型判决模型应当预先被训练至收敛状态,可采用与该特定行为类型相对应采集的视频帧作为训练样本,交由所述单行为类型判决模型进行特征提取并做二分类映射,再采用该训练样本相对应的监督标签计算模型损失值,当该损失值达到预设阈值时,模型收敛,可终止训练,否则,对模型实施梯度更新,矫正模型的权重参数,促使模型收敛,并调用下一训练样本继续对模型实施训练,直到模型收敛即可。
本实施例中,采用多个单行为类型判决模型分别针对多种不同的行为类型,对直播视频流中的视频帧进行判决,由于每个判决模型均针对特定行为类型进行专门训练,因此其识别准确度更高,更有助于快速判决出直播视频流中的人为活动相对应的行为类型,并且,多个判决模型同步地对同一直播视频流中的视频帧进行判决,可节省判决时间,不影响直播效率,为快速反映主播用户的当前健康评分奠定了更为坚实的基础。
请参阅图5,具体化的实施例中,所述步骤S1300、根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分,包括如下步骤:
步骤S1310、确定所述行为类型在为其预设的频度统计周期内出现的次序:
本实施例中,适应某些情节较为轻微的人为活动,结合直播内容健康评价体系设计上的合理性,根据频率分值思想,做进一步的改进。据此,当某一种行为类型被触发后,可以基于其被触发的时间点,启动一个计时器,用于计算频度统计周期,然后跟踪相同行为类型在该频度统计周期内出现的次序,以便实现结合出现频度和时间信息对某一行为类型进行相应分梯度的评价。
进入所述的频度统计周期之后,当出现该频度统计周期相对应的特定行为类型时,便可确定其相应的出现次序。
步骤S1320、查询预设的评分映射表,确定出所述行为类型及其出现次序相对应的变动健康评分及其变动方向:
然后,查询所述的评分映射表,该评分映射前中进一步预设的所述特定行为类型的不同出现次序相对应的变动健康评分及变动方向,例如,首次“抽烟”扣除3分,第二次出现扣除5分,第三次扣除8分。
步骤S1330、按照所述变动方向从当前健康评分中相应累加或扣减所述当前健康评分:
至此,便可根据所述变动方向,对该主播用户的当前健康评分进行操作,相应地累加或者扣减所述的当前健康评分,实现当前健康评分的更新,例如前述示例中,如果是第二次出现抽烟行为类型,则在该直播视频流的主播用户的当前健康评分的基础上减去5分作为其最新的当前健康评分。
本实施例通过深化频率分值机制在本申请的应用,使主播用户在一次直播视频流中实施多次相同的违规活动时,可以根据其活动所对应的特定行为类型相同,而按出现特定行为类型的次序,对该主播用户的当前健康评分按梯度实施奖惩,从而,能更有效更及时地规制直播视频流中的人为活动,引导促使主播用户确保所输出的直播内容的健康,促使平台的直播视频流所衍生的产物得到净化。
请参阅图6,扩展的一种实施例中,所述步骤S1400、检测所述当前健康评分是否满足预设条件的步骤之前,包括如下步骤:
步骤S1001、在当前计分周期结束后,统计该主播用户未重复因相同行为类型被扣减当前健康评分的持续时长:
如前所述,本申请可按计分周期对主播用户进行引导。若当前计分周期期满而结束,此时,统计出该主播用户所触犯的各种行为类型及其触犯次数以及最后一次出现某种行为类型后,后续未再重新触犯该种行为类型的持续时长。统计这些数据,可以用于对主播用户的积极规避行为实施奖励,从而给出直播视频流的改进方向,正向鼓励主播用户在终端设备产出更符合要求的直播视频流。
步骤S1002、判断所述持续时长是否达到预设阈值,当达到预设阈值后,将该相同行为类型相对应的奖励健康评分加计至其当前健康评分中:
具体而言,针对某种特定行为类型,判断其相对应的所述持续时长是否达到预设阈值,该预设阈值可以是经验值,如果达到该预设阈值,表示主播用户在其直播视频流中未再产生违规的所述特定行为类型,此时应予以奖励,于是,可查询与该特定行为类型相对应预设的奖励健康评分,将该奖励健康评分加计至该主播用户的当前健康评分中,使该主播用户获得更高的积分。当然,如果所述持续时长未能达到预设阈值,出于直播内容健康评价体系的柔性需求的考虑,可不予处理。
本实施例通过监控主播用户在同一计分周期内是否多次触发相同的特定行为类型,针对未重复触发相同特定行为类型的积极进步进行加计相应的奖励健康评分,可以实现对主播用户的积极行为的识别,进而引导主播用户在其客户端设备产出更高内容质量的直播视频流,提升网络直播平台产出的直播视频流的内容质量。
请参阅图7,扩展的再一实施例中,所述步骤S1400、检测所述当前健康评分是否满足预设条件的步骤之前,包括如下步骤:
所述步骤S1003、响应申诉撤销指令,将该指令所指定的行为类型相对应的变动健康评分加计至所述当前健康评分中:
当执行针对某一行为类型的扣分操作后,后台向主播用户发送相关的通知消息,主播用户在其客户端设备收到该通知消息后,可以通过***预设的申诉接口进行申诉,网络直播平台的管理用户审核通过后,便可触发申诉撤销指令,通过该指令针对撤销被申请的行为类型的扣分操作。因此,响应于该申诉撤销指令,查询所述预设的评分映射表中与该指令指定的行为类型相对应的变动健康评分,将其相应加计到该主播用户的当前健康评分中,即可实现对被申诉行为类型的恢复。
本实施例允许通过申诉机制来实现扣分事件的撤销,实现救济和避免错误扣分事件,可以提升直播内容健康评价机制的运行准确性,确保该机制的可持续运作,使网络直播平台可以更加稳健地确保产出优质的直播视频流。
请参阅图8,扩展的另一实施例中,所述步骤S1400、检测所述当前健康评分是否满足预设条件的步骤之后,包括如下步骤:
步骤S1500、检测当前计分周期是否期满,若期满,启动新的计分周期,将该当前计分周期的当前健康评分的期末数值叠加预设分值,作为新的计分周期的当前健康评分的期初数值:
如前所述,本申请可按计分周期对主播用户进行引导,当一个计分周期期满而主播用户继续直播时,便可启动新的计分周期,如此不断循环,通过计分周期来统一健康评价的时间参考系,避免不同主播用户直播时间差异而导致直播内容健康评价体系失效。
据此,由后台服务器实时检测每个主播用户的当前计分周期是否期满,若期满,便为相应的主播用户启动新的计分周期。但是,对于同一场直播活动而言,主播用户在上一计分周期期末获得的健康评分可以延续至新的计分周期中继续使用。因此,将该当前计分周期的当前健康评分的期末数值叠加预设分值,作为下一计分周期的当前健康评分的期初数值。所述预设分值的设定,可以避免主播用户在一个计分周期中当前健康评分分值过低,也可作为新的计分周期的奖惩基础,确保健康评价机制的稳健运行。
本实施例通过对计分周期的延续性的处理,统一了多主播用户之间的计分时间参考系及计分业务逻辑,使得网络平台可以基于分时统一不同主播用户的不同时长直播活动的健康评价所需的时间参考系,使健康评分机制更符合统计原理,更有助于指导主播用户产出更健康的直播视频流,从而确保整个网络直播平台产出优质的直播视频流。
请参阅图9,适应本申请的目的之一而提供的一种视频流审核控制装置,包括:分值调用模块1100、行为检测模块1200、评分调节模块1300,以及产出控制模块1400,其中,所述分值调用模块1100,用于根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分;所述行为检测模块1200,用于检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,所述直播内容包含语言信息、图像信息、字幕信息中任意一项或任意多项;所述评分调节模块1300,用于根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分;所述产出控制模块1400,用于检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播操作权限以控制其直播视频流的产出。
一种实施例中,所述行为检测模块1200,包括:图文分离子模块,用于对所述直播视频流中的视频流进行图文分离,获得相应的图像信息和字幕信息;声学识别模块,用于对所述直播视频流中的音频流进行声学语音识别,获得其中的语音信息相对应的文本内容;图像处理子模块,用于采用预设的图像特征提取模型提取所述图像信息的图像特征向量;文本处理子模块,用于采用预设的文本特征提取模型提取由所述字幕信息及文本内容集合而成的文本信息的文本特征向量;向量拼接子模块,用于将所述图像特征向量及文本特征向量拼接为综合特征向量;分类映射子模块,用于根据综合特征向量进行分类映射,判定所述视频帧中人为活动相对应的行为类型。
另一实施例中,所述行为检测模块1200,包括:视频提取子模块,用于从所述直播视频流中提取多个视频帧;行为分析子模块,用于采用预设的多个单行为类型判决模型,每个单行为判决模型用于判决所述视频帧中人为活动是否属于一种特定的行为类型,判决出相应的二值化结果;行为确定子模块,用于根据所述多个单行为类型判决模型输出的二值化结果,确定所述直播视频流相对应的一个或多个行为类型。
具体化的实施例中,所述评分调节模块1300,包括:次序确定子模块,用于确定所述行为类型在为其预设的频度统计周期内出现的次序;评分映射子模块,用于查询预设的评分映射表,确定出所述行为类型及其出现次序相对应的变动健康评分及其变动方向;评分微调子模块,用于按照所述变动方向从当前健康评分中相应累加或扣减所述当前健康评分。
扩展的一种实施例中,本申请的视频流审核控制装置,还包括:合规监测模块,用于在当前计分周期结束后,统计该主播用户未重复因相同行为类型被扣减当前健康评分的持续时长;奖励叠加模块,用于判断所述持续时长是否达到预设阈值,当达到预设阈值后,将该相同行为类型相对应的奖励健康评分加计至其当前健康评分中。
扩展的另一实施例中,本申请的视频流审核控制装置,还包括:申诉处理模块,用于响应申诉撤销指令,将该指令所指定的行为类型相对应的变动健康评分加计至所述当前健康评分中。
扩展的再一实施例中,本申请的视频流审核控制装置,还包括:周期计时模块,用于检测当前计分周期是否期满,若期满,启动新的计分周期,将该当前计分周期的当前健康评分的期末数值叠加预设分值,作为新的计分周期的当前健康评分的期初数值。
为解决上述技术问题,本申请实施例还提供计算机设备。如图10所示,计算机设备的内部结构示意图。该计算机设备包括通过***总线连接的处理器、计算机可读存储介质、存储器和网络接口。其中,该计算机设备的计算机可读存储介质存储有操作***、数据库和计算机可读指令,数据库中可存储有控件信息序列,该计算机可读指令被处理器执行时,可使得处理器实现一种视频流审核控制方法。该计算机设备的处理器用于提供计算和控制能力,支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令,该计算机可读指令被处理器执行时,可使得处理器执行本申请的视频流审核控制方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本实施方式中处理器用于执行图9中的各个模块及其子模块的具体功能,存储器存储有执行上述模块或子模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有本申请的视频流审核控制装置中执行所有模块/子模块所需的程序代码及数据,服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
本申请还提供一种存储有计算机可读指令的存储介质,计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行本申请任一实施例的视频流审核控制方法的步骤。
本申请还提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被一个或多个处理器执行时实现本申请任一实施例所述方法的步骤。
本领域普通技术人员可以理解实现本申请上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等计算机可读存储介质,或随机存储记忆体(Random Access Memory,RAM)等。
综上所述,本申请基于对直播视频流的直播内容所包含的人为活动的行为类型的正确识别,构建出直播内容健康评价体系,控制主播用户的终端设备产出优质的直播视频流,确保网络直播平台的直播内容的健康出品。
本技术领域技术人员可以理解,本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地,具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地,现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种视频流审核控制方法,其特征在于,包括如下步骤:
根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分;
检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,所述直播内容包含语言信息、图像信息、字幕信息中任意一项或任意多项;
根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分;
检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播操作权限以控制其直播视频流的产出。
2.根据权利要求1所述的视频流审核控制方法,其特征在于,检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,包括如下步骤:
对所述直播视频流中的视频流进行图文分离,获得相应的图像信息和字幕信息;
对所述直播视频流中的音频流进行声学语音识别,获得其中的语音信息相对应的文本内容;
采用预设的图像特征提取模型提取所述图像信息的图像特征向量;
采用预设的文本特征提取模型提取由所述字幕信息及文本内容集合而成的文本信息的文本特征向量;
将所述图像特征向量及文本特征向量拼接为综合特征向量;
根据综合特征向量进行分类映射,判定所述视频帧中人为活动相对应的行为类型。
3.根据权利要求1所述的视频流审核控制方法,其特征在于,检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,包括如下步骤:
从所述直播视频流中提取多个视频帧;
采用预设的多个单行为类型判决模型,每个单行为判决模型用于判决所述视频帧中人为活动是否属于一种特定的行为类型,判决出相应的二值化结果;
根据所述多个单行为类型判决模型输出的二值化结果,确定所述直播视频流相对应的一个或多个行为类型。
4.根据权利要求1所述的视频流审核控制方法,其特征在于,根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分,包括如下步骤:
确定所述行为类型在为其预设的频度统计周期内出现的次序;
查询预设的评分映射表,确定出所述行为类型及其出现次序相对应的变动健康评分及其变动方向;
按照所述变动方向从当前健康评分中相应累加或扣减所述当前健康评分。
5.根据权利要求1所述的视频流审核控制方法,其特征在于,检测所述当前健康评分是否满足预设条件的步骤之前,包括如下步骤:
在当前计分周期结束后,统计该主播用户未重复因相同行为类型被扣减当前健康评分的持续时长;
判断所述持续时长是否达到预设阈值,当达到预设阈值后,将该相同行为类型相对应的奖励健康评分加计至其当前健康评分中。
6.根据权利要求1至5中任意一项所述的视频流审核控制方法,其特征在于,检测所述当前健康评分是否满足预设条件的步骤之前,包括如下步骤:
响应申诉撤销指令,将该指令所指定的行为类型相对应的变动健康评分加计至所述当前健康评分中。
7.根据权利要求1至5中任意一项所述的视频流审核控制方法,其特征在于,检测所述当前健康评分是否满足预设条件的步骤之后,包括如下步骤:
检测当前计分周期是否期满,若期满,启动新的计分周期,将该当前计分周期的当前健康评分的期末数值叠加预设分值,作为新的计分周期的当前健康评分的期初数值。
8.一种视频流审核控制装置,其特征在于,其包括:
分值调用模块,用于根据客户端提交的直播视频流确定该直播视频流的主播用户在当前计分周期的当前健康评分;
行为检测模块,用于检测所述直播视频流中的直播内容以识别出其中的人为活动相对应的行为类型,所述直播内容包含语言信息、图像信息、字幕信息中任意一项或任意多项;
评分调节模块,用于根据所述行为类型确定其相对应的变动健康评分及其变动方向,根据所述变动方向从当前健康评分中相应累加或扣减所述变动健康评分;
产出控制模块,用于检测所述当前健康评分是否满足预设条件,当满足预设条件时,相应修改所述主播用户的直播操作权限以控制其直播视频流的产出。
9.一种计算机设备,包括中央处理器和存储器,其特征在于,所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行如权利要求1至7中任意一项所述的方法的步骤。
10.一种计算机可读存储介质,其特征在于,其以计算机可读指令的形式存储有依据权利要求1至7中任意一项所述的方法所实现的计算机程序,该计算机程序被计算机调用运行时,执行相应的方法所包括的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111648976.6A CN114302161A (zh) | 2021-12-30 | 2021-12-30 | 视频流审核控制方法及其装置、设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111648976.6A CN114302161A (zh) | 2021-12-30 | 2021-12-30 | 视频流审核控制方法及其装置、设备、介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114302161A true CN114302161A (zh) | 2022-04-08 |
Family
ID=80974543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111648976.6A Pending CN114302161A (zh) | 2021-12-30 | 2021-12-30 | 视频流审核控制方法及其装置、设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114302161A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116127173A (zh) * | 2023-04-10 | 2023-05-16 | 上海蜜度信息技术有限公司 | 基于区块链的网络媒体监管方法及***、存储介质及平台 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108009707A (zh) * | 2017-11-15 | 2018-05-08 | 广州虎牙信息科技有限公司 | 主播信用评分方法、装置和终端 |
WO2018113405A1 (zh) * | 2016-12-19 | 2018-06-28 | 广州虎牙信息科技有限公司 | 基于视频流的直播交互方法及其相应的装置 |
WO2018120946A1 (zh) * | 2016-12-30 | 2018-07-05 | 广州虎牙信息科技有限公司 | 视频画面异常判断、装置及终端设备 |
CN109286667A (zh) * | 2018-09-25 | 2019-01-29 | 北京点网聚科技有限公司 | 用户账号管理方法及装置 |
CN110781916A (zh) * | 2019-09-18 | 2020-02-11 | 平安科技(深圳)有限公司 | 视频数据的欺诈检测方法、装置、计算机设备和存储介质 |
CN111314771A (zh) * | 2020-03-13 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 一种视频播放方法及相关设备 |
CN111770365A (zh) * | 2020-07-03 | 2020-10-13 | 广州酷狗计算机科技有限公司 | 主播推荐方法、装置、计算机设备及计算机可读存储介质 |
-
2021
- 2021-12-30 CN CN202111648976.6A patent/CN114302161A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018113405A1 (zh) * | 2016-12-19 | 2018-06-28 | 广州虎牙信息科技有限公司 | 基于视频流的直播交互方法及其相应的装置 |
WO2018120946A1 (zh) * | 2016-12-30 | 2018-07-05 | 广州虎牙信息科技有限公司 | 视频画面异常判断、装置及终端设备 |
CN108009707A (zh) * | 2017-11-15 | 2018-05-08 | 广州虎牙信息科技有限公司 | 主播信用评分方法、装置和终端 |
CN109286667A (zh) * | 2018-09-25 | 2019-01-29 | 北京点网聚科技有限公司 | 用户账号管理方法及装置 |
CN110781916A (zh) * | 2019-09-18 | 2020-02-11 | 平安科技(深圳)有限公司 | 视频数据的欺诈检测方法、装置、计算机设备和存储介质 |
CN111314771A (zh) * | 2020-03-13 | 2020-06-19 | 腾讯科技(深圳)有限公司 | 一种视频播放方法及相关设备 |
CN111770365A (zh) * | 2020-07-03 | 2020-10-13 | 广州酷狗计算机科技有限公司 | 主播推荐方法、装置、计算机设备及计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116127173A (zh) * | 2023-04-10 | 2023-05-16 | 上海蜜度信息技术有限公司 | 基于区块链的网络媒体监管方法及***、存储介质及平台 |
CN116127173B (zh) * | 2023-04-10 | 2023-08-08 | 上海蜜度信息技术有限公司 | 基于区块链的网络媒体监管方法及***、存储介质及平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109766859B (zh) | 基于微表情的校园监控方法、装置、设备及存储介质 | |
US11676576B2 (en) | Organizational-based language model generation | |
CN111355781B (zh) | 一种语音信息交流的管理方法、装置和存储介质 | |
CN111274442B (zh) | 确定视频标签的方法、服务器及存储介质 | |
CN115828112B (zh) | 一种故障事件的响应方法、装置、电子设备及存储介质 | |
CN114466210B (zh) | 直播质量检测处理方法及其装置、设备、介质 | |
CN108109445B (zh) | 教学课情监控方法 | |
CN111739558B (zh) | 监控***、方法、装置、服务器及存储介质 | |
US11790177B1 (en) | Communication classification and escalation using machine learning model | |
CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
CN114302161A (zh) | 视频流审核控制方法及其装置、设备、介质 | |
CN111970471A (zh) | 基于视频会议的参会人员评分方法、装置、设备及介质 | |
CN116996325A (zh) | 一种基于云计算的网络安全检测方法及*** | |
CN113593533B (zh) | 基于意图识别的流程节点跳转方法、装置、设备及介质 | |
CN113256038B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
KR101747712B1 (ko) | 스마트폰을 통한 면접 자동인식 실시간관리방법 | |
CN115050372A (zh) | 一种音频片段的聚类方法、装置、电子设备和介质 | |
CN113301382B (zh) | 视频处理方法、设备、介质及程序产品 | |
CN117435999A (zh) | 一种风险评估方法、装置、设备以及介质 | |
CN116205726B (zh) | 一种贷款风险预测方法、装置、电子设备及存储介质 | |
CN116776857A (zh) | 客户通话关键信息提取方法、装置、计算机设备及介质 | |
CN112261321B (zh) | 字幕处理方法、装置及电子设备 | |
US20210005069A1 (en) | Abuse Alert System by Analyzing Sound | |
CN113435928A (zh) | 基于语音识别的广告推荐方法、装置及计算机设备 | |
CN113345210A (zh) | 一种基于音视频智能判断呼救的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |