CN113497946B - 视频处理方法、装置、电子设备和存储介质 - Google Patents
视频处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN113497946B CN113497946B CN202010203456.3A CN202010203456A CN113497946B CN 113497946 B CN113497946 B CN 113497946B CN 202010203456 A CN202010203456 A CN 202010203456A CN 113497946 B CN113497946 B CN 113497946B
- Authority
- CN
- China
- Prior art keywords
- video
- player
- highlight
- competition
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 44
- 230000008451 emotion Effects 0.000 claims abstract description 140
- 230000003993 interaction Effects 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 60
- 238000004458 analytical method Methods 0.000 claims abstract description 29
- 238000012482 interaction analysis Methods 0.000 claims abstract description 22
- 238000000034 method Methods 0.000 claims description 35
- 230000011218 segmentation Effects 0.000 claims description 24
- 230000000007 visual effect Effects 0.000 claims description 21
- 239000012634 fragment Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 2
- 239000008280 blood Substances 0.000 description 24
- 210000004369 blood Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000002147 killing effect Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000386 athletic effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/80—Special adaptations for executing a specific game genre or game mode
- A63F13/822—Strategy games; Role-playing games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
- H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
- H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4781—Games
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种视频处理方法、装置、电子设备和存储介质;本发明实施例可以获取比赛视频以及观众针对比赛视频的评论信息;基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;向客户端发送精彩片段,以便目标终端播放精彩片段。在本发明实施例中,可以同时根据观众的评论反应以及比赛视频的画面内容来确定比赛视频中所出现的精彩片段。本发明可以准确、自动地将比赛视频的精彩片段截取出来并发送给客户端,便于用户观看,由此,本方案可以提升视频处理的效率。
Description
技术领域
本发明涉及图像处理领域,具体涉及一种视频处理方法、装置、电子设备和存储介质。
背景技术
在各个视频平台,电子游戏视频的数量众多,且内容多样、用户基数庞大,特别地,在游戏直播时,观众们可以同时观看同一个直播画面,但当直播画面中出现了游戏玩家的精彩操作之后,观众却无法自行回顾这些精彩片段,只能等待比赛导播手动回放上一个精彩片段。
而在游戏录播视频中,录播视频往往通过检测游戏中的击杀、助攻等方式来在录播视频中标明精彩片段,用户虽然可以通过拖动进度条地方式自行回放,但通过该种检测方式得到的精彩片段却不够准确,只能检测出游戏中的击杀、助攻等事件,对游戏视频中的其他精彩片段,如精彩搞笑片段、精彩博弈片段、主播精彩解说片段等无法检测。因此,目前的视频处理效率低下。
发明内容
本发明实施例提供一种视频处理方法、装置、电子设备和存储介质,可以提升视频处理的效率。
本发明实施例提供一种视频处理方法,适用于服务端,包括:
获取比赛视频以及观众针对所述比赛视频的评论信息,所述比赛视频的视频画面中包括玩家角色;
基于所述评论信息进行观众情感分析,得到所述观众针对所述比赛视频的观众情感指数;
基于所述比赛视频进行比赛互动分析,得到所述比赛视频中玩家角色之间的玩家互动指数;
根据所述观众情感指数和所述玩家互动指数在所述比赛视频中截取精彩片段;
向客户端发送所述精彩片段,以便所述目标终端播放所述精彩片段。
本发明实施例还提供一种视频处理,适用于客户端,包括:
获取比赛视频;
显示视频播放页面,并在视频播放页面播放比赛视频;
当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;
当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;
当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
在一些实施例中,所述视频播放页面包括播放控件、暂停控件,所述显示视频播放页面,并在视频播放页面播放比赛视频,包括:
当接收到服务端发送的精彩片段时,在视播放页面显示播放控件;
当检测到用户针对播放控件的播放操作时,播放播放精彩片段;
当检测到用户针对暂停控件的暂停操作时,暂停播放播放精彩片段。
在一些实施例中,所述视频播放页面包括速度控制控件,所述显示视频播放页面,并在视频播放页面播放比赛视频,包括:
当检测到用户针对速度控制控件的慢放操作时,对精彩片段进行时间延长处理,得到慢放后的精彩片段,并在视频播放页面播放该慢放后的精彩片段;
当检测到用户针对速度控制控件的快放操作时,对精彩片段进行时间缩短处理,得到快放后的精彩片段,并在视频播放页面播放该快放后的精彩片段。
在一些实施例中,所述视频播放页面包括分享控件,所述显示视频播放页面,并在视频播放页面播放比赛视频,包括:
当检测到用户针对分享控件的分享操作时,根据该分享操作分享该精彩片段。
本发明实施例还提供一种视频处理装置,适用于服务端,包括:
获取单元,用于获取比赛视频以及观众针对所述比赛视频的评论信息,所述比赛视频的视频画面中包括玩家角色;
情感单元,用于基于所述评论信息进行观众情感分析,得到所述观众针对所述比赛视频的观众情感指数;
互动单元,用于基于所述比赛视频进行比赛互动分析,得到所述比赛视频中玩家角色之间的玩家互动指数;
截取单元,用于根据所述观众情感指数和所述玩家互动指数在所述比赛视频中截取精彩片段;
发送单元,用于向客户端发送所述精彩片段,以便所述目标终端播放所述精彩片段。
在一些实施例中,所述互动单元,包括:
标识物子单元,用于对所述比赛视频进行标识物识别,识别出所述比赛视频中的玩家角色对应的玩家标识物,并确定所述玩家标识物对应的位置信息;
阵营子单元,用于根据所述玩家标识物确定所述玩家角色所属的角色阵营类型;
敌对距离子单元,用于基于所述位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
互动指数子单元,用于根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,所述标识物子单元,用于:
在所述比赛视频的视频画面中确定待对比区域,所述待对比区域是由预设玩家标识物图像在所述比赛视频的视频画面上滑动所得到的;
根据所述待对比区域和所述预设玩家标识物图像进行相似度计算,得到所述预设玩家标识物图像和所述待对比区域之间的图像相似度;
根据所述图像相似度在所述比赛视频的视频画面中确定玩家标识物;
确定所述玩家标识物在所述比赛视频的视频画面中所在的位置,得到所述玩家标识物对应的位置信息。
在一些实施例中,所述阵营子单元,用于:
对所述玩家标识物进行颜色分析,确定所述玩家标识物的颜色信息;
根据所述颜色信息,确定所述玩家标识物所对应的玩家角色所属的角色阵营类型。
在一些实施例中,所述互动指数子单元,用于:
当所述敌对距离小于预设敌对距离阈值时,确定所述比赛视频的视频画面尺寸;
根据所述敌对距离和所述视频画面尺寸计算所述比赛视频中玩家角色之间敌对玩家密度;
根据所述敌对玩家密度确定所述比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,所述互动单元,包括:
玩家识别子单元,用于采用图像识别模型对所述比赛视频进行玩家角色识别,得到所述比赛视频中玩家角色的位置信息,以及所述玩家角色所属的角色阵营类型;
敌对距离子单元,用于基于所述位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
互动指数子单元,用于根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,所述玩家识别子单元,用于:
获取训练图像,所述训练图像包括标注了位置信息和角色阵营类型的玩家角色;
采用所述训练图像对预设模型进行模型训练,直至所述预设模型收敛,得到图像识别模型;
采用所述图像识别模型提取所述比赛视频的图像特征,并根据所述图像特征确定所述比赛视频中图像像素的像素类型;
根据所述比赛视频中图像像素的像素类型在所述比赛视频中确定玩家角色,并确定所述玩家角色的位置信息,以及所述玩家角色所属的角色阵营类型。
在一些实施例中,所述评论信息包括多个评论语句,所述情感单元,用于:
对所述评论语句进行分词处理,得到评论语句分词;
确定所述评论语句分词在预设词典中所处的情感位置;
根据所述情感位置确定所述评论语句分词的情感状态;
对所述评论语句中评论语句分词的情感状态进行统计,得到所述评论语句的情感状态;
根据所述评论语句的情感状态确定所述观众针对所述比赛视频的观众情感指数。
在一些实施例中,所述截取单元,包括:
精彩度子单元,用于对所述观众情感指数和所述玩家互动指数进行加权求和,计算得到精彩度;
截取子单元,用于根据所述精彩度在所述比赛视频中截取精彩片段。
在一些实施例中,所述比赛视频包括多个视频片段,截取子单元,用于:
将所述比赛视频中精彩度高于预设精彩度阈值的视频片段确定为待截取片段;
根据所述待截取片段对应的玩家互动指数进行指数变化趋势分析,得到所述待截取片段的玩家互动指数变化趋势;
根据所述待截取片段的玩家互动指数变化趋势,在所述待截取片段中确定精彩片段。
在一些实施例中,所述发送单元,用于:
根据所述精彩片段生成精彩片段信息;
向客户端发送所述精彩片段信息,以便所述客户端在视播放页面中播放所述比赛视频时显示回放提示区域,所述回放提示区域包括所述精彩片段信息;
当接收到客户端发送的回放请求时,向客户端发送所述精彩片段信息对应的精彩片段,以便所述客户端在所述视播放页面播放所述精彩片段。
本发明实施例还提供一种视频处理装置,适用于客户端,包括:
视频获取单元,可以用于获取比赛视频;
显示单元,可以用于显示视频播放页面,并在视频播放页面播放比赛视频;
回放单元,可以用于当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;
检测单元,可以用于当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;
播放单元,可以用于当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
在一些实施例中,播放单元可以用于:
当接收到服务端发送的精彩片段时,在视播放页面显示播放控件;
当检测到用户针对播放控件的播放操作时,播放播放精彩片段;
当检测到用户针对播放控件的暂停操作时,暂停播放播放精彩片段。
在一些实施例中,播放单元可以用于:
当检测到用户针对速度控制控件的慢放操作时,对精彩片段进行时间延长处理,得到慢放后的精彩片段,并在视频播放页面播放该慢放后的精彩片段;
当检测到用户针对速度控制控件的快放操作时,对精彩片段进行时间缩短处理,得到快放后的精彩片段,并在视频播放页面播放该快放后的精彩片段。
在一些实施例中,播放单元可以用于:
当检测到用户针对速度控制分享操作时,根据该分享操作分享该精彩片段。
本发明实施例还提供一种电子设备,包括存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本发明实施例所提供的任一种视频处理方法中的步骤。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种视频处理方法中的步骤。
本发明实施例还提供一种视频处理***,所述视频处理***包括服务端和客户端,其中:
该服务端可以获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色;基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;根据精彩片段生成精彩片段信息;向客户端发送精彩片段信息,以便客户端在视播放页面中播放比赛视频时显示回放提示区域,回放提示区域可以包括精彩片段信息;当接收到客户端发送的回放请求时,向客户端发送精彩片段信息对应的精彩片段,以便客户端在视播放页面播放精彩片段。
该客户端可以获取比赛视频;显示视频播放页面,并在视频播放页面播放比赛视频;当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
本发明实施例可以获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色;基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;向客户端发送精彩片段,以便目标终端播放精彩片段。
在本发明中,可以通过对观众针对比赛视频的评论信息,以及比赛视频中的玩家角色进行分析,来自动地在比赛视频中检测出精彩片段。特别是在游戏直播领域,本发明可以通过计算游戏直播过程中比赛画面中玩家角色之间的玩家互动指数,以及观众直播弹幕的观众情感指数,从而根据玩家互动指数和观众情感指数判断该直播画面是否精彩,截取出比赛视频中的精彩片段后,可以将其发送给客户端,以便观众观看,由此,本方案提升了视频处理的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的视频处理方法的场景示意图;
图1b是本发明实施例提供的视频处理方法的第一种流程示意图;
图1c是本发明实施例提供的视频处理方法的观众情感指数随时间变化的示意图;
图1d是本发明实施例提供的视频处理方法的玩家标识物示意图;
图1e是本发明实施例提供的视频处理方法的玩家互动指数随时间变化的示意图;
图1f是本发明实施例提供的视频处理方法的精彩度随时间变化的示意图;
图2a是本发明实施例提供的视频处理方法应用在视频播放页面的示意图;
图2b是本发明实施例提供的视频处理方法的第二种流程示意图;
图3a是本发明实施例提供的视频处理***的流程示意图;
图3b是本发明实施例提供的视频处理方法的比赛视频的视频画面灰度示意图;
图3c是本发明实施例提供的视频处理方法的匹配程度示意图;
图3d是本发明实施例提供的视频处理方法的阈值处理后匹配程度示意图;
图4是本发明实施例提供的视频处理装置的第一种结构示意图;
图5是本发明实施例提供的视频处理装置的第二种结构示意图;
图6是本发明实施例提供的电子设备结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种视频处理方法、装置、电子设备和存储介质。
其中,该视频处理装置具体可以集成在电子设备中,该电子设备可以为终端,也可以为服务器。其中,终端可以是智能手机、蓝牙耳机、平板电脑等。其中,服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该视频处理装置还可以集成在多个电子设备中,比如,视频处理装置可以集成在多个服务器中,由多个服务器来实现本发明的视频处理方法。
在一些实施例中,服务器也可以以终端的形式来实现。
例如,参考图1a,该电子设备可以是服务器,该服务器可以从直播服务器中获取比赛视频以及观众针对比赛视频的评论信息,其中,该比赛视频的视频画面中可以包括玩家角色;基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;向客户端发送精彩片段,以便目标终端播放精彩片段。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。
人工智能(Artificial Intelligence,AI)是一种利用数字计算机来模拟人类感知环境、获取知识并使用知识的技术,该技术可以使机器具有类似于人类的感知、推理与决策的功能。人工智能技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习、深度学习等几大方向。
其中,计算机视觉(Computer Vision,CV)是利用计算机代替人眼对目标图像进行识别、测量等操作并进一步进行处理的技术。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、虚拟现实、增强现实、同步定位与地图构建等技术,比如,图像着色、图像描边提取等图像处理技术。
其中,自然语言处理(Natural Language Processing,NLP)是计算机代替人脑对目标文字进行理解、回复、写作等操作并进一步进行处理的技术。自然语言处理技术通常包括文本分类、文本生成、信息检索、问答***等技术,比如,语音识别、AI问答、诗词生成、机器翻译等自然语言处理技术。
在本实施例中,提供了一种融合了计算机视觉和自然语言处理技术的视频处理方法,该视频处理方法适用于服务端,如图1b所示,该视频处理方法的具体流程可以如下:
101、获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色。
在本实施例中,比赛视频可以指对抗性竞技领域的比赛视频,比如,电子游戏竞技比赛视频、篮球比赛视频、机器人足球竞赛视频,等等。比赛视频的表现形式多样,比如,比赛视频可以以录播视频的形式进行表现,也可以以直播视频的形式进行表现、以动态图片的形式进行表现,等等。
在对抗性竞技领域的比赛中,玩家可以为其所属的战队、小组、势力等进行同台竞技,比如,在篮球比赛中,两个篮球队可以同台进行竞技,每个小队可以上场五名队员;比如,在大逃杀类型的电子游戏竞技比赛中,可以存在20个小队进行同台竞技,每个小队可以上场4名队员;比如,在即时战略游戏中,可以由两名玩家进行一对一的对战,等等。
玩家角色可以是指虚拟的玩家角色,也可以指真实的玩家,比如,在真实的篮球比赛中,玩家角色可以包括前锋、中锋、后卫,等等;比如,在虚拟的电子游戏竞技比赛中,玩家角色可以包括战士、法师、射手,等等。
当观众观看该比赛视频时,可以以多种方式发布对该视频的评论,比如,观众可以以弹幕(danmaku,一种播放网络视频时该网络视频上弹出的评论性字幕)、评论区评论、点赞、收藏、转发等方式来发布对该视频的评论,故观众针对比赛视频的评论信息可以包括点赞、收藏、转发等信息,也可以是以文字、数字、字符等表现的弹幕和评论区评论等信息。
获取比赛视频以及观众针对比赛视频的评论信息的方法具有多种,比如,通过网络从视频数据库中获取比赛视频,以及从用户数据库中获取观众针对比赛视频的评论信息;再比如,在本地内存中读取比赛视频,并通过网络从客户端获取观众针对比赛视频的评论信息,等等。
102、基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数。
相比于比赛视频的视频画面,观众的评论信息有时可以更精准地反映比赛视频中画面难以描述的精彩内容,例如,在电子游戏竞技的比赛视频中,当观众弹幕中出现了大量的“66666”等网络用语时,可能是由于比赛视频中出现了玩家的精彩操作镜头,当观众弹幕中出现了大量的“233”等网络用语时,可能是由于比赛视频中出现了搞笑镜头等。
由于评论信息的特性,评论信息可以用以捕捉观众主观产生的情绪,因此将评论信息作为观众反馈的信息,可以计算观众针对此刻比赛视频的观众情感指数,观众情感指数可以作为衡量比赛视频中是否出现精彩片段的一个因子。
在步骤102中,可以采用自然语言处理技术来基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数。
比如,可以采用自然语言处理技术基于情感词典的方法来进行观众情感分析,也可以采用基于深度学习的方法来进行观众情感分析,等等。
例如,在一些实施例中,采用基于情感词典的方法来基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数的步骤如下:
a.对评论语句进行分词处理,得到评论语句分词;
b.确定评论语句分词在预设词典中所处的情感位置;
c.根据情感位置确定评论语句分词的情感状态;
d.对评论语句中评论语句分词的情感状态进行统计,得到评论语句的情感状态;
e.根据评论语句的情感状态确定观众针对比赛视频的观众情感指数。
其中,分词处理是将连续的字序列,即评论语句,按照一定的规范拆分、重新组合成词序列的过程。
其中,预设词典是特定领域的比赛视频下观众评论的词典,比如,在游戏比赛直播领域,游戏比赛直播词典可以作为预设词典,该游戏比赛直播词典中可以包括大量的网络词汇、重复性单字组成的词汇、字符组成的表情等词语,例如,66666、23333、???、77777、nb,等等。
预设词典中的每个字词都与该字词的情感位置相映射。比如,在游戏比赛直播词典中,词语“66666”的情感位置为[10,22],表示该词语位于“操作厉害”的情感状态范围内;词语“7777”的情感位置为[-2,11],表示该词语位于“搞笑”的情感状态范围内,等等。
预设词典可以由技术人员整理导入,也可以从字典数据库中获取,等等,在此对其来源不作约束。
情感状态可以包括多种,比如惊讶状态、搞笑状态、愤怒状态、无奈状态,等等。
在一些实施例中,在步骤“根据情感位置确定评论语句分词的情感状态”之后、还可以对评论语句分词中的程度副词、否定词等进行处理。
其中,程度副词是对其修饰词的程度属性项进行改变;否定词可以使整个句子的情感倾向发生较大的变化。
由此,可以对程度副词、否定词等设置一个检测窗口,若在检测窗口内发现程度副词、否定词等,则可以确定程度副词、否定词等对情感倾向的影响系数,最终通过影响系数来对评论语句中评论语句分词的情感状态进行统计,得到评论语句的情感状态。
在一些实施例中,某些特定字词对情感状态的影响较大,故在步骤“对评论语句中评论语句分词的情感状态进行统计,得到评论语句的情感状态”时,可以对某些特定的评论语句分词的情感状态进行加权,最后将评论语句中所有的评论语句分词的情感状态求和,得到评论语句的情感状态。
最后,根据每一条评论语句的情感状态进行求和,可以计算得到观众针对比赛视频的观众情感指数,该观众情感指数为一个数值,用以表现观众对比赛视频中某一时刻视频画面的情感。
例如,参考图1c,图1c是观众观看某一比赛视频时观众情感指数的变化图,该比赛视频在13:40开始播放,23:20为最新的播放时间,根据步骤102可以得到观众在13:40~23:20时间段内观看该比赛视频时的观众情感指数。
103、基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数。
在具有对抗性内容的比赛视频中,玩家角色之间可以进行对抗性的玩家互动,比如,在真实的篮球比赛视频中,玩家角色之间可以进行传球、拦截等玩家互动;在虚拟的电子游戏竞技比赛视频中,玩家角色之间可以进行击杀、埋伏等玩家互动。
由于玩家角色之间距离越近,越有可能发生上述的玩家互动,故可以对比赛视频的视频画面进行比赛互动分析,在视频画面中确定玩家角色的位置、阵营等信息,来计算玩家角色之间的玩家互动指数,玩家互动指数可以作为衡量比赛视频中是否出现精彩片段的一个因子。
在步骤103中,可以采用计算机视觉技术来基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数,也可以采用普通的图像处理技术来基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数。
比如,在一些实施例中,采用普通的图像处理技术来基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数的步骤如下:
(1)对比赛视频进行标识物识别,识别出比赛视频中的玩家角色对应的玩家标识物,并确定玩家标识物对应的位置信息;
(2)根据玩家标识物确定玩家角色所属的角色阵营类型;
(3)基于位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
(4)根据敌对距离确定比赛视频中玩家角色之间的玩家互动指数。
其中,玩家标识物是指该比赛视频中玩家角色特有的标识物,比如,篮球比赛视频中选手的篮球队服、电子游戏比赛视频中游戏玩家角色头顶的血条、射击类游戏比赛视频中游戏玩家角色的角色轮廓,等等。
特别地,在电子游戏领域,游戏画面中常常会被构造出一些引导玩家注意力的视觉元素,而这些视觉元素往往是固定形状、颜色、以及风格的。
比如,参考图1d,图1d是电子游戏比赛视频中以游戏玩家角色头顶的血条为玩家标识物的玩家标识物示意图,在游戏中,玩家所控制的玩家角色的头顶上往往会存在一个固定形状的血条,在游戏中所有玩家角色的血条的外观轮廓固定且相同,故可以将血条作为玩家标识物来匹配图像中玩家角色的血条,从而确定玩家角色所在的位置。
需要注意的是,在一些实施例中,在玩家角色的血条中可以包括多种游戏内容信息,比如,血量、颜色、冷却时间、增益状态等,且这些内容可以不断变化,故因仅只取如图1d所示的血条前部的图像作为预设的玩家标识物,从而保证只在游戏画面中检测血条前部的特征,忽略血条中其他游戏内容信息的干扰。
其中,可以根据玩家标识物来确定玩家角色所属的角色阵营类型,比如,在篮球比赛中,可以根据选手的篮球队服的颜色判断该选手属于哪一支球队;比如,在电子游戏比赛中,可以根据玩家角色的血条颜色来判断该玩家角色是属于友方阵营还是敌方阵营,等等。
在一些实施例中,可以采用采用跨平台计算机视觉库中的模板匹配函数来进行步骤“对比赛视频进行标识物识别,识别出比赛视频中的玩家角色对应的玩家标识物,并确定玩家标识物对应的位置信息”,比如,包括如下步骤:
a.在比赛视频的视频画面中确定待对比区域,待对比区域是由预设玩家标识物图像在比赛视频的视频画面上滑动所得到的;
b.根据待对比区域和预设玩家标识物图像进行相似度计算,得到预设玩家标识物图像和待对比区域之间的图像相似度;
c.根据图像相似度在比赛视频的视频画面中确定玩家标识物;
d.确定玩家标识物在比赛视频的视频画面中所在的位置,得到玩家标识物对应的位置信息。
比如,可以可以采用OpenCV的模板匹配函数matchTemplate的标准相关匹配(TM_CCOEFF_NORMED)模式进行匹配,从而进行步骤“对比赛视频进行标识物识别,识别出比赛视频中的玩家角色对应的玩家标识物,并确定玩家标识物对应的位置信息”。
在一些实施例中,步骤“根据玩家标识物确定玩家角色所属的角色阵营类型”可以包括如下步骤:
a.对玩家标识物进行颜色分析,确定玩家标识物的颜色信息;
b.根据颜色信息,确定玩家标识物所对应的玩家角色所属的角色阵营类型。
其中,颜色信息包括颜色平均值信息、颜色特征值、颜色明暗度信息,颜色分布信息,等等。
比如,在电子游戏比赛视频中,友方阵营的玩家角色的血条颜色为蓝色,敌方阵营的玩家角色的血条颜色为红色,故可以对玩家标识物的颜色进行平均化处理,得到颜色平均值,从而根据颜色平均值确定玩家标识物所对应的玩家角色所属的角色阵营类型。
在一些实施例中,由于画面中玩家站位越密集,则该画面为精彩片段的画面的可能性越高,故可以根据比赛视频中玩家角色的密度来确定比赛视频中玩家角色之间的玩家互动指数,步骤“根据敌对距离确定比赛视频中玩家角色之间的玩家互动指数”可以包括如下步骤:
a.当敌对距离小于预设敌对距离阈值时,确定比赛视频的视频画面尺寸;
b.根据敌对距离和视频画面尺寸计算比赛视频中玩家角色之间敌对玩家密度;
c.根据敌对玩家密度确定比赛视频中玩家角色之间的玩家互动指数。
比如,以游戏中只有红色、蓝色两种阵营为例,Lred表示红色阵营的所有血条位置,Lblue表示蓝色阵营的所有血条位置,当不同阵营的血条位置小于预设敌对距离阈值T时,可以通过敌对距离计算玩家角色之间敌对玩家密度D,从而确定比赛视频中玩家角色之间的玩家互动指数I,具体公式如下:
其中w、h代表比赛视频的视频画面的宽度和高度,d代表Lred和Lblue之间的欧式距离,即敌对距离。
参考图1e,图1e是某一比赛视频画面中玩家互动指数随时间变化的示意图,该比赛视频在13:40开始播放,23:20为最新的播放时间,根据步骤103可以得到比赛视频的画面在13:40~23:20时间段内的玩家互动指数。
在一些实施例中,采用计算机视觉技术来基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数的步骤如下:
(1)采用图像识别模型对比赛视频进行玩家角色识别,得到比赛视频中玩家角色的位置信息,以及玩家角色所属的角色阵营类型;
(2)基于位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
(3)根据敌对距离确定比赛视频中玩家角色之间的玩家互动指数。
其中,图像识别模型可以为任意一种基于人工神经网络的图像识别模型,例如,AlexNet、VGG、ResNet、Inception、DenseNet等人工神经网络模型。
在一些实施例中,步骤“采用图像识别模型对比赛视频进行玩家角色识别,得到比赛视频中玩家角色的位置信息,以及玩家角色所属的角色阵营类型”可以包括如下步骤:
a.获取训练图像,训练图像可以包括标注了位置信息和角色阵营类型的玩家角色;
b.采用训练图像对预设模型进行模型训练,直至预设模型收敛,得到图像识别模型;
c.采用图像识别模型提取比赛视频的图像特征,并根据图像特征确定比赛视频中图像像素的像素类型;
d.根据比赛视频中图像像素的像素类型在比赛视频中确定玩家角色,并确定玩家角色的位置信息,以及玩家角色所属的角色阵营类型。
其中,获取训练图像的方法具有多种,比如,可以由技术人员从以往的比赛视频中截取训练图像,并标注训练图像中玩家角色所在的位置,以及玩家角色所属的角色阵营类型。
104、根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段。
当比赛视频中出现精彩画面时,视频画面中相互敌对的玩家角色之间往往距离较近、观众的评论信息中常常会表现出惊讶、搞笑、赞叹等积极情感。
故玩家互动指数和观众情感指数可以用于评价该比赛视频中所出现的画面是否精彩。
在一些实施例中,考虑到敌对的玩家角色之间的距离以及观众的评论信息作为评判标准,其影响力不同,故步骤104可以包括如下步骤:
(1)对观众情感指数和玩家互动指数进行加权求和,计算得到精彩度;
(2)根据精彩度在比赛视频中截取精彩片段。
比如,精彩度S的计算公式如下:
S=I+WE
其中,S代表精彩度,I代表玩家互动指数,E代表观众情感指数,W代表情感分数权重,W可以由技术人员设置。
参考图1c、图1e,其中,图1c是观众情感指数随时间的变化示意图,图1e是玩家互动指数随时间的变化示意图,故根据图1c和图1e以及精彩度S的计算公式,可以计算出精彩度随时间的变化示意图。
参考图1f,图1f是比赛视频画面中精彩度随时间变化的示意图,该比赛视频在13:40开始播放,23:20为最新的播放时间,根据步骤104可以得到比赛视频的画面在13:40~23:20时间段内的精彩度。
在一些实施例中,步骤“比赛视频可以包括多个视频片段,根据精彩度在比赛视频中截取精彩片段”可以包括如下步骤:
a.将比赛视频中精彩度高于预设精彩度阈值的视频片段确定为待截取片段;
b.根据待截取片段对应的玩家互动指数进行指数变化趋势分析,得到待截取片段的玩家互动指数变化趋势;
c.根据待截取片段的玩家互动指数变化趋势,在待截取片段中确定精彩片段。
比如,参考图1f,取图1f中精彩度大于阈值500的片段,可以确定21:20左右为待截取片段,并根据待截取片段的玩家互动指数变化趋势(比如,玩家互动指数骤升表示精彩画面开始,玩家互动指数降升表示精彩画面结束)在待截取片段中确定精彩片段。
105、向客户端发送精彩片段,以便目标终端播放精彩片段。
本方案中,可以在截取精彩片段之后直接向客户端发送精彩片段,以便目标终端播放精彩片段,也可以在向客户端发送精彩片段之前,降该精彩片段的相关信息发送给客户端,以便于客户决定是否观看精彩片段,从而减少流量的消耗。
在一些实施例中,步骤105可以包括如下步骤:
根据精彩片段生成精彩片段信息;
向客户端发送精彩片段信息,以便客户端在视播放页面中播放比赛视频时显示回放提示区域,回放提示区域可以包括精彩片段信息;
当接收到客户端发送的回放请求时,向客户端发送精彩片段信息对应的精彩片段,以便客户端在视播放页面播放精彩片段。
其中,精彩片段信息可以以文字、图像、音频、短视频等形式表现,比如,精彩片段信息可以是精彩片段的第一帧图像,精彩片段信息也可以是精彩片段信息的音频,等等。
由上可知,本发明实施例可以获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色;基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;向客户端发送精彩片段,以便目标终端播放精彩片段。
本方案可以自动地分析出视频画面中玩家角色之间的互动,以及分析出观众的评论信息中的情感,从而结合玩家互动和观众情感来准确地判断比赛视频中是否出现了精彩画面,本方案可以将精彩的画面片段截取出来,发送给客户端,以便客户端播放该精彩片段。由此,本方案提升了视频处理的效率。
本发明实施例提供一种适用于客户端的视频处理方法、装置、电子设备和存储介质。
其中,该视频处理装置具体可以集成在电子设备中,该电子设备可以为终端。其中,该终端可以为智能手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备。
例如,参考图2a,该电子设备可以是智能手机,该智能手机可以获取比赛视频;显示视频播放页面,并在视频播放页面播放比赛视频;当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
以下分别进行详细说明。需说明的是,以下实施例的序号不作为对实施例优选顺序的限定。如图2b所示,该视频处理方法的具体流程可以如下:
201、获取比赛视频。
获取比赛视频的方法具有多种,比如,通过网络从视频数据库中获取比赛视频;比如,在本地内存中读取比赛视频,等等。
202、显示视频播放页面,并在视频播放页面播放比赛视频。
参考图2a,视频播放页面内可以播放比赛视频,该视频播放页面还可以包括暂停控件、进度条控件、弹幕开关控件,等等,以便于用户点击这些控件实现对比赛视频的暂停、跳转播放、弹幕显示等等功能。
203、当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息。
参考图2a,视频播放页面中可以包括显示回放提示区域,该显示回放提示区域中可以显示精彩片段信息。
204、当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求。
用户针对回放提示区域的回放操作可以包括用户针对回放提示区域的点击、触摸、滑动等操作,当当检测到用户针对回放提示区域的回放操作时,可以向服务端发送回放请求。
当服务端接收到回放请求时,服务端可以将精彩片段发送给该客户端。
205、当接收到服务端发送的精彩片段时,在视频播放页面播放精彩片段。
比如,参考图2a,当接收到服务端发送的精彩片段时,可以停止显示回放提示区域,并停止在视频播放页面播放比赛视频,视频播放页面可以开始播放精彩片段。
在一些实施例中,为了实现用户对精彩片段进行播放、暂停,从而提高用户体验,视播放页面可以包括播放控件和暂停控件,在步骤205可以包括如下步骤:
当接收到服务端发送的精彩片段时,在视播放页面显示播放控件;
当检测到用户针对播放控件的播放操作时,播放播放精彩片段;
当检测到用户针对暂停控件的暂停操作时,暂停播放播放精彩片段。
在一些实施例中,为了实现用户对精彩片段进行慢放、快放等操作,从而提高用户体验,视频播放页面可以包括速度控制控件,在步骤205可以包括如下步骤:
当检测到用户针对速度控制控件的慢放操作时,对精彩片段进行时间延长处理,得到慢放后的精彩片段,并在视频播放页面播放该慢放后的精彩片段;
当检测到用户针对速度控制控件的快放操作时,对精彩片段进行时间缩短处理,得到快放后的精彩片段,并在视频播放页面播放该快放后的精彩片段。
在一些实施例中,为了实现用户对精彩片段进行分享等操作,从而提高用户体验,视频播放页面可以包括分享控件,在步骤205可以包括如下步骤:
当检测到用户针对分享控件的分享操作时,根据该分享操作分享该精彩片段。
由上可知,本发明实施例可以获取比赛视频;显示视频播放页面,并在视频播放页面播放比赛视频;当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
在本发明实施例中,可以在播放比赛视频的同时自动、准确地获取该比赛视频的精彩片段。由此,本方案提升了视频处理的效率。
根据上述实施例所描述的方法,以下将作进一步详细说明。
在本实施例中,将以电子游戏竞技直播为例,对本发明实施例的方法进行详细说明。
如图3a所示,一种视频处理***中包括客户端和服务端,该视频处理***的处理流程如下:
301、客户端获取比赛视频,并显示视频播放页面,在该视频播放页面播放比赛视频。
客户端可以通过网络从视频数据库中获取游戏比赛直播视频,并显示视频播放页面,在视频播放页面播放该游戏比赛直播视频。
302、客户端也获取比赛视频,以及获取观众针对该比赛视频的评论信息,其中,比赛视频的视频画面中包括玩家角色。
客户端也可以获取游戏比赛直播视频,以及获取观众针对该比赛视频的弹幕,游戏比赛直播视频的视频画面中可以包括游戏玩家操控的玩家虚拟角色。
比如,弹幕举例如下:
21:21:28,哈哈哈哈哈哈哈哈哈哈
21:21:28,66666
21:21:28,???????????????
21:21:28,哈哈哈
21:21:28,哈哈哈哈哈哈哈哈哈哈
21:21:28,????????
21:21:28,????????????
21:21:29,?????
21:21:29,???????????????
21:21:29,??????
303、服务端基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数。
服务端可以对这些弹幕进行观众情感分析,得到观众针对比赛视频的观众情感指数。
304、服务端基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数。
在本实施例中,可以使用OpenCV的模板匹配函数matchTemplate的标准相关匹配(TM_CCOEFF_NORMED)模式进行血条匹配,步骤如下:
首先需将比赛视频的视频画面需转换为灰度图像,图3b为比赛视频的视频画面的灰度图像,其中,图中白框框住的部分为视频画面中玩家虚拟角色以及血条所在的位置。
然后,使用OpenCV的模板匹配函数matchTemplate的标准相关匹配(TM_CCOEFF_NORMED)模式进行血条匹配,生成匹配程度图像,比如,参考图3c,匹配程度图像中的各像素值代表血条在该点与原图像的匹配程度。
然后,对匹配程度图像进行阈值处理,只取大于预设匹配阈值的匹配点作为玩家角色的位置点,比如,本文以0.5为阈值,经过阈值处理后的处理图像如图3d所示,图中小白点为玩家角色的位置点,白框框住的部分为原图中玩家虚拟角色以及血条所在的位置。
在一些实施例中,由于阈值化后每个血条所在的位置可能存在多个位置点,故还需将位置接近的位置点进行合并处理,在每个区域中取其中一个点作为玩家虚拟角色所在的位置点。
最后,根据血条颜色确定玩家虚拟角色所属的游戏阵营。
305、服务端根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段,并根据精彩片段生成精彩片段信息。
306、服务端向客户端发送精彩片段信息。
307、当客户端从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,该回放提示区域包括精彩片段信息。
308、当客户端检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求。
309、当服务端接收到客户端发送的回放请求时,向客户端发送精彩片段信息对应的精彩片段。
310、当客户端接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
由上可知,在本发明实施例中,客户端获取比赛视频,并显示视频播放页面,在该视频播放页面播放比赛视频;客户端也获取比赛视频,以及获取观众针对该比赛视频的评论信息,其中,比赛视频的视频画面中包括玩家角色;服务端基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;服务端基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;服务端根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段,并根据精彩片段生成精彩片段信息;服务端向客户端发送精彩片段信息;当客户端从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,该回放提示区域包括精彩片段信息;当客户端检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;当服务端接收到客户端发送的回放请求时,向客户端发送精彩片段信息对应的精彩片段;当客户端接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
本发明针对游戏比赛直播可以自动、准确地在直播画面中确定玩家虚拟人物所在的位置以及所处的阵营,从而准确地判断当前的直播画面中玩家之间是否正在战斗,此外,本发明还可以根据弹幕分析观众的情感,判断当前的直播画面中观众是否处于积极的情感状态;当玩家之间爆发战斗、观众处于积极的情感状态时,则可以确定当前的直播画面是精彩画面,因此,本方案可以自动、准确地截取处比赛直播中的精彩片段,使用户观看直播的同时,在视频播放页面提示用户回放该精彩片段,用户可以自主选择回放或者不回放。由此,本发明实施例可以在保证用户体验的同时提高视频处理的效率。
为了更好地实施以上方法,本发明实施例还提供一种视频处理装置,适用于服务端,该视频处理装置具体可以集成在电子设备中,该电子设备可以为服务器。其中,服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
比如,在本实施例中,将以视频处理装置具体集成在服务器中为例,对本发明实施例的方法进行详细说明。
例如,如图4所示,该视频处理装置可以包括获取单元401、情感单元402、互动单元403、截取单元404以及发送单元405,如下:
(一)获取单元401。
获取单元401,可以用于获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色。
(二)情感单元402。
情感单元402,可以用于基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数。
在一些实施例中,评论信息可以包括多个评论语句,情感单元402,可以用于:
对评论语句进行分词处理,得到评论语句分词;
确定评论语句分词在预设词典中所处的情感位置;
根据情感位置确定评论语句分词的情感状态;
对评论语句中评论语句分词的情感状态进行统计,得到评论语句的情感状态;
根据评论语句的情感状态确定观众针对比赛视频的观众情感指数。
(三)互动单元403。
互动单元403,可以用于基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,互动单元403,可以包括:
标识物子单元,可以用于对比赛视频进行标识物识别,识别出比赛视频中的玩家角色对应的玩家标识物,并确定玩家标识物对应的位置信息;
阵营子单元,可以用于根据玩家标识物确定玩家角色所属的角色阵营类型;
敌对距离子单元,可以用于基于位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
互动指数子单元,可以用于根据敌对距离确定比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,标识物子单元,可以用于:
在比赛视频的视频画面中确定待对比区域,待对比区域是由预设玩家标识物图像在比赛视频的视频画面上滑动所得到的;
根据待对比区域和预设玩家标识物图像进行相似度计算,得到预设玩家标识物图像和待对比区域之间的图像相似度;
根据图像相似度在比赛视频的视频画面中确定玩家标识物;
确定玩家标识物在比赛视频的视频画面中所在的位置,得到玩家标识物对应的位置信息。
在一些实施例中,阵营子单元,可以用于:
对玩家标识物进行颜色分析,确定玩家标识物的颜色信息;
根据颜色信息,确定玩家标识物所对应的玩家角色所属的角色阵营类型。
在一些实施例中,互动指数子单元,可以用于:
当敌对距离小于预设敌对距离阈值时,确定比赛视频的视频画面尺寸;
根据敌对距离和视频画面尺寸计算比赛视频中玩家角色之间敌对玩家密度;
根据敌对玩家密度确定比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,互动单元403,可以包括:
玩家识别子单元,可以用于采用图像识别模型对比赛视频进行玩家角色识别,得到比赛视频中玩家角色的位置信息,以及玩家角色所属的角色阵营类型;
敌对距离子单元,可以用于基于位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
互动指数子单元,可以用于根据敌对距离确定比赛视频中玩家角色之间的玩家互动指数。
在一些实施例中,玩家识别子单元,可以用于:
获取训练图像,训练图像可以包括标注了位置信息和角色阵营类型的玩家角色;
采用训练图像对预设模型进行模型训练,直至预设模型收敛,得到图像识别模型;
采用图像识别模型提取比赛视频的图像特征,并根据图像特征确定比赛视频中图像像素的像素类型;
根据比赛视频中图像像素的像素类型在比赛视频中确定玩家角色,并确定玩家角色的位置信息,以及玩家角色所属的角色阵营类型。
(四)截取单元404。
截取单元404,可以用于根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段。
在一些实施例中,截取单元404,可以包括:
精彩度子单元,可以用于对观众情感指数和玩家互动指数进行加权求和,计算得到精彩度;
截取子单元,可以用于根据精彩度在比赛视频中截取精彩片段。
在一些实施例中,比赛视频可以包括多个视频片段,截取子单元,可以用于:
将比赛视频中精彩度高于预设精彩度阈值的视频片段确定为待截取片段;
根据待截取片段对应的玩家互动指数进行指数变化趋势分析,得到待截取片段的玩家互动指数变化趋势;
根据待截取片段的玩家互动指数变化趋势,在待截取片段中确定精彩片段。
(五)发送单元405。
发送单元405,可以用于向客户端发送精彩片段,以便目标终端播放精彩片段。
在一些实施例中,发送单元405,可以用于:
根据精彩片段生成精彩片段信息;
向客户端发送精彩片段信息,以便客户端在视播放页面中播放比赛视频时显示回放提示区域,回放提示区域可以包括精彩片段信息;
当接收到客户端发送的回放请求时,向客户端发送精彩片段信息对应的精彩片段,以便客户端在视播放页面播放精彩片段。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的视频处理装置由获取单元获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色;由情感单元基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;由互动单元基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;由截取单元根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;由发送单元向客户端发送精彩片段,以便目标终端播放精彩片段。
由此,本发明实施例可以提升视频处理的效率。
为了更好地实施以上方法,本发明实施例还提供一种视频处理装置,适用于客户端,该视频处理装置具体可以集成在电子设备中,该电子设备可以为终端。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑等设备
比如,在本实施例中,将以视频处理装置具体集成在智能手机中为例,对本发明实施例的方法进行详细说明。
例如,如图5所示,该视频处理装置可以包括视频获取单元501、显示单元502、回放单元503、检测单元504以及播放单元505,如下:
(一)视频获取单元501。
视频获取单元501可以用于获取比赛视频。
(二)显示单元502。
显示单元502可以用于显示视频播放页面,并在视频播放页面播放比赛视频。
(三)回放单元503。
回放单元503可以用于当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息。
(四)检测单元504。
检测单元504可以用于当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求。
(五)播放单元505。
播放单元505可以用于当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
在一些实施例中,为了实现用户对精彩片段进行播放、暂停,从而提高用户体验,视播放页面包括播放控件和暂停控件,播放单元505可以用于:
当接收到服务端发送的精彩片段时,在视播放页面显示播放控件;
当检测到用户针对播放控件的播放操作时,播放播放精彩片段;
当检测到用户针对暂停控件的暂停操作时,暂停播放播放精彩片段。
在一些实施例中,为了实现用户对精彩片段进行慢放、快放等操作,从而提高用户体验,视频播放页面可以包括速度控制控件,播放单元505可以用于:
当检测到用户针对速度控制控件的慢放操作时,对精彩片段进行时间延长处理,得到慢放后的精彩片段,并在视频播放页面播放该慢放后的精彩片段;
当检测到用户针对速度控制控件的快放操作时,对精彩片段进行时间缩短处理,得到快放后的精彩片段,并在视频播放页面播放该快放后的精彩片段。
在一些实施例中,为了实现用户对精彩片段进行分享等操作,从而提高用户体验,视频播放页面可以包括分享控件,播放单元505可以用于:
当检测到用户针对分享控件的分享操作时,根据该分享操作分享该精彩片段。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
由上可知,本实施例的视频处理装置由视频获取单元获取比赛视频;由显示单元显示视频播放页面,并在视频播放页面播放比赛视频;当从服务端接收到精彩片段信息时,由回放单元在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;当检测到用户针对回放提示区域的回放操作时,由检测单元向服务端发送回放请求;当接收到服务端发送的精彩片段时,由播放单元在视播放页面播放精彩片段。
由此,本发明实施例可以提升视频处理的效率。
本发明实施例还提供一种电子设备,该电子设备可以为终端、服务器等设备。其中,终端可以为手机、平板电脑、智能蓝牙设备、笔记本电脑、个人电脑,等等;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群,等等。
在一些实施例中,该视频处理装置还可以集成在多个电子设备中,比如,视频处理装置可以集成在多个服务器中,由多个服务器来实现本发明的视频处理方法。
在本实施例中,将以本实施例的电子设备是电子设备为例进行详细描述,比如,如图6所示,其示出了本发明实施例所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603、输入模块604以及通信模块605等部件。本领域技术人员可以理解,图6中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器601是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器602内的软件程序和/或模块,以及调用存储在存储器602内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。在一些实施例中,处理器601可包括一个或多个处理核心;在一些实施例中,处理器601可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作***、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器601中。
存储器602可用于存储软件程序以及模块,处理器601通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器601对存储器602的访问。
电子设备还包括给各个部件供电的电源603,在一些实施例中,电源603可以通过电源管理***与处理器601逻辑相连,从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入模块604,该输入模块604可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
该电子设备还可包括通信模块605,在一些实施例中通信模块605可以包括无线模块,电子设备可以通过该通信模块605的无线模块进行短距离无线传输,从而为用户提供了无线的宽带互联网访问。比如,该通信模块605可以用于帮助用户收发电子邮件、浏览网页和访问流式媒体等。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。
在一些实施例中,电子设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色;
基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;
基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;
根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;
向客户端发送精彩片段,以便目标终端播放精彩片段。
在一些实施例中,电子设备中的处理器601会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器601来运行存储在存储器602中的应用程序,从而实现各种功能,如下:
获取比赛视频
显示视频播放页面,并在视频播放页面播放比赛视频;
当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;
当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;
当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
由上可知,本方案提升了视频处理的效率。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种视频处理方法中的步骤。
例如,在一些实施例中,该指令可以执行如下步骤:
获取比赛视频以及观众针对比赛视频的评论信息,比赛视频的视频画面中可以包括玩家角色;
基于评论信息进行观众情感分析,得到观众针对比赛视频的观众情感指数;
基于比赛视频进行比赛互动分析,得到比赛视频中玩家角色之间的玩家互动指数;
根据观众情感指数和玩家互动指数在比赛视频中截取精彩片段;
向客户端发送精彩片段,以便目标终端播放精彩片段。
例如,在一些实施例中,该指令可以执行如下步骤:
获取比赛视频
显示视频播放页面,并在视频播放页面播放比赛视频;
当从服务端接收到精彩片段信息时,在视频播放页面中显示回放提示区域,回放提示区域可以包括精彩片段信息;
当检测到用户针对回放提示区域的回放操作时,向服务端发送回放请求;
当接收到服务端发送的精彩片段时,在视播放页面播放精彩片段。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种视频处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种视频处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种视频处理方法、装置、电子设备和计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (14)
1.一种视频处理方法,其特征在于,包括:
获取比赛视频以及观众针对所述比赛视频的评论信息,所述比赛视频的视频画面中包括玩家角色;
基于所述评论信息进行观众情感分析,得到所述观众针对所述比赛视频的观众情感指数;
基于所述比赛视频进行比赛互动分析,得到所述比赛视频中玩家角色之间的玩家互动指数;
根据所述观众情感指数和所述玩家互动指数在所述比赛视频中截取精彩片段;
向客户端发送所述精彩片段,以便目标终端播放所述精彩片段;
所述基于所述比赛视频进行比赛互动分析,得到所述比赛视频中玩家角色之间的玩家互动指数,包括:
对所述比赛视频进行标识物识别,识别出所述比赛视频中的玩家角色对应的玩家标识物,并确定所述玩家标识物对应的位置信息;
根据所述玩家标识物确定所述玩家角色所属的角色阵营类型;
基于所述位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数。
2.如权利要求1所述的视频处理方法,其特征在于,所述对所述比赛视频进行标识物识别,识别出所述比赛视频中的玩家角色对应的玩家标识物,并确定所述玩家标识物对应的位置信息,包括:
在所述比赛视频的视频画面中确定待对比区域,所述待对比区域是由预设玩家标识物图像在所述比赛视频的视频画面上滑动所得到的;
根据所述待对比区域和所述预设玩家标识物图像进行相似度计算,得到所述预设玩家标识物图像和所述待对比区域之间的图像相似度;
根据所述图像相似度在所述比赛视频的视频画面中确定玩家标识物;
确定所述玩家标识物在所述比赛视频的视频画面中所在的位置,得到所述玩家标识物对应的位置信息。
3.如权利要求1所述的视频处理方法,其特征在于,所述根据所述玩家标识物确定所述玩家角色所属的角色阵营类型,包括:
对所述玩家标识物进行颜色分析,确定所述玩家标识物的颜色信息;
根据所述颜色信息,确定所述玩家标识物所对应的玩家角色所属的角色阵营类型。
4.如权利要求1所述的视频处理方法,其特征在于,所述根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数,包括:
当所述敌对距离小于预设敌对距离阈值时,确定所述比赛视频的视频画面尺寸;
根据所述敌对距离和所述视频画面尺寸计算所述比赛视频中玩家角色之间敌对玩家密度;
根据所述敌对玩家密度确定所述比赛视频中玩家角色之间的玩家互动指数。
5.如权利要求1所述的视频处理方法,其特征在于,所述基于所述比赛视频进行比赛互动分析,得到所述比赛视频中玩家角色之间的玩家互动指数,包括:
采用图像识别模型对所述比赛视频进行玩家角色识别,得到所述比赛视频中玩家角色的位置信息,以及所述玩家角色所属的角色阵营类型;
基于所述位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数。
6.如权利要求5所述的视频处理方法,其特征在于,所述采用图像识别模型对所述比赛视频进行玩家角色识别,得到所述比赛视频中玩家角色的位置信息,以及所述玩家角色所属的角色阵营类型,包括:
获取训练图像,所述训练图像包括标注了位置信息和角色阵营类型的玩家角色;
采用所述训练图像对预设模型进行模型训练,直至所述预设模型收敛,得到图像识别模型;
采用所述图像识别模型提取所述比赛视频的图像特征,并根据所述图像特征确定所述比赛视频中图像像素的像素类型;
根据所述比赛视频中图像像素的像素类型在所述比赛视频中确定玩家角色,并确定所述玩家角色的位置信息,以及所述玩家角色所属的角色阵营类型。
7.如权利要求1所述的视频处理方法,其特征在于,所述根据所述观众情感指数和所述玩家互动指数在所述比赛视频中截取精彩片段,包括:
对所述观众情感指数和所述玩家互动指数进行加权求和,计算得到精彩度;
根据所述精彩度在所述比赛视频中截取精彩片段。
8.如权利要求7所述的视频处理方法,其特征在于,所述比赛视频包括多个视频片段,根据所述精彩度在所述比赛视频中截取精彩片段,包括:
将所述比赛视频中精彩度高于预设精彩度阈值的视频片段确定为待截取片段;
根据所述待截取片段对应的玩家互动指数进行指数变化趋势分析,得到所述待截取片段的玩家互动指数变化趋势;
根据所述待截取片段的玩家互动指数变化趋势,在所述待截取片段中确定精彩片段。
9.如权利要求1所述的视频处理方法,其特征在于,所述评论信息包括多个评论语句,基于所述评论信息进行观众情感分析,得到所述观众针对所述比赛视频的观众情感指数,包括:
对所述评论语句进行分词处理,得到评论语句分词;
确定所述评论语句分词在预设词典中所处的情感位置;
根据所述情感位置确定所述评论语句分词的情感状态;
对所述评论语句中评论语句分词的情感状态进行统计,得到所述评论语句的情感状态;
根据所述评论语句的情感状态确定所述观众针对所述比赛视频的观众情感指数。
10.如权利要求1所述的视频处理方法,其特征在于,所述向客户端发送所述精彩片段,以便所述目标终端播放所述精彩片段,包括:
根据所述精彩片段生成精彩片段信息;
向客户端发送所述精彩片段信息,以便所述客户端在视播放页面中播放所述比赛视频时显示回放提示区域,所述回放提示区域包括所述精彩片段信息;
当接收到客户端发送的回放请求时,向客户端发送所述精彩片段信息对应的精彩片段,以便所述客户端在所述视播放页面播放所述精彩片段。
11.一种视频处理方法,其特征在于,包括:
获取比赛视频;
显示视频播放页面,并在所述视频播放页面播放所述比赛视频;
当从服务端接收到精彩片段信息时,在所述视频播放页面中显示回放提示区域,所述回放提示区域包括所述精彩片段信息;
当检测到用户针对所述回放提示区域的回放操作时,向服务端发送回放请求;
当接收到服务端发送的精彩片段时,在所述视频播放页面播放所述精彩片段;
其中,所述精彩片段是由所述服务端基于如下步骤得到的:
获取所述比赛视频以及观众针对所述比赛视频的评论信息,所述比赛视频的视频画面中包括玩家角色;
基于所述评论信息进行观众情感分析,得到所述观众针对所述比赛视频的观众情感指数;
对所述比赛视频进行标识物识别,识别出所述比赛视频中的玩家角色对应的玩家标识物,并确定所述玩家标识物对应的位置信息;
根据所述玩家标识物确定所述玩家角色所属的角色阵营类型;
基于所述位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数;
根据所述观众情感指数和所述玩家互动指数在所述比赛视频中截取精彩片段;
向客户端发送所述精彩片段,以便目标终端播放所述精彩片段。
12.一种视频处理装置,其特征在于,包括:
获取单元,用于获取比赛视频以及观众针对所述比赛视频的评论信息,所述比赛视频的视频画面中包括玩家角色;
情感单元,用于基于所述评论信息进行观众情感分析,得到所述观众针对所述比赛视频的观众情感指数;
互动单元,用于基于所述比赛视频进行比赛互动分析,得到所述比赛视频中玩家角色之间的玩家互动指数;
截取单元,用于根据所述观众情感指数和所述玩家互动指数在所述比赛视频中截取精彩片段;
发送单元,用于向客户端发送所述精彩片段,以便目标终端播放所述精彩片段;
所述互动单元用于:
对所述比赛视频进行标识物识别,识别出所述比赛视频中的玩家角色对应的玩家标识物,并确定所述玩家标识物对应的位置信息;
根据所述玩家标识物确定所述玩家角色所属的角色阵营类型;
基于所述位置信息,计算属于不同角色阵营类型的玩家角色之间的敌对距离;
根据所述敌对距离确定所述比赛视频中玩家角色之间的玩家互动指数。
13.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行如权利要求1~11任一项所述的视频处理方法中的步骤。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1~11任一项所述的视频处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203456.3A CN113497946B (zh) | 2020-03-20 | 2020-03-20 | 视频处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010203456.3A CN113497946B (zh) | 2020-03-20 | 2020-03-20 | 视频处理方法、装置、电子设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113497946A CN113497946A (zh) | 2021-10-12 |
CN113497946B true CN113497946B (zh) | 2024-05-31 |
Family
ID=77994275
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010203456.3A Active CN113497946B (zh) | 2020-03-20 | 2020-03-20 | 视频处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113497946B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114339368B (zh) * | 2021-11-24 | 2023-04-14 | 腾讯科技(深圳)有限公司 | 赛事直播的显示方法、装置、设备及存储介质 |
CN114780180A (zh) * | 2021-12-21 | 2022-07-22 | 北京达佳互联信息技术有限公司 | 一种对象数据显示方法、装置、电子设备及存储介质 |
CN114339304A (zh) * | 2021-12-22 | 2022-04-12 | 中国电信股份有限公司 | 直播视频处理方法、装置和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8409000B1 (en) * | 2012-03-09 | 2013-04-02 | Hulu Llc | Configuring advertisements in a video segment based on a game result |
CN106303675A (zh) * | 2016-08-24 | 2017-01-04 | 北京奇艺世纪科技有限公司 | 一种视频片段提取方法和装置 |
CN106851327A (zh) * | 2016-12-31 | 2017-06-13 | 天脉聚源(北京)科技有限公司 | 回看互动的方法和装置 |
CN108295468A (zh) * | 2018-02-28 | 2018-07-20 | 网易(杭州)网络有限公司 | 游戏的信息处理方法、设备和存储介质 |
CN108537139A (zh) * | 2018-03-20 | 2018-09-14 | 校宝在线(杭州)科技股份有限公司 | 一种基于弹幕信息的在线视频精彩片段分析方法 |
CN108694236A (zh) * | 2018-05-11 | 2018-10-23 | 优视科技有限公司 | 视频数据处理方法、装置及电子设备 |
WO2019232094A1 (en) * | 2018-05-31 | 2019-12-05 | Sony Interactive Entertainment LLC | Challenge game system |
-
2020
- 2020-03-20 CN CN202010203456.3A patent/CN113497946B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8409000B1 (en) * | 2012-03-09 | 2013-04-02 | Hulu Llc | Configuring advertisements in a video segment based on a game result |
CN106303675A (zh) * | 2016-08-24 | 2017-01-04 | 北京奇艺世纪科技有限公司 | 一种视频片段提取方法和装置 |
CN106851327A (zh) * | 2016-12-31 | 2017-06-13 | 天脉聚源(北京)科技有限公司 | 回看互动的方法和装置 |
CN108295468A (zh) * | 2018-02-28 | 2018-07-20 | 网易(杭州)网络有限公司 | 游戏的信息处理方法、设备和存储介质 |
CN108537139A (zh) * | 2018-03-20 | 2018-09-14 | 校宝在线(杭州)科技股份有限公司 | 一种基于弹幕信息的在线视频精彩片段分析方法 |
CN108694236A (zh) * | 2018-05-11 | 2018-10-23 | 优视科技有限公司 | 视频数据处理方法、装置及电子设备 |
WO2019232094A1 (en) * | 2018-05-31 | 2019-12-05 | Sony Interactive Entertainment LLC | Challenge game system |
Also Published As
Publication number | Publication date |
---|---|
CN113497946A (zh) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | What comprises a good talking-head video generation?: A survey and benchmark | |
CN113497946B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
US20230012732A1 (en) | Video data processing method and apparatus, device, and medium | |
CN111491173B (zh) | 一种直播封面确定方法、装置、计算机设备及存储介质 | |
CN106462744B (zh) | 基于规则的视频重要性分析 | |
WO2022184117A1 (zh) | 基于深度学习的视频剪辑方法、相关设备及存储介质 | |
CN110557659B (zh) | 视频推荐方法、装置、服务器及存储介质 | |
CN111723784B (zh) | 一种风险视频识别方法、装置和电子设备 | |
CN109063662B (zh) | 数据处理方法、装置、设备及存储介质 | |
CN111405360B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
WO2009113054A1 (en) | Technological platform for gaming | |
CN111768478B (zh) | 一种图像合成方法、装置、存储介质和电子设备 | |
CN110677685B (zh) | 网络直播显示方法及装置 | |
CN112232258A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
CN113750543A (zh) | 一种根据游戏交流记录生成文本标签的方法 | |
CN112287848A (zh) | 基于直播的图像处理方法、装置、电子设备和存储介质 | |
CN113392690A (zh) | 视频语义标注方法、装置、设备及存储介质 | |
CN111491179B (zh) | 一种游戏视频剪辑方法和装置 | |
CN113573128B (zh) | 一种音频处理方法、装置、终端以及存储介质 | |
CN113610953A (zh) | 一种信息处理方法、装置及计算机可读存储介质 | |
CN111783587A (zh) | 一种互动方法、装置和存储介质 | |
KR102460595B1 (ko) | 게임 방송에서의 실시간 채팅 서비스 제공 방법 및 장치 | |
CN112131426B (zh) | 游戏教学视频推荐方法、装置、电子设备和存储介质 | |
CN110574066B (zh) | 服务器装置以及记录介质 | |
CN114697741A (zh) | 多媒体信息的播放控制方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |