CN114979682A - 多主播虚拟直播方法以及装置 - Google Patents
多主播虚拟直播方法以及装置 Download PDFInfo
- Publication number
- CN114979682A CN114979682A CN202210410909.9A CN202210410909A CN114979682A CN 114979682 A CN114979682 A CN 114979682A CN 202210410909 A CN202210410909 A CN 202210410909A CN 114979682 A CN114979682 A CN 114979682A
- Authority
- CN
- China
- Prior art keywords
- live
- text
- anchor
- broadcast
- played
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本说明书实施例提供多主播虚拟直播方法以及装置,其中多主播虚拟直播方法,应用于虚拟直播控制***,包括:获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;基于直播模式设置参数确定具有第一播报风格的第一主播及具有第二播报风格的第二主播;获取直播间的待播放文本,对待播放文本进行文本语义分析;确定为第一直播文本段落,确定为第二直播文本段落;获取第一主播及至少一个第二主播的三维渲染模型,驱动第一主播及至少一个第二主播在直播间交替播报待播放文本来进行直播。本申请还适用于虚拟现实场景,可利用上述方式生成的待播放文本,通过三维建模的方式对多个虚拟人物的进行渲染,以生成多个虚拟人模型来进行直播。
Description
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种多主播虚拟直播方法。
背景技术
利用虚拟形象进行直播,已经越来越成为直播业务的重要组成部分。在直播的过程中,可以使用预先设定的虚拟形象,如仿真人主播形象、卡通人物形象等代替真人主播的实际形象进行直播。在现有的虚拟直播技术中,虚拟形象直播通常是按照预先设计特定的虚拟场景以及虚拟人物形象,对预先写好的剧本进行播报,这仅仅只能实现单人虚拟直播,而缺乏多人直播的互动性;因此,对于多人合作直播或者团队直播的场景,难以推广虚拟人物直播的技术,限制了虚拟直播在多人直播的应用范围;同时,单人虚拟直播在形式和内容上也较为单一,无法进一步地提高虚拟直播间的创新性,以吸引观众观看虚拟人物直播。
发明内容
有鉴于此,本说明书实施例提供了一种多主播虚拟直播方法。本说明书一个或者多个实施例同时涉及一种多主播虚拟直播装置,一种计算设备,一种计算机可读存储介质,一种虚拟人物的三维建模方法以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种多主播虚拟直播方法,包括:
获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;
基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析;
基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
获取所述第一主播以及所述至少一个第二主播的三维渲染模型,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
根据本说明书实施例的第二方面,提供了一种多主播虚拟直播装置,包括:
直播参数获取模块,被配置为获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;
主播风格确定模块,被配置为基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
文本语义分析模块,被配置为获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析;
直播文本确定模块,被配置为基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
文本播报模块,被配置为驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播;
渲染模块,被配置为根据所述第一主播以及所述至少一个第二主播的三维渲染模型,生成所述第一主播以及所述至少一个第二主播的形象。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述多主播虚拟直播方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述多主播虚拟直播方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述多主播虚拟直播方法的步骤。
根据本说明书实施例的第六方面,提供了一种虚拟人物的三维建模方法,包括:
获取AR或VR设备的播报模式设置参数以利用多个虚拟人物在所述AR或VR设备进行播报;
基于所述播报模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
获取所述AR或VR设备的待播放文本,对所述待播放文本进行文本语义分析;
基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
渲染所述第一主播以及所述至少一个第二主播的形象,并以各自对应的播报风格交替播报所述待播放文本来生成播报数据流,以驱动所述虚拟人物在所述AR或VR设备上播报所述播报数据流。
本说明书一个实施例通过获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析;基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
具体的,通过直播间的直播模式设置参数确定不同播报风格的主播,且对该直播间的待播放文本进行语义分析,为不同播报风格的主播各自分配不同的待播放文本中的直播文本段落,以实现多个虚拟主播能够在直播间中以各自对应的播报风格交替播报待直播文本,完成多个虚拟人物的直播过程,该种多个虚拟人物进行直播的方式,不仅能够满足各种多人直播场景的应用,还能够在直播形式以及直播内容上展现虚拟直播的多样性,进而,也能够提高虚拟直播间中多个虚拟人物直播的创新性,吸引更多观众观看多人虚拟直播。
附图说明
图1是本说明书一个实施例提供的一种多主播虚拟直播方法的流程图;
图2是本说明书一个实施例提供的一种多主播虚拟直播方法中剧本与主播之间的对比关系图;
图3是本说明书一个实施例提供的一种多主播虚拟直播方法多个主播共同播报同一待播放文本的文本分配示意图;
图4是本说明书一个实施例提供的一种多主播虚拟直播方法插播播报的示意图;
图5是本说明书一个实施例提供的一种多主播虚拟直播装置的结构示意图;
图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
直播间:每个实时直播流的呈现窗口对应一个直播间。直播间在一个业务平台里是唯一的。
虚拟直播间:虚拟直播间可以理解为直播间中一种特定类型(虚拟人物作为直播间的主播进行直播的类型)的直播房间,例如可以包括但不限于游戏类直播间、影视类直播间、生活类直播间、综合类直播间等等。此处的虚拟直播间可以为任一个直播房间,且该虚拟直播间可包括虚拟主播、场景、直播文本等组成要素。
剧本:预先编写好的直播计划,指导一场直播的进行;1)有哪些环节;2)分别在什么时间;3)每个环节做什么事和耗时多久;4)应该做哪些表现;5)说哪些话;6)主播做哪些行为;7)周围环境怎么跟着场景变。这都是由剧本决定的。剧本是由多个场景组成的,但是剧本不和主播绑定,也就是一个剧本都是这些场景,但是不同的主播都可以用这个剧本进行直播。
场景:场景(我们定义的抽象概念)是可以用来直播的最小的单元,例如:介绍一件商品就是一个独立的场景。
事件:事件是和主播这个人物无关的直播间表现(比如:直播间的提醒;或者直播间的评论等)。
自然语言处理(Natural Language Processing,NLP):是以语言为对象,利用计算机技术来分析、理解和处理自然语言的一门学科,即把计算机作为语言研究的强大工具,在计算机的支持下对语言信息进行定量化的研究,并提供可供人与计算机之间能共同使用的语言描写。
多人主播:大于1个主播(包含助理)的直播方式。
单人主播:仅一个主播在直播间依靠讲解进行直播带货。
随着虚拟任务直播领域竞争越来越激烈,同质化现象愈加严重,导致观众越看越无聊,直播间的观看率不高。在商品售卖的直播间中,主播会一直讲解产品的卖点,催促观众下单;在娱乐直播间中,主播会根据讲解的段子、表演的节目,催促观众刷礼物等;这对观众来说,观看虚拟直播并不是一种享受,而是一种负担,所以,导致虚拟直播间的观众流失率逐渐越来越高。
其次,现有的虚拟直播领域中,大多都是单人虚拟主播在直播间中直播,无论是从主播的动作表情、还是口播的话术来看,都会相对枯燥。对于虚拟直播间的观众来说,则会没有观看虚拟主播直播的欲望和动力,貌似是虚拟主播是一个没有感情的朗读机器人。另外,商家一般会打造虚拟主播的人物形象,但受单人直播的形式限制,无法在直播间中体现多个虚拟人物的人设,也并不会吸引较多的观众进行观看。
进一步地,为了增强虚拟直播间的互动性及多样性,现有方案中还可增加虚拟直播间画外音的方案,以解决单个虚拟人物直播的单一性问题,但是,画外音的方案在观众看来,虚拟直播间的布局多样性展示上也会比较单一,仅仅有声音上的体现,并无其他创新点,也无法对标真人直播间中的真人串场的能力,以提高直播间中的人气;同时,画外音的方式,在内容上,对于结合直播间的画板、花字等表现力组件的方面,也并不具有创新性。
基于此,本说明书实施例提供的多主播虚拟直播方法,通过建立多个虚拟人物的人设,在虚拟直播间中以多样的方式共同进行虚拟直播,比如以多人聊天或者多人表演等直播模式,丰富虚拟直播间的内容和形式,让观众在观看多个虚拟人物直播的过程中,不仅能与虚拟直播进行互动,还能观看表演等其他展现形式,体现了直播形式上的多样性。另外,多个虚拟人物直播中,还可以利用一唱一和、捧哏逗哏等多人交互方式,在直播间中播报内容,也展现了内容上的创新性。而每个虚拟人物的个人特性也会吸引观众,各个虚拟主播之间的交互,可以重点突出各个主播的人设,给以观众更加深刻的印象,进而,体现了提升了直播所要突出的播报商品、品牌、娱乐内容等。因此,本说明书实施例提供的多主播虚拟直播的方法,以解决虚拟直播间观众观看兴趣度边际效应递减的问题,为创新性的直播模式提供可能。
需要说明的是,本说明书实施例提供的多主播虚拟直播方法,除了适用于虚拟直播领域,还可适用于虚拟现实场景,对多个虚拟人物的通过三维建模的方式进行渲染,以生成多个虚拟人模型。进一步地,还可基于人工智能与深度学习技术,能够在虚拟直播场景、虚拟现实场景及其他虚拟场景下,均提高虚拟人物的展示效果。
在本说明书中,提供了一种多主播虚拟直播方法,本说明书同时涉及一种多主播虚拟直播装置,一种计算设备,一种计算机可读存储介质,一种虚拟人物的三维建模方法以及一种计算机程序,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种多主播虚拟直播方法的流程图,具体包括以下步骤。
需要说明的是,本说明书实施例提供的多主播虚拟直播方法,应用于虚拟直播控制***,该***通过对虚拟人物在直播间进行控制,实现虚拟人物在直播间中可效仿真人主播直播的过程,其中,在同一直播间中虚拟人物的数量可为一个、两个或多个,在此不作任何限定;但本说明书实施例中,主要是针对多个虚拟主播在同一直播间中进行直播的方法进行详细介绍。
步骤102:获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播。
其中,直播模式设置参数可以理解为直播间中各种直播类型的直播模式所对应的基本设置参数,比如直播间中的虚拟人物数量及形象设置参数、直播间中多个虚拟人物交流模式的参数等。
需要强调的是,本说明书实施例提供的多主播虚拟直播方法,根据不同的项目需求在直播间中设置符合项目需求的虚拟人物形象、虚拟人物数量等,不仅能够满足虚拟人物可全天无间断地直播,还利用多个虚拟人物共同直播,提高直播间的虚拟直播的趣味性;其中,本说明书实施例对直播的具体内容不做任何限定,可以为多人直播商品、多个直播赛事、多个表演才艺等。
实际应用中,虚拟直播控制***可通过获取直播间的直播模式设置参数,以确定当前直播间的所需要几个虚拟人物完整直播,同时,多个虚拟人物之间以何种交流方式进行直播等等,在满足项目需求的情况下,控制多个虚拟人物在直播间中作为主播进行内容播报。
具体的,所述获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播,包括:
获取直播间的直播模式设置参数,基于所述直播模式设置参数确定所述直播间的虚拟人物数量、以及所述虚拟人物对应的目标直播模式;
基于所述虚拟人物数量确定与所述虚拟人物数量相同的多个目标虚拟人物;
控制所述多个目标虚拟人物基于所述目标直播模式在直播间进行直播。
其中,目标直播模式可以理解为在直播间中所确定的多个虚拟人物之间的直播形式,比如,多个虚拟人物以相声的一捧一逗的形式进行直播的直播模式、多个虚拟人物以一人讲解商品一人表演才艺的形式进行直播的直播模式;对此,本说明书实施例中对直播模式不作具体限定,可以根据项目需求展示不同的直播模式,以达到在直播间中吸引观众的目的。
实际应用中,虚拟直播控制***可先获取到该直播间的直播模式设置参数,以确定在该直播间中需要的虚拟人物数量,以及各个虚拟人物之间应该以什么样的直播形式来进行直播,例如,虚拟直播控制***在根据项目需求确定当前直播间是需要两个人进行虚拟直播,且以一个讲解商品一人表演才艺的形式来进行直播商品的售卖,同时宣传品牌,吸引粉丝;那么,虚拟直播控制***在确定好虚拟人物数量为2时,即可选取2个目标虚拟人物在直播间中进行直播,并驱动这2个目标虚拟人物以上述一个讲解商品一个表演才艺的形式,完成直播间的直播任务。
本说明书实施例提供的多主播虚拟直播方法中,根据项目需求确定利用多个虚拟人物,在直播间中以不同的直播模式实现虚拟直播,该种方法不仅能够解决虚拟直播间中仅一位主播直播的单一性问题,直播间中的直播内容也能够展现出创新性。
步骤104:基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播。
其中,第一播报风格可以理解为根据项目需求确定的虚拟人物在播报过程中的讲话风格、动作风格等,第二播报风格与第一播报风格所指代的意思相同,但第二播报风格与第一播报风格是不同的,也即是说,第一播报风格和第二播报风格为两种不同的播报风格,且该两种播报风格为当前直播间中需要虚拟人物所展现的风格,以满足项目需求对虚拟人物的要求。
第一主播可以理解为直播间中承担主导地位的主播,可以对标真人直播间的大主播(直播间中的主要直播角色);第二主播可以理解为在直播间中承担附属地位的主播,可以对标真人直播间中的副主播(直播间中大主播的小助理角色)。需要说明的是,第一主播和第二主播可以理解为两种类型的主播,在直播间中可分担不同的直播角色,在本说明书实施例中,并不会对第一主播和第二主播的类型有任何限定,完全是根据不同的项目需求,所需要的不同的播报风格而确定的第一主播和第二主播。
实际应用中,虚拟直播控制***即可根据直播模式设置参数确定第一主播以及至少一个第二主播,其中,第一主播是具有第一播报风格的,第二主播是具有第二播报风格的,需要说明的是,大多数场景下,在直播间中承担主导地位的第一主播一般仅为一人,而承担附属地位的第二主播可为多个,但是,本实施例中提出的多主播虚拟直播方法也并不排除第一主播可能具有多人的场景,本方案中,为了便于理解,第一主播均设置为一人,第二主播可设置至少一人,进而对多主播同时在一个直播间中直播进行说明。
沿用上例,直播间中讲解商品的虚拟人物通常则为第一主播,同时,第一播报风格为讲话清晰、语速适中、动作幅度合适的播报风格;直播间表演才艺的虚拟人物通常则为第二主播,同时,第二播报风格为表演多种类型的才艺,不限制于讲话风格、语速、动作张弛程度等播报风格。
此外,虚拟直播控制***在还可根据不同的项目需求,确定的不同主播的播报风格等选取不同的虚拟人物形象,以提高观众观看虚拟直播的兴趣;具体的,所述基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播,包括:
基于所述直播模式设置参数中的目标直播模式,确定具有第一播报风格的第一主播的第一主播形象、以及至少一个具有第二播报风格的第二主播的第二主播形象。
其中,第一主播形象可以理解为第一主播的虚拟人物外形形象,包括虚拟人物类型、虚拟人物身高、体型等外形信息;第二主播形象与第一主播形象所代表的含义相同,即为第二主播对应的虚拟人物外形形象;需要说明的是,虚拟直播控制***可根据不同项目需求确定不同的主播形象,比如,在相声专场的直播间中,第一主播形象和第二主播形象可以为穿着大褂的真人形象;在大型赛事的直播间中,第一主播形象和第二主播形象可以为穿着滑雪服的真人形象;在卡通虚拟直播间中,第一主播形象和第二主播形象可以为模仿卡通人物的虚拟人形象,例如,兔子形象、松鼠形象等。
进而,在实际应用中,虚拟直播控制***可根据直播模式设置参数所确定的目标直播模式,进一步地确定出每个主播所对应的主播形象,以利用渲染出的不同虚拟主播完成直播间中的直播内容。
本说明书实施例提供的多主播虚拟直播方法,通过对具有不同播报风格的主播都确定不同的主播形象,以适应于不同的虚拟直播间的项目需求,为了提高虚拟直播间的虚拟人物、虚拟形象、播报方式等方面的创新性。
步骤106:获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析。
其中,待播放文本可以理解为直播间中播报的剧本中的文本内容,根据不同的直播间场景,会预先设置不同的场景下的待播放文本,即剧本。
虚拟直播控制***在直播间开始进行直播前,已经确定好虚拟人物数量、虚拟人物的人物形象、虚拟人物在直播间的播报风格或直播模式,那么,后续就需要再确定每个虚拟主播所具体的播报内容/播报文本。因此,虚拟直播控制***要先获取到该直播间中所需要播报的待播放文本,并对该待播放文本进行文本语义分析,以确定该待播放文本在第一主播和至少一个第二主播之间如何进行分配,共同完成直播任务。
需要说明的是,本说明书实施例中提及的文本语义分析可以通过自然语言处理技术进行文本分析,其中,具体的文本分类、文本特征提取或者文本情感分析等细节处理过程在此不作具体说明。
具体实施时,所述获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析,包括:
获取所述直播间的待播放文本,基于预设场景关键词确定待播放文本的场景类型;
基于所述待播放文本的场景类型确定所述待播放文本包含的至少一个待播放场景文本;
划分所述至少一个待播放场景文本,获得每个待播放场景文本对应的至少一个待播放文本片段;
对每个待播放场景文本中的待播放文本片段进行文本语义分析。
其中,预设场景关键词可以理解为不同场景下对应文本的关键词,比如,讲解商品场景的关键词可包括“材质”、“颜色”、“价格”等;表演才艺场景的关键词可包括“歌名”、“掌声”、“谢谢观赏”等。
其中,待播放文本的场景类型可以理解为待播放文本所体现的不同的播报场景,比如,第一主播讲解商品A的文本内容,可确定为场景A,即商品讲解的场景类型;第二主播表演才艺时的播报文本,比如歌曲、脱口秀等播报文本,可确定为场景B,即才艺表演的场景类型;第一主播后续还可继续讲解商品B的文本内容,确定为场景C等等。
实际应用中,虚拟直播控制***先根据预设场景关键词,将该直播间中的待播放文本进行识别,划分出至少一个待播放场景文本,其中,待播放场景文本可以理解为根据不同的场景对待播放文本进行划分的各个部分文本,也即是说,对整个直播间的剧本按场景分块,一个剧本可以对应N个场景文本;进一步地,对每个场景文本再次进行划分,获得每个场景文本中的至少一个待播放文本片段,其中,待播放文本片段为待播放场景文本的部分文本,也即是说,一个待播放场景文本可以对应N个文本片段。最后,虚拟直播控制***是对每个文本片段进行语义分析,以确定该文本片段应该由哪一位虚拟主播进行播报。
参见图2,图2示出了本说明书实施例提供的多主播虚拟直播方法中剧本与主播之间的对比关系图。
需要说明的是,图2的(a)为目前的单人主播设计的方案中剧本和主播之间的对应关系,图2的(b)为本方案提供多人主播设计的剧本与主播之间的对应关系,通过上下两个部分对应关系的对比,可见,本说明书实施例提供的方案可以支持多主播共同完成同一个剧本的功能,提高直播间中播报剧本形式的丰富性,不同的主播以多样的播报方式在同一直播间进行直播,更能体现多虚拟人物直播的创新性。
其中,目前的单人主播设计的方案中,一个直播间对应一个剧本,每个剧本由一位主播完成,但该剧本可以对应N个场景,每个场景还可对应N个片段;利用一位主播去完成不同场景对应的不同片段对应的播报文本,实现在该直播间中对剧本的播报。
而多人主播设计的方案中,一个直播间里同样还是直播一个剧本,一个剧本可以由N个场景组成,一个场景又可以由N个主播完成,一个场景由N个片段组成,每个片段对应一个主播,由该片段上的主播进行播报。
因此,多主播虚拟直播方法中,由于需要多个主播在同一直播间共同完成同一个剧本文本,所以在整体的领域模式的关系设计中具有明显的不同。
步骤108:基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落。
其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本。
其中,第一直播文本段落可以理解为由第一主播以第一播报风格在直播间中播报出来的文本内容,第二直播文本段落可以理解为由第二主播以第二播报风格在直播间中播报出来的文本内容,且第一直播文本段落与第二直播文本段落均为待播放文本中的部分文本片段。
具体实施时,虚拟直播控制***还可根据对待播放文本的语义分析结果为不同的主播确定不同的直播文本;所述基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,包括:
基于每个待播放文本片段的语义分析结果,将待播放文本中与第一播报风格相关联的待播放文本片段,确定为第一直播文本段落;
相应地,所述将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,包括:
基于每个待播放文本片段的语义分析结果,将待播放文本中与第二播报风格相关联的待播放文本片段,确定为第二直播文本段落。
实际应用中,虚拟直播控制***对每个待播放文本片段进行语义分析后,基于每个文本片段的分析结果,确定该待播放文本片段应该以何种方式进行播报,比如,对商品讲解的文本片段,应该由第一主播以讲话清晰、语速适中、动作幅度合适的播报风格进行播报;对表演脱口秀的文本片段,应该由第二主播可以不同的表演风格进行播报。进一步地,虚拟直播控制***在整个待播放文本中,将与第一播报风格相关联的部分作为第一直播文本段落;在整个待播放文本中将与第二播报风格相关联的部分作为第二直播文本段落。
具体可参见图3,图3示出了本说明书实施例提供的多主播虚拟直播方法多个主播共同播报同一待播放文本的文本分配示意图。
图3以一个剧本由两个不同的虚拟主播在同一直播间中交替播报待播放文本为例进行说明,图3中空白长方形框可以表示第一主播所负责播报的待播放文本,且该待播放文本作为第一直播文本段落,图3中条纹长方形框可以表示第二主播所负责播报的待播放文本,且该待播放文本作为第二直播文本段落;如图3所示,第一直播文本段落与第二直播文本段落交替组成该直播间所应播报的待播放文本,同时,在直播间中,两个虚拟主播能够以对话的形式进行交互,比如,第一主播讲解一段第一直播文本段落,第二主播再讲解一段第二直播文本段落,以交替完成该直播间的待播放文本的播报任务。
需要说明的是,第一主播和第二主播可以由多种形式去组合,第一种可以为分工合作,第一主播作为主讲人,负责讲解商品还有控场,而第二主播作为辅助主播可以抽空回答观众问题,讲解优惠等;第二种可以为一捧一逗形式,第一主播和第二主播来回一唱一和地讲解,第二主播负责应承主播的一些行为、语言、或者强调一些特别的关注点等;第三种可以为一讲一才艺形式,第一主播负责讲解内容,第二主播负责辅助使用或者展示才艺。
步骤110:获取所述第一主播以及所述至少一个第二主播的三维渲染模型,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
实际应用中,虚拟直播控制***利用三维渲染模型生成第一主播以及至少一个第二主播对应的主播形象,并驱动第一主播以及至少一个第二主播在该虚拟直播间中,以各自对应的播报风格交替播报待播放文本,完成该直播间中的直播任务。需要说明的是,本说明书实施例提供的多主播虚拟直播方法中,两个主播进行相互配合的时候,需要有交互的场景,比如,在动作设计上,当第一主播在说话的时候,第二主播会时不时地看向第一主播,在第二主播看向第一主播的时候,第一主播还要回看第二主播,从而形成,第一主播和第二主播在动作上的交互情况;另外,在一些才艺秀的场景下,两个主播可以同时进行跳舞,形成各种团舞的动作。
具体的,所述驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播,包括:
基于第一直播文本段落的文本类型确定所述第一主播的第一播报动作,基于第二直播文本段落的文本类型确定所述至少一个第二主播的第二播报动作;
驱动具有所述第一主播形象的第一主播以及所述至少一个具有所述第二主播形象的第二主播,在直播间以各自对应的播报风格和各自对应的播报动作,交替播报所述待播放文本来进行直播。
其中,第一播报动作可以理解为第一主播在播报第一直播文本段落所需要配合的动作,第二播报动作可以理解为第二主播在播报第二直播文本段落所需要配合的动作,且第一播报动作与第二播报动作之间可以具有关联关系,也可以不具有关联关系,对此,本说明书实施例不作任何限定。
实际应用中,虚拟直播控制***还可对直播间中的播放表现力进行控制,根据第一直播文本段落的文本类型可确定出第一主播在播报的过程中,能够做出的第一播报动作,根据第二直播文本段落的文本类型可确定出第二主播在播报的过程中,能够做出的第二播报动作,该过程可以理解为直播间中多个虚拟主播间的动作互动,避免在直播间中不同的虚拟主播之间毫无交流,导致多人虚拟直播过程的***。进一步地,虚拟直播控制***驱动各个形象的主播以各自的播报风格、播报动作,交替完成直播间的待播放文本的直播过程。
此外,多个虚拟主播之间不仅可以有动作上的交互承接,还可具有眼神交流、场景的道具交互等等表现力,在此不做具体赘述。
本说明书实施例提供的多主播虚拟直播方法,通过为多个虚拟主播之间配置不同的动作设计,以提升多个虚拟主播之间的表现力,为直播间吸引更多观众观看。
进一步地,虚拟直播控制***在驱动多个虚拟主播播报时,还会考虑各个主播在直播间的站位布局情况以及各个主播对应的播报环境的问题,以解决观众观看多个虚拟主播直播的舒适度问题;具体的,所述驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播,包括:
根据预设的直播布局协议,确定所述第一主播以及所述至少一个第二主播之间的播报位置参数和播报场景环境参数;
基于所述播报位置参数和所述播报场景环境参数,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
其中,预设的直播布局协议可以理解为根据不同的项目需求预先设置的各个虚拟主播的站位布局规则、场景环境的布局规则,比如,在两个虚拟主播之间,一个第一主播、一个第二主播,那么,第一主播的站位可能在距离镜头1米的位置,第二主播的站位可能在距离镜头1.2米的位置,两位主播之间具有了主次关系,同时,在前端用户界面中的布局,也体现了主次关系的问题;关于场景环境的布局规则,比如,第一主播在讲解时的背景为商品的视频自动播放,第二主播在讲解时的背景可以为优惠券的领用方式等等,也就是说,不同的虚拟主播在播报的过程中,具有不同的播报位置或者播报场景环境等。
需要说明的是,本说明书实施例仅以播报位置参数和播报场景环境参数为例,对不同的虚拟主播展现不同的播报状态,在实际应用需求中,针对不同的虚拟主播还可在其他表现力方面进行调整,比如,主播拿的卡片的呈现位置、海报的呈现区域、前景的透明度等,在此不做具体限定。
实际应用中,虚拟直播控制***根据预设的直播布局协议,确定第一主播和至少一个第二主播之间的播报位置参数和播报场景环境参数,进而再驱动多个虚拟主播在直播间中,以各自的播报风格交替播报待播放文本。
更进一步地,所述基于所述播报位置参数和所述播报场景环境参数,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播,包括:
基于所述播报位置参数确定所述第一主播在直播间的第一站位、以及所述至少一个第二主播的第二站位;
基于所述播报场景环境参数确定所述第一主播在播报过程中的第一场景环境设置、以及所述至少一个第二主播在播报过程中的第二场景环境设置;
基于所述第一站位、所述第二站位、所述第一场景环境设置、所述第二场景环境设置,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
其中,第一站位可以理解为第一主播在直播间中所处的位置信息;第二站位可以理解为第二主播在直播间中所处的位置信息,且由于第一站位与第二站位是在同一直播间中体现,所以两个站位相互之间具有关联关系。
第一场景环境设置可以理解为第一主播在直播间中播报时的播报背景、播报卡片、前景透明度等多个场景环境的设置参数;第二场景环境设置可以理解为第二主播在直播间中播报时的播报背景、播报卡片、前景透明度等多个场景环境的设置参数;两个场景环境设置可以根据不同的播报内容需求而具体设定。
实际应用中,虚拟直播控制***在确定每个主播对应的站位、场景环境设置之后,即可后续根据具体的站位、场景环境设置等表现力,进一步地驱动多个虚拟主播交替完成直播间的播报。
本说明书实施例提供的多主播虚拟直播方法,通过预先设置多个虚拟人物在直播间播报过程的直播布局协议,以实现直播间中多个虚拟主播之间的直播的形式和内容上的创新。
此外,本说明书实施例提供的多主播虚拟直播方法,还包括驱动多个虚拟人物对直播间中发生的插播事件进行插播播报的功能,具体的,所述多主播虚拟直播方法,还包括:
响应于直播间的插播事件,获取所述直播间的插播文本,对所述插播文本进行文本语义分析,其中,所述插播事件是基于直播间的评论或点击发生的事件;
基于分析结果确定所述插播文本对应的插播风格,基于所述插播风格选择第一主播和/或至少一个第二主播;
驱动所述第一主播和/或至少一个第二主播在所述直播间以各自对应的播报风格播报所述插播文本。
实际应用中,虚拟直播控制***可响应于直播间中发生的插播事件,该插播事件可以理解为直播间中的观众发布评论或点击所触发的事件,比如观众在评论区发布“发红包”的评论,那么在确定“发红包”的评论数量大于一定阈值的情况下,可触发该直播间的插播播放事件,并确定在直播间进行插播的插播文本,并对插播文本进行语义分析,根据语义分析结果确定该插播文本所对应的插播风格,确定该插播文本以什么样的风格进行播报,进而再去选择由第一主播播报,还是第二主播播报,还是由多个主播共同播报,在此不做具体限定。最后,虚拟直播控制***驱动第一主播和/或至少一个第二主播在直播间中以各自对应的播报风格播报该插播文本。
具体可参见图4,图4示出了本说明书实施例提供的多主播虚拟直播方法插播播报的示意图。
图4中可分为4个部分,分别为(1)-(4),每个部分都有两个队列,分别为顺序队列以及优先级队列,A、B、C、D分别表示播报文本,需要在当前直播间中播报;其中,顺序队列为直播间正常播报待播放文本的顺序队列,依照先进先出的规则,不断地播报待播放文本;而优先级队列即可以理解为插播队列,在确定当前直播间中需要进行插播播报插播文本时,将该插播文本放入至优先级队列中,优先播报。从图4中可以看出,在确定D为插播文本时,(1)的过程为,将A放入顺序队列中等待播报;(2)的过程为,A已经在直播间中正在播报,B进入顺序队列继续等待;(3)的过程为,B在直播间中正在播报时,由于D为在B之后的插播文本,随后,可将D放入优先级队列中等待播报,在优先级队列中确定具有待插播文本之后,即可先对插播文本进行播报;(4)的过程为,优先级队列中的D优先播报,顺序队列中的C在顺序队列中等待D播报结束后,继续播报C。
需要说明的是,针对插播文本由哪个虚拟主播进行播报,本方案中不作任何限制,是由插播文本的插播风格所确定的;比如,第一主播讲解A,第二主播讲解B,然后插播了D,可有第二主播讲解D,然后第一主播讲解C。优先级高的队列先出队,顺序队列后出队,出队之后的播报由选择好的对应的主播进行播报。
本说明书实施例提供的多主播虚拟直播方法,还可支持多虚拟主播完成对直播间中的插播文本的播报,增强了整个直播间的播报性能。
综上,本说明书实施例提供的多主播虚拟直播方法,通过对形式创新和内容创新,在直播间中支持多虚拟主播共同完成直播内容,其中,形式创新体现在:从单人变成多人。通过多人合力讲解,营造出热热闹闹的氛围,让用户愿意自发的留在直播间,提升用户的停留时长,进而促进成交转化,且形式可采用多样,比如1)一主多副:主角负责商品的讲解,其他副角以助理的形式强调商品的关键信息和营销卖点等,及时调动粉丝的情绪,辅助主播进行带货营销;2)多个主角:通过多人默契地以对话问答的形式介绍产品,让枯燥的商品讲解变得生动有趣。同时,对话的形式可以烘托出虚拟主播的人设,让大家能够记住每个主播的特点。内容创新体现在:从枯燥的纯带货模式变成有剧情性质的对话问答,增加直播的趣味性,提升用户对直播间的满意度,进而增加用户粘性和促进下单转化;也会在直播间中表现剧情(沉浸式):观众不再是被动的旁观者,而是切实的探索者。通过剧情的变化起伏,给直播间用户营造一种身临其境的沉浸式体验。
此外,本说明书实施例还提供了一种虚拟人物的三维建模方法,以应用于AR或VR设备,包括:
获取AR或VR设备的播报模式设置参数以利用多个虚拟人物在所述AR或VR设备进行播报;
基于所述播报模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
获取所述AR或VR设备的待播放文本,对所述待播放文本进行文本语义分析;
基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
渲染所述第一主播以及所述至少一个第二主播的形象,并以各自对应的播报风格交替播报所述待播放文本来生成播报数据流,以驱动所述虚拟人物在所述AR或VR设备上播报所述播报数据流。
需要说明的是,多个虚拟人物配合播报文本的方式不仅可应用于直播间的虚拟直播场景,还可应用于各种AR或VR设备,将多个虚拟人物播报待播放文本的播报数据流在AR或VR设备上进行展示。
与上述方法实施例相对应,本说明书还提供了多主播虚拟直播装置实施例,图5示出了本说明书一个实施例提供的一种多主播虚拟直播装置的结构示意图。如图5所示,该装置应用于虚拟直播控制***,包括:
直播参数获取模块502,被配置为获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;
主播风格确定模块504,被配置为基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
文本语义分析模块506,被配置为获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析;
直播文本确定模块508,被配置为基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
文本播报模块510,被配置为驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播;
渲染模块512,被配置为根据所述第一主播以及所述至少一个第二主播的三维渲染模型,生成所述第一主播以及所述至少一个第二主播的形象。
可选地,所述文本语义分析模块506,进一步被配置为:
获取所述直播间的待播放文本,基于预设场景关键词确定待播放文本的场景类型;
基于所述待播放文本的场景类型确定所述待播放文本包含的至少一个待播放场景文本;
划分所述至少一个待播放场景文本,获得每个待播放场景文本对应的至少一个待播放文本片段;
对每个待播放场景文本中的待播放文本片段进行文本语义分析。
可选地,所述直播文本确定模块508,进一步被配置为:
基于每个待播放文本片段的语义分析结果,将待播放文本中与第一播报风格相关联的待播放文本片段,确定为第一直播文本段落;
相应地,所述将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,包括:
基于每个待播放文本片段的语义分析结果,将待播放文本中与第二播报风格相关联的待播放文本片段,确定为第二直播文本段落。
可选地,所述直播参数获取模块502,进一步被配置为:
获取直播间的直播模式设置参数,基于所述直播模式设置参数确定所述直播间的虚拟人物数量、以及所述虚拟人物对应的目标直播模式;
基于所述虚拟人物数量确定与所述虚拟人物数量相同的多个目标虚拟人物;
控制所述多个目标虚拟人物基于所述目标直播模式在直播间进行直播。
可选地,所述主播风格确定模块504,进一步被配置为:
基于所述直播模式设置参数中的目标直播模式,确定具有第一播报风格的第一主播的第一主播形象、以及至少一个具有第二播报风格的第二主播的第二主播形象。
可选地,所述文本播报模块510,进一步被配置为:
基于第一直播文本段落的文本类型确定所述第一主播的第一播报动作,基于第二直播文本段落的文本类型确定所述至少一个第二主播的第二播报动作;
驱动具有所述第一主播形象的第一主播以及所述至少一个具有所述第二主播形象的第二主播,在直播间以各自对应的播报风格和各自对应的播报动作,交替播报所述待播放文本来进行直播。
可选地,所述文本播报模块510,进一步被配置为:
响应于直播间的插播事件,获取所述直播间的插播文本,对所述插播文本进行文本语义分析,其中,所述插播事件是基于直播间的评论或点击发生的事件;
基于分析结果确定所述插播文本对应的插播风格,基于所述插播风格选择第一主播和/或至少一个第二主播;
驱动所述第一主播和/或至少一个第二主播在所述直播间以各自对应的播报风格播报所述插播文本。
可选地,所述文本播报模块510,进一步被配置为:
根据预设的直播布局协议,确定所述第一主播以及所述至少一个第二主播之间的播报位置参数和播报场景环境参数;
基于所述播报位置参数和所述播报场景环境参数,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
可选地,所述文本播报模块510,进一步被配置为:
基于所述播报位置参数确定所述第一主播在直播间的第一站位、以及所述至少一个第二主播的第二站位;
基于所述播报场景环境参数确定所述第一主播在播报过程中的第一场景环境设置、以及所述至少一个第二主播在播报过程中的第二场景环境设置;
基于所述第一站位、所述第二站位、所述第一场景环境设置、所述第二场景环境设置,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
本说明书实施例提供的多主播虚拟直播装置,通过直播间的直播模式设置参数确定不同播报风格的主播,且对该直播间的待播放文本进行语义分析,为不同播报风格的主播各自分配不同的待播放文本中的直播文本段落,以实现多个虚拟主播能够在直播间中以各自对应的播报风格交替播报待直播文本,完成多个虚拟人物的直播过程,该种多个虚拟人物进行直播的方式,不仅能够满足各种多人直播场景的应用,还能够在直播形式以及直播内容上展现虚拟直播的多样性,进而,也能够提高虚拟直播间中多个虚拟人物直播的创新性,吸引更多观众观看多人虚拟直播。
上述为本实施例的一种多主播虚拟直播装置的示意性方案。需要说明的是,该多主播虚拟直播装置的技术方案与上述的多主播虚拟直播方法的技术方案属于同一构思,多主播虚拟直播装置的技术方案未详细描述的细节内容,均可以参见上述多主播虚拟直播方法的技术方案的描述。
图6示出了根据本说明书一个实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC))中的一个或多个,诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi-MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口,等等。
在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或PC的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述多主播虚拟直播方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的多主播虚拟直播方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述多主播虚拟直播方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述多主播虚拟直播方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的多主播虚拟直播方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述多主播虚拟直播方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述多主播虚拟直播方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的多主播虚拟直播方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述多主播虚拟直播方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (13)
1.一种多主播虚拟直播方法,应用于虚拟直播控制***,包括:
获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;
基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析;
基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
获取所述第一主播以及所述至少一个第二主播的三维渲染模型,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
2.根据权利要求1所述的多主播虚拟直播方法,所述获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析,包括:
获取所述直播间的待播放文本,基于预设场景关键词确定待播放文本的场景类型;
基于所述待播放文本的场景类型确定所述待播放文本包含的至少一个待播放场景文本;
划分所述至少一个待播放场景文本,获得每个待播放场景文本对应的至少一个待播放文本片段;
对每个待播放场景文本中的待播放文本片段进行文本语义分析。
3.根据权利要求2所述的多主播虚拟直播方法,所述基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,包括:
基于每个待播放文本片段的语义分析结果,将待播放文本中与第一播报风格相关联的待播放文本片段,确定为第一直播文本段落;
相应地,所述将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,包括:
基于每个待播放文本片段的语义分析结果,将待播放文本中与第二播报风格相关联的待播放文本片段,确定为第二直播文本段落。
4.根据权利要求1所述的多主播虚拟直播方法,所述获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播,包括:
获取直播间的直播模式设置参数,基于所述直播模式设置参数确定所述直播间的虚拟人物数量、以及所述虚拟人物对应的目标直播模式;
基于所述虚拟人物数量确定与所述虚拟人物数量相同的多个目标虚拟人物;
控制所述多个目标虚拟人物基于所述目标直播模式在直播间进行直播。
5.根据权利要求4所述的多主播虚拟直播方法,所述基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播,包括:
基于所述直播模式设置参数中的目标直播模式,确定具有第一播报风格的第一主播的第一主播形象、以及至少一个具有第二播报风格的第二主播的第二主播形象。
6.根据权利要求5所述的多主播虚拟直播方法,所述驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播,包括:
基于第一直播文本段落的文本类型确定所述第一主播的第一播报动作,基于第二直播文本段落的文本类型确定所述至少一个第二主播的第二播报动作;
驱动具有所述第一主播形象的第一主播以及所述至少一个具有所述第二主播形象的第二主播,在直播间以各自对应的播报风格和各自对应的播报动作,交替播报所述待播放文本来进行直播。
7.根据权利要求1所述的多主播虚拟直播方法,还包括:
响应于直播间的插播事件,获取所述直播间的插播文本,对所述插播文本进行文本语义分析,其中,所述插播事件是基于直播间的评论或点击发生的事件;
基于分析结果确定所述插播文本对应的插播风格,基于所述插播风格选择第一主播和/或至少一个第二主播;
驱动所述第一主播和/或至少一个第二主播在所述直播间以各自对应的播报风格播报所述插播文本。
8.根据权利要求1所述的多主播虚拟直播方法,所述驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播,包括:
根据预设的直播布局协议,确定所述第一主播以及所述至少一个第二主播之间的播报位置参数和播报场景环境参数;
基于所述播报位置参数和所述播报场景环境参数,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
9.根据权利要求1所述的多主播虚拟直播方法,所述基于所述播报位置参数和所述播报场景环境参数,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播,包括:
基于所述播报位置参数确定所述第一主播在直播间的第一站位、以及所述至少一个第二主播的第二站位;
基于所述播报场景环境参数确定所述第一主播在播报过程中的第一场景环境设置、以及所述至少一个第二主播在播报过程中的第二场景环境设置;
基于所述第一站位、所述第二站位、所述第一场景环境设置、所述第二场景环境设置,驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播。
10.一种多主播虚拟直播装置,应用于虚拟直播控制***,包括:
直播参数获取模块,被配置为获取直播间的直播模式设置参数以利用多个虚拟人物在直播间进行直播;
主播风格确定模块,被配置为基于所述直播模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
文本语义分析模块,被配置为获取所述直播间的待播放文本,对所述待播放文本进行文本语义分析;
直播文本确定模块,被配置为基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
文本播报模块,被配置为驱动所述第一主播以及所述至少一个第二主播在直播间以各自对应的播报风格交替播报所述待播放文本来进行直播;
渲染模块,被配置为根据所述第一主播以及所述至少一个第二主播的三维渲染模型,生成所述第一主播以及所述至少一个第二主播的形象。
11.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述多主播虚拟直播方法的步骤。
12.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至9任意一项所述多主播虚拟直播方法的步骤。
13.一种虚拟人物的三维建模方法,应用于AR或VR设备,包括:
获取AR或VR设备的播报模式设置参数以利用多个虚拟人物在所述AR或VR设备进行播报;
基于所述播报模式设置参数确定具有第一播报风格的第一主播以及至少一个具有第二播报风格的第二主播;
获取所述AR或VR设备的待播放文本,对所述待播放文本进行文本语义分析;
基于分析结果将待播放文本中与所述第一播报风格相关联的部分确定为第一直播文本段落,将待播放文本中与所述第二播报风格相关联的部分确定为第二直播文本段落,其中,所述第一直播文本段落与所述第二直播文本段落交替组成所述待播放文本;
渲染所述第一主播以及所述至少一个第二主播的形象,并以各自对应的播报风格交替播报所述待播放文本来生成播报数据流,以驱动所述虚拟人物在所述AR或VR设备上播报所述播报数据流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210410909.9A CN114979682B (zh) | 2022-04-19 | 2022-04-19 | 多主播虚拟直播方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210410909.9A CN114979682B (zh) | 2022-04-19 | 2022-04-19 | 多主播虚拟直播方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114979682A true CN114979682A (zh) | 2022-08-30 |
CN114979682B CN114979682B (zh) | 2023-10-13 |
Family
ID=82977219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210410909.9A Active CN114979682B (zh) | 2022-04-19 | 2022-04-19 | 多主播虚拟直播方法以及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114979682B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116017021A (zh) * | 2022-12-30 | 2023-04-25 | 上海哔哩哔哩科技有限公司 | 虚拟直播方法及装置 |
CN117376596A (zh) * | 2023-12-08 | 2024-01-09 | 江西拓世智能科技股份有限公司 | 基于智能数字人模型的直播方法、装置及存储介质 |
CN117395449A (zh) * | 2023-12-08 | 2024-01-12 | 江西拓世智能科技股份有限公司 | 针对ai数字人直播内容差异化处理方法及处理装置 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106803966A (zh) * | 2016-12-31 | 2017-06-06 | 北京星辰美豆文化传播有限公司 | 一种多人网络直播方法、装置及其电子设备 |
US20170165569A1 (en) * | 2015-12-15 | 2017-06-15 | Nvidia Corporation | Built-in support of in-game virtual split screens with peer-to peer-video conferencing |
US20180342106A1 (en) * | 2017-05-26 | 2018-11-29 | Brandon Rosado | Virtual reality system |
CN110636315A (zh) * | 2019-08-19 | 2019-12-31 | 北京达佳互联信息技术有限公司 | 一种多人虚拟直播方法、装置、电子设备及存储介质 |
JP2020071851A (ja) * | 2018-10-31 | 2020-05-07 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | アバタによる生放送方法及び装置 |
CN112333179A (zh) * | 2020-10-30 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 虚拟视频的直播方法、装置、设备及可读存储介质 |
CN113095206A (zh) * | 2021-04-07 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟主播生成方法、装置和终端设备 |
US20210312161A1 (en) * | 2019-03-29 | 2021-10-07 | Guangzhou Huya Information Technology Co., Ltd. | Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device |
CN113570686A (zh) * | 2021-02-07 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 虚拟视频直播处理方法及装置、存储介质、电子设备 |
CN113599826A (zh) * | 2021-08-16 | 2021-11-05 | 北京字跳网络技术有限公司 | 一种虚拟人物展示方法、装置、计算机设备以及存储介质 |
CN113825031A (zh) * | 2021-11-22 | 2021-12-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 直播内容生成方法及装置 |
CN113850083A (zh) * | 2021-08-17 | 2021-12-28 | 北京百度网讯科技有限公司 | 确定播报风格的方法、装置、设备和计算机存储介质 |
CN114125492A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播内容生成方法以及装置 |
CN114125491A (zh) * | 2022-01-20 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 虚拟直播控制方法以及装置 |
CN114125490A (zh) * | 2022-01-19 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播播放方法及装置 |
CN114125569A (zh) * | 2022-01-27 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播处理方法以及装置 |
CN114157897A (zh) * | 2022-01-25 | 2022-03-08 | 阿里巴巴(中国)有限公司 | 虚拟直播控制方法以及装置 |
WO2022062896A1 (zh) * | 2020-09-22 | 2022-03-31 | 北京达佳互联信息技术有限公司 | 直播互动方法及装置 |
CN114302153A (zh) * | 2021-11-25 | 2022-04-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
-
2022
- 2022-04-19 CN CN202210410909.9A patent/CN114979682B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170165569A1 (en) * | 2015-12-15 | 2017-06-15 | Nvidia Corporation | Built-in support of in-game virtual split screens with peer-to peer-video conferencing |
CN106803966A (zh) * | 2016-12-31 | 2017-06-06 | 北京星辰美豆文化传播有限公司 | 一种多人网络直播方法、装置及其电子设备 |
US20180342106A1 (en) * | 2017-05-26 | 2018-11-29 | Brandon Rosado | Virtual reality system |
JP2020071851A (ja) * | 2018-10-31 | 2020-05-07 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | アバタによる生放送方法及び装置 |
US20210312161A1 (en) * | 2019-03-29 | 2021-10-07 | Guangzhou Huya Information Technology Co., Ltd. | Virtual image live broadcast method, virtual image live broadcast apparatus and electronic device |
CN110636315A (zh) * | 2019-08-19 | 2019-12-31 | 北京达佳互联信息技术有限公司 | 一种多人虚拟直播方法、装置、电子设备及存储介质 |
WO2022062896A1 (zh) * | 2020-09-22 | 2022-03-31 | 北京达佳互联信息技术有限公司 | 直播互动方法及装置 |
CN112333179A (zh) * | 2020-10-30 | 2021-02-05 | 腾讯科技(深圳)有限公司 | 虚拟视频的直播方法、装置、设备及可读存储介质 |
CN113570686A (zh) * | 2021-02-07 | 2021-10-29 | 腾讯科技(深圳)有限公司 | 虚拟视频直播处理方法及装置、存储介质、电子设备 |
CN113095206A (zh) * | 2021-04-07 | 2021-07-09 | 广州华多网络科技有限公司 | 虚拟主播生成方法、装置和终端设备 |
CN113599826A (zh) * | 2021-08-16 | 2021-11-05 | 北京字跳网络技术有限公司 | 一种虚拟人物展示方法、装置、计算机设备以及存储介质 |
CN113850083A (zh) * | 2021-08-17 | 2021-12-28 | 北京百度网讯科技有限公司 | 确定播报风格的方法、装置、设备和计算机存储介质 |
CN113825031A (zh) * | 2021-11-22 | 2021-12-21 | 阿里巴巴达摩院(杭州)科技有限公司 | 直播内容生成方法及装置 |
CN114302153A (zh) * | 2021-11-25 | 2022-04-08 | 阿里巴巴达摩院(杭州)科技有限公司 | 视频播放方法及装置 |
CN114125490A (zh) * | 2022-01-19 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播播放方法及装置 |
CN114125491A (zh) * | 2022-01-20 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 虚拟直播控制方法以及装置 |
CN114125492A (zh) * | 2022-01-24 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播内容生成方法以及装置 |
CN114157897A (zh) * | 2022-01-25 | 2022-03-08 | 阿里巴巴(中国)有限公司 | 虚拟直播控制方法以及装置 |
CN114125569A (zh) * | 2022-01-27 | 2022-03-01 | 阿里巴巴(中国)有限公司 | 直播处理方法以及装置 |
Non-Patent Citations (1)
Title |
---|
胡键巧;: "多机位真三维虚拟直播室的设计方案考虑", 现代电视技术, no. 11 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116017021A (zh) * | 2022-12-30 | 2023-04-25 | 上海哔哩哔哩科技有限公司 | 虚拟直播方法及装置 |
CN117376596A (zh) * | 2023-12-08 | 2024-01-09 | 江西拓世智能科技股份有限公司 | 基于智能数字人模型的直播方法、装置及存储介质 |
CN117395449A (zh) * | 2023-12-08 | 2024-01-12 | 江西拓世智能科技股份有限公司 | 针对ai数字人直播内容差异化处理方法及处理装置 |
CN117376596B (zh) * | 2023-12-08 | 2024-04-26 | 江西拓世智能科技股份有限公司 | 基于智能数字人模型的直播方法、装置及存储介质 |
CN117395449B (zh) * | 2023-12-08 | 2024-04-26 | 江西拓世智能科技股份有限公司 | 针对ai数字人直播内容差异化处理方法及处理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114979682B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Coleman | Hello avatar: rise of the networked generation | |
CN114979682A (zh) | 多主播虚拟直播方法以及装置 | |
CN104780093B (zh) | 即时通讯过程中的表情信息处理方法及装置 | |
CN104468623B (zh) | 一种基于在线直播的信息展示方法、相关装置及*** | |
Grindstaff et al. | Reality celebrity: Branded affect and the emotion economy | |
CN114125492B (zh) | 直播内容生成方法以及装置 | |
CN114071180A (zh) | 直播间展示方法及装置 | |
Follmer et al. | People in books: using a FlashCam to become part of an interactive book for connected reading | |
JP2001230801A (ja) | 通信システムとその方法、通信サービスサーバおよび通信端末装置 | |
Zhou | Virtual Youtuber Kizuna AI: co-creating human-non-human interaction and celebrity-audience relationship | |
WO2014086216A1 (zh) | 即时通讯方法、***、通讯信息处理方法、终端及存储介质 | |
KR20090132914A (ko) | 페이셜애니메이션제어방법 및 3차원 게임 엔진 기반의실시간 대화형 원격강의시스템 | |
CN104575130A (zh) | 增强现实技术的多图组合识别动画教育应用*** | |
DiPaola et al. | A 3D virtual environment for social telepresence | |
JP2024507092A (ja) | 画像処理方法、装置、及びコンピュータコンピュータプログラム | |
CN110446090A (zh) | 一种虚拟观众席观众连线方法、***、装置和存储介质 | |
Jensen et al. | Intermediality and social media | |
CN116668733A (zh) | 虚拟主播直播***及方法、相关装置 | |
CN110166351A (zh) | 一种基于即时通讯的交互方法、装置和电子设备 | |
CN117119207A (zh) | 数字人直播方法 | |
CN115115728A (zh) | 一种对话视频创建方法和相关装置 | |
Liu | Research of digital media art based on virtual reality on animation design | |
Hu | Forming the Spectacle of Body: Analysis of the User-Platform Relationship through Body Performance Videos on TikTok | |
Paterson et al. | Location-aware interactive game audio | |
Nakatsu et al. | Toward the realization of interactive movies-inter communication theater: concept and system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |