CN117519825A - 一种数字人分身交互方法、装置、电子设备和存储介质 - Google Patents
一种数字人分身交互方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN117519825A CN117519825A CN202311523573.8A CN202311523573A CN117519825A CN 117519825 A CN117519825 A CN 117519825A CN 202311523573 A CN202311523573 A CN 202311523573A CN 117519825 A CN117519825 A CN 117519825A
- Authority
- CN
- China
- Prior art keywords
- task
- digital
- person
- data
- digital person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003993 interaction Effects 0.000 title claims abstract description 38
- 238000000926 separation method Methods 0.000 title abstract description 9
- 239000000463 material Substances 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000003370 grooming effect Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000005034 decoration Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/445—Program loading or initiating
- G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供了一种数字人分身交互方法、装置、电子设备和存储介质。一种数字人分身交互方法,包括:生成分身数字人,根据用户输入为分身数字人分配任务属性;根据分身数字人的任务属性创建可执行的任务;利用分身数字人采集虚拟场景的数据;根据虚拟场景的数据,执行相应的任务。实施本公开的技术方案,可以辅助用户完成多场景下的体验。
Description
技术领域
本公开涉及元宇宙领域,尤其涉及一种数字人分身交互方法、装置、电子设备和存储介质。
背景技术
数字人作为用户在元宇宙虚拟世界中的化身,在很多方面,可以模拟参与现实世界意义的行为或活动内容,如:娱乐节目现场、体育赛事类直播现场、会议现场。这类行为和活动通常具备多并发、高时效、可跳跃等特点,为了防止错失关键内容,现有的实现方式为将不同虚拟场景画面投屏到一个屏幕,多屏同看。而对于将不同虚拟场景画面投屏到一个屏幕,采用多屏同看的方式,易分散用户专注力,需要用户主动抓取关键信息,环境交互无法捕捉和反馈,影响沉浸式虚拟体验。
发明内容
为了解决现有技术中的至少一个技术问题,本公开提供了一种数字人分身交互方法、装置、电子设备和存储介质。
根据本公开的第一方面,提供了一种数字人分身交互方法,包括:
生成分身数字人,根据用户输入为所述分身数字人分配任务属性;
根据所述分身数字人的任务属性创建可执行的任务;
利用所述分身数字人采集虚拟场景的数据;
根据所述虚拟场景的数据,执行相应的所述任务。
可选的,所述方法还包括:根据用户输入为所述分身数字人分配性格属性,以使所述分身数字人基于所述性格属性与所述虚拟场景交互。
可选的,所述生成分身数字人之后,所述方法包括:
根据所述分身数字人的场景类型从构建的数字人素材库中匹配相应场景类型的素材;
根据匹配的素材装扮所述分身数字人。
可选的,所述方法还包括:
记录装扮所述分身数字人的素材以及相应的场景类型。
可选的,所述根据所述分身数字人的任务属性创建可执行的任务,包括:
根据所述任务属性所含有的任务信息,匹配对应的原子任务;
对所述原子任务进行业务流程串联,以创建所述任务。
可选的,所述方法还包括:
接收用户语音输入,将语音转换为文字内容,根据文字内容判断是否新添任务或删除任务。
可选的,所述根据所述虚拟场景的数据,执行相应的所述任务,包括:
根据所述任务解析计算图,得到输入节点和计算节点;
根据所述输入节点获取相应虚拟场景的数据,根据所述数据执行计算节点。
可选的,所述根据所述虚拟场景的数据,执行相应的所述任务,包括:
根据所述虚拟场景的场景类型,执行相应所述场景类型的任务。
可选的,所述方法还包括:
向用户反馈执行任务所得到的用户感兴趣内容。
根据本公开的第二方面,提供了一种数字人分身交互装置,包括:
生成模块,用于生成分身数字人,根据用户输入为所述分身数字人分配任务属性;
任务创建模块,用于根据所述分身数字人的任务属性创建可执行的任务;
数据采集模块,用于利用分身数字人采集虚拟场景的数据;
任务执行模块,用于根据所述虚拟场景的数据,执行相应的所述任务。
根据本公开的第三方面,提供了一种电子设备,包括:
处理器;以及
存储程序的存储器,
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据本公开的第一方面中任一项所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行根据本公开的第一方面中任一项所述的方法。
本公开实施例中提供的一个或多个技术方案,用户为分身数字人分配任务属性,分身数字人可基于分配的任务属性,根据虚拟场景的数据执行相应的任务,辅助用户完成多场景下的体验。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1示出了根据本公开示例性实施例的一种数字人分身交互方法的流程图;
图2示出了根据本公开示例性实施例的一种分身数字人整体交互架构图;
图3示出了根据本公开示例性实施例的一种数字人分身交互装置的示意性框图;
图4示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
以下参照附图描述本公开的方案。
参见图1,一种数字人分身交互方法,包括:
S101,生成分身数字人,根据用户输入为分身数字人分配任务属性。
在S101之前,可构建分身数字人的数字人素材库,数字人素材库包含身体部位、资源类别、关键词、场景类型等。示例性的,构建外观装扮和动作资产库作为分身数字人的数字人素材库,对数字人素材库中资源进行参数标识,标识范围为:{bmID,typeID,partID,keyword,senceID}。其中,bmID为资源的基准模型编号。typeID为资源类别,如:外观、动画、道具。partID为身体部件标识,标识该资源所挂载到身体部位。keyword为该素材内容关键字描述。senceID标识该素材可以在哪些场景(会议/演唱会/赛事)中使用,如:球衣类服饰,队旗口哨类道具一般用于赛事类场景,同一个素材可在多个场景中使用。
在S101中,可对数字人进行克隆以生成分身数字人,分身数字人可以是多个。一般情况下,克隆内容可包含被克隆数字人所有的能力,例如,数字人外观、声音、表情/动作、动画等。
在S101中,可生成分配任务属性的操作界面,用户输入相关信息以在分身数字人上匹配任务属性(也即添加任务属性)。任务属性包含任务信息,示例性的,任务属性包括地点、类型、携带任务等信息。为了简化任务创建过程,可以针对不同场景类型,固定任务模板,用于通过增删的固定任务项,关键字填入即可快速完成任务创建。比如:明星名称,歌曲名字。以下为一个简单场景任务模型,xxx为用户待填写关键字。待***新的业务能力加入时,任务模板可进一步扩充。一般情况下,任务属性的任务信息包括关注用户感兴趣内容的任务信息或获取用户感兴趣内容的任务信息。
在S101中,还可以根据用户输入为分身数字人分配性格属性,根据性格属性配置分身数字人在场景类型下的性格类型,以使分身数字人基于性格属性与虚拟场景交互。示例性的,性格类型包括稳重型和活泼型,每个性格类型匹配相应的交互特性,交互特性包括人物动作、自动语言答复内容、语音腔调或自动环境交互行为中的至少一项,根据交互特性与虚拟场景交互。可见,性格属性用于模拟分身数字人在不同场景下的性格或行为表现,如:会议环境下,分身数字人表现沉稳,演唱会赛事类环境下,可以表现得活泼。性格属性的作用在于分数数字人可以在不同场景类型下可以表现的不相同,实现多样化。
在S101中,为了使得分身数字人的装扮与相应的场景类型匹配,可以根据分身数字人的场景类型从构建的数字人素材库中匹配相应场景类型的素材;根据匹配的素材装扮分身数字人。同样的,还可以根据分身数字人的基准模型类型、任务关键字从数字人素材库中匹配相应素材,根据匹配的素材装扮分身数字人。示例性的,进入数字人装扮界面,根据分身数字人所属的基准模型类型(bmID)、场景类型(sceneID)、任务关键字(keyword)内容从素材库中自动匹配相关素材,完成初步装扮,同时该装扮界面可默认显示该基准模型类型且该场景类别下所有素材,供用户进一步选择,更进一步,用户可以在同一基准模型下的不同场景类别下切换,对分身数字人进行混搭装扮。
在S101中,记录装扮分身数字人的素材以及相应的场景类型。记录装扮分身数字人的素材以及相应的场景类型可作为下次同类型任务的默认预设。根据记录的装扮内容,下次为用户推荐相关装扮素材,以供用户选择,比如:记录了用户关注的球星的球衣,下次针对球赛等相关场景可以推荐该记录的球衣。
S102,根据分身数字人的任务属性创建可执行的任务。
具体的,根据分身数字人所携带的任务属性,创建可被AI(人工智能)后端执行的任务,同时可接收来自用户新的任务指令。
本步骤中,可根据任务属性所含有的任务信息,匹配对应的原子任务,对所述原子任务进行业务流程串联,以创建任务。具体的,可根据分身数字人的任务属性含有的任务信息,执行任务拆分;根据拆分的任务匹配对应的原子任务;对原子任务进行业务流程串联,以创建可被AI执行的任务。其中,由计算图负责原子任务业务流程串联。
示例性的,任务创建过程如下:
根据分身数字人携带的任务列表,进行任务拆分(如可以拆分),并匹配对应的AI后端原子任务,记为t=<原子任务ID,输入参数>,对这些原子任务进行业务流程串联,创建并得到可被AI后端执行的任务,记为T={场景ID,任务ID,{t1,…,ti},G},G为串联任务的计算图,该计算图负责多个原子能力的业务逻辑和流程串联,并形成一个完整任务。
例如,任务为“关注xxx球星进球”,对应的AI后端原子任务节点为“人物识别,进球/得分识别”,计算图G完成两个节点逻辑串联。如原子能力不存在或匹配失败,该任务创建失败。最后将成功串联后的任务加入任务池。
接收任务指令过程如下:
接收用户语音输入,将语音转换为文字内容,根据文字内容判定是否为新增/添加任务,使用上述同样步骤完成新增的任务创建。接收用户语音输入,将语音转换为文字内容,根据文字内容判定是否为删除任务,如:关键字中包含“删除任务,取消任务等”,从任务池中查找并删除该任务。
在一个实施方式中,还可根据分身数字人的性格属性,为分身数字人匹配动作、自动语言答复内容、语音腔调、自动环境交互行为。
匹配原则如下:
1、稳重类性格数字人,匹配一些基础的人物动作;活泼类在基础的人物动作上再附加一些夸张类的人物动作。
2、稳重类性格数字人,自动化语言答复内容以简洁为主,语音腔调比较官方(如:播报员腔调);活泼类数字人,自动化语言答复内容可以包含一些幽默风趣内容,语音腔调可以根据用户偏好设置,如:明星人物口腔,卡通人物,语音腔调可基于最新的AI人声合成技术实现。
3、自动环境交互为数字人根据现场环境情况自动做出的反应。稳重类性格可根据环境情况,进行一些简单环境交互行为,如:点头、鼓掌、打call,说“好”;活泼类数字人可丰富行为,如:一些夸张/调皮的行为动作,说一些网络流行语。
S103,利用分身数字人采集虚拟场景的数据。
虚拟场景的数据可包括图像、声音、文字、环境交互等数据,可利用分身数字对虚拟现场进行图像、声音、文字、环境交互等数据的采集,并上传至数据服务器。
采集过程如下:
1、调整虚拟场景中摄像机视角,焦距、曝光度,将虚拟现场3D画面内容渲染成2D图像,并上传至数据服务器。数据标签格式为{场景ID,数据类型,数据二进制,附加属性}。
2、调整分身数字人在虚拟场景中的空间位置,从不同位置处收集声音数据,并将声音数据打上空间位置标签。如:{场景ID,声音,数据二进制,空间位置},并对声音数据进行简单的后处理(降噪)后,上传至数据服务器,其中,空间位置可以是舞台/球场前排,角落,观众席等。
S104,根据虚拟场景的数据,执行相应的任务。
本步骤可以根据任务解析计算图,得到输入节点和计算节点;根据输入节点获取相应虚拟场景的数据,根据数据执行计算节点,得到处理结果。
本步骤可以根据虚拟场景的场景类型,执行相应场景类型的任务。
示例性的,使用所采集的虚拟场景的数据,调用AI后端,执行相应的任务。
执行过程如下:
1、对当前的任务Ti,解析计算图G,得到输入节点和计算节点(ti构成)。
2、根据当前场景ID及输入节点信息从数据服务器得到数据源路径,计算节点ti服务建立连接。
3、从数据源路径获取数据,执行计算节点,并得到处理结果。
示例性的,S104之后,可向用户反馈执行任务所得到的用户感兴趣内容。
示例性的,S104之后,对S104任务执行结果进行确认,当满足任务触发条件时,在数字人前端显示执行结果或显示虚拟场景的内容,等待用户的做进一步决策。其中,前端反馈的内容展现形式可以为文字、语音提醒,现场实时画面等。根据数字人反馈的信息,用户可以发送指令(语音指令,手动操作)进行场景切换,也可发送相关指令忽略本次提醒。
进一步,用户可以向分身数字人设置任务代理,代替用户完成一些简单的任务操作,如:与周围环境互动,其中代理的交互行为和动作内容来自性格属性设定。活动结束时,可销毁分身数字人。
参见图2,图2为本公开实施例的一种分身数字人整体交互架构图。数字人前端包含各个数字场景的数字人装配、任务属性、性格数据、交互界面,以及生成的若干分身数字人,分身数字人还设置任务代理,代替用户完成一些简单的任务操作,交互界面用于反馈展示。数字人后端包括数据采集、数据服务器、现场画面声音、任务创建/接收、AI后端、任务决策和任务触发。
本公开实施例的技术方案,赋予分身数字人任务属性,根据任务属性创建任务,可以基于分身数字人采集虚拟现场的数据,通过执行相应的任务,根据虚拟场景的数据得到用户感兴趣内容,并反馈给用户,辅助用户完成多场景下的虚实体验。
本公开实施例的技术方案,赋予装扮、性格属性后的数字人形象和环境场景更加匹配,缓解了不同场景下数字人形象单一问题。在满足多场次同时虚实用户体验同时,不落下精彩重要内容,能让用户快速抵达现场。
参见图3,一种数字人分身交互装置,包括:
生成模块301,用于生成分身数字人,根据用户输入为分身数字人分配任务属性。
任务创建模块302,用于根据分身数字人的任务属性创建可执行的任务。
数据采集模块303,用于利用分身数字人采集虚拟场景的数据。
任务执行模块304,用于根据虚拟场景的数据,执行相应的任务。
在一个实施方式中,生成模块301,还用于根据用户输入为分身数字人分配性格属性,以使分身数字人基于性格属性与虚拟场景交互。
在一个实施方式中,数字人分身交互装置还包括装扮模块,用于根据分身数字人的场景类型从构建的数字人素材库中匹配相应场景类型的素材;根据匹配的素材装扮分身数字人。
在一个实施方式中,数字人分身交互装置还包括记录模块,用于记录装扮分身数字人的素材以及相应的场景类型。
在一个实施方式中,任务创建模块302,用于根据分身数字人的任务属性创建可执行的任务时,具体用于:根据任务属性所含有的任务信息,匹配对应的原子任务;对原子任务进行业务流程串联,以创建任务。
在一个实施方式中,任务创建模块302,还用于接收用户语音输入,将语音转换为文字内容,根据文字内容判断是否新添任务或删除任务。
在一个实施方式中,任务执行模块304,用于根据虚拟场景的数据,执行相应的任务时,具有用于:根据任务解析计算图,得到输入节点和计算节点;根据输入节点获取相应虚拟场景的数据,根据数据执行计算节点。
在一个实施方式中,任务执行模块304,用于根据虚拟场景的数据,执行相应的任务时,具体用于:根据虚拟场景的场景类型,执行相应场景类型的任务。
在一个实施方式中,数字人分身交互装置还包括反馈模块,用于向用户反馈执行所述任务所得到的用户感兴趣内容。
在一个实施方式中,数字人分身交互装置还包括显示模块,用于在任务的执行结果满足预设的任务触发条件时,显示执行结果或显示虚拟场景的内容。
本公开示例性实施例还提供一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器。存储器存储有能够被至少一个处理器执行的计算机程序,计算机程序在被至少一个处理器执行时用于使电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质,其中,计算机程序在被计算机的处理器执行时用于使计算机执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品,包括计算机程序,其中,计算机程序在被计算机的处理器执行时用于使计算机执行根据本公开实施例的方法。
参考图4,现将描述可以作为本公开的服务器或客户端的电子设备400的结构框图,其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示,电子设备400包括计算单元401,其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序,来执行各种适当的动作和处理。在RAM403中,还可存储设备400操作所需的各种程序和数据。计算单元401、ROM402以及RAM403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
电子设备400中的多个部件连接至I/O接口405,包括:输入单元406、输出单元407、存储单元408以及通信单元409。输入单元406可以是能向电子设备400输入信息的任何类型的设备,输入单元406可以接收输入的数字或字符信息,以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元407可以是能呈现信息的任何类型的设备,并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元408可以包括但不限于磁盘、光盘。通信单元409允许电子设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据,并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组,例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理。例如,在一些实施例中,前述方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元408。在一些实施例中,计算机程序的部分或者全部可以经由ROM402和/或通信单元409而被载入和/或安装到电子设备400上。在一些实施例中,计算单元401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行前述方法。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
Claims (12)
1.一种数字人分身交互方法,其特征在于,包括:
生成分身数字人,根据用户输入为所述分身数字人分配任务属性;
根据所述分身数字人的任务属性创建可执行的任务;
利用所述分身数字人采集虚拟场景的数据;
根据所述虚拟场景的数据,执行相应的所述任务。
2.根据权利要求1所述的数字人分身交互方法,其特征在于,所述方法还包括:
根据用户输入为所述分身数字人分配性格属性,以使所述分身数字人基于所述性格属性与所述虚拟场景交互。
3.根据权利要求1所述的数字人分身交互方法,其特征在于,所述生成分身数字人之后,所述方法包括:
根据所述分身数字人的场景类型从构建的数字人素材库中匹配相应场景类型的素材;
根据匹配的素材装扮所述分身数字人。
4.根据权利要求3所述的数字人分身交互方法,其特征在于,所述方法还包括:
记录装扮所述分身数字人的素材以及相应的场景类型。
5.根据权利要求1所述的数字人分身交互方法,其特征在于,所述根据所述分身数字人的任务属性创建可执行的任务,包括:
根据所述任务属性所含有的任务信息,匹配对应的原子任务;
对所述原子任务进行业务流程串联,以创建所述任务。
6.根据权利要求1所述的数字人分身交互方法,其特征在于,所述方法还包括:
接收用户语音输入,将语音转换为文字内容,根据文字内容判断是否新添任务或删除任务。
7.根据权利要求1所述的数字人分身交互方法,其特征在于,所述根据所述虚拟场景的数据,执行相应的所述任务,包括:
根据所述任务解析计算图,得到输入节点和计算节点;
根据所述输入节点获取相应虚拟场景的数据,根据所述数据执行计算节点。
8.根据权利要求7所述的数字人分身交互方法,其特征在于,所述根据所述虚拟场景的数据,执行相应的所述任务,包括:
根据所述虚拟场景的场景类型,执行相应所述场景类型的任务。
9.根据权利要求1所述的数字人分身交互方法,其特征在于,所述方法还包括:
向用户反馈执行所述任务所得到的用户感兴趣内容。
10.一种数字人分身交互装置,其特征在于,包括:
生成模块,用于生成分身数字人,根据用户输入为所述分身数字人分配任务属性;
任务创建模块,用于根据所述分身数字人的任务属性创建可执行的任务;
数据采集模块,用于利用分身数字人采集虚拟场景的数据;
任务执行模块,用于根据所述虚拟场景的数据,执行相应的所述任务。
11.一种电子设备,其特征在于,包括:
处理器;以及
存储程序的存储器,
其中,所述程序包括指令,所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-9中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311523573.8A CN117519825A (zh) | 2023-11-15 | 2023-11-15 | 一种数字人分身交互方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311523573.8A CN117519825A (zh) | 2023-11-15 | 2023-11-15 | 一种数字人分身交互方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117519825A true CN117519825A (zh) | 2024-02-06 |
Family
ID=89762149
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311523573.8A Pending CN117519825A (zh) | 2023-11-15 | 2023-11-15 | 一种数字人分身交互方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117519825A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117891351A (zh) * | 2024-03-14 | 2024-04-16 | 北京太一云科技有限公司 | 一种元宇宙跨屏虚实交互方法及*** |
-
2023
- 2023-11-15 CN CN202311523573.8A patent/CN117519825A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117891351A (zh) * | 2024-03-14 | 2024-04-16 | 北京太一云科技有限公司 | 一种元宇宙跨屏虚实交互方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200125920A1 (en) | Interaction method and apparatus of virtual robot, storage medium and electronic device | |
CN105450642B (zh) | 一种基于在线直播的数据处理方法、相关装置及*** | |
US10904488B1 (en) | Generated realistic representation of video participants | |
CN111246232A (zh) | 直播互动方法、装置、电子设备及存储介质 | |
CN108171160B (zh) | 一种任务结果识别方法、装置、存储介质及电子设备 | |
US11393134B2 (en) | Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application | |
CN117519825A (zh) | 一种数字人分身交互方法、装置、电子设备和存储介质 | |
CN114245099B (zh) | 视频生成方法、装置、电子设备以及存储介质 | |
EP4161067A1 (en) | A method, an apparatus and a computer program product for video encoding and video decoding | |
US20160035016A1 (en) | Method for experiencing multi-dimensional content in a virtual reality environment | |
CN114697755A (zh) | 虚拟场景信息交互方法、装置、设备以及存储介质 | |
CN113923462A (zh) | 视频生成、直播处理方法、设备和可读介质 | |
CN110162667A (zh) | 视频生成方法、装置及存储介质 | |
CN112528936B (zh) | 视频序列编排方法、装置、电子设备及存储介质 | |
CN115515016B (zh) | 一种可实现自交互回复的虚拟直播方法、***及存储介质 | |
CN113542624A (zh) | 生成商品对象讲解视频的方法及装置 | |
US20230164298A1 (en) | Generating and modifying video calling and extended-reality environment applications | |
JP2017187995A (ja) | ソーシャルメディアシステム及びプログラム | |
CN115115753A (zh) | 动画视频处理方法、装置、设备及存储介质 | |
JP2021528710A (ja) | マルチプロフィールを提供する方法およびシステム | |
CN113938696A (zh) | 基于自定义虚拟礼物的直播互动方法、***及计算机设备 | |
CN114025185A (zh) | 一种视频回放方法、装置、电子设备及存储介质 | |
CN117632109A (zh) | 虚拟数字助手构建方法、装置、电子设备以及存储介质 | |
KR20170127354A (ko) | 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법 | |
CN114449301B (zh) | 物品发送方法、装置、电子设备和计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |