CN114051148A - 一种虚拟主播生成方法、装置及电子设备 - Google Patents
一种虚拟主播生成方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114051148A CN114051148A CN202111325953.1A CN202111325953A CN114051148A CN 114051148 A CN114051148 A CN 114051148A CN 202111325953 A CN202111325953 A CN 202111325953A CN 114051148 A CN114051148 A CN 114051148A
- Authority
- CN
- China
- Prior art keywords
- data
- dynamic
- virtual anchor
- capturing
- dynamic capture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009471 action Effects 0.000 claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims abstract description 26
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 230000003287 optical effect Effects 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 238000000354 decomposition reaction Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 230000008921 facial expression Effects 0.000 description 6
- 210000001503 joint Anatomy 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及一种虚拟主播生成方法、装置及电子设备，其中，该方法包括：获取动捕设备捕捉真人模特动作生成的动捕数据；动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；对动捕数据进行去噪处理得到去噪后的动捕数据；根据去噪后的动捕数据生成关节点坐标信息和面捕关键点；利用关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。本发明通过利用惯性和光学混合动捕设备来获取动捕数据，可实现精准、稳定的动作捕捉，并将动捕数据与数字人模型进行动作匹配得到虚拟主播，可以使虚拟主播能够低延迟的做出主播的真实表情与动作。
Description
技术领域
本发明涉及网络直播技术领域，特别是涉及一种虚拟主播生成方法、装置、电子设备及计算机可读存储介质。
背景技术
随着移动互联网的不断发展，网络直播技术也得到了飞速提升。在目前众多直播模式中，利用虚拟人物直播成为了一种较为流行的直播模式。但就目前的虚拟直播模式而言，由于需要真人对观众进行互动，使虚拟人物做出相应的动作，但在互动过程中，往往因虚拟人物或者动捕设备的限制使主播动作无法完美地融合到虚拟场景中，使得画面协调性不高，导致观众的观看代入感不好，整体的直播互动效果较差。
发明内容
为解决上述问题，本发明实施例的目的在于提供一种虚拟主播生成方法、装置、电子设备及计算机可读存储介质，旨在解决虚拟直播画面协调性不高的问题。
一种虚拟主播生成方法，包括：
步骤1：获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；
步骤2：对所述动捕数据进行去噪处理得到去噪后的动捕数据；
步骤3：根据所述去噪后的动捕数据生成关节点坐标信息和面捕关键点；
步骤4：利用所述关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。
优选的，所述步骤4：利用所述关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播，包括：
步骤4.1：利用面捕关键点与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
步骤4.2：利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
优选的，所述步骤2：对所述动捕数据进行去噪处理得到去噪后的动捕数据，包括：
步骤2.1：利用图像去噪模型对所述光学动铺数据和所述面铺数据进行处理得到去噪后的光学动铺数据和面铺数据；
步骤2.2：利用小波变换对所述惯性动铺数据进行多尺度分解得到多个小波系数；
步骤2.3：计算所述小波系数之间的关联度；
步骤2.4：根据所述小波系数得到滤波阈值；
步骤2.5：判断所述滤波阈值是否大于所述关联度；
步骤2.6：若所述滤波阈值大于所述关联度，则将相应的小波系数设置为零；
步骤2.7：若所述滤波阈值小于等于所述关联度，则保留相应的小波系数，得到去噪后的小波系数；
步骤2.8：对所述去噪后的小波系数进行重构得到去噪后的惯性动铺数据。
优选的，所述图像去噪模型为：
其中，g(x,y)表示去噪后的图像数据，f(x,y)表示原始的图像数据，α表示权系数，
优选的，所述步骤2.3：计算所述小波系数之间的关联度，包括：
采用公式：
得到小波系数之间的关联度；其中，NR表示关联度，ω(m,n)表示小波系数，m表示分解尺度，n表示小波变换系数。
优选的，所述步骤2.4：根据所述小波系数得到滤波阈值，包括：
采用公式：
得到滤波阈值；其中，λ表示滤波阈值，σm表示P的均方差。
本发明还提供了一种虚拟主播生成***，包括：
动捕数据获取模块，用于获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；
去噪模块，用于对所述动捕数据进行去噪处理得到去噪后的动捕数据；
动捕数据处理模块，用于根据所述去噪后的动捕数据生成关节点坐标信息和面捕关键点；
动作匹配模块，用于利用所述关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。
优选的，所述动作匹配模块，包括：
表情匹配单元，用于利用面捕关键点与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
关节匹配单元，用于利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
本发明还提供了一种电子设备，包括总线、收发器(显示单元/输出单元、输入单元)、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现上述任一项所述的一种虚拟主播生成方法中的步骤。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的一种虚拟主播生成方法中的步骤。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明涉及一种虚拟主播生成方法、装置、电子设备及计算机可读存储介质，其中，该方法包括：获取动捕设备捕捉真人模特动作生成的动捕数据；动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；对动捕数据进行去噪处理得到去噪后的动捕数据；根据去噪后的动捕数据生成关节点坐标信息和面捕关键点；利用关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。本发明通过利用惯性和光学混合动捕设备来获取动捕数据，可实现精准、稳定的动作捕捉，并将动捕数据与数字人模型进行动作匹配得到虚拟主播，可以使虚拟主播能够低延迟的做出主播的真实表情与动作。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的实施例中的一种虚拟主播生成方法流程图；
图2为本发明提供的实施例中的一种虚拟主播生成方法的工作流程图。
具体实施方式
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例的目的在于提供一种虚拟主播生成方法、装置、电子设备及计算机可读存储介质，旨在解决虚拟直播画面协调性不高的问题。
请一并参阅图1-2，一种虚拟主播生成方法，包括：
S1：获取动捕设备捕捉真人模特动作生成的动捕数据；动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；
在实际应用中，动捕设备采用惯性+光学混合设备(6个光学设备、1套惯性动捕设备和一双手套)。本发明通过利用光学与惯性混合传感器，结合逆向动力学算法、动作模式识别以及行为预测采集动捕数据，相比传统的纯惯性或者纯光学设备更加精准，可实现低延迟、抗干扰的动作捕捉；在捕捉真人模特动作时，先把动捕设备的接收器与电脑连接好，然后将光学设备放置在真人模特前后各2个，左右各1个，且距离真人模特1.5米处；惯性动捕设备分为身体穿戴设备与手套，先穿手套，再穿身体穿戴设备；当真人模特穿戴好后打开身体穿戴设备、手套以及电脑端的动捕软件，当确定电脑与动捕设备正常链接后，开始捕捉动作。
S2：对动捕数据进行去噪处理得到去噪后的动捕数据；
S3：根据去噪后的动捕数据生成关节点坐标信息和面捕关键点；
S4：利用关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。
S4具体包括：
S4.1：利用面捕关键点与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
进一步的，首先制作52个不同姿态的脸部表情(其个数可以根据实际需求实时调整)，利用3D软件打包成动态变形包，导出成FBX文件，并将FBX文件导入至Unity编辑器中添加ARKit Face Actor面捕BS控制组件，同时利用Live Capture创建面捕数据绑定模板FaceMapper。需要说明的是，该模板支持名称粗检索，可一键进行关键词匹配，且在绑定面捕关键点与模型BS控制点时也支持手动自定义调整绑定关系。确定绑定无误后，通过LiveCapture创建虚拟摄像机，将模型的ARKit Face Actor添加至捕捉驱动中，打开手机程序Face Captrue并使电脑与手机在同一局域网内，使手机程序Face Captrue与Unity编辑器配对，在完成Face Captrue与Unity编辑器配对后，即可打开面部捕捉，进行实时数据传输，从而实现Unity中数字人的实时面部表情驱动，本发明还支持面捕表情录制，可在数字人待机状态下使用已录制的面捕数据控制表情，增加了主播下镜休息空间，同时提升了在主播离镜休息时数字人表情的真实性。
本发明为了解决现阶段面部捕捉技术及设备要求高、捕捉数据对接难、市场定价混乱等问题，面捕使用Unity最新推出的以Apple ARKit为技术底层的Live Capture插件，搭配Unity推出的ios端手机程序Face Capture，并制作了与ARKit技术标准一致的52个BlendShape(简称BS)表情，实现了将面部捕捉数据与数字人模型BS快速、便捷绑定，并将捕捉数据实时传入到Unity编辑器，可无延迟驱动数字人面部表情变化。
S4.2：利用关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
进一步的，本发明使用Unity获取动捕设备回传的关节点坐标信息用来驱动身体关节、手部关节做出真实动作，同时搭配Live Capture使数字人能够做出主播的真实表情。
本发明可通过屏幕捕捉技术实现最终的实时直播效果。具体的，在完成虚拟主播后，通过电脑双屏方式将Unity软件的Game窗口分屏得到屏幕B，使用HDMI分线盒将屏幕B与直播电脑连接，直播电脑使用直播软件捕捉屏幕B的影像进行直播，可规避现阶段使用单台电脑同时进行动作、面部数据捕捉与画面渲染导致硬件压力过大的问题。
本发明使用动作捕捉设备把捕捉数据通过第三方动捕软件传输到unity，同时使用Face Capture(苹果手机app)把面捕数据传输到unity，可以实现unity同时捕捉到真人模特的身体、双手和面部表情数据，实现数字人实时直播。本发明仅使用Unity官方插件即可驱动数字人进行直播，无需额外的技术方式，大大减小了研发的技术复杂度，同时保证了直播的流畅性，且可在直播过程中实时自定义镜头位置、画面滤镜、人物材质和道具动画等效果。
进一步的，S2：对动捕数据进行去噪处理得到去噪后的动捕数据，包括：
S2.1：利用图像去噪模型对光学动铺数据和面铺数据进行处理得到去噪后的光学动铺数据和面铺数据；
其中，图像去噪模型为：
其中，g(x,y)表示去噪后的图像数据，f(x,y)表示原始的图像数据，α表示权系数，
本发明通过利用图像去噪模型对动捕数据进行去噪不仅可以提高图像的清晰度，还可以增强图像的纹理信息。
小波变换是一种空间变换域的数据处理方法。对惯性动铺数据进行m尺度分解，可产生不同大小的小波系数，其中无噪声数据的小波系数与分解尺度m成正比，而噪声与m成反比，基于该特点可进行消噪处理，提高传感器的数据质量，其去噪过程如下：
S2.2：利用小波变换对惯性动铺数据进行多尺度分解得到多个小波系数；
S2.3：计算小波系数之间的关联度；
具体的，采用公式：
得到小波系数之间的关联度；其中，NR表示关联度，ω(m,n)表示小波系数，m表示分解尺度，n表示小波变换系数。
S2.4：根据小波系数得到滤波阈值；
具体的，采用公式：
得到滤波阈值；其中，λ表示滤波阈值，σm表示P的均方差。
S2.5：判断滤波阈值是否大于关联度；
S2.6：若滤波阈值大于关联度，则将相应的小波系数设置为零；
S2.7：若滤波阈值小于等于关联度，则保留相应的小波系数，得到去噪后的小波系数；
S2.8：对去噪后的小波系数进行重构得到去噪后的惯性动铺数据。
本发明基于关联度和滤波阈值对惯性动铺数据进行去噪，可以消除传感器因电磁干扰在传输过程中产生的噪声。
本发明还提供了一种虚拟主播生成***，包括：
动捕数据获取模块，用于获取动捕设备捕捉真人模特动作生成的动捕数据；动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；
去噪模块，用于对动捕数据进行去噪处理得到去噪后的动捕数据；
动捕数据处理模块，用于根据去噪后的动捕数据生成关节点坐标信息和面捕关键点；
动作匹配模块，用于利用关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。
优选的，动作匹配模块，包括：
表情匹配单元，用于利用面捕关键点与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
关节匹配单元，用于利用关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过利用惯性和光学混合动捕设备来获取动捕数据，可实现精准、稳定的动作捕捉，并将动捕数据与数字人模型进行动作匹配得到虚拟主播，可以使虚拟主播能够低延迟的做出主播的真实表情与动作。
此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述一种虚拟主播生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种虚拟主播生成方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换的技术方案，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种虚拟主播生成方法，其特征在于，包括：
步骤1：获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；
步骤2：对所述动捕数据进行去噪处理得到去噪后的动捕数据；
步骤3：根据所述去噪后的动捕数据生成关节点坐标信息和面捕关键点；
步骤4：利用所述关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。
2.根据权利要求1所述的一种虚拟主播生成方法，其特征在于，所述步骤4：利用所述关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播，包括：
步骤4.1：利用面捕关键点与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
步骤4.2：利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
3.根据权利要求1所述的一种虚拟主播生成方法，其特征在于，所述步骤2：对所述动捕数据进行去噪处理得到去噪后的动捕数据，包括：
步骤2.1：利用图像去噪模型对所述光学动铺数据和所述面铺数据进行处理得到去噪后的光学动铺数据和面铺数据；
步骤2.2：利用小波变换对所述惯性动铺数据进行多尺度分解得到多个小波系数；
步骤2.3：计算所述小波系数之间的关联度；
步骤2.4：根据所述小波系数得到滤波阈值；
步骤2.5：判断所述滤波阈值是否大于所述关联度；
步骤2.6：若所述滤波阈值大于所述关联度，则将相应的小波系数设置为零；
步骤2.7：若所述滤波阈值小于等于所述关联度，则保留相应的小波系数，得到去噪后的小波系数；
步骤2.8：对所述去噪后的小波系数进行重构得到去噪后的惯性动铺数据。
4.根据权利要求3所述的一种虚拟主播生成方法，其特征在于，所述图像去噪模型为：
其中，g(x,y)表示去噪后的图像数据，f(x,y)表示原始的图像数据，α表示权系数，
5.根据权利要求3所述的一种虚拟主播生成方法，其特征在于，所述步骤2.3：计算所述小波系数之间的关联度，包括：
采用公式：
得到小波系数之间的关联度；其中，NR表示关联度，ω(m,n)表示小波系数，m表示分解尺度，n表示小波变换系数。
6.根据权利要求5所述的一种虚拟主播生成方法，其特征在于，所述步骤2.4：根据所述小波系数得到滤波阈值，包括：
采用公式：
得到滤波阈值；其中，λ表示滤波阈值，σm表示P的均方差。
7.一种虚拟主播生成***，其特征在于，包括：
动捕数据获取模块，用于获取动捕设备捕捉真人模特动作生成的动捕数据；所述动捕数据包括光学动铺数据、惯性动铺数据和面铺数据；
去噪模块，用于对所述动捕数据进行去噪处理得到去噪后的动捕数据；
动捕数据处理模块，用于根据所述去噪后的动捕数据生成关节点坐标信息和面捕关键点；
动作匹配模块，用于利用所述关节点坐标信息和面捕关键点与预设的数字人模型进行动作匹配得到虚拟主播。
8.根据权利要求7所述的一种虚拟主播生成***，其特征在于，所述动作匹配模块，包括：
表情匹配单元，用于利用面捕关键点与预设的数字人模型进行表情匹配得到表情匹配完成的数字人；
关节匹配单元，用于利用所述关节点坐标信息与表情匹配完成的数字人身体关节进行匹配，得到虚拟主播。
9.一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，其特征在于，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的一种虚拟主播生成方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的一种虚拟主播生成方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111325953.1A CN114051148A (zh) | 2021-11-10 | 2021-11-10 | 一种虚拟主播生成方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111325953.1A CN114051148A (zh) | 2021-11-10 | 2021-11-10 | 一种虚拟主播生成方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114051148A true CN114051148A (zh) | 2022-02-15 |
Family
ID=80208287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111325953.1A Pending CN114051148A (zh) | 2021-11-10 | 2021-11-10 | 一种虚拟主播生成方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114051148A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861500A (zh) * | 2022-12-09 | 2023-03-28 | 上海哔哩哔哩科技有限公司 | 2d模型碰撞体生成方法及装置 |
| CN116112716A (zh) * | 2023-04-14 | 2023-05-12 | 世优（北京）科技有限公司 | 基于单指令流多数据流的虚拟人直播方法、装置及*** |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070018975A1 (en) * | 2005-07-20 | 2007-01-25 | Bracco Imaging, S.P.A. | Methods and systems for mapping a virtual model of an object to the object |
| CN101533528A (zh) * | 2009-04-18 | 2009-09-16 | 大连大学 | 基于模块分段线性模型的光学运动捕捉数据处理方法 |
| CN102184530A (zh) * | 2011-05-16 | 2011-09-14 | 南京航空航天大学 | 基于灰关联阈值的图像去噪方法 |
| CN107170030A (zh) * | 2017-05-31 | 2017-09-15 | 珠海金山网络游戏科技有限公司 | 一种虚拟主播直播方法及*** |
| CN108986190A (zh) * | 2018-06-21 | 2018-12-11 | 珠海金山网络游戏科技有限公司 | 一种基于三维动画中非人形角色的虚拟主播的方法和*** |
| WO2019037074A1 (zh) * | 2017-08-25 | 2019-02-28 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互***、方法及计算机存储介质 |
| CN110850983A (zh) * | 2019-11-13 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 视频直播中的虚拟对象控制方法、装置和存储介质 |
| CN111899320A (zh) * | 2020-08-20 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 数据处理的方法、动捕去噪模型的训练方法及装置 |
| CN112989481A (zh) * | 2021-05-17 | 2021-06-18 | 中国科学院武汉岩土力学研究所 | 复杂地质隧道施工围岩稳定可视化图像数据处理方法 |
| CN113473159A (zh) * | 2020-03-11 | 2021-10-01 | 广州虎牙科技有限公司 | 数字人直播方法、装置、直播管理设备及可读存储介质 |
-
2021
- 2021-11-10 CN CN202111325953.1A patent/CN114051148A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070018975A1 (en) * | 2005-07-20 | 2007-01-25 | Bracco Imaging, S.P.A. | Methods and systems for mapping a virtual model of an object to the object |
| CN101533528A (zh) * | 2009-04-18 | 2009-09-16 | 大连大学 | 基于模块分段线性模型的光学运动捕捉数据处理方法 |
| CN102184530A (zh) * | 2011-05-16 | 2011-09-14 | 南京航空航天大学 | 基于灰关联阈值的图像去噪方法 |
| CN107170030A (zh) * | 2017-05-31 | 2017-09-15 | 珠海金山网络游戏科技有限公司 | 一种虚拟主播直播方法及*** |
| WO2019037074A1 (zh) * | 2017-08-25 | 2019-02-28 | 深圳市瑞立视多媒体科技有限公司 | 虚拟现实交互***、方法及计算机存储介质 |
| CN108986190A (zh) * | 2018-06-21 | 2018-12-11 | 珠海金山网络游戏科技有限公司 | 一种基于三维动画中非人形角色的虚拟主播的方法和*** |
| CN110850983A (zh) * | 2019-11-13 | 2020-02-28 | 腾讯科技（深圳）有限公司 | 视频直播中的虚拟对象控制方法、装置和存储介质 |
| CN113473159A (zh) * | 2020-03-11 | 2021-10-01 | 广州虎牙科技有限公司 | 数字人直播方法、装置、直播管理设备及可读存储介质 |
| CN111899320A (zh) * | 2020-08-20 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 数据处理的方法、动捕去噪模型的训练方法及装置 |
| CN112989481A (zh) * | 2021-05-17 | 2021-06-18 | 中国科学院武汉岩土力学研究所 | 复杂地质隧道施工围岩稳定可视化图像数据处理方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115861500A (zh) * | 2022-12-09 | 2023-03-28 | 上海哔哩哔哩科技有限公司 | 2d模型碰撞体生成方法及装置 |
| CN115861500B (zh) * | 2022-12-09 | 2023-08-18 | 上海哔哩哔哩科技有限公司 | 2d模型碰撞体生成方法及装置 |
| CN116112716A (zh) * | 2023-04-14 | 2023-05-12 | 世优（北京）科技有限公司 | 基于单指令流多数据流的虚拟人直播方法、装置及*** |
| CN116112716B (zh) * | 2023-04-14 | 2023-06-09 | 世优（北京）科技有限公司 | 基于单指令流多数据流的虚拟人直播方法、装置及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105052129B (zh) | 级联相机运动估计、滚动快门检测和用于视频稳定性的相机抖动检测 | |
| Moorthy et al. | Visual quality assessment algorithms: what does the future hold? | |
| WO2024022065A1 (zh) | 虚拟表情生成方法、装置、电子设备和存储介质 | |
| CN114051148A (zh) | 一种虚拟主播生成方法、装置及电子设备 | |
| CN102256061B (zh) | 一种二维三维混合的视频稳定方法 | |
| US8724849B2 (en) | Information processing device, information processing method, program, and information storage medium | |
| US20240212252A1 (en) | Method and apparatus for training video generation model, storage medium, and computer device | |
| CN113298858A (zh) | 一种虚拟形象的动作生成方法、装置、终端以及存储介质 | |
| CN104010180B (zh) | 三维视频滤波方法和装置 | |
| CN107343206B (zh) | 支持多视角观看的视频生成方法、装置、介质和电子设备 | |
| CN104216533B (zh) | 一种基于DirectX9的头戴式虚拟现实显示器 | |
| US20230166157A1 (en) | Electronic apparatus and control method therefor | |
| CN115100707A (zh) | 模型的训练方法、视频信息生成方法、设备以及存储介质 | |
| CN115239857A (zh) | 图像生成方法以及电子设备 | |
| CN117274501B (zh) | 一种可驱动数字人建模方法、装置、设备及介质 | |
| CN106778576A (zh) | 一种基于sehm特征图序列的动作识别方法 | |
| CN111510707B (zh) | 一种基于时空Gabor特征张量的全参考屏幕视频质量评估方法 | |
| US11282282B2 (en) | Virtual and physical reality integration | |
| US10152818B2 (en) | Techniques for stereo three dimensional image mapping | |
| WO2023088276A1 (zh) | 漫画化模型构建方法、装置、设备、存储介质及程序产品 | |
| CN114049418A (zh) | 一种基于虚拟主播的直播方法与*** | |
| CN116977392A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| US20210279843A1 (en) | Joint rolling shutter image stitching and rectification | |
| CN115914834A (zh) | 视频处理方法及装置 | |
| CN115082636A (zh) | 基于混合高斯网络的单图像三维重建方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |