CN106937154A - 处理虚拟形象的方法及装置 - Google Patents
处理虚拟形象的方法及装置 Download PDFInfo
- Publication number
- CN106937154A CN106937154A CN201710160405.5A CN201710160405A CN106937154A CN 106937154 A CN106937154 A CN 106937154A CN 201710160405 A CN201710160405 A CN 201710160405A CN 106937154 A CN106937154 A CN 106937154A
- Authority
- CN
- China
- Prior art keywords
- video
- virtual image
- promoter
- data
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000008569 process Effects 0.000 title claims description 7
- 210000001097 facial muscle Anatomy 0.000 claims abstract description 49
- 230000009471 action Effects 0.000 claims description 46
- 210000000988 bone and bone Anatomy 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 17
- 230000001815 facial effect Effects 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 8
- 241000209140 Triticum Species 0.000 claims description 7
- 235000021307 Triticum Nutrition 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 claims description 5
- 235000013372 meat Nutrition 0.000 claims description 2
- 210000003205 muscle Anatomy 0.000 claims description 2
- 230000008921 facial expression Effects 0.000 abstract description 10
- 230000015654 memory Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 206010048232 Yawning Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
- H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请实施例提供一种处理虚拟形象的方法及装置，所述方法包括：根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致，使得第一虚拟形象更逼真，用户体验更好。
Description
技术领域
本申请实施例涉及计算机技术领域，尤其涉及一种处理虚拟形象的方法及装置。
背景技术
视频直播是指利用互联网及流媒体技术进行直播，视频因融合了图像、文字、声音等丰富元素，声形并茂，效果极佳，逐渐成为互联网的主流表达方式。
为提高用户体验，在视频直播中，通常添加一些虚拟形象。现有技术中，通过获得视频中主播的骨骼数据，将骨骼数据发送至服务器，观众客户端从服务器获得主播的骨骼数据后，根据骨骼数据驱动观众客户端本地的虚拟形象运动，但这种方式经常出现主播与虚拟形象动作不同步的现象，致使用户体验很差。
因此，如何使得主播与虚拟形象动作同步，提升用户体验，成为现有技术中亟需解决的技术问题。
发明内容
鉴于上述问题，本申请提供一种处理虚拟形象的方法及装置，克服上述问题或者至少部分地解决上述问题。
本申请实施例提供一种处理虚拟形象的方法，应用于第一客户端，包括：
根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
可选地，在本申请实施例中，在所述根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频之前还包括：
使用面部识别技术解析第一发起者视频，以获得所述第一发起者的面部肌肉数据。
可选地，在本申请实施例中，所述方法还包括：
根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频，所述骨骼动作数据用于驱动所述第一虚拟形象运动。
可选地，在本申请实施例中，所述根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频包括：
获得所述第一发起者的骨骼动作数据对应的动作指令，所述动作指令用于执行至少一个动作；
驱动所述第一虚拟形象执行所述动作指令，以确定包括第一虚拟形象视频的第一视频。
可选地，在本申请实施例中，在所述根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频之后还包括：
获得第一发起者音频，并将所述第一发起者音频添加到所述第一视频中，以使观众客户端接收到包括所述第一发起者音频的第一视频。
可选地，在本申请实施例中，所述第一视频还包括第一发起者视频。
可选地，在本申请实施例中，所述将所述第一视频上传至服务端，以使观众客户端获得所述第一视频包括：使用实时消息传输协议将所述第一视频上传至服务端，以使观众客户端实时获得所述第一视频。
本申请实施例提供一种处理虚拟形象的方法，应用于第二客户端，包括：
根据与第一发起者连麦的第二发起者的面部肌肉数据，生成包括第二虚拟形象视频的第二视频，所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动；
将所述第二视频上传至服务端，以将所述第一视频和第二视频合并。
本申请实施例提供一种一种处理虚拟形象的方法，包括：
接收第一客户端的第一视频和第二客户端的第二视频；
通过视频融合技术合并所述第一视频和所述第二视频，生成互动视频，以使观众客户端获得所述互动视频。
本申请实施例提供一种处理虚拟形象的装置，应用于第一客户端，包括：
第一生成模块，用于根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
第一上传模块，用于将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
可选地，在本申请实施例中，所述装置还包括：
解析模块，用于使用面部识别技术解析第一发起者视频，以获得所述第一发起者的面部肌肉数据。
本申请实施例提供一种处理虚拟形象的装置，应用于第二客户端，包括：
第二生成模块，用于根据与第一发起者连麦的第二发起者的面部肌肉数据，生成包括第二拟形象视频的第二视频，所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动；
第二上传模块，用于将所述第二视频上传至服务端，以将所述第一视频和第二视频合并。
本申请实施例提供一种处理虚拟形象的装置，包括：
接收模块，用于接收第一客户端的第一视频和观众客户端的第二视频；
合并模块，用于通过视频融合技术合并所述第一视频和第二视频，生成互动视频，以使观众客户端获得所述互动视频。
由以上技术方案可见，本申请实施例可据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；并将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致，使得第一虚拟形象更为逼真，用户体验更好。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请一种处理虚拟形象方法的一实施例的流程图；
图2是本申请一种处理虚拟形象方法的另一实施例的流程图；
图3是本申请一种处理虚拟形象方法的另一实施例的流程图；
图4是本申请一种处理虚拟形象方法的另一实施例的流程图；
图5是本申请一种处理虚拟形象方法的另一实施例的流程图；
图6是本申请一种处理虚拟形象方法的另一实施例的结构图；
图7是本申请一种处理虚拟形象方法的另一实施例的结构图；
图8是本申请一种处理虚拟形象装置的一实施例的结构图；
图9是本申请一种处理虚拟形象装置的另一实施例的结构图；
图10是本申请一种处理虚拟形象装置的另一实施例的结构图；
图11是本申请一执行处理虚拟形象方法的一电子设备的硬件结构示意图。
具体实施方式
本申请实施例可据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；并将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致，使得第一虚拟形象更为逼真，用户体验更好。
当然，实施本申请实施例的任一技术方案不必一定需要同时达到以上的所有优点。
为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
下面结合本申请实施例附图进一步说明本申请实施例具体实现。
参见图1，在本申请一具体实现中，所述处理虚拟形象的方法应用于第一客户端，其包括：
S101、据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
具体地，在本实施例中，所述第一客户端可以是包括硬件、软件或内嵌逻辑组件或者两个或多个此类组件的组合的电子装置，并能够执行由移动通信功能。例如，移动通信设备可以是计算机、智能手机、平板电脑、笔记本电脑、上网本、智能穿戴设备等。
具体地，在本实施例中，所述第一发起者可包括至少一个第一主播，每个所述第一主播可对应至少一个第一虚拟形象。
具体地，在本实施例中，所述面部肌肉数据可以是能解析出第一发起者面部表情动作的数据，例如，所述面部表情动作包括但不限于：微笑、悲伤、愤怒、眨眼睛、打哈欠等。
具体地，在本实施例中，所述第一虚拟形象可以是具有面部器官的虚拟形象，例如，卡通形象、人物图像等。
具体地，在本实施例中，所述第一虚拟形象的源文件可以是PMD格式、MAX格式的源文件。
具体地，在本实施例中，所述第一视频可只包括第一虚拟形象视频。
具体地，在本实施例中，所述第一视频还包括第一发起者视频。例如，可使用视频融合技术将所述第一发起者视频和所述第一虚拟形象视频合并，获得第一视频，以使观众客户端获得的第一发起者视频和第一虚拟形象视频中的动作保持同步；另外，将所述第一发起者视频和所述第一虚拟形象视频合并，获得第一视频，还可降低网络传输的数据量，例如，3M大小的第一发起者视频与1M大小的第一虚拟形象视频合并后获得3M大小的第一视频。
S102、将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
具体地，本实施例中，所述服务端应被理解成一组可处理特定业务逻辑的服务程序，服务端可接收客户端端发出的网络请求(Network Request)，并根据所述网络请求作出逻辑处理，并将逻辑处理后获得结果数据返回给客户端。
具体地，本实施例中，可使用实时消息传输协议(RTMP，Real Time MessagingProtocol)将所述第一视频上传至服务端。当然，本实施例还可使用其他可实现数据实时传输的协议，以使观众客户端实时获得所述第一视频。例如：可实现数据实时传输的协议可以是实时流传输协议(RTSP，Real Time Streaming Protocol)、HTTP实时流媒体协议(HLS，HTTP Live Streaming)。
本实施例可据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；并将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。本申请实施例可使第一虚拟形象的表情动作与第一发起者的表情动作一致，使得第一虚拟形象更为逼真，用户体验更好。
参见图2，在本申请另一具体实现中，所述方法包括：
S201、使用面部识别技术解析第一发起者视频，以获得所述第一发起者的面部肌肉数据。
具体地，本实施例中，可使用图像采集设备连续地采集第一发起者的图像，将所述连续的第一发起者图像转换为所述第一发起者视频。例如，使用摄像头连续地采集第一发起者的图像，以获得第一发起者视频。
具体地，本实施例中，所述面部识别技术(FRT，Face Recognition Technology)，也称为人脸识别技术，可对第一发起者的图像进行预处理、表情特征提取和表情分类等处理，以获得面部肌肉数据。
具体地，本实施例中，可使用深度学习(Deep Learning)对所述面部识别技术进行优化。深度学习可通过组合面部的低层特征形成更加抽象的高层表示属性类别或特征，即深度学习可对表情特征提取的算法进行优化，以获得更清晰准确的表情。所述面部识别技术和深度学习属于现有技术，在此不再赘述。
S202、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
S203、将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
步骤S202、S203分别类似于图1对应实施例中的步骤S101、S102，在此不再赘述。
本实施例使用面部识别技术解析第一发起者视频，可提高面部识别的准确性。
参见图3，在本申请另一具体实现中，所述方法包括：
S301、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
S302、根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频，所述骨骼动作数据用于驱动所述第一虚拟形象运动。
具体地，在本实施例中，所述骨骼动作数据可根据预设的骨骼特征节点确定。骨骼特征节点确定包括但不限于：头部节点、颈部节点、胸部节点，左手部节点、左手臂节点、右手部节点、右手臂节点、左大腿部节点、左小腿部节点、左脚部节点、右大腿部节点、右小腿部节点以及右脚部节点。可根据骨骼特征节点的变化确定所述骨骼动作数据。
具体地，在本实施例中，所述骨骼动作数据可以是表现第一主播肢体动作的数据，肢体动作包括但不限于：点头、摇头、挥手、转身。
具体地，在本实施例中，可使用肢体识别技术获得所述骨骼动作数据。例如，可使用微软提供的开源Kinect框架实现所述肢体识别。
具体地，在本实施例中，可使用深度学习对所述肢体识别技术进行优化。所述肢体识别技术和深度学习属于现有技术，在此不再赘述。
具体地，在本实施例中，可使用动作引擎数据来驱动虚拟3D形象的肢体和脸部动作，所述动作引擎数据可以是VMD、MMD格式的文件。VMD、MMD格式的文件中包含控制所述第一虚拟形象运动的数据。例如，当所述骨骼动作数据包含“点头”一特征数据时，可控制第一虚拟形象加载VMD格式文件中“点头”的动作数据，以使第一虚拟形象运动，生成第一虚拟形象视频。
具体地，在本实施例中，所述动作引擎数据可由用户根据具体需求进行定制。
具体地，在本实施例中，可将所述第一视频输出符合openGL surface格式或者RGB32格式的图像，在将图片信息和声音分别编码成H264和ACC文件。H264是一种高度压缩数字视频编解码器标准，可在不改变清晰度的条件下将所述第一视频进行压缩处理；ACC(Advanced Audio Coding，高级音频编码技术)可将所述第一虚拟形象的音频压缩。本实施例可减少网络传输时的数据量，提高数据通信速度。
S303、将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
步骤S301、S303分别类似于图1对应实施例中的步骤S101、S102，在此不再赘述。
本实施例使用面部肌肉数据和骨骼动作数据，生成第一虚拟形象视频，并且本实施例通过VMD等动作引擎数据驱动，使得所述第一虚拟形象可完成更丰富的动作，提高了用户体验。
参见图4，在本申请另一具体实现中，所述方法包括：
S401、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
S402、获得所述第一发起者的骨骼动作数据对应的动作指令，所述动作指令用于执行至少一个动作；
具体地，在本实施例中，所述动作指令可以是第一虚拟形象运动的依据。
具体地，在本实施例中，所述动作指令可对应多个具体的动作。
例如，当所述骨骼动作数据包含“挥右手”一特征数据时，可将“挥右手”作为第一虚拟形象的动作指令；该动作指令可对应至少一个具体的动作“挥右手”，在此基础上，所述具体的动作还可包括“点头”。
S403、驱动所述第一虚拟形象执行所述动作指令，以确定包括第一虚拟形象视频的第一视频；
具体地，在本实施例中，驱动所述第一虚拟形象逐一执行所述动作指令对应的动作，以使第一虚拟形象运动起来，从而确定包括第一虚拟形象视频的第一视频。
S404、将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
步骤S401、S404分别类似于图1对应实施例中的步骤S101、S102，在此不再赘述。
参见图5，在本申请另一具体实现中，所述方法包括：
S501、根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
S502、获得第一发起者音频，并将所述第一发起者音频添加到所述第一视频中；
具体地，在本实施例中，所述音频可以是存储到电子设备中的声音。
具体地，在本实施例中，可使用音频采集设备采集第一发起者的声音。例如，使用麦克风采集第一发起者的声音，以获得第一发起者音频。
具体地，在本实施例中，所述音频可以是3D录音、人头录音等，可使观众具有更好的沉浸感。
S503、将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
步骤S501、S503分别类似于图1对应实施例中的步骤S101、S102，在此不再赘述。
参见图6，在本申请一具体实现中，所述处理虚拟形象的方法应用于第二客户端，其包括：
S601、根据与第一发起者连麦的第二发起者的面部肌肉数据，生成包括第二虚拟形象视频的第二视频，所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动；
S602、将所述第二视频上传至服务端，以将所述第一视频和第二视频合并。
具体地，在本实施例中，所述第二发起者可以是副主播。
具体地，在本实施例中，当第二发起者与第一主播连麦时，第二发起者的第二虚拟形象可与第一发起者的第一虚拟形象互动。
具体地，在本实施例中，将所述第一视频和第二视频合并可实现第一主播与第二主播的互动。
本实施例中步骤S601、S602分别对应于图1对应实施例中的S101、S102，在此不再赘述。
参见图7，在本申请一具体实现中，所述方法包括：
S701、接收第一客户端的第一视频和第二客户端的第二视频；
具体地，本实施例中，可使用RTMP协议将所述第一视频上传至服务端。当然，本实施例还可使用其他可实现数据实时传输的协议，以使观众客户端实时获得所述第一视频。例如：可实现数据实时传输的协议可以是RTSP协议，HLS协议。
具体地，本实施例中，第一视频可包括第一虚拟形象视频，第二视频可包括第二虚拟形象视频。
S702、通过视频融合技术合并所述第一视频和所述第二视频，生成互动视频，以使观众客户端获得所述互动视频。
具体地，本实施例中，所述视频融合可以是第一视频与第二视频的合并。
具体地，本实施例可应用于服务端。
本实施例接收第一客户端的第一视频和第二客户端的第二视频，通过视频融合技术合并所述第一视频和所述第二视频，生成互动视频，从而生成第一虚拟形象与第二虚拟形象互动的效果，提高了观众客户端的用户体验。
参见图8，在本申请一具体实现中，所述装置包括：
解析模块801，用于使用面部识别技术解析第一发起者视频，以获得所述第一发起者的面部肌肉数据。
第一生成模块802，用于根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
第一上传模块803，用于将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
具体地，本实施例中，解析模块801可用于执行图2对应实施例中步骤S201，第一生成模块802可用于执行图2对应实施例中步骤S202，第一上传模块803可用于执行图2对应实施例中步骤S203，在此不再赘述。
参见图9，在本申请一具体实现中，所述装置包括：
第二生成模块901，用于根据与第一发起者连麦的第二发起者的面部肌肉数据，生成包括第二拟形象视频的第二视频，所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动；
第二上传模块902，用于将所述第二视频上传至服务端，以将所述第一视频和第二视频合并。
具体地，本实施例中，第二生成模块901可用于执行图6对应实施例中步骤S601，第二上传模块902可用于执行图6对应实施例中步骤S602，在此不再赘述。
参见图10，在本申请一具体实现中，所述装置包括：
接收模块1001，用于接收第一客户端的第一视频和观众客户端的第二视频；
合并模块1002，用于通过视频融合技术合并所述第一视频和第二视频，生成互动视频，以将观众客户端获得所述互动视频。
具体地，本实施例中，接收模块1001可用于执行图7对应实施例中步骤S701，合并模块1002可用于执行图7对应实施例中步骤S702，在此不再赘述。
图11是本申请执行处理虚拟形象的方法的一些电子设备的硬件结构示意图。根据图11所示，该设备包括：
一个或多个处理器1101以及存储器1102，图11中以一个处理器1101为例。
执行处理虚拟形象的方法的设备还可以包括：输入装置1103和输出装置1103。
处理器1101、存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连接，图11中以通过总线连接为例。
存储器1102作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的处理虚拟形象的方法对应的程序指令/模块。处理器1101通过运行存储在存储器1102中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中处理虚拟形象的方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据处理虚拟形象装置的使用所创建的数据等。此外，存储器1102可以包括高速随机存取存储器1102，还可以包括非易失性存储器1102，例如至少一个磁盘存储器1102件、闪存器件、或其他非易失性固态存储器1102件。在一些实施例中，存储器1102可选包括相对于处理器1101远程设置的存储器1102，这些远程存储器1102可以通过网络连接至处理虚拟形象的装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置1103可接收输入的数字或字符信息，以及产生与处理虚拟形象的装置的用户设置以及功能控制有关的键信号输入。输入装置1103可包括按压模组等设备。
所述一个或者多个模块存储在所述存储器1102中，当被所述一个或者多个处理器1101执行时，执行上述任意方法实施例中的处理虚拟形象的方法。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例的电子设备以多种形式存在，包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备，服务器的构成包括处理器1101、硬盘、内存、***总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子装置。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，所述计算机可读记录介质包括用于以计算机(例如计算机)可读的形式存储或传送信息的任何机制。例如，机器可读介质包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪速存储介质、电、光、声或其他形式的传播信号(例如，载波、红外信号、数字信号等)等，该计算机软件产品包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (13)
1.一种处理虚拟形象的方法，应用于第一客户端，其特征在于，包括：
根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
2.根据权利要求1所述的方法，其特征在于，在所述根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频之前还包括：
使用面部识别技术解析第一发起者视频，以获得所述第一发起者的面部肌肉数据。
3.根据权利要求1所述的方法，其特征在于，还包括：
根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频，所述骨骼动作数据用于驱动所述第一虚拟形象运动。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一发起者的骨骼动作数据确定包括第一虚拟形象视频的第一视频包括：
获得所述第一发起者的骨骼动作数据对应的动作指令，所述动作指令用于执行至少一个动作；
驱动所述第一虚拟形象执行所述动作指令，以确定包括第一虚拟形象视频的第一视频。
5.根据权利要求1所述的方法，其特征在于，在所述根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频之后还包括：
获得第一发起者音频，并将所述第一发起者音频添加到所述第一视频中，以使观众客户端接收到包括所述第一发起者音频的第一视频。
6.根据权利要求1所述的方法，其特征在于，所述第一视频还包括第一发起者视频。
7.根据权利要求1所述的方法，其特征在于，所述将所述第一视频上传至服务端，以使观众客户端获得所述第一视频包括：使用实时消息传输协议将所述第一视频上传至服务端，以使观众客户端实时获得所述第一视频。
8.一种处理虚拟形象的方法，应用于第二客户端，其特征在于，包括：
根据与第一发起者连麦的第二发起者的面部肌肉数据，生成包括第二虚拟形象视频的第二视频，所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动；
将所述第二视频上传至服务端，以将所述第一视频和第二视频合并。
9.一种处理虚拟形象的方法，其特征在于，包括：
接收第一客户端的第一视频和第二客户端的第二视频；
通过视频融合技术合并所述第一视频和所述第二视频，生成互动视频，以使观众客户端获得所述互动视频。
10.一种处理虚拟形象的装置，应用于第一客户端，其特征在于，包括：
第一生成模块，用于根据第一发起者的面部肌肉数据确定包括第一虚拟形象视频的第一视频，所述面部肌肉数据用于驱动所述第一虚拟形象运动；
第一上传模块，用于将所述第一视频上传至服务端，以使观众客户端获得所述第一视频。
11.根据权利要求9所述的装置，其特征在于，还包括：
解析模块，用于使用面部识别技术解析第一发起者视频，以获得所述第一发起者的面部肌肉数据。
12.一种处理虚拟形象的装置，应用于第二客户端，其特征在于，包括：
第二生成模块，用于根据与第一发起者连麦的第二发起者的面部肌肉数据，生成包括第二虚拟形象视频的第二视频，所述第二发起者的面部肌肉数据用于驱动所述第二虚拟形象运动；
第二上传模块，用于将所述第二视频上传至服务端，以将所述第一视频和第二视频合并。
13.一种处理虚拟形象的装置，其特征在于，包括：
接收模块，用于接收第一客户端的第一视频和观众客户端的第二视频；
合并模块，用于通过视频融合技术合并所述第一视频和第二视频，生成互动视频，以使观众客户端获得所述互动视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710160405.5A CN106937154A (zh) | 2017-03-17 | 2017-03-17 | 处理虚拟形象的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710160405.5A CN106937154A (zh) | 2017-03-17 | 2017-03-17 | 处理虚拟形象的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106937154A true CN106937154A (zh) | 2017-07-07 |
Family
ID=59432373
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710160405.5A Pending CN106937154A (zh) | 2017-03-17 | 2017-03-17 | 处理虚拟形象的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106937154A (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107750014A (zh) * | 2017-09-25 | 2018-03-02 | 迈吉客科技（北京）有限公司 | 一种连麦直播方法和*** |
| CN108174227A (zh) * | 2017-12-27 | 2018-06-15 | 广州酷狗计算机科技有限公司 | 虚拟物品的显示方法、装置及存储介质 |
| CN108200446A (zh) * | 2018-01-12 | 2018-06-22 | 北京蜜枝科技有限公司 | 虚拟形象的线上多媒体互动***及方法 |
| CN108875539A (zh) * | 2018-03-09 | 2018-11-23 | 北京旷视科技有限公司 | 表情匹配方法、装置和***及存储介质 |
| CN109120985A (zh) * | 2018-10-11 | 2019-01-01 | 广州虎牙信息科技有限公司 | 直播中的形象展示方法、装置和存储介质 |
| CN109525483A (zh) * | 2018-11-14 | 2019-03-26 | 惠州Tcl移动通信有限公司 | 移动终端及其互动动画的生成方法、计算机可读存储介质 |
| CN109874021A (zh) * | 2017-12-04 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置及*** |
| CN110312144A (zh) * | 2019-08-05 | 2019-10-08 | 广州华多网络科技有限公司 | 进行直播的方法、装置、终端和存储介质 |
| CN110433491A (zh) * | 2019-07-25 | 2019-11-12 | 天脉聚源(杭州)传媒科技有限公司 | 虚拟观众的动作同步响应方法、***、装置和存储介质 |
| CN110519612A (zh) * | 2019-08-26 | 2019-11-29 | 广州华多网络科技有限公司 | 连麦互动方法、直播***、电子设备及存储介质 |
| CN110557625A (zh) * | 2019-09-17 | 2019-12-10 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
| CN111263178A (zh) * | 2020-02-20 | 2020-06-09 | 广州虎牙科技有限公司 | 直播方法、装置、用户端及存储介质 |
| CN111325819A (zh) * | 2020-02-17 | 2020-06-23 | 网易（杭州）网络有限公司 | 运动数据处理方法、装置、设备和存储介质 |
| CN111641844A (zh) * | 2019-03-29 | 2020-09-08 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播***及电子设备 |
| CN111787417A (zh) * | 2020-06-23 | 2020-10-16 | 平安普惠企业管理有限公司 | 基于人工智能ai的音视频的传输控制方法及相关设备 |
| WO2020221186A1 (zh) * | 2019-04-30 | 2020-11-05 | 广州虎牙信息科技有限公司 | 一种虚拟形象控制方法、装置、电子设备及存储介质 |
| CN113965773A (zh) * | 2021-11-03 | 2022-01-21 | 广州繁星互娱信息科技有限公司 | 直播展示方法和装置、存储介质及电子设备 |
| CN114245155A (zh) * | 2021-11-30 | 2022-03-25 | 北京百度网讯科技有限公司 | 直播方法、装置及电子设备 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930284A (zh) * | 2009-06-23 | 2010-12-29 | 腾讯科技（深圳）有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和*** |
| CN102455898A (zh) * | 2010-10-29 | 2012-05-16 | 张明 | 视频聊天卡通表情辅助娱乐*** |
| CN103368929A (zh) * | 2012-04-11 | 2013-10-23 | 腾讯科技（深圳）有限公司 | 一种视频聊天方法及*** |
| CN103797761A (zh) * | 2013-08-22 | 2014-05-14 | 华为技术有限公司 | 通信方法、客户端和终端 |
| WO2014200513A1 (en) * | 2013-06-10 | 2014-12-18 | Thomson Licensing | Method and system for evolving an avatar |
| CN104581360A (zh) * | 2014-12-15 | 2015-04-29 | 乐视致新电子科技（天津）有限公司 | 电视终端和播放电视节目的方法 |
| CN105338370A (zh) * | 2015-10-28 | 2016-02-17 | 北京七维视觉科技有限公司 | 一种在视频中实时合成动画的方法和装置 |
| CN105488489A (zh) * | 2015-12-17 | 2016-04-13 | 掌赢信息科技（上海）有限公司 | 一种短视频消息的发送方法、电子设备及*** |
| CN105959718A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种视频直播中实时互动的方法及装置 |
| CN106303555A (zh) * | 2016-08-05 | 2017-01-04 | 深圳市豆娱科技有限公司 | 一种基于混合现实的直播方法、装置和*** |
-
2017
- 2017-03-17 CN CN201710160405.5A patent/CN106937154A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930284A (zh) * | 2009-06-23 | 2010-12-29 | 腾讯科技（深圳）有限公司 | 一种实现视频和虚拟网络场景交互的方法、装置和*** |
| CN102455898A (zh) * | 2010-10-29 | 2012-05-16 | 张明 | 视频聊天卡通表情辅助娱乐*** |
| CN103368929A (zh) * | 2012-04-11 | 2013-10-23 | 腾讯科技（深圳）有限公司 | 一种视频聊天方法及*** |
| WO2014200513A1 (en) * | 2013-06-10 | 2014-12-18 | Thomson Licensing | Method and system for evolving an avatar |
| CN103797761A (zh) * | 2013-08-22 | 2014-05-14 | 华为技术有限公司 | 通信方法、客户端和终端 |
| CN104581360A (zh) * | 2014-12-15 | 2015-04-29 | 乐视致新电子科技（天津）有限公司 | 电视终端和播放电视节目的方法 |
| CN105338370A (zh) * | 2015-10-28 | 2016-02-17 | 北京七维视觉科技有限公司 | 一种在视频中实时合成动画的方法和装置 |
| CN105488489A (zh) * | 2015-12-17 | 2016-04-13 | 掌赢信息科技（上海）有限公司 | 一种短视频消息的发送方法、电子设备及*** |
| CN105959718A (zh) * | 2016-06-24 | 2016-09-21 | 乐视控股（北京）有限公司 | 一种视频直播中实时互动的方法及装置 |
| CN106303555A (zh) * | 2016-08-05 | 2017-01-04 | 深圳市豆娱科技有限公司 | 一种基于混合现实的直播方法、装置和*** |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019057194A1 (zh) * | 2017-09-25 | 2019-03-28 | 迈吉客科技（北京）有限公司 | 一种连麦直播方法和*** |
| CN107750014A (zh) * | 2017-09-25 | 2018-03-02 | 迈吉客科技（北京）有限公司 | 一种连麦直播方法和*** |
| CN107750014B (zh) * | 2017-09-25 | 2020-10-16 | 迈吉客科技（北京）有限公司 | 一种连麦直播方法和*** |
| CN109874021B (zh) * | 2017-12-04 | 2021-05-11 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置及*** |
| CN109874021A (zh) * | 2017-12-04 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 直播互动方法、装置及*** |
| CN108174227B (zh) * | 2017-12-27 | 2020-12-22 | 广州酷狗计算机科技有限公司 | 虚拟物品的显示方法、装置及存储介质 |
| CN108174227A (zh) * | 2017-12-27 | 2018-06-15 | 广州酷狗计算机科技有限公司 | 虚拟物品的显示方法、装置及存储介质 |
| CN108200446A (zh) * | 2018-01-12 | 2018-06-22 | 北京蜜枝科技有限公司 | 虚拟形象的线上多媒体互动***及方法 |
| CN108875539A (zh) * | 2018-03-09 | 2018-11-23 | 北京旷视科技有限公司 | 表情匹配方法、装置和***及存储介质 |
| CN109120985A (zh) * | 2018-10-11 | 2019-01-01 | 广州虎牙信息科技有限公司 | 直播中的形象展示方法、装置和存储介质 |
| CN109525483A (zh) * | 2018-11-14 | 2019-03-26 | 惠州Tcl移动通信有限公司 | 移动终端及其互动动画的生成方法、计算机可读存储介质 |
| CN111641844B (zh) * | 2019-03-29 | 2022-08-19 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播***及电子设备 |
| CN111641844A (zh) * | 2019-03-29 | 2020-09-08 | 广州虎牙信息科技有限公司 | 直播互动方法、装置、直播***及电子设备 |
| WO2020221186A1 (zh) * | 2019-04-30 | 2020-11-05 | 广州虎牙信息科技有限公司 | 一种虚拟形象控制方法、装置、电子设备及存储介质 |
| CN110433491A (zh) * | 2019-07-25 | 2019-11-12 | 天脉聚源(杭州)传媒科技有限公司 | 虚拟观众的动作同步响应方法、***、装置和存储介质 |
| CN110312144A (zh) * | 2019-08-05 | 2019-10-08 | 广州华多网络科技有限公司 | 进行直播的方法、装置、终端和存储介质 |
| CN110312144B (zh) * | 2019-08-05 | 2022-05-24 | 广州方硅信息技术有限公司 | 进行直播的方法、装置、终端和存储介质 |
| CN110519612A (zh) * | 2019-08-26 | 2019-11-29 | 广州华多网络科技有限公司 | 连麦互动方法、直播***、电子设备及存储介质 |
| CN110557625A (zh) * | 2019-09-17 | 2019-12-10 | 北京达佳互联信息技术有限公司 | 虚拟形象直播方法、终端、计算机设备及存储介质 |
| WO2021164620A1 (zh) * | 2020-02-17 | 2021-08-26 | 网易（杭州）网络有限公司 | 运动数据处理方法、装置、设备和存储介质 |
| CN111325819A (zh) * | 2020-02-17 | 2020-06-23 | 网易（杭州）网络有限公司 | 运动数据处理方法、装置、设备和存储介质 |
| CN111263178A (zh) * | 2020-02-20 | 2020-06-09 | 广州虎牙科技有限公司 | 直播方法、装置、用户端及存储介质 |
| CN111787417A (zh) * | 2020-06-23 | 2020-10-16 | 平安普惠企业管理有限公司 | 基于人工智能ai的音视频的传输控制方法及相关设备 |
| CN111787417B (zh) * | 2020-06-23 | 2024-05-17 | 刘叶 | 基于人工智能ai的音视频的传输控制方法及相关设备 |
| CN113965773A (zh) * | 2021-11-03 | 2022-01-21 | 广州繁星互娱信息科技有限公司 | 直播展示方法和装置、存储介质及电子设备 |
| CN114245155A (zh) * | 2021-11-30 | 2022-03-25 | 北京百度网讯科技有限公司 | 直播方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106937154A (zh) | 处理虚拟形象的方法及装置 | |
| WO2021103698A1 (zh) | 换脸方法、装置、电子设备及存储介质 | |
| EP3901829A1 (en) | Data processing method and device, storage medium, and electronic device | |
| US9210372B2 (en) | Communication method and device for video simulation image | |
| US9172979B2 (en) | Experience or “sentio” codecs, and methods and systems for improving QoE and encoding based on QoE experiences | |
| CN103460250A (zh) | 基于感兴趣对象的图像处理 | |
| CN106576158A (zh) | 沉浸式视频 | |
| US20170195617A1 (en) | Image processing method and electronic device | |
| CN110969572B (zh) | 换脸模型训练方法、人脸互换方法、装置及电子设备 | |
| US11568646B2 (en) | Real-time video dimensional transformations of video for presentation in mixed reality-based virtual spaces | |
| CN112543342A (zh) | 虚拟视频直播处理方法及装置、存储介质、电子设备 | |
| WO2012021174A2 (en) | EXPERIENCE OR "SENTIO" CODECS, AND METHODS AND SYSTEMS FOR IMPROVING QoE AND ENCODING BASED ON QoE EXPERIENCES | |
| CN111464827A (zh) | 一种数据处理方法、装置、计算设备及存储介质 | |
| WO2020062998A1 (zh) | 图像处理方法、存储介质及电子设备 | |
| WO2021015946A1 (en) | Automated regeneration of low quality content to high quality content | |
| CN112581635B (zh) | 一种通用的快速换脸方法、装置、电子设备和存储介质 | |
| WO2024078243A1 (zh) | 视频生成模型的训练方法、装置、存储介质及计算机设备 | |
| CN116229311B (zh) | 视频处理方法、装置及存储介质 | |
| US11734952B1 (en) | Facial image data generation using partial frame data and landmark data | |
| CN110413109A (zh) | 虚拟内容的生成方法、装置、***、电子设备及存储介质 | |
| US20230396735A1 (en) | Providing a 3d representation of a transmitting participant in a virtual meeting | |
| WO2020250106A1 (en) | A system and a method for teleportation for enhanced audio-visual interaction in mixed reality (mr) using a head mounted device (hmd) | |
| US20240185469A1 (en) | Coding of displacements using hierarchical coding at subdivision level for vertex mesh (v-mesh) | |
| CN113259707B (zh) | 虚拟人图像处理方法、装置、电子设备及存储介质 | |
| US11830120B2 (en) | Speech image providing method and computing device for performing the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170707 |