CN110636315B - 一种多人虚拟直播方法、装置、电子设备及存储介质 - Google Patents

一种多人虚拟直播方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110636315B
CN110636315B CN201910765435.8A CN201910765435A CN110636315B CN 110636315 B CN110636315 B CN 110636315B CN 201910765435 A CN201910765435 A CN 201910765435A CN 110636315 B CN110636315 B CN 110636315B
Authority
CN
China
Prior art keywords
information
matching degree
frame image
body part
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910765435.8A
Other languages
English (en)
Other versions
CN110636315A (zh
Inventor
马里千
郑文
张国鑫
张博宁
刘晓强
黄旭为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910765435.8A priority Critical patent/CN110636315B/zh
Publication of CN110636315A publication Critical patent/CN110636315A/zh
Application granted granted Critical
Publication of CN110636315B publication Critical patent/CN110636315B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种多人虚拟直播的方法、装置、电子设备及存储介质，该方法包括：识别视频流中当前帧图像中的所有第一个体部件信息，包括：第一面部信息、第一肢体信息、第一手部信息，获取上一帧图像中已识别的所有第一个体身份信息，即属于相同个体的第二个体部件信息，将各个第一个体部件信息分别与第一个体身份信息中对应的第二个体部件信息进行匹配，识别当前帧图像中的第一个体部件信息所属的第二个体身份信息，根据第二个体身份信息对应的个体姿态变化，驱动对应的虚拟形象的姿态变化。本公开通过帧间信息的匹配，避免了多人虚拟直播中虚拟形象配对错误，画面崩坏的问题，达到了多人虚拟直播的效果，增加了直播过程的互动性和趣味性。

Description

一种多人虚拟直播方法、装置、电子设备及存储介质
技术领域
本公开涉及网络直播技术领域，尤其涉及一种多人虚拟直播方法、装置、电子设备及存储介质。
背景技术
通过虚拟形象进行直播，即虚拟直播越来越成为直播业务的重要组成部分，其中，需要对虚拟形象进行预先设计，以及在虚拟直播过程中对直播者的面部、肢体、行为进行识别，从而对虚拟形象进行识别以进行虚拟直播。通过虚拟直播，能够在实现直播者与观众互动的情况下，以虚拟形象增加直播的趣味性。
现有的虚拟直播技术中，仅仅只能实现单人直播，缺乏多人互动性，在多人合作直播或团队直播的情况下，难以推广虚拟直播，限制了虚拟直播的应用范围。如果直接由单人虚拟直播技术转而进行多人虚拟直播，在识别直播者面部、肢体、行为后，就有可能会出现不同人像肢体的匹配错误、不同人像间的互动行为冲突等的问题，导致虚拟直播画面崩坏，无法正常进行。
发明内容
本公开提供一种多人虚拟直播的方法、装置、电子设备及存储介质，以至少解决相关技术中无法实现多人虚拟直播的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种多人虚拟直播的方法，包括：
识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息；
获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息；
对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息；
根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
可选地，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息的步骤，包括：
计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度；
计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度；
计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度；
计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度；
根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息，包括：
在上一帧图像中确定第二目标面部信息，将所述第二目标面部信息的第一目标个体身份信息作为所述第一目标面部信息的第二目标个体身份信息，其中，所述第二目标面部信息与所述第一目标面部信息的第一匹配度符合第一预设匹配度；
根据所述当前帧图像中各第一肢体信息与所述第一目标面部信息的第二匹配度，确定第一目标肢体信息；
根据所述当前帧图像中各第一左手部信息与所述第一目标肢体信息的第三匹配度，确定第一目标左手部信息；
根据所述当前帧图像中各第一右手部信息与所述第一目标肢体信息的第四匹配度，确定第一目标右手部信息；
将所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息、所述第一目标右手部信息标识为第二目标个体身份信息。
可选地，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息，包括：
在所述当前帧图像中确定新面部信息，其中，所述新面部信息与所述上一帧图像中的所有第二面部信息的第一匹配度均不符合第一预设匹配度；
根据所述当前帧图像中各第一肢体信息与所述新面部信息的第二匹配度，确定新肢体信息；
根据所述当前帧图像中各第一左手部信息与所述新肢体信息的第三匹配度，确定新左手部信息；
根据所述当前帧图像中各第一右手部信息与所述新肢体信息的第四匹配度，确定新右手部信息；
将所述新面部信息、所述新肢体信息、所述新左手部信息、所述新右手部信息，标识为新第二个体身份信息。
可选地，所述根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息的步骤，包括：
根据所述当前帧图像中第一面部信息的数量，将所述第一个体部件信息划分为待测个体身份信息，每个待测个体身份信息包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息；
过滤所述待测个体身份信息中的无效个体身份信息，得到有效个体身份信息；
当所述有效个体身份信息对应的第一面部信息，与所述上一帧图像中的第二面部信息的第一匹配度达到第一预设匹配度时，将所述有效个体身份信息标记为所述当前帧图像的第二个体身份信息，所述第二个体身份信息与所述第二面部信息所属的第一个体身份信息对应；
将所述无效个体身份信息包括的第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息重新划分为第二待测个体身份信息，重复上述步骤，直至不存在无效个体身份信息。
可选地，所述无效个体身份信息满足如下条件：
所述无效个体身份信息中的第一面部信息与第一肢体信息的第二匹配度不符合第二预设匹配度；或者
所述无效个体身份信息中的第一左手部信息与第一肢体信息的第三匹配度不符合第三预设匹配度；或者
所述无效个体身份信息中的第一右手部信息与第一肢体信息的第四匹配度不符合第四预设匹配度。
可选地，所述根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化的步骤，包括：
根据所述第二个体身份信息对应的个体的姿态变化，确定每两个个体之间的互动行为信息；
根据所述互动行为信息，获取每个所述第二个体身份信息对应个体的姿态信息；
根据所述姿态信息，对所述第二个体身份信息对应的虚拟形象进行几何形变。
根据本公开实施例的第二方面，提供一种虚拟直播的装置，包括：
第一个体部件信息识别模块，被配置为识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息；
第一个体身份信息获取模块，被配置为获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息；
第二个体身份信息识别模块，被配置为对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息；
虚拟形象驱动模块，被配置为根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
可选地，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述第二个体身份信息识别模块，包括：
第一匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度；
第二匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度；
第三匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度；
第四匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度；
第二个体身份信息识别子模块，被配置为根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，所述第二个体身份信息识别子模块，包括：
第二目标面部信息确认单元，被配置为在上一帧图像中确定第二目标面部信息，将所述第二目标面部信息的第一目标个体身份信息作为所述第一目标面部信息的第二目标个体身份信息，其中，所述第二目标面部信息与所述第一目标面部信息的第一匹配度符合第一预设匹配度；
第一目标肢体信息确认单元，被配置为根据所述当前帧图像中各第一肢体信息与所述第一目标面部信息的第二匹配度，确定第一目标肢体信息；
第一目标左手部信息确认单元，被配置为根据所述当前帧图像中各第一左手部信息与所述第一目标肢体信息的第三匹配度，确定第一目标左手部信息；
第一目标右手部信息确认单元，被配置为根据所述当前帧图像中各第一右手部信息与所述第一目标肢体信息的第四匹配度，确定第一目标右手部信息；
第一目标右手部信息确认单元，被配置为标识所述第二目标个体身份信息包括所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息、所述第一目标右手部信息。
可选地，所述第二个体身份信息识别子模块，包括：
新面部信息确认单元，被配置为在所述当前帧图像中确定新面部信息，其中，所述新面部信息与所述上一帧图像中的所有第二面部信息的第一匹配度均不符合第一预设匹配度；
新肢体信息确认单元，被配置为根据所述当前帧图像中各第一肢体信息与所述新面部信息的第二匹配度，确定新肢体信息；
新左手部信息确认单元，被配置为根据所述当前帧图像中各第一左手部信息与所述新肢体信息的第三匹配度，确定新左手部信息；
新右手部信息确认单元，被配置为根据所述当前帧图像中各第一右手部信息与所述新肢体信息的第四匹配度，确定新右手部信息；
新第二个体身份信息确认单元，被配置为将所述新面部信息、所述新肢体信息、所述新左手部信息、所述新右手部信息，标识为新第二个体身份信息。
可选地，所述第二个体身份信息识别子模块包括：
待测个体身份信息确认单元，被配置为根据所述当前帧图像中第一面部信息的数量，将所述第一个体部件信息划分为待测个体身份信息；每个待测个体身份信息包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息；
无效信息过滤单元，被配置为过滤所述待测个体身份信息中的无效个体身份信息，得到有效个体身份信息；
第二个体身份信息确认单元，被配置为当所述有效个体身份信息对应的第一面部信息，与所述上一帧图像中的第二面部信息的第一匹配度达到第一预设匹配度时，将所述有效个体身份信息标记为所述当前帧图像的第二个体身份信息，所述第二个体身份信息与所述第二面部信息所属的第一个体身份信息对应；
所述待测个体身份信息确认单元，还被配置为将所述无效个体身份信息包括的第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息重新划分为第二待测个体身份信息，重复执行上述单元，直至不存在无效个体身份信息。
可选地，所述无效个体身份信息满足如下条件：
所述无效个体身份信息中的第一面部信息与第一肢体信息的第二匹配度不符合第二预设匹配度；或者
所述无效个体身份信息中的第一左手部信息与第一肢体信息的第三匹配度不符合第三预设匹配度；或者
所述无效个体身份信息中的第一右手部信息与第一肢体信息的第四匹配度不符合第四预设匹配度。
可选地，所述虚拟形象驱动模块，包括：
互动行为确认子模块，被配置为根据所述第二个体身份信息对应的个体的姿态变化，确定每两个个体之间的互动行为信息；
姿态信息确认子模块，被配置为根据所述互动行为信息，获取每个所述第二个体身份信息对应个体的姿态信息；
虚拟形象形变子模块，被配置为根据所述姿态信息，对所述第二个体身份信息对应的虚拟形象进行几何形变。
根据本公开实施例的第三方面，提供一种计算机程序产品，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述的多人虚拟直播的方法。
根据本公开实施例的第四方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现上述的多人虚拟直播的方法。
根据本公开实施例的第五方面，提供一种存储介质，当所述存储介质中的指令由多人虚拟直播的电子设备的处理器执行时，使得多人虚拟直播的电子设备能够执行如上述的多人虚拟直播的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例中，通过在虚拟直播中，获取上一帧图像的个体身份信息，从而对当前帧图像识别的人体部件信息进行匹配，避免了多人虚拟直播中，出现不同人像肢体匹配错误，不同人像之间互动行为冲突等问题，能够实现准确身份配准、多人明晰交互，避免多人虚拟直播中的画面崩坏，保证多人虚拟直播的正常进行，另外，本公开实施例还可以根据个体之间的互动行为进一步确定虚拟形象的姿态变化信息，避免了对虚拟形象独立驱动可能造成的个体之间互动错位的问题，从而能够在多人虚拟直播中更加真实的重现多人互动的场景，通过多人虚拟直播的实现，提升了虚拟直播的互动性和趣味性，拓展了虚拟直播的应用场景，能够进一步提升虚拟直播的用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种多人虚拟直播方法的流程图。
图2是根据一示例性实施例示出的另一种多人虚拟直播方法的流程图。
图3是根据一示例性实施例示出的又一种多人虚拟直播方法的流程图。
图4是根据一示例性实施例示出的一种多人虚拟直播装置的框图。
图5是根据一示例性实施例示出的一种多人虚拟直播的装置中第二个体身份信息识别模块的具体框图。
图6是根据一示例性实施例示出的又一种多人虚拟直播装置的框图。
图7是根据一示例性实施例示出的一种多人虚拟直播电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开实施例应用于多人虚拟直播的场景，通过发送端与至少一个接收端实现，发送端与至少一个接收端可以通过流媒体技术预先建立通信链路，从而进行多人虚拟直播音视频流的传输，达到直播的效果。
本公开实施例中的多人虚拟直播场景，可以通过提前构建虚拟形象实现，可选地，提前构建的虚拟形象可以是由平台提供的，直播者自行搭配的虚拟形象，或者，也可以是根据直播者实际形象的身体特征构建的，本公开实施例对于虚拟直播的虚拟形象构建方式不做具体限制。
图1是根据一示例性实施例示出的一种多人虚拟直播的方法的流程图，如图1所示，可以包括以下步骤。
在步骤S101中，识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息。
本公开实施例中，视频流可以是采集的实际直播场景中，多个直播者直播过程的视频流，视频流可以通过直播发送端自带的摄像头进行采集，也可以通过其他设备、如深度摄像头、红外摄像头、扫描仪等，本公开实施例对采集视频流的设备不做具体限制。
本公开说实施例中，每一帧图像都是静止的画面，快速连续的显示帧即可获得运动的画面，而视频流是按照时间次序采集的实际直播场景对应的帧图像的集合，因此，视频流中的当前帧图像即识别当前时间对应的视频流中的帧图像，从而保证识别与直播之间的同步关系，提高直播的实时性。
本公开实施例中，第一个体部件信息为帧图像中直播者的各身体部位信息，其中，可以包括头部、肢体、躯干的形状、大小等，或者还可以包括直播者的衣饰、表情等，只要是可以表征不同直播者的特征即可，同时，可以通过计算机视觉算法识别直播者的身体特征，从而获取各直播者的各身体部件信息。
本公开实施例中，可以将直播者个体的面部信息、肢体信息、手部信息作为直播者个体的第一个体部件信息，此外，可选地，还可以将直播者个体的发型信息、衣饰信息等作为第一个体部件信息，第一个体部件信息可以用来区分不同直播者个体以及用于驱动虚拟直播中的虚拟形象，本公开实施例中，对第一个体部件信息的选择不做具体限制。
本公开实施例中，计算机视觉算法可以是通过特征感知、图像预处理、特征提取、特征筛选、推理预测与识别五步进行的传统计算机视觉算法，或者，也可以通过卷积神经网络对帧图像进行抽象和递归迭代，从而从帧图像中，提取对应的身体部件信息，本公开实施例对识别帧图像中直播者身体部件信息的方法不做具体限定。
在步骤S102中，获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息。
本公开实施例中，对当前帧图像识别身体各部件信息后，还可以获取当前帧图像上一帧图像中已识别的所有第一个体身份信息，其中，第一个体身份信息为已确认的，属于同一直播者个体的第二个体部件信息的标记，第二个体部件信息为上一帧图像中不同直播者的各身体部位信息，通过第一个体身份信息，可以得知在上一帧图像中，哪些第二个体身份信息被确认属于同一直播者个体。
在步骤S103中，对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
本公开实施例中，可以通过匹配当前帧图像的第一个体部件信息与上一帧图像中的第二个体部件信息，其中，在进行匹配时，可以将对应的个体部件信息进行匹配，如将上一帧图像中的面部信息与当前帧图像的面部信息进行匹配，上一帧图像中的肢体信息与当前帧图像的肢体信息进行匹配等，当匹配成功时则确认第一个体部件信息与第二个体部件信息属于同一直播者个体。
本公开实施例中，当确认上一帧图像中的面部信息与当前帧图像的面部信息匹配成功，上一帧图像中的肢体信息与当前帧图像的肢体信息进行匹配成功等后，则认为与同一第一个体身份信息中的第二个体身份信息匹配成功的的第一个体部件信息，属于同一第二个体身份信息，从而根据上一帧图像的身份信息确认当前帧图像的身份信息，避免出现帧与帧之间身份部件信息匹配错误，导致虚拟形象显示错位，虚拟直播画面崩坏的问题。
本公开实施例中，可选地，可以仅将当前帧图像第一个体部件信息中的一种与上一帧图像中的第二个体部件信息中的同一种，如将当前帧图像的面部信息与上一帧图像的面部信息进行匹配，当匹配成功时，则确认上一帧图像的面部信息所属的直播者个体也存在于当前帧图像中，且与上一帧图像的面部信息匹配成功的当前帧图像的面部信息在当前帧图像中也属于该直播者个体，此时，可以再计算当前帧图像的其他第一个体部件信息与当前帧图像的面部信息的匹配度，从而确认哪些其他其他第一个体部件信息与当前帧图像的面部信息属于同一直播者个体，从而确认第二个体身份信息。
本公开实施例中，可选地，当当前帧图像为视频流的第一帧图像时，对于当前帧中的第一个体部件信息，可以先确认第一个体部件信息中的一个基准，每个基准表示一个，如确认第一个体部件信息中有三个面部信息、或三个肢体信息，从而确认当前帧图像中有三个直播者个体，再分别计算三个面部信息或三个肢体信息，与当前帧图像其他第一个体部件信息的匹配度，从而确认分别与三个面部信息或三个肢体信息属于同一直播者者个体的其他第一个体部件信息，分别将三个面部信息或三个肢体信息，及其属于同一直播者个体的其他第一个体部件信息作为当前帧图像的第二个体身份信息。
本公开实施例中，当当前帧图像为视频流第一帧图像，且虚拟形象为根据直播者的身体特征构建时，可以将当前帧图像中的第一个体部件信息与为构建虚拟形象采集的直播者身体特征进行匹配，从而确认当前帧图像的第二个体身份信息。
在步骤S104中，根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
本公开实施例中，个体的姿态变化指当前帧图像与上一帧图像相比，直播者个体的姿态变化，可以通过第二个体身份信息中的第一个体部件信息，与第一个体身份信息中的第二个体部件信息之间的变化情况进行确认，如直播者个体的身体部件是否发生了移动、移动的位置、移动的角度等等，因此，可以驱动虚拟形象根据该姿态变化对应的进行姿态变化，从而实现多人虚拟直播。
本公开实施例中，通过在虚拟直播中，获取相对于上一帧图像的个体身份信息，从而对当前帧图像识别的人体部件信息进行匹配，避免了多人虚拟直播中，出现不同人像肢体匹配错误，不同人像之间互动行为冲突等问题，能够实现准确身份配准、多人明晰交互，避免多人虚拟直播中的画面崩坏，保证多人虚拟直播的正常进行，从而实现了多人虚拟直播，提升了虚拟直播的互动性和趣味性，拓宽了虚拟直播的使用场景，提升了虚拟直播用户的使用体验。
图2是根据一示例性实施例示出的另一种多人虚拟直播的方法的流程图，如图2所示，可以包括以下步骤。
在步骤201中，识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息。
在步骤202中，获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息。
在步骤203中，对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，所述第一手部信息包括：第一左手部信息和第一右手部信息。
本公开实施例中，在识别第一手部信息时，还可以通过对第一手部信息的形状、位置等信息进行获取，从而进一步区分第一左手部信息和第一右手部信息，由于每次计算匹配度时，除特殊情况外，可以从所有的第一手部信息中选取两个，从所有的第一肢体信息中选取一个，从第一面部信息中选取一个进行匹配，从而确认第二个体身份信息，或者，每次从第一手部信息中选出一个与第一肢体信息匹配，匹配成功后再选取另一个匹配，而区分左右后，只需要从第一左手部信息和第一右手部信息中各选出一个进行匹配即可，由于区分左右手后，第一左手部信息和第一右手部信息都只有第一手部信息的一半，因此，可以减少选择的次数，即进一步识别第一手部信息为第一左手部信息和第一右手部信息可以减少匹配过程的匹配次数，提升匹配的效率。
所述步骤203包括，包括：
在步骤2031中，计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度。
在步骤2032中，计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度。
在步骤2033中，计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度。
在步骤2034中，计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度。
本公开实施例中，可以计算当前帧图像的第一面部信息和上一帧图像的第二面部信息的第一匹配度，其中，可选地，第一匹配度可以是第一面部信息与第二面部信息的相似程度，如面部轮廓、五官分布、五官大小等的相似程度，此时当第一匹配度越大时，认为第一面部信息和第二面部信息匹配度越高，或者，第一匹配度可以是第一面部信息在当前帧图像中与第二面部信息在上一帧图像中的距离，如中心点距离或最近点距离等，由于通常属于同一直播者个体的个体部件信息会更为接近，因此，可以通过第一面部信息和第二面部信息之间的距离，以计算第一匹配度，此时，匹配度越小表示第一面部信息与第二面部信息匹配的概率越高。
本公开实施例中，第二匹配度、第三匹配度、第四匹配度均为当前帧图像中第一个体部件信息间的匹配度，因此，可选地，第二匹配度可以是第一面部信息与第一肢体信息间的距离，第三匹配度和第四匹配度可以分别是第一左手部信息、第一右手部信息与第一肢体信息的距离，可以是中心点距离或最近点距离等。
在步骤2035中，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
在步骤2035中，包括：
在步骤20351中，在上一帧图像中确定第二目标面部信息，将所述第二目标面部信息的第一目标个体身份信息作为所述第一目标面部信息的第二目标个体身份信息，其中，所述第二目标面部信息与所述第一目标面部信息的第一匹配度符合第一预设匹配度。
在步骤20352中，根据所述当前帧图像中各第一肢体信息与所述第一目标面部信息的第二匹配度，确定第一目标肢体信息。
在步骤20353中，根据所述当前帧图像中各第一左手部信息与所述第一目标肢体信息的第三匹配度，确定第一目标左手部信息。
在步骤20354中，根据所述当前帧图像中各第一右手部信息与所述第一目标肢体信息的第四匹配度，确定第一目标右手部信息。
在步骤20355中，将所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息、所述第一目标右手部信息标识为所述第二目标个体身份信息。
本公开实施例中，第一目标面部信息可以是第一个体部件信息中的任意一个第一面部信息，第二目标面部信息可以是与第一目标面部信息的第一匹配度达到第一预设阈值的第二面部信息，第一目标个体身份信息可以是第二目标个体部件信息所属的第一个体身份信息，因此，可以根据第一匹配度确认与第一目标面部信匹配的第二面部信息为第二目标面部信息，即第一目标面部信息与第二目标面部信息相似度或距离达到第一预设匹配度，并将第二目标信息所属的第一目标个体身份信息，确认为第一目标面部信息所属的第二目标个体身份信息。
本公开实施例中，可选地，在确认第一目标面部信息后，可以继续计算当前帧图像所有的第一肢体信息与上一帧图像中的第二肢体信息的匹配度，当前帧图像所有的第一左手部信息和上一帧图像中所有的第二左手部信息的匹配度，当前帧图像所有的第一右手部信息和上一帧图像中的所有第二左手部信息的匹配度，从而确认各第一个体部件信息所属的第二目标个体身份信息。
本公开实施例中，可选地，在确认第一目标面部信息后，可以将所有第一肢体信息与第一目标面部信息的第二匹配度，所有第一左手部信息和所有第一肢体信息的第三匹配度，所有第一右手部信息和所有第一肢体信息的第四匹配度，进行求和，从而获得总匹配度，将总匹配度最小时的第二匹配度对应的第一肢体信息作为第一目标肢体信息，总匹配度最小时的第三匹配度对应的第一左手部信息作为第一目标左手部信息，总匹配度最小时的第四匹配度对应的第一右手部信息作为第一目标右手部信息，并将所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息、所述第一目标右手部信息标识为所述第二目标个体身份信息，可以理解，在本实施方式中，上述在确认第一目标面部信息之后，确认第一目标肢体信息、第一目标左手部信息和第一目标右手部信息的过程没有执行次序，是通过计算出的匹配度的和同时确定的，通过总的匹配度进行目标个体身份信息的确认，提高了目标个体身份信息的确认效率。
本公开实施例中，可选地，在确认第一目标面部信息后，可以先根据第一肢体信息与第一目标面部信息的第二匹配度，以确认第一肢体信息为与第一目标面部信息同属于第二目标个体身份信息的第一目标肢体信息，之后再分别根据第一左手部信息和第一右手部信息与第一肢体信息的第三匹配度和第四匹配度，从而确认第一左手部信息和第一右手部信息为与第一肢体信息同属于第二目标个体身份信息的第一目标左手部信息和第一目标右手部信息，最终确认第二目标个体身份信息，可以理解，本实施方式中，上述在确认第一目标面部信息之后，确认第一目标肢体信息、第一目标左手部信息和第一目标右手部信息的过程没有执行次序，可以在确认第一目标面部信息后，先确认第一目标肢体信息，再依次确认第一左手部信息或第一右手部信息，也可以先确认与第一肢体信息匹配的第一目标左手部信息或第一目标右手部信息，再确认与第一目标面部信息对应的第一目标肢体信息，通过一次仅对一种第一个体部件信息进行确认，从而提升了匹配目标个体身份信息的准确率。
本公开实施例中，第一预设匹配度、第二预设匹配度、第三预设匹配度和第四预设匹配度可以接收用户的设置，也可以采集其他虚拟形象构建的信息，从而统计相似度或距离等匹配度的值，与个体部件信息之间属于同一个体的概率，如第一匹配度为n时，两个体部件信息属于同一个体的概率为90％，可选地，可以将个体部件信息属于同一个体的概率为90％的匹配度设为预设匹配度，当匹配度对应的概率大于或等于90％时，认为匹配度达到预设匹配度，本公开实施例对此不做具体限制。
可选地，所述步骤2035还包括：
在步骤20356中，在所述当前帧图像中确定新面部信息，其中，所述新面部信息与所述上一帧图像中的所有第二面部信息的第一匹配度均不符合第一预设匹配度。
本公开实施例中，当在当前帧图像中的第一面部信息与上一帧图像中的所有第二面部信息之间的第一匹配度均不符合第一预设匹配度时，则认为该第一面部信息是新面部信息，比如多人虚拟直播中新加入的直播者，或有直播者中途离开又回来的情况，确认与上一帧图像所有第二面部信息均不匹配的第一面部信息为新面部信息。
在步骤20357中，根据所述当前帧图像中各第一肢体信息与所述新面部信息的第二匹配度，确定新肢体信息。
在步骤20358中，根据所述当前帧图像中各第一左手部信息与所述新肢体信息的第三匹配度，确定新左手部信息。
在步骤20359中，根据所述当前帧图像中各第一右手部信息与所述新肢体信息的第四匹配度，确定新右手部信息。
在步骤203510中，将所述新面部信息、所述新肢体信息、所述新左手部信息、所述新右手部信息，标识为新第二个体身份信息。
本公开实施例中个，之后在根据前述确认第二目标个体身份信息的方法，在新面部信息的基础上，确认与新面部信息匹配的新肢体信息，与新肢体信息匹配的新左手部信息和新右手部信息，从而确认信第二个体身份信息，保证多人虚拟直播过过程中，直播人数发生变化时，多人虚拟直播的稳定性。
在步骤204中，根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
本公开实施例中，通过在虚拟直播中，获取相对于上一帧图像的个体身份信息，从而对当前帧图像识别的人体部件信息进行匹配，确认当前帧图像中的人体部件信息哪些属于同一直播者个体，或者，哪些属于新的直播者个体，避免了多人虚拟直播中，出现不同人像肢体匹配错误，不同人像之间互动行为冲突等问题，能够实现准确身份配准、多人明晰交互，避免多人虚拟直播中的画面崩坏，保证多人虚拟直播的正常进行。
图3是根据一示例性实施例示出的又一种多人虚拟直播的方法的流程图，如图3所示，可以包括以下步骤。
在步骤301中，识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息。
在步骤302中，获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息。
在步骤303中，对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息；所述第一手部信息包括：第一左手部信息和第一右手部信息。
所述步骤303包括，包括：
在步骤3031中，计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度。
在步骤3032中，计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度。
在步骤3033中，计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度。
在步骤3034中，计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度。
在步骤3035中，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，所述步骤3035包括：
在步骤30351中，根据所述当前帧图像中第一面部信息的数量，将所述第一个体部件信息划分为待测个体身份信息，每个待测个体身份信息包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息。
本公开实施例中，可以将第一个体部件信息划分为不同的待测个体身份信息，可选地，可以将所有的第一个体部件信息按照第一面部信息的数量进行划分，如识别出的第一个体部件信息中包括三个第一面部信息，则划分出三个待测个体身份信息，每个待测个体身份信息中包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息，每个第一个体部件信息仅被划分入一个待测个体身份信息，从而保证所有的第一个体部件信息均参与了划分，且每个待测个体身份信息均不相同，或者也可以根据第一肢体信息的数量进行划分，本公开实施例对此不做具体限制。
本公开实施例中，在划分待测个体身份信息时，也可以对直播者个数进行获取，可选地，可以根据上一帧图像确认的第一个体身份信息获取直播者个数，或者，也可以获取直播开始时用于构建虚拟形象的实际直播者特征，从而获取直播者个数，并根据直播者个数对第一个体部件信息进行划分。
在步骤30352中，过滤所述待测个体身份信息中的无效个体身份信息，得到有效个体身份信息。
可选地，所述无效个体身份信息满足如下条件：
所述无效个体身份信息中的第一面部信息与第一肢体信息的第二匹配度不符合第二预设匹配度；或者
所述无效个体身份信息中的第一左手部信息与第一肢体信息的第三匹配度不符合第三预设匹配度；或者
所述无效个体身份信息中的第一右手部信息与第一肢体信息的第四匹配度不符合第四预设匹配度。
本公开实施例中，还可以在过滤待测个体身份信息中的无效个体身份信息，可选地，可以根据计算得到的对应第二匹配度、第三匹配度和第四匹配度确认其是否为无效个体身份信息，将第二匹配度与第二预设匹配度进行比较，确认第一面部信息与第一肢体信息是否匹配，将第三匹配度与第三预设匹配度进行比较，确认第一肢体信息与第一左手部信息是否匹配，将第四匹配度与第四预设匹配度进行比较，确认第一肢体信息与第一右手部信息是否匹配，只要上述情况中有一个不匹配，则确认该个体身份信息为无效个体身份信息，过滤掉无效个体身份信息后，保留的待测个体身份信息被确认为有效个体身份信息。
在步骤30353中，当所述有效个体身份信息对应的第一面部信息，与所述上一帧图像中的第二面部信息的第一匹配度达到第一预设匹配度时，将所述有效个体身份信息标记为所述当前帧图像的第二个体身份信息，所述第二个体身份信息与所述第二面部信息所属的第一个体身份信息对应。
本公开实施例中，在获得有效个体身份信息后，可以将有效个体身份信息直接作为第二个体身份信息，或者，也可以根据有效个体身份信息中的第一面部信息与上一帧图像所有第二面部信息的第一匹配度，确认有效个体身份信息与哪一个第一个体身份信息属于同一个直播者个体，当第一匹配度达到第一预设匹配度时，则认为该有效个体身份信息与该第一个体身份信息，此时，可以将该有效个体身份信息标记为当前帧图像与该第一个体身份信息对应的第二个体身份信息，当所有的第一匹配度都无法到达第一预设匹配度时，可选地，可以将该有效个体身份信息标记为新个体身份信息。
在步骤30354中，将所述无效个体身份信息包括的第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息重新划分为待测个体身份信息，重复上述步骤，直至不存在无效个体身份信息。
本公开实施例中，过滤出的无效个体身份信息，可以进一步将无效个体身份信息中包含的第一个部件信息重新打散，并划分为待测个体身份信息，此时待测个体身份信息不再采用被作为无效个体身份信息的组合。
本公开实施例中，可选地，对待测个体身份信息再次进行无效个体身份信息的过滤，从而获得有效个体身份信息，并重复过滤、划分的步骤，直到所有的第一个体部件信息都完成了匹配，当前帧图像中的所有第二个体身份信息确认完毕，完成本次匹配。
本公开实施例中，可选地，过滤无效个体身份信息可以和步骤20351-20355中，通过与计算总匹配度进行第二目标个体身份信息的确认结合进行，在将无效个体身份信息进行过滤后，此时，步骤20351-20355的步骤中，不会再计算无效个体身份信息的总匹配度，仅计算余下组合的总匹配度，从而通过不同匹配方式之间的配合，进一步提升第二目标个体身份信息的确认效率。
本公开实施例中，当通过计算个体身份信息的总匹配度从而确认第二目标个体身份信息后，还可以对第二目标个体身份信息进行检验，可选地，即对第二目标个体身份信息是否为无效个体身份信息进行检验，若是，则将该第二目标个体身份信息标记为无效个体身份信息，并将该第二目标个体身份信息中包含的第一面部信息、第一肢体信息、第一左手部信息、第一右手部信息重新加入匹配行列中，从而防止仅计算总匹配度而未对各匹配度进行分别检验导致出现匹配失误的问题。
本公开实施例中，还可以确认当前帧图像中的无效个体部件信息，如无效肢体信息、无效左手部信息和无效右手部信息等，在实际直播场景中，有可能出现有类似人体的模型、摆件、挂件等，被错误的识别为当前帧图像的第一个体部件信息，或者有直播者离开/进入直播间时，还未完全离开/进入直播间的场景，此时直播者已退出/还未完全进入多人虚拟直播，可选地，如果当前帧图像的所有第一肢体信息与第一面部信息的第二匹配度均不符合第二预设匹配度，则确认所述第一肢体信息为无效肢体信息，如果当前帧图像的所有第一肢体信息与第一左手部信息的第三匹配度不符合第三预设匹配度，则确认所述第一做手部信息为无效左手部信息，无效右手部信息的确认与无效左手部信息的确认同理，对于确认无效的第一个体部件信息可以进行删除处理，从而避免无效信息对多人虚拟直播匹配过程的干扰，保证第二目标个体身份信息确认的效率，提升多人虚拟直播的稳定性。
本公开实施例中，还可能出现实际直播场景中，由于直播过程中的动作、场景变化等，导致直播者一部分第一个体部件信息由于遮挡未被识别的情况，此时，在进行第一个体部件信息的划分之前，可以先确认第一个体部件的信息的识别结果，可选地，可以是，第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息的数量是否相同，如第一个体部件信息中可能包括三个第一面部信息、三个第一肢体信息、两个第一左手部信息、三个第一右手部信息，此时，在进行待测个体身份信息的划分时，不需要保证所有的待测个体身份信息都包括第一左手部信息，可以根据实际情况进行划分，本公开实施例对此不做具体限制。
在步骤304中，根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
可选地，所述步骤304包括：
在步骤3041中，根据所述第二个体身份信息对应的个体的姿态变化，确定每两个个体之间的互动行为信息。
在步骤3042中，根据所述互动行为信息，获取每个所述第二个体身份信息对应个体的姿态信息。
在步骤3043中，根据所述姿态信息，对所述第二个体身份信息对应的虚拟形象进行几何形变。
本公开实施例中，还可以根据第二身份信息对应的个体的姿态变化，对个体进行姿态优化，可选地，可以确认个体之间的互动行为，由于从第二身份信息中各第二个体部件信息的移动、转动等进行虚拟形象的驱动，其行为较为独立，难以发挥多人虚拟直播中合作、互动的优势和乐趣，如两个直播者个体进行了握手，此时，如果单独对虚拟形象进行各自驱动，则有可能出现虚拟形象中各自挥了挥手，而没有握在一起的情况，因此，通过对每两个个体之间互动行为的检测，从而能够更进一步优化虚拟形象之间的互动行为，如握手，使得多人虚拟直播更加自然，避免虚拟形象的驱动“各自为政”的现象。
为了进一步解释本公开的技术方案，以下列出本公开的具体实施流程，如下所示：
识别视频流中第a帧图像(a为正整数)中的所有第一个体部件信息，包括第一面部信息Fi a(i＝0,1..I)，其中I为第一面部信息的个数，第一肢体信息Sj a(j＝0,1,…J),其中J为第一肢体信息的个数，第一手部信息Hk a(k＝0,1,…K),其中(K＝0,1,…K),K为第一手部信息的个数。
当a＝1时，对于每个第一面部信息Fi 1(I＝i)，第一肢体信息Sni 1(J＝ni)，第一左手部信息Hli 1(K＝li)和第一右手部信息Hpi 1(K＝pi)，计算matching_score(Fi 1,Sni 1)+matching_score_lefthand(Hli 1,Sni 1)+matching_score_righthand(Hpi 1,Sni 1)，其中，matching_score(Fi 1,Sni 1)表示第一面部信息与第一肢体信息属于同一直播者个体的匹配度,matching_score_lefthand(Hli 1,Sni 1)表示第一左手信息是第一肢体信息左手的匹配度，matching_score_righthand(Hpi 1,Sni 1)表示第一右手信息是第一肢体信息右手的匹配度。
当计算matching_score(Fi 1,Sni 1)+matching_score_lefthand(Hli 1,Sni 1)+matching_score_righthand(Hpi 1,Sni 1)得到的值最小时，将Pi＝(i,ni,li,pi)标注为第二个体身份信息，即表示第i个第二个体身份信息包括第i个第一面部信息，第ni个第一肢体信息，第li个第一左手部信息，第pi个第一右手部信息。
当matching_score(Fi 1,Sni 1)、matching_score_lefthand(Hli 1,Sni 1)、matching_score_righthand(Hpi 1,Sni 1)无法达到各自对应的预设匹配度时，则舍弃其对应的第一个体部件信息。
当a≠1时，获取第a-1帧图像的第一个体身份信息，该第一个体身份信息中包括第二面部信息Fmi a-1(mi＝0,1,…mi)。
对于每个第一面部信息Fi 1(I＝i)，第一肢体信息Sni 1(J＝ni)，第一左手部信息Hli 1(K＝li)和第一右手部信息Hpi 1(K＝pi)，计算matching_score(Fi a,Fmi a-1)+matching_score(Fi a,Sni a)+matching_score_lefthand(Hli a,Sni a)+matching_score_righthand(Hpi a,Sni a)，其中，matching_score(Fi a,Fmi a-1)表示当前帧图像的第一面部信息Fi a与第二面部信息Fmi a-1属于同一直播者个体的匹配度，其余如前述。
当计算matching_score(Fi a,Fmi a-1)+matching_score(Fi a,Sni a)+matching_score_lefthand(Hli a,Sni a)+matching_score_righthand(Hpi a,Sni a)，其中，matching_score(Fi a,Fmi a-1)，得到的值最小时，将Pi＝(i,ni,li,pi)标注为第二个体身份信息，即表示第i个第二个体身份信息包括第i个第一面部信息，第ni个第一肢体信息，第li个第一左手部信息，第pi个第一右手部信息，此时，需要保证不存在i1和i2，使得mi1＝mi2或ni1＝ni2,li1＝li2,pi1＝pi2，即保证不存在两个第一面部信息，使得确认得到的两个第一个体身份信息中，第一肢体信息与第一肢体信息相同和/或第一左手部信息与第一左手部信息相同和/或第一右手部信息与第一右手部信息相同。
当第a帧图像的第一面部信息Fi a与第a-1帧图像的所有第二面部信息Fmi a-1计算得到的matching_score(Fi a,Fmi a-1)均无法达到预设匹配度时，则将第一面部信息Fi a确认为新面部信息，并将Pi＝(i,ni,li,pi)标注为新第二个体身份信息。
当第a帧图像Pi＝(i,ni,li,pi)中的matching_score(Fi a,Sni a)、matching_score_lefthand(Hli a,Sni a)或matching_score_righthand(Hpi a,Sni a)无法达到各自对应的预设匹配度时，则将Pi标记为无效个体身份信息，并舍弃其对应的第一个体部件信息的组合。
检测每两个个体Pi1和Pi2，检测其互动行为action(Pi1,Pi2)＝ci1,i2，当两个个体之间没有互动行为时，置ci1,i2＝-1。
假设每个个体的姿态信息为Q，最小如下化方程：
Figure GDA0002743447220000201
其中，
Figure GDA0002743447220000202
表示个体Qi1和个体Qi2的个体姿态，不满足ci1,i2互动行为的程度，pose_cost(Pi，Qi)表示Qi和Pi的区别程度，w为自定义权重取经验值为0.1。
将得到的Qi作为姿态信息，对虚拟形象进行驱动。
本公开实施例中，通过在虚拟直播中，获取相对于当前帧图像的个体身份信息，从而对当前帧图像识别的人体部件信息进行匹配，避免了多人虚拟直播中，出现不同人像肢体匹配错误，不同人像之间互动行为冲突等问题，能够实现准确身份配准、多人明晰交互，避免多人虚拟直播中的画面崩坏，保证多人虚拟直播的正常进行。
图4是根据一示例性实施例示出的一种多人虚拟直播的装置400框图。参照图4，该装置包括：第一个体部件信息识别模块401、第一个体身份信息获取模块402、第二个体身份信息识别模块403和虚拟形象驱动模块404；
第一个体部件信息识别模块401，被配置为识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息、第一手部信息。
第一个体身份信息获取模块402，被配置为获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息。
第二个体身份信息识别模块403，被配置为对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
虚拟形象驱动模块404，被配置为根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
图5是根据一示例性实施例示出的一种多人虚拟直播的装置400中第二个体身份信息识别模块的具体框图。参照图5，在图4的基础上，可选地，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述第二个体身份信息识别模块403，包括：第一匹配度计算子模块4031、第二匹配度计算子模块4032、第三匹配度计算子模块4033、第四匹配度计算子模块4034和第二个体身份信息识别子模块4035；
第一匹配度计算子模块4031，被配置为计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度。
第二匹配度计算子模块4032，被配置为计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度。
第三匹配度计算子模块4033，被配置为计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度。
第四匹配度计算子模块4034，被配置为计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度。
第二个体身份信息识别子模块4035，被配置为根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，所述第二个体身份信息识别子模块4035包括：第二目标面部信息确认单元40351、第一目标肢体信息确认单元40352、第一目标左手部信息确认单元40353、第一目标右手部信息确认单元40354和第一目标右手部信息确认单元40355；
第二目标面部信息确认单元40351，被配置为在上一帧图像中确定第二目标面部信息，将所述第二目标面部信息的第一目标个体身份信息作为所述第一目标面部信息的第二目标个体身份信息，其中，所述第二目标面部信息与所述第一目标面部信息的第一匹配度符合第一预设匹配度；
第一目标肢体信息确认单元40352，被配置为根据所述当前帧图像中各第一肢体信息与所述第一目标面部信息的第二匹配度，确定第一目标肢体信息；
第一目标左手部信息确认单元40353，被配置为根据所述当前帧图像中各第一左手部信息与所述第一目标肢体信息的第三匹配度，确定第一目标左手部信息；
第一目标右手部信息确认单元40354，被配置为根据所述当前帧图像中各第一右手部信息与所述第一目标肢体信息的第四匹配度，确定第一目标右手部信息；
第一目标右手部信息确认单元40355，被配置为将所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息、所述第一目标右手部信息标识为所述第二目标个体身份信息。
可选地，所述第二个体身份信息识别子模块4035，包括：
新面部信息确认单元40356，被配置为在所述当前帧图像中确定新面部信息；其中，所述新面部信息与所述上一帧图像中的所有第二面部信息的第一匹配度均不符合第一预设匹配度；
新肢体信息确认单元40357，被配置为根据所述当前帧图像中各第一肢体信息与所述新面部信息的第二匹配度，确定新肢体信息；
新左手部信息确认单元40358，被配置为根据所述当前帧图像中各第一左手部信息与所述新肢体信息的第三匹配度，确定新左手部信息；
新右手部信息确认单元40359，被配置为根据所述当前帧图像中各第一右手部信息与所述新肢体信息的第四匹配度，确定新右手部信息；
新第二个体身份信息确认单元403510，被配置为将所述新面部信息、所述新肢体信息、所述新左手部信息、所述新右手部信息，标识为新第二个体身份信息。
图6是根据一示例性实施例示出的又一种多人虚拟直播的装置600框图。参照图6，在图4的基础上，可选地，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述第二个体身份信息识别模块403，包括：第一匹配度计算子模块4031、第二匹配度计算子模块4032、第三匹配度计算子模块4033、第四匹配度计算子模块4034和第二个体身份信息识别子模块4035；
第一匹配度计算子模块4031，被配置为计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度。
第二匹配度计算子模块4032，被配置为计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度。
第三匹配度计算子模块4033，被配置为计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度。
第四匹配度计算子模块4034，被配置为计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度。
第二个体身份信息识别子模块4035，被配置为根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
可选地，所述第二个体身份信息识别子模块4035，包括：
待测个体身份信息确认单元403511，被配置为根据所述当前帧图像中第一面部信息的数量，将所述第一个体部件信息划分为待测个体身份信息，每个待测个体身份信息包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息；
无效信息过滤单元403512，被配置为过滤所述待测个体身份信息中的无效个体身份信息，得到有效个体身份信息；
第二个体身份信息确认单元403513，被配置为当所述有效个体身份信息对应的第一面部信息，与所述上一帧图像中的第二面部信息的第一匹配度达到第一预设匹配度时，将所述有效个体身份信息标记为所述当前帧图像的第二个体身份信息，所述第二个体身份信息与所述第二面部信息所属的第一个体身份信息对应；
所述待测个体身份信息确认单元403511，还被配置为将所述无效个体身份信息包括的第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息重新划分为第二待测个体身份信息，重复执行上述单元，直至不存在无效个体身份信息。
可选地，所述无效个体身份信息满足如下条件：
所述无效个体身份信息中的第一面部信息与第一肢体信息的第二匹配度不符合第二预设匹配度；或者
所述无效个体身份信息中的第一左手部信息与第一肢体信息的第三匹配度不符合第三预设匹配度；或者
所述无效个体身份信息中的第一右手部信息与第一肢体信息的第四匹配度不符合第四预设匹配度。
虚拟形象驱动模块404，被配置为根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
可选地，虚拟形象驱动模块404包括：
互动行为确认子模块4041，被配置为根据所述第二个体身份信息对应的个体的姿态变化，确定每两个个体之间的互动行为信息。
姿态信息确认子模块4042，被配置为根据所述互动行为信息，获取每个所述第二个体身份信息对应个体的姿态信息。
虚拟形象形变子模块4043，被配置为根据所述姿态信息，对所述第二个体身份信息对应的虚拟形象进行几何形变。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图7是根据一示例性实施例示出的一种电子设备700的框图。电子设备可以为移动终端也可以为服务器，本公开实施例中以电子设备为移动终端为例进行说明。例如，电子设备700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，电子设备700可以包括以下一个或多个组件：处理组件702，存储器704，电力组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制电子设备700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在电子设备700的操作。这些数据的示例包括用于在电子设备700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为电子设备700的各种组件提供电力。电源组件706可以包括电源管理***，一个或多个电源，及其他与为电子设备700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述电子设备700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当电子设备700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当电子设备700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为电子设备700提供各个方面的状态评估。例如，传感器组件714可以检测到电子设备700的打开/关闭状态，组件的相对定位，例如所述组件为电子设备700的显示器和小键盘，传感器组件714还可以检测电子设备700或电子设备700一个组件的位置改变，用户与电子设备700接触的存在或不存在，电子设备700方位或加速/减速和电子设备700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图谱传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于电子设备700和其他设备之间有线或无线方式的通信。电子设备700可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、7G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图1至图3中所示的虚拟直播的方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由电子设备700的处理器720执行以完成上述图1至图3中所示的虚拟直播的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备700的处理器720执行时，使得电子设备700执行上述图1至图3中所示的虚拟直播的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种多人虚拟直播方法，其特征在于，所述方法包括：
识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息和第一手部信息；
获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息，所述第二个体部件信息包括：第二面部信息、第二肢体信息和第二手部信息；
对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息；
根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
2.根据权利要求1所述的方法，其特征在于，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息的步骤，包括：
计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度；
计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度；
计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度；
计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度；
根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
3.根据权利要求2所述的方法，其特征在于，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息，包括：
在上一帧图像中确定第二目标面部信息，将所述第二目标面部信息的第一目标个体身份信息作为第一目标面部信息的第二目标个体身份信息，其中，所述第二目标面部信息与所述第一目标面部信息的第一匹配度符合第一预设匹配度；
根据所述当前帧图像中各第一肢体信息与所述第一目标面部信息的第二匹配度，确定第一目标肢体信息；
根据所述当前帧图像中各第一左手部信息与所述第一目标肢体信息的第三匹配度，确定第一目标左手部信息；
根据所述当前帧图像中各第一右手部信息与所述第一目标肢体信息的第四匹配度，确定第一目标右手部信息；
将所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息和所述第一目标右手部信息标识为所述第二目标个体身份信息。
4.根据权利要求2所述的方法，其特征在于，根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息，包括：
在所述当前帧图像中确定新面部信息，其中，所述新面部信息与所述上一帧图像中的所有第二面部信息的第一匹配度均不符合第一预设匹配度；
根据所述当前帧图像中各第一肢体信息与所述新面部信息的第二匹配度，确定新肢体信息；
根据所述当前帧图像中各第一左手部信息与所述新肢体信息的第三匹配度，确定新左手部信息；
根据所述当前帧图像中各第一右手部信息与所述新肢体信息的第四匹配度，确定新右手部信息；
将所述新面部信息、所述新肢体信息、所述新左手部信息和所述新右手部信息，标识为新第二个体身份信息。
5.根据权利要求2所述的方法，其特征在于，所述根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息的步骤，包括：
根据所述当前帧图像中第一面部信息的数量，将所述第一个体部件信息划分为待测个体身份信息，每个待测个体身份信息包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息；
过滤所述待测个体身份信息中的无效个体身份信息，得到有效个体身份信息；
当所述有效个体身份信息对应的第一面部信息，与所述上一帧图像中的第二面部信息的第一匹配度达到第一预设匹配度时，将所述有效个体身份信息标记为所述当前帧图像的第二个体身份信息，所述第二个体身份信息与所述第二面部信息所属的第一个体身份信息对应；
将所述无效个体身份信息包括的第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息重新划分为第二待测个体身份信息，重复上述步骤，直至不存在无效个体身份信息。
6.根据权利要求5所述的方法，其特征在于，所述无效个体身份信息满足如下条件：
所述无效个体身份信息中的第一面部信息与第一肢体信息的第二匹配度不符合第二预设匹配度；或者
所述无效个体身份信息中的第一左手部信息与第一肢体信息的第三匹配度不符合第三预设匹配度；或者
所述无效个体身份信息中的第一右手部信息与第一肢体信息的第四匹配度不符合第四预设匹配度。
7.根据权利要求2所述的方法，其特征在于，所述根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化的步骤，包括：
根据所述第二个体身份信息对应的个体的姿态变化，确定每两个个体之间的互动行为信息；
根据所述互动行为信息，获取每个所述第二个体身份信息对应个体的姿态信息；
根据所述姿态信息，对所述第二个体身份信息对应的虚拟形象进行几何形变。
8.一种多人虚拟直播的装置，其特征在于，所述装置包括：
第一个体部件信息识别模块，被配置为识别视频流中当前帧图像中的所有第一个体部件信息，所述第一个体部件信息包括：第一面部信息、第一肢体信息和第一手部信息；
第一个体身份信息获取模块，被配置为获取上一帧图像中已识别的所有第一个体身份信息，所述第一个体身份信息用于标识所述上一帧图像中属于相同个体的第二个体部件信息；
第二个体身份信息识别模块，被配置为对所述当前帧图像中的每一个第一个体部件信息分别与所述第一个体身份信息中对应的第二个体部件信息进行匹配，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息，所述第二个体部件信息包括：第二面部信息、第二肢体信息和第二手部信息；
虚拟形象驱动模块，被配置为根据所述第二个体身份信息对应的个体的姿态变化，驱动所述第二个体身份信息对应的虚拟形象的姿态变化。
9.根据权利要求8所述的装置，其特征在于，所述第一手部信息包括：第一左手部信息和第一右手部信息，所述第二个体身份信息识别模块，包括：
第一匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一面部信息与所述上一帧图像中的每一个第二面部信息的第一匹配度；
第二匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一肢体信息与所述当前帧图像的每一个第一面部信息的第二匹配度；
第三匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一左手部信息与所述当前帧图像中的每一个第一肢体信息的第三匹配度；
第四匹配度计算子模块，被配置为计算所述当前帧图像中的每一个第一右手部信息与所述当前帧图像中的每一个第一肢体信息的第四匹配度；
第二个体身份信息识别子模块，被配置为根据所述第一匹配度、所述第二匹配度、所述第三匹配度、所述第四匹配度，以及所述上一帧图像中所述第一个体身份信息包含的第二个体部件信息，识别所述当前帧图像中的各第一个体部件信息所属的第二个体身份信息。
10.根据权利要求9所述的装置，其特征在于，所述第二个体身份信息识别子模块，包括：
第二目标面部信息确认单元，被配置为在上一帧图像中确定第二目标面部信息，将所述第二目标面部信息的第一目标个体身份信息作为第一目标面部信息的第二目标个体身份信息，其中，所述第二目标面部信息与所述第一目标面部信息的第一匹配度符合第一预设匹配度；
第一目标肢体信息确认单元，被配置为根据所述当前帧图像中各第一肢体信息与所述第一目标面部信息的第二匹配度，确定第一目标肢体信息；
第一目标左手部信息确认单元，被配置为根据所述当前帧图像中各第一左手部信息与所述第一目标肢体信息的第三匹配度，确定第一目标左手部信息；
第一目标右手部信息确认单元，被配置为根据所述当前帧图像中各第一右手部信息与所述第一目标肢体信息的第四匹配度，确定第一目标右手部信息；
第一目标右手部信息确认单元，被配置为将所述第一目标面部信息、所述第一目标肢体信息、所述第一目标左手部信息和所述第一目标右手部信息标识为所述第二目标个体身份信息。
11.根据权利要求9所述的装置，其特征在于，所述第二个体身份信息识别子模块，包括：
新面部信息确认单元，被配置为在所述当前帧图像中确定新面部信息，其中，所述新面部信息与所述上一帧图像中的所有第二面部信息的第一匹配度均不符合第一预设匹配度；
新肢体信息确认单元，被配置为根据所述当前帧图像中各第一肢体信息与所述新面部信息的第二匹配度，确定新肢体信息；
新左手部信息确认单元，被配置为根据所述当前帧图像中各第一左手部信息与所述新肢体信息的第三匹配度，确定新左手部信息；
新右手部信息确认单元，被配置为根据所述当前帧图像中各第一右手部信息与所述新肢体信息的第四匹配度，确定新右手部信息；
新第二个体身份信息确认单元，被配置为将所述新面部信息、所述新肢体信息、所述新左手部信息和所述新右手部信息，标识为新第二个体身份信息。
12.根据权利要求9所述的装置，其特征在于，所述第二个体身份信息识别子模块包括：
待测个体身份信息确认单元，被配置为根据所述当前帧图像中第一面部信息的数量，将所述第一个体部件信息划分为待测个体身份信息；每个待测个体身份信息包括一个第一面部信息、一个第一肢体信息、一个第一左手部信息和一个第一右手部信息；
无效信息过滤单元，被配置为过滤所述待测个体身份信息中的无效个体身份信息，得到有效个体身份信息；
第二个体身份信息确认单元，被配置为当所述有效个体身份信息对应的第一面部信息，与所述上一帧图像中的第二面部信息的第一匹配度达到第一预设匹配度时，将所述有效个体身份信息标记为所述当前帧图像的第二个体身份信息，所述第二个体身份信息与所述第二面部信息所属的第一个体身份信息对应；
所述待测个体身份信息确认单元，还被配置为将所述无效个体身份信息包括的第一面部信息、第一肢体信息、第一左手部信息和第一右手部信息重新划分为第二待测个体身份信息，重复调用上述单元的功能，直至不存在无效个体身份信息。
13.根据权利要求12所述的装置，其特征在于，所述无效个体身份信息满足如下条件：
所述无效个体身份信息中的第一面部信息与第一肢体信息的第二匹配度不符合第二预设匹配度；或者
所述无效个体身份信息中的第一左手部信息与第一肢体信息的第三匹配度不符合第三预设匹配度；或者
所述无效个体身份信息中的第一右手部信息与第一肢体信息的第四匹配度不符合第四预设匹配度。
14.根据权利要求9所述的装置，其特征在于，所述虚拟形象驱动模块，包括：
互动行为确认子模块，被配置为根据所述第二个体身份信息对应的个体的姿态变化，确定每两个个体之间的互动行为信息；
姿态信息确认子模块，被配置为根据所述互动行为信息，获取每个所述第二个体身份信息对应个体的姿态信息；
虚拟形象形变子模块，被配置为根据所述姿态信息，对所述第二个体身份信息对应的虚拟形象进行几何形变。
15.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的多人虚拟直播的方法。
16.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的多人虚拟直播的方法。
CN201910765435.8A 2019-08-19 2019-08-19 一种多人虚拟直播方法、装置、电子设备及存储介质 Active CN110636315B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910765435.8A CN110636315B (zh) 2019-08-19 2019-08-19 一种多人虚拟直播方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910765435.8A CN110636315B (zh) 2019-08-19 2019-08-19 一种多人虚拟直播方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110636315A CN110636315A (zh) 2019-12-31
CN110636315B true CN110636315B (zh) 2020-12-15

Family

ID=68970661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910765435.8A Active CN110636315B (zh) 2019-08-19 2019-08-19 一种多人虚拟直播方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110636315B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112542890A (zh) * 2020-12-09 2021-03-23 广东电网有限责任公司 一种直流输电***的可视化展示方法及装置
WO2022144605A1 (en) * 2020-12-31 2022-07-07 Sensetime International Pte. Ltd. Methods, devices, apparatuses and storage media of detecting correlated objects in images
KR20220098312A (ko) 2020-12-31 2022-07-12 센스타임 인터내셔널 피티이. 리미티드. 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
CN114979682B (zh) * 2022-04-19 2023-10-13 阿里巴巴（中国）有限公司 多主播虚拟直播方法以及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110248995A1 (en) * 2010-04-09 2011-10-13 Fuji Xerox Co., Ltd. System and methods for creating interactive virtual content based on machine analysis of freeform physical markup
US9654832B1 (en) * 2015-11-02 2017-05-16 Telefonaktiebolaget Lm Ericsson (Publ) Notification of an upcoming live media program
CN108986189B (zh) * 2018-06-21 2023-12-19 武汉金山世游科技有限公司 基于三维动画中实时多人动作捕捉并直播的方法和***
CN110139115B (zh) * 2019-04-30 2020-06-09 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备

Also Published As

Publication number Publication date
CN110636315A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
CN110636315B (zh) 一种多人虚拟直播方法、装置、电子设备及存储介质
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
CN106651955B (zh) 图片中目标物的定位方法及装置
CN113228124B (zh) 图像处理方法及装置、电子设备和存储介质
CN110517185B (zh) 图像处理方法、装置、电子设备及存储介质
CN110188236A (zh) 一种音乐的推荐方法、装置及***
CN111368796B (zh) 人脸图像的处理方法、装置、电子设备及存储介质
EP3174283A1 (en) Preview image display method and apparatus, computer program and recording medium
CN105357425B (zh) 图像拍摄方法及装置
CN106331761A (zh) 直播列表显示方法及装置
CN114514566B (zh) 图像处理方法及装置、电子设备和存储介质
CN109410276B (zh) 关键点位置确定方法、装置及电子设备
EP3173969A1 (en) Method, apparatus and terminal device for playing music based on a target face photo album
CN113194254A (zh) 图像拍摄方法及装置、电子设备和存储介质
CN105426833A (zh) 用于游戏的图像识别方法及装置
CN112188091B (zh) 人脸信息识别方法、装置、电子设备及存储介质
CN113409342A (zh) 图像风格迁移模型的训练方法、装置及电子设备
CN110969120A (zh) 图像处理方法及装置、电子设备、可读存储介质
CN109145878B (zh) 图像提取方法及装置
CN108848303A (zh) 拍摄提示方法及装置
CN108470321B (zh) 照片的美颜处理方法、装置和存储介质
CN107122697A (zh) 照片的自动获取方法及装置、电子设备
CN106791563A (zh) 信息传输方法、本端设备、对端设备及***
CN109740557B (zh) 对象检测方法及装置、电子设备和存储介质
CN111582258A (zh) 图像处理方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant