CN101930284B - 一种实现视频和虚拟网络场景交互的方法、装置和*** - Google Patents

一种实现视频和虚拟网络场景交互的方法、装置和*** Download PDF

Info

Publication number
CN101930284B
CN101930284B CN200910150595.8A CN200910150595A CN101930284B CN 101930284 B CN101930284 B CN 101930284B CN 200910150595 A CN200910150595 A CN 200910150595A CN 101930284 B CN101930284 B CN 101930284B
Authority
CN
China
Prior art keywords
active user
user
described active
video data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200910150595.8A
Other languages
English (en)
Other versions
CN101930284A (zh
Inventor
李转科
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43354281&utm_source=***_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101930284(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN200910150595.8A priority Critical patent/CN101930284B/zh
Priority to US12/648,209 priority patent/US9247201B2/en
Priority to BRPI1015566A priority patent/BRPI1015566A8/pt
Priority to RU2012101502/08A priority patent/RU2518940C2/ru
Priority to EP10791354.3A priority patent/EP2448200A4/en
Priority to PCT/CN2010/072993 priority patent/WO2010148848A1/zh
Publication of CN101930284A publication Critical patent/CN101930284A/zh
Priority to US13/334,765 priority patent/US20120092475A1/en
Publication of CN101930284B publication Critical patent/CN101930284B/zh
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408—Peer to peer connection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/57—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player
    • A63F2300/577—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of game services offered to the player for watching a game played by other players
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实现视频和虚拟网络场景交互的方法、装置和***，属于计算机领域。所述方法包括：采集当前用户的视频数据；根据采集的所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息；将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互。本发明通过将视频和虚拟网络场景模式下的网络服务进行关联，增加了视频和虚拟网络场景模式下的网络服务的相关性，实现了视频和网络服务的交互，提高了用户的使用体验。

Description

一种实现视频和虚拟网络场景交互的方法、装置和***
技术领域
本发明涉及计算机领域，特别涉及一种实现视频和虚拟网络场景交互的方法、装置和***。
背景技术
伴随着互联网的高速发展，用户可以通过互联网享受到网上办公、网上娱乐等服务。在实现网上办公、网上娱乐等服务时，为了提高用户的使用体验，扩大互联网所提供的服务的范围，现有技术提供了一种虚拟网络场景模式，例如，多个用户在进行网络游戏时，通过虚拟的游戏网络场景，用户可以有置身其中的真实感，大大提高了用户的使用体验，提高了用户对网络服务的满意度，其中，该虚拟网络场景的应用包括但不限于网络游戏、网络会议等。
发明人在实现本发明的过程中，发现上述现有技术至少存在以下缺点和不足：基于上述虚拟网络场景模式的网络服务仅能够给用户提供在虚拟的场景中的交互，提供方式单一，既不能提供用户和现实结合的感官体验，也不能提供用户现实和该网络服务的结合体验，用户仅能够看到虚拟场景的虚拟人物，无法看到参与该网络服务的其他人的真实身份和模样，并且用户无法在该网络服务的过程中让其他的人能够通过网络看到自己，导致用户的感官体验无法和虚拟网络场景模式下的网络服务的交互，造成用户较差的使用体验。
发明内容
为了增加视频和虚拟网络场景模式下的网络服务的相关性，实现视频和网络服务的交互，提高用户的使用体验，本发明实施例提供了一种实现视频和虚拟网络场景交互的方法、装置和***。所述技术方案如下：
一种实现视频和虚拟网络场景交互的方法，所述方法包括：
获取用户的视频数据；
根据所述视频数据，在客户端将所述视频数据对应的视频嵌入所述虚拟网络场景中进行显示；或，
根据所述视频数据，在客户端将所述视频数据对应的视频在虚拟网络场景上进行显示；
多个用户在使用虚拟网络场景的过程中，所述方法包括：
采集当前用户的视频数据；
根据采集的所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；
根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息；
将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互；
所述将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现和所述虚拟场景的交互，包括：
根据识别的所述当前用户的动作信息，以及预设的用户和所述虚拟网络场景中虚拟对象的映射关系，在虚拟网络场景中将识别出的当前用户的动作映射给所述当前用户的虚拟对象；和/或，
根据识别的所述当前用户的动作信息，控制所述虚拟网络场景。
其中，所述根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息，包括：
根据采集的所述当前用户的视频数据，通过脸部识别技术，捕获所述当前用户的脸部视频数据，识别所述用户的脸部动作信息；和/或，
根据采集的所述当前用户的视频数据，通过动作分析和对象跟踪技术，捕获所述当前用户的动作视频数据，识别所述当前用户的肢体动作信息。
进一步地，所述方法还包括：
在预设的采样时刻，判断是否捕获到满足预设要求的所述当前用户的视频数据，如果是，则对所述当前用户进行正反馈；否则，对所述当前用户进行负反馈。
其中，所述判断是否捕获到满足预设要求的所述当前用户的视频数据，包括：
判断是否捕获到用户的脸部视频数据，如果是，捕获到满足预设要求的所述当前用户的视频数据；否则，未捕获到满足预设要求的所述当前用户的视频数据。
其中，当通过脸部识别技术，根据捕获的所述当前用户的脸部视频数据，识别所述用户的脸部动作信息时，所述方法还包括：
根据捕获到的所述当前用户的脸部视频数据，对能够捕获到的所述当前用户的脸部视频数据的时长进行累计；根据累计的时长，对所述当前用户进行奖励；和/或，
根据捕获到的所述当前用户的脸部视频数据，以及预设的脸部检测特征点，获得所述当前用户的脸部检测特征点的检测值；根据所述检测值，对所述用户进行正反馈或负反馈。
其中，所述对所述当前用户进行正反馈包括但不限于对所述当前用户进行奖励；
所述对所述当前用户进行负反馈包括但不限于禁止所述当前用户继续使用所述虚拟网络场景。
进一步地，所述方法还包括：
接收所述当前用户发送的虚拟物品添加信号，选择出所述当前用户希望添加的虚拟物品；
相应地，所述在所述当前用户的客户端和其他用户的客户端，显示捕获的所述当前用户的视频，还包括：
在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频数据和所述当前用户希望添加的虚拟物品。
其中，在对所述虚拟物品显示时，所述虚拟物品跟随所述当前用户的脸部位置的改变进行同步改变。
进一步地，所述方法还包括：
接收所述当前用户触发的截图信号；
对在所述当前用户的客户端所显示的至少两个用户的视频进行截图，获得至少两个截图图像，所述截图图像中包含所述用户的脸部信息；
根据获得的至少两个截图图像中包含的用户的脸部信息，计算所述脸部信息的匹配度，将计算结果返回给所述当前用户。
一种实现视频和虚拟网络场景交互的装置，所述装置用于获取用户的视频数据；根据所述视频数据，在客户端将所述视频数据对应的视频嵌入所述虚拟网络场景中进行显示；或，根据所述视频数据，在客户端将所述视频数据对应的视频在虚拟网络场景上进行显示；
其中，所述装置包括：
采集模块，用于采集当前用户的视频数据；
显示模块，用于根据所述采集模块捕获的所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；
识别模块，用于根据所述采集模块采集的所述当前用户的视频数据，识别所述当前用户的动作信息；
交互模块，用于将所述识别模块识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互；
所述交互模块包括：
映射单元，用于根据所述识别模块识别的所述当前用户的动作信息，以及预设的用户和所述虚拟网络场景中虚拟人物的映射关系，在虚拟网络场景中将识别出的当前用户的动作映射给所述当前用户的虚拟对象；
控制单元，用于根据所述识别模块识别的所述当前用户的动作信息，控制所述虚拟网络场景。。
其中，所述识别模块包括：
第一识别单元，用于根据所述采集模块采集的所述当前用户的视频数据，通过脸部识别技术，捕获所述当前用户的脸部视频数据，识别所述用户的脸部动作信息；和/或，
第二识别单元，用于根据所述采集模块采集的所述当前用户的视频数据，通过动作分析和对象跟踪技术，捕获所述当前用户的动作视频数据，识别所述当前用户的肢体动作信息。
进一步地，所述装置还包括：
第一判断模块，用于在预设的采样时刻，判断是否捕获到满足预设要求的当前用户的视频数据；
第一奖惩模块，用于当所述第一判断模块判断的结果为是时，对所述当前用户进行正反馈；当所述第一判断模块判断的结果为否时，则对用户进行负反馈。
其中，当所述识别模块包括第一识别单元时，所述装置还包括：
第一奖励模块，用于根据所述第一识别单元捕获到的所述当前用户的脸部视频数据，对能够捕获到的所述当前用户的脸部视频数据的时长进行累计；根据累计的所述时长，对所述当前用户进行奖励；和/或，
第二判断模块，用于根据捕获到的所述当前用户的脸部视频数据，以及预设的脸部检测特征点，获得到所述当前用户的脸部检测特征点对应的检测值；根据所述检测值，对所述当前用户进行正反馈或负反馈。
进一步地，所述装置还包括：
接收模块，用于接收所述当前用户发送的虚拟物品添加信号；
选择模块，用于在接收模块接收到所述物品添加信号后，选择出所述当前用户希望添加的物品；
相应地，所述显示模块具体用于在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频数据和所述当前用户希望添加的物品。
其中，所述显示模块在显示所述物品时，所述显示的物品跟随所述当前用户的脸部位置的改变进行同步改变。
进一步地，所述装置还包括：
截图模块，用于接收所述当前用户触发的截图信号；对在所述当前用户的客户端所显示的至少两个用户的视频进行截图，获得至少两个截图图像；所述截图图像中包含所述用户的脸部信息；
处理模块，用于根据所述截图模块获得的至少两个截图图像中包含的用户的脸部信息，计算所述脸部信息的匹配度，将计算结果返回给所述当前用户。
一种实现视频和虚拟网络场景交互的***，所述***包括：实现视频和虚拟网络场景交互的服务器和实现视频和虚拟网络场景交互的客户端，其中，所述客户端为多个；
所述客户端，用于采集当前用户的视频数据；根据所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息；用于将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互；
所述服务器，用于中转所述客户端之间的视频数据；用于中转所述客户端之间的虚拟场景控制信息后，控制所述虚拟场景。
本发明实施例提供的技术方案的有益效果是：
通过将视频和虚拟网络场景模式下的网络服务进行关联，增加视频和虚拟网络场景模式下的网络服务的相关性，实现视频和网络服务的交互，提高用户的使用体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的实现视频和虚拟网络场景交互的方法流程图；
图2是本发明实施例1提供的实现视频和虚拟网络场景交互的方法的应用场景架构图；
图3是本发明实施例1提供的实现视频和虚拟网络场景交互的方法流程图；
图4是本发明实施例1提供的实现视频和虚拟网络场景交互的方法的用户交互示意图；
图5是本发明实施例2提供的实现视频和虚拟网络场景交互的装置的示意图；
图6是本发明实施例3提供的实现视频和虚拟网络场景交互的***的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
为了增加视频和虚拟网络场景模式下的网络服务的相关性，实现视频和上述网络服务的交互，提高用户的使用体验，本发明实施例提供了一种实现视频和虚拟网络场景交互的方法，该方法内容包括：获取用户的视频数据；根据该视频数据，在客户端将该视频数据对应的视频嵌入该虚拟网络场景中进行显示；或，根据该视频数据，在客户端将该视频数据对应的视频在虚拟网络场景上进行显示。所谓在客户端将该视频数据对应的视频在虚拟网络场景上进行显示是指用户的视频在显示时是浮动于该虚拟网络场景上的。其中，该虚拟网络场景包括但不限于网络游戏、视频会议等等。
其中，多个用户在使用虚拟网络场景的过程中，参见图1，该方法内容如下：
S1：采集当前用户的视频数据；
S2：根据采集的当前用户的视频数据，在当前用户的客户端和其他用户的客户端，显示采集的当前用户的视频；
S3：根据采集的当前用户的视频数据，识别当前用户的动作信息；
S4：将识别的当前用户的动作信息，作用于虚拟网络场景，实现当前用户的视频和虚拟场景的交互。
其中，步骤S4所涉及的将识别的当前用户的动作信息，作用于虚拟网络场景，实现和虚拟场景的交互，包括：
S4A：根据识别的当前用户的动作信息，以及预设的用户和虚拟网络场景中虚拟对象的映射关系，在虚拟网络场景中将识别出的当前用户的动作映射给当前用户的虚拟对象；和/或，
S4B：根据识别的当前用户的动作信息，控制虚拟网络场景。
其中，步骤S3所涉及根据采集的当前用户的视频数据，识别当前用户的动作信息，包括：
根据采集的当前用户的视频数据，通过脸部识别技术，捕获当前用户的脸部视频数据，识别用户的脸部动作信息；和/或，
根据采集的当前用户的视频数据，通过动作分析和对象跟踪技术，捕获当前用户的动作视频数据，识别当前用户的肢体动作信息。
本发明实施例提供的实现视频和虚拟网络场景交互的方法，通过将视频和虚拟网络场景模式下的网络服务进行关联，增加视频和虚拟网络场景模式下的网络服务的相关性，实现视频和网络服务的交互，提高用户的使用体验。
为了对本发明实施例提供的实现视频和虚拟网络场景交互的方法进行详细说明，请参见如下实施例，其中，为了便于说明，下述实施例中虚拟网络场景以用户常用的虚拟网络游戏场景为例进行示例说明：
实施例1
为了增加视频和虚拟网络游戏场景模式下的网络服务的相关性，实现视频和上述网络服务的交互，提高用户的使用体验，本发明实施例提供了一种实现视频和虚拟网络场景交互的方法。
如前所述，为了便于说明，参见图2，为本发明实施例提供的应用架构示意图，本实施例以虚拟网络游戏场景为例，以使用该虚拟网络游戏场景中的用户分别为用户A、用户B、用户C为例，该真实用户A、用户B和用户C在该虚拟网络游戏场景中所对应的虚拟对象为虚拟人物为例，相应地，各虚拟人物分别为a、b和c进行示意说明。参见图3，本发明实施例提供的方法内容如下：
步骤101：用户A处的客户端A采集用户A的视频数据。
其中，该客户端A具体实现时，可以是带有可捕获视频数据装置（如摄像头等）的计算机、还可以是带有可捕获视频数据装置的手持终端。本发明实施例对该客户端A具体实现时的类型和方式不做任何限制。
步骤102：客户端A根据采集的用户A的视频数据，识别用户A的动作。
其中，视频数据与用户实际展示在可捕获视频数据装置前的动作相对应，该动作包括但不限于：用户的脸部动作、用户的肢体动作等。
如果用户A在客户端A前呈现了自己的脸部，则该客户端A将从采集用户A的视频数据中通过脸部识别技术捕获到用户A的脸部视频数据，基于该捕获到用户A的脸部视频数据，可以识别得到用户A的脸部动作。
如果用户A在客户端A前呈现了自己的肢体动作，则该客户端A将从采集用户A的视频数据中通过动作分析和对象跟踪技术捕获到用户A的肢体视频数据，基于该捕获到用户A的肢体视频数据，可以识别得到用户A的肢体动作。
步骤103：客户端A将识别出的用户A的动作信息，发送给预设的网络服务器。
其中，上述网络服务器具体可以是视频游戏服务器，在客户端A在将识别出的用户A的动作信息发送给预设的网络服务器时，可以通过携带表示具体动作标识的数据实现。例如：假设针对脸部动作，则设置XX1表示眨眼；XX2表示皱眉等等。
步骤104:网络服务器根据识别的用户A的动作信息、以及用户A和该虚拟网络游戏场景中虚拟人物A的映射关系，将识别出的用户A的动作映射给该虚拟人物a。
其中，如前所述，真实用户和在该虚拟网络游戏场景中的虚拟人物存在映射关系，为了提高网络服务的处理效率，如图2所述，本实施例假设存在网络服务器(即视频游戏服务器)，该网络服务器用于为多个用户提供该虚拟网络游戏服务，其中，该网络服务器内会保存有上述该映射关系；相应地，当该网络服务器收到客户端A发送的用户A的动作后（具体可以为动作标识），则将相应的动作作用于与用户A对应的虚拟人物a。例如：假设服务器识别出的用户A的动作为眨眼（该动作的标识为XX1），则相应地，在该虚拟网络游戏场景中的虚拟人物a也会做出眨眼的动作。其中，具体实现时，本领域技术人员可知道可通过动作分析和对象跟踪技术实现。
通过上述步骤102至步骤104，实现了用户的视频和虚拟网络游戏场景的交互，另本领域技术人员可以知，还可以通过视频实现，根据用户的动作信息对虚拟网络游戏场景进行控制。本实施例以客户端A根据用户A的视频数据识别并向服务器发送该用户A的动作为例，在具体实现时，为了进一步提高数据的处理效率，还可以采用客户端A直接将获取的用户A的视频数据发送给该网络服务器，由该网络服务器根据接收的视频数据获取该用户A的动作信息。本发明实施例对此不做任何限制。本领域技术人员可以获知，在发送视频数据时，为了提高网络传输效率，还可以对传输的数据进行编码、压缩等处理，本发明实施例对此不做任何限制。
同理，用户B和用户C通过执行上述步骤101-104，即可以实现视频和网络游戏场景的交互，从而提高了用户的使用体验。可以实现各用户在本地就可以看到参与该网络游戏的其他用户的真实模样。进一步地，各客户端还可以为用户提供本地自我展示的功能，即用户还可以在本地观看到自己的真实模样。
进一步地，为了提高用户的使用体验，本发明实施例提供的方法还可以包括：客户端A接收用户A发送的触发信号，对当前看到的用户B的视频和用户C的视频进行截图，得到用户B的当前截图X和用户C的当前截图Y；其中，当前截图X和当前截图Y中分别包含有用户B的脸部信息和用户C的脸部信息，根据得到的当前截图X和当前截图Y中分别包含的脸部信息，计算用户B的脸部信息和用户C的脸部信息的匹配度，即可计算得到当前截图X和当前截图Y的匹配度，相应地，还可以将计算结果反馈给用户，从而进一步提高用户的趣味性和娱乐性。
进一步地，本发明实施例提供的方法，为了提高视频和虚拟网络游戏场景模式下的网络服务的相关性，在进行视频捕获时，如果在用户在该虚拟网络游戏场景中使用该网络服务过程中，通过在预设采样时刻，对所有的用户进行采样，判断是否捕获到该满足预设要求的用户的视频（具体可以设置为判断是否捕获到该用户的脸部视频），如果是，则对用户进行正反馈，例如在网络游戏中为用户提供相应的奖励；如果否，则对用户进行负反馈，例如在网络游戏中为用户提供相应的惩罚，如禁止用户在该网络游戏中执行某个动作等。
另外，还可以在进行视频捕获时，如果在用户在该虚拟网络游戏场景中使用该网络服务过程中，通过在预设采样时刻，对所有的用户进行采样，判断是否捕获到该用户的视频（具体可以设置为判断是否捕获到该用户的脸部视频），如果是，则为用户建立展示数值，并可相应的制定累计规则，如果该数值累积越大，则相应的表示该用户更倾向展示自己；或者，通过对用户在视频中出现的时间长短进行累计（具体可以设置该用户的脸部在视频中出现的时间长短进行累计），如果时间越长，则相应的表示该用户更倾向展示自己。
进一步地，还可以预设脸部检测特征点，根据捕获到的当前用户的脸部视频数据，以及该预设的脸部检测特征点，判断是否能够得到当前用户的脸部检测特征点所对应的检测值，如果是，则对用户进行正反馈，例如在网络游戏中为用户提供相应的奖励；如果否，则对用户进行负反馈，例如在网络游戏中为用户提供相应的惩罚，如禁止用户在该网络游戏中执行某个动作等。示例：假设上述预设的脸部检测特征点为鼻子，则可以根据捕获的当前用户A的脸部视频数据，判断是否存在鼻子的检测特征点，如果能够得到该检测特征点所对应的检测值，则在网络游戏中为用户提供相应的奖励；否则，禁止用户在该网络游戏中执行某个动作，例如：中止该用户继续进行该网络游戏，或给予用户相应的游戏分数惩罚，或提示用户将脸部对准客户端的视频捕获装置等等。
进一步地，为了提高用户的实用性和娱乐性，客户端还可以为用户提供配套物品（如图形物件等），所提供的配套物品可通过对象跟踪技术跟踪用户的脸部进行相应的位置改变。例如，用户A选择的配套物品为眼镜，则相应地，客户端A接收用户A选择眼镜的触发信号后，选择出用户A所选择的眼镜，并将该眼镜添加在视频窗口中，且在视频窗口中无论用户A是低头还是抬头，该眼镜始终跟随用户A的脸部位置进行相应的变化。其中，上述配套物品可以是预先为用户设置好的，也可以是由用户从其他的地方添加进来的。本发明实施例对此不做任何限制。
进一步地，为了提高用户的实用性和娱乐性，本发明实施例提供的方法还可以支持用户通过在本地客户端所观看到的其他各用户的视频窗口后，根据自己的喜好选择出目标视频窗口（一个或多个），对所选择的目标视频窗口执行播放表情图片或动作动画，以此可以表达用户的心情和想要进行的动作。例如，用户A选择了一个笑脸的表情图片，且选中了在用户B的视频窗口内播放该笑脸表情图片，则相应地，客户端A接收到该用户A触发的选择信号后，通过网络服务器实现在用户B的视频窗口内播放该笑脸表情图片。其中，该表情图片或动作动画，可以是预先为用户设置好的，也可以是由用户自己定义的表情图片或者动作动画。
进一步地，各用户还可以根据观看到的其他用户的视频图像，向对方给予虚拟礼物的赠送，即为每个用户建立一个标识，可以为每类虚拟礼物建立独立的标识，例如，当用户A通过观看到的用户B的视频图像后，决定向用户B赠送虚拟礼物（如虚拟礼物包括鲜花和饮料两类，则标识FFF代表鲜花；标识WWW代表饮料），则可以在自己的视频窗口诱发一个赠送动画，在接收方即用户B的视频窗口诱发一个接受动画（或者只在某一方诱发动画）。相应地，通过数值的传递便可实现虚拟礼物赠送和接受的交互流程。
进一步地，上述本发明实施例以实现视频和虚拟网络游戏场景模式下的网络服务的交互为例进行的说明，另，本领域技术人员可以获知，同理还可以实现音频和虚拟网络游戏场景模式下的网络服务的交互，即通过客户端设置的采集用户发出的语音，识别音频数据得到用户想表达的信息，然后将识别得到的用户想表达的信息，作用到虚拟网络游戏场景中，或者作用到虚拟网络游戏场景中的虚拟人物上。例如：客户端A采集到用户A发出的“眨眼”命令，则通过语音识别,得到该眨眼动作，将该眨眼动作作用该用户A的虚拟人物a中；再如，客户端A采集到用户A发出的“前进”命令，则通过语音识别,得到该前进动作，在将该眨眼动作作用该用户A的虚拟人物a上，在该虚拟人物a则在该虚拟网络游戏场景中执行前进的动作。
综上所述，本发明实施例提供了一种实现视频和虚拟网络场景交互的方法，其中，所述视频包括但不限于影像，声音等，参见图4，为本发明实施例提供的该方法下的用户交互示意图。其中，脸部识别技术包括但不限于OpenCv基于灰度图像中弱特征检测方法，Haar特征检测方法等。通过本发明实施例提供的方法可以实现在虚拟网络游戏场景中镶嵌视频窗口，从而达到实现视频和虚拟网络场景交互的目的，并且本发明实施例提供的方法，利用脸部识别技术、动作运动分析、对象跟踪和动作捕捉来可以实现基于视频的用户和虚拟网络场景交互，且利用视频图像混合技术混合动画增加用户间的交互；且利用视频进行用户间的交互。
上述本发明实施例以虚拟网络游戏场景为例进行的说明，本领域技术人员可以知，本发明实施例提供方法还可以应用于虚拟网络会议场景等情况，本发明实施例仅作示例说明，对此不做任何限制。
实施例2
与上述方法实施例相应地，为了增加视频和虚拟网络游戏场景模式下的网络服务的相关性，实现视频和上述网络服务的交互，提高用户的使用体验，本发明实施例提供了一种实现视频和虚拟网络场景交互的装置，该装置用于获取用户的视频数据；根据该视频数据，在客户端将该视频数据对应的视频嵌入该虚拟网络场景中进行显示；或，根据该视频数据，在客户端将该视频数据对应的视频在虚拟网络场景上进行显示。其中，所谓在客户端将该视频数据对应的视频在虚拟网络场景上进行显示是指用户的视频在显示时是浮动于该虚拟网络场景上的。参见图5，该装置包括：
采集模块501，用于采集当前用户的视频数据；
显示模块502，用于根据采集模块501捕获的当前用户的视频数据，在当前用户的客户端和其他用户的客户端，显示采集的当前用户的视频；
识别模块503，用于根据采集模块501采集的当前用户的视频数据，识别当前用户的动作信息；
交互模块504，用于将识别模块503识别的当前用户的动作信息，作用于虚拟网络场景，实现当前用户的视频和虚拟场景的交互。
其中，交互模块504包括：
映射单元，用于根据识别模块503识别的当前用户的动作信息，以及预设的用户和虚拟网络场景中虚拟人物的映射关系，在虚拟网络场景中将识别出的当前用户的动作映射给当前用户的虚拟对象；
控制单元，用于根据识别模块503识别的当前用户的动作信息，控制虚拟网络场景。
其中，识别模块503包括：
第一识别单元，用于根据采集模块501采集的当前用户的视频数据，通过脸部识别技术，捕获当前用户的脸部视频数据，识别用户的脸部动作信息；和/或，
第二识别单元，用于根据采集模块501采集的当前用户的视频数据，通过动作分析和对象跟踪技术，捕获当前用户的动作视频数据，识别当前用户的肢体动作信息。
进一步地，装置还包括：
第一判断模块，用于在预设的采样时刻，判断是否捕获到满足预设要求的当前用户的视频数据；
第一奖惩模块，用于当第一判断模块判断的结果为是时，对当前用户进行正反馈；当第一判断模块判断的结果为否时，则对用户进行负反馈。
其中，当识别模块503包括第一识别单元时，装置还包括：
第一奖励模块，用于根据第一识别单元捕获到的当前用户的脸部视频数据，对能够捕获到的当前用户的脸部视频数据的时长进行累计；根据累计的时长，对当前用户进行奖励；和/或，
第二判断模块，用于根据捕获到的当前用户的脸部视频数据，以及预设的脸部检测特征点，获得当前用户的脸部检测特征点对应的检测值；根据检测值，对当前用户进行正反馈或负反馈。
进一步地，为了提高用户的实用性和娱乐性，装置还包括：
接收模块，用于接收当前用户发送的虚拟物品添加信号；
选择模块，用于在接收模块接收到物品添加信号后，选择出当前用户希望添加的物品；
相应地，显示模块502具体用于在当前用户的客户端和其他用户的客户端，显示采集的当前用户的视频数据和当前用户希望添加的物品。
其中，显示模块502在显示物品时，显示的物品跟随当前用户的脸部位置的改变进行同步改变。
进一步地，为了提高用户的实用性和娱乐性，装置还包括：
截图模块，用于接收当前用户触发的截图信号；对在当前用户的客户端所显示的至少两个用户的视频进行截图，获得至少两个截图图像；截图图像中包括用户的脸部信息；
处理模块，用于根据截图模块获得的至少两个截图图像中包括的用户的脸部信息，计算脸部信息的匹配度，将计算结果返回给当前用户。
本领域技术人员可知，本发明实施例提供的实现视频和虚拟网络场景交互的装置的各模块，具体实现时，所有的模块都可以位于同一个装置内（如采集模块、显示模块、识别模块、交互模块都位于客户端），也可以进行相应的变化位于不同的装置内（如采集模块、显示模块位于客户端；识别模块、交互模块位于服务器），上述实施例所提供的模块可以根据需要合并为一个模块，也可以进一步地拆分成多个子模块。
综上所述，本发明实施例提供了一种实现视频和虚拟网络场景交互的装置，通过本发明实施例提供的装置可以实现在虚拟网络游戏场景中镶嵌视频窗口，从而达到实现视频和虚拟网络场景交互的目的，并且本发明实施例提供的方法，利用脸部识别技术、动作运动分析、对象跟踪和动作捕捉来可以实现基于视频的用户和虚拟网络场景交互，且利用视频图像混合技术混合动画增加用户间的交互；且利用视频进行用户间的交互。
实施例3
与上述实施例相应地，为了增加视频和虚拟网络游戏场景模式下的网络服务的相关性，实现视频和上述网络服务的交互，提高用户的使用体验，本发明实施例提供了一种实现视频和虚拟网络场景交互的***，参见图6，该***包括：实现视频和虚拟网络场景交互的服务器601和实现视频和虚拟网络场景交互的客户端602，其中，客户端602为多个；
客户端602，用于采集当前用户的视频数据；根据当前用户的视频数据，在当前用户的客户端602和其他用户的客户端602，显示采集的当前用户的视频；根据采集的当前用户的视频数据，识别当前用户的动作信息；用于将识别的当前用户的动作信息，作用于虚拟网络场景，实现当前用户的视频和虚拟场景的交互；
服务器601，用于中转客户端602之间的视频数据；用于中转客户端602之间的虚拟场景控制信息后，控制虚拟场景。
可选地，对于上述服务器中转数据的情况外，还可以包括通过P2P传输；可选地，还可以将视频数据和虚拟网络数据（如虚拟网络游戏数据）分开进行传输；详见如下：
可选地，在具体实现时，考虑到实际情况，为了提高网络的传输效率，节约网络传输带宽，该***的架构还可以如下，包括：客户端、视频服务器和游戏服务器，其中，
客户端，用于采集当前用户的视频数据，显示采集的当前用户和其他客户端采集的其他用户的视频，以及根据采集的当前用户的视频数据，识别当前用户的动作信息；还用于显示虚拟网络场景；
视频服务器，用于收集各客户端采集的视频数据，中转各客户端所采集的视频数据，并且还可以收集各客户端识别的用户的动作信息，将识别的用户的动作信息，通过虚拟场景服务器作用于虚拟网络场景，实现用户的视频和虚拟场景的交互；
虚拟场景服务器，用于执行虚拟场景的流程，并将视频服务器得到的用户的动作信息作用到虚拟网络场景，实现用户的视频和虚拟场景的交互。其中，当该虚拟场景服务器为网络游戏时，则上述虚拟场景服务器为游戏服务器。
进一步地，可选地，针对目前网络较为流行的P2P(Peer to Peer,对等节点)网络架构，本发明实施例提供的***具体还可以包括如下：
客户端，用于采集当前用户的视频数据，显示采集的当前用户和其他客户端采集的其他用户的视频，以及根据采集的当前用户的视频数据，识别当前用户的动作信息；还用于显示虚拟网络场景；
视频服务器，用于收集各客户端采集的视频数据，中转各客户端所采集的视频数据，并且还可以收集各客户端识别的用户的动作信息，将识别的用户的动作信息，通过虚拟场景服务器作用于虚拟网络场景，实现用户的视频和虚拟场景的交互；
虚拟场景服务器，用于执行虚拟场景的流程，并将视频服务器得到的用户的动作信息作用到虚拟网络场景，实现用户的视频和虚拟场景的交互。其中，当该虚拟场景服务器为网络游戏时，则上述虚拟场景服务器为游戏服务器。
以及P2P服务器，该P2P服务器用于为上述视频服务器和虚拟场景服务器进行数据的备份，以实现容灾备份的功能。
本发明实施例对本发明实施例提供的***的具体实现架构不做任何限制，仅做示例说明，任何将视频和虚拟网络场景结合，实现视频与虚拟网络场景交互模式的技术方案都在本发明实施例的保护范围之内。
综上所述，本发明实施例提供了一种实现视频和虚拟网络场景交互的***，通过本发明实施例提供的***可以实现在虚拟网络游戏场景中镶嵌视频窗口，从而达到实现视频和虚拟网络场景交互的目的，并且本发明实施例提供的方法，利用脸部识别技术、动作运动分析、对象跟踪和动作捕捉来可以实现基于视频的用户和虚拟网络场景交互，且利用视频图像混合技术混合动画增加用户间的交互；且利用视频进行用户间的交互。
综上所述，本发明实施例提供的技术方案，可以满足用户日益对使用虚拟网络场景模式下的网络服务的要求，能够实现用户在享受虚拟网络场景模式的网络服务的同时，能够看到参与该网络服务的其他人的真实身份和模样，并且也能够实现用户在该网络服务的过程中让其他的人能够通过网络看到自己，增加了视频和虚拟网络场景模式下的网络服务的相关性，实现视频和上述网络服务的交互。
本发明实施例中的“接收”一词可以理解为主动从其他模块获取也可以是接收其他模块发送来的信息。
本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (17)

1.一种实现视频和虚拟网络场景交互的方法，其特征在于，所述方法包括：
获取用户的视频数据；
根据所述视频数据，在客户端将所述视频数据对应的视频嵌入所述虚拟网络场景中进行显示；或，
根据所述视频数据，在客户端将所述视频数据对应的视频在虚拟网络场景上进行显示；
多个用户在使用虚拟网络场景的过程中，所述方法具体包括：
采集当前用户的视频数据；
根据采集的所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；
根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息；
将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互；
所述将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现和所述虚拟场景的交互，包括：
根据识别的所述当前用户的动作信息，以及预设的用户和所述虚拟网络场景中虚拟对象的映射关系，在虚拟网络场景中将识别出的当前用户的动作映射给所述当前用户的虚拟对象；和/或，
根据识别的所述当前用户的动作信息，控制所述虚拟网络场景。
2.如权利要求1所述的方法，其特征在于，所述根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息，包括：
根据采集的所述当前用户的视频数据，通过脸部识别技术，捕获所述当前用户的脸部视频数据，识别所述用户的脸部动作信息；和/或，
根据采集的所述当前用户的视频数据，通过动作分析和对象跟踪技术，捕获所述当前用户的动作视频数据，识别所述当前用户的肢体动作信息。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
在预设的采样时刻，判断是否捕获到满足预设要求的所述当前用户的视频数据，如果是，则对所述当前用户进行正反馈；否则，对所述当前用户进行负反馈。
4.如权利要求3所述的方法，其特征在于，所述判断是否捕获到满足预设要求的所述当前用户的视频数据，包括：
判断是否捕获到用户的脸部视频数据，如果是，则捕获到满足预设要求的所述当前用户的视频数据；否则，则未捕获到满足预设要求的所述当前用户的视频数据。
5.如权利要求1所述的方法，其特征在于，当通过脸部识别技术，根据捕获的所述当前用户的脸部视频数据，识别所述用户的脸部动作信息时，所述方法还包括：
根据捕获到的所述当前用户的脸部视频数据，对能够捕获到的所述当前用户的脸部视频数据的时长进行累计；根据累计的时长，对所述当前用户进行奖励；和/或，
根据捕获到的所述当前用户的脸部视频数据，以及预设的脸部检测特征点，获得所述当前用户的脸部检测特征点的检测值；根据所述检测值，对所述用户进行正反馈或负反馈。
6.如权利要求3或4或5所述的方法，其特征在于，所述对所述当前用户进行正反馈包括但不限于对所述当前用户进行奖励；
所述对所述当前用户进行负反馈包括但不限于禁止所述当前用户继续使用所述虚拟网络场景。
7.如权利要求1或3所述的方法，其特征在于，所述方法还包括：
接收所述当前用户发送的虚拟物品添加信号，选择出所述当前用户希望添加的虚拟物品；
相应地，所述在所述当前用户的客户端和其他用户的客户端，显示捕获的所述当前用户的视频，还包括：
在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频数据和所述当前用户希望添加的虚拟物品。
8.如权利要求7所述的方法，其特征在于，在对所述虚拟物品显示时，所述虚拟物品跟随所述当前用户的脸部位置的改变进行同步改变。
9.如权利要求1或2所述的方法，其特征在于，所述方法还包括：
接收所述当前用户触发的截图信号；
对在所述当前用户的客户端所显示的至少两个用户的视频进行截图，获得至少两个截图图像，所述截图图像中包含所述用户的脸部信息；
根据获得的至少两个截图图像中包含的用户的脸部信息，计算所述脸部信息的匹配度，将计算结果返回给所述当前用户。
10.一种实现视频和虚拟网络场景交互的装置，其特征在于，所述装置用于获取用户的视频数据；根据所述视频数据，在客户端将所述视频数据对应的视频嵌入所述虚拟网络场景中进行显示；或，根据所述视频数据，在客户端将所述视频数据对应的视频在虚拟网络场景上进行显示；
所述装置具体包括：
采集模块，用于采集当前用户的视频数据；
显示模块，用于根据所述采集模块捕获的所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；
识别模块，用于根据所述采集模块采集的所述当前用户的视频数据，识别所述当前用户的动作信息；
交互模块，用于将所述识别模块识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互；
所述交互模块包括：
映射单元，用于根据所述识别模块识别的所述当前用户的动作信息，以及预设的用户和所述虚拟网络场景中虚拟人物的映射关系，在虚拟网络场景中将识别出的当前用户的动作映射给所述当前用户的虚拟对象；
控制单元，用于根据所述识别模块识别的所述当前用户的动作信息，控制所述虚拟网络场景。
11.如权利要求10述的装置，其特征在于，所述识别模块包括：
第一识别单元，用于根据所述采集模块采集的所述当前用户的视频数据，通过脸部识别技术，捕获所述当前用户的脸部视频数据，识别所述用户的脸部动作信息；和/或，
第二识别单元，用于根据所述采集模块采集的所述当前用户的视频数据，通过动作分析和对象跟踪技术，捕获所述当前用户的动作视频数据，识别所述当前用户的肢体动作信息。
12.如权利要求11所述的装置，其特征在于，所述装置还包括：
第一判断模块，用于在预设的采样时刻，判断是否捕获到满足预设要求的当前用户的视频数据；
第一奖惩模块，用于当所述第一判断模块判断的结果为是时，对所述当前用户进行正反馈；当所述第一判断模块判断的结果为否时，则对用户进行负反馈。
13.如权利要求12所述的装置，其特征在于，当所述识别模块包括第一识别单元时，所述装置还包括：
第一奖励模块，用于根据所述第一识别单元捕获到的所述当前用户的脸部视频数据，对能够捕获到的所述当前用户的脸部视频数据的时长进行累计；根据累计的所述时长，对所述当前用户进行奖励；和/或，
第二判断模块，用于根据捕获到的所述当前用户的脸部视频数据，以及预设的脸部检测特征点，获得所述当前用户的脸部检测特征点对应的检测值；根据所述检测值，对所述当前用户进行正反馈或负反馈。
14.如权利要求10或11所述的装置，其特征在于，所述装置还包括：
接收模块，用于接收所述当前用户发送的虚拟物品添加信号；
选择模块，用于在接收模块接收到所述物品添加信号后，选择出所述当前用户希望添加的物品；
相应地，所述显示模块具体用于在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频数据和所述当前用户希望添加的物品。
15.如权利要求14所述的装置，其特征在于，所述显示模块在显示所述物品时，所述显示的物品跟随所述当前用户的脸部位置的改变进行同步改变。
16.如权利要求10或11所述的装置，其特征在于，所述装置还包括：
截图模块，用于接收所述当前用户触发的截图信号；对在所述当前用户的客户端所显示的至少两个用户的视频进行截图，获得至少两个截图图像；所述截图图像中包含所述用户的脸部信息；
处理模块，用于根据所述截图模块获得的至少两个截图图像中包含的用户的脸部信息，计算所述脸部信息的匹配度，将计算结果返回给所述当前用户。
17.一种实现视频和虚拟网络场景交互的***，其特征在于，所述***包括：实现视频和虚拟网络场景交互的服务器和实现视频和虚拟网络场景交互的客户端，其中，所述客户端为多个；
所述客户端，用于采集当前用户的视频数据；根据所述当前用户的视频数据，在所述当前用户的客户端和其他用户的客户端，显示采集的所述当前用户的视频；根据采集的所述当前用户的视频数据，识别所述当前用户的动作信息；用于将识别的所述当前用户的动作信息，作用于所述虚拟网络场景，实现所述当前用户的视频和所述虚拟场景的交互；
所述服务器，用于中转所述客户端之间的视频数据；用于中转所述客户端之间的虚拟场景控制信息后，控制所述虚拟场景。
CN200910150595.8A 2009-06-23 2009-06-23 一种实现视频和虚拟网络场景交互的方法、装置和*** Active CN101930284B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN200910150595.8A CN101930284B (zh) 2009-06-23 2009-06-23 一种实现视频和虚拟网络场景交互的方法、装置和***
US12/648,209 US9247201B2 (en) 2009-06-23 2009-12-28 Methods and systems for realizing interaction between video input and virtual network scene
EP10791354.3A EP2448200A4 (en) 2009-06-23 2010-05-20 METHOD, DEVICE AND SYSTEM FOR ENABLING INTERACTION BETWEEN A VIDEO AND A VIRTUAL NETWORK SCENE
RU2012101502/08A RU2518940C2 (ru) 2009-06-23 2010-05-20 Способ, устройство и система обеспечения взаимосвязи между видеоизображением и витруальной сетевой средой
BRPI1015566A BRPI1015566A8 (pt) 2009-06-23 2010-05-20 Método, aparelho e sistema para implantação de interação entre uma cena de rede virtual e um vídeo
PCT/CN2010/072993 WO2010148848A1 (zh) 2009-06-23 2010-05-20 一种实现视频和虚拟网络场景交互的方法、装置和***
US13/334,765 US20120092475A1 (en) 2009-06-23 2011-12-22 Method, Apparatus And System For Implementing Interaction Between A Video And A Virtual Network Scene

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200910150595.8A CN101930284B (zh) 2009-06-23 2009-06-23 一种实现视频和虚拟网络场景交互的方法、装置和***

Publications (2)

Publication Number Publication Date
CN101930284A CN101930284A (zh) 2010-12-29
CN101930284B true CN101930284B (zh) 2014-04-09

Family

ID=43354281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200910150595.8A Active CN101930284B (zh) 2009-06-23 2009-06-23 一种实现视频和虚拟网络场景交互的方法、装置和***

Country Status (6)

Country Link
US (2) US9247201B2 (zh)
EP (1) EP2448200A4 (zh)
CN (1) CN101930284B (zh)
BR (1) BRPI1015566A8 (zh)
RU (1) RU2518940C2 (zh)
WO (1) WO2010148848A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103873492B (zh) * 2012-12-07 2019-01-15 联想(北京)有限公司 一种电子设备及数据传输方法
KR102099086B1 (ko) 2013-02-20 2020-04-09 삼성전자주식회사 디지털 텔레비전 및 사용자 디바이스를 이용하여 사용자 맞춤형 인터랙션을 제공하는 방법, 그 디지털 텔레비전 및 사용자 디바이스
CN104104703B (zh) * 2013-04-09 2018-02-13 广州华多网络科技有限公司 多人音视频互动方法、客户端、服务器及***
JP6070584B2 (ja) * 2014-01-17 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9353476B2 (en) 2014-04-18 2016-05-31 Georgia-Pacific Containerboard Llc Method for recycling waste material with reduced odor emission
TWI549728B (zh) * 2014-06-27 2016-09-21 國立臺中科技大學 偵測多人體感之管理方法及其系統
CN105472271A (zh) * 2014-09-10 2016-04-06 易珉 一种视频互动方法、装置和***
CN105472301B (zh) * 2014-09-10 2019-03-15 易珉 视频互动方法、***和装置
CN105472299B (zh) * 2014-09-10 2019-04-26 易珉 视频互动方法、***和装置
CN105472298B (zh) * 2014-09-10 2019-04-23 易珉 视频互动方法、***和装置
CN105472300B (zh) * 2014-09-10 2019-03-15 易珉 视频互动方法、***和装置
CN105396289A (zh) * 2014-09-15 2016-03-16 掌赢信息科技（上海）有限公司 实时游戏和多媒体会话过程中实现特效的方法及装置
CN106502554B (zh) * 2015-09-08 2021-09-17 腾讯科技（深圳）有限公司 一种显示控制方法及装置
FR3052949B1 (fr) * 2016-06-17 2019-11-08 Alexandre Courtes Procede et systeme de prise de vues a l'aide d'un capteur virtuel
GB2554633B (en) 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
CN105959718A (zh) * 2016-06-24 2016-09-21 乐视控股（北京）有限公司 一种视频直播中实时互动的方法及装置
CN106162369B (zh) * 2016-06-29 2018-11-16 腾讯科技（深圳）有限公司 一种实现虚拟场景中互动的方法、装置及***
CN106375775B (zh) * 2016-09-26 2020-12-11 广州华多网络科技有限公司 虚拟礼物展示方法及装置
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
CN107741809B (zh) * 2016-12-21 2020-05-12 腾讯科技（深圳）有限公司 一种虚拟形象之间的互动方法、终端、服务器及***
CN106937154A (zh) * 2017-03-17 2017-07-07 北京蜜枝科技有限公司 处理虚拟形象的方法及装置
US10521948B2 (en) 2017-05-16 2019-12-31 Apple Inc. Emoji recording and sending
CN110378987B (zh) * 2017-05-16 2021-08-31 苹果公司 表情符号录制和发送
DK179867B1 (en) 2017-05-16 2019-08-06 Apple Inc. RECORDING AND SENDING EMOJI
GB201710840D0 (en) * 2017-07-05 2017-08-16 Jones Maria Francisca Virtual meeting participant response indication method and system
CN108134945B (zh) * 2017-12-18 2021-03-19 阿里巴巴（中国）有限公司 Ar业务处理方法、装置及终端
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US12033296B2 (en) 2018-05-07 2024-07-09 Apple Inc. Avatar creation user interface
CN113112614B (zh) * 2018-08-27 2024-03-19 创新先进技术有限公司 基于增强现实的互动方法及装置
CN109325450A (zh) * 2018-09-25 2019-02-12 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2020147794A1 (zh) * 2019-01-18 2020-07-23 北京市商汤科技开发有限公司 图像处理方法及装置、图像设备及存储介质
CN111460870A (zh) 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 目标的朝向确定方法及装置、电子设备及存储介质
US11107261B2 (en) 2019-01-18 2021-08-31 Apple Inc. Virtual avatar animation based on facial feature movement
CN110059661B (zh) * 2019-04-26 2022-11-22 腾讯科技（深圳）有限公司 动作识别方法、人机交互方法、装置及存储介质
CN110139115B (zh) * 2019-04-30 2020-06-09 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
CN110433491A (zh) * 2019-07-25 2019-11-12 天脉聚源(杭州)传媒科技有限公司 虚拟观众的动作同步响应方法、***、装置和存储介质
CN110968194A (zh) * 2019-11-28 2020-04-07 北京市商汤科技开发有限公司 交互对象的驱动方法、装置、设备以及存储介质
CN111314730A (zh) * 2020-02-25 2020-06-19 广州华多网络科技有限公司 视频直播的虚拟资源寻找方法、装置、设备及存储介质
CN111355988B (zh) * 2020-03-31 2022-11-11 苏州科达科技股份有限公司 业务灾备方法、设备及可读存储介质
CN115917474A (zh) 2020-06-08 2023-04-04 苹果公司 在三维环境中呈现化身
CN112511739B (zh) * 2020-11-20 2022-05-06 上海盛付通电子支付服务有限公司 互动信息的生成方法和设备
CN113271425A (zh) * 2021-04-19 2021-08-17 瑞芯微电子股份有限公司 一种基于虚拟设备的互动***和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技（深圳）有限公司 一种网络视频秀方法及***
CN101350845A (zh) * 2007-07-20 2009-01-21 中兴通讯股份有限公司 一种手机可视电话通话场景模拟的方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09107534A (ja) 1995-10-11 1997-04-22 Canon Inc テレビ会議装置及びテレビ会議システム
US6124862A (en) 1997-06-13 2000-09-26 Anivision, Inc. Method and apparatus for generating virtual views of sporting events
US6278466B1 (en) * 1998-06-11 2001-08-21 Presenter.Com, Inc. Creating animation from a video
JP2000115521A (ja) 1998-10-05 2000-04-21 Canon Inc 画像処理装置と画像データの処理方法
US6414707B1 (en) * 1998-10-16 2002-07-02 At&T Corp. Apparatus and method for incorporating virtual video conferencing environments
EP1085765A3 (en) 1999-09-20 2006-03-01 Matsushita Electric Industrial Co., Ltd. System stream creating apparatus which adjusts system clock reference based on total number of pictures to be stored and decoded during certain time period
JP2002007294A (ja) 2000-06-22 2002-01-11 Canon Inc 画像配信システム及び方法並びに記憶媒体
US7409647B2 (en) 2000-09-19 2008-08-05 Technion Research & Development Foundation Ltd. Control of interactions within virtual environments
US20030006957A1 (en) * 2000-11-10 2003-01-09 Victor Colantonio Method and system for automatically covering video display of sensitive information
US20040049547A1 (en) * 2001-12-21 2004-03-11 Matthews W. Donald Methods for providing information over networks responsive to digital device user requests
KR20030021197A (ko) 2003-02-05 2003-03-12 김성태 성형상담을 위한 화상 시뮬레이션
US20040260823A1 (en) * 2003-06-17 2004-12-23 General Instrument Corporation Simultaneously transporting multiple MPEG-2 transport streams
US7499974B2 (en) * 2003-09-30 2009-03-03 International Business Machines Corporation Instant message user management
US8924247B2 (en) * 2004-08-19 2014-12-30 LoadPoint, Inc Ranking system using instant post-transaction surveying of transaction judges
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
US20060092178A1 (en) 2004-10-29 2006-05-04 Tanguay Donald O Jr Method and system for communicating through shared media
US7796785B2 (en) * 2005-03-03 2010-09-14 Fujifilm Corporation Image extracting apparatus, image extracting method, and image extracting program
US7676063B2 (en) 2005-03-22 2010-03-09 Microsoft Corp. System and method for eye-tracking and blink detection
US20060251382A1 (en) * 2005-05-09 2006-11-09 Microsoft Corporation System and method for automatic video editing using object recognition
KR100651206B1 (ko) 2005-07-29 2006-12-01 주식회사 팬택 안면인식 알고리즘을 이용한 휴대폰의 영상 촬영 시스템 및그 방법
RU2284571C1 (ru) 2005-08-25 2006-09-27 Максим Алексеевич Мишин Способ проведения интерактивной игры для удаленных пользователей
US20070203911A1 (en) 2006-02-07 2007-08-30 Fu-Sheng Chiu Video weblog
WO2008139251A2 (en) 2006-04-14 2008-11-20 Patrick Levy Rosenthal Virtual video camera device with three-dimensional tracking and virtual object insertion
EP2016562A4 (en) 2006-05-07 2010-01-06 Sony Computer Entertainment Inc METHOD FOR IMPLEMENTING AFFECTIVE PROPERTIES IN A COMPUTER GENERATED AVATAR DURING A COMPUTER GAME
CN101098241A (zh) 2006-06-26 2008-01-02 腾讯科技（深圳）有限公司 虚拟形象实现方法及其***
US7847815B2 (en) * 2006-10-11 2010-12-07 Cisco Technology, Inc. Interaction based on facial recognition of conference participants
DE102007006847A1 (de) 2007-02-12 2008-08-14 Voice Trust Ag Digitales Verfahren und Anordnung zur Authentifizierung eines Nutzers eines Telekommunikations- bzw. Datennetzes
US8926432B2 (en) * 2007-03-12 2015-01-06 Performance Designed Products Llc Feedback controller
CN100592783C (zh) 2007-03-23 2010-02-24 腾讯科技（深圳）有限公司 一种视频通信***及方法
US8243116B2 (en) * 2007-09-24 2012-08-14 Fuji Xerox Co., Ltd. Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications
US8128487B2 (en) * 2007-10-15 2012-03-06 International Business Machines Corporation Compensating participants of virtual environments
US8190760B2 (en) * 2008-01-15 2012-05-29 Echostar Advanced Technologies L.L.C. System and method of managing multiple video players
CN101219029A (zh) 2008-01-21 2008-07-16 胡清 提供佛教道场场景的可视终端、显示方法和存储介质
US8266665B2 (en) * 2008-03-25 2012-09-11 Verizon Patent And Licensing Inc. TV screen capture
US9445045B2 (en) * 2008-06-23 2016-09-13 Alcatel Lucent Video conferencing device for a communications device and method of manufacturing and using the same
US20100064010A1 (en) * 2008-09-05 2010-03-11 International Business Machines Corporation Encouraging user attention during presentation sessions through interactive participation artifacts
US20100295771A1 (en) * 2009-05-20 2010-11-25 Microsoft Corporation Control of display objects

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1606347A (zh) * 2004-11-15 2005-04-13 北京中星微电子有限公司 一种视频通信的方法
CN101068314A (zh) * 2006-09-29 2007-11-07 腾讯科技（深圳）有限公司 一种网络视频秀方法及***
CN101350845A (zh) * 2007-07-20 2009-01-21 中兴通讯股份有限公司 一种手机可视电话通话场景模拟的方法

Also Published As

Publication number Publication date
US20120092475A1 (en) 2012-04-19
EP2448200A1 (en) 2012-05-02
RU2518940C2 (ru) 2014-06-10
US9247201B2 (en) 2016-01-26
CN101930284A (zh) 2010-12-29
RU2012101502A (ru) 2013-07-27
EP2448200A4 (en) 2014-01-29
US20100322111A1 (en) 2010-12-23
BRPI1015566A8 (pt) 2021-09-28
WO2010148848A1 (zh) 2010-12-29
BRPI1015566A2 (pt) 2016-08-16

Similar Documents

Publication Publication Date Title
CN101930284B (zh) 一种实现视频和虚拟网络场景交互的方法、装置和***
CN108184144B (zh) 一种直播方法、装置、存储介质及电子设备
CN110809175B (zh) 视频推荐方法及装置
CN104170318B (zh) 使用交互化身的通信
CN111476871A (zh) 用于生成视频的方法和装置
JP6747444B2 (ja) 情報処理システム、情報処理方法、およびプログラム
CN110278140B (zh) 通讯方法及装置
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
US11388122B2 (en) Context linked messaging system
KR20230062857A (ko) 증강 현실 메신저 시스템
JP7134298B2 (ja) 動画配信システム、動画配信方法及び動画配信プログラム
CN112188223B (zh) 直播视频播放方法、装置、设备及介质
CN114463470A (zh) 虚拟空间浏览方法、装置、电子设备和可读存储介质
CN112215062A (zh) 基于虚拟智能角色的交互方法、客户端及***
JP2020150519A (ja) 注目度算出装置、注目度算出方法、および注目度算出プログラム
WO2019019974A1 (zh) 增强现实互动***、方法和装置
CN110784762B (zh) 一种视频数据处理方法、装置、设备及存储介质
CN114173173A (zh) 弹幕信息的显示方法和装置、存储介质及电子设备
KR20170127354A (ko) 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
CN110413109A (zh) 虚拟内容的生成方法、装置、***、电子设备及存储介质
CN115002516A (zh) 视频处理的***、方法、电子设备、存储介质及程序产品
CN112637640B (zh) 视频互动方法和装置
CN114333009A (zh) 一种表情处理方法、装置、设备及存储介质
CN108693959A (zh) 一种基于ar或mr虚拟媒介的社交方法
JP7210340B2 (ja) 注目度利活用装置、注目度利活用方法、および注目度利活用プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant