CN107124664A - 应用于视频直播的交互方法和装置 - Google Patents

应用于视频直播的交互方法和装置 Download PDF

Info

Publication number
CN107124664A
CN107124664A CN201710380173.4A CN201710380173A CN107124664A CN 107124664 A CN107124664 A CN 107124664A CN 201710380173 A CN201710380173 A CN 201710380173A CN 107124664 A CN107124664 A CN 107124664A
Authority
CN
China
Prior art keywords
interactive
client
live video
video
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710380173.4A
Other languages
English (en)
Inventor
郝运峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710380173.4A priority Critical patent/CN107124664A/zh
Publication of CN107124664A publication Critical patent/CN107124664A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请公开了应用于视频直播的交互方法和装置。该方法的一具体实施方式包括：接收主播客户端发送的直播视频，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流；识别出视频流中的图像中的交互对象，交互对象基于主播客户端的用户的交互动作而生成；确定交互对象对应的交互指令，以及将直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。一方面，简化了主播与用户的交互中主播的操作，另一方面，无需暂停当前直播，保持视频直播的流畅度。

Description

应用于视频直播的交互方法和装置
技术领域
本申请涉及计算机领域，具体涉及网络技术领域，尤其涉及应用于视频直播的交互方法和装置。
背景技术
在视频直播中，主播需要与用户进行交互。目前，主播与用户之间的交互需要主播以人工方式完成。主播输入图片、表情等与用户进行交互需要暂停当前直播。一方面，造成主播与用户的交互较为繁琐，另一方面，在主播需要与用户进行交互时，需要暂停当前直播，影响直播的流畅度。
发明内容
本申请提供了应用于视频直播的交互方法和装置，用于解决上述背景技术部分存在的技术问题。
第一方面，本申请提供了应用于视频直播的交互方法，该方法包括：接收主播客户端发送的直播视频，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流；识别出视频流中的图像中的交互对象，交互对象基于主播客户端的用户的交互动作而生成；确定交互对象对应的交互指令，以及将直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。
第二方面，本申请提供了应用于视频直播的交互方法，该方法包括：接收服务器发送的直播视频和交互指令，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流，交互指令基于服务器从视频流中的图像中识别出的交互对象而确定；确定交互指令对应的展示对象，以及在直播界面中呈现直播视频和展示对象。
第三方面，本申请提供了应用于视频直播的交互装置，该装置包括：视频接收单元，配置用于接收主播客户端发送的直播视频，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流；图像识别单元，配置用于识别出视频流中的图像中的交互对象，交互对象基于主播客户端的用户的交互动作而生成；信息处理单元，配置用于确定交互对象对应的交互指令，以及将直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。
第四方面，本申请提供了应用于视频直播的交互装置，该装置包括：信息接收单元，配置用于接收服务器发送的直播视频和交互指令，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流，交互指令基于服务器从视频流中的图像中识别出的交互对象而确定；信息呈现单元，配置用于确定交互指令对应的展示对象，以及在直播界面中呈现直播视频和展示对象。
本申请提供的应用于视频直播的交互方法和装置，通过接收主播客户端发送的直播视频，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流；识别出视频流中的图像中的交互对象，交互对象基于主播客户端的用户的交互动作而生成；确定交互对象对应的交互指令，以及将直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。一方面，简化了主播与用户的交互中主播的操作，另一方面，无需暂停当前直播，保持视频直播的流畅度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出了可以应用于本申请的应用于视频直播的交互方法的示例性***架构；
图2示出了根据本申请的应用于视频直播的交互方法的一个实施例的流程图；
图3示出了根据本申请的应用于视频直播的交互方法的另一个实施例的流程图；
图4示出了本申请的主播客户端、服务器、用户客户端的一个交互示意图；
图5示出了根据本申请的应用于视频直播的交互装置的一个实施例的结构示意图；
图6示出了根据本申请的应用于视频直播的交互装置的另一个实施例的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用于本申请的应用于视频直播的交互方法的示例性***架构。
如图1所示，***架构可以包括主播客户端101、服务器102、用户客户端103。
网络104用以在主播客户端101和服务器102之间提供传输链路的介质。网络104可以包括各种有线、无线传输链路。网络105用以在服务器102和用户客户端103之间提供传输链路的介质。网络105可以包括各种有线、无线传输链路。
主播客户端101的用户(也可称之为网络主播)可以利用主播客户端101所在的终端上的设备例如摄像头、麦克风实时采集直播的图像、语音，实时录制直播视频。主播客户端101可以将实时录制的直播视频发送至服务器102。服务器102可以接收主播客户端101发送的直播视频，将直播视频发送至用户客户端103。用户客户端103接收到直播视频后，可以播放直播视频。
请参考图2，其示出了根据本申请的应用于视频直播的交互方法的一个实施例的流程。需要说明的是，本申请实施例所提供的应用于视频直播的交互方法可以由服务器例如图1中的服务器102执行，相应地，应用于视频直播的交互装置可以设置于服务器例如图1中的服务器102中。该方法包括以下步骤：
步骤201，接收主播客户端发送的直播视频。
在本实施例中，主播客户端的用户(也可称之为网络主播)在录制直播视频时，可以利用主播客户端所在的终端的摄像头采集图像，可以利用主播客户端所在的终端的麦克风采集语音(例如网络主播的语音)。主播客户端在采集图像和语音之后，可以将图像和声音进行编码，得到包含视频流和音频流的直播视频。
步骤202，识别出视频流中的图像中的交互对象。
在本实施例中，在通过步骤201接收主播客户端发送的直播视频之后，提取出直播视频中的视频流。可以按照直播视频中的视频流和音频流的编码方式对直播视频进行解码，提取出直播视频中的视频流。
在本实施例中，在提取出视频流之后，可以对视频流中的图像进行图像识别，识别出图像中的交互对象。交互对象可以基于主播客户端的用户的交互动作而生成。例如，可以对视频流中的每一帧图像进行图像识别，当一帧图像中包含交互对象时，则可以识别出该图像中的交互对象。
以交互动作为在视频直播中主播客户端的用户做出的心形手势为例，在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像中可以包含该心形手势对应的交互对象即心形手势对象。心形手势在主播客户端所在的终端的摄像头采集的图像中对应的像素点的所形成的图形为心形，则交互对象心形手势对象的形状为心形。在对在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像进行图像识别之后，可以识别出该图像中的心形手势对象。
例如，在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像中，可以通过用于目标识别的卷积神经网络例如RCNN(Regions withConvolutional Neural Network)识别出该图像中的手部对象，然后，可以确定手部对象在该图像中占据的区域，占据的区域的形状即心形可以作为手势对应的交互对象的形状，则可以该形状确定出交互对象为心形手势对象，从该图像中识别出该心形手势对象。
在本实施例的一些可选的实现方式中，为了识别出视频流中的图像中的交互对象，可以首先获取视频流中的关键帧图像，分别计算关键帧图像与多个包含预设交互对象的预设图像的匹配度。多个包含预设交互对象的预设图像中，每一个预设图像中的预设交互对象不同。当多个包含预设交互对象的预设图像中存在与关键帧图像的匹配度大于匹配度阈值的预设图像时，可以将与关键帧图像的匹配度大于匹配度阈值的预设图像中的预设交互对象作为交互对象。可以针对视频流中的每一个关键帧图像，分别计算每一个关键帧图像与多个包含预设交互对象的预设图像的匹配度。
以交互动作为在视频直播中主播客户端的用户做出的心形手势为例，多个关键帧图像中，其中一个关键帧图像为在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的包含心形手势对应的交互对象的图像。多个预设图像中每一个预设图像可以为不同的手势图像，每一个预设图像包含不同的手势对象，即每一个预设图像中的手势对象的形状不同。在分别计算包含心形手势对应的交互对象的关键帧图像与每一个手势图像的匹配度之后，可以确定该关键帧图像与包含心形手势对象的手势图像的匹配度大于匹配度阈值，则包含心形手势对象的手势图像为与该关键帧图像匹配的预设图像，该预设图像中的心形手势对象即为交互对象，从而，从包含心形手势对应的交互对象的关键帧图像中识别出心形手势对象。
步骤203，确定交互对象对应的交互指令，以及将直播视频和交互指令发送至用户客户端。
在本实施例中，在通过步骤202识别出视频流的图像中的交互对象之后，可以确定交互对象对应的交互指令。在确定交互对象对应的交互指令之后，可以将交互指令和直播视频发送至用户客户端。从而，在用户客户端接收到交互指令和直播视频之后，可以在直播界面中呈现直播视频和交互指令对应的展示对象。交互指令对应的展示对象可以包括但不限于：该交互指令对应的交互对象对应的动画、图片、表情符号。
以交互动作为在视频直播中主播客户端的用户做出的心形手势为例，在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像中可以包含该心形手势对应的交互对象即心形手势对象。在主播客户端上识别出该图像中的心形手势对象之后，可以确定该心形手势对象对应的交互指令。该心形手势对象对应的交互指令可以用于触发在用户客户端的直播界面中呈现心形手势对象对应的展示对象，例如心形手势对象对应的展示对象为心形图片。在确定心形手势对象对应的交互指令之后，可以将该心形手势对象对应的交互指令和直播视频发送至用户客户端。从而，在用户客户端接收到该心形手势对象对应的交互指令和直播视频之后，可以在直播视频中呈现直播视频和心形手势对象对应的动画、图片、表情符号。
在本实施例的一些可选的实现方式中，在从视频流中的图像中识别出交互对象的同时，可以确定交互对象所属的图像在直播视频中出现的时间点。可以生成包含该时间点的时间戳信息发送给用户客户端。从而，用户客户端在接收到交互指令和直播视频之后，可以根据该时间戳信息，确定交互对象所属的图像在直播视频中出现的时间点，在直播界面中的直播视频中的该时间点呈现交互对象对应的展示对象。
请参考图3，其示出了根据本申请的应用于视频直播的交互方法的另一个实施例的流程。需要说明的是，本申请实施例所提供的应用于视频直播的交互方法可以由图1中的用户客户端103执行，相应地，应用于视频直播的交互装置可以设置于用户客户端103中。该方法包括以下步骤：
步骤301，接收服务器发送的直播视频和交互指令。
在本实施例中，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流。
在本实施例中，在利用用户客户端观看视频直播时，可以接收到服务器发送的直播视频和交互指令。交互指令可以基于服务器从直播视频中的视频流中的图像中识别出的交互对象而确定。
以交互动作为在视频直播中主播客户端的用户做出的心形手势为例，在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像中可以包含该心形手势对应的交互对象即心形手势对象。在服务器上从主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像中识别出该心形手势对象之后，在服务器上可以确定该心形手势对象对应的交互指令。该心形手势对象对应的交互指令可以用于触发在用户客户端的直播界面中呈现心形手势对象对应的展示对象，例如，展示对象为心形图片。然后，可以接收到服务器发送的该心形手势对象对应的交互指令。
步骤302，确定交互指令对应的展示对象，以及在直播界面中呈现直播视频和交互对象。
在本实施例中，在通过步骤301接收服务器发送的直播视频和交互指令之后，可以确定交互指令对应的展示对象，在直播界面中呈现直播视频和交互指令对应的展示对象。交互指令对应的展示对象可以包括但不限于：该交互指令对应的交互对象对应的动画、图片、表情符号。
例如，主播客户端的用户在与用户客户端的用户在视频直播的交互中做出一个心形手势，以交互动作为在视频直播中主播客户端的用户做出的心形手势为例，在主播客户端的用户做出心形手势时主播客户端所在的终端的摄像头采集的图像中可以包含该心形手势对应的交互对象即心形手势对象。在服务器从该图像中识别出的该心形手势对象，接收到服务器发送的该心形手势对象对应的交互指令之后，可以在直播界面中呈现交互指令对应的展示对象。该交互指令对应的展示对象可以为心形手势对象对应的动画、图片、表情符号。
在本实施例的一些可选的实现方式中，还可以接收服务器发送的时间戳信息，该时间戳信息包含交互对象所属的图像在直播视频中出现的时间点，则可以根据交互对象所属的图像在直播视频中出现的时间点，在直播界面中的直播视频中的该时间点呈现交互对象对应的展示对象。
请参考图4，其示出了本申请的主播客户端、服务器、用户客户端的一个交互示意图。
主播客户端采集图像和语音，录制直播视频。主播客户端可以实时采集直播内容对应的图像和语音，实时录制直播视频。主播客户端将直播视频发送至服务器。服务器从直播视频中提取出视频流，从视频流的图像中识别出交互对象，确定交互对象对应的交互指令。每一个交互对象可以对应一个交互指令，每一个交互指令可以对应一个展示对象。服务器将交互指令和直播视频发送至用户客户端。用户客户端可以在直播界面中播放直播视频，并且在直播视频中呈现交互指令对应的展示对象。
请参考图5，其示出了根据本申请的应用于视频直播的交互装置的一个实施例的结构示意图。
如图5所示，应用于视频直播的交互装置包括：视频接收单元501，图像识别单元502，信息处理单元503。其中，视频接收单元501配置用于接收主播客户端发送的直播视频，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流；图像识别单元502配置用于识别出视频流中的图像中的交互对象，交互对象基于主播客户端的用户的交互动作而生成；信息处理单元503配置用于确定交互对象对应的交互指令，以及将直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。
在本实施例的一些可选的实现方式中，图像识别单元502包括：交互对象识别子单元(未示出)，配置用于获取视频流中的关键帧图像；确定多个包含预设交互对象的预设图像中与关键帧图像匹配的预设图像，以及将与关键帧图像匹配的预设图像中的预设交互对象作为交互对象，其中，多个预设图像中每一个预设图像包含的预设交互对象不相同。
请参考图6，其示出了根据本申请的应用于视频直播的交互装置的另一个实施例的结构示意图。
如图6所示，应用于视频直播的交互装置包括：信息接收单元601，信息呈现单元602。其中，信息接收单元601配置用于接收服务器发送的直播视频和交互指令，直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流，交互指令基于服务器从视频流中的图像中识别出的交互对象而确定；信息呈现单元602配置用于确定交互指令对应的展示对象，以及在直播界面中呈现直播视频和展示对象。
本申请还提供了一种服务器，该服务器可以包括图5所描述的应用于视频直播的交互装置。该服务器可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包含用以执行上述步骤201-203中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述步骤201-203中描述的操作。
本申请还提供了一种用户客户端，该用户客户端可以包括图6所描述的应用于视频直播的交互装置。该用户客户端所在的终端可以配置有一个或多个处理器；存储器，用于存储一个或多个程序，一个或多个程序中可以包含用以执行上述步骤301-302中描述的操作的指令。当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述步骤301-302中描述的操作。
本申请还提供了一种非易失性计算机可读介质，该计算机可读介质可以是服务器中所包括的；也可以是单独存在，未装配入服务器中。该非易失性计算机可读介质承载有一个或者多个程序，当一个或者多个程序被该服务器执行时，使得该服务器：
本申请还提供了一种非易失性计算机可读介质，该非易失性计算机可读介质可以是用户客户端所在的终端中所包括的；也可以是单独存在，未装配入用户客户端所在的终端中。该非易失性计算机可读介质承载有一个或者多个程序，当一个或者多个程序被用户客户端所在的终端执行时，使得该用户客户端。
需要说明的是，上述非易失性计算机可读介质可以是计算机可读信号介质或者非易失性计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是包括但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。非易失性计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，非易失性计算机可读存储介质可以是任何包括或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以为多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是非易失性计算机可读存储介质以外的任何非易失性计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包括的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种应用于视频直播的交互方法，其特征在于，所述方法包括：
接收主播客户端发送的直播视频，所述直播视频由主播客户端实时录制而生成，所述直播视频包括：视频流、音频流；
识别出所述视频流中的图像中的交互对象，所述交互对象基于主播客户端的用户的交互动作而生成；
确定所述交互对象对应的交互指令，以及将所述直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。
2.根据权利要求1所述的方法，其特征在于，识别出所述视频流中的图像中的交互对象包括：
获取视频流中的关键帧图像；
确定多个包含预设交互对象的预设图像中与关键帧图像匹配的预设图像，以及将与关键帧图像匹配的预设图像中的预设交互对象作为所述交互对象，其中，多个预设图像中每一个预设图像包含的预设交互对象不相同。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
确定交互对象所属的图像在直播视频中出现的时间点；
生成包含所述时间点的时间戳信息；
将所述时间戳信息发送给用户客户端。
4.一种应用于视频直播的交互方法，其特征在于，所述方法包括：
接收服务器发送的直播视频和交互指令，所述直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流，所述交互指令基于服务器从视频流中的图像中识别出的交互对象而确定；
确定交互指令对应的展示对象，以及在直播界面中呈现直播视频和展示对象。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
接收服务器发送的时间戳信息，时间戳信息包含所述交互对象所属的图像在直播视频中出现的时间点，以在直播界面中的直播视频中所述时间点呈现所述展示对象。
6.一种应用于视频直播的交互装置，其特征在于，所述装置包括：
视频接收单元，配置用于接收主播客户端发送的直播视频，所述直播视频由主播客户端实时录制而生成，所述直播视频包括：视频流、音频流；
图像识别单元，配置用于识别出所述视频流中的图像中的交互对象，所述交互对象基于主播客户端的用户的交互动作而生成；
信息处理单元，配置用于确定所述交互对象对应的交互指令，以及将所述直播视频和交互指令发送至用户客户端，以在用户客户端的直播界面中呈现直播视频和交互指令对应的展示对象。
7.根据权利要求6所述的装置，其特征在于，图像识别单元包括：
交互对象识别子单元，配置用于获取视频流中的关键帧图像；确定多个包含预设交互对象的预设图像中与关键帧图像匹配的预设图像，以及将与关键帧图像匹配的预设图像中的预设交互对象作为所述交互对象，其中，多个预设图像中每一个预设图像包含的预设交互对象不相同。
8.一种应用于视频直播的交互装置，其特征在于，所述装置还包括：
信息接收单元，配置用于接收服务器发送的直播视频和交互指令，所述直播视频由主播客户端实时录制而生成，直播视频包括：视频流、音频流，所述交互指令基于服务器从视频流中的图像中识别出的交互对象而确定；
信息呈现单元，配置用于确定交互指令对应的展示对象，以及在直播界面中呈现直播视频和展示对象。
9.一种可读计算机存储介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一所述的方法。
10.一种可读计算机存储介质，其特征在于，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求4-5中任一所述的方法。
CN201710380173.4A 2017-05-25 2017-05-25 应用于视频直播的交互方法和装置 Pending CN107124664A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710380173.4A CN107124664A (zh) 2017-05-25 2017-05-25 应用于视频直播的交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710380173.4A CN107124664A (zh) 2017-05-25 2017-05-25 应用于视频直播的交互方法和装置

Publications (1)

Publication Number Publication Date
CN107124664A true CN107124664A (zh) 2017-09-01

Family

ID=59730239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710380173.4A Pending CN107124664A (zh) 2017-05-25 2017-05-25 应用于视频直播的交互方法和装置

Country Status (1)

Country Link
CN (1) CN107124664A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024134A (zh) * 2017-11-08 2018-05-11 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
CN109068181A (zh) * 2018-07-27 2018-12-21 广州华多网络科技有限公司 基于视频直播的足球游戏交互方法、***、终端及装置
CN109460171A (zh) * 2018-10-26 2019-03-12 北京达佳互联信息技术有限公司 信息交互方法、装置、终端及存储介质
CN109660818A (zh) * 2018-12-30 2019-04-19 广东彼雍德云教育科技有限公司 一种虚拟互动直播***
CN109922352A (zh) * 2019-02-26 2019-06-21 李钢江 一种数据处理方法、装置、电子设备及可读存储介质
CN110703913A (zh) * 2019-09-27 2020-01-17 腾讯科技（深圳）有限公司 对象交互方法和装置、存储介质及电子装置
CN110989910A (zh) * 2019-11-28 2020-04-10 广州虎牙科技有限公司 交互方法、***、装置、电子设备及存储介质
CN111064987A (zh) * 2019-12-14 2020-04-24 北京字节跳动网络技术有限公司 信息展示方法、装置及电子设备
CN111385595A (zh) * 2018-12-29 2020-07-07 阿里巴巴集团控股有限公司 网络直播方法、直播中补货处理方法、装置、直播服务器及终端设备
EP3726843A4 (en) * 2017-12-14 2020-10-21 Tencent Technology (Shenzhen) Company Limited ANIMATION IMPLEMENTATION PROCESS, TERMINAL DEVICE AND STORAGE MEDIUM
CN111986700A (zh) * 2020-08-28 2020-11-24 广州繁星互娱信息科技有限公司 无接触式操作触发的方法、装置、设备及存储介质
CN112135152A (zh) * 2019-06-24 2020-12-25 腾讯科技（深圳）有限公司 信息处理方法及装置
CN112969093A (zh) * 2019-12-13 2021-06-15 腾讯科技（北京）有限公司 互动业务处理方法、装置、设备及存储介质
WO2021114845A1 (zh) * 2019-12-13 2021-06-17 腾讯科技（深圳）有限公司 互动业务处理方法、***、设备及存储介质
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN114765691A (zh) * 2021-01-13 2022-07-19 北京字节跳动网络技术有限公司 视频直播的功能组件加载方法、数据处理方法及设备
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴（中国）有限公司 实时视频流的播放方法、装置及设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122350A (zh) * 2011-02-24 2011-07-13 浙江工业大学 基于骨架化和模板匹配的交警手势识别方法
US20140059613A1 (en) * 2012-08-17 2014-02-27 Flextronics Ap, Llc Live television application on top of live feed
CN104463250A (zh) * 2014-12-12 2015-03-25 广东工业大学 一种基于达芬奇技术的手语识别翻译方法
US20150172599A1 (en) * 2013-12-13 2015-06-18 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CN104793738A (zh) * 2015-03-17 2015-07-22 上海海洋大学 基于Leap Motion的非接触式计算机操控方法
CN105959718A (zh) * 2016-06-24 2016-09-21 乐视控股（北京）有限公司 一种视频直播中实时互动的方法及装置
WO2016154834A1 (en) * 2015-03-28 2016-10-06 Intel Corporation Gesture matching mechanism
CN106303662A (zh) * 2016-08-29 2017-01-04 网易（杭州）网络有限公司 视频直播中的图像处理方法和装置
CN106658038A (zh) * 2016-12-19 2017-05-10 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122350A (zh) * 2011-02-24 2011-07-13 浙江工业大学 基于骨架化和模板匹配的交警手势识别方法
US20140059613A1 (en) * 2012-08-17 2014-02-27 Flextronics Ap, Llc Live television application on top of live feed
US20150172599A1 (en) * 2013-12-13 2015-06-18 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
CN104463250A (zh) * 2014-12-12 2015-03-25 广东工业大学 一种基于达芬奇技术的手语识别翻译方法
CN104793738A (zh) * 2015-03-17 2015-07-22 上海海洋大学 基于Leap Motion的非接触式计算机操控方法
WO2016154834A1 (en) * 2015-03-28 2016-10-06 Intel Corporation Gesture matching mechanism
CN105959718A (zh) * 2016-06-24 2016-09-21 乐视控股（北京）有限公司 一种视频直播中实时互动的方法及装置
CN106303662A (zh) * 2016-08-29 2017-01-04 网易（杭州）网络有限公司 视频直播中的图像处理方法和装置
CN106658038A (zh) * 2016-12-19 2017-05-10 广州虎牙信息科技有限公司 基于视频流的直播交互方法及其相应的装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
极限元: "极限元：浅谈手势识别在直播中的运用", 《极限元：浅谈手势识别在直播中的运用》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024134A (zh) * 2017-11-08 2018-05-11 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
CN108024134B (zh) * 2017-11-08 2020-01-21 北京密境和风科技有限公司 一种基于直播的数据分析方法、装置和终端设备
EP3726843A4 (en) * 2017-12-14 2020-10-21 Tencent Technology (Shenzhen) Company Limited ANIMATION IMPLEMENTATION PROCESS, TERMINAL DEVICE AND STORAGE MEDIUM
CN109068181A (zh) * 2018-07-27 2018-12-21 广州华多网络科技有限公司 基于视频直播的足球游戏交互方法、***、终端及装置
CN109068181B (zh) * 2018-07-27 2020-11-13 广州华多网络科技有限公司 基于视频直播的足球游戏交互方法、***、终端及装置
CN109460171A (zh) * 2018-10-26 2019-03-12 北京达佳互联信息技术有限公司 信息交互方法、装置、终端及存储介质
CN111385595A (zh) * 2018-12-29 2020-07-07 阿里巴巴集团控股有限公司 网络直播方法、直播中补货处理方法、装置、直播服务器及终端设备
CN109660818A (zh) * 2018-12-30 2019-04-19 广东彼雍德云教育科技有限公司 一种虚拟互动直播***
CN109922352A (zh) * 2019-02-26 2019-06-21 李钢江 一种数据处理方法、装置、电子设备及可读存储介质
CN112135152B (zh) * 2019-06-24 2022-07-12 腾讯科技（深圳）有限公司 信息处理方法及装置
CN112135152A (zh) * 2019-06-24 2020-12-25 腾讯科技（深圳）有限公司 信息处理方法及装置
CN110703913A (zh) * 2019-09-27 2020-01-17 腾讯科技（深圳）有限公司 对象交互方法和装置、存储介质及电子装置
CN110703913B (zh) * 2019-09-27 2023-09-26 腾讯科技（深圳）有限公司 对象交互方法和装置、存储介质及电子装置
CN110989910A (zh) * 2019-11-28 2020-04-10 广州虎牙科技有限公司 交互方法、***、装置、电子设备及存储介质
CN112969093A (zh) * 2019-12-13 2021-06-15 腾讯科技（北京）有限公司 互动业务处理方法、装置、设备及存储介质
WO2021114845A1 (zh) * 2019-12-13 2021-06-17 腾讯科技（深圳）有限公司 互动业务处理方法、***、设备及存储介质
US11736749B2 (en) 2019-12-13 2023-08-22 Tencent Technology (Shenzhen) Company Limited Interactive service processing method and system, device, and storage medium
CN112969093B (zh) * 2019-12-13 2023-09-08 腾讯科技（北京）有限公司 互动业务处理方法、装置、设备及存储介质
CN111064987B (zh) * 2019-12-14 2021-06-25 北京字节跳动网络技术有限公司 信息展示方法、装置及电子设备
CN111064987A (zh) * 2019-12-14 2020-04-24 北京字节跳动网络技术有限公司 信息展示方法、装置及电子设备
CN111986700A (zh) * 2020-08-28 2020-11-24 广州繁星互娱信息科技有限公司 无接触式操作触发的方法、装置、设备及存储介质
CN114765691A (zh) * 2021-01-13 2022-07-19 北京字节跳动网络技术有限公司 视频直播的功能组件加载方法、数据处理方法及设备
CN114765691B (zh) * 2021-01-13 2024-05-28 北京字节跳动网络技术有限公司 视频直播的功能组件加载方法、数据处理方法及设备
CN113448475A (zh) * 2021-06-30 2021-09-28 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN113448475B (zh) * 2021-06-30 2024-06-07 广州博冠信息科技有限公司 虚拟直播间的交互控制方法、装置、存储介质与电子设备
CN115883814A (zh) * 2023-02-23 2023-03-31 阿里巴巴（中国）有限公司 实时视频流的播放方法、装置及设备

Similar Documents

Publication Publication Date Title
CN107124664A (zh) 应用于视频直播的交互方法和装置
CN106303658A (zh) 应用于视频直播的交互方法和装置
CN108010037B (zh) 图像处理方法、装置及存储介质
CN107147939A (zh) 用于调整视频直播封面的方法和装置
CN106303354B (zh) 一种脸部特效推荐方法及电子设备
US10820131B1 (en) Method and system for creating binaural immersive audio for an audiovisual content
US10834456B2 (en) Intelligent masking of non-verbal cues during a video communication
CN109922377A (zh) 播放控制方法和装置、存储介质及电子装置
CN105142000B (zh) 基于电视播放内容的信息推送方法及***
JP6236875B2 (ja) コンテンツ提供プログラム，コンテンツ提供方法及びコンテンツ提供装置
CN108462883A (zh) 一种直播互动方法、装置、终端设备及存储介质
US20160065791A1 (en) Sound image play method and apparatus
US20180063572A1 (en) Methods, systems, and media for synchronizing media content using audio timecodes
CN104488278A (zh) 用于可寻址广告的数据边界管理器
CN110933485A (zh) 一种视频字幕生成方法、***、装置和存储介质
CN110234015A (zh) 直播控制方法、装置、存储介质、终端
CN110121106A (zh) 视频播放方法及装置
CN108605150A (zh) 具有基于内容特性的触发特征的计算***
CN109361954A (zh) 视频资源的录制方法、装置、存储介质及电子装置
CN108574878A (zh) 数据交互方法及装置
CN103442202B (zh) 视频通信方法及装置
KR102313309B1 (ko) 고객 맞춤형 라이브 방송 시스템
CN113031756A (zh) 一种评测vr体验临场感的方法、装置及***
CN103313124B (zh) 本地录制业务的实现方法和装置
US10998006B1 (en) Method and system for producing binaural immersive audio for audio-visual content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170901