CN110703913B - 对象交互方法和装置、存储介质及电子装置 - Google Patents

对象交互方法和装置、存储介质及电子装置 Download PDF

Info

Publication number
CN110703913B
CN110703913B CN201910927056.4A CN201910927056A CN110703913B CN 110703913 B CN110703913 B CN 110703913B CN 201910927056 A CN201910927056 A CN 201910927056A CN 110703913 B CN110703913 B CN 110703913B
Authority
CN
China
Prior art keywords
client
interaction
track
action
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910927056.4A
Other languages
English (en)
Other versions
CN110703913A (zh
Inventor
廖中远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910927056.4A priority Critical patent/CN110703913B/zh
Publication of CN110703913A publication Critical patent/CN110703913A/zh
Application granted granted Critical
Publication of CN110703913B publication Critical patent/CN110703913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种对象交互方法和装置、存储介质及电子装置。该方法包括:获取第一对象在第一客户端中触发的对象交互请求;响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹;在检测到第一对象的手势动作对应的动作轨迹,与虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;在第一客户端中显示至少一个第二客户端返回的交互结果。本发明解决了相关技术提供的方式限制了直播场景下对象交互的效率的技术问题。

Description

对象交互方法和装置、存储介质及电子装置
技术领域
本申请涉及计算机领域,具体而言,涉及一种对象交互方法和装置、存储介质及电子装置。
背景技术
在直播过程中,为了实现主播与观众之间的实时互动,相关技术提供了一种识别主播手势的方式,通过识别主播的手势动作来生成对应的图像,并将该图像推送给观众显示,以增强手势动作的画面感,吸引更多观众来关注该主播。
然而,相关技术提供的方式都是主播向观众单向传递图像信息,观众也只能观看该图像信息,而无法实现与主播之间的双向交互过程。也就是说,上述单向传递信息的方式限制了直播场景中主播与观众之间的交互效率。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种对象交互方法和装置、存储介质及电子装置,以至少解决相关技术提供的方式限制了直播场景下对象交互的效率的技术问题。
根据本发明实施例的一个方面,提供了一种对象交互方法,包括:获取第一对象在第一客户端中触发的对象交互请求,其中,上述对象交互请求携带有待交互图形的目标图形标识;响应上述对象交互请求,在上述第一客户端显示上述第一对象所在环境的场景画面,并在上述场景画面中叠加显示与上述目标图形标识匹配的虚拟提示轨迹;在检测到上述第一对象的手势动作对应的动作轨迹,与上述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;在上述第一客户端中显示至少一个上述第二客户端返回的交互结果,其中,上述交互结果中包括对通过上述第二客户端返回的图形标识的统计结果。
根据本发明实施例的另一个方面,提供了一种对象交互方法,包括:获取第一客户端发送的交互提示信息,其中,上述交互提示信息包括:包含使用上述第一客户端的第一对象的手势动作的动作轨迹的一组图像集合;在第二客户端中显示上述一组图像集合;在上述第二客户端中输入与上述第一对象的上述手势动作的上述动作轨迹相匹配的图形标识;将上述图形标识发送服务器。
根据本发明实施例的又一方面,还提供了一种对象交互装置,包括:第一获取单元,用于获取第一对象在第一客户端中触发的对象交互请求,其中,上述对象交互请求携带有待交互图形的目标图形标识;第一显示单元,用于响应上述对象交互请求,在上述第一客户端显示上述第一对象所在环境的场景画面,并在上述场景画面中叠加显示与上述目标图形标识匹配的虚拟提示轨迹;第一发送单元,用于在检测到上述第一对象的手势动作对应的动作轨迹,与上述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;第二显示单元,用于在上述第一客户端中显示至少一个上述第二客户端返回的交互结果,其中,上述交互结果中包括对通过上述第二客户端返回的图形标识的统计结果。
根据本发明实施例的又一方面,还提供了一种对象交互装置,包括:获取单元,用于获取第一客户端发送的交互提示信息,其中,上述交互提示信息包括:包含使用上述第一客户端的第一对象的手势动作的动作轨迹的一组图像集合;显示单元,用于在第二客户端中显示上述一组图像集合;输入单元,用于在上述第二客户端中输入与上述第一对象的上述手势动作的上述动作轨迹相匹配的图形标识;发送单元,用于将上述图形标识发送服务器。
根据本发明实施例的又一方面,还提供了一种对象交互***,包括:第一客户端,用于获取第一对象在第一客户端中触发的对象交互请求,其中,上述对象交互请求携带有待交互图形的目标图形标识;还用于响应上述对象交互请求,在上述第一客户端显示上述第一对象所在环境的场景画面,并在上述场景画面中叠加显示与上述目标图形标识匹配的虚拟提示轨迹;还用于在检测到上述第一对象的手势动作对应的动作轨迹,与上述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;第二客户端,用于获取上述交互提示信息,还用于根据上述交互提示信息获取第二对象输入的与上述手势动作的上述动作轨迹相匹配的图形标识;还用于将与上述手势动作的上述动作轨迹相匹配的图形标识发送服务器;上述服务器,用于获取上述第二客户端返回的图形标识,并进行统计得到统计结果,还用于将上述统计结果发送上述第一客户端;上述第一客户端,还用于显示至少一个上述第二客户端返回的交互结果,其中,上述交互结果中包括上述统计结果。
根据本发明实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述对象交互方法。
根据本发明实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的对象交互方法。
在本发明实施例中,在获取到第一对象在第一客户端中触发的携带有待交互图形的目标图形标识的对象交互请求之后,响应该对象交互请求,在第一客户端中通过增强现实(Augmented Reality,简称AR)技术显示第一对象所在环境的场景画面,并叠加显示与待交互图形对应的虚拟提示轨迹,以提示第一对象按照上述虚拟提示轨迹完成手势动作。进一步,第一客户端将交互提示信息发送至少一个第二客户端,以提示使用第二客户端的第二对象输入与上述手势动作的动作轨迹匹配的图形标识,并在第一客户端中显示第二客户端返回的交互结果,使得直播场景中的第一客户端与第二客户端实现双向交互,以扩展二者之间的交互渠道,丰富直播过程中的交互方式,达到互动多元化的效果,进而克服相关直播技术中单向传递信息导致的交互效率较低的问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种可选的对象交互方法的应用环境的示意图;
图2是根据本发明实施例的一种可选的对象交互方法的流程图;
图3是根据本发明实施例的另一种可选的对象交互方法的流程图;
图4是根据本发明实施例的一种可选的对象交互方法的示意图;
图5是根据本发明实施例的另一种可选的对象交互方法的示意图;
图6是根据本发明实施例的又一种可选的对象交互方法的示意图;
图7是根据本发明实施例的又一种可选的对象交互方法的示意图;
图8是根据本发明实施例的又一种可选的对象交互方法的示意图;
图9是根据本发明实施例的又一种可选的对象交互方法的示意图;
图10是根据本发明实施例的又一种可选的对象交互方法的示意图;
图11是根据本发明实施例的又一种可选的对象交互方法的示意图;
图12是根据本发明实施例的又一种可选的对象交互方法的示意图;
图13是根据本发明实施例的又一种可选的对象交互方法的流程图;
图14是根据本发明实施例的一种可选的对象交互装置的结构示意图;
图15是根据本发明实施例的另一种可选的对象交互装置的结构示意图;
图16是根据本发明实施例的一种可选的电子装置的结构示意图;
图17是根据本发明实施例的一种可选的电子装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例的一个方面,提供了一种对象交互方法,可选地,作为一种可选的实施方式,上述对象交互方法可以但不限于应用于如图1所示的网络环境中的对象交互***,其中,该对象交互***可以包括但不限于:终端设备102、网络110、服务器112及终端设备120。进一步,假设终端设备102使用第一账号(如ID-1)运行第一客户端,终端设备120使用第二账号(如ID-2)运行第二客户端,其中,上述第一客户端可以为直播过程中主播的客户端,上述第二客户端可以为直播过程中关注上述主播的观众的客户端,二者具有关联关系。
上述终端设备102中包括人机交互屏幕104,处理器106及存储器108。人机交互屏幕104用于通过人机交互接口获取对象交互请求,还用于显示使用第一客户端的第一对象所在环境的场景画面,以及在该场景画面中叠加显示与待交互图形对应的虚拟提示轨迹,还用于显示交互结果;处理器106用于响应上述对象交互请求控制上述显示过程,还用于控制检测第一对象的手势动作,并在检测到上述手势动作的动作轨迹与上述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息。存储器108用于存储上述第一对象所在环境的场景画面、上述待交互图形及其图形标识之间的映射关系,以及上述交互提示信息。
服务器112中包括数据库114及处理引擎116,处理引擎116用于获取各个第二客户端返回的图形标识,并进行统计得到统计结果。数据库114中用于存储上述统计结果。上述处理引擎116还用于将上述统计结果返回第一客户端所在终端设备102。
终端设备120中包括人机交互屏幕122,处理器124及存储器126。人机交互屏幕122用于交互提示信息。处理器124用于获取第二对象输入的图形标识,还用于将该图形标识发送服务器112,以使服务器112将统计后的统计结果发送终端设备102。存储器126用于存储交互提示信息及输入的图形标识。
具体过程如以下步骤:如步骤S102-S106,在终端设备102中的人机交互屏幕104显示第一客户端的交互界面,并获取通过操作触发的对象交互请求,其中,该对象交互请求中携带有待交互图形(如图1所示“爱心”图形)的目标图形标识;响应该对象交互请求,显示使用第一客户端的第一对象所在环境的场景画面,并在该场景画面中叠加显示与上述目标图形标识相匹配的虚拟提示轨迹。然后在检测到第一对象的手势动作的动作轨迹与上述虚拟提示轨迹相匹配的情况下,确定向至少一个第二客户端发送交互提示信息。其中,该交互提示信息用于提示使用第二客户端的第二对象输入与上述手势动作的动作轨迹相匹配的图形标识。这里第二对象与第一对象为关联对象,如第二对象关注第一对象,为第一对象的粉丝。
如步骤S108,将上述交互提示信息通过网络110发送至少一个第二客户端所在的终端设备120(图1示出为一个终端设备120)。然后如步骤S110-S112,终端设备120将通过人机交互屏幕122提示第二对象输入与上述手势动作的动作轨迹相匹配的图形标识,并获取到输入的图形标识。再如步骤S114,将上述输入的图形标识通过网络110发送服务器112。
服务器112获取到各个第二客户端返回的图形标识之后,将执行步骤S116,对上述图形标识进行统计,得到统计结果。然后将包含上述统计结果的交互结果通过网络110发送给第一客户端所在终端设备102,如步骤S118。在终端设备120获取到上述交互结果之后,如步骤S120,将在人机交互屏幕104中显示上述交互结果(如图1所示显示各个第二客户端对应的第二对象返回的时间)。
需要说明的是,在本实施例中,在获取到第一对象在第一客户端中触发的携带有待交互图形的目标图形标识的对象交互请求之后,响应该对象交互请求,在第一客户端中通过增强现实(Augmented Reality,简称AR)技术显示第一对象所在环境的场景画面,并叠加显示与待交互图形对应的虚拟提示轨迹,以提示第一对象按照上述虚拟提示轨迹完成手势动作。进一步,第一客户端将交互提示信息发送至少一个第二客户端,以提示使用第二客户端的第二对象输入与上述手势动作的动作轨迹匹配的图形标识,并在第一客户端中显示第二客户端返回的交互结果,使得直播场景中的第一客户端与第二客户端实现双向交互,以扩展二者之间的交互渠道,丰富直播过程中的交互方式,达到互动多元化的效果,进而克服相关直播技术中单向传递信息导致的交互效率较低的问题。
可选地,在本实施例中,上述消息处理方法可以但不限于应用于终端设备中,该终端设备可以但不限于为手机、平板电脑、笔记本电脑、PC机等支持运行应用客户端的终端设备。上述服务器和终端设备可以但不限于通过网络实现数据交互,上述网络可以包括但不限于无线网络或有线网络。其中,该无线网络包括:蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于:广域网、城域网、局域网。上述仅是一种示例,本实施例中对此不作任何限定。
可选地,作为一种可选的实施方式,如图2所示,上述对象交互方法包括:
S202,获取第一对象在第一客户端中触发的对象交互请求,其中,对象交互请求携带有待交互图形的目标图形标识;
S204,响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹;
S206,在检测到第一对象的手势动作对应的动作轨迹,与虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
S208,在第一客户端中显示至少一个第二客户端返回的交互结果,其中,交互结果中包括对通过第二客户端返回的图形标识的统计结果。
可选地,在本实施例中,上述对象交互方法可以但不限于应用于直播场景中的对象交互方法,其中,上述直播场景可以但不限于在以下至少一种应用的客户端中提供:直播应用、音频播放应用、视频播放应用、空间共享应用等,上述视频播放应用可以包括但不限于:长视频播放平台应用(如用于提供各种播放时长较长的复合型视频的平台应用),以及短视频共享平台应用(如用于提供播放时长小于预定阈值的单一视频的平台应用)。也就是说,这里直播场景的入口可以但不限于以跳转链接的形式设置在不同既有应用客户端中,上述仅是示例,本实施例中对此不作任何限定。其中,在本实施例中,上述第一客户端可以但不限于为提供播放内容的主播客户端,上述第二客户端可以但不限于为观看播放内容的观众客户端。换言之,使用第二客户端的第二对象是使用第一客户端的第一对象的粉丝,二者具有关联关系。
可选地,在本实施例中,获取第一对象在第一客户端中触发的对象交互请求可以包括但不限于:在第一客户端的人机交互界面中显示上述对象交互功能的触发按键;响应对该触发按键执行的操作来开启上述对象交互功能;从图形数据库中随机确定出一组候选图形,作为候选图形集合;在第一客户端中显示上述候选图形集合;获取从上述候选图形集合中选择的目标图形,作为待交互图形;利用上述目标图形的目标图形标识生成上述对象交互请求。
需要说明的是,在本实施例中,上述候选图形集合中的候选图形可以但不限于为预先配置的线条单一的简笔画图形,以便于第一对象可以通过手势动作复制该候选图形。例如,上述图形可以但不限于为:三角形、五角星、爱心等其他简笔画图形。此外,在本实施例中,上述候选图形集合中包括的候选图形的数量可以为一个或多个,上述数量可以灵活配置,本实施例中对此不作任何限定。
其中,在本实施例中,用于触发上述对象交互功能的触发按键的显示方式可以包括但不限于以下至少之一:1)在第一客户端提供的功能按键浮层中显示上述触发按键的按键图标;2)在第一客户端的播放界面中直接显示上述触发按键的按键图标。此外,触发上述对象交互功能的方式还可以包括:隐藏上述触发按键的按键图标,通过对第一客户端的播放界面执行快捷操作,来触发上述对象交互功能,其中,上述快捷操作可以包括但不限于以下至少之一:双击播放界面、在播放界面按照既定方向执行滑动操作等。上述仅是示例,本实施例中对于触发上述对象交互功能,及显示用于触发上述对象交互功能的触发按键的按键图标的方式不作任何限定。
可选地,在本实施例中,在获取到对象交互请求之后,可以但不限于采用增强现实(Augmented Reality,简称AR)技术显示第一对象所在环境的场景画面,并叠加显示与待交互图形对应的虚拟提示轨迹。其中,AR技术是一种将真实世界信息和虚拟世界信息无缝集成的新技术,通过电脑等科学技术,模拟仿真后再叠加,将虚拟的信息应用到真实世界,被人类感官所感知,使得真实的环境和虚拟的物体实时地叠加到同一个画面或空间同时存在。也就是说,在第一客户端的显示界面中,在显示第一对象所在环境的真实的场景画面的同时,还可以叠加显示与待交互图形对应的虚拟提示轨迹,在第一客户端中实现真实环境与虚拟轨迹的叠加显示,以达到对第一对象进行轨迹提示的目的。
其中,在本实施例中,上述虚拟提示轨迹的显示方式可以包括但不限于:1)静态图形,如用虚线轨迹静态显示上述虚拟提示轨迹;2)动态图形,如用动图提示待交互图形的绘制过程。上述仅是示例,本实施例中对此不作任何限定。
可选地,在本实施例中,检测第一对象的手势动作可以包括但不限于:在采集到的图像中识别出第一对象的手部之后,检测该手部对应的关键点位置;跟踪该关键点位置的变化,以确定第一对象的手势动作的动作轨迹。
需要说明的是,上述关键点位置可以但不限于为根据手部的骨骼设置的一个或多个位置。跟踪上述关键点位置的变化,将可以确定第一对象所执行的手势动作的动作轨迹,以便于识别出该第一对象的手势动作。进一步,通过比对该手势动作的动作轨迹与上述虚拟提示轨迹,将可以确定该第一对象是否按照提示完成上述待交互图形。其中,在第一对象执行手势动作的过程中,还可以但不限于在虚拟提示轨迹上同步显示第一对象的完成进度。例如,在虚拟提示轨迹为静态的虚线轨迹的情况下,若检测到第一对象当前执行的手势动作已完成部分图形,则可以在虚拟提示轨迹上同步显示完成进度,如将已完成的部分图形的轨迹显示为实线轨迹。上述仅为一种示例,本实施例中对此不作任何限定。
可选地,在本实施例中,在检测到第一对象的手势动作的动作轨迹与虚拟提示轨迹相匹配的情况下,则确定上述待交互图形已完成绘制,则可以向至少一个第二客户端发送交互提示信息,其中,该交互提示信息可以包括但不限于:包含上述第一对象的手势动作的动作轨迹的一组图像集合,以及相关提示信息,其中,上述一组图像集合中缺省上述虚拟提示轨迹,上述相关提示信息用于提示使用第二客户端的第二对象输入与上述动作轨迹对应的图形标识,以完成第一客户端发起的该对象交互任务。其中,上述相关提示信息可以包括但不限于以下至少之一:文字提示信息、图像提示信息、动图提示信息、视频提示信息、语音提示信息等。
需要说明的是,在本实施例中,在收到上述交互提示信息之后,使用第二客户端的第二对象可以直接在输入窗口输入与上述动作轨迹对应的图形标识,也可以通过语音输入与上述动作轨迹对应的图形标识,进一步,第二客户端中的转换控件将可以完成语音到文本的转换。
此外,在本实施例中,在第二客户端完成输入图形标识之后,将发送至服务器。服务器将对各个第二客户端返回的图形标识进行分析统计:确定所返回的图形标识与第一客户端提供的目标图形标识是否匹配;在匹配的情况下,按照各个第二客户端的返回时间,对用于登录上述第二客户端的目标账号进行排序,得到账号序列;并将该账号序列作为交互结果推送给第一客户端进行显示,以使得第一客户端直观地展示交互结果,从而完成第一客户端与第二客户端之间的双向交互,达到扩展直播场景下的交互渠道,丰富互动的多样性的效果。
具体结合图3所示示例进行说明。如步骤S302-S312,主播在直播过程中,通过主播客户端触发对象交互请求,其中,该对象交互请求中携带有待交互图形(如爱心)的目标图形标识(如用“01”标识爱心)。响应该对象交互请求,在主播客户端生成并显示虚拟提示轨迹,然后通过主播客户端所在终端设备中的摄像头采集包含主播的图像,以通过该图像识别主播的手势动作。将上述图像发送给观众客户端,并获取观众通过观众客户端返回的与上述手势动作对应的答案(与主播手势动作的动作轨迹对应的图形标识)。然后服务器将通过智能运算对上述返回的答案进行比对,并将比对后的结果(如答案榜单)发送给主播客户端。主播客户端将显示上述答案榜单。从而完成上述对象交互请求所触发的对象交互任务。
通过本申请提供的实施例,在获取到第一对象在第一客户端中触发的携带有待交互图形的目标图形标识的对象交互请求之后,响应该对象交互请求,在第一客户端中通过增强现实(Augmented Reality,简称AR)技术显示第一对象所在环境的场景画面,并叠加显示与待交互图形对应的虚拟提示轨迹,以提示第一对象按照上述虚拟提示轨迹完成手势动作。进一步,第一客户端将交互提示信息发送至少一个第二客户端,以提示使用第二客户端的第二对象输入与上述手势动作的动作轨迹匹配的图形标识,并在第一客户端中显示第二客户端返回的交互结果,使得直播场景中的第一客户端与第二客户端实现双向交互,以扩展二者之间的交互渠道,丰富直播过程中的交互方式,达到互动多元化的效果,进而克服相关直播技术中单向传递信息导致的交互效率较低的问题。
作为一种可选的方案,响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹包括:
S1,响应对象交互请求,调用第一客户端所在终端设备中的摄像头采集第一对象当前所在环境的场景画面;
S2,在第一客户端中显示采集到的场景画面;
S3,确定虚拟提示轨迹在第一客户端中场景画面上的叠加显示位置;
S4,在叠加显示位置上显示虚拟提示轨迹。
需要说明的是,在第一客户端中显示摄像头采集的第一对象当前所在环境的场景画面的同时,显示与上述待交互图形对应的虚拟提示轨迹,上述显示过程是采用AR技术实现的在真实环境中添加虚拟轨迹,以实现真实与虚拟的交互。
此外,在本实施例中,上述虚拟提示轨迹的叠加显示位置可以但不限于包括以下配置方式:
1)在触发对象交互请求之前,预先在第一客户端的功能配置界面配置。也就是说,预先统一配置待交互图形对应的虚拟提示轨迹的叠加显示位置,如画面中央,画面左下方等。
2)在触发对象交互请求之后,再配置虚拟提示轨迹的叠加显示位置。也就是说,可以根据第一对象实际在场景画面中所出现的位置,灵活选择配置虚拟提示轨迹的叠加显示位置,以避免虚拟提示轨迹遮挡第一对象。
在本实施例中,上述确定虚拟提示轨迹的叠加显示位置可以但不限于是确定上述虚拟提示轨迹的显示坐标,以使得虚拟提示轨迹准确地叠加显示在上述采集到的场景画面上。
具体结合图4进行说明:假设第一对象使用账号“小黑”登录第一客户端(主播客户端)进行实时直播(假设当前直播时间为上午11:10)。其中,关注该第一对象的第二对象包括:小白和小红。也就是说,小白和小红分别通过登录的第二客户端来观看小黑正在直播的内容。
进一步,在小黑触发对象交互请求之后,确定待交互图形的目标图形标识为“爱心”,则第一客户端所在终端设备中的摄像头将采集小黑当前所在环境的场景画面,并确定“爱心”对应的虚拟提示轨迹在上述场景画面中的叠加显示位置,然后在第一客户端中显示如图4所示界面:小黑当前所在环境的场景画面,并在场景画面中央显示上述“爱心”对应的虚拟提示轨迹(如图中所示虚线轨迹)。
通过本申请提供的实施例,调用第一客户端所在终端设备中的摄像头采集第一对象当前所在环境的场景画面之后,可以在显示上述采集到的场景画面之后,再确定上述虚拟提示轨迹在该场景画面上的叠加显示位置的显示坐标,以使得该虚拟提示轨迹可以准确地显示在该显示坐标上,避免虚拟提示轨迹遮挡场景画面中其他重要内容。
作为一种可选的方案,在向至少一个第二客户端发送交互提示信息之前,还包括:
S1,调用第一客户端所在终端设备中的摄像头采集与第一对象对应的图像序列;
S2,在图像序列中检测第一对象的手势动作。
需要说明的是,在本实施例中,在检测第一对象时所调用的摄像头可以但不限于为深度摄像头,或两个及两个以上摄像头。通过上述摄像头来探测深度,以实现将第一对象的手部抽象出骨骼信息,并进一步确定出该手部对应的关键点位置。然后从采集到的图像中将上述手部所在的图像区域单独剥离出来,以使得摄像头可以跟踪上述手部的关键点位置的移动变化过程,从而实现区分左右手和确定手部的移动轨迹,以便于识别出其对应的手势动作。其中,上述两个或两个以上摄像头是用于比对在同一时刻采集到的图像,以利用其差异来计算深度信息,从而实现三维成像,达到识别出第一对象的手势动作的目的。
此外,在本实施例中,为了识别出第一对象的手势动作,可以但不限于是基于摄像头采集到的图像序列来进行图像识别的,其中,图像序列中可以包括一张图像或多张图像。例如,如图5所示,对于单一的手势动作(如图所示“赞”、“注意”、“胜利”、“比心”),可以直接根据关键点位置进行识别。但对于较复杂的手势动作(如图4所示“爱心”),则需根据按照一定时间顺序采集到的多张图像中关键点位置的变化过程来进行识别。上述仅是示例,本实施例中对此不作任何限定。
可选地,在本实施例中,在图像序列中检测第一对象的手势动作之后,还包括:
S21,确定在图像序列中每张图像内第一对象的手部对应的关键点位置;
S22,跟踪图像序列中各个关键点位置,以确定手势动作的动作轨迹;
S23,在动作轨迹与虚拟提示轨迹之间的轨迹相似度大于目标阈值的情况下,确定手势动作的动作轨迹与虚拟提示轨迹相匹配。
需要说明的是,在本实施例中,在第一对象执行手势动作的过程中,在第一客户端中将对应显示手势动作的动作轨迹,在该动作轨迹与虚拟提示轨迹之间的轨迹相似度大于目标阈值的情况下,则确定二者相匹配。其中,上述第一对象的手势动作可以沿着上述虚拟提示轨迹临摹完成,也可以在实际环境中的其他位置完成。本实施例中提供的方式是用于比对二者的轨迹相似度,并不限制显示位置的重合度。进一步,在二者的显示位置不重合的情况下,也可以在虚拟提示轨迹中呈现完成进度。其中,完成进度的显示方式可以包括但不限于:直接在虚拟提示轨迹中显示覆盖度、也可以显示完成百分比等。上述仅是示例,本实施例中对此不作任何限制。
结合图6所示进行说明:在确定出一张图像中包括第一对象“小黑”的手部对应的关键点位置之后,则可以进一步跟踪上述一张图像之后的多张图像中各个关键点位置的变化,以确定手势动作的动作轨迹。如图6所示,虚线为待交互图形“爱心”对应的虚拟提示轨迹,实线为第一对象当前已完成的手势动作的动作轨迹,即当前进度为半个“爱心”。
进一步,在检测到动作轨迹与虚拟提示轨迹之间的轨迹相似度大于目标阈值的情况下,也就是说,在检测到实线已完全覆盖虚线的情况下,如图7所示,则确定手势动作的动作轨迹与虚拟提示轨迹相匹配,第一对象“小黑”已完成整个“爱心”的手势动作。
通过本申请提供的实施例,在确定在图像序列中每张图像内第一对象的手部对应的关键点位置之后,通过跟踪图像序列中各个关键点位置,以确定手势动作的动作轨迹,从而实现对手势动作进行准确地识别。进一步,通过对两个轨迹进行比对,以利用轨迹相似度来确定是否完成当前的虚拟提示轨迹,从而实现在检测到已完成的情况下,自动触发向第二客户端发送的交互提示信息,保证对象交互过程的客观性和公平性。
作为一种可选的方案,向至少一个第二客户端发送交互提示信息包括:
S1,向至少一个第二客户端发送包含手势动作的动作轨迹的一组图像集合,以使第二对象在第二客户端中输入与手势动作的动作轨迹相匹配的图形标识,其中,一组图像集合中的每张图像内缺省虚拟提示轨迹,第二对象与第一对象为关联对象。
需要说明的是,在直播应用该场景中,上述第二对象与第一对象的关联关系可以但不限于为关注关系,如第一对象为主播,则第二对象为关注该主播的观众,二者是关联的对象。上述仅是示例,本实施例中对此不作任何限定。
具体结合图8所示示例进行说明,第一客户端将把包含第一对象的手势动作的动作轨迹的一组图像集合发送给第二客户端进行显示。如图8所示,假设图8所示界面为第二对象“小白”所登录第二客户端呈现的直播界面,在该界面中将呈现小黑执行的手势动作的动作轨迹,如图8所示带箭头的轨迹,但却不会显示在第一客户端中呈现的虚拟提示轨迹。
通过本申请提供的实施例,第一客户端在向第二客户端发送交互提示信息之后,第二客户端将呈现包含第一对象的手势动作的动作轨迹的一组图像集合,而不会直观地呈现虚拟提示轨迹,以实现使得使用第二客户端的第二对象根据该一组图像集合中所呈现的动作轨迹来竞猜对应的图形标识,从而达到与使用第一客户端的第一对象实现双向互动的目的。
作为一种可选的方案,在第一客户端中显示至少一个第二客户端返回的交互结果之前,包括:
S1,服务器获取至少一个第二客户端返回的图形标识;
S2,服务器依次比对至少一个第二客户端返回的图形标识与目标图形标识;
S3,服务器根据比对结果获取与目标图形标识相匹配的图形标识对应的第二客户端所登录的目标账号;
S4,服务器按照返回时间对目标账号进行排序,得到账号序列;
S5,服务器将账号序列发送给第一客户端。
可选地,在本实施例中,在第一客户端中显示至少一个第二客户端返回的交互结果包括以下至少之一:
1)在第一客户端的播放窗口中直接显示账号序列;
2)在第一客户端中创建弹窗,以显示账号序列;
3)在第一客户端中创建子页面,以显示账号序列。
具体结合图9-10所示示例进行说明:假设图9所示界面为第二对象“小白”所登录第二客户端呈现的直播界面,在该界面中将呈现第一对象“小黑”执行的手势动作的动作轨迹。进一步,如图9所示,第二对象“小白”将通过对话框输入与所观看到的动作轨迹对应的图形标识“爱心”。
然后,在本实施例中,服务器可以获取各个第二客户端返回的图形标识,并依次比对返回的图形标识与目标图形标识,并确定出匹配成功的第二客户端所登录的目标账号。假设这里目标账号包括账号“小白”和“小红”,则进一步按照返回时间对上述账号排序,得到账号序列,并将该账号序列发送给第一客户端进行显示,如图10所示,小红在0.9秒内返回正确答案对应的图形标识“爱心”,位居榜首;小白在1.1秒内返回正确答案对应的图形标识“爱心”,位居第二名。
需要说明的是,上述获取并比对图形标识,确定目标账号及获取账号序列的过程还可以但不限于在第一客户端中完成,本实施例中对此不作任何限定。
此外,在本实施例中,上述账号序列也可以发送给第二客户端,在第二客户端中进行同步显示,针对第二客户端中的显示方式,可以参考上述第一客户端的显示方式,本实施例在此不再赘述。
通过本申请提供的实施例,通过比对各个第二客户端返回的图形标识与目标图形标识,以便于通过统计比对的结果,得到统计结果,进而生成针对当前第一对象触发的对象交互任务的交互结果,并将该交互结果返回第一客户端进行直观地显示,达到双向交互的目的。
作为一种可选的方案,在第一客户端中显示账号序列之后,还包括:
S1,响应对账号序列执行的操作,向账号序列中的目标账号转移目标资源。
需要说明的是,在本实施例中,第一客户端在获取到上述账号序列之后,还可以但不限于对上述账号序列中的目标账号予以奖励,如转移一定目标资源。在本实施例中,上述目标资源可以包括但不限于虚拟场景中的虚拟资源,如虚拟货币、虚拟礼物等。本实施例中对于奖励的内容及奖励方式不作任何限定。
作为一种可选的方案,获取第一对象在第一客户端中触发的对象交互请求包括:
S1,在第一客户端中显示候选图形集合;
S2,获取从候选图形集合中选择的目标图形标识对应的图形,作为待交互图形;
S3,利用目标图形标识生成对象交互请求。
具体结合图11-12所示进行说明:如图11所示,在第一对象“小黑”登录的第一客户端的播放界面中,触发显示功能按键浮层,其中,在该功能按键浮层中显示有上述对象交互功能的按键图标,如图11所示虚线框内的图标。
进一步,响应对上述按键图标执行的操作,从图形数据库中随机确定出一组候选图形,作为候选图形集合,并在第一客户端中显示上述候选图形集合,如图12所示,该候选图形集合中包括:桃心、五角星、小鱼、房子等。然后从上述候选图形集合中选择出待交互图形(如“爱心”),并利用该图形的目标图形标识生成上述对象交互请求。
通过本申请提供的实施例,在第一客户端中显示利用图形数据库随机生成的候选图形,以便于选择出待交互图形,从而实现快速触发与第二客户端之间的对象交互任务。
根据本发明实施例的另一个方面,还提供了一种对象交互方法。如图13所示,该装置包括:
S1302,获取第一客户端发送的交互提示信息,其中,交互提示信息包括:包含使用第一客户端的第一对象的手势动作的动作轨迹的一组图像集合;
S1304,在第二客户端中显示一组图像集合;
S1306,在第二客户端中输入与第一对象的手势动作的动作轨迹相匹配的图形标识;
S1308,将图形标识发送服务器。
本实施例中提供的第二客户端中实现的对象交互过程可以参考上述实施例,本实施例在此不再赘述。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面,还提供了一种用于实施上述对象交互方法的对象交互装置。如图14所示,该装置包括:
1)第一获取单元1402,用于获取第一对象在第一客户端中触发的对象交互请求,其中,对象交互请求携带有待交互图形的目标图形标识;
2)第一显示单元1404,用于响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹;
3)第一发送单元1406,用于在检测到第一对象的手势动作对应的动作轨迹,与虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
4)第二显示单元1408,用于在第一客户端中显示至少一个第二客户端返回的交互结果,其中,交互结果中包括对通过第二客户端返回的图形标识的统计结果。
本实施例中提供的对象交互装置,可以但不限于应用于第一客户端,具体示例可以参考上述实施例,本实施例在此不再赘述。
根据本发明实施例的另一个方面,还提供了一种用于实施上述对象交互方法的对象交互装置。如图15所示,该装置包括:
1)获取单元1502,用于获取第一客户端发送的交互提示信息,其中,交互提示信息包括:包含使用第一客户端的第一对象的手势动作的动作轨迹的一组图像集合;
2)显示单元1504,用于在第二客户端中显示一组图像集合;
3)输入单元1506,用于在第二客户端中输入与第一对象的手势动作的动作轨迹相匹配的图形标识;
4)发送单元1508,用于将图形标识发送服务器。
本实施例中提供的对象交互装置,可以但不限于应用于第二客户端,具体示例可以参考上述实施例,本实施例在此不再赘述。
根据本发明实施例的另一个方面,还提供了一种用于实施上述对象交互方法的对象交互***。该装置包括:
1)第一客户端,用于获取第一对象在第一客户端中触发的对象交互请求,其中,对象交互请求携带有待交互图形的目标图形标识;还用于响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹;还用于在检测到第一对象的手势动作对应的动作轨迹,与虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
2)第二客户端,用于获取交互提示信息,还用于根据交互提示信息获取第二对象输入的与手势动作的动作轨迹相匹配的图形标识;还用于将与手势动作的动作轨迹相匹配的图形标识发送服务器;
3)服务器,用于获取第二客户端返回的图形标识,并进行统计得到统计结果,还用于将统计结果发送第一客户端;
4)第一客户端,还用于显示至少一个第二客户端返回的交互结果,其中,交互结果中包括统计结果。
本实施例中提供的对象交互***,内部结构可以但不限于参考图1所示,具体交互过程的示例可以参考上述实施例,本实施例在此不再赘述。
根据本发明实施例的又一个方面,还提供了一种用于实施上述对象交互方法的电子装置,如图16所示,该电子装置包括存储器1602和处理器1604,该存储器1602中存储有计算机程序,该处理器1604被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取第一对象在第一客户端中触发的对象交互请求,其中,对象交互请求携带有待交互图形的目标图形标识;
S2,响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹;
S3,在检测到第一对象的手势动作对应的动作轨迹,与虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
S4,在第一客户端中显示至少一个第二客户端返回的交互结果,其中,交互结果中包括对通过第二客户端返回的图形标识的统计结果。
可选地,本领域普通技术人员可以理解,图16所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图16其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图16中所示更多或者更少的组件(如网络接口等),或者具有与图16所示不同的配置。
其中,存储器1602可用于存储软件程序以及模块,如本发明实施例中的对象交互方法和装置对应的程序指令/模块,处理器1604通过运行存储在存储器1602内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的对象交互方法。存储器1602可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1602可进一步包括相对于处理器1604远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1602具体可以但不限于用于存储待交互图形、图形标识及其对应关系,以及采集到的场景画面等信息。作为一种示例,如图16所示,上述存储器1602中可以但不限于包括上述对象交互装置中的第一获取单元1402、第一显示单元1404、检测单元1406、第一发送单元1408及第二显示单元1410。此外,还可以包括但不限于上述对象交互装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1606用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1606包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1606为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1608,用于显示虚拟提示轨迹、交互结果等;和连接总线1610,用于连接上述电子装置中的各个模块部件。
根据本发明实施例的又一个方面,还提供了一种用于实施上述对象交互方法的电子装置,如图17所示,该电子装置包括存储器1702和处理器1704,该存储器1702中存储有计算机程序,该处理器1704被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取第一客户端发送的交互提示信息,其中,交互提示信息包括:包含使用第一客户端的第一对象的手势动作的动作轨迹的一组图像集合;
S2,在第二客户端中显示一组图像集合;
S3,在第二客户端中输入与第一对象的手势动作的动作轨迹相匹配的图形标识;
S4,将图形标识发送服务器。
可选地,本领域普通技术人员可以理解,图17所示的结构仅为示意,电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices,MID)、PAD等终端设备。图17其并不对上述电子装置的结构造成限定。例如,电子装置还可包括比图17中所示更多或者更少的组件(如网络接口等),或者具有与图17所示不同的配置。
其中,存储器1702可用于存储软件程序以及模块,如本发明实施例中的对象交互方法和装置对应的程序指令/模块,处理器1704通过运行存储在存储器1702内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的对象交互方法。存储器1702可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器1702可进一步包括相对于处理器1704远程设置的存储器,这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中,存储器1702具体可以但不限于用于存储图形标识等信息。作为一种示例,如图17所示,上述存储器1702中可以但不限于包括上述对象交互装置中的获取单元1502、显示单元1504、输入单元1506及发送单元1508。此外,还可以包括但不限于上述对象交互装置中的其他模块单元,本示例中不再赘述。
可选地,上述的传输装置1706用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中,传输装置1706包括一个网络适配器(Network Interface Controller,NIC),其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中,传输装置1706为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
此外,上述电子装置还包括:显示器1708,用于显示交互提示信息等;和连接总线1710,用于连接上述电子装置中的各个模块部件。
根据本发明的实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取第一对象在第一客户端中触发的对象交互请求,其中,对象交互请求携带有待交互图形的目标图形标识;
S2,响应对象交互请求,在第一客户端显示第一对象所在环境的场景画面,并在场景画面中叠加显示与目标图形标识匹配的虚拟提示轨迹;
S3,在检测到第一对象的手势动作对应的动作轨迹,与虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
S4,在第一客户端中显示至少一个第二客户端返回的交互结果,其中,交互结果中包括对通过第二客户端返回的图形标识的统计结果。
可选地,在本实施例中,上述计算机可读的存储介质还可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取第一客户端发送的交互提示信息,其中,交互提示信息包括:包含使用第一客户端的第一对象的手势动作的动作轨迹的一组图像集合;
S2,在第二客户端中显示一组图像集合;
S3,在第二客户端中输入与第一对象的手势动作的动作轨迹相匹配的图形标识;
S4,将图形标识发送服务器。
可选地,在本实施例中,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取的存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在存储介质中,包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的客户端,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种对象交互方法,其特征在于,包括:
获取第一对象在第一客户端中触发的对象交互请求,其中,所述对象交互请求携带有待交互图形的目标图形标识;
响应所述对象交互请求,在所述第一客户端显示所述第一对象所在环境的场景画面,并在所述场景画面中叠加显示与所述目标图形标识匹配的虚拟提示轨迹;
在检测到所述第一对象的手势动作对应的动作轨迹,与所述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
在所述第一客户端中显示至少一个所述第二客户端返回的交互结果,其中,所述交互结果中包括对通过所述第二客户端返回的图形标识的统计结果。
2.根据权利要求1所述的方法,其特征在于,所述响应所述对象交互请求,在所述第一客户端显示所述第一对象所在环境的场景画面,并在所述场景画面中叠加显示与所述目标图形标识匹配的虚拟提示轨迹包括:
响应所述对象交互请求,调用所述第一客户端所在终端设备中的摄像头采集所述第一对象当前所在环境的所述场景画面;
在所述第一客户端中显示采集到的所述场景画面;
确定所述虚拟提示轨迹在所述第一客户端中所述场景画面上的叠加显示位置;
在所述叠加显示位置上显示所述虚拟提示轨迹。
3.根据权利要求1所述的方法,其特征在于,在所述向至少一个第二客户端发送交互提示信息之前,还包括:
调用所述第一客户端所在终端设备中的摄像头采集与所述第一对象对应的图像序列;
在所述图像序列中检测所述第一对象的手势动作。
4.根据权利要求3所述的方法,其特征在于,在所述图像序列中检测所述第一对象的手势动作之后,还包括:
确定在所述图像序列中每张图像内所述第一对象的手部对应的关键点位置;
跟踪所述图像序列中各个关键点位置,以确定所述手势动作的所述动作轨迹;
在所述动作轨迹与所述虚拟提示轨迹之间的轨迹相似度大于目标阈值的情况下,确定所述手势动作的所述动作轨迹与所述虚拟提示轨迹相匹配。
5.根据权利要求1所述的方法,其特征在于,所述向至少一个第二客户端发送交互提示信息包括:
向至少一个所述第二客户端发送包含所述手势动作的动作轨迹的一组图像集合,以使第二对象在所述第二客户端中输入与所述手势动作的所述动作轨迹相匹配的图形标识,其中,所述一组图像集合中的每张图像内缺省所述虚拟提示轨迹,所述第二对象与所述第一对象为关联对象。
6.根据权利要求5所述的方法,其特征在于,在所述第一客户端中显示至少一个所述第二客户端返回的交互结果之前,包括:
服务器获取至少一个所述第二客户端返回的图形标识;
所述服务器依次比对至少一个所述第二客户端返回的图形标识与所述目标图形标识;
所述服务器根据比对结果获取与所述目标图形标识相匹配的图形标识对应的所述第二客户端所登录的目标账号;
所述服务器按照返回时间对所述目标账号进行排序,得到账号序列;
所述服务器将所述账号序列发送给所述第一客户端。
7.根据权利要求6所述的方法,其特征在于,在所述第一客户端中显示至少一个所述第二客户端返回的交互结果包括以下至少之一:
在所述第一客户端的播放窗口中直接显示所述账号序列;
在所述第一客户端中创建弹窗,以显示所述账号序列;
在所述第一客户端中创建子页面,以显示所述账号序列。
8.根据权利要求6所述的方法,其特征在于,在所述第一客户端中显示所述账号序列之后,还包括:
响应对所述账号序列执行的操作,向所述账号序列中的所述目标账号转移目标资源。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述获取第一对象在第一客户端中触发的对象交互请求包括:
在所述第一客户端中显示候选图形集合;
获取从所述候选图形集合中选择的所述目标图形标识对应的图形,作为所述待交互图形;
利用所述目标图形标识生成所述对象交互请求。
10.一种对象交互方法,其特征在于,包括:
获取第一客户端发送的交互提示信息,其中,所述交互提示信息包括:包含使用所述第一客户端的第一对象的手势动作的动作轨迹的一组图像集合,所述动作轨迹是所述第一对象按照虚拟提示轨迹所做的手势动作的动作轨迹,所述虚拟提示轨迹在所述第一对象所在环境的场景画面中叠加显示,所述场景画面在所述第一客户端中显示;
在第二客户端中显示所述一组图像集合;
在所述第二客户端中输入与所述第一对象的所述手势动作的所述动作轨迹相匹配的图形标识;
将所述图形标识发送服务器,以使所述服务器将所述图形标识发送给所述第一客户端,并在所述第一客户端中显示所述图形标识的统计结果。
11.一种对象交互装置,其特征在于,包括:
第一获取单元,用于获取第一对象在第一客户端中触发的对象交互请求,其中,所述对象交互请求携带有待交互图形的目标图形标识;
第一显示单元,用于响应所述对象交互请求,在所述第一客户端显示所述第一对象所在环境的场景画面,并在所述场景画面中叠加显示与所述目标图形标识匹配的虚拟提示轨迹;
第一发送单元,用于在检测到所述第一对象的手势动作对应的动作轨迹,与所述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
第二显示单元,用于在所述第一客户端中显示至少一个所述第二客户端返回的交互结果,其中,所述交互结果中包括对通过所述第二客户端返回的图形标识的统计结果。
12.一种对象交互装置,其特征在于,包括:
获取单元,用于获取第一客户端发送的交互提示信息,其中,所述交互提示信息包括:包含使用所述第一客户端的第一对象的手势动作的动作轨迹的一组图像集合,所述动作轨迹是所述第一对象按照虚拟提示轨迹所做的手势动作的动作轨迹,所述虚拟提示轨迹在所述第一对象所在环境的场景画面中叠加显示,所述场景画面在所述第一客户端中显示;
显示单元,用于在第二客户端中显示所述一组图像集合;
输入单元,用于在所述第二客户端中输入与所述第一对象的所述手势动作的所述动作轨迹相匹配的图形标识;
发送单元,用于将所述图形标识发送服务器,以使所述服务器将所述图形标识发送给所述第一客户端,并在所述第一客户端中显示所述图形标识的统计结果。
13.一种对象交互***,其特征在于,包括:
第一客户端,用于获取第一对象在第一客户端中触发的对象交互请求,其中,所述对象交互请求携带有待交互图形的目标图形标识;还用于响应所述对象交互请求,在所述第一客户端显示所述第一对象所在环境的场景画面,并在所述场景画面中叠加显示与所述目标图形标识匹配的虚拟提示轨迹;还用于在检测到所述第一对象的手势动作对应的动作轨迹,与所述虚拟提示轨迹相匹配的情况下,向至少一个第二客户端发送交互提示信息;
第二客户端,用于获取所述交互提示信息,还用于根据所述交互提示信息获取第二对象输入的与所述手势动作的所述动作轨迹相匹配的图形标识;还用于将与所述手势动作的所述动作轨迹相匹配的图形标识发送服务器;
所述服务器,用于获取所述第二客户端返回的图形标识,并进行统计得到统计结果,还用于将所述统计结果发送所述第一客户端;
所述第一客户端,还用于显示至少一个所述第二客户端返回的交互结果,其中,所述交互结果中包括所述统计结果。
14.一种计算机可读的存储介质,所述计算机可读的存储介质包括存储的程序,其中,所述程序运行时执行所述权利要求1至9任一项中所述的方法或执行所述权利要求10所述的方法。
15.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法或执行所述权利要求10所述的方法。
CN201910927056.4A 2019-09-27 2019-09-27 对象交互方法和装置、存储介质及电子装置 Active CN110703913B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910927056.4A CN110703913B (zh) 2019-09-27 2019-09-27 对象交互方法和装置、存储介质及电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910927056.4A CN110703913B (zh) 2019-09-27 2019-09-27 对象交互方法和装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
CN110703913A CN110703913A (zh) 2020-01-17
CN110703913B true CN110703913B (zh) 2023-09-26

Family

ID=69196977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910927056.4A Active CN110703913B (zh) 2019-09-27 2019-09-27 对象交互方法和装置、存储介质及电子装置

Country Status (1)

Country Link
CN (1) CN110703913B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325948B (zh) * 2020-02-28 2023-02-07 华为技术有限公司 隔空手势的调节方法及终端
CN111461005B (zh) * 2020-03-31 2023-11-28 腾讯科技(深圳)有限公司 一种手势识别方法、装置、计算机设备以及存储介质
CN111627039A (zh) * 2020-05-09 2020-09-04 北京小狗智能机器人技术有限公司 一种基于图像识别的交互***及交互方法
CN112286439A (zh) * 2020-11-03 2021-01-29 广东科徕尼智能科技有限公司 一种基于触控轨迹的终端交互方法、设备、存储介质
CN113253901A (zh) * 2021-03-15 2021-08-13 北京字跳网络技术有限公司 一种直播间内的交互方法、装置、设备及存储介质
CN115469735A (zh) * 2021-05-28 2022-12-13 北京字节跳动网络技术有限公司 基于手势的交互方法、装置和客户端
CN113727147A (zh) * 2021-08-27 2021-11-30 上海哔哩哔哩科技有限公司 直播间礼物赠送方法及装置
CN114115524B (zh) * 2021-10-22 2023-08-18 青岛海尔科技有限公司 智能水杯的交互方法、存储介质及电子装置
CN114363685A (zh) * 2021-12-20 2022-04-15 咪咕文化科技有限公司 视频互动方法、装置、计算设备及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501445A (zh) * 2013-10-12 2014-01-08 青岛旲天下智能科技有限公司 一种手势交互的双向互动数字电视盒***及实现方法
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术(北京)有限公司 一种网络直播中自动匹配特效的方法、***及设备
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术(北京)有限公司 应用于视频直播的交互方法和装置
WO2017198143A1 (zh) * 2016-05-18 2017-11-23 中兴通讯股份有限公司 视频处理方法、视频播放方法、机顶盒以及vr设备
CN108260021A (zh) * 2018-03-08 2018-07-06 乐蜜有限公司 直播互动方法和装置
CN109905754A (zh) * 2017-12-11 2019-06-18 腾讯科技(深圳)有限公司 虚拟礼物收取方法、装置及存储设备
CN110139142A (zh) * 2019-05-16 2019-08-16 北京达佳互联信息技术有限公司 虚拟物品显示方法、装置、终端及存储介质
CN110267051A (zh) * 2019-05-16 2019-09-20 北京奇艺世纪科技有限公司 一种数据处理的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150288927A1 (en) * 2014-04-07 2015-10-08 LI3 Technology Inc. Interactive Two-Way Live Video Communication Platform and Systems and Methods Thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103501445A (zh) * 2013-10-12 2014-01-08 青岛旲天下智能科技有限公司 一种手势交互的双向互动数字电视盒***及实现方法
WO2017198143A1 (zh) * 2016-05-18 2017-11-23 中兴通讯股份有限公司 视频处理方法、视频播放方法、机顶盒以及vr设备
CN106804007A (zh) * 2017-03-20 2017-06-06 合网络技术(北京)有限公司 一种网络直播中自动匹配特效的方法、***及设备
CN107124664A (zh) * 2017-05-25 2017-09-01 百度在线网络技术(北京)有限公司 应用于视频直播的交互方法和装置
CN109905754A (zh) * 2017-12-11 2019-06-18 腾讯科技(深圳)有限公司 虚拟礼物收取方法、装置及存储设备
CN108260021A (zh) * 2018-03-08 2018-07-06 乐蜜有限公司 直播互动方法和装置
CN110139142A (zh) * 2019-05-16 2019-08-16 北京达佳互联信息技术有限公司 虚拟物品显示方法、装置、终端及存储介质
CN110267051A (zh) * 2019-05-16 2019-09-20 北京奇艺世纪科技有限公司 一种数据处理的方法及装置

Also Published As

Publication number Publication date
CN110703913A (zh) 2020-01-17

Similar Documents

Publication Publication Date Title
CN110703913B (zh) 对象交互方法和装置、存储介质及电子装置
CN106303555B (zh) 一种基于混合现实的直播方法、装置和***
CN113965811B (zh) 播放控制方法和装置、存储介质及电子装置
CN106920079A (zh) 基于增强现实的虚拟对象分配方法及装置
CN108632632B (zh) 一种网络直播的数据处理方法和装置
CN106605218A (zh) 收集和处理与基于网络的内容的交互过程中的计算机用户数据的方法
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN110149549B (zh) 信息的显示方法及装置
CN113691829B (zh) 虚拟对象互动方法、装置、存储介质及计算机程序产品
CN113178015A (zh) 房源的交互方法、装置、电子设备及存储介质
CN112732152B (zh) 直播处理方法、装置、电子设备及存储介质
CN108635863B (zh) 一种网络直播的数据处理方法和装置
CN109068161A (zh) 一种设备连接建立方法和装置
CN109754329B (zh) 电子资源的处理方法、终端、服务器及存储介质
CN108829868A (zh) 数据显示方法和装置、存储介质及电子装置
CN112188223B (zh) 直播视频播放方法、装置、设备及介质
CN109314802A (zh) 基于游戏内位置的游戏进行伴随应用
CN113573090A (zh) 游戏直播中的内容显示方法、装置、***和存储介质
CN113824983A (zh) 数据匹配方法、装置、设备及计算机可读存储介质
CN110198472B (zh) 视频资源的播放方法及装置
CN113244609A (zh) 多画面的显示方法和装置、存储介质及电子设备
WO2018057921A1 (en) System and method for situation awareness in immersive digital experiences
KR20220159968A (ko) 아바타를 이용한 컨퍼런스 처리 방법 및 시스템
CN111510746B (zh) 媒体资源投放方法、装置、存储介质及电子装置
CN108958690B (zh) 多屏互动方法、装置、终端设备、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020924

Country of ref document: HK

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant