CN113453032B - 手势互动方法、装置、***、服务器和存储介质 - Google Patents

手势互动方法、装置、***、服务器和存储介质 Download PDF

Info

Publication number
CN113453032B
CN113453032B CN202110720064.9A CN202110720064A CN113453032B CN 113453032 B CN113453032 B CN 113453032B CN 202110720064 A CN202110720064 A CN 202110720064A CN 113453032 B CN113453032 B CN 113453032B
Authority
CN
China
Prior art keywords
gesture
game
anchor
image
gesture information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110720064.9A
Other languages
English (en)
Other versions
CN113453032A (zh
Inventor
华路延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Huya Technology Co Ltd
Original Assignee
Guangzhou Huya Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Huya Technology Co Ltd filed Critical Guangzhou Huya Technology Co Ltd
Priority to CN202110720064.9A priority Critical patent/CN113453032B/zh
Publication of CN113453032A publication Critical patent/CN113453032A/zh
Application granted granted Critical
Publication of CN113453032B publication Critical patent/CN113453032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及计算机技术领域,提供一种手势互动方法、装置、***、服务器和存储介质。通过接收参与本轮预设手势游戏的主播端,即预备主播端发送的手势信息,在预设时间内接收到所有预备主播端发送的手势信息时,根据每个手势信息和预设手势游戏的游戏规则得到每个预备主播端的游戏结果,根据全部游戏结果生成的直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。实现多人的手势互动,丰富人机交互的展现形式,并且提高直播的趣味性和娱乐性。

Description

手势互动方法、装置、***、服务器和存储介质
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种手势互动方法、装置、***、服务器和存储介质。
背景技术
随着图像识别、手势识别技术的发展,使得机器设备识别手势动作成为了可能。现有技术中基于手势识别的人机互动,通常只有单人的互动,在一些娱乐场景如直播场景中,存在展现方式单一的问题。
发明内容
有鉴于此,本发明的目的在于提供一种手势互动方法、装置、***、服务器和存储介质。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明提供一种手势互动方法,所述方法包括:
接收预备主播端发送的手势信息;所述预备主播端为参与本轮预设手势游戏的任意一个主播端;
在预设时间内接收到设定数目个所述手势信息时,根据每个所述手势信息和所述预设手势游戏的游戏规则,得到每个所述预备主播端的游戏结果;所述设定数目为参与本轮预设手势游戏的主播端的总数;
将依据全部游戏结果生成的直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端。
在可选的实施方式中,所述手势信息包括初始手势图像和仿射矩阵;
所述根据每个所述手势信息和所述预设手势游戏的游戏规则,得到每个所述预备主播端的游戏结果的步骤,包括:
从全部手势信息中获取任意一个目标手势信息;
根据所述目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像;
根据所述目标手势图像和所述游戏规则,得到所述目标手势信息对应的所述预备主播端的游戏结果;
遍历每个所述手势信息,得到每个所述手势信息对应的所述预备主播端的游戏结果。
在可选的实施方式中,所述根据所述目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像的步骤,包括:
根据所述目标手势信息中的仿射矩阵,对所述目标手势信息中的初始手势图像进行仿射变换,得到待识别手势图像;所述待识别手势图像中的手势按照预设角度显示;
对所述待识别手势图像进行图像分割,得到所述目标手势图像。
在可选的实施方式中,所述根据目标手势图像和所述游戏规则,得到所述目标手势信息对应的所述预备主播端的游戏结果的步骤,包括:
根据所述目标手势图像和所述预设手势游戏的手势模板库,得到与所述目标手势图像匹配的手势模板;
根据所述游戏规则和所述手势模板,得到所述目标手势信息对应的所述预备主播端的游戏结果。
在可选的实施方式中,所述将依据全部游戏结果生成的直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端的步骤,包括:
根据所述全部游戏结果,生成直播视频;所述直播视频包括每个所述预备主播端的直播画面和游戏特效;
将所述直播视频发送给与任意一个所述预备主播端具有绑定关系的观众端。
在可选的实施方式中,在所述接收预备主播端发送的手势信息的步骤之后,所述方法还包括:
在所述预设时间内未接收到设定数目个所述手势信息时,获得游戏匹配失败标志;
将依据所述游戏匹配失败标志生成的反馈直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端。
第二方面,本发明提供一种手势互动装置,所述装置包括:
接收模块,用于接收预备主播端发送的手势信息;所述预备主播端为参与本轮预设手势游戏的任意一个主播端;
处理模块,用于在预设时间内接收到设定数目个所述手势信息时,根据每个所述手势信息和所述预设手势游戏的游戏规则,得到每个所述预备主播端的游戏结果;所述设定数目为参与本轮预设手势游戏的主播端的总数;
发送模块,用于将依据全部游戏结果生成的直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端。
第三方面,本发明提供一种***,包括服务器、主播端和观众端;所述服务器分别与所述主播端和所述观众端通信连接;
所述服务器用于执行前述实施方式任意一项所述的手势互动方法;
所述主播端用于发送所述手势信息至所述服务器;
所述观众端用于接收所述服务器发送的所述直播视频。
第四方面,本发明提供一种服务器,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现前述实施方式中任意一项所述的方法。
第五方面,本发明提供一种存储介质,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时,实现前述实施方式中任意一项所述的方法。
本发明实施例提供的手势互动方法、装置、***、服务器和存储介质,通过接收参与本轮预设手势游戏的主播端,即预备主播端发送的手势信息;然后在预设时间内接收到所有预备主播端发送的手势信息时,根据每个手势信息和预设手势游戏的游戏规则,得到每个预备主播端的游戏结果;最后根据全部游戏结果生成的直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。从而实现了多人的手势互动,丰富了人机交互的展现形式,提高了直播的趣味性和娱乐性。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的***示意图;
图2示出了本发明实施例提供的服务器方框示意图;
图3示出了本发明实施例提供的手势互动方法的一种流程示意图;
图4示出了本发明实施例提供的手势互动方法的又一种流程示意图;
图5示出了本发明实施例提供的手势互动方法的一个示例图;
图6示出了本发明实施例提供的手势互动方法的又一个示例图;
图7示出了本发明实施例提供的手势互动方法的又一种流程示意图;
图8示出了本发明实施例提供的手势互动方法的又一种流程示意图;
图9示出了本发明实施例提供的手势互动方法的又一个示例图;
图10示出了本发明实施例提供的手势互动装置的一种功能模块图。
图标:110-总线;120-处理器;130-存储器;150-通信模块;300-手势互动装置;310-接收模块;330-处理模块;350-发送模块。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
请参照图1,是本发明实施例提供的一种***示意图。该***包括服务器、主播端和观众端。服务器分别与主播端和观众端通信连接,可以实现数据交互。
其中,主播端是主播用户的移动终端,观众端是观众用户的移动终端,其均安装有用于支持直播的应用程序。移动终端可以是智能手机、个人计算机、平板电脑等。服务器用于为主播端和观众端提供服务。
请参阅图2,是本发明实施例提供的一种服务器的方框示意图。服务器包括总线110、处理器120、存储器130和通信模块150。
总线110可以是将上述元件相互连接并在上述元件之间传递通信(例如控制消息)的电路。
处理器120可以通过总线110从上述其它元件(例如存储器130、通信模块150等)接收命令,可以解释接收到的命令,并可以根据所解释的命令来执行计算或数据处理。
处理器120可能是一种集成电路芯片,具有信号处理能力。该处理器120可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器130可以存储从处理器120或其它元件(例如通信模块150等)接收的命令或数据或者由处理器120或其它元件产生的命令或数据。
存储器130可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-Only Memory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
通信模块150可用于与其他节点设备进行信令或数据的通信。
可以理解的是,图2所示的结构仅为服务器的结构示意图,服务器还可包括比图2中所示更多或者更少的组件,或者具有与图2所示不同的配置。图2中所示的各组件可以采用硬件、软件或其组合实现。
下面将基于上述的***架构图,对本发明实施例提供的手势互动方法进行介绍。
在直播过程中,为了增强直播的趣味性,直播间设置了一种基于手势识别的互动游戏,即多个主播用户通过主播端进行手势游戏,如石头剪子布等猜拳游戏,观众用户通过观众端观看包括该手势游戏的直播内容,以提升直播的娱乐性。
下面请参阅图3,图3是本发明实施例提供的一种手势互动方法的流程示意图。
步骤S202,接收预备主播端发送的手势信息;
其中,预备主播端表示参与本轮预设手势游戏的任意一个主播端。预设手势游戏可以是石头剪刀布、也可以是比数字大小等猜拳游戏。
可选地,服务器将多个参与同一轮预设手势游戏的主播端进行匹配。当主播用户在主播端开启本轮预设手势游戏时,主播端采集主播用户的手势信息,并将该手势信息发送给服务器,服务器接收主播端发送的手势信息。
步骤S204,在预设时间内接收到设定数目个所述手势信息时,根据每个手势信息和预设手势游戏的游戏规则,得到每个预备主播端的游戏结果;
其中,设定数目表示参与本轮预设手势游戏的主播端的总数。
可以理解的是,由于直播领域对时效性的要求较高,可以预先设定一个时长,若在该时长内即在预设时间内,服务器接收到所有参与本轮预设手势游戏的主播端发送的手势信息,可以认为游戏匹配成功。
可选地,预设时间可以设置为1分钟,如在服务器接收到第一个主播端发送的手势信息的1分钟以内,接收到所有参与本轮预设手势游戏的主播端发送的手势信息,认为游戏匹配成功。
可选地,当确认游戏匹配成功后,可以根据每个手势信息和预设手势游戏的游戏规则,得到每个预备主播端的游戏结果。
步骤S206,将依据全部游戏结果生成的直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。
可选地,服务器根据得到的全部游戏结果,还有实时接收到的每个预备主播端的直播画面,生成直播视频,然后将该直播视频发送给与任意一个预备主播端具有绑定关系的观众端,以使正在观看直播的观众用户得到本轮游戏的结果。
可见基于上述步骤,首先服务器接收参与本轮预设手势游戏的主播端,即预备主播端发送的手势信息;然后在预设时间内接收到所有预备主播端发送的手势信息时,根据每个手势信息和预设手势游戏的游戏规则,得到每个预备主播端的游戏结果;最后根据全部游戏结果生成的直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。从而实现了多人的手势互动,丰富了人机交互的展现形式,提高了观众用户观看直播的趣味性和娱乐性。
可以理解的是,由于网络等问题,可能存在游戏匹配失败的情况,进而本发明实施例提供了一种可能的实现方式,请参阅图4,在步骤S202之后,还可以包括以下步骤:
步骤S214,在预设时间内未接收到设定数目个所述手势信息时,获得游戏匹配失败标志;
可以理解的是,由于受网络等因素的影响,服务器可能在预设时间内没有接受到,所有参与本轮预设手势游戏的预备主播端所发送的手势信息,则认为游戏匹配失败,获得游戏匹配失败标志。
可选地,服务器将接收到的初始手势图像,存储到服务器的存储区的一个数组中,将仿射矩阵存储到服务器的前处理区;当服务器在预设时间内,未接收到所有参与本轮预设游戏的主播端发送的初始手势图像手势信息时,即数组中的个数与预参与本轮预设游戏的主播端总数不相等时,获得游戏匹配失败标志。
步骤S216,将依据游戏匹配失败标志生成的反馈直播视频,发送给与任意一个预备主播端具有绑定关系的观众端;
当确认游戏匹配失败后,根据该游戏匹配失败标志,还有实时接收到的每个预备主播端的直播画面,生成反馈直播视频;再将该反馈直播视频发送给与任意一个预备具有绑定关系的观众端,以使正在观看直播的观众用户得知本轮游戏没有匹配成功。
可选地,还可以根据该游戏匹配失败标志,向主播端发送提示信息,用于提示主播用户本轮游戏匹配失败,可以重新开启下一轮游戏。
为了更好的理解本发明,下面将以预设手势游戏为石头剪刀布,参与本轮预设手势游戏的主播端为两个为例,对本发明实施例提供的手势互动方法进行介绍。
为了方便描述,将参与本轮预设手势游戏的两个主播端称为主播端A和主播端B,主播端A表示主播用户A的移动终端,主播端B表示主播用户B的移动终端。观众端C与主播端A具有绑定关系,观众端C表示观众用户C的移动终端。
请参阅图5,是本发明实施例提供的一个示例图。该示例图表示观众端C的直播视频展示界面,该直播视频展示界面包括一个游戏进度区域和两个主播信息区域。
其中,一个主播信息区域用于显示主播端A的直播画面即直播画面A,还有主播用户A的名称和头像信息。
另一个主播信息区域用于显示主播端B的直播画面即直播画面B,还有主播用户B的名称和头像信息。
需要说明的是,本发明实施例是以两个主播端为例,所以有两个主播信息区域。可以理解为,主播信息区域的个数与主播端的个数相同。可以按照实际需求,设置多个主播信息区域,本发明实施例不做限定。
游戏进度区域用于显示预设手势游戏的进度。如,游戏进行状态,游戏结果等。
可选地,主播信息区域还可以包括手势框,该手势框用于遮挡直播画面中主播用户的手势。可以理解的是,由于猜拳游戏通常需要参与者同时比划手势,而直播过程中,可能存在网络延迟等问题,所以可以采用手势框遮挡住直播画面中主播用户的手势,待游戏结束后公布主播用户的手势。
下面将基于上述的示例图,对本发明实施例提供的手势互动方法进行介绍。
首先将对主播端发送手势信息的步骤进行介绍。可以理解的是,主播端均有采集图像的模块,如摄像头,在直播过程中实时采集直播画面,并在主播端进行显示。
需要说明的是,在主播端显示的直播画面与观众的显示的直播画面是存在差异的,为了进行区分,下面在主播端显示的直播画面称为主播侧直播画面。
当本轮预设手势游戏开始时,主播端通过应用程序中的手部检测算法,检测主播侧直播画面中主播用户的手部,并在主播侧直播画面中显示检测框,该检测框包含主播用户的手部,通过该检测框可以确定出手部在主播侧直播画面的位置。
主播侧直播画面中还包括提示信息和一个预设框,该预设框在主播侧直播画面中的预设位置。
主播用户可以根据该提示信息移动手部,使检测框与预设框重合,当检测框与预设框的面积重合度达到预设值如85%时,主播用户比划手势,然后获取该预设框中的图像,该图像即为初始手势图像。
可以理解的是,主播侧直播画面中的预设框与观众端的直播视频展示界面的手势框对应,即主播用户将手部移动到主播侧直播画面的预设框的位置时,观众端显示的直播画面中,主播用户的手部被手势框遮挡,不会看到主播用户比划的手势,可以有效的应对网络延迟对手势游戏的影响。
可以理解的是,初始手势图像中包括检测框,检测框对应有一个仿射矩阵,该仿射矩阵用于表示检测框在初始手势图像的摆放状态,该摆放状态可以用检测框的中轴线与初始手势图像的中轴线所形成的角度来表示。
当主播端获取到初始手势图像和仿射矩阵后,将初始手势图像和仿射矩阵作为手势信息发送给服务器。
例如,主播端A将手势信息A发送给服务器,其中手势信息A包括初始手势图像A和仿射矩阵A。
主播端B将手势信息B发送给服务器,其中手势信息B包括初始手势图像B和仿射矩阵B。
如图6所示,是本发明实施例提供的初始手势图像的示例图。其中,(a1)表示初始手势图像A,检测框A的中轴线与初始手势图像A的中轴线的角度为r1。
(b1)表示初始手势图像B,检测框B的中轴线与初始手势图像B的中轴线的角度为r2。
在介绍主播端发送手势信息的步骤之后,将介绍服务器接收手势信息并对其进行处理的步骤。请参阅图7,是本发明实施例提供的一种手势互动方法的流程示意图。
步骤S204-1,从全部手势信息中获取任意一个目标手势信息;
步骤S204-3,根据目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像;
可选地,服务器将接收到的初始手势图像,存储到服务器的存储区的一个数组中,将仿射矩阵存储到前处理区;当服务器在预设时间内,接收到所有参与本轮预设游戏的主播端发送的初始手势图像时,即数组中的个数与预参与本轮预设游戏的主播端总数相等时,将所有的初始手势图像传输至前处理区;在前处理区中,对每个初始手势图像进行处理。
可选地,将每个手势信息分别作为目标手势信息,执行步骤S204-1和步骤S204-3,然后得到每个手势信息中初始手势图像对应的目标手势图像。
针对步骤S204-3,本发明实施例提供了一种可能的实现方式。
可选地,可以先根据仿射矩阵,对初始手势图像进行仿射变换,得到待识别手势图像。
然后通过服务器中的GPU算子和预存的像素分割识别器,对待识别手势图像中手势进行识别和分割,得到分割后的手势图像,可选地,对分割后的手势图像进行二值化,得到目标手势图像。
如图6中的(a2)和(a3),是根据初始手势图像A和仿射矩阵A,得到的待识别手势图像A和目标手势图像A,待识别手势图像A中的手势按照预设角度显示。
如图6中的(b2)和(b3),是根据初始手势图像B和仿射矩阵B,得到的待识别手势图像B和目标手势图像B,待识别手势图像B中的手势按照预设角度显示。
可以理解的是,根据仿射矩阵,对初始手势图像进行仿射变换,是为了将初始手势图像中的手势进行摆正,即将初始手势图像转换为更利于像素分割识别器进行处理的图像。
通过检测框体现手势的摆放状态,根据仿射矩阵,调整检测框的摆放状态,将手势摆正,可以提高后续步骤中对图像进行分割的准确度。
请继续参阅图7,步骤S204-5,根据目标手势图像和游戏规则,得到目标手势信息对应的预备主播端的游戏结果;
步骤S204-7,遍历每个手势信息,得到每个手势信息对应的预备主播端的游戏结果;
可选地,可以在服务器中预先存储该预设手势游戏的手势模板库,然后将每个目标手势图像与手势模板库进行匹配,得到与目标手势图像匹配的手势模板,根据该手势模板,可以得到目标手势图像的识别结果,并且可以将得到的全部识别结果存储到一个数组中。
例如,目标手势图像A的识别结果是剪刀,目标手势图像B的识别结果是石头。
可选地,根据游戏规则和手势模板所表示的识别结果,得到每个手势信息对应预备主播端的游戏结果。
例如,目标手势图像A的识别结果为剪刀,目标手势图像B的识别结果为石头,根据石头剪刀布的游戏规则,得到主播端A的游戏结果为惜败,主播端B的游戏结果为胜出。
可见基于上述设计,接收主播端发送的手势信息,根据该手势信息中的仿射矩阵,对该手势信息中的初始手势图像进行处理,得到待识别手势图像,以将初始手势图像转换为利于识别的图像;并对待识别手势图像进行图像分割,得到目标手势图像;然后根据目标手势图像与预设手势游戏的手势模块库进行匹配,结合游戏规则,得到每个主播端的游戏结果。实现在直播过程中对手势进行识别,并且提高手势识别的准确度,实现了多人的手势互动,提升了观众用户观看直播的趣味性。
针对上述步骤S206,本发明实施例提供了一种可能的实现方式。请参阅图8。其中,步骤S206可以包括以下步骤:
步骤S206-1,根据全部游戏结果,生成直播视频;
步骤S206-3,将直播视频发送给与任意一个预备主播端具有绑定关系的观众端;
可选地,根据全部游戏结果,确定每个主播端的游戏结果所对应的游戏特效,然后将游戏特效和实时接收到的各个主播端的视频流,该视频流包括直播画面,进行渲染和编码,得到直播视频,将该直播视频发送给与任意一个所述预备主播端具有绑定关系的观众端。
例如,主播端A的游戏结果为惜败,该对应的游戏特效为特效1;主播端B的游戏结果为胜出,该对应的游戏特效为特效2。然后将实时接收到的主播端A的直播画面和主播端B的直播画面,与特效1和特效2,进行渲染和编码,得到直播视频,再将该直播视频发送观众端C。
如图9所示,该示例图为本轮预设手势游戏结束后,观众端C的直播视频展示界面。该界面的游戏进度区域显示游戏结果,即主播用户A的游戏结果为惜败,主播用户B的游戏结果为胜出;并且通过手势图标公布本轮游戏,主播用户A和主播用户B所比划的手势。
在主播端A对应的主播信息区域,显示主播端A的游戏结果对应的游戏特效,即特效1。在主播端B对应的主播信息区域,显示主播端B的游戏结果对应的游戏特效,即特效2。
为了执行上述实施例及各个可能的方式中的相应步骤,下面给出一种手势互动装置300的实现方式。请参阅图10,图10为本发明实施例提供的一种手势互动装置300的功能模块图。需要说明的是,本实施例所提供的手势互动装置300,其基本原理及产生的技术效果和上述实施例相同,为简要描述,本实施例部分未提及之处,可参考上述的实施例中相应内容。该手势互动装置300包括:
接收模块310,用于接收预备主播端发送的手势信息;预备主播端为参与本轮预设手势游戏的任意一个主播端;
处理模块330,用于在预设时间内接收到设定数目个手势信息时,根据每个手势信息和预设手势游戏的游戏规则,得到每个预备主播端的游戏结果;设定数目为参与本轮预设手势游戏的主播端的总数;
发送模块350,用于将依据全部游戏结果生成的直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。
可选地,处理模块330还用于从全部手势信息中获取任意一个目标手势信息;
根据目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像;
根据目标手势图像和游戏规则,得到目标手势信息对应的预备主播端的游戏结果;
遍历每个手势信息,得到每个手势信息对应的预备主播端的游戏结果。
可选地,处理模块330还用于根据目标手势信息中的仿射矩阵,对目标手势信息中的初始手势图像进行仿射变换,得到待识别手势图像;待识别手势图像中的手势按照预设角度显示;
对待识别手势图像进行图像分割,得到目标手势图像。
可选地,处理模块330还用于根据目标手势图像和预设手势游戏的手势模板库,得到与目标手势图像匹配的手势模板;
根据游戏规则和手势模板,得到目标手势信息对应的预备主播端的游戏结果。
可选地,发送模块350还用于根据全部游戏结果,生成直播视频;直播视频包括每个预备主播端的直播画面和游戏特效;
将直播视频发送给与任意一个预备主播端具有绑定关系的观众端。
可选地,发送模块350还用于在预设时间内未接收到设定数目个手势信息时,获得游戏匹配失败标志;
将依据游戏匹配失败标志生成的反馈直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。
本发明实施例还提供了一种服务器,包括处理器120和存储器130,存储器130存储有计算机程序,处理器执行计算机程序时,实现上述实施例揭示的手势互动的方法。
本发明实施例还提供了一种存储介质,其上存储有计算机程序,该计算机程序被处理器120执行时实现本发明实施例揭示的手势互动方法。
综上所述,本发明实施例供的手势互动方法、装置、***、服务器和存储介质。可以通过接收参与本轮预设手势游戏的主播端,即预备主播端发送的手势信息;在预设时间内接收到所有预备主播端发送的手势信息时,根据每个手势信息和预设手势游戏的游戏规则,得到每个预备主播端的游戏结果;再根据全部游戏结果生成的直播视频,发送给与任意一个预备主播端具有绑定关系的观众端。从而实现了多人的手势互动,丰富了人机交互的展现形式,提高了直播的趣味性和娱乐性。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种手势互动方法,其特征在于,所述方法包括:
接收预备主播端发送的手势信息;所述预备主播端为参与本轮预设手势游戏的任意一个主播端;
在预设时间内接收到设定数目个所述手势信息时,根据每个所述手势信息和所述预设手势游戏的游戏规则,得到每个所述预备主播端的游戏结果;所述设定数目为参与本轮预设手势游戏的主播端的总数;
将依据全部游戏结果生成的直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端;
所述手势信息包括初始手势图像和仿射矩阵;所述初始手势图像包括检测框,所述检测框包括主播用户比划的手势,所述仿射矩阵用于表示所述检测框在所述初始手势图像的摆放状态;
所述根据每个所述手势信息和所述预设手势游戏的游戏规则,得到每个所述预备主播端的游戏结果的步骤,包括:
从全部手势信息中获取任意一个目标手势信息;
根据所述目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像;
根据所述目标手势图像和所述游戏规则,得到所述目标手势信息对应的所述预备主播端的游戏结果;
遍历每个所述手势信息,得到每个所述手势信息对应的所述预备主播端的游戏结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像的步骤,包括:
根据所述目标手势信息中的仿射矩阵,对所述目标手势信息中的初始手势图像进行仿射变换,得到待识别手势图像;所述待识别手势图像中的手势按照预设角度显示;
对所述待识别手势图像进行图像分割,得到所述目标手势图像。
3.根据权利要求1所述的方法,其特征在于,所述根据目标手势图像和所述游戏规则,得到所述目标手势信息对应的所述预备主播端的游戏结果的步骤,包括:
根据所述目标手势图像和所述预设手势游戏的手势模板库,得到与所述目标手势图像匹配的手势模板;
根据所述游戏规则和所述手势模板,得到所述目标手势信息对应的所述预备主播端的游戏结果。
4.根据权利要求1所述的方法,其特征在于,所述将依据全部游戏结果生成的直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端的步骤,包括:
根据所述全部游戏结果,生成直播视频;所述直播视频包括每个所述预备主播端的直播画面和游戏特效;
将所述直播视频发送给与任意一个所述预备主播端具有绑定关系的观众端。
5.根据权利要求1所述的方法,其特征在于,在所述接收预备主播端发送的手势信息的步骤之后,所述方法还包括:
在所述预设时间内未接收到设定数目个所述手势信息时,获得游戏匹配失败标志;
将依据所述游戏匹配失败标志生成的反馈直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端。
6.一种手势互动装置,其特征在于,所述装置包括:
接收模块,用于接收预备主播端发送的手势信息;所述预备主播端为参与本轮预设手势游戏的任意一个主播端;
处理模块,用于在预设时间内接收到设定数目个所述手势信息时,根据每个所述手势信息和所述预设手势游戏的游戏规则,得到每个所述预备主播端的游戏结果;所述设定数目为参与本轮预设手势游戏的主播端的总数;
发送模块,用于将依据全部游戏结果生成的直播视频,发送给与任意一个所述预备主播端具有绑定关系的观众端;
所述手势信息包括初始手势图像和仿射矩阵;所述初始手势图像包括检测框,所述检测框包括主播用户比划的手势,所述仿射矩阵用于表示所述检测框在所述初始手势图像的摆放状态;
所述处理模块还用于:从全部手势信息中获取任意一个目标手势信息;根据所述目标手势信息中的初始手势图像和仿射矩阵,得到目标手势图像;根据所述目标手势图像和所述游戏规则,得到所述目标手势信息对应的所述预备主播端的游戏结果;遍历每个所述手势信息,得到每个所述手势信息对应的所述预备主播端的游戏结果。
7.一种***,其特征在于,包括服务器、主播端和观众端;所述服务器分别与所述主播端和所述观众端通信连接;
所述服务器用于执行权利要求1至5任意一项所述的手势互动方法;
所述主播端用于发送所述手势信息至所述服务器;
所述观众端用于接收所述服务器发送的所述直播视频。
8.一种服务器,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时,实现权利要求1至5中任意一项所述的方法。
9.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,该计算机程序被处理器执行时,实现权利要求1至5中任意一项所述的方法。
CN202110720064.9A 2021-06-28 2021-06-28 手势互动方法、装置、***、服务器和存储介质 Active CN113453032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110720064.9A CN113453032B (zh) 2021-06-28 2021-06-28 手势互动方法、装置、***、服务器和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110720064.9A CN113453032B (zh) 2021-06-28 2021-06-28 手势互动方法、装置、***、服务器和存储介质

Publications (2)

Publication Number Publication Date
CN113453032A CN113453032A (zh) 2021-09-28
CN113453032B true CN113453032B (zh) 2022-09-30

Family

ID=77813429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110720064.9A Active CN113453032B (zh) 2021-06-28 2021-06-28 手势互动方法、装置、***、服务器和存储介质

Country Status (1)

Country Link
CN (1) CN113453032B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127138A (zh) * 2016-06-21 2016-11-16 乐视控股(北京)有限公司 一种手型识别的初始化方法和装置以及虚拟现实终端
CN109165555A (zh) * 2018-07-24 2019-01-08 广东数相智能科技有限公司 基于图像识别的人机猜拳方法、装置与存储介质
CN109213304A (zh) * 2017-06-29 2019-01-15 格局商学教育科技(深圳)有限公司 用于直播教学的手势互动方法和***
CN109453510A (zh) * 2018-09-19 2019-03-12 董红伟 智能手机猜枚划拳app及智能手机猜枚划拳微信小程序
JP6726322B1 (ja) * 2019-01-11 2020-07-22 株式会社コロプラ ゲームプログラム、方法、および情報処理装置
JP2021010756A (ja) * 2019-04-26 2021-02-04 株式会社コロプラ プログラム、方法、および情報端末装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7798896B2 (en) * 2000-09-27 2010-09-21 Milestone Entertainment Llc Apparatus, systems and methods for implementing enhanced gaming and prizing parameters in an electronic environment
KR20110063329A (ko) * 2009-12-02 2011-06-10 김은구 온라인 실시간 토너먼트 게임 제공 시스템 및 그 방법
KR101507099B1 (ko) * 2013-07-15 2015-03-30 스마트한 주식회사 가위바위보 게임 제공 단말기 및 방법
KR101725736B1 (ko) * 2016-07-29 2017-04-11 권형섭 가위바위보 옵션 게임 제공 방법 및 이를 위한 장치
US10846819B2 (en) * 2017-04-12 2020-11-24 Southern Methodist University Method and apparatus to infer structural stresses with visual image and video data
US11303923B2 (en) * 2018-06-15 2022-04-12 Intel Corporation Affine motion compensation for current picture referencing
CN110188754B (zh) * 2019-05-29 2021-07-13 腾讯科技(深圳)有限公司 图像分割方法和装置、模型训练方法和装置
JP6818092B2 (ja) * 2019-06-25 2021-01-20 株式会社コロプラ ゲームプログラム、ゲーム方法、および情報端末装置
CN110598542A (zh) * 2019-08-05 2019-12-20 广州华多网络科技有限公司 基于表情识别的游戏交互方法、***、服务器及存储装置
CN110519612A (zh) * 2019-08-26 2019-11-29 广州华多网络科技有限公司 连麦互动方法、直播***、电子设备及存储介质
CN113038149A (zh) * 2019-12-09 2021-06-25 上海幻电信息科技有限公司 直播视频互动方法、装置以及计算机设备
CN111866535B (zh) * 2020-07-24 2022-09-02 北京达佳互联信息技术有限公司 一种直播体感项目互动方法、装置、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127138A (zh) * 2016-06-21 2016-11-16 乐视控股(北京)有限公司 一种手型识别的初始化方法和装置以及虚拟现实终端
CN109213304A (zh) * 2017-06-29 2019-01-15 格局商学教育科技(深圳)有限公司 用于直播教学的手势互动方法和***
CN109165555A (zh) * 2018-07-24 2019-01-08 广东数相智能科技有限公司 基于图像识别的人机猜拳方法、装置与存储介质
CN109453510A (zh) * 2018-09-19 2019-03-12 董红伟 智能手机猜枚划拳app及智能手机猜枚划拳微信小程序
JP6726322B1 (ja) * 2019-01-11 2020-07-22 株式会社コロプラ ゲームプログラム、方法、および情報処理装置
JP2021010756A (ja) * 2019-04-26 2021-02-04 株式会社コロプラ プログラム、方法、および情報端末装置

Also Published As

Publication number Publication date
CN113453032A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN111935491B (zh) 直播的特效处理方法、装置以及服务器
CN107820132B (zh) 直播互动方法、装置及***
CN111246232A (zh) 直播互动方法、装置、电子设备及存储介质
CN107911736B (zh) 直播互动方法及***
US11257293B2 (en) Augmented reality method and device fusing image-based target state data and sound-based target state data
CN109299326B (zh) 视频推荐方法及装置、***、电子设备以及存储介质
CN111970532B (zh) 视频播放方法、装置及设备
CN111773667A (zh) 直播游戏交互方法、装置、计算机可读介质及电子设备
CN112929678B (zh) 直播方法、装置、服务端及计算机可读存储介质
CN112543343B (zh) 基于连麦直播的直播画面处理方法、装置及电子设备
CN110856008B (zh) 直播互动方法、装置、***、电子设备及存储介质
CN111277849A (zh) 一种图像处理方法、装置、计算机设备以及存储介质
CN112929684B (zh) 视频叠加信息更新方法、装置、电子设备及存储介质
CN112218108B (zh) 直播渲染方法、装置、电子设备及存储介质
CN109819316B (zh) 处理视频中人脸贴纸的方法、装置、存储介质及电子设备
US20170171621A1 (en) Method and Electronic Device for Information Processing
CN112243137A (zh) 一种直播间界面更新方法、装置、服务器以及***
CN108985421B (zh) 编码信息的生成方法和识别方法
CN113573090A (zh) 游戏直播中的内容显示方法、装置、***和存储介质
CN111970527B (zh) 直播数据处理方法及装置
CN113660503A (zh) 同屏互动控制方法及装置、电子设备、存储介质
CN114697703B (zh) 视频数据生成方法、装置、电子设备及存储介质
CN107509080B (zh) 一种编码图像显示方法、装置和电子设备
CN113453032B (zh) 手势互动方法、装置、***、服务器和存储介质
CN110572686B (zh) 交互方法、直播***、电子设备及存储装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant