CN116339501A - 数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

数据处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116339501A
CN116339501A CN202111602282.9A CN202111602282A CN116339501A CN 116339501 A CN116339501 A CN 116339501A CN 202111602282 A CN202111602282 A CN 202111602282A CN 116339501 A CN116339501 A CN 116339501A
Authority
CN
China
Prior art keywords
hand
information
user
model
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111602282.9A
Other languages
English (en)
Inventor
于东壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111602282.9A priority Critical patent/CN116339501A/zh
Publication of CN116339501A publication Critical patent/CN116339501A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/24—Constructional details thereof, e.g. game controllers with detachable joystick handles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1062—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to a type of game, e.g. steering wheel
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种数据处理方法、装置、设备，及计算机可读存储介质，其中，方法包括：获取用户的手势信息；根据预设关联关系确定所述手势信息对应的手柄按键事件；依据所述手柄按键事件确定所述手势信息对应的目标指令；响应所述目标指令，以实现提高用户与场景交互的灵活性的作用。

Description

数据处理方法、装置、设备及计算机可读存储介质
技术领域
本申请属于VR技术领域，尤其涉及一种数据处理方法、装置、设备，及计算机可读存储介质。
背景技术
随着电子技术的不断发展，VR(Virtual Reality，虚拟现实)技术应用越来越广泛，其可通过构建三维动态场景，使用户沉浸到该环境中，相关技术中，用户一般通过头戴设备观看场景画面，用户与场景的交互，一般依赖用户对手柄的操作，基于该方式实现用户与场景的交互的灵活性较差。
发明内容
本申请实施例提供一种与现有技术不同的实现方案，以解决现有技术中，用户与场景交互的灵活性较差的技术问题。
第一方面，本申请提供一种数据处理方法，包括：
获取用户的手势信息；
根据预设关联关系确定所述手势信息对应的手柄按键事件；
依据所述手柄按键事件确定所述手势信息对应的目标指令；
响应所述目标指令。
第二方面，本申请提供一种数据处理装置，包括：获取模块，获取用户的手势信息；第一确定模块，用于根据预设关联关系确定所述手势信息对应的手柄按键事件；第二确定模块，用于依据所述手柄按键事件确定所述手势信息对应的目标指令；响应模块，用于响应所述目标指令。
第三方面，本申请提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行第一方面或第一方面各可能的实施方式中的任一方法。
第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第一方面各可能的实施方式中的任一方法。
第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面或第一方面各可能的实施方式中的任一方法。
本申请通获取用户的手势信息；根据预设关联关系确定所述手势信息对应的手柄按键事件；依据所述手柄按键事件确定所述手势信息对应的目标指令；响应所述目标指令的方案，实现了用户通过其手部动作与VR场景进行交互的目的，提高了用户与场景交互的灵活性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本申请一实施例提供的数据处理***的结构示意图；
图2a为本申请一实施例提供的数据处理方法的流程示意图；
图2b为本申请一实施例提供的手部模型的示意图；
图2c为本申请一实施例提供的手部模型的示意图；
图3为本申请一实施例提供的数据处理装置的结构示意图；
图4为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请实施例的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请实施例的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
图1为本申请一示例性实施例提供的一种数据处理***的结构示意图，该结构包括：拍摄装置11与交互设备12，其中：
拍摄装置11用于采集用户的手部图像，并将采集到的手部图像发送至交互设备12，使交互设备12根据用户的手部图像进行分析，得到所述用户的手部行为信息，并在确定用户的手部行为信息指示用户作出预设手势时，根据用户的手部行为信息确定对应的手势信息；根据预设关联关系确定所述手势信息对应的手柄按键事件；依据所述手柄按键事件确定所述手势信息对应的目标指令；响应所述目标指令。
可选地，拍摄装置11可以为独立的设备，也可以与交互设备12为同一设备，或者与头戴设备13为同一设备，对此，本申请不做限定。当拍摄装置11与交互设备12为同一设备时，交互设备12采集到用户的手部图像后，可直接根据手部图像确定手部行为信息。
可选地，拍摄装置11的数量可以为1个，也可以为多个，类型可以包括一种或多种，如广角摄像机、深度摄像机等，不同的拍摄装置可分别位于不同的位置，如：拍摄装置A为外设独立摄像机，拍摄装置B为交互设备12内置的摄像头。
进一步地，前述交互设备12可以为个人电脑(Personal Computer，PC)或者移动设备，移动设备例如可以为手机、平板电脑、个人数字助理等具有各种操作***、触摸屏和/或显示屏的硬件设备。
本***实施例中的各组成单元的功能的执行原理及交互过程可参见如下各方法实施例的描述。
图2a为本申请一示例性实施例提供的一种数据处理方法的流程示意图，该方法的执行主体可以为前述交互设备，该方法至少包括以下步骤：
S201，获取用户的手势信息；
S202，根据预设关联关系确定所述手势信息对应的手柄按键事件；
S203，依据所述手柄按键事件确定所述手势信息对应的目标指令；
S204，响应所述目标指令。
具体地，用户的手势信息可根据图像采集装置采集到的单幅或者多幅手部图像确定，相应地，所述方法还包括：接收拍摄装置拍摄的一幅或多幅手部图像；对所述一幅或多幅手部图像进行分析，得到所述用户的手势信息。其中，此处的拍摄装置可以为图1中的拍摄装置11，拍摄装置11可周期性采集用户的手部图像。
进一步地，对所述一幅或多幅手部图像进行分析，得到所述用户的手势信息包括：将一幅或多幅手部图像输入预设的手势识别模型，确定出手势信息，其中，手势识别模型可以为通过对样本数据进行训练得到的机器学习模型。
进一步地，前述手势信息可以为坐标信息，也可以为用于指示手势类型的文本信息或图像信息。可选地，手势类型可以包括：用户手部握拳且拇指与食指伸出捏实的手势、用户手部握拳且拇指与中指伸出捏实的手势等。
进一步地，前述预设关联关系可包含多种手势信息与多个手柄按键事件的对应关系，多种手势信息与多个手柄按键事件一一对应。其中，手柄按键为用户原先可通过手柄操作的手柄按键，例如：***键、菜单键、扳机键、抓握键、摇杆键等。相应地，按键事件为与按键相关的事件，例如：***键按下、菜单键按下、扳机键进程和按下、抓握键按下、摇杆键向左、向右、向前、向后、推动或推动按下等。
在本申请的一些可选的实施例中，用户手部握拳，拇指与食指伸出捏实的手势对应***键(system)按下，用户手部握拳，拇指与中指伸出捏实的手势对应菜单键(menu)按下，用户手部握拳，食指与拇指伸出的姿势对应扳机键(trigger)触摸及进程起始，食指弯曲程度为按键进程，食指弯曲到第二指节90度的姿势对应按键完全按下，进程结束，用户手部握拳对应抓握键(grip)按键。
通过前述方案可根据对用户手势信息的确定，以及手势信息与手柄按键事件的关联关系，实现用户与场景的交互，提高了用户与场景交互的灵活性。
进一步地，为了进一步提高用户体验，本申请提供的方案还可支持用户对手势信息与手柄按键事件的对应关系的自定义，可选地，获取用户的手势信息后，根据预设关联关系确定所述手势信息对应的手柄按键事件之前，所述方法包括：
检测用户是否开启自定义响应模式，若是，则根据用户的配置信息确定所述手势信息对应的手柄按键事件；若否，则触发根据预设关联关系确定所述手势信息对应的手柄按键事件的步骤。
其中，配置信息中包含有所述手势信息与其对应的手柄按键事件的对应关系，基于此，所述方法还包括：获取用户的配置指令；根据所述配置指令确定包含手势信息与其对应的手柄按键事件的对应关系的配置信息。
进一步地，用户还可对配置信息中的对应关系进行修改与删除。
进一步地，用户的手势信息可以根据用户的手部行为信息确定，相应地，上述方法还包括：
S01、获取用户的手部行为信息；
S02、若所述手部行为信息与预设手势信息匹配，则将与所述手部行为信息匹配的所述预设手势信息作为所述用户的手势信息。
可选地，前述手部行为信息可由接收自拍摄装置的待分析图像确定，所述方法还包括：接收拍摄装置发送的待分析图像，所述待分析图像包括一帧或多帧手部图像；根据所述待分析图像确定所述手部行为信息。
进一步地，前述手部行为信息可以包括以下一种或多种信息，且不限于以下一种或多种信息：手部位置信息、手部自身旋转信息、手部关节的位置信息、手部关节的移动信息。具体地，手部行为信息可以具体为坐标信息。
具体地，用户的手部结构可分为多个手部关节，可选地，手掌根部为一手部关节，手掌为一手部关节，手指部分包括的手部关节数量与指关节对应，例如：手指除拇指为两个手部关节外，其他手指均为3个手部关节。
进一步地，由于手部关节包括手指部分的关节，前述手部行为信息还可以包括与手指有关的动作信息，例如：拇指、食指、中指等手指的动作信息。进一步地，与手指有关的动作信息可以为单指动作与多手指组合动作，手指动作信息可具体至手指关节信息，例如：可具体至握拳，以及握拳后伸开拇指后拇指直立或拇指弯曲的信息。
进一步地，当手部行为信息与预设手势信息相同，或者手部行为信息与预设手势信息的相似度大于预设相似度值，或手部行为信息对应的手势信息属于预设手势信息时，视为手部行为信息与预设手势信息匹配。其中，预设手势信息可以为关联有手柄按键事件的手势信息。与手部行为信息对应的手势信息的确定方式可以基于机器学习模型实现，也可以根据手部行为信息与手势信息的关系库确定，还可以参见现有技术，对此，本申请不作限定。
可选地，在创建手势信息与其对应的手柄按键事件的关联关系时，还可在检测到当手部行为信息指示用户当前的手势与预设手势匹配时，将当前手部行为信息对应的手势信息传入驱动模块，在驱动模块中绑定该手势信息与VR***(如Steam VR平台***)定义的按键事件。
进一步地，本申请中除了可根据用户的手势信息与手柄按键事件的绑定关系，实现场景交互外，还可实现在场景画面中对与用户手部动作同步的手部模型的动作的展示，以提高画面真实感，提高用户体验。基于此，上述方法还包括：利用所述手部行为信息控制预设的手部模型执行对应的目标行为；展示所述目标行为。
进一步地，手部模型可以为展示于场景画面中的三维立体图像，手部模型包括左手模型和/或右手模型，左手模型与右手模型呈镜面对称，左手模型与左手动作信息对应，右手模型与右手动作信息对应，针对左手模型与右手模型中的任一手部模型，手部模型可包括对应多个手部关节信息的多个子模型，前述利用所述手部行为信息控制预设的手部模型执行对应的目标行为包括：
S021，根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型；
S022，控制所述目标子模型执行手部行为信息对应的目标行为。
具体地，在本申请的一些可选的实施例中，手部模型中的多个子模型可根据相关人员的拆分指令确定，具体地，所述方法还包括：
S001、展示所述手部模型对应的初始模型；
S002、获取相关人员针对对所述初始模型进行拆分的拆分指令；
S003、响应所述拆分指令对所述初始模型进行拆分，得到包含所述多个子模型的所述手部模型。
具体地，前述初始模型可以为未经拆分的手部原始模型，具体地，可参见图2b所示，图2b为一种可选的拆分规则，该拆分规则可将手部模型依照手部关节进行分割，并按照VR***的手柄规则镜像对应左右手，具体拆分规则为：手掌根部为一子模型，手掌为一子模型，手指部分包括的子模型数量与指关节对应，例如：手指除拇指为两个子模型外，其他手指均为3个子模型。具体地，初始模型可被拆分为包括图2c所示的16个子模型。
可选地，前述手部模型也可以直接接收至创建手部模型的建模设备，对此，本申请不做限定。
在本申请的一些可选的实施例中，用户的手部信息包含多个手部关节信息，该多个手部关节信息与多个子模型一一对应，例如：针对该多个手部关节信息，可选地，手掌根部为一手部关节，手掌为一手部关节，手指部分包括的手部关节数量与指关节对应，例如：手指除拇指为两个手部关节外，其他手指均为3个手部关节。
进一步地，本申请中，可通过手柄数据接口配置手部关节与手柄按键的关联关系，通过手柄模型显示接口配置子模型与手柄按键模型的关联关系，即，手部关节、手柄按键、子模型，以及手柄按键模型一一对应。
例如：可基于VR***的TrackedDeviceAdded接口添加手柄类型的追踪器为左控制器与右控制器，分别将该左控制器与右控制器对应左手与右手，使得左手与右手的手部行为信息可通过TrackedDevicePoseUpdated接口传入VR***。
进一步地，可使用3d max制作手部模型(裸手模型)传入VR***，并将原手柄模型的左手柄模型与右手柄模型的显示接口分别绑定左手模型与右手模型，使得VR场景中可以显示左手模型与右手模型，左手模型与右手模型的位置与实际手部位置需实时匹配。
进一步地，手柄模型中包含多个对应手柄按键的多个手柄按键模型，由于手部模型与手柄模型的绑定(即左手模型与左手柄模型的绑定，以及右手模型与右手柄模型的绑定)，为了实现对手部模型中的多个子模型的动作控制，或动画展示，上述方法还包括：基于相关人员针对将手柄模型中的按键模型与手部模型中的子模型的绑定指令，绑定所述按键模型与子模型，使得可通过前述手柄显示接口控制子模型的动作。其中，按键模型为手柄模型包含的多个按键模型中的任一模型，子模型为手部模型包含的多个子模型中的任一模型。
在本申请的一些实施例中，前述S021中，根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型可具体包括：根据所述手部行为信息确定对应的手部关节信息；利用所述手部关节信息确定出所述目标子模型。
在本申请的另一些可选的实施例中，手部模型中各子模型对应有多组预设行为信息，即手部模型对应有预设行为信息集，前述S021中，根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型还可具体包括：
查询所述预设行为信息集中是否存在与所述手部行为信息的相似度大于预设阈值的目标行为信息组，若有，则将所述手部模型中与所述目标行为信息组对应的子模型作为与手部行为信息关联的目标子模型。
可选地，前述步骤S022中，控制所述目标子模型执行所述手部行为信息对应的目标行为包括：控制所述目标子模型按照所述手部行为信息对应的目标行为信息组执行行为。
进一步地，由于子模型还可以与按键模型关联，上述方法还包括：
获取用户的手部行为信息；
根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型，以及所述目标子模型对应的目标动画；
控制播放所述目标动画。其中，目标动画可以由相关人员提前配置。
需要说明的是，在本申请中，在VR场景中显示的人手模型的动画需与手部行为信息同步。
进一步地，上述方法还包括：还可对手部模型在画面中的展示位置进行校准，使得手部模型在画面中的展示位置与用户的手的当前位置相对于头戴设备的观测位置保持一致，基于此，所述方法还包括：获取用户的初始手部位置；基于所述初始手部位置初始化所述手部模型的显示位置。
本申请通过获取用户的手势信息；根据预设关联关系确定所述手势信息对应的手柄按键事件；依据所述手柄按键事件确定所述手势信息对应的目标指令；响应所述目标指令的方案，实现了用户通过其手部动作与VR场景进行交互的目的，提高了用户与场景的交互的灵活性，并且本申请还涉及人手模型在VR场景中的加载与展示，用户手部位置及旋转数据的传入及手部模型动画同步显示，进一步提高了用户体验。
本方案可以将裸手追踪信息输入至VR***，并使人手模型在VR场景中显示，并实现相关动画，通过定义手势与VR***按键功能绑定后进行映射，进而响应按键功能，在提高灵活性的同时还起到了节省开发成本的作用。
本申请一示例性实施例还提供一种数据处理装置，该数据处理装置包括多个模块，该多个模块具体为：裸手追踪模块、人手模型输入与同步模块、手部动作输入与模型动画匹配模块，以及按键交互模块；其中，人手模型输入与同步模块、手部动作输入与模型动画匹配模块，以及按键交互模块可依赖于VR***的驱动实现相关功能，VR***约定了驱动添加设备、将设备数据传入VR平台，以及在VR场景中显示模型的具体方式。
可选地，关于前述数据处理装置中的裸手追踪模块、人手模型输入与同步模块、手部动作输入与模型动画匹配模块，以及按键交互模块的具体功能可参见如下解释：
裸手追踪模块，用于追踪手部位置与手部自身旋转信息、追踪手指动作，其中，手指动作可以为单一手指的动作，也可为多手指的组合动作；其中，手指动作信息可具体至手指关节信息，例如：可具体至握拳，以及握拳后伸开拇指后拇指直立或拇指弯曲。裸手追踪模块可获取VR一体机的前置摄像头拍摄的图像，并根据图像在一体机中计算出手部行为信息，也可以由VR头戴设备前置摄像头拍摄图像，或其他连接pc的摄像头拍摄图像，将图像传到裸手追踪模块，使得裸手追踪模块对图像进行识别处理，得出手部行为信息，对此，本申请不做限定。
人手模型输入及同步模块，可基于添加手柄类型追踪器的方法，将人手视为手柄进行处理，3dmax制作人手模型并按照VR相关规则绑定为手柄类型，将人手位置和旋转数据传入VR***。
手部动作输入及模型动画匹配模块，用于依照VR平台手柄设计规则和按键动画设计规则对人手模型进行拆分设计，将人手模型按照骨骼关节拆分并虚拟为手柄的按键并制作相关动画，该模块还可设计相关规则将手势对应与按键的事件对应，手部动作输入及模型动画匹配模块还用于获取手部行为信息，确定出与手部行为信息匹配的动画，或按键事件。
本申请中，设定骨骼(即手部关节)的运动，有初始位置，正在运动，运动至最大值三种状态，手部动作输入及模型动画匹配模块获取到裸手追踪模块接收到的手部行为信息后，可基于手部行为信息确定相关手部关节与其运动状态，根据手部关节与其运动状态控制显示对应的动画，或者控制相关的子模型做出应的动作。进一步地，还可以基于手势信息确定相关关节的运动状态，其中，手势信息可以作为具体运动状态的索引信息。
在一些实施例中，手部动作输入及模型动画匹配模块检测到手部行为信息，并确定出手部关节A的运动状态为“正在运动”时，匹配手部关节A对应的按键a的触碰事件，确定出手部关节A的运动状态为“运动至最大值”时，匹配手部关节A对应的按键a的按下事件。
按键交互模块，用于依照VR平台的按键规则，设计特殊手势与按键绑定，并将手势绑定具体按键功能。按键交互模块具体按照VR***的规则抽象出虚拟按键，比进一步定义按键的json文件，但是并不给这些按键绑定模型及动画动作，则交互所用的事件按键动画就不会显示，将这些虚拟按键绑定到功能按键事件。例如：当通过采集装置采集的图像确定出用户的手部行为信息指示用户当前右手手部姿势为用户手部握拳，拇指与中指伸出捏实的手势时，视为菜单键(menu)按下，场景中的手部模型展示右手模型手部握拳，拇指与中指伸出捏实的手势，并响应菜单键按下事件，但是并不展示“菜单键按下”的动画。
本装置实施例为与前述数据处理方法对应的实施例，其涉及到的具体实施原理可参见前述方法实施例，此处不再赘述。
以下结合场景对本方案进行进一步说明：
场景一
在用户处于图1对应的VR游戏场景中时，若通过采集装置采集的图像确定出用户的手部行为信息指示用户当前右手手部姿势为用户手部握拳，拇指与中指伸出捏实的手势时，视为菜单键(menu)按下，在画面中显示菜单键按下时的响应画面，并同时控制在画面中显示的双手模型中的右手模型中的与手部握拳、拇指与中指伸出捏实的动作涉及到的子模型运动，执行手部握拳、拇指与中指伸出捏实的动作，其中，手部模型的动作与用户的手部动作保持一致。
场景二
若通过采集装置采集的图像确定出用户的手部行为信息指示用户的拇指按下，则控制手部模型中与拇指指尖对应的子模型作出与用户的拇指按下相同的动作，或播放拇指指尖对应的子模型作出按下动作的动画，其中，播放动画过程中还可涉及对画面的渲染。
图3为本申请一示例性实施例提供的一种数据处理装置的结构示意图；
其中，该装置包括：获取模块31、第一确定模块32、第二确定模块33，以及响应模块34；其中：
获取模块31，用于获取用户的手势信息；
第一确定模块32，用于根据预设关联关系确定所述手势信息对应的手柄按键事件；
第二确定模块33，用于依据所述手柄按键事件确定所述手势信息对应的目标指令；
响应模块34，用于响应所述目标指令。
可选地，所述装置用于：
获取用户的手部行为信息；
若所述手部行为信息与预设手势信息匹配，则将与所述手部行为信息匹配的所述预设手势信息作为所述用户的手势信息。
可选地，所述装置用于：
利用所述手部行为信息控制预设的手部模型执行对应的目标行为；
展示所述目标行为。
可选地，所述手部模型包括对应多个手部关节信息的多个子模型，所述装置在用于利用所述手部行为信息控制预设的手部模型执行对应的目标行为时，具体用于：
根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型；
控制所述目标子模型执行所述手部行为信息对应的目标行为。
可选地，所述装置还用于：
获取用户的初始手部位置；
基于所述初始手部位置初始化所述手部模型的显示位置。
可选地，获取用户的手势信息后，所述装置还用于：
检测用户是否开启自定义响应模式，若是，则根据用户的配置信息确定所述手势信息对应的手柄按键事件；若否，则触发根据预设关联关系确定所述手势信息对应的手柄按键事件的步骤。
可选地，所述装置还用于：
获取用户的配置指令；
根据所述配置指令确定包含所述手势信息与其对应的手柄按键事件的对应关系的配置信息。
可选地，所述装置还用于：
接收拍摄装置发送的待分析图像，所述待分析图像包括一帧或多帧手部图像；
根据所述待分析图像确定所述手部行为信息。
应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了上述方法实施例中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图4是本申请实施例提供的电子设备的示意性框图，该电子设备可包括：
存储器401和处理器402，该存储器401用于存储计算机程序，并将该程序代码传输给该处理器402。换言之，该处理器402可以从存储器401中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该处理器402可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该处理器402可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器401包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器401中，并由该处理器402执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图4所示，该电子设备还可包括：
收发器403，该收发器403可连接至该处理器402或存储器401。
其中，处理器402可以控制该收发器403与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器403可以包括发射机和接收机。收发器403还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备中的各个组件通过总线***相连，其中，总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
根据本申请的一个或多个实施例，提供一种数据处理方法，包括：
获取用户的手势信息；
根据预设关联关系确定所述手势信息对应的手柄按键事件；
依据所述手柄按键事件确定所述手势信息对应的目标指令；
响应所述目标指令。
根据本申请的一个或多个实施例，所述方法还包括：
获取用户的手部行为信息；
若所述手部行为信息与预设手势信息匹配，则将与所述手部行为信息匹配的所述预设手势信息作为所述用户的手势信息。
根据本申请的一个或多个实施例，所述方法还包括：
利用所述手部行为信息控制预设的手部模型执行对应的目标行为；
展示所述目标行为。
根据本申请的一个或多个实施例，所述手部模型包括对应多个手部关节信息的多个子模型，利用所述手部行为信息控制预设的手部模型执行对应的目标行为包括：
根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型；
控制所述目标子模型执行所述手部行为信息对应的目标行为。
根据本申请的一个或多个实施例，所述方法还包括：
获取用户的初始手部位置；
基于所述初始手部位置初始化所述手部模型的显示位置。
根据本申请的一个或多个实施例，获取用户的手势信息后，所述方法包括：
检测用户是否开启自定义响应模式，若是，则根据用户的配置信息确定所述手势信息对应的手柄按键事件；若否，则触发根据预设关联关系确定所述手势信息对应的手柄按键事件的步骤。
根据本申请的一个或多个实施例，所述方法还包括：
获取用户的配置指令；
根据所述配置指令确定包含所述手势信息与其对应的手柄按键事件的对应关系的配置信息。
根据本申请的一个或多个实施例，所述方法还包括：
接收拍摄装置发送的待分析图像，所述待分析图像包括一帧或多帧手部图像；
根据所述待分析图像确定所述手部行为信息。
根据本申请的一个或多个实施例，提供一种数据处理装置，包括：
获取模块，获取用户的手势信息；
第一确定模块，用于根据预设关联关系确定所述手势信息对应的手柄按键事件；
第二确定模块，用于依据所述手柄按键事件确定所述手势信息对应的目标指令；
响应模块，用于响应所述目标指令。
根据本申请的一个或多个实施例，所述装置用于：
获取用户的手部行为信息；
若所述手部行为信息与预设手势信息匹配，则将与所述手部行为信息匹配的所述预设手势信息作为所述用户的手势信息。
根据本申请的一个或多个实施例，所述装置用于：
利用所述手部行为信息控制预设的手部模型执行对应的目标行为；
展示所述目标行为。
根据本申请的一个或多个实施例，所述手部模型包括对应多个手部关节信息的多个子模型，所述装置在用于利用所述手部行为信息控制预设的手部模型执行对应的目标行为时，具体用于：
根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型；
控制所述目标子模型执行所述手部行为信息对应的目标行为。
根据本申请的一个或多个实施例，所述装置还用于：
获取用户的初始手部位置；
基于所述初始手部位置初始化所述手部模型的显示位置。
根据本申请的一个或多个实施例，获取用户的手势信息后，所述装置还用于：
检测用户是否开启自定义响应模式，若是，则根据用户的配置信息确定所述手势信息对应的手柄按键事件；若否，则触发根据预设关联关系确定所述手势信息对应的手柄按键事件的步骤。
根据本申请的一个或多个实施例，所述装置还用于：
获取用户的配置指令；
根据所述配置指令确定包含所述手势信息与其对应的手柄按键事件的对应关系的配置信息。
根据本申请的一个或多个实施例，所述装置还用于：
接收拍摄装置发送的待分析图像，所述待分析图像包括一帧或多帧手部图像；
根据所述待分析图像确定所述手部行为信息。
根据本申请的一个或多个实施例，提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行前述任一方法。
根据本申请的一个或多个实施例，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (11)

1.一种数据处理方法，其特征在于，包括：
获取用户的手势信息；
根据预设关联关系确定所述手势信息对应的手柄按键事件；
依据所述手柄按键事件确定所述手势信息对应的目标指令；
响应所述目标指令。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取用户的手部行为信息；
若所述手部行为信息与预设手势信息匹配，则将与所述手部行为信息匹配的所述预设手势信息作为所述用户的手势信息。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用所述手部行为信息控制预设的手部模型执行对应的目标行为；
展示所述目标行为。
4.根据权利要求3所述的方法，其特征在于，所述手部模型包括对应多个手部关节信息的多个子模型，利用所述手部行为信息控制预设的手部模型执行对应的目标行为包括：
根据所述手部行为信息确定手部模型中，与手部行为信息关联的目标子模型；
控制所述目标子模型执行所述手部行为信息对应的目标行为。
5.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取用户的初始手部位置；
基于所述初始手部位置初始化所述手部模型的显示位置。
6.根据权利要求5所述的方法，其特征在于，获取用户的手势信息后，所述方法包括：
检测用户是否开启自定义响应模式，若是，则根据用户的配置信息确定所述手势信息对应的手柄按键事件；若否，则触发根据预设关联关系确定所述手势信息对应的手柄按键事件的步骤。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取用户的配置指令；
根据所述配置指令确定包含所述手势信息与其对应的手柄按键事件的对应关系的配置信息。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收拍摄装置发送的待分析图像，所述待分析图像包括一帧或多帧手部图像；
根据所述待分析图像确定所述手部行为信息。
9.一种数据处理装置，其特征在于，包括：
获取模块，获取用户的手势信息；
第一确定模块，用于根据预设关联关系确定所述手势信息对应的手柄按键事件；
第二确定模块，用于依据所述手柄按键事件确定所述手势信息对应的目标指令；
响应模块，用于响应所述目标指令。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法。
CN202111602282.9A 2021-12-24 2021-12-24 数据处理方法、装置、设备及计算机可读存储介质 Pending CN116339501A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111602282.9A CN116339501A (zh) 2021-12-24 2021-12-24 数据处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111602282.9A CN116339501A (zh) 2021-12-24 2021-12-24 数据处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116339501A true CN116339501A (zh) 2023-06-27

Family

ID=86879424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111602282.9A Pending CN116339501A (zh) 2021-12-24 2021-12-24 数据处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116339501A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348737A (zh) * 2023-12-06 2024-01-05 之江实验室 一种基于多通道交互的数据处理***及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117348737A (zh) * 2023-12-06 2024-01-05 之江实验室 一种基于多通道交互的数据处理***及方法

Similar Documents

Publication Publication Date Title
CN108885521A (zh) 跨环境共享
CN112270711B (zh) 模型训练以及姿态预测方法、装置、设备以及存储介质
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN111045511A (zh) 基于手势的操控方法及终端设备
US20170140215A1 (en) Gesture recognition method and virtual reality display output device
CN108776544A (zh) 增强现实中的交互方法及装置、存储介质、电子设备
CN108073267B (zh) 基于运动轨迹的三维控制方法及装置
CN106502401B (zh) 一种图像控制方法及装置
CN108170295A (zh) 虚拟摄像机状态控制方法、装置、电子设备及存储介质
CN116339501A (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN110837766B (zh) 手势识别方法、手势处理方法及装置
CN112987924A (zh) 用于设备交互的方法、装置、设备和存储介质
CN110908568B (zh) 一种虚拟对象的控制方法和装置
JP2021524108A (ja) アプリケーションパーティションの処理方法、デバイス及びコンピュータ可読記憶媒体
CN107977071B (zh) 一种适用于空间***的操作方法及装置
CN113112613B (zh) 模型显示方法、装置、电子设备和存储介质
CN114968053B (zh) 操作处理方法及装置、计算机可读存储介质和电子设备
WO2023174097A1 (zh) 交互方法、装置、设备及计算机可读存储介质
CN111522429A (zh) 基于人体姿态的交互方法及装置、计算机设备
Zhang et al. Haptmr: Smart haptic feedback for mixed reality based on computer vision semantic
CN117555416A (zh) 手势控制方法、装置、设备和介质
CN117170505B (zh) 虚拟键盘的控制方法和***
US20240248544A1 (en) Method of calling applications, device, and medium
KR102612430B1 (ko) 전이학습을 이용한 딥러닝 기반 사용자 손 동작 인식 및 가상 현실 콘텐츠 제공 시스템
CN118012265A (zh) 人机交互方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination