CN108635840A - 一种基于Sikuli图像识别的***体感操控***及方法 - Google Patents

一种基于Sikuli图像识别的***体感操控***及方法 Download PDF

Info

Publication number
CN108635840A
CN108635840A CN201810472119.7A CN201810472119A CN108635840A CN 108635840 A CN108635840 A CN 108635840A CN 201810472119 A CN201810472119 A CN 201810472119A CN 108635840 A CN108635840 A CN 108635840A
Authority
CN
China
Prior art keywords
information
current
game
action
mobile phone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810472119.7A
Other languages
English (en)
Inventor
周晓军
李骊
李朔
杨淼
王行
盛赞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201810472119.7A priority Critical patent/CN108635840A/zh
Publication of CN108635840A publication Critical patent/CN108635840A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A63F2300/1075—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad using a touch screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及***技术领域，公开了一种基于Sikuli图像识别的***体感操控***及方法，该操控方法包括：S10、基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取当前控件信息并发送；S20、基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送；S30、接收当前控件信息与骨骼点骨架信息，对骨骼点骨架信息进行解析获取相应的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息，生成当前虚拟输入动作信息并发送；S40、根据当前虚拟输入动作信息执行游戏体感操作。上述体感操控***及方法将用户体感操作功能融入到手指触摸操作的***中，提高了游戏的真实性与趣味性。

Description

一种基于Sikuli图像识别的***体感操控***及方法
技术领域
本发明属于***技术领域，特别涉及了一种基于Sikuli图像识别的***体感操控***及方法。
背景技术
***是指运行于手机上的游戏软件。特指在手机等各类手持硬件设备上运行的游戏类应用程序，其需要具备一定硬件环境和一定***级程序作为运行基础。
随着信息技术和电脑技术的进步，电子游戏已经广泛扩展到从PC、手机、直到专用游戏机的众多种类。作为最主要的游戏交互手段，游戏遥控器是最佳的选，***以其多样化、便携式、操作方便等特点深受人们的喜爱，一些流行的***甚至被移植成计算机游戏，可见人们在休闲时间对***的钟爱。经常玩此类游戏的人群从小孩到成年人都有参与，年轻人玩此类游戏会感觉到刺激，兴奋，可以完全融入到游戏的境界中，体验游戏带给人们的欢乐。目前，市面上***一般都为触摸式，输入方式单一，这种手势输入需要与手机接触，才能对游戏进行控制，无法达到隔空控制，束缚了双手的活动，缺乏游戏的真实性，降低了游戏带来的乐趣，影响了使用者更好的游戏体验效果，无法满足手机创新和发展的需要。
体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境互动，而无需使用任何复杂的控制设备。便可让人们身历其境地与内容做互动。无论在PC互联网时代，移动互联网时代，游戏从来都是一个重要的应用。随着体感技术的越发成熟，体感游戏在游戏开发中逐步成为新的开发方向，越来越多的游戏厂商加入到了体感游戏开发中。但目前的市场上很多体感游戏一方面过于简单单一，而且需要用户穿戴体感手柄、虚拟眼镜等辅助设备，限制了游戏玩家的自由，趣味性降低；另一方面，以微软的xbox为代表的体感游戏虽然游戏内容精良，但是价格高昂，而且仅仅局限于windows平台，在移动互联网时代，这一点显然太过于局限了，无法满足***的创新与发展，将大多数游戏爱好者拒之门外。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种基于sikuli图形识别的***体感操控***及方法，通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作融入到手指触摸操作的***中，提高游戏的真实性与趣味性，且不受使用平台的限制，提升了游戏用户体验感。
为了实现上述技术目的，第一方面，本发明实施例提出了一种基于sikuli图形识别的***体感操控***，该操控***包括：
游戏界面图像处理单元，游戏界面图像处理单元基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取当前游戏场景图像的当前控件信息并发送给游戏体感控制单元；
体感动作输入单元，体感动作输入单元基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送给游戏体感控制单元；
游戏体感控制单元，游戏体感控制单元接收游戏界面图像处理单元发送的当前控件信息与体感动作输入单元发送的骨骼点骨架信息，对骨骼点骨架信息进行解析获取相对于的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息并发送给游戏执行单元；
游戏执行单元，游戏执行单元接收游戏体感控制单元发送的当前虚拟输入动作信息并根据当前虚拟输入动作信息来执行游戏体感操作。
上述基于sikuli图形识别的***体感操控***，相比于现有的***操控***，通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作融入到手指触摸操作的***中，提高游戏的真实性与趣味性。
进一步的，游戏界面图像处理单元包括图像获取子单元，图像获取子单元通过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像；图像标识子单元，图像标记子单元对当前游戏图像设置相应的ID标识信息；控件信息生成子单元，控件信息生成子单元基于ID标识信息生成当前游戏场景中相应的当前控件信息。
进一步的，游戏体感控制单元包括预设数据子单元、动作ID解析子单元、数据分析子单元、虚拟信息生成子单元，预设数据子单元预先存储各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系，动作ID解析子单元对骨骼点骨架信息进行解析获取相应的当前动作ID信息，数据分析子单元对当前控件信息与当前动作ID信息进行分析，并基于预先存储的映射关系计算出对应的当前虚拟输入动作信息，虚拟信息生成子单元生成并输出当前虚拟输入动作信息。
进一步的，游戏体感控制单元包括重置子单元，重置子单元对预设数据子单元预先存储的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系进行重置。
进一步的，体感设备包括体感摄像头、红外激光扫描仪。
另一方面，本发明实施例提供一种基于sikuli图形识别的***体感操控方法，该体感操控方法包括：
S10、基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取当前游戏场景图像的当前控件信息并发送；
S20、基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送；
S30、接收当前控件信息与骨骼点骨架信息，对骨骼点骨架信息进行解析获取相应的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息，生成当前虚拟输入动作信息并发送；
S40、接收当前虚拟输入动作信息并根据当前虚拟输入动作信息来执行游戏体感操作。
上述基于sikuli图形识别的***体感操控方法，相比于现有的***操控方法，通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作融入到手指触摸操作的***中，提高游戏的真实性与趣味性。
进一步的，步骤S10还包括：过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像，对当前游戏图像设置相应的ID标识信息，基于ID标识信息生成当前游戏场景中相应的当前控件信息。
进一步的，步骤S10还包括：利用当前游戏场景与其它游戏场景的图像特点来区分，图像特点包括多个参照位置的RGB特征，参照位置是指能区别于当前游戏场景的其它游戏场景。
进一步的，步骤S30还包括：对骨骼点骨架信息进行解析获取相应的当前动作ID信息，对当前控件信息与当前动作ID信息进行分析，并基于预先存储的各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系来计算出对应的当前虚拟输入动作信息，生成并输出当前虚拟输入动作信息。
进一步的，步骤S30还包括：对预设数据子单元预先存储的各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系进行重置。
相比于现有技术，本发明具有如下技术效果：
本发明提出了一种基于Sikuli图像识别的***体感操控***及方法，该操控方法包括：S10、基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取当前游戏场景图像的当前控件信息并发送；S20、基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送；S30、接收当前控件信息与骨骼点骨架信息，对骨骼点骨架信息进行解析获取相应的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息，生成当前虚拟输入动作信息并发送；S40、接收当前虚拟输入动作信息并根据当前虚拟输入动作信息来执行游戏体感操作。上述***体感操控***及方法通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作功能融入到手指触摸操作的***中，提高了游戏的真实性与趣味性，降低了开发与使用成本，且不受使用平台的限制，提升了游戏用户体验感与适用范围，进而满足手机创新和发展的需要。
附图说明
图1为本发明实施例提出的一种基于Sikuli图像识别的***体感操控***的结构示意图；
图2为本发明实施例提出的又一种基于Sikuli图像识别的***体感操控***的结构示意图；
图3为本发明实施例提出的再一种基于Sikuli图像识别的***体感操控***的结构示意图；
图4为本发明实施例提出的再一种基于Sikuli图像识别的***体感操控***的结构示意图；
图5为本发明实施例提出的一种基于Sikuli图像识别的***体感操控方法的流程示意图；
图6为本发明实施例提出的又一种基于Sikuli图像识别的***体感操控方法的流程示意图；
图7为本发明实施例提出的再一种基于Sikuli图像识别的***体感操控方法的流程示意图；
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
如图1所示，本发明实施例提出了一种基于sikuli图形识别的***体感操控***，该操控***包括：
游戏界面图像处理单元11，游戏界面图像处理单元11基于Sikuli图像识别技术自动识别当前游戏场景图像，获取当前游戏场景图像的当前控件信息并发送给游戏体感控制单元；
具体的，不同的游戏场景对应不同的UI控件信息，UI控件是指游戏场景中相对应的按钮，每个按钮都有对应的游戏场景覆盖范围，控件信息包括按钮的位置、操作方式类型及其对应的动作ID。
示例性的，对于酷跑类的游戏场景，前进、后退、加速、跳跃等动作对应不同的控件，每一个场景都对应一个特定的按钮与动作。
体感动作输入单元12，体感动作输入单元12基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送给游戏体感控制单元；
优选的，体感设备包括体感摄像头、红外激光扫描仪。
游戏体感控制单元13，游戏体感控制单元接收游戏界面图像处理单元11发送的当前控件信息与体感动作输入单元12发送的骨骼点骨架信息，对骨骼点骨架信息进行解析获取相对于的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息并发送给游戏执行单元；
游戏体感控制单元13具体软件服务的功能，能够将人类可识别的视觉信息转化为设备可识别的数据信息，并最终通过设备的输入事件***来达到使游戏体感化。
游戏执行单元14，用于接收游戏体感控制单元13发送的当前虚拟输入动作信息并根据当前虚拟输入动作信息来执行游戏操作。
具体的，游戏执行单元14能够将当前虚拟输入动作信息上报给终端操作***，例如手机、Ipad、电视等，通过终端***来执行游戏操作。游戏操作与虚拟输入动作的内容一致。
优选的，虚拟输入动作信息包括：触摸事件的位置、类型等信息；前进事件的方向与角度等信息；跳跃事件的角度与位置等信息。
上述基于sikuli图形识别的***体感操控***，相比于现有的***操控***，通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作融入到手指触摸操作的***中，提高游戏的真实性与趣味性。
如图2所示，在上述实施例的基础上，本发明的又一个实施例提供了一种基于sikuli图形识别的***体感操控***，该***体感操控***中游戏界面图像处理单元11包括：包括图像获取子单元111，图像标识子单元112，控件信息生成子单元113。
其中，图像获取子单元111，用于通过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像。如果在截图时截下整个界面然后进行区域的匹配以此来获得需要的信息，那么这样的做法对计算机设备开销非常大，考虑到游戏的灵敏性，流畅度，需要控制时间的消耗等因素，优选能代表当前游戏场景并能区别其他游戏场景的当前游戏图像的局部图片，也即当前游戏图像。
图像标识子单元112，用于对当前游戏图像设置相应的ID标识信息。一般每个图片ID就代表一个游戏场景，通过设置图片的ID标识信息能够快速准确定位游戏场景，进而查找该游戏场景中相应控件的位置信息。
控件信息生成子单元113，用于基于ID标识信息生成当前游戏场景中相应的当前控件信息。
如图3所示，在上述实施例的基础上，本发明的又一个实施例提供了一种基于sikuli图形识别的***体感操控***，该***体感操控***中游戏体感控制单元13包括预设数据子单元131、动作ID解析子单元132、数据分析子单元133、虚拟信息生成子单元134。
其中，预设数据子单元131预先存储各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系。
具体的，通过xml文件预先存储***中所要识别的游戏界面中UI控件的位置信息与覆盖信息，及其相对应的动作ID信息与虚拟输入动作信息，将这三者建立一一对应的映射关系。
示例性的，将游戏界面抽象成有限个界面，每个界面由有限个按钮组成，每个按钮都有自己覆盖范围，比如，一个界面只有并排的两个按钮，那么两个按钮覆盖范围为显示界面的各一半区域。此外还记录了该UI控件对应的动作ID信息，输入事件信息。
动作ID解析子单元132对骨骼点骨架信息进行解析获取相应的当前动作ID信息。
具体的，通过xml文件中保存的相关信息的算法服务，对骨骼点骨架信息进行计算处理，获得相应的当前动作ID信息。
示例性的，针对不同类型、不同难度的游戏，要选取设置适当的动作。比如一些跑酷类游戏，在手机上的操作是向上滑动，或者点击相应的按钮。那么我们应该选取跳跃的动作来对应相应的操作。
数据分析子单元133对当前控件信息与当前动作ID信息进行分析，并基于预先存储的映射关系计算出对应的当前虚拟输入动作信息。
具体的，基于预设数据子单元131预先存储各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系，在已知当前控件信息与当前动作ID信息的基础上，按照特点算法进行计算分析，能够计算出相应的当前虚拟输入动作信息。
虚拟信息生成子单元134生成并输出当前虚拟输入动作信息。
如图4所示，在上述实施例的基础上，本发明的又一个实施例提供了一种基于sikuli图形识别的***体感操控***，该***体感操控***中游戏体感控制单元13还包括重置子单元135。
重置子单元135对预设数据子单元预先存储的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系进行重置。
具体的，针对不同类型、不同难度的游戏，要选取适当的动作。比如一些跑酷类游戏，在手机上的操作是向上滑动，或者点击相应的按钮，那么应该选取跳跃的动作来对应相应的操作，这就需要对预先设置的映射关系进行重置以适应不同有序的操控需求。
另一方面，如图5所示，本发明实施例提供一种基于sikuli图形(像)识别的***体感操控方法，该体感操控方法包括：
S10、基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取当前游戏场景图像的当前控件信息并发送；
具体的，不同的游戏场景对应不同的UI控件信息，UI控件是指游戏场景中相对应的按钮，每个按钮都有对应的游戏场景覆盖范围，控件信息包括按钮的位置、操作方式类型及其对应的动作ID。
示例性的，对于酷跑类的游戏场景，前进、后退、加速、跳跃等动作对应不同的控件，每一个场景都对应一个特定的按钮与动作。
S20、基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送；
优选的，体感设备包括体感摄像头、红外激光扫描仪。
S30、接收当前控件信息与骨骼点骨架信息，对骨骼点骨架信息进行解析获取相应的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息，生成当前虚拟输入动作信息并发送；
S40、接收当前虚拟输入动作信息并根据当前虚拟输入动作信息来执行游戏体感操作。
具体的，将当前虚拟输入动作信息上报给终端操作***，例如手机、Ipad、电视等，通过终端***来执行游戏操作。游戏操作与虚拟输入动作的内容一致。
优选的，虚拟输入动作信息包括：触摸事件的位置、类型等信息；前进事件的方向与角度等信息；跳跃事件的角度与位置等信息。
上述基于sikuli图形识别的***体感操控方法，相比于现有的***操控方法，通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作融入到手指触摸操作的***中，提高游戏的真实性与趣味性。
优选的，如图6所示，在上述实施例的基础上，本发明的又一个实施例提供了一种基于sikuli图形识别的***体感操控方法，该***体感操控方法中，步骤S10还包括S101：通过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像，对当前游戏图像设置相应的ID标识信息，基于ID标识信息生成当前游戏场景中相应的当前控件信息。
具体的，通过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像。如果在截图时截下整个界面然后进行区域的匹配以此来获得需要的信息，那么这样的做法对计算机设备开销非常大，考虑到游戏的灵敏性，流畅度，需要控制时间的消耗等因素，优选能代表当前游戏场景并能区别其他游戏场景的当前游戏图像的局部图片，也即当前游戏图像。
其中，每个图片ID就代表一个游戏场景，通过设置图片的ID标识信息能够快速准确定位游戏场景，进而查找该游戏场景中相应控件的位置信息。
优选的，步骤S10还包括：利用当前游戏场景与其它游戏场景的图像特点来区分，图像特点包括多个参照位置的RGB特征，参照位置是指能区别于当前游戏场景的其它游戏场景。
优选的，如图7所示，在上述实施例的基础上，本发明的又一个实施例提供了一种基于sikuli图形识别的***体感操控方法，该***体感操控方法中，步骤S30还包括S301：对骨骼点骨架信息进行解析获取相应的当前动作ID信息，对当前控件信息与当前动作ID信息进行分析，并基于预先存储的各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系来计算出对应的当前虚拟输入动作信息，生成并输出当前虚拟输入动作信息。
具体的，通过xml文件预先存储***中所要识别的游戏界面中UI控件的位置信息与覆盖信息，及其相对应的动作ID信息与虚拟输入动作信息，将这三者建立一一对应的映射关系。
示例性的，将游戏界面抽象成有限个界面，每个界面由有限个按钮组成，每个按钮都有自己覆盖范围，比如，一个界面只有并排的两个按钮，那么两个按钮覆盖范围为显示界面的各一半区域。此外还记录了该UI控件对应的动作ID信息，输入事件信息。
进一步的，通过xml文件中保存的相关信息的算法服务，对骨骼点骨架信息进行计算处理，获得相应的当前动作ID信息。基于预设数据子单元131预先存储各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系，在已知当前控件信息与当前动作ID信息的基础上，按照特点算法进行计算分析，能够计算出相应的当前虚拟输入动作信息。
示例性的，针对不同类型、不同难度的游戏，要选取设置适当的动作。比如一些跑酷类游戏，在手机上的操作是向上滑动，或者点击相应的按钮。那么我们应该选取跳跃的动作来对应相应的操作。
优选的，步骤S30还包括：对预设数据子单元预先存储的各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系进行重置。
具体的，针对不同类型、不同难度的游戏，要选取适当的动作。比如一些跑酷类游戏，在手机上的操作是向上滑动，或者点击相应的按钮，那么应该选取跳跃的动作来对应相应的操作，这就需要对预先设置的映射关系进行重置以适应不同有序的操控需求。
综上，本发明提出了一种基于Sikuli图像识别的***体感操控***及方法，该操控方法包括：S10、基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取当前游戏场景图像的当前控件信息并发送；S20、基于体感设备识别当前用户操作动作图像，获取当前用户操作动作图像的骨骼点骨架信息并发送；S30、接收当前控件信息与骨骼点骨架信息，对骨骼点骨架信息进行解析获取相应的当前动作ID信息，基于当前控件信息与当前动作ID信息分析计算出相应的当前虚拟输入动作信息，生成当前虚拟输入动作信息并发送；S40、接收当前虚拟输入动作信息并根据当前虚拟输入动作信息来执行游戏体感操作。上述***体感操控***及方法通过sikuli图形识别技术识别游戏场景信息并通过体感设备识别用户操作信息，将获得的视觉信息转化为可识别的数据信息并生成虚拟输入动作信息以达到***体感化，从而将用户体感操作功能融入到手指触摸操作的***中，提高了游戏的真实性与趣味性，降低了开发与使用成本，且不受使用平台的限制，提升了游戏用户体验感与适用范围，进而满足手机创新和发展的需要。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于sikuli图形识别的***体感操控***，其特征在于，所述操控***包括：
游戏界面图像处理单元，用于基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取所述当前游戏场景图像的当前控件信息并发送给游戏体感控制单元；
体感动作输入单元，用于基于体感设备识别当前用户操作动作图像，获取所述当前用户操作动作图像的骨骼点骨架信息并发送给游戏体感控制单元；
游戏体感控制单元，用于接收所述游戏界面图像处理单元发送的所述当前控件信息与所述体感动作输入单元发送的骨骼点骨架信息，对所述骨骼点骨架信息进行解析获取相对于的当前动作ID信息，基于所述当前控件信息与所述当前动作ID信息分析计算出相应的当前虚拟输入动作信息并发送给游戏执行单元；
游戏执行单元，用于接收所述游戏体感控制单元发送的当前虚拟输入动作信息并根据所述当前虚拟输入动作信息来执行游戏体感操作。
2.如权利要求1所述的***体感操控***，其特征在于，所述游戏界面图像处理单元包括图像获取子单元、图像标识子单元、控件信息生成子单元，所述图像获取子单元通过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像，所述图像标记子单元对所述当前游戏图像设置相应的ID标识信息，所述控件信息生成子单元基于所述ID标识信息生成所述当前游戏场景中相应的当前控件信息。
3.如权利要求1所述的***体感操控***，其特征在于，所述游戏体感控制单元包括预设数据子单元、动作ID解析子单元、数据分析子单元、虚拟信息生成子单元，所述预设数据子单元预先存储各游戏场景中相应的游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系，所述动作ID解析子单元对所述骨骼点骨架信息进行解析获取相应的当前动作ID信息，所述数据分析子单元对所述当前控件信息与所述当前动作ID信息进行分析，并基于预先存储的所述映射关系计算出对应的当前虚拟输入动作信息，所述虚拟信息生成子单元生成并输出所述当前虚拟输入动作信息。
4.如权利要求4所述的***体感操控***，其特征在于，所述游戏体感控制单元包括重置子单元，所述重置子单元对所述预设数据子单元预先存储的所述游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系进行重置。
5.如权利要求1所述的***体感操控***，其特征在于，所述体感设备包括体感摄像头、红外激光扫描仪。
6.一种基于sikuli图形识别的***体感操控方法，其特征在于，所述体感操控方法包括：
S10、基于Sikuli的图像识别技术自动识别当前游戏场景图像，获取所述当前游戏场景图像的当前控件信息并发送；
S20、基于体感设备识别当前用户操作动作图像，获取所述当前用户操作动作图像的骨骼点骨架信息并发送；
S30、接收所述当前控件信息与所述骨骼点骨架信息，对所述骨骼点骨架信息进行解析获取相应的当前动作ID信息，基于所述当前控件信息与所述当前动作ID信息分析计算出相应的当前虚拟输入动作信息，生成所述当前虚拟输入动作信息并发送；
S40、接收所述当前虚拟输入动作信息并根据所述当前虚拟输入动作信息来执行游戏体感操作。
7.如权利要求6所述的***体感操控方法，其特征在于，所述步骤S10还包括：通过截图工具截取能代表当前游戏场景并能区别其他游戏场景的当前游戏图像，对所述当前游戏图像设置相应的ID标识信息，基于所述ID标识信息生成所述当前游戏场景中相应的当前控件信息。
8.如权利要求7所述的***体感操控方法，其特征在于，所述步骤S10还包括：利用当前游戏场景与其它游戏场景的图像特点来区分，所述图像特点包括多个参照位置的RGB特征，所述参照位置是指能区别于所述当前游戏场景的其它游戏场景。
9.如权利要求6所述的***体感操控方法，其特征在于，所述步骤S30还包括：对所述骨骼点骨架信息进行解析获取相应的当前动作ID信息，对所述当前控件信息与所述当前动作ID信息进行分析，并基于预先存储的各游戏场景中相应的所述游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系来计算出对应的当前虚拟输入动作信息，生成并输出所述当前虚拟输入动作信息。
10.如权利要求9所述的***体感操控方法，其特征在于，所述步骤S30还包括：对所述预设数据子单元预先存储的各游戏场景中相应的所述游戏控件信息、动作ID信息与虚拟输入动作信息之间的映射关系进行重置。
CN201810472119.7A 2018-05-17 2018-05-17 一种基于Sikuli图像识别的***体感操控***及方法 Pending CN108635840A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810472119.7A CN108635840A (zh) 2018-05-17 2018-05-17 一种基于Sikuli图像识别的***体感操控***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810472119.7A CN108635840A (zh) 2018-05-17 2018-05-17 一种基于Sikuli图像识别的***体感操控***及方法

Publications (1)

Publication Number Publication Date
CN108635840A true CN108635840A (zh) 2018-10-12

Family

ID=63756449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810472119.7A Pending CN108635840A (zh) 2018-05-17 2018-05-17 一种基于Sikuli图像识别的***体感操控***及方法

Country Status (1)

Country Link
CN (1) CN108635840A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109646950A (zh) * 2018-11-20 2019-04-19 苏州紫焰网络科技有限公司 一种应用于游戏场景中图像处理方法、装置及终端
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游***及手游响应方法
CN111897430A (zh) * 2020-07-30 2020-11-06 深圳创维－Rgb电子有限公司 应用的控制方法、显示终端及计算机可读存储介质
WO2023193566A1 (zh) * 2022-04-06 2023-10-12 北京字节跳动网络技术有限公司 游戏图像的处理方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪***
CN104353240A (zh) * 2014-11-27 2015-02-18 北京师范大学珠海分校 基于Kinect的跑步机***
JP2016527601A (ja) * 2013-06-09 2016-09-08 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
CN106250867A (zh) * 2016-08-12 2016-12-21 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪***的实现方法
CN106249901A (zh) * 2016-08-16 2016-12-21 南京华捷艾米软件科技有限公司 一种以Android原生游戏支持体感设备操控的适配方法
CN107315473A (zh) * 2017-06-19 2017-11-03 南京华捷艾米软件科技有限公司 一种体感手势选择安卓游戏目标ui控件的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103038727A (zh) * 2010-06-29 2013-04-10 微软公司 骨架关节识别和跟踪***
JP2016527601A (ja) * 2013-06-09 2016-09-08 株式会社ソニー・インタラクティブエンタテインメント 頭部装着ディスプレイ
CN104353240A (zh) * 2014-11-27 2015-02-18 北京师范大学珠海分校 基于Kinect的跑步机***
CN106250867A (zh) * 2016-08-12 2016-12-21 南京华捷艾米软件科技有限公司 一种基于深度数据的人体骨骼跟踪***的实现方法
CN106249901A (zh) * 2016-08-16 2016-12-21 南京华捷艾米软件科技有限公司 一种以Android原生游戏支持体感设备操控的适配方法
CN107315473A (zh) * 2017-06-19 2017-11-03 南京华捷艾米软件科技有限公司 一种体感手势选择安卓游戏目标ui控件的方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109646950A (zh) * 2018-11-20 2019-04-19 苏州紫焰网络科技有限公司 一种应用于游戏场景中图像处理方法、装置及终端
CN111632367A (zh) * 2020-05-18 2020-09-08 歌尔科技有限公司 基于视觉引导的手游***及手游响应方法
CN111897430A (zh) * 2020-07-30 2020-11-06 深圳创维－Rgb电子有限公司 应用的控制方法、显示终端及计算机可读存储介质
WO2023193566A1 (zh) * 2022-04-06 2023-10-12 北京字节跳动网络技术有限公司 游戏图像的处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
US20230016824A1 (en) Voice help system via hand held controller
CN107617213B (zh) 信息处理方法及装置、存储介质、电子设备
CN109792564B (zh) 用于通过在游戏云***上执行的视频记录访问先前所存储游戏情节的方法和***
KR101855639B1 (ko) 프리젠테이션을 위한 카메라 탐색
US20220297016A1 (en) A marker in a message providing access to a full version of a video game
CN108635840A (zh) 一种基于Sikuli图像识别的***体感操控***及方法
US11786821B2 (en) Instant streaming of a mobile user interface to a device of a secondary user without application install
US9737796B2 (en) Apparatus and method for managing operations of accessories in multi-dimensions
US9448634B1 (en) System and method for providing rewards to a user in a virtual space based on user performance of gestures
EP2745894A2 (en) Cloud-based game slice generation and frictionless social sharing with instant play
JP7339318B2 (ja) ゲーム内位置ベースのゲームプレイコンパニオンアプリケーション
CN102087712A (zh) 个性化动作控制的***和方法
CN107068153B (zh) 一种用于游戏中的通讯交互模块
US20230051703A1 (en) Gesture-Based Skill Search
CN112995687A (zh) 基于互联网的互动方法、装置、设备及介质
CN112295224A (zh) 三维特效生成方法及装置、计算机存储介质、电子设备
CN102184006A (zh) 具有最小延迟的动作识别的***和方法
KR20200029852A (ko) 게임 캐릭터 동작 가이드 정보 제공 시스템, 서버 및 게임 캐릭터 동작 가이드 정보 제공 방법
CN109417651B (zh) 使用基于位置的游戏配套应用程序生成挑战
CN116726483A (zh) 基于苹果手表的滑雪体感游戏操作方法
CN117065326A (zh) 基于苹果手表的划船体感游戏操作方法
JP2022032987A (ja) 方法、コンピュータ可読媒体、および情報処理装置
CN117101131A (zh) 游戏中的交互控制方法、装置及电子设备
CN116920389A (zh) 辅助信息提示方法、装置、电子设备和存储介质
KR20110064859A (ko) 관심도 측정 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012