CN116603238B - 一种界面控制方法 - Google Patents

一种界面控制方法 Download PDF

Info

Publication number
CN116603238B
CN116603238B CN202310862244.XA CN202310862244A CN116603238B CN 116603238 B CN116603238 B CN 116603238B CN 202310862244 A CN202310862244 A CN 202310862244A CN 116603238 B CN116603238 B CN 116603238B
Authority
CN
China
Prior art keywords
state
data
game
task
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310862244.XA
Other languages
English (en)
Other versions
CN116603238A (zh
Inventor
黄新通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shang Mi Network Technology Co ltd
Original Assignee
Shenzhen Shang Mi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shang Mi Network Technology Co ltd filed Critical Shenzhen Shang Mi Network Technology Co ltd
Priority to CN202310862244.XA priority Critical patent/CN116603238B/zh
Publication of CN116603238A publication Critical patent/CN116603238A/zh
Application granted granted Critical
Publication of CN116603238B publication Critical patent/CN116603238B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/308—Details of the user interface
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出了一种界面控制方法，包括：步骤1、获得目标任务指令；步骤2、根据目标任务指令获得任务指令数据；步骤3、识别当前游戏状态，并按照任务指令数据执行对应操作指令进行界面控制，直到完成目标任务指令；所述任务指令数据由若干子任务数据组成；所述子任务数据由子状态编号、子任务状态及对应的操作指令组成；所述子任务状态由人物坐标、资源数量、剧情状态组成；借由本方法可完成复杂的自动化游戏界面控制任务，且准确度高。

Description

一种界面控制方法
技术领域
本发明涉及计算机技术领域，具体涉及一种界面控制方法。
背景技术
自动化的界面控制在游戏领域广泛应用，核心目的是通过计算程序代替玩家完成一些重复性高的操作，从而提高玩家的游戏效率、提升玩家的游戏体验。目前，基于图像识别的自动界面控制是目前主流的游戏自动化界面控制方法，该类方法通过画面捕捉获取游戏中的画面信息，按照预设的操作指令对相应游戏内容进行操作。
然而现有的基于图像识别的自动界面控制仅能完成简单任务的自动控制，对于剧情场景丰富的开放世界角色扮演类游戏，现有方法无法满足更为复杂的自动控制任务需求。
发明内容
针对上述存在的拘束局限性，本发明提出了一种界面控制方法，通过人物坐标、资源数量、剧情状态三个维度监控游戏界面控制过程，在界面过程中出现条件缺失时，自动完成相应条件的补充操作，从而实现更复杂的界面自动化操作。
为实现上述目的，本发明采用了以下技术方案：
一种界面控制方法，所述方法包括：
步骤1、获得目标任务指令；
步骤2、根据目标任务指令获得任务指令数据；
步骤3、识别当前游戏状态，并按照任务指令数据执行对应操作指令进行界面控制，直到完成目标任务指令。
进一步地，所述任务指令数据由若干子任务数据组成；所述子任务数据由子状态编号、子任务状态及对应的操作指令组成。
所述子任务状态指当前子任务的状态标志，当游戏状态符合子任务状态时表示目标任务已执行至对应子任务。
所述子任务状态由人物坐标、资源数量、剧情状态组成；所述人物坐标为人物所处游戏地图的坐标值；所述资源数量为游戏道具资源数量；所述剧情状态为当前游戏剧情任务的完成状况。
所述操作指令为处于对应子任务时需要执行的操作指令，所述操作指令由人物动作指令及界面操作指令组成；
所述人物动作指令为人物执行相关动作的指令；所述界面操作指令为针对游戏界面进行操作的指令。
进一步地，步骤2中，获得任务指令数据的具体方式为：根据目标任务指令在数据库中查询对应的任务指令数据。
进一步地，参考图2，步骤3具体包括以下步骤：
步骤31、将目标状态与目标操作设置为空；
步骤32、识别当前游戏状态，获得当前游戏状态数据；
步骤33、若目标状态为空，则进行任务初始化操作；若目标状态为不为空，则执行步骤34；
步骤34、判断当前游戏状态与目标状态是否一致；若不一致则执行步骤35，否则执行步骤36；
步骤35、根据当前游戏状态与目标状态的差异，获得并执行相应修正任务；返回步骤32；
步骤36、判断目标状态是否为结束状态；若是则执行步骤39，否则执行步骤37；
步骤37、将目标状态更新为对应子任务状态的下一子任务状态；
步骤38、按照目标操作执行界面控制，当监测到目标操作完成时，将目标操作更新为此时目标状态对应的操作指令；返回步骤32。
步骤39、结束，输出完成目标任务指令标志。
本发明与现有技术相对比，本发明具有以下优点：
（1）相较于传统只进行图像匹配对比完成自动控制的界面控制方法，采用人物坐标、资源数量、剧情状态三个维度监控游戏界面控制过程，控制更加精准；
（2）现有的界面自动控制方法在不满足执行条件时将自动停止，难以自动迭代实现完全自动化控制；可执行修正附加任务，从而支持原始目标任务继续执行，自动化程度更高；
（3）适用于剧情复杂的游戏类型，可完成复杂度更高的界面控制任务。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
图1为本发明实施例提供的一种界面控制方法的流程图。
图2为本发明实施例提供的一种执行目标任务指令方法的流程图。
图3为本发明实施例提供的一种界面控制***的结构图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了进一步了解本发明，下面结合最佳实施例对本发明作进一步的详细说明。
一种界面控制方法，参考图1，所述方法包括：
步骤1、获得目标任务指令；
步骤2、根据目标任务指令获得任务指令数据；
步骤3、识别当前游戏状态，并按照任务指令数据执行对应操作指令进行界面控制，直到完成目标任务指令。
进一步地，所述任务指令数据由若干子任务数据组成；所述子任务数据由子状态编号、子任务状态及对应的操作指令组成。
所述子任务状态指当前子任务的状态标志，当游戏状态符合子任务状态时表示目标任务已执行至对应子任务。
所述子任务状态由人物坐标、资源数量、剧情状态组成；所述人物坐标为人物所处游戏地图的坐标值；所述资源数量为游戏道具资源数量；所述剧情状态为当前游戏剧情任务的完成状况。
所述操作指令为处于对应子任务时需要执行的操作指令，所述操作指令由人物动作指令及界面操作指令组成；
所述人物动作指令为人物执行相关动作的指令；所述界面操作指令为针对游戏界面进行操作的指令。
进一步地，步骤2中，获得任务指令数据的具体方式为：根据目标任务指令在数据库中查询对应的任务指令数据。
进一步地，参考图2，步骤3具体包括以下步骤：
步骤31、将目标状态与目标操作设置为空；
步骤32、识别当前游戏状态，获得当前游戏状态数据；
步骤33、若目标状态为空，则进行任务初始化操作；
所述任务初始化操作具体包括：
计算当前游戏状态与任务指令数据中的若干子任务状态的相似度，将最大相似度对应的子任务状态作为目标状态，并将目标状态更新为对应子状态编号，将目标操作更新为对应操作指令；
若目标状态为不为空，则执行步骤34；
步骤34、判断当前游戏状态与目标状态是否一致；若不一致则执行步骤35，否则执行步骤36；
步骤35、根据当前游戏状态与目标状态的差异，获得并执行相应修正任务；返回步骤32；
步骤36、判断目标状态是否为结束状态；若是则执行步骤39，否则执行步骤37；
步骤37、将目标状态更新为对应子任务状态的下一子任务状态；
步骤38、按照目标操作执行界面控制，当监测到目标操作完成时，将目标操作更新为此时目标状态对应的操作指令；返回步骤32。
步骤39、结束，输出完成目标任务指令标志。
作为一种实施例，步骤32中所述游戏状态数据由人物坐标数据、资源数量数据、任务状态数据组成；
所述人物坐标数据为游戏角色在游戏地图中的坐标值；所述资源数量数据为任务相关道具资源的名称数量数据；所述任务状态数据为游戏剧情任务执行状态数据。
步骤32包括：
步骤321、进行人物坐标识别，获得人物坐标数据；
步骤322、进行资源数量识别，获得资源数量数据；
步骤323、进行剧情状态识别，获得剧情状态数据。
需要说明的是，相较于传统只进行图像匹配对比完成自动控制的界面控制方法，本方法采用人物坐标、资源数量、剧情状态这三个控制维度更加准确。并且采用上述三个控制维度也使得针对复杂任务的自动界面控制成为可能。
作为一种实施例，
步骤321中进行人物坐标识别通过以下步骤实现：
步骤321a1、截取游戏画面，获得第一游戏画面图像；
步骤321a2、对第一游戏画面图像进行图像预处理，得到第二游戏画面图像；
步骤321a3、提取第二游戏画面图像中的文字信息，获得关键名称数据；所述关键名称数据由在第二游戏画面图像中识别到的所有文字组成；
步骤321a4、识别第二游戏画面图像中的关键物体，获得关键物体数据；所述关键物体数据由在第二游戏画面图像中识别到的所有关键物体的名称组成；
步骤321a5、筛选出关键名称数据与关键物体数据中相同的元素得到第一标志数据；
步骤321a6、从数据库中查询出第一标志数据中所有元素的游戏世界坐标得到第一标志坐标数据；
步骤321a7、获得第一标志坐标数据中所有元素在第二游戏画面图像中的画面坐标，得到第二标志坐标数据；
步骤321a8、由第一坐标数据与第二坐标数据计算此时画面坐标与游戏世界坐标的变换矩阵，得到坐标变换矩阵；
步骤321a9、获得人物在第二游戏画面图像中的画面坐标，借助坐标变换矩阵计算人物的游戏世界坐标，得到人物坐标数据。
进一步地，步骤321a1中截取游戏画面前还包括以下步骤：控制游戏视角至俯视视角，并按照预设缩放比例缩小游戏画面。
进一步地，所述第一游戏画面图像由游戏信息区域图像及游戏画面区域图像组成；
所述游戏信息区域是指用于显示游戏相关各种信息和界面元素的区域；
所述游戏画面区域是指是游戏界面中显示游戏的实际内容和场景的区域。
步骤321a2中所述图像预处理是指提取游戏画面区域图像，具体包括：图像二值化处理；基于边缘检测算子提取区域边缘；提取轮廓信息；基于轮廓信息按照预设画面提取规则提取游戏画面区域图像。
上述提取游戏画面区域图像的各步骤均为现有技术，本领域技术人员根据本实施例的描述可顺利实施，不再赘述。
进一步地，步骤321a3、提取第二游戏画面图像中的文字信息通过以下方式实现：
借助文字检测算法获得文字区域；借助OCR（光学字符识别）算法对所述文字区域进行识别获得文字信息。
所述文字检测算法可采用EAST算法、TextBoxes++算法、CRNN算法、CRAFT算法中的任意一种算法实现。
进一步地，识别第二游戏画面图像中的关键物体通过对象检测算法实现，所述对象检测算法可采用YOLO-Lite算法、MobileNet-SSD算法、EfficientDet-Lite算法、SSDLite算法中的任意一种算法实现。
需要说明的是，上述对象检测算法均为轻量化的对象检测算法，由于游戏画面中关键物体特征相对固定、简单，故采用快速轻量化的对象检测算法即可满足准确性要求也保证了整体方法的效率。
作为一种实施例，步骤322中进行资源数量识别可通过以下步骤实现：
步骤322a1、按照预设资源查看步骤控制游戏界面，打开游戏资源列表；
步骤322a2、截取游戏画面，获得第三游戏画面图像；
步骤322a3、借助模板匹配获得第三游戏画面图像中的所有道具的道具名称及对应的道具画面坐标；
步骤322a4、借助文字识别检测获得第三游戏画面图像中的所有道具的道具数量及对应的数字画面坐标；
步骤322a5、将道具的道具画面坐标与数字画面坐标进行匹配对应，得到资源数量信息，所述资源数量信息由各道具名称及对应的道具数量组成；
步骤322a6、将资源数量信息整理为向量形式的数据得到资源数量数据。
进一步地，步骤322a5中，所述匹配对应具体方式为：
对于道具画面坐标中的元素(x1,y1)（对应道具a1），若在数字画面坐标中存在一个元素（m1,n1）（对应数字N1），在满足以下条件时二者匹配（即此时道具a1对应数量为N1）：
其中D为预设坐标距离范围。
进一步地，所述资源数量数据的形式为[r 1 ,r 2 ,…,r n ]；
其中r i 表示编号为i的道具的道具数量，若编号为i的道具的道具名称存在于资源数量信息中，则r i 为对应的道具数量；否则r i 为0。
作为一种实施例，步骤323中进行任务状态识别可通过以下步骤实现：
步骤323a1、按照预设任务查看步骤控制游戏界面，打开游戏任务列表；
步骤323a2、截取游戏画面，获得第四游戏画面图像；
步骤323a3、借助文字识别检测获得第四游戏画面图像中的任务文字数据；
步骤323a4、对所述任务文字数据按照预设文字提取规则进行正则匹配和提取，得到剧情状态信息；
所述剧情状态信息由剧情任务内容、剧情任务编号、完成状况构成；
步骤323a5、将所述剧情状态信息整理为向量形式的数据得到剧情状态数据。
所述剧情状态数据的形式为[t 1 ,t 2 ,…,t n ]；
其中t i 表示剧情任务编号为i的任务的完成状况，若剧情任务编号为i的任务的完成状态为“完成”，则t i 为1；否则t i 为0。
作为一种实施例，若游戏程序支持数据接口查询，则步骤321可通过以下方式实现：
步骤321b1、向游戏程序发出人物坐标数据请求；
步骤321b2、获得人物坐标数据信息并进行解析，得到人物坐标数据。
作为一种实施例，若游戏程序支持数据接口查询，则步骤322可通过以下方式实现：
步骤322b1、向游戏程序发出资源数量数据请求；
步骤322b2、获得资源数量数据信息并进行解析，得到资源数量数据。
作为一种实施例，若游戏程序支持数据接口查询，则步骤323可通过以下方式实现：
步骤323b1、向游戏程序发出剧情状态数据请求；
步骤323b2、获得剧情状态数据信息并进行解析，得到剧情状态数据。
作为一种实施例，步骤33中，计算当前游戏状态数据与任务指令数据中的若干子任务状态的相似度包括：
（1）计算当前游戏状态与子任务状态中人物坐标的相似度，得到第一相似度；
（2）计算当前游戏状态与子任务状态中资源数量的相似度，得到第二相似度；
（3）计算当前游戏状态与子任务状态中剧情状态的相似度，得到第三相似度；
（4）基于第一相似度、第二相似度、第三相似度得到第四相似度。
进一步地，所述第一相似度的计算方法为：
若子任务状态的人物坐标为空，则第一相似度为1，否则按照以下公式计算第一相似度：
其中s 1 为第一相似度，L 1 为当前游戏状态中人物坐标构成的向量，L 2 为子任务状态中人物坐标构成的向量。
进一步地，所述第二相似度的计算方法为：
若子任务状态的资源数量数据为零向量，则第二相似度为1；
否则，计算当前游戏状态与子任务状态的资源数量数据的差值，得到资源数量差；所述资源数量差为向量形式的数据；
若资源数量差中存在负值元素，则第二相似度为0；
若资源数量差中不存在负值元素，则第二相似度为1。
进一步地，所述第三相似度的计算方法为：
若子任务状态的剧情状态数据为零向量，则第三相似度为1；
否则，计算当前游戏状态与子任务状态的剧情状态数据的差值，得到剧情状态差；所述剧情状态差为向量形式的数据；
若剧情状态差中存在负值元素，则第三相似度为0；
若剧情状态差中不存在负值元素，则第三相似度为1。
进一步地，第四相似度通过第一相似度、第二相似度、第三相似度按照预设权值求和得到。
作为一种实施例，步骤34中判断当前游戏状态与目标状态是否一致通过以下方式实现：
若当前游戏状态与目标状态中资源数量、剧情状态的相似度均为1，且人物坐标的相似度大于预设坐标相似度阈值，则当前游戏状态与目标状态一致；否则不一致。
所述相似度与前述实施例中的对应相似度计算方式一致，此处不再赘述。
作为一种实施例，步骤35包括以下步骤：
步骤351、若当前游戏状态与目标状态中人物坐标的相似度不大于预设坐标相似度阈值，则计算目标状态与当前游戏状态的人物坐标差值，得到坐标差异值，并按照坐标差异值进行坐标修正操作；
所述坐标差异值为二元向量形式，其第一个元素代表x坐标方向移动距离，第二个元素代表y坐标方向移动距离；
步骤352、若当前游戏状态与目标状态中资源数量的相似度不为1，则根据资源数量差建立第一附加修正任务，按照第一附加修正任务进行界面控制；当第一附加修正任务执行完毕时，返回步骤31；
步骤353、若当前游戏状态与目标状态中剧情状态的相似度不为1，则根据剧情状态差建立第二附加修正任务，按照第二附加修正任务进行界面控制；当第二附加修正任务执行完毕时，返回步骤31。
进一步地，所述第一附加修正任务通过以下方式建立：
获得资源数量差中所有负值元素的索引及元素值，从而确定所有待取得道具及对应的取得数量（索引对应道具编号，元素值的绝对值为取得数量）；
根据待取得道具从数据库中获取相应任务指令数据；
将所有待取得道具的任务指令数据组合成第一附加修正任务。
进一步地，所述第二附加修正任务通过以下方式建立：
获得剧情状态差中所有负值元素的索引，从而确定所有待完成剧情任务（索引对应剧情任务编号）；
根据待完成剧情任务从数据库中获取相应任务指令数据；
将所有待完成剧情任务的任务指令数据组合成第二附加修正任务。
需要说明的是，现有的界面自动控制方法在不满足执行条件时将自动停止，难以自动迭代实现完全自动化控制；本方法在不满足执行条件时，可执行补充任务，从而支持原始目标任务继续执行，自动化程度更高。
作为一种实施例，步骤36、判断目标状态是否为结束状态的方式为：若目标状态是所述任务指令数据的最后一个元素，则目标状态为结束状态。
作为一种实施例，参考图3，所述界面控制方法借助界面控制***完成，所述界面控制***由指令交互模块、指令生成模块、数据库模块、界面捕获模块、状态分析模块、界面操控模块组成。
指令交互模块用于根据用户输入数据获得目标任务指令。
指令生成模块用于根据目标任务指令数据从数据中查询相应的任务指令数据。
界面捕获模块用于调用设备api截取游戏画面，并对游戏画面图像进行预处理。
状态分析模块用于执行识别当前游戏状态中的相关状态分析、判断。
界面操控模块用于按照操作指令调用设备与游戏api完成界面控制操作。
数据库模块用于存储界面控制***的依赖数据，所述数据库模块由任务指令数据子模块、游戏坐标数据子模块、道具资源数据子模块、剧情任务数据子模块组成。
所述任务指令数据子模块用于存储任务指令数据；所述游戏坐标数据子模块用于存储游戏中所有物体的坐标数据；所述道具资源数据子模块用于存储游戏中所有道具资源的相关数据；所述剧情任务数据子模块用于存储游戏中所有剧情任务的相关数据。
作为一种实施例，本发明所述方法可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用计算机或任何其他类似硬件设备来实现。
本发明所述的方法可以软件程序的形式实施，所述软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，所述软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。
另外，本发明所述方法的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明所述的方法的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本发明所述方法的程序指令，可被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。
作为一种实施例，本发明还提供一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述的多个实施例的方法和/或技术方案。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
最后，需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
另外，各个实施例之间的技术方案可以互相结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求保护的范围之内。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (9)

1.一种界面控制方法，其特征在于，
所述方法包括以下步骤：
步骤1、获得目标任务指令；
步骤2、根据目标任务指令获得任务指令数据；
步骤3、识别当前游戏状态，并按照任务指令数据执行对应操作指令进行界面控制，直到完成目标任务指令；
其中，步骤3包括以下步骤：
步骤31、将目标状态与目标操作设置为空；
步骤32、识别当前游戏状态，获得当前游戏状态数据；
步骤33、若目标状态为空，则进行任务初始化操作；
步骤34、判断当前游戏状态与目标状态是否一致；若不一致则执行步骤35，否则执行步骤36；
步骤35、根据当前游戏状态与目标状态的差异，获得并执行相应修正任务；返回步骤32；
步骤36、判断目标状态是否为结束状态；若是则结束，否则执行步骤37；
步骤37、将目标状态更新为对应子任务状态的下一子任务状态；
步骤38、按照目标操作执行界面控制，当监测到目标操作完成时，将目标操作更新为此时目标状态对应的操作指令；返回步骤32；
所述任务指令数据由若干子任务数据组成；所述子任务数据由子状态编号、子任务状态及对应的操作指令组成；
所述子任务状态由人物坐标、资源数量、剧情状态组成；所述人物坐标为人物所处游戏地图的坐标值；所述资源数量为游戏道具资源数量；所述剧情状态为当前游戏剧情任务的完成状况；
计算当前游戏状态数据与任务指令数据中的若干子任务状态的相似度包括：
（1）计算当前游戏状态与子任务状态中人物坐标的相似度，得到第一相似度；所述第一相似度的计算方法为：若子任务状态的人物坐标为空，则第一相似度为1，否则按照以下公式计算第一相似度：
；
其中s 1 为第一相似度，L 1 为当前游戏状态中人物坐标构成的向量，L 2 为子任务状态中人物坐标构成的向量；
（2）计算当前游戏状态与子任务状态中资源数量的相似度，得到第二相似度；若子任务状态的资源数量数据为零向量，则第二相似度为1；否则，计算当前游戏状态与子任务状态的资源数量数据的差值，得到资源数量差；所述资源数量差为向量形式的数据；若资源数量差中存在负值元素，则第二相似度为0；若资源数量差中不存在负值元素，则第二相似度为1；获得资源数量差中所有负值元素的索引及元素值，从而确定所有待取得道具及对应的取得数量，根据待取得道具从数据库中获取相应任务指令数据，将所有待取得道具的任务指令数据组合成第一附加修正任务；
（3）计算当前游戏状态与子任务状态中剧情状态的相似度，得到第三相似度；所述第三相似度的计算方法为：若子任务状态的剧情状态数据为零向量，则第三相似度为1；否则，计算当前游戏状态与子任务状态的剧情状态数据的差值，得到剧情状态差；所述剧情状态差为向量形式的数据；若剧情状态差中存在负值元素，则第三相似度为0；若剧情状态差中不存在负值元素，则第三相似度为1；获得剧情状态差中所有负值元素的索引，从而确定所有待完成剧情任务，根据待完成剧情任务从数据库中获取相应任务指令数据，将所有待完成剧情任务的任务指令数据组合成第二附加修正任务。
2.根据权利要求1所述的方法，其特征在于，
获得任务指令数据的具体方式为：根据目标任务指令在数据库中查询对应的任务指令数据。
3.根据权利要求1所述的方法，其特征在于，
所述任务初始化操作具体包括：
计算当前游戏状态与任务指令数据中的若干子任务状态的相似度，将最大相似度对应的子任务状态作为目标状态，并将目标状态更新为对应子状态编号，将目标操作更新为对应操作指令。
4.根据权利要求1所述的方法，其特征在于，
步骤32包括：
步骤321、进行人物坐标识别，获得人物坐标数据；
步骤322、进行资源数量识别，获得资源数量数据；
步骤323、进行剧情状态识别，获得剧情状态数据。
5.根据权利要求4所述的方法，其特征在于，
步骤321中进行人物坐标识别通过以下步骤实现：
步骤321a1、截取游戏画面，获得第一游戏画面图像；
步骤321a2、对第一游戏画面图像进行图像预处理，得到第二游戏画面图像；
步骤321a3、提取第二游戏画面图像中的文字信息，获得关键名称数据；
步骤321a4、识别第二游戏画面图像中的关键物体，获得关键物体数据；
步骤321a5、筛选出关键名称数据与关键物体数据中相同的元素得到第一标志数据；
步骤321a6、从数据库中查询出第一标志数据中所有元素的游戏世界坐标得到第一标志坐标数据；
步骤321a7、获得第一标志坐标数据中所有元素在第二游戏画面图像中的画面坐标，得到第二标志坐标数据；
步骤321a8、由第一坐标数据与第二坐标数据计算此时画面坐标与游戏世界坐标的变换矩阵，得到坐标变换矩阵；
步骤321a9、获得人物在第二游戏画面图像中的画面坐标，借助坐标变换矩阵计算人物的游戏世界坐标，得到人物坐标数据。
6.根据权利要求4所述的方法，其特征在于，
步骤321a1中截取游戏画面前还包括以下步骤：控制游戏视角至俯视视角，并按照预设缩放比例缩小游戏画面。
7.根据权利要求4所述的方法，其特征在于，
步骤322中进行资源数量识别可通过以下步骤实现：
步骤322a1、按照预设资源查看步骤控制游戏界面，打开游戏资源列表；
步骤322a2、截取游戏画面，获得第三游戏画面图像；
步骤322a3、借助模板匹配获得第三游戏画面图像中的所有道具的道具名称及对应的道具画面坐标；
步骤322a4、借助文字识别检测获得第三游戏画面图像中的所有道具的道具数量及对应的数字画面坐标；
步骤322a5、将道具的道具画面坐标与数字画面坐标进行匹配对应，得到资源数量信息，所述资源数量信息由各道具名称及对应的道具数量组成；
步骤322a6、将资源数量信息整理为向量形式的数据得到资源数量数据。
8.根据权利要求4所述的方法，其特征在于，
步骤323中进行任务状态识别可通过以下步骤实现：
步骤323a1、按照预设任务查看步骤控制游戏界面，打开游戏任务列表；
步骤323a2、截取游戏画面，获得第四游戏画面图像；
步骤323a3、借助文字识别检测获得第四游戏画面图像中的任务文字数据；
步骤323a4、对所述任务文字数据按照预设文字提取规则进行正则匹配和提取，得到剧情状态信息；
步骤323a5、将所述剧情状态信息整理为向量形式的数据得到剧情状态数据。
9.根据权利要求1所述的方法，其特征在于,
步骤35包括以下步骤：
步骤351、若当前游戏状态与目标状态中人物坐标的相似度不大于预设坐标相似度阈值，则计算目标状态与当前游戏状态的人物坐标差值，得到坐标差异值，并按照坐标差异值进行坐标修正操作；
步骤352、若当前游戏状态与目标状态中资源数量的相似度不为1，则根据资源数量差建立第一附加修正任务，按照第一附加修正任务进行界面控制；当第一附加修正任务执行完毕时，返回步骤31；
步骤353、若当前游戏状态与目标状态中剧情状态的相似度不为1，则根据剧情状态差建立第二附加修正任务，按照第二附加修正任务进行界面控制；当第二附加修正任务执行完毕时，返回步骤31。
CN202310862244.XA 2023-07-14 2023-07-14 一种界面控制方法 Active CN116603238B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310862244.XA CN116603238B (zh) 2023-07-14 2023-07-14 一种界面控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310862244.XA CN116603238B (zh) 2023-07-14 2023-07-14 一种界面控制方法

Publications (2)

Publication Number Publication Date
CN116603238A CN116603238A (zh) 2023-08-18
CN116603238B true CN116603238B (zh) 2023-10-03

Family

ID=87683908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310862244.XA Active CN116603238B (zh) 2023-07-14 2023-07-14 一种界面控制方法

Country Status (1)

Country Link
CN (1) CN116603238B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733034A (zh) * 2021-01-21 2021-04-30 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及存储介质
CN115581922A (zh) * 2022-10-13 2023-01-10 北京字跳网络技术有限公司 游戏角色控制方法、装置、存储介质以及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9827498B2 (en) * 2014-01-03 2017-11-28 Empire Technology Development Llc Dynamic gaming experience adjustments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733034A (zh) * 2021-01-21 2021-04-30 腾讯科技（深圳）有限公司 内容推荐方法、装置、设备及存储介质
CN115581922A (zh) * 2022-10-13 2023-01-10 北京字跳网络技术有限公司 游戏角色控制方法、装置、存储介质以及电子设备

Also Published As

Publication number Publication date
CN116603238A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
US12019675B2 (en) Recognizing text in image data
CN113139445B (zh) 表格识别方法、设备及计算机可读存储介质
CN109255300B (zh) 票据信息提取方法、装置、计算机设备及存储介质
EP3916629A1 (en) Method, apparatus and device for identifying illegal building, and storage medium
CN110675940A (zh) 病理图像标注方法、装置、计算机设备及存储介质
CN111340020B (zh) 一种公式识别方法、装置、设备及存储介质
CN115061769B (zh) 用于支持跨分辨率的自迭代rpa界面元素匹配方法及***
US8392887B2 (en) Systems and methods for identifying graphic user-interface components
CN107305682B (zh) 用于对图像进行拼接的方法和装置
CN112559341A (zh) 一种画面测试方法、装置、设备及存储介质
CN111680686A (zh) 招牌信息识别方法、装置、终端及存储介质
CN111353484A (zh) 图像字符识别方法、装置、设备及可读存储介质
CN110991357A (zh) 一种答案匹配方法、装置和电子设备
CN114494751A (zh) 证照信息识别方法、装置、设备及介质
CN113704111A (zh) 页面自动化测试方法、装置、设备及存储介质
CN116603238B (zh) 一种界面控制方法
US6968501B2 (en) Document format identification apparatus and method
CN115131693A (zh) 文本内容识别方法、装置、计算机设备和存储介质
CN115546219B (zh) 检测板式生成方法、板卡缺陷检测方法、装置及产品
CN117033309A (zh) 一种数据转换方法、装置、电子设备及可读存储介质
CN114155547B (zh) 一种图表识别方法、装置、设备及存储介质
CN111783737B (zh) 一种数学公式的识别方法和识别装置
JP3792759B2 (ja) 文字認識方法とその装置
CN111124862A (zh) 智能设备性能测试方法、装置及智能设备
CN114120016B (zh) 字符串提取方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant