CN109200583A - 控制游戏npc行为的方法、***及存储介质 - Google Patents
控制游戏npc行为的方法、***及存储介质 Download PDFInfo
- Publication number
- CN109200583A CN109200583A CN201810869314.3A CN201810869314A CN109200583A CN 109200583 A CN109200583 A CN 109200583A CN 201810869314 A CN201810869314 A CN 201810869314A CN 109200583 A CN109200583 A CN 109200583A
- Authority
- CN
- China
- Prior art keywords
- behavior
- npc
- player
- training data
- game
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
一种控制游戏NPC行为的方法、***及存储介质，所述方法包括步骤：将玩家行为及结果作为样本，提取出训练数据；预处理训练数据；采用机器学习算法，训练训练数据，得到行为模型；基于行为模型，控制NPC的AI行为。本发明的控制游戏NPC行为的方法、***及存储介质，能够较大幅度地改善NPC的AI行为，令NPC与玩家进行有效的互动，并且通过不断地调整游戏策略，使玩家始终沉浸在游戏中。
Description
技术领域
本发明涉及AI行为技术领域，特别是涉及一种控制游戏NPC行为的方法、***及存储介质。
背景技术
随着网络游戏的蓬勃发展，越来越多的游戏作品上线，游戏行业的竞争愈加激烈。开发者若想保证开发的游戏立于不败之地，游戏的可玩性是一个重要的因素。在网络游戏中，特别是在大型游戏中NPC的AI***是游戏的可玩性的重要保障。
然而传统游戏中NPC的行为较为简单，常用的AI逻辑主要是基于状态机机制，即通过将玩家的行为作为输入，计算出NPC需要作出的决策，并将决策作为输出。此种固有的行为模式，玩家在经过一段时间的战斗后，就会很容易地发现NPC的行为规律，从而能够找出战胜NPC的策略，进而失去了游戏的乐趣。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种控制游戏NPC行为的方法、***及存储介质，基于玩家行为控制游戏NPC行为，能够较大幅度地改善NPC的AI行为，令NPC与玩家进行有效的互动，并且通过不断地调整游戏策略，使玩家始终沉浸在游戏中。
为实现上述目的，本发明提供的控制游戏NPC行为的方法，包括以下步骤：
将玩家行为及结果作为样本，提取出训练数据；
预处理训练数据；
采用机器学习算法，训练训练数据，得到行为模型；
基于行为模型，控制NPC的AI行为。
进一步地，所述的基于玩家行为控制游戏NPC行为的方法，还包括步骤：
将新的玩家行为及结果作为新的样本，优化训练行为模型。
更进一步地，所述的基于玩家行为控制游戏NPC行为的方法，还包括步骤：设定一个时间点进行行为模型的优化训练。
进一步地，所述玩家行为是，与NPC进行行为交互的玩家行为；
所述玩家行为包括：玩家与NPC的战斗行为。
进一步地，所述训练数据包括：玩家的属性值、技能类型、技能释放时间点以及战斗胜率。
所述预处理训练数据的步骤进一步包括步骤：
对训练数据中的数值型数据进行归一化处理，对训练数据中的类型变量进行独热码编码处理。
更进一步地，所述预处理训练数据的步骤还包括步骤：
对训练数据进行异常值剔除处理。
进一步地，所述基于行为模型，控制NPC的AI行为的步骤进一步包括步骤：
调用模型预测算法，将玩家当前的行为特征作为输入，预测出NPC当前的行为类型，根据行为类型控制NPC的AI行为，与玩家进行交互。
为实现上述目的，本发明提供的控制游戏NPC行为的***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
为实现上述目的，本发明提供的计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本发明的控制游戏NPC行为的方法、***及存储介质，利用玩家打怪的历史记录等玩家行为及结果作为样本提取出训练数据，训练出合适的行为模型控制NPC的AI行为，并且随着玩家行为即时性地不断改变策略，将新的玩家行为及结果作为新的样本，不断地优化行为模型，从而能够保障游戏的质量和可玩性，让游戏能够从游戏群中脱颖而出，吸引更多的玩家，并且让玩家始终对游戏保持兴趣。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的控制游戏NPC行为的方法流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为根据本发明的控制游戏NPC行为的方法流程图，下面将参考图1，对本发明的控制游戏NPC行为的方法进行详细描述。
在步骤101，将玩家行为及结果作为样本，提取出训练数据。
该步骤中，将数据库中玩家与NPC的战斗日志等记录的与NPC进行行为交互的玩家行为及结果作为样本，提取出玩家的属性值、技能类型、技能释放时间点以及战斗胜率等数据作为训练数据，例如训练用的特征值等。
优选地，选择让NPC胜率保持在预定胜率时的玩家行为及结果作为样本中的正样本。
在步骤102，预处理训练数据。
该步骤中，首先，对训练数据中的玩家的属性值等数值型数据进行归一化处理，对训练数据中的技能类型等类型变量进行One-Hot（独热码）编码处理；然后，再对训练数据进行异常值剔除等处理，将玩家故意输掉或者NPC胜率低于或者高于预定胜率等情况时的数据剔除。
在步骤103，采用机器学习算法，训练训练数据，得到行为模型。
该步骤中，采用随机森林、XGBOOST（eXtreme Gradient Boosting，极端梯度提升）等机器学习中常用的算法，对步骤103中预处理后的训练数据进行训练，计算出对应的行为模型。
在训练训练数据的过程中，将训练数据中的玩家的行为特征作为输入，将训练数据中的NPC的行为特征作为输出。
在步骤104，调用模型预测算法，基于行为模型，控制NPC的AI行为。
该步骤中，若玩家进行打怪操作等与NPC进行行为交互的玩家行为，则调用模型预测算法，并基于行为模型，将玩家当前的属性值以及玩家当前的技能类型等行为特征作为输入，预测出NPC当前的最佳的行为类型，***服务器根据返回的行为类型来控制NPC的AI行为，与玩家进行交互。
优选地，若训练数据的数据量较小，训练误差会比较大，达不到较好的效果，则可按照人为制定的随机策略等方法来指定NPC的AI行为。
在步骤105，将新的玩家行为及结果作为新的样本，优化训练行为模型。
该步骤中，若玩家结束打怪操作等与NPC进行行为交互的玩家行为，则将结束的打怪操作等与NPC进行行为交互的玩家行为及结果作为新的样本，提取出新的训练数据传入到***的数据收集模块中进行行为模型的优化训练。
优选地，设定一个时间点进行行为模型的优化训练，不必在每次监测到玩家结束打怪操作等与NPC进行行为交互的玩家行为时都进行行为模型的优化训练，去调整行为模型，从而能够减少***服务器的性能开销。
基于本发明的基于玩家行为控制游戏NPC行为的方法，本发明提供的基于玩家行为控制游戏NPC行为的***，包括至少一个计算设备，所述至少一个计算设备包括存储器、处理器及存储在存储器上并可在处理器上运行的至少一个计算机程序，所述处理器执行所述至少一个计算机程序时实现本发明所述方法的步骤。
基于本发明的基于玩家行为控制游戏NPC行为的方法，本发明提供的计算机可读存储介质，其上存储有至少一个计算机程序，所述至少一个计算机程序被处理器执行时实现本发明所述方法的步骤。
本发明提供的计算机可读存储介质，位于至少一个计算设备，所述至少一个计算设备包括处理器，所述处理器执行所述计算机可读存储介质上存储的至少一个计算机程序时实现本发明所述方法的步骤。
本发明的控制游戏NPC行为的方法、***及存储介质，基于玩家行为，利用玩家打怪的历史记录等玩家行为及结果作为样本提取出训练数据，训练出合适的行为模型控制NPC的AI行为，并且随着玩家行为即时性地不断改变策略，将新的玩家行为及结果作为新的样本，不断地优化行为模型，从而能够保障游戏的质量和可玩性，让游戏能够从游戏群中脱颖而出，吸引更多的玩家，并且让玩家始终对游戏保持兴趣。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种控制游戏NPC行为的方法，其特征在于，该方法基于玩家的行为控制游戏NPC行为，包括以下步骤：
将玩家行为及结果作为样本，提取出训练数据；
预处理训练数据；
采用机器学习算法，训练训练数据，得到行为模型；
基于行为模型，控制NPC的AI行为。
2.根据权利要求1所述的控制游戏NPC行为的方法，其特征在于，还包括步骤：
将新的玩家行为及结果作为新的样本，优化训练行为模型。
3.根据权利要求2所述的控制游戏NPC行为的方法，其特征在于，还包括步骤：设定一个时间点进行行为模型的优化训练。
4.根据权利要求1所述的控制游戏NPC行为的方法，其特征在于，所述玩家行为是，与NPC进行行为交互的玩家行为；
所述玩家行为包括：玩家与NPC的战斗行为。
5.根据权利要求1所述的控制游戏NPC行为的方法，其特征在于，所述训练数据包括：玩家的属性值、技能类型、技能释放时间点以及战斗胜率。
6.根据权利要求1所述的控制游戏NPC行为的方法，其特征在于，所述预处理训练数据的步骤进一步包括步骤：
对训练数据中的数值型数据进行归一化处理，对训练数据中的类型变量进行独热码编码处理。
7.根据权利要求6所述的控制游戏NPC行为的方法，其特征在于，所述预处理训练数据的步骤还包括步骤：
对训练数据进行异常值剔除处理。
8.根据权利要求1所述的控制游戏NPC行为的方法，其特征在于，所述基于行为模型，控制NPC的AI行为的步骤进一步包括步骤：
调用模型预测算法，将玩家当前的行为特征作为输入，预测出NPC当前的行为类型，根据行为类型控制NPC的AI行为，与玩家进行交互。
9.一种控制游戏NPC行为的***，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-8中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810869314.3A CN109200583A (zh) | 2018-08-02 | 2018-08-02 | 控制游戏npc行为的方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810869314.3A CN109200583A (zh) | 2018-08-02 | 2018-08-02 | 控制游戏npc行为的方法、***及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109200583A true CN109200583A (zh) | 2019-01-15 |
Family
ID=64987981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810869314.3A Withdrawn CN109200583A (zh) | 2018-08-02 | 2018-08-02 | 控制游戏npc行为的方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109200583A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110052031A (zh) * | 2019-04-11 | 2019-07-26 | 网易（杭州）网络有限公司 | 玩家的模仿方法、装置及可读存储介质 |
| CN110102055A (zh) * | 2019-05-14 | 2019-08-09 | 网易（杭州）网络有限公司 | 一种虚拟对象的决策方法和装置 |
| CN110141867A (zh) * | 2019-04-23 | 2019-08-20 | 广州多益网络股份有限公司 | 一种游戏智能体训练方法及装置 |
| CN111111203A (zh) * | 2020-01-16 | 2020-05-08 | 网易（杭州）网络有限公司 | 一种机器人的训练方法及装置、技能释放方法及装置 |
| CN111494959A (zh) * | 2020-04-22 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 游戏操控方法、装置、电子设备及计算机可读存储介质 |
| CN113144609A (zh) * | 2021-04-25 | 2021-07-23 | 上海雷鸣文化传播有限公司 | 一种基于遗传算法的游戏角色行为算法 |
| CN113617036A (zh) * | 2021-08-06 | 2021-11-09 | 网易（杭州）网络有限公司 | 游戏中对话处理方法、装置、设备及存储介质 |
| CN114040806A (zh) * | 2019-06-14 | 2022-02-11 | 战斗机基地出版公司 | 用于人工智能驱动的用户界面的方法和*** |
| CN116351072A (zh) * | 2023-04-06 | 2023-06-30 | 北京羯磨科技有限公司 | 一种网络游戏中机器人脚本录制与播放方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013180322A1 (ko) * | 2012-05-30 | 2013-12-05 | 주식회사 쏘그웨어 | 게임 사용자 수준에 따른 ｎｐｃ ａｉ제공방법 |
| CN105561578A (zh) * | 2015-12-11 | 2016-05-11 | 北京像素软件科技股份有限公司 | 一种非玩家控制角色npc的行为决策方法 |
| CN107998661A (zh) * | 2017-12-26 | 2018-05-08 | 苏州大学 | 一种在线对战游戏的辅助决策方法、装置及存储介质 |
| CN108211362A (zh) * | 2017-12-26 | 2018-06-29 | 浙江大学 | 一种基于深度q学习网络的非玩家角色战斗策略学习方法 |
-
2018
- 2018-08-02 CN CN201810869314.3A patent/CN109200583A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013180322A1 (ko) * | 2012-05-30 | 2013-12-05 | 주식회사 쏘그웨어 | 게임 사용자 수준에 따른 ｎｐｃ ａｉ제공방법 |
| CN105561578A (zh) * | 2015-12-11 | 2016-05-11 | 北京像素软件科技股份有限公司 | 一种非玩家控制角色npc的行为决策方法 |
| CN107998661A (zh) * | 2017-12-26 | 2018-05-08 | 苏州大学 | 一种在线对战游戏的辅助决策方法、装置及存储介质 |
| CN108211362A (zh) * | 2017-12-26 | 2018-06-29 | 浙江大学 | 一种基于深度q学习网络的非玩家角色战斗策略学习方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110052031A (zh) * | 2019-04-11 | 2019-07-26 | 网易（杭州）网络有限公司 | 玩家的模仿方法、装置及可读存储介质 |
| CN110141867A (zh) * | 2019-04-23 | 2019-08-20 | 广州多益网络股份有限公司 | 一种游戏智能体训练方法及装置 |
| CN110102055A (zh) * | 2019-05-14 | 2019-08-09 | 网易（杭州）网络有限公司 | 一种虚拟对象的决策方法和装置 |
| CN114040806A (zh) * | 2019-06-14 | 2022-02-11 | 战斗机基地出版公司 | 用于人工智能驱动的用户界面的方法和*** |
| CN111111203A (zh) * | 2020-01-16 | 2020-05-08 | 网易（杭州）网络有限公司 | 一种机器人的训练方法及装置、技能释放方法及装置 |
| CN111111203B (zh) * | 2020-01-16 | 2023-09-26 | 网易（杭州）网络有限公司 | 一种机器人的训练方法及装置、技能释放方法及装置 |
| CN111494959A (zh) * | 2020-04-22 | 2020-08-07 | 腾讯科技（深圳）有限公司 | 游戏操控方法、装置、电子设备及计算机可读存储介质 |
| CN113144609A (zh) * | 2021-04-25 | 2021-07-23 | 上海雷鸣文化传播有限公司 | 一种基于遗传算法的游戏角色行为算法 |
| CN113617036A (zh) * | 2021-08-06 | 2021-11-09 | 网易（杭州）网络有限公司 | 游戏中对话处理方法、装置、设备及存储介质 |
| CN116351072A (zh) * | 2023-04-06 | 2023-06-30 | 北京羯磨科技有限公司 | 一种网络游戏中机器人脚本录制与播放方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109200583A (zh) | 控制游戏npc行为的方法、***及存储介质 | |
| Li et al. | Suphx: Mastering mahjong with deep reinforcement learning | |
| US10639553B2 (en) | Systems and methods for crowd-sourced game strategy | |
| US11679330B2 (en) | Systems and methods for generating improved non-player characters | |
| CN108211362B (zh) | 一种基于深度q学习网络的非玩家角色战斗策略学习方法 | |
| US20200324206A1 (en) | Method and system for assisting game-play of a user using artificial intelligence (ai) | |
| Agarwala et al. | Learning Dota 2 team compositions | |
| CN112843725A (zh) | 智能体处理方法及装置 | |
| CN111841018A (zh) | 模型训练方法、模型使用方法、计算机设备及存储介质 | |
| CN111569429A (zh) | 模型训练方法、模型使用方法、计算机设备及存储介质 | |
| Panumate et al. | An Approach to Quantifying Pokemon's Entertainment Impact with Focus on Battle | |
| Kachalsky et al. | Applying reinforcement learning and supervised learning techniques to play hearthstone | |
| Oikawa et al. | Improving human players’ T-spin skills in Tetris with procedural problem generation | |
| Nam et al. | Generation of diverse stages in turn-based role-playing game using reinforcement learning | |
| CN113209640B (zh) | 解说的生成方法、装置、设备及计算机可读存储介质 | |
| CN113393063A (zh) | 比赛结果预测方法、***、程序产品及存储介质 | |
| Jiménez-Díaz et al. | Predicting performance in team games-the automatic coach | |
| Jakubik | A neural network approach to hearthstone win rate prediction | |
| CN116943204A (zh) | 虚拟对象的控制方法、装置和存储介质及电子设备 | |
| Saini et al. | Mimicking human strategies in fighting games using a data driven finite state machine | |
| Moriarty et al. | Learning human behavior from observation for gaming applications | |
| Oh et al. | Imitation learning for combat system in RTS games with application to starcraft | |
| Fernández-Ares et al. | There can be only one: Evolving RTS bots via joust selection | |
| Boney et al. | Learning to play imperfect-information games by imitating an oracle planner | |
| Stanescu et al. | Combat outcome prediction for real-time strategy games |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190115 |