基于强化学习的放置类游戏

心理基础：

• 好奇心：总是想去看下游戏里有没有什么变化
• 代入感：对游戏里自我成长的角色产生情感
• 陪伴需求：就像自己养的宠物一样

游戏特定：

• 云游戏
• 2d格子地图场景
• 每个角色有不同的头像，动画，技能
• 角色可以和场景有通过的互动：在水边可以减少饥渴度等
• 角色通过强化学习场景中的元素的作用
• 玩家对场景有有限的操作自由度，但对角色没有任何操作

相关资料

• Neural MMO: A Massively Multiagent Game Environment
  • https://arxiv.org/pdf/1903.00784.pdf
• EMERGENT TOOL USE FROM MULTI-AGENT AUTOCURRICULA
  • https://d4mucfpksywv.cloudfront.net/emergent-tool-use/paper/Multi_Agent_Emergence_2019.pdf

实施方案

• 先做一个最小版的游戏，然后不断向游戏里面加入更多的元素
  • 一共三个角色，每个角色用一个头像表示
  • 场景格子大小：40*30
  • 地形格子有两种类型：陆地和水域
  • 角色属性1：生命值hp
    • 在陆地上hp每10秒减少一点，在水域的8相邻格子上，hp每1秒增加1点
  • 角色属性2：移动速度mov_spd，每秒移动的格子数
  • 角色技能1：近程攻击
    • 可以攻击8相邻格子里的其他角色，攻击一次，目标hp-10
  • 角色技能：远程攻击
    • 可以攻击距离5格里的其他角色，攻击一次，目标hp-3
  • 角色每秒可以进行一次操作：移动或者攻击
  • 角色1属性：近程攻击，移动速度1
  • 角色2属性：远程攻击，移动速度0.5
  • 角色3属性：没有攻击技能，移动速度5
  • 技能和移动都有对应的序列帧动画
  • 角色不能移动到水域的格子上
  • 一个格子只能有一个角色
  • 玩家可以付费增加某种角色的数量，数量越多，这个角色的学习速度越快。系统会自动保持场景里面每种角色一定的数量。
  • 玩家可以付费修改地图格子的属性
  • 游戏显示每个角色的平均生存时间