合成游戏

概述

• 本示例主要展示如何修改初始化文件配置中的4_item.csv文件构造一个复杂的合成游戏。
• 该游戏的最终目标是合成FancyColorDiamond，具有很长的合成表的合成路径。

具体设计

动植物设计

目前环境中配备了10个being，具体信息可见config/3_being.csv，下面给出它们的主要信息：

游戏机制为受到的伤害=攻击者攻击力-被攻击者防御力，攻击being时，不产生效果的原因既可能为没有装备对应的装备，也可能是攻击力小于目标的防御力。

合成表设计

玩法策略设计

在合成游戏中，玩家的最终目标是获得彩钻，即FancyColorDiamond。为了达成这一目的，玩家需要在保证自己生存的同时收集材料、升级装备，最终通过多步合成获取。

以下为在默认配置下，快速获取彩钻的方式。当然，使用者可以根据自身需要，调整config文件夹下的配置信息，来增加或者降低游戏难度。如，若增加苹果树的重生周期和生产周期，则会迫使agent需要在游戏中期合成部分装备去杀死动物保证生存，就给予了Agent更大的生存压力。

保证生存

在默认配置中，AppleTree的重生周期比较快，因此玩家只需要定期的砍AppleTree、捡取Apple，在需要时consume就能保证饱食度。饥渴度通过采集Pool中的Water保证，在移动时看见新的Pool可以去采集，保证Water和Apple都有50+基本就足够了。

合成装备

在合成游戏下，采集/合成物品有时需要身上的buff满足特定条件（Condition）。在目前配置下，获得彩钻的过程中需要的buff都是由装备提供的，在保证生存的情况下，获得这些装备可以参考如下步骤：

1. 捡Branch，用Branch合成WoodAxe并装备，不断砍树获得Wood和Branch，当然顺带也可能获得Apple；
2. 捡Stone，用Wood和Stone合成StonePickaxe并装备，不断挖IronMine和StoneMine获得Stone和IronOre；
3. 用Stone合成StoneSmelter并装备；
4. 用Wood合成Coal,用Coal和IronOre合成IronIngot；
5. 用IronIngot合成IronSmelter并装备；
6. 用Coal和IronIngot合成SteelIngot；
7. 用SteelIngot合成SteelSmelter并装备；
8. 用SteelIngot和Wood合成SteelPickaxe并装备；
9. 开始挖GemMine获得GemStone；
10. 上述所有Item准备充足，即通过合成表一步一步合成获取彩钻即可。

可视化运行Demo

合成游戏的运行Demo如下图中所示，由于合成到FancyColorDiamond所需要的步骤过多，只显示智能体合成到StoneSword。

算法运行Demo

训练方法

算法既可以在原始动作空间上训练，也可以在简化后的动作空间上训练。下面展示如何在原始动作空间上使用stable_baselines3库中的PPO算法进行训练。

import gym, eden
import time
from eden.wrappers import SelectActionTarget, ObsScale, Reward,ObsReader,ActScale
from stable_baselines3 import PPO
from eden.wrappers.one_agent_wrapper import OneAgent
import tensorboard
from eden.interactive import Render

if __name__ == '__main__':
    e = gym.make('eden-v1')
    e.reset()
    e = Reward(e)#reward函数
    e = OneAgent(e)#将多智能体环境变为单智能体环境
    #e = ObsReader(e)#解析observation的wrapper，若想使用原始obs可删掉
    #e = ActScale(e)#简化动作空间的wrapper，若想采用原始动作空间删除这行即可
    e.reset()
    tensorboard_dir = "PPO_compound_test"
    
    model = PPO("MlpPolicy", e, verbose=1,tensorboard_log=tensorboard_dir + '/')
    model.learn(total_timesteps=1000000)
    model.save("ppo_test")#保存文件位置
    
    #以下为观察模型效果的代码，可以展示游戏界面
    #render = Render(e,10)
    #model = PPO.load("ppo_test")
    #obs = e.reset()
    #while True:
        #action, _states = model.predict(obs)
        #obs, rewards, dones, info = e.step(action)
        #time.sleep(.5)
        #if not render.fresh():
            #break

如此就可以训练并将模型保存。

动作空间简化

原始动作空间为([动作id,x坐标,y坐标]),其中动作有9种：Idle, Attack, Collect, Pickup, Consume, Equip, Synthesize, Discard, Move。当然，在enden-v1下动作空间被包装为[左键/右键,目标的x,目标的y]。在40x40的地图配置中，x有82个取值，y有40个取值。在这么大的离散空间中，采样获得正确动作的概率太小，baseline算法如PPO等很难学到一个有意义的结果。因而需要Wrapper对action进行降维、简化，帮助算法学习一个有意义的结果。

因此在游戏中配置了一种action_wrapper的样例，通过env = ActScale(env)包装后就可以完成动作空间的映射。

为了达成合成IronIngot的目标，将动作空间修改如下，

具体动作编号设置如下：

相较于默认环境，为了简化任务难度，在实验中做了以下修改：

1.agent理应记录pool的储存数目，否则会做无意义的采水动作；为了简便，设置pool的储量为无限；

2.设定初始Hunger和Thirst为500；

3.苹果只能通过击杀苹果树得到，掉落30个苹果。

在这个配置下，测试一直执行4（找铁）动作是可以获得IronIngot的，说明任务并不难，这个action_wrapper可以看作是一种简单的人工策略。

动作设计机制就参考动作3-动作8的联动，优先级捡>获取所需装备/材料>找。需要完成更高级的合成任务时，可按此机制增加动作（如增加找IronSmelter/Steel这些操作）。

结果样例

在简化动作空间上训练出的一个结果图如下，

可见，智能体可以完成采集树枝、合成/装备木斧、砍苹果树、收集苹果这些操作。实际训练时发现，设置一个合适的reward是能否训练出优秀策略的关键：把生存类的reward调高时（如吃苹果），训练出的模型就只会去吃水/吃苹果，虽然一直死不了，但也不会合成东西；把合成类的reward调高时（如合成铁的reward），训练出的模型就会不顾死活，一直去合成。因此，目前利用PPO训练出的模型很难在生存和合成之间找到一个平衡。