Neuron Poker: 德州扑克的OpenAI Gym环境

这是一个用于训练神经网络玩德州扑克的环境。请尝试建模您自己的玩家并创建pull request，这样我们就可以合作并创造出最好的玩家。

使用方法:

运行:

• 安装Python 3.11，我也推荐安装PyCharm。
• 使用 curl -sSL https://install.python-poetry.org | python3 - 安装Poetry
• 使用 poetry env use python3.11 创建虚拟环境
• 使用 poetry shell 激活环境
• 使用 poetry install --no-root 安装所有必需的包
• 运行6个随机玩家相互对战: poetry run python main.py selfplay random --render 或
• 手动控制玩家: poetry run python main.py selfplay keypress --render
• 遗传算法自我改进的例子: poetry run python main.py selfplay equity_improvement --improvement_rounds=20 --episodes=10
• 要使用C++版本的权益计算器，你还需要安装Visual Studio 2019(或Cygwin上的GCC也可能可行)。要使用它，在运行main.py时使用-c选项。
• 对于更高级的用户: poetry run python main.py selfplay dqn_train -c 将启动深度Q代理的训练，使用C++ Monte Carlo以加快计算速度

运行分析

在一个回合结束时，可以通过总结图表观察玩家的表现。

包和模块:

main.py: 入口点和命令行解释器。使用gym运行代理。文件顶部的文档字符串描述了命令行选项。 它们由docopt解释。

gym_env

- ``env.py``: 德州扑克无限注OpenAI Gym环境 & 
  ``rendering.py``: 游戏过程中的渲染图形

agents
~~~~~~
请在此处添加您基于模型的代理。

- ``agent_random.py``: 做出随机决策的代理
- ``agent_keypress.py``: 通过按键做出决策的代理
- ``agent_consider_equity.py``: 考虑权益信息的代理
- ``agent_keras_rl_dqn.py``: 深度Q学习代理，使用keras-rl进行深度强化学习
- ``agent_custom_q1.py``: 深度Q学习的自定义实现

注意，observation属性是一个包含所有可用于做出决策的玩家和桌面信息的字典。

Q学习的自定义实现

强化学习的自定义实现。这个包现在在一个单独的仓库中: www.github.com/dickreuter/tf_rl

tools

- ``hand_evaluator.py``: 评估多个玩家的最佳手牌
- ``helper.py``: 辅助函数
- ``montecarlo_numpy2.py``: 基于numpy的快速蒙特卡洛模拟来计算权益。尚未正确工作。一些测试失败。欢迎修复它们。
- ``montecarlo_python.py``: 相对较慢的基于python的蒙特卡洛权益计算。支持其他玩家的预飞行范围。
- ``montecarlo_cpp``: 权益计算器的C++实现。比Python版本快约500倍

tests
^^^^^

- ``test_gym_env.py``: 环境的测试。
- ``test_montecarlo.py``: 手牌评估器和基于Python的权益计算器的测试。
- ``test_montecarlo_numpy.py``: numpy蒙特卡洛的测试
- ``test_pylint.py``: pylint和pydoc测试，以确保pep8标准和静态代码分析

路线图
-------

代理

• 基于用户交互的代理(按键)
• 随机代理
• 基于权益的策略(即高于阈值时下注和跟注)
• 基于权益的策略，使用遗传算法，根据获胜代理调整阈值。
• 权益计算器的C++实现，显著加快运行速度
• 基于强化学习的代理，具有经验回放(深度Q学习，基于keras-rl)
• [/] 自定义代理(更多细节见上述部分)

强化学习: 深度Q代理

``neuron_poker.agents.agent_dqn`` 在keras-rl的帮助下实现了一个深度Q代理。
可以设置一些参数:

- nb_max_start_steps = 20  # 开始时最大随机动作数
- nb_steps_warmup = 75  # 训练开始前的步骤，应该高于开始步骤
- nb_steps = 10000  # 总步骤数
- memory_limit = int(nb_steps / 3)  # 限制经验回放的内存
- batch_size = 500  # 从内存中采样的项目数用于训练

可以通过tensorboard观察训练(从命令行运行 ``tensorboard --logdir=./Graph``)

如何贡献
-----------------

从main.py启动
~~~~~~~~~~~~~~~~~~~~~~

在 ``main.py`` 中，代理的启动如下(这里向桌子添加6个随机代理)。要编辑main.py通过命令行接受的内容，只需在main.py顶部的文档字符串中添加另一行。

.. code:: python

    def random_action(render):
        """创建一个有6个随机玩家的环境"""
        env_name = 'neuron_poker-v0'
        stack = 500
        self.env = gym.make(env_name, num_of_players=6, initial_stacks=stack)
        for _ in range(num_of_plrs):
            player = RandomPlayer(500)
            self.env.add_player(player)

        self.env.reset()

如你所见，第一步需要创建环境。第二步，需要向桌子添加不同的代理。第三步，通过reset启动游戏。将autoplay设置为True的代理将通过调用其类的action方法自动玩游。或者，你可以使用PlayerShell类，环境将要求你手动调用step函数并循环它。当使用设计用于与gym接口的其他包(如keras-rl)时，这可能会有帮助。

添加新模型/代理
^^^^^^^^^^^^^^^^^^^^^^^^^^

random_agent.py中可以看到一个示例代理

要构建新代理，需要创建一个代理，其中修改了以下函数。你需要使用observation参数，它包含当前桌面状态、玩家和代理本身的信息，作为确定最佳动作的参数。

.. code:: python

    def action(self, action_space, observation):  # pylint: disable=no-self-use
        """强制方法，根据观察数组和动作空间计算动作。"""
        _ = observation  # 不使用observation进行随机决策
        this_player_action_space = {Action.FOLD, Action.CHECK, Action.CALL, Action.RAISE_POT, Action.RAISE_HAlF_POT}
        possible_moves = this_player_action_space.intersection(set(action_space))
        action = random.choice(list(possible_moves))
        return action

观察状态
~~~~~~~~~~~~~~~~~~~

状态表示为包含以下信息的numpy数组:

.. code:: python

    class CommunityData:
        def __init__(self, num_players):
            self.current_player_position = [False] * num_players  # ix[0] = 庄家
            self.stage = [False] * 4  # 一位热编码: 翻牌前, 翻牌, 转牌, 河牌
            self.community_pot: float: 这手牌的总底池
            self.current_round_pot: float: 这轮加入的底池
            self.active_players = [False] * num_players  # 一位热编码, 0 = 庄家
            self.big_blind
            self.small_blind
class StageData:  # 作为列表，8次：
    """翻前、翻牌、转牌和河牌，每个阶段2轮"""

    def __init__(self, num_players):
        self.calls = [False] * num_players  # 索引[0] = 庄家
        self.raises = [False] * num_players  # 索引[0] = 庄家
        self.min_call_at_action = [0] * num_players  # 索引[0] = 庄家
        self.contribution = [0] * num_players  # 索引[0] = 庄家
        self.stack_at_action = [0] * num_players  # 索引[0] = 庄家
        self.community_pot_at_action = [0] * num_players  # 索引[0] = 庄家


class PlayerData:
    "玩家特定信息"

    def __init__(self):
        self.position: 独热编码，0=庄家
        self.equity_to_river: 蒙特卡洛模拟
        self.equity_to_river_2plr: 蒙特卡洛模拟
        self.equity_to_river_3plr: 蒙特卡洛模拟
        self.stack: 当前玩家筹码

如何在Github上集成您的代码

一个人单独很难在扑克方面击败全世界。这就是为什么本仓库旨在创建一个协作环境，可以在其中添加和评估模型。

要贡献代码，请执行以下操作：

• 获取Pycharm并构建虚拟Python环境。您可以执行：pip install -r requirements.txt
• 如果您想使用速度快500倍的基于C++的权益计算器，还需安装Visual Studio，但这不是必需的
• 将您的fork克隆到本地机器。您可以直接在Pycharm中完成：VCS --> 从版本控制检出 --> git
• 将您创建fork的原始仓库添加为远程仓库，并将其命名为upstream（与您的fork的连接应称为origin）。这可以通过vcs --> git --> remotes完成
• 创建新分支：点击右下角的master，然后点击"新建分支"
• 进行编辑。
• 确保所有测试都通过。在文件 --> 设置 --> Python集成工具下切换到pytest（见截图）。您可以右键单击tests文件夹并运行所有测试。所有测试都需要通过。确保通过简单地将函数命名为test_...来添加您自己的测试
• 确保所有测试都通过。最好按上述方法运行pytest（在Pycharm中只需右键单击tests文件夹并运行）。如果测试失败，您可以通过右键单击它并设置断点来调试测试，甚至可以在断点处打开控制台：https://stackoverflow.com/questions/19329601/interactive-shell-debugging-with-pycharm
• 提交您的更改（CTRL+K）
• 将更改推送到您的origin（您的fork）（CTRL+SHIFT+K）
• 如果upstream master已经有了更新，要使您的分支与之保持同步：变基到upstream master：点击Pycharm右下角的分支名称，然后点击upstream/master，然后选择"变基到"。您可能需要解决一些冲突。完成后，请务必始终强制推送（ctrl+shift+k），（而不是仅仅推送）。这可以通过选择推送旁边的下拉菜单并选择强制推送来完成（重要：不要推送和合并已变基的分支到您的远程仓库）
• 在您的github.com上创建一个拉取请求，将您的分支与upstream master合并。
• 当您的拉取请求被批准后，它将被合并到upstream/master中。