DeepLearningFlappyBird入门学习资料-使用深度强化学习玩转Flappy Bird游戏

DeepLearningFlappyBird项目介绍

DeepLearningFlappyBird是一个使用深度Q网络(Deep Q-Network, DQN)来学习玩Flappy Bird游戏的开源项目。该项目展示了如何将深度强化学习算法应用于经典的Flappy Bird游戏,让AI代理自主学习游戏策略。

主要特点

• 使用卷积神经网络作为Q函数逼近器
• 采用经验回放(Experience Replay)提高样本效率
• ε-贪婪策略平衡探索与利用
• 使用目标网络稳定训练过程

快速开始

环境依赖

• Python 2.7或3
• TensorFlow 0.7
• pygame
• OpenCV-Python

运行步骤

git clone https://github.com/yenchenlin1994/DeepLearningFlappyBird.git
cd DeepLearningFlappyBird
python deep_q_network.py

深度Q网络算法

深度Q网络(DQN)是一种将深度学习与Q学习相结合的强化学习算法。其核心思想是使用神经网络来近似动作价值函数(Q函数)。

算法流程

1. 初始化经验回放缓冲区D
2. 初始化动作价值函数Q,参数θ随机
3. 对每个回合:
   • 初始化状态s1
   • 对每个时间步t:
     • 以ε概率选择随机动作at,否则at = argmax Q(st,a;θ)
     • 执行动作at,观察奖励rt和下一状态st+1
     • 将(st,at,rt,st+1)存入D
     • 从D中采样minibatch
     • 设置目标yi = ri (终止状态) 或 ri + γ maxa' Q(si+1,a';θ) (非终止状态)
     • 对(yi - Q(si,ai;θ))^2 关于θ进行梯度下降

网络结构

• 输入:4帧80x80灰度图像
• 3个卷积层 + 1个全连接层
• 输出:2个动作的Q值(不动/跳跃)

实验过程

1. 预处理:去除背景,灰度化,调整大小至80x80
2. 初始化:权重随机初始化,经验池大小50万
3. 训练:
   • ε从0.1线性衰减至0.0001
   • 每步从经验池采样32个样本
   • Adam优化器,学习率0.000001

经过训练,AI代理可以熟练地玩Flappy Bird游戏,展现出不亚于人类玩家的水平。

相关资源

• 项目GitHub仓库
• DQN算法解析
• 强化学习入门教程

希望这份学习资料可以帮助你快速入门DeepLearningFlappyBird项目,体验深度强化学习的魅力。如有任何问题,欢迎在GitHub上提issue讨论交流。