分享主题

强化学习与策略评估

分享内容

强化学习(Reinforcement learning)在近几年收到越来越多的关注，对于强化学习的理论探讨也一直是研究热点。这次分享，我们将一起探讨强化学习的理论框架。在此基础上，策略评估(policy evaluation)是强化学习中最基础也是最重要的一个组成部分，其收敛性质的分析对于理解和改进这一类算法非常重要。但是如果只停留在一些非常理想化的假设下，得到的结果往往难以令人信服。在这次要分享的一个工作中，我们将给出一类策略评估算法在一些更贴近实际的假定下（RL天然的数据不独立同分布性，步长多种设置方式等 ）的收敛速率分析结果，从而更加确切的回答了关于这一类算法收敛性质的疑问，并且提供了解决类似问题的一个可用的理论工具。

分享大纲

•  强化学习（RL）背景框架介绍和符号说明
•  策略评估（policy evaluation）的常用方法介绍（如GTD 算法）
• 原有的GTD 算法的收敛速率分析结果
•  在一些更贴近实际的假定下（RL天然的数据不独立同分布性，步长多种设置方式等），  给出收敛性分析的结果
• 总结与反思