Policy Gradient Algorithms：策略梯度算法综述

这篇综述系统梳理了策略梯度算法，涵盖从基础到进阶的多种方法，后续更新加入 SAC、D4PG、TD3、SVPG、IMPALA、PPG 等，并补充了 PPO 讨论及自动调节温度的 SAC 版本。文中详解了 IMPALA 的 importance weighted actor-learner 架构与 V-trace 离线策略修正，并总结了降低方差、离线策略、经验回放、目标网络等共性设计原则。