Evolution Strategies（进化策略）解析：从 Simple Gaussian ES 到 CMA-ES 及其在深度强化学习中的应用

进化策略（ES）是一类黑盒优化算法，无法计算梯度时仍可评估目标函数，将解参数化为分布 p_θ(x) 并循环采样、评估适应度、按适应度更新 θ。Simple Gaussian ES 用各向同性高斯分布建模解，仅跟踪均值 μ 与标准差 σ；CMA-ES 引入协方差矩阵 C 追踪样本间两两依赖，解决 σ 无法快速调整探索空间的问题。