强化学习第二版

docs/algo-rl.md

@@ -2,10 +2,17 @@
 
 ## 0. 摘要
 
+**2026-09-11审核更新：**本文件下方的训练成绩与BC准确率是第一版历史记录。
+复核发现训练/部署特征错位、BC激活函数不一致以及评测只检查completed等问题。
+当前修复、Maskable PPO新模型和独立配对验证见
+[强化学习适用性审核与改进](强化学习适用性审核与改进-20260911.md)。
+新模型未替换原默认检查点；通过`--rl-model`显式加载。
+
 本项目在保持 P0–P5 保守性与可解释证明不变的前提下，为问题3（全向源）与
 问题4（定向源）增加了一个可选的**强化学习测量点选择策略**：
 
-- 把“下一检测点去哪”建模为离散决策马尔可夫决策过程（MDP）；
+- 把“下一检测点去哪”建模为离散动作的局部决策问题；401维特征是压缩观测，
+  不能认定为完整马尔可夫状态，尤其第四问仍有未知朝向和被省略的历史约束；
 - 状态由逐频道信念的几何特征 + 60 个候选检测点的几何特征组成（401 维）；
 - 动作为 60 选 1（保证接收盘环候选、对称交会候选、定向遮挡环探候选）；
 - 使用 Stable-Baselines3 的 PPO 训练，MLP 策略与价值网络在 **CUDA GPU**
@@ -13,11 +20,11 @@
 - 训练环境基于自建评测机 `referee`（内存回环，与真实 HTTP 协议同边界）；
 - 运行闭环仅替换既有选点排序器，覆盖证明、清除证书、定向后备清除全部保留。
 
-结论（自建配对消融，5 个种子）：Q3 用 12 万步随机初始化 PPO（与 `bayes`
+历史结果（第一版自建配对消融，5 个种子）：Q3 用 12 万步随机初始化 PPO（与 `bayes`
 基本持平，+1.18%）；Q4 用**专家行为克隆初始化 + PPO 微调**，混合源平均
 虚拟时间相对 `directional` 基线降低 **7.16%**（14250.1s → 13230.2s）。
 Q3 的 BC 初始化在消融中反而退化，因此保留随机初始化模型；Q4 的 BC 初始化
-是当前最优。官方演练验证见 §5：两次 Q4 演练（3 定向混合源、10 定向全定向
+是当时五场比较中均值最好的版本。官方演练验证见 §5：两次 Q4 演练（3 定向混合源、10 定向全定向
 场景）与一次 Q3 演练均全清，且通过离线审计。
 
 ## 1. 环境搭建（CUDA）
@@ -33,9 +40,9 @@ uv run python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_
 `pyproject.toml` 中 `[tool.uv.sources] torch = { index = "pytorch-cu128" }`
 与 `[[tool.uv.index]]` 指向 PyTorch 官方 CUDA 12.8 轮子；下载约 2.6 GB，
 首次同步建议 `$env:UV_HTTP_TIMEOUT='300'`。默认 PyPI 的 Windows torch 轮子
-为 `+cpu`，不能直接训练。
+为 `+cpu`，可以使用CPU训练；本轮修订模型即采用CPU，CUDA并非训练前提。
 
-## 2. MDP 定义
+## 2. 第一版局部决策环境
 
 训练环境：`src/mcm26b/rl/env.py::LocalizationEnv`。
 
@@ -49,7 +56,9 @@ uv run python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_
 
 约束说明：候选点全部来自既有几何生成器（`planner.candidate_points`、
 `planner.safe_disk_radius`、定向环探梯子），RL 不生成新的空间候选；它只做
-排序。因此 RL 决策不能破坏“保证接收盘内必收到方向”与清除证书的数学保证。
+排序。清除仍须通过几何证书；但“保证收到方向”只适用于全向源且实际点位于
+距离保证盘内。第一版的52—59号环探点可能在盘外，第四问的定向遮挡也不受
+距离盘保证。v2对第三问加入盘外动作屏蔽，第四问保留探索分支。
 
 ## 3. 训练与自建模拟器逻辑利用
 
@@ -58,8 +67,8 @@ uv run python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_
 uv run python scripts/pretrain_rl_expert.py --problem 3 --episodes 3000
 uv run python scripts/pretrain_rl_expert.py --problem 4 --episodes 3000
 
-# 2) 从 BC 初始化继续 PPO 微调（CUDA）
-uv run python scripts/train_rl.py --problem 4 --timesteps 40000 \
+# 2) 从当前v2 BC初始化继续普通PPO（算法类型需显式匹配）
+uv run python scripts/train_rl.py --problem 4 --algorithm ppo --timesteps 40000 \
     --init output/rl/q4_ppo_bc_init.zip
 
 # Q3 保留随机初始化长训练版本：
@@ -73,8 +82,8 @@ uv run python scripts/train_rl.py --problem 3 --timesteps 120000
 
 实测：Q3 专家数据 5141 条、BC 验证准确率 38.9%，微调后自建消融退化
 （保留 12 万步随机初始化模型）；Q4 专家数据 14181 条、BC 验证准确率
-65.3%，微调后自建消融从 −3.84% 提升到 **−7.16%**。这说明自建模拟器逻辑
-在遮挡分支上可直接转化为 RL 的强先验，而全向分支的随机 PPO 已足够。
+65.3%，微调后自建消融从 −3.84% 提升到 **−7.16%**。但审核确认BC与PPO的
+激活函数不一致，这些数字不能证明成功迁移了专家策略，也不足以判断全向分支已最优。
 
 输出：`output/rl/q3_ppo.zip`、`output/rl/q4_ppo.zip` 及同名 JSON 报告；
 训练脚本先打印 `train_start`（含 device/gpu 字段），再执行 PPO 并在独立
@@ -99,7 +108,7 @@ Q3 12 万步约 625s（RTX 4060 Laptop，2 个 CPU 环境）。
 uv run python scripts/benchmark_rl.py --seeds 5
 ```
 
-同种子同场景配对比较，结果写入 `output/rl/benchmark.json`。当前版本：
+同种子同场景配对比较，结果写入 `output/rl/benchmark.json`。以下为第一版历史结果：
 
 | 场景 | 基线 | 平均虚拟时间（基线 / RL） | 相对差 | 全清 |
 | --- | --- | --- | --- | --- |
@@ -107,7 +116,7 @@ uv run python scripts/benchmark_rl.py --seeds 5
 | Q4（10 源、3 定向 ×5 种子，BC+PPO） | `directional` | 14250.1s / 13230.2s | −7.16% | 5/5 |
 
 训练局评估：Q3 单源 40 局成功率 100%、平均 3.55 步；Q4 定向单源 40 局
-成功率 90%、平均 4.45 步（其余由后备清除/二次定位兜底）。随机策略对照：
+成功率 90%、平均 4.45 步；其余单源训练局未完成，不能由此宣称已兜底成功。随机策略对照：
 Q3 平均回报 13.28 vs PPO 17.71；Q4 平均回报 8.72 vs BC+PPO 12.62。
 
 ### 5.1 官方模拟器演练验证（仅演练，未触碰正式测试）
@@ -142,11 +151,13 @@ SHA-256 校验全部通过。归档目录：`output/rl/official-practice/`。
 
 ## 6. 结论与边界
 
+以下是第一版结论；BC权重拷贝缺陷使“同构初始化”的解释不成立，性能判断
+应以新审核报告的同场景验证及不确定性为准，而不能由BC分类准确率推出。
+
 - RL 已接入问题3/4 完整闭环，并在自建 referee 演练与官方模拟器演练中
   全清验证；这是方法验证，不是对正式成绩的承诺。
-- 利用自建模拟器逻辑做专家行为克隆，对 Q4 遮挡分支带来明确收益
-  （−3.84% → −7.16%）；Q3 全向分支空间有限，BC 初始化无收益，保留随机
-  初始化的长训练模型。
+- 第一版Q4的BC初始化后均值变化为−3.84% → −7.16%，但初始化存在激活函数
+  缺陷，样本数也不足以支持“明确收益”的归因；当前判断见新审核报告。
 - 训练环境使用自建场景假设（源均匀分布、逐点固定误差场、定向源朝向随机）；
   官方隐藏分布未必相同。正式测试仍应默认使用经过演练验证的手写策略；
   `--strategy rl` / `--q4-strategy rl` 适合消融、方法对比与后续调参。