168 lines
10 KiB
Markdown
168 lines
10 KiB
Markdown
# 问题3/4 强化学习选点（PPO + CUDA）
|
||
|
||
## 0. 摘要
|
||
|
||
**2026-09-11审核更新：**本文件下方的训练成绩与BC准确率是第一版历史记录。
|
||
复核发现训练/部署特征错位、BC激活函数不一致以及评测只检查completed等问题。
|
||
当前修复、Maskable PPO新模型和独立配对验证见
|
||
[强化学习适用性审核与改进](强化学习适用性审核与改进-20260911.md)。
|
||
新模型未替换原默认检查点；通过`--rl-model`显式加载。
|
||
|
||
本项目在保持 P0–P5 保守性与可解释证明不变的前提下，为问题3（全向源）与
|
||
问题4（定向源）增加了一个可选的**强化学习测量点选择策略**：
|
||
|
||
- 把“下一检测点去哪”建模为离散动作的局部决策问题；401维特征是压缩观测，
|
||
不能认定为完整马尔可夫状态，尤其第四问仍有未知朝向和被省略的历史约束；
|
||
- 状态由逐频道信念的几何特征 + 60 个候选检测点的几何特征组成（401 维）；
|
||
- 动作为 60 选 1（保证接收盘环候选、对称交会候选、定向遮挡环探候选）；
|
||
- 使用 Stable-Baselines3 的 PPO 训练，MLP 策略与价值网络在 **CUDA GPU**
|
||
（本机 RTX 4060 Laptop, CUDA 12.8 / torch 2.11.0+cu128）上更新；
|
||
- 训练环境基于自建评测机 `referee`（内存回环，与真实 HTTP 协议同边界）；
|
||
- 运行闭环仅替换既有选点排序器，覆盖证明、清除证书、定向后备清除全部保留。
|
||
|
||
历史结果（第一版自建配对消融，5 个种子）：Q3 用 12 万步随机初始化 PPO（与 `bayes`
|
||
基本持平，+1.18%）；Q4 用**专家行为克隆初始化 + PPO 微调**，混合源平均
|
||
虚拟时间相对 `directional` 基线降低 **7.16%**（14250.1s → 13230.2s）。
|
||
Q3 的 BC 初始化在消融中反而退化，因此保留随机初始化模型；Q4 的 BC 初始化
|
||
是当时五场比较中均值最好的版本。官方演练验证见 §5：两次 Q4 演练（3 定向混合源、10 定向全定向
|
||
场景）与一次 Q3 演练均全清，且通过离线审计。
|
||
|
||
## 1. 环境搭建（CUDA）
|
||
|
||
```powershell
|
||
# 安装可选依赖组 rl（PyTorch CUDA 12.8 + stable-baselines3 + gymnasium）
|
||
uv sync --group rl --group dev
|
||
|
||
# 验证 CUDA
|
||
uv run python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"
|
||
```
|
||
|
||
`pyproject.toml` 中 `[tool.uv.sources] torch = { index = "pytorch-cu128" }`
|
||
与 `[[tool.uv.index]]` 指向 PyTorch 官方 CUDA 12.8 轮子；下载约 2.6 GB，
|
||
首次同步建议 `$env:UV_HTTP_TIMEOUT='300'`。默认 PyPI 的 Windows torch 轮子
|
||
为 `+cpu`，可以使用CPU训练；本轮修订模型即采用CPU，CUDA并非训练前提。
|
||
|
||
## 2. 第一版局部决策环境
|
||
|
||
训练环境：`src/mcm26b/rl/env.py::LocalizationEnv`。
|
||
|
||
| 项 | 定义 |
|
||
| --- | --- |
|
||
| 初始状态 | 自建模拟器随机布设一个源（Q3 全向；Q4 定向比例可调，训练默认 1.0），机器狗完成一次保证得到 `direction` 的首测 |
|
||
| 观测 | 401 维：21 个全局特征 + 20 维频道 one-hot + 60×6 维候选点特征（见 `features.py`） |
|
||
| 动作 | `Discrete(60)`：0=候选集 MEC 圆心，1..36=保证接收盘 3 环×12 方向，37..51=对称交会 15 点，52..59=定向遮挡环探 8 点 |
|
||
| 转移 | 按动作位置调用 `/measure`，用 `BeliefState` 保守更新候选集；Q4 保证接收盘内 `no_signal` 记为朝向遮挡并进入 `blocked` 序列；证书达标后自动 `/clear`；遮挡梯子用尽后模拟 20m 网格后备清除 |
|
||
| 奖励 | `-Δvirtual_time/100`（移动+检测+换频+清除真实耗时）、候选半径收缩加成、首次遮挡证据 +2、重复测点 -0.75、清除成功 +10、失败/截断负奖励 |
|
||
|
||
约束说明：候选点全部来自既有几何生成器（`planner.candidate_points`、
|
||
`planner.safe_disk_radius`、定向环探梯子），RL 不生成新的空间候选；它只做
|
||
排序。清除仍须通过几何证书；但“保证收到方向”只适用于全向源且实际点位于
|
||
距离保证盘内。第一版的52—59号环探点可能在盘外，第四问的定向遮挡也不受
|
||
距离盘保证。v2对第三问加入盘外动作屏蔽，第四问保留探索分支。
|
||
|
||
## 3. 训练与自建模拟器逻辑利用
|
||
|
||
```powershell
|
||
# 1) 用自建模拟器上的手写专家生成 (观测, 动作) 并行为克隆
|
||
uv run python scripts/pretrain_rl_expert.py --problem 3 --episodes 3000
|
||
uv run python scripts/pretrain_rl_expert.py --problem 4 --episodes 3000
|
||
|
||
# 2) 从当前v2 BC初始化继续普通PPO（算法类型需显式匹配）
|
||
uv run python scripts/train_rl.py --problem 4 --algorithm ppo --timesteps 40000 \
|
||
--init output/rl/q4_ppo_bc_init.zip
|
||
|
||
# Q3 保留随机初始化长训练版本：
|
||
uv run python scripts/train_rl.py --problem 3 --timesteps 120000
|
||
```
|
||
|
||
专家逻辑与自建模拟器同源：Q3 用 worst-posterior 选点器，Q4 用对跖/环探
|
||
遮挡梯子；`pretrain_rl_expert.py` 在 `LocalizationEnv` 上记录每个状态的
|
||
专家动作，训练与 PPO policy_net/action_net 同构的 MLP，再把权重拷入 PPO
|
||
作为初始化。产物位于 `output/rl/bc/` 与 `output/rl/q{3,4}_ppo_bc_init.zip`。
|
||
|
||
实测：Q3 专家数据 5141 条、BC 验证准确率 38.9%，微调后自建消融退化
|
||
（保留 12 万步随机初始化模型）；Q4 专家数据 14181 条、BC 验证准确率
|
||
65.3%，微调后自建消融从 −3.84% 提升到 **−7.16%**。但审核确认BC与PPO的
|
||
激活函数不一致，这些数字不能证明成功迁移了专家策略，也不足以判断全向分支已最优。
|
||
|
||
输出：`output/rl/q3_ppo.zip`、`output/rl/q4_ppo.zip` 及同名 JSON 报告；
|
||
训练脚本先打印 `train_start`（含 device/gpu 字段），再执行 PPO 并在独立
|
||
种子场景上确定性评估成功率、平均步数与平均回报。Q4 4 万步微调约 236s；
|
||
Q3 12 万步约 625s（RTX 4060 Laptop，2 个 CPU 环境）。
|
||
|
||
## 4. 运行闭环接入
|
||
|
||
- Q3：`uv run mcm26b run --robot-id 2026001 --self-test --strategy rl`
|
||
`RLBayesLoop` 继承 `BayesLoop`（七点覆盖 + 网格粒子滤波 + 滚动 2-opt），
|
||
仅 `_select_point` 改由 PPO 输出候选编号。
|
||
- Q4：`uv run mcm26b run --robot-id 2026001 --self-test --problem 4 --q4-strategy rl`
|
||
`RLDirectionalLoop` 继承 `DirectionalExtension`（49 点覆盖 + 遮挡梯子 +
|
||
20m 有限圆盘后备清除），仅 `_next_probe` 改由 PPO 输出。
|
||
- 模型加载时校验观测 401 维 / 动作 60 维，失配直接拒绝运行。
|
||
- 默认运行路径不导入 torch/referee；只有显式选择 `rl` 才惰性导入，项目
|
||
运行时依赖仍保持 `requests` 一项。
|
||
|
||
## 5. 消融基准
|
||
|
||
```powershell
|
||
uv run python scripts/benchmark_rl.py --seeds 5
|
||
```
|
||
|
||
同种子同场景配对比较，结果写入 `output/rl/benchmark.json`。以下为第一版历史结果：
|
||
|
||
| 场景 | 基线 | 平均虚拟时间（基线 / RL） | 相对差 | 全清 |
|
||
| --- | --- | --- | --- | --- |
|
||
| Q3（10 源全向 ×5 种子，scratch PPO） | `bayes` | 3088.3s / 3124.8s | +1.18% | 5/5 |
|
||
| Q4（10 源、3 定向 ×5 种子，BC+PPO） | `directional` | 14250.1s / 13230.2s | −7.16% | 5/5 |
|
||
|
||
训练局评估：Q3 单源 40 局成功率 100%、平均 3.55 步；Q4 定向单源 40 局
|
||
成功率 90%、平均 4.45 步；其余单源训练局未完成，不能由此宣称已兜底成功。随机策略对照：
|
||
Q3 平均回报 13.28 vs PPO 17.71；Q4 平均回报 8.72 vs BC+PPO 12.62。
|
||
|
||
### 5.1 官方模拟器演练验证（仅演练，未触碰正式测试）
|
||
|
||
使用目录内官方 `jammers-simulator-full` 的**演练测试**（不限次数），通过
|
||
官方 HTTP 接口运行同一闭环；官方产物按原名归档并离线审计：
|
||
|
||
| 问题 | 案例 | 场景真值（演练结束后可见） | 结果 | 虚拟时间 | 请求数 | 审计 |
|
||
| --- | --- | --- | --- | --- | --- | --- |
|
||
| Q3 | `F38Y-9Q9J-B82V-CB9Z` | 13 全向 | 13/13 全清 | 3538.8s | 124 | ✅ |
|
||
| Q4 | `X43X-VMRF-8GRZ-3SYA` | 7 全向 + 3 定向 | 10/10 全清 | 14003.1s | 619 | ✅ |
|
||
| Q4(BC) | `BXSA-TFQ3-2DJ6-DHH7` | **10 定向** | 10/10 全清 | 14562.8s | 691 | ✅ |
|
||
|
||
前两次为随机初始化模型，第三次为 BC 初始化微调模型。两个 Q4 官方案例的
|
||
源构成不同（3 定向 vs 10 定向），**虚拟时间不可直接相减比较**；可确认的
|
||
是 RL 在官方混合源与全定向源演练中都能完成全部清除，且
|
||
`all_timestamps_match_microsecond_recomputation`、官方 `.jlog` 的
|
||
SHA-256 校验全部通过。归档目录：`output/rl/official-practice/`。
|
||
|
||
### 5.2 自建 referee 演练验证
|
||
|
||
`uv run mcm26b run --local-judge` 走自建 referee 的 `q3_practice` /
|
||
`q4_practice` 模块（与官方相同的演练生命周期，真值在结束后可见）：
|
||
|
||
| 问题 | 案例 | 场景 | 结果 | 虚拟时间 | 归档 |
|
||
| --- | --- | --- | --- | --- | --- |
|
||
| Q3 | `FKUY-K8KJ-RXRL-FMBM` | 10 全向 | 10/10 全清 | 3317.6s | `output/rl/local-practice/q3/20260911-rl-01` |
|
||
| Q4 | `3J8T-L9GY-HRGL-LYVZ` | 7 全向 + 3 定向 | 10/10 全清 | 11942.8s | `output/rl/local-practice/q4/20260911-rl-01` |
|
||
| Q4(BC) | `VM2G-UVC6-4N7R-TVGW` | 7 全向 + 3 定向 | 10/10 全清 | 12520.8s | `output/rl/local-practice/q4/20260911-rl-bc-01` |
|
||
|
||
不同案例仍不可直接比较；成对可比的提升证据是 §5 的 5 种子同场景消融。
|
||
|
||
## 6. 结论与边界
|
||
|
||
以下是第一版结论；BC权重拷贝缺陷使“同构初始化”的解释不成立，性能判断
|
||
应以新审核报告的同场景验证及不确定性为准，而不能由BC分类准确率推出。
|
||
|
||
- RL 已接入问题3/4 完整闭环，并在自建 referee 演练与官方模拟器演练中
|
||
全清验证；这是方法验证，不是对正式成绩的承诺。
|
||
- 第一版Q4的BC初始化后均值变化为−3.84% → −7.16%，但初始化存在激活函数
|
||
缺陷，样本数也不足以支持“明确收益”的归因；当前判断见新审核报告。
|
||
- 训练环境使用自建场景假设（源均匀分布、逐点固定误差场、定向源朝向随机）；
|
||
官方隐藏分布未必相同。正式测试仍应默认使用经过演练验证的手写策略；
|
||
`--strategy rl` / `--q4-strategy rl` 适合消融、方法对比与后续调参。
|
||
- 官方演练仅使用“演练测试”按钮与开放接口，从未点击“正式测试”；官方
|
||
`.jlog/.result.json` 保持原样，未解密。
|
||
- 保守性不变式：RL 只改变选点排序，不改变覆盖账本、候选集更新、清除证书
|
||
与后备清除的数学证明；所有策略均以 `/exit` 与完整日志收尾。
|