强化学习第一版

README.md

@@ -7,6 +7,7 @@
 - [协议规则表、字段表与状态机（P0 交付）](docs/协议规则表与状态机.md)
 - [问题一完整解答](docs/问题一解答.md)
 - [问题三搜索与总耗时改进方案（含七点覆盖证明和自建消融）](docs/algo-3.md)
+- [问题3/4 强化学习选点（PPO + CUDA）](docs/algo-rl.md)
 - [论文](docs/paper/main.tex)
 
 ## 项目结构
@@ -21,10 +22,13 @@ src/mcm26b/
 ├── belief/        # P3 逐频道候选集合 K_c：保守外包多边形 + 半平面裁剪（已完工）
 ├── coverage/      # P4 49点覆盖账本（网格生成 + 逐频道记录）
 ├── planner/       # P3 保证接收盘选点器 / P4 全向闭环 / P5 混合源定向闭环（已完工）
+│                  # P6b RL 接入：planner/rl_loop.py（PPO 选点，惰性加载 torch）
+├── rl/            # P6b 强化学习扩展：训练环境、观测/候选特征、PPO 模型加载（可选依赖）
 ├── evaluation/    # 日志复算与统计（已完工）
 └── harness/       # 测试侧适配：评测机<->Transport 内存回环、故障注入、回放、场景
 tests/             # pytest（含解耦守卫：运行时零导入 referee + 规则表不漂移）
-scripts/           # 采集、基准、可视化与校核脚本（含问题四批量仿真 benchmark_q4.py）
+scripts/           # 采集、基准、可视化与校核脚本（含问题四批量仿真 benchmark_q4.py、
+                   # RL 训练 train_rl.py 与 RL 配对消融 benchmark_rl.py）
 output/ examples/  # 演练证据、算例与生成产物
 ```
 
@@ -64,11 +68,20 @@ Python ≥ 3.10，运行时依赖仅 `requests`；测试/自检另需 `pytest`
 
 ```bash
 uv sync                                   # 安装（可编辑挂载本包与 referee）
+uv sync --group rl --group dev            # 追加 RL 依赖：torch(CUDA)+stable-baselines3+gymnasium
 uv run pytest                             # 全部测试（含 referee 90 项 + 解耦守卫）
 uv run python -m referee                  # 起本地评测机（可选，配合 WebUI 回放）
 uv run mcm26b sim-check                   # P0 自检：复现附件计时示例 105/111/194/199
 uv run mcm26b run --robot-id 2026001 --self-test   # 问题3自检：随机全向场景闭环（不连官方）
 uv run mcm26b run --robot-id 2026001 --self-test --problem 4  # 问题4自检：混合定向源场景
+# RL 策略（需先安装 rl 依赖组并训练模型；详见 docs/algo-rl.md）：
+uv run python scripts/train_rl.py --problem 3 --timesteps 120000   # PPO + CUDA 训练 Q3 选点
+uv run python scripts/pretrain_rl_expert.py --problem 4 --episodes 3000  # 自建模拟器专家行为克隆
+uv run python scripts/train_rl.py --problem 4 --timesteps 40000 --init output/rl/q4_ppo_bc_init.zip
+uv run mcm26b run --robot-id 2026001 --self-test --strategy rl     # 问题3 RL 闭环
+uv run mcm26b run --robot-id 2026001 --self-test --problem 4 --q4-strategy rl  # 问题4 RL 闭环
+uv run python scripts/benchmark_rl.py --seeds 5                    # RL vs 手写策略配对消融
+uv run python scripts/verify_rl_practice.py output/rl/official-practice/q4/20260911-rl-bc-01
 # 自检默认：源数按题面 10~16 随机；实机预算 30 分钟（--real-budget-s 可改，仅自检生效）；
 # 找全后持续复扫未清除频道直到限时（--config 关闭 persistent_search 可回到"找全即退"）
 uv run mcm26b run --robot-id <队号> --log output/run/session.jsonl  # 对接模拟器正式/演练
@@ -134,6 +147,7 @@ client.exit()
 | P4 问题3全向闭环（49点覆盖、定位队列、清除、停止） | ✅ 官方问题3演练单案例通过（10/10全清，[验证报告](output/q3/practice/20260911-port2026/report.md)） |
 | P5 问题4定向扩展（联合约束、后备清除、预算） | ✅ 自建完成（官方演练待执行） |
 | P6 加速与消融 | ✅ 七点批量（`--strategy seven`，官方演练 12/12）+ 贝叶斯闭环（`--strategy bayes` 默认，自建消融 −30.0%，[算法说明](docs/algo-3-bayes.md)） |
+| P6b RL 选点 | ✅ PPO+CUDA 训练环境/闭环接入/官方+自建演练验证/专家 BC 初始化（Q3 `--strategy rl`，Q4 `--q4-strategy rl`，[算法说明](docs/algo-rl.md)） |
 
 ## 采集与正式测试约束