114514

README.md

@@ -9,6 +9,8 @@
 - [问题三搜索与总耗时改进方案（含七点覆盖证明和自建消融）](docs/algo-3.md)
 - [问题3/4 强化学习选点（PPO + CUDA）](docs/algo-rl.md)
 - [强化学习审核、修复与独立验证（2026-09-11）](docs/强化学习适用性审核与改进-20260911.md)
+- [HRL 优化方案与 Sol 执行指南（含当前缺口、命令和验收门槛）](docs/hrl-sol-execution.md)
+- [HRL P0+P1 执行报告（本轮实际命令、smoke 与多轮本地测试）](docs/hrl-p1-execution-report.md)
 - [论文](docs/paper/main.tex)
 
 ## 项目结构
@@ -83,6 +85,15 @@ uv run mcm26b run --robot-id 2026001 --self-test --strategy rl     # 问题3 RL
 uv run mcm26b run --robot-id 2026001 --self-test --problem 4 --q4-strategy rl  # 问题4 RL 闭环
 uv run python scripts/benchmark_rl.py --seeds 5                    # RL vs 手写策略配对消融
 uv run python scripts/verify_rl_practice.py output/rl/official-practice/q4/20260911-rl-bc-01
+uv run python scripts/benchmark_hrl.py --variants hrl_heuristic,bayes,directional \
+  --manifest output/hrl/manifests/dev.json --output output/hrl/p1-heuristic
+uv run python scripts/train_hrl_high.py --problem 3 --stage 1 --timesteps 2048 \
+  --envs 1 --vec-env dummy --device mps --config-profile production \
+  --reward-profile time --model output/hrl/p1-smoke/q3.zip --eval-episodes 2
+# 训练前端（本地回环 Web UI）：实时进程/进度/参数收敛曲线，详见 docs/training-ui.md
+uv run python -m mcm26b.training_ui --ui-port 8036     # http://127.0.0.1:8036
+uv run mcm26b run --robot-id 2026001 --self-test --strategy hrl \
+  --hrl-model output/hrl/p1-smoke/q3.zip --hrl-device mps
 # 自检默认：源数按题面 10~16 随机；实机预算 30 分钟（--real-budget-s 可改，仅自检生效）；
 # 找全后持续复扫未清除频道直到限时（--config 关闭 persistent_search 可回到"找全即退"）
 uv run mcm26b run --robot-id <队号> --log output/run/session.jsonl  # 对接模拟器正式/演练