文档导航（阅读路径）

本仓库的文档更像“工具箱手册”。为了避免页面散落、找不到入口，建议按下面的阅读路径使用。

快速开始

最快跑通：启动后端、WebUI、自测 API、理解 batch。

推荐新手从这里开始

推理服务（Judge 契约）

必须不破坏的接口：GET / 与 POST /predict，以及 batch 行为。

评测链路核心

启动与参数对齐

run_model.sh / env_force.sh：本地复现评测环境，管理环境变量与默认值。

复现与调试必备

本地评测（RougeL）

eval_local.py：模拟评测机口径，快速回归准确率与吞吐。

优化前先会测

WebUI 调试

生成参数透传、SYSTEM_PROMPT、Batch 测试入口与可选 RAG。

交互式排障与演示

自动调参

auto_tune：循环试参、跑评测、选最优；支持断点续跑与通知。

省时省力找最优

模型工程

下载 / 融合 LoRA / 上传：围绕 ModelScope 的工程脚本与规范。

产物管理与发布

量化（AWQ）

AutoAWQ 4bit + 校准集抽样：在约束下探索更高吞吐。

性能优化路线之一

---

推荐阅读路径

• 第一次来：快速开始 → 推理服务（契约） → 启动与参数对齐 → 本地评测
• 想提升成绩：本地评测 → 自动调参（或手动调参） → 必要时尝试量化
• 想做交互演示：启动后端 → 启动 WebUI → 用 Batch 测试快速检查

交付与同步（评测提交）

• 如果你要向评测平台提交：先看 Gitee 同步与文件白名单裁剪逻辑。
• 文件总览：见“文件与目录说明（全仓库）”。