LLM Engineering Handbook

What is LLM Engineering Handbook?

llm-engineering-handbook 是一本由 LichAmnesia 编写的中文开源教程，讲解如何构建生产级 AI 副本（LLM Twin）——一个用你本人数据微调、用 RAG 增强、可部署到云上、能持续评估和监控的个人 AI 副本。全书 10 章聚焦被多数教程跳过的中间地带：如何把 LLM 原型拼成真正可上线、可维护、可扩展的系统，以完整的 FTI（Feature–Training–Inference）三段式管线为主线，内容基于作者两年 LLM Twin 实战经验。内容采用 CC BY-NC 4.0 许可，代码采用 MIT 许可。

Key features

• 10 章完整覆盖 FTI 三段式管线：Feature / Training / Inference 三条独立管线的分工、接口与部署边界
• 数据侧：ETL 管线设计、LinkedIn/Medium/GitHub 爬取、MongoDB 数据湖、chunk 策略、embedding 选型、Qdrant 向量库与 CDC 实时同步
• 训练侧：QLoRA 监督微调（指令数据集构造、超参配置、AWS SageMaker 完整训练）+ DPO 偏好对齐
• 推理侧：retrieval → rerank → generate 完整 RAG 链路、FastAPI 封装，以及高级 RAG（naive RAG 的 7 种失败模式与修法、Self-query、Hybrid、Rerank）
• LLMOps：离线 eval（RAGAS / LLM-as-judge）、在线监控（延迟/成本/幻觉率）、prompt 版本管理、Modal/SageMaker/Bedrock 部署选型、灰度发布与多租户隔离
• 每章可独立动手实践，章末附 repo 对应目录，fork 即可跑；连读即是一套完整管线实现
• 按读者类型给出四条阅读路径（初次做 LLM 项目 / 已做 RAG / 只看架构决策 / 代码落地）
• 代码基于 Python 3.11+，示例可在 Apple Silicon / Linux 下运行；术语首次出现给中英文双标

Who it's for

• 第一次做 LLM 项目、想从 prompt engineering 走向完整系统的工程师（按顺序读 10 章并完成每章动手任务）
• 已经在做 RAG、想提升生产级能力的开发者（可从第 7 章推理服务直接切入）
• 只想理解 LLM 系统架构决策逻辑的读者（读第 2、9、10 章）
• 想构建用个人数据微调的 AI 副本（LLM Twin）并部署上线的个人开发者

When not to use it

如果你只需要 prompt engineering 入门，或想要 Transformer 数学推导，这本书刻意不覆盖这两端——它只讲原型到生产系统的中间那段。另外全书为中文写作，且生产部署前需按自己的业务场景二次评估，书中默认参数只是起点。

FAQ