推理就是在训练好的模型结构和参数基础上，执行前向传播得到模型输出的过程。相对于训练而言，推理不涉及梯度和损失优化。推理的最终目标是将训练好的模型部署生产环境中，真正让 AI 能够运用起来。推理引擎可以将神经网络模型部署到云（Cloud）端或者边缘（Edge）端，并服务用户的请求。模型训练过程好比是传统软件工程中的代码开发的过程，而开发完的代码势必要打包，部署给用户使用，那么推理系统就负责应对模型部署的生命周期中遇到的挑战和问题。
PPT和字幕需要到 Github 下载，网页课程版链接会失效哦~建议优先下载 PDF 版本，PPT 版本会因为字体缺失等原因导致版本很丑哦~
| 大纲 | 小节 | 链接 |
|---|---|---|
| 推理系统 | 01 内容介绍 | 文章, PPT, 视频 |
| 推理系统 | 02 什么是推理系统 | 文章, PPT, 视频 |
| 推理系统 | 03 推理流程全景 | 文章, PPT, 视频 |
| 推理系统 | 04 推理系统架构 | 文章, PPT, 视频 |
| 推理系统 | 05 推理引擎架构 | 文章, PPT1, PPT2, 视频 1, 视频 2 |
文字课程开源在 AISys，系列视频托管B 站和油管，PPT 开源在github，欢迎取用！！！
非常希望您也参与到这个开源课程中，B 站给 ZOMI 留言哦！
欢迎大家使用的过程中发现 bug 或者勘误直接提交代码 PR 到开源社区哦！
欢迎大家使用的过程中发现 bug 或者勘误直接提交 PR 到开源社区哦！
请大家尊重开源和 ZOMI 的努力，引用 PPT 的内容请规范转载标明出处哦！