ai

AI 样例

AI 系统

模型、推理、工程化与硬件接口

为后续 LLM 推理、AI 编译器、算子优化和芯片/体系结构交叉学习预留主题。

AI SystemsLLM Inference
AILLMSystems

Topic Brief

主题说明

AI 系统是 V3 预留的第二条长期技术主线。它不只记录模型使用,也记录模型推理、算子、编译器、硬件加速和系统部署之间的关系。

后续可以从三个层次展开:

  1. 应用层:如何使用模型完成具体任务,如何评估输出质量。
  2. 系统层:推理服务、KV cache、batching、量化和延迟吞吐权衡。
  3. 硬件层:矩阵乘、存储带宽、片上缓存和专用加速器设计。

等内容积累到一定量后,这个主题可以拆分出更具体的子主题,例如 LLM 推理、AI 编译器或算子优化。

Related Works

关联成果

暂无关联成果。

Related Projects

关联项目

暂无关联项目。

Related Notes

关联笔记

暂无关联笔记。

Notes & Discussion

主题标注与讨论

主题页适合记录跨文章的问题、待验证假设和后续阅读线索。当前数据仍保存在本浏览器。

我的标注

选中正文中的一句话,点击浮层里的“标注这段”。

讨论