算子融合：减少 Kernel 启动与中间读写
158 字
1 分钟
算子融合：减少 Kernel 启动与中间读写
- 1CUDA 算子开发基础
- 2算子融合：减少 Kernel 启动与中间读写本文
- 3FlashAttention 原理浅析
占位文章
本文是学习骨架，内容将结合自己的实践逐步补充。
1. 为什么算子多 = 慢
2. 融合的收益模型
3. 典型融合案例
4. 用 Triton 写一个融合算子
🧪 我的实验
- 用 Triton 实现融合算子，对比 PyTorch eager 的吞吐差异
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
CUDA 算子开发基础
AI InfraCUDA 执行模型、内存层级与自定义算子接入 PyTorch 的完整流程，占位待补充自己的实验。
2
FlashAttention 原理浅析
AI Infra标准 Attention 的显存瓶颈、Tiling 与 Online Softmax 的核心思想，占位待补充自己的实验。
3
2.4 Chunked Prefill 与统一 Token Budget 调度
AI Infra深入 Chunked Prefill：把长 Prompt 的 Prefill 切块，消除它对 Decode 请求的干扰；理解 vLLM V1 如何用统一 Token 预算调度器抹平 Prefill/Decode 边界
4
2.3 Prefix Cache 与 RadixAttention：复用共享前缀的 KV
AI Infra深入前缀缓存：vLLM 基于 Hash 的 Automatic Prefix Caching 如何复用共享前缀的 KV 块，SGLang 的 RadixAttention 如何用 Radix Tree 做更高效的前缀共享
5
2.5 Attention 后端与图优化：把 Decode 的 CPU 开销榨干
AI Infra深入 vLLM 的可插拔 Attention 后端（FlashAttention/FlashInfer/FlashMLA/Triton）与图优化：用 CUDA Graph 和 torch.compile 消除 Decode 阶段的 CPU 启动开销
随机文章随机推荐
博客搭建中，将分享 AI Infra 与 Agent 相关技术文章。
文章
12
分类
3
标签
27
总字数
45,635
运行时长
0 天
最后活动
0 天前