FlashAttention 原理浅析
157 字
1 分钟
FlashAttention 原理浅析
- 1CUDA 算子开发基础
- 2算子融合：减少 Kernel 启动与中间读写
- 3FlashAttention 原理浅析本文
占位文章
本文是学习骨架，内容将结合自己的实践逐步补充。
1. 标准 Attention 的显存瓶颈
2. Tiling：分块计算
3. Online Softmax
4. IO 复杂度分析
5. 在推理框架中的使用
🧪 我的实验
- 跑通 FlashAttention 与朴素实现的正确性对比和性能对比
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
2.5 Attention 后端与图优化：把 Decode 的 CPU 开销榨干
AI Infra深入 vLLM 的可插拔 Attention 后端（FlashAttention/FlashInfer/FlashMLA/Triton）与图优化：用 CUDA Graph 和 torch.compile 消除 Decode 阶段的 CPU 启动开销
2
CUDA 算子开发基础
AI InfraCUDA 执行模型、内存层级与自定义算子接入 PyTorch 的完整流程，占位待补充自己的实验。
3
算子融合：减少 Kernel 启动与中间读写
AI Infra算子融合的收益模型、典型融合案例与 Triton 实践，占位待补充自己的实验。
4
2.4 Chunked Prefill 与统一 Token Budget 调度
AI Infra深入 Chunked Prefill：把长 Prompt 的 Prefill 切块，消除它对 Decode 请求的干扰；理解 vLLM V1 如何用统一 Token 预算调度器抹平 Prefill/Decode 边界
5
2.2 Continuous Batching：让 GPU 不再空等的动态批处理
AI Infra深入 Continuous Batching 的原理：从 Static Batching 的短板出发，理解 Iteration-level Scheduling 如何让请求随到随拼、完成即退，并对照 vLLM V1 Scheduler 的源码实现
随机文章随机推荐
博客搭建中，将分享 AI Infra 与 Agent 相关技术文章。
文章
12
分类
3
标签
27
总字数
45,635
运行时长
0 天
最后活动
0 天前