CUDA 算子开发基础
163 字
1 分钟
CUDA 算子开发基础
- 1CUDA 算子开发基础本文
- 2算子融合：减少 Kernel 启动与中间读写
- 3FlashAttention 原理浅析
占位文章
本文是学习骨架，内容将结合自己的实践逐步补充。
1. CUDA 执行模型回顾
2. 内存层级与访存合并
3. 从向量加法开始写第一个算子
4. 接入 PyTorch
5. 性能测量入门
🧪 我的实验
- 实现向量加法与矩阵乘法各一版，用 Nsight 分析瓶颈
参考资料
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
算子融合：减少 Kernel 启动与中间读写
AI Infra算子融合的收益模型、典型融合案例与 Triton 实践，占位待补充自己的实验。
2
FlashAttention 原理浅析
AI Infra标准 Attention 的显存瓶颈、Tiling 与 Online Softmax 的核心思想，占位待补充自己的实验。
3
1.1 LLM 推理基础
AI Infra一篇讲透 LLM 推理的底层逻辑：Prefill/Decode 两阶段、KV Cache 显存账本、TTFT/TPOT 等性能指标，以及用 Roofline 解释为什么 Decode 是 Memory Bound
4
2.5 Attention 后端与图优化：把 Decode 的 CPU 开销榨干
AI Infra深入 vLLM 的可插拔 Attention 后端（FlashAttention/FlashInfer/FlashMLA/Triton）与图优化：用 CUDA Graph 和 torch.compile 消除 Decode 阶段的 CPU 启动开销
5
2.4 Chunked Prefill 与统一 Token Budget 调度
AI Infra深入 Chunked Prefill：把长 Prompt 的 Prefill 切块，消除它对 Decode 请求的干扰；理解 vLLM V1 如何用统一 Token 预算调度器抹平 Prefill/Decode 边界
随机文章随机推荐
博客搭建中，将分享 AI Infra 与 Agent 相关技术文章。
文章
12
分类
3
标签
27
总字数
45,635
运行时长
0 天
最后活动
0 天前