Hyflu's Blog

一个可在线体验的审计智能体工作台演示：登录页进入工作台，全流程在脱敏环境中运行，不涉及任何真实数据。

深入 vLLM 的可插拔 Attention 后端（FlashAttention/FlashInfer/FlashMLA/Triton）与图优化：用 CUDA Graph 和 torch.compile 消除 Decode 阶段的 CPU 启动开销

深入 Chunked Prefill：把长 Prompt 的 Prefill 切块，消除它对 Decode 请求的干扰；理解 vLLM V1 如何用统一 Token 预算调度器抹平 Prefill/Decode 边界

深入 Continuous Batching 的原理：从 Static Batching 的短板出发，理解 Iteration-level Scheduling 如何让请求随到随拼、完成即退，并对照 vLLM V1 Scheduler 的源码实现

CUDA 执行模型、内存层级与自定义算子接入 PyTorch 的完整流程，占位待补充自己的实验。

标准 Attention 的显存瓶颈、Tiling 与 Online Softmax 的核心思想，占位待补充自己的实验。

一篇讲透 LLM 推理的底层逻辑：Prefill/Decode 两阶段、KV Cache 显存账本、TTFT/TPOT 等性能指标，以及用 Roofline 解释为什么 Decode 是 Memory Bound

算子融合的收益模型、典型融合案例与 Triton 实践，占位待补充自己的实验。

深入 vLLM 的核心技术 PagedAttention：借鉴虚拟内存分页思想，用 Block Table 消除 KV Cache 碎片化，并支持前缀共享与 Copy-on-Write