开篇：为什么开始写 AI Infra 与 Agent 博客
393 字
2 分钟
开篇：为什么开始写 AI Infra 与 Agent 博客
为什么写这个博客
大模型技术迭代非常快，从推理框架到 Agent 编排，几乎每个月都有新的东西冒出来。与其让笔记散落在各种文档和聊天记录里，不如系统地整理成文章，倒逼自己把知识串成体系。
这个博客会聚焦两个方向：
- AI Infra：推理优化、GPU 集群调度、vLLM / SGLang 等推理框架、KV Cache、量化、分布式训练等工程实践
- Agent：Agent 架构设计、工具调用、MCP 协议、多智能体协作、评测与可观测性
文章会怎么写
说明
这是一篇示例文章，用于验证博客的排版效果。正式文章会以实践笔记和源码分析为主。
以后的文章大致会遵循这样的结构：背景与问题 → 方案选型 → 实现细节（带代码）→ 踩坑记录。例如一篇典型的推理优化文章里会有这样的代码片段：
from vllm import LLM, SamplingParams
llm = LLM( model="Qwen/Qwen3-32B", tensor_parallel_size=2, # 2 卡张量并行 gpu_memory_utilization=0.90, # 显存占用上限 max_model_len=32768, # 最大上下文长度)
outputs = llm.generate( ["介绍一下 PagedAttention 的核心思想"], SamplingParams(temperature=0.7, max_tokens=512),)print(outputs[0].outputs[0].text)内容规划
| 方向 | 主题示例 | 状态 |
|---|---|---|
| AI Infra | vLLM 部署与性能调优 | 规划中 |
| AI Infra | KV Cache 与 Prefix Caching 原理 | 规划中 |
| Agent | MCP 协议与实践 | 规划中 |
| Agent | 多智能体协作模式对比 | 规划中 |
如果你对这几个方向感兴趣，欢迎通过 关于页面 里的联系方式交流。
文章分享
如果这篇文章对你有帮助，欢迎分享给更多人！
相关文章智能推荐
1
审计智能体在线演示（脱敏环境）
Agent一个可在线体验的审计智能体工作台演示：登录页进入工作台，全流程在脱敏环境中运行，不涉及任何真实数据。
2
2.4 Chunked Prefill 与统一 Token Budget 调度
AI Infra深入 Chunked Prefill：把长 Prompt 的 Prefill 切块，消除它对 Decode 请求的干扰；理解 vLLM V1 如何用统一 Token 预算调度器抹平 Prefill/Decode 边界
3
算子融合：减少 Kernel 启动与中间读写
AI Infra算子融合的收益模型、典型融合案例与 Triton 实践，占位待补充自己的实验。
4
2.3 Prefix Cache 与 RadixAttention：复用共享前缀的 KV
AI Infra深入前缀缓存：vLLM 基于 Hash 的 Automatic Prefix Caching 如何复用共享前缀的 KV 块，SGLang 的 RadixAttention 如何用 Radix Tree 做更高效的前缀共享
5
2.5 Attention 后端与图优化：把 Decode 的 CPU 开销榨干
AI Infra深入 vLLM 的可插拔 Attention 后端（FlashAttention/FlashInfer/FlashMLA/Triton）与图优化：用 CUDA Graph 和 torch.compile 消除 Decode 阶段的 CPU 启动开销
随机文章随机推荐
博客搭建中，将分享 AI Infra 与 Agent 相关技术文章。
文章
12
分类
3
标签
27
总字数
45,635
运行时长
0 天
最后活动
0 天前