Skip to content

Transformer 推理 ​

KV Cache、FlashAttention 与量化:把注意力跑快的工程手段.

章节 ​

#章节状态
01KV Cache待撰写
02注意力 IO 与 FlashAttention待撰写
03量化待撰写
04批处理与吞吐待撰写

依赖 ​

章节随写作进度开放;状态由 scripts/gen-units.mjs 从 curriculum.ts 生成.