DeepSeek Sparse Attention From Scratch

我在 LLMs-from-scratch 仓库中新增了一个从零实现的 DeepSeek 稀疏注意力 模块，这要感谢一位优秀读者的贡献。

该文件夹包含 README 文档、独立的 GPT 风格参考实现以及测试文件：

1. README.md
2. gpt_with_kv_dsa.py
3. test_dsa.py

DeepSeek 稀疏注意力 的核心思想是用学习到的稀疏模式替代固定的稀疏模式。该机制不再仅使用局部窗口，而是通过轻量级的索引器和选择器来决定哪些先前的 token 值得关注。

如需了解更多背景信息，我还准备了本地 DeepSeek 稀疏注意力概念页面 和 图解说明，将其与常规的因果注意力和滑动窗口注意力进行了对比。

来源：根据我的 Substack 笔记 稍作编辑的网站版本。