Implementing LLM Architectures From Scratch

我分享了一个简短的演讲，内容是关于我从零开始用Python和PyTorch实现LLM架构中学到的东西。

实践部分在于工作流程。当一个新的开放权重模型发布时，我通常从一个紧凑的参考实现入手，追踪架构变化，并将这些细节与模型卡片、配置文件和已发布的代码进行对比。这往往是区分命名差异和实际设计变化的最快方法。

演讲在此：我从零实现LLM架构中学到的东西。

相关阅读，请参见近期LLM架构发展文章和LLM架构画廊。

来源：我的Substack笔记的轻度编辑网站版本。