我整理了一个新的 LLM 架构画廊,将 大型 LLM 架构对比开放权重 LLM 的春天之梦 中的架构图集中在一个地方。

目标是让您能更轻松地快速浏览近期开放权重的 LLM 架构,而无需在文章各部分之间来回跳转。

该画廊包括:

  • 可点击的高分辨率架构图
  • 每个模型的紧凑信息表
  • 日期、config.json 链接、技术报告链接以及可用的从头实现链接
  • 针对 GQA、MLA、SWA、QK-Norm、NoPE、Gated DeltaNet 及相关概念的简短概念解释

您可以在此处找到它:https://sebastianraschka.com/llm-architecture-gallery/

LLM 架构画廊

打开 LLM 架构画廊

如果您发现信息表有误、架构标签错误或链接失效,画廊页面顶部还有一个问题反馈链接。

继续阅读