Large Model Algorithms

从入门到前沿，系统掌握大模型算法

DMXSF 聚焦大模型算法全链路：学习教程帮助你建立知识底座，学习路径给出阶段性目标，可视化模拟让原理变得可观察，论文雷达持续跟踪前沿动态。

3 教程样例

2 学习路径样例

3 论文样例

学习教程

结构化教程覆盖数学基础、训练工程、推理优化与评测安全。

Transformer 注意力机制入门

用最小示例理解 Q/K/V、缩放点积注意力、Multi-Head 的直觉和计算流程。

难度入门 · 45 分钟 · 更新 2026/03/17

Transformer Attention 基础原理

大模型训练流水线总览

从数据清洗、预训练、对齐训练到评测，建立完整训练工程认知框架。

难度进阶 · 70 分钟 · 更新 2026/03/16

训练工程 SFT RLHF

KV Cache 与推理性能优化

理解 KV Cache 如何减少重复计算，并掌握延迟、吞吐、显存之间的权衡。

难度进阶 · 55 分钟 · 更新 2026/03/15

推理优化 KV Cache 系统性能

学习路径

按角色推荐学习路线，避免盲目刷资料。

LLM 工程师 0-1 路径

面向希望快速进入大模型工程岗位的学习者，从算法基础走到推理部署。

12 周 · 适合工程实践型学习者

注意力机制入门训练流水线总览 KV Cache 与推理优化

LLM 研究者进阶路径

面向具备基础的研究者，聚焦论文脉络、实验设计、创新点提炼。

16 周 · 适合研究导向型学习者

论文系统精读模型架构对比实验设计与评测方法

可视化模拟

通过参数控制、过程动画和变量面板理解抽象机制。

Attention Sandbox

通过可调参数观察注意力权重如何变化，理解上下文聚焦行为。

状态开发中 · 更新 2026/03/17

Transformer Attention 可视化学习

RoPE Visualizer

展示旋转位置编码在不同维度上的相位变化及其对长序列建模的影响。

状态规划中 · 更新 2026/03/16

Position Encoding Long Context

RAG Flow Simulator

以流程图与指标面板展示召回、重排、生成三段式 RAG 管线的关键权衡。

状态规划中 · 更新 2026/03/15

RAG 检索增强 Agent

论文雷达

追踪经典与前沿论文，提炼问题定义、核心方法和实践启发。

Lost in the Middle

研究长上下文模型在不同位置的信息检索能力，发现中间位置的信息利用显著下降。

2023 · TACL

长上下文评测检索能力

Scaling Laws for Neural Language Models

系统研究参数量、数据量、计算量与损失之间的幂律关系，奠定规模化训练方法论。

2020 · arXiv

Scaling Laws 训练策略计算预算

Attention Is All You Need

提出 Transformer 架构，以纯注意力机制替代循环结构，显著提升并行训练能力。

2017 · NeurIPS

Transformer Attention 架构