FREE INTERACTIVE COURSE
大模型训练与推理入门互动课
查看完整 AI 学习路线 →
教学模拟本课用简化动画建立流程直觉，数值和输出不是一次真实模型训练的结果。完成本课代表“看懂链路”，真实能力还需通过可运行代码、测试和项目验收。
STEP 01 · DATA先决定模型吃什么
准备一小批可靠的训练数据
模型不会凭空获得知识。训练语料中的错误、重复和隐私内容都会被模型学习。先选择数据源，再亲手完成一次清洗。
至少选择两个合规的数据源。数量很重要，但质量决定了模型学习到什么。
STEP 02 · TOKENIZER文字必须先变成编号
观察迷你分词器如何切分文本
真实分词器会在固定语料上统计常见片段并保存“Token ↔ ID”词表。本步只用可复现规则演示切分取舍：词表太小会切得很碎，太大则增加嵌入参数和稀有片段浪费。
分词规则演示 · 非真实 BPE 训练
调整词表，再观察切分结果
32 词表Token 会显示在这里
先运行一次，比较不同词表大小造成的切分差异。
STEP 03 · BATCH把长文本切成训练题目
构造“根据前文预测下一个 Token”的样本
预训练不是把整篇文章一次塞进模型，而是用固定长度的上下文窗口切成大量输入和标签。标签就是输入向右移动一位。
样本切片机
改变上下文长度
Batch size = 4点击后查看 input_ids 与 labels 如何错开一位。
更长的上下文能看到更多关系，但需要更多显存和计算量。
STEP 04 · ARCHITECTURE定义 Transformer 的容量
配置一个 Transformer 的结构参数
层数决定信息被加工多少次，隐藏维度决定每个 Token 能携带多少特征，注意力头让模型从不同角度观察上下文。
关键约束：隐藏维度必须能被注意力头数整除，否则每个头无法获得相同维度。
STEP 05 · INIT训练前的随机起点
观察参数初始化尺度为何重要
所有权重若完全相同，神经元会学到同样的东西；权重若太大，信号会爆炸。实际模型通常用接近 0 的小随机数初始化。
权重初始化器
比较初始化尺度
标准差 σ = 0.02点击初始化后显示权重分布
尝试不同尺度。0.01～0.03 通常是这个迷你模型的稳定起点。
STEP 06 · FORWARD输入如何变成预测概率
逐层观察一次前向传播模拟
前向传播只做计算，不修改参数：Token ID 先查表变成向量，再通过注意力和前馈网络，最后得到词表中每个 Token 的概率。
1EmbeddingID → 向量
→2Attention读取上下文
→3Logits输出分数
→4Softmax转成概率
INPUT IDS · shape [1, 3][18, 7, 25]这是分词器产生的编号。
STEP 07 · LOSS把“猜得多错”变成一个数
用正确答案计算交叉熵损失
训练数据告诉我们正确下一个 Token 是“帮助”。如果模型给它的概率很低，Loss 就很高；概率越接近 100%，Loss 越接近 0。
单 Token Cross Entropy
先找出训练标签
Loss = −ln(p正确)人工智能可以 ____
请选择语料中的正确标签。
损失函数把模型的预测质量压缩成一个可优化的标量。
STEP 08 · BACKPROP真正发生学习的地方
模拟梯度如何更新参数
自动微分沿计算图反向求出每个参数对 Loss 的影响。本步用一个权重坐标的 SGD 更新建立直觉：“新权重 = 旧权重 − 学习率 × 梯度”；真实 AdamW 还维护动量与二阶矩。
优化器控制台
运行 6 个训练 Step
Step 0 / 6w = 0.120−lr = 0.010×grad = —=等待更新
观察 Loss 是否稳定下降。学习率太大会震荡，太小则学习缓慢。
STEP 09 · EVALUATION训练集表现好还不够
在模型没见过的数据上验证
训练 Loss 持续下降，不代表模型真的学会了规律。验证 Loss 若开始上升，说明模型正在背训练集，这就是过拟合。
STEP 10 · INFERENCE模拟链路结束，观察模型如何生成
观察逐 Token 推理模拟
推理不再计算梯度，只重复前向传播。Temperature 改变概率分布，Top-K 限制候选范围；每次选中的 Token 会放回上下文继续预测。本步使用固定教学 Logits，它们不会随输入提示变化。
✓
CONCEPT SIMULATION COMPLETED你已完成训练到推理的概念导览
数据 → Token → 样本 → 架构 → 初始化 → 前向 → Loss → 反向 → 验证 → 推理
10/10 互动模拟 下一步 注册登录并使用积分继续进阶课程
注册登录，继续学习