CS336 环境配置 & 扫盲
如何做作业？
clone下来官方作业仓库，把原 remote 仓库地址命名为上游（仅仅是一个分支名），然后自己开一个远程仓库，把本地仓库的 remote 改成自己的仓库，push 上去
git remote rename origin upstream
git remote add origin git@github.com:你的用户名/cs336-assignment1-private.git
git push -u origin main
里面都是英文，看起来会很花时间、、、
这门课在学什么？
受从零写 OS 课程的启发，想要从零写语言模型的构建过程
Assignment 1: Basics 内容是：实现训练标准 Transformer language model 所需的组件，包括 tokenizer、model architecture、optimizer，然后训练一个最小语言模型。
作业一的简单理解：
文本数据
-> tokenizer 把文本变成 token id
-> batch/data loader 产出训练样本
-> Transformer 模型预测下一个 token
-> loss 衡量预测错多少
-> optimizer 更新参数
-> training loop 反复训练
-> 最后能生成一点文本
5个作业简写了：basic, system, scaling laws, data, alignment