LLM Interview Code

LLM面试常见手撕代码合集

ps: 本人目前几十场面试仅遇到过 MHA, RoPE, RMSNorm, BPE, InfoNCE, DPO, 工具调用解析。如有帮助请点个star⭐️~

我去，这么多⭐️，感谢大家～

项目结构

目录	文件	说明
Attention	MHA.ipynb	多头注意力 (Multi-Head Attention)
	GQA.ipynb	分组查询注意力 (Grouped Query Attention)
	MLA.ipynb	多头潜注意力（Multi-Head Latent Attention）
	MHAkvcache.ipynb	带KV cache的注意力
mask.ipynb	注意力掩码
Components	Linear.ipynb	线性层
	BPE.ipynb	Byte Pair Encoding
	LoRA.ipynb	LoRA Linear 层
	RoPE.ipynb	旋转位置编码
	SwiGLU.ipynb	SwiGLU 激活函数
Norm	LayerNorm.ipynb	层归一化
Norm	RMSNorm.ipynb	RMS归一化
Functional	activationfun.ipynb	激活函数
	CE.ipynb	交叉熵损失
	InfoNCE.ipynb	InfoNCE损失
	quantize.ipynb	量化
	sft.ipynb	SFT损失
	sample.ipynb	采样方法
	toolfunction.ipynb	Tool Calling 流式解析
RL	DPO.ipynb	DPO损失
	GRPO.ipynb	GRPO损失
	DAPO.ipynb	DAPO损失
	GSPO.ipynb	GSPO损失
	KL.ipynb	KL散度

🔗 More in this category