你要用 LoRA 微调一个 7B 模型（32 层，hidden=4096），方案是加到 q_proj 和 v_proj 上、rank=8。请先写出 LoRA 可训练参数量的计算公式，再估算这个方案的参数量；然后回答：如果改成 rank=64、加到所有 linear 层（q,k,v,o,gate,up,down），参数量会变成多少？最后说明 lora_alpha 与 r 的比值在训练中起什么作用——如果我把 r 从 8 提到 64 但 alpha 不变，等效于做了什么？
面试官在考什么
判断候选人是否理解 LoRA 的低秩结构（参数量到底来自哪里）以及 alpha/r 缩放的实际作用，而不是只会调库和抄超参。
回答框架 · 前两步
- 对一个 m×n 的原矩阵，LoRA 参数量是 r×(m+n)；整个模型的总量是各被适配层 r×(in+out) 求和
- q_proj 和 v_proj 都是 4096×4096，rank=8 时每层 8×(4096+4096)×2 = 131072，32 层约 4.2M，约占 7B 的 0.06%
还有 3 条答案要点、 3 层追问、 4 个常见坑， 以及针对你简历的追问路径，在定制报告里。
延伸阅读
想看这个方向的整体准备路线？ 进入「NLP 与大模型」方向页
同一能力域的其他题
- 微调一个大模型时，LoRA 相比全参微调省在哪里？rank 怎么选？为什么它可以在推理时合并回原权重？
- 请说明 SFT、RLHF、DPO 各自解决什么问题。为什么有了 RLHF 还要提 DPO？
- 长文本场景下，上下文窗口装不下时你会怎么办？请对比"截断、分块递归总结、检索"三种方案的代价。
- 你要用大模型做一个每天数百万次调用的线上功能，成本和延迟怎么压？请给出你的优化优先级。
- 一个 32 层 decoder-only 模型，hidden_size=4096，attention head 数 32，KV head 数 8（即 GQA），FP16 推理。现在 batch_size=4、序列长度 8192。请算出 KV cache 占多少显存；如果把 GQA 换成 MHA（32 个 KV head），显存变成多少；并解释为什么现在的模型普遍用 Pre-LN + RMSNorm，而不是原始论文的 Post-LN + LayerNorm。
- 一个 7B 稠密模型，预训练上下文 4K，现在要支持 32K 推理。模型结构：32 层、32 个注意力头、head_dim=128。服务端 8×A100 80G，batch size 固定 16，FP16 权重 + FP16 KV cache。两个问题：(1) 注意力从 MHA 换成 GQA（8 个 KV 头）前后，32K 上下文下单批 KV cache 各是多少？(2) 4K→32K 的位置外推你会选哪种方案，代价是什么？