有人把自注意力写成 softmax(X Xᵀ)X，即 Q=K=V=X、完全不做线性投影，X 的形状是 [n, d]。请回答：(1) 打分矩阵 X Xᵀ 是否对称？经过 softmax 得到的注意力权重矩阵是否还对称？(2) 输出第 i 个位置的向量是哪些东西的加权和，权重由什么决定？(3) 如果序列里有的 token 表示模长是 100、有的是 0.1，会出现什么问题？(4) 这种写法下再上多头，各头会有什么区别？

面试官在考什么

判断候选人是否理解自注意力中 Q/K/V 投影的作用，以及权重矩阵的逐行 softmax、表示尺度对注意力的影响。

自注意力

回答框架 · 前两步

1. 打分矩阵 X Xᵀ 本身对称；但 softmax 是逐行归一化，得到的注意力权重矩阵一般不保持对称（第 i 行表示位置 i 对所有位置的归一化权重）。
2. 输出第 i 个位置 = Σ_j softmax_i_j · x_j，是同一序列所有位置表示的加权和，权重由 token 表示之间的内积决定；没有可学习的 Q/K/V 投影参数。

延伸阅读

• 技术面到底在考什么：三类考点的及格线与加分线
• 从「背过」到「能选型」：原理的三层准备法

想看这个方向的整体准备路线？ 进入「深度学习基础」方向页

同一能力域的其他题

• 手写版：请推导一下自注意力的计算过程，并说明为什么要除以 sqrt(d_k)？如果不除会出什么问题？
• 你用单层 LSTM（hidden=128）做一个长度 512 的序列分类任务，只取最后一个时间步的 h 接一层线性分类头。训练集 loss 能降到 0.05，验证集 loss 停在 0.6 左右；更奇怪的是，你把验证集里每条样本的时间步随机打乱后再测，指标几乎不变。请给出你的根因判断、一个能证伪它的实验，以及你接下来会怎么改。
• 场景：线上实时风控，每条请求是一条长度 300 的行为序列（每步 64 维），要求单条推理 P99 < 20ms，只能部署一张 T4，线上 batch=1（请求串行到达但必须低延迟）。候选方案：(A) 2 层 LSTM，hidden=256；(B) 2 层 GRU，hidden=256；(C) 因果膨胀卷积（dilation=1,2,4,...,128，kernel=3，约 8 层）。请给出你的选型，并估算 A/B 在这个延迟预算下能不能达标、为什么。如果实际必须用 RNN，你会怎么改？
• 某实时风控场景，用户行为序列平均长度 2000，QPS 1000，要求单次推理 P99 ≤ 50ms（单卡 T4）。当前用 2 层 LSTM，hidden=256，延迟 120ms，且长序列尾部信息衰减明显。团队有人提议直接换 Transformer，但 GPU 预算只允许推理成本增加 20%。作为技术负责人，你如何做技术决策？请给出你对 RNN/LSTM/GRU 能力边界的判断、可能的中间方案、以及如何验证和推动落地。
• 单层 LSTM，输入维度 64，隐层维度 128，batch=32、序列长度 50。请算出这一层 LSTM 有多少个可学习参数（含 bias，写出计算式）；如果把同样的输入维度、隐层维度换成单层 GRU，参数量是多少？并说明这个比例从两者的门结构上看是怎么来的，LSTM 每个门各控制什么。
• 在 d_k=512 的点积注意力里，假设 q 和 k 的每一维近似独立、均值 0 方差 1。请估算 q·k 的量级，说明为什么必须除以 sqrt(d_k)，以及如果不除，在 fp16 训练时会具体出现什么现象。另外，如果你把 padding 位置的 score 设成 -1e9 而不是 -inf，可能踩什么坑？