Attention 背后的数学：Q、K、V 白话详解

Mon, 31 Aug 2026 00:00:00 +0800

基于 Outcome School 文章《Math behind Attention - Q, K, and V》的中文整理与扩展讲解。

原文链接：https://outcomeschool.com/blog/math-behind-attention-qkv

原文作者：Amit Shekhar

原文页面标注日期：2026 年 4 月 3 日

一句话理解 Attention

Attention 可以理解成：

每个词都先问一句：“当前情况下，我应该重点参考哪些词？”然后根据相关程度，从其他词那里提取信息，形成一个包含上下文的新表示。

例如句子：

I love AI

处理 I 时，模型可能会发现 love 和它关系比较大，于是给 love 更高权重；处理 AI 时，也可能重点参考 love。

完整公式是：

Attention(Q, K, V)
= softmax(Q × Kᵀ / √dₖ) × V

这条公式可以拆成 6 步：

文字
 ↓ embedding
数字向量 X
 ↓
生成 Q、K、V
 ↓
Q 和 K 做匹配
 ↓
Softmax 转成权重
 ↓
用权重加权混合 V
 ↓
得到包含上下文的新向量

Llm on elonnzhang

Attention 背后的数学：Q、K、V 白话详解

一句话理解 Attention