Rope旋转位置编码解读-编程阁

Rope旋转位置编码的数值示例

RoPE (Rotary Position Embedding) 数值示例详解

一、基本原理

RoPE通过旋转矩阵将位置信息编码到向量中。对于位置mmm和维度索引iii，使用角度mθim\theta_imθi进行旋转，其中：

θi=10000−2i/d\theta_i = 10000^{-2i/d}θi=10000−2i/d

二、具体数值例子

设置参数

序列长度: 3个token（位置0, 1, 2）
embedding维度: d = 4
基础频率: base = 10000

步骤1：计算旋转角度 θ

对于 d=4，我们需要计算 θ₀ 和 θ₁（因为是成对处理）：

θ₀ = 10000^(-2×0/4) = 10000^0 = 1.0 θ₁ = 10000^(-2×1/4) = 10000^(-0.5) = 0.01

步骤2：准备输入向量

假设我们有3个token的query向量（简化数值）：

位置 0 的向量 q₀:

q₀ = [1.0, 0.0, 2.0, 0.0]

位置 1 的向量 q₁:

q₁ = [1.0, 0.0, 2.0, 0.0]

位置 2 的向量 q₂:

q₂ = [1.0, 0.0, 2.0, 0.0]

步骤3：应用RoPE旋转

RoPE将向量每两个维度作为一对进行2D旋转。对于维度对 (x, y)，在位置 m 处：

[x′y′]=[cos⁡(mθ)−sin⁡(mθ)sin⁡(mθ)cos⁡(mθ)][xy]\begin{bmatrix} x' \\ y' \end{bmatrix} = \begin{bmatrix} \cos(m\theta) & -\sin(m\theta) \\ \sin(m\theta) & \cos(m\theta) \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}[x′y′]=[cos(mθ)sin(mθ)−sin(mθ)cos(mθ)][xy]

位置 0 (m=0) 的旋转：

维度对 [0,1]: 旋转角度 = 0 × 1.0 = 0

[1.0] [cos(0) -sin(0)] [1.0] [1.0] [0.0] = [sin(0) cos(0)] [0.0] = [0.0]

维度对 [2,3]: 旋转角度 = 0 × 0.01 = 0

[2.0] [cos(0) -sin(0)] [2.0] [2.0] [0.0] = [sin(0) cos(0)] [0.0] = [0.0]

输出 q₀’:[1.0, 0.0, 2.0, 0.0](没有变化)

位置 1 (m=1) 的旋转：

维度对 [0,1]: 旋转角度 = 1 × 1.0 = 1.0 弧度 ≈ 57.3°

cos(1.0) ≈ 0.5403 sin(1.0) ≈ 0.8415 [x'] [0.5403 -0.8415] [1.0] [0.5403] [y'] = [0.8415 0.5403] [0.0] = [0.8415]

维度对 [2,3]: 旋转角度 = 1 × 0.01 = 0.01 弧度 ≈ 0.57°

cos(0.01) ≈ 0.99995 sin(0.01) ≈ 0.01 [x'] [0.99995 -0.01] [2.0] [1.9999] [y'] = [0.01 0.99995] [0.0] = [0.02]

输出 q₁’:[0.5403, 0.8415, 1.9999, 0.02]

位置 2 (m=2) 的旋转：

维度对 [0,1]: 旋转角度 = 2 × 1.0 = 2.0 弧度 ≈ 114.6°

cos(2.0) ≈ -0.4161 sin(2.0) ≈ 0.9093 [x'] [-0.4161 -0.9093] [1.0] [-0.4161] [y'] = [0.9093 -0.4161] [0.0] = [0.9093]

维度对 [2,3]: 旋转角度 = 2 × 0.01 = 0.02 弧度

cos(0.02) ≈ 0.9998 sin(0.02) ≈ 0.02 [x'] [0.9998 -0.02] [2.0] [1.9996] [y'] = [0.02 0.9998] [0.0] = [0.04]

输出 q₂’:[-0.4161, 0.9093, 1.9996, 0.04]

三、关键观察

输入 vs 输出对比

位置	输入向量	输出向量（应用RoPE后）
0	[1.0, 0.0, 2.0, 0.0]	[1.0, 0.0, 2.0, 0.0]
1	[1.0, 0.0, 2.0, 0.0]	[0.5403, 0.8415, 1.9999, 0.02]
2	[1.0, 0.0, 2.0, 0.0]	[-0.4161, 0.9093, 1.9996, 0.04]

RoPE的优势

相对位置编码：计算注意力时，q·k 的结果只依赖相对位置差
- 例如：q₁’ · k₀’ 和 q₂’ · k₁’ 会产生相同的旋转效果（都是位置差1）
向量长度不变：旋转不改变向量的模长
- |q₀| = |q₀’| = √(1² + 0² + 2² + 0²) = √5
不同频率捕获不同范围：
- 低维度（θ大）：旋转快，适合捕获近距离关系
- 高维度（θ小）：旋转慢，适合捕获远距离关系

四、实际应用

在Transformer的注意力计算中：

Q' = RoPE(Q, positions) K' = RoPE(K, positions) Attention = softmax(Q'K'^T / √d) V

通过这种方式，位置信息被"旋转"进了query和key向量中，使得注意力分数自然地包含了位置关系！��为你创建了一个详细的RoPE数值示例！

核心要点：

旋转原理：RoPE将每两个维度作为一对，在2D平面上进行旋转，旋转角度与位置成正比
关键公式：对于位置m，维度i的旋转角度是m × θᵢ，其中θᵢ = 10000^(-2i/d)
实例说明：
- 同样的输入向量[1.0, 0.0, 2.0, 0.0]
- 在不同位置会得到不同的旋转结果
- 位置0：不旋转（角度为0）
- 位置1：旋转1弧度和0.01弧度（不同维度对）
- 位置2：旋转2弧度和0.02弧度
神奇之处：当计算注意力 Q·K^T 时，相对位置相同的token对会有相同的旋转关系，这就实现了相对位置编码！