位置编码

Transformer位置编码的理解。

---

证明 $\sin(x)$ 和 $\cos(x)$ 在数学上是正交的

要证明 $\sin(x)$ 和 $\cos(x)$ 函数在数学上是正交的，我们需要计算它们在一个周期内的内积，并证明这个内积为零。

正交性的定义

两个函数 $f(x)$ 和 $g(x)$ 在区间 $[a, b]$ 上是正交的，如果它们的内积为零：

$$\langle f, g \rangle = \int_a^b f(x) g(x) \, dx = 0$$

证明 $\sin(x)$ 和 $\cos(x)$ 的正交性

我们选择一个完整的周期 $[0, 2\pi]$ 来计算 $\sin(x)$ 和 $\cos(x)$ 的内积：

$$\langle \sin(x), \cos(x) \rangle = \int_0^{2\pi} \sin(x) \cos(x) \, dx$$

使用三角函数的积化和差公式：

$$\sin(A) \cos(B) = \frac{1}{2} [\sin(A+B) + \sin(A-B)]$$

因此，对于 $\sin(x) \cos(x)$ 我们有：

$$\sin(x) \cos(x) = \frac{1}{2} [\sin(2x)]$$

将其代入内积的表达式：

$$\langle \sin(x), \cos(x) \rangle = \int_0^{2\pi} \frac{1}{2} \sin(2x) \, dx$$

现在我们计算这个积分：

$$\int_0^{2\pi} \frac{1}{2} \sin(2x) \, dx = \frac{1}{2} \int_0^{2\pi} \sin(2x) \, dx$$

我们知道 $\sin(2x)$ 在 $[0, 2\pi]$ 的积分为零，因为 $\sin(2x)$ 是一个周期函数，在一个完整的周期内其正负部分相互抵消：

$$\int_0^{2\pi} \sin(2x) \, dx = 0$$

因此，

$$\frac{1}{2} \int_0^{2\pi} \sin(2x) \, dx = \frac{1}{2} \times 0 = 0$$

结论

由于 $\langle \sin(x), \cos(x) \rangle = 0$，这证明了在区间 $[0, 2\pi]$ 内 $\sin(x)$ 和 $\cos(x)$ 是正交的。

在更一般的情形下

更一般地，对于任意整数 $m$ 和 $n$，可以证明 $\sin(mx)$ 和 $\cos(nx)$ 在区间 $[0, 2\pi]$ 上也是正交的。类似的积分计算表明，如果 $m \neq n$，则它们的内积为零：

$$\int_0^{2\pi} \sin(mx) \cos(nx) \, dx = 0$$

这种正交性在傅里叶级数展开和频域分析中是非常重要的性质，它确保了不同频率的正弦和余弦函数在数学上的独立性。

和差公式

1. $\sin(A + B)$：

   $$\sin(A + B) = \sin(A)\cos(B) + \cos(A)\sin(B)$$

2. $\sin(A - B)$：

   $$\sin(A - B) = \sin(A)\cos(B) - \cos(A)\sin(B)$$

3. $\cos(A + B)$：

   $$\cos(A + B) = \cos(A)\cos(B) - \sin(A)\sin(B)$$

4. $\cos(A - B)$：

   $$\cos(A - B) = \cos(A)\cos(B) + \sin(A)\sin(B)$$

5. $\tan(A + B)$：

   $$\tan(A + B) = \frac{\tan(A) + \tan(B)}{1 - \tan(A)\tan(B)}$$

6. $\tan(A - B)$：

   $$\tan(A - B) = \frac{\tan(A) - \tan(B)}{1 + \tan(A)\tan(B)}$$

独立同分布的条件下，随机变量之和的方差等于各个随机变量方差的和

要证明在独立同分布的条件下，随机变量之和的方差等于各个随机变量方差的和，我们可以采用以下步骤：

设 $X_1, X_2, \ldots, X_n$ 是独立同分布的随机变量，均具有相同的期望 $E(X_i) = \mu$ 和方差 $\text{Var}(X_i) = \sigma^2$。

我们需要计算随机变量之和 $S_n = X_1 + X_2 + \ldots + X_n$ 的方差。根据方差的定义和性质，我们有：

1. 方差的定义：

   $$\text{Var}(S_n) = E[(S_n - E(S_n))^2]$$

2. 和的期望的线性性：

   $$E(S_n) = E(X_1 + X_2 + \ldots + X_n) = E(X_1) + E(X_2) + \ldots + E(X_n) = n\mu$$

3. 计算 $S_n$ 的方差：

   $$\text{Var}(S_n) = E[(S_n - n\mu)^2]$$ $$\text{Var}(S_n) = E[((X_1 - \mu) + (X_2 - \mu) + \ldots + (X_n - \mu))^2]$$

4. 展开平方：

   $$\text{Var}(S_n) = E[(X_1 - \mu)^2 + (X_2 - \mu)^2 + \ldots + (X_n - \mu)^2 + 2 \sum_{i < j} (X_i - \mu)(X_j - \mu)]$$

5. 由于独立性，对于 $i \neq j$，$E[(X_i - \mu)(X_j - \mu)] = E[X_i - \mu]E[X_j - \mu] = 0$，因为 $E[X_i - \mu] = 0$。

6. 因此：

   $$\text{Var}(S_n) = E[(X_1 - \mu)^2] + E[(X_2 - \mu)^2] + \ldots + E[(X_n - \mu)^2] = \sigma^2 + \sigma^2 + \ldots + \sigma^2 = n\sigma^2$$

这就完成了证明：当随机变量 $X_1, X_2, \ldots, X_n$ 独立且同分布时，它们的和 $S_n$ 的方差等于方差的和，即 $\text{Var}(S_n) = n\sigma^2$。这是独立性和同分布性在统计学中的一个重要应用，说明在这种条件下，随机变量之和的不确定性（方差）是各个随机变量不确定性的简单累加。

轴角式表达

1. axis-angle representation.
2. 在3维中，用（x, y, z）定义一个旋转轴，一个标量 弧度 表示 选择方向。