手把手教你用PyTorch可视化GELU激活函数及其梯度（附完整代码）-编程阁

手把手教你用PyTorch可视化GELU激活函数及其梯度（附完整代码）

在深度学习领域，激活函数的选择往往直接影响模型的训练效果和收敛速度。GELU（Gaussian Error Linear Unit）作为近年来备受关注的激活函数，凭借其独特的数学特性和在Transformer架构中的出色表现，逐渐成为研究热点。本文将带你从零开始，通过PyTorch实现GELU函数及其梯度的可视化，并与常见激活函数进行对比分析，帮助开发者直观理解其优势。

1. 环境准备与基础概念

在开始编码前，我们需要确保开发环境配置正确。推荐使用Jupyter Notebook或Google Colab作为实验平台，这些交互式环境特别适合数据可视化和快速迭代。安装必要的Python库只需简单几行命令：

pip install torch matplotlib numpy

GELU函数的数学表达式看似复杂，但其核心思想却非常直观。它通过结合线性变换和高斯分布函数，在ReLU的基础上实现了更平滑的过渡。具体公式如下：

GELU(x) = x * Φ(x)

其中Φ(x)是标准正态分布的累积分布函数。这种设计使得GELU在x=0附近不会像ReLU那样产生硬截断，而是呈现平滑过渡的特性。理解这一点对后续的代码实现和可视化分析至关重要。

提示：在实际应用中，PyTorch已经内置了nn.GELU模块，但我们仍需要手动实现它以深入理解其工作原理。

2. 手动实现GELU函数

虽然PyTorch提供了现成的GELU实现，但自己动手编写能加深理解。我们将分步骤实现GELU及其导数：

import torch import numpy as np from scipy.special import erf def manual_gelu(x): """手动实现GELU激活函数""" return 0.5 * x * (1 + torch.erf(x / torch.sqrt(torch.tensor(2.0)))) def manual_gelu_grad(x): """手动实现GELU的导数""" sqrt_2 = torch.sqrt(torch.tensor(2.0)) sqrt_pi = torch.sqrt(torch.tensor(np.pi)) return 0.5 * (1 + torch.erf(x / sqrt_2)) + (x / (sqrt_2 * sqrt_pi)) * torch.exp(-0.5 * x**2)

为了验证我们的实现是否正确，可以与PyTorch官方实现进行对比：

x = torch.linspace(-5, 5, 100) gelu = torch.nn.GELU() # 比较手动实现与官方实现 max_diff = torch.max(torch.abs(manual_gelu(x) - gelu(x))) print(f"最大差异值: {max_diff.item():.6f}")

如果输出差异极小（通常小于1e-6），说明我们的实现是正确的。这种验证步骤在实际开发中非常重要，能确保后续分析的可靠性。

3. 可视化分析与对比

可视化是理解激活函数特性的最佳方式。我们将使用Matplotlib绘制GELU及其导数曲线，并与ReLU、SiLU等常见激活函数进行对比。

3.1 基础可视化实现

首先创建基础绘图函数：

import matplotlib.pyplot as plt def plot_activation_and_grad(activation_fn, grad_fn, x_range=(-4, 4), title=""): """绘制激活函数及其导数""" x = torch.linspace(x_range[0], x_range[1], 500) fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5)) # 绘制激活函数 ax1.plot(x.numpy(), activation_fn(x).numpy(), 'b-', linewidth=2) ax1.set_title(f'{title} Function') ax1.set_xlabel('x') ax1.set_ylabel(f'{title}(x)') ax1.grid(True) # 绘制导数函数 ax2.plot(x.numpy(), grad_fn(x).numpy(), 'r-', linewidth=2) ax2.set_title(f'{title} Derivative') ax2.set_xlabel('x') ax2.set_ylabel(f'd{title}(x)/dx') ax2.grid(True) plt.tight_layout() plt.show()

调用这个函数绘制GELU：

plot_activation_and_grad(manual_gelu, manual_gelu_grad, title="GELU")

3.2 多函数对比分析

为了更深入理解GELU的特性，我们将其与ReLU和SiLU进行对比：

def relu(x): return torch.maximum(torch.tensor(0), x) def relu_grad(x): return (x > 0).float() def silu(x): return x * torch.sigmoid(x) def silu_grad(x): sigmoid = torch.sigmoid(x) return sigmoid * (1 + x * (1 - sigmoid)) # 创建对比图 x = torch.linspace(-4, 4, 500) plt.figure(figsize=(12, 6)) for fn, name, color in [(relu, 'ReLU', 'blue'), (silu, 'SiLU', 'green'), (manual_gelu, 'GELU', 'red')]: plt.plot(x.numpy(), fn(x).numpy(), color=color, linewidth=2, label=name) plt.title('Activation Function Comparison') plt.xlabel('x') plt.ylabel('Activation Output') plt.grid(True) plt.legend() plt.show()

通过对比图可以明显看出：

ReLU在x<0时完全抑制神经元输出
SiLU和GELU都呈现平滑过渡特性
GELU在负值区域的衰减更为渐进

4. 梯度特性与训练优势

GELU的梯度特性是其最大的优势所在。让我们仔细分析其导数曲线：

plt.figure(figsize=(12, 6)) for grad_fn, name, color in [(relu_grad, 'ReLU', 'blue'), (silu_grad, 'SiLU', 'green'), (manual_gelu_grad, 'GELU', 'red')]: plt.plot(x.numpy(), grad_fn(x).numpy(), color=color, linewidth=2, label=name) plt.title('Activation Gradient Comparison') plt.xlabel('x') plt.ylabel('Gradient Value') plt.grid(True) plt.legend() plt.show()

从梯度曲线可以观察到几个关键特点：