摘要：本文设计并实现了一个基于深度学习的钓鱼邮件自动检测系统。系统采用BiLSTM模型对邮件文本进行语义分析，结合文本预处理、词向量表示等技术，实现钓鱼邮件与正常邮件的自动分类。项目构建了完整的数据处理流程和GUI界面，包含数据层、预处理层、模型层、业务逻辑层和表现层五个核心模块。系统在Windows环境下开发，使用Python3.8+和相关深度学习库，具有良好的可扩展性和实用性。实验表明，该系统能有效识别钓鱼邮件，未来可进一步引入预训练模型和多模态特征提升性能。
一、项目概述
1.1 项目背景
随着互联网技术和电子邮件系统的快速发展，电子邮件已成为个人交流、企业办公和信息传播中不可或缺的重要工具。然而，伴随其便利性的提升，电子邮件安全问题也日益突出。其中，钓鱼邮件（Phishing Email）作为一种典型的网络攻击手段，利用社会工程学方法，通过伪装成银行、政府机构、电商平台或熟人身份，诱导用户点击恶意链接、下载病毒附件或主动泄露账号、密码、银行卡号等敏感信息，已成为当前网络安全领域面临的重要威胁之一。
传统的钓鱼邮件检测方式主要依赖人工规则、黑名单或关键词匹配，这类方法虽然实现简单，但存在适应性差、维护成本高、对新型钓鱼手段识别能力不足等问题。随着自然语言处理（NLP）和深度学习技术的不断成熟，利用机器学习模型对邮件文本语义进行建模和自动分类，已成为提升钓鱼邮件检测准确率和泛化能力的重要研究方向。
在此背景下，本项目设计并实现了一个基于深度学习的钓鱼邮件自动检测系统。系统以邮件文本内容为研究对象，结合文本预处理、词向量表示和双向长短期记忆网络（BiLSTM）模型，实现对钓鱼邮件与正常邮件的自动判别。同时，通过构建图形化用户界面（GUI），为用户提供直观、易用的邮件检测工具，具有一定的实用价值和教学示范意义。
1.2 项目目标
本项目的总体目标是完成一个从数据处理到模型预测、再到界面展示的完整钓鱼邮件检测系统。具体目标包括：
- 构建规范的数据处理流程，实现邮件文本的自动清洗、分词与编码
- 设计并实现基于 BiLSTM 的邮件文本分类模型
- 完成模型的训练、验证与参数保存
- 实现模型预测模块，支持对单封邮件文本的实时分类
- 设计并实现简洁直观的图形用户界面（GUI）
- 形成结构清晰、逻辑完整、可复现的工程项目文档
通过上述目标的实现，使系统具备较好的可扩展性和可维护性，为后续模型改进和功能拓展奠定基础。
二、系统总体架构
2.1 系统架构说明
系统整体采用分层与模块化相结合的设计思想，将复杂的钓鱼邮件检测任务拆分为多个功能明确、职责单一的模块。各模块之间通过清晰的接口进行交互，既降低了系统耦合度，又便于后期维护和功能扩展。
从功能角度来看，系统主要由以下五个核心部分组成：
- 数据层：负责原始邮件数据的存储、读取与基础管理
- 预处理与特征层：完成文本清洗、分词、编码及词表构建
- 模型层：定义并实现深度学习模型结构
- 业务逻辑层：实现模型训练、加载与预测逻辑
- 表现层（GUI）：为用户提供可视化操作界面和结果反馈
2.2 系统架构图（文字描述）
系统的数据流和功能流可用如下结构进行描述：
┌──────────────┐
│ 邮件数据集 │
└──────┬───────┘
↓
┌──────────────┐
│ 文本预处理 │
│ 分词与编码 │
└──────┬───────┘
↓
┌──────────────┐
│ BiLSTM 模型 │
│ 特征学习 │
└──────┬───────┘
↓
┌──────────────┐
│ 模型训练 │
│ 参数保存 │
└──────┬───────┘
↓
┌──────────────┐
│ 模型预测 │
└──────┬───────┘
↓
┌──────────────┐
│ GUI 界面展示 │
└──────────────┘
该架构保证了系统在逻辑上的清晰性和实现上的可操作性。
三、开发环境与依赖
3.1 硬件环境
- 操作系统：Windows 10 / Windows 11
- 处理器：Intel 或 AMD 系列 CPU
- 内存：8GB 及以上（推荐 16GB）
- 可选硬件：NVIDIA GPU（支持 CUDA，用于模型加速训练）
3.2 软件环境
- 操作系统平台：Windows
- Python 版本：Python 3.8 及以上
- 虚拟环境管理：Anaconda
- 开发工具：PyCharm / VS Code / 命令行
3.3 主要依赖库
四、项目目录结构
为保证项目结构清晰、模块职责明确，本项目采用如下目录组织方式：
钓鱼邮件/
├── data/ # 原始数据集
│ └── phishing_email.csv
├── dataset/ # 数据集封装模块
│ └── email_dataset.py
├── model/ # 模型定义
│ └── bilstm_model.py
├── utils/ # 工具函数
│ ├── simple_tokenizer.py
│ └── train_utils.py
├── saved_model/ # 模型与词表保存目录
│ ├── phishing_model.pth
│ └── vocab.pkl
├── train.py # 模型训练脚本
├── predict.py # 模型预测脚本
└── main_gui.py # GUI 主程序
五、数据处理模块设计
5.1 数据集格式
邮件数据集以 CSV 文件形式存储，每一行代表一封邮件样本，主要包含以下字段：
5.2 数据预处理流程
在模型训练和预测前，需要对原始邮件文本进行预处理，主要步骤包括：
- 去除空值与异常样本
- 统一文本格式（小写化）
- 去除无意义字符
- 文本分词
- 文本编码为固定长度的数值序列
通过上述处理，使文本数据能够被神经网络模型有效利用。
数据预处理代码：
数据集训练集：
sender 发件人邮箱 receiver 收件人邮箱 / 邮件列表地址 date邮件发送时间subject 邮件主题 body 邮件正文（最核心的文本数据） label 分类标签（重点）0=正常邮件（ham）1=垃圾邮件/钓鱼邮件（spam）
六、文本编码与词表构建
6.1 分词策略
本项目采用基于规则的简单分词方法，具体包括：
- 按空格和标点符号拆分文本
- 去除空字符串
- 保留英文单词基本语义
该方法实现简单、效率高，适用于基础文本分类任务。
6.2 词表构建与管理
在训练阶段，根据训练集统计词频并构建词表（Vocabulary）。每个词被映射为唯一整数 ID，其中：
- 0：Padding（填充符号）
- 1：Unknown（未知词）
词表通过pickle序列化保存，确保训练与预测阶段使用同一套词映射规则。
七、模型设计
7.1 模型选择理由
本项目选用BiLSTM（双向长短期记忆网络）作为核心模型，主要基于以下考虑：
- 能同时学习文本的前向与后向上下文信息
- 对序列建模能力强，适合处理变长文本
- 在文本分类任务中具有较好稳定性和表现
7.2 模型结构说明
模型主要由以下几部分组成：
- Embedding 层：将词 ID 映射为稠密向量表示
- BiLSTM 层：提取双向上下文语义特征
- 全连接层：完成最终分类
7.3 损失函数与优化方法
- 损失函数：交叉熵损失（CrossEntropyLoss）
- 优化器：Adam 优化算法
八、模型训练流程
8.1 训练流程说明
模型训练主要包括以下步骤：
- 加载并划分数据集
- 构建 DataLoader
- 初始化模型、损失函数和优化器
- 进行多轮 Epoch 训练
- 记录训练损失变化
- 保存训练完成的模型参数
8.2 模型保存机制
训练结束后，将模型参数保存至本地文件，便于后续加载和预测：
torch.save(model.state_dict(), "saved_model/phishing_model.pth")
九、模型预测模块设计
9.1 模型加载机制
预测模块通过加载训练阶段保存的模型参数和词表文件，实现模型的快速恢复。为避免路径错误，统一以脚本所在目录作为路径基准。
9.2 预测流程说明
预测流程包括：
- 接收用户输入邮件文本
- 对文本进行编码
- 将编码结果输入模型
- 输出预测类别
- 返回预测结果给 GUI 界面
十、GUI 界面设计
10.1 界面功能说明
GUI 界面主要实现以下功能：
- 提供邮件文本输入区域
- 提供“检测”按钮触发预测
- 显示检测结果（钓鱼邮件 / 正常邮件）
十一、系统运行流程
系统整体运行流程如下：
- 执行
train.py进行模型训练 - 生成并保存模型文件与词表文件
- 执行
main_gui.py启动图形界面 - 用户输入邮件内容并点击检测
- 系统输出检测结果
十二、总结与展望
本文档详细介绍了一个基于深度学习的钓鱼邮件检测系统的设计与实现过程。系统结构清晰、功能完整，具有较好的实用性和扩展潜力。
未来的改进方向包括：
- 引入 Transformer 或 BERT 等预训练模型
- 支持中文钓鱼邮件检测
- 融合邮件链接、附件等多模态特征
- 将系统部署为 Web 服务或接口
最终项目运行效果如下：
