Time-MoE：基于混合专家架构的十亿级时间序列基础模型快速上手指南

Time-MoE：基于混合专家架构的十亿级时间序列基础模型快速上手指南

【免费下载链接】Time-MoETime-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts项目地址: https://gitcode.com/gh_mirrors/ti/Time-MoE

Time-MoE是首个将时间序列基础模型参数扩展到24亿个并从头开始训练的开源项目，采用创新的混合专家架构，能够处理长达4096步的复杂时间序列数据，实现精准的自动回归预测。

项目核心特性

Time-MoE采用解码器专用的时间序列基础模型架构，结合混合专家设计，支持任意预测范围的自回归操作，上下文长度最高可达4096。该项目在ICLR 2025会议上获得接收，代表了时间序列分析领域的最新突破。

环境准备与安装

系统要求

• Python 3.10或更高版本
• pip包管理器
• Git客户端

完整安装步骤

1. 获取项目源代码使用以下命令克隆项目仓库：

   git clone https://gitcode.com/gh_mirrors/ti/Time-MoE.git cd Time-MoE

2. 安装核心依赖包在项目根目录下执行：

   pip install -r requirements.txt

   重要说明：Time-MoE要求transformers版本为4.40.1，系统会自动处理版本兼容性。

3. 性能优化安装（推荐）为提升训练和推理速度并降低内存使用，建议安装flash-attn：

   pip install flash-attn==2.6.3

核心架构解析

Time-MoE架构包含以下核心组件：

• 点级标记化：将输入时间序列转换为离散标记，形成序列输入
• 因果注意力机制：确保时间序列的自回归特性，仅关注历史信息
• 混合专家层：通过路由机制选择专家并加权组合输出
• 多任务优化：同时处理多个预测目标，共享专家模块提高效率
• 多分辨率调度：动态适配不同时间步长的预测需求

快速开始预测

基础预测示例

import torch from transformers import AutoModelForCausalLM context_length = 12 seqs = torch.randn(2, context_length) model = AutoModelForCausalLM.from_pretrained( 'Maple728/TimeMoE-50M', device_map="cpu", trust_remote_code=True, ) # 标准化序列 mean, std = seqs.mean(dim=-1, keepdim=True), seqs.std(dim=-1, keepdim=True) normed_seqs = (seqs - mean) / std # 进行预测 prediction_length = 6 output = model.generate(normed_seqs, max_new_tokens=prediction_length) normed_predictions = output[:, -prediction_length:] # 反标准化 predictions = normed_predictions * std + mean

已标准化序列的预测

import torch from transformers import AutoModelForCausalLM context_length = 12 normed_seqs = torch.randn(2, context_length) model = AutoModelForCausalLM.from_pretrained( 'Maple728/TimeMoE-50M', device_map="cpu", trust_remote_code=True, ) prediction_length = 6 output = model.generate(normed_seqs, max_new_tokens=prediction_length) normed_predictions = output[:, -prediction_length:]

模型评估与验证

准备基准数据集

从相关资源获取预处理好的数据集，将下载内容放置在./dataset目录下。

运行评估示例

在ETTh1数据集上进行评估：

python run_eval.py -d dataset/ETT-small/ETTh1.csv -p 96

模型微调指南

数据集准备

要微调Time-MoE，您的数据集应转换为jsonl格式。每行代表一个时间序列数据作为字典对象，其中sequence字段包含时间序列观测值列表。

示例格式：

{"sequence": [1.0, 2.0, 3.0, ...]} {"sequence": [11.0, 22.0, 33.0, ...]}

训练配置

CPU训练

python main.py -d <data_path>

单节点单GPU或多GPU训练

python torch_dist_run.py main.py -d <data_path>

多节点多GPU训练需要配置额外的环境变量以促进节点间通信：

export MASTER_ADDR=<master_addr> export MASTER_PORT=<master_port> export WORLD_SIZE=<world_size> export RANK=<rank> python torch_dist_run.py main.py -d <data_path>

安装验证

完成安装后，通过以下命令验证Time-MoE是否成功部署：

python main.py --help

如果能够看到命令行帮助信息，则表示安装成功。

项目结构概览

• 核心模型代码：time_moe/models/
• 数据集处理：time_moe/datasets/
• 训练工具：time_moe/trainer/
• 实用工具：time_moe/utils/

重要注意事项

• Time-MoE的最大序列长度为4096，建议确保上下文长度和预测长度之和不超过此限制
• 如需支持更长序列，请使用所需更长序列长度对Time-MoE进行微调
• 使用flash-attn可以显著提升性能，建议在生产环境中使用

通过本指南，您已经掌握了Time-MoE的完整安装和使用流程。这个强大的工具将为您的时间序列预测任务带来革命性的改进，无论是金融分析、物联网监控还是其他时序数据处理场景，Time-MoE都能提供卓越的性能表现。

【免费下载链接】Time-MoETime-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts项目地址: https://gitcode.com/gh_mirrors/ti/Time-MoE