使用Node.js构建SDMatte任务调度与管理后台-编程阁

使用Node.js构建SDMatte任务调度与管理后台

1. 快速了解SDMatte任务管理系统

SDMatte是一种基于AI的智能抠图技术，能够自动分离图像中的前景和背景。在实际应用中，我们需要一个可靠的后台系统来管理这些抠图任务。本文将带你从零开始，用Node.js构建这样一个完整的任务调度与管理后台。

这个系统将包含以下核心功能：

用户注册与登录（JWT认证）
任务提交与状态查询
任务队列管理
结果文件存储与下载
系统监控与日志

2. 环境准备与项目初始化

2.1 Node.js安装及环境配置

首先确保你的开发环境已经安装了Node.js。推荐使用LTS版本（目前是18.x）：

# 检查Node.js版本 node -v # 检查npm版本 npm -v

如果尚未安装，可以从Node.js官网下载安装包。安装完成后，建议配置npm的国内镜像源以加速依赖安装：

npm config set registry https://registry.npmmirror.com

2.2 初始化项目

创建一个新目录并初始化项目：

mkdir sdmatte-backend cd sdmatte-backend npm init -y

安装基础依赖：

npm install express body-parser cors dotenv

2.3 项目结构规划

建议采用以下目录结构：

├── src/ │ ├── config/ # 配置文件 │ ├── controllers/ # 控制器 │ ├── middleware/ # 中间件 │ ├── models/ # 数据模型 │ ├── routes/ # 路由 │ ├── services/ # 业务逻辑 │ ├── utils/ # 工具函数 │ └── app.js # 应用入口 ├── .env # 环境变量 └── package.json

3. 核心功能实现

3.1 Express基础框架搭建

创建src/app.js文件，搭建基础Express应用：

const express = require('express') const bodyParser = require('body-parser') const cors = require('cors') require('dotenv').config() const app = express() // 中间件 app.use(cors()) app.use(bodyParser.json()) app.use(bodyParser.urlencoded({ extended: true })) // 测试路由 app.get('/', (req, res) => { res.send('SDMatte后台服务运行中') }) // 错误处理中间件 app.use((err, req, res, next) => { console.error(err.stack) res.status(500).send('服务器内部错误') }) const PORT = process.env.PORT || 3000 app.listen(PORT, () => { console.log(`服务已启动，监听端口 ${PORT}`) })

3.2 用户认证系统实现

我们将使用JWT（JSON Web Token）实现用户认证。首先安装相关依赖：

npm install jsonwebtoken bcryptjs

创建用户模型src/models/user.js：

const mongoose = require('mongoose') const bcrypt = require('bcryptjs') const userSchema = new mongoose.Schema({ username: { type: String, required: true, unique: true }, password: { type: String, required: true }, email: { type: String, required: true, unique: true }, createdAt: { type: Date, default: Date.now } }) // 密码加密中间件 userSchema.pre('save', async function(next) { if (!this.isModified('password')) return next() this.password = await bcrypt.hash(this.password, 10) next() }) module.exports = mongoose.model('User', userSchema)

3.3 任务队列系统实现

我们将使用Bull作为任务队列系统。首先安装依赖：

npm install bull

创建任务队列服务src/services/queue.js：

const Queue = require('bull') const { createClient } = require('redis') // Redis连接配置 const redisConfig = { host: process.env.REDIS_HOST || 'localhost', port: process.env.REDIS_PORT || 6379 } // 创建Redis客户端 const redisClient = createClient(redisConfig) redisClient.on('error', (err) => console.error('Redis错误:', err)) // 创建任务队列 const taskQueue = new Queue('sdmatte-tasks', { redis: redisConfig, defaultJobOptions: { attempts: 3, backoff: { type: 'exponential', delay: 5000 } } }) module.exports = { taskQueue, redisClient }

4. 文件存储与任务处理

4.1 文件上传与存储

我们将使用Multer处理文件上传，并将文件存储在本地文件系统中：

npm install multer

创建文件上传中间件src/middleware/upload.js：

const multer = require('multer') const path = require('path') const fs = require('fs') // 确保上传目录存在 const uploadDir = path.join(__dirname, '../../uploads') if (!fs.existsSync(uploadDir)) { fs.mkdirSync(uploadDir, { recursive: true }) } const storage = multer.diskStorage({ destination: (req, file, cb) => { cb(null, uploadDir) }, filename: (req, file, cb) => { const uniqueSuffix = Date.now() + '-' + Math.round(Math.random() * 1E9) cb(null, file.fieldname + '-' + uniqueSuffix + path.extname(file.originalname)) } }) const upload = multer({ storage: storage, limits: { fileSize: 10 * 1024 * 1024 } // 限制10MB }) module.exports = upload

4.2 任务处理逻辑

创建任务控制器src/controllers/taskController.js：

const { taskQueue } = require('../services/queue') const Task = require('../models/task') const path = require('path') const fs = require('fs') exports.submitTask = async (req, res) => { try { if (!req.file) { return res.status(400).json({ error: '请上传图片文件' }) } const { userId } = req const filePath = req.file.path const originalName = req.file.originalname // 创建数据库记录 const task = new Task({ userId, originalFile: originalName, filePath, status: 'pending' }) await task.save() // 添加到任务队列 await taskQueue.add({ taskId: task._id, filePath }) res.status(201).json({ message: '任务已提交', taskId: task._id }) } catch (error) { console.error('提交任务出错:', error) res.status(500).json({ error: '服务器内部错误' }) } }

5. 系统部署与优化

5.1 生产环境配置

创建.env文件配置环境变量：

NODE_ENV=production PORT=3000 MONGODB_URI=mongodb://localhost:27017/sdmatte REDIS_HOST=localhost REDIS_PORT=6379 JWT_SECRET=your_jwt_secret_key UPLOAD_DIR=./uploads

5.2 使用PM2进行进程管理

安装PM2并配置：

npm install pm2 -g

创建ecosystem.config.js：

module.exports = { apps: [{ name: 'sdmatte-backend', script: './src/app.js', instances: 'max', autorestart: true, watch: false, max_memory_restart: '1G', env: { NODE_ENV: 'production' } }] }

启动应用：