Hunyuan MT1.5-1.8B快速部署：Kubernetes集群实战配置

Hunyuan MT1.5-1.8B快速部署：Kubernetes集群实战配置

想快速在Kubernetes集群里部署一个高性能的翻译服务吗？今天我们就来手把手教你，如何用vLLM部署Hunyuan MT1.5-1.8B翻译大模型，并用Chainlit搭建一个简单好用的前端界面。

这个1.8B参数的模型虽然个头不大，但翻译能力很强，支持33种语言互译，还能在边缘设备上跑起来，非常适合需要实时翻译的场景。跟着这篇教程，你就能在自己的K8s环境里拥有一个专属的AI翻译官。

1. 环境准备与模型介绍

在开始部署之前，我们先快速了解一下今天要用到的工具和模型。

1.1 工具栈简介

这次部署我们会用到三个核心组件：

• vLLM：一个专门为大规模语言模型设计的高性能推理和服务引擎。它最大的特点就是快，通过先进的注意力算法和高效的内存管理，能让模型推理速度提升好几倍。
• Kubernetes：容器编排平台，负责管理我们的服务部署、扩缩容和资源调度。
• Chainlit：一个专门为AI应用设计的UI框架，可以快速搭建聊天界面，让我们能直观地测试翻译效果。

1.2 Hunyuan MT1.5-1.8B模型亮点

Hunyuan MT1.5-1.8B是个专门做翻译的模型，别看它只有18亿参数，能力可不小：

• 多语言支持：能在33种语言之间互相翻译，还包含了5种民族语言和方言变体。
• 性能平衡：在翻译质量和推理速度之间找到了很好的平衡点，实测效果能媲美很多商业翻译API。
• 轻量高效：经过量化后，模型可以部署在边缘设备上，满足实时翻译的需求。
• 特色功能：支持术语干预（比如公司名、产品名固定翻译）、上下文翻译（考虑前后文）和格式化翻译（保持原文格式）。

简单说，这就是一个“小而美”的翻译专家，既保证了质量，又兼顾了效率。

2. 创建Kubernetes部署配置

接下来我们创建在Kubernetes中运行模型服务所需的配置文件。

2.1 创建命名空间

首先为我们的翻译服务创建一个独立的命名空间，方便管理：

# namespace.yaml apiVersion: v1 kind: Namespace metadata: name: hunyuan-translation

应用这个配置：

kubectl apply -f namespace.yaml

2.2 创建模型服务Deployment

这是最核心的配置文件，定义了如何运行vLLM服务：

# deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: hunyuan-mt-vllm namespace: hunyuan-translation spec: replicas: 1 selector: matchLabels: app: hunyuan-mt-vllm template: metadata: labels: app: hunyuan-mt-vllm spec: containers: - name: vllm-server image: vllm/vllm-openai:latest command: ["python3", "-m", "vllm.entrypoints.openai.api_server"] args: - "--model" - "HunyuanMT/HY-MT1.5-1.8B" - "--served-model-name" - "hunyuan-mt-1.8b" - "--port" - "8000" - "--max-model-len" - "4096" - "--gpu-memory-utilization" - "0.9" resources: limits: nvidia.com/gpu: 1 # 需要GPU支持 memory: "8Gi" cpu: "4" requests: nvidia.com/gpu: 1 memory: "6Gi" cpu: "2" ports: - containerPort: 8000 env: - name: HF_TOKEN valueFrom: secretKeyRef: name: huggingface-secret key: token livenessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 60 periodSeconds: 30 readinessProbe: httpGet: path: /health port: 8000 initialDelaySeconds: 30 periodSeconds: 10

这个配置做了几件重要的事情：

1. 指定使用vLLM的官方镜像
2. 设置从Hugging Face拉取HY-MT1.5-1.8B模型
3. 配置GPU资源（这个模型推理需要GPU）
4. 设置了健康检查，确保服务稳定运行

2.3 创建Hugging Face访问密钥

因为模型托管在Hugging Face，我们需要创建一个Secret来存储访问令牌：

# 创建Secret kubectl create secret generic huggingface-secret \ --namespace=hunyuan-translation \ --from-literal=token=你的huggingface_token

2.4 创建Service暴露服务

为了让其他应用能访问到我们的vLLM服务，需要创建一个Service：

# service.yaml apiVersion: v1 kind: Service metadata: name: hunyuan-mt-service namespace: hunyuan-translation spec: selector: app: hunyuan-mt-vllm ports: - port: 8000 targetPort: 8000 protocol: TCP type: ClusterIP

2.5 部署所有配置

现在可以一次性部署所有配置了：

# 应用所有配置 kubectl apply -f namespace.yaml kubectl apply -f deployment.yaml kubectl apply -f service.yaml # 查看部署状态 kubectl get pods -n hunyuan-translation -w # 查看日志，确认模型下载和启动情况 kubectl logs -f deployment/hunyuan-mt-vllm -n hunyuan-translation

当看到pod状态变为Running，并且日志显示模型加载完成、服务启动在8000端口时，就说明vLLM服务部署成功了。

3. 部署Chainlit前端界面

模型服务跑起来后，我们需要一个界面来使用它。Chainlit能帮我们快速搭建一个聊天式的翻译界面。

3.1 创建Chainlit应用文件

首先创建一个Python应用文件：

# app.py import chainlit as cl import openai import os # 配置OpenAI客户端连接到我们的vLLM服务 client = openai.OpenAI( base_url="http://hunyuan-mt-service.hunyuan-translation.svc.cluster.local:8000/v1", api_key="not-needed" # vLLM不需要真正的API key ) @cl.on_message async def main(message: cl.Message): """ 处理用户消息，调用翻译模型 """ # 显示正在思考的指示器 msg = cl.Message(content="") await msg.send() try: # 构建翻译提示词 # 这里可以根据用户输入动态构建不同的翻译指令 if "翻译" in message.content or "translate" in message.content.lower(): # 提取要翻译的文本 prompt = f"""请将以下文本进行翻译： {message.content} 请只输出翻译结果，不要添加额外解释。""" else: # 如果不是明确的翻译请求，使用通用提示 prompt = message.content # 调用vLLM服务 response = client.chat.completions.create( model="hunyuan-mt-1.8b", messages=[ {"role": "user", "content": prompt} ], max_tokens=500, temperature=0.3, # 较低的温度让翻译更稳定 stream=True ) # 流式输出结果 result_text = "" for chunk in response: if chunk.choices[0].delta.content: token = chunk.choices[0].delta.content result_text += token await msg.stream_token(token) # 更新最终消息 await msg.update() except Exception as e: error_msg = f"翻译服务暂时不可用，请稍后重试。错误信息：{str(e)}" await cl.Message(content=error_msg).send() @cl.on_chat_start async def start(): """ 聊天开始时的欢迎信息 """ welcome_msg = """欢迎使用 Hunyuan MT 翻译助手！ 我可以帮您： 1. 文本翻译（支持33种语言） 2. 术语干预翻译 3. 上下文翻译 4. 格式化翻译 例如，您可以输入： - "将下面中文翻译为英文：我爱你" - "翻译这段法文：Bonjour tout le monde" - "帮我翻译这个技术文档" 请直接输入您要翻译的内容或指令。""" await cl.Message(content=welcome_msg).send()

3.2 创建Chainlit配置文件

# chainlit.md # 欢迎使用 Hunyuan MT 翻译助手 这是一个基于 Hunyuan MT1.5-1.8B 模型的翻译服务，部署在 Kubernetes 集群中。 ## 功能特点 - 支持 33 种语言互译 - 实时翻译响应 - 术语一致性保持 - 上下文感知翻译 ## 使用示例 1. 直接输入要翻译的文本 2. 指定源语言和目标语言（如：中译英） 3. 查看高质量翻译结果 开始您的翻译体验吧！

3.3 创建Chainlit的Dockerfile

# Dockerfile FROM python:3.9-slim WORKDIR /app # 安装依赖 COPY requirements.txt . RUN pip install --no-cache-dir -r requirements.txt # 复制应用文件 COPY app.py . COPY chainlit.md . # 创建chainlit配置文件 RUN mkdir -p .chainlit COPY config.yaml .chainlit/ # 暴露端口 EXPOSE 8000 # 启动命令 CMD ["chainlit", "run", "app.py", "--port", "8000"]

3.4 创建requirements.txt

chainlit>=1.0.0 openai>=1.0.0 aiohttp>=3.9.0

3.5 创建Chainlit的Kubernetes部署

# chainlit-deployment.yaml apiVersion: apps/v1 kind: Deployment metadata: name: chainlit-frontend namespace: hunyuan-translation spec: replicas: 1 selector: matchLabels: app: chainlit-frontend template: metadata: labels: app: chainlit-frontend spec: containers: - name: chainlit image: 你的registry/chainlit-translation:latest # 需要先构建镜像 ports: - containerPort: 8000 env: - name: VLLM_SERVICE_URL value: "http://hunyuan-mt-service.hunyuan-translation.svc.cluster.local:8000" resources: requests: memory: "512Mi" cpu: "200m" limits: memory: "1Gi" cpu: "500m" livenessProbe: httpGet: path: / port: 8000 initialDelaySeconds: 30 periodSeconds: 20 --- apiVersion: v1 kind: Service metadata: name: chainlit-service namespace: hunyuan-translation spec: selector: app: chainlit-frontend ports: - port: 80 targetPort: 8000 protocol: TCP type: LoadBalancer # 如果是云环境，可以用这个类型获取外部IP

3.6 部署Chainlit前端

# 构建Docker镜像（需要先有Docker环境） docker build -t your-registry/chainlit-translation:latest . docker push your-registry/chainlit-translation:latest # 部署到Kubernetes kubectl apply -f chainlit-deployment.yaml # 查看外部访问地址 kubectl get svc chainlit-service -n hunyuan-translation

4. 测试与验证翻译服务

所有服务都部署好后，我们来测试一下整个流程是否通畅。

4.1 检查服务状态

首先确认所有pod都正常运行：

kubectl get pods -n hunyuan-translation # 应该看到类似这样的输出 NAME READY STATUS RESTARTS AGE hunyuan-mt-vllm-xxxxx 1/1 Running 0 10m chainlit-frontend-xxxxx 1/1 Running 0 5m

4.2 通过Chainlit界面测试

获取Chainlit服务的外部访问地址：

# 如果是LoadBalancer类型 kubectl get svc chainlit-service -n hunyuan-translation -o jsonpath='{.status.loadBalancer.ingress[0].ip}' # 如果是NodePort类型 kubectl get svc chainlit-service -n hunyuan-translation -o jsonpath='{.spec.ports[0].nodePort}'

在浏览器中打开Chainlit界面，你会看到一个简洁的聊天界面。尝试输入一些翻译请求：

1. 简单翻译：输入“将下面中文文本翻译为英文：我爱你”
2. 多语言测试：输入“翻译这段法文：Bonjour tout le monde”
3. 长文本翻译：输入一段技术文档或新闻段落

4.3 直接调用API测试

如果你想直接测试vLLM服务的API，可以进入pod内部测试：

# 进入vLLM pod kubectl exec -it deployment/hunyuan-mt-vllm -n hunyuan-translation -- bash # 使用curl测试 curl http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "hunyuan-mt-1.8b", "messages": [ {"role": "user", "content": "将以下中文翻译为英文：人工智能正在改变世界"} ], "max_tokens": 100, "temperature": 0.3 }'

4.4 验证翻译质量

从测试结果中，你可以关注这几个方面：

• 响应速度：翻译请求应该在几秒内返回
• 翻译准确性：检查翻译结果是否准确传达了原文意思
• 格式保持：如果原文有特殊格式，查看是否被正确保留
• 术语一致性：测试专业术语是否被正确翻译

5. 性能优化与监控建议

服务部署好了，我们还需要考虑如何让它运行得更稳定、更高效。

5.1 资源优化配置

根据实际使用情况调整资源配置：

# 在deployment.yaml中调整这些参数 args: - "--model" - "HunyuanMT/HY-MT1.5-1.8B" - "--tensor-parallel-size" - "1" # 如果有多张GPU，可以增加这个值 - "--max-num-batched-tokens" - "2048" # 根据GPU内存调整 - "--gpu-memory-utilization" - "0.85" # 预留一些内存给系统

5.2 设置水平自动扩缩容

当请求量增加时，自动增加pod数量：

# hpa.yaml apiVersion: autoscaling/v2 kind: HorizontalPodAutoscaler metadata: name: hunyuan-mt-hpa namespace: hunyuan-translation spec: scaleTargetRef: apiVersion: apps/v1 kind: Deployment name: hunyuan-mt-vllm minReplicas: 1 maxReplicas: 3 metrics: - type: Resource resource: name: cpu target: type: Utilization averageUtilization: 70

5.3 添加监控和日志

建议添加这些监控指标：

1. Prometheus监控：监控GPU使用率、内存使用、请求延迟
2. 日志收集：使用EFK或Loki收集和分析日志
3. 应用性能监控：监控每个翻译请求的耗时和成功率

5.4 模型更新策略

当有新版本模型发布时，可以这样平滑更新：

# 在deployment.yaml中添加更新策略 spec: strategy: type: RollingUpdate rollingUpdate: maxSurge: 1 maxUnavailable: 0 minReadySeconds: 30

6. 总结

通过这篇教程，我们完成了Hunyuan MT1.5-1.8B翻译模型在Kubernetes集群上的完整部署。让我们回顾一下关键步骤：

6.1 部署要点回顾

1. 模型服务部署：使用vLLM部署翻译模型，获得了高性能的推理能力
2. 前端界面搭建：用Chainlit快速创建了用户友好的翻译界面
3. Kubernetes配置：通过合理的资源配置和健康检查，确保了服务稳定性
4. 服务连通性：确保前端能正确访问后端的模型服务

6.2 实际应用价值

这个部署方案有几个明显的优势：

• 开箱即用：按照教程步骤，30分钟内就能拥有一个可用的翻译服务
• 资源高效：1.8B的模型在保证质量的同时，对硬件要求相对友好
• 易于扩展：基于Kubernetes的架构，可以轻松扩展以应对更大流量
• 维护简单：容器化的部署方式，升级和回滚都很方便

6.3 后续优化方向

如果你想让这个翻译服务更加强大，可以考虑：

1. 添加缓存层：对常见翻译结果进行缓存，减少模型调用
2. 实现批量翻译：修改前端支持批量文本翻译
3. 添加用户认证：如果服务需要对外开放，添加访问控制
4. 集成到现有系统：将翻译服务作为API集成到你的其他应用中

现在你已经拥有了一个功能完整的AI翻译服务，无论是用于内部文档翻译，还是集成到产品中为用户提供多语言支持，都是一个很好的起点。最重要的是，整个服务都在你的控制之下，数据安全和定制化需求都能得到满足。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。