Pytorch图像去噪实战(六十八):压测实战,用Locust测试去噪API的并发能力和瓶颈
一、问题场景:本地测试很快,一多人访问就变慢
图像去噪接口本地测试时通常没问题:
单次请求 50ms但上线后可能出现:
- 并发一高就超时
- CPU打满
- GPU利用率不稳定
- 请求排队严重
- Nginx出现504
- 用户等待时间变长
所以服务上线前必须压测。
这一篇我们使用 Locust 对图像去噪 API 做并发压测。
二、压测要关注哪些指标?
主要看:
RPS / QPS 平均响应时间 P95响应时间 P99响应时间 失败率 CPU/GPU占用 内存占用图像去噪接口尤其要关注:
- 上传图片大小
- 模型推理耗时
- 单机最大并发
- 大图请求比例
三、安装Locust
pip