基于多模态 AI 的道路缺陷检测系统 融合YOLO目标检测模型+Deepseek大语言模型 道路影像的自动化分析 人工智能智慧交通

基于多模态的道路缺陷检测系统

本系统采用融合YOLO目标检测模型+Deepseek大语言模型，实现道路影像的自动化分析。支持区域精准定位、良恶性初步判定、风险等级评估，还具备历史记录追溯、诊断报告自动生成、AI问答助手以及知识图谱，完全贴合辅助诊断场景需求。

创新点直击评委老师评分：
[1]多模态AI深度融合：影像检测与医疗语义分析联动，诊断准确率更优
[2]全场景数据接入：支持本地影像文件、医疗设备实时推流、摄像头实时检测
[3]数据安全：内置影像脱敏、操作日志追溯功能，符合技术规范

1

基于多模态 AI 的道路缺陷检测系统的完整技术架构、功能解析与详细代码实现（前后端分离 + 多模态融合），专为“AI高分项目”设计，满足评委对创新性、实用性、安全性、智能化的核心要求。

✅ 一、系统概览

✅ 二、系统架构图

┌────────────────────┐ ┌────────────────────┐ │ 前端 (Vue3) │◄───►│ 后端 (Django) │ │ (Web界面 + ECharts) │ │ (API + 用户管理) │ └────────────────────┘ └────────────────────┘ ↑ ↑ │ │ │ │ ▼ ▼ ┌────────────────────┐ ┌────────────────────┐ │ AI 推理 (YOLOv11) │◄───►│ 大模型 (DeepSeek) │ │ (定位缺陷区域) │ │ (生成报告/回答问题) │ └────────────────────┘ └────────────────────┘ ↑ ↑ │ │ │ │ ▼ ▼ ┌────────────────────┐ ┌────────────────────┐ │ 数据库 (MySQL) │ │ 文件存储 (MinIO) │ └────────────────────┘ └────────────────────┘

✅ 三、核心功能模块

✅ 四、前端代码（Vue3 + TypeScript）

1.src/router/index.ts

import{createRouter,createWebHistory}from'vue-router'importLoginfrom'@/views/Login.vue'importDashboardfrom'@/views/Dashboard.vue'importHistoryfrom'@/views/History.vue'importCameraDetectfrom'@/views/CameraDetect.vue'importAIAssistantfrom'@/views/AIAssistant.vue'importDataAnalysisfrom'@/views/DataAnalysis.vue'constroutes=[{path:'/login',component:Login},{path:'/',component:Dashboard},{path:'/history',component:History},{path:'/camera',component:CameraDetect},{path:'/ai-assistant',component:AIAssistant},{path:'/analysis',component:DataAnalysis}]constrouter=createRouter({history:createWebHistory(),routes})exportdefaultrouter

2.src/views/CameraDetect.vue—— 摄像头检测页面

<template> <div class="camera-detect"> <h2>摄像头检测</h2> <div class="video-container"> <video ref="video" autoplay playsinline></video> <canvas ref="canvas"></canvas> </div> <div class="controls"> <button @click="startDetection">开始检测</button> <button @click="stopDetection">停止检测</button> </div> <div class="results"> <div v-if="detections.length > 0"> <h3>检测结果：</h3> <ul> <li v-for="(det, i) in detections" :key="i"> {{ det.class }}: {{ det.confidence.toFixed(2) }} </li> </ul> </div> </div> </div> </template> <script setup lang="ts"> import { ref, onMounted } from 'vue' import axios from 'axios' const video = ref<HTMLVideoElement>() const canvas = ref<HTMLCanvasElement>() const detections = ref<any[]>([]) onMounted(() => { navigator.mediaDevices.getUserMedia({ video: true }) .then(stream => { video.value!.srcObject = stream }) }) const startDetection = async () => { const ctx = canvas.value!.getContext('2d') const imgData = ctx.getImageData(0, 0, 640, 480) const blob = new Blob([imgData.data], { type: 'image/jpeg' }) const formData = new FormData() formData.append('image', blob) const res = await axios.post('/api/detect/camera', formData, { headers: { 'Content-Type': 'multipart/form-data' } }) detections.value = res.data.detections } </script>

✅ 五、后端代码（Django + FastAPI）

1.models.py

# models.pyfromdjango.dbimportmodelsfromdjango.contrib.auth.modelsimportAbstractUserclassUser(AbstractUser):passclassDetectionRecord(models.Model):user=models.ForeignKey(User,on_delete=models.CASCADE)image=models.ImageField(upload_to='images/')result_image=models.ImageField(upload_to='results/')labels=models.JSONField()# 检测结果ai_report=models.TextField(blank=True)# AI生成的诊断报告risk_level=models.CharField(max_length=20)# 风险等级timestamp=models.DateTimeField(auto_now_add=True)classAIQuestion(models.Model):user=models.ForeignKey(User,on_delete=models.CASCADE)question=models.TextField()answer=models.TextField()timestamp=models.DateTimeField(auto_now_add=True)

2.serializers.py

# serializers.pyfromrest_frameworkimportserializersfrom.modelsimportDetectionRecord,AIQuestionclassDetectionRecordSerializer(serializers.ModelSerializer):classMeta:model=DetectionRecord fields='__all__'classAIQuestionSerializer(serializers.ModelSerializer):classMeta:model=AIQuestion fields='__all__'

3.views.py—— 接口处理

# views.pyfromrest_framework.decoratorsimportapi_viewfromrest_framework.responseimportResponsefromdjango.core.files.baseimportContentFileimportbase64importcv2importnumpyasnpfromPILimportImageimportioimportjson@api_view(['POST'])defdetect_image(request):image_file=request.FILES['image']# 调用 YOLOv11 推理results=run_yolo_inference(image_file)# 保存结果图像result_image=results['image']result_labels=results['labels']inference_time=results['inference_time']# 将图像转为 base64 返回_,buffer=cv2.imencode('.jpg',result_image)img_str=base64.b64encode(buffer).decode()# 调用 DeepSeek 生成诊断报告report=generate_ai_report(result_labels)returnResponse({'image_base64':img_str,'labels':result_labels,'inference_time':inference_time,'ai_report':report})

✅ 六、YOLOv11 推理脚本（Python）

# yolov11_inference.pyfromultralyticsimportYOLOimportcv2importnumpyasnp# 加载模型（支持自定义路径）model=YOLO('yolov11s.pt')# 可替换为 custom_model.ptdefrun_yolo_inference(image_file):# 读取图像image=cv2.imdecode(np.frombuffer(image_file.read(),np.uint8),cv2.IMREAD_COLOR)# 推理results=model(image)# 获取结果result_img=results[0].plot()# 提取标签labels=[]forboxinresults[0].boxes:cls_name=results[0].names[int(box.cls)]conf=float(box.conf)labels.append({'class':cls_name,'confidence':conf})return{'image':result_img,'labels':labels,'inference_time':results[0].time}

✅ 七、DeepSeek 大模型调用（AI 诊断报告生成）

# deepseek_api.pyimportrequestsdefgenerate_ai_report(labels):prompt=f""" 你是一个专业的道路工程师，请根据以下检测到的缺陷类型，生成一份详细的诊断报告： 检测到的缺陷：{json.dumps(labels,ensure_ascii=False,indent=2)}请包含以下内容： 1. 缺陷类型描述 2. 严重程度评估 3. 修复建议 4. 风险提示 """response=requests.post("https://api.deepseek.com/v1/chat/completions",headers={"Authorization":"Bearer YOUR_DEEPSEEK_API_KEY"},json={"model":"deepseek-chat","messages":[{"role":"user","content":prompt}]})returnresponse.json()['choices'][0]['message']['content']

✅ 八、AI 问答助手接口

@api_view(['POST'])defai_question(request):question=request.data['question']prompt=f""" 你是道路养护专家，请回答用户的问题： 问题：{question}回答要求： - 专业准确 - 通俗易懂 - 提供实用建议 """response=requests.post("https://api.deepseek.com/v1/chat/completions",headers={"Authorization":"Bearer YOUR_DEEPSEEK_API_KEY"},json={"model":"deepseek-chat","messages":[{"role":"user","content":prompt}]})answer=response.json()['choices'][0]['message']['content']# 保存对话记录AIQuestion.objects.create(user=request.user,question=question,answer=answer)returnResponse({'answer':answer})

✅ 九、数据安全与脱敏

# utils.pydefanonymize_image(image_path):"""对图像进行脱敏处理（如模糊人脸、车牌）"""img=cv2.imread(image_path)# 示例：模糊特定区域（可扩展为AI识别敏感区域）img[100:200,150:250]=cv2.blur(img[100:200,150:250],(15,15))cv2.imwrite(image_path,img)

✅ 十、部署教程

1. 安装依赖

pipinstalldjango djangorestframework pillow opencv-python torch torchvision fastapi uvicorn

2. 启动 Django 服务

python manage.py makemigrations python manage.py migrate python manage.py createsuperuser python manage.py runserver

3. 启动 Vue 前端

cdfrontendnpmrun serve

✅ 十一、创新点总结（直击评委评分）

💡提示：

• 若需支持移动端，可集成 React Native。
• 可扩展为无人机巡检系统，接入飞行器数据。