开源AI管家JARVIS-：从多模型集成到智能家居控制实战-编程阁

1. 项目概述：从“钢铁侠”到你的桌面，JARVIS的平民化之路

如果你看过《钢铁侠》，一定对托尼·斯塔克那个无所不能的AI管家JARVIS印象深刻。它能控制整个斯塔克大厦，处理复杂的数据分析，甚至能理解托尼的幽默和情绪。现在，一个名为“officialuditpandey/JARVIS-”的开源项目，正试图将这种科幻体验带进现实。这不是一个简单的语音助手玩具，而是一个旨在整合多种AI模型能力、连接真实世界物理接口的综合性AI代理框架。简单来说，它想成为你个人电脑上的“数字大脑”，帮你自动化处理信息、执行任务，甚至控制智能设备。

这个项目的核心价值在于“集成”与“赋能”。它不满足于单一模型的问答，而是试图扮演一个“指挥官”的角色，根据你的指令，智能地调度不同的“专家”AI模型（如用于文本生成的GPT、用于图像识别的CLIP、用于代码执行的特定模型）来协同工作，最终完成一个复杂任务。比如，你只需要说一句“JARVIS，帮我分析一下上周的销售数据，生成一份PPT，并用邮件发给团队”，它就能自动调用数据分析模型处理Excel，用文本生成模型撰写报告，用PPT生成工具创建幻灯片，最后通过邮件客户端发送出去。这背后是一整套对任务的理解、分解、调度和执行逻辑。

对于开发者、技术爱好者和效率追求者而言，这个项目提供了一个绝佳的实验场和工具箱。你可以基于它快速搭建自己的AI工作流，探索多模态AI协同的边界，或者将其作为智能家居的中枢。接下来，我将深入拆解这个项目的设计思路、核心模块、搭建过程以及那些官方文档里不会写的“坑”和技巧。

2. 核心架构与设计哲学：为什么它不只是另一个ChatGPT套壳？

2.1 模块化与可插拔的设计思想

很多AI项目倾向于做一个“大而全”的封闭系统，而JARVIS-从一开始就选择了模块化道路。这就像乐高积木，每个功能（语音识别、自然语言理解、任务规划、模型调用、动作执行）都是一个独立的模块。这种设计带来了几个关键优势：

灵活性极高：你可以根据需求替换任意模块。比如，默认的语音识别用的是Whisper，但如果你觉得某款中文语音引擎更准，完全可以自己写个适配器接进去。任务规划器目前可能基于LangChain或自定义逻辑，未来也可以无缝升级到更强大的Agent框架（如AutoGen、CrewAI）。

易于维护和扩展：当某个模块出现bug或需要升级时，不会影响到其他部分。你想增加控制智能灯的功能？只需要开发一个新的“动作执行”模块，并注册到系统中即可，核心调度逻辑几乎不用动。

资源利用更合理：不是所有任务都需要动用百亿参数的大模型。模块化设计允许系统进行智能路由。简单的查询（如“今天天气如何”）可能被路由到轻量级的本地模型或直接调用API；复杂的创意写作则调度GPT-4。这能有效控制API调用成本并提升响应速度。

注意：模块化也带来了初始配置的复杂性。你需要明确每个模块的输入输出格式、依赖和环境，这对于新手来说可能是个挑战。建议先从默认配置跑通，再逐步替换。

2.2 核心工作流：从语音指令到物理动作的旅程

理解JARVIS-如何工作，最好的方式是跟踪一个用户指令的完整生命周期。我们以“JARVIS，打开书房灯并告诉我今天的头条新闻”为例：

语音捕获与识别：麦克风持续监听唤醒词“JARVIS”。检测到后，开始录制后续语音指令，并通过语音识别模块（如Whisper）将其转化为文本：“打开书房灯并告诉我今天的头条新闻”。
意图理解与任务解析：自然语言理解模块接手这段文本。它需要完成几件事：
- 意图识别：判断用户想干什么（控制设备 + 获取信息）。
- 实体抽取：识别关键实体，如“书房灯”（设备名）、“头条新闻”（信息类型）。
- 任务分解：将复合指令拆解为原子任务：任务A“打开书房灯”，任务B“获取今日头条新闻”。
任务规划与模型调度：任务规划器是大脑中的“项目经理”。它分析每个原子任务：
- 任务A是设备控制，需要查询“设备控制”技能库，找到对应“书房灯”的执行方法（可能是通过Home Assistant的API）。
- 任务B是信息获取，需要调用“网络搜索”或“新闻聚合”技能，这可能涉及调用一个具备联网能力的语言模型。
技能执行与模型调用：系统调用对应的“技能”模块来执行任务。
- 对于任务A，调用Home Assistant客户端模块，发送打开light.study_room的指令。
- 对于任务B，可能先调用一个工具去搜索新闻，然后将搜索结果摘要传递给语言模型，让其生成一句口语化的回复，如“今日头条：XX公司发布新产品...”。
结果合成与反馈：两个任务可能并行执行。规划器需要收集所有执行结果。然后，通过文本转语音模块，将“已打开书房灯”和新闻摘要合成为一段流畅的语音，播放给用户。同时，图形界面（如果有）上也会更新状态。

这个过程看似线性，实则内部可能存在复杂的异步处理和错误处理机制。例如，打开灯的命令发出后，需要监听回调确认是否成功；如果新闻获取超时，系统需要决定是重试、跳过还是向用户报告失败。

2.3 关键技术栈选型解析

项目的技术选型直接决定了它的能力和天花板。JARVIS-的选型明显偏向于“实用”和“前沿”的结合：

语音交互：Whisper用于语音识别，因其开源、高精度和支持多语言。pyttsx3或Edge-TTS用于文本转语音，前者离线，后者音质更自然。唤醒词检测可能使用Porcupine或Vosk这类轻量级库，确保低功耗持续监听。
核心AI模型：这是最灵活的部分。项目可能预设了与OpenAI API的集成，因为其模型能力强大且接口统一。但同时，框架必须支持接入本地模型，如通过Ollama运行Llama 3、Qwen或Gemma，这对隐私和成本敏感的用户至关重要。对于图像理解，可能会集成CLIP；对于代码执行，可能会沙箱环境。
任务规划与代理框架：早期版本可能自己实现了一套简单的规则引擎或基于提示词的任务分解。但更现代的路径是集成LangChain、LlamaIndex或AutoGen。LangChain提供了丰富的工具调用链；AutoGen则擅长多代理对话协作。选择这些框架能极大减少底层工作量。
后端与通信：核心调度逻辑可能是一个Python服务。模块间通信可以采用事件驱动架构（如Redis发布/订阅）来解耦。与智能家居的集成则依赖于Home Assistant、MQTT或各家厂商的开放API。
前端与用户体验：一个轻量级的Web界面（用Streamlit或Gradio快速搭建）用于状态展示和文本交互是常见选择。更酷的做法是开发一个常驻系统托盘应用，提供全局快捷键和可视化日志。

实操心得：技术选型上切忌“追新”。例如，虽然最新的多模态模型很强大，但其API可能不稳定或价格昂贵。对于家庭自动化场景，稳定性和响应速度比“炫技”更重要。建议先从最稳定、文档最全的组件开始（如OpenAI API + Home Assistant），确保核心流程跑通，再逐步替换和升级其他模块。

3. 从零开始部署与深度配置指南

假设你已经在开发机上准备好了Python环境，让我们一步步把JARVIS-跑起来，并理解每一个配置项背后的意义。

3.1 基础环境搭建与依赖安装

首先，克隆项目仓库并进入目录。依赖管理是第一步，也是坑最多的地方。

git clone https://github.com/officialuditpandey/JARVIS-.git cd JARVIS-

强烈建议使用虚拟环境：

python -m venv jarvis_env # Windows jarvis_env\Scripts\activate # Linux/macOS source jarvis_env/bin/activate

然后安装依赖。项目通常会提供一个requirements.txt文件。

pip install -r requirements.txt

踩坑记录：这里经常出问题。一是Python版本，项目可能要求Python 3.10+，旧版本会导致某些库无法安装。二是系统依赖，比如语音处理库pyaudio在Windows上可能需要安装portaudio，在Linux上需要libasound2-dev。如果安装失败，需要根据错误信息单独解决。一个技巧是，如果requirements.txt导致冲突，可以尝试先安装核心框架（如openai,langchain），再一个个安装其他组件。

3.2 核心配置文件详解

JARVIS-的强大和复杂都体现在配置里。我们来看一个典型的config.yaml或.env文件需要配置什么：

# 示例 config.yaml 结构 core: wake_word: "jarvis" # 唤醒词 language: "zh-CN" # 主要语言 ai_models: openai: api_key: "sk-..." # 你的OpenAI API Key model: "gpt-4-turbo" # 默认使用的模型 local_llm: enabled: false # 是否启用本地模型 base_url: "http://localhost:11434" # Ollama服务地址 model: "llama3:8b" skills: # 预定义的技能列表 - name: "web_search" enabled: true provider: "duckduckgo" # 或 serper, tavily - name: "home_assistant" enabled: true url: "http://homeassistant.local:8123" long_lived_token: "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9..." hardware: audio_input_device: 0 # 麦克风设备索引，通过脚本查询 audio_output_device: 1 # 扬声器设备索引

关键配置解析：

API密钥管理：这是最高安全风险点。绝对不要将api_key硬编码在代码或提交到Git。必须使用.env文件配合python-dotenv加载，并将.env加入.gitignore。对于团队项目，考虑使用Vault或云服务商提供的密钥管理服务。
模型选择策略：ai_models部分定义了模型路由策略。一个最佳实践是设置一个降级链路。例如，优先使用gpt-4，当达到速率限制或余额不足时，自动切换到gpt-3.5-turbo，最后再降级到本地llama3。这需要在代码逻辑中实现，但配置文件中可以定义优先级和触发条件。
技能开关与参数：每个技能（skill）都可以独立启用/禁用。对于web_search，你需要去相应提供商（如Serper）注册获取API key。对于home_assistant，需要在HA中创建一个“长期访问令牌”，并确保JARVIS-所在机器能与HA服务器网络互通。
硬件设备索引：音频设备索引（audio_input_device）很容易搞错。你可以写一个简单的Python脚本来列出所有设备：

import pyaudio p = pyaudio.PyAudio() for i in range(p.get_device_count()): info = p.get_device_info_by_index(i) print(f"Index {i}: {info['name']} - {info['maxInputChannels']} in / {info['maxOutputChannels']} out") p.terminate()

根据输出，选择正确的麦克风和扬声器索引填入配置。

3.3 首次运行与基础测试

配置完成后，尝试以最简单的方式启动核心服务，通常是一个Python主脚本。

python main.py --mode cli # 先使用命令行交互模式测试

在CLI模式下，你可以直接输入文本指令，绕过语音识别，快速测试AI理解和技能调用是否正常。

基础测试用例：

测试AI对话：输入“你好，介绍一下你自己”。应该能收到一段连贯的、基于系统提示词生成的自我介绍。
测试技能调用：输入“搜索一下开源AI项目的最新趋势”。系统应该能调用网络搜索技能，并返回摘要。
测试设备控制：输入“打开客厅的灯”。前提是你已经正确配置了智能家居集成，并且实体名称匹配。观察Home Assistant中灯的状态是否改变。

注意事项：第一次运行时，可能会下载NLP模型（如用于句子相似度的sentence-transformers），这需要一定时间和网络。如果卡住，查看日志确认。所有与外部API的交互（OpenAI、搜索、HA）都可能因为网络、认证或配置错误而失败。务必打开调试日志，从错误信息中定位问题源头。

4. 核心技能开发与集成实战

JARVIS-的默认技能有限，真正的威力在于你为其扩展自定义技能。下面我们以开发一个“发送邮件”和“屏幕截图分析”技能为例，深入技能开发流程。

4.1 开发一个自定义技能：邮件发送器

在JARVIS-的架构中，一个技能通常是一个Python类，继承自基础的Skill类，并实现execute方法。

步骤一：创建技能文件结构

在项目的skills目录下（如果没有则创建），新建文件email_sender.py。

# skills/email_sender.py import smtplib from email.mime.text import MIMEText from email.mime.multipart import MIMEMultipart import logging from typing import Dict, Any class EmailSenderSkill: """一个发送邮件的技能""" def __init__(self, config: Dict[str, Any]): self.config = config self.smtp_server = config.get('smtp_server', 'smtp.gmail.com') self.smtp_port = config.get('smtp_port', 587) self.sender_email = config.get('sender_email') self.sender_password = config.get('sender_password') # 警告：使用应用专用密码或OAuth2 self.logger = logging.getLogger(__name__) def execute(self, task_description: str, **kwargs) -> str: """ 执行邮件发送任务。 task_description: 自然语言描述，如“给张三发邮件，主题是项目更新，内容是说会议改到明天下午” 返回执行结果字符串。 """ # 1. 解析任务描述（这里简化，实际应使用LLM或规则解析） # 假设通过LLM或预定义模板，我们从task_description和kwargs中提取出： recipient = kwargs.get('recipient') subject = kwargs.get('subject', '来自JARVIS的消息') body = kwargs.get('body', '') if not recipient or not body: return "错误：缺少收件人或邮件内容。" # 2. 构建邮件 msg = MIMEMultipart() msg['From'] = self.sender_email msg['To'] = recipient msg['Subject'] = subject msg.attach(MIMEText(body, 'plain')) # 3. 发送邮件 try: with smtplib.SMTP(self.smtp_server, self.smtp_port) as server: server.starttls() # 安全连接 server.login(self.sender_email, self.sender_password) server.send_message(msg) self.logger.info(f"邮件成功发送至 {recipient}") return f"已成功发送主题为'{subject}'的邮件给{recipient}。" except Exception as e: self.logger.error(f"发送邮件失败: {e}") return f"发送邮件失败：{str(e)}" def get_description(self) -> str: """返回技能的描述，用于系统理解技能能力""" return "可以向指定的电子邮件地址发送文本邮件。需要提供收件人、主题和正文。"

步骤二：注册技能到系统

需要在系统初始化时加载这个技能。这通常在某个配置加载或插件发现机制中完成。例如，在skill_manager.py中：

# skill_manager.py from skills.email_sender import EmailSenderSkill class SkillManager: def __init__(self, config): self.skills = {} # ... 加载其他技能 if config.get('email_sender', {}).get('enabled', False): email_config = config['email_sender'] self.skills['send_email'] = EmailSenderSkill(email_config) def get_skill(self, name): return self.skills.get(name)

步骤三：更新配置文件

在config.yaml中添加新技能的配置：

skills: email_sender: enabled: true smtp_server: "smtp.gmail.com" smtp_port: 587 sender_email: "your.email@gmail.com" sender_password: "your-app-specific-password" # 切勿使用普通密码！

安全警告：直接在配置文件中存储邮箱密码是极不安全的。生产环境中必须使用环境变量或密钥管理服务。对于Gmail，强烈建议启用“两步验证”并生成“应用专用密码”用于此场景，而不是使用你的主密码。

步骤四：让AI学会调用这个技能

仅仅有技能还不够，需要让任务规划器知道在什么情况下调用它。这通常通过两种方式：

硬编码规则：在规划器中添加规则，如果指令包含“发邮件”、“email”等关键词，则触发send_email技能。
动态描述注入（推荐）：更优雅的方式是将技能的get_description()方法返回的描述，动态添加到给大模型的系统提示词中。例如：
“你是一个AI助手，可以调用以下工具：... 工具名：send_email，描述：可以向指定的电子邮件地址发送文本邮件。需要提供收件人、主题和正文。...” 这样，当用户说“帮我发封邮件”，大模型自己就能决定调用send_email工具，并尝试从对话中提取收件人、主题等参数。

4.2 集成多模态能力：屏幕截图分析与指令执行

这是一个更高级的技能，它结合了图像识别和自动化操作。目标是：用户说“JARVIS，点击屏幕上那个蓝色的登录按钮”，系统能截图、识别按钮、并模拟点击。

技术栈：

截图：pyautogui或mss
图像识别：opencv-python(模板匹配) 或pytesseract(OCR文字识别) 或更强大的视觉语言模型如GPT-4V、Qwen-VL
模拟操作：pyautogui

技能实现思路：

指令解析：用户指令可能是“点击登录按钮”、“双击那个文件夹图标”、“在搜索框里输入Hello World”。需要解析出动作（点击、双击、输入）和目标（按钮、图标、输入框的描述）。
屏幕捕捉与目标定位：
- 简单场景（已知图标）：可以使用模板匹配。提前保存“登录按钮.png”作为模板，用OpenCV在截图中匹配。
- 复杂场景（未知目标）：这是难点。需要借助多模态大模型。将屏幕截图和用户指令“点击屏幕上那个蓝色的登录按钮”一起发给GPT-4V，请求其返回目标区域的坐标（x, y）或边界框。虽然API调用有成本，但准确率最高。
执行自动化操作：根据解析出的动作类型和坐标，使用pyautogui执行相应的鼠标移动、点击、键盘输入等操作。

代码框架示例：

# skills/screen_agent.py import pyautogui import cv2 import numpy as np from openai import OpenAI import base64 from io import BytesIO from PIL import Image class ScreenAgentSkill: def __init__(self, config): self.client = OpenAI(api_key=config['openai_api_key']) # 初始化截图区域（全屏或自定义） def execute(self, task_description: str, **kwargs): # 1. 截取当前屏幕 screenshot = pyautogui.screenshot() screenshot_np = cv2.cvtColor(np.array(screenshot), cv2.COLOR_RGB2BGR) # 2. 调用视觉模型理解指令并定位 # 将图片转为base64 buffered = BytesIO() screenshot.save(buffered, format="PNG") img_base64 = base64.b64encode(buffered.getvalue()).decode('utf-8') response = self.client.chat.completions.create( model="gpt-4-vision-preview", messages=[ {"role": "system", "content": "你是一个屏幕分析助手。用户会描述一个屏幕上的元素，你需要返回该元素中心点的坐标(x, y)。只返回坐标，格式如 'x=500, y=300'。"}, {"role": "user", "content": [ {"type": "text", "text": f"请找到：{task_description}"}, {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{img_base64}"}} ]} ], max_tokens=50 ) # 解析返回的坐标字符串（这里需要健壮的解析逻辑） coord_text = response.choices[0].message.content # 假设解析出 x, y # 3. 执行动作（这里简化，实际需根据指令解析动作类型） pyautogui.click(x, y) return f"已在坐标({x}, {y})执行点击操作。"

这个技能展示了JARVIS-如何作为“手”和“眼”的延伸，将AI的认知能力转化为具体的桌面操作。它打开了无限的可能性，如自动化软件测试、辅助残障人士操作电脑等。

5. 性能优化、安全加固与故障排查

当你的JARVIS-功能越来越复杂，稳定性和安全性就成为首要问题。

5.1 性能优化策略

冷启动加速：首次启动时加载模型（如Whisper、句子嵌入模型）非常耗时。解决方案是预加载与持久化服务。将模型加载拆分为独立服务（如用FastAPI封装），让主程序通过HTTP调用，这样主程序可以快速启动，模型服务在后台常驻。
语音识别延迟优化：Whisper模型很大。可以选用更小的模型（如tiny、base），虽然精度略有下降，但速度提升显著。对于唤醒词检测，使用专门的轻量级唤醒词引擎（如Porcupine），而不是持续运行Whisper。
LLM调用优化：
- 缓存：对常见、重复的查询（如“今天天气怎么样”）的结果进行缓存，设定合理的过期时间。
- 上下文管理：合理设置对话上下文窗口。无限增长的上下文会拖慢速度并增加成本。定期总结或清除历史对话。
- 流式响应：对于文本生成，使用流式API，让用户能边生成边看到部分结果，提升体验感。
- 模型路由：如前所述，建立成本/性能/质量阶梯，简单任务用便宜/快速的模型。
技能执行异步化：如果一个技能执行时间很长（如下载大文件），应该使用异步执行，避免阻塞主线程和语音交互。可以使用asyncio库或消息队列（如Redis）将耗时任务丢到后台 worker 处理。

5.2 安全加固要点

权限最小化：JARVIS-的权限很大。必须严格限制其可访问的资源。
- 文件系统：运行在沙箱或受限用户下，只能访问特定目录。
- 网络：控制其可访问的IP和端口，防止被恶意指令利用进行网络攻击。
- 系统命令：极度危险。如果实现了执行Shell命令的技能，必须进行严格的白名单过滤和审核。最好避免直接提供此技能，或仅限于执行几个预定义的安全命令。
指令验证与过滤：在将用户指令发送给LLM之前，可以增加一层简单的规则过滤，拦截明显恶意的指令（如“删除所有文件”、“格式化硬盘”、“向某个IP发起攻击”）。
API密钥与配置安全：如前所述，使用环境变量、密钥管理服务。配置文件与代码分离。
网络通信安全：如果JARVIS-提供Web界面或API，务必启用HTTPS。内部服务间通信也尽量使用本地回环地址或VPN。
隐私保护：语音数据可能包含敏感信息。考虑支持完全离线模式，或选择信誉好的云服务商。明确告知用户数据如何处理、是否被存储。

5.3 常见问题与排查实录

即使按照指南操作，你也一定会遇到各种问题。下面是一些典型问题及解决思路：

问题1：唤醒词没反应，但手动触发可以工作。

排查：首先检查麦克风设备索引是否正确。在系统设置中确认麦克风有权限且正常工作。然后检查唤醒词检测库的灵敏度设置，可能默认值不适合你的环境噪音。尝试提高灵敏度阈值或重新训练（如果支持）一个针对你声音的唤醒词模型。
日志：查看唤醒词检测模块的日志，看是否检测到了音频，但置信度不够。

问题2：指令识别错误，总是执行不对的任务。

排查：问题可能出在多个环节。先用CLI模式输入文本指令，测试任务规划是否正确。如果文本指令能正确执行，问题在语音识别（ASR）。尝试更换更清晰的麦克风，或使用Whisper的更大模型。如果文本指令也执行错误，问题在NLU或任务规划。检查系统提示词是否清晰定义了技能和能力。尝试在提示词中加入更具体的例子（Few-shot Learning）。

问题3：调用Home Assistant控制设备失败，报“连接被拒绝”或“404错误”。

排查：这是典型的网络或配置问题。
1. 网络连通性：在JARVIS-的机器上，用curl或浏览器尝试访问Home Assistant的URL和端口，确认能通。
2. 认证令牌：确认使用的长期令牌有效且未过期。在HA中重新生成一个试试。
3. 实体ID：确认指令中提到的实体ID（如light.living_room）在HA中确实存在且拼写完全一致。HA的实体ID是大小写敏感的。
4. CORS：如果JARVIS-的Web界面和HA不在同一个域名下，可能遇到CORS错误。需要在HA配置中正确设置CORS。

问题4：响应速度非常慢，说一句话要等十几秒才有反应。

排查：进行分段计时，定位瓶颈。
1. 在代码中关键步骤添加时间戳日志。
2. 可能是语音识别（Whisper）慢，尝试换用更小的模型或启用GPU加速。
3. 可能是LLM API调用慢，检查网络延迟，或考虑换用响应更快的模型（如gpt-3.5-turbo）。
4. 可能是某个技能（如网络搜索）超时。为所有外部调用设置合理的超时时间（如5秒），并做好超时处理，避免整个流程被卡死。

问题5：在树莓派等资源受限的设备上运行卡顿或内存不足。

优化：
- 使用轻量级组件：唤醒词用Vosk替代Porcupine（如果后者重），语音识别用Whisper的tiny模型，TTS用pyttsx3离线引擎。
- 启用交换空间：为树莓派增加足够的交换分区（Swap）。
- 关闭图形界面：在无头模式（headless）下运行，节省内存和CPU。
- 模型服务化：将最耗资源的模型（如LLM）部署在另一台性能更强的机器上，树莓派上的JARVIS-客户端通过网络调用。

6. 进阶玩法与生态展望

当你掌握了基础部署和技能开发后，可以探索更多有趣的方向，将JARVIS-打造成真正个性化的生产力工具。

6.1 个性化与持续学习

一个只会执行固定命令的JARVIS是缺乏灵魂的。如何让它更懂你？

构建个人知识库：利用RAG技术。将你的个人文档（笔记、邮件、书签）、聊天记录进行向量化存储。当JARVIS回答问题时，可以先从你的个人知识库中检索相关背景信息，再生成答案，这样答案就更具个性化。可以使用ChromaDB、Qdrant等向量数据库。
记忆与上下文：实现长期记忆。简单做法是将重要的对话摘要持久化到数据库。下次对话时，自动加载相关记忆作为上下文。这能让JARVIS记得你的偏好、待办事项和历史对话。
习惯学习：通过分析你的指令日志，自动发现模式。例如，你每天上午9点都会问天气，JARVIS可以学习并在那个时间主动播报。或者，你每次说“我回来了”，后面通常会跟着“打开客厅灯和空调”，系统可以学习将这个组合动作自动化。

6.2 多设备协同与边缘计算

真正的智能管家不应该只存在于一台电脑。

中心-边缘架构：将核心的AI大脑（LLM、任务规划）部署在家中的服务器或云端（中心），在每个房间部署轻量级的“终端”（如树莓派+麦克风+扬声器）。终端负责拾音、播放和简单的本地控制（如通过GPIO控制继电器），复杂的思考和规划交给中心。这样既保证了能力，又实现了全屋覆盖和低延迟的本地控制。
状态同步：JARVIS需要知道全屋的状态。通过订阅Home Assistant的全局事件总线，任何设备的状态变化都能实时同步到AI大脑，使其做出更合理的决策。例如，传感器检测到你离开家，JARVIS可以自动执行“离家模式”的一系列操作。