基于VisionClaw与Gemini Live API构建实时AI眼镜助手：架构、部署与实战

1. 项目概述：打造你的实时AI眼镜助手

想象一下，你戴着智能眼镜走在街上，看到一家新开的咖啡馆，随口一问：“这家店评分怎么样？”眼镜里的AI不仅立刻“看到”了招牌，还能实时搜索并告诉你结果。或者你在超市，双手提着东西，只需说一句“把牛奶加到购物清单”，清单就自动更新了。这不再是科幻电影的场景，而是通过VisionClaw这个开源项目可以实现的现实。它是一个专为Meta Ray-Ban 智能眼镜打造的实时AI助手，将眼镜的“所见所闻”与强大的AI大脑和行动能力无缝连接。

这个项目的核心价值在于，它构建了一个完整的端到端管道。它不仅仅是让AI“看图说话”，而是创造了一个能听、能看、能行动的智能体。你通过眼镜的麦克风说话，AI通过眼镜的摄像头“观察”世界，并通过集成的工具（如OpenClaw）替你执行任务，如发送信息、搜索网页、管理智能家居等。这一切都通过Gemini Live API实现近乎实时的语音对话交互，体验非常自然。对于开发者、硬件爱好者和AI应用探索者来说，VisionClaw提供了一个绝佳的样板，展示了如何将前沿的穿戴设备、多模态大模型和自动化工具链整合成一个实用的个人助理。

2. 核心架构与工作原理深度解析

要理解VisionClaw，不能只看表面功能，必须拆解其背后的技术栈和数据流。整个系统可以看作一个精密的实时数据处理工厂，每个环节都针对穿戴设备的特性做了优化。

2.1 整体数据流与组件协同

项目的架构图清晰地展示了数据是如何流动的：

Meta Ray-Ban Glasses (or phone camera) | | video frames + mic audio v iOS / Android App (this project) | | JPEG frames (~1fps) + PCM audio (16kHz) v Gemini Live API (WebSocket) | |-- Audio response (PCM 24kHz) --> App --> Speaker |-- Tool calls (execute) -------> App --> OpenClaw Gateway | | | v | 56+ skills: web search, | messaging, smart home, | notes, reminders, etc. | | |<---- Tool response (text) <----- App <-------+ | v Gemini speaks the result

关键组件解析：

1. 前端设备层（Meta Ray-Ban Glasses / 手机摄像头）：这是系统的“感官”。眼镜内置的摄像头和麦克风提供了第一人称视角和音频输入。项目也支持使用手机摄像头进行测试，这大大降低了开发和体验门槛。
2. 客户端应用层（iOS/Android App）：这是系统的“神经中枢”。它负责：
   • 设备控制：通过 Meta 官方的 DAT SDK 与眼镜建立连接，获取视频和音频流。
   • 媒体处理：对原始音视频流进行编码、压缩、节流，以适应网络传输和API限制。
   • 网络通信：管理与 Gemini Live API 的 WebSocket 长连接，实现全双工实时通信。
   • 工具调用路由：解析 Gemini 返回的“工具调用”指令，并将其转发给本地的 OpenClaw 网关。
   • 用户界面：提供简单的控制按钮和状态显示。
3. AI大脑层（Gemini Live API）：这是系统的“认知核心”。与传统的“语音转文本->文本对话->文本转语音”管道不同，Gemini Live API 原生支持实时音频流和图像帧作为输入，直接输出音频流。这意味着更低的延迟和更自然的对话体验，因为它能处理语音中的停顿、语气等副语言信息。
4. 行动执行层（OpenClaw Gateway）：这是系统的“手和脚”。它是一个运行在你本地电脑（如Mac）上的服务网关，集成了数十种“技能”（Skills），可以操作你授权的应用和服务（如浏览器、通讯软件、笔记应用等）。当 Gemini 决定需要执行一个动作时（如“发信息”），它会通过 App 调用 OpenClaw，由 OpenClaw 具体执行。

2.2 为什么选择这些技术栈？

每一个技术选型背后都有其深思熟虑的理由：

• Meta DAT SDK：这是与 Ray-Ban 眼镜通信的唯一官方途径。它抽象了底层蓝牙和Wi-Fi直连的复杂性，提供了稳定的视频流、音频流和设备状态API。没有它，项目就无法接入眼镜的硬件能力。
• Gemini Live API：这是实现“实时对话”感的关键。其 WebSocket 接口允许双向、持续的音频流传输，延迟远低于传统的分段式请求。更重要的是，它原生支持“视觉上下文”，可以同步接收图像帧，让AI真正理解你正在看什么。相比之下，许多方案需要先将视频流截图再通过图片API上传，流程割裂且延迟高。
• OpenClaw：选择它而非其他自动化平台（如Zapier、n8n的本地版）或直接调用各应用API，主要基于两点：技能丰富度和本地化控制。OpenClaw 预置了覆盖日常工作的数十种技能，开箱即用。同时，它作为本地网关，所有敏感操作（如访问你的浏览器、消息应用）都发生在你的设备上，数据不出本地，隐私性和可控性更强。
• WebRTC（用于直播功能）：这是一个独立的附加功能，用于将眼镜的视角实时分享到网页浏览器。WebRTC 是点对点实时通信的业界标准，能高效处理音视频流，并利用 STUN/TURN 服务器解决 NAT 穿透问题，非常适合这种低延迟直播场景。

实操心得：这个架构的精妙之处在于“分工明确”和“本地优先”。AI的“思考”在云端（Gemini），但“感知”和“执行”都紧密围绕本地设备。眼镜和手机负责采集，个人电脑（OpenClaw）负责执行具体动作，形成了一个以用户设备为中心的分布式系统，在提供强大功能的同时，最大程度保护了隐私和响应速度。

3. 环境准备与详细搭建指南

在开始编码之前，扎实的环境准备是成功的一半。这里我会详细拆解每个步骤，并解释其必要性，帮你避开我踩过的坑。

3.1 基础账户与密钥获取

这是项目的“燃料”，缺一不可。

1. Gemini API 密钥：

   • 获取地址：前往 Google AI Studio 。
   • 操作：登录你的Google账号，点击“Create API Key”，选择一个项目（或新建一个），即可生成密钥。免费额度足够个人开发测试使用。
   • 注意：复制并妥善保存这个密钥，它是一长串字符。在后面的配置中，它会以明文形式存放在项目的Secrets文件里。因此，切勿将包含真实密钥的代码上传到公开的Git仓库。项目提供的.example文件正是为了防止这个错误。

2. GitHub Personal Access Token (仅Android需要)：

   • 原因：Meta 的 DAT Android SDK 通过 GitHub Packages 私有仓库分发。即使仓库是公开的，GitHub 也要求认证才能下载包。
   • 获取地址：登录 GitHub，进入Settings->Developer settings->Personal Access Tokens->Tokens (classic)。
   • 创建：点击Generate new token (classic)。在Note中填写一个描述，如 “VisionClaw DAT SDK”。关键步骤：在Select scopes下，必须勾选read:packages。其他权限不需要。然后点击页面底部的Generate token。
   • 注意：生成后立即复制并保存，页面关闭后将无法再次查看。这个 Token 将配置在 Android 项目的local.properties文件中，该文件通常被.gitignore排除，以保安全。

3.2 开发环境配置

对于iOS开发：

• 硬件：一台 Mac 电脑是必须的，因为需要运行 Xcode。
• 软件：
  • Xcode 15.0+：从 Mac App Store 安装即可。安装后，打开 Xcode，前往Xcode -> Settings -> Platforms，确保安装了最新的 iOS Simulator 运行时。虽然本项目主要针对真机，但模拟器可用于部分逻辑测试。
  • iOS 17.0+：你需要一部升级到 iOS 17 或更高版本的 iPhone 用于真机调试。在 iPhone 的设置 -> 通用 -> 软件更新中检查。
  • CocoaPods (可选)：项目似乎直接使用了 Swift Package Manager 或本地依赖，但确保你的环境有网络访问能力以下载依赖。

对于Android开发：

• 硬件：Windows、Mac 或 Linux 均可。
• 软件：
  • Android Studio “Ladybug” 版本或更新：建议从 官网 下载最新稳定版。版本号很重要，旧版本可能不兼容所需的 Gradle 插件或 Kotlin 编译器。
  • Android 14 (API 34) 及以上真机：这是 DAT SDK 的要求。在手机的设置 -> 关于手机 -> 软件信息中查看Android 版本。同时，需要开启开发者选项（通常是在关于手机中连续点击版本号7次），并在其中开启USB调试。
  • Java Development Kit (JDK) 17：Android Studio 通常会捆绑正确的 JDK。你可以在Android Studio -> Settings -> Build, Execution, Deployment -> Build Tools -> Gradle中查看Gradle JDK的版本。

3.3 OpenClaw 本地网关部署（实现“行动”能力）

如果你想体验AI替你发信息、搜网页等高级功能，这一步是必须的。OpenClaw 相当于在你的电脑上安装了一个AI的“执行终端”。

1. 安装 OpenClaw：

   • 按照其官方仓库的指南进行安装。通常涉及使用包管理器（如 Homebrew on Mac）或直接下载可执行文件。
   • 打开终端，运行安装命令。安装完成后，运行openclaw --version确认安装成功。

2. 关键配置修改：

   • 配置文件通常位于~/.openclaw/openclaw.json。你需要编辑它，确保gateway部分如下所示：

   { "gateway": { "port": 18789, "bind": "lan", // 关键：允许局域网访问 "auth": { "mode": "token", "token": "your-strong-gateway-token-here" // 自己设一个复杂字符串 }, "http": { "endpoints": { "chatCompletions": { "enabled": true } // 关键：启用聊天补全端点 } } } }

   • bind: "lan"允许同一Wi-Fi网络下的手机（运行VisionClaw App）访问这个网关。
   • chatCompletions.enabled: true是 VisionClaw 与 OpenClaw 通信所必需的接口。

3. 启动并验证网关：

   • 在终端运行：openclaw gateway restart
   • 验证服务是否运行：curl http://localhost:18789/health
   • 如果返回{"status":"ok"}之类的 JSON，说明网关已就绪。

4. 查找你的电脑主机名：

   • Mac：打开系统设置 -> 通用 -> 共享，最上面的“电脑名称”就是，例如MacBook-Pro.local。这个地址将用于手机App连接。
   • Windows/Linux：你需要找到你的电脑在局域网中的IP地址（如192.168.1.100），并在手机App配置中使用IP地址而非.local主机名，因为 Bonjour/mDNS 在非苹果设备上可能支持不佳。

注意事项：首次运行 OpenClaw 时，它可能会尝试打开浏览器进行 OAuth 授权（例如连接你的 Google 账户以访问日历、Gmail 等）。请确保在用于运行 OpenClaw 的电脑上进行授权操作。同时，留意 OpenClaw 的日志输出，它对于排查连接和技能执行问题至关重要。

4. 项目编译与运行：分平台实战

环境准备好后，我们进入实战编译环节。我将分别详解 iOS 和 Android 的流程，并附上可能遇到的“坑”及解决方案。

4.1 iOS 端详细构建流程

1. 获取源代码：

   git clone https://github.com/sseanliu/VisionClaw.git cd VisionClaw/samples/CameraAccess

   使用终端进入项目目录。samples/CameraAccess是主要的 iOS 示例应用目录。

2. 配置密钥文件：

   • 这是至关重要的一步。项目提供了一个示例文件来保护你的敏感信息。

   cp CameraAccess/Secrets.swift.example CameraAccess/Secrets.swift

   • 用 Xcode 或任何文本编辑器打开新创建的Secrets.swift文件。你会看到类似以下的结构：

   enum Secrets { static let geminiApiKey = "" // 你的 Gemini API 密钥 static let openClawHost = "http://Your-Mac.local" // 你的电脑主机名 static let openClawPort = 18789 static let openClawGatewayToken = "" // 你在 openclaw.json 中设置的 token // ... 其他配置如 WebRTC 服务器地址 }

   • 将你的geminiApiKey填入引号内。如果你部署了 OpenClaw，则填写对应的主机名和令牌。

3. 在 Xcode 中打开与编译：

   • 双击CameraAccess.xcodeproj在 Xcode 中打开项目。
   • 在 Xcode 顶部的 Scheme 选择器附近，确保选择你的 iPhone 设备作为运行目标（而不是模拟器）。你需要用 USB 线将 iPhone 连接到 Mac。
   • 首次构建：点击Product -> Run或按Cmd+R。Xcode 会开始编译项目并安装到你的 iPhone。此时，iPhone 可能会提示“未受信任的开发者”。你需要进入设置 -> 通用 -> VPN与设备管理（或描述文件与设备管理），找到开发者应用，点击信任。

4. 在眼镜上启用开发者模式：

   • 要让 App 连接 Ray-Ban 眼镜，必须在官方的 Meta AI App 中开启一个隐藏的开发者模式。
   • 在 iPhone 上打开Meta AIApp。
   • 点击右下角的齿轮图标进入Settings。
   • 点击App Info。
   • 连续点击App version字样5次，你会看到一个提示“Developer mode enabled”。
   • 返回Settings页面，现在你会看到一个新的Developer Mode开关，将其打开。

5. 运行与测试：

   • 手机模式：在 VisionClaw App 中，点击Start on iPhone，然后点击 AI 按钮（星星图标），即可对着手机说话和测试。
   • 眼镜模式：确保眼镜已开机并与手机配对。在 App 中点击Start Streaming，等待连接成功提示，然后点击 AI 按钮。现在你可以通过眼镜的麦克风对话，AI 将通过眼镜的摄像头“看”世界。

4.2 Android 端详细构建流程

Android 端的流程因涉及 GitHub Packages 认证而稍显复杂。

1. 获取源代码：

   git clone https://github.com/sseanliu/VisionClaw.git

   使用 Android Studio 的File -> Open菜单，选择VisionClaw/samples/CameraAccessAndroid目录打开项目。

2. 配置 GitHub 认证：

   • 这是构建成功的关键。DAT SDK 依赖项需要认证。
   • 在项目根目录下，找到或创建local.properties文件。这个文件不应提交到 Git。
   • 在文件中添加以下两行，替换YOUR_GITHUB_USERNAME和YOUR_GITHUB_TOKEN：

   gpr.user=YOUR_GITHUB_USERNAME gpr.token=YOUR_GITHUB_TOKEN

   • 这里的gpr.token就是你在 3.1 步骤中创建的具有read:packages权限的 Personal Access Token。

3. 配置密钥文件：

   • 路径：app/src/main/java/com/meta/wearable/dat/externalsampleapps/cameraaccess/
   • 复制示例文件：cp Secrets.kt.example Secrets.kt
   • 编辑Secrets.kt，填入你的 Gemini API Key 和 OpenClaw 配置，格式与 iOS 版类似。

4. 同步与构建项目：

   • 打开项目后，Android Studio 会自动开始 Gradle 同步（右下角有进度条）。此时它会使用local.properties中的凭证去下载 DAT SDK。
   • 如果同步失败：最常见的错误是401 Unauthorized。请检查：
     1. local.properties文件路径和内容是否正确。
     2. GitHub Token 是否具有read:packages权限。
     3. 可以尝试在终端项目目录下运行./gradlew --refresh-dependencies强制刷新依赖。
   • 同步成功后，用 USB 连接你的 Android 手机（确保已开启USB调试），在 Android Studio 顶部选择你的设备作为运行目标，点击绿色的Run按钮。

5. 无线调试（可选但方便）：

   • 在手机开发者选项中开启无线调试。
   • 在 Android Studio 的Device Manager中，你可以看到Pair using Wi-Fi的选项，按照提示输入配对码即可。成功后可以拔掉USB线进行无线安装和调试。

6. 运行与测试：

   • 步骤与 iOS 类似。首次运行需要授予麦克风和相机权限。
   • 注意：Android 端启用眼镜开发者模式的步骤与 iOS 完全相同，都是在 Meta AI App 中进行。

实操心得：Android 构建中最常见的“拦路虎”就是 GitHub Token 配置错误。一个有效的检查方法是：在浏览器中，用你的账号和Token尝试直接访问https://maven.pkg.github.com/facebook/meta-wearables-dat-android/com/meta/wearable/dat/sdk/（这是一个包列表），如果弹出登录框或返回404，说明Token可能无效或权限不足。如果能看到XML文件列表，则说明Token有效。另外，确保你的 Android 设备系统版本符合要求（API 34+），否则 DAT SDK 可能无法正常工作。

5. 核心模块源码分析与定制要点

如果你想基于 VisionClaw 进行二次开发，或者深入理解其运作机制，剖析核心源码是必经之路。项目结构清晰，主要逻辑集中在几个关键文件中。

5.1 音频管道（AudioManager）

这是实现实时对话体验的基石，处理所有声音的进出。

• iOS (AudioManager.swift):

  • 输入：使用AVAudioEngine和AVAudioInputNode捕获麦克风音频。配置为16kHz，单声道，PCM Int16格式。这是为了匹配 Gemini Live API 的输入要求。音频被分成约100ms的块（chunk）通过 WebSocket 发送，以平衡延迟和网络效率。
  • 输出：从 WebSocket 收到 Gemini 返回的24kHzPCM 音频数据后，放入一个播放队列，通过AVAudioEngine的AVAudioOutputNode播放到扬声器。
  • 音频会话：这是 iOS 音频管理的核心。在“手机模式”下，设置为.voiceChat，这个模式会自动启用系统的回声消除（AEC）和自动增益控制（AGC），并在播放时降低麦克风增益，防止啸叫。在“眼镜模式”下，由于麦克风在眼镜上，扬声器在手机上，没有回声问题，所以使用.videoChat模式以获得更好的音质。

• Android (AudioManager.kt):

  • 输入：使用AudioRecord，指定音频源为MediaRecorder.AudioSource.VOICE_COMMUNICATION，这个源也内置了回声消除功能。同样配置为16kHz，单声道，ENCODING_PCM_16BIT。
  • 输出：使用AudioTrack，配置为STREAM_VOICE_CALL模式，以低延迟播放收到的24kHzPCM 数据。

注意事项：音频处理中最棘手的问题是回声和噪音。项目通过选择合适的音频会话/音频源来利用硬件和系统级的优化。如果在测试中遇到严重的回声，首先检查是否使用了正确的模式（眼镜模式不要用.voiceChat）。其次，可以尝试在代码中微调AVAudioEngine的inputNode的volume（iOS）或在AudioRecord读取时加入简单的软件增益控制（Android）。

5.2 Gemini Live 会话管理（GeminiLiveService & SessionViewModel）

这是与云端 AI 交互的核心。

• 连接管理：GeminiLiveService负责建立和维护与wss://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-exp:streamGenerateContent?alt=sse的 WebSocket 连接。连接建立后，会发送一个初始配置消息，包含 API 密钥、系统指令（System Instruction）和工具定义。
• 系统指令：在GeminiConfig中定义。这是一个关键的“提示词”，用于塑造 AI 的行为。例如，指令中会告诉 AI：“你是一个通过智能眼镜与用户交互的助手，可以看到用户看到的场景。请保持回应简洁，在需要执行操作时使用execute工具。” 你可以修改这里的指令来改变 AI 的“性格”和交互风格。
• 媒体流发送：服务类会创建一个定时器或利用视频帧回调，以大约1帧/秒的速度将压缩后的 JPEG 图像（来自眼镜或手机摄像头）通过 WebSocket 的binary帧发送。同时，来自AudioManager的音频块也会被实时发送。
• 响应处理：WebSocket 会持续接收来自 Gemini 的两种数据：1)音频响应：二进制 PCM 数据，直接交给AudioManager播放。2)工具调用：JSON 格式的文本数据，表明 AI 希望执行一个动作（如execute(task: “搜索附近的咖啡店”)）。这部分会被传递给ToolCallRouter。

5.3 工具调用与执行路由（ToolCallRouter & OpenClawBridge）

这是实现 AI “行动力”的桥梁。

• 工具定义：在ToolCallModels中，定义了一个名为execute的工具（函数），它接受一个task字符串参数。这个定义会随着系统指令一起发送给 Gemini，告诉 AI “你可以调用这个工具”。
• 路由逻辑：ToolCallRouter接收到 Gemini 发来的工具调用请求后，会解析出task参数。然后，它通过OpenClawBridge（一个 HTTP 客户端）向本地部署的 OpenClaw 网关发起一个 POST 请求。
• OpenClaw 通信：请求的终点是 OpenClaw 网关的/v1/chat/completions接口（模仿了 OpenAI 的格式）。请求体中包含了原始的task描述。OpenClaw 收到后，会利用其内部的 LLM 和技能库来理解并执行这个任务，比如打开浏览器搜索、发送一条 Slack 消息等。
• 结果回传：OpenClaw 执行完毕后，会将结果（一段文本描述，如“已成功将牛奶添加到购物清单”）返回给OpenClawBridge。ToolCallRouter随后将这个结果封装成 Gemini 能识别的toolResponse格式，并通过 WebSocket 发回给 Gemini。最后，Gemini 会组织语言，将这个结果以语音形式告诉用户。

// 简化的工具调用流程示意 (Swift) // 1. Gemini 发送工具调用请求 // {"functionCall": {"name": "execute", "args": {"task": "Add milk to shopping list"}}} // 2. ToolCallRouter 处理 func handleToolCall(_ toolCall: ToolCall) { if toolCall.functionName == "execute" { let task = toolCall.arguments["task"] as! String openClawBridge.executeTask(task) { result in // 3. 收到 OpenClaw 返回 let toolResponse = ToolResponse(id: toolCall.id, content: result) geminiService.sendToolResponse(toolResponse) // 4. 回传给 Gemini } } }

5.4 视频流处理与 WebRTC 直播

• 视频流处理：无论是来自 DAT SDK（眼镜）还是AVCaptureSession/CameraX（手机），原始视频流帧率都很高（24-30fps）。直接上传所有帧到 Gemini 既浪费带宽也无必要。因此，项目实现了一个节流机制，大约每秒只取1帧，将其压缩为质量约50%的 JPEG 图像后上传。这个频率足以让 AI 理解场景变化，又保持了低带宽消耗。
• WebRTC 直播：这是一个相对独立但很有趣的功能，位于WebRTC目录下。它允许你将眼镜的实时视角（POV）流式传输到一个网页上。
  • 信令服务器：项目包含一个简单的 Node.js 服务器 (server/)。App 和网页浏览器通过 WebSocket 连接到这个服务器，交换 SDP（会话描述协议）和 ICE（交互式连接建立）候选者信息，以建立点对点连接。
  • NAT 穿透：为了在复杂的家庭或移动网络下建立连接，需要使用 STUN 服务器来获取公网地址，如果失败，则可能需要 TURN 服务器进行中转。代码中配置了 Google 的公共 STUN 服务器。
  • 使用限制：由于音频设备冲突，WebRTC 直播功能和 Gemini Live 语音会话不能同时运行。启动直播前会先结束任何现有的 AI 会话。

定制建议：如果你想调整 AI 的行为，首要修改点是GeminiConfig中的系统指令。如果你想增加新的工具（比如直接控制某个特定的智能家居设备），需要在ToolCallModels中定义新的工具函数，并在ToolCallRouter中实现对应的处理逻辑，可能还需要扩展 OpenClaw 或直接调用设备 API。对于视频流，可以调整throttle的频率和 JPEG 压缩质量，在流畅度和流量/延迟之间找到平衡。

6. 常见问题排查与实战调试技巧

在实际部署和运行过程中，你几乎一定会遇到一些问题。下面是我在实战中总结的常见问题及其排查思路，希望能帮你快速定位。

6.1 连接类问题

问题：App 无法连接到 Meta Ray-Ban 眼镜。

• 排查步骤：
  1. 确认基础连接：确保眼镜已开机，并且在手机的蓝牙设置中已成功配对。尝试用官方 Meta View 应用查看是否能连接并看到实时画面。
  2. 检查开发者模式：这是最常见的原因。务必在Meta AI App中，按照前述步骤（点击版本号5次）开启Developer Mode开关。
  3. 检查权限：首次运行 VisionClaw App 时，确保授予了必要的蓝牙和本地网络权限（iOS 会弹窗询问）。
  4. 重启大法：重启眼镜、重启手机 App、甚至重启手机和眼镜，有时能解决临时的连接故障。

问题：OpenClaw 连接超时或失败。

• 排查步骤：
  1. 网络同网段：确保运行 VisionClaw 的手机和运行 OpenClaw 的电脑处于同一个 Wi-Fi 网络下。企业网络或设置了客户端隔离的公共网络可能不行。
  2. 验证网关状态：在电脑终端运行curl http://localhost:18789/health，确认 OpenClaw 网关正在运行且返回健康状态。
  3. 检查主机名/IP：在 App 的设置或Secrets文件中，openClawHost地址必须正确。对于 Mac，使用YourMacName.local；对于 Windows，建议使用电脑的局域网 IP 地址（如http://192.168.1.100）。可以在手机浏览器中尝试访问http://[你的主机名或IP]:18789/health来测试网络连通性。
  4. 检查令牌：确保Secrets文件中的openClawGatewayToken与openclaw.json配置文件中的auth.token完全一致。
  5. 防火墙：临时关闭电脑的防火墙（macOS 防火墙在系统设置 -> 网络 -> 防火墙；Windows 在控制面板 -> Windows Defender 防火墙），看是否连接成功。如果成功，则需要为端口18789添加入站规则。

6.2 功能类问题

问题：Gemini 没有反应，不说话也“看不见”。

• 排查步骤：
  1. 检查 API 密钥：确认Secrets文件中的geminiApiKey已正确填写且未过期。可以尝试在命令行用curl调用一次 Gemini 的普通 API 来验证密钥有效性。
  2. 检查麦克风权限：进入手机的设置 -> 隐私与安全性 -> 麦克风，找到 VisionClaw App，确保其开关是打开的。
  3. 查看日志：在 Xcode 的 Console 或 Android Studio 的 Logcat 中查看应用日志。搜索错误信息，如 “WebSocket error”, “Authentication error” 等。Gemini Live 服务连接失败通常会有明确的错误码。
  4. 说话方式：Gemini Live 有内置的语音活动检测（VAD）。开始录音后，需要以正常语速和音量清晰地说话，说完后稍作停顿，AI 才会开始处理并回应。不要说得太短或太含糊。

问题：AI 能对话，但无法执行 OpenClaw 任务（比如发信息）。

• 排查步骤：
  1. 听 AI 反馈：当你说出一个需要执行任务的指令时（如“给张三发信息”），AI 通常会先口头确认（如“好的，我来发信息”），然后才静默执行。如果连口头确认都没有，可能是工具调用定义未成功发送或 Gemini 未理解指令。
  2. 检查 OpenClaw 日志：在运行openclaw gateway的终端里，查看实时日志。当工具调用触发时，这里会有详细的记录，显示收到了什么请求、调用了哪个技能、执行结果如何。这是最直接的调试窗口。
  3. 技能授权：许多 OpenClaw 技能（如发送 WhatsApp 消息、访问日历）需要首次使用时在浏览器中进行 OAuth 授权。请检查 OpenClaw 的日志或终端输出，看是否有提示需要打开浏览器授权。确保授权在运行 OpenClaw 的电脑上完成。
  4. 已知问题：OpenClaw 在某些情况下可能会打开重复的浏览器标签页，这是一个上游已知问题。如果遇到，可以尝试在 OpenClaw 配置中指定使用一个独立的 Chrome 用户目录（profile: “openclaw”），这有时能提高稳定性。

6.3 平台特定问题

iOS 特定：编译错误 “Missing package product ‘MetaWearablesDAT’”。

• 解决：这通常是因为 DAT SDK 的 Swift Package 依赖没有正确解析。尝试在 Xcode 中，File -> Packages -> Reset Package Caches，然后File -> Packages -> Resolve Package Versions。确保网络可以访问 GitHub。

Android 特定：Gradle 同步失败，报 401 错误。

• 解决：几乎可以断定是local.properties文件中的 GitHub Token 问题。
  1. 确认文件路径在项目根目录。
  2. 确认 Token 具有read:packages权限。
  3. 尝试在终端中，用curl命令测试 Token：curl -H “Authorization: token YOUR_TOKEN” https://api.github.com/user，应该能返回你的用户信息。
  4. 如果使用ghCLI，可以运行gh auth status查看状态，并用gh auth refresh -s read:packages刷新权限。

Android 特定：运行时提示 “Camera permission not granted” 或无法启动摄像头。

• 解决：Android 的权限管理更动态。确保在 App 首次请求时点击了“允许”。你也可以进入手机的设置 -> 应用 -> VisionClaw -> 权限，手动开启相机和麦克风权限。对于 Android 13+，可能还需要单独请求POST_NOTIFICATIONS权限，具体看AndroidManifest.xml和运行时请求代码。

通用调试技巧：

• 利用日志：这是最重要的调试手段。在代码的关键节点（如 WebSocket 连接打开/关闭、收到音频/视频数据、发送工具调用等）添加打印语句（Swift 的print或 Kotlin 的Log.d）。
• 分步测试：先抛开眼镜，用“手机模式”测试基础功能（AI语音对话）。再测试连接眼镜。最后再集成 OpenClaw。这样可以隔离问题范围。
• 查阅上游文档：遇到 DAT SDK 问题，去 Meta Wearables 开发者门户 和对应的 GitHub 仓库讨论区查找。OpenClaw 的问题则去其 GitHub Issues 中搜索。

7. 项目扩展思路与未来展望

VisionClaw 作为一个出色的起点，留下了丰富的扩展可能性。你可以根据自己的需求和技术栈，对其进行深度定制。

1. 技能扩展与集成：

• 连接更多服务：OpenClaw 的技能库是开放的。你可以为其编写新的技能（Skill），连接你日常使用的内部工具、特定网站 API 或 IoT 设备。例如，创建一个技能来查询公司内部的数据库，或者控制一个自定义的智能硬件。
• 替换执行引擎：如果你觉得 OpenClaw 太重，或者有特定的自动化流程，可以修改ToolCallRouter和OpenClawBridge，将其替换为其他自动化平台，如直接调用 IFTTT、Make (Integromat)、或自建的 FastAPI 服务，后者可以集成 LangChain 代理来执行更复杂的任务链。

2. 用户体验优化：

• 自定义唤醒词/触发方式：目前需要点击按钮触发 AI。可以尝试集成本地语音唤醒库（如 Porcupine），实现“嘿，眼镜”这样的语音唤醒，体验更无缝。
• 离线/边缘 AI 能力：为了隐私和低延迟，可以考虑在手机上集成小型的本地视觉/语音模型。例如，使用 Whisper 进行本地语音识别，或使用 MobileSAM、YOLO 等模型进行本地物体检测，将检测结果作为文本描述再发送给 Gemini，减少视频流上传的隐私顾虑和流量消耗。
• UI/UX 增强：为 App 设计更丰富的交互界面，比如实时显示 AI 识别的物体标签、对话历史记录、快捷指令按钮等。

3. 底层技术深化：

• 视频流优化：当前 1fps 的 JPEG 上传是权衡之选。可以尝试更先进的方案，如只上传动态检测到的变化区域，或者使用更高效的视频编码（如 H.264 关键帧），在保证理解力的同时降低带宽。
• 音频处理增强：加入背景噪音抑制、语音增强算法，提升嘈杂环境下的识别率。也可以实现声源定位，让眼镜更专注于佩戴者的语音。
• 多模态融合：不仅仅是语音和视觉，未来可以接入眼镜的惯性测量单元（IMU）数据，感知用户头部姿态和移动，让 AI 的上下文理解更立体。例如，“我刚刚转头看到的那个红色建筑是什么？”

4. 部署与产品化思考：

• 隐私与安全：这是穿戴式AI的核心。所有流向云端（Gemini）的数据都应清晰告知用户。可以考虑对视频流进行本地模糊化处理（如模糊人脸、车牌）后再上传。OpenClaw 的本地化执行是隐私友好的设计，应坚持。
• 能耗优化：实时音视频流和网络通信非常耗电。需要精细管理蓝牙、Wi-Fi、摄像头和 CPU 的使用，例如在用户不活跃时进入低功耗监听模式。
• 多设备同步：想象一下，你的眼镜、手机、电脑上的助手状态是同步的。在一个设备上中断的对话，可以在另一个设备上继续。

VisionClaw 项目清晰地勾勒出了下一代个人AI助手的雏形：一个始终在线、情境感知、并能主动替你办事的智能伴侣。它不仅仅是技术的堆砌，更展示了一种以穿戴设备为交互中心、云端大脑与本地执行相结合的新范式。无论是作为学习实时AI系统构建的绝佳教材，还是作为打造个性化智能眼镜应用的基石，这个项目都提供了极高的价值。