跳到主要内容

语音唤醒和按键通话

模式​

  • 唤醒词模式（默认）：始终开启的语音识别器等待触发词（swabbleTriggerWords）。匹配时开始捕获，显示带有部分文本的叠加层，并在静音后自动发送。
  • 按键通话（右 Option 键按住）：按住右 Option 键立即开始捕获—不需要触发词。叠加层在按住时出现；释放后经过短暂延迟后完成并转发，以便您可以调整文本。

运行时行为（唤醒词）​

  • 语音识别器位于 VoiceWakeRuntime 中。
  • 仅当唤醒词和下一个词之间有有意义的停顿（约 0.55 秒间隔）时才会触发。叠加层/提示音可以在停顿时就开始，即使在命令开始之前。
  • 静音窗口：语音流动时为 2.0 秒，仅听到触发词时为 5.0 秒。
  • 硬停止：120 秒以防止失控会话。
  • 会话间的防抖：350 毫秒。
  • 叠加层通过 VoiceWakeOverlayController 驱动，带有已提交/临时着色。
  • 发送后，识别器干净地重启以监听下一个触发词。

生命周期不变量​

  • 如果语音唤醒已启用且权限已授予，唤醒词识别器应处于监听状态（在明确的按键通话捕获期间除外）。
  • 叠加层可见性（包括通过 X 按钮手动关闭）绝不能阻止识别器恢复。

粘滞叠加层故障模式（之前）​

之前，如果叠加层卡住显示且您手动关闭它，语音唤醒可能看起来"死掉"，因为运行时的重启尝试可能被叠加层可见性阻止，且未安排后续重启。

加强：

  • 唤醒运行时重启不再被叠加层可见性阻止。
  • 叠加层关闭完成通过 VoiceSessionCoordinator 触发 VoiceWakeRuntime.refresh(...)，因此手动 X 关闭总是恢复监听。

按键通话具体细节​

  • 热键检测使用全局 .flagsChanged 监控器用于右 Option（keyCode 61 + .option）。我们只观察事件（不吞噬）。
  • 捕获管道位于 VoicePushToTalk：立即启动语音，将部分文本流式传输到叠加层，并在释放时调用 VoiceWakeForwarder。
  • 当按键通话开始时，我们暂停唤醒词运行时以避免音频重复；它在释放后自动重启。
  • 权限：需要麦克风 + 语音；查看事件需要辅助功能/输入监控批准。
  • 外部键盘：某些可能不会按预期暴露右 Option—如果用户报告错过，提供备用快捷方式。

面向用户的设置​

  • 语音唤醒切换：启用唤醒词运行时。
  • 按住 Cmd+Fn 通话：启用按键通话监控器。在 macOS < 26 上禁用。
  • 语言和麦克风选择器、实时电平表、触发词表、测试器（仅本地；不转发）。
  • 麦克风选择器在设备断开连接时保留上次选择，显示断开连接提示，并临时回退到系统默认值，直到它返回。
  • 声音：在触发检测和发送时发出提示音；默认为 macOS "Glass" 系统声音。您可以为每个事件选择任何 NSSound 可加载的文件（例如 MP3/WAV/AIFF）或选择无声音。

转发行为​

  • 当语音唤醒启用时，转录文本被转发到活动的网关/代理（mac 应用其余部分使用的相同本地与远程模式）。
  • 回复被发送到最后使用的主提供商（WhatsApp/Telegram/Discord/WebChat）。如果发送失败，错误被记录且运行仍可通过 WebChat/会话日志查看。

转发负载​

  • VoiceWakeForwarder.prefixedTranscript(_:) 在发送前预置机器提示。在唤醒词和按键通话路径之间共享。

快速验证​

  • 打开按键通话，按住 Cmd+Fn，说话，释放：叠加层应显示部分文本然后发送。
  • 按住时，菜单栏耳朵应保持放大（使用 triggerVoiceEars(ttl:nil)）；它们在释放后消失。