前几天在搞别的硬件项目,手边正好有块 ESP32-S3 ,突然冒出个想法:它能模拟 USB 鼠标,iPhone 又有辅助触控,那能不能让它当鼠标直接去点手机? 试了一下真行。然后越做越上头:眼睛怎么办?干脆让它同时当 AirPlay 接收端,iPhone 把屏幕镜像直接推给它。这样整套就只剩一块 40 来块的板子( XIAO ESP32S3 )加手机上的一个 App ,没有 Mac 在中间,也不用 Xcode 和开发者账号了。 流程是这样的: ESP32 开自己的 Wi-Fi 热点,当 AirPlay 接收端,收 iPhone 的屏幕镜像。 板子不解码,把 H.264 通过蓝牙原样转给手机上的 App ,App 把截图交给视觉模型(任意兼容 OpenAI 接口的都行)。 模型给出动作,App 经蓝牙发回板子,板子扮成 USB 鼠标键盘,配合辅助触控去点。 做的过程里有几个有意思的坑: 蓝牙只有几百 kbps ,视频和点击命令还共用同一条链路。所以点击和回复优先插队,视频让路;链路慢的时候只发关键帧,不让延迟越攒越多。画面也压到了 480×1040...