esp32-iphone-agent

ESP32-S3でiPhoneの画面を受信し、USB操作を行うAIエージェントです。Macなしで、視覚モデルによる実機操作に使えます。

公開中のissueを見る

再現できる小さなissueを選び、AIコーディングエージェントで直してみましょう。

Xで共有ライセンス: MIT

概要

ESP32 iPhone Agentは、ESP32-S3ボードを介して視覚AIモデルが実機のiPhoneを操作するプロジェクトです。ボードがWi-FiホットスポットとAirPlay受信機、USBマウス・キーボードとして動作し、iPhone上のアプリが画面をモデルに送り、タップ、スワイプ、入力を実行します。Mac、開発者アカウント、脱獄は不要です。操作履歴は再生・書き出して確認できます。

主な特長

  • Wi-Fiホットスポットを作り、iPhoneのAirPlay画面を受信してBluetooth Low Energy経由でアプリに転送します。
  • USBマウス・キーボードとして動作し、AssistiveTouchでiPhoneを操作します。
  • iPhoneアプリが画面をOpenAI互換の視覚モデルに送り、タップ、スワイプ、入力などを実行します。
  • 操作履歴をステップごとに再生し、画面画像、操作、注釈を書き出せます。

こんな人・用途に

Macを使わず、ESP32-S3と視覚モデルで実機のiPhone操作を自動化したい人に向いています。実行内容の確認や書き出しにも使えます。

アップストリーム
onehumanbeing/esp32-iphone-agent
GitHubのフォーク
Guo-astro/esp32-iphone-agent
アップストリームのスター数
776
カテゴリ
AIエージェントとLLMツール
言語
C
ライセンス
MIT
フォーク日
2026-10-12
同期状態
直近の同期で更新最終同期 2026-10-20