「ページを開く」「入力する」「情報を集める」「確かめる」といった手順を日常の言葉で並べると、AI が Chrome を操作します。一度うまくいったクリックや入力は覚えて、次からは AI を使わずに同じ手順で繰り返し、画面が変わったときだけ AI が覚え直します。API のないデスクトップアプリも、macOS と Windows で、AI が画面を読み、マウスとキーボードを使って操作します。
- ワンタイムコードなど人の入力が必要な場面では、実行を止めてお知らせ
- Web やデスクトップの操作で入力するパスワードは名前で参照し、AI には値を見せない
- ログイン状態を保存し、次回以降の実行で再利用
- アクセスできるサイトを制限
- 失敗時のスクリーンショットで、止まった理由を確認
- 画面が変わって AI が操作をやり直したときは、実行の記録でわかる
- デスクトップ操作は、人がマウスやキーボードを使っている間は待ち、保存などの前に承認を挟める
CAPTCHA(画像認証)の突破は行いません。AI が画面を読むときは、Web ではページの表示内容が、デスクトップでは画面全体のスクリーンショットが、選択した AI モデルの提供者に送信されます。覚えた操作を繰り返すときは送信しません。