あなたが構築するサイトやアプリのためのUI自動化

エージェントがテストに対して行うこと

• ファイルread_file、write_file、append_file、edit_file、delete_file、make_dir、move_file、copy_file、list_dir、grep、globはチャットの作業フォルダ内で動作し、作成・編集・読み込みされたファイルのカウンターが表示されます。
• ShellローカルWindows、WSL、または所有するサーバー上のSSH経由でテストコマンド、リンター、ビルドを実行し、実際の終了コードによって成功を判断します。危険なコマンドはブロックされます。
• Webweb_searchでページを検索し、http_getで公式ドキュメントページを1つ読み取ります。これにより、セレクタや待機条件の質問を、フレームワーク自体のマニュアルに対して確認できます。
• スクリーンショットと画像ocrは保存されたスクリーンショット（例えば失敗した実行のエラーバナー）内のテキストを読み取り、gen_imageは必要な場合に実際の画像ファイルを保存します。
• オーケストレーションtaskは独立したチェックを並列サブエージェント間で分割し、run_on_modelは1つの難しいステップをより大きなモデルに送信し、skillは再利用可能なプレイブック（例えば通常の修復手順）を保存します。
• 承認モードAuto-runは即座に行動し、Ask firstは変更を加えるアクションの前に一時停止して差分を表示し、Plan onlyは計画のみを記述して何も実行しません。計画は再起動後も保持されます。
• Cron定期的にプロンプトを実行します。例えば、設定した時刻にテストコマンドを実行し、チャットに終了コードを報告することで、夜間に壊れたフローが最初に確認すべきものになります。
• モデル標準APIエンドポイントを通じてクラウドAIプロバイダ、PC上でローカルに実行されているモデル、またはエンドポイント不要で即座に使用できる組み込みモデルに接続します。Testボタンは開始前にエンドポイントを確認します。

テストプロジェクトでエージェントが行う4つの作業

最初のフローを作成する

E2Eテストのベストプラクティスは、決して壊れてはならないフローの短いリストから始まります。FlowLatchにそれらのフローのみを作成させるのが最適です。list_dirとglobは既存のテストの命名規則を示し、read_fileはパターンとして1つのファイルを開き、write_fileはテストアカウントとフェイクデータを含むサインインフローの新しいファイルを作成します。その後Shellがテストコマンドを実行し、カードに実際の終了コードが表示されます。最初のドラフトが最終版であることは稀なので、より明確な名前やページテキストの確認追加など、1回に1つの変更を依頼してください。承認する前に、差分で新しいファイルを読み、自分で1回実行し、意図したフローに一致する場合のみ保持してください。

スイートを実行し、失敗を読む

Shellがテストコマンドを実行し、カードには完全な出力が保持されるため、赤い結果は推測ではありません。grepはその出力から失敗したステップを検索し、フレームワークがスクリーンショットを保存している場合は、ocrがその中のメッセージを読み取ります。エンドツーエンドテストのフラッキネスを減らすために、FlowLatchに同じコマンドで失敗したテストを再実行させ、終了コードを比較してください。パスの後に失敗がある場合は、固定された待機、共有テストデータ、またはテストの順序を示しています。チャットで短い説明を求め、ファイルを変更する前に出力に対してそれらを確認してください。

レイアウト変更後にセレクタを修復する

フロントエンド作業においてE2Eテストが時間の価値があるかどうかはフローによりますが、まずサインインとチェックアウトをカバーしてください。ページレイアウトが変更された場合、grepはそれに関連付けられたすべてのセレクタを見つけ、read_fileは周囲のステップを示し、edit_fileは安定したラベルまたはテストIDを提案します。Ask firstでは、FlowLatchは各編集の前に一時停止し、ファイルごとに差分を表示します。正しそうに見える行を承認し、残りを却下し、その後Shellでスイートを再実行して新しい終了コードを確認します。レビュアーが1分で読めるように、差分を小さく保ってください。

スイートを別のフレームワークに移動する

フレームワーク間でE2Eテストを移行する際は、新しいものがパスするまで両方のスイートをリポジトリに保持してください。FlowLatchはglobで古いテストを一覧表示し、read_fileでそれぞれを読み取り、write_fileで新しいファイルに一致するものを1つのフローごとに書き込みます。web_searchとhttp_getは、覚えていない構文のために新しいフレームワーク自体のドキュメントを読むことができます。両方のスイートをShellで実行し、古いものが削除される前にAsk firstで各ファイルを承認してください。計画は再起動後も保持されるため、長い移行は翌日に継続できます。