サイトやアプリを構築・公開する人のためのUIテストツール解説
テストの基本
UIテストツールとは何で、何をするものですか?
UIテストツールは、アプリやサイトを開き、ユーザーのようにクリックや入力を行い、表示された内容を読み取るフレームワークです。これにより、人間の介入なしに全体のフローを確認できます。これらはFlowLatchの一部ではありません。ツールを選択してインストールし、FlowLatchはShellを介してそれを実行し、出力を読み取り、フレームワークが読み取るテストファイルを編集します。
UIテストの不安定さ(フラキー)はどのくらい深刻で、何が原因ですか?
フラキーテストとは、コードに変更がないにもかかわらず成功したり失敗したりするテストのことで、数回失敗すると赤い結果を誰も信用しなくなります。主な原因は、可視状態を待つのではなく固定の待機時間を使用すること、ページレイアウトに依存するセレクター、共有テストデータ、および他のテストの順序に依存するテストです。e2eテストでのネットワーク障害処理も、より長い一時停止を追加するのではなく、条件の発生を待つことを意味します。
ユニットテストとエンドツーエンドテストの違いは何ですか?
ユニットテストは小さなコードの断片を1つだけチェックし、統合テストは連携して動作する部分をチェックし、エンドツーエンドテストは実際のブラウザでアプリのテストコピーに対して全体のフローをシミュレーションします。エンドツーエンドテストは遅く、壊れやすいため、決して壊れてはいけない数少ないフローに限定してください。リリースプロセスでは、高速なテストが成功した後にe2eテストが実行されます。
FlowLatchはどのGUIテストツールを使用しますか?
FlowLatch自体は使用しません。GUIテストツールはブラウザやデスクトッププログラムのインターフェースを操作するフレームワークであり、あなたが選択します。FlowLatchにはブラウザドライバがなく、画面をライブで監視することもできません。FlowLatchはインストールしたフレームワークをShell経由で実行し、実際の終了コードを表示し、テストファイルを編集しますが、クリックを行うのはフレームワークです。
どのサイトやアプリに対して自動化テストを実行できますか?
テストアカウントとフェイクデータを使用して、あなたが構築、所有、またはテスト権限を与えられているサイトやアプリのみです。メールチェックは、テスト用に設定したテストインボックスに行います。支払いフローには、実際のカードではなく、ご自身の支払い設定のテストモードを使用してください。FlowLatchはあなたのシステム向けに設計されており、作業はそれら内に留まります。
FlowLatchの使用
FlowLatchはテストプロジェクトで何を行いますか?
FlowLatchは、作業フォルダ内のツールを実行し、各アクションを実際の結果とともにカードとして表示するエージェントです。list_dir、glob、grepでテストを見つけ、read_fileでそれらを読み取り、write_fileとedit_fileで変更し、Shellを介してテストコマンドを実行し、保存された失敗スクリーンショットをOCRで読み取ります。すべての変更はまず差分としてあなたに届きます。
testflowy.comはFlowLatchの公式サイトですか?
はい、testflowy.comはFlowLatchの公式サイトです。ダウンロードページから約34MBのセットアッププログラムをダウンロードし、SHA-256チェックサムを公開されたマニフェストと比較してください。FlowLatchは独立しており、どのテストフレームワーク、ブラウザメーカー、またはテストサービスとも提携していません。アプリに何か不審な点がある場合は、アプリ内の「Send feedback」ボタンで私たちに連絡できます。チェックサムは、ファイルがオリジナルビルドであることを確認するのに役立ちます。
結果は常に正確ですか?
いいえ。FlowLatchは実際のコマンドを実行し、実際の終了コードを表示しますが、モデルが失敗を誤って解釈したり、間違った編集を書き込んだりする可能性があります。すべての差分を読み、テストを自分で実行してください。緑色の実行はフローを壊すリスクを低減しますが、アプリにバグがないことを証明するものではありません。テストには定期的な保守も必要なので、時間を確保してください。
どの承認モードから始めるべきですか?
「Ask first」が開始に適したモードです。これは、何かを変更するアクションの前に一時停止し、承認または拒否する差分を表示します。「Auto-run」は即座に動作し、すでに確認済みのステップに適しています。「Plan only」は計画のみを書き出し、何も実行しません。モードはいつでも切り替え可能で、例えば新しいプロジェクトを初めて確認する際は「Plan only」に切り替えることができます。
FlowLatchでテストをスケジュール実行できますか?
はい。Cronはスケジュールされたプロンプトを実行するため、FlowLatchに設定した時刻にテストコマンドを実行させ、チャットで終了コードを報告させることができます。例えば、仕事前の毎朝などです。計画は再起動後も保持されます。承認モードは慎重に選択してください。Auto-runは即座に動作し、Ask firstは何かを変更するアクションの前にあなたの承認を待ちます。
モデル、プライバシー、ダウンロード
私のファイルはPCの外に出ますか?
答えは選択するモデルによります。クラウドモデルを使用する場合、エージェントが読み取るファイルのテキストを含むプロンプトがそのプロバイダに送信されます。ローカルモデルを使用する場合、データはマシンから外に出ません。チャット、作業フォルダ、APIキーはPC上に残り、ツール出力内の機密情報はモデルに到達する前にマスクされます。プロジェクトごとにモデルを選択する際は、この点を考慮してください。
どのAIモデルを接続できますか?
標準APIエンドポイント経由のクラウドAIプロバイダ、PC上でローカルに実行されるモデル、またはエンドポイントが不要ですぐに使用できるビルトインモデルです。「Test」ボタンはエンドポイントを確認し、応答時間とコンテキストウィンドウを表示します。大きなモデルはリファクタリングに適し、小さなモデルは小さな編集に適しています。run_on_modelは、1つの複雑なステップを大きなモデルに送信します。
ダウンロードを確認する方法は?
チェックサム比較が確認方法です。Windowsターミナルで certutil -hashfile をファイルに対して実行し、最後の引数に SHA256 を指定し、その結果を公開されたマニフェストの SHA-256 値と比較してください。インストーラはまだコード署名されていないため、SmartScreenが警告を表示する場合があります。2つの値が一致した後、そしてそれ以前ではなく、「詳細情報」を選択し、「そのまま実行」を選択してください。
このウェブサイトは訪問者について何を記録しますか?
このウェブサイトは静的ページで構成されています。ホスティングとCDNはIPアドレスとアクセスログを処理し、statinside.comのアクセスカウンターがページビューを記録します。ダウンロードボタンを押すと、ダウンロード数をカウントするために、時刻、IPアドレス、ブラウザユーザーエージェント、およびリファラーソース(ある場合)が記録され、その後インストーラにリダイレクトされます。プライバシーページには、アプリとウェブサイトの両方の情報が記載されています。