Автоматизація UI для сайтів і додатків, які ви розробляєте самі

Що може зробити агент для ваших тестів

• Файлиread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep та glob працюють у робочій папці чату, а лічильник показує кількість створених, відредагованих та прочитаних файлів.
• Shellзапускає вашу команду тесту, лінтер або збірку локально в Windows, WSL або через SSH на сервері, яким ви володієте, і оцінює успіх за реальним кодом виходу. Небезпечні команди заблоковано.
• Вебweb_search знаходить сторінки, а http_get читає одну сторінку офіційної документації, тому питання щодо селектора або чекальної умови можна перевірити за власним посібником фреймворку.
• Скріншоти та зображенняocr читає текст на збереженому скріншоті, наприклад банер помилки невдалого запуску, а gen_image зберігає реальні файли зображень, коли вони вам потрібні.
• Оркестраціяtask розподіляє незалежні перевірки між паралельними субагентами, run_on_model надсилає один складний крок до більшої моделі, а skill зберігає повторюваний план дій, наприклад вашу звичну рутину ремонту.
• Режими затвердженняAuto-run діє миттєво, Ask first робить паузу перед діями, що щось змінюють, і показує diff, а Plan only записує план і нічого не запускає. Плани зберігаються після перезапуску.
• Cronзапускає промпт за розкладом, наприклад, щоб запустити вашу команду тесту в задані часи та повідомити код виходу в чаті, тому потік, який зламався вночі, стає першим, що ви читаєте.
• Моделіпідключіть хмарного постачальника ШІ через стандартний API-ендпоінт, модель, що працює локально на вашому ПК, або вбудовану модель, готову до використання без вашого власного ендпоінту. Кнопка Test перевіряє ендпоінт перед початком.

Чотири завдання, які виконує агент у тестовому проєкті

Написати перший сценарій

Найкращі практики e2e-тестування починаються з короткого списку сценаріїв, які ніколи не повинні ламатися, тому попросіть FlowLatch написати лише їх. list_dir та glob показують, як названі ваші існуючі тести, read_file відкриває один як шаблон, а write_file створює новий файл для сценарію входу з обліковим записом тестування та фейковими даними. Shell потім запускає вашу команду тесту, а картка показує реальний код виходу. Перший чернетковий варіант рідко є остаточним, тому просіть одне змінення за раз, наприклад, більш зрозумілу назву або додану перевірку тексту на сторінці. Перед прийняттям прочитайте новий файл у diff, запустіть його самостійно один раз і зберігайте лише якщо він відповідає сценарію, який ви мали на увазі.

Запустити набір тестів та прочитати помилку

Shell запускає вашу команду тесту, а картка зберігає повний вивід, тому червоний результат ніколи не є вгадуванням. grep шукає у цьому виводі невдалий крок, а якщо ваш фреймворк зберіг скріншот, ocr читає повідомлення на ньому. Щоб зменшити нестабільність у end-to-end тестах, попросіть FlowLatch запустити невдалий тест знову тією ж командою та порівняти коди виходу. Прохід за ним з наступним провалом вказує на фіксовану чекальну умову, спільні тестові дані або порядок тестів. Запитайте коротке пояснення в чаті, потім перевірте його за виводом, перш ніж змінювати будь-який файл.

Виправити селектор після зміни макету

Чи варте e2e-тестування часу для фронтенд-роботи, залежить від сценарію, тому спочатку покривайте вхід та оформлення замовлення. Коли макет сторінки змінюється, grep знаходить кожен селектор, пов'язаний з ним, read_file показує оточуючі кроки, а edit_file пропонує стабільні мітки або test id замість них. В режимі Ask first FlowLatch робить паузу перед кожним редагуванням і показує diff, по одному файлу за раз. Приймайте рядки, які виглядають правильно, відхиляйте решту, потім дозвольте Shell запустити набір тестів знову, щоб побачити новий код виходу. Зберігайте diff невеликим, щоб рецензент міг прочитати його за хвилину.

Перенести набір тестів на інший фреймворк

Під час міграції e2e-тестів між фреймворками зберігайте обидва набори в репозиторії, доки новий не пройде. FlowLatch перелічує старі тести за допомогою glob, читає кожен з read_file та записує відповідний новий файл за допомогою write_file, по одному сценарію за раз. web_search та http_get можуть прочитати власну документацію нового фреймворку для синтаксису, який ви забули. Запустіть обидва набори через Shell, порівняйте коди виходу та затверджуйте кожен файл в Ask first, перш ніж старий буде видалено. Плани зберігаються після перезапуску, тому довга міграція може продовжитися наступного дня.