FlowLatch
Часто задаваемые вопросы

Инструменты UI-тестирования для тех, кто создает и выпускает сайты

05

Основы тестирования

Что такое инструменты UI-тестирования и что они делают?

Инструменты UI-тестирования — это фреймворки, которые открывают ваше приложение или сайт, кликают и вводят данные так, как это делает пользователь, и считывают отображаемую информацию, чтобы проверить весь поток без участия человека. Они не являются частью FlowLatch. Вы выбираете и устанавливаете один из них, а FlowLatch запускает его через Shell, считывает вывод и редактирует файлы тестов, которые читает фреймворк.

Что такое нестабильные (flaky) UI-тесты и почему они возникают?

Нестабильный тест проходит и падает без изменений в коде, и после нескольких таких случаев никто не доверяет красному результату. Обычные причины — фиксированные задержки вместо ожидания видимого условия, селекторы, привязанные к макету страницы, общие тестовые данные и тесты, зависящие от порядка их выполнения. Обработка сбоев сети в e2e-тестах также означает ожидание условия, а не добавление более длинной паузы.

В чем разница между модульными и end-to-end тестами?

Модульный тест проверяет один небольшой фрагмент кода, интеграционный тест проверяет работу частей вместе, а end-to-end тест проходит через весь поток в реальном браузере против тестовой копии вашего приложения. End-to-end тесты медленнее и более хрупкие, поэтому оставляйте их для тех нескольких потоков, которые никогда не должны ломаться. В процессе выпуска e2e-тестирование запускается после успешного прохождения быстрых тестов.

Какие GUI-инструменты тестирования использует FlowLatch?

Собственных нет. GUI-инструменты тестирования — это фреймворки, которые управляют браузером или интерфейсом десктопной программы, и вы выбираете их сами. У FlowLatch нет драйвера браузера и возможности смотреть на экран в реальном времени. Он запускает установленный вами фреймворк через Shell, показывает реальный код выхода и редактирует файлы тестов, в то время как фреймворк выполняет клики.

Против каких сайтов и приложений я могу запускать автоматизированные тесты?

Только против сайтов и приложений, которые вы создаете, владеете или имеете право тестировать, с использованием тестовых аккаунтов и фиктивных данных. Проверка почты идет в тестовый ящик, который вы настроили для теста. Для потоков оплаты используйте тестовый режим вашей собственной платежной системы, никогда не используйте реальную карту. FlowLatch предназначен для ваших собственных систем, и вы сохраняете работу внутри них.

Использование FlowLatch

Что делает FlowLatch в проекте тестирования?

FlowLatch — это агент, который запускает инструменты в вашей рабочей папке и показывает каждое действие в виде карточки с реальным результатом. Он находит тесты с помощью list_dir, glob и grep, читает их с помощью read_file, изменяет их с помощью write_file и edit_file, запускает вашу тестовую команду через Shell и считывает сохраненный скриншот ошибки с помощью ocr. Каждое изменение сначала доходит до вас в виде diff.

Является ли testflowy.com официальным сайтом FlowLatch?

Да, testflowy.com — это официальный сайт FlowLatch. Скачайте установочный файл размером около 34 МБ со страницы загрузки и сравните его контрольную сумму SHA-256 с опубликованным манифестом. FlowLatch является независимым и не связан ни с одним фреймворком тестирования, производителем браузера или сервисом тестирования. Если в приложении что-то выглядит неправильно, кнопка Send feedback внутри него свяжет нас, а контрольная сумма скажет вам, является ли файл оригинальной сборкой.

Всегда ли результаты верны?

Нет. FlowLatch запускает реальную команду и показывает реальный код выхода, но модель может неверно прочитать ошибку или написать неправильное изменение. Читайте каждый diff и запускайте тесты самостоятельно. Зеленый запуск снижает риск поломки потока, но не доказывает, что в приложении нет ошибок. Тесты также требуют регулярного обслуживания, поэтому запланируйте на это время.

С какого режима одобрения мне начать?

Ask first — это режим, с которого стоит начать. Он приостанавливается перед действиями, которые что-то изменяют, и показывает diff, который вы принимаете или отклоняете. Auto-run действует немедленно и подходит для шагов, которые вы уже проверили, а Plan only записывает план и ничего не запускает. Вы можете переключать режимы в любой момент, например, на Plan only для первого взгляда на новый проект.

Может ли FlowLatch запускать мои тесты по расписанию?

Да. Cron запускает промпт по расписанию, поэтому вы можете попросить FlowLatch запустить вашу тестовую команду в установленные вами время и сообщить код выхода в чате, например, каждое утро перед началом работы. Планы сохраняются после перезагрузки. Выбирайте режим одобрения внимательно, потому что Auto-run действует немедленно, а Ask first ждет вашего разрешения перед действием, которое что-то изменяет.

Модели, конфиденциальность и загрузка

Покидают ли мои файлы компьютер?

Ответ зависит от выбранной вами модели. С облачной моделью ваш промпт, включая текст файлов, которые читает агент, отправляется этому провайдеру. С локальной моделью ничего не покидает машину. Чаты, рабочие папки и ключи API остаются на ПК, а секреты в выводе инструментов скрываются перед отправкой модели. Выбирайте модель для каждого проекта, учитывая этот факт.

Какие ИИ-модели я могу подключить?

Облачного ИИ-провайдера через стандартный API-эндпоинт, модель, работающую локально на вашем ПК, или встроенную модель, которая готова к использованию без вашего собственного эндпоинта. Кнопка Test проверяет эндпоинт и показывает время отклика и контекстное окно. Большая модель подходит для рефакторинга, меньшая — для небольших правок, а run_on_model отправляет один сложный шаг большой модели.

Как проверить загрузку?

Сравнение контрольных сумм — это проверка: запустите certutil -hashfile для файла в терминале Windows, с SHA256 в качестве последнего слова, и сравните результат со значением SHA-256 в опубликованном манифесте. Установщик пока не подписан кодом, поэтому SmartScreen может выдать предупреждение. Выберите «Дополнительные сведения», затем «Запустить независимо», только после совпадения двух значений, а не до этого.

Что этот сайт записывает о посетителях?

Этот сайт состоит из статических страниц. Хостинг и CDN обрабатывают IP-адреса и журналы доступа, а счетчик посещений от statinside.com фиксирует посещения страниц. Нажатие кнопки загрузки фиксирует время, IP-адрес, пользовательский агент браузера и источник перехода, если таковой есть, для подсчета загрузок, а затем перенаправляет вас на установщик. Страница конфиденциальности описывает как приложение, так и сайт.

FlowLatch для Windows

Начните с одного потока, который вам принадлежит

Скачать FlowLatch ↗