Narzędzia do testów UI wyjaśnione dla twórców stron i aplikacji
Podstawy testowania
Czym są narzędzia do testów UI i co robią?
Narzędzia do testów UI to frameworki, które otwierają Twoją aplikację lub stronę, klikają i wpisują dane jak użytkownik oraz odczytują to, co jest wyświetlane, dzięki czemu cały przepływ można sprawdzić bez udziału człowieka. Nie są one częścią FlowLatch. Wybierasz i instalujesz jeden, a FlowLatch uruchamia go przez Shell, odczytuje wynik i edytuje pliki testowe, które framework odczytuje.
Jakie są przyczyny niestabilności testów UI?
Niestabilny test przechodzi i pada bez zmian w kodzie, a po kilku takich przypadkach nikt nie ufa wynikowi czerwonymu. Typowe przyczyny to stałe oczekiwania zamiast czekania na widoczny warunek, selektory związane z układem strony, współdzielone dane testowe oraz testy zależne od kolejności ich wykonania. Obsługa błędów sieciowych w testach e2e również oznacza oczekiwanie na warunek, a nie dodawanie dłuższej pauzy.
Jaka jest różnica między testami jednostkowymi a end-to-end?
Test jednostkowy sprawdza mały fragment kodu, test integracyjny sprawdza współpracę części, a test end-to-end przechodzi przez cały przepływ w prawdziwej przeglądarce przeciwko testowej kopii Twojej aplikacji. Testy end-to-end są wolniejsze i bardziej kruche, więc trzymaj je dla kilku przepływów, które muszą działać bezbłędnie. W procesie wydania testy e2e uruchamiają się po przejściu szybkich testów.
Jakich narzędzi GUI używa FlowLatch?
Żadnych własnych. Narzędzia GUI to frameworki sterujące przeglądarką lub interfejsem programu desktopowego, które wybierasz sam. FlowLatch nie ma sterownika przeglądarki i nie może oglądać ekranu na żywo. Uruchamia zainstalowany przez Ciebie framework przez Shell, pokazuje rzeczywisty kod wyjścia i edytuje pliki testów, podczas gdy framework wykonuje kliknięcia.
Przeciw jakim stronom i aplikacjom mogę uruchamiać testy automatyczne?
Tylko do stron i aplikacji, które budujesz, posiadasz lub masz do nich uprawnienia do testowania, przy użyciu kont testowych i fałszywych danych. Sprawdzenia e-mail idą do skrzynki testowej, którą ustawiasz do testu. Dla przepływów płatności użyj trybu testowego własnego ustawienia płatności, nigdy prawdziwej karty. FlowLatch jest przeznaczony dla Twoich własnych systemów, a Ty utrzymujesz pracę w ich obrębie.
Korzystanie z FlowLatch
Co robi FlowLatch w projekcie testowym?
FlowLatch to agent, który uruchamia narzędzia w Twoim folderze roboczym i pokazuje każdą akcję jako kartę z jej rzeczywistym wynikiem. Znajduje testy za pomocą list_dir, glob i grep, odczytuje je za pomocą read_file, zmienia je za pomocą write_file i edit_file, uruchamia Twoją komendę testową przez Shell i odczytuje zapisany zrzut ekranu błędu za pomocą ocr. Każda zmiana trafia do Ciebie najpierw jako diff.
Czy testflowy.com to oficjalna strona FlowLatch?
Tak, testflowy.com to oficjalna strona FlowLatch. Pobierz program instalacyjny o wielkości około 34 MB ze strony pobierania i porównaj jego sumę kontrolną SHA-256 z opublikowanym manifestem. FlowLatch jest niezależny i nie jest powiązany z żadnym frameworkiem testowym, producentem przeglądarki ani usługą testową. Jeśli coś w aplikacji wygląda nie tak, przycisk Send feedback wewnątrz niej nas informuje, a suma kontrolna mówi Ci, czy plik jest oryginalną kompilacją.
Czy wyniki są zawsze poprawne?
Nie. FlowLatch uruchamia prawdziwą komendę i pokazuje prawdziwy kod wyjścia, ale model może błędnie odczytać błąd lub zapisać złą edycję. Przeczytaj każdy diff i uruchom testy samodzielnie. Zielone uruchomienie zmniejsza ryzyko zepsucia przepływu, ale nie dowodzi, że aplikacja jest wolna od błędów. Testy wymagają również regularnej konserwacji, więc zaplanuj na to czas.
Który tryb zatwierdzania wybrać na początek?
Ask first to tryb, od którego warto zacząć. Pauzuje przed akcjami, które coś zmieniają, i pokazuje diff, który akceptujesz lub odrzucasz. Auto-run działa natychmiast i nadaje się do kroków, które już przeglądnąłeś, a Plan only zapisuje plan i nic nie uruchamia. Możesz zmieniać tryby w dowolnym momencie, na przykład do Plan only dla pierwszego spojrzenia na nowy projekt.
Czy FlowLatch może uruchamiać testy w harmonogramie?
Tak. Cron uruchamia prompt w harmonogramie, więc możesz poprosić FlowLatch o uruchomienie Twojej komendy testowej w ustawionych przez Ciebie godzinach i raportowanie kodu wyjścia na czacie, na przykład każdego ranka przed rozpoczęciem pracy. Plan przetrwają restarty. Wybierz tryb zatwierdzania ostrożnie, ponieważ Auto-run działa natychmiast, a Ask first czeka na Twoją zgodę przed akcją, która coś zmienia.
Modele, prywatność i pobieranie
Czy moje pliki opuszczają komputer?
Odpowiedź zależy od wybranego modelu. Przy modelu w chmurze Twój prompt, w tym tekst plików odczytywanych przez agenta, idzie do tego dostawcy. Przy modelu lokalnym nic nie opuszcza maszyny. Czat, foldery robocze i klucze API pozostają na komputerze, a sekrety w wyjściu narzędzi są maskowane przed dotarciem do modelu. Wybierz model dla każdego projektu mając to na uwadze.
Które modele AI mogę podłączyć?
Dostawcę AI w chmurze przez standardowy punkt końcowy API, model działający lokalnie na Twoim komputerze lub wbudowany model, który jest gotowy do użycia bez Twojego własnego punktu końcowego. Przycisk Test sprawdza punkt końcowy i pokazuje czas odpowiedzi oraz okno kontekstowe. Większy model nadaje się do refaktoryzacji, mniejszy do małych edycji, a run_on_model wysyła jeden trudny krok do większego modelu.
Jak sprawdzić poprawność pobranego pliku?
Porównanie sumy kontrolnej to sprawdzenie: uruchom certutil -hashfile na pliku w terminalu Windows, z SHA256 jako ostatnim słowem, i porównaj wynik z wartością SHA-256 w opublikowanym manifeście. Instalator nie jest jeszcze podpisany cyfrowo, więc SmartScreen może ostrzegać. Wybierz Więcej informacji, a następnie Uruchom mimo to, dopiero po dopasowaniu się obu wartości, a nie wcześniej.
Co ta strona zapisuje o odwiedzających?
Ta strona składa się ze statycznych plików. Hosting i CDN przetwarzają adresy IP i dzienniki dostępu, a licznik odwiedzin ze statinside.com rejestruje wizyty na stronie. Naciśnięcie przycisku pobierania rejestruje czas, adres IP, nagłówek User-Agent przeglądarki i źródło odsyłające, jeśli istnieje, aby policzyć pobrania, a następnie przekierowuje Cię do instalatora. Strona prywatności opisuje zarówno aplikację, jak i stronę internetową.