FlowLatch
자주 묻는 질문

사이트를 만들고 출시하는 개발자를 위한 UI 테스트 도구 설명

05

테스트의 기본

UI 테스트 도구는 무엇이며 어떤 역할을 하나요?

UI 테스트 도구는 앱이나 웹사이트를 열고, 사용자를 클릭하고 입력하며 화면에 표시된 내용을 읽는 프레임워크입니다. 이를 통해 사람이 직접 확인하지 않아도 전체 흐름을 검증할 수 있습니다. 이 도구들은 FlowLatch의 일부가 아닙니다. 사용자가 직접 선택하고 설치하며, FlowLatch는 Shell을 통해 이를 실행하고 결과를 읽으며 프레임워크가 참조하는 테스트 파일을 수정합니다.

UI 테스트의 불안정성(Flakiness)은 얼마나 심각한가요? 원인은 무엇인가요?

불안정한 테스트는 코드 변경 없이도 성공과 실패가 반복되며, 몇 번의 실패 후로는 빨간색 결과를 신뢰하기 어렵습니다. 일반적인 원인은 고정된 대기 시간 대신 가시적인 조건을 기다리지 않는 것, 페이지 레이아웃에 종속되는 셀렉터, 공유된 테스트 데이터, 서로의 실행 순서에 의존하는 테스트들입니다. E2E 테스트에서 네트워크 오류 처리도 긴 일시 정지 추가가 아닌 조건 대기 방식으로 처리해야 합니다.

유닛 테스트와 엔드투엔드 테스트의 차이점은 무엇인가요?

유닛 테스트는 작은 코드 조각 하나를 검증하고, 통합 테스트는 함께 작동하는 부분들을 확인하며, 엔드투엔드 테스트는 실제 브라우저에서 앱의 테스트 복사본을 통해 전체 흐름을 실행합니다. 엔드투엔드 테스트는 더 느리고 민감하므로, 반드시 깨지지 않아야 하는 몇 가지 핵심 흐름에만 사용하세요. 릴리스 프로세스에서는 빠른 테스트가 통과한 후에 E2E 테스트가 실행됩니다.

FlowLatch는 어떤 GUI 테스트 도구를 사용하나요?

FlowLatch 자체는 사용하지 않습니다. GUI 테스트 도구는 브라우저나 데스크톱 프로그램의 인터페이스를 제어하는 프레임워크이며, 사용자가 직접 선택합니다. FlowLatch에는 브라우저 드라이버가 없으며 화면을 실시간으로 볼 수도 없습니다. FlowLatch는 사용자가 설치한 프레임워크를 Shell을 통해 실행하고, 실제 종료 코드를 표시하며 테스트 파일을 수정합니다. 클릭 작업은 프레임워크가 수행합니다.

어떤 사이트와 앱에 자동화된 테스트를 실행할 수 있나요?

테스트 계정과 가짜 데이터를 사용하여 본인이 만들고, 소유하거나 테스트 권한이 있는 사이트와 앱만 사용하세요. 이메일 확인은 테스트용으로 설정한 테스트 받은 편지함으로 가야 합니다. 결제 흐름에는 실제 카드가 아닌 자체 결제 설정의 테스트 모드를 사용하세요. FlowLatch는 자체 시스템용이며, 작업은 해당 시스템 내에서 유지됩니다.

FlowLatch 사용법

FlowLatch는 테스트 프로젝트에서 어떤 역할을 하나요?

FlowLatch는 작업 폴더에서 도구를 실행하고 각 작업을 실제 결과와 함께 카드 형태로 표시하는 에이전트입니다. list_dir, glob, grep으로 테스트를 찾고, read_file로 읽고, write_file과 edit_file로 변경하며, Shell을 통해 테스트 명령을 실행하고 저장된 실패 스크린샷을 ocr로 읽습니다. 모든 변경 사항은 먼저 diff 형태로 사용자에게 전달됩니다.

testflowy.com이 FlowLatch 공식 웹사이트인가요?

네, testflowy.com이 FlowLatch 공식 웹사이트입니다. 다운로드 페이지에서 약 34MB 크기의 설치 프로그램을 다운로드하고, SHA-256 체크섬을 공개된 매니페스트와 비교하세요. FlowLatch는 독립적이며 어떤 테스트 프레임워크, 브라우저 제작사 또는 테스트 서비스와도 제휴 관계가 없습니다. 앱에 이상한 점이 있으면 내부의 Send feedback 버튼으로 연락할 수 있으며, 체크섬은 파일이 원래 빌드인지 확인해 줍니다.

결과가 항상 정확한가요?

아닙니다. FlowLatch는 실제 명령을 실행하고 실제 종료 코드를 표시하지만, 모델이 실패를 잘못 읽거나 잘못된 수정을 작성할 수 있습니다. 모든 diff를 읽고 테스트를 직접 실행하세요. 녹색 실행은 흐름을 깨뜨릴 위험을 줄이지만 앱에 버그가 없다는 것을 증명하지는 않습니다. 테스트도 정기적인 유지보수가 필요하므로 시간을 계획하세요.

어떤 승인 모드로 시작해야 하나요?

Ask first가 시작할 때 적합한 모드입니다. 이 모드는 변경 작업을 실행하기 전에 일시 정지하고, 수락하거나 거부할 diff를 보여줍니다. Auto-run은 즉시 작동하며 이미 검토한 단계에 적합하고, Plan only는 계획만 작성하고 아무것도 실행하지 않습니다. 새 프로젝트를 처음 볼 때 Plan only로 전환하는 등 언제든지 모드를 바꿀 수 있습니다.

FlowLatch로 테스트를 예약 실행할 수 있나요?

네. Cron을 사용하면 프롬프트를 예약할 수 있으므로, FlowLatch에게 설정된 시간에 테스트 명령을 실행하고 채팅에 종료 코드를 보고하도록 요청할 수 있습니다. 예를 들어 출근 전 매일 아침에 실행할 수 있습니다. 계획은 재시작 후에도 유지됩니다. 승인 모드를 신중하게 선택하세요. Auto-run은 즉시 작동하는 반면, Ask first는 변경 작업을 실행하기 전에 사용자의 승인을 기다립니다.

모델, 개인정보 및 다운로드

내 파일이 PC 밖으로 나가나요?

그것은 선택한 모델에 따라 다릅니다. 클라우드 모델을 사용하면 에이전트가 읽는 파일 텍스트를 포함한 프롬프트가 해당 제공업체로 전송됩니다. 로컬 모델을 사용하면 데이터가 머신 밖으로 나가지 않습니다. 채팅, 작업 폴더 및 API 키는 PC에 남아 있으며, 도구 출력의 비밀 정보는 모델에 전달되기 전에 가려집니다. 프로젝트마다 모델을 선택할 때 이를 고려하세요.

어떤 AI 모델을 연결할 수 있나요?

표준 API 엔드포인트를 통한 클라우드 AI 제공업체, PC에서 로컬로 실행되는 모델, 또는 자체 엔드포인트 없이 바로 사용할 수 있는 내장 모델을 연결할 수 있습니다. 테스트 버튼은 엔드포인트를 확인하고 응답 시간과 컨텍스트 창을 표시합니다. 큰 모델은 리팩토링에 적합하고, 작은 모델은 작은 수정에 적합하며, run_on_model은 하나의 어려운 단계를 큰 모델로 보냅니다.

다운로드 파일을 어떻게 확인하나요?

체크섬 비교가 확인 방법입니다. Windows 터미널에서 certutil -hashfile 명령을 실행하고 마지막에 SHA256을 입력한 후, 결과를 공개된 매니페스트의 SHA-256 값과 비교하세요. 설치 파일은 아직 코드 서명이 없으므로 SmartScreen이 경고할 수 있습니다. 두 값이 일치한 후에야 '더 많은 정보'를 선택한 후 '어쨌든 실행'을 클릭하세요.

이 웹사이트는 방문자에 대해 어떤 정보를 기록하나요?

이 웹사이트는 정적 페이지로 구성되어 있습니다. 호스팅 및 CDN은 IP 주소와 접근 로그를 처리하며, statinside.com의 방문자 카운터가 페이지 방문을 기록합니다. 다운로드 버튼을 누르면 다운로드 횟수를 세기 위해 시간, IP 주소, 브라우저 사용자 에이전트 및 리퍼러 소스(있는 경우)가 기록된 후 설치 파일로 리디렉션됩니다. 개인정보 보호 페이지에는 앱과 웹사이트에 대한 정보가 모두 설명되어 있습니다.

Windows용 FlowLatch

본인이 소유한 하나의 흐름으로 시작하세요

FlowLatch 다운로드 ↗