อัตโนมัติ UI สำหรับเว็บไซต์และแอปที่คุณสร้างเอง

สิ่งที่เอเจนต์สามารถทำได้สำหรับการทดสอบของคุณ

• ไฟล์read_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep และ glob ทำงานภายในโฟลเดอร์ทำงานของแชท และตัวนับแสดงจำนวนไฟล์ที่สร้าง แก้ไข และอ่าน
• Shellรันคำสั่งทดสอบ ลินเตอร์ หรือการบิลด์ใน Windows ท้องถิ่น WSL หรือผ่าน SSH บนเซิร์ฟเวอร์ที่คุณเป็นเจ้าของ และตัดสินความสำเร็จโดยค่าออกจริง คำสั่งที่อันตรายจะถูกบล็อก
• เว็บweb_search หาหน้าเว็บและ http_get อ่านหน้าเอกสารทางการหนึ่งหน้า ดังนั้นคำถามเกี่ยวกับตัวเลือกหรือเวลาหน่วงสามารถตรวจสอบกับคู่มือของเฟรมเวิร์กได้
• ภาพหน้าจอและรูปภาพocr อ่านข้อความในภาพหน้าจอที่บันทึกไว้ เช่น แบนเนอร์ข้อผิดพลาดจากการรันที่ล้มเหลว และ gen_image บันทึกไฟล์รูปภาพจริงเมื่อคุณต้องการ
• การประสานงานtask แบ่งการตรวจสอบที่อิสระออกเป็นเอเจนต์ย่อยแบบขนาน run_on_model ส่งขั้นตอนที่ยากหนึ่งขั้นตอนไปยังโมเดลที่ใหญ่กว่า และ skill เก็บคู่มือที่นำกลับมาใช้ได้อ่างเช่นขั้นตอนการซ่อมของคุณ
• โหมดการอนุมัติAuto-run ทำงานทันที Ask first หยุดก่อนการเปลี่ยนแปลงที่เปลี่ยนแปลงสิ่งใดสิ่งหนึ่งและแสดงดิฟ และ Plan only เขียนแผนและไม่วิ่งอะไร แผนจะอยู่รอดหลังการรีสตาร์ท
• Cronรันพรอมต์ตามกำหนดเวลา เช่น รันคำสั่งทดสอบของคุณตามเวลาที่คุณตั้งค่าและรายงานค่าออกในแชท ดังนั้นโฟลว์ที่พังตอนกลางคืนจะเป็นสิ่งแรกที่คุณอ่าน
• โมเดลเชื่อมต่อผู้ให้บริการ AI ผ่านจุดสิ้นสุด API มาตรฐาน โมเดลที่รันในเครื่องของคุณ หรือโมเดลในตัวที่พร้อมใช้งานโดยไม่ต้องมีจุดสิ้นสุดของคุณเอง ปุ่มทดสอบจะตรวจสอบจุดสิ้นสุดก่อนที่คุณจะเริ่ม

สี่งานที่เอเจนต์ทำในโครงการทดสอบ

เขียนโฟลว์แรก

แนวทางปฏิบัติที่ดีที่สุดสำหรับการทดสอบ e2e เริ่มต้นจากรายการสั้นๆ ของโฟลว์ที่ต้องไม่พังเลย ดังนั้นให้ถาม FlowLatch ให้เขียนเฉพาะโฟลว์เหล่านั้น list_dir และ glob แสดงวิธีที่การทดสอบที่มีอยู่ของคุณตั้งชื่อ read_file เปิดไฟล์หนึ่งเป็นรูปแบบ และ write_file สร้างไฟล์ใหม่สำหรับโฟลว์การเข้าสู่ระบบด้วยบัญชีทดสอบและข้อมูลปลอม จากนั้น Shell รันคำสั่งทดสอบของคุณ และการ์ดแสดงค่าออกจริง ร่างแรกมักจะไม่สมบูรณ์ ดังนั้นขอการเปลี่ยนแปลงครั้งละอย่าง เช่น ชื่อที่ชัดเจนขึ้นหรือการตรวจสอบข้อความบนหน้าเว็บ ก่อนที่คุณจะยอมรับ ให้อ่านไฟล์ใหม่ในดิฟ รันมันเองหนึ่งครั้งและเก็บไว้เฉพาะถ้ามันตรงกับโฟลว์ที่คุณตั้งใจ

รันชุดทดสอบและอ่านความล้มเหลว

Shell รันคำสั่งทดสอบของคุณและการ์ดเก็บผลลัพธ์เต็มรูปแบบ ดังนั้นผลลัพธ์สีแดงจึงไม่ใช่การคาดเดา grep ค้นหาผลลัพธ์นั้นสำหรับขั้นตอนที่ล้มเหลว และถ้าเฟรมเวิร์กของคุณบันทึกภาพหน้าจอ ocr อ่านข้อความในนั้น เพื่อลดความไม่เสถียรในการทดสอบ end to end ให้ถาม FlowLatch ให้รันการทดสอบที่ล้มเหลวอีกครั้งด้วยคำสั่งเดียวกันและเปรียบเทียบค่าออก การผ่านตามด้วยการล้มเหลวชี้ไปที่เวลาหน่วงที่ตายตัว ข้อมูลทดสอบที่ใช้ร่วมกันหรือลำดับของการทดสอบ ขอคำอธิบายสั้นๆ ในแชท จากนั้นตรวจสอบกับผลลัพธ์ก่อนที่คุณจะเปลี่ยนแปลงไฟล์ใด

ซ่อมตัวเลือกหลังจากการเปลี่ยนแปลงเลย์เอาต์

ว่าการทดสอบ e2e มีคุณค่าต่อเวลาสำหรับงาน frontend หรือไม่ขึ้นอยู่กับโฟลว์ ดังนั้นครอบคลุมการเข้าสู่ระบบและการชำระเงินก่อน เมื่อเลย์เอาต์หน้าเว็บเปลี่ยนแปลง grep หาตัวเลือกทั้งหมดที่ผูกกับมัน read_file แสดงขั้นตอนโดยรอบและ edit_file เสนอป้ายชื่อหรือ id ทดสอบที่เสถียรกว่า ในโหมด Ask first FlowLatch หยุดก่อนการแก้ไขแต่ละครั้งและแสดงดิฟ ไฟล์ละหนึ่งไฟล์ ยอมรับบรรทัดที่ดูถูกต้อง ปฏิเสธส่วนที่เหลือ จากนั้นให้ Shell รันชุดทดสอบอีกครั้งเพื่อดูค่าออกใหม่ เก็บดิฟให้เล็กเพื่อให้ผู้ตรวจสอบสามารถอ่านมันได้ในหนึ่งนาที

ย้ายชุดทดสอบไปยังเฟรมเวิร์กอื่น

เมื่อโยกย้ายการทดสอบ e2e ระหว่างเฟรมเวิร์ก ให้เก็บชุดทดสอบทั้งสองไว้ในที่เก็บจนกว่าชุดใหม่จะผ่าน FlowLatch แสดงการทดสอบเก่าด้วย glob อ่านแต่ละไฟล์ด้วย read_file และเขียนไฟล์ใหม่ที่ตรงกันด้วย write_file โฟลว์ละหนึ่งไฟล์ web_search และ http_get สามารถอ่านเอกสารทางการของเฟรมเวิร์กใหม่สำหรับไวยากรณ์ที่คุณจำไม่ได้ รันชุดทดสอบทั้งสองด้วย Shell เปรียบเทียบค่าออกและอนุมัติแต่ละไฟล์ในโหมด Ask first ก่อนที่ไฟล์เก่าจะถูกนำออก แผนอยู่รอดหลังการรีสตาร์ท ดังนั้นการโยกย้ายที่ยาวนานสามารถดำเนินการต่อในวันถัดไปได้