उन वेबसाइट्स और ऐप्स के लिए UI ऑटोमेशन जो आप खुद बनाते हैं

एजेंट आपके टेस्ट के लिए क्या कर सकता है

• फ़ाइलेंread_file, write_file, append_file, edit_file, delete_file, make_dir, move_file, copy_file, list_dir, grep और glob चैट की वर्किंग फ़ोल्डर के अंदर काम करते हैं, और एक काउंटर बनाई गई, संपादित और पढ़ी गई फ़ाइलों को दिखाता है।
• Shellआपके टेस्ट कमांड, एक लिंटर या एक बिल्ड को स्थानीय Windows, WSL या आपके स्वामित्व वाले सर्वर पर SSH के ज़रिए चलाता है, और सफलता को असली एग्जिट कोड से तय करता है। खतरनाक कमांड्स ब्लॉक किए जाते हैं।
• वेबweb_search पेज खोजता है और http_get एक आधिकारिक दस्तावेज़ीकरण पेज पढ़ता है, ताकि एक सेलेक्टर या वेट सवाल को फ्रेमवर्क के अपने मैनुअल के खिलाफ जांचा जा सके।
• स्क्रीनशॉट और छवियांocr एक सहेजे गए स्क्रीनशॉट में टेक्स्ट पढ़ता है, उदाहरण के लिए एक फेल रन का एरर बैनर, और gen_image जब आपको एक की ज़रूरत हो तो असली इमेज फ़ाइलें सहेजता है।
• ऑर्केस्ट्रेशनtask स्वतंत्र चेक को समानांतर सब-एजेंट्स के बीच बांटता है, run_on_model एक कठिन स्टेप को एक बड़े मॉडल को भेजता है, और skill एक रीयूजेबल प्लेबुक जैसे कि आपकी सामान्य रिपेयर रूटीन को स्टोर करता है।
• अनुमोदन मोडAuto-run तुरंत एक्शन लेता है, Ask first उन एक्शन्स से पहले रुकता है जो कुछ बदलते हैं और डिफ़ दिखाता है, और Plan only एक प्लान लिखता है और कुछ नहीं चलाता। प्लान रीस्टार्ट्स के बाद भी बने रहते हैं।
• Cronएक प्रॉम्प्ट को शेड्यूल पर चलाता है, उदाहरण के लिए आपके द्वारा सेट किए गए समय पर आपका टेस्ट कमांड चलाएं और चैट में एग्जिट कोड रिपोर्ट करें, ताकि रात भर टूटे हुए फ़्लो की पहली चीज़ जो आप पढ़ते हैं वह वह हो।
• मॉडल्सएक क्लाउड AI प्रोवाइडर को एक स्टैंडर्ड API एंडपॉइंट के ज़रिए कनेक्ट करें, अपने पीसी पर स्थानीय रूप से चलने वाले एक मॉडल को, या बिल्ट-इन मॉडल को जो आपके अपने एंडपॉइंट के बिना उपयोग के लिए तैयार है। टेस्ट बटन एक एंडपॉइंट को चेक करता है आपके शुरू करने से पहले।

एक टेस्ट प्रोजेक्ट में एजेंट जो चार काम करता है

पहला फ़्लो लिखें

e2e टेस्ट के लिए बेस्ट प्रैक्टिसेज उन फ़्लो की एक छोटी सूची से शुरू होती हैं जो कभी भी फेल नहीं होने चाहिए, इसलिए FlowLatch से केवल वही लिखने के लिए कहें। list_dir और glob दिखाते हैं कि आपके मौजूदा टेस्ट कैसे नामित हैं, read_file एक को पैटर्न के रूप में खोलता है, और write_file साइन-इन फ़्लो के लिए एक नई फ़ाइल टेस्ट अकाउंट और फेक डेटा के साथ बनाता है। Shell फिर आपका टेस्ट कमांड चलाता है, और कार्ड असली एग्जिट कोड दिखाता है। एक पहला ड्राफ्ट कभी अंतिम नहीं होता, इसलिए एक बार में एक बदलाव के लिए कहें, जैसे कि एक स्पष्ट नाम या पेज टेक्स्ट पर एक अतिरिक्त चेक। स्वीकार करने से पहले, डिफ़ में नई फ़ाइल पढ़ें, इसे खुद एक बार चलाएं और इसे केवल तभी रखें जब यह उस फ़्लो से मेल खाता हो जिसका आप मतलब था।

सूइट चलाएं और फेल्यूअर पढ़ें

Shell आपका टेस्ट कमांड चलाता है और कार्ड पूरा आउटपुट रखता है, इसलिए एक लाल नतीजा कभी एक अनुमान नहीं होता। grep उस आउटपुट को फेलिंग स्टेप के लिए खोजता है, और यदि आपके फ्रेमवर्क ने एक स्क्रीनशॉट सहेजा है, तो ocr उसमें संदेश पढ़ता है। एंड टू एंड टेस्ट में फ्लैकिनेस को कम करने के लिए, FlowLatch से उसी कमांड के साथ फेलिंग टेस्ट को फिर से चलाने के लिए कहें और एग्जिट कोड की तुलना करें। एक पास के बाद एक फेल फिक्स्ड वेट, शेयर्ड टेस्ट डेटा या टेस्ट के क्रम की ओर इशारा करता है। चैट में एक छोटी व्याख्या के लिए कहें, फिर किसी भी फ़ाइल को बदलने से पहले उसे आउटपुट के खिलाफ समीक्षा करें।

लेआउट बदलाव के बाद एक सेलेक्टर को ठीक करें

फ्रंटएंड वर्क के लिए e2e टेस्टिंग समय के लायक है या नहीं, यह फ़्लो पर निर्भर करता है, इसलिए साइन-इन और चेकआउट को पहले कवर करें। जब पेज लेआउट बदल जाता है, grep हर सेलेक्टर को खोजता है जो उससे जुड़ा था, read_file आस-पास के स्टेप्स दिखाता है और edit_file स्थिर लेबल्स या टेस्ट आईडीज का सुझाव देता है। Ask first में, FlowLatch हर एडिट से पहले रुक जाता है और एक डिफ़ दिखाता है, एक फ़ाइल एक समय में। लाइन्स को स्वीकार करें जो सही लगती हैं, बाकी को अस्वीकार करें, फिर Shell को सूइट फिर से चलाने दें ताकि नया एग्जिट कोड देखा जा सके। डिफ़ को छोटा रखें ताकि एक रिव्यूअर इसे एक मिनट में पढ़ सके।

सूइट को एक अन्य फ्रेमवर्क में स्थानांतरित करें

फ्रेमवर्क्स के बीच e2e टेस्ट माइग्रेट करते समय, नई पास होने तक दोनों सूइट्स को रिपॉजिटरी में रखें। FlowLatch glob के साथ पुराने टेस्ट की सूची बनाता है, read_file के साथ प्रत्येक को पढ़ता है और write_file के साथ मिलाने वाली नई फ़ाइल लिखता है, एक फ़्लो एक समय में। web_search और http_get नए फ्रेमवर्क के अपने दस्तावेज़ीकरण को पढ़ सकते हैं जिसकी सिंटैक्स आपको याद नहीं है। Shell के साथ दोनों सूइट्स चलाएं, एग्जिट कोड की तुलना करें, और Ask first में प्रत्येक फ़ाइल को अनुमोदित करें पुरानी को हटाने से पहले। प्लान रीस्टार्ट्स के बाद भी बने रहते हैं, इसलिए एक लंबी माइग्रेशन अगले दिन जारी रह सकती है।