Исследователь, который занимается методологией тестирования с использованием LLM, рассказал о практических ограничениях систем, где ИИ генерирует большую часть тестов. По его оценке, заявления о том, что ИИ пишет «80% тестов», на деле чаще означают «80% набора текста», а не полноценной инженерной работы. Основная нагрузка, как он объясняет, все равно остается на этапах проверки, доработки и обеспечения надежности пайплайна.
Как сообщает InfoWorld, в рамках независимого исследовательского проекта автор построил шестиэтапный агентный пайплайн. Система берет дизайн из Figma и создает работающие тесты в WebDriverIO. Все этапы связаны через Model Context Protocol, при этом за каждый шаг отвечает отдельный агент.
Автор говорит, что система в итоге оказалась полезной и вполне рабочей. При этом основные проблемы появились не там, где их обычно ждут на фоне ажиотажа вокруг ИИ. По его словам, критичной может стать ошибка в оценке объема ручной работы, который остается после автоматизации. Если команда рассчитывает, что после внедрения таких инструментов ей понадобится около 2% усилий, а фактический показатель оказывается ближе к 30%, это приводит к накоплению функций, которым команда доверяет не полностью.
Ключевые факты
Автор проекта имеет 20 лет опыта в разработке и руководстве автоматизацией тестирования для consumer-scale платформ
Пайплайн состоит из шести последовательных этапов, каждый из которых обслуживает отдельный агент
Система принимает дизайн из Figma и генерирует работающие тесты в WebDriverIO
Передача контекста между всеми этапами реализована через Model Context Protocol