Исследователи предложили проверяемый фреймворк для автоматического сбора данных из открытого веба

Исследователи представили агентный фреймворк для сбора данных из открытого веба. Вместо генерации произвольного кода с помощью LLM система создает типизированные JSON-конфигурации для коллекторов. Такой подход нужен, чтобы сократить количество ошибок при генерации веб-скрейперов: проблем с зависимостями, некорректными селекторами, несовпадением схем данных и различиями в структуре страниц.

Как сообщает arXiv cs.AI (Artificial Intelligence), система объединяет таксономию из шести типов коллекторов, ограничения на шаблоны и utility-функции, статическое выполнение Airflow DAG, проверку качества на основе правил, а также механизм структурированной коррекции через обратную связь. По словам авторов, это делает выполнение более детерминированным и лучше подходит для регулярного повторяющегося сбора данных.

В ходе экспериментов на 138 задачах исследователи оценивали, насколько предложенная таксономия подходит для типизации требований по текстовому описанию. Еще на 80 задачах с независимой верификацией источников фреймворк запускался без использования LLM-токенов на этапе выполнения и показал минимальное среднее wall-clock time. Авторы отдельно отмечают компромисс: система уступает одноразовой генерации по качеству, но выигрывает в повторяемости, проверяемости и стоимости выполнения.