Исследование оценило, работают ли внутренние сигналы вознаграждения при обучении моделей генерации кода

Методы reinforcement learning with verifiable rewards (RLVR) заметно продвинули способность больших языковых моделей к рассуждению. Но у них есть серьезная зависимость от ground-truth supervision. Получить такую разметку часто дорого или почти нереально, особенно когда речь идет о задачах программирования. Поэтому в недавних работах исследователи пробуют опираться на внутренние сигналы самой модели, например majority voting или confidence-based scores. Подходы такого типа уже показали заметный эффект на бенчмарках математического рассуждения.

С кодом ситуация сложнее. Программы имеют сложную структуру, а два решения могут быть семантически одинаковыми, хотя выглядят синтаксически по-разному. К тому же корректность обычно проверяют запуском кода. По этой причине остается вопрос, насколько методы с внутренним вознаграждением вообще переносятся на задачи генерации программ.

Авторы новой работы решили проверить это системно и провели эмпирическое исследование таких методов именно для генерации кода. Эксперименты шли на LiveCodeBench. Исследователи протестировали представительные certainty-based подходы Reinforcement Learning from Internal Feedback (RLIF) при разных сценариях обучения и с различными настройками гиперпараметров. Как сообщает arXiv cs.AI (Artificial Intelligence), сначала certainty-based методы дают заметное улучшение, но по мере продолжения обучения процесс неизбежно заканчивается коллапсом модели.