Математики из России предложили алгоритм обучения ИИ при нестабильной связи между серверами

Исследователи из Университета Иннополис, МФТИ и ИСП РАН предложили метод децентрализованной оптимизации, который позволяет обучать нейросети даже при нестабильной связи между серверами. Он рассчитан на ситуации, когда данные распределены по разным компьютерам, а каналы связи работают с перебоями и постоянно меняют параметры. Как сообщает Хайтек (hightech.fm), подобная схема возникает, например, при координации беспилотных автомобилей, которые обмениваются информацией прямо во время движения. Похожая задача появляется и тогда, когда несколько организаций обучают общую модель, используя собственные наборы данных.

Авторы рассматривают задачи стохастической негладкой оптимизации. В предложенной схеме задача делится на две части. Гладкая отвечает за коммуникации между компьютерами и ускоряется методом Нестерова. Негладкая связана с обучением самой модели. Вместо глобального усреднения по всей сети, которое требует идеального соединения, алгоритм обменивается данными только с теми узлами, которые доступны в текущий момент.

По словам специалиста Центра научных исследований Университета Иннополис Максима Дивильковского, прежняя теория в основном работала со стабильными гладкими задачами или со статическими сетями. Новая работа охватывает более общий и сложный случай. Метод оптимален с точки зрения вычислений и обмена данными, теоретически его нельзя улучшить. Алгоритм может применяться в федеративном обучении, роботизированных системах и интернете вещей. Он также подходит для седловых задач, на которых строятся современные генеративные модели ИИ. Статья опубликована в сборнике материалов конференции AAAI, исследование выполнено при поддержке Министерства экономического развития РФ.