Метод MIT улучшает объяснимость предсказаний моделей компьютерного зрения
Исследователи MIT предложили способ, который помогает моделям компьютерного зрения точнее объяснять собственные предсказания. Это особенно важно в задачах с высоким риском: например, в медицинской диагностике или автономном вождении. В таких системах пользователю нужно понимать, почему алгоритм пришел к определенному выводу, и уже на основе этого решать, можно ли ему доверять.
Работа развивает метод concept bottleneck modeling (CBMs). В этой схеме модель сначала определяет на изображении набор концептов, понятных человеку, а затем использует их для финального предсказания. Обычно такие концепты задают люди или large language models (LLMs), но здесь есть проблема, они могут плохо подходить к конкретной задаче или вызывать information leakage, когда модель опирается на скрытую информацию помимо заданных понятий.
Новая техника извлекает концепты, которые модель уже усвоила в процессе обучения. Для этого применяется специализированная модель глубокого обучения sparse autoencoder: она выделяет наиболее релевантные признаки и превращает их в набор концептов. Затем multimodal LLM описывает их на естественном языке. Ведущий автор Антонио Де Сантис из Polytechnic University of Milan проводил исследование во время стажировки в Computer Science and Artificial Intelligence Laboratory (CSAIL) at MIT. По его словам, такой подход дает более точные и понятные объяснения и повышает подотчетность black-box AI models. Результаты работы подготовлены к представлению на International Conference on Learning Representations.
Ключевые факты
Исследователи MIT предложили метод, который повышает точность и делает объяснения более ясными по сравнению со стандартными concept bottleneck models.
Подход извлекает концепты, уже выученные моделью во время обучения задаче, и заставляет модель использовать их при формировании предсказания.
Метод применяет пару специализированных моделей: sparse autoencoder выделяет наиболее релевантные признаки и формирует из них концепты, после чего мультимодальная LLM описывает их на естественном языке.
Техника позволяет преобразовать любую предварительно обученную модель компьютерного зрения в систему, которая объясняет свои предсказания через концепты; работа будет представлена на International Conference on Learning Representations.