Исследование показало, что поддельная страница может повлиять на рекомендации AI при онлайн‑покупках

Системы рекомендаций на базе больших языковых моделей постепенно становятся частью онлайн‑шопинга. По данным data.ai, около 2% всех переходов на крупные сайты розничной торговли, включая Target и Walmart, приходят именно из LLM. Новое исследование показывает, что такие рекомендации могут быть уязвимы для манипуляций.

Работа Minghao Luo и Liang Chen, опубликованная на сервере препринтов arXiv, проверяет, насколько легко системы, которые используют поиск для формирования ответов, можно подтолкнуть к продвижению вымышленных брендов. Исследователи обнаружили следующее: если модели получают «загрязнённые» результаты поиска, они способны превращать полностью придуманные товары в рекомендации, выглядящие вполне авторитетно. Как сообщает Fast Company, Luo заинтересовался этой темой после китайского телерепортажа о подпольной индустрии создания фальшивых онлайн‑отзывов.

По словам исследователя из Chinese University of Hong Kong, речь не о чисто теоретической угрозе. В репортаже утверждалось, что «поддельный бренд может оказаться в топовой рекомендации основной AI‑системы всего за несколько часов». Чтобы проверить эти риски, Luo и Chen создали специальный бенчмарк под названием FORGE. Вместо вмешательства в реальный интернет они воссоздали типичный конвейер, который используют многие инструменты рекомендаций на базе AI.