Ограничения нейросетей в бизнесе: чего они не умеют
Нейросети ускоряют черновую работу, но границы у них жёсткие: они выдумывают факты, ломаются на сложных рассуждениях, не знают свежих событий и перекладывают юридическую ответственность за ошибки на бизнес. Показываем, где именно проходит граница, с цифрами из исследований Stanford HAI, MIT, BBC и McKinsey.
Цифры, которые отрезвляют
Кому полезен этот разбор
- Руководителям, которые решают, можно ли заменить нейросетью часть процесса
- Продакт- и операционным менеджерам, проектирующим ИИ-ассистентов для клиентов
- Юристам и комплаенс-специалистам, оценивающим риски 152-ФЗ и ответственности
- Всем, кто устал от хайпа и хочет понять реальную границу применимости LLM
Почему это стоит понять до внедрения
Демо нейросети почти всегда выглядит убедительно, и именно это сбивает с толку. Исследование MIT NANDA «The GenAI Divide» (2025) опиралось на 150 интервью с руководителями, опрос 350 сотрудников и анализ 300 публичных внедрений. Вывод парадоксальный: при глобальных вложениях в генеративный ИИ порядка десятков миллиардов долларов 95% пилотов не дают измеримого эффекта в P&L. Авторы объясняют это не качеством моделей, а разрывом между впечатляющим демо и реальным производственным процессом, где у ошибки есть цена.
Чтобы внедрять ИИ без иллюзий, нужно знать не то, что нейросеть умеет, а то, где она системно ломается. Ниже, карта этих границ.
Шесть фундаментальных ограничений LLM
- Галлюцинации. Модель не «знает» фактов, она предсказывает правдоподобный текст. Без внешней проверки она уверенно выдаёт выдуманные цифры, цитаты, статьи закона и ссылки. Встроенного «я не уверен» у неё нет.
- Провал на сложных рассуждениях. На многошаговых логических задачах точность не растёт плавно: после порога сложности она обрушивается. Apple называет это «иллюзией мышления».
- Устаревшие данные (knowledge cutoff). Модель не знает о событиях после даты обучения. Цены, законы, курсы, новости, всё, что менялось недавно, она либо не знает, либо домысливает.
- Нет доступа к вашим данным и контексту. Без интеграции (RAG, поиск, базы) модель не видит вашу CRM, договоры, остатки на складе. Она отвечает «в среднем по интернету», а не про вашу компанию.
- Отсутствие ответственности. Нейросеть не субъект права. За её ошибку отвечает компания, юридически и репутационно. Прецеденты уже есть (см. кейс Air Canada).
- Чувствительность к формулировке и недетерминированность. Один и тот же запрос в разных формулировках даёт разные ответы; один и тот же запрос дважды, тоже. Для процессов, где нужна воспроизводимость, это плохо.
★ Контринтуитивный факт
Принято считать, что новые «умные» модели галлюцинируют меньше. На фактологии это не так. По собственной системной карте OpenAI, модель o3 ошибается в 33% случаев на тесте о реальных людях (PersonQA) и в 51% на SimpleQA, то есть заметно чаще, чем предыдущая o1. Причина: «рассуждающие» модели делают больше утверждений в целом, и растёт как число верных, так и число выдуманных. Параллельно Apple в работе «The Illusion of Thinking» (июнь 2025) показала, что на задачах высокой сложности такие модели не просто ошибаются, а полностью теряют точность, и при этом парадоксально сокращают объём рассуждений, хотя «бюджет» на размышление ещё есть. Вывод для практики: дороже и «умнее» ≠ безопаснее для фактов. Чем критичнее задача, тем больше нужна проверка, а не меньше.
Что отдать ИИ, а что оставить человеку
| Задача | Что делает AI | Что делает человек | Риск автоматизации | KPI |
|---|---|---|---|---|
| Черновик письма, поста, описания товара | Генерирует варианты, тон, структуру | Редактирует, проверяет факты и tone of voice | низкий | Время на черновик −50–70% |
| Суммаризация длинного документа с источником | Сжимает текст, который ему дали (grounded) | Сверяет ключевые выводы с оригиналом | низкий | Точность саммари по выборке |
| Расчёт цены, налога, юридическая консультация | Предлагает черновую логику | Считает и отвечает сам; ИИ не финальный | высокий | Доля ошибок = 0 на проверке |
| Ответы клиенту о политике/тарифах от лица бренда | Отвечает только из выверенной базы знаний | Утверждает базу, ставит фолбэк на оператора | высокий | Жалобы / эскалации на 1000 диалогов |
| Медицинская, финансовая, кадровая «диагностика» | Структурирует данные, не ставит вердикт | Принимает решение; несёт ответственность | высокий | Соответствие регуляторным требованиям |
⛔ Где это уже стоило денег и репутации
- Air Canada, 2024. Чат-бот авиакомпании выдумал несуществующую политику возврата по тарифу для родственников умерших. Трибунал Британской Колумбии постановил: компания отвечает за слова своего бота как за информацию на собственном сайте, и присудил компенсацию пассажиру. Это первый прецедент ответственности бизнеса за галлюцинацию ИИ-ассистента.
- Новости как «слепая зона». Совместное исследование BBC и EBU (октябрь 2025) на 3000 ответов и 14 языках показало: 45% ответов ИИ-ассистентов о новостях содержали значимую ошибку, а проблемы того или иного рода были в большинстве ответов. Хуже всех с источниками справилась одна из ведущих моделей, значимые проблемы нашлись в большинстве её ответов.
- Корпоративные пилоты. По данным MIT NANDA, 95% внедрений генеративного ИИ не дошли до измеримого эффекта в прибыли. Чаще всего причина одна: красивое демо не выдержало встречи с реальными данными, исключениями и требованиями к точности.
Как встроить LLM безопасно: контур с проверкой
- 1Вход: задача с понятной ценой ошибки
- 2Заземление на данные (grounding)RAGкорпоративная база знанийвеб-поиск
- 3Генерация черновика
- ✓Обязательная проверка человекомhuman review
- 5Фолбэк и логирование
- 6Выход: ответ под контролем
Заземление снижает галлюцинации: эффект grounding
| Метрика | Было | Стало |
|---|---|---|
| Галлюцинации на смешанных задачах «из головы» | 3–20%+ | , ▼ |
| Галлюцинации на grounded-суммаризации (топ-модели) | , | <1% ▲ |
По данным Stanford HAI AI Index 2025. Вывод: дело не только в модели, но и в постановке задачи. Заземлённый ответ из проверенного источника на порядок надёжнее ответа «по памяти».
Российский контекст: ещё одно ограничение, данные и закон
К технологическим границам в России добавляется регуляторная. С 30 мая 2025 года за утечку персональных данных действуют ужесточённые штрафы, а за повторные утечки введены оборотные штрафы, от 1% до 3% годовой выручки, но не менее 20 млн ₽ и до 500 млн ₽. Об утечке оператор обязан уведомить Роскомнадзор в течение 24 часов.
Что это значит для нейросетей. Передавая клиентские данные в публичный ИИ-сервис, вы фактически экспортируете персональные данные третьему лицу, с риском утечки и нарушения 152-ФЗ. Для чувствительных данных в РФ практичнее использовать корпоративные контуры с хранением на территории России (например, API GigaChat или YandexGPT) или собственное развёртывание, а не вставлять реальные ПДн в публичный чат. Это не «минус нейросетей» в вакууме, а реальная граница их применимости в российском бизнесе.
Чек-лист перед тем как доверить процесс нейросети
- Определена цена ошибки: черновик или деньги/репутация/жизнь?
- Ответ заземлён на проверенный источник, а не «из головы» модели
- Есть человек, который проверяет и несёт ответственность на высокорисковых задачах
- Настроен фолбэк: при неуверенности, эскалация, а не выдумка
- Чувствительные данные не уходят в публичный сервис (152-ФЗ)
- Все ответы логируются для аудита и разбора инцидентов
- Клиенту заявлено, что отвечает ИИ, и проверена база, из которой он берёт ответы
Частые вопросы об ограничениях нейросетей
Что такое галлюцинации нейросети простыми словами?
Правда ли, что более новые и дорогие модели ошибаются меньше?
Можно ли доверить нейросети юридические или финансовые расчёты?
Почему нейросеть не знает свежих новостей и цен?
Как снизить риск ошибок нейросети в бизнесе?
Безопасно ли загружать клиентские данные в публичные ИИ-сервисы в России?
«ИИ-ассистенты пока не являются надёжным источником новостей, значимые ошибки и проблемы с источниками встречаются системно, независимо от языка и страны.»