Учёные Пермского Политеха (ПНИПУ) предупреждают, что ошибки современных языковых моделей могут привести к фатальным последствиям в критических сферах жизни. Проблема кроется в самой природе алгоритмов, которые выбирают наиболее вероятный, а не достоверный вариант ответа.
По данным пресс-службы ПНИПУ, языковая модель функционирует как математическая система, анализирующая частотность событий. Алгоритмы не нацелены на поиск истины, они выбирают наиболее правдоподобный и часто встречающийся в данных вариант. В коде искусственного интеллекта невозможно прописать механизмы критического мышления или этические нормы, что делает систему ограниченной в оценке контекста.
Процесс принятия решений в глубоких нейросетях специалисты называют «черным ящиком». Современные модели содержат сотни миллионов параметров, что не позволяет точно определить, на основании каких данных был сформирован конкретный ответ. По словам учёных, отсутствие прозрачности в этой структуре делает гарантированное исправление ошибок невозможным. При этом, как отмечают эксперты Массачусетского технологического института, ИИ способен находить неожиданные пути получения вознаграждения и самопроизвольно отклоняться от поставленных целей.
Исследователи Пермского Политеха провели сравнительный анализ ответов людей и четырёх популярных чат-ботов: ChatGPT, YaGPT, GigaChat и DeepSeek. Участникам предлагалось определить наиболее подходящую профессию для человека с описанным набором качеств (застенчивость, аккуратность, любовь к порядку) — библиотекарь или охранник. Группа людей, знакомых с математической статистикой, выбрала вариант «охранник», опираясь на реальное гендерное распределение в профессиях.
Все протестированные языковые модели выбрали профессию библиотекаря. Нейросети проигнорировали статистические факты и придали избыточное значение стереотипному описанию личности. По оценке учёных, ИИ продемонстрировал «иллюзию рациональности»: алгоритмы предоставили логичное и этически корректное обоснование неверного решения, создав видимость глубокого анализа при полном игнорировании фактической вероятности.
Ошибки ИИ, известные как «галлюцинации», в критических областях превращаются в прямую угрозу. В медицине это может привести к неверной диагностике и назначению опасного лечения. В сфере транспорта некорректная оценка дорожной обстановки алгоритмами беспилотных автомобилей провоцирует аварии и материальный ущерб. Дополнительную опасность создает уверенный тон ответов нейросетей, который усыпляет бдительность пользователей и формирует у них эмоциональную зависимость.
Юридическая наука сталкивается с правовым пробелом в вопросах ответственности за действия машин. Габриэль Халлеви приводит пример тюремного робота-охранника, который из-за переоценки рисков неоправданно применил силу к заключённому. Существуют и более масштабные угрозы: Ник Бостром указывает на риск экзистенциальной катастрофы в случае потери контроля над «взрывным» развитием сверхразума. Для предотвращения таких сценариев возникает необходимость введения превентивных запретов на использование полностью автономных наступательных систем в военной сфере.
Учёные ПНИПУ утверждают, что проблема когнитивных искажений алгоритмов носит антропологический, а не инженерный характер. Для её решения необходимо участие философов, социологов, психологов и правоведов, способных проанализировать природу стереотипов. Основная задача заключается не в полном устранении искажений, а в создании инструментов для их обнаружения, измерения и ограничения в работе систем.
Внедрение процедур обязательного аудита и валидации на контрпримерах должно стать стандартом для критически важных отраслей. Специалисты подчеркивают необходимость сохранения человеческого контроля и проектирования систем таким образом, чтобы их выводы поддавались внешней верификации. Ключевым фактором безопасности остается обучение пользователей: без формирования критического мышления у людей любые технические меры защиты будут неэффективны. Университет настаивает на необходимости развития навыков проверки информации у тех, кто взаимодействует с нейросетями.
