TechCrunch · AI · 3 ч назад
Галлюцинация искусственного интеллекта едва не спровоцировала военную операцию США
«Военнослужащим важно понимать неопределенность, присущую программам LLM», — предупреждает исследователь GovAI.
Подробности
Военные самолеты уже были в воздухе этой весной, когда официальные лица США сделали тревожное открытие: разведка, проводившая вооруженную операцию против китайского судна, была вызвана галлюцинациями чат-бота с искусственным интеллектом. Операция была прервана в последнюю минуту, что позволило избежать потенциального конфликта с Китаем, сообщил в пятницу CNN.
Этот эпизод подчеркивает растущую обеспокоенность среди военных чиновников и внешних экспертов: поскольку лица, принимающие решения, все больше полагаются на ИИ, ошибки, которые производят эти системы, могут пройти вверх по цепочке командования, прежде чем будут подвергнуты сомнению.
В докладе разведки, распространенном во время войны с Ираном, говорилось, что судно перевозило компоненты для программы создания ядерного оружия.
Ложная информация исходила от аналитика Командования специальных операций, который попросил чат-бота с искусственным интеллектом синтезировать данные из открытых источников с секретными сигналами разведки. Чат-бот ошибочно идентифицировал грузовой манифест корабля. Затем аналитик использовал этот инструмент во второй раз, чтобы преобразовать ошибочные выводы в официальное резюме, которое было распространено по командным каналам.
Опасная ситуация возникает, когда военные США стремятся интегрировать искусственный интеллект, чтобы ускорить процесс принятия решений и сохранить свое преимущество над Китаем. Пентагон охарактеризовал ИИ как средство, дающее значительное преимущество в ускорении цепочки уничтожения, чтобы командиры могли отреагировать в нужное время. Но та же скорость, которая делает ИИ привлекательным, может также допускать галлюцинации при недостаточном контроле со стороны человека.