Отчёт KPMG об ИИ оказался полон «галлюцинаций» искусственного интеллекта
Один из крупнейших мировых аудиторов, компания KPMG, столкнулся с серьёзными обвинениями. Согласно независимым расследованиям, опубликованный ею в прошлом году отчёт о преимуществах искусственного интеллекта (ИИ) содержал множество «галлюцинаций» — недостоверной или вымышленной информации, сгенерированной ИИ, а также неверных ссылок.
Подробности расследования
В октябре прошлого года KPMG, входящая в так называемую «Большую четвёрку» ведущих аудиторских и консалтинговых компаний мира, опубликовала доклад под названием «Total Experience: Redefining Excellence in the Age of Agentic AI» («Полный опыт: Переосмысление совершенства в эпоху агентского ИИ»). Документ был посвящён тому, как компании используют системы ИИ для удовлетворения потребностей клиентов. Однако, как выяснили исследователи из GPTZero (разработчик инструмента для выявления ИИ-контента) и подтвердила газета Financial Times, отчёт был переполнен неточностями и сфабрикованными сносками. «Агентский ИИ» в данном контексте относится к автономным интеллектуальным системам, способным самостоятельно принимать решения и действовать.
В своём отчёте о расследовании GPTZero указала, что из 45 цитат в документе лишь пять точно указывали на реальные источники. Остальные ссылки оказались крайне неточными:
- 28 цитат либо перефразировали названия реальных источников, либо добавляли к ним вымышленные компоненты.
- 12 ссылок были сформулированы слишком расплывчато, чтобы можно было определить их подлинность.
Подобную практику создания поддельных ссылок с помощью ИИ-моделей GPTZero назвала «интуитивным цитированием» (vibe citing).
Вымышленные примеры и ложные утверждения
Помимо недостоверных цитат, исследователи обнаружили, что примерно половина утверждений в отчёте KPMG были либо ложными, либо неверно приписанными. Предполагается, что это стало результатом «чрезмерного усердия ИИ-инструмента в поиске примеров 'агентского ИИ' на практике», как отмечается в отчёте GPTZero.
Например, KPMG утверждала, что авиакомпания Emirates запустила мобильный чат-бот под названием Sara, который может общаться с пассажирами и самостоятельно изменять их рейсы. В действительности Sara — это мобильный помощник, запущенный в 2023 году, но он не является чат-ботом с ИИ и не имеет функций изменения бронирований.
Кроме того, KPMG заявила, что швейцарский многонациональный инвестиционный банк UBS интегрировал агентский ИИ в свою «инвестиционную аналитику, управление рисками и мониторинг соответствия требованиям». Представители банка, в свою очередь, сообщили газете Times, что эта информация является «фактически неверной».
В ещё одном примере KPMG утверждала, что Швейцарские федеральные железные дороги (SBB) используют ИИ-агентов, способных помогать пассажирам планировать, бронировать и оптимизировать поездки на основе их предпочтений, текущих условий и влияния на окружающую среду. Представитель SBB опроверг это, назвав информацию «неточной».
Последствия и реакция KPMG
Смотрите также:
ИИ в Голливуде: между страхом и оптимизмом на пороге перемен http://kupidonchik.org/ii-v-gollivude-mezhdu-strahom-i-optimizmom-na-poroge-peremen/.
Интересности на тему: Физика идеального удара: как футболисты заставляют мяч лететь по непредсказуемой траектории
Классные советы в статье "Утечки раскрывают особенности дизайна Samsung Galaxy Z Fold 8 и Flip 8" здесь.
Доклады таких компаний, как KPMG, традиционно считаются высоконадёжными источниками и часто цитируются в других научных работах и статьях. Исполнительный директор GPTZero Эдвард Тянь предупредил, что изобилующие ошибками документы, публикуемые «Большой четвёркой», могут «искажать информационное пространство» и приводить к дальнейшему распространению «вторичных галлюцинаций» искусственного интеллекта.
Представитель KPMG сообщил газете Times, что компания «серьёзно относится к точности и целостности своего опубликованного контента». После обнаружения неточностей KPMG удалила отчёт и теперь «пересматривает обстоятельства, связанные с его публикацией».
