Чат-боты GPT-3.5 и GPT-4 «тупеют» — точность вычислений упала на 95,2 % за несколько месяцев | Нейросети и AI | Новости | Клуб DNS
Чат-боты GPT-3.5 и GPT-4 «тупеют» — точность вычислений упала на 95,2 % за несколько месяцев
Международная группа ученых решила проверить, как сильно меняется точность работы популярных чат-ботов GPT-3.5 и GPT-4 с течением времени. Информация об этом появилась на сайте arxiv.org.
Работа ИИ-моделей проверялась за период с марта по июнь текущего года по четырем направлениям: решение математических задач, ответы на «опасные» вопросы, генерация кода и визуальное мышление. В итоге авторы эксперимента выяснили, что производительность и точность чат-ботов может сильно меняться в короткие промежутки времени. И иногда не в лучшую сторону.
Самый плохой результат показала модель GPT-4 в решении математических задач. Если в марте 2023 года точность решения составляла 96,7 %, то в июне она упала до рекордных 2,4 %. Правда, для GPT-3.5 ситуация иная — точность решения за вышеуказанный период выросла с 7,4 % до 86,8 %.
Есть проблемы и в генерации кода. В марте из 50 предложенных задач LeetCode ИИ-модель GPT-4 решила 50 %. В июне чат-бот справился только с 10 % работы.
По мнению ученых, разработчики должны постоянно контролировать качество работы чат-ботов.
"
