ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
В Николаеве простились с врачом БСМП, погибшим на фронте
Из-за атаки РФ пострадал магазин техники в Николаеве (видео)
Миграционный кризис в Европе: до 10 тысяч человек за сутки прорвались в Испанию, Италия хочет закрыть границу (видео)
В Радушном почтили память погибшей семьи: старший сын выжил — он служит в Николаеве (видео)
Удар по селу под Николаевом: очевидцы сообщили подробности
Появились первые фото атаки на Николаев: беспилотник пробил крышу жилого дома и залетел в квартиру (видео)
В Николаеве прошла акция в поддержку комбрига 123-й бригады Олега Макухи
В Вашингтоне проходит церемония прощания с сенатором Линдси Грэмом: присутствуют Трамп и Зеленский (видео)
В Николаеве возник пожар на берегу лимана (видео)