ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Буря дошла до Николаева: горожан призывают по возможности не выходить на улицу (видео)
В Риме во время памятных мероприятий напали на людей с украинскими флагами: есть пострадавшие (видео)
Любовный четырехугольник с иллюзией: премьера спектакля «Счастливый брак» на николавской сцене (фото, видео)
В Николаевском театре прошла пресс-конференция, посвященная спектаклю «Счастливый брак» (фото)
Мотоцикл врезался в «Теслу»: в центре Николаева автомобильная пробка
Взрыв в многоэтажке Николаева: что рассказали очевидцы (видео)
В центре Николаева автомобильный затор из-за ремонта дороги: видео с места
ТЦК в Харькове подозревают в пытках и похищении людей: в ГБР показали видео и раскрыли детали дела
В Украине ликвидировали наркосеть «Химпром»: сотни обысков, изъятые миллионы и подозрения участникам