ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
Появились новые фото и видео с места падения боевой части «шахеда» в Николаеве
На проспекте в Николаеве водители маневрируют между «квадратами» вырезанного асфальта (видео)
Над Николаевом вражеские «шахеды»: в городе взрывы, работает ПВО (видео)
Танцевали на автомобиле: полиция привлекла к ответственности парней в Николаеве (видео)
Из-за неисправного светофора столкнулись Kia и Fiat в центре Николаева: пострадал ребенок (видео)
8 марта в Николаеве: на цветочных рынках ажиотаж (фоторепортаж)
Mercedes перевернул Mitsubishi в Николаеве: двух человек увезла «скорая» (видео)
Вечерняя атака на Николаев: очевидцы сообщили подробности
Вечерняя атака на Николаев: «шахед» пробил железобетонную стену девятиэтажки (фото, видео)