ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
«Как ты там?»: голос Харькова, который должен быть услышан (фото, видео)
«Форд» въехал в «Фольксваген» на перекрестке в Николаеве - пострадала женщина (фото, видео)
Патрульные заблокировали в Николаеве «Фольксваген» - водитель заявляет, что он человек, и отказывается предъявить документы
Полиция Швейцарии задержала мужчину, который напал на украиноязычную семью с ребенком в поезде (видео)
В Николаеве дом остался без отопления: управляющая компания игнорирует обращения
Сотни николаевцев пришли проститься с директором «Николаевводоканала» Борисом Дуденко (видео)
Бабье лето в Николаеве: когда ждать и будет ли оно
Изготовили амфетамина почти на 5 миллионов гривен: полиция разоблачила преступную группировку в Николаевской области (видео)
Мотоциклист насмерть разбился возле заправки в Николаеве (фото, видео)