ChatGPT затруднился ответить на большинство вопросов о программировании
ChatGPT затруднился ответить на большинство вопросов о программировании
Исследователи из Университета Пердью в США решили проверить, насколько хорошо один из самых популярных генеративных ИИ – ChatGPT – может отвечать на вопросы о программировании.
Исследователи задали ChatGPT 517 вопросов из Stack Overflow — популярного ресурса вопросов и ответов для профессиональных программистов и энтузиастов. Они также пригласили 12 человек, имеющих опыт программирования, оценить ответы ИИ по критериям правильности, последовательности, исчерпанности и лаконичности.
Результаты были разочаровывающими. ChatGPT дал всего 48% правильных ответов. При этом стиль и качество определений часто убеждали специалистов в правильности, хотя это было не так.
"Мы заметили, что только тогда, когда ошибка ответа ChatGPT очевидна, пользователь может ее идентифицировать", - утверждают исследователи.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно предпочитали его из-за приятного, уверенного и положительного тона ИИ.
В Николаеве опубликовали список точек выдачи воды, работающих без света, но воды в них все равно нет (видео)
Умер Народный артист Украины, певец и композитор Степан Гига
BMW влетел в троллейбус и снес дерево в Николаеве: образовалась пробка (видео)
«Нам не нужно, чтобы что-то мутить, дополнительный договор», - мэр Николаева Сенкевич
Украина атаковала танкер РФ в Черном море (видео)
Из Николаева отправился первый ночной прямой автобус в аэропорты Варшавы (видео)
Трамп заявил, что Крым с четырех сторон окружен океаном
«Мазда» перелетела яму и перевернулась на крышу в Николаеве: водитель был пьян (фото, видео)
ВАЗ влетел в жилой дом в Николаеве: женщина получила серьезные травмы (фото, видео)