ChatGPT не зміг відповісти на більшість питань про програмування
ChatGPT не зміг відповісти на більшість питань про програмування
Дослідники з Університету Пердью у США вирішили перевірити, наскільки добре один із найпопулярніших генеративних ІІ – ChatGPT – може відповідати на питання про програмування.
Дослідники задали ChatGPT 517 питань із Stack Overflow – популярного ресурсу питань та відповідей для професійних програмістів та ентузіастів. Вони також запросили 12 осіб, які мають досвід програмування, оцінити відповіді ІІ за критеріями правильності, послідовності, вичерпаності та лаконічності.
Результати були такими, що розчаровують. ChatGPT дав лише 48% правильних відповідей. При цьому стиль та якість визначень часто переконували фахівців у правильності, хоча це було не так.
"Ми помітили, що тільки тоді, коли помилка відповіді ChatGPT є очевидною, користувач може її ідентифікувати", - стверджують дослідники.
Навіть якщо відповідь ChatGPT була явно неправильною, двоє з 12 учасників все одно воліли її через приємний, впевнений і позитивний тон ІІ.
Гармонія звуків у безсмертних опусах: Дмитро Смирнов виступив із новою концертною програмою (фото, відео)
Стара українська копійка може принести до 14 тисяч гривень: як розпізнати рідкісну монету
Підтримка ветеранів та довкілля області: про деталі роботи в ефірі «Діалогу» розповів Ігор Щербина
У центрі Миколаєва зіткнулися три автомобілі - винуватець плаче
У Миколаєві проходить 59-та сесія міської ради (трансляція)
«На музичному перехресті епох»: миколаївські музиканти зіграли найкращі та знакові твори (фото, відео)
Зруйновані будинки, розбиті сонячні панелі: нові фото та відео з місця сьогоднішнього удару по Миколаєву
Вогонь та густий дим: у Миколаєві горить відділення банку у житловій багатоповерхівці (фото, відео)
У Чехії підірвали найвищі споруди країни (відео)