В последнее время на волне популярности технологий искусственного интеллекта программисты стали все чаще использовать чат-боты на базе ИИ, такие как ChatGPT от OpenAI, для получения помощи в написании кода. Это привело к снижению посещаемости ресурса Stack Overflow, вынудив его уволить около 30% персонала в прошлом году.

Однако, как выяснилось, полагаться на ИИ для написания программ пока рано. Согласно исследованию, проведенному группой специалистов из Университета Пердью и представленному в этом месяце на конференции "Взаимодействие компьютера и человека", 52% ответов ChatGPT по вопросам программирования оказались неверными.

В ходе исследования программисты Пердью проанализировали более 517 вопросов из Stack Overflow и ответы ChatGPT на них. Они обнаружили, что 52% ответов содержат дезинформацию, 77% ответов более многословны, чем человеческие, а 78% отличаются разной степенью несоответствия ответам людей.

Исследователи также провели лингвистический анализ 2000 случайных ответов ChatGPT и выявили, что они более формальны, аналитичны, но при этом передают менее негативные эмоции, что нехарактерно для ИИ.

Сайт Futurism выразил обеспокоенность тем, что многие программисты предпочитают обращаться к ChatGPT за помощью. Опрос 12 программистов показал, что 35% респондентов склонны полагаться на ответы ChatGPT и в 39% случаев не замечают ошибок, генерируемых ИИ. Исследователи полагают, что пользователей привлекает вежливый стиль общения ИИ. Последующие интервью показали, что вежливый язык, четко сформулированные ответы в стиле учебника и их полнота являются главными причинами, по которым ответы ChatGPT кажутся более убедительными. Из-за этого участники ослабляют бдительность и пропускают некоторую дезинформацию в ответах.

Источник: 3dnews.ru