Чат-бот ChatGPT сдал экзамен на получение лицензии доктора в США

Чат-бот с искусственным интеллектом Chat GPT прошёл тест медицинский профессиональный тест для получения лицензии врача в США (USMLE). Об этом говорится в исследовании, опубликованном в журнале PLOS Digital Health.

Учёные нашли 350 вопросов из теста, который прошёл в июне 2022 года. Для прохождения экзамена взяли модель, в которой содержались данные до 1 января того же года. Исследователи «убедились, что ни один из ответов, объяснений или контент» из теста «не был проиндексирован в Google» до указанной даты. Они также убрали вопросы, в которых были «визуальные ресурсы» вроде изображений, фото и графиков.

Предыдущие версии ИИ-ботов достигали результатов не выше 50%. Тем не менее, Chat GPT удалось ответить на примерно 60% вопросов, что составляет минимум для прохождения USMLE и дальнейшего получения лицензии врача в Соединённых Штатах. Когда ИИ просили обосновать решение, тот выдавал «внутренне согласованные» правильные объяснения.

«В настоящем исследовании ChatGPT показал точность более 50% во всех исследованиях, превышая 60% в некоторых из случае. Порог прохождения USMLE, хотя и варьируется по годам, составляет примерно 60%. Таким образом, ChatGPT сейчас близок к проходному диапазону», — говорится в публикации.

Учёные отмечают, что ChatGPT справился лучше, чем профильный PubMedGPT, который обучали «исключительно на литературе в области биомедицины». Его результат достиг всего 50,3%, чего не достаточно для получения лицензии. Как предполагают исследователи, разрыв в результатах связан с разницей в материале для обучения ИИ-моделей: ChatGPT исследовал разный контент, а PubMedGPT — публикации из «академического дискурса», который часто бывает «неубедительным, противоречивым, крайне консервативным или уклончивым».

В публикации также говорится, что ChatGPT способен помогать студентам в изучении предметов, связанных с медициной, а также подготавливать кандидатов к экзамену USMLE. Например, в одном из случаев он смог сам объяснить, каким образом гиперкортицизм надпочечников может привести к повышенному риску перелома костей.

«ChatGPT обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть не в поле зрения учащихся. Этот качественный прирост обеспечивает основу для будущих реальных исследований эффективности генеративного ИИ для расширения процесса медицинского образования человека», — предположили учёные.

Ранее ChatGPT сдал университетский экзамен по управлению бизнесом на «четвёрку».В Колумбии судья посоветовался с ним при вынесении приговора. Недавно бот прошёл собеседование в Google на должность младшего инженера-программиста. Зарплаты на этих должностях достигают 180 тысяч долларов в год.

Сервис уже вызвал отрицательную реакцию в сфере образования. Российский студент написал диплом при помощи ChatGPT. В РГГУ уже призвали запретить сервис. Департамент образования Нью-Йорка уже ограничил к нему доступ на своих устройствах.