60% ответов GPT-3.5 оказались плагиатом По крайней мере в научных дисциплинах

Исследователи при помощи модели GPT-3.5 сгенерировали 1045 текстов по физике, химии, психологии, праву, экономике, биологии, инженерному делу, бухгалтерскому учету, географии, математике, информатике, спорту, мировой истории, философии, английскому языку, искусству, физическому воспитанию, статистике, социологии, науке, природоведению, музыке и театральному искусству.

Из всех ответов 59,7% содержали плагиат — большинство из них представляли собой повторы, отрывки с незначительными изменениями и слегка перефразированные фрагменты. В Copyleaks отметили, что это еще раз доказывает тот факт, что языковые модели не могут создавать новое, а способны только изменять уже готовую информацию. Больше всего плагиата было обнаружено в ответах по физике (27%) и химии (24,7%).

Кроме того, исследователи проверили качество сгенерированных текстов по собственной технологии оценки выявления плагиата — 0% означает, что текст полностью оригинальный, 100% — полностью скопирован. Самый высокий средний показатель плагиата оказался у текстов по физике — лишь 31,3% оригинала. Лучшие показатели оригинальности у текстов по театральному искусству (0,9%), гуманитарным наукам (2,8%) и английскому языку (5,4%).

Здесь мы рассказываем, что такое ChatGPT и как он работает: