РТУ МИРЭА доказал неспособность нейронных сетей создать новый научный или творческий продукт
В РТУ МИРЭА проведен масштабный научно-практический эксперимент, направленный на выявление влияния нейросетевых технологий на качество и объективность аттестации и оценки знаний студентов. По его словам, специалисты показали неспособность нейросетей создавать новый научный или творческий продукт.
Всего в эксперименте приняли участие более 200 студентов и 20 преподавателей. Половине студентов, отобранных вслепую, было предложено написать научно-практическую работу на выбранную тему с использованием нейросетевых технологий, включая ChatGPT, поиск Ai, сервисы Gerwin AI, Balaboba и TurboText.
Преподавательский состав должен был выявить среди подготовленных работ те, в которых использовался искусственный интеллект.
В результате эксперты смогли точно идентифицировать 96% произведений, написанных нейросетью. Было обнаружено, что для 4% сгенерированных неопознанных рефератов студенты потратили значительное количество часов на редактирование вывода ИИ.
Среди критериев, по которым можно было определить сформированные тексты, 86 % учителей отметили стилистические и орфографические особенности текста, например, исключительную грамотность, отсутствие опечаток, большое количество самоповторов. Более чем в 72% случаев работы содержат крупные фактические и логические ошибки. Более чем в 67% тезисов повествование отклоняется от темы и содержит «гнусные» выражения, не несущие смысла.
«В целом все тексты, созданные нейросетью, представляли собой компиляцию тезисов и предложений из документов и научных работ, написанных ранее, и не содержали оригинальных суждений и выводов», — уточняют в РТУ МИРЭА.
Ректор вуза Станислав Кудж отметил, что результаты эксперимента свидетельствуют о том, что текущий уровень развития нейронных сетей не ставит под сомнение качество аттестации и проверки уровня знаний студентов высших учебных заведений .
«Несмотря на резонанс темы даже в СМИ, искусственный интеллект в настоящее время не может заменить опыт и квалификацию профессорско-преподавательского состава. Кроме того, нейросеть не способна снова создать принципиально научный или творческий продукт, поскольку ее работа основана только на обработке заложенных в нее человеком знаний.Студенты, участвовавшие в эксперименте, также заявили о несовершенстве технологии, отметил Кудж.
Ранее заведующий кафедрой интеллектуальных систем защиты информации Института кибербезопасности и цифровых технологий РТУ МИРЭА Шамиль Магомедов рассказал RT, как распознавать фотографии людей, сгенерированные нейросетью.
