Если человек не может определить, что перед ним — работа другого человека или ИИ, с этим справится другой ИИ. Пока это работает

Может ли новый и очень популярный чат-бот ChatGPT убедительно создавать научные тезисы, которые заставят экспертов думать, что это настоящие исследования ученых?

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Ответьте на этот вопрос пытался ученые из Чикагского университета и Северо-Западного университета.

Оказывается, ChatGPT действительно может писать реферат, который очень сложно отличить от работы человека. Таковы результаты эксперимента.

Эксперты представили по 25 тезисов каждый. Их предупредили, что среди рефератов есть работы настоящих ученых, а есть сгенерированные ChatGPT. Экспертам было предложено оценить тезисы по двухбалльной системе: человек или машина.

Несмотря на то, что эксперты были готовы к тому, что среди тезисов могут быть работы машины, они ошибались. Работа машины была обнаружена только в 68% случаев. То есть 32% — почти каждая третья работа машины — была сделана не хуже работы человека. Эксперты также ошибочно «отдали» машине 14% рефератов, сделанных людьми.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Какая угроза

Доктор Кэтрин Гао, ведущий автор статьи, Он говоритчто «машинные» рефераты могут повредить науке: «Это вызывает беспокойство, потому что ChatGPT может использоваться «фабриками научных статей».

«Фабрики статей» — это нелегальные организации, которые производят имитации научных статей и продают их недобросовестным ученым.

ЧИТАТЬ  «Бешикташ» подтвердил, что сделал предложение «Локомотиву» о переходе Баринова

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Гао опасается, что простота и скорость, с которой ChatGPT создает реалистичные и убедительные рефераты, могут повысить производительность таких фабрик, и «машинные» статьи начнут массово появляться в научных журналах и материалах конференций.

Кто лучше всех понимает ИИ? Другие ИИ

«Рефераты, созданные ChatGPT, были очень убедительными», — говорит Гао. «ChatGPT также знает, насколько большой должна быть когорта пациентов в каждом конкретном случае». Например, при исследовании гипертонии ChatGPT включал в когорту десятки тысяч пациентов, в то время как при исследовании оспы обезьян «изучалось» гораздо меньшее количество участников.

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

«Наши рецензенты отметили, что было на удивление трудно отличить настоящие рефераты от поддельных», — сказал Гао.

Исследование показало, что «машинные» рефераты нормально проходят проверку на плагиат — объем исходного текста полностью проходит систему проверки.

Единственным инструментом, который надежно распознал, что текст был создан машиной, был выходной детектор GPT-2, разработанный OpenAI (той же компанией, которая разработала чат здесь). Он доступен онлайн бесплатно и действительно работает.

«Мы обнаружили, что выходной детектор GPT-2 надежно определяет работу ChatGPT, и мы предлагаем включить его в научный редакционный процесс для проверки». — говорит Гао.

ChatGPT также можно использовать во благо

Но ChatGPT можно использовать и во благо, говорит соавтор исследования Юань Луо: «Языковые модели ИИ, такие как ChatGPT, могут помочь автоматизировать процесс написания научных статей, взяв на себя рутинную подготовку материалов, на которую сегодня исследователям приходится тратить много времени. время на это. Результаты нашей работы показали, что это, вероятно, осуществимо для медицины, но нам нужно преодолеть некоторые этические и практические проблемы».

ЧИТАТЬ  Глава Читы пожаловался, что разбил свой Lexus из-за выбоин на дорогах

Например, пока неясно, считается ли ИИ соавтором произведения и как его правильно указать в выходных данных статьи.

Source

от admin