Последнее обновление 24.03.2023 — Василий Иванов
Такие читатели, как вы, помогают поддерживать MUO. Когда вы совершаете покупку по ссылкам на нашем сайте, мы можем получать партнерскую комиссию. Читать далее.
С момента своего запуска ChatGPT от OpenAI стал проблемой для образовательных учреждений по всему миру, поскольку студенты начали использовать его для написания эссе и обмана при оценке. Учитывая, насколько естественно выглядит текст, сгенерированный чат-ботом, преподавателям все труднее определить, является ли работа студентов оригинальной.
Чтобы помочь учителям оценивать задания учащихся, выпускник факультета информатики разработал инструмент под названием GPTZero, который определяет, был ли текст создан искусственно. В этой статье объясняется, как работает этот инструмент, как его использовать и может ли он обнаруживать контент, созданный ИИ.
Что такое GPTZero и как он работает?
GPTZero — это инструмент для анализа текста с искусственным интеллектом, разработанный Эдвардом Тианом, выпускником факультета компьютерных наук, чтобы помочь преподавателям отличать плагиат текста от оригинальной работы. Инструмент проверяет запутанность и взрывчатость текста, чтобы определить, создан ли он искусственно или создан человеком.
Не вдаваясь в подробности, давайте посмотрим, что означают эти термины:
- Недоумение — это мера случайности текста в обработке естественного языка (NLP). Текст, написанный человеком, имеет тенденцию быть менее структурированным и более непредсказуемым, поэтому его значение недоумения должно быть выше, тогда как текст, сгенерированный ИИ, должен иметь низкий показатель недоумения.
- Пакетность учитывает другие переменные, не учитываемые в недоумении, для улучшения анализа текста. Этот термин относится к появлению необычных элементов в случайных кластерах. Текст, сгенерированный искусственным интеллектом, как правило, имеет более последовательную структуру, чем текст, написанный людьми. Взрывность помогает нам определить это.
GPTZero Classic находится в открытом доступе с начала 2023 года, а с марта 2023 года его можно использовать бесплатно. Однако в бесплатной версии ограничение на количество символов в документе составляет 5000, и вы можете одновременно анализировать только три документа.
GPTZero предлагает две премиальные версии для удовлетворения потребностей преподавателей и пользователей, которые хотят ежемесячно анализировать миллионы слов: GPTZero Educator и GPTZero Pro. Лимит символов на документ выше в премиум-версиях, чем в бесплатной, и они позволяют анализировать неограниченное количество файлов в пакетном режиме.
Выполните следующие действия, чтобы подписаться на эти премиум-версии:
- Перейдите на панель инструментов GPTZero.
- Войдите в существующую учетную запись или создайте новую учетную запись.
- После входа в систему вы можете перейти на премиум-версию по вашему выбору.
Как использовать GPTZero для обнаружения текста, сгенерированного AI
В отличие от ChatGPT, на GPTZero не требуется регистрация. Вы можете просто получить доступ к инструменту через веб-сайт. Давайте посмотрим, как вы можете получить к нему доступ и использовать его:
- Зайдите на GPTZero.
- Скопируйте и вставьте текст, который вы хотите проанализировать, в поле или загрузите файл.
- Установите флажок рядом с пунктом Я согласен с условиями обслуживания.
- Нажмите на поле «Получить результаты».
По завершении сканирования GPTZero сообщит вам, был ли текст написан человеком или сгенерирован искусственным интеллектом.
Может ли GPTZero правильно распознавать текст, сгенерированный AI?
Чтобы проверить, насколько точно GPTZero обнаруживает текст, сгенерированный ИИ, мы проанализируем три текста в инструменте: текст, сгенерированный ИИ, текст, написанный человеком, и текст, сгенерированный ИИ, который был перефразирован другим инструментом. Давайте посмотрим, как GPTZero реагирует на каждый вход.
Мы включим инструкции о том, как мы проводили эти тесты, чтобы вы могли запустить их самостоятельно.
1. Анализ сгенерированного ИИ текста в GPTZero
Чтобы проанализировать текст, сгенерированный ИИ, давайте сначала сгенерируем текст с помощью ChatGPT, чат-бота с искусственным интеллектом, работающего на технологии GPT. Для этого выполните следующие действия:
- Перейдите на OpenAI.
- Нажмите кнопку «Попробовать ChatGPT».
- Войдите или зарегистрируйте учетную запись.
- Введите любое приглашение для создания текста.
- Скопируйте текст, сгенерированный инструментом, после его завершения.
- Проанализируйте текст в GPTZero, как мы объясняли ранее.
Вы также можете использовать другие инструменты для письма с искусственным интеллектом для создания текста, который хотите проанализировать.
GPTZero вернул следующий результат, когда мы проанализировали сгенерированный ИИ текст в инструменте:
Учитывая, что текст был сгенерирован ИИ, GPTZero правильно предсказал, что он, вероятно, был сгенерирован ИИ. Чтобы сделать тест более сложным, мы перефразировали текст, сгенерированный ChatGPT.
2. Анализ перефразированного текста, сгенерированного ИИ, в GPTZero
Вы можете выбрать один из сотен инструментов перефразирования, чтобы перефразировать текст. В этом случае мы использовали Scribbr. Если вы хотите использовать тот же инструмент, выполните следующие действия:
- Зайдите на Скриббр.
- Скопируйте сгенерированный ИИ текст, который мы проанализировали в GPTZero ранее, и вставьте его в инструмент.
- Нажмите на кнопку «Перефразировать».
- Позвольте Scribbr перефразировать текст для вас.
- После перефразирования снова запустите тест GPTZero.
Вот вывод GPTZero, когда мы проанализировали перефразированный текст, сгенерированный ИИ:
Небольшое перефразирование затруднило для GPTZero определение того, полностью ли текст сгенерирован ИИ.
3. Анализ написанного человеком контента в GPTZero
В некоторых случаях такие инструменты, как GPTZero, возвращают ложноположительный результат, то есть они считают что-то неверным, когда это не так. Чтобы определить, дает ли GPTZero также ложные срабатывания, мы провели в инструменте три теста, проанализировав три разных написанных человеком текста.
Из этих трех тестов инструмент дал один ложный положительный результат, заявив, что исходный текст был сгенерирован ИИ; один раз он не смог сделать вывод, а один раз правильно определил текст как написанный человеком.
Если вы хотите проверить текст, написанный человеком, вы можете либо скопировать его из подлинного источника, либо написать несколько абзацев самостоятельно.
Стоит ли доверять результатам GPTZero?
Основываясь на нашем тестировании, полагаться исключительно на результаты этого инструмента может быть рискованно. На самом деле каждый раз, когда вы создаете результат с помощью инструмента, появляется заявление об отказе от ответственности, которое предупреждает преподавателей не полагаться на результаты этого инструмента.
Таким образом, если разработчик инструмента не гарантирует, что его результаты будут надежными, преподаватели не должны полностью полагаться на него. Почему? Потому что было бы несправедливо, если бы учащийся получил плохую оценку только потому, что GPTZero дал ложный положительный результат.
Вышеупомянутые тесты были проведены в феврале 2023 года. GPTZero на данный момент является довольно новым инструментом, поэтому его точность может меняться со временем.
Не всегда доверяйте результатам обнаружения ИИ
Как потенциальное противоядие от технологии OpenAI GPT, GPTZero имеет большой потенциал; однако он все еще находится в зачаточном состоянии. На данный момент это не совсем заслуживает доверия. Но сможет ли основная версия GPTZero преодолеть все ограничения и точно поймать контент ИИ? Чтобы узнать, нам просто нужно подождать.
ChatGPT не только дает учащимся еще одну причину списывать оценки, но и представляет серьезную угрозу кибербезопасности.
