Последнее обновление 03.09.2023 — Василий Иванов
С момента своего выпуска в ноябре 2022 года ChatGPT остается доминирующей силой в сфере чат-ботов с искусственным интеллектом. Несмотря на далеко идущие усилия нескольких компаний, занимающихся искусственным интеллектом, никому не удалось создать чат-бота, который действительно мог бы конкурировать с ChatGPT по общему качеству ответов. Бард Google? Microsoft Bing AI? Нет, не совсем.
Однако Claude AI, чат-бот, созданный AI-стартапом Anthropic, демонстрирует качества чат-бота, способного свергнуть ChatGPT. Значительное количество пользователей уже говорят, что Клод — лучший вариант. Но так ли это? Давайте протестируем обоих чат-ботов.
ChatGPT против Клода AI: здравый смысл и логические рассуждения
При работе с чат-ботами с искусственным интеллектом наблюдается интригующий контраст. С одной стороны, они могут решать сложные задачи, над решением которых люди могут работать целыми днями. С другой стороны, иногда они сталкиваются с элементарными проблемами, требующими лишь немного здравого смысла или логических рассуждений. Итак, мы протестировали ChatGPT и Claude AI, чтобы увидеть, какой чат-бот с искусственным интеллектом лучше справляется с задачами здравого смысла и логического рассуждения.
ChatGPT разбил проблему на части и решил ее с первой попытки. Клод А.И. тоже попробовал и решил проблему, но с другим подходом.
Для первой задачи оба чат-бота смогли решить проблему. Итак, мы перешли к проблеме другого рода. Мы поручили обоим чат-ботам ответить на вопрос с подвохом.
ChatGPT смог сразу обнаружить подвох: выживших нельзя хоронить, потому что они не мертвы. Клод А.И., с другой стороны, похоже, понял, что это вопрос с подвохом, но не смог обнаружить самую здравую проблему, заключающуюся в том, что выживших не хоронят.
Вместо этого он тщательно проанализировал вопрос и пришел к выводу, что «не будет выживших, которых можно было бы хоронить», потому что падение с Марса на Землю было бы фатальным. Это не тот ответ, которого мы ожидали, но если посмотреть на вещи под другим углом, в этом есть доля правды.
Для этой задачи мы отдаем ее ChatGPT, но не можем полностью исключить подход Клода ИИ. Для нашей последней задачи по этому показателю мы спросили обоих чат-ботов, сколько яблок останется на яблоне через пять и 10 дней соответственно, если мы начнем с 10 яблок и пять из них будут нарезаны еще на дереве. ChatGPT сказал, что осталось еще 10 яблок.
Клод А.И., с другой стороны, дал более разумный ответ, признав, что пять нарезанных яблок, скорее всего, сгниют.
Клод А.И. явно это понял. Мы попробовали еще несколько сложных задач, и оба чат-бота имели немало успехов и неудач в их решении. Учитывая наблюдаемый нами результат, можно было бы справедливо сказать, что, хотя ChatGPT имеет преимущество, оба чат-бота не слишком сильно отличаются друг от друга по здравому смыслу и способностям к логическому рассуждению.
ChatGPT против Клода AI: математические навыки
Даже если вы никогда не планируете использовать ChatGPT или Claude AI для решения домашнего задания по алгебре, их математические способности имеют далеко идущие последствия. Для чат-ботов с искусственным интеллектом математика является ключом к пониманию реальной логики, выявлению ошибочного мышления и признанию ошибок.
По сути, знание математики является основным показателем искусственного интеллекта. Итак, какой чат-бот лучше разбирается в математике между ChatGPT и Claude AI? Мы поручили обоим чат-ботам решить сложную математическую задачу по продуктивности. Мы начали с Claude AI, и чат-бот решил проблему.
ChatGPT также решил эту проблему.
Двигаясь дальше, мы попросили обоих чат-ботов решить 8/a-1 = 20/3a-1, довольно простую математическую задачу с удивительно высоким процентом неудач среди чат-ботов с искусственным интеллектом. ChatGPT смог решить эту проблему, дав правильный ответ -3 с первой попытки.
Клод ИИ потерпел неудачу с первой попытки, но когда мы предложили ему решить задачу шаг за шагом (что заставляет его продумывать каждый шаг своей логики), он смог ее взломать.
Мы попробовали еще несколько математических задач. Хотя в некоторых случаях оба чат-бота добились успеха с первой попытки, в некоторых случаях Claude AI потребовалась вторая или третья попытка, чтобы дать правильный ответ. По математическим способностям мы отдадим корону ChatGPT.
ChatGPT против Клода AI: творчество
Одним из самых больших ажиотажей вокруг Claude AI являются его творческие способности. Но может ли он сравниться с креативностью ChatGPT? Или может ли он превзойти ChatGPT? Чтобы протестировать обоих чат-ботов, мы поручили им написать текст для рифмующейся рэп-песни.
Мы выбрали рэп-тест на рифму, потому что с ним сталкиваются многие языковые модели. Большинство моделей обычно не понимают правильную рифму или не понимают правильную рифму, в то время как текст сам по себе не имеет смысла. Чтобы было интереснее, рэп-песня будет о выращивании огурцов.
Итак, мы попросили ChatGPT и Claude AI «написать рифмованный рэп о том, как фермер выращивает огурцы и становится благодаря этому миллионером». ChatGPT вышел первым и, как и ожидалось, создал несколько интересных текстов.
Затем мы отправили ту же самую подсказку Клоду AI, и он тоже дал ему хороший шанс.
Оба текста хороши, но ChatGPT, похоже, имеет здесь преимущество. Рифма у него была лучше, и мы получили нужный результат уже с первого раза. Нам пришлось попробовать трижды, прежде чем Клод А.И. смог создать рифмованные тексты. Мы передадим это ChatGPT.
Попробовав еще несколько творческих задач, Клод ИИ, похоже, преуспел в писательских задачах и смог писать более естественно звучащий контент, как это сделал бы человек-писатель. Хотя ChatGPT лучше справлялся с более сложными творческими задачами, иногда он не мог избавиться от ощущения чат-бота с искусственным интеллектом в генерируемом им тексте. Наш вердикт? И ChatGPT, и Claude AI сами по себе креативны.
ChatGPT против Клода AI: навыки программирования
Как и математические навыки, навыки программирования являются еще одним очень важным показателем для оценки способностей чат-бота с искусственным интеллектом. Хотя большинство пользователей, вероятно, никогда не будут использовать чат-бота для программирования, существуют серьезные последствия для способности чат-бота профессионально писать и понимать код.
Хотя чат-боты в настоящее время сложны, они далеки от того, чем они могли бы на самом деле стать, если бы и когда они были в состоянии профессионально писать код. Чтобы чат-боты с искусственным интеллектом действительно превратились в мощных помощников с искусственным интеллектом, которые могут делать больше, чем просто генерировать текст, им необходимо уметь писать код, который решает проблемы по требованию. Ранее мы обсуждали, насколько важны навыки кодирования для чат-ботов с искусственным интеллектом в нашем пояснении к интерпретатору кода ChatGPT.
Тем не менее, мы поставили обоих чат-ботов на две задачи по кодированию. Мы попросили ChatGPT и Claude AI написать функциональный код для приложения со списком дел. Начиная с ChatGPT, чат-бот с искусственным интеллектом смог создать функциональное приложение со списком дел с первой попытки. Мы скопировали и запустили его в браузере, и он работал отлично, без ошибок. Вот вывод в браузере.
Переходя к Клоду AI, чат-бот написал четко понятный код. Структура и логика казались прекрасными. К сожалению, несмотря на неоднократные попытки, Claude AI все еще упускал некоторую важную логику, необходимую для того, чтобы код действительно работал в браузере. В этом плане это провал.
После того, как Клод ИИ провалил последний тест, мы попробовали другой тип задачи по кодированию, которая больше касалась анализа кода, чем написания нового кода. Мы загрузили пять PHP-файлов, которые представляют собой полную серверную часть веб-сайта, и спросили Claude AI и ChatGPT, где нам нужно отредактировать все загруженные файлы, чтобы гарантировать получение почты после регистрации нового пользователя на сайте.
Удивительно, но ChatGPT, несмотря на кажущиеся превосходные навыки программирования, потерпел неудачу, несмотря на неоднократные попытки. Клод ИИ, с другой стороны, смог умело анализировать код, одновременно определяя нужные места, которые необходимо отредактировать для достижения желаемых результатов.
Конечно, это был не единичный случай, мы повторили его с несколькими другими файлами кода, но ChatGPT в большинстве случаев спотыкался и тормозил, в то время как Claude AI продолжал показывать впечатляющие результаты. С точки зрения навыков программирования, победитель не совсем однозначен.
ChatGPT явно значительно лучше пишет новый код и может управлять сложным кодом с впечатляющим мастерством. Однако Claude AI значительно лучше анализирует большие базы кода. Итак, если вы хотите написать код для какой-то новой идеи, ChatGPT — это тот инструмент, к которому вам стоит обратиться. Если вы хотите проанализировать или разобраться в базе кода с тысячами строк в нескольких файлах, мы определенно рекомендуем Claude AI.
Клод AI — мощный конкурент на блоке
Claude AI представляет собой мощную конкуренцию ChatGPT, которая когда-нибудь сможет конкурировать с ChatGPT и потенциально превзойти его. Учитывая, что Claude — это относительно новая модель искусственного интеллекта, можно позавидовать тому, что она может справиться с ChatGPT так, как это происходит сейчас. Появление Claude AI и качество, которое она предлагает, доказывают, что конкуренция накаляется.
