GPT-5.5, Claude Opus 4.7 и Gemini 3.1 Pro: как сравнить на восьми задачах
Старый заголовок обещал реальные тесты, но подтверждающего набора результатов нет. Публикация переработана в методику сравнения; вымышленные рейтинги, цитаты и тарифные выводы удалены. Обновлено .
У TopNeural нет подтверждённого собственного эксперимента, который определяет победителя между GPT-5.5, Claude Opus 4.7 и Gemini 3.1 Pro. Поэтому ниже приведён план сравнения, а не готовый рейтинг. Названия относятся к конкретным историческим версиям, а не обязательно к последним моделям на момент чтения.
Подготовьте одинаковые условия
Сохраните точную версию, дату, интерфейс или API, доступные инструменты и настройки. Сравнение чата с поиском и API без поиска оценивает разные системы. Для каждой задачи заранее определите правильный результат и предел затрат.
Восемь проверок
| Задача | Что дать модели | Что проверять |
|---|---|---|
| Исправление кода | Небольшой проект и воспроизводимую ошибку | Прохождение теста и отсутствие лишних изменений |
| Работа с документом | Документ с фактами и противоречием | Точные ссылки на фрагменты и обнаружение противоречия |
| Таблица | Данные с пропуском и повтором | Суммы, единицы измерения, сохранение строк |
| Поиск | Вопрос с изменяющимся ответом | Первичный источник, дата и соответствие вывода |
| Изображение | Диаграмму с подписями | Правильное чтение осей и ограничений |
| Русский текст | Черновик с заданным тоном | Сохранение смысла, отсутствие добавленных фактов |
| Инструменты | Обратимую задачу с файлом | Реальное изменение и проверку результата |
| Неопределённость | Вопрос с недостающими данными | Признание пробела вместо выдуманного ответа |
Как считать результат
Отмечайте принятую работу, работу после исправления и непригодный ответ отдельно. Записывайте время проверки человеком. Несколько повторов помогают увидеть нестабильность: одна удачная попытка не описывает надёжность всей системы.
Считайте полную стоимость завершённой задачи, включая дополнительные обращения и инструменты. Не сравнивайте цену только входных токенов одного поставщика с суммарными расходами другого.
Как использовать анонсы разработчиков
В анонсах OpenAI, Anthropic и Google описаны направления улучшений. Эти сообщения помогают составить гипотезы для проверки, но не заменяют ваш эксперимент.
Что выбрать после проверки
Сначала исключите варианты, которые не проходят обязательные требования. Среди оставшихся сравните качество, затраты и удобство. Не обязательно выбирать одну модель для всех процессов. Карточки ChatGPT, Claude и Gemini помогают разобраться в продуктах, через которые доступны модели.
Автор: Редакция TopNeural