Десять ошибок при работе с рассуждающими моделями

Рассуждающая модель не освобождает от постановки задачи и проверки ответа. Она может потратить больше времени на неверную предпосылку или повторить ошибку в длинном объяснении. Ниже — практический список для настройки работы, без обещания одинакового эффекта на всех моделях.

1. Не определить результат

Замените просьбу «разберись» конкретным выходом: таблицей расхождений, исправленным файлом или ответом на заданные вопросы. Сразу укажите, по каким признакам работу можно принять.

2. Добавлять сложность ради сложности

Начните с короткой прямой инструкции. Рекомендации OpenAI для рассуждающих моделей предлагают не требовать обязательного раскрытия пошагового внутреннего рассуждения. Полезнее запросить проверяемый результат и краткое объяснение его оснований.

3. Смешивать факты и предположения

Отметьте, какие данные известны, а что нужно проверить. Иначе модель может принять пример или гипотезу за исходный факт.

4. Давать противоречивые ограничения

Уберите несовместимые требования. Если нужны и краткость, и подробный расчёт, разделите итоговый ответ и приложение с расчётами.

5. Считать длинный ответ доказательством

Проверьте ссылки, вычисления и соответствие исходным данным. Уверенный стиль и подробность не являются измерением правильности.

6. Не ограничивать циклы агента

Задайте условие остановки, предел повторов и бюджет. При повторяющейся ошибке система должна показать проблему, а не бесконечно повторять тот же вызов.

7. Передавать лишний контекст

Включайте сведения, необходимые для задачи, и сохраняйте ссылки на остальное. Большой объём несвязанных материалов усложняет проверку, даже когда помещается в доступное окно.

8. Менять сразу всё

Сравнивая настройки, изменяйте один существенный фактор и сохраняйте одинаковые входные примеры. Иначе невозможно понять причину улучшения или ухудшения.

9. Не проверять действия инструментов

После записи файла откройте результат; после расчёта сверяйте суммы; после изменения кода запускайте проверку. Успешный ответ инструмента иногда означает только принятие запроса.

10. Считать только стоимость первого ответа

Учитывайте повторные вызовы, ожидание и время человека на исправления. Для выбора режима сравнивайте стоимость принятого результата. В каталоге для разработки можно подобрать инструменты для такого пилота.