Локальная нейросеть на ПК: память, контекст и первый запуск

Для локального запуска важны конкретная модель, формат весов, размер контекста и программа запуска. Указания «достаточно обычного ноутбука» недостаточно: один вариант семейства может быть компактным, другой — требовать совершенно другого оборудования.

Оценка памяти начинается с весов

Грубая нижняя оценка размера весов: число параметров × число бит на параметр ÷ 8. Например, 8 миллиардов параметров при четырёх битах дают около 4 миллиардов байт только для численных значений. Это учебный расчёт, а не обещание, что вся модель поместится в 4 ГБ видеопамяти.

Дополнительно нужны служебные данные формата, память среды выполнения и кэш контекста. Часть моделей распределяет данные между оперативной и видеопамятью. Скорость такого режима следует измерять на конкретном компьютере.

Контекст тоже занимает память

В документации Ollama отдельно объясняется влияние длины контекста на память. Там же описана проверка текущего размещения модели и контекста через ollama ps. Увеличение допустимой длины запроса не делает оборудование быстрее.

Начните с короткой задачи. Затем увеличивайте объём входного текста и наблюдайте потребление памяти, задержку первого ответа и скорость продолжения. Сохраняйте настройки, чтобы сравнение можно было повторить.

Не путайте модели одного семейства

В репозитории DeepSeek-R1 отдельно перечислены основная модель и дистиллированные варианты. Их требования и результаты нельзя считать одинаковыми. Для любой модели сохраняйте полное имя, версию, формат и источник файла.

Что проверить после запуска

Используйте несколько небольших задач с известным ответом: извлечение даты из документа, редактирование абзаца и простой фрагмент кода. Проверяйте точность и удобство, а не только число токенов в секунду. Перед покупкой оборудования попробуйте подходящую конфигурацию на имеющемся компьютере или доступной тестовой машине.

Локальность и данные

Локальная модель может работать внутри приложения, которое дополнительно обращается к внешним сервисам. Проверьте сетевые функции, журналы и установленные расширения. Сам факт размещения весов на ПК не доказывает конфиденциальность всей системы или выполнение правовых требований.

Другие инструменты можно найти в разделе для разработчиков.