AI2N / GGUF VRAM CALCULATOR
Русскоязычный калькулятор памяти и размещения для локальных GGUF-моделей.
Основа страницы взята из KolosalAI/model-memory-calculator, а сверху добавлен полезный
слой по мотивам apxml VRAM calculator: подбор железа, несколько устройств, offload в
host RAM, batch size, concurrent users и расчет запаса по памяти под реальный запуск.
Сначала читаем GGUF, потом проверяем, как он ляжет на ваше железо
Для удаленных файлов используются HTTP Range-запросы. После чтения метаданных калькулятор пересчитывает размещение локальной LLM по устройствам, контексту и многопользовательской нагрузке.
Подайте GGUF по URL или локально
Если ссылка ведет на Hugging Face, калькулятор сам нормализует /blob/ в
/resolve/.
Опишите железо и ожидаемую нагрузку
После выбора профиля здесь появится подсказка по памяти и типу размещения.
Сохраните конфиг запуска в ссылке
В адресной строке сохраняются URL модели, контекст, квантование, профиль железа, резервы памяти, offload и параметры многопользовательской нагрузки.
Что происходит во время чтения GGUF
Лог пока пуст.