VRAM для локальної моделі

Параметри × квантизація + контекст → VRAM

Введення

Параметрів, B

Квантизація

Контекст, токенів

Потрібно VRAM

ваги: 3,5 ГБ + KV ~0,9 ГБ

4,9 ГБ

Мін. GPU: 6 ГБ

Ваги = параметри × байти на параметр. Контекст (KV-cache) додає ~0.1–0.5 ГБ на 1k токенів залежно від архітектури. Орієнтири: 7B Q4 ≈ 4.5 ГБ, 13B Q4 ≈ 8 ГБ, 70B Q4 ≈ 40 ГБ. Якість падає помітно нижче Q4.