Яке обладнання потрібне для запуску локальних ШІ-моделей на ПК
Комп’ютер із 16 ГБ оперативної пам’яті здатен запускати локальні мовні моделі приблизно на 7–8 млрд параметрів, однак для продуктивнішої роботи з більшими моделями потрібні щонайменше 32 ГБ RAM або відеокарта з 16 ГБ відеопам’яті. Про це повідомляє Engadget.
Для запуску чатбота локально можна скористатися програмами Ollama або LM Studio: модель працюватиме без підписки та інтернет-з’єднання, а дані не залишатимуть комп’ютер. Водночас можливості системи залежать насамперед від доступної пам’яті. У повсякденному ПК з 16 ГБ RAM можуть працювати, зокрема, Meta Llama 3.1 8B або Alibaba Qwen3 8B. Аналогічну швидкодію може забезпечити відеокарта з 8 ГБ VRAM.
Користувачі зазвичай застосовують квантизовані версії моделей, у яких параметри зберігаються приблизно у чотирьох бітах. Це суттєво зменшує необхідний обсяг пам’яті: Llama 3.1 8B у бібліотеці Ollama займає 4,9 ГБ, Microsoft Phi-4 — 9,1 ГБ, Google Gemma 3 27B — 17 ГБ, а Meta Llama 3.3 70B — 43 ГБ. Орієнтир Ollama передбачає 8 ГБ RAM для моделі на 7 млрд параметрів, 16 ГБ — для 13 млрд і 32 ГБ — для 33 млрд.
Під час генерації кожного токена модель має звертатися до всіх своїх параметрів, тому швидкість значною мірою залежить від пропускної здатності пам’яті, а не лише від потужності процесора. Відеопам’ять працює в кілька разів швидше за системну RAM, тому модель, яка цілком уміщується у VRAM, відповідатиме значно швидше. Комфортним темпом для читання вважають понад 5–10 токенів за секунду.
За даними тестів LMSYS, Nvidia RTX 5090 генерувала текст моделлю OpenAI gpt-oss-20b зі швидкістю 205 токенів за секунду. Базовий чип Apple M4 у тестах llama.cpp показав близько 24 токенів за секунду на моделі 7B. Водночас Nvidia DGX Spark вартістю 3999 доларів забезпечив 38 токенів за секунду для Llama 3.1 8B, але лише 4,42 токена за секунду для версії на 70 млрд параметрів.
Моделі на 27–31 млрд параметрів можуть вимагати 17–20 ГБ пам’яті, що вже перевищує можливості ПК із 16 ГБ RAM. Значно більші відкриті моделі фактично розраховані на серверне обладнання: для Moonshot Kimi K2.6, яка має 1 трлн параметрів, у 4-бітному форматі потрібно близько 600 ГБ сукупної RAM і VRAM. Ваги Kimi K3 із 2,8 трлн параметрів займають приблизно 1,4 ТБ. Видання зазначає, що 16 ГБ RAM достатньо для приватних коротких підсумків чи офлайн-допомоги з програмуванням, тоді як для повсякденного використання локального чатбота доцільніші 32 ГБ RAM або відеокарта з 16 ГБ пам’яті.
- Останні
- Популярні
Новини по днях
9 листопада 2026
