Local AI inference: przewodnik po wymaganiach sprzętowych
Running LLMs or other models locally (Ollama, vLLM, llama.cpp).
Wymagania sprzętowe według poziomu
Trzy poziomy dla każdego obciążenia: minimum, które działa, zalecany słodki punkt i komfortowy poziom zapasu. To te same poziomy, których silnik decyzyjny WisePC używa, planując build wokół Twojego celu.
| Poziom | Rdzenie CPU | RAM | Pamięć masowa | GPU | Sieć |
|---|---|---|---|---|---|
| Minimum | 8 cores | 16 GB | 1 TB (ssd) | ai | 1 GbE |
| Zalecany | 12 cores | 32 GB | 1 TB (ssd) | ai | 2.5 GbE |
| Komfortowy | 16 cores | 64 GB | 2 TB (ssd) | ai | 10 GbE |
Którego poziomu potrzebujesz?
- Wybierz Minimum (8 rdzeni, 16 GB RAM) tylko do maszyny jednozadaniowej przy napiętym budżecie — spodziewaj się niewielkiego zapasu.
- Zalecany (12 rdzeni, 32 GB RAM) to słodki punkt: wystarczająco dla obciążenia plus zwykłych usług towarzyszących, bez przepłacania.
- Wybierz Komfortowy (16 rdzeni, 64 GB RAM), gdy to obciążenie dzieli maszynę z innymi lub będzie rosnąć — płacisz za zapas, nie za niepokój.
- Zasada GPU dla tego obciążenia: ai.
Często zadawane pytania
Ile pamięci RAM potrzebuje local ai inference?
16 GB to rozsądne minimum, 32 GB pokrywa większość rzeczywistych konfiguracji, a 64 GB daje komfortowy zapas na rozwój i dodatkowe usługi.
Ile rdzeni CPU potrzebuje local ai inference?
CPU z 8 rdzeniami to minimum, 12 rdzeni to zalecany słodki punkt, a 16 rdzeni jest komfortowe, gdy dzieli maszynę z innymi obciążeniami.
Czy local ai inference potrzebuje dedykowanego GPU?
Dedykowane GPU jest zdecydowanie zalecane — to obciążenie wykonuje obliczenia AI.
Jakiej pamięci masowej i sieci oczekuje local ai inference?
Pamięć: 1 TB SSD to zalecana linia bazowa (1 TB minimum, 2 TB komfortowo). Sieć: 2.5 GbE to zalecana linia bazowa.
Co działa dobrze obok local ai inference?
Naturalnie łączy się z: Image generation, AI experimentation, Databases.