Local AI inference: guide för hårdvarukrav
Running LLMs or other models locally (Ollama, vLLM, llama.cpp).
Hårdvarukrav per nivå
Tre nivåer för varje arbetsbelastning: minimumet som fungerar, den rekommenderade sweet spot-en och den bekväma marginalnivån. Det är samma nivåer som WisePC-beslutsmotorn använder när den planerar ett bygge runt ditt mål.
| Nivå | CPU-kärnor | RAM | Lagring | GPU | Nätverk |
|---|---|---|---|---|---|
| Minimum | 8 cores | 16 GB | 1 TB (ssd) | ai | 1 GbE |
| Rekommenderat | 12 cores | 32 GB | 1 TB (ssd) | ai | 2.5 GbE |
| Bekvämt | 16 cores | 64 GB | 2 TB (ssd) | ai | 10 GbE |
Vilken nivå behöver du?
- Välj Minimum (8 kärnor, 16 GB RAM) bara för en enspårig maskin med stram budget — förvänta dig lite marginal.
- Rekommenderat (12 kärnor, 32 GB RAM) är sweet spot-en: tillräckligt för arbetsbelastningen plus de vanliga sido-tjänsterna, utan att överspendera.
- Välj Bekvämt (16 kärnor, 64 GB RAM) när denna arbetsbelastning delar maskinen med andra eller kommer att växa — du betalar för marginal, inte för ångest.
- GPU-regel för denna arbetsbelastning: ai.
Vanliga frågor
Hur mycket RAM behöver local ai inference?
16 GB är ett förnuftigt minimum, 32 GB täcker de flesta verkliga uppsättningar, och 64 GB ger bekväm marginal för tillväxt och extra tjänster.
Hur många CPU-kärnor behöver local ai inference?
En CPU med 8 kärnor är minimumet, 12 kärnor är den rekommenderade sweet spot-en, och 16 kärnor är bekvämt när den delar maskinen med andra arbetsbelastningar.
Behöver local ai inference ett dedikerat GPU?
Ett dedikerat GPU rekommenderas starkt — denna arbetsbelastning gör AI-beräkningar.
Vilken lagring och vilket nätverk förväntar sig local ai inference?
Lagring: 1 TB SSD är den rekommenderade baslinjen (1 TB minimum, 2 TB bekvämt). Nätverk: 2.5 GbE är den rekommenderade baslinjen.
Vad fungerar bra tillsammans med local ai inference?
Den kombinerar naturligt med: Image generation, AI experimentation, Databases.