Local AI inference: guide til hardwarekrav
Running LLMs or other models locally (Ollama, vLLM, llama.cpp).
Hardwarekrav efter niveau
Tre niveauer for hver arbejdsbyrde: minimumet, der fungerer, den anbefalede sweet spot og det komfortable margenniveau. Det er de samme niveauer, WisePC-beslutningsmotoren bruger, når den planlægger et build omkring dit mål.
| Niveau | CPU-kerner | RAM | Opbevaring | GPU | Netværk |
|---|---|---|---|---|---|
| Minimum | 8 cores | 16 GB | 1 TB (ssd) | ai | 1 GbE |
| Anbefalet | 12 cores | 32 GB | 1 TB (ssd) | ai | 2.5 GbE |
| Komfortabelt | 16 cores | 64 GB | 2 TB (ssd) | ai | 10 GbE |
Hvilket niveau har du brug for?
- Vælg Minimum (8 kerner, 16 GB RAM) kun til en enkeltformålsmaskine med stramt budget — forvent lidt margin.
- Anbefalet (12 kerner, 32 GB RAM) er sweet spot'en: nok til arbejdsbyrden plus de sædvanlige sideløbende tjenester, uden at overforbruge.
- Vælg Komfortabelt (16 kerner, 64 GB RAM), når denne arbejdsbyrde deler maskinen med andre eller vil vokse — du betaler for margin, ikke for angst.
- GPU-regel for denne arbejdsbyrde: ai.
Ofte stillede spørgsmål
Hvor meget RAM har local ai inference brug for?
16 GB er et fornuftigt minimum, 32 GB dækker de fleste rigtige opsætninger, og 64 GB giver komfortabel margin til vækst og ekstra tjenester.
Hvor mange CPU-kerner har local ai inference brug for?
En CPU med 8 kerner er minimumet, 12 kerner er den anbefalede sweet spot, og 16 kerner er komfortabelt, når den deler maskinen med andre arbejdsbyrder.
Har local ai inference brug for et dedikeret GPU?
Et dedikeret GPU anbefales stærkt — denne arbejdsbyrde laver AI-beregninger.
Hvilken opbevaring og hvilket netværk forventer local ai inference?
Opbevaring: 1 TB SSD er den anbefalede basislinje (1 TB minimum, 2 TB komfortabelt). Netværk: 2.5 GbE er den anbefalede basislinje.
Hvad kører godt sammen med local ai inference?
Den kombinerer naturligt med: Image generation, AI experimentation, Databases.