Skriv et spill, en del (RTX 4070, i5-14400), en tjeneste (Plex) eller et verktøy.

NONorsk
Logg inn
Meny
Lokal AI-inferens
Arbeidslastveiledning · KI

Lokal AI-inferens: veiledning om maskinvarekrav

Kjøre LLM-er eller andre modeller lokalt (Ollama, vLLM, llama.cpp).

Alltid på 24/7

Maskinvarekrav etter nivå

Tre nivåer for hver arbeidslast: minimumet som fungerer, den anbefalte sweet spot-en og det komfortable marginivået. Dette er de samme nivåene WisePC-beslutningsmotoren bruker når den planlegger et bygg rundt målet ditt.

NivåCPU-kjernerRAMLagringGPUVRAMNettverk
Minimum8 cores16 GB1 TB (ssd)ai12 GB VRAM1 GbE
Anbefalt12 cores32 GB1 TB (ssd)ai16 GB VRAM2.5 GbE
Komfortabelt16 cores64 GB2 TB (ssd)ai24 GB VRAM10 GbE
Overdimensjonert26 cores103 GB4 TB (ssd)ki24 GB VRAM10 GbE

Forbi Komfortabel — 26 kjerner, 103 GB RAM, 4 TB (SSD): headroom du aldri vil bruke på denne workloadden alene. Legg differansen i lagring, backup eller stillhet.

Anbefalt systemform

Utledet av beslutningsmotoren fra anbefalt nivå — samme logikk som planlegger komplette bygg.

Formfaktor
tower
Byggestil
diy
Diskplan
2× 2TB NVMe

Requirements (12 threads, 32GB RAM, 4TB storage, dedicated GPU) need a custom tower build.

Én boks eller en egen?

Blir på hovedserveren

GPU-bound compute is expensive to duplicate — a second GPU box roughly doubles cost for little resilience gain. Keep it on the main machine.

Om denne workloadden fortjener sin egen maskin eller bør bo på hovedserveren.

Lagringsarrays, med priser

Fem fysiske strategier for anbefalt kapasitet — samme planlegger, samme diskmodell og samme referansepriser som lagringsverktøyet.

StrategiDiskerBrukbarKostnadIdle
Billigste 1× 4TB hdd4 TB · none≈ €1005 W
Balansert 1× 16TB hdd16 TB · none≈ €2406 W
Redundant 3× 8TB hdd8 TB · parity2≈ €45015 W
Utvidelsesvennlig 1× 20TB hdd20 TB · none≈ €3007 W
Ytelse Anbefalt2× 4TB nvme4 TB · parity1≈ €4802 W

For et raskt arbeidsnivå, gå for kun flash — ytelsesstrategien bevarer hastigheten uten den tunge gjenoppbyggingen til HDD-er.

Backup er ikke lagring

Den ekstra kopien som overlever diskfeil, sletting og ransomware — samme motor som backup-planleggeren.

Beskytt 1 TB med minst to kopier på separat maskinvare, ideelt én offsite. Den anbefalte starten er en dedikert NAS.

Anbefalt: Separat NAS
En dedikert boks som kun lagrer backuper · ≈ €278
high
Ingen ekstern kopi

Legg til en andre kopi utenfor bygningen — sky eller en disk hos en venn.

medium
Ingen versjonering

Bruk et verktøy med versjonering (restic, borg, Backblaze) som bevarer historikken.

medium
Uplanlagte sikkerhetskopier

Planlegg sikkerhetskopier automatisk og overvåk dem.

medium
Sikkerhetskopi på samme maskin

Oppbevar sikkerhetskopien på separat maskinvare eller offsite.

Hva vil det koste?

Markedsnøytrale EUR-bånd fra referansemodellen (≈ = estimert gatepris). Live komponentpriser står på bygg-siden for din region.

Lagringsarray
≈ €100 – €480
Array-energi / år
≈ €81/yr
∼37 W idle

Datakraft (CPU, hovedkort, RAM, GPU) er ikke inkludert — se anbefalt bygg for live priser.

Vekstutsikter

Hva som skjer når dataene fortsetter å vokse — samme motor som vekstsimulatoren.

Denne arkitekturen blir utilstrekkelig i år 2 — 2 brønner trengs. Planlegg neste steg (større array, NAS eller DAS, eller kraftigere plattform) før det.

Overskrider maks 2 TB med 1 TB — trenger større array, DAS eller NAS. Nytt Ytelse-array for 3 TB: 2 brønner, ~480 €.

Hvilket nivå trenger du?

  • Velg Minimum (8 kjerner, 16 GB RAM) bare for en enkeltformålsmaskin med stramt budsjett — forvent lite margin.
  • Anbefalt (12 kjerner, 32 GB RAM) er sweet spot-en: nok for arbeidslasten pluss de vanlige tilleggstjenestene, uten å overforbruke.
  • Velg Komfortabelt (16 kjerner, 64 GB RAM) når denne arbeidslasten deler maskinen med andre eller vil vokse — du betaler for margin, ikke for angst.
  • GPU-regel for denne arbeidslasten: ai.GPU-regel for denne arbeidsmengden: ai (16 GB VRAM).

Dekkes også i denne guiden

Kodeassistent (lokal LLM)

Lokale kodefullførings- og chatmodeller (Ollama, Continue).

Videre

Ofte stilte spørsmål

Hvor mye RAM trenger lokal ai-inferens?
16 GB er et fornuftig minimum, 32 GB dekker de fleste ekte oppsettene, og 64 GB gir komfortabel margin for vekst og ekstra tjenester.
Hvor mange CPU-kjerner trenger lokal ai-inferens?
En CPU med 8 kjerner er minimumet, 12 kjerner er den anbefalte sweet spot-en, og 16 kjerner er komfortabelt når den deler maskinen med andre arbeidslaster.
Trenger lokal ai-inferens et dedikert GPU?
Et dedikert GPU anbefales sterkt — denne arbeidslasten gjør KI-beregninger. Trenger 12–24 GB VRAM (12 minimum, 16 anbefalt, 24 komfortabelt).
Hvilken lagring og hvilket nettverk forventer lokal ai-inferens?
Lagring: 1 TB SSD er den anbefalte grunnlinjen (1 TB minimum, 2 TB komfortabelt). Nettverk: 2.5 GbE er den anbefalte grunnlinjen.
Hva kjører godt sammen med lokal ai-inferens?
Den kombinerer naturlig med: Bildegenerering, AI-eksperimenter, Databaser.
Hvor mye strøm bruker lokal ai-inferens?
Arrayet idler rundt 37 W (≈ 81 €/år ved 0,25 €/kWh). Hele systemet legger CPU, hovedkort og vifter oppå — se kostnadsseksjonen for ærlige bånd.

Relaterte arbeidslastveiledninger