Local AI inference: Anleitung zu den Hardware-Anforderungen
Running LLMs or other models locally (Ollama, vLLM, llama.cpp).
Hardware-Anforderungen nach Stufe
Drei Stufen für jede Workload: das Minimum, das funktioniert, die empfohlene Komfortzone und die komfortable Reservestufe. Das sind dieselben Stufen, die die WisePC-Entscheidungs-Engine nutzt, wenn sie einen Build um dein Ziel plant.
| Stufe | CPU-Kerne | RAM | Speicher | GPU | Netzwerk |
|---|---|---|---|---|---|
| Minimum | 8 cores | 16 GB | 1 TB (ssd) | ai | 1 GbE |
| Empfohlen | 12 cores | 32 GB | 1 TB (ssd) | ai | 2.5 GbE |
| Komfortabel | 16 cores | 64 GB | 2 TB (ssd) | ai | 10 GbE |
Welche Stufe brauchst du?
- Wähle Minimum (8 Kerne, 16 GB RAM) nur für ein einziges Gerät mit knappem Budget – erwarte wenig Reserven.
- Empfohlen (12 Kerne, 32 GB RAM) ist die Komfortzone: genug für die Workload plus die üblichen Nebendienste, ohne zu viel auszugeben.
- Wähle Komfortabel (16 Kerne, 64 GB RAM), wenn diese Workload die Maschine mit anderen teilt oder wachsen wird – du zahlst für Reserven, nicht für Angst.
- GPU-Regel für diese Workload: ai.
Häufig gestellte Fragen
Wie viel RAM braucht local ai inference?
16 GB sind das sinnvolle Minimum, 32 GB decken die meisten realen Setups ab und 64 GB geben komfortable Reserven für Wachstum und Zusatzdienste.
Wie viele CPU-Kerne braucht local ai inference?
Eine CPU mit 8 Kernen ist das Minimum, 12 Kerne sind die empfohlene Komfortzone und 16 Kerne sind komfortabel, wenn sie sich die Maschine mit anderen Workloads teilt.
Braucht local ai inference eine dedizierte GPU?
Eine dedizierte GPU wird dringend empfohlen – diese Workload macht KI-Berechnungen.
Welchen Speicher und welches Netzwerk erwartet local ai inference?
Speicher: 1 TB SSD ist die empfohlene Basislinie (1 TB Minimum, 2 TB komfortabel). Netzwerk: 2.5 GbE ist die empfohlene Basislinie.
Was läuft gut neben local ai inference?
Es passt natürlich zu: Image generation, AI experimentation, Databases.