ACLClouds
ACLClouds

Ollama auf einem CPU-VPS: welche Modelle in 16 bis 64 GB RAM passen

Ollama auf einem VPS ohne GPU: welche Modelle in 16, 32 oder 64 GB RAM passen, wie schnell sie laufen und wie Sie es installieren und schützen.

Ollama betreibt Sprachmodelle auf einem VPS ohne GPU, auf dem Prozessor bleiben die Antworten aber langsam. Mit 16 GB RAM sind kleine quantisierte Modelle bis etwa 8 Milliarden Parameter realistisch; 32 GB öffnen mittlere Modelle, und 64 GB erlauben sehr große mit Geduld. Der Test: Ollama installieren, ein Modell laden und den tatsächlich belegten RAM messen.

  • Auf der CPU laufen auf einem VPS kleine quantisierte Modelle, mit langsamen Antworten.
  • 16 GB reichen für etwa 8 Milliarden Parameter; 64 GB öffnen die größeren, langsam.
  • Ollama lauscht standardmäßig lokal: Öffnen Sie es nicht ohne Schutz dem Internet.
  • Der Tarif Performance bietet 48 GB RAM für 21,99 € Stand 7. November 2026.

Ollama installieren

Unter Debian oder Ubuntu installieren Sie Ollama mit dem offiziellen Skript: curl -fsSL https://ollama.com/install.sh | sh. Lesen Sie das Skript auf Wunsch vorher durch und prüfen Sie die Installation mit ollama --version.

  • Der Dienst lauscht standardmäßig auf 127.0.0.1, Port 11434: Er ist nicht aus dem Internet erreichbar.
  • Ohne GPU nutzt Ollama den Prozessor und den RAM des VPS.

Ein Modell je nach RAM wählen

Ein 4-Bit-quantisiertes Modell belegt grob die Hälfte seiner Milliardenzahl in Gigabyte, dazu kommen Speicher für Kontext und System. Das sind Richtwerte: Die genaue Größe steht auf der Modellseite der Ollama-Bibliothek.

  • 16 GB: Modelle bis etwa 8 Milliarden Parameter, mit Reserve für das System.
  • 32 GB: Modelle mit etwa 14 bis 32 Milliarden Parametern, langsamer.
  • 48 bis 64 GB: Modelle mit etwa 70 Milliarden Parametern, für Einsätze, bei denen Langsamkeit akzeptabel ist.

Starten und messen

Laden Sie ein Modell mit ollama pull und seinem genauen Namen, zum Beispiel qwen2.5:7b, und starten Sie es mit ollama run. Während der Generierung zeigt ollama ps die geladene Größe, free -h den verbleibenden RAM.

  • Stoppen Sie die anderen Dienste während der Messung, für einen verlässlichen Wert.
  • Nutzt das System Swap, wählen Sie ein kleineres Modell.

Den Port nicht öffnen

Standardmäßig ist Ollama nur vom Server aus erreichbar. Setzen Sie OLLAMA_HOST, um es dem Netz zu öffnen, dann schützen Sie es: Firewall, eingeschränkter Zugriff oder SSH-Tunnel. Ein offener Port 11434 kann von jedem genutzt werden, auf Ihre Kosten bei Rechenzeit und Speicher.

  • Für den persönlichen Gebrauch genügt ein SSH-Tunnel: ssh -L 11434:localhost:11434 benutzer@vps.
  • Zur Firewall siehe einen Linux-VPS absichern.

Warum ACLClouds für lokale KI

VPS-Tarife werden in vCPU und GB RAM beschrieben, das ist das richtige Kriterium für ein Modell auf dem Prozessor. Der Tarif Performance bietet 48 GB für 21,99 € Stand 7. November 2026, der Tarif Pro 64 GB für 34,99 €.

  • Der Tarif Essentiel mit 16 GB RAM für 9,99 € deckt kleine Modelle ab.
  • KVM-Virtualisierung und Server in Frankreich.
  • Panel in 7 Sprachen verfügbar.

Häufig gestellte Fragen

Ist auf 16 GB ein ChatGPT-ähnlicher Assistent möglich?

Nicht wirklich. Kleine lokale Modelle antworten langsamer und schneiden bei komplexen Aufgaben schwächer ab. Sie passen zu gezielten Einsätzen.

Lohnt sich ein CPU-VPS für KI?

Das hängt vom Einsatz ab. Bei leichter Nutzung kann eine kostenpflichtige API günstiger sein. Der VPS lohnt, wenn Sie Ihre Daten auf dem eigenen Server behalten oder dauerhaft Verarbeitung betreiben wollen. Vergleichen Sie mit Ihrer tatsächlichen Nutzung.

Bleiben meine Daten mit Ollama bei mir?

Sie bleiben auf Ihrem Server, weil das Modell lokal läuft. Trotzdem müssen Sie den Zugriff auf den Port und auf die Serververwaltung schützen.