Logo Baebeca Solutions GmbH

← Ratgeber

Wie viel Grafikspeicher braucht ein eigenes Sprachmodell?

17. November 2026

Ausgezogener GPU-Server mit acht Beschleunigerkarten im Serverschrank

KI

Dieser Beitrag wurde mit KI erstellt.

Wie viel Grafikspeicher ein eigenes Sprachmodell braucht, hängt vor allem von drei Größen ab: der Zahl der Parameter, der Genauigkeit, in der sie gespeichert sind, und der Textmenge, die alle Nutzer gleichzeitig verarbeiten. Als Faustregel belegt ein Modell bei 4-Bit-Quantisierung gut ein halbes Gigabyte pro Milliarde Parameter, bei 8 Bit etwa ein Gigabyte und in voller 16-Bit-Genauigkeit zwei Gigabyte. Dazu kommen der Zwischenspeicher für den laufenden Text und ein Puffer für die Laufzeitumgebung. Wie du daraus eine belastbare Schätzung für deinen Betrieb machst, zeigt dieser Ratgeber.

Warum der Grafikspeicher die Grenze setzt

Ein Sprachmodell rechnet bei jedem erzeugten Wort mit all seinen Parametern. Damit das schnell geht, liegen sie vollständig im Speicher der Grafikkarte (VRAM). Passt das Modell nicht hinein, startet es entweder gar nicht oder lagert Teile in den normalen Arbeitsspeicher aus und antwortet dann so langsam, dass im Alltag niemand damit arbeiten möchte. Die Rechenleistung der Karte bestimmt, wie schnell eine Antwort entsteht; der Grafikspeicher bestimmt, ob ein Modell überhaupt sinnvoll läuft und wie viele Anfragen es parallel bedient.

Baustein 1: die Gewichte des Modells

Der größte Posten sind die Gewichte, also die gelernten Parameter. Ihr Speicherbedarf ergibt sich aus Parameterzahl mal Bytes pro Parameter. Wie viele Bytes das sind, legt die Quantisierung fest, also die Genauigkeit, mit der jede Zahl gespeichert wird:

  • 16 Bit (FP16/BF16): 2 Bytes pro Parameter. Ein Modell mit 8 Milliarden Parametern braucht rund 16 GB, eines mit 70 Milliarden rund 140 GB.
  • 8 Bit: etwa 1 Byte pro Parameter, also rund 8 GB beziehungsweise 70 GB.
  • 4 Bit: etwa 0,55 bis 0,6 Bytes pro Parameter, also rund 5 GB beziehungsweise 40 GB.

Quantisierte Modelle verlieren etwas an Genauigkeit. Bei vielen Aufgaben im Unternehmen wie Zusammenfassen, Suchen oder Entwürfe schreiben fällt das kaum auf, bei anspruchsvoller Logik oder Programmcode eher. Ob die Qualität reicht, prüfst du am besten mit echten Beispielen aus deinem Alltag. Bei Modellen mit Mixture-of-Experts-Aufbau zählt übrigens die Gesamtzahl der Parameter, denn alle Experten müssen im Speicher liegen, auch wenn pro Wort nur ein Teil von ihnen rechnet.

Baustein 2: der Zwischenspeicher für den Text

Während das Modell eine Antwort schreibt, merkt es sich für jedes bisherige Textstück (Token) Zwischenergebnisse, den sogenannten KV-Cache. Seine Größe hängt vom Aufbau des Modells ab: Anzahl der Schichten, Anzahl der Key-Value-Köpfe, deren Breite und die Genauigkeit des Speichers. Ein Modell im Aufbau von Llama 3.1 8B belegt in 16 Bit rund 128 KB pro Token, ein 70B-Modell derselben Familie rund 320 KB pro Token (Inventive HQ, DEV Community).

Das klingt wenig, summiert sich aber schnell. Bei 8.000 Token Kontext, etwa einem längeren Vertrag samt Frage und Antwort, sind das beim kleinen Modell rund 1 GB, beim großen rund 2,5 GB. Nutzt jemand das volle Kontextfenster von 128.000 Token, belegt allein der Zwischenspeicher des 70B-Modells rund 40 GB. Und der Wert gilt pro gleichzeitiger Anfrage: Fragen zehn Kollegen parallel, braucht es den zehnfachen Platz.

Baustein 3: der Puffer für die Laufzeitumgebung

Die Software, die das Modell ausführt, braucht selbst Speicher für Zwischenrechnungen und Verwaltung. Rechne dafür mit 10 bis 20 Prozent zusätzlich (Flavio Copes, ComputingForGeeks). Eine Grafikkarte, die rechnerisch exakt voll ist, läuft in der Praxis nicht stabil.

Zwei Rechenbeispiele

Kleines Modell für das ganze Büro: Ein 8B-Modell in 8 Bit braucht rund 8 GB für die Gewichte. Sollen bis zu 20 Kollegen gleichzeitig mit je 8.000 Token arbeiten, kommen rund 20 GB Zwischenspeicher dazu. Mit Puffer landest du bei gut 30 GB. Das Beispiel zeigt: Bei vielen Nutzern kann der Zwischenspeicher größer werden als das Modell selbst.

Großes Modell für anspruchsvolle Aufgaben: Ein 70B-Modell in 4 Bit belegt rund 40 GB. Bei zehn parallelen Anfragen mit je 8.000 Token kommen rund 25 GB dazu, mit Puffer sind es gut 70 GB. Das passt auf eine große Rechenzentrums-GPU oder verteilt auf zwei Karten. Dasselbe Modell in 16 Bit bräuchte allein für die Gewichte 140 GB und damit mehrere Karten.

So schätzt du deinen eigenen Bedarf

  • Aufgabe festlegen: Für Zusammenfassungen, E-Mail-Entwürfe oder einen KI-Assistenten mit Firmenwissen reicht oft ein kleines oder mittleres Modell. Große Modelle lohnen sich bei komplexer Analyse und Programmcode.
  • Gleichzeitige Nutzer zählen: Entscheidend ist nicht die Zahl der Konten, sondern wie viele Anfragen zur gleichen Zeit laufen. In einem Team von 30 Personen sind das selten mehr als eine Handvoll.
  • Kontextlänge begrenzen: Wer ganze Handbücher in jede Anfrage packt, braucht viel Zwischenspeicher. Eine Suche, die nur die passenden Abschnitte mitgibt, spart Platz und liefert meist bessere Antworten.
  • Reserve einplanen: Neue Modellversionen, mehr Nutzer und längere Dokumente kommen erfahrungsgemäß schneller als gedacht.

Viele Laufzeitumgebungen können den Zwischenspeicher zusätzlich in 8 Bit ablegen und so halbieren oder Speicher seitenweise verwalten, damit weniger Platz ungenutzt bleibt. Solche Stellschrauben verschieben die Grenze, ersetzen aber keine saubere Schätzung. Am Ende zählt der Test: Ein kurzes KI-Pilotprojekt mit echten Aufgaben zeigt, welches Modell reicht und wie viel Speicher es im Betrieb wirklich belegt.

Hardware kaufen oder mieten?

Grafikkarten mit viel Speicher sind teuer, und die Anforderungen ändern sich mit jeder Modellgeneration. Deshalb lohnt es sich, den Bedarf zuerst auf gemieteten GPU-Servern zu ermitteln und erst danach über eigene Hardware zu entscheiden. Ob dein Anwendungsfall überhaupt ein eigenes Modell braucht, klärt unser Ratgeber Private KI oder Cloud-KI?.

Mit KI-Hosting & Datensouveränität betreiben wir private Sprachmodelle für dich, vermieten GPU-Server mit voller Betreuung und nehmen deine eigene KI-Hardware per Colocation in unseren 3 Rechenzentren an 2 Standorten in Gummersbach auf. Bei der Auswahl von Modell und Hardware unterstützt dich unsere KI-Einführung & Beratung.

Du willst wissen, welche GPU-Ausstattung zu deinem Vorhaben passt? Schreib uns an support@baebeca.de, ruf uns unter 02261-81616-0 an oder nimm Kontakt mit uns auf. Wir rechnen deinen Bedarf gemeinsam mit dir durch.

Alle Beiträge

Du hast Fragen? Wir helfen dir gern weiter.

Ruf uns an unter 02261-81616-0 oder schreib uns – wir melden uns zeitnah.