Was führt dieses LLM aus?
Wählen Sie das Modell, das Sie betreiben möchten. Wir bemessen es am veröffentlichten Checkpoint und listen die günstigsten heute mietbaren Konfigurationen, die es fassen — jeweils mit On-Demand- und Serverless-Tarif.
1 · Modell wählen
Nur in 4 Bit veröffentlicht — wir rechnen nie über den ausgelieferten Checkpoint hinaus.
2 · Was es braucht
Kimi K2.5 mit 4 Bit
714 GB VRAM
bei kurzem Kontext — am veröffentlichten Checkpoint gemessen, nicht aus der Parameterzahl geschätzt.
- Modellgewichte
- 595 GB
- KV-Cacheim Overhead enthalten
- —
- Laufzeit-Overhead20 % der Gewichte
- 119 GB
Über dieses Modell
- Parameter
- 1 Bio.
- Aktiv pro Token
- 32 Mrd.
- Veröffentlicht in
- 4 Bit
- Gemessene Gewichte
- 595 GB
3 · Wo es läuft
Buchbare Konfigurationen
Günstigste zuerst, geprüft gegen 98 GPU-Typen mit aktuell buchbarer Kapazität.
| Konfiguration | VRAM gesamt | On-Demand | Serverless | GPU-Details |
|---|---|---|---|---|
| 8× NVIDIA A100 80GBKnapp | 640 GB 74 GB unter dem Puffer | 4,89 €/Std. 0,61 €/GPU-Std.  Vast.ai | 13,56 €/Std. 1,70 €/GPU-Std.  Verda | Alle Preise |
| 8× NVIDIA RTX PRO 6000 | 768 GB 54 GB frei | 6,89 €/Std. 0,86 €/GPU-Std.  Lium | 14,32 €/Std. 1,79 €/GPU-Std. Verda | Alle Preise |
| 8× Intel Gaudi 2 | 768 GB 54 GB frei | 7,15 €/Std. 0,89 €/GPU-Std.  Cyfuture AI | — | Alle Preise |
| 4× AMD Instinct MI300X | 768 GB 54 GB frei | 9,78 €/Std. 2,45 €/GPU-Std. Cyfuture AI | — | Alle Preise |
| 4× AMD Instinct MI325X | 1.024 GB 310 GB frei | 10,63 €/Std. 2,66 €/GPU-Std. Cyfuture AI | — | Alle Preise |
| 8× NVIDIA H100Knapp | 640 GB 74 GB unter dem Puffer | 12,88 €/Std. 1,61 €/GPU-Std. Vast.ai | 24,62 €/Std. 3,08 €/GPU-Std. Verda | Alle Preise |
| 4× NVIDIA B200 | 720 GB 5,8 GB frei | 20,25 €/Std. 5,06 €/GPU-Std. Vast.ai | 23,14 €/Std. 5,79 €/GPU-Std. Verda | Alle Preise |
| 4× NVIDIA B200 CC | 720 GB 5,8 GB frei | 21,46 €/Std. 5,37 €/GPU-Std. Verda | — | Alle Preise |
Die 8 günstigsten werden angezeigt. Modellgewichte plus 20 % Laufzeit-Overhead, aus gemessenen Checkpoint-Größen; eine angegebene Kontextlänge addiert ihren KV-Cache. Jeder Preis ist der günstigste buchbare Tarif für genau diese Instanzgröße, für die gesamte Konfiguration — der günstigere der beiden ist hervorgehoben und bestimmt die Sortierung. Ein ×N-Wert ist der gesamte VRAM über N Karten und sagt nichts über den Durchsatz der Verbindung aus.
Wie das berechnet wird
Die Gewichtsgrößen werden an den tatsächlichen Checkpoint-Dateien auf Hugging Face gemessen — nie aus der Parameterzahl abgeleitet, die bei quantisierten Releases danebenliegt. Auf die Gewichte rechnen wir 20 % für Aktivierungen, CUDA-Kontext und Allocator-Reserve. Eine angegebene Kontextlänge addiert ihren KV-Cache explizit, berechnet nur für Architekturen, deren Cache-Form die Konfiguration eindeutig angibt.
Eine Konfiguration, die Gewichte und Cache fasst, aber nicht diesen vollen Puffer, wird als knapp markiert statt ausgeblendet — sie lädt und läuft womöglich bei Batchgröße eins, unter Last ist aber mit Problemen zu rechnen.
Preise sind der günstigste buchbare Tarif für genau diese Instanzgröße, aktualisiert mit dem übrigen Katalog.