Quel GPU pour ce LLM ?
Choisissez le modèle que vous voulez servir. Nous le dimensionnons à partir du checkpoint publié et listons les configurations les moins chères que vous pouvez louer aujourd'hui pour l'accueillir — avec le tarif à la demande et Serverless de chacune.
1 · Choisissez un modèle
Le dimensionnement selon la longueur de contexte n’est pas publié pour cette architecture.
2 · Ce qu'il lui faut
Gemma 4 31B en 16 bits
75 GB de VRAM
avec un contexte court — mesuré à partir du checkpoint publié, et non estimé d'après le nombre de paramètres.
- Poids du modèle
- 63 GB
- Cache KVinclus dans le surcoût
- —
- Surcoût d'exécution20 % des poids
- 13 GB
À propos de ce modèle
- Paramètres
- 31,3B
- Publié en
- 16 bits
- Poids mesurés
- 63 GB
3 · Où l'exécuter
Configurations réservables
Les moins chères d'abord, parmi 101 types de GPU avec capacité réservable en temps réel.
| Configuration | VRAM totale | À la demande | Serverless | Détails du GPU |
|---|---|---|---|---|
| 4× NVIDIA Tesla P100Juste | 64 GB 11 GB sous la marge | 0,32 €/h 0,08 €/GPU/h  Vast.ai | — | Voir tous les prix |
| 8× NVIDIA T4 | 128 GB 53 GB libres | 0,36 €/h 0,04 €/GPU/h Vast.ai | — | Voir tous les prix |
| 8× NVIDIA RTX 3060 | 96 GB 21 GB libres | 0,36 €/h 0,04 €/GPU/h Vast.ai | — | Voir tous les prix |
| 1× NVIDIA A100 80GB | 80 GB 4,9 GB libres | 0,36 €/h Vast.ai | 2,29 €/h  Verda | Voir tous les prix |
| 1× NVIDIA A800 80GB PCIe | 80 GB 4,9 GB libres | 0,42 €/h Vast.ai | — | Voir tous les prix |
| 7× NVIDIA RTX 2080 Ti | 77 GB 1,9 GB libres | 0,44 €/h 0,06 €/GPU/h Vast.ai | — | Voir tous les prix |
| 2× NVIDIA Quadro RTX 8000 | 96 GB 21 GB libres | 0,45 €/h 0,22 €/GPU/h Vast.ai | — | Voir tous les prix |
| 6× NVIDIA Tesla V100 16GB | 96 GB 21 GB libres | 0,48 €/h 0,08 €/GPU/h Vast.ai | — | Voir tous les prix |
Affichage des 8 moins chères. Poids du modèle plus 20 % de surcoût d'exécution, d'après la taille mesurée des checkpoints ; une longueur de contexte indiquée ajoute son cache KV. Chaque prix est le tarif réservable le plus bas pour cette taille d'instance exacte, pour l'ensemble de la configuration — le moins cher des deux est mis en évidence et détermine l'ordre du tableau. Un chiffre ×N correspond à la VRAM totale sur N cartes et ne préjuge en rien du débit d'interconnexion.
Méthode de calcul
La taille des poids est mesurée à partir des fichiers de checkpoint réels sur Hugging Face — jamais déduite du nombre de paramètres, qui fausse le calcul pour les versions quantifiées. Aux poids, nous ajoutons 20 % pour les activations, le contexte CUDA et la marge de l'allocateur. Indiquer une longueur de contexte ajoute explicitement son cache KV, calculé uniquement pour les architectures dont la configuration décrit la forme du cache sans ambiguïté.
Une configuration qui peut contenir les poids et le cache, mais pas toute cette marge, est signalée comme tenant de justesse plutôt que masquée — le modèle se chargera et pourra très bien tourner avec un batch de taille un, mais attendez-vous à des difficultés sous charge.
Les prix correspondent au tarif réservable le plus bas pour cette taille d'instance exacte, actualisés avec le reste du catalogue.