NVIDIA A30 12GB vGPU
12 GB · Ampere
Prix mis à jour .
Aucune offre actuellement
1 offre chez 0 fournisseurs
Aucun historique des prix disponible
Les données de suivi des prix apparaîtront ici dès qu'elles seront disponibles
LLM qui tiennent sur le GPU NVIDIA A30 12GB vGPU
LLM populaires à poids ouverts face à 12 GB par GPU : poids plus la place pour le cache KV, dans la meilleure précision qui tient.
Tient sur un seul GPU NVIDIA A30 12GB vGPU
- Gemma 3 12B4 bits · 9,4 GB
- Granite 4.1 8B8 bits · 12 GB
- Qwen3 8B8 bits · 11 GB
- Llama 3.1 8B Instruct8 bits · 11 GB
- Mistral 7B Instruct v0.38 bits · 9,6 GB
- Qwen3 4B16 bits · 9,7 GB
Tableau complet avec toutes les précisions
VRAM estimée des LLM à poids ouverts populaires en précision 16 bits (FP16/BF16), 8 bits (FP8/INT8) et 4 bits (INT4/MXFP4), pour 12 GB par GPU.
| Modèle | Paramètres | 16 bits | 8 bits | 4 bits |
|---|---|---|---|---|
| Gemma 3 12B Google | 12,2B | 29 GB Trop grand | 16 GB Trop grand | 9,4 GB 1× · 2,6 GB libres |
| Granite 4.1 8B IBM | 8,8B | 21 GB Trop grand | 12 GB Tient tout juste sur 1× | 6,8 GB 1× · 5,2 GB libres |
| Qwen3 8B Alibaba | 8,2B | 20 GB Trop grand | 11 GB 1× · 1,2 GB libres | 6,3 GB 1× · 5,7 GB libres |
| Llama 3.1 8B Instruct Meta | 8B | 19 GB Trop grand | 11 GB 1× · 1,4 GB libres | 6,2 GB 1× · 5,8 GB libres |
| Mistral 7B Instruct v0.3 Mistral AI | 7,2B | 17 GB Trop grand | 9,6 GB 1× · 2,4 GB libres | 5,6 GB 1× · 6,4 GB libres |
| Qwen3 4B Alibaba | 4B | 9,7 GB 1× · 2,3 GB libres | 5,3 GB 1× · 6,7 GB libres | 3,1 GB 1× · 8,9 GB libres |
Estimations : poids du modèle plus 20 % pour le cache KV et le surcoût du runtime, avec des contextes courts. Les contextes longs et les lots importants demandent davantage. Les lignes marquées « juste » contiennent les poids, mais pas toute cette marge. Une valeur ×N correspond à la VRAM totale de N de ces GPU et ne préjuge en rien du débit de l'interconnexion. Notre méthode d'estimation · Partir plutôt d'un modèle
Caractéristiques du GPU NVIDIA A30 12GB vGPU
Carte de classe entreprise, le GPU NVIDIA A30 12GB vGPU repose sur l'architecture Ampere et dispose de 12 GB de mémoire.
- Architecture
- Ampere
- Marque
- NVIDIA
- Série
- A30