NVIDIA A16

Le GPU A16 démarre à 0,12 € par GPU-heure, avec une médiane de 0,12 € sur 2 configurations disponibles. Le prix réel dépend du fournisseur, de la région et du mode de location : à la demande, Spot ou réservé.

2 fournisseurs proposent actuellement le GPU A16 : Sesterce Cloud, Vast.ai. Comparez leurs prix horaires, leurs régions et les caractéristiques des machines dans le tableau ci-dessus.

Le GPU A16 dispose de 16 GB de VRAM, ce qui détermine les plus grands modèles et tailles de batch qu'il peut garder en mémoire pour l'entraînement et l'inférence.

Avec 16 GB de VRAM, un seul GPU A16 peut servir des modèles comme Gemma 3 12B, Granite 4.1 8B, Qwen3 8B, Llama 3.1 8B Instruct. Le tableau ci-dessus indique la VRAM estimée pour chaque modèle en précision 16 bits, 8 bits et 4 bits, y compris les configurations multi-GPU nécessaires aux plus grands modèles.

Les plus grands modèles que nous suivons et qui tiennent sur plusieurs cartes A16 sont Qwen3.6 35B-A3B sur 2 GPU en 4 bits, Qwen3 32B sur 2 GPU en 4 bits, Gemma 4 31B sur 2 GPU en 4 bits. Une configuration multi-GPU signifie que vous louez et payez chaque carte pendant toute la durée d'utilisation, et répartir un modèle sur plusieurs cartes coûte aussi du débit : les GPU échangent des activations à chaque token, donc les performances dépendent de la rapidité de leur interconnexion. Nous ne suivons pas l'interconnexion : vérifiez les caractéristiques du nœud auprès du fournisseur. Le tableau ci-dessus donne la plus petite configuration pour chaque modèle en précision 16 bits, 8 bits et 4 bits.

Le prix à la demande le plus bas que nous suivons actuellement pour le GPU A16 est de 0,12 € par GPU-heure, chez Vast.ai. Les fournisseurs modifiant fréquemment leurs prix et leur disponibilité, vérifiez le tableau en direct ci-dessus avant de lancer une instance.