¿Qué hace falta para este LLM?
Elige el modelo que quieres servir. Lo dimensionamos a partir del checkpoint publicado y listamos las configuraciones más baratas que puedes alquilar hoy y que lo albergan, con la tarifa bajo demanda y serverless de cada una.
1 · Elige un modelo
2 · Qué necesita
Mistral Small 3.2 24B con 16 bits
58 GB de VRAM
con contexto corto: medido a partir del checkpoint publicado, no estimado desde el número de parámetros.
- Pesos del modelo
- 48 GB
- Caché KVincluida en la sobrecarga
- —
- Sobrecarga de ejecución20 % de los pesos
- 9,6 GB
Sobre este modelo
- Parámetros
- 24B
- Publicado en
- 16 bits
- Pesos medidos
- 48 GB
3 · Dónde ejecutarlo
Configuraciones reservables
Las más baratas primero, comprobadas contra 98 tipos de GPU con capacidad reservable en vivo.
| Configuración | VRAM total | Bajo demanda | Serverless | Detalles de la GPU |
|---|---|---|---|---|
| 5× NVIDIA RTX 3060 | 60 GB 2,4 GB libres | 0,26 €/h 0,05 €/GPU-h  Vast.ai | — | Ver todos los precios |
| 4× NVIDIA Tesla V100 16GB | 64 GB 6,4 GB libres | 0,28 €/h 0,07 €/GPU-h Vast.ai | — | Ver todos los precios |
| 2× NVIDIA Tesla V100 32GB | 64 GB 6,4 GB libres | 0,29 €/h 0,15 €/GPU-h  Omega Gradient | — | Ver todos los precios |
| 7× NVIDIA GTX 1070Ajustado | 56 GB 1,6 GB por debajo del margen | 0,30 €/h 0,04 €/GPU-h Vast.ai | — | Ver todos los precios |
| 4× NVIDIA RTX 4070 Ti Super | 64 GB 6,4 GB libres | 0,31 €/h 0,08 €/GPU-h Vast.ai | — | Ver todos los precios |
| 4× NVIDIA RTX 5060 Ti | 64 GB 6,4 GB libres | 0,31 €/h 0,08 €/GPU-h Vast.ai | — | Ver todos los precios |
| 4× NVIDIA Tesla P100 | 64 GB 6,4 GB libres | 0,31 €/h 0,08 €/GPU-h Vast.ai | — | Ver todos los precios |
| 7× NVIDIA Titan Xp | 84 GB 26 GB libres | 0,36 €/h 0,05 €/GPU-h Vast.ai | — | Ver todos los precios |
Mostrando las 8 más baratas. Pesos del modelo más un 20 % de sobrecarga de ejecución, a partir de tamaños de checkpoint medidos; una longitud de contexto declarada añade su caché KV. Cada precio es la tarifa reservable más barata para ese tamaño exacto de instancia, para la configuración completa: el más barato de los dos se resalta y ordena la tabla. Una cifra ×N es la VRAM total de N tarjetas y no afirma nada sobre el rendimiento de la interconexión.
Cómo se calcula
Los tamaños de los pesos se miden sobre los archivos reales del checkpoint en Hugging Face, nunca se derivan del número de parámetros, que falla con los lanzamientos cuantizados. Sobre los pesos asumimos un 20 % para activaciones, contexto CUDA y holgura del asignador. Declarar una longitud de contexto añade su caché KV de forma explícita, calculada solo para arquitecturas cuya forma de caché indica la configuración sin ambigüedad.
Una configuración que alberga los pesos y la caché pero no ese margen completo se marca como ajustada en lugar de ocultarse: cargará, e incluso puede funcionar con lote de tamaño uno, pero es previsible que falle bajo carga.
Los precios son la tarifa reservable más barata para ese tamaño exacto de instancia, actualizada con el resto del catálogo.