Guide
Quel GPU pour faire tourner un LLM en local ?
Quelle carte pour exécuter un LLM chez soi ? Oubliez un instant les téraflops : le vrai critère, c'est la VRAM. Voici comment estimer ce qu'il vous faut, modèle par modèle.

Le seul chiffre qui compte vraiment : la VRAM
Pour choisir un GPU capable de faire tourner un grand modèle de langage en local, le premier critère est la VRAM, c’est-à-dire la mémoire directement accessible par le processeur graphique.
Pendant l’inférence, les poids du modèle doivent idéalement tenir entièrement dans cette mémoire. Lorsqu’une partie est déportée vers la RAM du système, le transfert entre le CPU et le GPU devient un goulot d’étranglement. Le modèle peut encore fonctionner, mais il répond généralement beaucoup moins vite.
La règle de base est la suivante :
VRAM nécessaire ≈ taille des poids + KV cache + mémoire de travail et overhead du moteur
La taille des poids dépend principalement de deux éléments :
- Le nombre de paramètres du modèle
- Le nombre d’octets utilisés pour représenter chaque paramètre
Un modèle de 7 milliards de paramètres, noté 7B, ne consomme donc pas toujours la même quantité de mémoire. Sa taille varie fortement selon qu’il est chargé en FP16, en 8 bits ou en 4 bits.
La VRAM ne détermine toutefois pas tout. Elle indique d’abord si le modèle peut être chargé correctement. Les performances dépendent aussi de la bande passante mémoire, de l’architecture du GPU, du moteur d’inférence et des optimisations disponibles.
Comment estimer la VRAM d’un modèle
Sans quantification, les modèles sont souvent distribués ou chargés en FP16. Chaque paramètre utilise alors environ 2 octets.
Le calcul théorique est simple :
Taille des poids ≈ nombre de paramètres × octets par paramètre
Pour un modèle 7B en FP16 :
7 milliards × 2 octets ≈ 14 Go
La quantification réduit la précision numérique des poids afin de diminuer leur taille. Pour l’inférence locale, elle permet souvent de diviser les besoins en mémoire sans dégrader radicalement la qualité du modèle.
| Format | Taille théorique par paramètre | Taille approximative d’un modèle 7B | Usage courant |
|---|---|---|---|
| FP16 | 2 octets | 14 Go | Qualité maximale, GPU doté de beaucoup de VRAM |
| INT8 | Environ 1 octet | 7 à 8 Go | Bon compromis entre précision et mémoire |
| 4 bits | Environ 0,5 octet | Environ 4 Go | Inférence locale sur matériel plus accessible |
Les formats 4 bits incluent notamment Q4, GGUF, GPTQ et AWQ. Ils ne sont pas strictement interchangeables : GGUF est très utilisé avec llama.cpp et l’inférence CPU ou hybride, tandis que GPTQ et AWQ sont courants dans les moteurs d’inférence GPU.
Le calcul brut reste une approximation. Les métadonnées, les échelles de quantification, l’alignement mémoire et certaines couches conservées dans une précision supérieure ajoutent un peu de volume. Un fichier 4 bits n’occupe donc pas toujours exactement 0,5 octet par paramètre.
Il faut également distinguer la taille du fichier sur le disque de la consommation réelle en VRAM. Le moteur d’inférence réserve de la mémoire supplémentaire pour exécuter le modèle, gérer les opérations intermédiaires et conserver le contexte.
Ne pas oublier le contexte : le KV cache
Après les poids, le principal poste de consommation est souvent le KV cache. Ce cache conserve les représentations intermédiaires des tokens déjà traités, afin que le modèle n’ait pas à recalculer toute la conversation à chaque nouveau token.
Sa taille augmente notamment avec :
- La longueur du contexte
- Le nombre de couches et la dimension du modèle
- La précision utilisée pour le cache
- Le nombre de requêtes traitées simultanément
- La taille du batch
Un modèle peut donc tenir dans 8 Go de VRAM avec un contexte court, puis provoquer une erreur de mémoire avec une longue conversation ou plusieurs utilisateurs simultanés.
Les architectures récentes utilisant des mécanismes comme le grouped-query attention peuvent réduire la taille du KV cache, mais le principe reste le même : plus le contexte et le batch augmentent, plus il faut réserver de VRAM.
Pour un usage personnel avec une seule requête, une marge de quelques gigaoctets peut suffire selon le modèle et le contexte. Pour un serveur d’inférence avec plusieurs utilisateurs, la marge doit être nettement plus importante. Il est prudent de ne pas choisir une carte dont la capacité correspond exactement à la seule taille annoncée des poids.
VRAM par taille de modèle
Le tableau suivant donne des ordres de grandeur pour les poids. Il ne comprend pas une marge fixe pour le KV cache, car celle-ci varie selon l’architecture, la longueur du contexte, le batch et le moteur utilisé.
| Taille du modèle | FP16 | 8 bits | 4 bits | VRAM pratique à viser en 4 bits |
|---|---|---|---|---|
| 7B | Environ 14 Go | Environ 7 à 8 Go | Environ 4 Go | 6 à 8 Go minimum |
| 13B | Environ 26 Go | Environ 13 à 15 Go | Environ 7 à 8 Go | 10 à 12 Go minimum |
| 70B | Environ 140 Go | Environ 70 à 80 Go | Environ 35 à 40 Go | 48 Go ou davantage |
Ces valeurs doivent être lues comme des repères, pas comme des garanties universelles.
Un modèle 7B quantifié en 4 bits peut fonctionner sur une carte de 6 ou 8 Go, mais la longueur de contexte et les autres processus utilisant le GPU limiteront la marge disponible. Une carte de 12 à 16 Go offre davantage de souplesse pour les modèles intermédiaires.
Pour un modèle 13B en 4 bits, environ 8 Go peuvent suffire aux seuls poids. En pratique, viser 10 à 12 Go ou plus évite de travailler constamment à la limite.
Un modèle 70B en 4 bits représente environ 40 Go avec les différents overheads. Il nécessite généralement une très grosse carte professionnelle ou plusieurs GPU. Le partage sur plusieurs cartes ajoute de la complexité et les performances dépendent alors fortement des interconnexions et du moteur d’inférence.
CUDA, ROCm ou Apple Silicon ?
NVIDIA et CUDA dominent actuellement l’écosystème de l’inférence GPU. De nombreux projets et bibliothèques proposent leurs optimisations les plus matures sur CUDA. C’est notamment le cas de moteurs ou frameworks utilisés autour de llama.cpp, vLLM, PyTorch et des formats de quantification GPU.
Pour une machine dédiée à l’expérimentation ou à la production, NVIDIA reste généralement le choix le plus simple en matière de compatibilité. Il faut néanmoins vérifier la version des pilotes, de CUDA et des bibliothèques avant l’achat.
AMD ROCm progresse, avec un support croissant dans les frameworks courants. La compatibilité reste cependant plus variable selon la carte, le système d’exploitation et le moteur d’inférence. Une carte AMD dotée de beaucoup de VRAM peut être intéressante, mais il est indispensable de vérifier que le modèle et le logiciel visés prennent réellement en charge le matériel.
Apple Silicon suit une approche différente. Les Mac équipés de puces M-series utilisent une mémoire unifiée partagée entre le CPU et le GPU. Avec Metal et des outils comme llama.cpp, ils peuvent charger des modèles relativement importants si la machine dispose de suffisamment de mémoire unifiée.
Cette solution est séduisante pour un poste personnel : fonctionnement silencieux, consommation maîtrisée et environnement intégré. Toute la mémoire annoncée n’est toutefois pas disponible pour le modèle, puisque macOS et les applications l’utilisent également. Pour une production à fort débit, les GPU spécialisés restent généralement plus adaptés.
Et sans GPU, sur CPU ?
Il est tout à fait possible d’exécuter un LLM sans GPU. Des outils comme llama.cpp et Ollama peuvent charger des modèles GGUF quantifiés directement dans la RAM et utiliser les instructions vectorielles du processeur.
Cette approche convient pour :
- Tester un petit modèle
- Résumer ou classer des documents sans contrainte temps réel
- Automatiser des tâches exécutées en arrière-plan
- Construire un prototype avant d’investir dans du matériel
- Traiter un faible nombre de requêtes
Sa principale limite est la vitesse. Le nombre de tokens générés par seconde reste généralement bien inférieur à celui obtenu avec un GPU adapté. La RAM classique dispose aussi d’une bande passante plus faible que la VRAM moderne.
Le CPU devient donc peu confortable pour les gros modèles, les longues réponses ou les applications interactives. Il est également mal adapté à un service comportant beaucoup d’utilisateurs simultanés. Un déport partiel de certaines couches sur le GPU peut offrir un compromis, mais les échanges avec la RAM réduisent le débit.
Débit : la VRAM ne fait pas tout
Deux GPU possédant la même quantité de VRAM peuvent fournir des performances très différentes. Une fois le modèle chargé, l’inférence est souvent limitée par la vitesse à laquelle les poids sont lus en mémoire.
La bande passante mémoire joue donc un rôle majeur. Une carte équipée de 24 Go de VRAM mais dotée d’une mémoire plus lente peut générer moins de tokens par seconde qu’une architecture plus récente ou mieux dimensionnée.
Les performances dépendent également :
- Du type et de la génération de mémoire
- De la puissance de calcul du GPU
- Des unités spécialisées dans les calculs de faible précision
- Du format de quantification
- De la longueur du prompt
- Du batch et du nombre d’utilisateurs
- Du moteur d’inférence et de ses kernels
- De la vitesse des communications entre plusieurs GPU
La VRAM répond à la question « le modèle tient-il ? ». La bande passante et l’architecture répondent davantage à la question « à quelle vitesse répondra-t-il ? ».
Quel GPU selon votre usage
Usage personnel et développement
Pour discuter avec un modèle, développer une application RAG ou tester des agents, une carte grand public dotée de 8 à 16 Go de VRAM peut suffire pour des modèles 7B quantifiés. Une capacité de 16 à 24 Go apporte plus de confort pour les modèles intermédiaires, les contextes longs et certaines expérimentations.
Un Mac Apple Silicon avec une quantité suffisante de mémoire unifiée constitue également une bonne station locale. Le choix dépend alors du compromis recherché entre compatibilité CUDA, consommation, mobilité et taille maximale des modèles.
Petite production
Pour servir plusieurs utilisateurs, la capacité nominale nécessaire augmente rapidement à cause du KV cache et du batch. Une carte professionnelle ou datacenter offrant 24 à 48 Go de VRAM, parfois davantage, apporte plus de marge et des caractéristiques conçues pour un fonctionnement soutenu.
La décision ne doit pas reposer uniquement sur le chargement du modèle. Il faut mesurer le débit, la latence au premier token, le nombre de requêtes simultanées et la consommation mémoire avec le contexte réellement prévu.
Gros modèle ou nombreux utilisateurs
Pour un modèle 70B, un contexte long ou une forte concurrence, il faut généralement envisager 48 à 80 Go de VRAM, voire plusieurs GPU. Cette architecture devient coûteuse et plus difficile à administrer.
Le modèle doit être réparti entre les cartes, et les communications entre GPU peuvent limiter les performances. À cette échelle, des tests représentatifs sont indispensables avant tout investissement.
Acheter ou louer un GPU
L’achat peut être pertinent lorsque le GPU sera utilisé fréquemment, que les données doivent rester sur site ou que la charge est stable. Il faut néanmoins intégrer l’alimentation, le refroidissement, le bruit, l’espace disponible et le renouvellement du matériel.
Les prix des GPU évoluent fortement selon les générations, les disponibilités et le marché de l’occasion. Il est donc plus fiable de comparer les solutions par capacité de VRAM, bande passante et coût total d’utilisation que de retenir un tarif précis.
Pour une expérimentation, un entraînement ponctuel ou quelques heures d’inférence intensive, louer un GPU dans le cloud est souvent plus rationnel. Cela permet de tester plusieurs capacités de VRAM avant d’acheter et d’éviter d’immobiliser un matériel coûteux qui resterait inutilisé une partie du temps.
Il faut cependant surveiller la facturation horaire, le stockage persistant, les transferts de données et le temps pendant lequel une instance reste active.
Le mot de la fin
Le bon GPU est d’abord celui dont la VRAM permet de charger les poids, le KV cache et l’overhead avec une marge suffisante. Pour un modèle 7B en 4 bits, 6 à 8 Go représentent un point de départ. Un 13B demande plutôt 10 à 12 Go en pratique. Un 70B quantifié se situe autour de 40 Go pour les poids et conduit souvent vers 48 Go ou plus, parfois sur plusieurs GPU.
TalCloud ne propose pas de GPU. Pour de l’inférence CPU sur de petits modèles quantifiés et des automatisations sans exigence temps réel, les VPS TalCloud, hébergés en France avec stockage NVMe et dans un cadre RGPD, peuvent convenir. Ils ne sont pas destinés aux gros modèles nécessitant une infrastructure GPU.
Articles liés
Guide
Location de serveur de jeux : prix, critères et pièges à éviter
Louer un serveur de jeux : ce que vous louez vraiment, combien prévoir, les critères qui comptent (CPU, RAM, Anti-DDoS, localisation) et les pièges à éviter.
Guide
Comment choisir son hébergeur FiveM : les critères qui comptent
Choisir son hébergeur FiveM : accès txAdmin, OneSync et limite de 48 slots Cfx.re, MySQL, CPU, Anti-DDoS, ping et support. La grille pour comparer.
Guide
Créer un serveur RedM en 2026 : choisir entre VORP et RSG
Créer un serveur RedM en 2026 : clé Cfx.re, txAdmin, server.cfg et MySQL, puis choisir entre VORP et RSG selon vos scripts et votre équipe. Le guide.