Aller au contenu

Guide

Quel GPU pour faire tourner un LLM en local ?

Quelle carte pour exécuter un LLM chez soi ? Oubliez un instant les téraflops : le vrai critère, c'est la VRAM. Voici comment estimer ce qu'il vous faut, modèle par modèle.

Publié le 10 min de lecturePar Jupiter

Choix d'un GPU pour l'inférence d'un LLM en local, VRAM et quantification

Le seul chiffre qui compte vraiment : la VRAM

Pour choisir un GPU capable de faire tourner un grand modèle de langage en local, le premier critère est la VRAM, c’est-à-dire la mémoire directement accessible par le processeur graphique.

Pendant l’inférence, les poids du modèle doivent idéalement tenir entièrement dans cette mémoire. Lorsqu’une partie est déportée vers la RAM du système, le transfert entre le CPU et le GPU devient un goulot d’étranglement. Le modèle peut encore fonctionner, mais il répond généralement beaucoup moins vite.

La règle de base est la suivante :

VRAM nécessaire ≈ taille des poids + KV cache + mémoire de travail et overhead du moteur

La taille des poids dépend principalement de deux éléments :

  • Le nombre de paramètres du modèle
  • Le nombre d’octets utilisés pour représenter chaque paramètre

Un modèle de 7 milliards de paramètres, noté 7B, ne consomme donc pas toujours la même quantité de mémoire. Sa taille varie fortement selon qu’il est chargé en FP16, en 8 bits ou en 4 bits.

La VRAM ne détermine toutefois pas tout. Elle indique d’abord si le modèle peut être chargé correctement. Les performances dépendent aussi de la bande passante mémoire, de l’architecture du GPU, du moteur d’inférence et des optimisations disponibles.

Comment estimer la VRAM d’un modèle

Sans quantification, les modèles sont souvent distribués ou chargés en FP16. Chaque paramètre utilise alors environ 2 octets.

Le calcul théorique est simple :

Taille des poids ≈ nombre de paramètres × octets par paramètre

Pour un modèle 7B en FP16 :

7 milliards × 2 octets ≈ 14 Go

La quantification réduit la précision numérique des poids afin de diminuer leur taille. Pour l’inférence locale, elle permet souvent de diviser les besoins en mémoire sans dégrader radicalement la qualité du modèle.

FormatTaille théorique par paramètreTaille approximative d’un modèle 7BUsage courant
FP162 octets14 GoQualité maximale, GPU doté de beaucoup de VRAM
INT8Environ 1 octet7 à 8 GoBon compromis entre précision et mémoire
4 bitsEnviron 0,5 octetEnviron 4 GoInférence locale sur matériel plus accessible

Les formats 4 bits incluent notamment Q4, GGUF, GPTQ et AWQ. Ils ne sont pas strictement interchangeables : GGUF est très utilisé avec llama.cpp et l’inférence CPU ou hybride, tandis que GPTQ et AWQ sont courants dans les moteurs d’inférence GPU.

Le calcul brut reste une approximation. Les métadonnées, les échelles de quantification, l’alignement mémoire et certaines couches conservées dans une précision supérieure ajoutent un peu de volume. Un fichier 4 bits n’occupe donc pas toujours exactement 0,5 octet par paramètre.

Il faut également distinguer la taille du fichier sur le disque de la consommation réelle en VRAM. Le moteur d’inférence réserve de la mémoire supplémentaire pour exécuter le modèle, gérer les opérations intermédiaires et conserver le contexte.

Ne pas oublier le contexte : le KV cache

Après les poids, le principal poste de consommation est souvent le KV cache. Ce cache conserve les représentations intermédiaires des tokens déjà traités, afin que le modèle n’ait pas à recalculer toute la conversation à chaque nouveau token.

Sa taille augmente notamment avec :

  • La longueur du contexte
  • Le nombre de couches et la dimension du modèle
  • La précision utilisée pour le cache
  • Le nombre de requêtes traitées simultanément
  • La taille du batch

Un modèle peut donc tenir dans 8 Go de VRAM avec un contexte court, puis provoquer une erreur de mémoire avec une longue conversation ou plusieurs utilisateurs simultanés.

Les architectures récentes utilisant des mécanismes comme le grouped-query attention peuvent réduire la taille du KV cache, mais le principe reste le même : plus le contexte et le batch augmentent, plus il faut réserver de VRAM.

Pour un usage personnel avec une seule requête, une marge de quelques gigaoctets peut suffire selon le modèle et le contexte. Pour un serveur d’inférence avec plusieurs utilisateurs, la marge doit être nettement plus importante. Il est prudent de ne pas choisir une carte dont la capacité correspond exactement à la seule taille annoncée des poids.

VRAM par taille de modèle

Le tableau suivant donne des ordres de grandeur pour les poids. Il ne comprend pas une marge fixe pour le KV cache, car celle-ci varie selon l’architecture, la longueur du contexte, le batch et le moteur utilisé.

Taille du modèleFP168 bits4 bitsVRAM pratique à viser en 4 bits
7BEnviron 14 GoEnviron 7 à 8 GoEnviron 4 Go6 à 8 Go minimum
13BEnviron 26 GoEnviron 13 à 15 GoEnviron 7 à 8 Go10 à 12 Go minimum
70BEnviron 140 GoEnviron 70 à 80 GoEnviron 35 à 40 Go48 Go ou davantage

Ces valeurs doivent être lues comme des repères, pas comme des garanties universelles.

Un modèle 7B quantifié en 4 bits peut fonctionner sur une carte de 6 ou 8 Go, mais la longueur de contexte et les autres processus utilisant le GPU limiteront la marge disponible. Une carte de 12 à 16 Go offre davantage de souplesse pour les modèles intermédiaires.

Pour un modèle 13B en 4 bits, environ 8 Go peuvent suffire aux seuls poids. En pratique, viser 10 à 12 Go ou plus évite de travailler constamment à la limite.

Un modèle 70B en 4 bits représente environ 40 Go avec les différents overheads. Il nécessite généralement une très grosse carte professionnelle ou plusieurs GPU. Le partage sur plusieurs cartes ajoute de la complexité et les performances dépendent alors fortement des interconnexions et du moteur d’inférence.

CUDA, ROCm ou Apple Silicon ?

NVIDIA et CUDA dominent actuellement l’écosystème de l’inférence GPU. De nombreux projets et bibliothèques proposent leurs optimisations les plus matures sur CUDA. C’est notamment le cas de moteurs ou frameworks utilisés autour de llama.cpp, vLLM, PyTorch et des formats de quantification GPU.

Pour une machine dédiée à l’expérimentation ou à la production, NVIDIA reste généralement le choix le plus simple en matière de compatibilité. Il faut néanmoins vérifier la version des pilotes, de CUDA et des bibliothèques avant l’achat.

AMD ROCm progresse, avec un support croissant dans les frameworks courants. La compatibilité reste cependant plus variable selon la carte, le système d’exploitation et le moteur d’inférence. Une carte AMD dotée de beaucoup de VRAM peut être intéressante, mais il est indispensable de vérifier que le modèle et le logiciel visés prennent réellement en charge le matériel.

Apple Silicon suit une approche différente. Les Mac équipés de puces M-series utilisent une mémoire unifiée partagée entre le CPU et le GPU. Avec Metal et des outils comme llama.cpp, ils peuvent charger des modèles relativement importants si la machine dispose de suffisamment de mémoire unifiée.

Cette solution est séduisante pour un poste personnel : fonctionnement silencieux, consommation maîtrisée et environnement intégré. Toute la mémoire annoncée n’est toutefois pas disponible pour le modèle, puisque macOS et les applications l’utilisent également. Pour une production à fort débit, les GPU spécialisés restent généralement plus adaptés.

Et sans GPU, sur CPU ?

Il est tout à fait possible d’exécuter un LLM sans GPU. Des outils comme llama.cpp et Ollama peuvent charger des modèles GGUF quantifiés directement dans la RAM et utiliser les instructions vectorielles du processeur.

Cette approche convient pour :

  • Tester un petit modèle
  • Résumer ou classer des documents sans contrainte temps réel
  • Automatiser des tâches exécutées en arrière-plan
  • Construire un prototype avant d’investir dans du matériel
  • Traiter un faible nombre de requêtes

Sa principale limite est la vitesse. Le nombre de tokens générés par seconde reste généralement bien inférieur à celui obtenu avec un GPU adapté. La RAM classique dispose aussi d’une bande passante plus faible que la VRAM moderne.

Le CPU devient donc peu confortable pour les gros modèles, les longues réponses ou les applications interactives. Il est également mal adapté à un service comportant beaucoup d’utilisateurs simultanés. Un déport partiel de certaines couches sur le GPU peut offrir un compromis, mais les échanges avec la RAM réduisent le débit.

Débit : la VRAM ne fait pas tout

Deux GPU possédant la même quantité de VRAM peuvent fournir des performances très différentes. Une fois le modèle chargé, l’inférence est souvent limitée par la vitesse à laquelle les poids sont lus en mémoire.

La bande passante mémoire joue donc un rôle majeur. Une carte équipée de 24 Go de VRAM mais dotée d’une mémoire plus lente peut générer moins de tokens par seconde qu’une architecture plus récente ou mieux dimensionnée.

Les performances dépendent également :

  • Du type et de la génération de mémoire
  • De la puissance de calcul du GPU
  • Des unités spécialisées dans les calculs de faible précision
  • Du format de quantification
  • De la longueur du prompt
  • Du batch et du nombre d’utilisateurs
  • Du moteur d’inférence et de ses kernels
  • De la vitesse des communications entre plusieurs GPU

La VRAM répond à la question « le modèle tient-il ? ». La bande passante et l’architecture répondent davantage à la question « à quelle vitesse répondra-t-il ? ».

Quel GPU selon votre usage

Usage personnel et développement

Pour discuter avec un modèle, développer une application RAG ou tester des agents, une carte grand public dotée de 8 à 16 Go de VRAM peut suffire pour des modèles 7B quantifiés. Une capacité de 16 à 24 Go apporte plus de confort pour les modèles intermédiaires, les contextes longs et certaines expérimentations.

Un Mac Apple Silicon avec une quantité suffisante de mémoire unifiée constitue également une bonne station locale. Le choix dépend alors du compromis recherché entre compatibilité CUDA, consommation, mobilité et taille maximale des modèles.

Petite production

Pour servir plusieurs utilisateurs, la capacité nominale nécessaire augmente rapidement à cause du KV cache et du batch. Une carte professionnelle ou datacenter offrant 24 à 48 Go de VRAM, parfois davantage, apporte plus de marge et des caractéristiques conçues pour un fonctionnement soutenu.

La décision ne doit pas reposer uniquement sur le chargement du modèle. Il faut mesurer le débit, la latence au premier token, le nombre de requêtes simultanées et la consommation mémoire avec le contexte réellement prévu.

Gros modèle ou nombreux utilisateurs

Pour un modèle 70B, un contexte long ou une forte concurrence, il faut généralement envisager 48 à 80 Go de VRAM, voire plusieurs GPU. Cette architecture devient coûteuse et plus difficile à administrer.

Le modèle doit être réparti entre les cartes, et les communications entre GPU peuvent limiter les performances. À cette échelle, des tests représentatifs sont indispensables avant tout investissement.

Acheter ou louer un GPU

L’achat peut être pertinent lorsque le GPU sera utilisé fréquemment, que les données doivent rester sur site ou que la charge est stable. Il faut néanmoins intégrer l’alimentation, le refroidissement, le bruit, l’espace disponible et le renouvellement du matériel.

Les prix des GPU évoluent fortement selon les générations, les disponibilités et le marché de l’occasion. Il est donc plus fiable de comparer les solutions par capacité de VRAM, bande passante et coût total d’utilisation que de retenir un tarif précis.

Pour une expérimentation, un entraînement ponctuel ou quelques heures d’inférence intensive, louer un GPU dans le cloud est souvent plus rationnel. Cela permet de tester plusieurs capacités de VRAM avant d’acheter et d’éviter d’immobiliser un matériel coûteux qui resterait inutilisé une partie du temps.

Il faut cependant surveiller la facturation horaire, le stockage persistant, les transferts de données et le temps pendant lequel une instance reste active.

Le mot de la fin

Le bon GPU est d’abord celui dont la VRAM permet de charger les poids, le KV cache et l’overhead avec une marge suffisante. Pour un modèle 7B en 4 bits, 6 à 8 Go représentent un point de départ. Un 13B demande plutôt 10 à 12 Go en pratique. Un 70B quantifié se situe autour de 40 Go pour les poids et conduit souvent vers 48 Go ou plus, parfois sur plusieurs GPU.

TalCloud ne propose pas de GPU. Pour de l’inférence CPU sur de petits modèles quantifiés et des automatisations sans exigence temps réel, les VPS TalCloud, hébergés en France avec stockage NVMe et dans un cadre RGPD, peuvent convenir. Ils ne sont pas destinés aux gros modèles nécessitant une infrastructure GPU.

Articles liés