Aller au contenu

Guide

Combien de RAM pour un LLM avec Ollama sur CPU ?

Faire tourner un LLM sans carte graphique, c'est possible avec Ollama sur CPU. Mais tout se joue sur la RAM : combien faut-il vraiment, et pour quel modèle ? Le guide de dimensionnement.

Publié le 10 min de lecturePar Jupiter

Dimensionnement de la RAM pour exécuter un LLM avec Ollama sur un serveur CPU

Ollama sur CPU : c’est la RAM qui décide

Ollama permet de télécharger et d’exécuter localement des modèles de langage comme Llama, Mistral, Gemma ou Qwen. Ces modèles sont généralement distribués sous une forme quantifiée. Une quantification 4 bits, souvent désignée par Q4, réduit fortement leur taille par rapport aux poids d’origine en FP16.

Ollama peut utiliser un GPU et sa VRAM, mais il fonctionne également sur CPU. Sur un VPS sans GPU, les calculs sont effectués par le processeur et le modèle est chargé dans la RAM système.

La question principale devient donc : le serveur possède-t-il assez de RAM pour conserver le modèle, son contexte et les services du système sans utiliser le swap ?

La taille annoncée du modèle, par exemple 3B, 8B ou 13B, correspond approximativement à son nombre de paramètres en milliards. Elle ne donne pas directement sa consommation de RAM. Celle-ci dépend notamment de la quantification choisie.

À titre d’ordre de grandeur :

  • Un modèle 3B en Q4 occupe souvent environ 2 Go.
  • Un modèle 7B ou 8B en Q4 occupe environ 4 à 5 Go.
  • Un modèle 13B en Q4 approche généralement 8 Go.
  • Un modèle 70B en Q4 peut dépasser 40 Go avant même de compter le contexte.

Il ne suffit toutefois pas d’installer autant de RAM que la taille du fichier du modèle. Il faut conserver une marge substantielle.

De quoi se compose le besoin en RAM (poids + contexte + système)

La mémoire nécessaire à Ollama comprend trois postes principaux.

Les poids quantifiés

Les poids représentent l’essentiel du modèle. Leur taille dépend du nombre de paramètres et de la quantification :

  • Q4 utilise environ 4 bits par poids, auxquels s’ajoutent des métadonnées.
  • Q8 demande presque deux fois plus de mémoire que Q4.
  • FP16 demande beaucoup plus de mémoire et présente rarement un intérêt sur un petit VPS CPU.

Le fichier téléchargé donne une première estimation utile, mais la mémoire réellement occupée pendant l’inférence peut être légèrement supérieure.

Le contexte et le KV cache

Ollama conserve en mémoire des informations associées aux tokens du contexte. Ce KV cache permet au modèle de traiter la conversation sans recalculer entièrement les tokens précédents.

Sa consommation dépend de plusieurs facteurs :

  • La longueur du contexte configurée avec num_ctx.
  • L’architecture et la taille du modèle.
  • La précision utilisée pour le cache.
  • Le nombre de requêtes ou de modèles chargés simultanément.

Un contexte de 8 192 tokens consomme donc davantage de RAM qu’un contexte de 2 048 tokens. Avec certains modèles, augmenter fortement le contexte peut ajouter plusieurs gigaoctets.

Le système et les autres services

Linux, Ollama et les applications installées utilisent également de la mémoire. Il faut notamment compter :

  • Le système d’exploitation.
  • Le service Ollama.
  • Un proxy web ou une API.
  • Une base vectorielle pour un système RAG.
  • n8n, Docker ou d’autres conteneurs.
  • Les caches et les processus d’administration.

Une machine de 8 Go ne fournit jamais 8 Go entièrement disponibles au modèle. Le bon calcul porte sur la RAM réellement libre, pas seulement sur la capacité commerciale du VPS.

Combien de RAM par taille de modèle

Le tableau suivant donne des estimations prudentes pour une utilisation CPU avec une quantification Q4. Les tailles exactes varient selon le modèle, son architecture et la longueur du contexte.

Taille du modèlePoids Q4 approximatifsRAM système conseilléeFaisabilité sur CPU
1B à 3B1 à 3 Go4 à 8 GoBonne pour des tâches courtes et ciblées
7B à 8B4 à 5 Go12 Go confortables, 16 Go plus sûrsFaisable, mais débit modeste sur un petit VPS
13BEnviron 8 Go16 Go minimum pratique, 24 Go avec plus de margePossible sur un CPU solide, généralement lent
70BSouvent 35 à 45 Go ou plus64 Go au strict minimum, souvent 96 Go ou davantageHors de portée pratique d’un VPS CPU standard

Pour un modèle 7B ou 8B, viser au moins 8 Go de RAM libre laisse de la place aux poids, au contexte et aux allocations temporaires. Comme le système et les services consomment déjà une partie de la mémoire, un VPS doté de 12 ou 16 Go est souvent plus cohérent qu’une machine de 8 Go.

Pour un modèle 13B Q4, 16 Go représentent une base raisonnable si le contexte reste maîtrisé et si peu de services tournent en parallèle. Une configuration de 24 Go apporte davantage de sécurité pour un RAG léger, une API ou un contexte plus long.

Un modèle 70B exige non seulement énormément de mémoire, mais aussi une bande passante mémoire et une puissance CPU importantes. Même s’il tient techniquement en RAM, sa vitesse peut le rendre inutilisable.

Le piège du swap

Lorsque Linux manque de RAM, il peut déplacer certaines pages mémoire vers le swap stocké sur disque. Cette fonction évite parfois l’arrêt brutal d’un processus, mais elle ne transforme pas le disque en RAM rapide.

Même avec un stockage NVMe, les accès au swap présentent une latence bien supérieure à celle de la mémoire vive. Pour un LLM, cela se traduit par :

  • Une chute sévère du débit de génération.
  • Des pauses longues ou irrégulières.
  • Un serveur qui répond difficilement aux autres services.
  • Un risque accru d’arrêt par le mécanisme OOM si la pression mémoire continue.

Si le modèle et son contexte dépassent régulièrement la RAM disponible, ajouter du swap ne constitue pas une solution de dimensionnement. Il faut choisir un modèle plus petit, réduire le contexte ou augmenter la RAM.

L’objectif est simple : les poids, le KV cache, Ollama et le système doivent tenir simultanément en mémoire vive.

Le contexte (num_ctx) gonfle la RAM

La fenêtre de contexte détermine la quantité de texte que le modèle peut prendre en compte pendant une requête. Elle inclut le prompt système, les messages précédents, les documents injectés dans un RAG et la réponse en cours.

Une grande valeur de num_ctx peut être utile pour analyser des documents longs, mais elle augmente la consommation du KV cache. Configurer systématiquement 32 000 ou 128 000 tokens n’est donc pas gratuit, même si le modèle annonce une telle capacité.

Pour un VPS CPU, mieux vaut commencer avec un contexte raisonnable, par exemple 2 048 ou 4 096 tokens, puis l’augmenter uniquement si le cas d’usage le justifie.

Il faut aussi éviter de confondre capacité maximale du modèle et valeur adaptée au serveur. Un modèle compatible avec 128 000 tokens peut fonctionner avec un contexte beaucoup plus court et consommer nettement moins de mémoire.

Dans un système RAG, il est souvent plus efficace d’améliorer la sélection des passages pertinents que d’injecter des dizaines de pages dans chaque requête.

Quantification : réduire la RAM sans tout casser

La quantification stocke les poids avec une précision plus faible. Elle réduit la mémoire nécessaire et peut rendre l’inférence CPU plus accessible.

Les principaux compromis sont les suivants :

FormatConsommation mémoireQualité approximativePertinence sur VPS CPU
Q4FaibleBon compromis généralRecommandé dans la plupart des cas
Q5 ou Q6IntermédiaireLégèrement meilleure selon le modèleIntéressant si la RAM le permet
Q8ÉlevéePlus proche du modèle non quantifiéSouvent trop lourd pour le gain obtenu
FP16Très élevéePrécision maximale des poidsPeu adapté à un VPS CPU

Une quantification Q4 peut légèrement dégrader la qualité, en particulier sur les tâches complexes, mais elle offre souvent le meilleur équilibre entre mémoire, vitesse et résultats.

Si un modèle Q8 ne tient pas confortablement en RAM, passer en Q4 est généralement préférable au recours au swap. Si le modèle Q4 reste trop lent, choisir moins de paramètres est souvent plus efficace qu’adopter une quantification encore plus agressive.

Ollama permet ensuite de télécharger et lancer simplement un petit modèle :

ollama pull llama3.2:3b
ollama run llama3.2:3b

Le nom exact et les variantes disponibles dépendent du modèle choisi. Il faut vérifier la taille téléchargée et observer la consommation réelle pendant une requête représentative.

Quelles performances attendre sur CPU

L’inférence sur CPU est sensiblement plus lente que sur un GPU récent. La RAM disponible détermine si le modèle peut fonctionner, mais elle ne garantit pas une génération rapide.

Le débit en tokens par seconde dépend notamment :

  • Du nombre de coeurs réellement disponibles.
  • De la fréquence et de la génération du processeur.
  • Des instructions prises en charge, notamment AVX et AVX2.
  • De la bande passante mémoire.
  • De la taille et de la quantification du modèle.
  • De la longueur du prompt et du contexte.
  • De la contention avec les autres clients ou services du VPS.

Un petit modèle 1B à 3B peut rester agréable pour une automatisation ou une requête ponctuelle. Un 7B ou 8B peut être exploitable si quelques secondes d’attente sont acceptables. Un 13B devient plus exigeant et peut produire lentement sur un nombre limité de coeurs.

Sur CPU, il vaut mieux privilégier la régularité et les traitements asynchrones plutôt qu’une expérience de conversation instantanée.

Quels usages sont réalistes sur un VPS CPU

Un VPS CPU convient surtout aux workloads modérés, internes ou exécutés en arrière-plan :

  • Résumer des tickets, des notes ou de petits documents.
  • Extraire des champs depuis du texte non structuré.
  • Classer des messages ou détecter des catégories.
  • Générer des brouillons courts.
  • Enrichir une automatisation n8n.
  • Alimenter un RAG léger avec peu d’utilisateurs.
  • Fournir un assistant interne peu sollicité.
  • Traiter une file de tâches sans exigence de réponse immédiate.

Ces usages tolèrent une latence de quelques secondes ou un traitement séquentiel. Ils permettent également de limiter le contexte et de sélectionner un modèle spécialisé de petite taille.

En revanche, un VPS CPU standard n’est pas adapté à un chatbot public massif, à de nombreuses générations simultanées ou à une application nécessitant des réponses instantanées. La concurrence entre requêtes augmente la pression sur la RAM et partage les ressources CPU déjà limitées.

Bien dimensionner son VPS pour Ollama

Pour choisir un VPS, il faut partir du modèle et du workload, puis ajouter une marge pour le système.

Une méthode prudente consiste à :

  1. Identifier le plus petit modèle capable de réaliser la tâche.
  2. Choisir une variante Q4.
  3. Relever la taille des poids.
  4. Définir un num_ctx réellement nécessaire.
  5. Ajouter la mémoire de l’OS, d’Ollama et des autres services.
  6. Conserver une marge pour les pointes et les mises à jour.
  7. Tester avec des prompts représentatifs en surveillant la RAM et le swap.

Il faut également éviter de garder plusieurs gros modèles chargés ou de lancer plusieurs générations simultanées sans avoir dimensionné la mémoire pour ce scénario.

Les VPS TalCloud, disponibles à partir de 3,99 €, sont hébergés en France avec stockage NVMe, virtualisation KVM, accès root et cadre RGPD. Ils ne disposent pas de GPU : leur usage avec Ollama concerne donc l’inférence CPU et la RAM système.

Cette configuration peut convenir à de petits modèles et à des automatisations non temps réel, à condition de choisir une offre disposant d’assez de RAM. Le NVMe améliore les téléchargements, le démarrage et les accès disque, mais il ne compense pas un manque de mémoire vive pendant l’inférence.

Conclusion

Pour faire tourner Ollama sur CPU, la RAM doit couvrir les poids quantifiés, le KV cache, le système et les services annexes. La taille du fichier du modèle n’est qu’un point de départ.

Un modèle 1B à 3B fonctionne généralement avec 4 à 8 Go de RAM. Pour un 7B ou 8B Q4, 12 à 16 Go offrent une marge plus réaliste. Un 13B demande environ 16 Go au minimum pratique, tandis qu’un 70B reste inadapté à un VPS CPU standard.

La meilleure stratégie consiste à choisir un modèle compact en Q4, limiter le contexte aux besoins réels, éviter les chargements concurrents et surveiller toute utilisation du swap. Sur CPU, un petit modèle correctement dimensionné sera presque toujours plus utile qu’un grand modèle techniquement chargé, mais beaucoup trop lent.

Articles liés