Notes techniques sur ce qui fait reellement tourner les modeles de langage en production. Ecrites du point de vue de l’ingenieur qui exploite ces systemes : GPU, serveurs d’inference, dimensionnement, fiabilite et cout.
Quel GPU pour votre IA locale : le calcul de VRAM en quelques minutes
Avant d’acheter du matériel ou de louer du cloud pour héberger un LLM en local, un calcul de VRAM déterministe dit si ça rentre et ce que ça coûte vraiment.
ROSA ou ARO : quel OpenShift managé pour votre budget cloud
ROSA sur AWS et ARO sur Azure vendent le même OpenShift managé au même tarif de licence. Ce qui change la facture, c’est ailleurs. Guide d’achat chiffré en euros.
Mesurer une NVIDIA A100 avec Kepler, puis comprendre pourquoi rien ne remontait
Un test de mesure électrique sur une A100, un écart de 0,59 W avec nvidia-smi, puis un bug de permissions remonté au projet Kepler.
Multi-Instance GPU : découper un H100 en tranches
Partitionner physiquement un GPU pour isoler les workloads et éviter le gaspillage.
Observer un parc GPU : DCGM, Prometheus, et ce qu'il faut vraiment mesurer
Mesurer l’utilisation GPU au-delà du pourcentage trompeur affiché par nvidia-smi.
L'interconnect : NVLink, PCIe, InfiniBand, pourquoi le réseau décide du multi-GPU
La bande passante entre GPU détermine quelles stratégies de parallélisme restent viables et à quel coût.
Servir un modèle trop gros pour un GPU : tensor et pipeline parallelism
Quand un modèle ne rentre pas dans un seul GPU, trois stratégies de parallélisme s’offrent à nous, chacune avec son compromis entre débit et latence.
Quantification : FP16, FP8, INT4, ce qu'on gagne et ce qu'on perd
Passer de FP16 à INT4 divise par quatre la VRAM et accélère l’inférence, mais au prix d’une dégradation de qualité mesurable.
Pourquoi un H100 au repos coûte une fortune, et comment on gère ça
Un GPU cloud facturé à l’heure produit un coût constant même au repos, et l’utilisation réelle dépasse rarement 30%.
Le NVIDIA GPU Operator : donner des GPU à Kubernetes
Comment automatiser l’enfer opérationnel des drivers GPU sur chaque nœud Kubernetes.