Quand utiliser un moteur d’inférence (et quand s’en passer)
API au token ou GPU dédiés ? Les signaux, les chiffres et les cas où il est trop tôt pour héberger toi-même un modèle derrière un moteur d’inférence.
Cours & Tutoriels : Inference
Faites tourner vos modèles efficacement : quantification, batching, KV cache, serveurs d’inférence et optimisation de la latence et du coût des LLM.
Optimiser un moteur d’inférence : les 6 techniques qui comptent
Batching, quantification, spéculation, cache KV, parallélisme, désagrégation : comment chaque technique contourne le goulot de l’inférence d’un LLM.