LiteLLM
Proxy open source sous licence MIT exposant plus de 100 API de modèles derrière un endpoint compatible OpenAI, à héberger dans son infrastructure.
SFEIR AI · Mis à jour le 5 septembre 2026
Un proxy que l'on possède
LiteLLM est un proxy écrit en Python, publié sous licence MIT par BerriAI — société fondée en 2023 à San Francisco par Krrish Dholakia et Ishaan Jaffer, passée par Y Combinator (promotion W23). Il expose plus d'une centaine d'API de modèles derrière un unique endpoint compatible OpenAI, sous deux formes : un SDK Python et un serveur proxy FastAPI. Le dépôt dépasse les 50 000 étoiles sur GitHub à la mi-2026.
Le modèle est open-core : le cœur est gratuit, une édition entreprise commerciale ajoute l'authentification unique SAML, la multi-location, la résidence des données et la gestion fine des rôles. Là où une marketplace vend l'accès et prélève une commission, LiteLLM ne prélève rien et laisse la facture d'exploitation. L'arbitrage entre les deux n'est pas idéologique, il est chiffrable.
Ce que le plan de contrôle recouvre
Les fonctions du proxy sont la traduction opérationnelle de cette possession. La clé fournisseur reste dans le proxy ; les équipes, projets et agents reçoivent des clés virtuelles dérivées, révocables individuellement. Les budgets sont des plafonds durs par projet, par équipe ou par clé, doublés d'une limitation de débit — un budget qui bloque valant mieux qu'une alerte qui informe.
S'y ajoutent la bascule automatique entre déploiements (d'une instance Azure vers l'API OpenAI, par exemple), les tentatives paramétrables, la répartition de charge, un cache Redis, des exceptions normalisées au format OpenAI, et des rappels d'observabilité vers Langfuse, Lunary, MLflow, Prometheus, Sentry, Helicone et OpenTelemetry. La donnée d'usage reste chez le client, ce qui change la nature des tableaux de bord que l'on peut construire.
- Clés virtuelles révocables, dérivées d'une clé fournisseur unique.
- Budgets durs par projet, équipe ou clé, avec limitation de débit.
- Bascule et répartition de charge inter-déploiements, cache Redis.
- Suivi de coût et rappels vers les principales plateformes d'observabilité.
Auto Router v2
Livré dans la série 1.94 à partir de juillet 2026 et encore en bêta, l'Auto Router v2 fusionne trois stratégies dans un routeur unique : classification par complexité sur quatre niveaux (SIMPLE, MEDIUM, COMPLEX, REASONING) appuyée sur un classifieur et des règles par mots-clés ; correspondance sémantique par embeddings, avec agrégation par maximum plutôt que par moyenne ; et exploration adaptative par échantillonnage de Thompson au sein d'un même palier.
Deux détails d'implémentation comptent davantage que la liste des stratégies. L'affinité de session, optionnelle, épingle le modèle choisi au premier tour pour ne pas invalider le cache de préfixe du fournisseur : sans elle, un routeur qui bascule vers un modèle moins cher peut coûter plus cher, puisque le contexte est repayé intégralement. L'escalade en cours de tâche, quand le routeur détecte un blocage, est présentée par l'éditeur comme faisant passer un taux de réussite de 38,9 % à 52,8 % — chiffre éditeur, protocole non publié.
Ce qu'il faut opérer, et ce que cela expose
C'est le prix réel de LiteLLM, et il ne figure sur aucune page tarifaire. Le proxy a besoin d'une base PostgreSQL et d'un Redis, et se déploie en production en haute disponibilité derrière un répartiteur de charge. L'outillage suit : images Docker estampillées stables après douze heures de tests de charge, chart Helm pour Kubernetes, modules Terraform publics pour AWS, architecture componentisée séparant passerelle, backend et interface, et une notion de plan de contrôle global qui sert l'administration sans router le trafic.
Un proxy qui détient les clés de tous les fournisseurs et voit passer tous les prompts est une cible de valeur. Des agrégateurs de renseignement sur les menaces rapportent pour 2026 un incident de chaîne d'approvisionnement suspecté sur PyPI en mars et une vulnérabilité d'injection SQL référencée CVE-2026-42208 en avril, qui aurait été exploitée rapidement après divulgation. Ces éléments ne proviennent pas d'un avis de sécurité de l'éditeur et demandent recoupement. Quel que soit leur degré de confirmation, ils fixent la bonne classification : un plan de contrôle LLM appartient au périmètre critique.
Questions fréquentes
LiteLLM est-il gratuit ?
Le cœur est sous licence MIT, sans commission ni redevance : vous payez vos tokens aux fournisseurs et l'infrastructure qui héberge le proxy. Une édition entreprise payante ajoute l'authentification unique, la multi-location, la résidence des données et la gestion fine des rôles.
Que faut-il pour exploiter LiteLLM en production ?
Une base PostgreSQL, un Redis et des instances du proxy en haute disponibilité derrière un répartiteur de charge. Des images Docker estampillées stables, un chart Helm et des modules Terraform pour AWS sont fournis.
Qu'apporte l'Auto Router v2 ?
Un routeur unique combinant classification par complexité sur quatre niveaux, correspondance sémantique par embeddings et exploration adaptative par échantillonnage de Thompson, avec affinité de session optionnelle pour préserver le cache de préfixe. La fonctionnalité est en bêta.
LiteLLM ou OpenRouter ?
LiteLLM si vous voulez posséder le routage, les budgets et les journaux, et si vous avez de quoi l'opérer. OpenRouter si vous voulez démarrer sans infrastructure. Les deux se combinent : le proxy devant les flux de production, la marketplace en secours et pour les modèles rares.
Sources
Articles liés
LiteLLM : posséder son plan de contrôle LLM
Clés virtuelles, budgets durs, bascule automatique, routage par complexité : LiteLLM fait tenir dans un proxy MIT ce que les marketplaces facturent en commission. En échange, il faut l'opérer, et sa surface d'attaque a fait parler en 2026.
LLM routers : trois métiers sous un même nom
Marketplace, plan de contrôle, optimiseur d'agents : le marché des AI gateways vend trois produits différents sous une étiquette unique. Les confondre mène à de mauvais achats. La grille de lecture, les stratégies de routage, et ce que le rachat d'OpenRouter par Stripe change à l'architecture.
Architecture multi-LLM souveraine : la résilience par le design
L'architecture multi-LLM souveraine est la réponse structurelle à la dépendance aux fournisseurs d'IA. Routage par sensibilité, modèles open source comme porte de sortie et résilience par le design : les clés d'une stratégie IA durable.
Cinq agents fiables à 90 % ne font pas un système fiable à 90 %. Ils font 59 %.
La fiabilité des chaînes d'agents est multiplicative, pas additive. Boucles d'évals, passerelle unifiée, FinOps des tokens, sécurité PII : les quatre piliers du plan de contrôle qui protège votre facteur 10x quand une flotte d'agents passe en production.