Promptfoo, Garak, PyRIT : comparatif red teaming IA

*Versions et licences relevées sur les dépôts officiels le 4 novembre 2026. Ces outils évoluent vite : vérifiez avant de décider.*

Quelles sont les versions et les licences actuelles ?

Au 4 novembre 2026, la dernière version publiée de Promptfoo est la 0.125.1 (25 octobre 2026, licence MIT), celle de Garak la v0.17.1 (16 octobre 2026, licence Apache-2.0) et celle de PyRIT la v1.1.0 (4 septembre 2026, licence MIT). Le dépôt de Promptfoo indique que le projet fait désormais partie d’OpenAI et qu’il reste open source sous licence MIT. PyRIT est développé par l’équipe AI Red Team de Microsoft et une communauté de contributeurs.

Comment se comparent Promptfoo, Garak et PyRIT ?

Le tableau reflète ce qu’indiquent les dépôts et la documentation. Ce n’est pas un benchmark : nous ne classons pas les outils par taux de détection, car le résultat dépend de la cible, du modèle utilisé comme juge et du budget d’attaque. Lisez cette comparaison comme une carte de ce que chaque outil sait faire, puis essayez-le sur votre propre agent avant de vous y fier.

Que fait Promptfoo pour tester un agent ?

Promptfoo décrit un test par une configuration déclarative : vous listez les plugins de vulnérabilité à activer, les stratégies d’attaque (par exemple multi-tours, GOAT, Hydra, arbre d’attaques, encodages) et la cible. Les plugins relevés dans la documentation couvrent des cas propres aux agents : contrôle d’accès à l’objet (BOLA) et à la fonction (BFLA), RBAC, excessive agency, outils MCP, injection indirecte, empoisonnement de mémoire et fuite entre sessions. Le plugin de fuite entre sessions génère des paires de prompts : un utilisateur A partage une information confidentielle, un utilisateur B tente de la récupérer dans une autre session.

Sa force : une configuration versionnée avec le code, relancée à chaque modification. Sa limite : les plugins génèrent des cas de test à partir de la description que vous fournissez. Plus cette description est pauvre, plus les attaques sont génériques.

Que fait Garak ?

Garak se présente comme un équivalent de nmap ou de Metasploit pour les LLM. Il combine des sondes statiques, dynamiques et adaptatives et teste l’hallucination, la fuite de données, l’injection de prompt, la désinformation, la génération de contenus toxiques et les jailbreaks. Dans le code du dépôt, on trouve entre autres des sondes d’injection de prompt, d’injection latente (instructions cachées dans des documents), d’injection par le web, d’extraction du prompt système, de recherche de clés d’API et de packages hallucinés.

La sonde agent_breaker, plus récente, vise les applications à outils : un modèle attaquant analyse chaque outil, génère des exploits ciblés et vérifie leur succès en conversant avec l’agent. Elle renvoie à l’OWASP LLM06 (Excessive Agency). Garak reste d’abord orienté modèle et conversation. Il est très utile en premier balayage, moins pour évaluer des droits d’accès dans un système métier.

Que fait PyRIT ?

PyRIT (Python Risk Identification Tool) s’adresse à ceux qui veulent composer leurs attaques. Le projet réunit un scanner en ligne de commande, une interface graphique (CoPyRIT) et un framework Python. Le code est organisé autour de composants que l’on assemble : cibles, convertisseurs de prompts, scorers, exécuteurs d’attaques et scénarios. Il peut viser une application complète via HTTP, WebSockets ou un navigateur piloté par Playwright.

C’est l’outil le plus flexible pour un spécialiste, et celui qui demande le plus de travail de configuration. Les fonctions disponibles dépendent de la cible et du modèle, comme l’indique le dépôt.

Quelles sont les limites de ces outils face à un test manuel ?

Les trois outils automatisent la génération d’attaques et la notation des réponses. Ils ne comprennent pas votre métier. Voici ce qui leur échappe le plus souvent :

• La logique d’autorisation propre à l’application : qui peut voir quel ticket, quel contrat, quel client. L’outil ne sait pas ce qu’est un cas légitime tant qu’on ne le lui décrit pas.
• Les chaînes d’attaque en plusieurs étapes à travers des outils réels : lire un document piégé, appeler un second outil, écrire dans un système tiers.
• Les faux positifs et faux négatifs du juge : la plupart des outils notent les réponses avec un autre modèle. Chaque résultat doit être relu.
• Les environnements réels : comptes de test, données, intégrations (CRM, messagerie, base de données) que l’outil ne connaît pas.
• L’impact métier : savoir qu’une réponse est « non conforme » ne dit pas ce qu’un attaquant peut en faire.

Chez CleanIssue, nous utilisons ces outils pour la couverture de base, puis nous menons les tests qui demandent de comprendre l’agent. Un résultat d’outil n’est jamais livré sans vérification manuelle ; voir notre méthode.

Comment lancer ces outils sans risque sur un agent ?

Lancez-les d’abord sur un environnement de développement ou de préproduction, avec des comptes de test et des données fictives. Ces outils envoient des centaines de requêtes, parfois des attaques qui déclenchent des actions réelles (envoi d’e-mails, écriture dans un CRM, appel d’API payantes). Avant le premier essai :

• Obtenez une autorisation écrite si l’agent ou ses intégrations appartiennent à un tiers.
• Coupez ou simulez les outils à effet (envoi, suppression, paiement) pour la phase de balayage.
• Fixez un budget de requêtes : les stratégies multi-tours multiplient les appels au modèle attaquant et au juge.
• Conservez les journaux de ce qui a été envoyé, pour reproduire chaque constat.
• Supprimez les données de test à la fin de la campagne.

Par défaut, CleanIssue teste sur du développement ou de la préproduction ; la production n’est visée que sur demande écrite du client.

Quel outil choisir selon votre situation ?

• Vous livrez un agent et voulez un garde-fou à chaque version : Promptfoo, en intégration continue.
• Vous voulez un premier état des lieux d’un modèle ou d’un chatbot : Garak.
• Vous avez une équipe sécurité et des scénarios spécifiques : PyRIT.
• Vous devez prouver à un client que l’agent résiste à des attaques réalistes : un test d’intrusion d’agent IA, avec rapport et preuves.

Le Red Team Agent Express (1 900 €, 5 jours, démarrage sous 48 h après signature du devis et de l’autorisation) combine couverture automatisée et tests manuels sur un agent. Pour plusieurs agents ou des intégrations nombreuses, voir le Red Team sur mesure, sur devis. Un rendez-vous découverte gratuit de 30 minutes permet de cadrer le périmètre.

Pour aller plus loin

• Red teaming d’agents IA
• Injection de prompt : le guide
• OWASP LLM Top 10 : le guide
• Excessive Agency (LLM06) : limiter les droits d’un agent