Les agents ne posent pas un problème technique. Ils posent un problème de signature.

Situation réelle observée

Les démos d’agents autonomes montrent des systèmes qui prennent des décisions, exécutent des actions, modifient des états. L’illusion dominante est que cette autonomie résout un problème technique : la vitesse, l’échelle, la réduction des coûts.

Illusion dominante

L’autonomie technique est présentée comme une fin en soi. On parle de “délégation à l’agent” comme si c’était une délégation à un collègue.

Mécanisme réel

Un agent n’est pas un employé. C’est un programme qui exécute des instructions. Quand il “décide”, il applique des règles définies par des humains. Mais ces règles ne couvrent pas tous les cas. Les cas non prévus créent des actions non signées.

Cause → Effet :

• Un agent agit sans validation → Une conséquence imprévue survient → Personne n’a signé cette action → La responsabilité est diluée

Ce qui casse si on ignore le signal

1. Responsabilité diluée : Quand un agent prend une décision qui cause un dommage, qui est responsable ? Le développeur ? Le product owner ? Le CTO ? L’entreprise ?

2. Risque juridique : En cas de litige, l’absence de signature humaine crée une zone grise. Les assurances, les contrats, les régulations ne sont pas adaptés à des décisions non signées.

3. Perte de contrôle organisationnel : Les décisions prises par des agents non signées échappent au contrôle hiérarchique. Impossible de tracer qui a autorisé quoi.

Qui porte la responsabilité finale

Le dirigeant qui autorise le déploiement d’un agent sans signature. Pas le développeur. Pas l’agent. Le dirigeant.

Décision à prendre

Toute action d’un agent qui modifie un état externe (base de données, API, email, transaction) doit être signée par un humain identifié avant exécution.

Coût assumé :

• Latence ajoutée (validation humaine)
• Coût opérationnel (temps de validation)
• Complexité technique (système de signature)

Bénéfice :

• Traçabilité totale
• Responsabilité claire
• Conformité réglementaire
• Réduction des risques

Implémentation

1. Signature explicite : Avant toute action critique, l’agent soumet une demande de signature avec contexte.
2. Traçabilité : Chaque action signée est enregistrée avec : qui, quand, pourquoi, contexte.
3. Escalade : Si la signature n’arrive pas dans un délai défini, l’action est annulée ou escaladée.

Ce n’est pas une contrainte technique. C’est une contrainte organisationnelle assumée.