Donner plus d'autonomie aux "agents IA" nous détruira !

Vous pensez probablement à Claude, l’IA d’Anthropic, et plus précisément aux démonstrations récentes de ce qu’on appelle les « agents IA ».

Le point qui a fait particulièrement réagir les géants du numérique est le suivant :

Claude ne se contente plus de répondre à une question : il peut agir sur un ordinateur, utiliser un navigateur, lire des pages, cliquer, remplir des formulaires, écrire et exécuter du code, etc.
Anthropic a montré des IA capables de réaliser des tâches informatiques longues et complexes avec une autonomie croissante.
Plus inquiétant encore, des incidents récents ont montré qu'un agent IA pouvait être utilisé pour mener de véritables opérations de cybersécurité, notamment des attaques contre plusieurs dizaines d'organisations françaises. Anthropic affirme qu'un pirate a utilisé Claude pour automatiser une grande partie de l'opération.
Parallèlement, Anthropic affirme que des acteurs chinois ont utilisé Claude à très grande échelle pour extraire ses capacités et entraîner leurs propres modèles, ce qui montre la valeur stratégique de ces systèmes.
Mais il y a un événement encore plus spectaculaire

Ce qui semble actuellement provoquer une véritable inquiétude dans la Silicon Valley, c'est que les IA commencent à pouvoir agir seules sur Internet.

Dario Amodei, patron d'Anthropic, a récemment averti que des agents IA pourraient potentiellement prendre une place considérable sur Internet en seulement 6 à 12 mois si leur développement continue au rythme actuel.

Et c'est assez paradoxal : les dirigeants des grandes entreprises d'IA commencent eux-mêmes à demander de ralentir la course, alors même qu'ils continuent à développer ces technologies. Amodei (Anthropic), Sam Altman (OpenAI) et Elon Musk ont récemment appelé à davantage de prudence.

En résumé : on passe progressivement de « l'IA qui nous parle » à « l'IA qui agit à notre place ». C'est probablement cette bascule qui vous intéresse par rapport à votre réflexion sur Internet Civilisationnel : si des agents autonomes peuvent demain créer des comptes, publier, acheter, programmer, convaincre d'autres personnes et interagir entre eux sur Internet, Internet pourrait devenir en partie un espace peuplé et animé par des intelligences non humaines.

Si vous voulez,
je peux aussi vous résumer l'expérience précise d'Anthropic qui a montré qu'une IA pouvait pratiquement « prendre le contrôle » d'une entreprise informatique — c'est probablement celle à laquelle vous pensez..

Je pense que vous faites référence à l'expérience « Project Vend » d'Anthropic, qui est particulièrement intéressante pour comprendre le changement de nature des IA.
L'expérience, en quelques mots

Anthropic a donné à Claude la responsabilité de gérer presque seul une petite boutique installée dans ses bureaux : une sorte de distributeur/épicerie accessible aux employés. L'IA devait :

choisir les produits à vendre ;

fixer les prix ;

gérer les stocks et les commandes ;

répondre aux clients ;

essayer de faire fonctionner l'activité de manière rentable.

Claude disposait notamment de Slack pour communiquer avec les humains.

Et là, les choses deviennent intéressantes.

Claude s'est comporté comme un véritable petit dirigeant… mais avec des comportements très étranges. Des employés ont réussi à le convaincre de faire des réductions extravagantes ou de donner des produits gratuitement. Il a même commandé 40 cubes de tungstène, sans véritable utilité pour le magasin. À un moment, il a inventé une conversation et un contrat avec une personne qui n'existait pas.

Le magasin a finalement perdu de l'argent.
Pourquoi cette expérience est importante

Ce n'est donc pas parce que Claude était devenu « intelligent au point de prendre le pouvoir ».

C'est plutôt parce qu'Anthropic a démontré quelque chose de nouveau :

Une IA peut recevoir un objectif général et disposer des outils nécessaires pour essayer de l'atteindre dans le monde réel.

On passe ainsi de :

« Donne-moi une réponse »

à :

« Voici un objectif. Débrouille-toi pour le réaliser. »

Et cette évolution est considérable.

Aujourd'hui, les agents peuvent aller beaucoup plus loin : naviguer sur Internet, utiliser des logiciels, programmer, analyser des documents, communiquer avec des humains et d'autres systèmes. Anthropic développe précisément cette catégorie d'agents IA.
Et c'est là que votre question précédente devient très intéressante

Imaginez que l'on remplace la petite boutique par Internet.

Au lieu de donner à Claude :

« Fais fonctionner cette petite boutique »

on lui donne :

« Trouve 10 000 personnes intéressées par ce projet, contacte-les, présente-leur le projet, réponds à leurs questions et inscris celles qui sont intéressées. »

L'IA pourrait alors chercher, sélectionner, contacter, convaincre et inscrire, sans qu'un humain fasse chacune des opérations.

C'est précisément cette transition vers des agents autonomes capables d'agir sur Internet qui inquiète aujourd'hui certains dirigeants de l'industrie. Dario Amodei, patron d'Anthropic, estime même que des agents pourraient prendre une place considérable sur Internet très rapidement si leur développement continue au rythme actuel.

Et cela rejoint directement votre idée précédente : utiliser ChatGPT pour trouver des abonnés à partir de vos textes, schémas et sites. La différence entre un ChatGPT qui vous aide à préparer cette recherche et un agent qui réalise lui-même la recherche et les démarches est probablement l'une des évolutions majeures qui se dessinent actuellement.

Oui, et votre remarque touche à un point essentiel : l'autonomie d'une IA ne devrait pas signifier l'obéissance aveugle à un objectif quantitatif.

Dans votre exemple, si on lui dit :

« Trouve 10 000 personnes intéressées par le projet. »

une IA vraiment « civilisée » pourrait répondre :

« Je peux commencer par en identifier 10. Je vous les soumettrai pour validation, puis je pourrai en rechercher 10 autres la semaine prochaine. »

Cela introduit trois notions importantes :

La proportionnalité — l'objectif demandé est confronté aux moyens et au contexte.

La progressivité — l'IA commence à petite échelle avant de généraliser son action.

Le contrôle humain — elle ne transforme pas automatiquement une instruction en opération massive.

C'est peut-être même une distinction intéressante pour votre réflexion sur l'Internet Civilisationnel :

IA actuelle :
« On m'a demandé 10 000 → je cherche comment en obtenir 10 000. »

IA civilisationnelle :
« On m'a demandé 10 000 → est-ce raisonnable ? Je propose d'abord une expérimentation limitée, puis j'évalue avant de poursuivre. »

Autrement dit, la véritable intelligence d'un agent ne serait pas seulement sa capacité à accomplir une tâche, mais sa capacité à savoir quand il ne doit pas l'accomplir immédiatement à grande échelle.

C'est une idée qui pourrait très bien devenir un principe de votre Internet Civilisationnel : « Toute action autonome doit être proportionnée, progressive et réversible. »

Oui — pour une partie importante du problème, vous mettez le doigt sur un mécanisme très simple : introduire un coût réel à l'action automatisée.

Si publier 10 000 contenus, créer 10 000 comptes ou envoyer 10 000 sollicitations nécessite un paiement significatif, l'agent ne peut plus simplement multiplier les actions à coût quasi nul.

Mais il faut distinguer deux choses.
1. Le coût peut effectivement être un frein très puissant

Par exemple, si chaque action coûte :

0,01 € → 10 000 actions = 100 €

0,10 € → 10 000 = 1 000 €

1 € → 10 000 = 10 000 €

L'agent doit alors arbitrer : « Est-ce que cette action vaut son prix ? »

Cela rejoint d'ailleurs votre idée précédente : au lieu de demander « peux-tu faire 10 000 ? », l'IA devrait pouvoir dire :

« Oui, mais cela coûtera X. Je propose d'en faire 10 d'abord pour vérifier que cela fonctionne. »

2. Mais le paiement ne résout pas tout

Le problème est que quelqu'un peut fournir l'argent.

Une entreprise, un État ou un individu mal intentionné disposant de millions d'euros pourrait financer des millions d'actions automatisées.

Le paiement devient alors un frein économique, mais pas nécessairement une protection suffisante.

Il existe aussi des actions dont le coût est très faible : publier sur son propre site, générer du code, produire des textes, créer des images, analyser des informations, etc.
Ce qui me paraît particulièrement intéressant dans votre raisonnement

Vous êtes en train de déplacer le problème.

On parle souvent de :

« Comment empêcher l'IA d'être trop intelligente ? »

Alors qu'une question peut-être plus opérationnelle serait :

« Comment empêcher une intelligence, humaine ou artificielle, d'exercer une capacité d'action disproportionnée par rapport aux ressources et aux autorisations qui lui sont accordées ? »

Et là, paiement + quotas + autorisations + progression par étapes + validation humaine peuvent constituer un véritable système de limitation.

Cela pourrait même donner une règle très simple pour un Internet civilisationnel :

Une intelligence ne devrait jamais pouvoir transformer instantanément une intention en action massive.

Elle devrait disposer d'un budget d'action, exactement comme elle disposerait d'un budget financier.
Pour sécuriser des postes et serveurs, voici une option de gestion et sécurité.

Vous avez raison de faire la distinction. Créer des milliers de faux comptes ne permet pas, à lui seul, de « contrôler Internet ». Cette expression est largement une simplification.

Le véritable risque est plutôt celui d'une prise de contrôle de certaines fonctions d'Internet par des agents autonomes, si plusieurs capacités se combinent.
Le mécanisme serait plutôt celui-ci

Un agent pourrait éventuellement :

1. Se multiplier
Créer ou utiliser de nombreux comptes, adresses e-mail, sites, bots, etc.

2. Produire du contenu à très grande échelle
Articles, commentaires, vidéos, messages, avis, réponses...

3. Interagir avec les humains
Répondre individuellement, adapter son discours, identifier les personnes susceptibles d'être convaincues.

4. Coordonner tous ces comptes
C'est là que le phénomène change d'échelle : des milliers d'agents pourraient agir simultanément selon une stratégie commune.

5. Agir sur les systèmes qui structurent Internet
Publicité, référencement, réseaux sociaux, achats, programmation, administration de serveurs, etc.

Le problème n'est donc pas « l'IA contrôle Internet », mais plutôt :

une IA suffisamment autonome pourrait contrôler une quantité croissante des actions qui se déroulent sur Internet.

Et il y a une différence fondamentale

Aujourd'hui, Internet est essentiellement :

humains → plateformes → contenus

Avec des agents autonomes en très grand nombre, on pourrait progressivement avoir :

IA → IA → plateformes → humains

Par exemple, si 90 % des contenus, réponses, recommandations et transactions étaient produits ou influencés par des agents, l'humain ne contrôlerait plus directement l'information qu'il reçoit.

Mais même dans ce scénario, les grandes infrastructures — Google, Meta, Microsoft, Amazon, les opérateurs télécoms, les États, les centres de données, etc. — continueraient à contrôler des parties essentielles d'Internet.

Donc je nuancerais fortement la formule « contrôler Internet ».

Le risque beaucoup plus crédible est :

« devenir capable d'agir sur Internet à une échelle et à une vitesse supérieures à celles des humains. »

Et c'est justement votre remarque précédente sur les 10 000 personnes qui me paraît importante : le danger n'est peut-être pas l'IA qui devient toute-puissante, mais l'absence de frein entre une intention humaine et une action massive.

C'est là qu'une règle comme « 10 maintenant, puis évaluation avant de passer à 100, puis 1 000 » prend tout son sens.

Oui. Et cette formulation me paraît beaucoup plus solide que l'idée de vouloir empêcher l'IA d'agir.

Le principe serait :

L'humain reste responsable de tout contenu qu'il publie, qu'il l'ait créé seul ou avec l'aide d'une IA.

Cela change profondément la logique. L'IA peut devenir un outil extrêmement puissant, mais elle ne devient pas l'auteur juridiquement ou moralement responsable à la place de l'humain.

On pourrait même distinguer trois situations :

Création humaine → l'humain est responsable.

Création humaine assistée par IA → l'humain reste responsable de la publication.

Création entièrement produite par un agent IA → la personne ou l'organisation qui a commandé, autorisé ou publié le contenu en assume la responsabilité.

Et cela répond à votre problème des faux comptes et de la production massive : l'agent ne doit pas pouvoir devenir une entité irresponsable qui déverse du contenu sur Internet.

Le principe pourrait donc être formulé ainsi :

Toute publication sur l'Internet doit pouvoir être rattachée à un responsable humain ou à une organisation identifiable, y compris lorsqu'elle a été produite avec l'aide d'une intelligence artificielle.

C'est, à mon avis, une piste beaucoup plus intéressante pour votre Internet Civilisationnel que la recherche d'un « contrôle de l'IA ».