Vitalik Buterin met en garde contre les risques de sécurité liés à l'IA et prône des systèmes axés sur le local

Vitalik Buterin a appelé à passer à une approche « local-first » pour l’intelligence artificielle. Il a déclaré que les outils d’IA modernes posent de sérieux risques en matière de confidentialité et de sécurité.

Résumé

  • Vitalik Buterin a exhorté à passer à une IA local-first, en avertissant que les systèmes basés sur le cloud exposent les données des utilisateurs et augmentent les risques de manipulation, de fuites et d’actions non autorisées.
  • Il a cité des recherches montrant qu’environ 15% des « compétences » d’agents d’IA contiennent des instructions malveillantes et a prévenu que les modèles peuvent inclure des backdoors cachées ou manquer de transparence totale.
  • Buterin a proposé une configuration locale utilisant des modèles sur l’appareil, le sandboxing, et la confirmation humain-IA afin de limiter les risques, alors que les agents autonomes d’IA continuent d’étendre leurs capacités et leurs surfaces d’attaque.

Dans un récent billet de blog, il a déclaré que l’IA dépasse désormais de simples outils de chat. Les systèmes plus récents agissent désormais comme des agents autonomes capables de « réfléchir pendant longtemps et d’utiliser des centaines d’outils » pour accomplir des tâches. Il a averti que ce changement augmente le risque d’exposition de données sensibles et d’actions non autorisées.

Buterin a déclaré qu’il avait déjà cessé d’utiliser de l’IA basée sur le cloud. Il a décrit sa configuration comme « autogérée, locale, privée et sécurisée ».

« Je pars d’un profond sentiment de crainte à l’idée de confier toute notre vie personnelle à l’IA du cloud », a-t-il écrit. Il a ajouté que les développements récents pourraient signifier « faire dix pas en arrière » en matière de confidentialité, même si le chiffrement et les outils local-first deviennent plus courants.

Vitalik Buterin met en avant les risques de confidentialité et de sécurité liés à l’IA

Buterin a déclaré que de nombreux systèmes d’IA reposent sur une infrastructure cloud. Il a averti que les utilisateurs « transmettent en pratique toute notre vie personnelle à l’IA du cloud », permettant aux serveurs externes d’accéder et de stocker leurs données.

Il a également évoqué les risques liés aux agents d’IA. Certains systèmes peuvent « modifier des paramètres critiques » ou introduire de nouveaux canaux de communication sans demander l’autorisation à l’utilisateur.

« Les LLM échouent parfois aussi », a-t-il écrit. Ils « peuvent faire des erreurs ou être trompés », ce qui augmente le besoin de garde-fous lorsqu’on leur donne davantage de contrôle.

La recherche citée dans son billet a révélé qu’environ 15% des « compétences » des agents contenaient des instructions malveillantes. Il a aussi été montré que certains outils pouvaient envoyer des données à des serveurs externes « sans que l’utilisateur en ait conscience ».

Il a averti que certains modèles peuvent contenir des backdoors cachées. Elles pourraient s’activer dans des conditions spécifiques et amener le système à agir dans l’intérêt du développeur.

Buterin a ajouté que de nombreux modèles décrits comme open-source ne sont que des « poids ouverts ». Leur structure interne n’est pas entièrement visible, ce qui laisse place à des risques inconnus.

La configuration personnelle de Vitalik pour répondre aux risques

Pour faire face à ces préoccupations, Buterin a proposé un système reposant sur une inférence locale, un stockage local et un sandboxing strict. Il a dit que l’idée est de « sandboxer tout » et de rester prudent face aux menaces extérieures.

Il a testé plusieurs configurations matérielles en utilisant le modèle Qwen3.5:35B. Des performances inférieures à 50 jetons par seconde lui semblaient « trop agaçantes » pour un usage régulier. Autour de 90 jetons par seconde offraient une expérience plus fluide.

Un ordinateur portable avec un GPU NVIDIA 5090 a délivré une performance proche de 90 jetons par seconde. Le matériel DGX Spark a atteint environ 60 jetons par seconde, qu’il a décrit comme « nul » par rapport à un ordinateur portable haut de gamme.

Sa configuration fonctionne sous NixOS avec llama-server gérant l’inférence locale. Des outils comme llama-swap aident à gérer les modèles, tandis que bubblewrap est utilisé pour isoler les processus et limiter l’accès aux fichiers et aux réseaux.

Il a dit que l’IA devrait être traitée avec prudence. Le système peut être utile, mais il ne faut pas lui faire totalement confiance, de la même manière que les développeurs abordent les smart contracts.

Pour réduire le risque, il utilise un modèle de confirmation « 2-sur-2 ». Les actions comme l’envoi de messages ou de transactions nécessitent à la fois la sortie de l’IA et l’approbation humaine. Il a déclaré que combiner des décisions « humain + LLM » est plus sûr que de se fier à l’un ou l’autre seul.

Lorsqu’il utilise des modèles distants, les demandes de Vitalik sont d’abord transmises à un modèle local, qui aide à supprimer les informations sensibles avant que quoi que ce soit ne soit envoyé.

Pour ceux qui ne peuvent pas se permettre de telles configurations, il a suggéré aux utilisateurs de « se regrouper avec un groupe d’amis, d’acheter un ordinateur et un GPU d’au moins ce niveau de puissance », puis de s’y connecter à distance.

La croissance des agents d’IA soulève de nouvelles inquiétudes et opportunités

L’utilisation des agents d’IA augmente, avec des projets comme OpenClaw qui gagnent du terrain. Ces systèmes peuvent fonctionner de manière autonome et accomplir des tâches en utilisant plusieurs outils.

De telles capacités introduisent aussi de nouveaux risques. Le traitement de contenus externes, comme une page web malveillante, peut conduire à un « contrôle facile » du système.

Certains agents peuvent modifier des invites ou des paramètres système sans approbation. Ces actions augmentent les chances d’accès non autorisé et de fuites de données.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
Ajouter un commentaire
Ajouter un commentaire
Aucun commentaire
  • Épingler