Selon BlockBeats, le 15 mai, GoPlus Security a dévoilé un nouvel axe d’attaque contre les agents d’IA via le « memory poisoning »—en exploitant le mécanisme de mémoire à long terme pour déclencher des opérations sensibles non autorisées, comme des remboursements ou des virements de fonds.
L’attaque ne repose pas sur des vulnérabilités traditionnelles, mais plutôt sur l’injection de mémoire historique. Les attaquants commencent par amener les agents à « mémoriser des préférences », comme « prioriser généralement les remboursements plutôt que les chargebacks », puis utilisent des instructions vagues comme « traiter comme d’habitude » ou « exécuter comme auparavant » dans des commandes ultérieures pour déclencher des mouvements automatisés de fonds. GoPlus a souligné que les agents d’IA peuvent interpréter à tort des préférences historiques comme une autorisation, entraînant des pertes financières. L’équipe a recommandé de mettre en place une confirmation explicite de session pour les opérations sensibles, de considérer les instructions basées sur la mémoire comme des changements d’état à haut risque, d’assurer la traçabilité des traces mémoire et d’escalader automatiquement les commandes ambiguës afin d’exiger une vérification secondaire.
Related News
OpenAI ajoute la détection des conversations de crise sur ChatGPT, améliorant la capacité d’alerte en cas de violence d’automutilation
WhatsApp avec Meta AI lance des conversations sans trace, les messages qui disparaissent automatiquement suscitent des inquiétudes quant à une éventuelle mise en cause
Mistral AI en pourparlers avec une banque européenne pour développer Mythos, un modèle alternatif de cybersécurité