Vitalik Buterin advierte sobre los riesgos de seguridad de la IA y promueve sistemas con enfoque local primero

Vitalik Buterin ha pedido un cambio hacia un enfoque de “local-first” en inteligencia artificial. Dijo que las herramientas modernas de IA plantean riesgos serios de privacidad y seguridad.

Resumen

  • Vitalik Buterin instó a un cambio hacia la IA local-first, advirtiendo que los sistemas basados en la nube exponen los datos de los usuarios y aumentan los riesgos de manipulación, filtraciones y acciones no autorizadas.
  • Citó investigaciones que muestran que aproximadamente el 15% de las “habilidades” de los agentes de IA contienen instrucciones maliciosas y advirtió que los modelos pueden incluir puertas traseras ocultas o no contar con plena transparencia.
  • Buterin propuso una configuración local usando modelos en el dispositivo, sandboxing y confirmación humano-IA para limitar los riesgos, ya que los agentes autónomos de IA continúan ampliando sus capacidades y superficies de ataque.

En un reciente post de blog, dijo que la IA está yendo más allá de simples herramientas de chat. Los sistemas más nuevos ahora actúan como agentes autónomos que pueden “pensar durante mucho tiempo y usar cientos de herramientas” para completar tareas. Advirtió que este cambio eleva el riesgo de exposición de datos sensibles y de acciones no autorizadas.

Buterin dijo que ya ha dejado de usar IA basada en la nube. Describió su configuración como “auto-soberana, local, privada y segura”.

“Vengo de una postura de profundo temor a alimentar toda nuestra vida personal a la IA en la nube”, escribió. Añadió que los desarrollos recientes podrían significar “dar diez pasos hacia atrás” en privacidad, incluso cuando el cifrado y las herramientas local-first se vuelven más comunes.

Vitalik Buterin destaca los riesgos de privacidad y seguridad de la IA

Buterin dijo que muchos sistemas de IA dependen de infraestructura en la nube. Advirtió que los usuarios, en la práctica, están “alimentando toda nuestra vida personal a la IA en la nube”, permitiendo que servidores externos accedan y almacenen sus datos.

También señaló riesgos vinculados a los agentes de IA. Algunos sistemas pueden “modificar configuraciones críticas” o introducir nuevos canales de comunicación sin pedir la autorización del usuario.

“Los LLM fallan a veces también”, escribió. “Pueden cometer errores o ser engañados”, lo que incrementa la necesidad de salvaguardas cuando se les otorga más control.

La investigación citada en su post encontró que aproximadamente el 15% de las “habilidades” de los agentes contenían instrucciones maliciosas. También se demostró que algunas herramientas enviaban datos a servidores externos “sin que el usuario lo supiera”.

Advirtió que ciertos modelos podrían contener puertas traseras ocultas. Estas podrían activarse bajo condiciones específicas y hacer que el sistema actúe en el interés del desarrollador.

Buterin añadió que muchos modelos descritos como de código abierto son solo “open-weights” (pesos abiertos). Su estructura interna no es totalmente visible, lo que deja margen para riesgos desconocidos.

La configuración personal de Vitalik para abordar los riesgos

Para lidiar con estas preocupaciones, Buterin propuso un sistema construido en torno a la inferencia local, el almacenamiento local y un sandboxing estricto. Dijo que la idea es “poner en sandbox todo” y mantenerse cauteloso sobre amenazas externas.

Probó varias configuraciones de hardware usando el modelo Qwen3.5:35B. El rendimiento por debajo de 50 tokens por segundo le pareció “demasiado molesto” para un uso habitual. Cerca de 90 tokens por segundo ofrecieron una experiencia más fluida.

Un portátil con una GPU NVIDIA 5090 entregó cerca de 90 tokens por segundo. El hardware DGX Spark alcanzó alrededor de 60 tokens por segundo, lo que describió como “patético” en comparación con un portátil de gama alta.

Su configuración funciona con NixOS y llama-server se encarga de la inferencia local. Herramientas como llama-swap ayudan a gestionar los modelos, mientras que bubblewrap se usa para aislar procesos y limitar el acceso a archivos y redes.

Dijo que la IA debe tratarse con cautela. El sistema puede ser útil, pero no debería confiarse plenamente, de forma similar a cómo los desarrolladores abordan los contratos inteligentes.

Para reducir el riesgo, utiliza un modelo de confirmación “2-of-2”. Acciones como enviar mensajes o transacciones requieren tanto la salida de la IA como la aprobación humana. Dijo que combinar decisiones de “humano + LLM” es más seguro que depender de cualquiera de los dos por separado.

Al usar modelos remotos, las solicitudes de Vitalik primero se pasan por un modelo local que ayuda a eliminar información sensible antes de que se envíe cualquier cosa.

Para quienes no puedan costear configuraciones de este tipo, sugirió que los usuarios “se reúnan en un grupo de amigos, compren una computadora y una GPU de al menos ese nivel de potencia” y se conecten a ella de forma remota.

El crecimiento de los agentes de IA plantea nuevas preocupaciones y oportunidades

El uso de agentes de IA está en aumento, con proyectos como OpenClaw ganando tracción. Estos sistemas pueden operar por su cuenta y completar tareas usando múltiples herramientas.

Tales capacidades también introducen nuevos riesgos. Procesar contenido externo, como una página web maliciosa, puede llevar a un “control fácil” del sistema.

Algunos agentes pueden cambiar prompts o configuraciones del sistema sin aprobación. Estas acciones aumentan las probabilidades de acceso no autorizado y filtraciones de datos.

Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
  • Recompensa
  • Comentar
  • Republicar
  • Compartir
Comentar
Añadir un comentario
Añadir un comentario
Sin comentarios
  • Gate Fun en tendencia

    Ver más
  • Cap.M.:$2.23KHolders:1
    0.00%
  • Cap.M.:$2.23KHolders:0
    0.00%
  • Cap.M.:$2.24KHolders:2
    0.24%
  • Cap.M.:$2.23KHolders:2
    0.00%
  • Cap.M.:$2.22KHolders:1
    0.00%
  • Anclado