Evento masivo permitirá a los hackers probar los límites de la IA

tecnologia, red latina, redlatinastl, inteligencia arltificial

2023-05-11

OpenAI, y otros importantes proveedores de IA, como Google y Microsoft, se están coordinando con la administración de Biden para permitir que miles de piratas informáticos prueben los límites de su tecnología.

<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Tan pronto como ChatGPT se desató, los piratas informáticos comenzaron a "hacer jailbreak" al chatbot de inteligencia artificial, tratando de anular sus medidas de seguridad para que pudiera dejar escapar algo desquiciado u obsceno.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Pero ahora su creador, OpenAI, y otros importantes proveedores de IA, como Google y Microsoft, se están coordinando con la administración de Biden para permitir que miles de piratas informáticos prueben los límites de su tecnología.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Algunas de las cosas que buscarán encontrar: ¿Cómo se pueden manipular los chatbots para causar daño? ¿Compartirán la información privada que les confiamos a otros usuarios? ¿Y por qué suponen que un médico es un hombre y una enfermera es una mujer?<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">“Es por eso que necesitamos miles de personas”, dijo Rumman Chowdhury, coordinador del evento de hacking masivo planeado para la convención de hackers DEF CON de este verano en Las Vegas que se espera atraiga a varios miles de personas. “Necesitamos mucha gente con una amplia gama de experiencias vividas, experiencia en la materia y antecedentes que pirateen estos modelos y traten de encontrar problemas que luego puedan solucionarse”.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Cualquiera que haya probado ChatGPT, el chatbot Bing de Microsoft o Bard de Google habrá aprendido rápidamente que tienen una tendencia a fabricar información y presentarla con confianza como un hecho. Estos sistemas, construidos sobre lo que se conoce como grandes modelos lingüísticos, también emulan los sesgos culturales que aprendieron al recibir capacitación sobre grandes tesoros de lo que la gente ha escrito en línea.

<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">La idea de un hackeo masivo llamó la atención de los funcionarios del gobierno de EE. UU. en marzo en el festival South by Southwest en Austin, Texas, donde Sven Cattell, fundador de AI Village de larga data de DEF CON, y Austin Carson, presidente de SeedAI, una organización sin fines de lucro responsable de AI. , ayudó a dirigir un taller en el que se invitaba a estudiantes de universidades comunitarias a piratear un modelo de IA.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Carson dijo que esas conversaciones finalmente se convirtieron en una propuesta para probar modelos de lenguaje de IA siguiendo las pautas del Plan de la Casa Blanca para una Declaración de Derechos de IA, un conjunto de principios para limitar los impactos del sesgo algorítmico, dar a los usuarios control sobre sus datos y garantizar que los sistemas automatizados se utilizan de forma segura y transparente.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Ya existe una comunidad de usuarios que hacen todo lo posible para engañar a los chatbots y resaltar sus fallas. Algunos son "equipos rojos" oficiales autorizados por las empresas para "atacar rápidamente" los modelos de IA para descubrir sus vulnerabilidades. Muchos otros son aficionados que muestran contenido humorístico o inquietante en las redes sociales hasta que son baneados por violar los términos de servicio de un producto.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">“Lo que sucede ahora es una especie de enfoque disperso en el que la gente encuentra cosas, se vuelve viral en Twitter”, y luego puede o no arreglarse si es lo suficientemente atroz o si la persona que llama la atención es influyente, dijo Chowdhury.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">En un ejemplo, conocido como el "exploit de la abuela", los usuarios pudieron hacer que los chatbots les dijeran cómo hacer una bomba (una solicitud que un chatbot comercial normalmente rechazaría) pidiéndoles que simulen que es una abuela que cuenta un cuento antes de dormir sobre como hacer una bomba

<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">En otro ejemplo, la búsqueda de Chowdhury usando una versión anterior del chatbot del motor de búsqueda Bing de Microsoft, que se basa en la misma tecnología que ChatGPT pero puede extraer información en tiempo real de Internet, llevó a un perfil que especulaba que a Chowdhury "le encanta comprar nuevos zapatos todos los meses” e hizo afirmaciones extrañas y de género sobre su apariencia física.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Chowdhury ayudó a introducir un método para recompensar el descubrimiento del sesgo algorítmico en AI Village de DEF CON en 2021 cuando era la jefa del equipo de ética de IA de Twitter, un trabajo que desde entonces fue eliminado tras la adquisición de la empresa por parte de Elon Musk en octubre. Pagar a los piratas informáticos una "recompensa" si descubren un error de seguridad es algo común en la industria de la ciberseguridad, pero era un concepto más nuevo para los investigadores que estudiaban el sesgo dañino de la IA.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">El evento de este año tendrá una escala mucho mayor y es el primero en abordar los grandes modelos de lenguaje que han atraído un aumento del interés público y la inversión comercial desde el lanzamiento de ChatGPT a fines del año pasado.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Chowdhury, ahora cofundador de Humane Intelligence, una organización sin fines de lucro de responsabilidad de inteligencia artificial, dijo que no se trata solo de encontrar fallas, sino de descubrir formas de solucionarlas.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">“Este es un conducto directo para dar retroalimentación a las empresas”, dijo. “No es que solo estemos haciendo este hackathon y todos se vayan a casa. Pasaremos meses después del ejercicio compilando un informe, explicando las vulnerabilidades comunes, las cosas que surgieron, los patrones que vimos”.

<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Algunos de los detalles aún se están negociando, pero las empresas que acordaron proporcionar sus modelos para la prueba incluyen OpenAI, Google, el fabricante de chips Nvidia y las nuevas empresas Anthropic, Hugging Face y Stability AI. La construcción de la plataforma para la prueba es otra startup llamada Scale AI, conocida por su trabajo en la asignación de humanos para ayudar a entrenar modelos de IA mediante el etiquetado de datos.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">“A medida que estos modelos básicos se generalizan cada vez más, es realmente fundamental que hagamos todo lo posible para garantizar su seguridad”, dijo el director ejecutivo de Scale, Alexandr Wang. “Puedes imaginar a alguien en un lado del mundo haciéndole algunas preguntas muy delicadas o detalladas, incluida parte de su información personal. No quieres que esa información se filtre a ningún otro usuario”.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">Otros peligros que preocupan a Wang son los chatbots que dan "consejos médicos increíblemente malos" u otra información errónea que puede causar daños graves.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">El cofundador de Anthropic, Jack Clark, dijo que se espera que el evento DEF CON sea el comienzo de un compromiso más profundo por parte de los desarrolladores de IA para medir y evaluar la seguridad de los sistemas que están construyendo.<span style="font-size:13pt;font-family:Arial;color:#000000;background-color:transparent;font-weight:400;font-style:normal;font-variant:normal;text-decoration:none;vertical-align:baseline;white-space:pre;white-space:pre-wrap;">“Nuestra opinión básica es que los sistemas de IA necesitarán evaluaciones de terceros, tanto antes como después de la implementación. La formación de equipos rojos es una forma de hacerlo”, dijo Clark. “Necesitamos practicar para descubrir cómo hacer esto. Realmente no se ha hecho antes”.

10,400

Fans

752

Fans

1755

Fans

818

Fans

Evento masivo permitirá a los hackers probar los límites de la IA

Follow Us

Newsletter