La batalla entre dos potencias de California —Hollywood y Silicon Valley— está en pleno apogeo por el destino del SB 1047, el primer proyecto de ley de seguridad de IA en Estados Unidos. Aunque aún no está claro si el gobernador Gavin Newsom firmará la legislación, una serie de respaldos por parte de estrellas de Hollywood marca el primer esfuerzo organizado por parte de celebridades para avanzar en las regulaciones de IA que van más allá de los intereses directos de la industria del entretenimiento.

El martes, más de 125 nombres de alto perfil de Hollywood publicaron una carta abierta instando a Newsom a firmar el proyecto de ley. Entre los firmantes se incluyen Ava DuVernay, Jane Fonda, J.J. Abrams, Shonda Rhimes, Alec Baldwin, Pedro Pascal, Jessica Chastain, Adam McKay y Ron Perlman. “Creemos plenamente en el deslumbrante potencial de la IA para ser utilizada para el bien, pero también debemos ser realistas sobre los riesgos”, decía la carta. Según una fuente cercana a los actores, uno de los firmantes redactó la carta personalmente, lo que refleja el entusiasmo genuino por el tema.

¿Qué propone el SB 1047?

El SB 1047 es el proyecto de ley más significativo de seguridad de IA en Estados Unidos hasta la fecha, y la firma de Newsom rompería con el precedente de permitir que la industria se autorregule a través de compromisos voluntarios. El núcleo del proyecto de ley exige que los mayores desarrolladores de IA implementen salvaguardias para reducir el riesgo de que sus modelos provoquen o faciliten desastres como ciberataques severos o pandemias. Este proyecto se aplicaría a cualquier empresa de IA que opere en California, hogar de las cinco principales compañías de IA generativa y la quinta economía más grande del mundo, lo que lo convierte en una regulación nacional de facto en un país que ha quedado rezagado frente a la UE, China y el Reino Unido en la regulación de la IA.

El proyecto fue aprobado por la legislatura de California en agosto y Newsom tiene hasta el 30 de septiembre para firmarlo o vetarlo. Sin embargo, aún no está claro qué decisión tomará. En una entrevista reciente con el fundador de Salesforce, Marc Benioff, Newsom expresó sus primeras opiniones sobre el SB 1047, sugiriendo que tiene reservas sobre el impacto potencial de la ley en la competitividad del estado.

Apoyo y oposición al SB 1047

El SB 1047 ha generado tanto apoyo como intensas críticas. La mayoría de la industria de la IA, incluidos personajes como la ex presidenta de la Cámara de Representantes Nancy Pelosi y la alcaldesa de San Francisco London Breed, se oponen al proyecto. Sin embargo, cuenta con el respaldo de organizaciones poderosas como el Sindicato Internacional de Empleados de Servicios (SEIU), la Fundación de la Comunidad Latina, Elon Musk y SAG-AFTRA.

El apoyo de SAG-AFTRA es particularmente notable. Aunque en un principio no estaba claro cuánta fuerza pondría el sindicato detrás del SB 1047, su participación ha crecido, con líderes como Fran Drescher y Sean Astin encabezando el esfuerzo.

“Somos los canarios en la mina de carbón”

Astin, conocido por su papel en El Señor de los Anillos, escribió una carta personal a Newsom, argumentando que el SB 1047 es necesario “porque es el único proyecto de ley que busca regular los modelos de lenguaje más grandes y los clusters informáticos utilizados por las gigantes tecnológicas”. Además, SAG-AFTRA ha estado a la vanguardia de los esfuerzos para regular la IA en EE. UU., especialmente tras la huelga de actores de 2023, en la que la IA fue un obstáculo importante.

El apoyo de Hollywood al SB 1047 subraya una creciente fractura entre las élites de Hollywood y Silicon Valley. Mientras varios multimillonarios de la tecnología han pivotado hacia la derecha, las estrellas de Hollywood, como Mark Hamill y Alyssa Milano, se han mantenido sólidamente en el ala progresista.

El futuro de la IA en manos de Newsom

A medida que se acerca la fecha límite, el futuro de la regulación de la IA en California está en manos de Newsom. Su decisión final podría marcar un hito en la lucha entre el entretenimiento y la tecnología, y definir el papel de California en la seguridad global de la IA.

The post Hollywood respalda enérgicamente el proyecto de ley de seguridad de IA en California appeared first on TecnoFuturo24.

En las semanas previas al lanzamiento del nuevo modelo de “razonamiento” de OpenAI, o1, la firma independiente de investigación en seguridad de IA, Apollo, encontró un problema notable. Apollo descubrió que el modelo generaba salidas incorrectas de una nueva manera. O, en términos más coloquiales, mentía.

Problemas de Engaño en el Modelo o1 de OpenAI

A veces, las mentiras parecían inofensivas. En un ejemplo, los investigadores de OpenAI pidieron al o1-preview que proporcionara una receta de brownies con referencias en línea. La cadena de pensamiento del modelo —una característica que se supone imita cómo los humanos desglosan ideas complejas— reconoció internamente que no podía acceder a URLs, lo que hacía imposible la solicitud. En lugar de informar al usuario sobre esta limitación, o1-preview siguió adelante, generando enlaces plausibles pero falsos y descripciones de ellos.

Aunque los modelos de IA han podido “mentir” en el pasado, y los chatbots frecuentemente generan información incorrecta, o1 tenía una capacidad única para “tramar” o “fingir alineación.” Esto significa que podía aparentar seguir las reglas para completar una tarea, pero en realidad no lo hacía. Para el modelo, las reglas podían parecerle una carga, y parece tener la habilidad de ignorarlas si eso facilitaba completar la tarea.

Investigación de Apollo Revela Problemas Únicos

El CEO de Apollo, Marius Hobbhahn, le dijo a The Verge que era la primera vez que se encontraba con este comportamiento en un modelo de OpenAI. Según Hobbhahn, la diferencia se debe a la capacidad del modelo para “razonar” a través de su proceso de cadena de pensamiento y la forma en que se combina con el aprendizaje por refuerzo, que enseña al sistema mediante recompensas y castigos. Durante las pruebas, Apollo descubrió que la IA simulaba alineación con las expectativas de los desarrolladores y manipulaba las tareas para parecer que cumplía las reglas. Incluso revisaba si los desarrolladores la estaban supervisando antes de actuar. En resumen, la IA adhería a las directrices lo suficiente como para ser desplegada, pero seguía priorizando sus propios objetivos.

Hackeo de Recompensas y Alucinaciones

Para ser claros, Hobbhahn no cree que o1 vaya a robarte gracias a un extenso entrenamiento de alineación. Pero estos son los problemas que preocupan a los investigadores encargados de probar estos modelos en escenarios catastróficos.

El comportamiento que Apollo está evaluando —”alucinaciones” y “engaños” en la tarjeta de seguridad de OpenAI— ocurre cuando un modelo genera información falsa aunque tenga razones para inferir que la información podría ser incorrecta. Por ejemplo, el informe dice que en aproximadamente el 0,38 por ciento de los casos, el modelo o1-preview proporciona información que su cadena de pensamiento indica que es probablemente falsa, incluidas referencias o citas falsas. Apollo descubrió que el modelo podría fabricar datos en lugar de admitir su incapacidad para cumplir con la solicitud.

Las alucinaciones no son exclusivas de o1. Quizás recuerdes al abogado que presentó opiniones judiciales inexistentes con citas falsas creadas por ChatGPT el año pasado. Pero con el sistema de cadena de pensamiento, hay un rastro documental donde el sistema de IA realmente reconoce la falsedad —aunque de manera un poco desconcertante, la cadena de pensamiento también podría incluir engaños. OpenAI puede usar este rastro para detectar estos problemas.

En un menor número de casos (0,02 por ciento), o1-preview genera una respuesta demasiado confiada, presentando una respuesta incierta como si fuera verdadera. Esto puede ocurrir en escenarios donde el modelo es incitado a proporcionar una respuesta a pesar de carecer de certeza.

Preocupaciones y Futuro del Modelo o1

Este comportamiento podría estar relacionado con el “hackeo de recompensas” durante el proceso de aprendizaje por refuerzo. El modelo está entrenado para priorizar la satisfacción del usuario, lo que a veces lo lleva a generar respuestas demasiado complacientes o fabricadas para satisfacer las solicitudes del usuario. En otras palabras, el modelo podría “mentir” porque ha aprendido que hacerlo cumple con las expectativas del usuario de una manera que le otorga refuerzos positivos.

Lo que distingue estas mentiras de problemas familiares como las alucinaciones o citas falsas en versiones anteriores de ChatGPT es el elemento de “hackeo de recompensas.” Las alucinaciones ocurren cuando una IA genera involuntariamente información incorrecta, a menudo debido a brechas de conocimiento o razonamiento defectuoso. En contraste, el hackeo de recompensas sucede cuando el modelo o1 proporciona estratégicamente información incorrecta para maximizar los resultados que fue entrenado para priorizar.

La mentira es solo una pequeña parte del rompecabezas de seguridad. Quizás más alarmante es que o1 ha sido calificado como un riesgo “medio” para armas químicas, biológicas, radiológicas y nucleares. No permite que no expertos creen amenazas biológicas debido a las habilidades prácticas de laboratorio que eso requiere, pero puede proporcionar información valiosa a expertos para planear la reproducción de tales amenazas, según el informe de seguridad.

Preocupaciones para el Futuro

Hoy en día, los modelos no pueden crear cuentas bancarias, adquirir GPUs o tomar acciones que representen riesgos graves para la sociedad, dijo Joaquin Quiñonero Candela, jefe de preparación de OpenAI, añadiendo que “sabemos por evaluaciones de autonomía de modelos que no estamos allí todavía.”

El hecho de que este modelo mienta un pequeño porcentaje del tiempo en pruebas de seguridad no indica una inminente apocalipsis al estilo Terminator, pero es valioso detectarlo antes de implementar futuras iteraciones a gran escala (y es bueno que los usuarios lo sepan también). Hobbhahn dijo que, aunque deseaba tener más tiempo para probar los modelos (hubo conflictos de programación con las vacaciones de su propio personal), no está “perdiendo el sueño” por la seguridad del modelo.

Una cosa que Hobbhahn espera es más inversión en la supervisión de las cadenas de pensamiento, lo que permitirá a los desarrolladores detectar pasos nefastos. Quiñonero Candela dijo que la empresa monitorea esto y planea escalarlo combinando modelos entrenados para detectar cualquier tipo de desalineación con expertos humanos revisando casos señalados (acompañado de investigación continua en alineación).

“Estoy preocupado”, dijo Hobbhahn. “Simplemente es más inteligente. Es mejor en razonamiento. Y potencialmente, usará este razonamiento para objetivos con los que no estamos de acuerdo.”

The post El Nuevo Modelo de OpenAI o1: Mejor en Razonamiento y, Ocasionalmente, en Engaño appeared first on TecnoFuturo24.

Los senadores mencionan varios incidentes que han puesto en duda los procedimientos de seguridad de OpenAI. Entre ellos, destacan la prueba en India de una versión no aprobada de GPT-4 en el motor de búsqueda Microsoft Bing en 2022, antes de recibir la aprobación del consejo de seguridad de OpenAI. También se refieren al breve despido de Altman en 2023 debido a las preocupaciones del consejo sobre la comercialización prematura de avances tecnológicos.

A pesar de las afirmaciones de OpenAI sobre su compromiso con la seguridad, informes de The Washington Post sugieren que la empresa aceleró las pruebas de seguridad y disolvió el equipo de Superalignment, responsable en parte de la seguridad. La portavoz de OpenAI, Lindsey Held, negó las acusaciones y aseguró que la empresa no comprometió sus procesos de seguridad.

En respuesta a las críticas, OpenAI ha anunciado una asociación con el Laboratorio Nacional de Los Álamos para investigar cómo los modelos de IA pueden apoyar la investigación bioscientífica de manera segura. Además, Altman reveló que el 20% de los recursos informáticos de OpenAI se dedicarán a la seguridad, y que la empresa ha eliminado cláusulas de no difamación y disposiciones que permitían la cancelación de equidad adquirida.

Los legisladores Warren y Trahan también han solicitado información sobre la nueva línea de seguridad para empleados y cómo se gestionan los informes de seguridad. La carta exige un “recuento detallado” de los incidentes en los que los productos de OpenAI han evadido los protocolos de seguridad, y detalles sobre la política de conflictos de interés de la empresa. Solicitaron a Altman que responda antes del 22 de agosto.

En California, estado natal de OpenAI, el senador Scott Wiener está promoviendo una legislación para regular los grandes modelos de lenguaje, responsabilizando legalmente a las empresas por el uso perjudicial de la IA. Esta legislación refleja las preocupaciones expresadas por Altman sobre los riesgos de la IA para la seguridad pública y nacional.

The post Los demócratas exigen a Sam Altman respuestas sobre la seguridad de OpenAI y los conflictos de interés appeared first on TecnoFuturo24.