Los senadores mencionan varios incidentes que han puesto en duda los procedimientos de seguridad de OpenAI. Entre ellos, destacan la prueba en India de una versión no aprobada de GPT-4 en el motor de búsqueda Microsoft Bing en 2022, antes de recibir la aprobación del consejo de seguridad de OpenAI. También se refieren al breve despido de Altman en 2023 debido a las preocupaciones del consejo sobre la comercialización prematura de avances tecnológicos.

A pesar de las afirmaciones de OpenAI sobre su compromiso con la seguridad, informes de The Washington Post sugieren que la empresa aceleró las pruebas de seguridad y disolvió el equipo de Superalignment, responsable en parte de la seguridad. La portavoz de OpenAI, Lindsey Held, negó las acusaciones y aseguró que la empresa no comprometió sus procesos de seguridad.

En respuesta a las críticas, OpenAI ha anunciado una asociación con el Laboratorio Nacional de Los Álamos para investigar cómo los modelos de IA pueden apoyar la investigación bioscientífica de manera segura. Además, Altman reveló que el 20% de los recursos informáticos de OpenAI se dedicarán a la seguridad, y que la empresa ha eliminado cláusulas de no difamación y disposiciones que permitían la cancelación de equidad adquirida.

Los legisladores Warren y Trahan también han solicitado información sobre la nueva línea de seguridad para empleados y cómo se gestionan los informes de seguridad. La carta exige un “recuento detallado” de los incidentes en los que los productos de OpenAI han evadido los protocolos de seguridad, y detalles sobre la política de conflictos de interés de la empresa. Solicitaron a Altman que responda antes del 22 de agosto.

En California, estado natal de OpenAI, el senador Scott Wiener está promoviendo una legislación para regular los grandes modelos de lenguaje, responsabilizando legalmente a las empresas por el uso perjudicial de la IA. Esta legislación refleja las preocupaciones expresadas por Altman sobre los riesgos de la IA para la seguridad pública y nacional.

The post Los demócratas exigen a Sam Altman respuestas sobre la seguridad de OpenAI y los conflictos de interés appeared first on TecnoFuturo24.

En una carta abierta respaldada por el renombrado experto en IA Geoffrey Hinton, ex empleados de OpenAI revelan preocupaciones sobre la falta de transparencia y supervisión en el desarrollo de inteligencia artificial avanzada. La carta, firmada por 13 ex empleados, destaca la necesidad urgente de principios de crítica abierta para abordar los riesgos crecientes asociados con la IA.

Los ex empleados advierten sobre los riesgos potenciales de la IA, incluida la perpetuación de desigualdades, manipulación y desinformación, así como la amenaza de extinción humana. Aunque reconocen el potencial beneficioso de la IA, también subrayan problemas prácticos actuales, como violaciones de derechos de autor y la generación involuntaria de imágenes problemáticas.

Los firmantes de la carta argumentan que las protecciones actuales para denunciantes son insuficientes, ya que se centran principalmente en actividades ilegales, dejando un vacío regulatorio en temas de seguridad de la IA. Destacan la necesidad de un enfoque más amplio que permita a los empleados actuales y anteriores plantear preocupaciones públicamente sin temor a represalias.

Impacto de la industria: Empresas líderes en IA, como OpenAI, han enfrentado críticas por su falta de supervisión en seguridad. Ejemplos recientes incluyen controversias sobre el uso de IA en motores de búsqueda y la generación de contenido problemático por parte de sistemas de IA.

La renuncia de investigadores de OpenAI y la disolución de equipos centrados en la seguridad plantean preocupaciones sobre la priorización de la innovación sobre la seguridad en la industria de la IA.

The post Ex empleados de OpenAI advierten sobre falta de transparencia en seguridad de IA appeared first on TecnoFuturo24.