Juliette Powell y Art Kleiner, autores de El dilema de la IA

Publicado

en

Por

El dilema de la IA está escrito por Juliette Powell y Art Kleiner.

Juliette Powell es autora, creadora de televisión con 9.000 programas en vivo a sus espaldas, tecnóloga y socióloga. También es comentarista en Bloomberg TV/Business News Networks y oradora en conferencias organizadas por The Economist y la Corporación Financiera Internacional. Su charla TED tiene 130.000 visitas en YouTube. Juliette identifica los patrones y prácticas de los líderes empresariales exitosos que confían en la IA y los datos éticos para ganar. Forma parte del cuerpo docente del ITP de la Universidad de Nueva York, donde imparte cuatro cursos, incluido Design Skills for Responsible Media, un curso basado en su libro.

Art Kleiner es escritor, editor y futurista. Sus libros incluyen La era de los herejes, Quién realmente importa, Privilegio y éxito y Los sabios. Fue editor de estrategia+negocios, la premiada revista publicada por PwC. Art también es miembro del cuerpo docente desde hace mucho tiempo en NYU-ITP e IMA, donde sus cursos incluyen la enseñanza conjunta de Tecnología Responsable y el Futuro de los Medios.

“The AI ​​Dilemma” es un libro que se centra en los peligros de que la tecnología de IA esté en las manos equivocadas y, al mismo tiempo, reconoce los beneficios que la IA ofrece a la sociedad.

Los problemas surgen porque la tecnología subyacente es tan compleja que resulta imposible para el usuario final comprender verdaderamente el funcionamiento interno de un sistema cerrado.

Una de las cuestiones más importantes destacadas es cómo la definición de IA responsable siempre está cambiando, ya que los valores sociales a menudo no se mantienen consistentes a lo largo del tiempo.

Disfruté bastante leyendo "El dilema de la IA". Es un libro que no sensacionaliza los peligros de la IA ni profundiza en los peligros potenciales de la Inteligencia General Artificial (AGI). En cambio, los lectores aprenden sobre las sorprendentes formas en que se utilizan nuestros datos personales sin nuestro conocimiento, así como algunas de las limitaciones actuales de la IA y los motivos de preocupación.

A continuación se presentan algunas preguntas diseñadas para mostrar a nuestros lectores lo que pueden esperar de este libro innovador.

¿Qué te inspiró inicialmente a escribir “El dilema de la IA”?

Juliette fue a Columbia en parte para estudiar los límites y posibilidades de regulación de la IA. Había oído de primera mano a amigos que trabajaban en proyectos de IA hablar de la tensión inherente a esos proyectos. Llegó a la conclusión de que existía un dilema de la IA, un problema mucho mayor que la autorregulación. Desarrolló el modelo de referencia Apex, un modelo de cómo las decisiones sobre IA tendían hacia una baja responsabilidad debido a las interacciones entre empresas y grupos dentro de las empresas. Eso la llevó a su tesis.

Art había trabajado con Juliette en varios proyectos de escritura. Él leyó su disertación y dijo: "Tienes un libro aquí". Juliette lo invitó a ser coautor del mismo. Al trabajar juntos en ello, descubrieron que tenían perspectivas muy diferentes, pero compartían la firme opinión de que este complejo y altamente riesgoso fenómeno de la IA debía entenderse mejor para que las personas que lo utilizaban pudieran actuar de manera más responsable y efectiva.

Uno de los problemas fundamentales que se destaca en The AI ​​Dilemma es cómo actualmente es imposible entender si un sistema de IA es responsable o si perpetúa la desigualdad social simplemente estudiando su código fuente. ¿Qué tan grande es este problema?

El problema no está principalmente en el código fuente. Como señala Cathy O'Neil, cuando hay un sistema cerrado, no se trata sólo del código. Es el sistema sociotécnico (las fuerzas humanas y tecnológicas que se moldean mutuamente) lo que necesita ser explorado. La lógica que construyó y lanzó el sistema de IA implicó identificar un propósito, identificar datos, establecer prioridades, crear modelos, establecer pautas y barreras de seguridad para el aprendizaje automático y decidir cuándo y cómo debería intervenir un ser humano. Ésa es la parte que debe hacerse transparente, al menos para los observadores y auditores. El riesgo de desigualdad social y otros riesgos es mucho mayor cuando estas partes del proceso están ocultas. Realmente no se puede rediseñar la lógica del diseño a partir del código fuente.

¿Centrarse en la IA explicable (XAI) puede alguna vez solucionar esto?

Para los ingenieros, la IA explicable se considera actualmente como un grupo de limitaciones y prácticas tecnológicas destinadas a hacer que los modelos sean más transparentes para las personas que trabajan en ellos. Para alguien que está siendo acusado falsamente, la explicabilidad tiene un significado y una urgencia completamente diferentes. Necesitan explicabilidad para poder defenderse. Todos necesitamos explicabilidad en el sentido de dejar claras las decisiones empresariales o gubernamentales que subyacen a los modelos. Al menos en Estados Unidos, siempre habrá una tensión entre la explicabilidad (el derecho de la humanidad a saber) y el derecho de una organización a competir e innovar. Los auditores y reguladores necesitan un nivel diferente de explicabilidad. Analizaremos esto con más detalle en El dilema de la IA.

¿Puede compartir brevemente su opinión sobre la importancia de responsabilizar a las partes interesadas (empresas de IA) por el código que publican al mundo?

Hasta ahora, por ejemplo, en la colisión de un vehículo autónomo en Tempe, AZ, que mató a un peatón, el operador fue considerado responsable. Un individuo fue a la cárcel. Sin embargo, al final fue un fracaso organizativo.

Cuando un puente se derrumba, el ingeniero mecánico es responsable. Esto se debe a que los ingenieros mecánicos reciben capacitación, capacitación continua y son responsables de su profesión. Los ingenieros informáticos no lo son.

¿Deberían las partes interesadas, incluidas las empresas de IA, recibir capacitación y reentrenamiento para tomar mejores decisiones y tener más responsabilidad?

El dilema de la IA se centró en gran medida en cómo empresas como Google y Meta pueden recopilar y monetizar nuestros datos personales. ¿Podría compartirnos un ejemplo de uso indebido significativo de nuestros datos que debería estar en el radar de todos?

De El dilema de la IA, página 67 y siguientes:

Siguen saliendo a la luz pública nuevos casos de uso indebido sistemático de datos personales, muchos de los cuales implican el uso encubierto del reconocimiento facial. En diciembre de 2022, MIT Technology Review publicó relatos de una práctica de larga data de iRobot. Los robots domésticos Roomba graban imágenes y vídeos tomados en los hogares de los probadores beta voluntarios, lo que inevitablemente significa recopilar imágenes íntimas, personales y familiares. Estos se comparten, sin que los evaluadores lo sepan, con grupos fuera del país. En al menos un caso, se publicó en Facebook una imagen de un individuo en un baño. Mientras tanto, en Irán, las autoridades han comenzado a utilizar datos de sistemas de reconocimiento facial para rastrear y arrestar a mujeres que no usan hijabs.16

No hay necesidad de insistir más en estas historias. Hay muchos de ellos. Sin embargo, es importante identificar el efecto acumulativo de vivir de esta manera. Perdemos la sensación de tener control sobre nuestras vidas cuando sentimos que nuestra información privada puede ser utilizada en nuestra contra, en cualquier momento, sin previo aviso.

Un concepto peligroso que surgió es cómo todo nuestro mundo está diseñado para estar libre de fricciones, siendo la definición de fricción "cualquier punto en el viaje del cliente con una empresa en el que se topa con un obstáculo que lo frena o le causa insatisfacción". ¿Cómo nuestra expectativa de una experiencia sin fricciones conduce potencialmente a una IA peligrosa?

En Nueva Zelanda, un robot de comidas experto de Pak'n'Save sugirió una receta que generaría cloro gaseoso si se usara. Esto se promovió como una forma para que los clientes utilizaran las sobras y ahorraran dinero.

La falta de fricción crea una ilusión de control. Es más rápido y fácil escuchar la aplicación que buscar la receta de la abuela. La gente sigue el camino de menor resistencia y no se da cuenta de adónde los lleva.

La fricción, por el contrario, es creativa. Te involucras. Esto conduce al control real. El control real requiere atención y trabajo y, en el caso de la IA, realizar un análisis amplio de costos y beneficios.

Con la ilusión de control, parece que vivimos en un mundo donde los sistemas de inteligencia artificial están impulsando a los humanos, en lugar de que los humanos mantengan el control total. ¿Cuáles son algunos ejemplos que puedes dar de humanos que creen colectivamente que tienen control, cuando en realidad no lo tienen?

San Francisco ahora mismo, con robotaxis. La idea de los taxis autónomos tiende a generar dos emociones encontradas: emoción (“¡taxis a un costo mucho menor!”) y miedo (“¡me atropellarán?”). Por lo tanto, muchos reguladores sugieren que los autos se prueben con personas. en ellos, quién puede gestionar los controles. Desafortunadamente, tener humanos en alerta, listos para anular los sistemas en tiempo real, puede no ser una buena prueba de seguridad pública. El exceso de confianza es una dinámica frecuente en los sistemas de inteligencia artificial. Cuanto más autónomo es el sistema, más tienden a confiar los operadores humanos en él y no prestarle plena atención. Nos aburrimos vigilando estas tecnologías. Cuando realmente está a punto de ocurrir un accidente, no lo esperamos y muchas veces no reaccionamos a tiempo.

Se investigó mucho para este libro, ¿hubo algo que te sorprendió?

Una cosa que realmente nos sorprendió fue que personas de todo el mundo no podían ponerse de acuerdo sobre quién debería vivir y quién debería morir en la simulación de The Moral Machine de una colisión de un coche sin conductor. Si no podemos ponernos de acuerdo sobre eso, entonces es difícil imaginar que podamos tener una gobernanza global unificada o estándares universales para los sistemas de IA.

Ambos se describen a sí mismos como emprendedores, ¿cómo influirá lo que aprendieron y sobre lo que informaron en sus esfuerzos futuros?

Nuestra práctica de Asesoría en IA está orientada a ayudar a las organizaciones a crecer de manera responsable con la tecnología. Abogados, ingenieros, científicos sociales y pensadores empresariales son partes interesadas en el futuro de la IA. En nuestro trabajo, reunimos todas estas perspectivas y practicamos la fricción creativa para encontrar mejores soluciones. Hemos desarrollado marcos como el cálculo de riesgo intencional para ayudar a resolver estos problemas.

Gracias por las excelentes respuestas. Los lectores que deseen obtener más información deben visitar The AI ​​Dilemma.

Sean Mullaney, director de tecnología de Algolia - Serie de entrevistas

Antoine, socio fundador de unite.AI y miembro del Consejo de Tecnología de Forbes, es un futurista apasionado por el futuro de la IA y la robótica. También es el fundador de Securities.io, un sitio web de inversión, la plataforma generativa de inteligencia artificial, images.ai, y actualmente está trabajando en el lanzamiento de genio.ai, una plataforma que ofrecerá a los usuarios la capacidad de configurar e implementar agentes autónomos dividiendo las indicaciones en subtareas.

Sean Mullaney, director de tecnología de Algolia - Serie de entrevistas

William Wu, fundador y director ejecutivo de Artisse - Serie de entrevistas

Kris Nagel, director ejecutivo de Sift - Serie de entrevistas

Ion-Alexandru Secara, cofundador y director tecnológico de Zen – Serie de entrevistas

Amir Hever, cofundador y director ejecutivo de UVeye - Serie de entrevistas

Gautam Bakshi, cofundador y director ejecutivo de 15Rock - Serie de entrevistas