Artículos Castellano Inteligencia artificial
GPT-3: ¿La esperada creatividad literaria de la inteligencia artificial?
9 de septiembre de 2020
0
, , , , ,

(artículo publicado en la revista Think by Shifta el 8/9/20. Escrito por Karma Peiró y Ricardo Baeza-Yates


El GPT-3 funciona como una red neuronal profunda y es el mayor modelo de lenguaje creado (Imagen: Pixabay)

“Todo lo que tengo que hacer es escribir un mensaje y la máquina agrega texto de manera plausible y coherente. Así he conseguido componer canciones, relatos, poemas, notas de prensa, partituras de guitarra, memes, imágenes, emails, código de programación, entrevistas a supuestos personajes políticos y hasta manuales técnicos con instrucciones a seguir para poner en funcionamiento un aparato ficticio. El GPT-3 es inquietantemente bueno escribiendo cualquier cosa”, explica Arram Sabeti, un científico que ha tenido la oportunidad de probar este modelo avanzado de generación de texto que está causando furor entre expertos de la IA y el aprendizaje profundo (deep learning). Y añade: “Es divertido y aterrador a la vez. Siento que he visto el futuro”.

Al modelo GPT-3 se le han concedido muchas medallas en unos meses, quizás porque todavía pocos han tenido la oportunidad de probarlo y compararlo con las capacidades creativas humanas. ¿De qué estamos hablando? ¿De otra súper máquina? ¿De un nuevo paso de la inteligencia artificial que hará imposible distinguir si el creador fue un ordenador o una persona?

“Todas las obras de la literatura mundial del pasado serán relacionadas con sus autores, pero en el futuro… ¿el arte se atribuirá al anonimato de las máquinas?”

Los autores de este artículo ya explicamos el año pasado que una novela escrita por una máquina había ganado un premio literario japonés, siendo el jurado incapaz de detectarlo. ¡Eso fue en el 2016! ¿Dónde está la novedad ahora? ¿Quizás en que el GPT-3 abre la puerta a obviar la autoría de las creaciones artísticas y dar importancia a las emociones o el conocimiento que transmite el contenido creado? Todas las obras de la literatura mundial del pasado serán relacionadas con sus autores, pero en el futuro… ¿el arte se atribuirá al anonimato de las máquinas? ¿Diremos que la autoría es de un modelo inteligente capaz de crear una obra maestra o del texto inicial que sirvió para generarla?

¿Cómo funciona la generación inteligente de texto?

El Generative Pre-Trained Transformer (GPT-3) es una red neuronal profunda generadora de texto creada por OpenAI, una empresa de investigación de San Francisco. El GPT-3 es –hasta la fecha– el mayor modelo de lenguaje creado. En noviembre del año pasado, OpenAI lanzó el modelo anterior –el GPT-2– como la gran revolución porque contenía entrenamiento previo sobre 1,5 mil millones de parámetros que definen las capas y las conexiones de la red neuronal. El GPT-3 posee 175 mil millones de parámetros y ha sido entrenado con cerca de un billón de palabras recopiladas de la Web y libros digitalizados, lo que hace que su predecesor GPT-2, anunciado en febrero de 2019, que usa 1,5 mil millones de parámetros parezca ridículo comparativamente. Los anteriores modelos más grandes eran Turing NLG de Microsoft de febrero de 2020 con 17 mil millones de parámetros y T5 de Google de noviembre de 2019, que tiene sólo 11 mil millones de parámetros.

¿Pero cómo funciona este modelo y qué hace exactamente? No es fácil explicarlo en términos sencillos. Imaginen una máquina que lee una frase y aprende cuál es la frase que viene a continuación. Y así sucesivamente. El problema de este esquema es que necesitamos leer el texto secuencialmente y si es muy largo se debe invertir mucho tiempo. Para solucionar ese problema, en 2017 se inventó una arquitectura de red neuronal, es decir una forma de interconectar la red, llamada Transformer, que permite procesar las frases en paralelo. Lo que implica poder usar más datos y disminuir el tiempo de entrenamiento. Esta tecnología ha sido usada hasta ahora para la traducción de textos, generación de resúmenes y de documentos en general, reconocimiento de voz y análisis de secuencias biológicas.

No es tan perfecto como parece

El GPT-3 memorizó las formas de innumerables géneros y estilos narrativos, además de situaciones diversas, desde tutoriales de programación de ordenadores hasta escritura deportiva. Los resultados pueden ser técnicamente impresionantes y también divertidos o estimulantes, como se ha podido comprobar ya con poemas, entrevistas o canciones. Pero también ha recibido sus críticas, entre ellas las de Gary Marcus y Ernest Davis en la revista MIT Technology. Uno de los motivos es que a menudo, devuelve contradicciones o tonterías porque, en realidad, su generación de palabras no se guía por ninguna comprensión coherente del contexto.

“Estos modelos generarán como mucho obras que emularán otras grandes obras, pero nunca serán originales, pues la originalidad es justo lo que no está en los datos”.

Uno de los fallos detectados en esta versión beta del GPT-3 son los sesgos. Lo cual tiene lógica si los algoritmos aprendieron de billones de palabras extraídas de la Web. El director de inteligencia artificial de Facebook, Jerome Pesenti, acusó a OpenAI de haber lanzado un modelo poco fiable y tuiteó capturas de pantalla de tweets creados con GPT-3 que asocia a los judíos con el amor por el dinero y a las mujeres con un mal sentido de la orientación. Esto no es sorprendente, pues GPT-3 aprende de los sesgos humanos y no ha sido entrenado para evitar textos ofensivos.

Expertos también critican que GPT-3 es sólo una versión más grande de GPT-2 pero que no le agrega en realidad inteligencia, sino más parámetros y más datos. En otras palabras, es como tener un ordenador con más memoria.

Simplemente ejecuta…

Pero no perdamos el foco de lo importante. Este tipo de inteligencia artificial no piensa como los humanos, simplemente ejecuta. Lo cual quiere decir que procesa la entrada textual en función de los datos con que ha sido previamente entrenado.

La inteligencia artificial no piensa como los humanos, simplemente ejecuta (Imagen: Pixabay)

Los mismos creadores del GPT-3 reconocen que “aunque la calidad es alta en general, las muestras se repiten semánticamente, pierden coherencia en pasajes largos como podría ser un libro de centenares de páginas, se contradicen y contienen oraciones o párrafos sin sentido”. Si comparamos la creatividad del GPT-3 con la de los humanos, nosotros todavía somos capaces de mantener un argumento de manera persistente, mientras que el modelo inteligente pierde el enfoque y olvida en pasajes más largos.

Por lo tanto, la respuesta a la mayoría de las preguntas que planteábamos al inicio de este artículo es que Cervantes o Shakespeare pueden estar tranquilos. Estos modelos generarán como mucho obras que emularán otras grandes obras, pero nunca serán originales, pues la originalidad es justo lo que no está en los datos. Así como hay peritos que permiten distinguir buenas imitaciones de una pintura maestra, habrán peritos que podrán distinguir imitaciones literarias. Y lo más probable es que los mejores peritos, también usen inteligencia artificial. Paradójico, ¿no?

NOTA: El mismo día que se publicó este artículo, The Guardian publicaba otro exagerando las capacidades del GPT-3, que rápidamente fue criticado por la comunidad experta. 

— — — — — — — — — — — — — — — — — — — — -

Karma Peiró es periodista especializada en Tecnologías de la Información y la Comunicación desde 1995. Sus intereses actuales son explorar las aplicaciones de la ética en la inteligencia artificial y promover la transparencia algorítmica.

Ricardo Baeza-Yates es Ph.D. en Ciencia de la Computación y Director de Ciencia de Datos de Northeastern University (campus Silicon Valley, EE.UU), además de investigador a tiempo parcial en universidades de Catalunya y Chile. Es miembro del Consejo de IA de España y Fellow de ACM e IEEE.

Karma y Ricardo son colabores asiduos de We Are Shifta.

About author

Karma Peiró

Continguts relacionats

0_AjhqcC5pmZXJdB9C

«¡Sal de tu burbuja digital!»

(artículo original publicado en la publicado en l...

Llegir més
COVID 19

«La falsa transparencia en tiempos de Covid-19»

Irlanda, Nueva Zelanda, Canadá o Australia consid...

Llegir més
Captura de Pantalla 2020-03-18 a les 11.01.20

«Conseguirás el trabajo… si le caes bien a la máquina»

Laura tiene 23 años, ha estudiado un grado univer...

Llegir més

There are 0 comments

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *