Eric Smalley, The Conversation US (compuesto derivado de la imagen de la Biblioteca del Congreso) ,
CC BY-ND
JUAN P. NELSON / TE CONVERSATION
El frenesí mediático que rodea a ChatGPT y otros sistemas de inteligencia artificial de modelos de lenguaje extenso abarca una variedad de temas, desde lo prosaico (los modelos de lenguaje extenso podrían reemplazar la búsqueda web convencional ) hasta lo preocupante (la IA eliminará muchos trabajos) y lo exagerado (la IA plantea una extinción). nivel de amenaza para la humanidad. Todos estos temas tienen un denominador común: los grandes modelos de lenguaje anuncian una inteligencia artificial que reemplazará a la humanidad.
Pero los grandes modelos de lenguaje, a pesar de toda su complejidad, son realmente tontos. Y a pesar del nombre de «inteligencia artificial», dependen completamente del conocimiento y el trabajo humanos. Por supuesto, no pueden generar nuevos conocimientos de manera confiable, pero hay más que eso.
ChatGPT no puede aprender, mejorar o incluso mantenerse actualizado sin que los humanos le proporcionen contenido nuevo y le digan cómo interpretar ese contenido, sin mencionar la programación del modelo y la construcción, el mantenimiento y la potencia de su hardware. Para comprender por qué, primero debe comprender cómo funcionan ChatGPT y modelos similares, y el papel que desempeñan los humanos para que funcionen.
Cómo funciona ChatGPT
Los grandes modelos de lenguaje como ChatGPT funcionan, en términos generales, al predecir qué caracteres, palabras y oraciones deben seguirse en secuencia en función de los conjuntos de datos de entrenamiento. En el caso de ChatGPT, el conjunto de datos de entrenamiento contiene inmensas cantidades de texto público extraído de Internet.ChatGPT funciona mediante estadísticas, no mediante la comprensión de palabras.
Imagina que entrené un modelo de lenguaje en el siguiente conjunto de oraciones:
Los osos son animales grandes y peludos. Los osos tienen garras. Los osos son secretamente robots. Los osos tienen narices. Los osos son secretamente robots. Los osos a veces comen pescado. Los osos son secretamente robots.
El modelo estaría más inclinado a decirme que los osos son secretamente robots que cualquier otra cosa, porque esa secuencia de palabras aparece con mayor frecuencia en su conjunto de datos de entrenamiento. Obviamente, esto es un problema para los modelos entrenados en conjuntos de datos falibles e inconsistentes, que son todos ellos, incluso la literatura académica.
La gente escribe muchas cosas diferentes sobre la física cuántica, Joe Biden, la alimentación saludable o la insurrección del 6 de enero, algunas más válidas que otras. ¿Cómo se supone que el modelo sepa qué decir sobre algo, cuando la gente dice muchas cosas diferentes?
La necesidad de retroalimentación
Aquí es donde entran los comentarios. Si usa ChatGPT, notará que tiene la opción de calificar las respuestas como buenas o malas. Si las califica como malas, se le pedirá que brinde un ejemplo de lo que contendría una buena respuesta. ChatGPT y otros modelos de lenguaje extenso aprenden qué respuestas, qué secuencias de texto predichas, son buenas y malas a través de los comentarios de los usuarios, el equipo de desarrollo y los contratistas contratados para etiquetar el resultado.
ChatGPT no puede comparar, analizar o evaluar argumentos o información por sí solo. Solo puede generar secuencias de texto similares a las que otras personas han usado al comparar, analizar o evaluar, prefiriendo aquellas similares a las que se les ha dicho que son buenas respuestas en el pasado.
Por lo tanto, cuando el modelo le da una buena respuesta, se basa en una gran cantidad de trabajo humano que ya se ha utilizado para decirle qué es y qué no es una buena respuesta. Hay muchos, muchos trabajadores humanos escondidos detrás de la pantalla, y siempre serán necesarios para que el modelo siga mejorando o para ampliar su cobertura de contenido.
Una investigación reciente publicada por periodistas en la revista Time reveló que cientos de trabajadores kenianos pasaron miles de horas leyendo y etiquetando escritos racistas, sexistas e inquietantes, incluidas descripciones gráficas de violencia sexual, desde las profundidades más oscuras de Internet para enseñar a ChatGPT a no copiar tales contenido. No se les pagaba más de US$2 por hora, y es comprensible que muchos reportaran haber experimentado angustia psicológica debido a este trabajo.Las IA de lenguaje requieren que los humanos les digan qué es una buena respuesta y qué hace que el contenido sea tóxico.
Lo que ChatGPT no puede hacer
La importancia de la retroalimentación se puede ver directamente en la tendencia de ChatGPT a “ alucinar ”; es decir, dar con confianza respuestas inexactas. ChatGPT no puede dar buenas respuestas sobre un tema sin capacitación, incluso si la buena información sobre ese tema está ampliamente disponible en Internet. Puedes probar esto tú mismo preguntando a ChatGPT sobre cosas más o menos oscuras. He encontrado particularmente efectivo pedirle a ChatGPT que resuma las tramas de diferentes obras de ficción porque, al parecer, el modelo ha sido entrenado más rigurosamente en no ficción que en ficción.
En mis propias pruebas, ChatGPT resumió la trama de » El Señor de los Anillos » de JRR Tolkien, una novela muy famosa, con solo algunos errores. Pero sus resúmenes de » The Pirates of Penzance » de Gilbert y Sullivan y de » The Left Hand of Darkness » de Ursula K. Le Guin, ambos un poco más especializados pero lejos de ser oscuros, se acercan a jugar Mad Libs con el personaje y los nombres de los lugares. No importa cuán buenas sean las respectivas páginas de Wikipedia de estos trabajos. El modelo necesita retroalimentación, no solo contenido.
Debido a que los grandes modelos de lenguaje en realidad no entienden ni evalúan la información, dependen de que los humanos lo hagan por ellos. Son parásitos del conocimiento y del trabajo humanos. Cuando se agregan nuevas fuentes a sus conjuntos de datos de entrenamiento, necesitan una nueva capacitación sobre si construir oraciones basadas en esas fuentes y cómo hacerlo.
No pueden evaluar si los informes de noticias son exactos o no. No pueden evaluar argumentos ni sopesar compensaciones. Ni siquiera pueden leer una página de enciclopedia y solo hacer declaraciones consistentes con ella, o resumir con precisión la trama de una película. Dependen de los seres humanos para que hagan todas estas cosas por ellos.
Luego parafrasean y remezclan lo que los humanos han dicho, y confían en más seres humanos para que les digan si han parafraseado y remezclado bien. Si la sabiduría común sobre algún tema cambia, por ejemplo, si la sal es mala para el corazón o si las pruebas de detección tempranas del cáncer de mama son útiles , deberán volver a capacitarse ampliamente para incorporar el nuevo consenso.
Mucha gente detrás de la cortina
En resumen, lejos de ser los precursores de una IA totalmente independiente, los grandes modelos de lenguaje ilustran la dependencia total de muchos sistemas de IA, no solo de sus diseñadores y mantenedores, sino también de sus usuarios. Entonces, si ChatGPT le da una respuesta buena o útil sobre algo, recuerde agradecer a los miles o millones de personas ocultas que escribieron las palabras que procesó y que le enseñaron cuáles eran las respuestas buenas y malas.
Lejos de ser una superinteligencia autónoma, ChatGPT es, como todas las tecnologías, nada sin nosotros.
- Juan P NelsonI nvestigador Postdoctoral en Ética e Implicaciones Sociales de la Inteligencia Artificial, Instituto de Tecnología de Georgia