"Mientras que los humanos estamos limitados en el tipo de explicaciones que podemos conjeturar a nivel racional, los sistemas de aprendizaje automático pueden aprender tanto que la Tierra es plana como que es redonda. Se limitan a negociar con probabilidades que cambian con el tiempo." por Noam Chomsky
Noam Chomsky responde a las críticas generadas por su último artículo sobre ChatGPT y la inteligencia humana. Entrevista realizada por Ramin Mirfakhraie.
Ramin Mirfakhraie: Noam, gracias por aceptar mi invitación para esta entrevista. Como bien sabe, la reciente aparición de chatbots como ChatGPT de OpenAI ha creado un alboroto mundial, sobre el cual usted, Ian Roberts y Jeffery Watumull escribieron recientemente un ensayo que se publicó en The New York Times titulado “La falsa promesa de ChatGPT .”
Sin embargo, poco después de la publicación de este ensayo, varios de sus críticos aprovecharon la oportunidad para cuestionar su teoría de la adquisición del lenguaje, que fue formulada originalmente en su libro pionero llamado Syntactic Structures (1957) . ¿Esta reacción te sorprendió de alguna manera?
Noam Chomsky: He visto algunos artículos que afirman que los LLM desafían el rico y extenso trabajo de los últimos años sobre la adquisición del lenguaje, descrito falsamente como "teoría de Chomsky", supongo que por desconocimiento del campo. No he visto nada que represente un desafío remoto de los LLM para mi trabajo, o cualquiera de los trabajos importantes sobre la adquisición del lenguaje que conozco.
Ramin Mirfakhraie: La falta de familiaridad con el campo podría explicar la naturaleza defectuosa de las críticas de los no expertos a su extenso trabajo sobre la adquisición del lenguaje, pero ¿qué pasa con las críticas de los expertos a su investigación y teoría, como las presentadas por el neuropsicólogo Steven Piantadosi y el lingüista Daniel Everett?
En un artículo titulado "Los modelos de lenguaje moderno refutan el enfoque del lenguaje de Chomsky", por ejemplo, Piantadosi afirma que "el aprendizaje automático moderno ha subvertido y pasado por alto todo el marco teórico del enfoque de Chomsky, incluidas sus afirmaciones centrales sobre conocimientos, principios, estructuras y procesos.” Además, afirma que "el desarrollo de grandes modelos de lenguaje como GPT-3 ha desafiado algunas de las principales afirmaciones de Chomsky sobre la lingüística y la naturaleza del lenguaje" por tres motivos:
En primer lugar, el hecho de que los modelos de lenguaje puedan entrenarse con grandes cantidades de datos de texto y puedan generar un lenguaje similar al humano sin ninguna instrucción explícita sobre gramática o sintaxis sugiere que el lenguaje puede no estar tan biológicamente determinado como afirma Chomsky. En cambio, sugiere que el lenguaje puede aprenderse y desarrollarse a través de la exposición al lenguaje y las interacciones con otros. En segundo lugar, el éxito de los grandes modelos lingüísticos en la realización de diversas tareas lingüísticas, como traducción, resumen y respuesta a preguntas, ha desafiado la idea de Chomsky de que el lenguaje se basa en un conjunto de reglas innatas. En cambio, sugiere que el lenguaje es un sistema aprendido y adaptativo que se puede modelar y mejorar a través de algoritmos de aprendizaje automático. Finalmente, la capacidad de los modelos de lenguaje para generar un lenguaje coherente y coherente [sic] sobre una amplia gama de temas, a pesar de nunca haber visto estos temas antes, sugiere que el lenguaje puede no estar tan basado en reglas como afirma Chomsky. En cambio, puede ser más probabilístico y dependiente del contexto, basándose en patrones y asociaciones aprendidos de los datos de texto en los que se entrenó. —Steven Piantadosi
Y en una línea similar, en una entrevista titulada "Exclusivo: el lingüista dice que ChatGPT ha invalidado los 'principios innatos del lenguaje' de Chomsky", Everett afirma que ChatGPT "ha falsificado en los términos más crudos la afirmación de Chomsky de que los principios innatos del lenguaje son necesarios para aprender un idioma. ChatGPT ha demostrado que, sin ningún principio fijo de gramática o lenguaje, este programa, junto con datos masivos (modelos de lenguaje grande), puede aprender un idioma".
¿Son estas afirmaciones válidas en su opinión?
Noam Chomsky: Ninguno de ellos indica familiaridad con el campo de la adquisición del lenguaje. Incluso la familiaridad más superficial revela que los niños muy pequeños ya tienen un rico dominio de los principios básicos de su lenguaje, mucho más allá de lo que muestran en la interpretación. El trabajo de Lila Gleitman, Stephen Crain, Kenneth Wexler y muchos otros lo deja muy claro. También se han descubierto muchos detalles sobre las formas específicas en que procede la adquisición en años posteriores. Los cuidadosos estudios estadísticos de Charles Yang sobre el material disponible para los niños pequeños muestran que la evidencia es muy escasa, particularmente una vez que se consideran los efectos de la ley de Zipf en la distribución de rangos y frecuencias.
Es absurdo más allá de toda discusión creer que los LLM pueden arrojar alguna luz sobre estos procesos, que escanean cantidades astronómicas de datos para encontrar regularidades estadísticas que permitan una predicción justa de la siguiente palabra probable en una secuencia basada en el enorme corpus que analizan.
El absurdo es de hecho un problema menor. Más fundamentalmente, es obvio que estos sistemas, cualquiera que sea su interés, son incapaces en principio de arrojar luz sobre la adquisición del lenguaje por parte de los humanos. La razón es que les va igual de bien con lenguajes imposibles que los humanos no pueden adquirir a la manera de los niños (si es que lo hacen).
Es como si un físico propusiera una “teoría” diciendo “aquí hay muchas cosas que suceden y muchas que no pueden suceder y no puedo hacer ninguna distinción entre ellas”.
Piantadosi está familiarizado con los LLM, pero como muchos otros, no muestra conocimiento de estos problemas fundamentales. Everett simplemente hace afirmaciones sin fundamento que no merecen atención.
El mismo hecho de que me atribuyan las teorías revela falta de familiaridad con el rico y bien desarrollado campo de la adquisición del lenguaje.
Ramin Mirfakhraie: Quizás la falta de familiaridad de estos críticos con el campo de la adquisición del lenguaje se deba a un problema más fundamental; es decir, una visión potencialmente distorsionada de su teoría de la adquisición del lenguaje, que ha tenido mucha influencia, por decir lo menos, en gran parte de lo que ha ocurrido en el campo en términos de teorización.
Por otra parte, esto podría estar relacionado con un problema que planteó el psicólogo de Harvard Steven Pinker en 2016. En una entrevista con John Horgan, publicada por Scientific American Blogs bajo el título “¿Es incorrecta la teoría del lenguaje de Chomsky? Pinker interviene en el debate”, habla sobre la naturaleza poco clara de la “teoría del lenguaje de Chomsky” y cómo su concepto de “gramática universal” es ambiguo en términos de en qué consiste.
Por lo tanto, sería tremendamente útil, creo, si en este punto pudiera discutir brevemente su teoría de la adquisición del lenguaje, especialmente porque ha pasado por múltiples revisiones desde su formulación original.
Noam Chomsky: Es fácil descubrir a qué se refiere la “teoría del lenguaje de Chomsky”: hay publicación tras publicación dando detalles. Parece haber una extraña concepción de que debería haber una teoría fija e inmutable de la naturaleza del lenguaje. No lo hay, más que en las ciencias en general.
En la adquisición del lenguaje —o cualquier proceso de crecimiento y desarrollo— intervienen tres factores: (1) estructura innata, (2) estímulos externos, (3) leyes de la naturaleza.
Cualquier enfoque sensato de la adquisición del lenguaje buscará determinar cómo interactúan para producir la transición del estado inicial (1) al estado relativamente estable alcanzado. Ha habido un progreso considerable en las tres áreas. El marco de Principios y Parámetros proporcionó la primera esperanza real para una explicación factible de la transición que explicaría la diversidad de posibles lenguajes humanos. Eso inspiró una gran cantidad de trabajo destinado a determinar cómo un bebé puede buscar de manera factible a través del espacio de parámetros para producir un idioma (o idiomas) en particular. Entre las principales contribuciones, el trabajo reciente de Ian Roberts muestra cómo procesos cognitivos muy simples pueden lograr resultados muy significativos, probados con miles de lenguajes tipológicamente diferentes.
Mi propio trabajo se ha concentrado en (1) y (3), tomando los principios de eficiencia computacional como leyes de la naturaleza, naturales para un sistema computacional como el lenguaje. No puedo revisar el curso de este trabajo aquí: hay un amplio material impreso, hasta el presente.
Para aclarar un punto terminológico, a menudo mal entendido, el término técnico UG (“gramática universal”) se refiere a la teoría de (1), la teoría de la facultad humana del lenguaje, aparentemente compartida a través de la especie, y con propiedades básicas que no se encuentran en otros organismos, por lo tanto, una verdadera propiedad de la especie.
Ramin Mirfakhraie: Volviendo a los LLM, con el enfoque que ha descrito anteriormente en mente, ¿podemos decir que tales modelos algún día podrán reemplazar a la lingüística para comprender la facultad humana del lenguaje?
Noam Chomsky: Su diseño básico asegura que esto es imposible, por las dos razones que mencioné: la falla menor, que hace que la propuesta sea absurda; el defecto principal, que lo hace imposible en principio.
Ramin Mirfakhraie: Finalmente, ¿cree que debería haber algún tipo de regulación gubernamental de modelos de lenguaje como ChatGPT, en términos de, digamos, asuntos de privacidad o seguridad de datos, similar a lo que sucedió recientemente en Italia ?
Noam Chomsky: Como sabe, circula una petición que pide una moratoria en el desarrollo de estos sistemas, firmada por una amplia variedad de destacados profesionales. Y ha habido llamados a la regulación gubernamental. Las amenazas son bastante reales. Francamente dudo que haya alguna forma práctica de contenerlos. El medio más efectivo que se me ocurre es la única forma de contrarrestar la propagación de doctrinas e ideologías maliciosas: educación en el pensamiento crítico, organización para fomentar la deliberación y modos de autodefensa intelectual.
Ramin Mirfakhraie:Gracias, Noam, por tu tiempo y tus valiosas ideas.
________________________
Libros recomendados de Noam Chomsky (Amazon):
-¿Quién domina el mundo? - Noam Chomsky
-El nuevo orden Mundial - Noam Chomsky