Un recorrido por los modelos de lenguaje: Desde Shannon a GPT-4

 

                                                               ideogram ia 2024

Un recorrido por los modelos de lenguaje: Desde Shannon a GPT-4

 Los modernos modelos de lenguaje, representados por asistentes virtuales y chatbots como ChatGPT y Google Bard, han transformado la manera en la que nos relacionamos con las máquinas, permitiéndonos interactuar con ellas de la misma forma con la que interactuamos con nuestros pares humanos, usando el lenguaje. Estas impresionantes capacidades no son el resultado de un mero golpe de suerte, sino el fruto de un progresivo desarrollo basado en descubrimientos científcos e innovaciones tecnológicas en el campo del aprendizaje automático y el procesamiento del lenguaje natural. En este artículo, trazamos el recorrido desde sus inicios, desde los primeros modelos de lenguaje estudiados por Shannon en la década de 1950, pasando por los primeros modelos de lenguaje neuronales propuestos por Bengio y otros, hasta llegar a los actuales grandes modelos de lenguaje.

 La llegada de ChatGPT a fnales del año 2022, en conjunto con la proliferación de modelos de lenguaje y asistentes de conversación durante este mismo año, ha impactado profundamente en nuestro quehacer diario. Hemos sido testigos de cómo las máquinas han adquirido la capacidad de utilizar algo tan propio a nosotros los humanos: el lenguaje. Este salto tecnológico ha generado debates profundos sobre sus implicaciones en diversos ámbitos, tales como la propiedad intelectual, la diseminación de información falsa, el impacto en la salud mental y la educación, y, en última instancia, su potencial para reemplazar el trabajo humano. En este artículo, no nos adentraremos en dichos debates, sino que nos concenRESUMEN. 

Los modernos modelos de lenguaje, representados por asistentes virtuales y chatbots como ChatGPT y Google Bard, han transformado la manera en la que nos relacionamos con las máquinas, permitiéndonos interactuar con ellas de la misma forma con la que interactuamos con nuestros pares humanos, usando el lenguaje. 

Estas impresionantes capacidades no son el resultado de un mero golpe de suerte, sino el fruto de un progresivo desarrollo basado en descubrimientos científcos e innovaciones tecnológicas en el campo del aprendizaje automático y el procesamiento del lenguaje natural. En este artículo, trazamos el recorrido desde sus inicios, desde los primeros modelos de lenguaje estudiados por Shannon en la década de 1950, pasando por los primeros modelos de lenguaje neuronales propuestos por Bengio y otros, hasta llegar a los actuales grandes modelos de lenguaje. traremos en trazar una línea histórica de los descubrimientos y avances tecnológicos que han permitido a las máquinas alcanzar la habilidad de escribir de manera similar a nosotros. La capacidad de dominar el lenguaje humano ha estado en el imaginario de la computación desde sus inicios. 

En 1950, Alan Turing propuso el famoso “Test de Turing”, que planteaba la pregunta de si era posible crear una máquina capaz de mantener una conversación con otra persona sin que ésta pueda distinguir si está conversando con un humano o una máquina. En 1964, Joseph Weizenbaum creó Eliza, uno de los primeros agentes de conversación desarrollado en el MIT. Eliza era un programa que simulaba a un psicoterapeuta y utilizaba reglas predefnidas para responder a las conversaciones del usuario. En paralelo, en la década de 1950, Claude Shannon realizó los primeros estudios sobre cómo modelar el lenguaje escrito de manera estadística y predictiva [1]. Usando técnicas de teoría de la información, calculó la difcultad de predecir palabras en base a las anteriores a partir de un “corpus” de texto. Sin embargo, en 1957, Noam Chomsky, un lingüista y científico cognitivo, cuestionó la capacidad de los modelos estadísticos para capturar la gramática del lenguaje humano [2].

Completo en : Un recorrido por los modelos de lenguaje: Desde Shannon a GPT-4 Un recorrido porlos modelos de lenguaje: Desde Shannon a GPT-4