Hablamos con Gorka Varela, Transferencia Tecnológica, en Vicomtech
La Inteligencia Artificial y las tecnologías del lenguaje, ¿por qué está en boca de todos?
Dentro de lo que se conoce como Inteligencia Artificial (IA), la rama del Procesamiento del Lenguaje Natural (PLN) ha sufrido una explosión a raíz de la aparición de aplicaciones centradas en IA Generativa, suponiendo una publicidad de impacto y poniendo al descubierto las oportunidades que ofrecen estas tecnologías dentro de diferentes aspectos de nuestras vidas (ocio, industria, administración…).
Desde 2018 los LLM, Large Language Models o Modelos de Lenguaje de gran tamaño, ya empezaban a dar pistas sobre una revolución tecnológica, que se disparó con la aparición de ChatGPT en noviembre de 2022, revolucionando el mundo de la IA aplicada al texto, ofreciendo capacidades de comprensión y generación sorprendentes.
Este boom tecnológico ha llevado a conseguir una democratización de la IA, es decir, hacerla accesible para que todos la tengamos presente en nuestro día a día, bien sea para crear contenido, para mejorar nuestra salud o para mejorar la productividad de una empresa.
Además, no solo se trata de la democratización del uso de la IA, también tiene impacto la democratización del desarrollo de la IA, dando soporte a que un mayor número de personas participen en el diseño y desarrollo, acelerando la innovación y la posibilidad de aplicarlo en diferentes ámbitos.
Redes Neuronales, LLMs, Fine-Tuning, IA generativa…Muchos conceptos en poco tiempo. ¿Cómo ha sido la evolución de las tecnologías del lenguaje?
Hoy en día todos interactuamos con aplicaciones que trabajan con IA o con tecnologías del lenguaje: traducciones, búsquedas, recomendaciones… y cada vez hay más aplicaciones disponibles que utilizan IA, pero esto no es algo nuevo, aunque la evolución de los últimos años está siendo muy rápida.
Existen desarrollos previos, pero la llegada de las redes neuronales, allá por el 2010 supuso un punto de inflexión. Se trata del proceso de Machine Learning llamado aprendizaje profundo, creando un sistema que aprende y mejora continuamente.
Todo esto ha sido posible gracias al avance en la capacidad de cómputo, y en concreto al desarrollo de las tarjetas gráficas, conocidas como GPUs, las cuales han permitido solventar una de las limitaciones existentes en el avance de las tecnologías del lenguaje.
Todo esto arrancó con los videojuegos y con el objetivo de mejorar la representación gráfica, pero ha permitido avanzar con el hardware y desarrollar sistemas y modelos específicos para el procesamiento del lenguaje.
Esta capacidad de cómputo ha permitido desarrollar los Grandes Modelos de Lenguaje o LLMs (Large Language Models), que son modelos de propósito general de Inteligencia Artificial, entrenados con millones de parámetros y desarrollados dentro del campo del Procesamiento del Lenguaje Natural que puede entender y generar texto al estilo humano. Los más relevantes son las diferentes versiones de GPT de OpenAI , BARD de Google o Llama de META. Como referencia, GPT-3 se lanzó en 2020 con 175.000 millones de parámetros, pero ya en la versión GPT-4 se habla de billones de parámetros…
Pero estos modelos grandes de lenguajes son de dominio general y es necesario hacer un fine-tuning o ajuste fino, que consiste en adaptar un modelo de propósito general a una tarea o dominio específicos. Esto se consigue entrenando el LLM en un conjunto de datos más pequeño que sea relevante para la tarea en cuestión, por ejemplo, proporcionando un conjunto de instrucciones y respuestas ideales para permitir que la IA aprenda los patrones y matices de ese dominio específico.
Por ejemplo, se podría especializar un LLM mediante un conjunto de datos de historiales médicos para ayudar en los diagnósticos médicos o un conjunto de datos de documentos jurídicos para proporcionar asesoramiento legal.
Pero no nos podemos olvidar de la inteligencia artificial (IA) generativa, que se ha posicionado como una de las herramientas clave para la innovación en el futuro. Desde su aparición a finales de 2022, herramientas como Chat GPT han puesto de manifiesto las posibilidades que ofrece esta tecnología.
La IA Generativa tiene la capacidad de crear nuevos contenidos en diversos formatos, como texto, imágenes, vídeos, audio y código y supone un mundo de oportunidades para cualquier empresa.
Diariamente salen nuevos avances y aplicaciones, pero los principales casos de uso se centran en: generación de contenido, atención al cliente, posicionamiento web, resúmenes y extracción de información, traducción, análisis del sentimiento, automatización de procesos, generación de imágenes y videos, e incluso el desarrollo de código informático.
Pero yo como empresa, ¿Qué tengo que hacer si quiero aplicar IA en mis procesos o productos? ¿Aprovecho los modelos disponibles o desarrollo modelos adaptados a mi necesidad?
Es importante tener claro el objetivo que perseguimos con la aplicación de la IA, ya que las posibilidades son infinitas y podemos desviarnos de la necesidad que realmente queremos cubrir.
Actualmente existe la posibilidad de probar modelos genéricos de forma sencilla, pero los resultados que podamos obtener puede que no sean los esperados. Debemos tener en cuenta que un modelo genérico ha visto muchos parámetros, pero son de ámbito general.
Se pueden utilizar modelos genéricos o desarrollar modelos específicos adaptados con tus datos y tu caso de uso. El uso de modelos genéricos tiene la ventaja en la reducción de los tiempos de implantación y uso, y un coste inicial menor, pero no tendremos posibilidad de personalizar o adaptar el modelo para optimizar los resultados. En cambio, si apostamos por el desarrollo de modelos específicos, podremos adaptar la tecnología a nuestras necesidades, teniendo un mayor control, aunque incrementará los tiempos y la inversión inicial.
No hay una fórmula mágica que nos diga cual es la mejor opción, pero siempre hay opción de hacer pequeñas pruebas de concepto que nos vayan dando pistas sobre el camino a seguir. Desde Vicomtech podemos ofrecer soporte en esta tarea de cara a definir y desarrollar la solución que mejor se adapta a las necesidades de cada empresa.
¿Cuáles son los retos de las Tecnologías del Lenguaje para llegar a la industria?
El principal reto al que nos enfrentamos es la necesidad de adaptación y optimización de los LLMs a cada caso específico de aplicación, inyectando conocimiento de dominio con técnicas de aprendizaje basado en el contexto y/o ajuste fino de modelos. Por ejemplo, podemos utilizar técnicas de IA como el RAG (Retrieval Augmented Generation o generación mejorada por recuperación) para dar soporte en la extracción de información de empresas nacionales líderes en movilidad sostenible, en la provisión de soluciones industriales avanzadas o en la fabricación de componentes para automóvil.
Este tipo de empresas también muestran interés en desplegar este tipo de modelos on-premise, con el objetivo de asegurar la estanqueidad de sus datos y sistemas, para lo que la optimización de los LLMs adquiere especial relevancia.
¿Qué tipo de tecnologías y aplicaciones estáis trabajando para la industria?
Son varias las aplicaciones de las tecnologías del lenguaje en la industria, que pueden ir desde la interacción por voz o la gestión de grandes volúmenes de información.
La voz es la forma más natural de comunicación entre las personas, pero cuando se trata de comunicarnos con las máquinas o sistemas nos cuesta dar el paso. La realidad es que cada vez más empresas muestran interés en esta posibilidad que ofrece la IA, ya que nos permite además de facilitar la interacción, poder hacerla más accesible a trabajadores que cuenten con alguna discapacidad. Llevar esto a la industria tiene ciertos retos, como puede ser el lenguaje específico que se utiliza en cada sector o ámbito, para lo que será necesario recopilar dato y adaptar el modelo. Además, tenemos el ruido ambiental, para lo que los sistemas de captura han mejorado muchísimo o la necesidad de que los modelos funcionen en equipos “normales”, es decir, que no necesiten una GPU para poder ejecutar la IA, pero gracias a la posibilidad de adaptación y de optimización existente, es posible superar estos retos y aplicar la IA en nuestro procesos, productos y servicios.
Por otro lado, cada vez más empresa ven la potencialidad de la IA y de las tecnologías del lenguaje para procesar gran cantidad de información, que puede venir de diferentes fuentes y en diferentes formatos, como pueden ser pliegos o licitaciones de gran tamaño, donde se pueden aplicar tecnologías de extracción y de búsqueda de información mucho más potentes que las existente hasta hace poco, mejorando los procesos internos de oferta, administración o gestión.
El avance en la IA Generativa ha ido desde el texto, a la imagen y ya estamos viendo modelos de IA generativa de video, ¿pero se pueden combinar?
La IA multimodal es una tendencia global, es un tipo de inteligencia artificial (IA) que puede procesar, comprender y/o generar resultados para más de un tipo de datos.
Brinda amplias oportunidades como pueden ser la generación de dato sintético para analítica de datos en salud, la detección de riesgos de ciberseguridad, el aseguramiento de calidad industrial o el entrenamiento de modelos de conducción autónoma.
A este nivel, desde Vicomtech estamos participando actualmente en el proyecto europeo LUMINOUS (http://luminous-horizon.eu/) en el que estamos investigando el futuro de los sistemas de realidad extendida aumentados gracias a los LLMs, los grandes modelos de lenguaje.
