¿Qué son los modelos fundacionales NLP? ¿Qué son BERT, GPT-3 y LaMDA? ¿y ChatGPT?
A finales de 2021, la Univerdad de Standford publicó un informe donde se acuñó por primera vez el término Modelo Fundacional NLP, también conocido como Large Language Model (LLM), Massive Language Model (MLM), Transformer Language Model.
Se trata, básicamente, de algoritmos basados en redes neuronales que se entrenan con inmensos conjuntos de datos sin etiquetar de manera automática.
Existen varios modelos fundacionales populares, como por ejemplo BERT, USE (Universal Sentence Encoder), T5 y RoBERTa desarrollados por grandes empresas como Google y Facebook.
Los dos modelos fundaciones más recientes y en plena ebullición son GPT-3 y BLOOM:
- GPT-3: es un modelo fundacional NLP desarrollado por OpenAI en 2020 (última versión 3.5 en 2023 entrenado con un set de más de 175 billones de variables). Recientemente se ha lanzado un chatbot sobre este modelo fundacional llamado ChatGPT que en estos momentos no permite personalización ni adaptación a un negocio. Ofrece respuestas generalistas (entrenado con información hasta finales de 2021), pero sí está previsto que en próximas versiones pueda ser entrenado..
- GPT-3 es accesible a través de suscripción, bien directamente por consumo de API o bien vía integración sobre Azure Open AI, pues desde julio de 2019 Microsoft Corp. y OpenAI tienen una alianza para extender las capacidades de Microsoft Azure en sistemas IA de gran escala.
- BLOOM: creado por un conjunto de científicos en 2022, se presenta como alternativa a GPT-3 al ser un modelo fundacional NLP gratuito para todos aquellos que quieran construir adaptaciones a partir de él.
¿Cómo se utilizan los modelos fundacionales para las tareas de NLP?
Como hemos explicado anteriormente, un modelo fundacional NLP es básicamente un modelo de lenguaje auto-regresivo que utiliza el contexto de las palabras anteriores para predecir la siguiente palabra en una oración. Básicamente, estos modelos funcionan como predictores de palabras en un texto.
Por ejemplo, para la frase «las universidades españolas son conocidas por su…«, un modelo fundacional NLP podría predecir como próxima palabra «investigación» o «calidad«.
Procesos de ajuste: Fine tunning
Los modelos fundacionales se ajustan para obtener aplicaciones de mercado a través de un proceso conocido como fine tunning o afinación. Se pueden entrenar o adaptar para una tarea NLP específica. Su aplicabilidad es múltiple, desde generación de resúmenes (analizando grandes cantidades de texto para identificar las ideas principales y resumirlas en un formato más conciso y fácil de entender), extracción de entidades, traducción automática, clasificación de texto… o incluso permitiendo establecer conversaciones naturales e inteligentes con sistemas que son capaces de entender 100% una intención y un contexto, ofreciendo respuestas precisas… abriendo un nuevo paradigma en la atención a personas por sistemas automáticos como por ejemplo los asistentes virtuales.
¿Qué diferencia hay entre Watson Assistant y otros chatbots por ejemplo ChatGPT, BARD o Blender Bot?
Cabe destacar que, a día de hoy, son mundos separados con diferentes propósitos, con sus ventajas e inconvenientes en su aplicación a la atención ciudadana.
Aplicaciones conversacionales como ChatGPT (construido sobre GPT), BARD (recientemente anunciado y construído por Google bajo tecnología LaMDA para competir con Microsoft) y Blender Bot de Meta (Facebook) están clasificadas por la comunidad científica como “aplicaciones de dominio abierto”.
Están entrenadas con cantidades masivas de datos y pueden mantener conversaciones sobre casi cualquier tema generalista. Presentan como inconveniente algunas lagunas heredadas de la calidad de la información con la que se ha entrenado (fuentes públicas de internet, redes sociales, Wikipedia….). Pueden llegar a ofrecer respuestas sesgadas, no precisas, al no tener controlada la calidad de la fuente que ingestan. Se han detectado casos donde el modelo deja fuera de sus respuestas, por ejemplo, a personajes históricos femeninos realmente relevantes.
Un ejemplo, en el siguiente caso, ChatGPT deja fuera a Katherine Johnson como persona relevante en la respuesta de quién realizó los cálculos matemáticos para que el Apolo XI llegara a la luna.
Thomas K. Mattingly era astronauta, sirvió de apoyo técnico a los astronautas en la tarea de regreso del Apolo XI. Como puede verse en la corrección que hace, no es la respuesta más precisa, deja fuera de ella a personas realmente relevantes como Katherine Johnson.
