Los
modelos fundacionales se están convirtiendo rápidamente en herramientas
indispensables para escribir código, traducir idiomas y resumir
prácticamente cualquier texto, por complejo que sea. La predicción
meteorológica y climática podría ser el siguiente paso.
Con suficientes datos en bruto, los modelos
fundacionales pueden reconstruir la estructura subyacente de sistemas
complejos, ya sea código, lenguaje natural o moléculas. A partir de esta
base general de conocimientos, un único modelo fundacional puede
realizar diversas tareas si se le proporcionan datos especializados y
formación adicional. Su potencia radica en su capacidad para
proporcionar predicciones basadas en datos con instrucciones limitadas
por parte de los humanos.
El ingrediente esencial son los datos, algo
de lo que la NASA dispone en abundancia. Para hacer más accesible el
vasto y creciente archivo de datos de la NASA, IBM y la NASA se
propusieron hace un año crear un modelo fundacional geoespacial de
código abierto. Ahora disponible en Hugging Face, el modelo puede ayudar
a los científicos a estimar el alcance de inundaciones e incendios
forestales pasados. IBM también utiliza el modelo para cartografiar las
islas de calor urbano en los Emiratos Árabes Unidos y seguir la
reforestación en Kenia.
Animados por estos resultados, IBM y la NASA
decidieron diversificar sus actividades. Ahora están trabajando en un
nuevo modelo fundacional destinado a hacer que las aplicaciones
meteorológicas y climáticas sean más rápidas, precisas y accesibles.
Otras aplicaciones potenciales son ayudar a los expertos en clima a
deducir información de alta resolución a partir de datos de baja
resolución, identificar las condiciones que favorecen los incendios
forestales y predecir huracanes, sequías y otros fenómenos extremos.
En septiembre, IBM y la NASA organizaron un taller para debatir la hoja de ruta propuesta para construir un modelo fundacional para el ámbito meteorológico y climático. Una vez terminado, el modelo será de código abierto y estará a disposición del público.
El renacimiento de la predicción meteorológica
La predicción meteorológica ha mejorado
considerablemente en las últimas décadas, alcanzando el punto en que la
predicción para seis días en la actualidad es tan precisa como la
predicción para cinco días hace 10 años. Además, las trayectorias de
huracanes se pueden predecir con más exactitud tres días antes que hace
40 años con 24 horas de antelación.
Este notable logro se debe a dos cosas: décadas de avances en la ciencia de la atmósfera y los océanos y el progreso paralelo en la informática de alto rendimiento. Los modelos meteorológicos modernos basan sus predicciones en enormes simulaciones informáticas que requieren tiempo y energía. Esto se debe a que tienen en cuenta ecuaciones basadas en la física y observaciones meteorológicas, desde los vientos y la presión atmosférica hasta la temperatura y las precipitaciones.
Pero ahora otra revolución se encuentra en
marcha. En el último año ha surgido una nueva forma de predecir el
tiempo. El Centro Europeo de Predicción Meteorológica a Medio Plazo
(ECMWF) ha empezado a utilizar varios modelos de aprendizaje profundo
llamados emuladores de IA que generan predicciones basadas en patrones
meteorológicos históricos; las leyes de la física no están codificadas
explícitamente en los emuladores de IA, pero pueden inferirse a partir
de los datos. Esta simplicidad significa que una previsión puede
realizarse en un ordenador de sobremesa en cuestión de minutos, en lugar
de las horas que puede tardar un sistema HPC.
Google Deep Mind informó
recientemente de que su emulador GraphCast podía proporcionar una
previsión a 10 días más rápida y precisa que los actuales modelos
tradicionales. En septiembre, GraphCast predijo con exactitud que el
huracán Lee tocaría tierra en Nueva Escocia con nueve días de
antelación, tres días antes que los modelos actuales.
Técnicamente, los emuladores de IA no son modelos funcionales. Fueron entrenados para realizar una tarea, en un conjunto de datos, y recibieron instrucciones explícitas de pronóstico. Pero son los precursores de un modelo fundacional de uso general e insinúan los beneficios que están por llegar.
Un modelo fundacional multimodal para el tiempo y el clima
Los modelos funcionales tienen varias
ventajas que se derivan de su capacidad para procesar y analizar datos
brutos de muchas modalidades. Esto permite al modelo aprender una amplia
representación de los datos que puede generalizarse a muchos
escenarios. Es una capacidad importante en un campo como el clima, donde
las condiciones cambian constantemente, a través del tiempo y el
espacio. También significa que un modelo fundacional meteorológico y
climático puede aplicarse a muchas tareas más allá de la predicción.
El entrenamiento de los modelos funcionales puede requerir decenas de miles de horas de GPU. Pero en el momento de la inferencia,
pueden ejecutarse en segundos o minutos. En la actualidad, no muchos
investigadores tienen acceso a recursos de computación HPC para ejecutar
modelos meteorológicos tradicionales. La aparición de modelos de IA
preentrenados significa que el campo de la modelización meteorológica y
climática se ha democratizado. Esto conlleva la posibilidad de acelerar
los descubrimientos.
Los modelos funcionales también podrían mejorar la precisión de las previsiones para otras aplicaciones climáticas. El clima de la Tierra está cambiando rápidamente y alterando los patrones meteorológicos en todo el mundo. Para la logística, las empresas y los organismos públicos, cuanto antes se detecte una catástrofe inminente, mayor será la posibilidad de salvar vidas y ahorrar dinero.
Aprender la dinámica atmosférica directamente de los datos
Para ser fundacional, un modelo no puede
centrarse en solo un aspecto. Debe ser capaz de realizar muchas tareas
e, idealmente, entrenarse con muchos tipos de datos. Esto es
especialmente importante en la predicción meteorológica y climática, ya
que muchos procesos físicos a menudo sólo pueden observarse en
determinados plazos y escalas espaciales. El fenómeno cíclico El Niño,
por ejemplo, se desarrolla a lo largo de muchos meses y en la mitad del
planeta, mientras que el inicio de un tornado puede durar minutos y
surgir de procesos a escala submétrica.
Los sensores proporcionan un registro
continuo y muy localizado de los cambios de temperatura, viento y
presión. En cambio, las imágenes de satélite captan los cambios
medioambientales a intervalos más largos y con menor resolución.
El modelo funcional propuesto se entrenará inicialmente con el conjunto de datos MERRA2, una combinación de observaciones de alta calidad y estimaciones del tiempo pasado en los últimos 40 años. Posteriormente se añadirán datos de observación procedentes de estaciones meteorológicas fijas, globos meteorológicos flotantes y satélites en órbita planetaria. IBM y la NASA están experimentando actualmente con arquitecturas y técnicas de modelos para integrar estas escalas temporales y espaciales variables en un modelo multimodal.
Otros retos
Los modelos actuales de IA no suelen tener en cuenta los sucesos extremos. Esta tendencia es un problema conocido para los modelos de IA que se entrenan para ignorar los valores atípicos. Las funciones de pérdida minimizan la posibilidad de cometer grandes errores, pero eso significa que también pueden pasar por alto sucesos extremos. Se han aplicado métodos para corregir esta tendencia en modelos más pequeños. Nuestro reto será ampliar este trabajo a modelos de gran base.
Otra cuestión es el propio cambio climático. El pasado no siempre es un buen indicador del futuro, sobre todo cuando el clima se calienta tan rápido como en la actualidad. Un huracán en 2024, por ejemplo, puede tener vientos más fuertes que un huracán en 1933. Por consiguiente, puede que no lo veamos venir si nuestras previsiones se basan exclusivamente en datos históricos. La IA, sin embargo, nos permite actualizar continuamente el modelo para tener en cuenta el cambio climático a medida que disponemos de nuevos datos.
El futuro
El objetivo de IBM y la NASA es disponer de un modelo fundamental de IA multimodal para la predicción meteorológica y climática, así como para otras aplicaciones posteriores. Los expertos en IA de IBM trabajarán con científicos del clima de la NASA y otros expertos en la materia para probar y validar el modelo en siete aplicaciones que incluyen la predicción meteorológica a 10-14 días vista y la predicción de turbulencias y tormentas de polvo en la aviación.
El modelo se pondrá a disposición del público en Hugging Face. Una vez entrenado, podrá adaptarse a muchas tareas posteriores con relativamente pocas GPU, lo que hará que el modelado meteorológico y climático sea mucho más accesible para la comunidad investigadora mundial.
Este trabajo forma parte de un esfuerzo más amplio de IBM y la NASA para desarrollar modelos fundamentales que puedan responder a algunas de las preguntas más acuciantes sobre nuestro clima y medio ambiente cambiantes.
