De la IA roja a la IA verde: la llamada urgente a una IA sostenible

El grupo LIDIA, acrónimo de Laboratorio de I+D en Inteligencia Artificial, se fundó hace unos 30 años en la Universidad de A Coruña y, actualmente, forma parte de su Centro de Investigación en Tecnologías de la Información y las Comunicaciones (CITIC).

Desde nuestros inicios, hemos tenido en el Aprendizaje Automático una de nuestras principales líneas de investigación, tanto básica como aplicada.

Amparo Alonso Betanzos (Catedrática de Universidad del Departamento de Computación y TI de la Universidad de A Coruña y miembro del Centro de Investigación en TIC (CITIC))

Es necesario el desarrollo de calculadoras de la huella de carbono fiables y una mayor transparencia en la caracterización de los sistemas disponibles

Bertha Guijarro Berdiñas (Profesora Titular de Universidad del Departamento de computación y TI de la Universidad de A Coruña y miembro del Centro de Investigación en TIC (CITIC))

Desde nuestros inicios, hemos tenido en el Aprendizaje Automático una de nuestras principales líneas de investigación, tanto básica como aplicada. Específicamente, el desarrollo de algoritmos de aprendizaje escalables y eficientes, en cuanto al uso de recursos y tiempo de entrenamiento, ha sido un núcleo importante y tradicional de nuestro trabajo que hemos actualizado para incluir conceptos más actuales, pero tremendamente relacionados, como el aprendizaje distribuido, el aprendizaje en el borde, el aprendizaje federado y, en definitiva, modelos alineados con el nuevo concepto de Inteligencia Artificial (IA) Verde.

Aunque no es fácil fijar una fecha exacta, el desarrollo de algoritmos de Aprendizaje Automático despega en la década de los años 50 y alcanza un hito con la presentación en la década de los 80 del Perceptrón Multicapa, modelo fundamental sobre el que han
ido surgiendo las redes de neuronas actuales. Durante este tiempo, y hasta principios de los 2000, este campo científico sufrió altibajos, desarrollándose casi exclusivamente en los laboratorios de universidades y centros de investigación, con muy poca aplicación práctica en el ámbito empresarial. En el siglo XXI, dos cuestiones provocan un cambio de situación. La primera es el efecto de una digitalización intensa y progresiva, que penetra en todos los rincones de las empresas, organizaciones y en la sociedad. Como consecuencia, el volumen de datos que se generan se ha multiplicado por 30 en los últimos 10 años y, por tanto, tenemos más datos, mejores y en más variados ámbitos con los que poder entrenar los sistemas de inteligencia artificial. La segunda cuestión es el gran aumento de la capacidad de cómputo: un ordenador personal actual de gama media supera ampliamente la potencia y capacidad de cómputo de un supercomputador de mediados de los 90. Esta situación ha favorecido el desarrollo de modelos de aprendizaje automático más complejos. En concreto, en el caso de las redes de neuronas, ha permitido añadir a los modelos básicos utilizados hasta el momento conexiones más complejas entre las neuronas, así como muchas más capas de neuronas y más especializadas, dando lugar a la aparición de las redes de neuronas profundas. La posibilidad de utilizar estos modelos más sofisticados ha permitido manipular datos no estructurados y más complejos, como textos o imágenes, avanzar en el desarrollo de nuevos algoritmos para tratar problemas también más complicados al poder abordarlos desde una nueva óptica, como ha ocurrido con el procesamiento del Lenguaje Natural, y ha permitido el nacimiento de la IA Generativa, entre otras cosas.

No obstante, el desarrollo de los modelos de aprendizaje automático es, en general, un proceso con unas demandas de computación altas y conlleva un importante coste energético. Una forma de medir este coste es en el equivalente en emisiones en CO2 que depende de varias cuestiones como el tamaño de los conjuntos de datos con los que se entrenan, el número de parámetros ajustables durante el entrenamiento, el proceso de búsqueda del modelo óptimo, el coste de realizar una inferencia con el modelo o las infraestructuras donde se entrenan y ejecutan, así como el lugar donde están situadas. La popularización del aprendizaje automático y la aparición de los grandes modelos con millones de parámetros ajustables (alrededor de 175.000 millones tiene ChatGPT3) y entrenados sobre millones de textos e imágenes, ha aumentado la preocupación por estos aspectos. Por poner algunos ejemplos, la capacidad de computación de OpenAI necesaria para el entrenamiento de sus modelos se ha duplicado cada 3,4 meses desde 2012, y algunos estudios estimaron que la huella de carbono del entrenamiento de modelos lingüísticos disponibles online equivale a unos 300.000 kg de emisiones de dióxido de carbono, del orden de 125 vuelos de ida y vuelta entre Nueva York y Pekín. Se estima que de seguir esta progresión, en 2030 la IA consumirá el 30% de los recursos energéticos mundiales. A mediados de 2019, a esta tendencia de obtención de avances y mejores resultados a base del crecimiento exponencial del uso de computación masiva, se le llamó “IA roja”. En contraste, cada vez es mayor el interés por trabajar en una “IA Verde” como muestra la Estrategia Europea Green Deal o su inclusión como prioridad en la Estrategia Nacional Española de Inteligencia Artificial y la posterior publicación del Plan Nacional de Algoritmos Verdes.

El objetivo de producir resultados novedosos y precisos sin aumentar el coste computacional, o incluso reduciéndolo, es complejo y abarca muchos aspectos, desde el empleo de infraestructuras más eficientes y alimentadas por energías limpias, a cuestiones éticas relacionadas con el uso responsable y consciente de los modelos de aprendizaje, de manera que su tamaño y condiciones de entrenamiento sean adecuados a la complejidad de la tarea a resolver. Para ello, es necesario el desarrollo de calculadoras de la huella de carbono fiables y una mayor transparencia en la caracterización de los sistemas disponibles, para que se conozca el consumo de agua que demandan o las emisiones que producen en su entrenamiento y uso. Por último, también es primordial avanzar en el aspecto técnico desarrollando, entre otras posibilidades, mejores métodos para aprovechar modelos ya entrenados (transfer learning) o para poder aprender con menos ejemplos (few-shot learning).

Otra línea de trabajo, en la que centra su investigación el grupo LIDIA es la producción de modelos de aprendizaje con menores necesidades de recursos de computación. Para ello, hemos desarrollado sistemas que reducen el número de hiperparámetros que influyen en el proceso de optimización durante el entrenamiento, algoritmos capaces de entrenar estos sistemas en una sola iteración y modelos en los que su estructura de capas y unidades funcionales se ha podado al máximo para obtener etapas de entrenamiento
e inferencia más eficientes. Además, la ligereza computacional de estos modelos y algoritmos, diseñados para resolver tareas de predicción, clasificación, detección de anomalías o aprendizaje de ránquines, permiten su utilización en pequeños dispositivos de borde y de bajo consumo, típicos en entornos IoT. Siguiendo el principio de transparencia en nuestras publicaciones más recientes, demostramos que la emisión de CO2 de estos algoritmos es menor en comparación con sistemas del estado del arte. Estas características nos han llevado a ampliar sus funcionalidades desarrollando sistemas de aprendizaje distribuido y federado, con preservación de la privacidad de los datos de entrenamiento ya que permanecen en el lugar donde se originan, y con el fin de aprovechar modelos ya entrenados, les hemos dotado de capacidades de aprendizaje incremental.

La IA ya está siendo actualmente protagonista de múltiples avances en todos los ámbitos sin haber alcanzado aún su máximo potencial. Se estima que 97 millones de personas trabajarán en esta industria de aquí a 2025 y que sus efectos provocarán un aumento del 14% en el PIB mundial de aquí a 2030. Este gran nivel de penetración de la tecnología hace necesarias estas nuevas líneas de trabajo encaminadas a hacer un ejercicio honesto del impacto de la IA en la crisis climática, y conseguir una IA más sostenible y alineada con las preocupaciones climáticas actuales que, además, traerá como efecto secundario la democratización de esta tecnología al hacer su uso más accesible a pequeñas y medianas empresas.

Un artículo de Amparo Alonso Betanzos (Catedrática de Universidad del Departamento de Computación y TI de la Universidad de A Coruña y miembro del Centro de Investigación en TIC (CITIC)) y Bertha Guijarro Berdiñas (Profesora Titular de Universidad del Departamento de computación y TI de la Universidad de A Coruña y miembro del Centro de Investigación en TIC (CITIC)).