En un mundo dominado por servidores potentes y centros de datos con cientos de GPUs, la idea de ejecutar inteligencia artificial moderna en un equipo con más de dos décadas de antigüedad puede parecer un sueño imposible. Sin embargo, un equipo de ingenieros ha demostrado que no solo es posible sino que puede abrir la puerta a una nueva era de accesibilidad en la IA. El proyecto consiste en correr Llama, un modelo de lenguaje sofisticado, en una computadora que ejecuta Windows 98 y dispone de un procesador Pentium II. Esta hazaña técnica representa una apuesta apasionante por la descentralización y democratización de la inteligencia artificial. El experimento forma parte de la iniciativa conocida como los 12 días de EXO, y se centró en demostrar que, si un modelo puede funcionar en hardware de 25 años, entonces puede funcionar en casi cualquier lugar.
La compra del equipo no fue trivial: se adquirió una máquina por 118,88 libras en eBay, que resultó ser una joya amarillenta de la era Windows 98, equipada con un procesador Pentium II y 128MB de RAM. Aunque modesta, su infraestructura resultó suficiente para los propósitos del proyecto. Uno de los primeros problemas que surgió fue la incompatibilidad con periféricos modernos. Los teclados y ratones USB actuales simplemente no funcionaban en esta máquina antigua, lo que obligó al equipo a recurrir a periféricos PS/2. Sin embargo, aún en este terreno hubo que innovar: se descubrió que el mouse debía conectarse en el puerto PS/2 número uno y el teclado en el segundo para funcionar correctamente; la configuración opuesta resultó inútil.
Esto revela cómo los detalles técnicos y el entendimiento profundo del hardware son fundamentales para trabajar con tecnología antigua. El siguiente obstáculo fue el traslado de archivos al sistema. En la era actual, el uso de USB o almacenamiento en discos ópticos es común, pero ninguno de esos métodos funcionó eficientemente. Los discos RW no eran reconocidos por el sistema y las unidades USB modernas eran demasiado grandes para ser gestionadas por el sistema de archivos FAT32 del Windows 98. La solución fue tan clásica como efectiva: FTP.
Un servidor FTP se configuró en un MacBook Pro moderno, con un adaptador USB-C a Ethernet conectado a la computadora vintage. Ambos dispositivos tuvieron sus direcciones IP estáticas asignadas para que se pudieran comunicar. La transferencia de archivos mediante FTP resultó ser sorprendentemente fluida y garantizó la integridad de los datos, con la advertencia de que los archivos ejecutables debían transferirse en modo binario para evitar errores de ejecución. Uno de los mayores desafíos recayó en la compilación del código necesario para ejecutar el modelo Llama. Las herramientas modernas como mingw no pudieron producir ejecutables compatibles debido a instrucciones incompatibles con el procesador Pentium II, como las CMOV inexistentes en CPUs anteriores al Pentium Pro.
Por lo tanto, el equipo tuvo que recurrir a herramientas clásicas: Borland C++ 5.02. Esta IDE y compilador, con 26 años de antigüedad, aún funciona en Windows 98 y es compatible con un subconjunto de C conocido y la vieja sintaxis que exige que todas las variables se declaren al inicio de las funciones. Trabajar con un entorno tan limitado presentó numerosas dificultades, especialmente porque las novedades del estándar C99 no estaban disponibles y se tenían que reescribir partes del código para ajustarse a estas peculiaridades. En este contexto, el trabajo de Andrej Karpathy fue fundamental.
Su proyecto llama2.c, una implementación compacta de aproximadamente 700 líneas en puro C capaz de ejecutar inferencia con modelos basados en la arquitectura Llama 2, fue la base para la adaptación. El equipo adaptó el código para hacerlo compatible con Windows 98 y el Pentium II realizando cambios tales como reemplazar el tipo de dato "long long" con un tipo personalizado denominado "DLONGWORD", mover todas las declaraciones de variables al inicio de las funciones, simplificar la carga de datos desde el disco a la memoria para evitar fallos de segmentación y reemplazar funciones de temporización como "clock_gettime" con la API de Windows "GetTickCount". Tras superar todos estos obstáculos, el modelo Llama pudo correr en la máquina vintage ejecutando un modelo con 260,000 parámetros, generando textos creativos y complejos, incluyendo una historia inspirada en Sleepy Joe. El rendimiento, si bien no alcanza las velocidades vertiginosas de las modernas GPUs, fue impresionante considerando el hardware antiguo: 39.
31 tokens por segundo para el pequeño modelo stories260K y alrededor de 0.0093 tokens por segundo para un modelo Llama 3.2 con 1 billón de parámetros simulados parcialmente. Estos resultados ponen en perspectiva lo que es posible con mucha dedicación y adaptación técnica, validando la idea de que la frontera de la IA no está exclusivamente ligada a hardware último modelo. Más allá del experimento en sí, esta iniciativa abre una ventana a desarrollos futuros como BitNet, una arquitectura transformer que utiliza pesos ternarios.
Esta tecnología convierte la multiplicación matricial pesada en operaciones de adición y sustracción gracias a que los pesos solo pueden ser 0, -1 o 1, lo que reduce drásticamente la cantidad de bits necesarios para almacenar el modelo a aproximadamente 1.58 bits por peso. Este enfoque no solo permitiría que modelos altamente complejos que usualmente requieren gigas de RAM y almacenamiento puedan ejecutar en sistemas con recursos muy limitados, sino que también mejora la eficiencia energética, un aspecto vital en hardware antiguo y en dispositivos móviles actuales. Además, las pruebas preliminares con BitNet realizadas en CPU modernas como el M2 Ultra y el Intel i7 muestran velocidades de generación de texto superiores a modelos de precisión completa, con un modelo de 7 mil millones de parámetros ocupando apenas 1.38GB, lo suficientemente pequeño para caber en discos duros con capacidades similares a las de las antiguas PC.
La propuesta del equipo EXO es clara: democratizar la IA y liberarla de la dependencia exclusiva de grandes centros de datos o hardware especializado. Interpretan que el futuro de la inteligencia artificial radica en su portabilidad y accesibilidad, y que la innovación en arquitectura de modelos y optimización de código puede llevar a una verdadera revolución tecnológica. Esta perspectiva invita a que más entusiastas y desarrolladores practiquen la ejecución de modelos en hardware retro que abarque desde PCs antiguas hasta consolas de videojuegos o teléfonos móviles obsoletos. Para quienes se interesen en experimentar con modelos de IA en máquinas antiguas o alternativas, el código fuente adaptado para Windows 98 está disponible en GitHub en el repositorio llama98.c, y la comunidad está abierta para compartir conocimientos y colaborar a través de plataformas como Discord.
El proyecto Running Llama en Windows 98 no solo es un ejercicio nostálgico, sino un ejemplo contundente de la resiliencia, creatividad y visión que pueden convertir equipos aparentemente obsoletos en máquinas capaces de realizar tareas de inteligencia artificial avanzadas. Supone, además, un recordatorio de que la tecnología del pasado puede tener relevancia en el presente y futuro, especialmente en cuanto a hacer la IA más inclusiva, eficiente y distribuida. Mientras el mundo digital avanza hacia una dependencia cada vez mayor de grandes infraestructuras, iniciativas como esta invitan a reflexionar sobre el valor del ingenio y el aprovechamiento óptimo de recursos limitados, abriendo nuevos caminos para que la inteligencia artificial sea verdaderamente accesible para todos.
