TurboFieldfare: Inferencia Eficiente de Gemma 4 en Macs con 8 GB de RAM

TurboFieldfare, un nuevo runtime desarrollado por Andrey Mikhaylov, permite la inferencia del modelo Gemma 4 26B-A4B en Macs con solo 8 GB de RAM, optimizando el uso de memoria al no cargar el modelo completo de 14.3 GB. Este sistema, diseñado específicamente para Apple Silicon, utiliza un enfoque de streaming que solo carga los componentes necesarios en cada momento, facilitando su uso en dispositivos con recursos limitados. La aplicación incluye una interfaz nativa y una CLI, permitiendo a los usuarios interactuar con el modelo de manera eficiente.