Databricks Optimiza el Rendimiento de Codificación con Nuevas Evaluaciones Internas

Databricks ha implementado un nuevo sistema de evaluación interna para medir el rendimiento de agentes de codificación en su vasta base de código, que abarca millones de líneas y múltiples lenguajes. Este análisis, realizado por su equipo de ingeniería, busca optimizar la eficiencia en el uso de modelos de inteligencia artificial, revelando que la combinación de herramientas es clave para lograr un rendimiento óptimo en tareas de codificación. Los resultados indican que modelos como GLM 5.2 y Opus 4.8 ofrecen un balance favorable entre costo y calidad, lo que sugiere un cambio en la estrategia de selección de modelos para tareas diarias.

El estudio destaca que el costo por tarea no siempre se correlaciona con el costo por token, lo que subraya la importancia de un benchmarking específico para tareas. Además, se observó que la elección del entorno de ejecución (harness) influye significativamente en la eficiencia y calidad de los resultados. Con esta iniciativa, Databricks busca no solo mejorar su productividad, sino también establecer un modelo replicable para otras empresas que deseen optimizar el uso de agentes de codificación en sus procesos de desarrollo.