Desmitificando las Limitaciones de los Modelos de Lenguaje: Eficacia y Olvido

Un análisis reciente destaca la limitación de los grandes contextos en modelos de lenguaje, donde se identifican zonas de eficacia y de olvido. A pesar de que los proveedores publicitan ventanas de contexto de hasta 2 millones de tokens, la efectividad real es mucho menor. Herramientas modernas están comenzando a abordar este problema mediante la auto-compresión de sesiones, pero se sugiere que los usuarios gestionen sus sesiones de manera más activa para evitar caer en la zona de olvido.