La IA solo puede “tener en mente” cierta cantidad de texto a la vez: su “ventana de contexto”. Si la conversación se hace larguísima o le pega un documento enorme, lo primero empieza a quedar fuera y parece que “se le olvida”.
Los modelos modernos tienen ventanas gigantes (libros enteros), pero el límite existe.
Por eso los sistemas serios no le avientan TODO a la IA, sino que le dan justo lo relevante en cada momento (ahí entra el RAG). Memoria enfocada gana a memoria saturada.