S.M. Kerner
RAG non è sempre abbastanza veloce o intelligente per i moderni flussi di lavoro di intelligenza artificiale agentica. Man mano che i team passano da chatbot di breve durata ad agenti di lunga durata e con un elevato utilizzo di strumenti integrati nei sistemi di produzione, queste limitazioni diventano sempre più difficili da aggirare.In risposta a ciò, i team stanno sperimentando architetture di memoria alternative, a volte chiamate memoria contestuale o memoria agentica, che danno priorità alla persistenza e alla stabilità rispetto al recupero dinamico.Una delle implementazioni più recenti di questo approccio è la “memoria osservativa”, una tecnologia open source sviluppata da Mastra, fondata dagli ingegneri che in precedenza avevano creato e venduto il framework Gatsby a Netlify .A differenza dei sistemi RAG che recuperano il contesto in modo dinamico, la memoria osservativa utilizza due agenti in background (Observer e Reflector) per comprimere la cronologia delle conversazioni in un registro di osservazione datato. Le osservazioni compresse rimangono contestualizzate, eliminando completamente il recupero. Per i contenuti testuali, il sistema raggiunge una compressione da 3 a 6 volte. Per carichi di lavoro degli agenti che richiedono un uso intensivo di strumenti e generano output di grandi dimensioni, i rapporti di compressione raggiungono 5-40 volte.Il compromesso è che la memoria osservativa dà priorità a ciò che l’agente ha già visto e deciso rispetto alla ricerca in un corpus esterno più ampio, rendendola meno adatta per la scoperta di conoscenze aperte o per casi d’uso di richiamo ad alta conformità.Il sistema ha ottenuto un punteggio del 94,87% su LongMemEval utilizzando GPT-5-mini, mantenendo una finestra di contesto completamente stabile e memorizzabile nella cache. Sul modello GPT-4o standard, la memoria osservativa ha ottenuto un punteggio dell’84,23%, rispetto all’80,05% dell’implementazione RAG di Mastra.”Ha questa grande caratteristica di essere allo stesso tempo più semplice e più potente, come se avesse ottenuto punteggi migliori nei benchmark”, ha detto a VentureBeat Sam Bhagwat, co-fondatore e CEO di Mastra.Come funziona: due agenti comprimono la cronologia in osservazioniL’architettura è più semplice rispetto ai sistemi di memoria tradizionali, ma offre risultati migliori. La memoria osservativa divide la finestra di contesto in due blocchi. Il primo contiene le osservazioni, ovvero note compresse e datate, estratte dalle conversazioni precedenti. Il secondo contiene la cronologia grezza dei messaggi della sessione corrente.Due agenti in background gestiscono il processo di compressione. Quando i messaggi non osservati raggiungono i 30.000 token (configurabile), l’agente Observer li comprime in nuove osservazioni e li aggiunge al primo blocco. I messaggi originali vengono eliminati. Quando le osservazioni raggiungono i 40.000 token (configurabile), l’agente Reflector ristruttura e condensa il registro delle osservazioni, combinando gli elementi correlati e rimuovendo le informazioni sostituite.
“Il modo in cui si comprimono questi messaggi nel tempo è come se si ricevessero dei messaggi, e poi un agente chiedesse: ‘OK, quindi quali sono gli elementi chiave da ricordare di questa serie di messaggi?'”, ha detto Bhagwat. “Si comprime il messaggio, poi si inseriscono altri 30.000 token e si comprime anche quello.”Il formato è basato su testo, non su oggetti strutturati. Non sono richiesti database vettoriali o grafici.Le finestre di contesto stabili riducono i costi dei token fino a 10 volteL’economia della memoria osservativa deriva dal caching dei prompt. Anthropic, OpenAI e altri fornitori riducono i costi dei token di 4-10 volte per i prompt memorizzati nella cache rispetto a quelli non memorizzati. La maggior parte dei sistemi di memoria non può trarne vantaggio perché modifica il prompt a ogni passaggio iniettando il contesto recuperato dinamicamente, invalidando la cache. Per i team di produzione, questa instabilità si traduce direttamente in curve di costo imprevedibili e carichi di lavoro degli agenti più difficili da preventivare.La memoria osservativa mantiene stabile il contesto. Il blocco di osservazione è “append-only” finché non viene eseguita la riflessione, il che significa che il prompt di sistema e le osservazioni esistenti formano un prefisso coerente che può essere memorizzato nella cache in più turni. I messaggi continuano a essere aggiunti al blocco di cronologia grezza fino al raggiungimento della soglia di 30.000 token. Ogni turno precedente rappresenta un hit completo della cache.Durante l’esecuzione dell’osservazione, i messaggi vengono sostituiti con nuove osservazioni aggiunte al blocco di osservazione esistente. Il prefisso dell’osservazione rimane coerente, quindi il sistema riceve comunque un hit parziale della cache. Solo durante la riflessione (che viene eseguita raramente) l’intera cache viene invalidata.La dimensione media della finestra di contesto per l’esecuzione del benchmark LongMemEval di Mastra era di circa 30.000 token, molto più piccola di quanto richiederebbe la cronologia completa della conversazione.
Perché questo differisce dalla compattazione tradizionaleLa maggior parte degli agenti di codifica utilizza la compattazione per gestire contesti lunghi. La compattazione consente alla finestra del contesto di riempirsi completamente, quindi comprime l’intera cronologia in un riepilogo quando sta per traboccare. L’agente continua, la finestra si riempie di nuovo e il processo si ripete.La compattazione produce riepiloghi in stile documentazione. Cattura l’essenza di ciò che è accaduto, ma perde eventi, decisioni e dettagli specifici. La compressione avviene in grandi batch, il che rende ogni passaggio computazionalmente costoso. Questo funziona per la leggibilità umana, ma spesso elimina le decisioni specifiche e le interazioni con gli strumenti di cui gli agenti hanno bisogno per agire in modo coerente nel tempo.L’Observer, d’altra parte, viene eseguito più frequentemente, elaborando blocchi più piccoli. Invece di riassumere la conversazione, produce un registro decisionale basato sugli eventi: un elenco strutturato di osservazioni datate e prioritarie su ciò che è accaduto nello specifico. Ogni ciclo di osservazione gestisce meno contesto e lo comprime in modo più efficiente.Il log non viene mai riassunto in un blob. Anche durante la riflessione, Reflector riorganizza e condensa le osservazioni per trovare connessioni ed eliminare i dati ridondanti. Tuttavia, la struttura basata sugli eventi persiste. Il risultato è un log di decisioni e azioni, non una documentazione.Casi d’uso aziendali: conversazioni di agenti di lunga durata.
I clienti di Mastra appartengono a diverse categorie. Alcuni sviluppano chatbot in-app per piattaforme CMS come Sanity o Contentful. Altri creano sistemi di intelligenza artificiale (SRE) che aiutano i team di progettazione a gestire gli avvisi. Gli agenti di elaborazione dei documenti gestiscono la documentazione per le aziende tradizionali che si stanno orientando verso l’automazione.Ciò che accomuna questi casi d’uso è la necessità di conversazioni di lunga durata che mantengano il contesto per settimane o mesi. Un agente integrato in un sistema di gestione dei contenuti deve ricordare che tre settimane prima l’utente ha richiesto un formato di report specifico. Un agente SRE deve tenere traccia di quali avvisi sono stati esaminati e quali decisioni sono state prese.”Uno dei grandi obiettivi per il 2025 e il 2026 è stato quello di creare un agente all’interno della loro app web”, ha affermato Bhagwat a proposito delle aziende SaaS B2B. “Questo agente deve essere in grado di ricordare che, tipo, tre settimane fa mi hai chiesto di questa cosa, o hai detto che volevi un report su questo tipo di contenuto, o sulle visualizzazioni segmentate in base a questa metrica”.In questi scenari, la memoria smette di essere un’ottimizzazione e diventa un requisito del prodotto: gli utenti si accorgono immediatamente quando gli agenti dimenticano decisioni o preferenze precedenti.La memoria osservativa mantiene mesi di cronologia delle conversazioni presenti e accessibili. L’agente può rispondere ricordando il contesto completo, senza richiedere all’utente di riformulare preferenze o decisioni precedenti.Il sistema è stato distribuito come parte di Mastra 1.0 ed è ora disponibile. Questa settimana, il team ha rilasciato plug-in per LangChain, l’SDK per l’intelligenza artificiale di Vercel e altri framework, consentendo agli sviluppatori di utilizzare la memoria osservativa al di fuori dell’ecosistema Mastra.Cosa significa per i sistemi di intelligenza artificiale di produzioneLa memoria osservativa offre un approccio architetturale diverso rispetto al database vettoriale e alle pipeline RAG che dominano le implementazioni attuali. L’architettura più semplice (basata su testo, senza database specializzati) semplifica il debug e la manutenzione. La finestra di contesto stabile consente un caching aggressivo che riduce i costi. Le prestazioni dei benchmark suggeriscono che l’approccio può funzionare su larga scala.Per i team aziendali che valutano gli approcci alla memoria, le domande chiave sono:Quanto contesto devono mantenere i tuoi agenti tra una sessione e l’altra?Qual è la tua tolleranza per la compressione con perdita di dati rispetto alla ricerca su un corpus completo?Hai bisogno del recupero dinamico fornito da RAG o sarebbe meglio un contesto stabile?I tuoi agenti utilizzano molti strumenti e generano grandi quantità di output che necessitano di compressione?Le risposte determinano se la memoria osservativa è adatta al tuo caso d’uso. Bhagwat considera la memoria come una delle principali primitive necessarie per agenti ad alte prestazioni, insieme all’uso di strumenti, all’orchestrazione del flusso di lavoro, all’osservabilità e ai guardrail. Per gli agenti aziendali integrati nei prodotti, dimenticare il contesto tra una sessione e l’altra è inaccettabile. Gli utenti si aspettano che gli agenti ricordino le loro preferenze, le decisioni precedenti e il lavoro in corso.”La cosa più difficile per i team che creano agenti è la produzione, che può richiedere tempo”, ha detto Bhagwat. “La memoria è un aspetto molto importante in questo, perché è davvero fastidioso se usi qualsiasi tipo di strumento di agenzia e gli dici qualcosa e poi se ne dimentica.”Man mano che gli agenti passano dagli esperimenti ai sistemi di registrazione incorporati, il modo in cui i team progettano la memoria potrebbe essere importante tanto quanto il modello scelto.