VB, B. Dickson
I ricercatori della New York University hanno sviluppato una nuova architettura per i modelli di diffusione che migliora la rappresentazione semantica delle immagini generate. Il ” Diffusion Transformer with Representation Autoencoders ” (RAE) sfida alcuni degli standard accettati per la costruzione di modelli di diffusione. Il modello del ricercatore della NYU è più efficiente e accurato dei modelli di diffusione standard, sfrutta le più recenti ricerche sull’apprendimento delle rappresentazioni e potrebbe aprire la strada a nuove applicazioni precedentemente troppo complesse o costose.
Questa svolta potrebbe sbloccare funzionalità più affidabili e potenti per le applicazioni aziendali. “Per modificare bene le immagini, un modello deve comprendere a fondo il loro contenuto”, ha dichiarato a VentureBeat Saining Xie, coautore dell’articolo. “RAE aiuta a collegare questa parte di comprensione con la parte di generazione”. Ha anche indicato future applicazioni nella “generazione basata su RAG, in cui si utilizzano le funzionalità di codifica RAE per la ricerca e quindi si generano nuove immagini in base ai risultati della ricerca”, nonché nella “generazione di video e nei modelli del mondo basati sull’azione”.
Lo stato della modellazione generativaI modelli di diffusione , la tecnologia alla base della maggior parte dei potenti generatori di immagini odierni, utilizzano la generazione di frame come un processo di apprendimento per comprimere e decomprimere le immagini. Un autoencoder variazionale (VAE) apprende una rappresentazione compatta delle caratteristiche chiave di un’immagine in un cosiddetto “spazio latente”. Il modello viene quindi addestrato a generare nuove immagini invertendo questo processo a partire dal rumore casuale.Sebbene la componente di diffusione di questi modelli abbia fatto progressi, l’autoencoder utilizzato nella maggior parte di essi è rimasto sostanzialmente invariato negli ultimi anni. Secondo i ricercatori della New York University, questo autoencoder standard (SD-VAE) è adatto per catturare caratteristiche di basso livello e aspetti locali, ma è privo della “struttura semantica globale cruciale per la generalizzazione e le prestazioni generative”.Allo stesso tempo, il campo ha visto progressi impressionanti nell’apprendimento della rappresentazione delle immagini con modelli come DINO, MAE e CLIP . Questi modelli apprendono caratteristiche visive semanticamente strutturate che si generalizzano tra le attività e possono fungere da base naturale per la comprensione visiva. Tuttavia, una convinzione ampiamente diffusa ha impedito agli sviluppatori di utilizzare queste architetture nella generazione di immagini: i modelli incentrati sulla semantica non sono adatti alla generazione di immagini perché non catturano caratteristiche granulari a livello di pixel. I professionisti ritengono inoltre che i modelli di diffusione non funzionino bene con il tipo di rappresentazioni ad alta dimensionalità prodotte dai modelli semantici.
Diffusione con codificatori di rappresentazioneI ricercatori della New York University propongono di sostituire il VAE standard con gli “autoencoder di rappresentazione” (RAE). Questo nuovo tipo di autoencoder abbina un encoder di rappresentazione pre-addestrato, come il DINO di Meta , a un decoder di trasformazione visiva addestrato. Questo approccio semplifica il processo di addestramento utilizzando encoder esistenti e potenti, già addestrati su enormi set di dati.Per far funzionare tutto questo, il team ha sviluppato una variante del trasformatore di diffusione (DiT), la spina dorsale della maggior parte dei modelli di generazione di immagini. Questo DiT modificato può essere addestrato in modo efficiente nello spazio ad alta dimensionalità delle RAE senza incorrere in enormi costi di calcolo. I ricercatori dimostrano che i codificatori di rappresentazione congelata, anche quelli ottimizzati per la semantica, possono essere adattati per attività di generazione di immagini. Il loro metodo produce ricostruzioni superiori allo standard SD-VAE senza aggiungere complessità architetturale.Tuttavia, adottare questo approccio richiede un cambiamento di mentalità. “RAE non è un semplice autoencoder plug-and-play; anche la parte di modellazione della diffusione deve evolversi”, ha spiegato Xie. “Un punto chiave che vogliamo sottolineare è che la modellazione dello spazio latente e la modellazione generativa dovrebbero essere progettate congiuntamente, piuttosto che trattate separatamente”.Con i giusti adattamenti architetturali, i ricercatori hanno scoperto che le rappresentazioni a più dimensioni rappresentano un vantaggio, offrendo una struttura più ricca, una convergenza più rapida e una migliore qualità di generazione. Nel loro articolo , i ricercatori osservano che queste “latenti a più dimensioni non introducono di fatto costi aggiuntivi di calcolo o di memoria”. Inoltre, lo standard SD-VAE è più costoso dal punto di vista computazionale, richiedendo circa sei volte più risorse di calcolo per il codificatore e tre volte di più per il decodificatore, rispetto al RAE.
Prestazioni ed efficienza più elevateLa nuova architettura del modello offre miglioramenti significativi sia in termini di efficienza di addestramento che di qualità di generazione. La ricetta di diffusione migliorata del team raggiunge risultati eccellenti dopo sole 80 epoche di addestramento. Rispetto ai precedenti modelli di diffusione addestrati su VAE, il modello basato su RAE raggiunge una velocità di addestramento di 47 volte superiore. Supera inoltre i recenti metodi basati sull’allineamento delle rappresentazioni con una velocità di addestramento di 16 volte superiore. Questo livello di efficienza si traduce direttamente in minori costi di addestramento e cicli di sviluppo del modello più rapidi.Per l’uso aziendale, questo si traduce in output più affidabili e coerenti. Xie ha osservato che i modelli basati su RAE sono meno soggetti agli errori semantici osservati nella diffusione classica, aggiungendo che RAE fornisce al modello “una lente di ingrandimento molto più intelligente sui dati”. Ha osservato che modelli leader come ChatGPT-4o e Nano Banana di Google si stanno muovendo verso una “generazione basata sui soggetti, altamente coerente e basata sulla conoscenza” e che la base semanticamente ricca di RAE è fondamentale per raggiungere questa affidabilità su larga scala e nei modelli open source.I ricercatori hanno dimostrato queste prestazioni con il benchmark ImageNet. Utilizzando la metrica Fréchet Inception Distance (FID), in cui un punteggio inferiore indica immagini di qualità superiore, il modello basato su RAE ha ottenuto un punteggio all’avanguardia di 1,51 senza guida. Con AutoGuidance, una tecnica che utilizza un modello più piccolo per guidare il processo di generazione, il punteggio FID è sceso a un ancora più impressionante 1,13 sia per le immagini 256×256 che per quelle 512×512.Prestazioni del modello RAEPrestazioni RAE rispetto al VAE classico (fonte: arXiv)Integrando con successo l’apprendimento moderno della rappresentazione nel framework di diffusione, questo lavoro apre una nuova strada per la creazione di modelli generativi più efficienti ed economici. Questa unificazione punta verso un futuro di sistemi di intelligenza artificiale più integrati.”Crediamo che in futuro ci sarà un singolo modello di rappresentazione unificato che catturi la ricca struttura sottostante della realtà… in grado di decodificarla in molte diverse modalità di output”, ha affermato Xie. Ha aggiunto che RAE offre un percorso unico verso questo obiettivo: “Lo spazio latente ad alta dimensione dovrebbe essere appreso separatamente per fornire una solida base che possa poi essere decodificata in diverse modalità, piuttosto che affidarsi a un approccio brutale che prevede la combinazione di tutti i dati e l’addestramento con più obiettivi contemporaneamente”.
Credito immagine: VentureBeat con ChatGPT