MrPc
Spedire velocemente, ottimizzare in seguito: i migliori ingegneri dell’intelligenza artificiale non si preoccupano dei costi: danno priorità all’implementazione
Venturebeat,T. Plumb
In tutti i settori, l’aumento dei costi di elaborazione viene spesso citato come un ostacolo all’adozione dell’IA , ma le aziende leader stanno scoprendo che il costo non è più il vero vincolo. Le sfide più difficili (e quelle che stanno più a cuore a molti leader tecnologici)? Latenza, flessibilità e capacità. In Wonder , ad esempio, l’IA aggiunge solo pochi centesimi per ordine; l’azienda di consegna di cibo e cibo da asporto è molto più interessata alla capacità del cloud, con una domanda in forte crescita. Recursion , da parte sua, si è concentrata sul bilanciamento tra formazione e implementazione su piccola e larga scala tramite cluster on-premise e cloud; questo ha offerto all’azienda biotecnologica la flessibilità necessaria per una rapida sperimentazione. Le esperienze concrete delle aziende evidenziano una tendenza più ampia del settore: per le aziende che utilizzano l’IA su larga scala, l’aspetto economico non è il fattore decisivo: il dibattito si è spostato da come pagare l’IA a quanto velocemente può essere implementata e sostenuta. I leader dell’IA delle due aziende hanno recentemente incontrato il CEO e caporedattore di Venturebeat, Matt Marshall, nell’ambito della serie itinerante AI Impact Series di VB . Ecco cosa hanno condiviso.Meraviglia: ripensa a ciò che dai per scontato sulla capacitàWonder utilizza l’intelligenza artificiale per gestire ogni aspetto, dalle raccomandazioni alla logistica, ma, al momento, come ha affermato il CTO James Chen, l’intelligenza artificiale aggiunge solo pochi centesimi per ordine.
Chen ha spiegato che la componente tecnologica di un ordine di pasto costa 14 centesimi, l’intelligenza artificiale aggiunge dai 2 ai 3 centesimi, anche se “sta salendo molto rapidamente” a 5-8 centesimi. Tuttavia, questo sembra quasi irrilevante rispetto ai costi operativi totali. Invece, la preoccupazione principale dell’azienda di intelligenza artificiale cloud-native al 100% è stata la capacità, con la crescente domanda. Wonder è stata creata con “il presupposto” (che si è rivelato errato) che ci sarebbe stata “capacità illimitata” in modo da potersi muovere “super velocemente” e non doversi preoccupare della gestione dell’infrastruttura, ha osservato Chen. Ma l’azienda è cresciuta parecchio negli ultimi anni, ha detto; di conseguenza, circa sei mesi fa, “abbiamo iniziato a ricevere piccoli segnali dai fornitori di cloud, ‘Ehi, potreste dover considerare di passare alla regione due'”, perché stavano esaurendo la capacità di CPU o di archiviazione dati nelle loro strutture a causa della crescita della domanda. È stato “molto scioccante” che abbiano dovuto passare al piano B prima del previsto. “Ovviamente è una buona prassi essere multiregionali, ma pensavamo di farlo tra due anni”, ha affermato Chen.Ciò che non è ancora economicamente fattibileWonder ha creato un proprio modello per massimizzare il tasso di conversione, ha osservato Chen; l’obiettivo è quello di presentare nuovi ristoranti a clienti rilevanti il più possibile. Si tratta di “scenari isolati” in cui i modelli vengono addestrati nel tempo per essere “molto, molto efficienti e molto veloci”. Attualmente, la soluzione migliore per il caso d’uso di Wonder sono i modelli di grandi dimensioni, ha osservato Chen. Ma a lungo termine, vorrebbero passare a modelli di piccole dimensioni, iper-personalizzati per ogni individuo (tramite agenti o concierge basati sull’intelligenza artificiale) in base alla cronologia degli acquisti e persino al flusso di clic. “Avere questi micro modelli è sicuramente la soluzione migliore, ma al momento il costo è molto elevato”, ha osservato Chen. “Se si cerca di crearne uno per ogni persona, non è economicamente fattibile”.
Visa’s $3.5B Bet on AIChen ha spiegato che la componente tecnologica di un ordine di pasto costa 14 centesimi, l’intelligenza artificiale aggiunge dai 2 ai 3 centesimi, anche se “sta salendo molto rapidamente” a 5-8 centesimi. Tuttavia, questo sembra quasi irrilevante rispetto ai costi operativi totali. Invece, la preoccupazione principale dell’azienda di intelligenza artificiale cloud-native al 100% è stata la capacità, con la crescente domanda. Wonder è stata creata con “il presupposto” (che si è rivelato errato) che ci sarebbe stata “capacità illimitata” in modo da potersi muovere “super velocemente” e non doversi preoccupare della gestione dell’infrastruttura, ha osservato Chen. Ma l’azienda è cresciuta parecchio negli ultimi anni, ha detto; di conseguenza, circa sei mesi fa, “abbiamo iniziato a ricevere piccoli segnali dai fornitori di cloud, ‘Ehi, potreste dover considerare di passare alla regione due'”, perché stavano esaurendo la capacità di CPU o di archiviazione dati nelle loro strutture a causa della crescita della domanda. È stato “molto scioccante” che abbiano dovuto passare al piano B prima del previsto. “Ovviamente è una buona prassi essere multiregionali, ma pensavamo di farlo tra due anni”, ha affermato Chen.Ciò che non è ancora economicamente fattibileWonder ha creato un proprio modello per massimizzare il tasso di conversione, ha osservato Chen; l’obiettivo è quello di presentare nuovi ristoranti a clienti rilevanti il più possibile. Si tratta di “scenari isolati” in cui i modelli vengono addestrati nel tempo per essere “molto, molto efficienti e molto veloci”. Attualmente, la soluzione migliore per il caso d’uso di Wonder sono i modelli di grandi dimensioni, ha osservato Chen. Ma a lungo termine, vorrebbero passare a modelli di piccole dimensioni, iper-personalizzati per ogni individuo (tramite agenti o concierge basati sull’intelligenza artificiale) in base alla cronologia degli acquisti e persino al flusso di clic. “Avere questi micro modelli è sicuramente la soluzione migliore, ma al momento il costo è molto elevato”, ha osservato Chen. “Se si cerca di crearne uno per ogni persona, non è economicamente fattibile”.Il budget è un’arte, non una scienzaWonder offre ai suoi sviluppatori e data scientist il massimo spazio possibile per sperimentare, e i team interni esaminano i costi di utilizzo per assicurarsi che nessuno abbia attivato un modello e “abbia aumentato enormemente le risorse di calcolo per una bolletta esorbitante”, ha affermato Chen. L’azienda sta provando diverse soluzioni per delegare all’intelligenza artificiale e operare entro i margini. “Ma poi è molto difficile stilare un budget perché non si ha idea”, ha affermato. Una delle sfide è il ritmo di sviluppo; quando esce un nuovo modello, “non possiamo semplicemente restare lì seduti, giusto? Dobbiamo usarlo”. Definire un budget per gli aspetti economici sconosciuti di un sistema basato su token è “sicuramente una questione di arte contro scienza”. Un componente fondamentale del ciclo di vita dello sviluppo software è preservare il contesto quando si utilizzano modelli nativi di grandi dimensioni, ha spiegato. Quando si trova qualcosa che funziona, è possibile aggiungerlo al “corpus di contesto” aziendale, che può essere inviato con ogni richiesta. È una cosa importante e costa denaro ogni volta. “Oltre il 50%, fino all’80% dei costi è dovuto semplicemente al reinvio delle stesse informazioni allo stesso motore a ogni richiesta”, ha affermato Chen.In teoria, più ne fanno, minore dovrebbe essere il costo unitario. “So che quando avviene una transazione, pagherò la tassa di X centesimi per ogni transazione, ma non voglio essere limitato a usare la tecnologia per tutte queste altre idee creative.”Il “momento della rivendicazione” per la ricorsioneRecursion, da parte sua, si è concentrata sulla soddisfazione di esigenze di elaborazione di ampio respiro tramite un’infrastruttura ibrida di cluster on-premise e inferenza cloud. Inizialmente, quando ha cercato di sviluppare la propria infrastruttura di intelligenza artificiale, l’azienda ha dovuto adottare una propria configurazione, poiché “i provider cloud non avevano molte buone offerte”, ha spiegato il CTO Ben Mabey. “Il momento decisivo è stato quando abbiamo avuto bisogno di più elaborazione e ci siamo rivolti ai provider cloud, che ci hanno risposto: ‘Forse tra un anno o giù di lì'”. Il primo cluster dell’azienda, nel 2017, incorporava GPU da gaming Nvidia (1080, lanciate nel 2016); da allora hanno aggiunto Nvidia H100 e A100 e utilizzano un cluster Kubernetes che eseguono nel cloud o on-premise. Rispondendo alla questione della longevità, Mabey ha osservato: “Queste GPU da gaming sono ancora in uso oggi, il che è assurdo, vero? Il mito secondo cui la durata di una GPU sia di soli tre anni è decisamente falso. Le A100 sono ancora in cima alla lista, sono il cavallo di battaglia del settore”.I migliori casi d’uso on-premise vs cloud; differenze di costoPiù di recente, il team di Mabey ha addestrato un modello di base sul repository di immagini di Recursion (che consiste in petabyte di dati e oltre 200 immagini). Questo e altri tipi di grandi lavori di addestramento hanno richiesto un “cluster enorme” e configurazioni connesse e multi-nodo. “Quando abbiamo bisogno di una rete completamente connessa e dell’accesso a molti dei nostri dati in un file system parallelo elevato, andiamo on-prem”, ha spiegato. D’altra parte, i carichi di lavoro più brevi vengono eseguiti nel cloud. Il metodo di Recursion consiste nel “pre-emptare” le GPU e le unità di elaborazione tensoriale (TPU) di Google, ovvero interrompere le attività GPU in esecuzione per lavorare su quelle con priorità più elevata. “Perché non ci interessa la velocità in alcuni di questi carichi di lavoro di inferenza in cui carichiamo dati biologici, che si tratti di un’immagine o di dati di sequenziamento, dati del DNA”, ha spiegato Mabey. “Possiamo dire: ‘Daccelo in un’ora’, e non ci importa se rovina il lavoro”. Dal punto di vista dei costi, spostare grandi carichi di lavoro on-prem è “prudenzialmente” 10 volte più economico, ha osservato Mabey; per un TCO di cinque anni, costa la metà. D’altra parte, per esigenze di storage più ridotte, il cloud può essere “abbastanza competitivo” in termini di costi. In definitiva, Mabey ha esortato i leader tecnologici a fare un passo indietro e valutare se sono davvero disposti a impegnarsi nell’intelligenza artificiale; le soluzioni convenienti in genere richiedono acquisizioni pluriennali. “Da un punto di vista psicologico, ho visto colleghi che non investiranno in risorse di elaborazione e, di conseguenza, pagheranno sempre on demand”, ha affermato Mabey. “I loro team utilizzano molto meno risorse di elaborazione perché non vogliono far lievitare la bolletta del cloud. L’innovazione è davvero ostacolata da chi non vuole sprecare denaro”.
Foto: CleoPtolemy realizzato con Midjourney