Cliccare sui pulsanti e compilare moduli con Gemini 2.5 Computer Use
Venturebeat, C.Franzen
Alcuni dei maggiori fornitori di modelli linguistici di grandi dimensioni (LLM) hanno cercato di andare oltre i chatbot multimodali, estendendo i loro modelli ad “agenti” in grado di intraprendere più azioni per conto dell’utente su più siti web. Basti pensare all’agente ChatGPT di OpenAI (precedentemente noto come ” Operator “) e a Computer Use di Anthropic , entrambi rilasciati negli ultimi due anni.
Ora anche Google si sta lanciando nella stessa sfida. Oggi, la sussidiaria del gigante della ricerca, DeepMind AI Lab, ha presentato una nuova versione ottimizzata e personalizzata del suo potente Gemini 2.5 Pro LLM, nota come ” Gemini 2.5 Pro Computer Use “, che può utilizzare un browser virtuale per navigare sul web per conto dell’utente, recuperare informazioni, compilare moduli e persino eseguire azioni sui siti web , il tutto tramite un singolo prompt di testo.
“Siamo ancora agli inizi, ma la capacità del modello di interagire con il web, ad esempio scorrendo, compilando moduli e navigando nei menu a discesa, rappresenta un importante passo avanti nella creazione di agenti generici”, ha affermato il CEO di Google Sundar Pichai, in una dichiarazione più lunga sul social network X.
Tuttavia, il modello non è disponibile per i consumatori direttamente tramite Google.
Google ha invece stretto una partnership con un’altra azienda, Browserbase , fondata dall’ex ingegnere di Twilio Paul Klein all’inizio del 2024 , che offre un browser web virtuale “headless” specificamente progettato per l’uso da parte di agenti e applicazioni di intelligenza artificiale. (Un browser “headless” è un browser che non richiede un’interfaccia utente grafica, o GUI, per navigare sul web, sebbene in questo e in altri casi Browserbase mostri una rappresentazione grafica per l’utente).
Gli utenti possono provare il nuovo modello Gemini 2.5 Computer Use direttamente su Browserbase qui e persino confrontarlo con le vecchie offerte rivali di OpenAI e Anthropic in una nuova ” Browser Arena ” lanciata dalla startup (anche se è possibile selezionare solo un modello aggiuntivo alla volta insieme a Gemini).
Per i costruttori e gli sviluppatori di intelligenza artificiale, viene realizzato come un LLM grezzo, sebbene proprietario, tramite l’ API Gemini in Google AI Studio per la prototipazione rapida e la piattaforma di selezione e creazione di applicazioni Vertex AI di Google Cloud.
La nuova offerta si basa sulle funzionalità di Gemini 2.5 Pro , rilasciato a marzo 2025 ma che da allora è stato aggiornato in modo significativo più volte, con un’attenzione specifica nel consentire agli agenti di intelligenza artificiale di eseguire interazioni dirette con le interfacce utente, inclusi browser e applicazioni mobili.
Nel complesso, sembra che Gemini 2.5 Computer Use sia stato progettato per consentire agli sviluppatori di creare agenti in grado di completare autonomamente attività basate sull’interfaccia, come cliccare, digitare, scorrere, compilare moduli e navigare dietro le schermate di accesso.
Invece di affidarsi esclusivamente ad API o input strutturati, questo modello consente ai sistemi di intelligenza artificiale di interagire con il software in modo visivo e funzionale, proprio come farebbe un essere umano.
Brevi test pratici per gli utenti
In my brief, unscientific initial hands-on tests on the Browserbase website, Gemini 2.5 Computer Use successfully navigate to Taylor Swift’s official website as instructed and provided me a summary of what was being sold or promoted at the top — a special edition of her newest album, “The Life of A Showgirl.”
In another test, I asked Gemini 2.5 Computer Use to search Amazon for highly rated and well-reviewed solar lights I could stake into my back yard, and I was delighted to watch as it successfully completed a Google Search Captcha designed to weed out non-human users (“Select all the boxes with a motorcycle.”) It did so in a matter of seconds.
However, once it got through there, it stalled and was unable to complete the task, despite serving up a “task competed” message.
I should also note here that while the ChatGPT agent from OpenAI and Anthropic’s Claude can create and edit local files — such as PowerPoint presentations, spreadsheets, or text documents — on the user’s behalf, Gemini 2.5 Computer Use does not currently offer direct file system access or native file creation capabilities.
Instead, it is designed to control and navigate web and mobile user interfaces through actions like clicking, typing, and scrolling. Its output is limited to suggested UI actions or chatbot-style text responses; any structured output like a document or file must be handled separately by the developer, often through custom code or third-party integrations.
Performance Benchmarks
Google says Gemini 2.5 Computer Use has demonstrated leading results in multiple interface control benchmarks, particularly when compared to other major AI systems including Claude Sonnet and OpenAI’s agent-based models.
Evaluations were conducted via Browserbase and Google’s own testing.
Some highlights include:
Online-Mind2Web (Browserbase): 65.7% for Gemini 2.5 vs. 61.0% (Claude Sonnet 4) and 44.3% (OpenAI Agent)
WebVoyager (Browserbase): 79.9% for Gemini 2.5 vs. 69.4% (Claude Sonnet 4) and 61.0% (OpenAI Agent)
AndroidWorld (DeepMind): 69.7% for Gemini 2.5 vs. 62.1% (Claude Sonnet 4); OpenAI’s model could not be measured due to lack of access
OSWorld: Currently not supported by Gemini 2.5; top competitor result was 61.4%
In addition to strong accuracy, Google reports that the model operates at lower latency than other browser control solutions — a key factor in production use cases like UI automation and testing.
How It Works
Agents powered by the Computer Use model operate within an interaction loop. They receive:
A user task prompt
A screenshot of the interface
A history of past actions
The model analyzes this input and produces a recommended UI action, such as clicking a button or typing into a field.
If needed, it can request confirmation from the end user for riskier tasks, such as making a purchase.
Once the action is executed, the interface state is updated and a new screenshot is sent back to the model. The loop continues until the task is completed or halted due to an error or a safety decision.
The model uses a specialized tool called computer_use, and it can be integrated into custom environments using tools like Playwright or via the Browserbase demo sandbox.
Use Cases and Adoption
According to Google, teams internally and externally have already started using the model across several domains:
Google’s payments platform team reports that Gemini 2.5 Computer Use successfully recovers over 60% of failed test executions, reducing a major source of engineering inefficiencies.
Autotab, a third-party AI agent platform, said the model outperformed others on complex data parsing tasks, boosting performance by up to 18% in their hardest evaluations.
Poke.com, a proactive AI assistant provider, noted that the Gemini model often operates 50% faster than competing solutions during interface interactions.
The model is also being used in Google’s own product development efforts, including in Project Mariner, the Firebase Testing Agent, and AI Mode in Search.
Safety Measures
Because this model directly controls software interfaces, Google emphasizes a multi-layered approach to safety:
A per-step safety service inspects every proposed action before execution.
Developers can define system-level instructions to block or require confirmation for specific actions.
The model includes built-in safeguards to avoid actions that might compromise security or violate Google’s prohibited use policies.
For example, if the model encounters a CAPTCHA, it will generate an action to click the checkbox but flag it as requiring user confirmation, ensuring the system does not proceed without human oversight.
Technical Capabilities
The model supports a wide array of built-in UI actions such as:
click_at, type_text_at, scroll_document, drag_and_drop, and more
User-defined functions can be added to extend its reach to mobile or custom environments
Screen coordinates are normalized (0–1000 scale) and translated back to pixel dimensions during execution
It accepts image and text input and outputs text responses or function calls to perform tasks. The recommended screen resolution for optimal results is 1440×900, though it can work with other sizes.
API Pricing Remains Almost Identical to Gemini 2.5 Pro
Il prezzo di Gemini 2.5 Computer Use è molto simile a quello del modello standard di Gemini 2.5 Pro. Entrambi seguono la stessa struttura di fatturazione per token: i token di input hanno un prezzo di 1,25 $ per un milione di token per prompt inferiori a 200.000 token e di 2,50 $ per un milione di token per prompt superiori.
I token di output seguono una suddivisione simile, con un prezzo di 10,00 $ al milione per le risposte più piccole e di 15,00 $ per quelle più grandi.
Ciò che differenzia i modelli è la disponibilità e le funzionalità aggiuntive.
Gemini 2.5 Pro include un livello gratuito che consente agli sviluppatori di utilizzare il modello senza costi, senza alcun limite esplicito di token pubblicato, sebbene l’utilizzo possa essere soggetto a limiti di tariffazione o vincoli di quota a seconda della piattaforma (ad esempio Google AI Studio).
Questo accesso gratuito include sia token di input che di output. Una volta superata la quota assegnata o passati al livello a pagamento, si applicherà il prezzo standard per token.
Al contrario, Gemini 2.5 Computer Use è disponibile esclusivamente tramite la versione a pagamento. Attualmente non è previsto alcun accesso gratuito per questo modello e ogni utilizzo prevede costi basati su token fin dall’inizio.
Dal punto di vista delle funzionalità, Gemini 2.5 Pro supporta funzionalità opzionali come la memorizzazione nella cache del contesto (a partire da 0,31 $ per milione di token) e il grounding con Google Search (gratuito fino a 1.500 richieste al giorno, poi 35 $ per 1.000 richieste aggiuntive). Al momento, queste funzionalità non sono disponibili per l’uso su computer.
Un’altra distinzione riguarda la gestione dei dati: l’output del modello Computer Use non viene utilizzato per migliorare i prodotti Google nel livello a pagamento, mentre l’utilizzo del livello gratuito di Gemini 2.5 Pro contribuisce al miglioramento del modello, a meno che non si scelga esplicitamente di disattivarlo.
Nel complesso, gli sviluppatori possono aspettarsi costi simili basati sui token per entrambi i modelli, ma dovrebbero considerare l’accesso ai livelli, le funzionalità incluse e le policy di utilizzo dei dati quando decidono quale modello soddisfa le loro esigenze.