4 agentes de IA que usan tu compu por vos

Le pedís algo a la IA y te contesta con un texto lindo… pero después el que abre las apps, hace los clics y llena los formularios sos vos. Eso está cambiando: hay proyectos de código abierto que le dan ojos y manos a la IA. Ve tu pantalla, entiende cada botón y mueve el mouse y el teclado por vos.

En el último carrusel de Instagram te mostré los cuatro que valen la pena. Esta página es la guía gratis que prometí ahí: los 4 links, para qué sirve cada uno y cómo instalar UI-TARS Desktop paso a paso, que es el más fácil para arrancar.

Una aclaración honesta antes de empezar: que sean de código abierto no quiere decir que sean gratis de punta a punta. El programa no se paga, pero para “ver” la pantalla necesitan un modelo de IA con visión conectado, y ese modelo corre en algún lado: en una nube que cobra por uso o en una compu con una placa de video potente. Ninguno funciona 100% sin conexión con una compu común.

Los 4 links

Proyecto	De quién	Qué hace	Estrellas en GitHub	Link
UI-TARS Desktop	ByteDance (la empresa de TikTok)	App para Mac y Windows: le pedís una tarea y la hace sola	39,4k	github.com/bytedance/UI-TARS-desktop
OmniParser	Microsoft	Traduce tu pantalla para la IA: detecta cada botón e ícono	25,6k	github.com/microsoft/OmniParser
Agent S	Simular	Agente que usa la compu; el primero en superar a un humano en OSWorld	12,8k	github.com/simular-ai/Agent-S
OpenAdapt	OpenAdapt AI	Hacés la tarea una vez, la graba y la repite sin gastar IA	1,8k	github.com/OpenAdaptAI/OpenAdapt

Entre los cuatro suman casi 80.000 estrellas (las estrellas son los “me gusta” de GitHub). Cifras verificadas en GitHub el 26/10/2026.

El post original que circula en X lista un quinto, screen-use. Lo dejé afuera: tiene 3 estrellas, ningún fork y nadie lo toca desde agosto. No hay forma de saber si anda.

1. UI-TARS Desktop, de ByteDance

Es el más fácil de los cuatro porque es una app: la bajás, la instalás como cualquier programa y le escribís lo que querés que haga. Saca capturas de tu pantalla, decide dónde hacer clic y lo hace, paso por paso, mientras vos mirás.

• Funciona en Mac y Windows.
• Tiene dos modos: usar tu compu entera (abrir apps, escribir, mover ventanas) o solo el navegador (Chrome, Edge o Firefox).
• El “cerebro” es UI-TARS, el modelo de ByteDance entrenado específicamente para manejar interfaces. Es de código abierto, pero lo tenés que conectar (más abajo te explico cómo).

Un detalle: el README dice “fully local”, pero eso es la app. El modelo hay que ponerlo en algún lado y para una compu común eso es una nube. Por eso digo que no es 100% offline.

2. OmniParser, de Microsoft

OmniParser no es un agente: es los ojos de un agente. Agarra una captura de pantalla y la convierte en una lista de elementos (este es un botón, esto es un campo de texto, este ícono es “guardar”) para que un modelo con visión sepa dónde puede hacer clic. Su versión 2 marcó 39,5% en ScreenSpot Pro, una prueba bastante difícil de encontrar cosas chiquitas en pantallas profesionales.

• Viene con OmniTool, que controla una máquina virtual de Windows 11 usando OmniParser y el modelo que elijas: OpenAI (4o, o1, o3-mini), DeepSeek R1, Qwen 2.5VL o Claude (con Computer Use de Anthropic).
• Pide manejar Python y la terminal. No es para tu primera prueba.
• Lo podés ver en acción sin instalar nada: Microsoft tiene una demo de OmniParser V2 en Hugging Face. Le subís una captura de pantalla y te muestra todo lo que detecta. Es la forma más rápida de entender qué “ve” la IA.

3 y 4. Agent S y OpenAdapt

Agent S (Simular)

Es el de mejores resultados. Su versión Agent S3 fue la primera en superar el nivel humano en OSWorld (72,6% en diciembre de 2025), que es la prueba más usada para medir si una IA sabe usar una compu de verdad: abrir programas, editar archivos, configurar cosas. Anda en Mac, Windows y Linux, y el 20/10/2026 salió Agent S4.

La contra: se instala con Python (pip install gui-agents) y se maneja desde la terminal. Para la mejor configuración, sus creadores recomiendan combinar un modelo grande de OpenAI con UI-TARS para ubicar los clics. Es para cuando ya probaste UI-TARS Desktop y querés más.

OpenAdapt

Este es distinto a los otros tres y vale la pena entenderlo bien. No le pide a la IA que haga la tarea cada vez. Hacés la tarea una vez (vos, o un agente), OpenAdapt graba cada acción y la convierte en un programa que la repite con datos nuevos sin llamar a ningún modelo de IA y sin mandar capturas a ningún lado. Antes de guardar confirma que está en el registro correcto y después lo vuelve a leer para verificar.

Sirve para lo repetitivo de verdad: cargar la misma planilla en el mismo sistema todos los días. Se instala con pip install openadapt. Ojo con lo que dice su propio aviso: cuando repite, ejecuta todo, incluidos guardados que no se pueden deshacer. Probalo primero con datos de prueba.

Cómo instalar UI-TARS Desktop paso a paso

Lo que necesitás antes de arrancar:

• Una Mac o una PC con Windows, idealmente con un solo monitor: con varios, algunas tareas fallan.
• Chrome, Edge o Firefox, si vas a usar el modo navegador.
• Un modelo conectado (el paso 3). Es la única parte que puede costar plata.

Paso 1: descargá la app

Entrá a la sección Releases del repositorio y bajá el instalador de la última versión que tenga archivos para descargar: el .dmg para Mac (arm64 si tu Mac tiene chip M1 o posterior, x64 si es Intel) o el Setup.exe para Windows. Hoy es la v0.2.4.

Te lo aclaro porque confunde: las versiones más nuevas que aparecen arriba de todo (v0.3.0, v0.3.1) son de Agent TARS, otra herramienta del mismo repositorio que se usa desde la terminal, y no traen instalador de la app.

Si en la Mac usás Homebrew, lo podés instalar con un comando:

brew install --cask ui-tars

Paso 2: instalala y dale permisos

• En Mac: arrastrá UI TARS a la carpeta Aplicaciones. Después andá a Ajustes del Sistema → Privacidad y seguridad y prendé UI TARS en Accesibilidad (para que pueda mover el mouse y escribir) y en Grabación de pantalla (para que pueda ver). Sin esos dos permisos no hace nada.
• En Windows: ejecutá el instalador y abrí la app.

Paso 3: conectale los ojos (el modelo)

Abrí la configuración de la app (Settings). Ahí vas a cargar cuatro datos: el proveedor (VLM Provider), la dirección del modelo (VLM Base URL), tu clave (VLM API Key) y el nombre del modelo (VLM Model Name). Tenés tres caminos:

Camino A: Hugging Face (el oficial). En Hugging Face Inference Endpoints tocás Deploy from Hugging Face, elegís UI-TARS-1.5-7B y seguís la guía de despliegue de ByteDance. Te arma un servidor propio con el modelo. Recomiendan una placa L40S, que hoy cuesta USD 1,80 por hora mientras está prendida (se cobra por minuto). Pausalo cuando termines, o lo vas a pagar igual. Se configura así:

Language: en
VLM Provider: Hugging Face for UI-TARS-1.5
VLM Base URL: la URL de tu endpoint, terminada en /v1/
VLM API Key: tu token de Hugging Face (empieza con hf_)
VLM Model Name: tgi

Camino B: VolcEngine (también oficial). Es la nube de ByteDance en China, con el modelo Doubao-1.5-UI-TARS (doubao-1.5-ui-tars-250328). Funciona, pero la consola está en chino y la cuenta se abre en la región de Beijing. Si no te llevás bien con eso, andá por A o C.

Camino C: OpenRouter (el atajo). OpenRouter ofrece el mismo modelo, UI-TARS 1.5 7B, cobrando por uso: hoy USD 0,10 por millón de tokens de entrada y USD 0,20 por millón de salida, sin tener que prender ningún servidor. Ojo: no está en la guía oficial de la app. La app acepta cualquier dirección compatible con la API de OpenAI, y OpenRouter lo es, así que debería andar, pero no tiene soporte oficial. Creá una cuenta, cargá unos dólares de crédito, generá una API key y probá con esto:

Language: en
VLM Provider: Hugging Face for UI-TARS-1.5
VLM Base URL: https://openrouter.ai/api/v1
VLM API Key: tu clave de OpenRouter (empieza con sk-or-)
VLM Model Name: bytedance/ui-tars-1.5-7b

En los tres casos, apretá Check Model Availability antes de seguir: te dice si la app llega al modelo. Si con OpenRouter no conecta o hace clics raros, el camino seguro es el A.

Importante: el VLM Provider tiene que coincidir con el modelo que usás, porque la app lo usa para entender las respuestas del modelo y convertirlas en clics. Si elegís otro, la conexión puede andar pero las acciones no.

Paso 4: elegí el modo

Antes de abrir un chat nuevo, la app te pregunta dónde va a trabajar: en tu compu o solo en el navegador (Browser Operator). Para tu primera prueba, andá por el navegador: es más acotado y, si se equivoca, el daño es menor.

Vas a ver que también existían los modos “remotos” (una compu en la nube gratis para probar): ByteDance los dio de baja el 20 de agosto de 2025. Hoy solo quedan los locales.

Paso 5: pedile tu primera tarea

Apretá el botón para empezar un chat nuevo, escribí la tarea y mandala. Vas a ver cómo saca una captura, piensa y hace el clic, paso por paso. Arrancá con algo inofensivo:

Abrí el navegador, entrá a google.com, buscá "clima en Santa Fe" y decime qué temperatura hace ahora.

Abrí la calculadora y calculá cuánto es 18% de 245.000.

Abrí el Bloc de notas, escribí una lista de compras con pan, leche y café, y guardala en el escritorio con el nombre compras.txt.

(En Mac, cambiá “Bloc de notas” por “TextEdit”.)

Si no te entiende bien en español, probá la misma tarea en inglés: el modelo se entrenó sobre todo en inglés y chino.

Un ejemplo para ver cómo piensa

Supongamos que le pedís la primera tarea, la del clima, en modo navegador:

1. Saca una captura y ve el navegador abierto. Decide hacer clic en la barra de direcciones.
2. Escribe google.com y aprieta Enter.
3. Saca otra captura, encuentra el buscador, hace clic y escribe “clima en Santa Fe”.
4. Lee el resultado en la pantalla y te contesta la temperatura en el chat.

Cada vuelta (captura, decisión, acción) es una llamada al modelo. Por eso una tarea de cinco pasos cuesta centavos y una de cincuenta cuesta más: las tareas cortas y claras salen más baratas y fallan menos.

Tips antes de soltarle el mouse

• Probalos en una compu virtual o en un usuario aparte. Nunca con el homebanking abierto, tu correo personal en pantalla o archivos que no podés perder. El agente ve todo lo que hay en tu pantalla y lo manda al modelo.
• Arrancá por UI-TARS Desktop. Se instala como cualquier app; los otros tres piden Python y terminal.
• Necesitan un modelo con visión conectado. Sin modelo no hacen nada. No son 100% offline.
• Mirá lo que hace. Puede tocar el botón equivocado, sobre todo en pantallas con muchos elementos parecidos. No lo dejes solo con tareas que mandan, borran o pagan algo.
• No le pases contraseñas. Si una tarea necesita iniciar sesión, entrá vos antes y después dejalo seguir.
• Dale tareas de pocos pasos. “Buscá esto y decime aquello” anda mucho mejor que “organizame toda la semana”.

Preguntas frecuentes

¿Es gratis? Los cuatro programas son de código abierto y no se pagan. El modelo de IA que los hace “ver” sí cuesta: por uso (OpenRouter, VolcEngine), por hora de servidor (Hugging Face) o con tu propia placa de video si sabés montarlo. OpenAdapt es la excepción a la hora de repetir: una vez grabada, la tarea corre sin llamar a ningún modelo.

¿Funciona sin internet? En una compu común, no. Se puede correr el modelo en tu máquina, pero UI-TARS 1.5 7B necesita una placa de video con mucha memoria y saber instalarlo. Para el resto, la guía va por la nube.

¿Qué diferencia hay con Browser Use? Browser Use maneja solo el navegador y lee el código de la página. Estos cuatro miran la pantalla entera, como una persona, así que también pueden usar programas de escritorio: Excel, el Bloc de notas, un sistema viejo que no tiene versión web.

¿Es seguro? Tan seguro como lo que le dejes ver y tocar. El agente manda capturas de tu pantalla al modelo y puede hacer cualquier clic que vos podrías hacer. Por eso los tips: compu virtual o usuario aparte, nada sensible abierto y vos mirando.

¿Lo uso en Mac o en Windows? UI-TARS Desktop anda en los dos. Agent S suma Linux. OmniTool (de OmniParser) controla una máquina virtual de Windows 11.

¿Por qué no está screen-use, el quinto del post original? Porque tiene 3 estrellas, ningún fork y no se actualiza desde agosto de 2026. Los otros cuatro tienen detrás a Microsoft, ByteDance o equipos con resultados publicados.

Empezá hoy

La guía no sirve guardada. Entrá a la demo de OmniParser, subí una captura de tu pantalla y mirá lo que la IA detecta. Son dos minutos y vas a entender cómo “ve” un agente. Después, cuando tengas un rato, instalá UI-TARS Desktop con los pasos de arriba y pedile la tarea del clima.

Si querés algo más simple para automatizar el navegador, mirá Browser Use: tu primer agente de IA gratis. Y si lo que buscás es que los clientes reserven solos, está Cal.com: agendá turnos sin mover un dedo. En Automatizaciones voy sumando herramientas como estas.

Si te sirvió, suscribite al newsletter: ahí mando herramientas nuevas antes que en redes. Y si tenés una tarea repetitiva en tu laburo y no sabés cómo automatizarla, en una asesoría 1:1 vemos juntos por dónde empezar.