La IA local ejecuta el modelo en tu equipo. BYOK, del inglés “bring your own key”, permite conectar una aplicación con una API key de tu proveedor de IA. La primera opción depende de tu hardware; la segunda depende del servicio al que apunta la conexión. BYOK no significa procesamiento local ni consumo gratuito.
¿Cuál es la diferencia entre IA local y BYOK?
“Local” describe dónde ocurre la inferencia. “BYOK” describe cómo autorizas y pagas el acceso a un servicio. No son categorías completamente excluyentes: una API autenticada también puede apuntar a infraestructura propia. En esta comparación, BYOK se refiere al uso habitual de una API externa.
| Criterio | Modelo local | BYOK con proveedor externo |
|---|---|---|
| Procesamiento | En tu equipo | En la infraestructura del proveedor |
| Costo principal | Hardware, energía y operación | Consumo y condiciones de la API |
| Conexión para inferencia | Puede funcionar offline tras la instalación | Normalmente requiere internet |
| Capacidad | Limitada por memoria y cómputo disponibles | Depende del modelo y los límites del servicio |
| Datos de la solicitud | Pueden permanecer en el equipo | Se envían al servicio configurado |
| Mantenimiento | Descargas, versiones y configuración local | Gestión de claves, límites y cambios de API |
¿Cuándo conviene usar un modelo local?
Es una opción útil cuando quieres procesar texto sin enviar la solicitud a un proveedor externo, trabajar con conectividad limitada o experimentar con pesos descargables. Antes de adoptarlo, comprueba que el modelo rinda bien en tus tareas reales y que quepa en la memoria disponible.
No existe una cantidad universal de RAM que sirva para todos los modelos. Influyen el tamaño de los pesos, su formato, la cuantización, el contexto y el software que ejecuta la inferencia. La velocidad también depende del equipo y de lo que estés ejecutando al mismo tiempo.
Puedes consultar Personnn Modelos para conocer Buddy 9B y acceder a su ficha pública. Usa los requisitos y límites de la versión que descargues; no deduzcas rendimiento a partir del nombre del modelo.
¿Cuándo conviene BYOK?
BYOK puede ser práctico si ya usas un proveedor, necesitas probar modelos que no puedes ejecutar en tu máquina o prefieres separar la aplicación de la factura de inferencia. La clave permite atribuir el consumo a tu cuenta, pero no modifica por sí misma las políticas del proveedor.
Antes de conectar una clave:
- Confirma el endpoint y el proveedor que recibirá las solicitudes.
- Revisa cómo se almacena la clave y cómo revocarla.
- Configura límites o alertas de gasto cuando el proveedor los admita.
- Comprueba las condiciones de tratamiento y retención de datos de la API concreta.
- Prueba una tarea pequeña y revisa el consumo registrado.
Las condiciones de una aplicación de chat y de una API pueden ser distintas, incluso cuando pertenecen a la misma empresa.
¿Cómo comparar el costo real?
Compara el costo de completar una tarea aceptable, no solo el precio por token. Una salida que exige muchos reintentos o revisión humana puede resultar más costosa que otra con una tarifa mayor.
Para una API, registra tokens de entrada y salida, llamadas a herramientas, reintentos y tiempo de revisión. Para inferencia local, considera el equipo disponible, instalación, tiempo de ejecución y mantenimiento. Si ya tienes el hardware, distingue ese costo existente de una compra que solo harías para ejecutar IA.
Una prueba sencilla usa el mismo conjunto de documentos y preguntas en ambas opciones. Evalúa exactitud, citas, latencia, errores de formato y necesidad de corrección. No hay un ganador universal: el resultado depende de tu carga de trabajo.
¿Cómo funciona en Personnn Browser?
Personnn Browser permite usar modelos locales o una API key propia sin suscripción al navegador. La descarga pública es para macOS 13+ con Apple Silicon. Usar un proveedor externo puede generar cargos de ese proveedor; ejecutar un modelo local requiere recursos del equipo.
Personnn Inference es una opción distinta: un servicio con una API compatible con OpenAI, enrutamiento de modelos y tratamiento de datos antes del reenvío. No debe confundirse con inferencia que ocurre completamente en tu Mac. Consulta su página para conocer la oferta vigente.
Preguntas frecuentes
¿Un modelo local hace que el navegador sea completamente offline?
No. El modelo puede responder sin conexión si dispone del contexto necesario, pero abrir un sitio web o usar una herramienta conectada requiere red. Evalúa por separado la inferencia y las acciones del agente.
¿BYOK evita que un proveedor vea mis datos?
No por sí solo. BYOK identifica una cuenta para usar la API. La privacidad depende del endpoint, del contenido enviado y de las condiciones del servicio.
¿Puedo cambiar de opción según la tarea?
Sí, si la aplicación admite ambos modos. Puedes evaluar un modelo local para determinados documentos y otro proveedor para tareas diferentes. Revisa el modelo activo antes de compartir contexto sensible y vuelve a probar las herramientas al cambiarlo.