El problema: servir modelos de IA en producción no es trivial
Correr un modelo de IA en tu laptop es fácil. Servirlo en producción para miles de usuarios es otra cosa. Necesitas infraestructura de GPU, balanceo de carga, monitoreo, escalado automático, manejo de errores y respaldo. Todo eso cuesta tiempo, dinero y conocimiento técnico que la mayoría de las empresas no tiene.
La alternativa es usar una Inference API: un servicio que te da acceso a modelos de IA a través de una API compatible con OpenAI. No necesitas comprar GPUs, configurar servidores ni mantener infraestructura. Envías una petición HTTP y recibes una respuesta. El proveedor se encarga del resto.
El problema es que la mayoría de las Inference APIs disponibles envían tus datos a servidores en Estados Unidos, cobran por token y te atan a un proveedor. Si el proveedor cambia sus precios o su política de privacidad, tu negocio se ve afectado.
Lo que dicen los datos
Tráfico de personnn.com (21-27 oct 2026): La página /inference creció un 91% (de 23 a 44 visitas) en la última semana. El blog post "Modelos locales vs APIs: cálculo real de coste, privacidad y hardware propio" tuvo 18 visitas en 7 días. Esto indica un interés creciente en opciones de inferencia que no impliquen enviar datos a terceros.
Ley 21.719 (vigente desde 1 de diciembre de 2026): Exige que las empresas protejan los datos personales de sus clientes. Enviar datos a una Inference API extranjera sin las garantías adecuadas puede ser una violación.
Boletín 18.623-07: Proyecto que postergaría la vigencia al 1 de diciembre de 2027. Aprobado en general por la Comisión de Constitución del Senado el 20 de octubre de 2026. NO aprobado aún (pendiente Senado en pleno + promulgación). La fecha legal vigente sigue siendo el 1 de diciembre de 2026.
SEK "Think Ahead" (2025): Chile enfrentó 8,8 billones de intentos de ciberataque en 2025. La fuente primaria es SEK (Security Ecosystem Knowledge), reporte "Think Ahead" (datos 2025), publicado en rga.cl (Pulso/La Tercera) el 1 de julio de 2026.
La conclusión: las empresas chilenas necesitan servir modelos de IA en producción, pero no quieren enviar datos a Estados Unidos ni comprar infraestructura propia. Necesitan una Inference API que sea privada, predecible y compatible.
Qué es una Inference API
Una Inference API es un servicio que te da acceso a modelos de IA a través de una API HTTP. Envías una petición con tu prompt y recibes una respuesta. El proveedor se encarga de la infraestructura (GPUs, balanceo, escalado, monitoreo).
La mayoría de las Inference APIs siguen el formato de OpenAI: un endpoint /v1/chat/completions que acepta un JSON con el modelo, los mensajes y los parámetros. Esto significa que puedes cambiar de proveedor sin cambiar tu código: solo cambias la URL base y la API key.
Lo que una Inference API te da
Sin infraestructura: No necesitas comprar GPUs, configurar servidores ni mantener sistemas operativos. El proveedor hace todo eso.
Escalado automático: Si tu tráfico crece de 10 a 10.000 consultas por segundo, el proveedor escala automáticamente. Tú no te preocupas.
Pago por uso: Pagas por token (unidad de texto procesada), no por infraestructura. Si no usas el servicio, no pagas.
Compatibilidad: La API es compatible con el formato de OpenAI, así que tu código existente funciona sin cambios.
Actualizaciones: El proveedor actualiza los modelos y la infraestructura. Tú siempre tienes la última versión.
Lo que una Inference API no te da
Privacidad total: Tus datos viajan a los servidores del proveedor. Si el proveedor es OpenAI, Anthropic o Google, tus datos van a Estados Unidos. Si el proveedor es local (como Personnn), tus datos quedan en Chile.
Coste predecible a escala: A bajo volumen, el pago por token es barato. A alto volumen, el coste se dispara. Un modelo local puede ser 10 a 100 veces más barato a escala.
Control total: No puedes decidir qué modelo usar, cómo configurarlo o qué datos le das. El proveedor define los límites.
Independencia: Si el proveedor cambia sus precios, su política de privacidad o deja de operar, tu negocio se ve afectado.
Inference API de nube vs. Inference API local
No todas las Inference APIs son iguales. La diferencia clave es dónde corren los modelos.
| Aspecto | Inference API de nube (OpenAI, Anthropic) | Inference API local (Personnn) |
|---|---|---|
| Dónde corren los modelos | Servidores en EE.UU. | Tu infraestructura o infraestructura local |
| Privacidad de datos | Baja (datos van a terceros) | Alta (datos no salen) |
| Coste por 1.000 consultas | $2 a $10 (depende del modelo) | $0,01 a $0,10 (solo electricidad) |
| Latencia | 200-800 ms (round-trip a EE.UU.) | 10-50 ms (red local) |
| Modelos disponibles | GPT-4, Claude, Gemini | Llama, Mistral, Qwen (open source auditados) |
| Calidad (tareas generales) | Alta | Media-Alta |
| Calidad (tareas específicas) | Media (necesita contexto) | Alta (con fine-tuning) |
| Escalabilidad | Infinita (paga más) | Limitada por hardware |
| Control | Bajo (depende del proveedor) | Alto (tú decides todo) |
| Compatibilidad API | OpenAI | OpenAI (compatible) |
La conclusión no es que uno sea mejor que el otro. Es que cada uno sirve para cosas diferentes. La Inference API de nube sirve para prototipar y para tareas complejas. La Inference API local sirve para producción, datos sensibles y tareas repetitivas a escala.
Cuándo usar una Inference API local
Estas son las situaciones donde una Inference API local tiene sentido:
1. Datos sensibles
Si manejas datos de salud, finanzas, legal o cualquier dato personal protegido por Ley 21.719, CCPA o GDPR, enviarlos a una Inference API extranjera es un riesgo. Una Inference API local mantiene los datos en tu infraestructura.
2. Tareas repetitivas a escala
Si procesas miles de documentos al día (facturas, correos, contratos), el coste de una Inference API de nube se vuelve insostenible. Una Inference API local procesa los mismos documentos a una fracción del coste.
3. Latencia crítica
Si tu aplicación necesita respuestas en milisegundos (chatbots en tiempo real, sistemas de trading, control industrial), la latencia de una Inference API de nube (200-800 ms) es inaceptable. Una Inference API local responde en 10-50 ms.
4. Desconexión o conectividad limitada
Si tu operación está en un lugar con conectividad intermitente (faenas mineras, zonas rurales, buques), una Inference API local funciona sin internet.
5. Privacidad por diseño
Si tu propuesta de valor incluye "tus datos no salen de tu empresa", una Inference API local es la única forma de cumplir esa promesa.
Cuándo NO usar una Inference API local
1. Prototipado rápido
Si estás probando una idea y no sabes si va a funcionar, usa una Inference API de nube. Es más rápido y no requiere infraestructura.
2. Tareas complejas de razonamiento
Si necesitas que el modelo escriba un ensayo, resuelva un problema matemático avanzado o genere código complejo, GPT-4 o Claude son mejores. Un modelo open source de 7B parámetros no está a ese nivel.
3. Sin equipo técnico
Si no tienes a nadie que pueda instalar, configurar y mantener un servidor con GPU, una Inference API local no es para ti. Requiere conocimiento técnico o un proveedor que te la dé (como Personnn).
4. Bajo volumen
Si procesas 10 consultas al día, el coste de una Inference API de nube es negligible y no justifica la infraestructura de una Inference API local.
Qué hace Personnn
Personnn tiene un producto llamado Inference que permite servir modelos de IA en tu propia infraestructura a través de una API compatible con OpenAI.
- Modelos auditados: Personnn usa modelos open source (Llama, Mistral, Qwen) que han sido auditados por seguridad y privacidad.
- Infraestructura propia: El modelo corre en tu servidor, en tu nube privada o en hardware de Personnn. Los datos no salen.
- API compatible: La API es compatible con el formato de OpenAI, así que puedes cambiar de proveedor sin cambiar tu código. Solo cambias la URL base y la API key.
- Monitoreo: Personnn incluye monitoreo de uso, latencia y coste.
Además, Personnn tiene ModelForge (en construcción): un motor que entrena un modelo con tus datos para crear un modelo vertical. El motor está listo, el autoservicio está en construcción. Si quieres entrenar un modelo con tus datos, escríbenos.
Para probar la inferencia local, entra a personnn.com/inference y revisa los modelos disponibles.
Checklist: ¿tiene sentido usar una Inference API local?
- ¿Manejas datos sensibles? Si sí, una Inference API local es casi obligatoria.
- ¿Procesas más de 1.000 consultas al día? Si sí, el coste de una Inference API de nube se vuelve significativo.
- ¿Necesitas latencia menor a 100 ms? Si sí, una Inference API local es la única opción.
- ¿Tienes infraestructura técnica? Si no, considera un proveedor que te la dé (como Personnn).
- ¿La calidad de un modelo open source es suficiente para tu tarea? Si sí, una Inference API local tiene sentido. Si no, usa una Inference API de nube.
- ¿Tu propuesta de valor incluye privacidad? Si sí, una Inference API local es un diferenciador.
Fuentes
- Tráfico de personnn.com (21-27 oct 2026): /inference creció 91% (de 23 a 44 visitas). Blog post "Modelos locales vs APIs" tuvo 18 visitas en 7 días. Fuente interna (marketing_trafico).
- Ley 21.719: vigente desde el 1 de diciembre de 2026. Protección de datos personales en Chile. Fuente: tramitacion.senado.cl + varelaabogados.cl + boostify.cl + tline.cl. Verificado por web search (vuelta 16).
- Boletín 18.623-07: proyecto que posterga la vigencia al 1 de diciembre de 2027. Aprobado en general por Comisión de Constitución el 20 de octubre de 2026. NO aprobado aún. Fecha legal vigente: 1 dic 2026. Verificado por web search (vuelta 16).
- SEK "Think Ahead" (2025): 8,8 billones de intentos de ciberataque en Chile 2025. Fuente primaria: SEK (Security Ecosystem Knowledge). Publicado en rga.cl (Pulso/La Tercera) el 1 de julio de 2026. También atribuido a FortiGuard Labs/Fortinet. Verificado por web_fetch (vuelta 16).
- Las cifras de coste por 1.000 consultas ($2 a $10 para API de nube, $0,01 a $0,10 para local) son estimaciones basadas en precios públicos de APIs de OpenAI y Anthropic y en el coste de electricidad de un servidor con GPU. Se tratan como estimaciones no verificadas.
- Las cifras de latencia (200-800 ms para API de nube, 10-50 ms para local) son estimaciones basadas en mediciones públicas de APIs de nube y en la latencia típica de un servidor local. Se tratan como estimaciones no verificadas.