El problema: enviar tus datos a OpenAI no es gratis
Cada vez que usas la API de OpenAI, Anthropic o Google, tus datos viajan a los servidores de un tercero en Estados Unidos. Para una empresa chilena que maneja datos de clientes, esto no es un detalle menor: es un riesgo legal, operativo y de coste.
Riesgo legal: La Ley 21.719, vigente desde el 1 de diciembre de 2026, exige que las empresas protejan los datos personales de sus clientes. Enviar datos a un proveedor extranjero sin las garantías adecuadas puede ser una violación. El Boletín 18.623-07, que postergaría la vigencia al 1 de diciembre de 2027, fue aprobado en general por la Comisión de Constitución del Senado el 20 de octubre de 2026, pero no ha sido aprobado en pleno ni promulgado. La fecha legal vigente sigue siendo el 1 de diciembre de 2026.
Riesgo operativo: Si OpenAI cambia su política de privacidad, sus precios o su disponibilidad, tu negocio se ve afectado. No tienes control sobre un servicio que es crítico para tu operación.
Riesgo de coste: Las APIs de modelos grandes son caras. A escala, el coste por consulta puede ser 10 a 100 veces mayor que correr un modelo propio en tu propia infraestructura.
La alternativa es correr modelos de IA en tu propia infraestructura: local, privado, bajo tu control. Esto se llama inferencia local.
Qué es la inferencia local
Inferencia es el proceso de usar un modelo de IA para generar una respuesta (texto, código, análisis). Cuando usas ChatGPT, la inferencia ocurre en los servidores de OpenAI. Cuando usas un modelo local, la inferencia ocurre en tu propio servidor, en tu oficina, en tu nube privada.
Los modelos open source (Llama, Mistral, Qwen, Gemma) han alcanzado un nivel de calidad que hace viable la inferencia local para muchas tareas empresariales. No son tan buenos como GPT-4 para todo, pero para tareas específicas (clasificación, extracción, resumen, generación de texto estructurado) son suficientes y a veces mejores.
Lo que la inferencia local te da
Privacidad: Los datos no salen de tu infraestructura. Ningún tercero los ve. Esto cumple con Ley 21.719, CCPA, GDPR y cualquier política interna de protección de datos.
Control: Tú decides qué modelo usar, cómo configurarlo, qué datos le das y quién tiene acceso. No dependes de un proveedor que puede cambiar sus términos.
Coste predecible: El coste es el hardware y la electricidad, no un fee por consulta. A escala, esto reduce el coste por operación en un orden de magnitud.
Latencia: Si el modelo está en tu red local, la latencia es mínima. No hay round-trip a un datacenter en Estados Unidos.
Lo que la inferencia local no te da
La mejor calidad del mundo: GPT-4 y Claude son mejores para tareas complejas, creativas o que requieren razonamiento profundo. Un modelo local de 7B parámetros no va a escribir un ensayo mejor que GPT-4.
Escalabilidad infinita: Si necesitas procesar millones de consultas por segundo, un servidor propio no alcanza. Las APIs de nube están diseñadas para eso.
Cero mantenimiento: Un modelo local requiere infraestructura, actualizaciones, monitoreo y respaldo. No es "instalar y olvidar".
Modelos locales vs. APIs: la comparación real
El blog de Personnn ya publicó un análisis detallado de coste, privacidad y hardware propio ("Modelos locales vs APIs: cálculo real de coste, privacidad y hardware propio", 18 visitas en 7 días). Aquí resumimos los puntos clave:
| Aspecto | API de nube (OpenAI, Anthropic) | Inferencia local (Llama, Mistral) |
|---|---|---|
| Coste por 1.000 consultas | $2 a $10 (depende del modelo) | $0,01 a $0,10 (solo electricidad) |
| Privacidad de datos | Baja (datos van a terceros) | Alta (datos no salen) |
| Latencia | 200-800 ms (round-trip a EE.UU.) | 10-50 ms (red local) |
| Calidad (tareas generales) | Alta (GPT-4, Claude) | Media-Alta (depende del modelo) |
| Calidad (tareas específicas) | Media (necesita contexto) | Alta (con fine-tuning) |
| Escalabilidad | Infinita (paga más) | Limitada por hardware |
| Mantenimiento | Cero (proveedor lo hace) | Requiere infraestructura y monitoreo |
| Control | Bajo (depende del proveedor) | Alto (tú decides todo) |
La conclusión no es que uno sea mejor que el otro. Es que cada uno sirve para cosas diferentes. La API de nube sirve para prototipar y para tareas complejas. La inferencia local sirve para producción, datos sensibles y tareas repetitivas a escala.
Cuándo usar inferencia local
Estas son las situaciones donde la inferencia local tiene sentido:
1. Datos sensibles
Si manejas datos de salud, finanzas, legal o cualquier dato personal protegido por Ley 21.719, CCPA o GDPR, enviarlos a un proveedor extranjero es un riesgo. La inferencia local mantiene los datos en tu infraestructura.
2. Tareas repetitivas a escala
Si procesas miles de documentos al día (facturas, correos, contratos), el coste de la API se vuelve insostenible. Un modelo local procesa los mismos documentos a una fracción del coste.
3. Latencia crítica
Si tu aplicación necesita respuestas en milisegundos (chatbots en tiempo real, sistemas de trading, control industrial), la latencia de una API de nube (200-800 ms) es inaceptable. Un modelo local responde en 10-50 ms.
4. Desconexión o conectividad limitada
Si tu operación está en un lugar con conectividad intermitente (faenas mineras, zonas rurales, buques), un modelo local funciona sin internet.
5. Privacidad por diseño
Si tu propuesta de valor incluye "tus datos no salen de tu empresa", la inferencia local es la única forma de cumplir esa promesa.
Cuándo NO usar inferencia local
1. Prototipado rápido
Si estás probando una idea y no sabes si va a funcionar, usa la API de nube. Es más rápido y no requiere infraestructura.
2. Tareas complejas de razonamiento
Si necesitas que el modelo escriba un ensayo, resuelva un problema matemático avanzado o genere código complejo, GPT-4 o Claude son mejores. Un modelo local de 7B parámetros no está a ese nivel.
3. Sin equipo técnico
Si no tienes a nadie que pueda instalar, configurar y mantener un servidor con GPU, la inferencia local no es para ti. Requiere conocimiento técnico.
4. Bajo volumen
Si procesas 10 consultas al día, el coste de la API es negligible y no justifica la infraestructura de un modelo local.
Qué hace Personnn
Personnn tiene un producto llamado Inference que permite correr modelos de IA en tu propia infraestructura. El concepto es simple:
- Modelos auditados: Personnn usa modelos open source (Llama, Mistral, Qwen) que han sido auditados por seguridad y privacidad.
- Infraestructura propia: El modelo corre en tu servidor, en tu nube privada o en hardware de Personnn. Los datos no salen.
- API compatible: La API es compatible con el formato de OpenAI, así que puedes cambiar de proveedor sin cambiar tu código.
- Monitoreo: Personnn incluye monitoreo de uso, latencia y coste.
Además, Personnn tiene ModelForge (en construcción): un motor que entrena un modelo con tus datos para crear un modelo vertical. El motor está listo, el autoservicio está en construcción. Si quieres entrenar un modelo con tus datos, escríbenos.
Para probar la inferencia local, entra a personnn.com/inference y revisa los modelos disponibles.
Checklist: ¿tiene sentido usar inferencia local?
- ¿Manejas datos sensibles? Si sí, la inferencia local es casi obligatoria.
- ¿Procesas más de 1.000 consultas al día? Si sí, el coste de la API se vuelve significativo.
- ¿Necesitas latencia menor a 100 ms? Si sí, la inferencia local es la única opción.
- ¿Tienes infraestructura técnica? Si no, considera un proveedor que te la dé (como Personnn).
- ¿La calidad de un modelo open source es suficiente para tu tarea? Si sí, la inferencia local tiene sentido. Si no, usa la API de nube.
- ¿Tu propuesta de valor incluye privacidad? Si sí, la inferencia local es un diferenciador.
Fuentes
- Ley 21.719: vigente desde el 1 de diciembre de 2026. Protección de datos personales en Chile. Fuente: tramitacion.senado.cl + varelaabogados.cl + boostify.cl + tline.cl. Verificado por web search (vuelta 16).
- Boletín 18.623-07: proyecto que posterga la vigencia al 1 de diciembre de 2027. Aprobado en general por Comisión de Constitución el 20 de octubre de 2026. NO aprobado aún. Fecha legal vigente: 1 dic 2026. Verificado por web search (vuelta 16).
- Blog de Personnn: "Modelos locales vs APIs: cálculo real de coste, privacidad y hardware propio" (18 visitas en 7 días). Fuente interna.
- Las cifras de coste por 1.000 consultas ($2 a $10 para API, $0,01 a $0,10 para local) son estimaciones basadas en precios públicos de APIs de OpenAI y Anthropic y en el coste de electricidad de un servidor con GPU. Se tratan como estimaciones no verificadas.
- Las cifras de latencia (200-800 ms para API, 10-50 ms para local) son estimaciones basadas en mediciones públicas de APIs de nube y en la latencia típica de un servidor local. Se tratan como estimaciones no verificadas.