El gasto en inteligencia artificial se ha convertido en la mayor inversión no medida del IT empresarial, según Valentyn Kropov, CTO de N-iX. Su equipo construyó una pasarela de IA compartida para decenas de miles de ingenieros en una empresa global de manufactura industrial, y el hallazgo fue contundente: los costos pequeños se multiplican con rapidez cuando miles de personas los replican al mismo tiempo.
El diagnóstico de Kropov es directo: la mayoría de las empresas no puede decir qué retorna su gasto en IA. La métrica equivocada es el token. La métrica correcta es el costo por resultado —resolver un ticket, procesar una factura, clasificar una transacción—. Sin ese número de partida, cada optimización posterior es una conjetura.
El error de la capa equivocada
Las implementaciones tempranas enrutan todo el tráfico a través de un modelo de alta capacidad. Eso es el equivalente corporativo de asignar a un especialista senior cada tarea de un analista junior. Cuando N-iX analizó una semana de tráfico real de producción con sus clientes, encontró que una fracción superior al 50% de las solicitudes —recuperación, clasificación, extracción y generación con plantillas— puede manejarse con modelos de 8.000 o 30.000 millones de parámetros sin sacrificar precisión.
La reserva de modelos frontera para casos de juicio ambiguo, planificación multietapa y código complejo no es una concesión de calidad: es ingeniería de costos.
Tres palancas que no requieren reconstruir la lógica
Kropov identifica tres mecanismos que reducen el gasto sin alterar la arquitectura de fondo:
- Calidad del contexto: gran parte del razonamiento que se paga es el modelo compensando información faltante. Proveer conocimiento propietario estructurado y actualizado permite que un modelo pequeño supere a uno grande operando a ciegas. - Caché: el caché de prompts reutiliza la porción fija de instrucciones largas; el caché semántico detecta preguntas similares a otras ya respondidas. En áreas de alta repetición como soporte de TI y recursos humanos, una fracción significativa del tráfico es casi duplicada. - Batching: el trabajo no urgente —auditorías de cumplimiento, reportes, procesamiento documental— puede agruparse y procesarse con minutos de retraso, eliminando el costo de la respuesta en tiempo real para tareas que no lo requieren.
La pasarela como activo estratégico
El proyecto con la empresa manufacturera ilustra el principio central: una pasarela de IA centralizada —la capa de control entre las aplicaciones empresariales y los modelos— es donde se aplican el enrutamiento, el caché y el batching una sola vez para toda la organización. En el caso documentado, N-iX expuso únicamente dos operaciones al modelo (búsqueda y llamada), de modo que este accede solo a las herramientas necesarias para cada tarea, en lugar de recibir el catálogo completo. La arquitectura se mantuvo agnóstica al proveedor para evitar dependencia de un solo vendedor, lo que Kropov valora tanto como el ahorro en tokens.
Pocos centavos por solicitud multiplicados por millones de llamadas generan una línea presupuestaria que el CFO no puede ignorar. Ágora Capital subraya la lección de fondo: el capital asignado a IA sin métricas de retorno por resultado no es inversión tecnológica, es gasto opaco. La disciplina que el mercado exige a cualquier otro activo —medir, comparar, optimizar— aplica con igual rigor a los modelos de lenguaje. Las empresas que gobiernen esa capa antes de que los costos se componen llevarán ventaja; las que no lo hagan, simplemente pagarán más por los mismos resultados.
