Para 2029, habrá más de mil millones de agentes de IA en funcionamiento en todo el mundo, e IDC proyecta que esa cifra será aproximadamente 40 veces mayor que la de 2025. Estos agentes consumirán 3,7 billones de tokens y llamadas a la API al día.
Cada una de esas llamadas tiene un precio, y los costes de los agentes de inteligencia artificial (IA) ayudan a determinar si una empresa puede permitirse que un agente gestione millones de acciones. Tomemos como ejemplo una tienda minorista que quiere que un agente procese las devoluciones. En una demostración de ventas, el proceso puede parecer sencillo. El agente encuentra el pedido, verifica la política, aprueba el reembolso y manda al cliente una etiqueta de envío.
La decisión de inversión se complica cuando el agente encuentra un recibo faltante, una compra disputada o una excepción a la política. Cada verificación adicional requiere más procesamiento, mientras que los errores y los casos sin resolver implican la intervención de los empleados. Antes de ampliar la implementación, el minorista debe comprender estos costes de procesamiento, además del coste de la asistencia humana.
El entrenamiento y la inferencia afectan de manera diferente los presupuestos de los agentes de IA
El entrenamiento y la inferencia son las dos etapas fundamentales de los modelos y agentes de IA. Durante el entrenamiento, un modelo aprende patrones a partir de datos, desarrollando capacidades como la comprensión del lenguaje. La inferencia se produce cuando alguien utiliza ese modelo entrenado para realizar tareas, como interpretar la solicitud de devolución de un cliente o determinar si cumple con la política del vendedor.
Para un líder empresarial, la distinción financiera es importante.
El entrenamiento es una inversión inicial que se repite al actualizar los modelos. La inferencia se produce cada vez que se utiliza el modelo entrenado, por ejemplo, al interpretar la solicitud de devolución de un cliente o al determinar si cumple con la política del vendedor.
La formación es la educación. La inferencia es el trabajo.
Una empresa que contrata un servicio de IA puede que nunca entrene su propio modelo, pero su uso genera costes de inferencia que el proveedor debe recuperar a través del precio.
Esto vincula el presupuesto de IA de una empresa líder con una competencia entre los fabricantes de chips que desarrollan la infraestructura de IA . Los chips más eficientes podrían hacer que valga la pena habilitar la IA en más flujos de trabajo, mientras que los que no lo son podrían anular los ahorros que la empresa esperaba.
¿Por qué los agentes de IA modifican los costes de inferencia?
Una disminución en el precio del procesamiento de IA no garantiza un menor coste de la IA. A medida que los agentes realizan más pasos, investigan excepciones y verifican su trabajo, su uso total puede crecer más rápido que la disminución de los precios.
Marc Bolitho, director ejecutivo de Tensordyne, estima que los agentes consumen entre cinco y diez veces más tokens que los chatbots, a veces incluso más. Los proveedores suelen usar tokens, que miden la información que un modelo procesa y genera, para calcular los cargos por uso. Para los responsables de presupuestar la implementación de un agente, esto implica que la factura del chatbot del año pasado no es un buen indicador del coste que supondrá un agente más ambicioso.
El tiempo de respuesta también debe incluirse en ese presupuesto.
Un cliente que espera la autorización de un reembolso necesita una respuesta inmediata, mientras que un informe urgente puede tolerar una espera más larga. Los responsables deberían pedir a los proveedores que fijen el precio de la carga de trabajo en función de la velocidad que requiere la empresa y, a continuación, comprobar si la rentabilidad se mantiene a medida que aumentan el volumen y la complejidad.
Agentes de IA: Por qué la inferencia crea una oportunidad para la competencia
Bolitho sostiene que la ventaja competitiva de Nvidia es mayor en el entrenamiento de modelos de IA que en su ejecución. En su opinión, la inferencia crea más margen para que los competidores especializados ganen en términos de coste y velocidad.
Nvidia y AMD combinan sus chips con software diseñado para ejecutar modelos de manera eficiente, por lo que la competencia ya está en marcha. Para los líderes empresariales, la distinción entre entrenamiento e inferencia plantea otra decisión de compra: el hardware utilizado para entrenar un modelo no determina automáticamente la mejor plataforma para ejecutarlo.
Las empresas pueden solicitar a los proveedores que demuestren qué sistema ofrece la precisión y el tiempo de respuesta requeridos al menor coste total para su carga de trabajo. Tensordyne está aprovechando esta oportunidad modificando la forma en que su procesador realiza los cálculos.
Cómo diferentes métodos matemáticos podrían reducir los costes de los agentes de IA
El procesador Napier de Tensordyne utiliza logaritmos para convertir ciertas operaciones de multiplicación en sumas. Este procesador forma parte del sistema de inferencia Napier de la compañía, que combina computación, memoria y redes.
Los modelos de IA se basan principalmente en la multiplicación, lo que consume más espacio y energía en un chip. El algoritmo de Napier representa los números mediante logaritmos. Multiplicar dos números equivale a sumarlos, lo que permite que el chip consuma menos energía y realice más trabajo por vatio.
El reto de ingeniería consiste en lograr que este enfoque sea eficiente en todos los cálculos que necesita un modelo de IA, incluida la conversión entre diferentes representaciones numéricas. Tensordyne afirma que su implementación reduce el área del chip y el consumo de energía necesarios para el cálculo, dejando más recursos disponibles para la memoria y otras funciones.
«Somos los únicos que usamos Log Math [matemáticas logarítmicas]», me dijo Bolitho. Esta afirmación requiere contexto, ya que el científico jefe de Nvidia, Bill Dally, ya había mencionado el potencial de la computación logarítmica. Tensordyne se distingue por ser la primera empresa en comercializar completamente un sistema numérico logarítmico para la inferencia de IA.
En sus comparaciones publicadas con los sistemas Nvidia Blackwell, Tensordyne afirma que ofrece hasta 17 veces más tokens por vatio y 13 veces más rendimiento. Estas son proyecciones de la empresa sobre la eficiencia energética y la capacidad de procesamiento, y no resultados comprobados de forma independiente ni reducciones equivalentes en la factura del cliente.
La posible implicación comercial es que la reducción de los costes de procesamiento podría permitir a un agente realizar verificaciones adicionales o gestionar casos más complejos dentro de un presupuesto aceptable. Que esto genere un mejor resultado dependerá, en última instancia, de la precisión del agente, el flujo de trabajo y el precio que el cliente pague.
Comparar los costes de los agentes de IA con los problemas resueltos
Consideremos nuevamente al minorista. Dividir su factura modelo entre el número de devoluciones que intenta el agente dejaría fuera gran parte del coste operativo del servicio. El cálculo también debe incluir la integración, el mantenimiento, la supervisión, los intentos fallidos y los empleados que corrigen errores o finalizan casos pendientes.
Una medida más útil es el coste operativo total dividido por el número de devoluciones resueltas según el estándar requerido por el minorista. La empresa también debería hacer un seguimiento de la frecuencia con la que los clientes vuelven a contactar con el servicio de atención al cliente, ya que una interacción económica puede convertirse en una solución costosa si el cliente tiene que repetirla.
Esta medida facilita la evaluación de las solicitudes de infraestructura. Un mayor número de tokens por vatio puede mejorar la rentabilidad de un proveedor, pero un minorista que adquiere IA a través de ese proveedor debe percibir el beneficio en sus propios precios o servicios. Una empresa que compra equipos directamente también debe tener en cuenta cuánta capacidad utilizará.
La misma disciplina se aplica al tiempo ahorrado. Si un agente libera a los empleados de las devoluciones rutinarias, los líderes deben identificar qué tareas pueden realizar ahora y medir el cambio. El tiempo ahorrado justifica la inversión cuando genera mayor capacidad, mejor servicio o un gasto que la empresa puede evitar.
Qué preguntas deberían hacer los líderes sobre el gasto en agentes de IA.
Doug Levin, investigador ejecutivo de la Harvard Business School, recomienda una contabilidad más clara para las inversiones en IA. Su recomendación se traduce en cinco preguntas que los líderes pueden usar para vincular las decisiones de implementación con la supervisión financiera:
- ¿En qué parte del presupuesto aparece el gasto en IA?
- ¿Cuánto cuesta cada tarea completada con éxito?
- ¿Quién es responsable del gasto en IA?
- ¿Qué despliegues de agentes requieren aprobación?
- ¿Con qué frecuencia recibe el comité de auditoría informes sobre los costes de la IA?
Las respuestas deberían revelar cómo cambia el gasto a medida que un agente asume más responsabilidades. Un despliegue que resulta económico para devoluciones rutinarias puede volverse costoso cuando se extiende a disputas que requieren verificaciones repetidas e intervención del personal. Los líderes necesitan suficiente visibilidad para reconocer ese cambio antes de que un programa piloto exitoso se convierta en una inversión decepcionante.
En el momento de nuestra entrevista, Bolitho afirmó que el rendimiento proyectado del sistema de Napier se comparará con simulaciones. Serán necesarias pruebas independientes en sistemas terminados para determinar si esas ventajas se mantienen bajo cargas de trabajo realistas, preservando al mismo tiempo la precisión del modelo.
Un minorista que evalúe esta tecnología debería someter a prueba sus devoluciones más complejas, incluyendo compras disputadas y excepciones a las políticas. Antes de expandir su uso, los responsables deberían exigir pruebas de que las mejoras en la inferencia se traducen en un menor coste total por devolución resuelta correctamente, cumpliendo con el estándar de servicio que sus clientes esperan de los agentes de IA.
*Este artículo ha sido traducido de Forbes.com
