En pocas palabras
La inferencia es cuando usas un modelo de IA para obtener una respuesta. El modelo ya aprendió antes; ahora solo lo pones a trabajar. Cada vez que le escribes algo y te contesta, eso es una inferencia. Es el «momento de responder», no el «momento de aprender».
Explicado fácil
Piensa en un cocinero que pasó años aprendiendo recetas en una escuela. Ese aprendizaje fue largo y duro: es como el entrenamiento del modelo. Pero ahora ya cocina en su restaurante. Cuando le pides un plato, él no vuelve a la escuela: simplemente usa lo que ya sabe y te prepara la comida en unos minutos.
La inferencia es ese momento de cocinar el plato. El modelo ya estudió hace tiempo; tú solo le haces el pedido (tu pregunta) y él te sirve el resultado (la respuesta) usando lo que aprendió. Cada pedido cuesta un poquito de tiempo y de energía, igual que preparar cada plato.
¿Por qué importa para crear agentes de IA?
Un agente hace muchísimas inferencias: piensa, actúa, observa el resultado, vuelve a pensar... y cada vuelta es otra llamada al modelo. Como cada inferencia cuesta dinero y tiempo, controlar cuántas haces y cómo de pesadas son es clave para que tu agente sea rápido y barato. Trucos como usar un modelo más ligero para tareas sencillas ayudan a mantener los costes bajo control.
Un ejemplo
Le pides a un agente que resuma diez correos. Por cada correo, hace una inferencia: le pasa el texto al modelo y recibe el resumen. Son diez inferencias, diez «platos cocinados». Si en vez de resumir uno a uno los juntara todos en una sola pregunta, haría una sola inferencia más grande. Por eso quien crea el agente piensa bien cuántas veces llama al modelo y con cuánto texto.