En la columna de hoy, analizo la nueva tendencia en auge en la comunidad de IA que decreta que la IA generativa y los grandes modelos de lenguaje (LLM) pueden calificarse o evaluarse según sus respectivas vibraciones. Sí, así es, en lugar de usar métricas cuantitativas convencionales y rigurosas para comparar los mejores LLM de IA, lo último en moda es afirmar que tu IA tiene muy buenas vibraciones. Este es un movimiento en auge que debería llamar la atención y visibilizar abiertamente su superficialidad y su aire de desdén.
Hablemos de ello.
Este análisis de un avance innovador en IA es parte de mi cobertura en curso en la columna de Forbes sobre lo último en IA, incluida la identificación y explicación de varias complejidades impactantes de IA (ver el enlace aquí ).
Vibes entra en el mundo de la IA
La forma habitual de evaluar la IA generativa y las LLM consiste en medir diversas métricas clave y comparar el rendimiento de cada una de ellas (como calcular el TTFT, el tiempo hasta el primer token, los TPS, los tokens por segundo, etc.). Existen debates sobre qué métricas son las más adecuadas o satisfactorias, pero al menos se trata de mediciones cuantitativas. Es posible que los desarrolladores de IA intenten manipular sus resultados, aunque una vez que terceros accedan a los productos de IA, el negocio está a punto de terminar. Estos terceros podrían obtener resultados diferentes e informar de que algo parece fallar. Al final, las cifras cuentan la historia.
En los últimos meses, un tipo de evaluación más nebulosa y vacua se ha incorporado al vocabulario de la IA. Se trata de las vibraciones. Un creador de IA podría afirmar que su LLM muestra excelentes vibraciones y sugerir que, aunque las métricas más rigurosas no parezcan estar a la altura, no hay problema, ya que las vibraciones están en constante evolución.
Para ser claros, las vibraciones como herramienta de medición dependen enteramente del observador.
Esa es una forma bastante conveniente de evaluar las cosas para el creador de IA. Nadie puede refutar por completo tal afirmación. Si alguien cuestiona que la IA no muestra buenas vibraciones, un creador de IA puede simplemente encogerse de hombros y decir que, bueno, lo siente, y que no todos necesariamente tendrán esa misma percepción de la IA. Mientras tanto, el creador de IA sigue promocionando las hermosas vibraciones que emite su IA.
Si esta tendencia continúa ganando fuerza, la capacidad de medir con precisión el progreso de la IA se verá socavada, lamentablemente.
¿Qué hizo que las vibraciones se pusieran en marcha?
Un impulso notable hacia la adopción de los criterios de vibraciones se puede atribuir, en general, a los tuits de Sam Altman, de OpenAI, de marzo y febrero de este año. No es el único experto en IA que ha seguido este camino (aparte, en una próxima publicación, analizaré el auge de la «codificación de vibraciones», iniciada por otro experto en IA y que se ha convertido en un fenómeno clave en el impulso de la IA generativa).
A continuación se muestra un ejemplo de una referencia a las vibraciones de Sam Altman en una publicación en X (11 de marzo de 2025):
- Entrenamos un nuevo modelo que es bueno en escritura creativa (aún no sabemos cómo ni cuándo se lanzará). Es la primera vez que algo escrito por IA me impacta de verdad; tiene un aire de metaficción perfecto.
Sus publicaciones unas semanas antes en X (el 27 de febrero de 2025) sentaron las bases para considerar la «magia» de la IA, junto con una apariencia de que la IA se está transformando o transmutando de alguna manera para exhibir un «tipo diferente de inteligencia»:
- ¡GPT-4.5 ya está listo! Buenas noticias: es el primer modelo que me da la sensación de estar hablando con una persona reflexiva. He tenido varios momentos en los que me he quedado atónito al recibir consejos realmente buenos de una IA.
- Aviso: este no es un modelo de razonamiento y no superará los estándares de rendimiento. Es un tipo de inteligencia diferente y tiene una magia que no había sentido antes. ¡Tengo muchas ganas de que la gente lo pruebe!
Tenga en cuenta que algunos miembros de la comunidad de IA están recibiendo con los brazos abiertos el término «vibraciones». Existe la firme convicción de que las medidas cuantitativas por sí solas no reflejan la realidad completa. No se mediría a una persona únicamente por su altura, peso y otras métricas cuantificables. La química general o las vibraciones de la persona serían una dimensión adicional importante. Por lo tanto, deberíamos reconocer la misma necesidad de evaluar la IA.
Tonterías, exhortan los escépticos de las vibraciones. Intentar establecer un paralelismo con la forma en que evaluamos a las personas es completamente erróneo. Es vergonzoso y otro excelente ejemplo del desconcertante esfuerzo continuo por antropomorfizar la IA. Esta conjetura sobre las vibraciones debe detenerse de inmediato, antes de que se infiltre en la comunidad de la IA. Eliminarla será casi imposible una vez que se haya consolidado en la tradición de la IA.
Se está desarrollando un acalorado debate entre los que están a favor y los que están en contra de las vibraciones.
Razones para apoyar a Vibes
Al discutir el concepto de expansión de las vibraciones con mis colegas investigadores de IA, se me ocurrieron cuatro razones principales por las que existe una creencia firme de que las vibraciones son útiles y vale la pena seguir usándolas:
- (1) Las vibraciones proporcionan una esencia visceral : al usar IA generativa, algunos de los LLM hacen un trabajo increíble al exhibir aparentemente un vínculo emocional con los usuarios y esta funcionalidad debe reconocerse, por lo que emplear vibraciones para este propósito tiene mucho sentido.
- (2) Las vibraciones denotan connotaciones optimistas : es habitual asociar la positividad con el aura de las vibraciones humanas y esta misma connotación optimista ayuda a alentar a las personas a aprovechar las tremendas fortalezas de la IA generativa de la era moderna.
- (3) Las vibraciones permiten la variabilidad . Cuando varios LLM tienen una calificación similar según las medidas cuantitativas habituales, las consideraciones sobre las vibraciones pueden ayudar a diferenciar un LLM de otro.
- (4) Vibras es un término general ideal . La palabra «vibras» es concisa, y todos ya saben lo que significa. Si la comunidad de IA inventara una nueva palabra o frase técnica para describir lo mismo, la gente no sabría de qué estamos hablando. En resumen, es un término general ideal.
Anímate a tomarte un momento de tranquilidad y contemplación para reflexionar sobre las razones clave para apoyar el movimiento de las vibraciones. Quizás puedas hacerlo acompañado de una copa de buen vino.
Razones para rechazar las vibraciones
En la misma discusión con mis colegas investigadores de IA, se me ocurrieron cuatro razones principales para rechazar la inclinación por las vibraciones:
- (1) Las vibraciones son dudosas. No importa si quienes las favorecen son genuinos o intentan ser turbios, ya que, en definitiva, las vibraciones, como terminología para evaluar la IA, son completamente amorfas y francamente dudosas.
- (2) Las vibraciones difunden la mística de la IA. La IA es solo bits y bytes. Asociar las vibraciones con la IA es una forma escandalosa y turbia de insinuar subliminalmente que la IA es misteriosa, que quizás roza la sensibilidad. ¡Qué vergüenza!
- (3) Las vibraciones enmascaran las ralentizaciones de la IA. En lugar de admitir el lanzamiento de un LLM que no muestra muchos avances en IA, es muy fácil armar un alboroto con las vibraciones. Esto distrae del espectáculo y perjudica la comprensión honesta del progreso de la IA.
- (4) Las vibraciones eluden la comparabilidad. La naturaleza imprecisa de las vibraciones permite que un LLM recién publicado evite las métricas tangibles que se utilizan para comparar lo último en IA. Pronto, compararemos la IA generativa casi exclusivamente con vibraciones, que tendrán poco o ningún significado sustancial y se convertirán en meros debates de opiniones vacías.
Tómate otra copa de vino y presta devota atención a esos puntos importantes durante unos momentos.
Haciendo que las vibraciones sean reales
Siendo francos, las probabilidades de que se deje de usar las vibraciones de IA como reclamo son extremadamente bajas. Es simplemente demasiado atractivo. Es cálido y acogedor. Quienes critican las vibraciones no van a convencer a sus defensores de que cedan.
Las buenas vibraciones llegaron para quedarse.
Esto es especialmente preocupante porque los desarrolladores de IA podrían verse tentados a empezar a adaptar los LLM para que generen cada vez más vibraciones. Quizás se desvíe la atención hacia otros avances tecnológicos importantes en IA. La búsqueda de vibraciones absorbe todo el potencial cuando se trata de mejorar la IA.
Me viene a la mente el viejo dicho de que a veces es útil combatir el fuego con fuego. Supongamos que intentáramos convertir las vibraciones en algo cuantificable. En el contexto de la IA, las vibraciones podrían ser un conjunto de elementos cuantificados y medibles.
Permítame esbozar brevemente esta fiel propuesta.
Primero, necesitaríamos dividir la esencia de las vibraciones de la IA en componentes de medición distintivos.
Voy a aportar algunas ideas. El flujo conversacional podría calcularse en función de la capacidad de respuesta del usuario, junto con el número de turnos de diálogo, etc. Otro factor podría ser una puntuación de alineación de sentimientos, que mide el tono de la IA y el del usuario. También podría haber una puntuación de interacción y simpatía basada en las valoraciones de los usuarios tras conversar con un LLM. Estas son solo algunas sugerencias y su objetivo es despertar la creatividad.
En segundo lugar, los componentes distintivos de medición tendrían que deliberarse y, en última instancia, convertirse en un estándar utilizable que la comunidad de IA pudiera implementar fácilmente. La idea es que un estándar garantizaría la honestidad de cada desarrollador de IA en sus evaluaciones y no les permitiría crear sus propias medidas patentadas (podrían hacerlo, pero seguirían estando sujetos a las normas, ya que presumiblemente también tendrían que informar sobre las medidas estándar).
En tercer lugar, una vez que las medidas de los estándares estén disponibles, se espera que las tablas de clasificación de IA comiencen a informar sobre las métricas de vibraciones. Lo bueno también es que terceros podrían realizar las mismas evaluaciones. Se podría descubrir a los fabricantes de IA que quizás exageraron sus afirmaciones sobre vibraciones. Otros fabricantes de IA de la competencia sin duda agradecerían este tipo de enfoque de «mantener la igualdad de condiciones».
Un último pensamiento por ahora.
Algunos creen que las vibraciones hablan más que las palabras. Por lo tanto, intentar convertirlas en un instrumento cuantificable y calculable es la antítesis de su esencia. O tienes vibraciones, o las emites, o no.
En mi caso, tengo buenas vibraciones acerca de convertir las vibraciones de la IA en algo real, especialmente porque las vibraciones de la IA parecen estar aquí para siempre, nos guste o no.
