Cherry picking en IA: por qué los datos que eliges te cuentan la historia que ya querías escuchar
Término originalmente relacionado con el periodismo, pero que también tiene relevancia en la toma de decisiones basadas en datos. En este artículo, exploraremos cómo se aplica el Cherry Picking en el ámbito de la IA y por qué es crucial en estrategias basadas en información verificada y completa.
Hay una trampa que aparece casi siempre en las presentaciones de resultados de herramientas de IA. El proveedor muestra la tasa de adopción del equipo (alta), el tiempo ahorrado en una tarea concreta (notable), el número de consultas resueltas sin intervención humana (impresionante).
Lo que no muestra es la tasa de errores no detectados, los casos en los que el equipo corrigió en silencio la salida del modelo, o el tiempo invertido en revisar lo que la herramienta generó.
No es necesariamente deshonestidad. A veces es convicción genuina mal calibrada. Pero el efecto es el mismo: una decisión tomada sobre una imagen parcial de la realidad. Eso es cherry picking. Y en el contexto de la IA en la empresa, es uno de los errores más costosos que puede cometer un directivo hoy.
¿Qué es el cherry picking y por qué es más frecuente con IA?
El Cherry Picking, o «selección de cerezas», se refiere a la práctica de seleccionar específicamente ciertos datos o información que respalden un argumento preconcebido, mientras se omite o ignora deliberadamente aquellos datos que podrían contradecirlo. En el periodismo, esta táctica puede distorsionar la percepción de la realidad al presentar una imagen parcial y sesgada de los hechos. En el ámbito de la toma de decisiones basadas en datos, esta práctica puede conducir a conclusiones erróneas y estrategias ineficaces.
Cherry Picking en el Análisis de Datos
Cherry picking es la práctica de seleccionar los datos que respaldan una conclusión ya tomada, e ignorar los que la complican. El nombre viene de la imagen de quien recoge solo las cerezas maduras y deja en el árbol todo lo que no le conviene. En el análisis de datos clásico ya existía. Pero con la IA el problema se amplifica por tres razones.
La primera: los modelos generan salidas que parecen seguras. Una respuesta bien redactada, un análisis con estructura impecable, una recomendación con argumentos coherentes. La forma da apariencia de solidez aunque el fondo sea parcial.
La segunda: la evaluación de herramientas de IA suele hacerse en condiciones controladas. El piloto funciona bien, el caso de uso del demo es el más favorable, el equipo que lo prueba está motivado. Nada de eso anticipa el comportamiento en producción real con volumen, variabilidad y presión.
La tercera, y más difícil de detectar: cuando una organización ya ha invertido en una herramienta (Copilot, Gemini, cualquier otra impuesta desde dirección), hay un incentivo tácito para que los resultados sean positivos.
Nadie quiere ser quien diga que el despliegue no está funcionando. Los datos negativos se infrarregulan, los positivos se amplifican.
Cómo se manifiesta en decisiones reales de equipos
No hace falta que haya intención de engañar para que el cherry picking opere. Aparece en situaciones cotidianas.
Un responsable de área evalúa si Copilot está siendo útil para el equipo. Pregunta a los tres usuarios más entusiastas. Obtiene tres respuestas positivas. Concluye que la adopción va bien. No ha preguntado a quien dejó de usarlo a la segunda semana, ni revisado cuántos documentos generados con la herramienta fueron reescritos íntegramente antes de enviarse.
Un comité decide renovar la licencia de una plataforma de análisis de datos porque las métricas de engagement con la herramienta son altas. Nadie ha cruzado esas métricas con la calidad de las decisiones tomadas a partir de ella. El uso intenso de una herramienta no es evidencia de que esté aportando valor real.
Un equipo de marketing presenta los resultados de un proyecto en el que se usó IA generativa para producir contenido. Muestra el volumen producido y el tiempo ahorrado. No incluye el impacto en resultados de negocio ni la valoración de la audiencia. El dato de eficiencia oculta la pregunta relevante: ¿el contenido funcionó?
En los tres casos, hay datos reales. Pero son los datos que alguien eligió mirar.
Por qué el criterio aplicado es la única protección real
La respuesta al cherry picking no es pedir más datos. Es saber qué datos son los que importan antes de empezar a mirar.
Eso es lo que diferencia una evaluación con criterio de una evaluación con entusiasmo.
Cuando un equipo evalúa una herramienta de IA con criterio, define primero qué problema concreto quiere resolver y cómo sabrá que está resuelto. No qué puede hacer la herramienta en general, sino qué tiene que hacer en ese contexto específico para considerarse útil. Con ese marco definido, los datos que se recogen tienen una función: confirmar o refutar una hipótesis concreta, no ilustrar una decisión ya tomada.
Sin ese marco previo, cualquier evaluación deriva hacia los datos más accesibles y más favorables. No por mala fe, sino porque los datos positivos son más visibles, más fáciles de comunicar y más cómodos de presentar.
El criterio también implica saber qué no medir. Hay organizaciones que acumulan dashboards de herramientas de IA con decenas de métricas. Muchas de esas métricas miden actividad, no impacto. Distinguir entre las dos es una decisión de criterio, no un problema técnico.
Qué hacer cuando los datos disponibles son los que ya tiene el proveedor
Esta es la situación más frecuente. Un proveedor presenta su herramienta con métricas propias, casos de éxito seleccionados y una demo optimizada para el escenario más favorable. El directivo tiene que tomar una decisión con esa información.
Hay cuatro preguntas que ayudan a calibrar si los datos disponibles son suficientes para decidir o si hay que exigir más antes de comprometer presupuesto.
¿En qué contexto se recogieron estos datos? Los resultados de un piloto en una empresa de 5.000 empleados con equipo técnico dedicado no son extrapolables a una pyme de 80 personas sin soporte interno.
¿Qué miden exactamente estas métricas y qué no miden? Si la métrica es «tiempo ahorrado por tarea», la pregunta siguiente es: ¿qué pasó con ese tiempo ahorrado? ¿Se invirtió en trabajo de mayor valor o simplemente se diluyó?
¿Hay datos de casos en los que la herramienta no funcionó como se esperaba? Un proveedor que no puede responder a esta pregunta con honestidad no es un interlocutor válido para una decisión seria.
¿Qué habría que observar durante los primeros 90 días de uso real para saber si esto está funcionando en mi contexto específico? Esta pregunta fuerza a definir el criterio de éxito antes de comprar, no después.
Cherry picking y datos incompletos no son lo mismo
Vale la pena hacer una distinción que en la práctica se confunde.
El cherry picking implica que los datos están disponibles pero se ignoran deliberadamente (o por sesgo de confirmación). Los datos incompletos son un problema diferente: no hay suficiente información para decidir con rigor.
Ambos llevan a decisiones de baja calidad, pero la respuesta a cada uno es distinta.
Si hay cherry picking, el problema es de criterio para interpretar: hay que cambiar qué se mira y por qué. Si hay datos incompletos, el problema es de diseño de la evaluación: hay que definir qué información falta y cómo obtenerla antes de comprometer recursos.
En sectores regulados, como salud o farmacéutico, esta distinción tiene consecuencias directas. Tomar una decisión de adopción tecnológica con datos incompletos no es un error metodológico menor. Es un riesgo de cumplimiento que se materializa cuando la herramienta opera en producción con pacientes, datos clínicos o procesos auditables.
El cherry picking en IA no suele ser una trampa intencionada. Es lo que ocurre cuando se evalúa sin marco previo, con los datos más accesibles y en la dirección que confirma lo que ya se quería hacer. La protección no es desconfiar de los datos: es tener criterio sobre qué datos son los que importan antes de empezar a mirarlos.
La Importancia de la Integridad de los Datos.
Para evitar caer en la trampa del Cherry Picking, es fundamental mantener la integridad de los datos. Los profesionales deben esforzarse por recopilar y analizar información de manera imparcial y completa. Esto implica considerar tanto los aspectos positivos como los negativos, y reconocer que una evaluación equilibrada de los datos proporciona una base sólida para la toma de decisiones informadas.
Cuando la canción me encaja
Para cerrar, una canción sobre una de las trampas más antiguas del pensamiento humano: escuchar lo que queremos escuchar y dejar fuera lo que nos incomoda. En IA, esa tentación puede venir disfrazada de dato, gráfico o respuesta impecable. Pero si eliges solo las cerezas que te gustan, no estás analizando la realidad. Estás decorando tu propia hipótesis.
FAQs
¿Qué es el cherry picking en el contexto de la IA empresarial?
Es la práctica de seleccionar los datos que respaldan una decisión ya tomada sobre una herramienta de IA, ignorando los que la complican. Ocurre con frecuencia en evaluaciones de herramientas porque los datos positivos son más visibles y más fáciles de comunicar que los negativos.
¿Por qué es más difícil detectar el cherry picking con herramientas de IA que con otras tecnologías?
Porque los modelos generan salidas que parecen sólidas por su forma. Un análisis bien redactado o una recomendación con estructura coherente da apariencia de rigor aunque los datos de entrada sean parciales. La forma hace que el problema pase desapercibido más fácilmente que en otras tecnologías.
¿Cómo sé si mi equipo está evaluando una herramienta de IA con cherry picking?
Una señal clara: si los datos recogidos en la evaluación son todos favorables, probablemente no se está midiendo lo correcto. Otra: si las métricas miden actividad (uso, volumen, tiempo de interacción) pero no impacto en resultados reales. Una evaluación equilibrada incluye datos de los casos en los que la herramienta no funcionó como se esperaba.
¿Qué diferencia hay entre cherry picking y tener datos insuficientes para decidir?
El cherry picking implica que los datos existen pero se ignoran o infravaloran por sesgo. Los datos insuficientes son un problema de diseño: no se ha definido qué información hace falta para decidir con rigor. Ambos llevan a malas decisiones, pero la corrección es diferente: el primero requiere cambiar el criterio de interpretación; el segundo, completar la información antes de comprometer recursos.
¿Cómo definir un criterio de evaluación que evite el cherry picking antes de empezar?
Definir primero qué problema concreto tiene que resolver la herramienta y qué tendrá que observarse durante los primeros 90 días de uso real para considerar que funciona. Ese marco previo convierte la evaluación en una comprobación de hipótesis, no en una búsqueda de confirmación.
¿Qué preguntas hacer a un proveedor de IA para detectar si sus datos son fiables?
Cuatro preguntas clave: en qué contexto se recogieron los datos de los casos de éxito; qué miden exactamente sus métricas y qué no miden; si tienen datos de casos en los que la herramienta no rindió como se esperaba; y qué habría que observar en el contexto específico de la organización para validar que funciona.
¿Este problema es más relevante en sectores regulados como salud o farmacéutico?
Sí. En sectores con obligaciones de cumplimiento y auditoría, una decisión de adopción tecnológica tomada con datos parciales no es solo un error metodológico. Si la herramienta opera con datos clínicos, procesos auditables o información sensible, los datos incompletos o sesgados en la evaluación inicial se convierten en riesgo regulatorio en producción.
Para entender lo digital, conviene salir un momento de la pantalla
También hacen falta libros, contexto, memoria, conversación y algo de distancia.
En este correo comparto artículos del blog, lecturas que ayudan a mirar mejor lo que está pasando y, de vez en cuando, algún recurso útil para ordenar una decisión.
Una o dos veces al mes. Sin ruido. Sin urgencias fabricadas.
