Aversión a los algoritmos
De un Vistazo
| Categoría | Detalles |
|---|---|
| Definición | La tendencia a perder la confianza en un algoritmo, fórmula o modelo estadístico tras verlo cometer un error, y a sustituirlo por el juicio humano aun cuando el algoritmo siga prediciendo mejor. Su imagen especular, la apreciación de los algoritmos, es la tendencia a apoyarse en el asesoramiento algorítmico para tareas objetivas cuando no lo hemos visto fallar. La confianza oscila entre ambos polos según lo que hayamos presenciado y el tipo de tarea. |
| Categoría | Falta de significado (completamos características a partir de estereotipos, generalidades e historias previas) |
| Dificultad para superar | Moderada |
| Prevalencia | Condicional |
| Sesgos relacionados | Sesgo de automatización, Sesgo de autoridad, Antropomorfismo, No inventado aquí, Efecto de exceso de confianza, Sesgo de resultado |
1. Resumen Rápido
La aversión a los algoritmos ocurre cuando un modelo de predicción falla una vez y dejamos de utilizarlo, a pesar de que el pronosticador humano al que recurrimos en su lugar se equivoca con mayor frecuencia. Berkeley Dietvorst, Joseph Simmons y Cade Massey dieron nombre a este patrón en 2015 tras observar que los participantes abandonaban un modelo estadístico que obtenía mejores resultados que ellos, simplemente porque lo habían visto cometer un fallo. Cuatro años después, Jennifer Logg, Julia Minson y Don Moore mostraron lo contrario: cuando las personas no habían visto fallar al algoritmo y la tarea consistía en una cuestión de hechos y no de gustos, seguían el consejo algorítmico con mayor facilidad que el humano. Los errores visibles, las tareas subjetivas y la pericia personal empujan hacia la aversión; las tareas objetivas y un historial limpio empujan hacia la apreciación. Dado que las reglas estadísticas han igualado o superado al juicio experto en la mayoría de las comparaciones directas desde la década de 1950, la aversión nos cuesta precisión y la apreciación nos cuesta sentido crítico.
Explicación sencilla
La aversión a los algoritmos consiste en dejar de hacer caso a un ordenador la primera vez que se equivoca, aunque siga acertando más a menudo que una persona. La otra cara de la moneda es fiarse demasiado de una máquina cuando nunca la has visto equivocarse. Las dos cosas nacen de la misma costumbre: juzgamos a las máquinas con una regla más estricta que a las personas.
Imagina que la aplicación de mapas de tu móvil te manda por una calle que resulta estar cortada. Llegas tarde, te enfadas y decides que esa aplicación no sirve para nada. Al día siguiente le pides indicaciones a un amigo. Tu amigo te hace perderte dos veces, pero no te importa, porque cualquiera se equivoca. La aplicación falló una sola vez y la diste por perdida para siempre.
Aquí tienes un truco para pillarte. Cuando algo te falle, hazte una pregunta sencilla: de las últimas diez veces, ¿quién acertó más? Cuenta con sinceridad. Si la aplicación acertó ocho de diez y tu amigo cinco, la aplicación sigue siendo la mejor opción. Y si nunca has visto fallar a la aplicación, eso también merece una segunda mirada, porque nada acierta todas las veces.
2. La Ciencia Detrás
2.1. Descubrimiento e Historia
La historia comienza mucho antes de que nadie utilizase la palabra "algoritmo" en un artículo de psicología. En 1954, el psicólogo clínico Paul Meehl publicó un libro breve e incómodo titulado Clinical versus Statistical Prediction. Reunió los aproximadamente veinte estudios disponibles por entonces que enfrentaban a clínicos cualificados con fórmulas estadísticas sencillas, y en casi todas las comparaciones la fórmula igualó o superó al clínico. La práctica profesional apenas cambió; los clínicos encontraron motivos para desconfiar de las tablas, y esa resistencia constituyó la primera demostración a gran escala de este sesgo, décadas antes de que tuviese nombre.
Las pruebas siguieron acumulándose. En 2000, William Grove y sus colaboradores publicaron un metaanálisis de 136 estudios que comparaban la predicción clínica y la mecánica. La predicción mecánica fue, de media, cerca de un 10 por ciento más precisa, se impuso con claridad en aproximadamente la mitad de las comparaciones, empató en la mayor parte de las restantes y solo perdió de forma inequívoca en un puñado de casos.
La demostración experimental en laboratorio llegó en 2015. Dietvorst, Simmons y Massey, entonces en la Universidad de Pensilvania, realizaron experimentos de predicción con incentivos económicos y acuñaron el término "aversión a los algoritmos". Los participantes que podían elegir entre sus propios pronósticos y los de un modelo estadístico se mostraron mucho menos dispuestos a elegir el modelo tras haberlo visto equivocarse, aunque también hubiesen presenciado cómo dicho modelo los superaba.
Después, el propio campo se complicó, que es lo que hacen los campos sanos. El artículo de 2019 sobre la "apreciación de los algoritmos" de Logg, Minson y Moore mostró que el público general modificaba más sus estimaciones ante consejos etiquetados como algorítmicos que ante consejos etiquetados como humanos, aunque el efecto disminuía entre los expertos. Las revisiones sistemáticas de Jussupow, Benbasat y Heinzl (2020), Burton, Stein y Jensen (2020) y Mahmud y colaboradores (2022) llegaron a un mismo veredicto: la aversión es real, pero condicional. Un documento de trabajo de 2024 de Logg y Schlund sostuvo que la mayor parte de la "aversión" documentada en la literatura procede de preguntas hipotéticas de preferencia, mientras que las personas que se enfrentan a decisiones reales utilizan el consejo algorítmico más que el humano. Un metaanálisis de 2025 presentado en la Hawaii International Conference on System Sciences agrupó 32 estudios de intervención y halló una pequeña reducción media de la aversión; las mayores mejoras se obtuvieron al cambiar la forma en que las personas interactúan con el algoritmo. Al menos un intento prerregistrado de reproducir el efecto básico ha fracasado.
Hitos clave:
- 1954: El libro Clinical versus Statistical Prediction de Meehl muestra que las fórmulas igualan o superan a los clínicos, y que los clínicos se niegan a utilizarlas
- 2000: El metaanálisis de 136 estudios de Grove y colaboradores concluye que la predicción mecánica es, de media, alrededor de un 10 por ciento más precisa
- 2015: Dietvorst, Simmons y Massey acuñan el término "aversión a los algoritmos"
- 2018: El mismo equipo muestra que permitir a las personas ajustar el resultado de un modelo, aunque sea ligeramente, restablece su uso
- 2019: Logg, Minson y Moore publican su trabajo sobre la "apreciación de los algoritmos"; Castelo, Bos y Lehmann muestran que la subjetividad de la tarea gobierna la confianza; Longoni, Bonezzi y Morewedge identifican la desatención de la singularidad
- 2024-2025: El artículo de conciliación de Logg y Schlund y un metaanálisis presentado en HICSS con 32 estudios de intervención encuadran la aversión y la apreciación como dos posiciones de un mismo dial de confianza
2.2. Investigadores Clave
| Investigador | Contribución | Año |
|---|---|---|
| Paul Meehl | Mostró que las fórmulas estadísticas igualan o superan al juicio clínico; documentó la resistencia de los clínicos | 1954 |
| William Grove y colaboradores | Metaanálisis de 136 estudios sobre predicción clínica frente a mecánica | 2000 |
| Berkeley Dietvorst, Joseph Simmons y Cade Massey | Acuñaron el término "aversión a los algoritmos"; mostraron que los algoritmos modificables la superan | 2015, 2018 |
| Jennifer Logg, Julia Minson y Don Moore | Documentaron la "apreciación de los algoritmos" entre los legos y su ausencia entre los expertos | 2019 |
| Noah Castelo, Maarten Bos y Donald Lehmann | Mostraron que la confianza sigue a la objetividad percibida de la tarea | 2019 |
| Chiara Longoni, Andrea Bonezzi y Carey Morewedge | Identificaron la "desatención de la singularidad" tras la resistencia a la inteligencia artificial médica | 2019 |
2.3. Estudios Emblemáticos
"Algorithm Aversion: People Erroneously Avoid Algorithms After Seeing Them Err" (Dietvorst, Simmons y Massey, 2015)
Los participantes pronosticaron el rendimiento de solicitantes de programas MBA a partir de sus datos de admisión, o cuántos pasajeros de avión volarían desde cada estado de Estados Unidos. Se disponía de un modelo estadístico elaborado con los mismos datos, y algunos participantes observaron su funcionamiento antes de decidir qué pronósticos determinarían su bonificación económica. El modelo superó a los humanos en todas las condiciones. Sin embargo, los participantes que habían observado el funcionamiento del modelo y, por tanto, lo habían visto errar, fueron sustancialmente menos propensos a apostar por él que quienes no habían visto nada.
"Overcoming Algorithm Aversion" (Dietvorst, Simmons y Massey, 2018)
El mismo equipo investigó qué podría recuperar la confianza de los participantes. Se les permitió utilizar el pronóstico del modelo con posibilidad de ajustarlo: en algunas condiciones con total libertad y en otras solo unos pocos puntos. La posibilidad de ajustar, incluso dentro de un margen estrecho, elevó de forma marcada la proporción de participantes que eligieron el modelo, y terminaron siendo más precisos que quienes pronosticaron en solitario. Lo que la gente busca es tener voz y voto, no un control absoluto.
"Algorithm Appreciation: People Prefer Algorithmic to Human Judgment" (Logg, Minson y Moore, 2019)
A lo largo de seis experimentos, los participantes estimaron cuestiones como el peso de una persona desconocida a partir de una fotografía o la posición de una canción en las listas de éxitos, y a continuación recibieron recomendaciones presentadas como procedentes de un algoritmo o de una persona. Las personas sin conocimientos especializados se aproximaron más al consejo del algoritmo. El efecto se debilitó cuando los participantes tuvieron que elegir entre el algoritmo y su propio criterio, y se invirtió entre profesionales experimentados.
2.4. Base Neurológica
La literatura neurocientífica específica sobre la aversión a los algoritmos es escasa. Los estudios mencionados en este campo son de naturaleza conductual; nadie ha escaneado todavía a participantes mientras observan fallar a un modelo de predicción. Lo que existe es un conjunto de hallazgos contrastados sobre cómo procesa el cerebro a los interlocutores humanos frente a los no humanos.
Los estudios de neuroimagen aplicados a juegos económicos muestran que las regiones cerebrales vinculadas a la mentalización, en particular la corteza prefrontal medial, responden con mayor intensidad cuando las personas creen que interactúan con otro ser humano que cuando lo hacen con un ordenador que aplica una regla fija; McCabe y sus colaboradores describieron este patrón en 2001 y estudios posteriores lo replicaron. Construimos un modelo mental de las intenciones de un asesor humano, mientras que clasificamos a la máquina como un mecanismo. Un mecanismo que falla parece defectuoso; una persona que falla parece, simplemente, humana. Cualquier afirmación sobre un supuesto circuito neural específico dedicado a la aversión a los algoritmos debe tratarse como especulación.
3. Orígenes Evolutivos
Nuestros antepasados nunca conocieron un algoritmo, pero sí dos cosas que aquí importan: las herramientas y los consejeros. Las reglas que el cerebro desarrolló para cada una estaban adaptadas a problemas distintos.
El consejo de otra persona venía acompañado de un rostro, una historia y una reputación. Evaluarlo implicaba modelar el conocimiento y los incentivos del consejero, y ese mecanismo psicológico resulta indulgente ante los errores ocasionales, ya que un aliado fiable que a veces se equivoca sigue mereciendo la pena. Por el contrario, una herramienta se juzgaba según su funcionamiento. Una trampa que no saltaba se reparaba o se desechaba; las herramientas no aprenden ni piden disculpas, por lo que no había motivo para concederles el beneficio de la duda. Cuando una persona actual observa equivocarse a un modelo estadístico, se activa la regla de las herramientas: descartar.
Un segundo patrón ancestral es la inclinación hacia lo explicable. A un asesor humano se le puede preguntar "por qué" y ofrecerá un relato. Una fórmula que indica "73 por ciento" no aporta ninguna narrativa. Yeomans, Shah, Mullainathan y Kleinberg mostraron en 2019 que las personas preferían recomendaciones de chistes hechas por humanos antes que recomendaciones igual de buenas procedentes de un algoritmo, y que ofrecer una explicación cerraba buena parte de esa diferencia. Estos hábitos no están estropeados; simplemente se están aplicando a un nuevo tipo de entidad que es una herramienta en su mecánica y un consejero en su función.
4. Cómo se Manifiesta este Sesgo
4.1. En la Vida Cotidiana
- Borrar una aplicación de mapas tras una mala ruta y conducir durante meses por trayectos más largos guiándose por la memoria y la costumbre
- Calificar el pronóstico del tiempo de "siempre equivocado" tras arruinarse un pícnic por la lluvia, olvidando las decenas de días en los que acertó
- Seguir al segundo el tiempo de cocción indicado por una aplicación de recetas la primera vez que se usa, sin comprobar jamás el horno
4.2. En el Entorno Laboral
- Equipos de ventas que pasan por encima de un modelo de puntuación de clientes potenciales cuando sitúa abajo a un cliente claramente bueno, y vuelven a priorizar por corazonadas que convierten peor
- Profesionales veteranos que, al igual que en la muestra de seguridad nacional de Logg, descartan consejos que colegas júnior habrían aceptado
4.3. En los Negocios y el Marketing
El trabajo de Castelo explica un patrón muy habitual en marketing: los clientes aceptan los algoritmos para las facetas "objetivas" de un producto y los rechazan para las "subjetivas". Un banco puede anunciar que un modelo calcula el límite de crédito; en cambio, una aplicación de citas que afirme que "nuestro modelo seleccionó a tu pareja" corre el riesgo de sonar fría. Las empresas responden ocultando el algoritmo (hablando de listas de reproducción "seleccionadas"), humanizándolo con un nombre propio o introduciendo un paso humano meramente simbólico.
4.4. En la Política y los Medios
Los algoritmos públicos atraen una aversión pública. Cuando una administración recurre a un modelo para asignar plazas escolares o moderar calificaciones de exámenes, cada fallo visible se convierte en noticia, mientras que los fallos del procedimiento humano al que sustituyó nunca se contabilizaron. Lo ocurrido en Gran Bretaña con las calificaciones de 2020 (Caso de estudio 2) es el ejemplo de manual. Sin embargo, la misma ciudadanía que abandona un modelo de calificación confía en un flujo de recomendaciones que jamás ha auditado.
4.5. En la Atención Sanitaria
Los clínicos se resisten a la predicción estadística desde los tiempos de Meehl, y el metaanálisis de Grove encontró que esa resistencia sobrevivió a décadas de pruebas en contra. Longoni y sus colaboradores mostraron que los pacientes la comparten: ante una precisión idéntica, prefieren el diagnóstico de un humano porque creen que su caso es inusual. La preferencia se invierte cuando un médico "revisa" el resultado de la inteligencia artificial, aunque sea de forma nominal. En el otro extremo de la oscilación se sitúa el sesgo de automatización, tratado por separado en este sitio web.
4.6. En Finanzas e Inversión
Un inversor que sigue una estrategia de reequilibrio basada en reglas durante dos años buenos suele abandonarla tras un solo trimestre en el que la regla vendió demasiado pronto. El hallazgo de Dietvorst y Bharti de 2020, según el cual las personas rechazan los algoritmos sobre todo en ámbitos intrínsecamente inciertos, golpea aquí con más fuerza.
5. Casos de Estudio Reales
Caso de estudio 1: Zillow Offers y el precio de confiar a ciegas en un modelo
- Contexto: Zillow, la empresa estadounidense de anuncios inmobiliarios, lanzó Zillow Offers en 2018, utilizando sus modelos de tasación de viviendas para presentar ofertas directas de compra al contado y revender los inmuebles.
- Qué ocurrió: A lo largo de 2021, las ofertas del modelo fueron por delante de los precios de reventa a medida que cambiaba el mercado inmobiliario de la pandemia. En otoño, la empresa tenía unas 7.000 viviendas. En noviembre de 2021, Zillow anunció que cerraría el negocio, comunicó unas pérdidas de unos 420 millones de dólares en esa división solo en el tercer trimestre y dijo que recortaría aproximadamente una cuarta parte de su plantilla.
- El sesgo en acción: Es el extremo de la apreciación de la oscilación, a escala corporativa. El modelo no había fallado de forma visible con anterioridad y la identidad de la empresa se basaba en confiar en sus valoraciones, por lo que las revisiones humanas eran escasas. En cuanto el fallo se hizo visible, la respuesta fue el abandono total en lugar de una recalibración.
- Consecuencias: Cientos de millones en pérdidas, un recorte de plantilla del 25 por ciento y el fin de una línea de negocio insignia.
- Lecciones aprendidas: Que un modelo nunca haya fallado delante de ti no significa que no pueda fallar. Una supervisión continua con alarmas fijadas de antemano convierte un error visible en una inspección, en lugar de en negación o pánico.
Caso de estudio 2: El algoritmo de calificación de exámenes en Inglaterra en 2020
- Contexto: Cuando la pandemia obligó a cancelar los exámenes de A-level en Inglaterra en 2020, el organismo regulador Ofqual diseñó un modelo de estandarización para moderar las notas pronosticadas por el profesorado y evitar la inflación de calificaciones. Los resultados se publicaron el 13 de agosto de 2020.
- Qué ocurrió: El modelo bajó casi el 36 por ciento de las notas de A-level un escalón por debajo de la predicción del docente y alrededor del 3 por ciento dos escalones. Como se apoyaba en los resultados históricos de cada centro, los buenos estudiantes de centros históricamente más flojos fueron los más perjudicados. Las protestas llegaron en cuestión de horas. El 17 de agosto, cuatro días después de publicarse las notas, el Gobierno y Ofqual dieron marcha atrás y reexpidieron las calificaciones basándose en las predicciones docentes sin moderar.
- El sesgo en acción: Parte de la reacción fue un juicio de equidad, y razonable: los errores recayeron sobre grupos identificables. Pero el episodio también muestra el mecanismo de la aversión en estado puro. Los errores del algoritmo eran visibles y personales; los de la alternativa humana (las predicciones del profesorado, que desde hace tiempo se sabe que pecan de optimistas) eran invisibles y difusos. El país descartó por completo la fuente de error visible en lugar de corregirla.
- Consecuencias: Las notas subieron con fuerza respecto a los años anteriores, las universidades tuvieron que apresurarse para colocar a los estudiantes y la responsable de Ofqual dimitió a finales de ese mes.
- Lecciones aprendidas: Que los errores sean visibles no significa que haya más errores. Un modelo que se compara con el juicio humano merece que también se haga un recuento justo de los errores humanos, y sus casos de fallo deberían probarse en los grupos con más probabilidades de salir perjudicados antes de ponerlo en marcha.
Ejemplo histórico: Los ojeadores de Oakland y la hoja de cálculo (2002)
A principios de la década de 2000, los Oakland Athletics, un equipo de béisbol con uno de los presupuestos salariales más bajos de la liga, empezaron a utilizar el análisis estadístico para encontrar jugadores que los ojeadores infravaloraban. El director general Billy Beane y su ayudante Paul DePodesta se apoyaron en medidas como el porcentaje de embasado, que predecía las carreras mejor que los juicios que los ojeadores llevaban un siglo utilizando.
La reacción de los ojeadores fue la historia de Meehl repetida en un campo de béisbol. Señalaban a cada jugador que le gustaba al modelo y fracasaba como prueba de que "no se puede reducir el béisbol a una hoja de cálculo", y no llevaban un recuento comparable de sus propios fallos. En 2002, Oakland ganó 103 partidos, con una racha récord de veinte victorias seguidas, con un presupuesto equivalente a un tercio del de los New York Yankees, y el libro de Michael Lewis de 2003, Moneyball, hizo famoso el episodio. Cuando el enfoque funcionó a la vista de todos, casi todos los equipos lo adoptaron, y algunos se fueron al extremo contrario y confiaron en modelos allí donde los datos escaseaban.
6. El Coste de este Sesgo
6.1. Costes Personales
- Peores decisiones en ámbitos donde existe una herramienta eficaz: desplazamientos más largos, peores decisiones financieras, señales de salud que se pasan por alto
- El coste inverso: dependencia sin examen de una recomendación, una puntuación crediticia o una aplicación de diagnóstico que nunca se comprobó, hasta que falla de un modo que importa
6.2. Costes Profesionales
- Precisión predictiva desaprovechada: en los experimentos de Dietvorst, los participantes que abandonaron el modelo obtuvieron bonificaciones inferiores a las de quienes lo mantuvieron
- Costosas decisiones de "vuelta a lo manual" tras un único fallo visible, que reinstauran sin hacer ruido un procedimiento menos preciso
- El error opuesto en procesos automatizados: nadie asume la responsabilidad de los resultados porque "el sistema se encarga", lo que permite desviaciones inadvertidas durante trimestres
6.3. Costes Sociales
- Servicios públicos que abandonan un modelo corregible y vuelven a un procedimiento humano menos justo o menos preciso
- Infrautilización de herramientas de riesgo validadas en medicina, justicia penal y protección de menores, donde las pruebas a favor de los métodos estadísticos tienen décadas
- Un debate público en el que se cuentan los errores de los algoritmos y no los de las personas
6.4. Impacto Estadístico
- El metaanálisis de Grove y colaboradores de 2000 sobre 136 estudios halló que la predicción mecánica era, de media, alrededor de un 10 por ciento más precisa que el juicio clínico, y los clínicos solo fueron claramente mejores en un puñado de comparaciones
- En los experimentos de Dietvorst, Simmons y Massey de 2015, observar el funcionamiento del modelo (y sus fallos) redujo sustancialmente el porcentaje de participantes que lo eligieron, a pesar de que el modelo superó su rendimiento en todas las condiciones
- Permitir a los participantes ajustar el pronóstico de un modelo dentro de un margen estrecho (Dietvorst et al., 2018) incrementó de forma notable el uso del modelo y mejoró la precisión respecto al pronóstico humano sin ayuda
- Un metaanálisis de 2025 sobre 32 estudios de intervención (89 tamaños del efecto) halló una pequeña reducción media de la aversión, y las intervenciones que cambiaban el entorno de interacción resultaron aproximadamente el doble de eficaces que la media
7. Los Beneficios Ocultos
La aversión a los algoritmos no es simplemente un error con un buen agente de prensa. Varias de sus partes merece la pena conservarlas.
Un modelo que ha fallado una vez puede haber fallado porque el mundo ha cambiado, y eso un modelo no te lo puede decir. El pronosticador que reacciona con fuerza ante un fallo visible a veces está detectando el tipo de cambio de régimen ante el que un modelo validado con datos históricos es ciego. Los modelos de Zillow no sabían que el mercado inmobiliario había dado la vuelta; un humano escéptico podría haberlo sabido.
La exigencia de que haya una persona en el proceso, que expresaban los pacientes de Longoni, es también una exigencia de rendición de cuentas. A un médico se le puede preguntar por qué. A un modelo, en la mayoría de sus implantaciones, no, y una decisión que afecta a una vida debería venir con alguien que pueda responder por ella.
Y el lado de la aversión es el único freno del lado de la apreciación. El problema no es que examinemos los algoritmos con lupa, sino que lo hacemos en el momento equivocado: después de un error en lugar de antes de implantarlos y durante todo su uso.
8. Autoevaluación: ¿Tienes este Sesgo?
8.1. Lista de Señales de Advertencia
- Has dejado de utilizar una herramienta tras una mala recomendación sin comprobar su tasa global de aciertos
- Cuando un modelo se equivoca dices "lo sabía", pero cuando se equivoca una persona dices "son cosas que pasan"
- Confías por completo en un sistema hasta que lo ves fallar, momento en el que dejas de confiar en él por completo
- Has corregido de forma drástica la estimación de un modelo basándote en una corazonada, sin anotar después el resultado
- Crees que tu situación es demasiado singular como para que le resulte aplicable cualquier herramienta estadística
- Aceptas recomendaciones algorítmicas para cuestiones numéricas, pero las rechazas en temas relacionados con personas
- Nunca te has preguntado con qué frecuencia se equivoca una herramienta de la que dependes a diario
- Te sientes ofendido cuando la respuesta de un algoritmo es mejor que la tuya
- Prefieres una explicación que comprendes antes que un resultado con un historial de aciertos superior
- Has afirmado que "esto no se puede reducir a una fórmula" al hablar de una decisión donde las fórmulas han superado a expertos
Puntuación:
- 0-2 casillas marcadas: Susceptibilidad baja
- 3-5 casillas marcadas: Susceptibilidad moderada
- 6-8 casillas marcadas: Susceptibilidad alta
- 9-10 casillas marcadas: Susceptibilidad muy alta
8.2. Preguntas de Autorreflexión
- Piensa en una herramienta o modelo que hayas dejado de usar. ¿Conoces su porcentaje real de aciertos en comparación con aquello que lo sustituyó?
- Piensa en una herramienta en la que confías sin dudar. ¿Cuándo comprobaste por última vez si había cometido algún error inadvertido?
- ¿Qué decisiones de tu trabajo consideras "objetivas" y cuáles "subjetivas"? ¿Has puesto a prueba alguna vez esa distinción?
- Cuando corriges el resultado de un sistema, ¿lo dejas registrado por escrito para revisarlo más adelante?
- Si un compañero de trabajo y un modelo fallasen la misma predicción en la misma medida, ¿reaccionarías de igual forma ante ambos?
8.3. Escenario de Diagnóstico Rápido
Escenario: El modelo de previsión de la demanda de tu equipo ha superado a las previsiones manuales de los planificadores en once de los últimos doce meses. Sin embargo, este mes ha sobrestimado mucho la demanda de una línea de productos. Tu responsable te pregunta qué conviene hacer.
¿Cuál sería tu respuesta?
- A) Recomendar abandonar el modelo y volver a las previsiones de los planificadores, ya que resulta evidente que no es fiable → Susceptibilidad alta
- B) Mantener el modelo pero permitir que los planificadores lo corrijan libremente siempre que no estén de acuerdo → Susceptibilidad moderada
- C) Mantener el modelo, analizar qué cambió en esa línea de productos y permitir a los planificadores ajustes acotados dejando constancia escrita de cada uno → Susceptibilidad baja
9. Identificar este Sesgo en los Demás
9.1. Indicadores de Comportamiento
- Considera que un único fallo del modelo demuestra que carece de valor, sin compararlo con la tasa de error humano
- Interpreta una larga racha de aciertos del modelo como prueba de que no requiere ninguna supervisión
- Realiza correcciones manuales drásticas y no documentadas sobre los resultados de un sistema
- Insiste en que su caso, cliente o paciente es "diferente" de un modo que ninguna herramienta podría captar
- Es un experto reconocido en la materia y desmerece la herramienta más que los principiantes
9.2. Señales de Alerta en la Conversación
Frases habituales bajo la influencia de este sesgo:
- "¿Lo ves? El modelo se equivocó. Te lo dije."
- "Esto no se puede medir con números."
- "El sistema nunca se ha equivocado, ¿para qué vamos a revisarlo?"
- "No conoce mi caso particular."
- "Déjame corregirlo a mí, que llevo veinte años haciendo esto."
Tipos de argumentos que emplean:
- Un fallo algorítmico recordado con nitidez frente a la vaga sensación de que las personas "suelen acertar"
- Apelaciones a la singularidad del caso en cuestión en vez de examinar datos sobre casos similares
Preguntas que evitan formular:
- "¿Con qué frecuencia acierta el modelo en comparación con nosotros?"
- "¿Cuándo auditamos esto por última vez?"
9.3. Desencadenantes Situacionales
- Un fallo algorítmico visible y atribuible, en especial si tiene repercusión pública
- Tareas percibidas como subjetivas, personales o morales
- Preguntas hipotéticas del tipo "¿en quién confiarías?", en lugar de decisiones reales con consecuencias tangibles
- Pericia en la materia, que aumenta la confianza en el propio juicio
- Ausencia de fallos visibles hasta la fecha combinada con la presión por ir rápido, lo que desencadena el extremo de la apreciación
10. Estrategias de Mitigación Cognitiva
10.1. Técnicas Inmediatas
- El recuento a dos columnas: Cuando una herramienta falle, anota sus diez últimos resultados en una columna y los de la alternativa humana en otra. Compara ambas cifras antes de tomar cualquier decisión.
- La prueba del mismo error: Pregúntate: "Si un compañero hubiese cometido exactamente este mismo error, ¿lo despediría?". Si la respuesta es no, no descartes el modelo.
- Ajuste acotado: En lugar de aceptar o rechazar en bloque el resultado de un modelo, modifícalo dentro de un margen prefijado y registra el cambio. Los participantes del estudio de 2018 de Dietvorst obtuvieron buenos resultados con ajustes de solo unos pocos puntos porcentuales.
- Invertir la pregunta: Si nunca has visto fallar a un sistema, pregúntate cómo se manifestaría su fallo y si serías capaz de advertirlo.
10.2. Estrategias a Largo Plazo
- Llevar un registro de ajustes manuales: Documenta cada corrección manual que apliques a un modelo y revísala cada trimestre. La mayoría de quienes lo hacen descubren que sus correcciones perjudicaron más de lo que ayudaron, lo que recalibra la confianza más deprisa que cualquier sermón.
- Conocer las tasas base: Lee una vez el metaanálisis de Grove o el capítulo de Kahneman sobre intuición frente a fórmulas. Cambia la manera de vivir un error aislado.
- Auditar lo aparentemente infalible: Programa revisiones de los sistemas que nunca han fallado de forma visible. Son los que tienen más probabilidades de estar desviándose sin que nadie lo vea.
10.3. Diseño Ambiental
- Integrar modificaciones acotadas: Proporciona a los usuarios un margen de ajuste pequeño y registrado, en lugar de un interruptor binario de aceptar o rechazar. El estudio de 2018 constató que esto aumentaba tanto el uso del sistema como su precisión.
- Mostrar tasas de error comparativas: Presenta el porcentaje de aciertos del modelo junto a la línea de base humana en la misma pantalla, de modo que cualquier error aislado se vea frente a su denominador.
- Diseñar alarmas de revisión en lugar de desconexiones definitivas: Establece el compromiso previo de que un error visible desencadene una investigación con un responsable asignado y un plazo definido, y que solo una conclusión documentada permita retirar el modelo.
10.4. Cuándo Buscar Asesoramiento Externo
- Cuando estés a punto de descartar un modelo tras un fallo visible sin haber comparado antes las tasas de error respectivas
- Cuando vayas a implantar un modelo en un entorno público o con consecuencias críticas sin haber comprobado sus casos de error en los colectivos más propensos a sufrir perjuicios
- Cuando un sistema lleve funcionando un año sin que nadie sepa decir con qué frecuencia se equivoca
A quién acudir: a alguien capaz de hacer la comparación, no a alguien que comparta tu frustración.
11. Ejercicios Prácticos
Ejercicio 1: El juicio justo
- Objetivo: Sustituir un veredicto basado en un solo error por una comparación respaldada por datos
- Tiempo requerido: 45 minutos
- Materiales necesarios: Registros de estimaciones pasadas de una herramienta y juicios pasados de la alternativa humana; una hoja de cálculo
- Nivel de dificultad: Principiante
- Instrucciones:
- Elige una herramienta que hayas abandonado o de la que desconfíes
- Reúne sus últimos 20 resultados y lo que ocurrió en la realidad
- Reúne los últimos 20 juicios de la alternativa humana en casos comparables
- Evalúa ambos con el mismo criterio
- Escribe una frase sobre qué opción deberías emplear de ahora en adelante y por qué
- Preguntas de reflexión:
- ¿Coincidió el resultado de la comparación con tu intuición inicial antes de empezar?
- ¿Qué fallo aislado había pesado más en tu opinión sobre la herramienta?
- ¿Qué necesitarías para confiar en la opción ganadora, fuese cual fuese?
- Frecuencia: Una vez por cada herramienta que sientas la tentación de abandonar
Ejercicio 2: El registro de ajustes acotados
- Objetivo: Averiguar si tus ajustes manuales ayudan o perjudican
- Tiempo requerido: 2 minutos por decisión, 30 minutos de revisión mensual
- Materiales necesarios: Un cuaderno o una hoja de cálculo compartida
- Nivel de dificultad: Intermedio
- Instrucciones:
- Durante un mes, cada vez que modifiques el resultado de un modelo, anota en una línea el valor del modelo, tu valor corregido y el motivo
- Fija de antemano un límite máximo de ajuste (por ejemplo, un 10 por ciento)
- A final de mes, añade los resultados reales y calcula el error del modelo por sí solo frente al error obtenido tras tu ajuste
- Clasifica cada intervención manual como "ayudó", "perjudicó" o "sin diferencia"
- Decide si conviene reducir o ampliar tu margen de ajuste para el mes siguiente
- Preguntas de reflexión:
- ¿Qué proporción de tus correcciones ayudó?
- ¿Fueron más eficaces los ajustes respaldados por un motivo concreto o los basados en sensaciones?
- ¿Influyó en tu frecuencia de ajuste saber que ibas a ser evaluado?
- Frecuencia: Mensual, durante al menos tres meses
Ejercicio 3: Auditar lo infalible
- Objetivo: Aplicar un análisis riguroso a un sistema en el que confías por defecto
- Tiempo requerido: 60 minutos
- Materiales necesarios: Acceso a un sistema del que dependas habitualmente sin comprobar sus resultados
- Nivel de dificultad: Intermedio
- Instrucciones:
- Anota cuál crees que es la tasa de error del sistema. Sé específico.
- Describe cómo se manifestaría un error y si serías capaz de detectarlo
- Extrae una muestra de 20 resultados recientes y compruébalos con los datos reales o con tu mejor criterio
- Compara la tasa de error comprobada con tu estimación del paso 1
- Redacta un plan de seguimiento de un párrafo: qué supervisar, con qué frecuencia y quién asume la responsabilidad
- Preguntas de reflexión:
- ¿Era tu estimación previa sobre la tasa de error demasiado alta, demasiado baja o inexistente?
- ¿Qué fallos habrían permanecido invisibles de no ser por este ejercicio?
- ¿Cuál es la alarma más barata que podrías instalar?
- Frecuencia: Trimestral, rotando entre diferentes sistemas
Práctica Diaria
La pregunta del denominador
Una vez al día, cuando cualquier herramienta o sistema te decepcione, pregúntate en voz alta: "¿De cuántas veces?". Responde con una cifra concreta antes de reaccionar.
- Duración sugerida: 30 segundos
- Momento óptimo del día: En cuanto una herramienta cometa un fallo
- Cómo registrar el progreso: Marca una casilla cada vez que formules la pregunta antes de quejarte
Reto Semanal
Cambiar de criterio
Cada semana, elige una decisión que normalmente tomarías por intuición (qué correo electrónico responder primero, cuánto tiempo llevará una tarea o qué ruta tomar con el coche) y sigue en su lugar una regla sencilla o una herramienta. Evalúa ambas opciones al finalizar la semana.
- Resultados esperados tras 4 semanas: Un registro personal de en qué aspectos las reglas fijas te superan y en cuáles no
- Preguntas de autorreflexión para tu registro:
- ¿Qué regla te sorprendió al ganar?
- ¿En qué situaciones superó tu propio juicio a la regla, y qué información poseías que la regla no contemplaba?
12. Para Audiencias Específicas
Para Líderes y Directivos
- Fijar de antemano el criterio de retirada: Decide antes de la implantación qué pruebas justificarían descartar un modelo. Un único error visible debe desencadenar una investigación, nunca una decisión.
- Visibilizar las tasas de error: Publica la precisión del modelo junto a la línea de base humana. Los equipos no pueden ponderar un fallo aislado frente a un denominador que jamás han visto.
- Otorgar un control acotado: Los profesionales que pueden ajustar el resultado de un modelo dentro de unos límites lo utilizan más y rinden mejor que aquellos a quienes se les impone una elección binaria de aceptar o rechazar.
Para Padres y Educadores
- Explicación adaptada a la edad: "Los ordenadores y las aplicaciones se equivocan, igual que las personas. El truco está en contar cuántas veces acierta cada uno, en vez de acordarse solo de la única vez que falló".
- Enseñar el denominador desde el principio: Cuando un niño califique una aplicación o una calculadora de "tonta", pregúntale cuántas veces ha acertado esta semana.
- Dar ejemplo en ambos sentidos: Demuestra que a veces compruebas el mapa con una señal de tráfico en la carretera, pero que no tiras el mapa a la basura porque una calle esté cortada.
Para Profesionales de la Salud
- Conocer las pruebas científicas: La predicción estadística ha igualado o superado al juicio clínico en la mayoría de las comparaciones a lo largo de setenta años. Un índice de riesgo que falla en una ocasión no queda por ello invalidado.
- Abordar directamente la desatención de la singularidad: Los pacientes rechazan la atención médica algorítmica porque sienten que no se les atiende como individuos. Explica qué hace la herramienta con sus datos clínicos concretos y mantén una supervisión profesional visible.
- Proteger el otro flanco: El sesgo de automatización, por el cual el personal acepta una alerta errónea sin verificarla, no es más que el mismo dial de confianza girado hacia el extremo contrario. Conviene formar a los equipos en ambos riesgos.
Para Profesionales Financieros
- Anticipar la reacción ante las caídas: Los clientes que abrazaron una estrategia basada en reglas querrán abandonarla tras el primer trimestre malo. Avísales de que habrá periodos de rendimiento inferior antes de que lleguen.
- Mostrar el historial completo: Presenta la evolución de una estrategia como una distribución estadística global, no limitándote a su resultado más reciente, y compárala con lo que el cliente habría hecho por su cuenta.
- No confundir la ausencia de fallos con la seguridad: Un modelo que no ha fallado en la memoria reciente del cliente no ha sido puesto a prueba. Explica sus posibles modos de fallo antes de que el mercado se encargue de hacerlo.
13. Interacciones con Otros Sesgos
Sesgos que Amplifican este Sesgo
| Sesgo | Cómo interactúa |
|---|---|
| Sesgo de automatización | El extremo de apreciación de la oscilación: aceptación acrítica de las respuestas del sistema hasta el primer fallo visible, tras el cual se impone la aversión |
| Sesgo de autoridad | Un modelo presentado como experto u oficial suscita apreciación; un modelo que contradice a una autoridad humana provoca aversión |
| Antropomorfismo | Concedemos indulgencia de trato humano a sistemas a los que se dota de nombre y rostro, y se la negamos a "el algoritmo"; ambos extremos distorsionan la comparación de errores |
| No inventado aquí | Los modelos desarrollados externamente se desestiman solo por su origen, por lo que su primer error confirma lo que el equipo ya sospechaba |
| Efecto de exceso de confianza | La confianza de los expertos en su propio juicio los lleva a infravalorar el consejo algorítmico más que nadie |
| Sesgo de resultado | Un modelo se juzga por su desenlace más reciente en lugar de por la calidad de su procedimiento a lo largo de múltiples observaciones |
Sesgos que Contrarrestan este Sesgo
| Sesgo | Cómo ayuda |
|---|---|
| Falacia de la tasa base | Corregirla preguntando "¿de cuántas veces?" constituye el antídoto más directo; ser consciente de este error conduce a priorizar el historial global frente a la anécdota |
| Sesgo del statu quo | Una vez que un modelo se consolida como procedimiento habitual, la preferencia por mantener el estado de las cosas evita que los equipos lo descarten tras un solo fallo |
Cadenas de Sesgos Comunes
Aversión a los algoritmos → Sesgo de resultado → Sesgo retrospectivo → No inventado aquí
Un modelo comete un error visible. El equipo lo juzga por ese resultado y no por su procedimiento (Sesgo de resultado), al poco tiempo recuerda haber "sabido siempre" que no era de fiar (Sesgo retrospectivo) y lo sustituye por un método interno en el que confía por su origen y no por las pruebas (No inventado aquí), cuyos propios errores nadie cuenta.
La cadena inversa es Sesgo de automatización → Ilusión de validez → Aversión a los algoritmos: se confía en un sistema sin comprobarlo y, cuando una desviación silenciosa acaba produciendo un fallo visible, el viraje hacia la aversión es total.
Interrumpir la cadena: El punto de intervención es el mismo en ambos sentidos: una comparación continua y visible entre la tasa de error del modelo y la de la alternativa humana.
14. Perspectivas Culturales
La mayor parte de los estudios sobre aversión a los algoritmos procede de muestras estadounidenses y de Europa occidental, por lo que las escasas comparaciones transculturales deben interpretarse como conclusiones preliminares y no como hechos consolidados.
El primer patrón tiene que ver con el individualismo. La desatención de la singularidad descrita por Longoni, la sensación de que "mi caso es especial", es un pensamiento más natural en las culturas que ponen el acento en el yo individual. Los estudios entre países resumidos en las revisiones del tema describen menos aversión en muestras más colectivistas, lo que encaja con esa idea, aunque todavía no se ha replicado con solidez.
El segundo concierne a la autoridad atribuida a la tecnología. En aquellos lugares donde las administraciones públicas aplican algoritmos de forma generalizada, la ciudadanía muestra una mayor aceptación de las decisiones automatizadas en la vida pública, si bien la confianza en el algoritmo resulta difícil de disociar de la deferencia hacia las instituciones. Por el contrario, donde se ha vivido un escándalo público reciente (como el episodio de las calificaciones en Gran Bretaña en 2020 o el caso de las ayudas para el cuidado de menores en los Países Bajos), la aversión a los modelos estatales es mayor y es, en parte, una respuesta razonable ante la experiencia vivida.
| Tipo de cultura | Manifestación |
|---|---|
| Culturas individualistas (Estados Unidos, Europa occidental) | Mayor desatención de la singularidad; más reticencia hacia los algoritmos en decisiones personales y médicas |
| Culturas colectivistas (este de Asia, zonas del sur de Asia) | Menor aversión documentada en estudios preliminares, posiblemente porque la intuición de que "mi caso es especial" tiene menos arraigo |
| Alta confianza institucional | Apreciación de los algoritmos en el sector público, difícil de separar de la deferencia hacia las propias instituciones |
| Escándalo público reciente con algoritmos | Elevada aversión hacia los modelos de la administración, a menudo una actualización racional más que un sesgo |
| Culturas profesionales especializadas (medicina, derecho, finanzas) | Fuerte aversión con independencia del país, vinculada a la identidad y a la seguridad profesional |
15. Mitos y Conceptos Erróneos
| Mito | Realidad |
|---|---|
| "La gente sencillamente no se fía de los algoritmos" | La confianza es condicional. Logg, Minson y Moore encontraron que el público no experto suele seguir el consejo algorítmico más que el humano, especialmente en tareas objetivas y antes de presenciar cualquier error visible. |
| "La aversión a los algoritmos es irracional" | Reaccionar ante fallos visibles es una heurística adecuada para juzgar herramientas; el verdadero error radica en aplicarla sin comparar las tasas de error. En contextos públicos y morales, exigir rendición de cuentas a un modelo suele ser lo correcto. |
| "El efecto es universal y constante" | Las revisiones publicadas desde 2020 señalan que el sesgo está condicionado por el tipo de tarea, la pericia, la visibilidad del error y la formulación de las preguntas. Logg y Schlund sostienen que gran parte de la aversión se debe a preguntas hipotéticas, y al menos un intento de replicación prerregistrado fracasó. |
| "Explicar el funcionamiento del algoritmo soluciona el problema" | Las explicaciones ayudan en cierta medida, pero el metaanálisis de intervenciones de 2025 concluyó que modificar la forma de interactuar (por ejemplo, permitiendo ajustes acotados) resultaba mucho más eficaz que limitarse a dar explicaciones. |
| "Lo contrario de la aversión es positivo" | Una apreciación acrítica no es más que el sesgo de automatización con otro nombre. El objetivo es una confianza calibrada: utilizar el modelo allí donde sus resultados sean superiores y someterlo a comprobaciones continuas en cualquier circunstancia. |
16. Perspectivas de Expertos
"No existe controversia alguna en las ciencias sociales que presente un conjunto tan amplio de estudios cualitativamente diversos con un resultado tan unánime en la misma dirección como este". — Paul Meehl, 1986, sobre las pruebas empíricas de la predicción clínica frente a la estadística
"Para maximizar la precisión predictiva, las decisiones finales deberían dejarse en manos de fórmulas, especialmente en entornos de baja validez". — Daniel Kahneman, Thinking, Fast and Slow, 2011
Las personas pierden la confianza en un algoritmo con mayor rapidez que en un ser humano tras ver a ambos cometer el mismo error, por lo que eligen al humano incluso cuando el algoritmo es más preciso. — Berkeley Dietvorst, Joseph Simmons y Cade Massey, 2015 (paráfrasis del hallazgo central del estudio)
17. Conclusiones Clave
-
Es una oscilación, no un ajuste fijo: La misma persona que abandona un modelo tras un fallo confiará en exceso en otro modelo distinto que nunca haya fallado de manera visible.
-
El error visible es el desencadenante: Dietvorst, Simmons y Massey mostraron que ver equivocarse a un modelo perjudica más a la confianza que ver a una persona cometer ese mismo error.
-
Las tasas base favorecen a las fórmulas: Desde los veinte estudios recopilados por Meehl en 1954 hasta los 136 del metaanálisis de Grove en 2000, la predicción estadística ha igualado o superado al juicio experto en la mayoría de los campos analizados. Un fallo aislado no invalida ese balance histórico.
-
El tipo de tarea y la pericia influyen: Las tareas objetivas y los historiales limpios fomentan la apreciación de los algoritmos; las tareas subjetivas, las implicaciones personales y la pericia profesional suscitan aversión.
-
Un pequeño margen de control marca la diferencia: Permitir que los usuarios ajusten el resultado de un modelo dentro de un rango estrecho y documentado restableció su uso y mejoró la precisión en los experimentos de 2018, y en el metaanálisis de 2025 los cambios en la interacción superaron a las explicaciones.
-
El efecto es condicional y en parte un artefacto de cómo preguntamos: Las revisiones enumeran muchos moderadores, Logg y Schlund sostienen que las preguntas hipotéticas inflan la aversión y un intento de replicación prerregistrado ha fracasado.
-
Examinar antes del error, no después: Audita los sistemas que nunca han fallado de forma visible, fija de antemano las reglas de retirada y lleva un registro de correcciones manuales. El objetivo es una confianza calibrada, en ambas direcciones.
18. Recursos Adicionales
Artículos Académicos
- Dietvorst, B. J., Simmons, J. P., & Massey, C. (2015). Algorithm aversion: People erroneously avoid algorithms after seeing them err. Journal of Experimental Psychology: General, 144(1), 114-126.
- Dietvorst, B. J., Simmons, J. P., & Massey, C. (2018). Overcoming algorithm aversion: People will use imperfect algorithms if they can (even slightly) modify them. Management Science, 64(3), 1155-1170.
- Logg, J. M., Minson, J. A., & Moore, D. A. (2019). Algorithm appreciation: People prefer algorithmic to human judgment. Organizational Behavior and Human Decision Processes, 151, 90-103.
- Castelo, N., Bos, M. W., & Lehmann, D. R. (2019). Task-dependent algorithm aversion. Journal of Marketing Research, 56(5), 809-825.
- Longoni, C., Bonezzi, A., & Morewedge, C. K. (2019). Resistance to medical artificial intelligence. Journal of Consumer Research, 46(4), 629-650.
- Burton, J. W., Stein, M.-K., & Jensen, T. B. (2020). A systematic review of algorithm aversion in augmented decision making. Journal of Behavioral Decision Making, 33(2), 220-239.
- Jussupow, E., Benbasat, I., & Heinzl, A. (2020). Why are we averse towards algorithms? A comprehensive literature review on algorithm aversion. Proceedings of the 28th European Conference on Information Systems (ECIS 2020).
- Mahmud, H., Islam, A. K. M. N., Ahmed, S. I., & Smolander, K. (2022). What influences algorithmic decision-making? A systematic literature review on algorithm aversion. Technological Forecasting and Social Change, 175, 121390.
- Grove, W. M., Zald, D. H., Lebow, B. S., Snitz, B. E., & Nelson, C. (2000). Clinical versus mechanical prediction: A meta-analysis. Psychological Assessment, 12(1), 19-30.
- Dietvorst, B. J., & Bharti, S. (2020). People reject algorithms in uncertain decision domains because they have diminishing sensitivity to forecasting error. Psychological Science, 31(10), 1302-1314.
Libros
- Meehl, P. E. (1954). Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence. University of Minnesota Press.
- Kahneman, D., Sibony, O., & Sunstein, C. R. (2021). Noise: A Flaw in Human Judgment. Little, Brown Spark.
- Lewis, M. (2003). Moneyball: The Art of Winning an Unfair Game. W. W. Norton.
Capítulos de Libros
- Kahneman, D. (2011). Intuitions vs. formulas. In Thinking, Fast and Slow (Chapter 21). Farrar, Straus and Giroux.
- Mosier, K. L., & Skitka, L. J. (1996). Human decision makers and automated decision aids: Made for each other? In R. Parasuraman & M. Mouloua (Eds.), Automation and Human Performance: Theory and Applications (pp. 201-220). Lawrence Erlbaum Associates.
19. Tarjeta Resumen
| Elemento | Contenido |
|---|---|
| Nombre del sesgo | Aversión a los algoritmos |
| Definición | Descartar un algoritmo tras verlo cometer un error aun cuando supere al juicio humano; y, en otros contextos, confiar en un algoritmo que no ha fallado sin comprobarlo |
| Categoría | Falta de significado |
| Señal clave | Un único error visible del modelo pone fin a su uso, sin contrastarlo con la tasa de error humano |
| Causa principal | Juzgamos a las máquinas bajo el estándar de las herramientas (un fallo significa que está rota) y a las personas bajo un estándar social (todo el mundo se equivoca) |
| Mayor riesgo | Volver a un procedimiento humano menos preciso tras un solo error público, o dejarse llevar por un modelo no auditado hasta un gran fallo silencioso |
| Solución rápida | Preguntar "¿de cuántas veces?" y comparar el historial del modelo con el de la alternativa humana antes de tomar cualquier decisión |
| Estrategia a largo plazo | Correcciones acotadas y documentadas; tasas de error visibles junto a la línea de base humana; reglas prefijadas de retirada; auditorías periódicas de los sistemas aparentemente infalibles |
| Recordatorio | Un fallo aislado no constituye un historial. Cuenta antes de abandonar y comprueba antes de confiar. |
20. Glosario de Términos Utilizados
| Término | Definición |
|---|---|
| Aversión a los algoritmos | Pérdida de confianza en un algoritmo tras presenciar un error, lo que conduce a preferir el juicio humano aun cuando el algoritmo sea más preciso |
| Apreciación de los algoritmos | Mayor peso otorgado a un consejo cuando se cree que procede de un algoritmo que al mismo consejo procedente de una persona |
| Predicción clínica frente a estadística | Contraste formulado por Meehl entre un evaluador cualificado que integra la información mentalmente y una fórmula fija que realiza la misma tarea |
| Predicción mecánica | Cualquier predicción generada mediante una regla o modelo fijo en lugar de basarse en el juicio humano |
| Sistema juez-asesor | Dispositivo experimental en el que un participante realiza una estimación inicial, recibe asesoramiento y revisa su respuesta |
| Desatención de la singularidad | Convicción de que un algoritmo es incapaz de tomar en consideración las circunstancias individuales de una persona |
| Subjetividad de la tarea | Grado en el que un juicio se percibe como una cuestión de gusto personal y no de hechos objetivos; una mayor subjetividad percibida predice una aversión superior |
| Sensibilidad decreciente al error | Tendencia a conceder más importancia a la diferencia entre un pronóstico perfecto y uno ligeramente errado que a la existente entre un error moderado y uno grave |
| Desuso | En la investigación sobre factores humanos, el abandono de una ayuda automatizada fiable a raíz de falsas alarmas o errores visibles |
| Modificación acotada | Posibilidad de que los usuarios ajusten el resultado de un modelo dentro de un rango limitado y registrado; se ha visto que aumenta tanto el uso como la precisión |
21. Preguntas de Discusión
Para clubes de lectura, aulas o autorreflexión:
-
Piensa en una herramienta o aplicación que hayas dejado de usar tras una mala experiencia. Si tuvieses que defender esa decisión comparando su porcentaje real de aciertos frente al de la alternativa, ¿podrías hacerlo?
-
¿Por qué una persona que se equivoca nos parece "alguien que tiene un mal día", mientras que un modelo que falla parece "roto"? ¿Tiene alguna justificación real esa distinción?
-
La opinión pública británica rechazó un algoritmo de calificación de exámenes cuyos errores eran visibles, en favor de las predicciones del profesorado cuyos fallos eran invisibles. ¿Se trató de aversión, de un juicio de equidad o de ambas cosas?
-
Logg y Schlund sostienen que preguntar a las personas qué asesor prefieren genera aversión, mientras que observar su comportamiento real revela apreciación. ¿Qué nos enseña esta discrepancia sobre el diseño de encuestas y de productos?
-
¿En qué ámbito de tu vida cotidiana o laboral funciona un sistema que nunca ha fallado de forma visible? ¿Cómo se manifestaría su fallo y te darías cuenta?