- Tags:: #📚Books , [[Forecasting]] - Author:: [[Philip E. Tetlock]], [[Dan Garner]] - Liked:: #3/5 - Link:: [SUPERPRONOSTICADORES | EL ARTE Y LA CIENCIA DE LA PREDICCIÓN Traficantes de Sueños](https://traficantes.net/libros/superpronosticadores) - Source date:: [[2015-09-25]] - Read date:: [[2021-11-17]] - Cover:: ![[cover_superpronosticadores.png|100]] ## ¿Por qué he pillado este libro? Estaba deep down haciendo [[Demand forecasting]] en Mercadona Online y lo leí junto con otros tantos dedicados al tema. ## ¿Qué he sacado de aquí? ### Un escéptico optimista. Hay magufadas pero se pueden preveer cosas. El tl;dr del libro es que en sus estudios previos: >en promedio, los "expertos" no acertaban más que una persona que responde al azar. (p. 14) pero no en todos los pronósticos. **Previsiones con horizontes inferiores al año superaban el azar**. Por eso inició participó en una investigación sobre superpronosticadoresde la IARPA para predecir preguntas políticas y económicas con horizontes menores de un año. Superaron al gurpo de control, e incluso a analistas con información confidencial. **La capacidad de preveer es real.** >Gracias a la muy sorprendente falta de rigor que reina en muchos ámbitos vinculados con la tarea de pronosticar, las oportunidades [de mejora] son enormes. (p. 25) Y se centra en qué hacen las personas que son "súperpronosticadores", que no son especiales, si no que tienen **buenos hábitos de pensamiento.** > pronosticar excepcionalmente bien exige pensar sin prejuicios, con prudencia, curiosidad y, sobre todo, con capacidad de autocrítica. También exige concentración (p. 29) #### Un pronóstico sobre los pronósticos Aunque como en [[📖 Noise. A Flaw in Human Judgement]], hay situaciones donde algoritmos sencillos toman mejores decisiones que juicios subjetivos de personas, hay escenarios más complejos donde es difícil que nos superen: >"En los próximos diez años, ¿se producirá algún intercambio de cargos entre dirigentes rusos de primer nivel?""(...) requiere que la computadora haga una predicción informada acerca de las intenciones de Vladimir Putin, el carácter de Dmitri Medvedev y la dinámica causal de la política rusa, que luego integre toda esa información y emita un juicio. (...) el cerebro humano es extraordinario... porque ese proceso es sumamente complejo. (p. 31) Haciéndose eco de [[David Ferrucci]] (IBM Watson), cree que las máquinas nos ayudarán en la toma de decisiones (para superar nuestros sesgos y otras limitaciones), pero no nos sustituirán ([[✍️ GPT-3 me va a quitar el trabajo, pero yo tengo que estar entrenando algoritmia de bajo nivel]]): >Según Ferrucci, puede ser que las máquinas se perfecciones en el sentido de "imitar el proceso humano de construir significado" y que consigan, por consiguiente, predecir mejor nuestro comportamiento, pero "hay una diferencia entre imitar y reflejar el proceso de significación y generarlo". Es un ámbito que siempre ocupará el juicio humano. (p. 32) ### Tasa base o "mirada desde afuera" o problemas de Fermi >Los Renzetti viven en una casita, cuya dirección es avenida Chestnut 84. Frank Renzetti tine cuarenta y cuatro años y trabaja como tenedor de libros en una empresa de mudanzas. Mary Renzetti tiene treinta y cinco años y trabaja a tempo parcial en una guardería infantil. Tienen un hijo de cinco años que se llama Tommy. En la casa también vive Camila, madre viuda de Frank. Y ahora, la pregunta: ¿Qué probabilidades hay de que los Renzetti tengan una mascota? (p. 122) Pues hay que sudar de mucho detalle al principio: > No obstante, los superpronosticadores no prestarían atención a ninguno de esos datos, al menos al principio. Lo primero que harían es averiguar cuál es el porcentaje de hogares en los que hay una mascota. > > En estadística esa cifra recibe el nombre de tasa base, que indica la frecuencia de algo dentro de una categoría más amplia. Daniel Kahneman utiliza un término mucho más sugerente y visual, "mirada desde afuera", y la contrapone a la "mirada desde adentro", específica para cada caso particular. Hay que integrar muchas perspectivas (p. 116). ### Galeno >[Galeno], médico de los emperadores romanos en el siglo II (...) jamás llevo a cabo nada que se pareciera a un experimento moderno. ¿Por qué habría de hacerlo? La gente recurre a experimentos cuando no está segura de dónde reside la verdad. Y Galeno no tenía dudas (p. 36). > "Todos los que siguen este tratamiento se recuperan en breve, excepto aquellos a quienes no ayuda, que mueren todos. Por lo tanto, es evidente que solo es ineficaz en los casos incurables" (p. 36). Me recordó a cuando alguna vez me han dicho que si la calidad de los datos estuviera mal, se darían cuenta "de alguna manera" ([[✍️ Sobre si mola levantar un equipo de Data]]). >...es el tipo de personaje que asoma una y otra vez en la historia de la medicina. Se trata de hombres **(siempre son hombres)** de convicciones firmes y una confianza inconmovible en su propio juicio. ### ¿Superanalistas financieros? (No) > Cierta vez [[Harry Truman]] \[presi de los USA\] hizo una broma: dijo que quería conocer a un economista manco porque estaba harto de oír "por un lado", "por otro lado" \[on the other hand\]. (p. 142) ^f22aa9 La paradoja de Ellsberg (p. 299): Si sacar una bola negra fueran 1000€, ¿en qué urna metías la mano (sin mirar dentro)? ![[Pasted image 20230126075830.png|300]] *Jürgen Eichberger, Hans Jürgen Pirner, "Decision theory with a state of mind represented by an element of a Hilbert space: The Ellsberg paradox", Journal of Mathematical Economics.* ^535dfa >...el hilar fino tiene que ver con acertar: el pronosticador promedio que evalúa sus predicciones en saltos de diez -20%, 30%, 40% - suele acertar menos que el más sutil, que va de cinco en cinco -20%, 25%, 30% -, y mucho menos que el exquisito que distingue matices más finos: 20%, 21% 22%. (p. 150) ^65ba85 Y actualizar a poquitos (p. 171): ![[E561165B-4240-4AC6-A89C-F469B073DC84.jpeg]] ^a64617 Por contra, nos cuenta Tetlock que tenemos una inclinación natural a un "tablero de dos posiciones": "va a pasar", o "no va a pasar" que tiene un sentido evolutivo (¿lo que se mueve tras esas zarzas es un león?) (p. 142). También habla en términos de Sistema 1 y Sistema 2 de [[📖 Thinking, fast and slow]]. Y que puede ser muy contraintuitivo. ^c91492 ![[Pasted image 20230208131249.png]] ![[Pasted image 20230208131327.png]] ^7a0d83 Decía [[Charlie Munger]] acerca de [[data literacy]]: >Si uno no incorpora a su repertorio esas matemáticas elementales aunque levemente antinaturales, atraviesa la vida como una persona que tiene una sola pierna en un concurso de patear traseros. > No es el único que se atiene a ese sistema: en promedio, los pronosticadores de excepción actualizan su información con mucha más frecuencia que sus colegas menos excepcionales. Es una conducta importante porque es probable que un pronóstico actualizado contenga mejor información y sea, por lo tanto, más acertado. El célebre economista británico John May-nard Keynes decía: "Cuando los hechos cambian, yo cambio mi manera de pensar. Usted, ¿qué hace?". Los superpronosticadores hacen lo mismo que Keynes y esa es una de las principales razones por las que se destacan. (p. 159) > En la ficción, el director de la CIA está del lado de Maya y de los espectadores. En un aparte posterior, dice que los demás no querían comprometerse con un franco "sí" o "no" porque estaban "acobardados". Las probabilidades son cosas de los débiles (p. 137) >...la gente suele pensar que confianza es lo mismo que competencia, y por esa razón un pronosticador que dice que algo tiene medianas probabilidades de ocurrir es menos respetado. Según un estudio realizado al respecto, la gente "interpreta predicciones de ese tipo como indicaciones de que los pronosticadores son incompetentes, que ignoran los hechos pertinentes o son perezosos, que no están dispuestos a hacer el esfuerzo necesario para reunir la información que justificaría una seguridad mayor en sus respuestas" (p. 143. El estudio al que se refiere es [Good probabilistic forecasters: The ‘consumer's’ perspective - ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/0169207095006362)). ^6c232d BTW (update del [[2024-11-02]]), fijaos lo que esto anda provocando: [[In Some Scientific Papers, Words Expressing Uncertainty Have Decreased]]. ### El dilema del líder Queremos entonces que un líder tenga la confianza suficiente para proveer una visión de a dónde ir y tomar decisiones, evitando la [[paralysis by analysis]]. Pero por otro lado, queremos que tenga [[actively open-minded thinking]] para resistir al impulso inicial de seguir su intuición y buscar activamente desmentir sus hipótesis y poder hacer pronósticos en escenarios complejos. ¿Cómo casamos esto? Es el legado de Helmulth von Moltke "the Elder", un general prusiano de finales del S.XIX. Defendía un conjunto de comportamientos que equilibraban deliberación con acción. #### Deliberación Hay un tiempo para deliberar, que además se aleja del autoritarismo del clásico "command and control". Se fomentaba el pensamiento crítico en los soldados, que tendrían que ser capaces de improvisar e incluso cuestionar las órdenes dadas. > "No es posible dirigir una guerra desde la mesa de reuniones", escribió Moltke refiriéndose a los oficiales del Estado Mayor. "Las decisiones inmediatas y rápidas solo pueden tomarse en el lugar del combate, evaluando las condiciones locales." (p. 218) ¿Cómo evitar el desorden? Se dan objetivos, pero no cómo alcanzarlos: >La Auftragstaltik \[_mission command_ en inglés, táctica de comando mediante directivas generales\] amalgamaba la coherencia estratégica y la descentralización mediante un principio simple: los comandantes debían comunicar a los subordinados cuál era el objetivo, pero no debían decirles cómo alcanzarlo. (p. 218) Curiosamente, esto continuo en el ejercito alemán durante la Segunda Guerra Mundial, y era todo lo opuesto a la obediencia total al régimen nazi. Eso sí, hasta que en un momento dado Hitler violara esos principios y fracasaran: >En última instancia, la Wehrmacht fue vencida. En parte, quedó aplastada por los recursos superiores del enemigo, pero también **cometió errores, a menudo porque su comandante en jefe, Adolf Hitler, tomó el control directo de las operaciones violando los principios de Helmuth von Moltke**. En ninguna ocasión tuvieron esas decisiones un efecto más catastrófico que en la invasión de Normandía. Los Aliados temían que, una vez producido el des-embarco, los tanques alemanes empujaran a las tropas de nuevo hacia el mar, pero Hitler había ordenado que las reservas solo se desplazaran cuando recibieran una orden personal suya. Y Hitler dormía hasta tarde. Durante varias horas después del desembarco, los asistentes del dictador se negaron a despertarlo para preguntarle si los tanques debían entrar en combate. (p. 220-221) Pero ojo, porque la deliberación no es infinita en el tiempo, los tiempos también los marcaban las circunstancias. Decía Moltke: >Es evidente la necesidad de tener clara la situación del enemigo, pero aguardar información en circunstancias tensas raras veces indica una sólida capacidad de mando (…) En la guerra, el primer criterio es la acción decisiva. (p. 217) #### Acción En cambio, en el momento de la acción, hay que ir con todo... >una vez tomada una decisión, la mentalidad cambia. La incertidumbre y la complejidad se dejan de lado: ¡hay que actuar! "Si uno pretende atacar, debe hacerlo con resolución. No caben las medias tintas", había escrito Moltke. Los oficiales deben conducirse con "calma y seguridad" para "ganarse la confianza del soldado". No hay espacio para las dudas. "Solo la fuerza y la confianza llevan adelante a las unidades y alcanzan el triunfo." El oficial experimentado sabe que el campo de batalla está envuelto en una "niebla de incertidumbre", pero "debe tener certeza con respecto a una cosa al menos: su propia decisión. No debe desviarse de ella ni permitir que las acciones del enemigo lo disuadan mientras no sea absolutamente imprescindible". (p. 217) Nótese que aún así, hay que mostrar apariencia de calma y seguridad de puertas para afuera: >Al igual que Moltke célebre por su calma, su serenidad-, Eisenhower comprendía que un aspecto tranquilo y seguro hacían más por la confianza y la moral que las falsas declaraciones de certeza. En privado, se mostraba a veces taciturno y fumaba un cigarrillo tras otro. Frente a las tropas, sonreía siempre y su tono era siempre firme. (p. 222) …pero en realidad, uno está abierto al cambio: >El manual de la Wehrmacht decía: "Una vez que se ha emprendido un rumbo, no hay que abandonarlo sin una razón poderosa. Con todo, en las cambiantes situaciones de un combate, aferrarse inflexiblemente a una decisión puede llevar al fracaso. **El arte de comandar consiste en reconocer a tiempo las circunstancias y el momento en que se hace necesaria una decisión nueva**". (p. 217) En resumen, [[🦜 Ningún plan sobrevive al contacto con el enemigo]]. Es muy fácil entonces conectar esto con las metodologías ágiles en software (sea [[📖 Extreme Programming Explained]], [[Scrum]], [[Kanban]]): en todas reconocemos precisamente la incertidumbre inherente en hacer producto digital y alternamos periodos cortos de deliberación (retro, planning, grooming) con períodos cortos de acción vs. [[Waterfall]] (que tiene similitudes con el viejo command-and-control). También comparten que no se define desde arriba el cómo hacer las cosas (se deja a los equipos) y solo se fijan objetivos como un marco general ([[The thinker - doer model]], [[Product Engineer]]) vs. por ejemplo el antipatrón del típico "equipo de arquitectura" que nos cuenta [[📖 Team Topologies]]. ### Empresa y ejército Según Tetlock: >Los ejércitos son organizaciones fuera de lo común, pero en todas partes los jefes sienten la tensión entre el control y la innovación. Por eso mismo es posible hallar el espíritu de Moltke en organizaciones que nada tienen que ver con las balas y las bombas. (p. 225) Con todo, hasta los generales se sorprenden de las jerarquías de las empresas! >A menudo se tropiezan con la impresión de que las fuerzas armadas son organizaciones rigurosamente jerárquicas en las cuales los subordinados se limitan a hacer la venia y obedecer a los superiores. Es una imagen ridícula por lo anacrónica. De hecho, los ex oficiales a menudo se hallan en la situación de aconsejar a los ejecutivos que se preocupen menos por las categorías y se dediquen más a empoderar a su gente y sus equipos, de modo que puedan elegir la mejor manera de alcanzar las metas comunes. En una entrevista que le hizo el Financial Times, [[Damian McKinney]] comentó: "Lo irónico del caso es que muchas empresas hacen mucho más hincapié que los militares en lo que yo llamo 'mando y control'. (p. 226) ^9c3cb5 ### Otros Pero luego le dijeron que tenía cáncer y se lo creyó directamente... > La frustración de Cochrane es perceptible en su autobiografía. ¿Por qué la gente no puede ver que la intuición sola no es un fundamento sólido para sacar conclusiones? Para él, es algo "desconcertante" (p. 37). Tendemos a explicar, a los falsos positivos (p. 50). La intuición funciona, pero tras las experiencias (p. 51). De nuevo, [[✍️ Sobre si mola levantar un equipo de Data]]: > La verdad es huidiza (p. 56) Hay que trabajar mucho contra la inercia de uno para hallar la verdad.