- Tags:: #✍️OwnPosts , #🗣️OwnTalks , [[BIlbostack 2024]], [[Qué hago trabajando con datos en vez de estar zurriendo mierdas con un látigo]] - Date:: [[2024-01-27]] ![[Pasted image 20240131191154.png|400]] *Chulísimo el Visual Thinking que [se curró Jon Gorroño](https://www.linkedin.com/posts/jongorronyo_visualthinking-bilbostack24-activity-7158021034284064768-waVE?utm_source=share&utm_medium=member_desktop)!* # La charla ![[Pasted image 20240224171550.png|500]] ![[Pasted image 20240224171704.png|300]] (Esta foto se la he fusilado del [tweet](https://x.com/_chococrispis/status/1751211415723978779?t=J2boXp6XwUKs99NyLvbIGA&s=08) de @\_chococrispis) Esto fue una charla para la Bilbostack. No hay vídeo (solo un [resumensillo](https://youtu.be/cibqKWMiMQA?si=J8O5Kd9em3UBDqWL&t=287)) pero sí slides, hechas por supuesto con [Slidesgo](https://slidesgo.com/) y contenido de [[Freepik]]. 👉 [Ser data-driven no es de guapas - Google Slides](https://docs.google.com/presentation/d/17Rxk6eazDpYj8wK7_w-apTRLfmBAHSGtQgdDdQPmE-M/edit?usp=sharing) ¡Parece que fue bien! En ~~Metacritic~~ la gente votó: ![[Pasted image 20240224170239.png|300]] Y lo que dijeron, especialmente las dos unidades de cretino que votaron "2": [[Comentarios y preguntas de la gente de la Bilbostack 2024 sobre "Ser data-driven no es de guapas"]]. # El artículo A lo tonto, llevo una década de ingeniería de software, algo más de un lustro trabajando con datos, y sobre todo, algo más de un lustro sufriendo. Hoy os vengo a contar lo increíblemente complicado que es conseguir que una compañía sea data-driven de verdad. Para toda la turra que ha habido con "los logaritmos", los datos, machine learning, la IA, etc. no están las cosas tan trilladas como parece en la inmensa mayoría de las compañías. Queremos ser data-driven pero…nos pasa esto que dice [[Esther Perel]], terapeuta de parejas [[🦜 Our cultural ideals are sometimes too impatient with our human insecurities]]. (BTW, tiene esos dos librazos, [[📖 Mating in Captivity]] y [[📖 The State of Affairs. Rethinking Infidelity]], que son una fantasía. Si tenéis pareja y sois monógamos, son **necesarios**). Perdonad que esté ahí con ese otro tema transversal, pero es que me caso este año con mi novio [[Humber]]. Ya sabéis que a alguna peña esto les parece "contranatura", y yo pensaba… no hija mía, contranatura es mi trabajo: conseguir insights decentes con datos es una lucha sin cuartel contra nuestra naturaleza humana. ## ¿A qué hah entrao en platón? ![[Pasted image 20231223074756.png]] ¿Por qué venir a contar esto? ¿He venido solo a desahogarme? Un poco sí, pero no, a llorar a la llorería, no a la Bilbostack. Pero tampoco es que fuera a ser el primero: ![[Pasted image 20231223080036.png|300]] ... no era una razón "suficiente". Sobre todo, vengo a mirar al abismo como [[Nietzche]] (tremendo misógino, pero esto de mirar al abismo se ve que es una habilidad interesante: [[Staring Into the Abyss as a Core Life Skill]]): ![[Staring Into the Abyss as a Core Life Skill#^a753e9]] Me he dado cuenta que escribo especialmente en crisis vitales. Si [[✍️ Sin machirulos hay paraiso. Una charla heterofriendly sobre management]] la escribí porque se me hacía complicado asumir el papel de manager sin casar con la idea de la masculinidad típica, y [[✍️ Déjame sin trabajo, por favor]] la escribí porque porque tenía la sensación de ser un parche humano a otros problemas y me sentía: ![[✍️ Déjame sin trabajo, por favor#^917af5]] y también... ![[✍️ Déjame sin trabajo, por favor#^4a3eb4]] ... pues en este caso viene porque trabajando con datos, por momentos me siento... ![[Pasted image 20231229170604.png]] Necesitaba explorar por qué trabajar con datos es tan complicado y tan desagradable… si estoy haciendo yo mal, si es que no estoy cayendo en los sitios correctos… Así que, ahora sí, bienvenidos a "ser data-driven no es de guapas", la charla (¿el post?) en la que el ponente podría abandonar su carrera profesional. ![[Pasted image 20240128135625.png]] ## ¿Qué es ser data-driven? ![[Pasted image 20231210110200.png]] ([Para qué quieres saber la historia tras 'Pa ke quieres saber eso' | Verne EL PAÍS](https://verne.elpais.com/verne/2016/01/05/articulo/1452021564_706870.html)) Podemos coger la definición por ejemplo de este libro de [[Carl Anderson]], [[📖 Creating a data-driven organization]]: ![[📖 Creating a data-driven organization#^8f2c2c]] (Fun fact, [[Carl Anderson]] es, ni más ni menos, que el VP de Data de [Weight Watchers](https://www.weightwatchers.com/us/), lo de la comida con "punticos" para perder peso). ## ¿Por qué querría una compañía ser data-driven? El objetivo último de una compañía (privada) es maximizar beneficios, esto es construir un producto o dar un servicio por el que la gente quiera pagar más que lo que le cuesta crearlo. ¿Cómo se hace esto? Hay distintos frameworks / magufadas que intentan guiar semejante tortuoso camino. Quizá uno de los más sencillos para el caso que nos ocupa es el de [[The Lean Startup]] de [[Eric Ries]], que nos introduce un feedback loop: ![[The Lean Startup#^50ae18]] ![[The Lean Startup#^97089d]] Es decir, aquí ya vemos intuitivamente el valor de tener en cuenta los datos. Me gusta mucho también esta observación de [[Abhi Sivasailam]]: ![[Pasted image 20240109195441.png]] que me recuerda mucho a esto de [[Andrejs Dunkels]] a través de [[📖 Naked Statistics]]: ![[📖 Naked Statistics#^012723]] ## ¿Funciona? Sobre si de verdad funciona ser data driven, pues parece que sí. De [[📖 Creating a data-driven organization]]: ![[📖 Creating a data-driven organization#^0df086]] ## Pero he hecho trampa, esta charla no va de ser data-driven Ser data-driven implica **actuar** sobre los insights que se obtienen con los datos, y eso tiene su propio set de problemas bastante complejos, más allá aún de los que yo voy a comentar aquí. Podemos coger un modelo de "sofisticación en el uso de datos" del [[📖 Competing on Analytics]]: ![[📖 Competing on Analytics#^f5e50e]] ... y ser data-driven sería a partir de "prescriptive analytics". Lo demás es solo "trabajar con datos" (arroz con cosas no es paella). En realidad la charla sería "Saber What happened no es de guapas", porque es que los problemas graves están ya ahí en esa fundación. Por otro lado, "data-driven" es un término bastante denostado: deberíamos hablar de data-informed o data-inspired ([[Data-driven vs data-informed]]): ![[Data-driven vs data-informed#^211cfb]] ## ¿Cómo se le está dando a las empresas ser data-driven? Pues como el orto. ![[Pasted image 20231210105840.png]] *Squid Game: The Challenge. Ep. 10: One Lucky Day* Prácticamente mires donde mires. Es un cliché en cualquier charla sobre datos revolcarse en cómo a pesar del hype, no paramos de liarla. Esta encuesta annual de la consultora [[NewVantage Partners]] suele aparecer en todos los sitios de sospechosos habituales: The Wall Street Journal, Harvard Business Review, MIT Sloan Management Review, Forbes: [[Data and Analytics Leadership Annual Executive Survey 2023]]. Según ellos mismos: >It has become the established industry benchmark for tracking the adoption of Big Data and AI within Fortune 1000 businesses. Ahí se ve que no solo es que la adopción no es buena, si no que vamos a peor en los últimos años: ![[Data and Analytics Leadership Annual Executive Survey 2023#^6e0901]] ![[Data and Analytics Leadership Annual Executive Survey 2023#^5f97fc]] ¿Cuáles son esos "human issues"? Vamos con el primero. ## Ser un guarro ![[Pasted image 20231206073951.png|500]] *Stakeholder con sus dashboards. Óleo sobre lienzo* No me parece coincidencia que precisamente el año pasado en BIlbostack estuviera [[Elena Torró]] de [[Tinybird]] precisamente hablando de [El método KonMari aplicado a la ingeniería de datos](https://www.youtube.com/watch?v=B3ptXUSnz0o&t=465s&pp=ygUYZWwgbWV0b2RvIGtvbiBtYXJpIGRhdG9z), que si no la habéis visto está chulísima porque es el pragmatismo de como intentar poner orden en este caos. En mi caso vamos a intentar ver por qué esto es un problema especialmente para data y cuál es el origen de que tendamos al desastre. ### Tendemos al desorden Que tendemos al desorden es un *truism* (perogrullada en español queda peor), algo que podemos ver fácilmente todos sobre nuestro entorno. Pero voy a intentar darle una pátina de 100cia. [[Stephen Hawking]] en [[A Brief History of Time From Big Bang to Black Holes]]: ![[A Brief History of Time From Big Bang to Black Holes#^be69ab]] ![[A Brief History of Time From Big Bang to Black Holes#^999996]] hasta el punto de que esto incluso está íntimamente ligado a la idea del "tiempo": ![[A Brief History of Time From Big Bang to Black Holes#^f9211c]] Lo más interesante de esta idea es que es una cuestión de probabilidad: ![[A Brief History of Time From Big Bang to Black Holes#^503cb6]] Esto hay una manera literaria muy guay de contarlo que es: ![[Entropy Why Life Always Seems to Get More Complicated#^5aa22c]] Hasta aquí, ok Mario, muy bien esto, es verdad que es un poco coñazo pero vamos, que haya desorden y que eso sea detrimental no es solo de data también pasa en software. Por ejemplo, [[Frederic P. Brooks, Jr.]], el del mítico [[📜 No Silver Bullet—Essence and Accident in Software Engineering]], dice que en software ojo con esto, que necesitamos tenerlo controlado. ![[📜 No Silver Bullet—Essence and Accident in Software Engineering#^4481b0]] ### ¿Y qué se hace en software con esta bola creciente de complejidad? Atención a lo que dice [[John Ousterhout]] en [[📖 A Philosophy of Software Design. 2nd Edition]] (el heredero del [[raw highlights/Books/Clean Code|Clean Code]]): ![[📖 A Philosophy of Software Design. 2nd Edition#^683144]] ![[📖 A Philosophy of Software Design. 2nd Edition#^fdb02d]] ![[📖 A Philosophy of Software Design. 2nd Edition#^d17e39]] Relacionado con esto, ya sabéis, microservicios, [[📖 Domain Driven Design]] con el concepto de los bounded contexts, etc. ### ¿Qué hemos hecho en Data con esto? Lo que hacemos todos los que no tenemos talento: copiar. La réplica en Data se llama [[Data Mesh]]. Es súper fácil de entender: ![[Data Mesh#^7a69fa]] Ahora en serio (dentro de que hay polémica y vaguedad de conceptos), en el artículo original [[Data Mesh Principles and Logical Architecture]] quedaba más claro que se basa en introducir el tratamiento de los datos dentro de esta separación por bounded contexts que tuviéramos. Igual que ofrecemos APIs en cada dominio, para ser consumidos por otros dominios, ofrecemos datos para propósitos analíticos como si fueran una API (es decir, los tratamos como un producto de nuestro equipo, tenemos ownership sobre los mismos, definimos contratos, etc.). ![[Data Mesh Principles and Logical Architecture#^a9fb19]] ### Pero el desorden en data es más dañino Esto que suena bien… luego en la práctica no funciona tan bien. [[ Chad Sanderson]], otro de los grandes blogueros en data (y ha estado en mil sitios haciendo data: Subway, Sephora, Microsoft…) cuenta lo que le pasaba en una startup llamada "Convoy", del mundo de la logística. En [[Data is not a Microservice]] explica que: ![[Data is not a Microservice#^ffa9eb]] ![[Data is not a Microservice#^104d20]] ![[Data is not a Microservice#^41e075]] Vamos, que esto no cuela de [[Belén Esteban]] no cuela: ![[Pasted image 20231211211620.png|400]] Aunque es divertido porque en software con los microservicios no vais tampoco muy bien, ¿no? ![[Pasted image 20231016065450.png]] ### Y encima hay más desorden Por otro lado, [[Benn Stancil]], que es un señor que se dedica a los datos y escribe muy bien (está detrás de [[mode.com]]), pero que podría ser mi prima la que hay en Lorca, da igual, dice una frase que me gusta mucho en [[🗞️ Good Data Citizenship Doesn’t Work]], que es: ![[🗞️ Good Data Citizenship Doesn’t Work#^7e41a3]] O sea, no solo el desorden es más grave (porque buscamos la verdad y la verdad es antitética al orden), no solo no tenemos un mecanismo de descomposición bueno del problema, si no que encima hay MÁS desorden, entre otras cosas porque hay más peña pidiendo. De [[📖 Data Means Business]]: ![[📖 Data Means Business#^a513f5]] Pero ojo, no solo hay una explosión en la cantidad de gente que necesita analizar datos. También es casi infinito lo que puedes capturar, relativamente fácil de hacerlo y barato. Y muy tentador. Entonces, lo hacemos. Pero nos estamos haciendo un poco la puñeta en realidad: **estamos haciendo el pajar más grande, pero buscamos la misma cantidad de agujas.** De [[Nate Silver]] en [[📖 La señal y el ruido]]: ![[📖 La señal y el ruido#^f2a671]] Esta tentación ni siquiera es de ahora, como nos cuenta [[Xavier Nueno]], investigador de la historia del conocimiento, en el fantástico [[📖 El arte del saber ligero]]. Hay nos cuenta... ![[📖 El arte del saber ligero#^85101d]] ¿Por qué es tan tentador esto de que acumulemos información? ## Ser un cagao #### Diógenes y dopamina He aquí otra movida de nuestra naturaleza: ![[Pasted image 20231216172529.png|400]] De esto hablo bastante en [[✍️ Sin machirulos hay paraiso. Una charla heterofriendly sobre management]], pero la historia clave es que no soportamos la incertidumbre, las situaciones de ambigüedad. En este contexto, hay mucha evidencia en la literatura científica de que tenemos una relación un poco chunga con la información. En el paper [[Common neural code for reward and information value]], por ejemplo, a traves de imágenes de resonancia magnética de los sujetos, demuestra que recibir información produce la misma estimulación que las drogas, la comida, o recibir una recompensa monetaria (sea o no información útil para nosotros). Y además resulta que nos creemos que con esto "hacemos algo"... Del paper [[Why do people worry]]: ![[Why do people worry#^f28fab]] Imaginaos entonces las reacciones viscerales cuando intentas limitar la información a producir y consumir en la compañía. #### ¡Necesito respuestas ya! Ese mismo issue, paradójicamente, no solo lleva a buscar más información de la que es necesaria. Nos hace también tomar peores decisiones. ![[✍️ Sin machirulos hay paraiso. Una charla heterofriendly sobre management#^bc7f91]] Pero la vida raramente es "definite", y por supuesto, no el análisis. De [[📖 Naked Statistics]]: ![[📖 Naked Statistics#^a90650]] (La gente se sorprende mucho cuando digo que yo con [[Humber]] , cuando tenemos temas calentitos de discutir, discuto con una libreta y voy poniendo bulletpoints). ^ff2b13 Es decir: ![[📖 Naked Statistics#^922aaf]] ...que hay mucho margen para la interpretación, ya desde la pregunta. Por supuesto, también tenemos problemas para interpretar correctamente las respuestas. Data es un false friend y no se libra nadie, ni Bill Gates, que escribía [este tweet](https://twitter.com/BillGates/status/1118196606975787008?lang=en): ![[Pasted image 20240128170603.png|500]] En la imagen hablamos de cómo de mortíferos son los tiburones y los mosquitos **en general**. Pero la preferencia que expresa Bill Gates tiene que ver con la **probabilidad condicionada**: dado que me encuentre con un tiburón, ¿cuál es la probabilidad de que me mate? (hint: alta) vs. dado que me encuentre con un mosquito, ¿cuál es la probabilidad de que me mate? Es decir, para el grueso de la población mundial: $ P(\textrm{muero x tiburón}) < P(\textrm{muero x mosquito}) $ Pero claro: $ P(\textrm{muero x tiburón}) \neq P(\textrm{muero x tiburón}|\textrm{encuentro tiburón}) $ $ P(\textrm{muero x mosquito}) \neq P(\textrm{muero x mosquito}|\textrm{encuentro mosquito}) $ Y de hecho, se invierte totalmente la igualdad inicial: $ P(\textrm{muero x tiburón}|\textrm{encuentro tiburón}) > P(\textrm{muero x mosquito}|\textrm{encuentro mosquito}) $ Otro ejemplo. De [Las clases que más han muerto en World of Warcraft: Hardcore durante su primer mes. Ojo a la sorpresa tan inesperada en la primera posición](https://www.vidaextra.com/juegos-online/clases-que-han-muerto-world-of-warcraft-hardcore-durante-su-primer-mes-ojo-a-sorpresa-inesperada-primera-posicion): ![[Pasted image 20240116194305.png]] Esta tabla por si sola, por desgracia no nos dice gran cosa, y desde luego no nos dice que las clases Hunter o Warrior sean malas... ¿no será que mueren más porque son escogidas más veces? Pero es que encima, a veces no hay respuestas tajantes. De [[Forget Privacy You're Terrible at Targeting Anyway]]: ![[Forget Privacy You're Terrible at Targeting Anyway#^c4794c]] ¿Y qué pasa cuando no damos respuestas tajantes? Que somos vistos como unos incompetentes. Como ya conté en [[✍️ Sin machirulos hay paraiso. Una charla heterofriendly sobre management]], de [[📖 Superpronosticadores. El arte y la ciencia de la predicción]]: ![[📖 Superpronosticadores. El arte y la ciencia de la predicción#^6c232d]] #### La universidad de Misco Por si todo esto fuera poco, ya no es que nos perdamos en una avalancha de información, y que encima esta sea difícil de interpretar pero queramos respuestas. Es que encima la peña va buscando la respuesta que les interesa. El famoso [[Confirmation bias|sesgo de confirmación]]. Esto lo cuenta en profundidad [[Jonathan Haidt]] en [[📖 The Righteous Mind]]: ![[📖 The Righteous Mind#^26844c]] Esto es un problema especialmente en data porque es muy maleable. Como decía el Nobel de Economía [[Ronald Coase]]: >If you torture data long enough it will confess to anything. Por traernos referentes más cercanos, de gente que está hoy en la pomada... estas palabras de [[François Chollet]], el creador de [[Keras]]: ![[Pasted image 20230420063440.png]] Encima, es tanto peor cuanto más experto eres de un tema. De [[📖 Range]]: ![[📖 Range#^668c4a]] Fijaos entonces que de nuevo hay que sobreponerse a algo muy intenso, muy emocional, atávico, para poder hacer un buen trabajo. De [[📖 Noise. A Flaw in Human Judgement]]: ![[📖 Noise. A Flaw in Human Judgement#^7e191a]] Hasta los grandes ejemplos de culturas data-driven caen ([Amazon exec on RTO: ‘I don’t have data to back it up, but I know it’s better’ | Fortune](https://fortune.com/2023/08/03/amazon-svp-mike-hopkins-office-return/)): ![[Pasted image 20240128173121.png]] ### Infinite whack-a-mole Por otro lado además, es extremadamente fácil meter la pata antes, en múltiples partes del camino. Incluyendo la recolección y procesado de datos. ![[Pasted image 20240128173243.png]] Esta imagen que estáis viendo aquí es solo una parte del lineage de datos que tenemos en [[Freepik]]. Cada elemento que se ve ahí representa una tabla o un dashboard y las líneas representan las dependencias entre ellas (a partir de qué se generan). Dice [[Benn Stancil]] en [[All I Want Is to Know What's Different]]: ![[All I Want Is to Know What's Different#^77cbea]] ## Ser un Adán ¡Hay más! No es un acontecimiento de todos los días el aprender una palabra de tu lengua materna. Hace no mucho, me voló la cabeza **adanismo**. ![[✍️ Refusing to stand on the shoulders of giants#^925cdc]] Como dice [[Abhi Sivasailam]] en [[Designing & Building Metric Trees]]: ![[Designing & Building Metric Trees#^482377]] Sin embargo, la inmensa mayoría de compañías se monta un pifostio de narices, se vuelven creativos inventándose métricas y su manera de calcularlas... El por qué ocurre esto lo exploro más en detalle en [[✍️ Refusing to stand on the shoulders of giants]]. ## Esta mierda que me has puesto aquí, ¿qué es, cariño mío? ¡Y podríamos seguir! Pero la idea está clara, ¿no? ![[Pasted image 20240128174809.png|300]] ¿Y qué hacemos con este overview malrollero? Depende de quien seas. ### Y vosotras compis developers, ¿qué? (Asumiendo que estéis convencidos de que necesitamos medir ciertas cosas para aprender de lo que desarrollamos, que espero que sí). Del [[Data Mesh]] que hemos visto antes, hay una idea fantástica: **vuestros datos son también una API.** Igual que entendimos en ingeniería de software que teníamos una separación rara de tareas con respecto al testing y con respecto a desplegar software, y parte del movimiento DevOps fue traerse el ownership de ello a los equipos, por la misma razón tiene sentido traerse ownership en la producción de datos: no necesariamente de todos, pero sí de aquellos que están siendo útiles. Especialmente porque arreglar (o prevenir rotura) en la fuente es infinitamente más sencillo que parchear en las dependencias que vienen después. Tenéis mucha palanca en hacer que toda esta bola de complejidad sea más sencilla. Y al margen de cómo hacerlo técnicamente, quizá podemos empezar con "awareness", en colaboración con los roles de data: qué data assets de los que produce mi equipo son importantes, tienen dependencias y estaría bien que monitorizáramos en caso de cambios (o incluso deben estar en test unitarios por ejemplo, cuando lanzo eventos de analítica). ### Y vosotras, stakeholders, ¿qué? Les podríamos pedir una conjunto de cosas en función de todo lo que hemos visto, como hace [[David Jayatillake]] (head of Data en 20mil sitios, ahora CEO de una startup que intenta hacer analítica self-service con AI) en un artículo estupendo que se llama [[Dear Stakeholder]], que justo lo escribió el año pasado como una suerte de carta a los Reyes Magos. Pero me gustaría sobre todo destacar uno: ![[Dear Stakeholder#^cb951c]] Sobre todo porque... de [[📖 Building Analytics Teams]]: ![[📖 Building Analytics Teams#^4859ae]] Por otro lado, antes explicaba que uno de los grandes problemas del desorden en data venía por tener mucha gente pidiendo. En realidad, no necesariamente es un problema si fijamos una capacidad máxima de trabajo (el tamaño del equipo de Data que queramos tener) y lo que hacemos es priorizar dónde enfocar los esfuerzos. De hecho, hay una marco de management que aparece en el [[📖 Extreme Programming Explained]], pero no es de ahí, es bastante más antiguo, que es muy interesante, y que se llama la [[Theory of constraints]] (que aparece un libro mítico de management de los 80, [[The Goal]]). ![[📖 Extreme Programming Explained#^2fb484]] Es decir, que podríamos orientar los esfuerzos de los equipos de Data a buscar esas restricciones y moverlas (de manera directa o ayudando a otros equipos para ello). Muy relacionado con esto está el concepto de los [[Metric trees]], como argumenta [[Ergest Xheblati]] en [[How Analytics Can Make a Massive Impact on the Bottom Line]]. ![[How Analytics Can Make a Massive Impact on the Bottom Line#^d3888b]] Y sin embargo, naturaleza humana otra vez: ![[📖 Extreme Programming Explained#^da43d6]] Vamos... que les podemos pedir lo que queramos, pero lo que hay que hacer es pedir alineamiento a la compañía. ### Y tú, jefa, ¿qué? En realidad, qué debería hacer la compañía es, literalmente, que debería hacer una persona: the boss. ![[Pasted image 20231227081526.png]] *(pivotincorporated.com)* De hecho, de [[📖 Creating a data-driven organization]]: ![[📖 Creating a data-driven organization#^2173ac]] ¿Qué significa exactamente? Pues que tenga un buen Head of Data (como servidor), y le apoye con los mensajes en esta ardua tarea. En realidad, es algo tan simple, pero a la vez tan complicado, como estar alineado con las actitudes y medidas necesarias para enfrentarse a los problemas que contaba aquí entre otros: - Cuestionar la recolección y/o el análisis de datos si no hay acciones previstas en función de lo que se vea con esos datos. Y sin pasarse: al mismo tiempo pedir que las decisiones vengan informadas con datos donde tenga sentido. - Hacer challenge a los equipos con sus hipótesis. - Alinearse con el ownership de los datos/métricas (es decir, no pedir simultáneamente que los equipos de ing. software cambien cosas muy rápido y al mismo tiempo exigir que no haya inconsistencias en los datos). - Entender los retos, el peligro de trabajar con datos - ... Por otro lado, también es importante descubrir en qué tipo de compañía estas: si en una donde realmente se confía en el impacto de los datos... o una en la que lo parece pero en realidad no interesa tanto, y en el mejor de los casos Data se ve como un centro de costes (en el peor, como algo incluso distractor de la misión de otros equipos). Un buen número de compañías se beneficiarían de una introspección sincera sobre su posición respecto a ser data-driven y simplemente tener una política de mínimos. ### ¿Y yo qué? #### Neuroticismo Yo soy una persona algo [[neurosis|neurótica]] y una de mis principales fuentes de sufrimiento es sufrir más por el hecho de creer que existe un escenario ideal al que no estoy llegando que por que una situación concreta en sí me haga sufrir. Una de las cosas que me llevo yo de este ejercicio de introspección es, como dijeron [las Twin Melody en el BenidormFest 2023](https://www.youtube.com/watch?v=DjFRL0RSPHw), es que esto es lo que hay (aunque a veces duela, ay ay ay). He encontrado liberador entender que todo lo que os he contado es consustancial a la profesión. De [[📖 Building Analytics Teams]] (él fija unos años donde cree que tener data literacy será común): ![[📖 Building Analytics Teams#^6c4cf4]] Por definición, trabajar en roles de Data va a ser algo que va a la contra. Va ser normal que haya una sensación de confrontación visceral, de alienamiento incluso en determinados momentos (porque tienes que decir mucho que no, porque literalmente tu curro si lo haces bien se basa en cuestionar instintos, porque aunque tienes que ayudar a tomar decisiones, a veces los datos no te van a dar decisiones claras). Es entender que somos una especie de contrapeso para el equilibrio de una compañía, el Yang del Ying… #### Ser un cagao (de este lado) ![[Pasted image 20240120120253.png|300]] ![[Pasted image 20240128180623.png]] Y un poco relacionado con ese "asumir la posición del Yang". El verdadero fan de Los Simpson sabrá que la imagen de la izquierda es del capítulo de Los Simpson "La rival de Lisa" (T6, ep. 2) en el que Lisa interpreta la canción "Nacida para ser segunda". Trabajar en Data tiene momentos de "nacida para ser segunda". Dice [[Taylor A. Murphy]] (otro de los blogueros populares de Data, fue parte de uno de lo que al menos desde fuera parece uno de los mejores equipos de Data ever, el de Gitlab (y ex-líder de [[Meltano]], una herramienta popular de extracción de datos, dentro de Gitlab): ![[DBT Labs Acquires Transform - Who's Next#^aec7f4]] A mi esta idea también me ha hecho sufrir, especialmente viniendo de ser ingeniero de software, de ser "el que hace" (que ojo, en los equipos de data también se construye, lógicamente, e.g., activaciones de datos, no solo ayuda a la decisión). Enfrentarse a este pensamiento es complicado en varios niveles: está el ego de querer ser importante, está el sentir realizado (¿sirve para algo este trabajo entonces?¿Es un [[📖 Bullshit Jobs]]?), o incluso sentirse amenazado (si no es importante... lo mismo no puedo vivir de esto). Del ego hay mucho escrito, pero vamos, mal camino si mi ego depende del trabajo, en general. Pero lo de sentirse seguro, eso sí es importante: afortunadamente, hay que entender bien lo que significa esto que dice Taylor. Una cosa es que se pueda funcionar sin equipo de data, pero otra es que un equipo de data no aporte valor (igual que una gallina puede vivir sin cabeza un rato). A lo que a mi me ayuda mucho esto es que es a tener eyes on the prize y enfocarse en el impacto del curro. Y no creo que sea tan distinto en software, la verdad, de hecho puede ser más engañoso porque construimos cosas, pero eso no es sinónimo tampoco de aportar valor, aunque tengamos algo más tangible en las manos. Por otro lado, tampoco tenemos que permitir colocarnos en una posición puramente transaccional (porque eso tampoco es hacer bien data) como cuenta [[Robert Yi]] en [[Why Analytics Sucks]] de cuando estaba en AirBnB como data scientist y uno de sus análisis dio pie al lanzamiento de una feature interesante... de la que ni siquiera le avisaron: ![[Why Analytics Sucks#^4eb134]] ## Grand finale. ¿Por qué hacemos lo que hacemos? A pesar de esta inmensidad de movidas que he contado aquí y un poco esta sensación de "estamos condenados" (porque luchar por cambiar la naturaleza humana, ojo cuidao con eso)... pues es que *nunca falta un roto pa un descosío*. Ya hemos visto antes que nuestra mente funciona en mysterious ways, primero tenemos una emoción y luego intentamos racionalizarla. Y me crucé con esto de [[Kiko Llaneras]], periodista de datos, donde sentí como si hablaran por mi. Es del podcast "La Fucking Condicion Humana". Cuenta cómo ya de crío paró con sus padres en un área de servicio y como se puso a recoger chapas de las botellas y sentía que tenía que coger TODAS las chapas distintas que hubiera y frustrarse "Hay demasiadas chapas". ![[Orden Y Concierto 🙂 O... ¡desorden Y Desconcierto! 😱#^ed1ecb]] En formato texto: ![[Orden Y Concierto 🙂 O... ¡desorden Y Desconcierto! 😱#^08035c]] ![[Orden Y Concierto 🙂 O... ¡desorden Y Desconcierto! 😱#^19f30b]] Hablando de crisis, cuando valoraba si dedicarme a la investigación o no, haciendo lo mismo que aquí, inflándome a hablar con gente, leyendo literatura, en un libro bastante bajonero que contaba el arduo camino que supone vivir de la investigación, leí una frase que fue crítica en ese momento: "dedícate a la investigación solo si no serías feliz haciendo cualquier otra cosa" ([[✍️ Acho. Qué has estado haciendo estos últimos tres años. (2015)]]). En aquel momento, yo era feliz con muchas otras cosas… pero esta vez, a pesar de las dificultades, no me puedo imaginar haciendo algo más excitante que esto. Una profesión profundamente analítica, de entender como funciona un negocio, una industria, en el caso de Freepik en toda la pomada de cómo la IA va a transformar cómo crea la gente, lidiando con lo que nos hace humanos… Entonces... es verdad que ser data-driven es complicado, poco cool a veces (a ojos de los demás), y por lo tanto no es de guapas. De guapas ahora sería echarlo todo a ChatGPT. Pero zagales, a mi madre siempre me decía que yo "no era guapo, pero que tenía algo", y **quién quiere ser guapa, si eso es rollazo sideral.** ![[Pasted image 20240128181432.png]]