 Bueno, buenas tardes a todos, como él me ha presentado soy Maite Álvarez, soy Product Owner de los proyectos de Big Data Cliente que se desarrollan dentro del Grupo Día. Me acompañan hoy mi compañero Sao Lugo que es responsable de ciencia de datos del Grupo Día y Guillermo Fernández, científico de datos de nuestro partner tecnológico que es Next Technologist y bueno con el que venimos colaborando desde hace ya algunos años en este proyecto y en otros muchos con mucho éxito. Agradeceros a todos que hayáis venido esta tarde, quería bueno a partir de agradecer a mis compañeros por bueno por todos estos meses trabajando en este proyecto, agradecer también a otros compañeros de otros departamentos que realmente han sido importantísimos para poner en producción el proyecto que ahora mismo os vamos a contar y no quería dejar de dar las gracias y esta oportunidad para dar las gracias a estos compañeros y otros que bueno que han formado parte del equipo y que ya no están, que ha sido un placer trabajar con todos ellos. Dicho esto, lo que os vamos a contar para poner un poco en contexto el proyecto que os vamos a contar hoy me gustaría dar unas pinceladas sobre qué es día y el Grupo Día. Yo creo que día todos lo conocéis pero por si acaso día es una empresa especializada en la distribución de alimentación de productos del hogar y de cuidado personal que está presente en España, en Portugal, en Brasil y Argentina que opera en a través de 6.100 tiendas, se tiene 6.100 puntos de venta actualmente con 21 almacenes y más de 43.000 empleados. En 2018 el año pasado sus ventas brutas bajo enseñas fueron de más de 9.000 millones de euros y en España opera a través de tres negocios o enseñas que son día con sus formatos diamarque y diamaxi que son los más conocidos pero también los supermercados La Plaza que están especializados en proximidad con un alto rango de productos con una gran oferta y Clarell especializada en el consumo en productos de cuidado personal. Dentro del Grupo Día ya hace muchos años, 20 años más de 20 años para ser exactos se creó el Club Día. El Club Día lleva utilizando 20 años los datos para ofrecer una propuesta de valor diferencial para sus clientes. Los datos han sido la base de la estrategia del Club y de cómo fidelizamos a los clientes. Al final si no sé si conocéis el Club Día pero el Club Día al final lo que hacemos es bueno el cliente que quiere formar parte del Club se le da unas tarjetas de forma gratuita que en el momento que empieza a usar empezamos a entender cuáles son sus hábitos de consumo, cuáles son sus preferencias, con qué frecuencia nos visita que nos compra y eso nos permite de alguna forma entender esas preferencias sus hábitos de consumo y generar un grado de vinculación mayor con el cliente y poderle ofrecer cosas que a ese cliente sabemos que le interesa. Creo que el éxito de este programa que como comentaba pues lleva muchísimos ya más de 20 años creo que se ha basado bajo mi punto de vista en una estrategia que es win-win-win donde aporta valor para el cliente por lo que os he comentado porque realmente obtiene unas ventajas exclusivas de forma inmediata que son personalizadas para el mismo además bueno pues de otras herramientas que le permiten pues disfrutar de esos cupones de forma digital como es la del Club Día que puede acceder a mis tiques de compra a mi histórico de compras y bueno y una tarjeta de pago final día con lo cual creemos que desde el punto de vista del cliente siempre ha sido le aportamos valor pero también aporta valor para día porque al final es una fuente de información muy relevante para nosotros y lo que nos permite de alguna forma es desarrollar surtido entender las tendencias del mercado pues entender al final cómo nos compra nuestros consumidores el cambio en los hábitos de consumo y al final podemos tener también una mejora en nuestra competitividad de precios y al final desarrollar las ventas que también es algo que realmente para nosotros es muy relevante que es una de las estrategias del programa de fidelización pero también por el desde el punto de vista del proveedor que muchas veces financia estas promociones también es una estrategia ganadora para él porque de alguna forma es una fuente de información de sus categorías de con qué frecuencias se compran cuando se compran en qué momento y le permite hacer un marketing personalizado que muchas veces es más rentable que un más market o sea que un folleto que va todo el mundo el poder personalizar esas ofertas al final también es muy ventajoso para el proveedor esto le permite desarrollar las ventas y al final también es un canal para dar visibilidades a sus innovaciones que muchas veces para los proveedores no es fácil encontrar esos canales donde realmente dar esa visibilidad dicho esto una de las principales ventajas del club día que obtienen los clientes son los cupones de descuento que son cupones exclusivos inmediatos y que están personalizados a cada cliente tiene una serie de cupones de ofertas mensuales que son diferenciales y diferentes para para ellos que están basados en su consumo muchos están basados en cosas que los clientes ya compran pero muchos otros lo complementamos con productos que no están comprando porque porque al final queremos generar esa novedad o sea el crear diversidad que sea un poco diferente y para nosotros también nos ayuda a desarrollar esas categorías de producto que esos clientes no están comprando y bueno ahí un poco aquí es donde se engloba el sistema de recomendación que os vamos a contar hoy porque entendimos que realmente la tecnología de hoy en día nos daba unas herramientas y unas capacidades que antes no teníamos y podíamos dar como una llave de tuerca más en esa personalización mientras que estábamos haciendo quizá basado en segmentos mucha personalización basada en segmentos de clientes el llevarlo a uno a uno yo creo que ahí era donde identificamos que podíamos mejorar entonces por qué un sistema de recomendación en día o sea por qué surge esta necesidad porque porque se nos ocurre desarrollar un proyecto como este al final yo creo que es importante entender que cuáles son los tres ejes en los tres ejes que realmente porque los cupones desarrollan la venta para un retail al final desarrollan la venta porque por el hecho de tener un cupón un cliente va a haber más clientes que lo compren o sea por el hecho de tener un cupón voy a voy a ir para aprovechar la oferta y va a haber más clientes que compren esos productos incremento las testas cuando voy compro más unidades y además voy más veces a comprar y al final esos son los tres ejes que nos desarrollan la venta para eso como os comentaba ofrecemos a los clientes cupones de cosas que compran en la muchas de ellas son de cosas que ya compran pero también nos gusta ofrecerles cosas que no compran y sobre estas cosas que no compran es sobre donde realmente se asienta este sistema de recomendación en como os comentaba la tecnología nos permitía pues dar una vuelta de tuerca más en esa personalización y pensábamos que podíamos ser más efectivos en este en esta parte de nuestro sistema de fidelización al final lo que buscábamos era una mayor efectividad en la selección teníamos como una doble perspectiva y aquí hay una novedad es decir no sólo necesitábamos para un producto encontrar los clientes que más fueran a fines a ese producto para promocionar ese producto en sí sino que para un cliente queríamos encontrar cuáles eran los productos que podían ser más relevantes para él y de alguna forma eso era lo que lo que era bastante también novedos encontrar un modelo que nos permitiera pues dar respuesta a esa necesidad de negocio qué requisitos debía cumplir pues bueno lo uno de lo que acabo de comentar para un artículo obtener la propensión de compra de todos los clientes ha dicho artículo y al revés bueno y en otra dimensión para un cliente obtener la propensión de compra de todos los artículos era para nosotros era muy importante que se pudiera ordenar es decir nosotros ya veníamos trabajando con reglas de asociación de productos donde al final bueno pues estableces que clientes que compran unos determinados productos pero no están comprando el que quieres promocionar al final estableces unas reglas de asociación y te permitía pues de alguna forma dirigirte a clientes más propensos pero aquí queríamos dar un paso más y decir si yo en base al presupuesto que puedo invertir en promoción puedo dirigirme a diez mil clientes pues quiero obtener los diez mil clientes que sean más propensos a ese cupón y entonces para nosotros era muy importante que se pudiera ranquear que se pudieran ordenar perdón y deberíamos obtener un scoring para todos los clientes y todos los artículos al no bastaba y decir bueno al final yo voy a obtener un scoring para diez mil clientes para 15 mil pero quizá a veces hacemos promociones que son muy masivas donde queremos ofrecer ese ese cupón a 100 mil a 200 mil o a un millón de clientes entonces para nosotros era muy importante también que existiera un ranking de todos esos para todos los clientes y en la otra perspectiva para todos los los los artículos y los clientes vale que otras cosas eran muy importantes desde el punto de vista de negocio pues que no requisiese una caracterización muy compleja de artículos porque no la teníamos ya nosotros tenemos una caracterización de artículos pero no así no era lo suficientemente desarrollada compleja como para que nos permitiera escoger un modelo basado en esas categorizaciones entonces eso para nosotros también en una premisa desde el punto de vista de negocio queríamos tener una recomendación no sólo para día sino también lo queríamos para la plaza y para clarel para todos los negocios con los que los que operamos que nos permitiera también importante una vez integrado el modelo obtener de forma automatizada esos clientes de si se debía de integrar con nuestra aplicación de fidelización que son premis y se tenía que ir de alguna forma que cuando yo seleccionase para un artículo que clientes quiero 10 mil clientes que eran más propensos que me los devolviese de una forma automatizada arranqueada para que nosotros pudiéramos asignarle ese ese cupón esa oferta y luego era muy importante también entender la volumetría que íbamos a manejar porque al final estamos hablando de de de matrices de 7 millones y medio de clientes incluso a veces más con más de 30 mil artículos entonces al final es una volumetría muy grande y desde el inicio tenía era una cosa que teníamos que tener en cuenta y luego muy importante también que parece una cosa muy sencilla pero fue una de las cosas quizá bastante compleja también entender que al final todo el scoring de esos artículos queríamos poder agregarlo porque al final un cupón es un grupo de artículos normalmente no hacemos un cupón de un solo artículo sino que es un grupo de artículos de una gama de productos y lo mismo con los códigos de oferta en los folletos entonces que eso se pudiera agregar también era una cosa muy importante entonces pues con los requisitos del negocio pues esta fue la solución técnica bueno entonces cómo lo hicimos pero antes de entrar en cómo lo hicimos poner un poco de contexto si bien es verdad que los sistemas de recomendación vienen lanzándose hace varios años e incluso los usamos en nuestra vida digital a diario están los que conocemos los casos de éxito más sonoros están más relacionados al mundo del e-commerce al mundo del streaming al mundo en la y al mundo de la vida digital bueno nombrar netflix en un caso clásico de éxito el sistema de recomendación detrás detrás de amazon y aunque como dije antes interactuamos con ellos a diario en realidad alguna vez nos hemos preguntado qué es un sistema de recomendación entonces un sistema de recomendación es un algoritmo o un modelo matemático que busca o cuyo objetivo es predecir la preferencia de un artículo por un cliente o la preferencia que un cliente va a tener por un artículo desde el principio generalmente se diseña para que logre al menos cuatro objetivos relevancia novedad sorpresa y diversidad relevancia el objetivo más obvio sea lo que el sistema recomienda recomienda tiene que ser relevante para el cliente que tiene que ser importante para el cliente tiene que haber necesidad por el artículo pero no sólo relevancia novedad uno de los principales objetivos un sistema de recomendación es llevarte a consumir productos que no estás consumiendo aunque sean novedosos para ti que sean nuevos pero también sorpresa sorpresa un producto que no has consumido no necesariamente es sorprendente para ti el ejemplo que muchas veces pongo es los asidos a leer Harry Potter si tú has leído Harry Potter en una serie que tiene 7 o 8 libros no recuerdo si has leído el 1 y el 2 es verdad no es leído el 3 pero si el sistema sólo te recomienda que leas el 3 es novedoso pero no es no sorprendente o sea es una recomendación casi trivial y luego la diversidad por muy definido que tenga el gusto de un cliente determinado cliente en un nicho si el sistema se enfoca en dar recomendaciones sólo en ese nicho llegará un punto donde las recomendaciones serán inservibles o serán tomadas como como trivial entonces cuando comenzamos el proyecto aparte de entender la parte no el primer paso es entender los objetivos de negocio que Maite ya explicó pues uno de los siguientes pasos es escoger bueno basado en estos objetivos de negocio que algoritmos o que familias de algoritmos o modelos podemos utilizar existen muchas clasificaciones de modelos en la literatura ésta es una de ellas quizás es la más clásica la más utilizada que divide los algoritmos en métodos core o métodos principales y métodos derivados de estos métodos principales dentro de los métodos principales tenemos dos grandes familias la familia de algoritmos de filtro basado en contenido y la familia de filtros colaborativos una de los aspectos que Maite mencionó en los requerimientos del proyecto es y no sólo que lo mencioné en los requerimientos sino que nos los dijo desde el día uno es no podemos basar el modelo o el sistema en información muy categorizado muy categorizada muy segmentada de los productos en este caso del surtido del supermercado porque porque no está disponible o sea no tenemos una base data nos diga exactamente con un tag este producto es saludable a que él es procesado etcétera con lo cual descartamos de primera mano los algoritmos basado en contenido entonces nos enfocamos en algoritmos de filtro colaborativo por la razón que acabó de mencionar y por una segunda razón muy importante y es que los algoritmos de filtro colaborativo a diferencia de los basados en contenido relacionan las dos dimensiones relacionan la dimensión cliente con la dimensión artículo que es otro de las de los requerimientos de negocio y dentro de estos algoritmos de basados en filtros colaborativos nos enfocamos en algoritmos basados en machine learning porque porque los filtros colaborativos en general lo que hacen es buscar o detectar patrones que hay en la información que genera esas interacciones entre clientes y artículos como otro de los requerimientos de negocio es poder ranquear todos los artículos y todos los clientes necesitábamos un modo un sistema que te responde que respondiera a esa información para absolutamente toda la matriz de entrada entonces al escoger filtros colaborativo en general que hace un filtro colaborativo busca dimensión busca información o busca relación en dos dimensiones como he mencionado la dimensión usuario y la dimensión cliente aquí menciona una tercera dimensión que nosotros en particular no la estamos utilizando pero que se podría inyectar en el en el modelo que es la dimensión del contexto la dimensión del contexto es aparte de la información de interacción entre usuarios y artículos también puedo inyectar contexto en el modelo en el sistema que le diga por ejemplo que le de información de que estamos en verano entonces los artículos asociados al verano en la crema solar la nevera etcétera pues serán priorizados por encima de artículos de navidad por ejemplo en ese momento etcétera nuestro sistema está basado no en información de contexto sino información de usuarios y clientes específicamente esto es una visión de muy muy alto nivel de nuestro sistema pero todo parte como están este esquema de los datos de todos los datos que hay en día que lleva día recolectando durante años pues las tres entidades principales que utilizamos en el sistema son clientes tiques y artículos los clientes información de los clientes de los artículos y los tiques que nos da la información de la interacción entre esos clientes y esos artículos a qué artículos ha comprado a cada quien con esta información armamos una matriz de entrada que una dimensión tiene los clientes la otra dimensión tiene los artículos y la matriz se rellena con información de la interacción si la interacción más sencilla es información implícita de qué clientes han comprado qué artículos pues será una matriz no podríamos atraer como una matriz de uno y espacios en blanco donde los uno es los las posiciones donde el cliente ha comprado artículos se le puede inyectar otro tipo de información como la frecuencia en vez de uno con cuántas veces lo ha comprado la cantidad que cantidad de artículos ha comprado etcétera podemos inferir o intuir que esto es una matriz bastante sparse porque como ella mencionó son millones de clientes por miles de artículos donde cada cliente probablemente en el mejor de los casos habrá comprado unos pocos cientos de artículos con lo cual es una matriz bastante vacía por llamarlo de alguna manera esta matriz es lo que el algoritmo intenta rellenar el algoritmo nosotros estamos usando machine learning específicamente factorización de matrices trata de componer esta matriz para rellenarla y predecir los huecos a predecir un score que va asociado al valor a la interacción a cliente artículo que no se ha dado y cuando esta matriz está rellena pues tenemos el no tenemos el producto final pero tenemos la base del producto final que es una matriz de información que nos da información en las dos dimensiones para un cliente como está en el ejemplo ahí puedo tener un ranking ordenado de todos sus artículos pero también para un artículo puedo tener un ranking ordenado de todos los clientes del cliente más propenso de ese artículo hasta el menos propenso y para ello nos basamos en como dicho saúl en la factorización matricial para quien no conozca simplemente es una descomposición de matrices una descomposición de la matriz inicial que tenemos de clientes y artículos en otras dos que van a ser clientes y lo que tenemos factores latentes y artículos y esos mismos factores latentes esta descomposición de matrices lo que nos permite es hacer una reducción dimensional y el objetivo al final es tratar de reproducir la matriz inicial de alguna forma pero dices bueno por qué te lias tanto y tratas de aprender algo que ya tienes ya conoces la matriz inicial pues andreo en gi hace un comentario bastante tratados de respecto y es que cuando tú tratas de aprender la función identidad es decir el multiplicar por uno por esa matriz identidad esa matriz inicial que tienes pues que parece algo muy trivial pero cuando tú aplicas restricciones en este caso los factores latentes que tú defines cuántos quieres en esa descomposición resulta que la red de urinal es capaz de descubrir estructuras interesantes en los datos y ahí está el el q de la cuestión de forma bastante simplificada esos esas dimensiones esos factores latentes lo que son son dimensiones de características que pueden o ser o no ser interpretables y en este caso hemos puesto un ejemplo muy sencillo para que se entienda de dos dimensiones interpretables saludable no saludable o crudo y procesado en el que tenemos esa distribución de artículos en ese espacio latente con la ventaja de que al mismo tiempo podemos posicionar los clientes y de esa manera obtener el score que te marcas afinidad entre artículos y clientes y claro esto es a grandes rasgos cómo funciona el modelo pero necesita la arquitectura para explotar esos resultados bueno y una vez que decidimos que modelo utiliza el que al que algoritmo utilizar pues viene la parte más divertida no implementarlo sobre todo en nuestra empresa estas cajas que que dibujó y alto nivel son los grandes bloques constructivos de nuestro sistema todo parte en la caja uno de los datos como como lo he mencionado datos de tickets artículos y clientes estos datos lo ingestamos todos los días en nuestro data lake que por los símbolos la simbología que estoy utilizando podéis ver que es un data lake armado en la nube específicamente en la de amazon donde los procesamos y preparamos un data set que es la representación de esa matriz que mencioné antes con este data set maito también mencionó que nuestro sistema de cupones funciona a nivel mensual entonces una vez al mes automáticamente se levanta un proceso que lee ese data set entra en el modelo ok y una vez que está entrenado pues el modelo predice el score para todas estas interacciones entre artículos y clientes ahora voy a saltar un de número para indicar que en realidad el sistema que lo está utilizando que utilice esta información es el club día y el club día está representado ahí por el globo número 5 el bloque número 5 que es la aplicación del usuario la aplicación de negocio la aplicación de negocio que tiene toda la lógica de asignación de cupones esto está on premise el modelo está entrenado en la nube así que había que hacer algo en el medio para que estos sistemas se pudiesen hablar entonces el bloque número 4 es una arquitectura big data basada en contenedores y en el servicio patch de amazon que es la que atiende los requerimientos o las solicitudes de recomendaciones que le hace la aplicación como ya dije esta aplicación está on premise así que hay algo hay que poner una pieza en el medio que haga que los mundos se comuniquen y esto lo implementamos con un middleware implementado en un enterprise service boss que es la que permite la comunicación la que orquesta los mensajes que recibe la aplicación y orquesta las respuestas que nuestro sistema de recomendación está dando todo esto tiene se complementa con integración continua con las herramientas pues tradicionales integración contínua jenkin dockers y nuestro repositorio de código corporativo ahora uno de los principales retos de esta implementación es precisamente hacer que el mundo on premise de basado muchas veces en sistemas legas se comunique de manera eficiente con el con las nuevas tecnologías en la nube en este slide lo que está remarcado las cajas que están remarcadas en rojo son los sistemas que nuestra empresa está on premise y la y la que están marcadas en azul son esto lo que está desplegado en la nube otro reto importante es el manejo de los datos también como creo que maite mencionó al principio estamos hablando de una matriz de entrada de unos 7 millones de clientes varía un poco más un poco menos a unos 30 y tantos mil artículos esto genera cuando lo implementa en la vida real una volumetría de aproximadamente 9 terabytes de datos 9 terabytes de datos que todos los meses genera y que tiene que mover por toda esta arquitectura que descrito ya la volumetría en sí es un reto un segundo reto es la complejidad y lo ruidoso de esta de esta de este set de datos como mencioné la matriz de entrada es bastante es parz bastante está bastante vacía aunque y algunas de las causas de esa de esa característica de la matriz por ejemplo de los tantos mil productos que tenemos hay muchos productos que probablemente sean de alto margen pero de baja penetración que son productos de nicho que entonces es difícil extraer la información que puede aportar cada uno de esos productos otra complejidad que se agrega a nuestro modelo de negocio es que una tarjeta de fidelización no representa una persona por ejemplo en mi caso yo soy un un cliente bastante fiel de la empresa yo mi familia compramos toda la comida y entonces mi tarjeta no me representa a mí no representa los gustos cuando yo compro galletas para niños está representando los gustos de mi hija de cuatro años cuando compró productos de belleza probablemente sean comprados por mi esposa etcétera aunque el que se la compraso yo pero eso agrega complejidad porque también hay mucha información de distintos gustos distintos sectores de la familia edades diferentes y todo mezclado aunque luego como en cualquier supermercado y productos estacionales productos que son regionales no es lo mismo un producto que se vende en andalucía un producto de madrid etcétera y luego están los outliers aunque tengas todo esto controlado siempre aparecerá en nuestro caso típicos outlier el pequeño mayorista o sea una persona que llega y tiene un restaurancito y en vez de comprar un un brick de leche compra 24 brick de leche etcétera y otro reto importante del que nos enfrentamos en el proyecto esto es un reto que se repite mucho en seguramente se repiten otras implementaciones de la recomendación de otros dominios que es la famosa cola y vencer la popularidad uno de los objetivos técnicos que nos planteamos desde el principio en el proyecto en el equipo proyecto fue vencer la popularidad porque porque para recomendarlo más popular no necesitas un modelo muy sofisticado y no necesitas invertir tanto dinero o sea si tu ordenas tus artículos por simplemente por los más comprados los menos comprados y recomienda siempre lo más comprado ya está ya resolviste el problema pero lo interesante desde el punto de vista de negocio es sacar productos de lo que aquí se muestra como la cola de esta gráfica porque probablemente hay productos que tienen alto margen o simplemente hay productos que por estrategia comercial queremos aumentar la penetración etcétera entonces que hicimos para cada versión del modelo que hicimos construimos una versión que hacía lo mismo pero sólo recomendando la popularidad y siempre en cada iteración del proyecto nos aseguramos que los las métricas del modelo que estábamos obteniendo eran mejores que las métricas que obtenía un modelo basaba en popularidad y hablando de métricas pues os vamos a descubrir la pólvora seguro cosas que no sabéis para nada importante saber que se persigue pues habéis tenido que venir aquí para que lo digamos a que sí tener el objetivo claro y entonces sabes que optimizar y dices ostras y vengo aquí para que me cuente en esto ya pero incluso sabiéndolo cuántas veces no lo hacemos en el día a día pues viene más cómo se va a utilizar pues eso también es importante la información de qué vas a poder medir a lo mejor la métrica que utilizas luego se va a agregar de tal forma que pierde todo el sentido y evidentemente pues en función de cómo se vaya a medir elegir esos capéis de negocio y ver si la métrica del modelo van con su ansia con todo aquello cuando te pones a elegir métricas del modelo pues claro depende puedes tener que elegir asociadas a perecir un balón concreto en nuestro caso número de productos que va a consumir un cliente o asociadas a establecer un ranking un orden que hablaban maite y saúl o algo personalizado se ha habido algún ppd amazon de sistemas recomendadores se montan ellos mismos su propio su propia métrica claro esas métricas de negocio modelo cuáles han sido aquí nos permitís la licencia de hablar de redención que es algo común en el mundillo porque todo mundo siempre nos dice no no redención eso está mal traducido escanjeo pues nos vais a dejar de decir redención de cupones si aumenta o no el consumo de esos cupones de no comprador la redención de los clientes y hay más clientes que lo utilizan la venta incremental respecto a un grupo de control cómo se comportan aquellos clientes impactados por el sistema de recomendación y el retorno de la inversión el cara al modelo pues el map porque lo que queríamos era buscar un ranking y el map es la medida idiónea o una de ellas que lo que hace es penalizar lo bien o mal que hagas ese ranking para cada cliente esto así dicho parece muy sencillo a claro si pues la reducción de cupones tal pero tiene bastante miedo más en concreto los resultados que hemos obtenido asociados a estos capéis son los siguientes vale pues como ha comentado Guillermo al final era muy importante entender cuáles son las métricas de negocio para poder optimizarlas porque si no es es complicado lo bueno en este caso o a veces también lo complejo es que nosotros ya teníamos un sistema de recomendación y hacíamos cupones de no compra a clientes y teníamos bueno de una forma automatizada a grupos de control que nos permitía de alguna forma medirlo empezamos a lanzar test en las promociones de junio julio agosto que esto también es un gran reto porque como son campañas mensuales desde que lanzas la promoción hasta que ves los resultados pues también es complejo el ir dando bueno ajustes al modelo para conseguir los resultados esperados pero bueno lo pusimos en producción después de los en las pruebas obtuvimos de media una mejora en la redención en el uso de cupones en el canjeo de más de un 40 por ciento igualmente una mejora muy similar de clientes que usan este tipo de cupones mejoró un 10 por ciento más de un 10 por ciento el retorno de la inversión y un más de un 30 por ciento la venta incrementa la sociedad este tipo de cupones al final además de todo esto suponía que de alguna forma algo que hacíamos a través de unos informes con esas reglas de asociación que lanzamos y asignamos de una forma semiautomatizada pues que esto realmente es completamente todo el ciclo automático lo cual también es es importante tenerlo en cuenta con lo cual bueno pues pensamos que es bueno que hemos obtenido un gran éxito en el fondo al final se temide por los resultados y yo creo que con esto pues nos podemos sentir contentos y cuáles han sido estas claves del éxito bueno pues de nuevo es la pólvora necesitamos datos cuántas veces habéis dado en esta situación incluso sabiendo que necesitáis datos pues encontréis en esa situación por fortuna aquí fue al revés teníamos muchos datos claro que era bueno pero al mismo tiempo tenía la desventaja de que tenías que ver qué parte ha ruido o si era cuánto de esos datos era realmente útil seguro que habéis oído hablar de experimentos sobre cómo hacíamos ideas con monos cajas y plátanos entonces dices a ver si nos parece muy común que nos cuenten que un mono no es capaz de asociar que tiene que poner cajas para llegar a un plátano si no tiene mismo campo visual nosotros porque pensamos que sin explorar los datos vamos a ver mágicamente relaciones entre entre parámetros y lo grave es que lo sabemos y aún así no exploramos los datos y no lo exploramos porque es aburridísimo sí sí pero es que están aburrido como importante o tan importante como aburrido la importancia del como es otra cosa que es otro punto clave brusley y su hija sanon li brusley lo conocemos por sus películas por su legado artes marciales pero los estudios filosofía y bueno su hija recoge un poco su pensamiento en esta frase el como es la expresión de nuestros por qué es en cada cosa que hacemos si no tenemos claro el como la perdón el por qué es los comos no van a tener ningún sentido y esto es desde pensar en cómo ingesto los datos cómo los trato cómo se van a utilizar cómo los voy a servir hasta cómo te tratas dentro del equipo eso ha sido un punto clave también aquí está muy bien tener gente muy preparada muy lista en la sala pero ojo no hay que hacer siempre caso porque sí es decir no sólo por autoridad o por hipótesis que todos pensamos que se cumplen pero no las comprobamos pues cuando se empezaba a estudiar la deformada de una viga es una viga empotrada una pared llegó a lileo y sugirió si tú pones un peso en el extremo la longitud de la superficie de arriba se mantiene igual que cuando no pones el peso y todo el mundo dijo al hilo es un genio pues ya está puesto así y hasta pues unos cuantos años después no lo desdijeron y fijaos ir a fácil comprobar un error un peso y medir si aquella verdad y esto sabiéndolo pues en nuestro día a día también hace aquí por fortuna fue otro punto otro punto fuerte el efecto pigmalión esto seguramente lo conocéis básicamente es el efecto potencial que tiene la creencia de una persona sobre las capacidades de otra sobre su rendimiento esto es un poco llevado al extremo el respeto que ha habido tanto internamente como con gente de fuera del proyecto a la hora de hablar hablamos con gente que sabía si están más recomendadores y gente que no tenía ni idea y os sorprendíais de las ideas que pueden venir de gente que no tiene absolutamente ni idea o sea a ver mi madre tiene idea de sus cosas no pero dice más recomendadores no y hablando con mi madre surgieron ideas bastante buenas además y bueno un punto muy importante que hoy en día es casi de libro cualquier libro que cojamos de big data data sign etcétera pon este famoso triángulo no es autoría mía ni mucho menos pero nos vienen repitiendo siempre y asegúrate de tener un equipo multidisciplinar de tener la perspectiva de negocio la perspectiva informática la perspectiva de la ciencia de datos como tal etcétera y nos tomamos como que una receta no pues una clave el éxito importante no es sólo tener ese equipo sino empoderarlos a dejar a ser a cada quien lo que sabe hacer básicamente y que además en la realidad hemos comprobado que que no es ni mucho menos tres personas o tres pequeños equipos con los tres perfiles es una cantidad de gente bastante grande bastante importante está es la gente que está detrás de este proyecto espero no haberme dejado a nadie fuera pero como comprende como podés ver no es ni mucho menos tres personas con tres perfiles a son aquí hay muchísimas personas con perspectivas totalmente distintas y bueno pues en conclusión bueno queríamos dar alguna pincelada que hemos aprendido nosotros que nos parece relevante pues desde luego creemos que lo más importante es tener clave el objetivo si no sabemos para qué hacemos las cosas es imposible encontrar una solución a nada eso creemos que es el punto número uno tener datos y que esos datos sean de calidad y entenderlos porque al final si nos entienden es como si no los tuvieses ser capaz de identificar qué datos aportan información y qué datos no como comentaban en esa matriz pues con tantísimos datos había mucho ruido también el entender cómo podemos generar una matriz un data set que quitando el ruido y dejando la información pues eso también es muy relevante que otra cosa nos parece súper importante pues que poder identificar o sea hacer aproximaciones con diferentes modelos y entender cuál cual puede o cuáles pueden de alguna forma cumplir o ser más efectivos en el cumplimiento de los objetivos definir métricas porque para nosotros desde luego ha sido clave en un primer momento fueron métricas de modelo y desde el principio también experimentos en real eso es importantísimo para el final ver si va a ser la buena dirección las propias métricas del modelo te ayudan a entender si va a ser la buena dirección no quita que luego puedes mejorar las métricas y al final en real a lo mejor no da los resultados esperados y tienes que volver a iterar o a mejorar o cambiar hiperparámetros y luego para mí ha sido clave contar con un equipo multidisciplinar y empoderarlo en la medida pues de que al final dejar hacer que aporten soluciones e dar libertad y yo creo que divertirte con el proyecto creo que ha sido un proyecto muy interesante nos hemos divertido mucho y bueno y para nosotros pues ha valido la pena y está en producción y está en producción que eso es un reto y nada más muchísimas gracias a todos no sé si tenéis alguna pregunta buenas bueno gracias y no la buena porque tienen una pintaza brutal el proyecto tenía dos preguntas la primera qué tiempo os ha llevado montar esto desde que surgió la idea hasta que salió a producción de esa primera versión en bp un año y medio y la segunda y depende porque nosotros hemos explotado para varios casos de uso quizás el primer caso de uso estuvo en producción en un año segundo en año y medio y la segunda se ha relacionado precisamente con los casos de uso porque no sé si aquí a día en todo momento ya está hablando de la parte de aplicación a los cupones a recomendaciones personalizadas en esos cupones y no sé si tenéis en roma o en la cabeza era consultar el utilizar este tipo de modelo sino el mismo uno similar de cara a recomendar productos en el canal online en día.es sí de hecho tenemos pendiente ver cómo podemos de alguna forma generar sinergias porque realmente si es tan efectivo la asignación de cupones con esa adaptación que comentas porque el caso de uso es distinto pero sí que realmente queremos pues ver cómo lo podemos también utilizar en el e-commerce y otros muchos usos o sea un caso de uso también que tenemos en el roma es al final también para ser personalizar la comunicación con nuestros clientes es decir entender al final lo que ya no sólo las ofertas en cupones las ofertas del folleto que les interesa al final de alguna forma te permite tener datos para personalizar la comunicación o la oferta. Muchas gracias. Más preguntas. Gracias.