 Muchos de vosotros ya conocéis a la persona que tengo aquí al lado, es muy conocida en la comunidad de WordPress España. Y para quien no le conozca, el es Pablo Moratinos, el es consultor de marketing especializado en analítica digital, miembro activo de la comunidad de WordPress desde 2017, ha estado yo creo en todos los puestos que se puede estar. Y trabajando sobre todo en el ámbito de WordPress TV. Y hoy nos va a dar una charla sobre abtesting con WordPress. Os dejo con Pablo. Gracias. Bueno, me gustaría empezar dando la piedra filosofal, no sé, la fórmula para convertir los metales en oro. No va a poder ser, por desgracia. Pero vamos a acercarnos un poco por el camino, porque voy a daros la madre de todas las fórmulas en e-commerce, digamos que si la métrica de éxito de e-commerce o de un negocio digital sería la rentabilidad, hay una parte dentro de la rentabilidad, que es toda la inversión que se hace, que yo no puedo dar una fórmula porque depende de muchos factores, pero hay una parte que es la de los ingresos de la que sí que puedo compartir la fórmula, que es si queremos calcular los ingresos anuales de un negocio, de e-commerce normalmente, la fórmula se obtiene multiplicando el número de usuarios o el tráfico por el porcentaje de conversión, por el valor medio de la cesta de la compra y por la recurrencia, por la frecuencia de lo que nos visitan nuestros usuarios. Este cálculo, que es muy simple, nos da como resultado los ingresos anuales de nuestro negocio, chimpum, ya vámonos, os he ahorrado 18 minutos de charla, por esto vale. Pero hay una cosa interesante, que es que de todos estos elementos, de todas estas variables que se manejan en la fórmula, hay dos que dependen directamente del sitio web, directamente de Warps, en lo que a nosotros nos afecta, que son el porcentaje de conversión y el valor medio de la cesta de la compra. ¿Por qué dependen de Warps? Porque todo lo que hagamos nosotros en Warps se está afectando directamente a esas variables. El resto también puede tener cierta influencia, la recurrencia, el número de usuarios, pero eso en métrica de transquisición, de recuperación, sucede normalmente fuera de Warps. Pero estas dos directamente están relacionadas. Funciona como palancas, palancas para mejorar la rentabilidad o los ingresos de nuestro negocio. Esas palancas pueden ser activadas mediante experimentación, que es lo que vamos a hablar hoy, vamos a hablar de experimentos y en concreto de experimentos de tipo Avedestin. Los experimentos de tipo Avedest son unos experimentos donde lo que hacemos es coger un universo de usuarios, exponerlos a esta experiencia que estamos hablando, estas pruebas, y lo que hacemos es dividir ese universo en dos grupos. Un es el grupo de control al que se le muestra la situación actual que tenemos en este caso en nuestro sitio web. Y a continuación, medimos el porcentaje de usuarios y completan un objetivo de negocio. Por ejemplo, una venta, convertirse en un lead, hacer click en un botón, no importa lo complejo que sea. Luego tenemos otra sección de ese universo de usuarios que es algo que llamamos variante, le ofrecemos una alternativa y de nuevo calculamos el porcentaje de concreción del objetivo que obtiene. Y los comparamos. En este caso vemos que la variante tiene un porcentaje de conversión del 100% sobre el control. Eso quiere decir que mejora la situación inicial. ¿Por qué sé algo de todo este rollo? No mucho tampoco, pues porque trabajo en el campo de la experimentación en Product Hackers, soy un grado datavid en Product Hackers, soy un clínica en 3M Media School y embajador de marca en Segron, me estreno aquí además con la marca. Y tengo un libro, que en vez de poner mi foto pongo el libro, donde hablo entre otras cosas de todo esto, aplicado a los negocios online. Likeamos habitualmente. Jugaremos un poco con estos, los que no me conozcáis ya lo veréis. Vale, historia de un test A B. Yo creo que estas cosas se entienden muy bien con ejemplos y a veces se ponen ejemplos con, cambiamos un color de un botón de rojo por el... Eso es no hecho nada. O sea, eso puede tener cierta influencia, pero tenemos que empezar a hablar de influencias que realmente se reflejen en pasta. Vale, y os voy a enseñar un ejemplo que realmente se transforma en pasta. Esta es la aplicación, bueno, la versión mobile de Seguros Verti. Vale, es un cliente de Product Hackers, pero aquí hicimos una experimentación, es un caso de éxito publicado, en el que nosotros, como veis, Verti tiene una serie de polizas de seguro para diferentes cosas, vehículos, mascotas, moto, hogar. Bueno, nosotros lo que hicimos fue trabajar con una evidencia, con un fact, que el 73% de los usuarios inician un proceso de tarificación de seguro para el coche. Es decir, cuando entran ese 73% de usuarios, lo que ve es un montón de posibles polizas, pero ahí es lo que les interesa eso del coche. Y entonces, desarrollamos una hipótesis, que es que si nosotros lo que hacemos es entregarlo es un ajón mucho más centrado en su interés, seguramente conseguiremos más leads porque van a encontrar de una forma mucho más directa lo que venían a buscar. Dicimos, claro, pero esto igual le perdemos otro tipo de leads, otro tipo de polizas. Bueno, vamos a testearlo, a ver qué pasa. Y entonces lanzamos un testave, cuando le tenemos un control con la versión actual de la página web para móvil, y luego nuestra versión alternativa, la variante, las ponemos en marcha, se le echamos a todos los usuarios de dispositivos móviles y nos encontramos con una mejora del 42% en leads, 42% más de leads, de gente que pide un presupuesto para una contratación de un seguro. Hostia, yo creo que era un cambio que merece la pena, el 42% está muy bien, guay. ¿Nos conformamos con eso? No, porque ya habíamos dicho que nosotros lo que queremos es pasta, y estos eran leads, eran pre-pasta, no pasta. Vamos allá, vamos a experimentar un poquito más. Nos encontramos que en el proceso de contratación de la poliza, lo que tenemos es un chorro, un chorizo de datos que el usuario tiene que rellenar y al final del todo hay un botón para que pague, para que compre el botón con el que conseguimos el evento de compra. ¿Qué hacemos? Una hipotesis, si nosotros dejamos el botón mucho más arriba y hay un scroll que va por detrás de ese botón para que el usuario que quiera se lo lea todo, pero que siempre tenga el botón a la vista y para hacer clic en él, es probable que al ser más cómodo, haya más gente que haga clic. Tú dices, Pablo, te estás flipando que estás contratando un seguro, no estás comprando una cosita de 3, 4 euros, estamos hablando de una cosa que vale mucho dinero y es un compromiso importante. Bueno, vamos a ver qué pasa, vamos a sacar antes y creamos una versión alternativa donde tenemos siempre los botones visibles, perdón, quedo muy rápido. Ahí, ¿vale? Y lanzamos el test. Control, variante 15% más de contratación de polizas. Solo cambiando un pequeño elemento de diseño, no el color de un botón y todo ese tipo de ejemplo, no. Que haya un scroll por detrás tiene cierta dificultad técnica, no es nada del otro mundo, pero tiene un plantamiento, 15% más de contratación de polizas. Yo creo que justifica perfectamente todo esto. ¿De dónde surgen estas ideas de experimentos? Porque claro, la gracia no es solamente la técnica que está detrás de la B-Testin, sino de dónde surgen las ideas. No me voy a enredar mucho con esto, pero por si acaso queréis investigar un poco, porque lo tenemos publicado en internet, nosotros trabajamos con una cosa que se llama Boitri. Es un árbol del que tenemos una métrica general de la empresa, que es la North Star Metric, de la que culan una serie de objetivos que son pequeñas métricas que alimentan esa métrica principal y a partir de ahí surgen oportunidades, ideas que son las palancas que hacemos y los experimentos. Perfectamente, de una oportunidad pueden surgir 10 ideas y de una idea, 25 experimentos. Para cada oportunidad podemos estar trabajando con 250 experimentos. Esto hace que la velocidad de experimentación tenga que ser muy rápida. Ahí es donde está la ganancia. Experimentar muy rápido con mucha frecuencia y apostando fuerte los experimentos. La parte racional, la parte donde estamos estimando un poco los puntos de contacto, identificando las palancas y la parte creativa, que es donde trabajamos en los experimentos. Si queréis, a nivel de creatividad Ana Cirujano y yo en nuestro podcast hemos hablado varias veces sobre sesgos cognitivos, pequeños atajos mentales que hacen los usuarios de sus operaciones de compra. Muchas veces esas ideas de experimentación se trabajan en esos sesgos. Correlación o causalidad, porque qué límites tiene la experimentación? A parte de límites técnicos que los hay, lo más importante es saber distinguir entre correlación y causalidad. Si yo estoy haciendo en este experimento tiene una influencia directa con el resultado que he obtenido ¿vale? La correlación es, por ejemplo, si yo estudio mucho probablemente mañana sacaré buenas notas. Está correlacionado. No es causa-efecto. El hecho de que yo estudie no quiere decir con total seguridad que vaya a sacar buenas notas, pero hay más probabilidad. La causalidad es, si yo fumo mucho seguramente tendré cáncer de pulmón. Y ahí sí que hay una relación causa-efecto. Directa. A veces hay situaciones en las que es más difícil distinguir. Cuando se compran muchos helados es un periodo en el que hay muchos ahogados en las piscinas. Podríamos deducir que si comes helado te ahogarás en la piscina. No? Causa-efecto. Pero no, eso es una correlación en la que hay un factor de distorsión que es la temperatura. Es una variable de confusión que es la temperatura. Con una temperatura alta se venden muchos helados y se van mucho a la piscina y por tanto hay más ahogados. Eso es una relación de correlación y a veces en los tres tabes se confunde y se interpretan mal los resultados. Vamos un poco al lío. Herramientas para hacer a B-Testin. Estas cuatro son las más populares. Pero la primera es DEATH. En septiembre Google Optimize otro proyectito de Google que pasa a Dios. Exacto. Bien resumido. Nosotros trabajamos mucho con VWO que está muy bien pero son herramientas muy caras. A nivel de agencia están bien pero para experimentar son muy caras. Y además son muy genéricas porque trabajan prácticamente con cualquier tipo de sitio, con cualquier tecnología. Pero por suerte en WordPress tenemos otras alternativas. Split Test Plugin. Este está específicamente diseñado para Elementor. Muy bien, pero si no tienes Elementor ¿Qué te jodan? ¿Vale? A-B-Testin for WordPress que está también muy bien y es muy similar a myWP A-B-Testin. Estas son todas gratuitas. Ya veis un poco por la captura y funcionan con cualquier tecnología. Por supuesto también con nuestro queridísimo Gutenberg. Y luego hay una cuarta opción que para mí es la más interesante que es Nelio y B-Testin. Ahora veremos un poco por qué. Para mí es la opción ganadora. Fundamentalmente por este motivo. Os estaba hablando de la correlación y la causalidad a veces cuando lanzamos un experimento es un poco como jugar a la ruleta. Y ahora hace un experimento, tengo una serie de una muestra de personas a las que voy a enseñar el experimento y voy a ir recogiendo unos resultados. En control un tanto por ciento de conversión, en variante un tanto por ciento de conversión, comparo y la que mejores datos tenga me quedo con ella. Pero hasta qué punto sé que eso no depende de la suerte. No es algo aleatorio. Si lo estoy haciendo un test, por ejemplo, con pocos usuarios con un porcentaje de conversión un poquito bajo, ¿cómo sé que me puedo fiar de ese dato? Con los dos plugins que decías genéricos para vuelves no lo puedes saber. Solo puedes fiar de tu intuición o de tus conocimientos en estadística para ir a calcularlo. Lo que se hace en este caso es trabajar con una fórmula tan interesante, el valor p o p value. Esta fórmula que no la voy a leer, ni voy a describir lo que significa exactamente cada variable pero es una fórmula con la que se calcula un valor el p value que lo que hace es decirnos hasta qué punto podemos fiarnos de los datos que hemos recogido. Cuando ese valor es de 0,05 es que tenemos un 95 por ciento de probabilidades de que el resultado del experimento sea concluyente de que podemos refutar la hipótesis nula. La hipótesis nula es que el experimento no sirve para nada. Si ese valor es de 0,05 quiere decir que eso lo puede rechazar y que por tanto el experimento es un éxito. Y esto lo calcula Nelio. Nelio y Bitestin dentro de su configuración tiene un apartado en la que puedo especificar el tamaño mínimo de la muestra, la cantidad de usuarios que van a participar para que la muestra sea válida y cuál es el nivel de confianza que quiero. Normalmente viene por defecto 90 por ciento, eso es un poco pobre. Hay que cambiar el 95 por ciento que es el estándar de la industria, ¿de acuerdo? Y con esto yo ya sé que cuando la herramienta me diga que el resultado es fiable es realmente fiable, ¿vale? Creo que todo el mundo nos habíamos con un canto en los dientes de que tomamos decisiones de negocio un 95 por ciento fiable parece bastante razonable. Vamos a profundizar un poquito en Nelio y Bitestin. Disclaimer importante. Nelio y Bitestin está en el repositorio oficial de planes de WordPress pero tiene un límite en el uso y después hay que pagar por el servicio, ¿vale? Tiene una cuota abierta y luego hay que pagar. Es muchísimo más barato que ninguna de las herramientas que he dicho antes, pero requiere una inversión. Es una herramienta de negocio como muchos plugins de WooCommerce que hay que pagarlos porque está directamente relacionado con el negocio, ¿vale? Tiene todo el sentido. Cuando nosotros instalamos el plugin como os digo, podemos probarlo de manera gratuita hasta un número determinado de usuarios. ¿Qué cosas podemos testear? Aquí las tenéis. Páginas, entradas, CPT's de cualquier tipo, titulares de los contenidos podemos hacer mapas de calor, que no son propiamente Bitestin, pero ayudan en el análisis cualitativo. Plantillas de página, temas, widgets, bueno, aquí lo veis un poco todo. Oja de estilos, productos de WooCommerce, estos dos últimos son recientes incorporaciones. Los que hayáis probado esto hace unos meses no lo veréis seguramente. ¿De qué fases o qué cosas tengo que configurar dentro de mi prueba A-B? Lo primero, especificar qué es lo que quiero comparar, ¿vale? ¿Qué dos elementos quiero comparar? A continuación, decir cuál es el objetivo que quiero confirmar, ¿no? ¿Qué porcentaje de conversión? ¿De qué objetivo? Y en tercer lugar, ¿a quién le quiero hacer el test? Porque no hace falta que se logra a todos los usuarios de mi sitio. Por cierto, hay gente que con el A-B Bitestin está palmando un montón de pasta porque están, por ejemplo, comprobando una hipótesis que al final va a ser nula y la variante que están proponiendo convierte menos. Si la mitad del tráfico de mi sitio lo estoy llevando en una variante que convierte menos que la versión de control, estoy palmando pasta con toda esa gente. Cuidado con el A-B Bitestin. Claro, cuida con las pruebas. Vamos a verlo con un poquito más detalle y además con esta última funcionalidad del plugin, que es comparar por un producto o crear un test en un producto de bucomers. ¿Vale? En este caso tenemos el producto este del Happy Ninja, el judí este en la sudadera está de bucomers y lo que hacemos es decirle, oye, quiero crear una versión alternativa de esa página de producto. Abro el editor y aquí es simplemente, se me abre una copia del producto y puedo modificar lo que yo quiera. Yo recomiendo que modifiqueis pocas cosas para estar seguros de que lo que habéis modificado es lo que está afectando a la conversión. Bien, en este caso lo que hago es poner un copy creativo no hecho con chat gpt, ¿vale? Dos veces. Ahora lo que hago es decirle, ¿vale? ¿Cuál es el objetivo? En mi caso el objetivo es orden completada pero fijaros que tengo todas las situaciones de una orden normal de bucomers como objetivo de test, podría ser cualquier cosa. En este caso con un producto de bucomers tiene este sentido. ¿Qué cosas puedo meter como objetivo? Muy rápido. Una visita a una página, a una URL de mi sitio, un click a cualquier elemento, un botón, en un envío de un formulario, un click externo, un click de salida de mi sitio, un vídeo, reproducción de un vídeo, una compra, añadir el producto al carrito o cualquier evento de JavaScript que pueda montar en mi sitio. Y aquí ya todos los depth podéis empezar a echar volar vuestra imaginación. A continuación la segmentación. ¿A quién quiero enseñarle yo mi test para estar seguro que funciona bien? Y lo que puedo hacer es ir definiendo diferentes elementos de segmentación del público por ejemplo, URL de origen ¿De dónde viene mi tráfico? Parámetro de consulta, es decir, un parámetro que está en la barra de URL es, por ejemplo, un UTM. Solamente los usuarios que vienen de esta campaña que hicimos en meta les vamos a enseñar este test mundial. A nivel de usuario, ¿Qué idioma está hablando del usuario que me visita? ¿Dónde está? Si está logueado o no en el sistema de usuarios que hayan iniciado sesión. Día de la semana que quiero testear Franjo Hararia, si vas a pedir una pizza durante el partido de la selección española por ejemplo, navegador, tipo dispositivo, sistema operativo, ancho de la ventana ¿Vale? A nivel de diseño muy bien y finalmente cookie del usuario que se la puede haber puesto en cualquiera de esos eventos de JavaScript que he dicho antes puedo haberle marcado ahí y ahora se va a aumentar a estos. Y dirección IP. Esto la verdad es que en España no tiene mucho sentido porque en la dirección IP en España son las cosas más random pero bueno, está bien en otros sitios. Y muy interesante, no solamente elijo un segmento al que quiero lanzar el experimento, es que puedo crear tantos segmentos como quiera y cuando llegue el movimiento de los resultados ir viendo los resultados por cada uno de esos segmentos para ver si había alguna diferencia. Por ejemplo, lanzar un test en América Latina y luego separar los resultados por país y ver en qué país, en cada país cuál ha sido el resultado de forma más concreta. ¿Vale? Muy potente esto. Una vez que tenemos todo listo simplemente metemos en descripción el test aquí ser creativos porque si tenéis muchos 3 y mucha frecuencia de experimentación puede empezar ya un poco la confusión de qué es lo que estaba probando y finalmente escoger cómo queremos finalizar el test y aquí lo que podemos hacer es elegir entre finalización manual, yo me encargo duración, voy a tener una semana en marcha número de visitas o confianza, es decir le meto el porcentaje de significancia que quiero que veíamos antes al principio 90, 95, 97 y cuando llegue a ese nivel de confianza paro el experimento y tomo una decisión ¿Vale? Cuando lo hace el test lo que tenemos es esto, no hay ningún dato pero en unos cuantos días empezaremos a ver que algunos de los resultados empiezan a ir apareciendo instantáneamente, en tiempo real, olvidados de los rollos de Google Analytics, de 24, de Google Optimize, no, aquí no estamos seguros se van generando, los vamos viendo, ¿vale? y empiezan a llegar los datos. Cuando hemos adquirido el porcentaje de confianza necesario, yo allí arriba lo veis, confianza el 99 por ciento, estoy seguro de que Malibu compiña la variante tiene mejor conversión que el control, ¿vale? ¿Puedo ver además datos segmentados? Aquí está viendo cuál es la mejora, en este caso un 145 por ciento de mejora respecto al control, perfectamente justificado ¿Vale? Puedo entrar ya más datos para ver exactamente cuánto dinero más he ganado y esto es la bomba Cuando termino el experimento digo, ¿vale? Ahora ha ganado control o sea variante, tengo que ir, quitar control modificarlo para que se apare... No, no, no tienes que hacer nada, vives aquí y desaplicar la versión de control desaparece y la variante se pone como versión por defecto en la página web, no tengo que hacer nada con el experimento, es validado, lo publico y listo Nunca finalicéis un experimento si no tenéis todavía el grado de confianza necesario porque la lectoridad es increíble en este tipo de experiencias, ¿vale? Os dejo dos regalos, porque los que no quieren utilizar Nelio y prefieren utilizar para empezar esos dos plugins que estábamos hablando que no tienen sistema de verificación de la confiabilidad, os dejo dos enlaces para calcular el tiempo que tenéis que tener en marcha un experimento con vuestro porcentaje de conversión medio y con el tráfico que tenéis en el sitio y otro para calcular la confianza el grado de significancia, simplemente meter los datos a la calculadora y dice, ¿te puedes fiar de los datos o no? Tan simple como eso ¿Vale? Esta es la calculadora de importancia estadística, de significancia y esta es la calculadora de tiempo y de muestra por si no necesitáis, tenéis poco tráfico o lo que sea, necesitáis verificarlo así, ¿vale? Podéis descargaros si queréis la charla con los enlaces de este código QR y ya está, tan sencillo como eso, ¿vale? Os dejo hoy el regalito Segundo de cambio, cambio, tu, tu, tu tu, tu, tu los móviles Ahora sí, listos Si alguien tiene alguna pregunta ahora es el momento pero hay cinco minutos exactos para preguntas Venga ¿Has tenido gafas, hombre? Dependerá de las preguntas Tengo una chuleta para preguntas, si alguien quiere preguntar algo os puede enseñar preguntas Venga, danos alguna idea de dónde podemos sacar ideas para hacer test, sabe Pues mira, lo que comentaba antes durante la charla los sesgos cognitivos, buscar sesgos cognitivos es muy interesante, por ejemplo hay sesgos en los que os comentaba un poco en el caso de Berti el ser pensar que el usuario es muy vago a la hora de navegar es un buen elemento un buen punto de inicio para trabajar un test mejorar la navegabilidad digamos del sitio, eso es un punto interesante pero prácticamente tenemos unos 170 180 sesgos cognitivos que son muy bien aplicados al mundo del marketing de cualquiera de ellos puede salir hay uno muy curioso, que es el efecto Daring Cracker, que nosotros le llamamos el sesgo de cuñado por ejemplo, que es que siempre creemos que sabemos más de lo que realmente sabemos de las cosas hay otros sesgos, por ejemplo, que dicen que la primera información que ve el usuario es la que queda más fijada en su cerebro entonces, todo lo que nosotros listemos de descripción de un producto, siempre lo que queremos que se quede en el cerebro del usuario colocado en primer lugar, y si no, hacer un test a ver qué pasa como sé y ya has dicho que trabajas con product hackers que tenéis clientes muy tochos si hay algún que utilice WordPress y que os estáis planteando o que estáis utilizando Nelio porque el ejemplo de Malibu Compiña mola mucho pero era una prueba que habías hecho tú lo habéis podido hacer en alguno que puedas contar, obviamente No hemos hecho los test con Nelio utilizamos otro tipo de herramientas simplemente por la propia cultura que tiene la organización yo llevo en product hackers siete meses y estoy ahí metiendo cuñita os puedo decir que dos productos que estoy tratando de tener con fuerza es Nelio y por ejemplo Join Chat, que nos tienes ahí detrás vuestros, es una buena herramienta a nivel de marketing también pero sí que estamos trabajando con Testa B con otras herramientas, con WWW igual la última que está ahora en sitios web con WordPress de empresas por ejemplo que están facturando entre 7 y 8 millones al mes para que luego diga que WordPress no sirve para vender mucho pues 8 kilos de facturación y ahí estamos experimentando por ejemplo en este tipo de cosas pues ofertas que saltan en determinados momentos pop-ups, por ejemplo, que eso es muy interesante funcionamiento de los pop-ups la forma en la que se describen los productos las formas en las que se describen las preguntas frecuentes por ejemplo, si aparecen colapsadas o no aparecen colapsadas ese tipo de detalles el orden en el que listamos las características de los productos eso lo estamos testeando con esas herramientas gracias Fernando vale, muy puntual ese índice que calculas de valoración de esa actitud se basa aparte creo que el número de visitas imagínate, entiendo porcentaje de conversión porcentaje de conversión imagínate que tienes una página que tiene muchas visitas o lo contrario y de repente un bajo nivel de conversión entonces el índice no... tenía mucho más tiempo en el momento que tienes en las visitas y el porcentaje de conversión cuanto mayores sean más fáciles conseguir valores bajos de P que es lo que dan una significancia alta recordad que ahora un compañero voluntario va a acompañar a Pablo a la sala de ponentes y podéis seguir haciendo preguntas pero ahora tenemos que hacer el cambio de ponencia antes de que se me vaya la concha de plata tengo que darle la concha de plata