¿Cómo valorar un cambio si no hiciste un test?

No nos engañemos, la única manera fiable de verdad de poner a prueba un cambio en nuestro sitio web o nuestra app para móvil es realizar un test (A/B o multivariante).

 

cambios test

 

Supongamos que queremos cambiar el formulario para suscribirse a la newsletter, o la ubicación o el diseño del botón de añadir un producto al carrito.  Lo que se busca es optimizar, lograr que la tasa de conversión del objetivo que se alcanza a través de ellos aumente (lograr suscripciones o la adición de productos a la cesta de la compra en nuestros ejemplos).

Claro, tanto en la tasa de conversión como en el resto de métricas hay muchos factores que influyen: estacionalidad, campañas, tendencias a largo plazo debidas a la situación del mercado, etc. Pero los test nos permiten aislarnos en gran medida de todo eso. El desempeño de la versión original y los cambios a probar se va medir durante el mismo periodo y bajo las mismas circunstancias. A igualdad de condiciones, se puede decir que el factor determinante será el elemento que estamos poniendo a prueba.

Durante el tiempo que dure el test, a los diferentes visitantes que vayan llegando les iremos mostrando, o bien la versión original o la/s variante/s.

Hay muchas otras, pero la herramienta para hacer tests que incorpora Google Analytics se llama “Experimentos de contenido” y puede encontrarse en el apartado de “Comportamiento” de los informes.

 

experimentos google analytics

 

Pasado un tiempo, si el experimento estaba bien planteado, obtendremos el resultado: es decir, si la alternativa propuesta supone una mejoría con respecto al original (y en qué medida) o no.

 

experimentos google analytics

 

Perfecto, esta es la manera correcta de hacer las cosas. Pero es más frecuente de lo que quisiéramos encontrarnos en la situación de que se nos pida analizar un cambio en un sitio web o una app cuando éste ya se ha hecho, sin ofrecernos la oportunidad de hacer un test.

Es una situación complicada y hay que tomar ciertas precauciones para no llegar a conclusiones equivocadas. De hecho, es probable que nuestro análisis no sea concluyente.

Cosas a tener en cuenta:

 

 No debemos iniciar el análisis con ideas preconcebidas.

Por muy claro que veamos que el nuevo diseño o ubicación es mejor que el anterior, por muchos estudios que apoyen que tal o cual color incita a la acción más que otro, nunca hay que dar por hecho que el cambio va a funcionar mejor (ni lo contrario). Corremos el riesgo de “torturar” los datos hasta que nos digan lo que queremos oír, sea o no sea verdad.

 

 Hay que elegir bien cómo vamos a valorar el cambio.

No hay que basarse en valores absolutos (número de conversiones totales), sino en la tasa de conversión. Y ésta, segmentando las sesiones de modo que solo tengamos en cuenta aquellas que han llegado a ver el elemento que ha sufrido el cambio. Si no, estará entrando también en la ecuación el hecho de que pueda haber aumentado o disminuido el número de usuarios que llegan hasta la página en cuestión.

Por ejemplo, si estamos analizando el desempeño del nuevo botón “agregar al carrito” con respecto al viejo, y menos usuarios están llegando a las fichas de producto porque nuestra nueva colección no está gustando, evidentemente, si calculamos la tasa de conversión con respecto a todas las visitas, está bajará y no será por culpa del botón. Debemos aplicar un segmento que sólo tome en cuenta las sesiones que incluyeron la página de producto, en este caso.

 

Se debe buscar un cambio claro en el valor del indicador y  que coincida en el tiempo con el cambio en la web o en la app.

No hay que comparar el valor del indicador elegido en un periodo previo al cambio con el valor del mismo indicador en un periodo posterior. Eso nos puede llevar a engaño. Veamos un ejemplo:

tasa conversión

 

A mediados de mes se cambió el elemento analizado. Si calculamos la tasa de conversión media de la primera quincena y la comparamos con la tasa de conversión media para la segunda, el resultado de la comparación nos dirá que antes del cambio la tasa de conversión era mayor. Es cierto, pero no es por culpa del nuevo botón/diseño de formulario/etc.  Lo único que se le podría echar en cara es que no fue capaz de frenar la caída. Pero no nos engañemos, una tendencia motivada por poderosas razones, como una estacionalidad natural y pronunciada, difícilmente la podrá enmendar (o estropear) un cambio de color en un botón.

Si hay estacionalidad, la eliminaríamos si comparamos el periodo con su equivalente en el año anterior. Pero seguirá habiendo otros factores que justifiquen un incremento o un descenso en el indicador.

¿Qué podríamos pensar si realizamos esa clase de análisis en esta otra situación?

 

tasa conversión

 

Evidentemente, la tasa de conversión es superior tras el cambio, pero la tendencia venía de más atrás.

Podemos ampliar el periodo analizado lo que queramos, pero lo único que veremos será tendencias a más largo plazo debidas a causas totalmente ajenas al cambio que estamos valorando.

¿Qué nos podría indicar que el cambio introducido ha supuesto una mejora? Un cambio abrupto como éste:

 

tasa conversión

 

Una vez confirmado que ese mismo día no hubiera otros factores que pudieran haber influido (otros cambios, el lanzamiento de un nuevo producto muy deseado y más añadido al carrito que la media…), podemos sentarnos a analizar lo que la gráfica nos muestra.

Es cierto, había una tendencia a la baja que se mantiene, pero el cambio analizado introdujo un incremento brusco del indicador, justo ese día,  a partir del cual la tendencia sigue su curso.

El nuevo formulario (o el nuevo botón, o lo que sea) parece funcionar mejor. La tasa de conversión fluctuará debido a la presencia de campañas o la falta de ellas, de cambios en nuestro catálogo, tendencias estacionales, etc. pero sobre un punto de partida un escalón por encima gracias a la optimización lograda por el cambio.

Este último ejemplo es muy claro y evidente, pero no siempre va a ser así. Insistimos en que el análisis de un cambio a posteriori es el último recurso y que siempre hay que tratar de realizar tests. Es más sencillo de lo que parece y sus resultados son siempre más fiables y concluyentes.

Y si os habéis quedado con ganas de saber más sobre cómo hacer un test en Google Analytics, cuando Google lanzó esta funcionalidad ya le dedicamos un artículo en el que explicábamos cómo usarla. Aunque la ubicación exacta y la interfaz mostrada en las capturas de pantalla han cambiado algo, la forma de crear el test es básicamente la misma. Para más detalles, te animamos a leerlo:

https://www.doctormetrics.com/2012/06/21/content-experiment/

También puedes dejarnos tus dudas sobre esta materia en los comentarios.

Autor:

Analista Web en en Metriplica, Expertos en Analítica Web. Ingeniero informático por la Universidad Politécnica de Valencia y postgrado en analítica web por la OBS/Universidad de Cataluña.

3 Comments

  1. Excelente! El post refleja exactamente la motivación del test A/B, y aquí mi duda.. cuantos días y entradas a la página consideras que deberías tener en cuenta para realmente dar por finalizado el experimento?

    Muchas gracias por ese pedazo de post!

    David Barrera
    consultor SEO

  2. Raúl Galve

    Muchas gracias, David.

    Más que entradas, lo que se necesitará es tener un mínimo de conversiones en ella (al menos 100) para que el resultado sea mínimamente fiable. Viendo el porcentaje de usuarios que pulsan el botón que estamos sometiendo a prueba, por ejemplo, y sabiendo la media de visitas que tenemos al día/semana/mes, podremos estimar fácilmente la duración mínima del test.

    De todos modos, por muy rápido que seamos capaces de alcanzar ese mínimo de 100 conversiones, es recomendable que el test dure al menos 20 días.

    En cualquier caso, las herramientas de testing dan los resultados del test junto con su dispersión o su significancia estadística (las probabilidades de que un resultado no se deba al azar), lo cual nos facilita el valorar en qué medida nos podemos fiar del resultado de la prueba o no.

    Espero haberte ayudado.

    Un saludo.

  3. Muchas gracias Raúl! No tenia claro si era mejor llegar a un % de conversiones o aumentar el tiempo. Te lo agradezco!!

    Un abrazo!

    David Barrera

Leave Comment

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.