En este post pretendemos explicar las diferencias entre ambos tipos de test y cuando debemos aplicar uno u otro test.

Empezaremos pues por nuestro tratamiento estrella,

Test Multivariante

Características principales

Ideal para:

•    Testear páginas con bastante tráfico
•    Testear sobre páginas cuya distribución de contenidos se mantiene
•    Cuando queremos testear elementos (variables) concretas de una página

Desventajas:

•    Se requiere más tiempo para obtener resultados
•    Los códigos necesarios para poner este test en marcha son más complejos que con un test A/B

Explicación

Si habeis leído posts anteriores sabreis que la idea de un test multivariante es probar diferentes variaciones de un elemento (variable) dentro de una página web.

El objetivo principal de este tipo de experimentos es, además de encontrar la combinación de elementos, mejora las tasas de conversión, determinar que elemento/os concretos de una página son los responsables de los incrementos de conversión.

Veamos un ejemplo:

En la imagen superior hemos decidido hacer un test multivariante sobre la página de productos de nuestra fábrica de cajas de cartón.

Hemos escogidos dos elementos (variables) para realizar el test. Por un lado la imagen del producto (variable 1) y por otro, la llamada a la acción (variable 2) para realizar el pedido.

Para cada elemento, ofreceremos dos variaciones. Para la imagen de producto tendremos la imagen original y la imagen que deseamos testear. Para la llamada a la acción tendremos la llamada a la acción original y  la nueva llamada a la acción.

Testearemos por tanto 4 páginas: 2 variaciones (variable 1) x 2 variaciones (variable 2) = 4 posibles combinaciones

Como resultado, obtendremos no solo que combinación de elementos es la que mejor, sino también que elemento (variable) es el que más ayudo a la hora de convertir. Esto nos permitirá focalizar nuestras futuras acciones de optimización sobre aquellos elementos que tienen más influencia.

Test A/B

Características principales

Ideal para:

•    Páginas con poco tráfico
•    Cuando queremos cambiar la distribución de contenidos en una página
•    Cuando queremos cambiar el diseño o el mensaje de una página
•    Comenzar un experimento, si la página sobre la que realizamos el test requiere muchos cambios que consideramos básicos (desde el punto de vista de la usabilidad, accesibilidad etc) tal vez sea una buena idea comenzar realizando un test  A/B y refinar a continuación con un test multivariante.

Desventajas:

•    No indica que contenido o elemento es el causante de una mejoría o empeoramiento de la conversión
•    Puede darse el caso de que un elemento mejore la conversión y otro la empeore siendo el resultado que no hay mejora con respecto al original,

Explicación

La idea de un test A/B es probar 1 o más versiones de una página completa con respecto a la original.

Por tanto, el objetivo principal de este tipo de experimentos es, determinar que versión de una página convierte más (por convertir se entiende la realización de una acción deseable – comprar producto, suscribir a una newsletter etc.-).

En este ejemplo, estamos testeando la página original contra la opción A, en definitiva lo que estamos haciendo es un test multivariante con una sola variable (la página entera) y 2 variaciones (la original y la alternativa). Por tanto, podemos pensar en un test A/B/C o A/B/C/D en el que testeamos la página original frente a otras 2 ó 3 páginas respectivamente.

Como resultado de este test, obtendremos la página con mayor ratio de conversión, pero sin saber nunca que elementos fueron los causantes del aumento de la conversión.

Espero  que, con este post, hayan quedado claras las diferencias entre ambos test y te ayuden en la elección de uno u otro en tus experimentos.

Como siempre, cualquier duda que tengas no dudes en preguntarla.

Lo primero ¿reemplazan los segmentos avanzados a los perfiles y filtros?

Nuestra respuesta es No, pero sí somos conscientes que en algunos casos basta con crear un segmento avanzado en lugar de utilizar un perfil con los filtros equivalentes.

¿Cuáles son estos casos?

Claramente nuestros amigos de Google saben lo que hacen porque los segmentos avanzados predefinidos, son en gran medida aquellos segmentos para lo que normalmente definíamos un perfil y aplicábamos los filtros necesarios. En cambio ahora con esta funcionalidad nos parece más sencillo optar por usarlos.

(Nota: Si quieres 100% de precisión en el reporte de keywords, es decir, mantener todos los datos del long tail entonces deberás seguir usando perfiles)

¿Cuáles son las grandes diferencias de los segmentos avanzados con los filtros y perfiles?

1. Los segmentos avanzados son retrospectivos, esto quiere decir que los podemos crear hoy y analizar nuestro tráfico histórico con el criterio que especifica el segmento. Los filtros y perfiles en cambio sólo permiten analizar el tráfico desde la creación del perfil y/o la definición del filtro (o filtros)
2. Los segmentos avanzados operan a nivel de visitas y los filtros actúan sobre cada hit (página vista, transacción, item, etc…) que recibe Google Analytics. Un ejemplo claro de ésto es lo que ocurre cuando definimos un segmento avanzado basado en el criterio content/page en lugar de ver sólo el tráfico a esa página que es lo que ocurriría en el caso de un filtro equivalente, el segmento nos muestra el tráfico de las visitas que han visto esa página e incluye otros contenidos vistos en la misma visita.
3. Los filtros permiten transformar la información. Por ejemplo si queremos combinar la Request URI con el Title de una página, solo lo podremos hacer con un filtro.

Lo bueno de los segmentos avanzados

1. Bueno es poco para describir el hecho de poder aplicar criterios de análisis de forma retrospectiva. Esta es una de las cualidades más importantes que tiene esta funcionalidad. Cuando uno está conduciendo un análisis del tráfico de un sitio web, siempre surgen nuevas preguntas que en muchos casos plantean la necesidad de segmentar la información de una forma que no había sido considerada inicialmente.
2. El hecho que los segmentos avanzados operen a nivel de visita en lugar de hits nos abre nuevas posibilidades de análisis. Preguntas como:
   ¿Que hicieron las visitas que compraron?
   ¿Que hicieron las visitas que contestaron la encuesta?
   ¿Que hicieron las visitas que vieron más de 2 páginas y se quedaron más de 3 minutos en el sitio?
   Donde el ¿qué hicieron? es en realidad ¿de qué origen venían?, ¿qué contenidos vieron?, ¿utilizaron el buscador interno?, ¿en qué pagina abandonaron el sitio? y todo lo que Google Analytics nos permite saber de nuestras visitas.

Lo malo de los segmentos avanzados

1. Algo que no nos gusta de la funcionalidad es que exista tan poca documentación, pero creemos que esto cambiara cuando deje de ser Beta.
2. Esta desinformación afecta no solo en la creación de los segmentos si no también en la interpretación de los reportes. Para ciertos criterios como el número de visitas que ha hecho el usuario, por ejemplo incluir las visitas que sean la tercera o más visita de un usuario, los reportes no nos mostrarán el número de visitantes únicos. Esto no es un error o un bug, es una decisión de diseño (desafortunadamente no se indica en ninguna parte).
3. Los reportes de los segmentos avanzados padecen del mismo muestreo que el cross-segmenting o segmentación cruzada en los reportes normales y esto hace que en algunos caso ya sea porque la muestra es muy pequeña o porque el reporte tiene mucha dispersión (como es el caso del reporte de Keywords) los rangos o intervalos propuestos para los valores mostrados en los reportes sean excesivos.

Esto ocurre porque Google Analytics no puede pre-calcular toda la información, todas las posible consultas que sus usuarios harán a la plataforma y opta por un sistema de reporte que sea más eficiente a costa de la exactitud de los reportes.

Lo feo de los segmentos avanzados

1. Los bugs por ser una beta aún, y especialmente el no saber que es un bug y que no lo es. Uno en especial que no nos gusta es el que ocurre al llegar al reporte de Información del Contenido. A pesar de tener un segmento aplicado, la información que refleja este reporte no es correcta y no concuerda con el reporte previo Contenido Principal ni con el reporte que resulta de hacer segmentación cruzada. Hemos cotejado nuestro punto de vista con Google y nos han pedido que seamos pacientes. Nos han dicho que la funcionalidad esta en Beta y por eso hay algunas cosas que mejorar. Conocemos al equipo de Google Analytics y sabemos que están haciendo su mejor esfuerzo por entregarnos el mejor producto posible.

Concluimos diciendo que una vez esta funcionalidad haya superado la beta totalmente, eliminará uno de los puntos débiles de Google Analytics pudiendo competir sin ningún problema contra las herramientas de pago.

]]> http://www.doctormetrics.com/2008/11/24/google-analytics-advanced-segments-lo-bueno-lo-feo-y-lo-malo/feed/ http://www.doctormetrics.com/2008/11/24/google-analytics-advanced-segments-lo-bueno-lo-feo-y-lo-malo/ http://feeds.feedburner.com/~r/DoctorMetrics/~3/454599932/ http://www.doctormetrics.com/2008/11/16/google-dia-4-urchin-6-el-hermano-mayor-y-%c2%bfmas-aventajado/#comments Sun, 16 Nov 2008 06:40:40 +0000 admin http://www.doctormetrics.com/?p=152 Y llegó el último día en GoogleLand, reservado para hablar de lo que originó Google Analytics y que vuelve con más fuerza que nunca: Urchin software.

Los que creían que este software se dejaría de desarrollar, están totalmente equivocados. Donde no llegue GA llegará Urchin y sino tiempo al tiempo con las nuevas funcionalidades.

Ya sabíamos que la nueva versión Urchin 6 se asemejaba a la versión de Google Analytics v1 pero para aquellos que desearan ser propietarios de sus datos. Lo que quizás no tanta gente sepa son 3 de las cualidades que lo caracterizan y diferencian de GA:

1. Puedes reprocesar información del pasado
2. No hace falta que esperes a obtener los datos, los actualizas cuando tu deseas
3. Obtienes  además la información técnica derivada del servidor

Si le añadís ahora su capacidad para hacer reportes a medida o identicar a los usuarios de forma única, para su seguimiento individual e integración con CRMs, se empieza a vislumbrar su verdadera potencia. No olvidemos que al ser una herramienta híbrida puede tanto recoger la información derivada de los tags como de los logs.

Para ponernos en el papel que esta herramienta tiene que jugar, Google nos regaló una camiseta algo guerrillera.

Y tras ver la nueva versión 6.5 del software, presenciar lo que será el futuro de la misma, discutir con los creadores y desarrolladores sobre nuestras peticiones y futuras funcionalidades, podemos asegurar que dará mucha “guerra”.

Y colorín, colorado este cuento se ha acabado. Google se despidió de nosotros en uno de los locales de moda de Mountain View hasta altas horas de la noche. La experiencia ha sido inolvidable, sobretodo porque será dificil que se repita. El número de partners se está multiplicando muy rápidamente en todo el mundo y lo más probable es que el próximo summit ya no se realice en la central de Google sino en otro lugar o incluso solo localmente en cada país.

Por nuestra parte, e intentando empezar otra vez la historia, nos hicimos la foto de rigor en el escenario que tantos piropos recibe. Merecidos o no, uno de los secretos de Google es hacer funcionar una máquina gigantesca mediante pequeñas unidades interrelacionadas, tener mega motivada a su gente y no sólo contar con “cerebritos” sino con “personas” que valen la pena. Gracias Alan, Dyana, Trevor, Scott, Brett, etc, etc… (¡¡Estela recupérate pronto!!)

Los fundadores del software (Urchin) Scott y Brett Crosby nos han desvelado cuales van a ser los planes estratégicos y de marketing para el 2009. Los partners vamos a tener un papel muy destacado y las acciones a nivel mundial a desplegar son sumamente ambiciosas.

Además de esto diferentes partners de todo el mundo expusieron casos de estudio sobre Google Analytics. Realmente es increible el grado de costumización que esta herramienta puede llegar a conseguir. Esta claro que el modelo que sigue es de un open source en el que la comunidad es parte esencial de la herramienta.

Una de las conclusiones que podeis sacar es que cuanto más breves sean estos posts, más cosas interesantes y confidenciales se habrán tratado. Os avanzo ya que os fascinarán.

El postre para el día de hoy ha sido…: carreras de Karts indoor entre todos los paises, para generar adrenalina quemando neumáticos en el circuito.

Mañana fotos y detalles del último día en Google Mountain View.

Hoy el summit se ha dedicado exclusivamente a diseccionar las entrañas de Google Analytics a nivel técnico. Además nos tenían una sorpresita: ¡¡ha venido Vint Cerf el creador de internet a dar una charla!!

Este distingido caballero es el responsable de los que nos dedicamos a esto de la web tengamos trabajo. Vint Cerf, padre de internet, inventor del email y de las cookies, es un cachondo de mucho cuidao. La primera slide que mostró fue su investidura en la Universidad de Zaragoza como Doctor Honoris Causa, ataviado con la toga, el birrete, el cetro, lo único que se le ocurrió en esa tesitura fue hacer el saludo de Start Trek con la mano.

Sólo para que os hagais una idea de lo que nos contó este genio, contratado por Google como asesor intelectual, nos explicó como en los últimos 10 años ha estado desarrollando para la NASA un sistema, como el internet que conocemos, para comunicarse interplanetariamente…

Amante de la paella, desde Multiplica aprovechamos la ocasión para hacerle una pregunta muy inteligente: Mister Cerf, could I take you a photograf ? (biennn, dejando el país bien arriba)

El resto de la jornada no ha sido menos excitante:
- Coloquio con los creadores de la bestía (GA) para preguntarles por todas nuestras dudas y deseos
- Speech de Phil Mui, el jefazo técnico de Google Analytics, y de cada uno de sus ingenieros
- Presentación del API de Google Analytics y de todas sus posibilidades
- El creador de los motion charts, un showman sueco, nos dejó boquiabiertos con sus posibles aplicaciones
- Explicación del modelo de datos que hay por debajo de Analytics
- Acceso a la nueva integración entre Adsense y Analytics
- Y por último y alto secreto (nos han hecho levantar la mano derecha y jurar sobre la biblia) las próximas funcionalidades de lo que será el Google Analytics de aquí a 1 año y el sistema de lo que tiene que ser el sustituto de las cookies… ¡¡¡¡¡¡¡¡¡¡FLIPAAAAANNNNNTE!!!!!!!!!

Ahora esperaros al postre. Fin de fiesta haciendo un tour por Google.

Tras semejante tour y ya en el hotel, uno se mira al espejo y ve un niño de 5 años gritando: “maaammmaaaá, déjame subir otra vez a los caballitos, por faaaaaaa” porque Disneyland o mejor dicho GoogleLand tiene estas cosas…

Lo resumimos en una palabra…Amazing!!!
- Más de 200 partners de todo el mundo especializados en analítica web y test multivariante.
- Los Gurus más representativos del momento: Tom Leung, Tim Ash, Justin Cutroni, etc.
- Futuras funcionalidades “Top secret”
- Trucos de la mano de los programadores de Optimizer

Todo esto en el mejor entorno posible, la cuna del internet moderno, la central de Google USA ¿qué significa esto?
- Desayunos, snacks, instalaciones, atmósfera a su estilo o como diría aquel: ¡¡¡todo gratis vaya!!!

¿Se puede pedir algo más? Sí
Multiplica fue seleccionada entre más de 200 partners para presentar una nueva funcionalidad de Google Optimizer.

Tras exponerla, nuestra idea quedó en segunda posición, ganando 500 dólares en Adwords como premio.

La guinda del pastel fue cuando además recibimos por sorteo un ejemplar del libro de Tim Ash.

¿Enchufe con Google?

Ojalá que sí

Mañana más.

¿Aún no sabes para que usar Website Optimizer? pues ya estás leyendo nuestro blog!.

Para celebrarlo, el Doctor Analytics y un servidor se van a a Google a conocer a los padres de la criatura y, de paso, a que nos cuenten nuevos secretos y funcionalidades de la herramienta.

Trataremos de ir informando de todo lo que veamos puntualmente así que a partir del 10 de Noviembre estén atentos al Blog.

Doctor Optimizer

Google eligió ayer el eMetrics Summit de Washington, D.C. para dar a conocer sus nuevas funcionalidades que se irán gradualmente implementando en beta para todas las cuentas. Las nuevas funcionalidades son la posibilidad de realizar una segmentación avanzada, la posibilidad de crear reportes customizados, una mejora sustancial en la forma de visualizar datos cruzados y una mejor interfaz para la administración de las cuentas. Existen otras dos mejoras como son la integración de los reports de AdSense en tu cuenta de GA y la exportación de datos para la API de GA pero están en fase de beta privada todavía.

La segmentación avanzada será una mejora sustancial en el bisturí del doctor metrics para poder diseccionar en profundidad los datos de tu web. Se podrá aislar y analizar subconjuntos del tráfico al site, seleccionarlos desde segmentos predefinidos como tráfico de un determinado origen o visitas con conversiones, crear tus propios segmentos y una de las más demandadas peticiones a Google la aplicación de estos segmentos a datos históricos.

Porque cada web es distinta y no todos los indicadores son relevantes para todas las webs, la nueva funcionalidad para crear reportes personalizados, permitirá construir los reportes que más se acerquen a tus necesidades, pudiendo elegir la información y métricas que quieres que se muestre en el informe, además con una interfaz fácil y sencilla arrastrando y soltando los elementos que lo formarán.

Si estos informes son exactamente lo que necesitabas, espera a ver los gráficos animados en los que poder mostrar análisis multidimensionales donde podrás ver cómo evolucionan e interactúan en el tiempo tus datos.

Y para aquellos que manejan un gran número de cuentas se ha mejorado la interfaz de gestión y monitoreo de las cuentas con una navegación más sencilla entre cuentas y que mostrará métricas de visitas, tiempo en el sitio o bounce rate de un simple vistazo.

Este es el acceso a la nota oficial del blog de Google Analytics sobre sus nuevas funcionalidades y aquí encontrarás todos los videos explicativos de estas.

Se abre todo un abanico de nuevas posibilidades de acceso a los datos a través de la herramienta de Google. Tan sólo nos queda esperar a poder disfrutarlas, pero ya podemos ir pensando en sus aplicaciones, a si que dinos qué mejoras se te ocurren para el día a día del análisis en tu site.

El día empezó fuerte con la presentación de Jon Aizen, Co-founder y CTO de Dapper.net. Que qué es dapper, es una aplicación que permite servir anuncios relevantes para nuestros usuarios de forma dinámica. Ofrece servicios e información altamente relacionada con el contenido de nuestra web a través de un sistema de feeds, permitiendo la interacción del usuario con el propio anuncio desde nuestra web. Para más información podéis ver la demo de dapper.

Siguió Pere Rovira con unos apuntes de cómo poder medir las redes sociales. Destacó fundamentalmente dos aspectos que toda red social debería conocer: el número de usuarios (y sus características) y la actividad que desarrollan; es decir, cuánto es usada la red, su frecuencia de uso. Y después como en todo buen análisis de un sitio web y ejercicio de analítica web: la “Segmentación”. Le siguió Pontus Kritiansson, Co-founder de Avail Intelligence que nos habló de su solución de behavioral merchyising para retailers. Le siguió Nicolas Meriel, Team Lead Test & Target EMEA en Omniture que nos abrió los ojos de lo impredecible que pueden ser los resultados de un test multivariante y que a priori la opción que pensamos más adecuada, puede que no sea la que más le guste a nuestros usuarios (aunque el plato fuerte del multitesting vino después de comer).

Siguieron después los dos paneles del día. El primero de ellos centrado en la medición del impacto del diseño de nuestra web con Enric Quintero, Founder de Metriplica y doctor en métricas…; Maria Perez, Head of design and usability en Atrapalo; Nicolas Meriel, Team Lead Test & Target EMEA en Omniture; Steen Rasmussen, Senior partner y co-founder de IIH Copenhagen y Volker Ballueder, Business Development Manager en WebCertain. Todos ellos estuvieron de acuerdo en que las difíciles y a veces arbitrarias decisiones de diseño tenían que basarse en los números, en el testeo con los usuarios. Y que estas soluciones dependían muy mucho del comportamiento de los usuarios de nuestra web, del periodo de tiempo, de los diferentes segmentos y diferentes orígenes de nuestro tráfico. La idea para crear un buen diseño y convencer a nuestros usuarios: “Be creative, think out de the box”. Cabe destacar las brillantes ideas que compartió con nostros María una diseñadora que cree en los números.

El segundo panel contaba con la participación de Pere Rovira, Web Analyst en WebAnalytics.es; Adrián Segovia, Head de e-Marketing en Prisacom; Patrick Dost, Country Manager para España en Nedstat y Lars Nordström, Sales EMEA/UK en L-sdet. Que nos hablaron de las herramientas, peculiaridades y necesidades de medición de los medios online.

Después de la comida vino el plato fuerte, los workshops: el Eye Tracking realizado por Tommy Stryvall, Training Manager en Tobii Technology AB y Ricardo Matos, PhD en Tobii Technology AB y el nuestro sobre Multivariate testing con Fernando Gavarrón, Manuel Rodríguez y Gonzalo López, Multiplica. Expuso el proceso de mejora continua de una web y cómo conseguirlo a través del ejemplo del testeo de la home de MyBestPlay. Los participantes pudieron aprender qué partes de una web testear en un testeo multivariante y la diferencia con un test A/B. De la misma forma pudieron realizar con sus propias manos sus propuestas de nuevas home a testear.

Para terminar la tarde, pudimos ver a Sergio Maldonado founder and manager de MV Consultoria que nos habló sobre el seguimiento de los proyectos de seo a través de la analítica web. Jaume Clotet founder of Netsuus nos demostró su pasión por la analítica web y nos habló de la necesidad de transformar los datos que nos da cualquier herramienta de analítica en conocimiento válido sobre lo que sucede en nuestra web y poder tomar decisiones de mejora basadas en ese conocimiento. Y terminamos con la presentación de Víctor PhD student en Computer Science and Digital Comunication program  en la Univetsitat Pompeu Fabra de Barcelonade su herramienta de visualización de la estructura y patrones de navegación de nuestra web, de la que ya hablamos en este post de doctor metrics y puede ayudarnos a descubrir cosas muy interesantes sobre la usabilidad de nuestra web.

En definitiva, un día largo e interesante en el que pudimos ver cómo la analítica web esta cada vez más presente en la toma de decisiones sobre los cambios y mejoras que debemos implementar en nuestro sitio web, para conseguir una mayor satisfacción de nuestros usuarios y una mejor optimización de nuestros objetivos de negocio online.

Las recomendaciones de este “libro blanco” se guían por los principios de: consenso entre las partes, solvencia y viabilidad técnica (difícil de alcanzar este punto ante los diferentes métodos y medios utilizados por las distintas herramientas de medición), transparencia, adaptación al mercado nacional, útil para el mercado publicitario y unicidad (que como con los papeles de colores, todos acepten un mismo valor consensuado).

El objetivo que se han planteado es tanto la cuantificación de los individuos como la identificación de sus comportamientos en los medios digitales. Para ello, es necesaria la identificación de un buen censo y garantizar la representatividad de la muestra para poder inferir datos básicos como: la cobertura del medio, el tiempo de consumo y su audiencia media. Estos datos se encontrarían en un doble eje. El primero sería un eje vertical de análisis de los contenidos y un segundo eje temporal que reflejaría la secuencia cronológica de consumo de estos contenidos.

El “Libro blanco de medición de audiencias digitales” propone la denominación de “Vista” como la unidad mínima de contenido que se pueda consumir caminando más allá de la típica página vista. Según se explica en el propio documento: “una página en la que se muestra una noticia (texto y fotos) y un vídeo. …, mediremos una página vista que estará compuesta por dos VISTAS medibles: la página en sí y el vídeo”.

Para más información, puedes descargarte el documento desde la página del AIMC: Libro blanco IAB-AIMC de medición de audiencias digitales (pdf, 119Kb).

Nuestra única duda es:
¿por qué en la elaboración de este libro no ha participado ningún experto de medición web?