Uno de las formas más flexibles, rápidas y económicas de realizar encuestas es a través de Internet. Cada vez se utiliza más este método para conocer los gustos, opiniones y tendencias de los usuarios, siempre que dispongan de una conexión a Internet.
Existen miles de guías y consejos sobre cómo segmentar a nuestra audiencia, cómo diseñar la mejor encuesta, o cómo interpretar los resultados…pero, una vez completada nuestra encuesta, ¿cómo de fiables son estos resultados? ¿Tenemos una muestra adecuada y suficiente de respuestas para afirmar que nuestras conclusiones son válidas?
Para responder a estas preguntas, es fundamental conocer dos conceptos clave: el intervalo de confianza y el nivel de confianza.
El intervalo de confianza define el “abanico” dentro del cual son fiables las respuestas obtenidas. Por ejemplo, para un intervalo de confianza de 3, si el 37% de los usuarios que han contestado a una pregunta ha elegido una respuesta determinada, podemos tener la certeza de que si hubiéramos preguntado la misma pregunta a la totalidad de la población relevante, entre un 34% (37-3) y un 40% (37+3) de la misma habría elegido esa misma respuesta.
Esta certeza viene determinada por el nivel de confianza, que nos dice lo seguros que podemos estar. Un nivel de confianza del 99% indica que tenemos un 99% de certeza que las respuestas de nuestra audiencia estarán dentro del intervalo de confianza definido. Es decir, aplicándolo al ejemplo anterior, tendríamos un 99% de seguridad que entre el 34% y el 40% de la totalidad de la población relevante habría elegido la respuesta indicada.
Por regla general, se considera aceptable un nivel de confianza del 95%. Aunque normalmente se considera aceptable un intervalo de confianza del 5%, cuando el volumen de las respuestas se distribuye uniformemente entre 2 o más de ellas, podríamos necesitar reducir notablemente el % para poder llegar a alguna conclusión.
Por otra parte, cuanto mayor sea el tamaño de nuestra muestra, más seguridad tendremos que sus respuestas reflejen verdaderamente a las de la totalidad de la población relevante, aunque esta relación no es lineal. A partir de un volumen determinado de la muestra, ésta será lo suficientemente grande para representar a toda la población, sea cual sea su tamaño.
Un factor a recordar cuando lancemos nuestra encuesta online es la cantidad de respuestas abiertas que hemos incluido en ella. Es importante tener en cuenta que, por regla general, las respuestas abiertas deben ser analizadas “manualmente”, y un volumen considerable de respuestas conllevará una carga de trabajo proporcionalmente elevada. Por tanto, no es necesario recoger más respuestas de las necesarias (salvo que dispongamos de tiempo de sobra para revisar todas las respuestas), y se recomienda cerrar la encuesta cuando hayamos alcanzado un número suficiente de ellas. De lo contrario podríamos desanimarnos a estudiar detenidamente estas respuestas, que muchas veces valen su peso en oro y pueden suponer el “feedback” más importante de los encuestados.
Existen muchas herramientas de cálculo de muestras, niveles e intervalos de confianza. Por ejemplo, The Survey System ofrece una calculadora muy útil para incrementar tu nivel de confianza respecto a tu muestra de encuestados
4 comentarios en “Fiabilidad de las muestras de las encuestas online”
Me gusta! lo unico que se te olvida una cosa muy importante. el universo al que nos referimos. Es decir, no es lo mismo buscar una muestra para sacar conclusiones que se refieran a todos los humanos mayores de 4 años españoles (un porron de millones de gente) que los usuarios de spectrum 64K.
en cuanto a las preguntas abiertas, lo habitual es que se conviertan a respuestas manejables desde el punto de vista cuantitativo. Generalmente se hace por frecuncia de las respuestas y se les asigna un umerito que luego nos servira para analizar….
Un saludo!!
Muy buen post. Muy bien expuesto y muy claro. Es sorprendente la cantidad de veces que se desprecia el diseño muestral, sin entender que compromete todo el trabajo posterior. Un saludo.
enhorabuena por el articulo.
Es un factor muy importante y que pocas veces se tiene en cuenta a la hora de diseñar encuestas.
Nosotros hemos visto que muchas veces se dispone de una base de datos muy grande para enviar una encuesta online y en lugar de extraer una muestra se envía a la totalidad de la base, cuando se podría seleccionar y el error muestral sería el mismo. Otras veces por reducir costes se reducen las muestras y el error muestral se dispara. El gran problema de los estudios online es la representatividad: al no tratarse de un estudio probabilístico (no todos tienen la misma probabilidad de contestar) la clave es reducir la no respuesta, es decir: lograr que conteste el mayor número de personas posible.
En nuestro blog hablamos del tema de vez en cuando, aqui os lo dejo:
http://www.solucionesnetquest.com/actualidad
un saludo
Aunque hace ya mucho tiempo de este post yo lo acabo de descubrir y no puedo evitar avisar que hay una confusión terminológica en el texto que tiene su origen en la página que usais de base para el post.
El intervalo de confianza es el ‘abanico’ en el que oscilarían las respuestas a una pregunta si repitieramos la encuesta muchas veces. Eso más o menos se parece a lo que decis. Pero ese ‘abanico’ está hecho del porcentaje que obtenemos + el margen de error. A pesar de lo que dice la página que habéis traducido y del término que usa la calculadorita, el margen de error y el intervalo de confianza no son la misma cosa: el margen de error es la distancia máxima a la que está el valor real con un cierto nivel de confianza y el intervalo de confianza es el doble del margen de error, +/- el margen de error.
El cuarto párrafo debería decir ‘El intervalo de confianza define el “abanico” dentro del cual son fiables las respuestas obtenidas. Por ejemplo, para un margen de error de 3, si el 37% de los usuarios que han contestado…’