¿Cuáles son las ventajas y desventajas de hacer una investigación de usuarios con las mismas personas pero con muchos productos diferentes frente a todas las personas diferentes con muchos productos diferentes?

Para responder esto, debe considerar dos cosas:

1. ¿Sabrán estas personas que participan en un estudio?
Por ejemplo, si realiza una prueba A / B (muestra diferentes diseños a diferentes grupos), las personas pueden adivinar que están participando, pero no lo sabrán con certeza. Sin embargo, si realiza una prueba de usuario basada en el laboratorio, debe explicar claramente los propósitos a los participantes.

La experiencia previa y el conocimiento de los procedimientos y objetivos pueden influir en el resultado. Por ejemplo, las personas pueden intentar complacerte y darte las respuestas que creen que quieres tener.
Por lo tanto, en la mayoría de los casos, al realizar una investigación in situ, no querrá que las mismas personas participen en otro estudio durante algún tiempo.
Es un poco más relajado con experimentos “ciegos” como las pruebas A / B. Sin embargo, aún no querrá cambiar la variable (en el caso de las pruebas A / B, puede ser alguna versión del diseño) para las mismas personas con demasiada frecuencia, ya que pueden sospechar algo y actuar de manera menos natural.

2. ¿Qué es lo que realmente quieres encontrar?
Tengamos un ejemplo. Digamos, estamos asumiendo que hay algunas diferencias entre cómo las personas usan Google y Bing. Podemos diseñar diferentes estudios para tratar de descubrirlo.

– Haga que las personas que usan Google como su motor de búsqueda principal usen Bing. Quizás incluso querremos que no tengan ninguna experiencia con Bing. Y viceversa para los usuarios de Bing. Este estudio puede ayudarnos a comprender si hay alguna diferencia debido a su experiencia previa.

– Haga que los usuarios novatos que aún no hayan usado ningún motor de búsqueda (si es que los encontramos) usen Bing y Google. Aquí podemos idear diferentes diseños. Podemos hacer que un participante use solo un motor de búsqueda por estudio. Esto dará como resultado tener dos grupos: Bing y Google. Luego podemos comparar estos dos grupos y ver si hay alguna diferencia entre ellos.

O podemos hacer que los participantes novatos utilicen ambos motores de búsqueda. Con esta opción, debe tener en cuenta que la experiencia con el primer motor de búsqueda que utilizan puede influir en la experiencia con el segundo.
Puede dividir a los participantes en dos grupos, cada uno de los cuales comienza con uno u otro motor de búsqueda. Por lo tanto, podrá comparar estos grupos y determinar si la experiencia con un motor de búsqueda realmente influye en la experiencia con otro y si las experiencias con estos dos motores de búsqueda realmente difieren.

¿Ver? En el último diseño del estudio, en realidad hacemos que las mismas personas usen productos diferentes y se centren en preguntas de investigación ligeramente diferentes.
No es peor ni mejor que otras opciones, es simplemente diferente.

Por lo tanto, si está haciendo un estudio en el sitio y realmente está buscando averiguar si hay una influencia de una experiencia en otra, puede investigar con las mismas personas.

En otros casos, su apuesta segura es investigar con diferentes participantes.
También puede hacer experimentos a ciegas con las mismas personas (por ejemplo, si su audiencia es demasiado pequeña para tomar muestras diferentes). Pero tenga en cuenta que en algún momento las personas podrían sospechar que están participando en un experimento y eso podría influir en los resultados.