¿Cuáles son algunos ejemplos de cómo se utilizan los datos para justificar malas prácticas de desarrollo de productos?

He visto compañías que creen que los datos provienen de la Biblia. Muchas compañías hacen pruebas A / B, y lo están haciendo mal.

Cualquier prueba A / B que incluya visitantes anteriores debe realizarse durante semanas después de la primera vez que la vean (o más) para que se “acostumbren”. De lo contrario, solo está probando una “cosa pecaminosa” que los atrae , y no realmente la cosa en sí.

He visto una prueba de la compañía para el rendimiento de conversión e incluyo tráfico ya convertido en los datos de prueba. Entonces, si el grupo A era el control y el grupo B era lo que estaban probando. Pusieron a personas que ya se habían convertido en ambos grupos. Los datos estaban totalmente destruidos, pero nadie tenía las bolas para señalarlo, excepto yo. Los malos datos me ponen bastante nervioso.

La mayoría de las empresas no utilizan el método científico al probar nuevas características y dependen de datos basados ​​en el intestino. Claro, eso funciona, excepto cuando no lo hace. Dios no permita que alguien se ponga de pie y diga eso también … dependiendo de quién esté decidiendo, podría ser un mal día para esa persona.

La mayoría de los ejecutivos malos usan datos como Trump usaría datos, de alguna manera parece ajustarse a lo que sea que estén tratando de lanzar, incluso si estadísticamente no tiene sentido. Esto resulta en tiempo perdido construyendo cosas que no tienen valor ni propósito.