ABsmartly

En el Radar compartido: Trial (valoración de la edición aportada).

Cómo funciona

Combina asignación de variantes, eventos y análisis secuencial por grupos. El enfoque estadístico permite decisiones en puntos de observación definidos por el diseño.

Ejemplo de uso

Asignar usuarios persistentemente a dos checkouts; medir conversión y errores. Definir antes efecto mínimo, población, duración y criterios de parada para interpretar el resultado.

Diseño de un experimento

Elemento	Ejemplo
Hipótesis	Mostrar la cuota mensual antes que el monto aumenta las solicitudes completadas
Unidad de asignación	Usuario (no sesión), para evitar ver variantes distintas
Métrica principal	Tasa de solicitudes completadas
Guardrails	Tasa de rechazo por riesgo, errores, tiempo de carga
Efecto mínimo detectable (MDE)	+1 punto porcentual
Duración	Semanas completas para cubrir estacionalidad semanal

Tamaño de muestra aproximado

Para una métrica de proporción, con 80 % de potencia y α = 0,05, una aproximación útil por variante es:

n ≈ 16 · p · (1 − p) / δ²
p = 0,10 (tasa actual)   δ = 0,01 (MDE absoluto)
n ≈ 16 · 0,10 · 0,90 / 0,0001 ≈ 14 400 usuarios por variante

Si el tráfico no alcanza, aumenta el MDE, elige una métrica más sensible o reduce la varianza (técnicas como CUPED usan datos previos al experimento).

Por qué el análisis secuencial

Mirar los resultados de un test clásico cada día y parar cuando «sale significativo» infla mucho los falsos positivos. ABsmartly usa Group Sequential Testing: define de antemano los momentos de análisis y ajusta los umbrales para que se pueda parar antes con garantías estadísticas. Así se detienen pronto los experimentos claramente perjudiciales o claramente ganadores.

Controles de calidad

• Sample Ratio Mismatch (SRM): si se esperaba 50/50 y llega 52/48 con mucho tráfico, hay un problema de asignación o de registro; los resultados no son fiables.
• A/A tests periódicos para validar la plataforma.
• Interacciones entre experimentos simultáneos sobre la misma pantalla.
• Efecto novedad: comportamientos que cambian solo las primeras semanas.

Arquitectura

Los SDKs (servidor y cliente) asignan variantes de forma determinista a partir del identificador de la unidad, sin latencia de red en cada decisión. Los eventos de exposición y de métricas se envían al colector de la plataforma. Puede desplegarse en infraestructura dedicada, lo que facilita requisitos de residencia de datos. Combina con feature toggles y 1% canary para lanzamientos progresivos.

Criterios de implementación

Validar instrumentación, desbalance de muestras e interferencia entre pruebas. Evitar segmentaciones retrospectivas oportunistas y contemplar privacidad y consentimiento.