Este es el impacto "real" que pueden tener en un DSP las pruebas de Privacy Sandbox
En este artículo, reflexionamos sobre un modelo estadístico para estimar las capacidades de medición de cualquier DSP durante las próximas pruebas de mercado de Privacy Sandbox de Google y también discutimos algunas condiciones y supuestos que son cruciales para su éxito.
Como es de sobra conocido, Google planea eliminar gradualmente las cookies de terceros en su navegador Chrome este 2024 y ha estado trabajando conjuntamente con Criteo y otros actores de la industria de la publicidad programática desde 2019 para encontrar una solución de reemplazo, en la iniciativa Privacy Sandbox.
Desde 2021, la Autoridad de Competencia y Mercados del Reino Unido (CMA) también ha estado involucrada para garantizar la protección de la privacidad del usuario y la competencia en el mercado.
En junio de 2023, publicó una nota sobre pruebas de mercado en la que aconsejaba a las partes interesadas un calendario y un enfoque para realizar una evaluación de las herramientas de Privacy Sandbox a finales de junio de 2024. En función de los resultados, la CMA informará de su decisión de permitir la eliminación de cookies de terceros en Chrome en el Reino Unido, que Google aplicará en todo el mundo.
Como principal plataforma de medios de comercio del mundo, Criteo está participando en los procedimientos de prueba y se encuentra en una posición privilegiada para dar apreciaciones debido a su participación activa en Privacy Sandbox desde el principio.
Condiciones de la prueba
El artículo establece tres grupos de prueba con diferentes condiciones, definidas por la CMA.
Grupo de tratamiento: Publicidad servida utilizando las APIs de Privacy Sandbox, sin cookies de terceros
Grupo de control 1: Publicidad servida utilizando third-party cookies y sin datos relacionados con las nuevas APIs (como de costumbre).
Grupo de control 2: Publicidad servida eliminando tanto third-party cookies como datos relacionados con las nuevas APIs.
Estos grupos se dividen en dos modos, A y B, con diferentes asignaciones de tráfico y disponibilidad de third-party cookies:
Modo A: Permite que las third-party cookies estén disponibles en todos los grupos, pero se asigna parte del tráfico (hasta un 8,5%) al grupo de tratamiento y al grupo de control 1.
Modo B: Elimina third-party cookies para el 1% del tráfico global, y el 25% de estos también tienen deshabilitadas las APIs de Privacy Sandbox.
Problema a resolver y métrica de interés
El artículo aborda la pregunta de cómo un DSP puede distinguir el impacto real de Privacy Sandbox del ruido en condiciones de prueba. Para ello, se desarrolla un marco estadístico para anticipar la capacidad de medición de un DSP durante la prueba de mercado y se extiende para predecir lo que otros DSP podrían ver en función de su gasto publicitario. La métrica de interés principal es la "conversión por dólar", y se busca determinar la mínima disminución detectable Minimum Detectable Downlift o MDD) que un DSP puede medir con confianza en un período de ocho semanas.
Metodología
El marco se basa en pruebas de hipótesis estadísticas y se plantean dos hipótesis:
H0 (nula): "Reemplazar third-party cookies con las APIs de Privacy Sandbox no conduce a ningún cambio en la conversión por dólar".
H1 (alternativa): "Reemplazar third-party cookies con las APIs de Privacy Sandbox conduce a una disminución en la conversión por dólar".
Se utiliza una estadística de prueba para comparar estas hipótesis, y se establece un nivel de significación y potencia estadística. Se introduce el concepto de Mínima Disminución Detectable (MDD), que es la menor disminución real en la conversión por dólar que un DSP puede detectar con un 95% de significación y al menos un 80% de potencia estadística.
Este modelo, no obstante, tiene varias limitaciones, incluyendo la simplificación de relaciones entre el gasto publicitario y el alcance de usuarios, la suposición de un impacto lineal en la conversión por dólar debido a Privacy Sandbox, y la necesidad de coordinación del mercado para el éxito de las pruebas.
Conclusiones
A pesar de las limitaciones inherentes a la modelización estadística, los autores del proyecto creen que este marco está bien fundamentado y puede servir de referencia para que otros DSP's realicen sus propios análisis.
Las principales conclusiones son:
Para medir el impacto en el rendimiento, es esencial mantener constante el gasto medio por usuario entre la población de tratamiento y la de control
Con un periodo de prueba de 8 semanas y una configuración perfecta, Criteo puede medir con confianza impactos del -7% con una población de tratamiento del 0,75% (Modo B) e impactos tan bajos como el -2,5% con la población de tratamiento máxima del 8,25% (Modo A + Modo B)
Es probable que la mayoría de los DSP's puedan medir caídas superiores al 20% sólo con el modo B y superiores al 6% con la población de tratamiento máxima.
Fuente: Medium