Así es el sesgo de Metroscopia

Este domingo actualicé mi promedio de encuestas para las elecciones generales. Lo hice después de que Metroscopia causara sensación con su último sondeo, que colocó a Ciudadanos por delante de Podemos y casi igualado con el PP y el PSOE.

Es importante recordar que Metroscopia y el promedio de sondeos difieren en sus estimaciones. El promedio da cinco puntos más al PP y seis menos a Ciudadanos.

Esta desviación ha levantado recelos. En realidad, como ocurre con la mayoría de encuestadoras, Metroscopia se desvía sistemáticamente del promedio de sondeos. Así lo muestra el siguiente gráfico.

.

Desde enero, Metroscopia siempre ha dado peores cifras al PP que la media de sondeos (alrededor de 4,5 puntos menos). A cambio ha tendido a dar más voto a Podemos y a Ciudadanos.

Si ajustamos el último sondeo de Metroscopia sustrayéndole su desviación típica con respecto al promedio, quedaría así: PP (28%), PSOE (24%), Ciudadanos (18%), Podemos (12%) e IU (5%). El avance del partido de Albert Rivera y la caída de Podemos se mantendría. Pero el PP sería primero y el bipartidismo conservaría ventaja sobre los partidos nuevos.

Es importante subrayar que las desviaciones no son en absoluto ilegítimas ni sospechosas de manipulación. Es normal que las estimaciones de distintas encuestadoras difieran: por la formulación de sus preguntas, por la forma de sus entrevistas o por las hipótesis con que tratan a los indecisos. Si esas características permanecen en el tiempo, cada encuestadora tendrá un sesgo sistemático y podrá defenderlo, como defiende los criterios con los que hace sus estimaciones.

Pensad además que si una encuesta quiere batir a las demás, necesariamente tiene que desviarse de ellas.

Que las encuestadoras difieran en sus criterios —dentro de un margen razonable— es también una ventaja para quienes hacemos promedios de sondeos. Si no hubiese diferencias entre sus estimaciones, promediarlas perdería parte de su sentido.

¿Una predicción cauta o una ágil?

La encuesta de Metroscopia nos enfrenta a otro dilema. Su estimación muestra un salto de Ciudadanos, ¿pero es exagerado o captura un cambio verdadero? Esta duda la tenemos siempre que se publica un sondeo aislado y llamativo. Tenemos que decidir si dar credibilidad a las novedades o esperar a que otros sondeos las confirmen.

En mi promedio de encuestas esta duda implica decidir el peso que damos a las encuestas antiguas. Imaginad que damos mucho peso al pasado. En ese caso evitaremos que un altibajo de Metroscopia o cualquier otro sondeo nos mueva el promedio. Evitaremos ruido. Pero si se produce un cambio verdadero, nuestro promedio tardará en reflejarlo.

El gráfico ilustra esto con un promedio cauto y otro ágil.

.

La línea fina representa el promedio cauto. Es el que usé el domingo: confía más en sondeos anteriores y no tanto en el de Metroscopia más reciente. En ese promedio Ciudadanos avanza pero sin superar a Podemos.

La linea gruesa representa un promedio más ágil, que da más peso al presente y por lo tanto confía más en Metroscopia y en el resto de sondeos más recientes. Según el modelo audaz, Ciudadanos ya habría superado a Podemos y rondaría el 17% de los votos.

Técnicamente, la diferencia entre los dos promedios es un parámetro que indica cuánto peso pierde una encuesta (exponencialmente) con el tiempo.

En el modelo cauto una encuesta pierde la mitad de su peso a los 20 días. En el modelo audaz, pierde la mitad de su peso a los siete.

La decisión de usar un modelo cauto o ágil es mía. A dos meses de las elecciones prefiero uno cauteloso. Primero, porque todavía se publican pocas encuestas y para explotar las ventajas de un promedio necesito usar encuestas más antiguas. Y segundo, porque no tenemos prisa y el precio de reflejar las tendencias un poco tarde es más pequeño. Al acercarse las elecciones haré el modelo más ágil porque para entonces tendremos más encuestas y sobre todo más prisas. 

Detalles del promedio de encuestas. Nuestro promedio es una media ponderada según la muestra y la fecha de cada sondeo. Además aplico dos ajustes según la empresa encuestadora: doy menos peso a las firmas poco activas —porque históricamente tienen peores resultados— y corrijo lo que se conoce como 'house effects'.

De los cuatro factores que afectan al peso de las encuestas, la fecha es el más importante. El resto tienen efectos menores y sirven sobre todo para saber que esos factores no son determinantes. Podéis consultar las razones para promediar encuestas y los detalles de la metodología en este otro artículo.