Los encuestadores se equivocaron, pues Trump superó a Hillary en 2016. ¿Podemos confiar en ellos esta vez?
¡Comienza la temporada de encuestas! Durante meses, veremos cientos de duelos de encuestas entre el presidente estadounidense Donald Trump y el virtual nominado demócrata Joe Biden. Un consejo. No prestes demasiada atención. El gran error que vivimos en 2016 puede ocurrir de nuevo: la pandemia del coronavirus podría hacer que esta elección sea aún más impredecible, y no hay mucho que los encuestadores puedan hacer al respecto.
Antes de la última elección, el presidente Trump desestimó las encuestas que le eran desfavorables y las calificó como noticias falsas. Tenía razón. Las encuestas se equivocaron enormemente en 2016. Los encuestadores creen saber qué fue lo que salió mal y lo han arreglado. Tras las elecciones intermedias de 2018, la industria cantó victoria cuando los expertos que utilizaron datos de encuestas pudieron pronosticar correctamente la mayoría de las contiendas. Harry Enten de CNN anunció con bombo y platillo: “2018 fue un año muy bueno para las encuestas”. ¿De verdad?
Muchas de las contiendas se llevaron a cabo en áreas profundamente demócratas o republicanas, en las que el resultado nunca estuvo en duda. Y, aun así, se produjeron varios grandes errores. De nueva cuenta, las encuestas subestimaron a los republicanos en otros estados, entre ellos Florida y, al igual que en 2016, esos errores bastaron para generar triunfos por un estrecho margen en varias contiendas. En total, los candidatos que finalmente triunfaron mostraban ventaja solo en 80 por ciento de las encuestas. Eso suena bien, pero si eliminamos los resultados obvios, el índice de éxito es más parecido a un 50–50; en otras palabras, equivale a tirar una moneda al aire.
Hasta ahora, en 2020, el desempeño de las encuestas es mixto. Fallaron en Carolina del Sur. Señalaron que Biden iba adelante por un promedio de 15 puntos porcentuales, pero ganó por 28 puntos porcentuales, aunque quizás esto sea comprensible, dada la rápida consolidación debida a que otros candidatos se retiraron, y al gran apoyo por parte del representante James Clyburn de Carolina del Sur, el demócrata que ocupa el tercer puesto más importante en la Cámara. Las encuestas tampoco registraron el crecimiento de los moderados y la caída de los progresistas que resultó evidente por primera vez en Nueva Hampshire. Las encuestas estuvieron cerca en Florida, pero subestimaron al senador por Vermont Bernie Sanders en la elección primaria demócrata de Michigan, como lo hicieron en 2016.
Quienes hicieron pronósticos también fallaron. Hace menos de un mes, FiveThirtyEight, que se enfoca en análisis estadísticos de política y otros temas clave, señaló que Sanders estaba “a la cabeza” y que “tenía fácilmente las mayores probabilidades de obtener la nominación demócrata”. Sin comentarios.
La primera señal de que algo no andaba bien en 2016 se produjo durante las elecciones primarias, cuando la senadora por Nueva York Hillary Clinton, que encabezaba las encuestas en Michigan por un promedio de 21 puntos según RealClearPolitics, perdió ante Bernie Sanders por una diferencia de un punto y medio. Se le ha calificado como uno de los mayores errores en la historia de las encuestas.
Esto debió haber encendido las alarmas. No lo hizo debido a que las encuestas realizadas durante las elecciones primarias son notoriamente volátiles: muchos candidatos, preferencias que cambian rápidamente y un número incierto de personas que acuden a votar. Asimismo, los encuestadores estatales suelen trabajar con presupuestos más estrechos que los encuestadores nacionales y, por esa razón, utilizan métodos menos costosos como llamadas telefónicas automatizadas y encuestas en línea. En algunas encuestas únicamente se hacen llamadas a líneas telefónicas fijas, y de acuerdo con USA Today, 80 por ciento de las personas de entre 25 y 34 años de edad ni siquiera tienen una. Así, la sorprendente victoria de Sanders fue desestimada como una anomalía. De hecho, los resultados de la elección primaria en Michigan fueron las primeras señales de un problema que se manifestó plenamente en noviembre: una falta de entusiasmo por Clinton entre los electorados demócratas clave: votantes jóvenes, afroestadounidenses y personas caucásicas con poca educación.
Entonces, llegó el 8 de noviembre de 2016. Prácticamente nadie designaba a Trump como ganador. FiveThirtyEight recopiló 1,106 encuestas nacionales realizadas en el año previo a la elección. Únicamente 71 de ellas mostraban a Trump con alguna ventaja durante ese año. Incluso las encuestas de Fox News y los encuestadores internos de la campaña de Trump esperaban la victoria de Clinton. Una de las pocas encuestas que mostraban a Trump con ventaja fue la de USC Dornsife/Los Angeles Times, la cual acertó en cuanto al ganador, pero erró en relación al número de votos. El responsable académico, Arie Kapteyn, director del Centro de Investigación Económica y Social de USC, dijo que, en realidad, esperaba que Clinton ganara.
Los partidarios de ambos bandos estaban furiosos. Los republicanos creyeron que la victoria de Trump validaba sus preocupaciones de que las encuestas estaban sesgadas. Los sorprendidos demócratas se sintieron engañados. Gran parte de la ira se dirigió hacia los encuestadores. Algunas personas se preguntaban si las encuestas pudieron haber cambiado el resultado de alguna manera, algo así como el efecto del observador en física. ¿Acaso las encuestas hicieron que los demócratas se sintieran excesivamente confiados? ¿Quitaron el pie del acelerador en estados como Wisconsin? ¿Acaso los votantes desafectos de Bernie votaron por Jill Stein o incluso por Trump en protesta, pensando que nada importaría? ¿Acaso fue la escasa convocatoria de algunos grupos, por ejemplo, los votantes afroestadounidenses debido a que creían que Clinton ya había ganado? Courtney Kennedy del Centro de Investigación Pew, afirma: “Yo solía desestimar la cuestión del efecto del observador. Después de 2016, pienso en ella de manera diferente. Pienso en las personas que se quedaron en casa. Ya no descarto esa idea”.
Los académicos que estudiaron la elección piensan que eso fue exactamente lo que ocurrió. Yphtach Lelkes, profesor adjunto de comunicación y ciencia política de la Universidad de Pennsylvania y uno de los autores de un estudio realizado en 2019, afirma: “Aunque una encuesta tradicional podría decir que un candidato va a ganar únicamente por unos cuantos puntos, digamos 52 a 48, el resultado probabilístico equivalente podría ser una posibilidad de 70 por ciento de que gane este candidato. Las personas perciben esto como algo seguro. Incluso confunden el porcentaje de posibilidad con el margen de victoria y piensan que el candidato ganará por un margen de 70 a 30. Cuando las personas perciben que el resultado es seguro, piensan que su voto no importa. Se vuelven complacientes, y nuestros experimentos muestran que no acuden a votar… También descubrimos que los demócratas tienen mayores probabilidades de consumir encuestas probabilísticas y que el efecto es mayor cuando el candidato favorito de una persona va adelante”.
La elección de 2016 planteó una pregunta existencial para los encuestadores: si las encuestas pueden equivocarse terriblemente y quizás incluso cambiar el resultado, ¿se puede confiar en ellas? Esa pregunta fue una fría puñalada al corazón de una industria que se toma muy en serio a sí misma. Hizo que la Asociación Estadounidense de Investigación de la Opinión Pública (AAPOR, por sus siglas en inglés), que es la asociación que agrupa a los miembros de esa industria, llevara a cabo un extenso análisis de las encuestas realizadas para la elección de 2016 para descubrir qué fue lo que salió mal. El resultado fue una defensa de la industria y de las encuestas.
En esencia, dice: en realidad no nos equivocamos. El cálculo nacional de votos señalaba que Clinton tenía una delantera de alrededor de 3 por ciento, y en el recuento final, ella ganó el voto popular nacional por un margen de 2 por ciento. Ese es uno de los cálculos más precisos desde 1936. Y si nos equivocamos, no fue nuestra culpa. Muchas personas toman sus decisiones en el último momento. Y si fuera nuestra culpa, de cualquier manera, no estamos en el negocio de la predicción, por lo que no pueden hacernos responsables. Y no volverá a ocurrir. Ajustaremos nuestra metodología y todo irá bien.
Tonterías. Se equivocaron. Calcular acertadamente el voto nacional no importa, pues no es así como se elige a los presidentes en Estados Unidos. Eso es casi tan inútil como soñar el número ganador de la lotería de la semana pasada. Debido al sistema de colegios electorales, las que importan son las encuestas estatales. Estas fueron pésimas en 2016. Asimismo, el alegato de que los encuestadores no están en el negocio de la predicción es tan falso como la afirmación de la Red de Poderes Psíquicos de que las lecturas de cartas son “únicamente para fines de entretenimiento”. Las encuestas de opinión y los pronósticos de las elecciones están unidos irremediablemente. Aún si los encuestadores mismos se abstienen de hacer predicciones, los datos de las encuestas son el material indispensable para aquellos que sí lo hacen. Sin embargo, la cuestión más importante es: ¿acaso los encuestadores pueden arreglarlo de manera que no pueda volver a ocurrir?
La respuesta es un rotundo “Quizá”.
Uno de los problemas identificados en el informe de la AAPOR es algo que los encuestadores llaman ponderación. Los encuestadores utilizan la aritmética para ajustar sus muestras de manera que reflejen la forma en que, en su opinión, luce la población. En otras palabras, aunque la mayoría de nosotros pensamos que las encuestas son una ciencia, estas tienen una parte de subjetividad. De acuerdo con Kennedy, del Centro Pew, que también dirigió la reseña de AAPOR, la ponderación es algo peliagudo. “Tratamos de encontrar los factores que expliquen mejor la conducta humana. Edad. Sexo. Raza. Poblaciones rurales comparadas con las urbanas. En 2016, la mayoría de nosotros incluimos a la educación en la lista. Sin embargo, no todo el mundo lo hizo. En los estados republicanos, eso pudo no importar, pero sí lo hizo en el Oeste Medio”.
En retrospectiva, la omisión relacionada con los votantes mejor educados en comparación con los menos educados fue un error, si no excusable, al menos comprensible. En el informe se encontró que, en 2012, las personas menos educadas y las que tenían mayor educación votaron de manera similar, por lo que en 2016 algunos encuestadores no dividieron a estos grupos.
Nathaniel Rakich, analista electoral de FiveThirtyEight, señala, “Se abrió una brecha realmente grande entre las personas educadas y las no educadas, y en algunas encuestas, no se ponderó según la educación”. En el informe de la AAPOR se indica que la ventaja demócrata entre las personas que únicamente se habían graduado de la escuela secundaria, o que no la habían concluido, fue de alrededor de 20 por ciento en 2012. Ese grupo apoyó a Trump en 2016. Dado que las personas con más educación están más dispuestas a responder encuestas, la agregación hizo que Clinton pareciera más fuerte de lo que era en realidad. Sin embargo, lo más interesante fue lo que la AAPOR no encontró. Muchos encuestadores, entre ellos el muy prestigiado Robert Cahaly del Grupo Trafalgar, que fue el único encuestador que mostró que Trump tenía una ventaja en Michigan y en Pennsylvania en 2016, de acuerdo con RealClearPolitics, piensa que algunos partidarios son renuentes a admitir que apoyan a Trump. La AAPOR no encontró ninguna prueba de la existencia de votantes “tímidos” en mostrar su apoyo al magnate.
Lo que resulta aún más controvertido es que la AAPOR haya desestimado el “Efecto Comey”. La AAPOR encontró que 13 por ciento de los votantes de Florida, Pennsylvania y Wisconsin tomaron su decisión en la última semana y apostaron fuerte por Trump, justo después de que el director del FBI James Comey anunciara una revisión de nuevas pruebas en la investigación de los correos electrónicos de Clinton. Sin embargo, argumentaron que el impacto se disipó antes de la elección. El organismo encontró un “… impacto negativo inmediato para Clinton del orden de dos puntos porcentuales. El aparente impacto no duró…” El organismo llegó a la conclusión de que la erosión del apoyo hacia Clinton comenzó alrededor del día 24 o 25, antes de la publicación de la carta.
Kennedy, del Centro Pew, señala: “Dediqué un año a analizar esos datos de todas las formas posibles. No vi ninguna prueba sólida. Pienso que quienes apoyaron a Trump lo habrían apoyado de cualquier manera. Sin embargo, no lo sabemos”.
Jill Darling, directora de encuestas de USC Dornsife/Los Angeles Times, no está de acuerdo: “Definitivamente, vimos el Efecto Comey”. Debido a que su grupo utiliza un panel, es decir, encuestan a las mismas personas una y otra vez en lugar de encuesta a nuevas personas cada vez, pueden ver si las personas cambian de opinión y les preguntan por qué. Nate Silver, fundador de FiveThirtyEight, analizó los datos después de la elección y llegó a la conclusión de que “la delantera de Clinton comenzó a desmoronarse después de la carta de Comey”.
Un día después de la elección, Sean McElwee (que en ese entonces era un analista de políticas del grupo de expertos Demos y que actualmente es cofundador y director ejecutivo de Data for Progress), Matt McDermott (analista de alto nivel y actualmente vicepresidente de Whitman Insight Strategies) y Will Jordan (encuestador demócrata) llegaron a la misma conclusión en un artículo escrito para Vox: “El Efecto Comey fue real, fue grande, y probablemente le costó la elección a Clinton”.
En el análisis de Vox se encontró que la cobertura de los medios cambió radicalmente después de la carta de Comey, tanto en su tono como en su contenido. La cobertura mediática de Clinton se volvió mucho más negativa y la de Trump más positiva, y el escándalo de los correos electrónicos hizo palidecer las acusaciones de que Trump había tocado a varias mujeres de manera inapropiada.
Eso no fueron los únicos dos controvertidos “no hallazgos” que se derivaron del estudio de la AAPOR. El comité, compuesto por 13 “pesos pesados” del área de las encuestas, tampoco encontró ningún efecto de la “modalidad de encuesta”. Es decir, llegaron a la conclusión de que las encuestas en línea y las llamadas telefónicas automatizadas fueron prácticamente tan precisas como las llamadas en persona realizadas a una muestra aleatoria de teléfonos fijos y móviles, lo que en esa industria se conoce como RDD (Random Digit Dialing, o marcación de dígitos al azar). Una encuesta mediante RDD puede costar hasta 100,000 dólares. Si se utilizan encuestas opcionales por internet o llamadas telefónicas automáticas con respuestas igualmente automatizadas, el costo puede reducirse hasta 10,000 o incluso 5,000 dólares. Como resultado, existen muchas encuestas baratas y pocas en las que seres humanos reales hablen con una muestra aleatoria de la población.
Jon Krosnick, catedrático de ciencias políticas, comunicación y psicología de la Universidad de Stanford, analizó de manera independiente los resultados de las encuestas de la elección de 2016 y llegó a una conclusión muy distinta a la de la AAPOR. Su equipo analizó 325 encuestas realizadas durante la última semana de la elección. Encontraron únicamente 21 encuestas con el “estándar de oro”, que es como Krosnick califica las encuestas que utilizan llamadas RDD de persona a persona, realizadas a teléfonos fijos o celulares. Solo una de ellas se realizó en un estado en disputa por parte de Quinnipiac en Florida del 3 al 6 de noviembre. (Aunque, irónicamente, mostraba que Clinton tenía la ventaja). En las encuestas que utilizaron métodos automatizados o no aleatorios, su equipo encontró errores de alrededor de cinco puntos porcentuales, aunque algunas mostraban hasta 17 puntos porcentuales. En el caso de las encuestas RDD, su grupo encontró un error de menos de un punto porcentual. Su conclusión es que, en 2016, “las encuestas que utilizaron métodos científicos tuvieron un gran desempeño”.
¿Y ahora qué? Los encuestadores afirman que han mejorado sus metodologías, de manera que 2016 no vuelva a ocurrir. En 2018, Scott Keeter, asesor de alto nivel del Centro de Investigación Pew, entrevistó a varios encuestadores prominentes para preguntarles si habían cambiado sus metodologías a raíz de la elección de 2016. En su artículo se lee: “Al enfrentar los crecientes problemas que afronta la investigación mediante encuestas, además del escepticismo del público sobre estas, el cual surgió después de la elección presidencial de 2016, los encuestadores han examinado sus métodos y muchos de ellos han realizado cambios”.
Para la mayoría, esto significa hacer pequeños ajustes. El pequeño error en la elección primaria de Michigan de este año podría significar que han tenido éxito. Rakich señala: “Con suerte, la realización de encuestas [a escala estatal] será mejor este año”. Los encuestadores no han hecho ningún cambio para hacer frente a alguna sorpresa semejante al efecto Comey, pero no creen que puedan necesitarlo. Cuando se le preguntó sobre la posibilidad de que las futuras campañas generen sucesos de último minuto que cambien la opinión del público, Kennedy respondió: “Hace 20 años, un efecto prefabricado pudo haber marcado una diferencia, pero ahora, con la polarización, las personas están tan unidas a tribus políticas y son tan escépticas que eso no tendrá necesariamente ningún efecto”.
Krosnick se muestra menos optimista con respecto a que los problemas de 2016 puedan arreglarse: “A menos de que las personas estén dispuestas a gastar más dinero en mejores encuestas públicas en 2020, no estaremos mucho mejor. No existe ninguna manipulación estadística realizada por agregadores como FiveThirtyEight que pueda convertir una oreja de cerdo en un bolso de seda”. En otras palabras, aunque algunos pronosticadores como FiveThirtyEight dan más peso a las que consideran mejores encuestas, Krosnick piensa que, simplemente, no hay suficientes buenas encuestas.
No es probable que se produzcan gastos adicionales debido a que el tipo de encuestas de las que habla Krosnick se vuelven cada vez más costosas debido a los índices de respuesta cada vez más bajos. De acuerdo con Pew, en 1997 una de cada tres personas respondía una encuesta telefónica. Ahora, un encuestador debe llamar a 15 números distintos o 15 veces al mismo número para encontrar a una persona dispuesta a hablar. Muchas personas ni siquiera contestan sus teléfonos móviles si reciben una llamada de un teléfono que no reconocen.
Los encuestadores y quienes utilizan los datos de las encuestas tienen un motivo obvio para afirmar que los problemas se pueden resolver. Sin embargo, existe una realidad. Aún si los encuestadores han corregido todos esos posibles problemas (muestras demasiado pequeñas de personas con menos educación y de votantes jóvenes, más encuestas realizadas después de la carta de Comey, un ajuste para tener en cuenta a los votantes “tímidos” en mostrar su apoyo a Trump) y aún si hubieran utilizado encuestas con el “estándar de oro”, no habría ninguna garantía de que lo habrían hecho bien. Algunas elecciones simplemente son demasiado cerradas como para tomar una decisión. Es posible que el problema no haya sido la manera en que trabajan los encuestadores, sino lo que esperamos de ellos.
Se emitieron aproximadamente 120 millones de votos en la elección de 2016, pero la elección la decidieron 78,000 en tres estados: Michigan, Wisconsin y Pennsylvania. Eso equivale a 0.6 por ciento de los votos emitidos en esos estados. Incluso las mejores encuestas tienen generalmente un margen de error absoluto promedio de un punto porcentual. En otras palabras, les pedimos a los encuestadores que pronostiquen los puntos máximos o mínimos, y nos enfurecemos cuando no pueden hacerlo.
Los encuestadores y los pronosticadores comprenden las limitaciones de lo que pueden y no pueden hacer. A eso se debe que los pronosticadores expresen sus pronósticos en términos de probabilidades. Pero los seres humanos no pensamos en esos términos. Sean Westwood, profesor adjunto de estudios de gobierno en el Colegio Dartmouth y autor principal del estudio citado anteriormente, señala: “…La investigación muestra que es casi imposible comunicar las encuestas en una forma que no confunda al público”. Rakich afirma: “Le dijimos a las personas que Clinton tenía una oportunidad de alrededor de 70 por ciento de ganar. Si hubiéramos realizado la elección tres veces, ella habría ganado en dos”. Las realizamos una sola vez y perdió.
FiveThirtyEight, la empresa para la que Rakich trabaja, fue uno de los pocos pronosticadores que consideraron que Trump tenía una oportunidad. Para compensar la calidad desigual de las encuestas individuales, utilizaron modelos sofisticados en los que se incorporaron datos de las encuestas e información de otras fuentes. Sin embargo, incluso ellos cometen errores de vez en cuando. En las elecciones intermedias de 2018, FiveThirtyEight pronosticó 506 contiendas. Su mejor modelo pronosticó correctamente 97 por ciento de esas contiendas, y cerca de 90 por ciento de las verdaderamente competitivas. Sin embargo, aun así, hubo 16 contiendas en las que se equivocó. En adelante, ¿acaso 97 por ciento es lo suficientemente bueno? Probablemente. A menos de que el error se produzca en la elección presidencial.
Después de 2018, los encuestadores se sienten bastante bien consigo mismos. Courtney Kennedy señala: “La reacción del público en 2016, según la cual las encuestas son basura, fue comprensible pero errónea. Las encuestas nacionales de 2016 y de las elecciones intermedias de 2018 mostraron que se trataba de una anomalía. Las encuestas siguen siendo valiosas”.
Quizá, pero los encuestadores no deberían relajarse demasiado, ya que en el futuro se seguirán produciendo grandes errores. Aún si 2020 es mejor, no hay ninguna garantía de que 2022 o 2024 no nos den una sacudida. La Dra. Natalie Jackson, directora de investigación en PRRI, dice: “Nos incorporamos a este ciclo con un nivel de incertidumbre sin precedentes, especialmente con el coronavirus. Pronosticar el resultado será peligroso y estará lleno de complicaciones. Es posible que no conozcamos la respuesta sino hasta que ocurra la elección”.
Quizá la verdadera lección de 2016 no sea para los encuestadores ni para los pronosticadores, sino para el público: debemos evitar dar mucha credibilidad a las encuestas en contiendas demasiado cerradas, aún si dicen lo que nosotros queremos. Tenemos que votar pase lo que pase.
—
Publicado en cooperación con Newsweek / Published in cooperation with Newsweek
