𝒯utti i sondaggi hanno una certa precisione. In alcuni casi si può
calcolare con certezza. Dopo le elezioni si hanno i risultati e si possono
comparare con i sondaggi politici avvenuti nelle settimane precedenti le
elezioni.
Errore dei sondaggi teorico
Alcune precisioni per i singoli sondaggi con livello di confidenza del 95% che si hanno secondo i sondaggisti in base a calcoli teorici:
Errore dei sondaggi empirico
Le elezioni europee 2019 si sono tenute il 26 di maggio 2019.
Ecco la media dei sondaggi 2019 dell'ultima settimana in cui è stato possibile fare sondaggi pubblicati da Termometro Politico:
È da ipotizzare un errore del ±5% quindi la tabella dei risultati elettorali delle europee compilata prima del 26 maggio è la seguente:
La sera del 26 o più probabilmente la mattina del 27 riempirò (ho riempito) la tabella seguente.
Come si vede con il senno di poi (tabella compilata dopo le elezioni) gli errori sono variabili ma anche in questa votazione come nelle seguenti un errore del ±5% avrebbe permesse di comprenderle tutte con una leggera sbavatura per il M5S che sarebbe andato fuori soglia di un soffio.
Le elezioni regionali della Sardegna sono interessanti anche se riguardano solo una regione. In Sardegna il giorno della votazione sono stati fatti gli exit poll che sono più precisi dei sondaggi. In effetti i sondaggisti indicano per gli exit poll un errore del ±2% contro un oltre il ±3 dei sondaggi. A questo link sono riportati i sondaggi all'uscita del seggio. «Solinas (centrodx-Lega) tra 36,5 e 40,5%, Zedda (centrosinistra-PD) 35/39, Desogus (M5s) 13,5/17,5»
Quali sono stati i risultati reali? Ecco la tabella riassuntiva:
Quindi per comprendere tutti e tre i gruppi politici i sondaggisti avrebbero dovuto indicare un errore del ±10%, ipotesi molto severa che nel caso nazionale si riduce della metà come si vedrà leggendo il resto di questo testo.
Tabella compilata il 16 febbraio 2018
Per le elezioni politiche del 4 marzo 2018 gli Istituti di sondaggio forniscono in media per la settimana prima (12-16 febbraio) dell'oscuramento pre-elettorale i seguenti valori secondo i calcoli di Termometro Politico:
Considerando il valore di errore del ±5% come calcolato in seguito in base ai sondaggi e ai risultati elettorali, si hanno le forchette indicate in grande. I sondaggi continuano fino al giorno prima del 4 marzo, data delle urne, ma il trend della media dei sondaggi è nel tempo piuttosto lenta oppure costante per cui i valori non cambieranno di molto secondo i sondaggisti.
In 4 settimane, dal 21 gennaio al 16 febbraio, la media dei 12 sondaggi è variata dello 0.2% per il M5S, 0.6% per il PD, 0.3% per La Lega. Su un errore del 5% tali variazioni sono irrisorie. Mi attendo per il 2 marzo valori molto simili a quelli pubblicati qui per quanto riguarda la media dei sondaggi.
Nei giorni successivi le elezioni del 4 marzo 2018 saranno pubblicati la media dei sondaggi del 2 marzo e in base a quelli vedremo gli errori effettivi dei sondaggi.
Tabella compilata il 5 marzo 2018
Le elezioni sono arrivate. I dati definitivi del 4 marzo danno:
L'errore è del ±5% come al solito.
Si noti che le previsioni fatte il 16 febbraio e riportate nella prima tabella con le forbici del ±5% sono ipotesi realistiche che io ho realizzato e come potevano realizzare i sondaggisti. Realistiche nel senso che dopo il 4 marzo sono scaturiti gli errori dei sondaggi riportati nella tabella qui sopra e perfettamente compatibili con le previsioni.
Una seconda nota è che gli errori teorici che le singole aziende di sondaggi pubblicano sono distanti dalla realtà. Per esempio il 3% di Ixè, SWG ed Euromedia con il 95% di confidenza è piuttosto errato guardando la tabella qui sopra dove l'errore è quasi sempre superiore al 4% ed arriva al 5%. Solo per Forza Italia l'errore è compatibile.
Il 4 dicembre 2016 c'è stato il Referendum per riformare la Costituzione voluta dal Governo Renzi e la media degli ultimi 7 giorni di sondaggi danno un 53% a 47% a favore del No. Il risultato effettivo uscito dalle urne è stato di un più ampio 59.1% a 40.9%. L'errore è stato in questo caso piuttosto ampio e pari a un ±6%.
Il referendum sull'uscita dalla EU della Gran Bretagna è stato chiamato brexit. Si è svolto il 23 di giugno 2016 e ha vinto il leave con il 51.8% mentre il remain ha avuto il 48.2%. La media dei sondaggi pubblicato dal Financial Times dava il leave a 45% mentre il remain aveva il 44%. In pratica la media dei sondaggi dava un 50.5% vs 49.5%. L'errore è quindi basso e di circa il ±1.5%. Si noti l'uso dei numeri interi per esprimere il sondaggio per cui l'errore risulta uguale o superiore all'unità (±1%).
Veniamo all'Italia. Usiamo i dati di termometro politico sulla media dei sondaggi del 23 maggio e usiamo i dati definitivi delle europee 2014 che si sono tenute il 25 di maggio. Gli Istituti di sondaggio considerati sono 18. Per i tre maggiori partiti possiamo costruire questa tabella:
L'errore è del ±5.5% ad eccezione del risultato del PD che è completamente sbagliato.
Vedremo in seguito che questo errore copre quasi tutte le situazioni.
Vediamo due sondaggi visti a Porta a Porta di Bruno Vespa riguardo le elezioni europee 2014:
Si vedono i sondaggi di Euromedia (in verde) e IPR (in arancione) andati in onda su RAI1 sei giorni prima le elezioni. Di quanto sarà sbagliato? Una semplice differenza con i risultati definitivi conferma un errore del ±4% con l'eccezione del risultato del PD. Quindi il ±5% calza anche per questo singolo sondaggio.
Si può sicuramente dire che Bruno Vespa racconta stupidaggini nelle sua trasmissione Porta a Porta. Vedremo anche che tutti i sondaggi da una ventina d'anni a questa parte hanno il problema di essere fortemente fallati, nel senso di essere affetti da un grosso errore, molto maggiore di quello sbandierato dai sondaggisti.
Di quanto hanno sbagliato i sondaggisti nelle elezioni politiche del 2013? Per questo ci avvaliamo di un interessante articolo di Termometro politico e in particolare di una sua tabella delle elezioni del 2013 che riporto nella sua parte che ci interessa:
Ci sono i partiti maggiori, c'è la media delle ultime rilevazioni ovvero i sondaggi fatti qualche giorno prima le elezioni politiche che si sono tenute il 24 e 25 febbraio 2013 e c'è il risultato ufficiale delle elezioni. Gli Istituti di sondaggio considerati sono 15.
Nell'ultima colonna della tabella ci sono gli errori dei sondaggi ovvero la differenza tra i sondaggi e la realtà dei risultati elettorali definitivi, in modo tale che un errore positivo significhi una sovrastima dei sondaggi, un errore negativo significhi una sottostima.
Si noterà che il PD è abbastanza sovrastimato dai sondaggisti che gli attribuiscono in più una grossa percentuale di voti. Al PDL vengono tolti un po' di voti ma non molti, può essere accettabile come errore. Al M5S vengono tolti oltre 10 punti percentuali cioè è sottostimato di quasi la metà dei votanti che è un errore veramente inaccettabile.
L'errore è del ±5% ad eccezione del risultato del M5S che è completamente sbagliato.
Una critica nei confronti dei sondaggisti: che senso ha usare i decimali quando l'errore che si commette è oltre il punto percentuale come minimo e come massimo di 10 punti percentuali? Forse sarebbe meglio usare una forchetta di ±2% o ±4%, in tal caso i sondaggi sarebbero più attinenti alla realtà.
Con un errore della media dei sondaggi pari al ±5% la tabella dei sondaggisti per le elezioni politiche (camera) 2013 sarebbe la seguente:
Come si vede sarebbe azzeccato il risultato elettorale del PD e del PDL mentre sarebbe sbagliato solo quello del M5S. Certo il confronto tra l'operato dei sondaggisti e i risultati definitivi sarebbe in questo caso molto buono e della stima della gente ne gioverebbe la categoria. Invece si preferisce dare numeri a caso che vengono pubblicati dai giornali come fosse oro colato che poi saranno smentiti il giorno dopo le elezioni.
Per esempio ci sono state le elezioni europee nel 2014 precedute dagli inevitabili sondaggi, uno dei tanti mostrati dalla stampa e dalla tv è quello nell'immagine seguente:
Che senso ha dare questi numeri con anche i decimali? Non sarebbe meglio nel senso di veritiera una tabella fatta nel modo seguente con un errore molto ampio?:
Adesso poniamoci la domanda più significativa: Che genere di discussioni si possono fare sull'ultima tabella? Cosa possono dire in tv e nei giornali i commentatori politici? Non si può neppure affermare chi è il primo partito in quanto Forza Italia e il PD potrebbero avere lo stesso numero di voti (FI arriva al 25% e il PD al 26%).
Abbiamo visto che un ±5% come errore calza abbastanza bene nel caso delle elezioni politiche del 2013 con l'unica eccezione del M5S. Vediamo gli errori nei sondaggi del 2009 che riguardano le elezioni europee, la fonte è sempre Termometro politico:
Anche qui si nota un errore del ±5%.
Seguono gli errori inconfessabili dei sondaggisti nelle politiche (camera) del 2008 (la media dei sondaggi è sempre di Termometro politico):
Anche in questo caso si nota un errore dei sondaggi del ±5% che avrebbe compreso tutti i risultati reali.
In fine esaminiamo i risultati delle Primarie del PD dove i sondaggisti si sono applicati. A questo fine usiamo i dati riassunti da YouTrend in questa tabella:
La media dei sondaggi è fatta usando 8 istituti che operano in questo settore e che hanno fatto l'indagine negli ultimi dieci giorni prima delle Primarie 2013 del PD.
Si nota senza dubbio un errore del ±5% che comprende tutti i risultati.
Nota: Nel caso delle Primarie c'è una grossa differenza percentuale tra il primo eletto e l'ultimo, tra Renzi e Civati. Se l'errore risultasse dipendente dalla percentuale del risultato allora il concetto di errore relativo sarebbe il più utile. Qui si è usato solo l'errore assoluto anche perché di più facile comprensione e perché le percentuali dei maggiori tre partiti sono non troppo differenti e di valore elevato e quindi l'errore assoluto e l'errore relativo hanno la stessa utilità. Nel caso delle primarie dove Cuperlo è affetto da un errore del +3.8% non sembra che le percentuali alte siano affette da un errore assoluto alto e le percentuali basse da un errore assoluto basso.
Ad ogni elezione ci sono invariabilmente queste polemiche ma nessuno ha interesse a ricordarsele prima delle elezioni successive, né i commentatori politici che dissertano dello zero virgola in più del tal partito e nel tal sondaggio, né i sondaggisti che danno letteralmente i numeri, né la gente che legge in modo acritico e smemorato quello che si dice di politica.
Quindi se sono tutti contenti andiamo avanti col teatrino della politica in cui i sondaggi sbagliati sono il canovaccio.
Per gli altri che sono abituati a ragionare sui fatti un errore del ±5% sembra un buon viatico per valutare le medie dei sondaggi per i maggiori partiti delle elezioni politiche del 2008, delle elezioni europee del 2009, delle elezioni politiche del 2013, delle Primarie 2013, delle elezioni europee del 2014, del Referendum 2017, delle politiche 2018 ed elezioni seguenti.
Un articolo che ho letto appena dopo la elezione di Donald Trump come Presidente degli USA nel novembre 2016, venivano intervistati vari sondaggisti uno dei quali affermava che i sondaggi americani sono stati corretti in quanti il loro errore è del ±3.3%. Antonio Noto, direttore dell’istituto Ipr Marketing afferma:
Wikipedia afferma che i sondaggi d'opinione casuali hanno un errore del 3% mentre quelli stratificati dovrebbero avere un errore migliore. Alcuni studi hanno dimostrato che nelle elezioni tra il 1970 e il 1979 la media degli errori dei sondaggi sulle elezioni in Inghilterra è stata di 3 punti percentuali per i campionamenti per quote e 6.3 punti per i sondaggi aleatori.
Errore dell'Instant poll (sondaggio il giorno delle elezioni)
Si può disquisire sul fatto che le persone cambiano idea con l'approssimarsi delle elezioni, nelle elezioni politiche 2013 il giorno delle votazioni è stato fatto un ampio instant poll ovvero un ampio sondaggio con grande dispiegamento di risorse. Un dettagliato articolo di kensan.it dimostra come i risultati siano sempre pessimi per i sondaggisti se si considerano i partiti maggiori. Ecco la tabella relativa:
Si noterà che nel caso del PD l'instant poll ha errori ancora più grandi della media dei sondaggi del mese precedente le elezioni dove l'errore era del +4.3%. Nel caso del M5S l'errore è di molto diminuito, si passa da un -10.3% a un più modesto -5.5%. Per quanto riguarda il PDL c'è coincidenza tra l'instant poll e il risultato elettorale.
Non si può non parlare dell'ipocrisia dei sondaggisti che quando si confrontano con la realtà, ovvero il giorno delle elezioni, smettono di usare i numeri con la virgola e propongono una forchetta di risultati possibili. In questo caso l'instant poll ha un errore del ±1% secondo il sondaggista.
In realtà l'errore è del ±7% come si vede dalla tabella.
Nel caso delle elezioni europee 2009 si è fatto un instant poll e la tabella relativa è la seguente per i tre maggiori partiti:
In questo caso l'errore è del ±1%.
Nel caso delle elezioni politiche del 2008 si sono fatti gli exit poll che non sono propriamente dei sondaggi ma gli elettori vengono invitati a rifare lo stesso voto che hanno fatto nel segreto dell'urna su una cassetta del sondaggista. Comunque la tabella degli errori è la seguente:
Si vede chiaramente come il sondaggista abbia considerato un ampio errore che però non è stato sufficiente a coprire la realtà. Il sondaggista ha considerato un errore del ±2% per i primi due partiti e un errore del ±1% per il partito più piccolo.
Invece un errore del ±4% si attaglia a questi exit poll.
Un altro exit poll si è avuto alle politiche del 2006. Questa la tabella:
L'errore del ±3% va bene per questi exit poll.
Sottolineo di nuovo il fatto che i sondaggisti quando si confrontano con i dati reali delle votazioni sono molto prudenti e offrono una forchetta di previsioni anche molto ampia e non usano i decimali.
Errore dei sondaggi teorico
Alcune precisioni per i singoli sondaggi con livello di confidenza del 95% che si hanno secondo i sondaggisti in base a calcoli teorici:
- Ixè: ± 3.1 %
- Piepoli: ± 4.3%
- SWG: ±3.3%
- Euromedia: ±3.5%
Errore dei sondaggi empirico
Elezioni europee 2019
Le elezioni europee 2019 si sono tenute il 26 di maggio 2019.
Ecco la media dei sondaggi 2019 dell'ultima settimana in cui è stato possibile fare sondaggi pubblicati da Termometro Politico:
È da ipotizzare un errore del ±5% quindi la tabella dei risultati elettorali delle europee compilata prima del 26 maggio è la seguente:
| Europee 2019 (previsioni) |
Sondaggi (media) |
Errore nei sondaggi (a priori) |
|
 M5S |
17.5 - 27.5% | 22.5% |
±5% |
 PD |
16.3 - 26.3% | 21.3% |
±5% |
 FI |
4.5 - 14.5 % | 9.5% |
±5% |
 Lega |
26.1 - 36.1% |
31.1% |
±5% |
La sera del 26 o più probabilmente la mattina del 27 riempirò (ho riempito) la tabella seguente.
| Europee 2019 Risultati |
Errore nei sondaggi (a posteriori) |
|
| M5S |
17.1% | +5.4% |
| PD |
22.7% | -1.4% |
| FI |
8.8% | +0.7% |
| Lega |
34.3% | -2.2% |
Come si vede con il senno di poi (tabella compilata dopo le elezioni) gli errori sono variabili ma anche in questa votazione come nelle seguenti un errore del ±5% avrebbe permesse di comprenderle tutte con una leggera sbavatura per il M5S che sarebbe andato fuori soglia di un soffio.
Elezioni Regionali Sardegna 2019
Le elezioni regionali della Sardegna sono interessanti anche se riguardano solo una regione. In Sardegna il giorno della votazione sono stati fatti gli exit poll che sono più precisi dei sondaggi. In effetti i sondaggisti indicano per gli exit poll un errore del ±2% contro un oltre il ±3 dei sondaggi. A questo link sono riportati i sondaggi all'uscita del seggio. «Solinas (centrodx-Lega) tra 36,5 e 40,5%, Zedda (centrosinistra-PD) 35/39, Desogus (M5s) 13,5/17,5»
Quali sono stati i risultati reali? Ecco la tabella riassuntiva:
| Regionali Sardegna 2019 |
Exit poll |
Risultati elettorali |
Errore nei sondaggi |
| M5S |
13.5 - 17.5% | 11.2% |
±5.7% |
| Centrosinistra |
35 - 39% | 32.9% |
±4.1% |
| Centrodestra |
36.5 - 40.5% |
47.8% |
±9.3% |
Quindi per comprendere tutti e tre i gruppi politici i sondaggisti avrebbero dovuto indicare un errore del ±10%, ipotesi molto severa che nel caso nazionale si riduce della metà come si vedrà leggendo il resto di questo testo.
Elezioni politiche 2018
Tabella compilata il 16 febbraio 2018
Per le elezioni politiche del 4 marzo 2018 gli Istituti di sondaggio forniscono in media per la settimana prima (12-16 febbraio) dell'oscuramento pre-elettorale i seguenti valori secondo i calcoli di Termometro Politico:
| Politiche 2018 |
Sondaggi (media) |
Errore nei sondaggi |
|
| M5S |
23 - 33% | 27.6% |
±5% |
| PD |
18 - 28% | 22.8% |
±5% |
| FI |
12 - 22% | 16.7% |
±5% |
| Lega |
8 - 18% |
13.4% |
±5% |
Considerando il valore di errore del ±5% come calcolato in seguito in base ai sondaggi e ai risultati elettorali, si hanno le forchette indicate in grande. I sondaggi continuano fino al giorno prima del 4 marzo, data delle urne, ma il trend della media dei sondaggi è nel tempo piuttosto lenta oppure costante per cui i valori non cambieranno di molto secondo i sondaggisti.
In 4 settimane, dal 21 gennaio al 16 febbraio, la media dei 12 sondaggi è variata dello 0.2% per il M5S, 0.6% per il PD, 0.3% per La Lega. Su un errore del 5% tali variazioni sono irrisorie. Mi attendo per il 2 marzo valori molto simili a quelli pubblicati qui per quanto riguarda la media dei sondaggi.
Nei giorni successivi le elezioni del 4 marzo 2018 saranno pubblicati la media dei sondaggi del 2 marzo e in base a quelli vedremo gli errori effettivi dei sondaggi.
Tabella compilata il 5 marzo 2018
Le elezioni sono arrivate. I dati definitivi del 4 marzo danno:
| Politiche 2018 |
Sondaggi (media) |
Errore nei sondaggi |
|
| M5S |
32.7% |
27.6% |
-5.1% |
| PD |
18.7% | 22.8% |
+4.1% |
| FI |
14.0% | 16.7% |
+2.7% |
| Lega |
17.4% |
13.4% |
-4.0% |
L'errore è del ±5% come al solito.
Si noti che le previsioni fatte il 16 febbraio e riportate nella prima tabella con le forbici del ±5% sono ipotesi realistiche che io ho realizzato e come potevano realizzare i sondaggisti. Realistiche nel senso che dopo il 4 marzo sono scaturiti gli errori dei sondaggi riportati nella tabella qui sopra e perfettamente compatibili con le previsioni.
Una seconda nota è che gli errori teorici che le singole aziende di sondaggi pubblicano sono distanti dalla realtà. Per esempio il 3% di Ixè, SWG ed Euromedia con il 95% di confidenza è piuttosto errato guardando la tabella qui sopra dove l'errore è quasi sempre superiore al 4% ed arriva al 5%. Solo per Forza Italia l'errore è compatibile.
Referendum 4 dicembre 2016
Il 4 dicembre 2016 c'è stato il Referendum per riformare la Costituzione voluta dal Governo Renzi e la media degli ultimi 7 giorni di sondaggi danno un 53% a 47% a favore del No. Il risultato effettivo uscito dalle urne è stato di un più ampio 59.1% a 40.9%. L'errore è stato in questo caso piuttosto ampio e pari a un ±6%.
Brexit
Il referendum sull'uscita dalla EU della Gran Bretagna è stato chiamato brexit. Si è svolto il 23 di giugno 2016 e ha vinto il leave con il 51.8% mentre il remain ha avuto il 48.2%. La media dei sondaggi pubblicato dal Financial Times dava il leave a 45% mentre il remain aveva il 44%. In pratica la media dei sondaggi dava un 50.5% vs 49.5%. L'errore è quindi basso e di circa il ±1.5%. Si noti l'uso dei numeri interi per esprimere il sondaggio per cui l'errore risulta uguale o superiore all'unità (±1%).
Europee 2014
Veniamo all'Italia. Usiamo i dati di termometro politico sulla media dei sondaggi del 23 maggio e usiamo i dati definitivi delle europee 2014 che si sono tenute il 25 di maggio. Gli Istituti di sondaggio considerati sono 18. Per i tre maggiori partiti possiamo costruire questa tabella:
| Europee 2014 |
Sondaggi (media) |
Errore nei sondaggi |
|
 PD |
40.8% | 32.9% |
-7.9% |
 M5S |
21.2% | 26.7% |
+5.5% |
 FI |
16.8% | 17.7% |
+0.9% |
L'errore è del ±5.5% ad eccezione del risultato del PD che è completamente sbagliato.
Vedremo in seguito che questo errore copre quasi tutte le situazioni.
Vediamo due sondaggi visti a Porta a Porta di Bruno Vespa riguardo le elezioni europee 2014:
Si vedono i sondaggi di Euromedia (in verde) e IPR (in arancione) andati in onda su RAI1 sei giorni prima le elezioni. Di quanto sarà sbagliato? Una semplice differenza con i risultati definitivi conferma un errore del ±4% con l'eccezione del risultato del PD. Quindi il ±5% calza anche per questo singolo sondaggio.
Si può sicuramente dire che Bruno Vespa racconta stupidaggini nelle sua trasmissione Porta a Porta. Vedremo anche che tutti i sondaggi da una ventina d'anni a questa parte hanno il problema di essere fortemente fallati, nel senso di essere affetti da un grosso errore, molto maggiore di quello sbandierato dai sondaggisti.
Politiche 2013
Di quanto hanno sbagliato i sondaggisti nelle elezioni politiche del 2013? Per questo ci avvaliamo di un interessante articolo di Termometro politico e in particolare di una sua tabella delle elezioni del 2013 che riporto nella sua parte che ci interessa:
| Camera 2013 |
Sondaggi (media) |
Errore nei sondaggi |
|
 PD |
25.4% | 29.7% |
+4.3% |
 M5S |
25.5% | 15.3% |
-10.3% |
 PDL |
21.6% | 20.0% |
-1.6% |
Ci sono i partiti maggiori, c'è la media delle ultime rilevazioni ovvero i sondaggi fatti qualche giorno prima le elezioni politiche che si sono tenute il 24 e 25 febbraio 2013 e c'è il risultato ufficiale delle elezioni. Gli Istituti di sondaggio considerati sono 15.
Nell'ultima colonna della tabella ci sono gli errori dei sondaggi ovvero la differenza tra i sondaggi e la realtà dei risultati elettorali definitivi, in modo tale che un errore positivo significhi una sovrastima dei sondaggi, un errore negativo significhi una sottostima.
| Partito |
differenza |
| PD |
+4.3% |
| PDL |
-1.6% |
| M5S |
-10.3% |
Si noterà che il PD è abbastanza sovrastimato dai sondaggisti che gli attribuiscono in più una grossa percentuale di voti. Al PDL vengono tolti un po' di voti ma non molti, può essere accettabile come errore. Al M5S vengono tolti oltre 10 punti percentuali cioè è sottostimato di quasi la metà dei votanti che è un errore veramente inaccettabile.
Kensan.it
L'errore è del ±5% ad eccezione del risultato del M5S che è completamente sbagliato.
Una critica nei confronti dei sondaggisti: che senso ha usare i decimali quando l'errore che si commette è oltre il punto percentuale come minimo e come massimo di 10 punti percentuali? Forse sarebbe meglio usare una forchetta di ±2% o ±4%, in tal caso i sondaggi sarebbero più attinenti alla realtà.
Con un errore della media dei sondaggi pari al ±5% la tabella dei sondaggisti per le elezioni politiche (camera) 2013 sarebbe la seguente:
| Partito |
min |
max |
| PD |
25% |
35% |
| PDL |
15% |
25% |
| M5S |
10% |
20% |
Come si vede sarebbe azzeccato il risultato elettorale del PD e del PDL mentre sarebbe sbagliato solo quello del M5S. Certo il confronto tra l'operato dei sondaggisti e i risultati definitivi sarebbe in questo caso molto buono e della stima della gente ne gioverebbe la categoria. Invece si preferisce dare numeri a caso che vengono pubblicati dai giornali come fosse oro colato che poi saranno smentiti il giorno dopo le elezioni.
Per esempio ci sono state le elezioni europee nel 2014 precedute dagli inevitabili sondaggi, uno dei tanti mostrati dalla stampa e dalla tv è quello nell'immagine seguente:
Che senso ha dare questi numeri con anche i decimali? Non sarebbe meglio nel senso di veritiera una tabella fatta nel modo seguente con un errore molto ampio?:
Adesso poniamoci la domanda più significativa: Che genere di discussioni si possono fare sull'ultima tabella? Cosa possono dire in tv e nei giornali i commentatori politici? Non si può neppure affermare chi è il primo partito in quanto Forza Italia e il PD potrebbero avere lo stesso numero di voti (FI arriva al 25% e il PD al 26%).
Europee 2009
Abbiamo visto che un ±5% come errore calza abbastanza bene nel caso delle elezioni politiche del 2013 con l'unica eccezione del M5S. Vediamo gli errori nei sondaggi del 2009 che riguardano le elezioni europee, la fonte è sempre Termometro politico:
| Europee 2009 |
Sondaggi (media) |
Errore dei sondaggi |
|
 PDL |
35.3% |
39.8% | +4.5% |
 PD |
26.1% |
25.1% | +1% |
 Lega Nord |
10.2% |
10.1% | -0.1% |
Anche qui si nota un errore del ±5%.
Politiche 2008
Seguono gli errori inconfessabili dei sondaggisti nelle politiche (camera) del 2008 (la media dei sondaggi è sempre di Termometro politico):
| Politiche 2008 |
Sondaggi (media) |
Errore dei sondaggi |
|
 PDL |
37.4% |
39.2% | +1.8% |
 PD |
33.2% |
33.7% | +0.5% |
 Lega Nord |
8.3% |
5.1% | -3.2% |
Anche in questo caso si nota un errore dei sondaggi del ±5% che avrebbe compreso tutti i risultati reali.
Primarie PD 2013
In fine esaminiamo i risultati delle Primarie del PD dove i sondaggisti si sono applicati. A questo fine usiamo i dati riassunti da YouTrend in questa tabella:
| Primarie 2013 |
Sondaggi (media) |
Errore dei sondaggi |
|
 Renzi |
67.6% |
65.0% | -2.6% |
 Cuperlo |
18.2% |
22.0% | +3.8% |
 Civati |
14.2% |
13.0% | -1.2% |
La media dei sondaggi è fatta usando 8 istituti che operano in questo settore e che hanno fatto l'indagine negli ultimi dieci giorni prima delle Primarie 2013 del PD.
Si nota senza dubbio un errore del ±5% che comprende tutti i risultati.
Nota: Nel caso delle Primarie c'è una grossa differenza percentuale tra il primo eletto e l'ultimo, tra Renzi e Civati. Se l'errore risultasse dipendente dalla percentuale del risultato allora il concetto di errore relativo sarebbe il più utile. Qui si è usato solo l'errore assoluto anche perché di più facile comprensione e perché le percentuali dei maggiori tre partiti sono non troppo differenti e di valore elevato e quindi l'errore assoluto e l'errore relativo hanno la stessa utilità. Nel caso delle primarie dove Cuperlo è affetto da un errore del +3.8% non sembra che le percentuali alte siano affette da un errore assoluto alto e le percentuali basse da un errore assoluto basso.
Ad ogni elezione ci sono invariabilmente queste polemiche ma nessuno ha interesse a ricordarsele prima delle elezioni successive, né i commentatori politici che dissertano dello zero virgola in più del tal partito e nel tal sondaggio, né i sondaggisti che danno letteralmente i numeri, né la gente che legge in modo acritico e smemorato quello che si dice di politica.
Quindi se sono tutti contenti andiamo avanti col teatrino della politica in cui i sondaggi sbagliati sono il canovaccio.
Per gli altri che sono abituati a ragionare sui fatti un errore del ±5% sembra un buon viatico per valutare le medie dei sondaggi per i maggiori partiti delle elezioni politiche del 2008, delle elezioni europee del 2009, delle elezioni politiche del 2013, delle Primarie 2013, delle elezioni europee del 2014, del Referendum 2017, delle politiche 2018 ed elezioni seguenti.
| Errore della media dei sondaggi: | ±5% |
Un articolo che ho letto appena dopo la elezione di Donald Trump come Presidente degli USA nel novembre 2016, venivano intervistati vari sondaggisti uno dei quali affermava che i sondaggi americani sono stati corretti in quanti il loro errore è del ±3.3%. Antonio Noto, direttore dell’istituto Ipr Marketing afferma:
[I sondaggisti] hanno sbagliato di pochissimo nel prevedere un vantaggio della candidata democratica, rimanendo entro il margine dell’errore statistico che consente uno sbaglio fino al 3,3%.Evidentemente con un tale errore può vincere sia la candidata democratica che il candidato repubblicano.
Wikipedia afferma che i sondaggi d'opinione casuali hanno un errore del 3% mentre quelli stratificati dovrebbero avere un errore migliore. Alcuni studi hanno dimostrato che nelle elezioni tra il 1970 e il 1979 la media degli errori dei sondaggi sulle elezioni in Inghilterra è stata di 3 punti percentuali per i campionamenti per quote e 6.3 punti per i sondaggi aleatori.
Errore dell'Instant poll (sondaggio il giorno delle elezioni)
Si può disquisire sul fatto che le persone cambiano idea con l'approssimarsi delle elezioni, nelle elezioni politiche 2013 il giorno delle votazioni è stato fatto un ampio instant poll ovvero un ampio sondaggio con grande dispiegamento di risorse. Un dettagliato articolo di kensan.it dimostra come i risultati siano sempre pessimi per i sondaggisti se si considerano i partiti maggiori. Ecco la tabella relativa:
| Politiche 2013 |
Instant poll |
Errore dei sondaggi |
|
| PD |
25.4% |
31-33% | +6.6% |
| PDL |
21.6% |
21-23% | +0.4% |
| M5S |
25.5% |
19-21% | -5.5% |
Si noterà che nel caso del PD l'instant poll ha errori ancora più grandi della media dei sondaggi del mese precedente le elezioni dove l'errore era del +4.3%. Nel caso del M5S l'errore è di molto diminuito, si passa da un -10.3% a un più modesto -5.5%. Per quanto riguarda il PDL c'è coincidenza tra l'instant poll e il risultato elettorale.
Non si può non parlare dell'ipocrisia dei sondaggisti che quando si confrontano con la realtà, ovvero il giorno delle elezioni, smettono di usare i numeri con la virgola e propongono una forchetta di risultati possibili. In questo caso l'instant poll ha un errore del ±1% secondo il sondaggista.
In realtà l'errore è del ±7% come si vede dalla tabella.
Nel caso delle elezioni europee 2009 si è fatto un instant poll e la tabella relativa è la seguente per i tre maggiori partiti:
| Europee 2009 |
Instant poll |
Errore dei sondaggi |
|
| PDL |
35.3% |
34-37% | +0.2% |
| PD |
26.1% |
25-27% | -0.1% |
| Lega Nord |
10.2% |
9-10.5% | +0.5% |
In questo caso l'errore è del ±1%.
Nel caso delle elezioni politiche del 2008 si sono fatti gli exit poll che non sono propriamente dei sondaggi ma gli elettori vengono invitati a rifare lo stesso voto che hanno fatto nel segreto dell'urna su una cassetta del sondaggista. Comunque la tabella degli errori è la seguente:
| Politiche 2008 |
Exit poll |
Errore dei sondaggi |
|
| PDL |
37.4% |
32-36% | -3.4% |
| PD |
33.2% |
33-37% | +1.8% |
| Lega Nord |
8.3% |
6-8% | -1.3% |
Si vede chiaramente come il sondaggista abbia considerato un ampio errore che però non è stato sufficiente a coprire la realtà. Il sondaggista ha considerato un errore del ±2% per i primi due partiti e un errore del ±1% per il partito più piccolo.
Invece un errore del ±4% si attaglia a questi exit poll.
Un altro exit poll si è avuto alle politiche del 2006. Questa la tabella:
| Politiche 2006 |
Exit poll |
Errore dei sondaggi |
|
| Ulivo |
31.3% |
30.5-33% | +0.5% |
| Forza Italia |
23.7% |
20-23% | -2.2% |
| AN |
12.3% |
10.5-12.5% | -0.8% |
L'errore del ±3% va bene per questi exit poll.
Sottolineo di nuovo il fatto che i sondaggisti quando si confrontano con i dati reali delle votazioni sono molto prudenti e offrono una forchetta di previsioni anche molto ampia e non usano i decimali.
