Reading Time: 6 minutes

U prvom delu ove objave videli smo kako ista grupa intervjua može dati različite procente u zavisnosti od toga ko se nalazi u imeniocu, kako se uzorak ponderiše i koju populaciju pokušavamo da opišemo. Sada dolazimo do još nezgodnijeg dela: trenutka u kojem anketa prestaje samo da meri sadašnjost i počinje da nagađa budućnost.

Tu ulaze procena izlaznosti, verovatni birači, vreme terenskog rada i, naravno, ona čuvena „margina greške“ koju javnost ponekad tretira kao statističku garanciju proizvođača. Ako na etiketi piše ±3%, očekivanje je gotovo: rezultat izbora mora biti negde u tom krugu, inače je neko ili nesposoban ili nepošten.

Nažalost, statistika nije dala takvu garanciju.

Onog trenutka kada biramo „verovatne birače“, već prognoziramo

Anketa može sasvim korektno da pita građane za koga bi glasali, ali izborni rezultat ne određuju svi ljudi koji imaju političku preferenciju. Određuju ga oni koji zaista izađu.

Zato anketne kuće pokušavaju da procene ko je „verovatan birač“. Mogu uzeti u obzir izjavu da će osoba sigurno izaći, prethodno glasanje, političko interesovanje, starost ili druge osobine. Neke kuće isključuju ispitanike ispod određenog praga verovatnoće, druge ih ponderišu, a treće koriste složenije modele.

Čim to urade, anketa više nije samo fotografija trenutnih preferencija. U nju je ubačena mala prognoza budućeg ponašanja.

To je važno zato što isti odgovori mogu proizvesti različite partijske procente ako se pristalicama različitih lista pripišu različite verovatnoće izlaska. Nijedan birač nije promenio političku preferenciju; promenio se model toga ko će se pojaviti pred biračkom kutijom.

Ipsos 22. oktobra: anketa, model izlaznosti i projekcija u jednom paketu

Poslednja Ipsosova objava pred izbore pruža izuzetno dobar primer. Istraživanje je sprovedeno na 3.624 ispitanika od 20. do 22. oktobra. Ipsos navodi da je izlaznost računata na celom uzorku, dok su procenti izbornih lista računati među opredeljenima, odnosno među ispitanicima koji su naveli za koga će glasati. Pored toga, u procenu konačnog ishoda uvedena je pretpostavka da će 2,5% listića biti nevažeće. Naručilac je bila lista Aleksandar Vučić – Ujedinjena Srbija.

Dakle, ovde već nemamo samo jedan sirovi anketni procenat. Imamo kombinaciju različitih ocenjivača i dodatnih prognostičkih pretpostavki. Ipsos je očekivao izlaznost od 64,7%, Ujedinjenu Srbiju na 47,4%, Studentsku listu na 40% i listu Ivice Dačića na 3,2%. Za procene je objavio i statističke intervale: 45,3–49,5% za Ujedinjenu Srbiju i 37,9–42,1% za Studentsku listu.

Preliminarni rezultat RIK-a na 97,56% obrađenih biračkih mesta bio je, međutim, 52,71% za Studentsku listu i 39,17% za Ujedinjenu Srbiju.

Oba vodeća rezultata našla su se daleko izvan objavljenih Ipsosovih intervala.

To je veoma važan metodološki događaj. Ali nije dovoljno samo povikati „Ipsos je slagao“ ili „Ipsos ne ume“. Prvo treba pitati šta su ti intervali zapravo obuhvatali.

Margina greške nije kasko osiguranje za anketu

Klasična uzoračka margina govori nam o slučajnoj varijabilnosti koja nastaje zato što razgovaramo sa uzorkom umesto sa celom populacijom. Ona ne garantuje da smo obuhvatili pravu populaciju, da su oni koji nisu odgovorili politički isti kao oni koji jesu, da su ponderi savršeni, da je pitanje neutralno, da smo pravilno predvideli izlaznost ili da se raspoloženje neće promeniti posle intervjua.

Drugim rečima, uzoračka greška je deo ukupne anketne greške. Nije njen sinonim.

Slika 4.3. Uzoračka margina predstavlja samo jednu komponentu ukupne anketne neizvesnosti. Šira raspodela je ilustracija dodatne neizvesnosti, a ne univerzalni korekcioni faktor.

Upravo zato poslednji Ipsosov primer zaslužuje detaljno postizborno ispitivanje. Možda je glavni problem bio obuhvat, možda diferencijalni neodaziv, možda pretpostavka o izlaznosti, možda politički vrlo neobično ponašanje birača u završnim danima, a možda kombinacija više stvari. Veliki promašaj nam kaže da ukupna greška nije bila dobro predstavljena objavljenim intervalom. Sam promašaj nam još ne govori zašto.

To je razlika između analize i presude.

95% „sigurnosti“ je izraz sa kojim treba biti veoma oprezan

Ipsosova objava navodi da intervali sa „95% sigurnosti daju gornju i donju granicu u kojoj bi trebalo da se kreću konačni izborni rezultati“. Upravo ovakva formulacija pokazuje koliko je važno razlikovati interval za uzoračku procenu od prediktivnog intervala za budući izborni rezultat.

Ako interval obuhvata samo uzoračku neizvesnost, on ne može sam po sebi obećavati gde će se nalaziti konačan rezultat izbora. Konačan rezultat zavisi i od buduće izlaznosti, kasne promene preferencija, neodaziva i sistematskih grešaka koje više anketa mogu deliti.

Zato bi odgovornija javna formulacija jasno rekla šta je interval: „interval uzoračke neizvesnosti pod navedenim dizajnom“ ili, ako je zaista reč o prediktivnom intervalu, objasnila bi koji su dodatni izvori prognostičke greške modelirani.

Statistička preciznost nije bolja zato što je predstavljena sa dve decimale i 95%.

Anketa meri period, a ne fotografski trenutak

Drugi često zanemareni problem jeste vreme. Anketa koja traje pet dana nije fotografija snimljena u petak u podne. Ona je kombinacija odgovora ljudi intervjuisanih tokom svih pet dana.

Ako se veliki politički događaj dogodi trećeg dana, ljudi intervjuisani pre njega i posle njega odgovaraju u različitim kontekstima. Konačan broj je njihova mešavina.

Slika 4.4. Anketa meri period terenskog rada, a ne jedan trenutak. Ako se podrška menja tokom terena, objavljeni procenat predstavlja kombinaciju odgovora prikupljenih u različitim političkim momentima.

Ovo je važno kada danas retroaktivno poređujemo CRTA-u, Faktor Plus, NSPM i Ipsos kao da su svi istog dana pokušavali da pogode 25. oktobar.

Nisu.

CRTA je teren završila 24. juna. Faktor Plus 20. septembra. NSPM 5. oktobra. Ipsos 22. oktobra. CRTA je merila stanje četiri meseca pre izbora, dok je Ipsos završio teren tri dana pre glasanja. Porediti njihove apsolutne greške bez vremenskog konteksta znači porediti vremensku prognozu za oktobar napravljenu u junu sa prognozom napravljenom u petak za nedelju.

NSPM je ovaj problem izričito prepoznao i napisao da njegova objava nije „anticipacija“ niti projekcija izbornog rezultata. To je važno metodološko ograđivanje, a ne izgovor posle rezultata.

„Stidljivi birač“ je privlačna priča, ne gotova dijagnoza

Kada ankete promaše, jedna od prvih političkih teorija obično glasi da su birači neke opcije krili svoju preferenciju. U Srbiji se takva priča lako prilagodi političkoj strani posmatrača. Jedni znaju da opozicioni birači ćute zbog straha. Drugi znaju da birači vlasti ne razgovaraju sa „neprijateljskim“ anketarima. Svi nešto znaju, samo podaci još nisu obavešteni.

Prikrivanje preferencije jeste moguć mehanizam. Ali može nastati kroz različite procese: lažni odgovor, odbijanje pitanja, odgovor „ne znam“ iako preferencija postoji ili potpuno odbijanje ankete. Ti procesi nisu isti.

Ako se njihov smer i veličina mogu empirijski proceniti, treba ih modelirati. Ako ne mogu, treba ih predstaviti kao analizu osetljivosti, a ne kao politički zgodan korekcioni faktor.

Veliki anketni promašaj ne daje automatski pravo pobedničkoj strani da naknadno objasni da je „uvek znala“ gde su se skrivali glasovi.

Alo, Politika, Danas: isti podatak, različita temperatura naslova

Način medijskog predstavljanja dodatno menja ono što publika iz ankete odnese.

Alo je Ipsosovu objavu naslovio: „Aleksandar Vučić – Ujedinjena Srbija ubedljivo na prvom mestu sa 47,4 odsto“. U samom tekstu preneti su brojni metodološki detalji, uključujući naručioca, kombinovani način anketiranja i tretman opredeljenih. Problem nije što su podaci izmišljeni; problem je što reč „ubedljivo“ već interpretira političko značenje rezultata pre nego što čitalac stigne do metodologije.

Danas je isti Ipsosov rezultat predstavio deskriptivnije i eksplicitno naveo da je istraživanje naručila Ujedinjena Srbija, kao i očekivanu izlaznost. Politika je, prenoseći Faktor Plus, koristila formulaciju da bi SNS „osvojio 48,6 odsto“ kada bi se izbori održavali u nedelju.

Takve formulacije lako pretvore anketno merenje u privid gotovog izbornog rezultata. Medij ima pravo na čitljiv naslov, ali profesionalna odgovornost nalaže da se čitaocu ne sakrije gde prestaje merenje a počinje projekcija.

Čak je i postizborni naslov Vremena, „Ko laže, a ko ne ume“, veoma efektan za privlačenje pažnje, ali metodološki problem ne može se rešiti izborom između te dve mogućnosti. Anketa može promašiti bez laganja i može pogoditi iz pogrešnih razloga.

Ko plati istraživanje nije fusnota, ali nije ni automatska presuda

Ipsos je transparentno naveo da je naručilac poslednjeg istraživanja bila lista Aleksandar Vučić – Ujedinjena Srbija. Ta informacija treba da bude javna i dobro je što jeste.

Ali iz nje ne sledi automatski da je istraživanje namešteno. Profesionalna agencija upravo zato mora da ima standarde koji su nezavisni od političkih interesa klijenta. Metod, ponderi, formulacija pitanja, model izlaznosti i prikaz neizvesnosti ne bi smeli da se prilagođavaju tome ko želi lepši naslov.

Isto pravilo mora važiti za istraživanja koja naručuju organizacije civilnog društva, opozicione stranke, međunarodne organizacije ili mediji. Naručilac je važan metapodatak. Nije zamena za metodološku analizu.

Ako rezultat CRTA-e odgovara našim političkim očekivanjima, to nije dovoljan razlog da mu verujemo. Ako nam rezultat Faktor Plusa smeta, to nije dovoljan razlog da ga odbacimo. Ako Ipsos napravi veliki promašaj, najkorisnije je rekonstruisati mehanizam greške, a ne nagađati motiv.

Pasoš ankete: manje vere na reč, više proverljivih informacija

Zato u knjizi predlažem jednostavan koncept: Pasoš ankete. Ne kao ocenu od jedan do deset i ne kao još jedan indeks kojim ćemo konačno dokazati da je naša omiljena agencija najbolja, već kao standardizovanu evidenciju metodologije.

Uz svaku anketu treba da možemo da pronađemo ko ju je sproveo i naručio, ciljnu populaciju, geografski obuhvat, način regrutovanja i anketiranja, datume terena, broj intervjua, ponderisanje, formulaciju pitanja, tretman neopredeljenih i odbijanja, eventualni model verovatnih birača i precizno značenje objavljene mere neizvesnosti.

Ako nešto od toga nedostaje, to se beleži kao nedostatak informacija.

Ne kao dokaz zavere.

To bi, uzgred, moglo dosta da rashladi domaću diskusiju. Umesto „ova anketa je lažna jer mi se ne sviđa“, mogli bismo reći: „ne znamo kako su tretirani neopredeljeni“, „nije objavljen način ponderisanja“ ili „interval obuhvata samo uzoračku grešku“.

Manje je spektakularno.

Ali je znatno korisnije.

Posle 25. oktobra najvažnije pitanje nije samo ko je promašio

Preliminarni rezultat izbora pokazao je da su neke poslednje javne procene imale vrlo velike greške. To treba ozbiljno analizirati. Ali postizborna metodološka istraga treba da pita gde je greška nastala: u obuhvatu, neodazivu, ponderisanju, tretmanu neopredeljenih, modelu izlaznosti, vremenskoj promeni ili kombinaciji tih mehanizama.

Ako samo poređamo agencije po udaljenosti od rezultata, saznaćemo ko je ovog puta bio najbliži.

Ako razumemo zašto, možda ćemo sledeći put napraviti bolju prognozu.

To je mnogo ambiciozniji cilj.

I mnogo korisniji od još jedne tabele pobednika i gubitnika.