Nieodzownym elementem każdej kampanii wyborczej są sondaże – zarówno te wewnętrzne, do których wgląd mają tylko sztaby, jak i te, które docierają do wszystkich poprzez publikacje w mediach. Badania są ważne, ponieważ powinny pokazywać nam, jak rozkładają się preferencje opinii publicznej – problem powstaje wtedy, kiedy nie wiemy, co tak naprawdę pokazują.
Które firmy dały radę?
Należy pochwalić sondaże trzech ośrodków, które cechuje najmniejszy błąd – jednak nawet i one nie przewidziały wyniku wyborów. Żaden z najlepszych ośrodków nie prognozował samodzielnej większości dla Prawa i Sprawiedliwości, które ta partia zawdzięcza porażce Zjednoczonej Lewicy. Jednak należy pamiętać, że można usprawiedliwić to marginesem błędu przyjętego w badaniu.
(w tabeli kolor zielony wskazuje najmniejszy błąd w porównaniu z końcowym wynikiem wyborczym, czerwony największy)
Najlepszy sondaż przygotował TNS dla dziennika „Fakt”. Badanie to oszacowało wynik głosowania z mniejszym błędem niż badanie exit poll, prowadzone przez IPSOS dla TVP, TVN i Polsatu. Na drugim miejscu znalazł się IBRiS dla Radia ZET, który także należy pochwalić za trafny sondaż. Ostatnie miejsce na podium należy się Estymatorowi i badaniu dla „Newsweeka”, chociaż tutaj razi nie tyle wartość błędu, ile prognoza, że w parlamencie znajdzie się aż osiem ugrupowań, w tym partia Razem i KORWiN.
Jednak nie wszystkie pracownie poradziły sobie z zadaniem przygotowania trafnych sondaży. CBOS, Millward Brown dla TVN i IPSOS dla TVP odnotowały dużą wartość błędu, a co za tym idzie, „przestrzeliły” z wynikami swoich badań. O ile problem trafności badań Millward Brown dla TVN jest zmartwieniem prywatnej stacji telewizyjnej i kwestią jej wiarygodności, to badania CBOS i IPSOS zostały sfinansowane ze środków publicznych. Oznacza to, że mamy – jako obywatele i „sponsorzy” tych badań – prawo oczekiwać należytej jakości wykonania usługi.
CBOS – pilny problem do rozwiązania
Ośrodek CBOS jest fundacją powołaną na mocy ustawy (ustawa z 20 lutego 1997r. o fundacji – Centrum Badań Opinii Społecznej), podległą premierowi. W budżecie państwa ma zapisaną dotację na swoje funkcjonowanie w kwocie 3,5 mln zł (2015). Ustawowym zadaniem tej jednostki jest prowadzenie badań opinii na użytek społeczny i tę funkcję CBOS spełnia publikując ogromną liczbę danych z prowadzonych przez siebie badań. Stanowią one źródło danych dla naukowców, analityków, polityków i innych osób decyzyjnych w sektorze rządowym, gospodarce i sektorze pozarządowym.
CZYTAJ WIĘCEJ: "Analizujemy, skąd różnice w sondażach" - wywiad z prof. Mirosławą Grabowską, dyrektorem CBOS, socjologiem
Wyniki pracy CBOS w zakresie badania preferencji wyborczych stawiają pod znakiem zapytania wyniki pracy w innych obszarach. Jeżeli badacze CBOS mocno mylą się w oszacowaniu poparcia dla ugrupowań politycznych, to jaką gwarancję mamy, że podobne rozbieżności nie występują w innych obszarach badawczych. Sytuacja jest o tyle poważna, że CBOS regularnie myli się w swoich szacunkach dotyczących preferencji wyborczych.
Niedostrzegalna jest reakcja na ten problem rady fundacji składającej się z przedstawicieli Prezydenta RP, Prezesa Rady Ministrów, Sejmu RP i środowisk naukowych. Nie obserwujemy także żadnych działań ze strony Organizacji Firm Badania Opinii i Rynku, która corocznie przyznaje CBOS-owi certyfikat PKJPA – mający stanowić gwarancję jakości prowadzonych badań. Wydaje się, że zarówno Prezydent Andrzej Duda, jak i przyszła pani Premier Beata Szydło poprzez zmiany swoich przedstawicieli (m.in. dr hab. Radosława Markowskiego) i Dyrektora CBOS powinni wymusić zmiany w tej organizacji, tak aby stała się ona źródłem rzetelnej informacji, a nie dezinformacji.
Dobra zmiana w TVP?
Telewizja Polska po I turze wyborów prezydenckich zaprzestała współpracy z firmą TNS. Stało się tak po fali krytyki pod adresem pracowni badawczych za sondaże, które nie potrafiły przewidzieć wygranej Andrzeja Dudy. Na miejsce TNS wybrano firmę IPSOS – wykonawcę badań exit poll dla konsorcjum głównych nadawców telewizyjnych. Firma ta poza wpadką przy wyborach samorządowych (chociaż być może wcale nie zawinionej przez siebie) dostarczała bardzo dobrej jakości dane dla potrzeb wieczorów wyborczych. Jej umiejętności na polu badań przedwyborczych nie były jednak znane.
Niestety badanie zaprezentowane widzom telewizji w czwartek 22 października okazało się niezbyt dokładne. Sytuacja staje się jeszcze mniej komfortowa dla IPSOS i TVP, kiedy weźmiemy pod uwagę fakt, że nie był to zwykły sondaż, ale prognoza oparta na badaniach prowadzonych przez sześć dni (sześć pomiarów) na łącznej próbie trzech tysięcy respondentów. Koszt takiego badania jest z całą pewnością wyższy niż zwykłego sondażu na próbie tysiąca osób. Nieszczęście tej wpadki polega także na tym, że miała ona miejsce w publicznej telewizji – tej która należy do całości społeczeństwa. W tej instytucji powinny obowiązywać najwyższe standardy, także w zakresie pozyskiwania prezentowanych danych. Może Ci, którzy zdecydowali o zmianie dostawcy sondaży przedwyborczych popełnili jednak błąd? Porównanie trafności badań mocno wspiera tę tezę. Eksperyment z IPSOS należy uznać za nieudany.
Dwie twarze TNS
Laurka TNS, którą może się wydawać ten tekst, musi zostać zepsuta przez przyjrzenie się badaniu, które ta pracowania regularnie publikuje. Oprócz badań telefonicznych raz w miesiącu TNS prowadzi badanie techniką wywiadów bezpośrednich. To badanie o długiej historii, którego wyniki sięgają do lat 90-tych. Wyniki tego badania publikowane były także w okresie bezpośrednio poprzedzającym wyborcy. Niestety, dla TNS badanie to nie jest powodem do chluby i nie daje argumentów wspierających tezę o nieomylności tej pracowni. Łączny błąd w tym badaniu (w odniesieniu do wyników wyborów) wynosi 24,7 punktu procentowego, co stawia to badanie na samym końcu badawczej stawki w tych wyborach. Powodem, dla którego nie ujęto tego wyniku (podobnie, jak badania GfK Polonia) w zestawieniu stanowiącym podstawę niniejszego tekstu to odległy od wyborów termin zbierania danych dla tych opracowań (początek października 2015). TNS jest firmą prywatną i jej decyzję są autonomiczne, jednak czy warto kontynuować pomiary, które wydają się opisywać rzeczywistość alternatywną?
Kontrola badań
W Polsce funkcjonuje Organizacja Firm Badania Opinii i Rynku, która zrzesza część firm badawczych. Jednym z obszarów jej działalności jest kontrola jakości pracy tych firm, ale tylko w obszarze pracy ankieterów. Nikt nie kontroluje sposoby w jaki zadawane są pytania, lub konstruowane kwestionariusze. Nikt też nie kontroluje sposobu analizy danych i opracowywania wyników. Firmy i zlecenia prywatne zweryfikuje rynek, ale jednostki publiczne (CBOS) i zlecenia za środki publiczne powinny wyznaczać wysokie standardy badawcze. Należy zatem przejrzeć sposób realizacji i analizy danych przez CBOS i IPSOS dla TVP. Telewizja Polska ma świetnie przygotowaną do tego celu jednostkę jaką jest dział analiz programowych – tam są fachowcy, którzy doskonale orientują się w materii badań – bez problemu powinni znaleźć słabe punkty dostarczonego produktu. Nie chodzi o biczowanie instytutów badawczych, ale o uniknięcie w przyszłości kompromitujących sytuacji.
Podobnej drobiazgowej kontroli powinny podlegać inne projekty realizowane ze środków publicznych. Kontrola wszystkich to mrzonka, ale wybiórcza kontrola pomoże osiągnąć efekt podniesienia jakości. „Zaufanie jest dobre, ale kontrola lepsza” – chociaż autor tego cytatu (Włodzimierz Lenin) był zbrodniarzem, to w tym przypadku należy w pełni zgodzić się z jego wnioskiem. Podobne działania powinny zostać podjęte w CBOS, jednak na dużo szerszą skalę – w tej sprawie wszelkie instrumenty ma w ręku Prezes Rady Ministrów. Pozostaje trzymać kciuki za Beatę Szydło, że także na to znajdzie czas podczas swojego urzędowania.
