Konsultacje czy ściema? Cz. 1

Obserwatorium Wyborcze przyglądało się wyborom w Legionowie, a teraz pod lupę wzięło pisowskie „społeczne konsultacje” (cudzysłów jak najbardziej wskazany).

Do 14 kwietnia odbywają się społeczne konsultacje projektu ustawy o ustroju miasta stołecznego Warszawy, zakładającej utworzenie metropolii warszawskiej, na którą składałyby się oprócz dotychczasowej gminy Warszawa także 33 inne gminy. W tym celu uruchomiona została strona internetowa (http://www.konsultacjemetropolia.pl/), zawierająca informacje na temat przewidywanej zmiany oraz między innymi interaktywną ankietę, której wyniki mają dać odpowiedź na pytanie o poparcie dla reformy.

Czy na pewno ankieta spełni swe zadanie i pozwoli na uzyskanie miarodajnej informacji o stosunku mieszkańców wyżej wymienionych gmin do planowanej reformy? Postanowiliśmy to sprawdzić. Jako członkowie Obserwatorium Wyborczego wypełniliśmy i przeanalizowaliśmy ankietę.

Kto jest Twoim bohaterem i dlaczego to Lenin?

Wydaje się, że największym mankamentem ankiety, który powoduje jej tendencyjność, jest sama jej konstrukcja. Bardzo ważną kwestią jest kolejność pytań. Zazwyczaj najpierw zadaje się pytania ogólne, a potem coraz bardziej szczegółowe. Zadaje się także czasami tzw. pytania filtrujące, aby wyodrębnić grupę osób, których kolejne pytania dotyczą. Obie te zasady zostały złamane w ocenianej ankiecie. Nie pojawiło się w ogóle pytanie o to, czy zdaniem odpowiadającego potrzebne jest utworzenie metropolii warszawskiej. Mimo to zadano wiele szczegółowych: o sposób wybierania władz, podejmowania uchwał, transport itd. Jeśli jesteś osobą o negatywnym nastawieniu do reformy, to masz problem. Aby mieć możliwość wyrażenia negatywnego nastawienia, tj. odpowiedzieć na pytanie: „Czy chciałbyś, aby Twoja gmina znalazła się w obszarze Metropolii Warszawskiej?”, należy przejść cały kwestionariusz, udzielając obowiązkowo odpowiedzi na każde pytanie zamknięte, w tym na te, na które krytycy reformy nie powinni odpowiadać! A ich odpowiedzi będą zapewne analizowane i dowolnie wykorzystywane przez autorów badania.

We wstępie do ankiet zazwyczaj zachęca się odpowiadających do wyrażania różnych opinii, ale nie przedstawia się własnych! W tym wypadku treść preambuły sugeruje (a nawet mówi o tym wprost!), że zmiany, jakie wprowadzi reforma, będą pozytywne.

Dwa w jednym? Bez problemu!

Treść poszczególnych pytań także jest sugerująca. Pytania są nieprecyzyjnie. W jednym pytaniu poruszanych jest kilka kwestii (klasyczny szkolny błąd typu „dwa pytania w jednym”). Odpowiadający może mieć trudności ze zrozumieniem treści pytań ze względu na ich zawikłanie. Ponadto takie formułowanie pytań może w ogóle uniemożliwić odpowiadającemu odpowiedź zgodną z jego poglądami, na przykład gdy do jednej kwestii chciałby się ustosunkować negatywnie, a do drugiej pozytywnie.

Listy odpowiedzi na pytania zamknięte nie obejmują całego spektrum możliwości, a brakuje takich odpowiedzi jak na przykład „inne”, „trudno powiedzieć”, „nie mam zdania, gdyż nie jestem zwolennikiem metropolii”. W efekcie nie każdy zdoła odpowiedzieć zgodnie z własnymi przekonaniami na każde pytania. Przy tym, żeby przejść do następnej strony ankiety, trzeba koniecznie odpowiedzieć na każde pytanie zamknięte na stronie bieżącej. Czyli ominięcie kwestii, do których nie można się ustosunkować, nie jest możliwe. Dla odmiany, wypełnienie pól „Komentarz do pytania” służących do swobodnego wyrażania własnych opinii i komentarzy nie jest wymagane. Można swobodnie przejść do następnej strony, nawet jeśli się tam nic nie wpisze. Jest to istotne z punktu widzenia miarodajności uzyskanych wyników, gdyż w sytuacji niejasnych i sugerujących pytań zamkniętych może to być jedyna możliwość, aby wyrazić swoją autentyczną opinię na temat reformy (na przykład sprzeciw czy niezadowolenie). Jak wiadomo każdemu, kto zetknął się z badaniami społecznymi, ludzie bardzo niechętnie odpowiadają na pytania otwarte (czyli właśnie tego typu), gdyż wymaga to od nich wysiłku sformułowania i zapisania swoich myśli. W tym wypadku wygląda to tak, jakby autorzy ankiety z góry przewidzieli, że odpowiedzi na te pytania są mniej ważne. Jest prawdopodobne, że nie będą ich wcale analizowali lub bardzo pobieżnie.

Ślązak i Kaszub odpowie za warszawiaka

Mankamentem ankiety jest też fakt, że wypełnia ją kto chce. Nie tylko nie ma próby, którą można by uznać za reprezentatywną, ale także nie ma żadnej kontroli nad tym, kto wysyła kwestionariusz. Po pierwsze, brakuje w ogóle pytań o cechy społeczno-demograficzne (płeć, wiek, wykształcenie, zawód), co jest swoistym „must be” w badaniach tego rodzaju. Odpowiedzi na te pytania umożliwiłyby określenie, czy i na ile grupa odpowiadających jest podobna do populacji osób zainteresowanych, czyli mieszkańców Warszawy i pozostałych trzydziestu trzech gmin. Jedyne dwa pytania charakteryzujące osobę odpowiadającą to pytania o miejsce zamieszkania, czyli gminę lub w wypadku Warszawian dzielnicę zamieszkania. Przewidziana jest także opcja inne miejsce zamieszkania, czyli mogą się wypowiadać osoby spoza gmin potencjalnie objętych metropolią. Czy przy analizie wyników ten fakt będzie brany pod uwagę? Ponadto, jak się okazało, z jednego IP można wysłać kilka ankiet. Z jednej strony jest to uzasadnione, gdyż z jednego komputera może korzystać kilka osób, na przykład cała rodzina, z drugiej jednak daje to możliwość zwiększenia frekwencji. Powstaje pytanie, czy to nie „celowa dziura” w systemie, możliwe jest bowiem, że ktoś z innego regionu wypełni 100 ankiet, opowiadając się za metropolią i już jest 100 głosów „za”.

Konsultacje czy ściema? Cz. 1Po wypełnieniu ankiety, gdy ktoś nie podjął jeszcze decyzji o jej wysłaniu (bo na przykład zorientował się, że pytania są tendencyjne, i uznał, że zamysł pytającego jest niejasny), nie można przerwać i zacząć od nowa. Nie można też wcześniej przeczytać całej ankiety, by się spokojnie nad nią zastanowić. Nawet w przypadku pomyłki nie można wrócić do poprzedniej strony, aby zmienić odpowiedź. Metodologia badań społecznych co prawda nie zakłada, że respondent odpowiadający na pytania sondażu zapoznaje się na początku z całością kwestionariusza, czy że może zmieniać swoje wcześniejsze odpowiedzi, ale jednak daje pewność, że narzędzie badawcze będzie przygotowane z należytą starannością i nie będzie tendencyjne.

Podsumowując: ankieta nie daje w zasadzie możliwości wyrażenia negatywnego stosunku do utworzenia metropolii warszawskiej. Pytania zostały tak postawione i przewidziano takie zestawy odpowiedzi, że uzyskane wyniki będzie można dowolnie interpretować. Ponadto sformułowania pytań są na tyle nieprecyzyjne, że ankieta może być później „doklejona” do zupełnie nowych rozwiązań, nowego projektu ustawy.

Rekomendujemy: nie wypełniać!

Testowali i komentowali: Stefan Filemon, Agnieszka Borowiec, Katarzyna Urogowska, Przemek Zalewski, Hanka Miąsek, Barbara Konecka Sielicka. Całość zebrała i opracowała Agnieszka Borowiec.

 

Obserwatorium Wyborcze szuka wolontariuszy. Jeśli chcesz dołączyć, przeczytaj:

Jutro cz. 2 dotycząca pytań i możliwych odpowiedzi.

Dodaj komentarz

Ta strona wykorzystuje pliki cookies więcej informacj

W ramach naszej witryny stosujemy pliki cookies w celu świadczenia Państwu usług na najwyższym poziomie, w tym w sposób dostosowany do indywidualnych potrzeb. Korzystanie z witryny bez zmiany ustawień dotyczących cookies oznacza, że będą one zamieszczane w Państwa urządzeniu końcowym. Możecie Państwo dokonać w każdym czasie zmiany ustawień dotyczących cookies.

zamknij