Достоверност на социологическите агенции 2009-2017
Полина Крайнева - Център за анализи и управление на рискове (ЦАУР), докторант на свободна подготовка в НБУ
Проблемът и възможностите за решението му
Преди избори публичният дебат и медиите концентрират голяма част от вниманието на избирателите върху сондажите на социологическите агенции. Политиците и голяма част от обществеността поставят под съмнение достоверността им. Медиите не правят проверки за надеждността на информацията, която разпространяват и не се ангажират с нея [1] - огласяват всички данни еднакво, често цитирайки неофициални източници. По този начин всички сондажи въздействат еднакво силно върху избирателите.
Достоверността на предизборните анкетни сондажи може да бъде оценена обективно по точност, за политическа (без)пристрастност и професионална коректност. В периода 2009-2017 се събират данни за 6 изборни момента с до 18 статистически наблюдения, за относително постоянен състав от политически формации и това е достатъчна основа за обективност. Това е направено като е приложена използваната в ЦАУР „Методология за оценка на предизборните прогнози”[2]. По отношение на точността са изведени два критерия – „неочевидни прогнози „успех-неуспех”“ и „усреднено отклонение на сондажите от изборните резултати“. Преобладаващата политическа пристрастност на агенциите е оценена съобразно съпоставката на анкетните сондажи за ГЕРБ и БСП (в коалиции). Професионалната коректност е оценена по пет качествени признака. Анализът и оценките са направени за всички социологически агенции, оповестили предизборни сондажи в периода 2009-2017. Агенциите са разделени на „постоянни“ и „непостоянни“. Пълният вариант на изследването, съдържащ всички детайли относно приложената методология, анализ и оценка на всички агенции е достъпен на сайта на ЦАУР [3]:
Обща оценка на постоянните агенции за периода 2009-2017
Резултатите от приложението на методите за оценка на анкетните сондажи на социологическите агенции са в трите направления:
1) Точност. Крайната оценка за точността на сондажите на всяка агенция, получена и обобщена със съответните методи, накрая е нормирана с тази на агенцията с най-висока точност, т. е. която има най-малки отклонения на прогнозите от изборните резултати за всички политически формации за целия период 2009-2017. Така максималната оценка за точност на агенциите е 1, а всички останали са <1.
2) Преобладаващата политическа (без)пристрастност по оста ГЕРБ БСП (в коалиции) е оценена съобразно методиката на базата на завишаването/занижаването на сондажите спрямо резултатите за двете формации. Втората колонка показва проявената (без)пристрастност по брой изборни момента. Преобладаващата безпристрастност е точкувана с 1, а пристрастността - с 0;
3) Професионална коректност е оценена по следните критерии: а) функционира ли постоянно социологическата агенция; б) има ли сайт; в) дава ли достъп до своя архив от наблюдения; г) оповестява ли официално своите наблюдения или го прави по медийни канали; д) съобщава ли приложения метод за определяне на извадката; е) дава ли нужните подробности за проведения сондаж. Наличието на професионална коректност е точкувано с 1, отсъствието – с 0, частичната коректност – 0.5.
Трите крайните оценки и тяхната сума – общата оценка за достоверност са посочени в следващата таблица:
Таблица. Рангове на постоянните агенции
Методиките позволяват сравнение на социологическите агенции помежду им по точност и по преобладаваща политическа (без)пристрастност. Най-достоверни досега са били анкетните сондажи на „Алфа рисърч“, следвана от „Екзакта“/НЦИОМ (84.3%), а най-недостоверни – тези на „Сова Харис“ и „Афис“, съответно 10.3% и 30.0% от най-високата достигната достоверност.
От постоянните социологически агенции 3 са преобладаващо политически безпристрастни – „Алфа рисърч“, „Екзакта“/НЦИОМ и ЦАМ и 5 са с преобладаващо лява пристрастност – „Галъп интернешънъл“, „Медиана“, ИМП, „Афис“ и „Сова Харис“. Отсъства агенция с дясна пристрастност. Съобразно посочените тук изисквания, две от безпристрастните агенции са професионално коректни и една - не е. Сред три от петте ляво пристрастни агенции коректността отсъства или е частична.
Социологическите агенции се различават значително по точността на своите сондажи. Без теоретичен ориентир за точността им, само като вземем за такъв постигнатото от най-точната агенция, се виждат значителните разлики между тях: ИМП, „Сова Харис“ и „Афис“ са под 2/5 и дори под 1/3, от най-точната агенция, макар да са поставени при едни и същи условия и при това - са преобладаващо политически пристрастни. Следва да се имат предвид последиците за точността от политическата пристрастност на социологическите агенции. Системно проявяваната пристрастност изкривява трайно в една посока – надценява или подценява изборните резултати. Такава пристрастност в полза на БСП (в коалиции), е проявена от „Галъп интернешънъл“, „Медиана“, „Афис“ и „Сова Харис“ в 86.9% от техните наблюдения. Това следва да се приеме като рецидивиращ опит за манипулация на избирателите. Друго силно основание за съмнения е отсъствието на професионална коректност при половината от постоянните агенции. Сумирани, двата феномена обясняват защо се руши доверието на обществото в социологическите наблюдения и в социологията като наука.
Препоръки
Синтезираните тук оценки и ранговете следва да бъдат ориентир. Те са валидни в минало време - не са гаранция за бъдеща достоверност на анкетните сондажи на агенциите; не отричат бъдеща точност, политическа безпристрастност и коректност.
Българската социологическа асоциация трябва да въведе и контролира спазването на професионални стандарти за коректност и да се разграничава навреме от тези, които не ги спазват, като им откаже публично социологическа принадлежност.
Всички потребители, особено активните участници в обществения и политическия дебат - политици и медии, следва сами да отчитат надеждността на агенциите, на база точността на техните анкетни сондажи, на точността на силно въздействащите им прогнози „успех-неуспех”, да се съобразяват с тяхната политическа пристрастност и професионална коректност. От тази информация следва да формират и обявяват крайната си преценка за техните анкетни сондажи.
Потребителите са затруднени да отчитат сами достоверността на анкетните сондажи, защото отсъстват дясно пристрастни социологически агенции, които да балансират четирите ляво пристрастни агенции. Затова те могат да си служат с коригираните и усреднени прогнози, които ЦАУР редовно публикува от 2014.[4] Такива прогнозни индекси се публикуват и в други страни, например Peilingwijzer на проф. Tom Louwerse от университета в Лайден в Холандия [5].
_________________________________________________________________________
[1] Практика в развитите демокрации е две или три медии да поръчват социологически сондаж и да го огласяват от свое име и от името на съответната агенция.
[2] http://riskmanagementlab.com/bg/index.php?id=products&categories_id[0]=7&categories_id[1]=14&products_id=65&tx_multishop_pi1[page_section]=products_detail
[3] http://riskmanagementlab.com/product/доклад-за-доверието-в-институциите-юл/
[4] http://riskmanagementlab.com/product-category/политически /Такива агрегирани и моделирани данни дава в 2014 и сайта http://www.bgpulse.eu/p/blog-page_8.html