Was Wahlumfragen aussagen – und was nicht

Ein Anspruch an eine gut gemachte Umfrage ist, dass sie eine ausreichend große Gruppe an Befragten abdeckt. Das ist die sogenannte Stichprobe. "Der Zielwert für bundesweit repräsentative Befragungen liegt zwischen 1000 und 1500 Personen", sagt Frank Brettschneider. Er ist Kommunikationswissenschaftler, lehrt an der Uni Hohenheim und forscht unter anderem zu politischer Kommunikation, insbesondere Wahlforschung. "Je mehr Personen befragt werden, desto kleiner ist der statistische Fehler, wenn man von der Stichprobe auf die Grundgesamtheit schließt."

Von 1000 Befragten auf die ganze Bevölkerung schließen – Konfidenzintervall macht’s möglich

Selbst eine hochwertige, zufällig erhobene Stichprobe kann die Realität aber nicht komplett sicher abbilden. In der Forschung gehört deshalb zu jeder Untersuchung eine Art Streubereich, der statistische Fehler einbezieht. Konfidenzintervall nennt sich das. Weil man etwa von 1000 bis 1500 Personen nicht mit 100-prozentiger Sicherheit auf eine ganze Bevölkerung schließen kann, gibt das Konfidenzintervall die Abweichung an, in dem die echten Werte sehr wahrscheinlich liegen. Es ist eine wichtige Kenngröße, wenn über Umfrageergebnisse gesprochen wird, und sollte fester Bestandteil der Berichterstattung über Umfragen sein.

Nehmen wir zur Veranschaulichung noch mal das Beispiel vom Anfang dieses Textes: Da hieß es im Bild-Text vom März 2024, die SPD habe in der Umfrage um 1,5 Prozent zugelegt. Damit landete sie übrigens bei einem "Wahlergebnis" von 16 Prozent. Die maximale Fehlertoleranz der Umfrage liegt aber bei plus/minus 2,5 Prozent, das ist auch an einer der Grafiken im Artikel vermerkt.

Veränderungen von wenigen Prozent können auch statistische Fehler sein

Das bedeutet, es ist auch möglich, dass die SPD in der Realität einen Wert erreicht hat, der plus/minus 2,5 Prozent von 16 Prozent abweicht. Die 1,5 Prozent, über die berichtet wurde, liegen also im Bereich der möglichen Schwankung und könnten auch nur ein statistischer Fehler sein. "Eine Zunahme von 1,5 Prozentpunkten rechtfertigt keine weitergehenden inhaltlichen Schlussfolgerungen. Das ist eine Fata Morgana", sagt Ulrich Kohler, Soziologe und Professor für Methoden der empirischen Sozialforschung an der Uni Potsdam. Wer Veränderungen zwischen aufeinanderfolgenden Umfrageergebnissen von wenigen Prozentpunkten interpretiere, handle ebenfalls nicht seriös.

Wäre das berücksichtigt worden, hätte Bild.de im März 2024 kaum noch davon sprechen können, dass SPD und AfD nach "oben schießen". Im August 2023 sei der "Höhenflug" der AfD nicht gestoppt worden. Und 1989 waren womöglich alle Befragten genauso zufrieden oder unzufrieden mit Verteidigungsminister Rupert Scholz. Womöglich wären all die Ergebnisse gar keine Meldung wert gewesen, weil nicht sicher ist, ob sich an den Werten überhaupt etwas verändert hat.

Die Stichprobe – ein möglichst genaues Abbild der Bevölkerung

Die Stichprobe sollte so zusammengesetzt sein, dass sie ein möglichst genaues Abbild der Bevölkerung darstellt. Das heißt, dass die Anteile der verschiedenen Altersgruppen, Geschlechter, Familienstände, Bildungsabschlüsse und so weiter in der Stichprobe genauso vertreten sein sollen wie in der Gesamtbevölkerung.

Wie hochwertig die Stichproben sind, hängt von verschiedenen Faktoren ab. Grob lasse sich sagen, "dass Anbieter, die mit Zufallsstichproben operieren, denjenigen überlegen sind, die ohne solche Stichproben arbeiten", sagt Ulrich Kohler. Aber auch da gibt es Abstufungen zwischen Instituten. Dazu gleich mehr.

Gelingt es nicht, dass in der Stichprobe die Anteile verschiedener Gruppen genauso vertreten sind wie in der Gesamtbevölkerung, haben Institute die Möglichkeit zu gewichten: Sind beispielsweise Frauen zwischen 25 und 30 unter den Befragten unterrepräsentiert, können die Antworten der Frauen in dieser Altersstufe, die teilgenommen haben, stärker gewichtet werden.

"Daneben gibt es die Gewichtung entlang politischer Merkmale", sagt Frank Brettschneider. Bei der Gewichtung nach politischen Merkmalen werde etwa aufs frühere Wahlverhalten geschaut: "Das ist weniger eindeutig und fehleranfälliger als die soziodemografische Gewichtung. Erfahrene Institute mit entsprechenden Kenntnissen können das, andere nicht." Wie sie ihre Stichproben gewichten,  kommunizieren die Unternehmen nicht.

Qualitätsunterschiede zwischen Meinungsforschungsinstituten

Tatsächlich gibt es laut Brettschneider unter den Meinungsforschungsinstituten in Deutschland bessere und schlechtere: "Hinter den Analysen stehen langjährige Erfahrung, wissenschaftliche Erkenntnisse und das Beherrschen des methodischen Handwerks. Das gilt zumindest für seriöse Institute wie die Forschungsgruppe Wahlen, Infratest Dimap, das Institut für Demoskopie Allensbach oder Forsa."

Zum Handwerk gehöre das Formulieren von Fragen, der Fragebogenaufbau, die Rekrutierung der Befragten und die Durchführung der Umfrage. "Die Qualität steht und fällt unter anderem mit neutralen Frageformulierungen und einer guten Stichprobenziehung", sagt Brettschneider.

Ein Wort reicht und eine Frage suggeriert eine Antwort

Aber was heißt das genau? Befassen wir uns zuerst mit der Formulierung der Fragen. Wichtig ist etwa, dass Fragen nicht suggestiv gestellt sind. Suggestive Fragen sind nicht neutral formuliert, sondern haben einen Unterton, der die befragte Person meist unbewusst in Richtung einer bestimmten Antwort schubst. Es ist ein Unterschied, jemanden zu fragen: "Würden Sie die AfD wählen?" oder "Würden Sie sogar die AfD wählen?" oder "Würden Sie etwa die AfD wählen?" – nur ein Wort kann dafür sorgen, dass die Frage etwas anderes suggeriert, und die befragte Person dazu verleiten, anders zu antworten.

Frank Brettschneider weist darauf hin, dass die Fragen zudem eine differenzierte Bewertung ermöglichen sollten: "Einfache Ja-Nein-Fragen sind manchmal angemessen, oft aber nicht. Stattdessen eignen sich meist Frageformate, bei denen die Befragten ihre Antworten etwa auf Fünfer-Skalen abstufen können." Dieses Verfahren nennt sich Likert-Skala und sie reicht etwa von "stimme voll und ganz zu" über "stimme eher zu", "teils/teils", "stimme eher nicht zu" bis "stimme gar nicht zu".

Offene Fragen können Vorteile haben

Auch offene Fragen seien sinnvoll, auch wenn die über alle Befragten hinweg schlechter vergleichbar, schwerer auszuwerten und damit teurer seien. Sie liefern mehr Informationen, weil die Befragten frei antworten können, ohne in ein vorgegebenes Antwortkorsett gezwängt zu werden.

Und die Abfolge der Fragen spielt eine Rolle: "Der Fragebogen selbst sollte gut gegliedert sein. Dabei wird meist vom Allgemeinen zum Besonderen vorgegangen. Das heißt, die Fragen werden immer spezifischer", sagt Frank Brettschneider. Dabei seien sogenannte "Ausstrahleffekte" zu beachten: "Die Antwort auf eine Frage kann sich auf die Antwort zur nächsten Frage auswirken."

Halo-Effekt sagen Forschende dazu. Er kann dazu führen, dass Befragte nicht ehrlich antworten, etwa weil vorangegangene Fragen ihnen schon in eine Richtung vorgegeben haben. Ein Beispiel: Bekommen Proband:innen etwa eine Frage wie "Wussten Sie, dass Partei X plant, die Steuern massiv zu erhöhen?" und lautet die nächste Frage dann: "Würden Sie Partei X wählen, wenn heute Bundestagswahl wäre?" – so fallen die Antworten wahrscheinlich verzerrt aus. Die meisten haben wahrscheinlich keine Lust auf höhere Steuern und würden sich in dem Moment eher gegen Partei X entscheiden, auch wenn sie sie sonst womöglich gewählt hätten.

Zufallsstichproben sind der Goldstandard

Nun zu den Zufallsstichproben: Sie zeichnen sich dadurch aus, dass etwa in Bezug auf Wahlumfragen jede Person in der Bevölkerung die gleiche Chance hat, Teil der Umfrage zu werden. "Zweifel an der Güte kommen auf, wenn die Stichprobenbildung nicht klar ist", sagt Frank Brettschneider. Zudem sei es problematisch, wenn eine Stichprobe so verzerrt ist, dass sie aufwendig durch Gewichtungen korrigiert werden muss. "Dominieren in einer Stichprobe beispielsweise Männer, muss man sich nicht wundern, wenn der Anteil der AfD-Wähler größer ausfällt als in Wirklichkeit" sagt Brettschneider.

Wie zuverlässig sind Telefonumfragen?

Das gelte erst recht bei Stichproben, die durch Selbstrekrutierung zustande gekommen seien. Und damit kommen wir zu einem weiteren Faktor, der die Qualität der Stichprobe beeinflusst: Wie das Institut an die Befragten gekommen ist. Vor Zeiten des Internets wurden die Umfragen hauptsächlich telefonisch durchgeführt. Heutzutage sind Telefonumfragen immer noch üblich, denn sie haben Vorteile: Sie sind beispielsweise schnell umsetzbar, es ist recht einfach, die Befragten regional zuzuordnen, und es ist technologisch sehr gut möglich, echte Zufallsstichproben zusammenzustellen.

Zwar stehen immer weniger Menschen im Telefonbuch und der Teil der Menschen, die nur noch ein Handy und keinen Festnetzanschluss mehr haben, wird größer, doch dafür gibt es Lösungen: "Bei Telefonumfragen können Zufallsstichproben erzeugt werden, indem
zufällig Nummern erzeugt und angewählt werden" sagt Ulrich Kohler. Computer generieren dafür Nummern, auch Handynummern.

Wie zuverlässig sind Onlineumfragen?

"Allerdings ist die Bereitschaft, am Telefon an einer Umfrage teilzunehmen, stark gesunken", sagt Kohler. Und: "Was wir sehen können, ist, dass die Teilnahmequoten bei Umfragen in Zufallsstichproben gesunken sind und dass die Anzahl von Umfragen, die mit stümperhaften Methoden operieren, stark zugenommen hat. Insbesondere Onlineumfragen."

Onlineumfragen sind je nach Machart ein Problem, weil hier teils keine echten Zufallsstichproben entstehen. Bei bestimmten Verfahren werden die Teilnehmenden online so rekrutiert, dass sie etwa über die Anzeige auf einer Webseite zur Teilnahme an einer Umfrage gebeten werden. Sie können sich dann entscheiden, ob sie teilnehmen oder nicht.

Bestimmte Gruppen werden in Onlineumfragen nicht erfasst, andere dafür umso mehr

Hier kommt es zu mehreren Problemen:

• Bestimmte Bevölkerungsgruppen werden nicht erfasst, weil sie keinen Internetzugang haben. Das betrifft vor allem alte Menschen. In Wahlumfragen geht somit die Erfassung einer Bevölkerungsgruppe verloren, die durchaus wahlfreudig ist.
• Andere tauchen in den Umfragen nicht auf, weil sie sich dafür nicht interessieren. Forschende sehen, dass politisch interessierte Menschen eher an Umfragen teilnehmen als weniger interessierte Menschen. "Um die letztere Gruppe zu erreichen, muss man sich mehr anstrengen", sagt Frank Brettschneider. Für Telefonumfragen werden diese Personen mehrfach angerufen. Online ist diese Hartnäckigkeit nicht möglich. Uninteressierte klicken einfach weiter und gehen in den Umfragen verloren. Teilnehmende rekrutieren sich im Grunde selbst und werden nicht zufällig ausgewählt.
• Onlineumfragen können Ziel von Manipulationen sein. "So wird von AfD-Anhängern berichtet, die Gesinnungsgenossen dazu aufrufen, sich an Civey-Umfragen zu beteiligen", sagt Frank Brettschneider. Ergebnisse könnten so verzerrt und auch durch große Gewichtungen kaum ausgeglichen werden.

Worum geht’s in der Kontroverse um Civey?

Civey ist ein Berliner Start-up, das sich 2015 gegründet und auf Onlineumfragen spezialisiert hat. Das Unternehmen benutzt das sogenannte Riversampling-Verfahren. Civey beschreibt es auf der eigenen Webseite als "ein Online-Stichprobenverfahren, bei dem Befragte rekrutiert werden, indem sie zu einer Umfrage eingeladen werden, während sie einer anderen Onlineaktivität nachgehen."

Die Einladung zur Durchführung einer Umfrage könne über Onlinebanner, Anzeigen, Werbeaktionen, Angebote und Einladungen auf verschiedenen Websites erfolgen. Spiegel.de, T-Online.de und Focus.de gehören zu den Websites, die Civey-Umfragen eingebettet haben.

Darum raten Fachleute vom Riversampling ab

Der Berufsverband Deutscher Markt- und Sozialforscher schreibt über das Riversampling: "Die Befragten rekrutieren sich bei diesem Verfahren über spezielle Medienpartner und unterscheiden sich sowohl strukturell als auch politisch und psychologisch deutlich von der Gesamtbevölkerung. Diese systematischen Verzerrungen können durch eine wie auch immer geartete Gewichtung statistisch kaum ausgeglichen werden. […] Kritisch wird es durch eine behauptete Repräsentativität, die aber wissenschaftlich nicht haltbar ist".

Dass politische Gruppen diese Umfragen gezielt manipulieren, mag nur in manchen Fällen vorkommen. Genaue Zahlen über solche Vorfälle gibt es nicht. Fachleute kritisieren dafür schon länger, dass Civey in seinen Wahlumfragen auch so häufig danebenliegt und dass nicht transparent sei, wie das Unternehmen seine Umfrageergebnisse gewichtet, damit sie repräsentativ seien. Medien verbreiten die Ergebnisse trotzdem weiter, ohne sie zu hinterfragen, und ziehen daraus Schlüsse. Aber "die Ergebnisse von solchen Onlineumfragen lassen seriös keine Rückschlüsse auf die gesamte Bevölkerung zu", sagt Ulrich Kohler. "Die statistischen Maßnahmen, um diesem Problem zu entgehen, sind hoch spekulativ."

Civey liegt daneben

Tatsächlich unterscheiden sich die Umfrageergebnisse von Civey teils auffällig von anderen Umfrageinstituten und bewahrheiten sich am Ende nicht. 2023 urteilte das Landgericht Hamburg sogar, dass Civey gewisse Werbeaussagen nicht mehr treffen dürfe. Das Gericht zweifelt wie Forschende und Konkurrenten an, dass Civey mit seinen Methoden valide Ergebnisse liefern könne. Wörtlich heißt es in der Urteilsbegründung, es sei "schwer vorstellbar, dass Umfragen, die in ei­nem derart unverbindlichen Rahmen stattfinden, dazu geeignet sind, in kurzer Zeit repräsentative Umfra­ge­er­gebnisse zu konkret umrissenen Themen zu liefern".

Deutlich wurde das beispielsweise 2023 bei der Wahl zum Berliner Abgeordnetenhaus. So berichtete etwa der Spiegel auf Basis von Civey-Ergebnissen über ein Kopf-an-Kopf-Rennen zwischen CDU und SPD. "Oft geben Massenmedien Onlineumfragen in Auftrag, um in kurzer Zeit eine Zahl für eine Schlagzeile zu haben: 'X Prozent lehnen die Große Koalition ab'. Solche Umfragen sind auch als 'Quick-and-Dirty'-Umfragen bekannt", sagt Frank Brettschneider. Valide Erkenntnisse ließen sich so jedoch nicht gewinnen.

Umfrageinstitute sind angehalten, Umfragekriterien transparent anzugeben

Welche Angaben ein Umfrageinstitut zusammen mit seinen Ergebnissen herausgeben sollte, sei von den Berufsvereinigungen geregelt, sagt Brettschneider.

Es gelten unter anderem folgende Kriterien:

• Auftraggeber der Umfrage
• Name des Umfrageinstituts
• Grundgesamtheit
• Stichprobengröße
• Umfragemethode
• Fragewortlaut
• Stichprobenverfahren
• Stichprobenfehler
• Zeitpunkt/-raum der Befragung
• Gewichtungsverfahren.

Welche Umfragekriterien Medien und andere Auftraggeber kommunizieren, ist ihnen überlassen

Viele Institute hielten sich in der Regel daran. Was der Auftraggeber davon veröffentliche, sei dann aber seine Sache. "Auch Journalistinnen und Journalisten veröffentlichen meist nicht alle diese Informationen. Sie haben Bedenken, dass diese Informationen die Leserinnen und Leser überfordern würden", sagt Brettschneider.

In vielen Artikeln über Umfrageergebnisse heißt es dann, dass die Umfrage repräsentativ sei. Für Ulrich Kohler reicht das nicht aus: "Allgemein sollten dringend Qualitätskriterien für Meinungsumfragen etabliert werden. Das Wort ‚repräsentativ‘ eignet sich dazu nicht, da es inzwischen zu einem bedeutungslosen Begriff degeneriert ist."

Umfrageunternehmen geben sich teils einen pseudowissenschaftlichen Anstrich

In einem Aufsatz zum Thema schreiben Kohler und seine Kollegin Julia Post zudem:
"Erschwerend kommt hinzu, dass die Berichterstattung durch den quasi-wissenschaftlichen Anstrich die fehlende Qualitätskontrolle verschleiert. Die Marktteilnehmer:innen heißen 'Institute' und betreiben 'Meinungsforschung'. Zudem wird mit positiv besetzten pseudowissenschaftlichen Begriffen operiert ('repräsentativ'). […] Die Qualitätsprobleme der Umfragen [sind] daher schwer erkennbar."

Meinungsumfragen seien dabei nicht nur bloßes Infotainment, sondern ein relevanter Teil des politischen Meinungsbildungsprozesses: "Wenn der Spiegel […] ein Umfrageergebnis lanciert, das hohe Zustimmung zur Zusammenarbeit zwischen der CDU und der AfD auf kommunaler Ebene signalisiert, übt das Druck auf Politiker:innen aus. Er entfacht damit ein Feuer vor der viel zitierten Brandmauer, mit politischen Konsequenzen, die nicht absehbar sind."

Kohler und Post sehen alle Medien, die Umfragen veröffentlichen, ebenso wie die Wahlforschung gleichermaßen in der Pflicht, die Qualitätsprobleme von Umfragen anzugehen.

Viele Umfragen sind mehr Unterhaltung als Wissensbildung

Als Leser:innen von Medien, die Wahlumfragen veröffentlichen, ist es sinnvoll, sich klarzumachen, dass Umfrageergebnisse Momentaufnahmen sind. Sie sind keine Prognosen, können aber dabei helfen zu verstehen, warum Menschen wählen wie sie wählen. Oft werde dieses Potenzial aber nicht ausgeschöpft, sagt Frank Brettschneider.

"Stattdessen wird mit 'schnellen' Umfragen eine 'Zahl des Tages' geliefert. Oder es wird ein Kopf-an-Kopf-Rennen beschrieben: Wer liegt vorne, wer hinten? Wer holt auf, wer fällt zurück? Und: Wer gewinnt die Wahl? Diese Art von Umfragen befriedigen vielleicht ein Unterhaltungsbedürfnis oder liefern eine Schlagzeile – Wissen über wahlrelevante Einstellungen entsteht so hingegen nur selten." Und immer gelte: Wahlumfrage sei nicht gleich Wahlumfrage. Einige seien gut gemacht, andere nicht.

Pauschales Demoskopen-Bashing helfe jedenfalls nicht weiter. "Aber Journalist:innen sollten mehr auf die Qualität der Umfragedaten achten und nicht jede Zahl unterschiedslos berichten – unabhängig davon, wie seriös das Umfrageinstitut ist. Auch sollten sie Umfrageergebnisse interpretieren. Nur Zahlen zu berichten, bringt wenig."