Beiträge

Büro Hitschfeld_Repräsentative Marktforschung als Alternative zu Glauben und Meinen

Repräsentative Marktforschung: die Alternative zu „Glauben“ und „Meinen“

Seit vielen Jahren arbeitet das Büro Hitschfeld mit dem Instrument der repräsentativen Marktforschung. Sie dient uns zu Analysenzwecken und wird von uns auch bei Partizipationsprozessen eingesetzt. Immer wieder werden wir – so zum Beispiel anlässlich der Diskussionen um die Civey-Umfrage von Focus Online zu Mesut Özil und Ilkay Gündogan – darauf angesprochen, was mit repräsentativ eigentlich gemeint sei. Dies nehmen wir zum Anlass, Licht ins vermeintliche Dunkel von Umfrageergebnissen zu bringen und die Frage zu klären: Was kann Repräsentative Marktforschung unter welchen Voraussetzungen leisten – was nicht?

Das Große zeigt sich im Kleinen

Mit Hilfe der Repräsentativen Marktforschung lassen sich hochrechenbare Daten zu Bekanntheit, Einstellungen und Images erheben. Hierbei werden Erkenntnisse über eine kleine Gruppe von Menschen, die sogenannte „Stichprobe“, auf eine viel größere Gruppe von Menschen, die „Grundgesamtheit“, übertragen. Von entscheidender Bedeutung für die Repräsentativität einer „Umfrage“ ist die Stichproben-Ziehung. So sollten mindestens 500, besser 1.000 Personen befragt wer­den, um zuverlässige Aussagen zur Bevölkerung – beispielsweise hinsichtlich Bildung, Berufstätigkeit oder Alter – machen zu können. Wiederum zu beachten ist, dass beispielsweise die grobe Erhebung der Gesamtsituation eine kleinere Stichprobe erfordert als tiefergehende, soziodemographische Analysen. Bei alledem darf das Budget, das über die Größe der Stichprobe bestimmt, nicht aus den Augen verloren werden.

Online-Umfragen besser als ihr Ruf

Repräsentative Marktforschungsumfragen lassen ihre Teilnehmer im Wesentlichen mit den vier Erhebungsmethoden „schriftlich“, „face-to-face“, „telefonisch“ und „online“ zu Meinung und Wort kommen. Hierbei verspricht insbesondere die gemeinhin schlecht beleumundete Methode „Online-Befragung“ Werte, die den anderen Methoden in qualitativer Hinsicht heute durchaus ebenbürtig sind. Bei der Durchführung von „Online-Befragungen“ gilt es allerdings, methodische Grenzen zu beachten: Anders als bei der Methode „Telefon-Befragung“ mit bundesweit Millionen von potentiellen Interviewpartnern (bei Bevölkerungsumfragen) setzt sich der Pool der „Online-Teilnehmer“ typischerweise aus 30.000 bis 100.000 „Umfrage-Willigen“ aus ganz Deutschland zusammen. Soll nun eine regionale Teilgruppe befragt werden, kann die Stichprobe schnell zu klein ausfallen. Für eine Stadt wie Leipzig mag eine Online-Umfrage machbar sein, für die thüringische Landeshauptstadt Erfurt mit 210.000 Einwohnern funktioniert sie hingegen wahrscheinlich nicht mehr.

Unvermeidlich: methodenfeste Mathematik

Um die „Repräsentative Meinungsforschung“ sinnvoll zum Einsatz zu bringen, ist zweierlei unabdingbar: detailgenaue Methodenfestigkeit und die Fähigkeit zur Dateninterpretation. Methodisch müssen wir uns klarmachen, dass sich Repräsentativität zusammensetzt aus der „Sicherheit“, mit der wir eine Aussage treffen können, und einem Bereich („von–bis“), in dem wir etwas mit der geforderten Sicherheit sagen können. Das bedeutet: Bei 500 befragten Personen bedeutet ein Ergebnis von „30 %“, dass es in der Realität mit 95-prozentiger Sicherheit zwischen 26–34,2 % liegt. Bei 2.000 Befragten liegt der Wert zwischen 28–32,1 Prozent. Dabei ist „95 % Sicherheit“ ein gängiger Wert in der Sozialforschung. Mit einem höheren Sicherheitsanspruch, beispielsweise in der Medizinforschung, wird dann der Wertebereich, innerhalb dem Aussagen gelten, deutlich größer oder die Fallzahl muss deutlich erhöht werden.

Jenseits der Statistik: Dateninterpretation

Zur aussagekräftigen Auswertung einer repräsentativen Befragung braucht es allerdings mehr als nur die statistische Betrachtung. Man muss über einen scharfen Blick für das Große und Ganze, für Aufgabenstellung, strategische Optionen und mögliche Handlungs- und Kommunikationsfelder haben. Nur so lässt sich aus tausenden und abertausenden kleinen Mosaiksteinchen in Gestalt von einzelnen Zahlen ein Gesamtbild formen. Es kommt darauf an, Wichtiges von Unwichtigem zu unterscheiden, die großen Linien zu erkennen und zentrale Befunde aus dem Datenmaterial zu destillieren. Erst dann ist der Schritt von der Analyse zur Planung, von der Fragestellung zum „was sagt uns das“ (in Bezug auf die Fragestellung) möglich.

Ist das wirklich schon Partizipation? 3. August 2018/von Büro Hitschfeld Zur „Öffentliche Konsultation zur Sommerzeitregelung“ der EU-Kommission | Büro Hitschfeld

EU-Befragung zur Sommerzeit: Ist das wirklich schon Partizipation?

Zur „Öffentliche Konsultation zur Sommerzeitregelung“ der EU-Kommission

von Uwe Hitschfeld

Über das Für und Wider der EU-einheitlichen Sommerzeitregelung mit ihrer halbjährlichen Zeitumstellung wird seit langem debattiert. Nun wird die bestehende EU-Richtlinie im Auftrag des Europaparlaments einer gründlichen Prüfung und Bewertung unterzogen. Dazu startete die Europäische Kommission eine Online-Befragung, um – wie es heißt – „die Meinungen der europäischen Bürgerinnen und Bürger, Interessenträger und Mitgliedstaaten zu möglichen Änderungen der derzeitigen Sommerzeitregelung zusammentragen“. Man kann sich bis zum 16. August daran beteiligen. Bisher ist die Beteiligung erwartungsgemäß hoch; nach der Freischaltung der entsprechenden Webseite traten bereits nach kurzer Zeit Serverprobleme auf.

Schwerer als die Frage, ob die Sommerzeit tatsächlich zu den drängendsten Problemen gehört, um die sich die EU jetzt kümmern muss, wiegt ein anderes, methodisches Problem. Auf der vermeintlich hochsoliden Teilnehmerbasis wird nämlich mitnichten ein belastbares Meinungsbild der EU-Bevölkerung erhoben. Zu Wort melden sich bei solchen Formaten vorzugsweise aktive, interessierte Bürgerinnen und Bürger und Aktivisten mit einer evidenten (politischen oder persönlichen) Agenda.

Die daraus resultierende Verzerrung des Befragungsergebnisses geht in erster Linie zu Lasten der Repräsentativität und wird auch nicht durch statistische Fehlertoleranz aufgefangen.

Die Schlüsse, die aus einer solchen Befragung gezogen werden, sind deshalb mit großer Vorsicht zu genießen und taugen – wenn überhaupt – in höchst eingeschränktem Maße als Grundlage für politisches Handeln. Werden sie aber nicht zu Grundlage politischen Handelns, ergibt sich die Frage nach dem Sinn der Aktion und dem politischen Flurschaden, der bei den Teilnehmern der „Konsultation“ durch Nichtbeachtung ihrer Wortmeldung, ihrer Beteiligung entsteht.

Die Falle, in die sich die Kommission hier begeben hat, ist auch auf anderen, politischen Ebenen, von der Kommunal- bis zur Bundespolitik aufgestellt. Sie besteht darin, dass zur Erhebung eines relevanten Meinungsbildes eben nicht nur die aktiven, an der Sache interessierten oder betroffenen Bürgerinnen und Bürger (d.h. die, die sich beteiligen) gehören, sondern auch die Teile der Bevölkerung, die sich nicht beteiligen, sich nicht äußern oder sich nicht auf andere Art an der öffentlichen Meinungsbildung beteiligen. Die Einbeziehung dieser „schweigenden Bevölkerungsgruppe, oft tatsächlich der „schweigenden Mehrheit“ kann – zum Beispiel – durch repräsentative Meinungsforschung und durch eine Steuerung der Partizipation geschehen.

Die Initiatoren der öffentlichen Konsultation in Brüssel und Straßburg wären – wie auch die verschiedenen Akteure in den deutschen Kommunen, Ländern oder im Bund – gut beraten, Meinungsbildungs- und Entscheidungsfindungsprozesse nicht durch falsch angelegte, vermeindliche Partizipation zu erschweren. Derlei „Placebo-Beteiligungsformate“ leisten nicht zuletzt  der ohnehin grassierenden Politikverdrossenheit Vorschub.

Auch in diesem Fall gilt: Gut gemeint ist das Gegenteil von gut gemacht.

Ab wann ist „repräsentativ“ „repräsentativ“?

von Christoph Eichenseer

Ab wann ist „repräsentativ“ „repräsentativ“? Immer wieder wird uns diese Frage gestellt. Und wie so oft im Leben – die Antwort können wir nicht in einer Zahl oder einem Satz geben. Deshalb zusammengefasst einige Aspekte:

So viele sollten es mindestens sein!

Eine erste Frage, die zu klären ist: Wollen wir „repräsentative“ Gesamt­ergebnisse oder ist es für die Fragestellung wichtig, auch auf Teilgruppen (Geschlecht, Alter…) zu analysieren?
Die deutsche Bevölkerung lässt sich nicht oder nur sehr schwer mit der Auswahl von beispielsweise 100 Personen passend über die Merk­male Bildung, Berufstätigkeit und deren Kombinationen abbil­den. Um dies zu erreichen und hier zuverlässige Aussagen machen zu können, sollten mindestens 500, besser 1.000 Personen befragt wer­den. Bei einer B2B-Studie über verschiedene Branchen, Größenklas­sen und Regionen ist eine Stichprobe ab 100, besser 200 Befragten empfehlenswert.

Unvermeidlich: Etwas Statistik/Mathematik

Was wir laienhaft „repräsentativ“ nennen, ist eine Kombination aus der „Sicherheit“, mit der wir eine Aussage treffen können, und einem Bereich („von – bis“), in dem wir etwas mit der geforderten Sicherheit sagen können. Ein Beispiel: Bei 500 befragten Personen bedeutet ein Ergebnis von „30 %“, dass es in der Realität mit 95 %iger Sicherheit zwischen 26–34,2 % liegt. Bei 2.000 Befragten liegt der Wert zwischen 28–32,1%. „95 Prozent Sicherheit“ ist ein gängiger Wert in der Sozialforschung. Es gibt aber auch Bereiche, z. B. die Medizinforschung, bei der deutliche höhere Werte („99,9 %“), also eine deutlich größere Sicherheit gefordert wird. Mit einem höheren Sicherheitsanspruch wird dann der Wertebereich, innerhalb dem Aussagen gelten, deutlich größer, oder die Fallzahl muss deutlich erhöht werden.

Alles nur Statistik?

Die statistische Betrachtung ist nur ein Aspekt bei der Auswertung einer repräsentativen Befragung. So nutzt es nichts, wenn statistisch alles passt, aber die Stichproben-Anlage bzw. -Ziehung mangelhaft war. Ganz zu schweigen von Fragestellungen, die am Thema vorbei gehen oder/und suggestiv sind („sind Sie auch der Meinung, dass…“).

Das führt zu einem zweiten, mindestens genau so wichtigen Bereich: Neben Methodenfestigkeit ist die Fähigkeit zur Dateninterpretation gefragt. Laien verbeißen sich gerne in der Interpretation einzelner Zahlen (und verlieren dabei auch noch die statistischen Fakten aus dem Kopf). Den Wald vor lauter Bäumen nicht sehen, lautet das Sprichwort dazu. Dann ist die Gefahr sehr groß, dass trotz vieler kleiner Mosaiksteinchen, in Form von tausenden einzelnen Zahlen, kein Gesamt-Bild entsteht. Es kommt aber darauf an, Wichtiges von Unwichtigem zu unterscheiden, die großen Linien zu erkennen und zentrale Befunde aus dem Datenmaterial zu destillieren. Erst dann ist der Schritt von der Analyse zur Planung, von der Fragestellung zum „was sagt uns das“ (in Bezug auf die Fragestellung) möglich.

Wer also repräsentative Marktforschung sinnvoll nutzen will, braucht beides: Methodenfestigkeit, die sich in Fachkenntnis und Liebe zum – mathematischen – Detail zeigt, und den Blick für das Große und Ganze, für Aufgabenstellung, strategische Optionen und mögliche Handlungs- und Kommunikationsfelder.

Stichprobengröße bei Marktforschungsprojekten

In unseren Projekten spielt Marktforschung – und darunter die repräsentative Markt- und Meinungsforschung – oft eine wichtige Rolle. Für das Verständnis des methodischen Ansatzes, aber auch für die Bewertung der Ergebnisse ist die Größe der Stichprobe und damit ihre Auswirkung auf die Aussagekraft der Untersuchung wichtig. Christoph Eichenseer – in unserem Team federführend verantwortlich für alle Marktforschungsprojekte – hat die wichtigsten Stichworte zu diesem Thema für Nichtfachleute zusammengefasst.

Wenn sich daraus Rückfragen oder Lust auf ein „mehr“ an Methodendiskussion ergeben –  gern!

Weiterlesen…

Was Verbraucher über Smart-Meter denken

Umfrage: Etwa 61 Prozent der Befragten bevorzugen lokale Anbieter – allerdings gilt das vor allem für die Gruppe, die über 60 Jahre alt ist.

Christoph Eichenseer und Uwe Hitschfeld haben sich mit den Ergebnissen der aktuellen Umfrage auseinandersetzt und kommen zu der Schlussfolgerung, dass eine klare, in sich konsistente und auf den Verbraucher abgestimmte Kommunikation zum Thema Smart Meter die Akzeptanz der Einführung der neuen Technologie erhöhen und sichern kann.

Zum Artikel aus der ZfK Zeitung für Kommunale Wirtschaft…

Wie zuverlässig sind Wahlprognosen?

Wie zuverlässig sind Wahlprognosen?

von Christoph Eichenseer und Uwe Hitschfeld

Warum interessiert uns das?

Für das Büro Hitschfeld gehört Meinungsforschung zum täglichen Handwerkszeug bei der Betreuung akzeptanzkritischer Projekte. Mit qualitativer Meinungsforschung verschaffen wir uns z. B. Eindrücke über grundlegende Motiv- und Wertemuster bei projektrelevanten Stakeholdern und sammeln Informationen über Kommunikationsstrukturen.

Repräsentative Forschung liefert „hochrechenbare Zahlen“ – auch für Teilgruppen, z. B. zu Meinungen, Einstellungen und Images, die auch regional und zeitlich vergleichbar sind.

Die wichtigsten Erkenntnisse gewinnen wir durch die Verknüpfung beider Forschungsansätze.

Die Öffentlichkeit kennt die repräsentative Forschung insbesondere durch die allgegenwärtige Wahlforschung der Fernsehsender und ist deshalb den Umgang mit solchen Informationen gewohnt.

Für den Praktiker bieten diese Daten und deren Interpretation einen guten „kognitiven Anknüpfungspunkt“ als Einstieg in die Debatte von Forschungsergebnissen.

Es ist deshalb für uns notwendig, die Weiterentwicklung der verschiedenen Forschungsmethoden und konzeptionellen Ansätze zu beobachten und in unseren Projekten nachzuvollziehen, um auf der Höhe der Zeit zu sein. Eine Arbeit, die von unseren Kunden oft gar nicht bemerkt und – zu Recht – vorausgesetzt wird.

Benchmark: die Bundestagswahl

Ein Ereignis, dem sich keines der großen Forschungsinstitute entziehen kann, ist die Bundestagswahl. Damit ist eine Bundestagswahl der Härtetest für alle Institute, die vor der Wahl Daten veröffentlicht haben (s. auch unseren Beitrag vom 29. August 2017).

Welcher Ansatz, welches Institut liefert also das beste Ergebnis?

Ergebnis der Bundeswahlen 2017

Schauen wir uns die TOP 3* an:

Mit identischen Werten belegen die beiden Institute „Infratest dimap“ und „Forschungsgruppe Wahlen“ zusammen den zweiten Platz. Dieses positive Ergebnis wundert uns nicht, da beide Institute seit Jahren für die öffentlich-rechtlichen Fernsehanstalten arbeiten (Infratest dimap = ARD / Forschungsgruppe Wahlen = ZDF) und damit über langjährige Erfahrungen und auch über sicher nicht zu knappe Budgets verfügen.
„Sieger“ in unserem Contest ist das Institut „INSA“, was aus mehreren Gründen eine Überraschung darstellt. Zum einen gehört INSA nicht zu den großen, bekannten und traditionsreichen Namen der Branche. Vor allem aber wurden die Daten, im Gegensatz zu den anderen Instituten, bei denen meist das Telefon Mittel der Wahl ist, online abgefragt. Lange Zeit galt diese Art als methodisch weniger seriös und hat (hatte?) den Ruf, wichtige Bevölkerungsgruppen zu wenig oder zu stark zu berücksichtigen und damit weniger „repräsentativ“ zu sein. Doch: „The times they are a changin“. Die Daten zur Bundestagswahl sind ein deutlicher Fingerzeig, dass Onlinebefragungen (die auch das Büro Hitschfeld, neben telefonischen und schriftlichen Befragungen, nutzt) den Wettbewerb um die besten Ergebnisse nicht zu scheuen braucht.

Wie zuverlässig sind Wahlprognosen: Fazit

Forschung hat in unserer komplizierten und komplexen Welt einen großen Stellenwert. Sie dient als Mittel, die Welt besser verstehen zu können, und als wichtige Grundlage für Entscheidungen von – oft – großer Tragweite.

Deshalb müssen die Instrumente – gerade der repräsentativen Meinungsforschung – die sich verändernden Lebenswelten abbilden können, ohne klassische Aspekte zu vernachlässigen.

Ein Forschungsdesign muss deshalb Telefoninterviews unter Berücksichtigung von Festnetz- und Mobilnummern ebenso berücksichtigen, wie Onlinebefragungen.

Damit stehen Meinungsforscher vor ähnlichen Herausforderungen wie nach der Wiedervereinigung 1989/1990, als die geringe Zahl und ungleiche Verteilung der Telefonanschlüsse in Ostdeutschland das eingeübte Markforschungsdesign herausforderte.


*) Wie haben wir verglichen? Perfekt wären Vorhersagen, die genau dem Wahlergebnis entsprechen würden und bei dem es deshalb 0 % Differenz zwischen „Vorhersage“ und Wahlergebnis gäbe. Wir haben deshalb für jedes Institut nachgerechnet, wie groß – je Partei – der „Gap“ zwischen Vorhersage und amtlichem Ergebnis ist. Die Werte aller Parteien plus sonstige aufaddiert ergibt dann die Summe der Abweichungen. Je niedriger der Wert, umso besser.

Sinn und Unsinn der Markt- und Meinungsforschung in Wahlzeiten

Wer kennt nicht gerne den Wasserstand?

Von Sinn und Unsinn der Markt- und Meinungsforschung in Wahlzeiten

Die Demoskopen haben Hochkonjunktur kurz vor der Bundestagswahl – und gleichzeitig steigt die Anzahl kritischer Töne. Besonders pointiert sind dabei die PolitikerInnen selber, die gerne mit verächtlichem Unterton von „Wasserstandsmeldungen“ sprechen, die sie nicht scheren. Was ist dran an dieser Geringschätzung?

Ein wichtiger Aspekt: Die kommende Bundestagswahl ist objektiv eine harte Probe für die Zunft – dies liegt an zwei Faktoren, die hier zusammenkommen.

A) Am 24. September wird es für einige Parteien und Koalitionsoptionen sicher knapp werden. Exemplarisch zeigt sich das bei der 5%-Hürde. Zwei Umfragen, einmal mit einem Ergebnis von 4,9% und einmal 5,1%, mögen jeweils seriöse und exakte Umfragewerte sein, trotzdem hat die minimale Differenz maximale Auswirkungen (und redliche Institute weisen in einer Fußnote oder einem Methodenteil auf die Schwankungsbreite ihrer Ergebnisse hin).

B) Am 24. September geht es um konkretes Handeln. Wo macht der Wähler sein Kreuz? Im Vorfeld mag es viel um Meinungen und Images gegangen sein, aber von der Einstellung hin zur Tat ist es noch einmal ein weiter Weg. Das ist oft im Leben (und damit in der Marktforschung) so. „Die Versicherung wechseln? Wollte ich schon lange, aber tatsächlich gemacht?“ Mülltrennen finden wir alle gut – aber wie konsequent sind wir beim tatsächlichen Handeln? Nicht anders bei der Wahl: Für „XY“ (Person/Partei) Sympathien hegen ist das eine – aber tatsächlich dort mein Kreuz machen?

Damit kommen wir geradewegs zu zum anderen, zentralen Aspekt: Es gibt zwei Arten von Wahlforschung. Die eine produziert Zahlen, die der Vermarktung, der kommunikativen Verwertung dienen. Das mag man bedauern, aber so sind unsere (social-)media-getriebenen Zeiten. Auch die Politik mischt hier gerne und viel mit.

Die andere Art der Wahlforschung fragt natürlich am Ende des Tages auch nach Wählerstimmen. Schon weit vor einer Wahl wird aber – mit qualitativen und repräsentativen Methoden der Sozialforschung – nach den oft verschlungenen und komplexen Motiven gesucht, die am 24. September Entscheidungen maßgeblich beeinflussen. Alle Parteien treiben in diesem Bereich großen Aufwand. Anschließend mühen sie sich, dass die Daten nicht an die Öffentlichkeit gelangen, nutzen sie aber ausgiebig als zentrale Elemente ihrer Strategieplanung.

Wenn also ein Politiker, der mit den für ihn schlechten Zahlen konfrontiert wurde, die Metapher von der Wasserstandsmeldung bemüht, dann glauben wir ihm seine Kritik erst, wenn er im zweiten Halbsatz verkündet, dass seine Partei kein Geld mehr für solchen „Unsinn“ ausgeben wird. Wir haben ihn noch nicht getroffen.

Und was sind die „learnings“ über die Wahl am 24. September hinaus?

  1. Strategische Entscheidungen brauchen eine rationale Datenbasis. Deshalb ist und bleibt „Marktforschung“ unverzichtbar.
  2. Die operative Nutzung von Forschungsdaten ist genauso legitim, wie eine reine Zahlengläubigkeit naiv ist.
  3. Zahlen sprechen nicht (oder nur selten) für sich. Erst das Einordnen, die Interpretation, das Bewerten und Abwägen, die Verknüpfung mit weiteren Faktoren führt zu brauchbaren Schlussfolgerungen.

Erst dann wird aus Zahlen und Daten Rat und Beratung.

Ein Artikel von Christoph Eichenseer