Drei Schlagworte – drei wichtige Gütekriterien für einen Fragebogen. Häufig wird im Rahmen von Befragungen ganz pauschal von „Datenqualität“ gesprochen. Es ist allerdings unbedingt empfehlenswert, nach den wichtigsten Gütekriterien zu differenzieren, um deren Erreichen tatsächlich im Fokus zu behalten und gewährleisten zu können.
1. Definition Objektivität
Zuerst ist die Objektivität zu nennen. Es muss sichergestellt werden, dass sowohl das Erfassen der Daten als auch deren Auswertung möglichst wenigen subjektiven Einflüssen unterliegt. Hinsichtlich der einzelnen Antwortmöglichkeiten des Fragebogens bedeutet dies zum Beispiel, dass sie klar formuliert sind und dem Teilnehmer nicht etwa unterschwellige Annahmen unterstellen und ihn damit in eine bestimmte Richtung drängen. Des Weiteren sollte gewährleistet sein, dass die Umgebung, in der der Teilnehmer die Umfrage beantwortet, keinen Einfluss auf seine Antworten hat. Im Idealfall kann ihm dabei niemand über die Schulter schauen, sodass er sich traut, ehrlich zu antworten. Online-Befragungen bieten in dieser Hinsicht auch den Mehrwert, dass kein persönlicher Interviewer den Antwortenden beeinflusst.
Ein prägnantes Beispiel für geringe Objektivität wäre, wenn eine Mitarbeiterin während einer After-Work-Party von der gesamten Kollegenschaft umgeben einen Fragebogen einer Mitarbeiterbefragung ausfüllt. In einer solchen informellen Umgebung könnte der Einfluss der sozialen Dynamik dazu führen, dass ihre Antworten beeinflusst werden, was sich negativ auf die Objektivität der Befragung auswirken könnte.
Neben der Erhebung muss auch bei der Auswertung und Interpretation der Ergebnisse Objektivität walten. Online erhobene Daten werden standardisiert erfasst, sodass hier kein Fehlerpotenzial besteht, wie es bei händischer Übertragung der Fall wäre. Wie die Daten schließlich ausgewertet werden, dafür muss im Vorfeld eine standardisierte Vorgehensweise bzw. ein Raster festgelegt werden, mithilfe dessen auch verschiedene Forscher zu denselben Ergebnissen kommen würden.
2. Definition Reliabilität
Reliabilität ist dann gegeben, wenn Ergebnisse wiederholbar sind. Wenn ein und derselbe Teilnehmer die gleiche Umfrage zeitversetzt ausfüllen und dabei in etwa dieselben Ergebnisse gemessen würden, ist der Fragebogen reliabel. Ein anschauliches Beispiel für eine höhe Reliabilität ist das einer geeichten Waage: Eine solch präzise Waage würde bei wiederholten Messungen immer dasselbe Ergebnis anzeigen, sofern dasselbe Gewicht darauf steht. Diese Messung wäre dann weitestgehend frei von Zufallsfehlern.
Ein anschauliches Beispiel für eine höhe Reliabilität ist das einer geeichten Waage: Eine solch präzise Waage würde bei wiederholten Messungen immer dasselbe Ergebnis anzeigen, sofern dasselbe Gewicht darauf steht. Diese Messung wäre dann weitestgehend frei von Zufallsfehlern.
Im Rahmen von Befragungen wird ebenfalls versucht, möglichst viele ergebnisverzerrende Effekte auszuschließen, die auf solch zufälligen Faktoren beruhen. Verschiedene Reihenfolgen der Fragen können zum Beispiel abweichende Ergebnisse hervorbringen. Genauso haben die Befragungssituation oder auch die Ermüdung des Teilnehmers Auswirkungen auf die Qualität bzw. Reproduzierbarkeit der Antworten. Hat ein Teilnehmer nur eine geringe Motivation, denkt er vielleicht nur oberflächlich über die Fragen nach und „verteilt seine Kreuzchen zufällig“. Bei einer wiederholten Befragung derselben Person könnten in solchen Fällen also etwas andere Ergebnisse herauskommen. Man könnte annehmen, dass dieser Effekt speziell bei Online-Umfragen besonders hoch wäre, da hier die Teilnahmesituation nicht kontrolliert werden kann. Andererseits weisen Teilnehmer in diesen Fällen ein höheres Maß an intrinsischer Motivation auf – sie müssen schließlich nicht an der Umfrage mitwirken. Somit ist anzunehmen, dass sie eine gewisse Bearbeitungsdisziplin haben und zuverlässig konsistent antworten.
3. Definition Validität
Vielleicht am wichtigsten ist schließlich die Validität. Diese gibt an, ob tatsächlich auch das gemessen wird, was eigentlich gemessen werden soll. Dies wird unter anderem durch passgenaue, verständlich formulierte Fragen gewährleistet. Unterschieden wird hier zwischen objektiv messbaren Daten, wie Alter, Beruf oder Einkommen, und subjektiv messbaren Variablen, also zum Beispiel Lebensstile oder Einstellungen.
Ein konkretes Beispiel für Validität ist das eines Unternehmens, welches wissen möchte, ob seine Kundinnen und Kunden bereit wären, ein bestimmtes Produkt zu kaufen. Der Fragebogen muss dann auch genau das erheben, nicht etwa, ob die Zielgruppe generell an diesem Produkt interessiert ist oder wie sie dessen Nützlichkeit im Alltag einschätzt.
Eine weitere Unterscheidung wird in interne und externe Validität vorgenommen: Ist die Umfrage intern valide, ist gewährleistet, dass sie innerhalb der Befragung misst, was gemessen werden soll. Extern valide ist sie dann, wenn ihre Ergebnisse auch auf „das reale Leben“, also auf die betreffende Situation außerhalb der Befragung übertragen werden können.
Jetzt kostenloses Whitepaper „Qualitätssicherung“ sichern!
Erhalten Sie mit unserem kostenfreien Whitepaper zum Thema „Qualitätssicherung für die Umsetzung Ihrer Umfragen“ wertvolle Tipps zur Umsetzung Ihrer Online-Befragungen. Nutzen Sie die Möglichkeit, das Whitepaper mit nur wenigen Klicks gratis herunterzuladen!
Fazit
Objektivität, Reliabilität und Validität sind essenzielle Faktoren, um einer Umfrage die bestmögliche Aussagekraft zu verleihen. Auch wenn es zuweilen mühsam erscheint, in der Konzeption einer Befragung all diese Faktoren detailliert zu berücksichtigen, ist es unerlässlich, um wirtschaftlich effizient und ergebnisorientiert zu arbeiten.
Folgende Blogbeiträge könnten ebenfalls für Sie interessant sein:
- Wie lässt sich schnell und einfach mit Word und der Software G3plus ein Online-Fragebogen erstellen?
- Fragebogengüte beim Fragebogen erstellen: was ist zu beachten?
- Fragebogen selbst erstellen – Tipps und Tricks
- Die drei goldenen Regeln der Fragebogenentwicklung
- Was macht einen guten Fragebogen aus?
Verfasst von Carina Römermann
Carina Römermann ist als ehemalige Marketing-Teamleitung bei der Rogator AG Expertin in allen Bereichen des strategischen Marketings. Durch ihr Marketingstudium mit den Schwerpunkten Marketing Management und Market Research sowie der jahrelangen Praxiserfahrung im Bereich Marktforschung bereichert sie unsere Blogbeiträge mit ihrem Fach- und Unternehmenswissen.
Folgen Sie Carina Römermann auf LinkedIn.
