Drei Schlagworte – drei wichtige Gütekriterien für einen Fragebogen. Häufig wird im Rahmen von Befragungen ganz pauschal von „Datenqualität“ gesprochen. Es ist allerdings unbedingt empfehlenswert, nach den wichtigsten Gütekriterien zu differenzieren, um deren Erreichen tatsächlich im Fokus zu behalten und gewährleisten zu können.
Objektivität
Zuerst ist die Objektivität zu nennen. Es muss sichergestellt werden, dass sowohl das Erfassen der Daten als auch deren Auswertung möglichst wenigen subjektiven Einflüssen unterliegt. Hinsichtlich der einzelnen Fragen bedeutet dies zum Beispiel, dass sie klar formuliert sind und dem Teilnehmer nicht etwa unterschwellige Annahmen unterstellen und ihn damit in eine bestimmte Richtung drängen. Des Weiteren sollte gewährleistet sein, dass die Umgebung, in der der Teilnehmer die Umfrage beantwortet, keinen Einfluss auf seine Antworten hat. Im Idealfall kann ihm dabei niemand über die Schulter schauen, sodass er sich traut, ehrlich zu antworten. Online-Befragungen bieten in dieser Hinsicht auch den Mehrwert, dass kein persönlicher Interviewer den Antwortenden beeinflusst.
Neben der Erhebung muss auch bei der Auswertung und Interpretation der Ergebnisse Objektivität walten. Online erhobene Daten werden standardisiert erfasst, sodass hier kein Fehlerpotenzial besteht, wie es bei händischer Übertragung der Fall wäre. Wie die Daten schließlich ausgewertet werden, dafür muss im Vorfeld eine standardisierte Vorgehensweise bzw. ein Raster festgelegt werden, mithilfe dessen auch verschiedene Forscher zu denselben Ergebnissen kommen würden.
Reliabilität
Reliabilität ist dann gegeben, wenn Ergebnisse wiederholbar sind. Wenn ein und derselbe Teilnehmer die gleiche Umfrage zeitversetzt ausfüllen und dabei in etwa dieselben Ergebnisse gemessen würden, ist der Fragebogen reliabel. Ein anschauliches Beispiel für eine höhe Reliabilität ist das einer geeichten Waage: Eine solch präzise Waage würde bei wiederholten Messungen immer dasselbe Ergebnis anzeigen, sofern dasselbe Gewicht darauf steht. Diese Messung wäre dann weitestgehend frei von Zufallsfehlern.
Im Rahmen von Befragungen wird ebenfalls versucht, möglichst viele ergebnisverzerrende Effekte auszuschließen, die auf solch zufälligen Faktoren beruhen. Verschiedene Reihenfolgen der Fragen können zum Beispiel abweichende Ergebnisse hervorbringen. Genauso haben die Befragungssituation oder auch die Ermüdung des Teilnehmers Auswirkungen auf die Qualität bzw. Reproduzierbarkeit der Antworten. Hat ein Teilnehmer nur eine geringe Motivation, denkt er vielleicht nur oberflächlich über die Fragen nach und „verteilt seine Kreuzchen zufällig“. Bei einer wiederholten Befragung derselben Person könnten in solchen Fällen also etwas andere Ergebnisse herauskommen. Man könnte annehmen, dass dieser Effekt speziell bei Online-Umfragen besonders hoch wäre, da hier die Teilnahmesituation nicht kontrolliert werden kann. Andererseits weisen Teilnehmer in diesen Fällen ein höheres Maß an intrinsischer Motivation auf – sie müssen schließlich nicht an der Umfrage mitwirken. Somit ist anzunehmen, dass sie eine gewisse Bearbeitungsdisziplin haben und zuverlässig konsistent antworten.
Validität
Vielleicht am wichtigsten ist schließlich die Validität. Diese gibt an, ob tatsächlich auch das gemessen wird, was eigentlich gemessen werden soll. Dies wird unter anderem durch passgenaue, verständlich formulierte Fragen gewährleistet. Unterschieden wird hier zwischen objektiv messbaren Daten, wie Alter, Beruf oder Einkommen, und subjektiv messbaren Variablen, also zum Beispiel Lebensstile oder Einstellungen. Eine weitere Unterscheidung wird in interne und externe Validität vorgenommen: Ist die Umfrage intern valide, ist gewährleistet, dass sie innerhalb der Befragung misst, was gemessen werden soll. Extern valide ist sie dann, wenn ihre Ergebnisse auch auf „das reale Leben“, also auf die betreffende Situation außerhalb der Befragung übertragen werden können.
Fazit
Objektivität, Reliabilität und Validität sind essenzielle Faktoren, um einer Umfrage die bestmögliche Aussagekraft zu verleihen. Auch wenn es zuweilen mühsam erscheint, in der Konzeption einer Befragung all diese Faktoren detailliert zu berücksichtigen, ist es unerlässlich, um wirtschaftlich effizient und ergebnisorientiert zu arbeiten.
