Objektivität, Reliabilität, Validität – Gütekriterien von Fragebögen

Definition Objektivität

Ein Fragebogen ist objektiv, wenn die Ergebnisse unabhängig vom Einfluss der befragenden oder auswertenden Personen sind. Die Erhebung, Auswertung und Interpretation der Daten sollen möglichst frei von subjektiven Einflüssen bleiben. Man unterscheidet hier zwischen verschiedenen Arten von Objektivität:

• Durchführungsobjektivität: Die Befragungssituation darf die Antworten der Teilnehmenden nicht beeinflussen. Beispielsweise sorgt eine Online-Befragungen für mehr Objektivität als eine persönliche Befragung, da keine Interviewenden anwesend sind, die das Antwortverhalten beeinflussen könnten. Des Weiteren sollten die Antwortmöglichkeiten des Fragebogens klar formuliert sein und keine unterschwelligen Annahmen enthalten, sodass alle Teilnehmenden die Fragen auf die gleiche Weise verstehen und unbeeinflusst antworten können.
• Auswertungsobjektivität: Die Auswertung der Antworten muss unabhängig von der auswertenden Person immer nach den gleichen Kriterien erfolgen. Dies wird durch standardisierte Kodierungs- und Analyseverfahren gewährleistet. Ein großer Vorteil von Online-Befragungen ist, dass die Antworten bereits digital und einheitlich erfasst werden, wodurch Fehlerquellen, wie sie bei der manuellen Auswertung entstehen können, vermieden werden.
• Interpretationsobjektivität: Unterschiedliche Personen sollten aus denselben Daten dieselben Schlussfolgerungen ziehen. Auch hier sind klare Auswertungsrichtlinien und eine standardisierte Vorgehensweise von zentraler Bedeutung, um individuell unterschiedliche Deutungen der Ergebnisse zu vermeiden.

Definition Reliabilität

Reliabilität ist dann gegeben, wenn Ergebnisse wiederholbar sind. Ein Fragebogen ist also reliabel, wenn er bei wiederholter Anwendung unter gleichen Bedingungen stabile und konsistente Ergebnisse liefert.

Wenn zum Beispiel ein und derselbe Teilnehmender die gleiche Umfrage zeitversetzt ausfüllt und dabei in etwa dieselben Ergebnisse gemessen würden, ist der Fragebogen reliabel. Ein weiteres anschauliches Beispiel für eine hohe Reliabilität ist eine geeichte Waage, die bei mehrfacher Messung desselben Gewichts immer dasselbe Ergebnis anzeigt – sie arbeitet also weitestgehend frei von Zufallsfehlern.

Um die Reliabilität im Rahmen von Befragungen zu gewährleisten, müssen ergebnisverzerrende Effekte minimiert werden. Faktoren wie die Fragenreihenfolge, die Befragungssituation oder die Motivation der Teilnehmenden können die Reproduzierbarkeit der Antworten beeinflussen. Beispielsweise kann eine geringe Motivation dazu führen, dass Antworten unüberlegt oder zufällig gegeben werden, was die Reliabilität verringert.

Man kann Reliabilität auf verschiedene Arten überprüfen:

• Retest-Reliabilität: Die gleiche Umfrage wird einer Person nach einer gewissen Zeit erneut vorgelegt. Sind die Ergebnisse ähnlich, spricht das für hohe Reliabilität.
• Paralleltest-Reliabilität: Zwei inhaltlich vergleichbare, aber unterschiedlich formulierte Fragebögen werden genutzt, um die Konsistenz der Antworten zu prüfen.

Definition Validität

Validität ist eigentlich das wichtigste Gütekriterium, denn sie gibt an, ob ein Fragebogen tatsächlich das misst, was er messen soll. Der Fragebogen muss passend konzipiert sein, um die gewünschten Daten zu erheben. Dabei wird zwischen objektiv messbaren Daten wie Alter oder Einkommen und subjektiv messbaren Variablen wie Lebensstilen oder Einstellungen unterschieden.

Ein Beispiel für Validität ist ein Unternehmen, das wissen möchte, ob Kunden bereit wären, ein Produkt zu kaufen. Der Fragebogen muss genau diese Bereitschaft messen, nicht etwa das allgemeine Interesse oder die Nützlichkeit des Produkts im Alltag.

Es gibt zwei Hauptarten der Validität:

• Interne Validität bedeutet, dass der Fragebogen innerhalb der Befragung zuverlässig misst, was er messen soll.
• Externe Validität bedeutet, dass die Ergebnisse auch auf das „reale Leben“ übertragbar sind, also auf die Situation außerhalb der Befragung.

Man kann zudem weitere Arten von Validität unterscheiden und zur Überprüfung eines Fragebogens heranziehen:

• Inhaltsvalidität: Stellt der Fragebogen alle relevanten Aspekte des Themas dar? Ist er vollständig und repräsentativ?
• Kriteriumsvalidität: Stimmen die Ergebnisse des Fragebogens mit den Ergebnissen eines anderen, bereits etablierten Messinstruments zum gleichen Thema überein?
• Konstruktvalidität: Misst der Fragebogen das zugrunde liegende theoretische Konstrukt, das er messen soll?

Übersicht und Vergleich der Gütekriterien

Zusammenhang und Wechselwirkungen der Gütekriterien

Wichtig zu verstehen ist: Die Gütekriterien existieren nicht unabhängig voneinander, sondern hängen eng zusammen. Objektivität ist eine Voraussetzung für Reliabilität, und beide sind wiederum notwendige Bedingungen für Validität – das wohl wichtigste Gütekriterium. Ein Fragebogen kann nur dann als valide gelten (also tatsächlich das erfassen, was er zu messen vorgibt), wenn er auch zuverlässig (reliabel) und unabhängig von äußeren Einflüssen (objektiv) misst.

Häufige Fehlerquellen und Lösungsansätze

Ein häufiger Fehler in der Fragebogenerstellung sind Suggestivfragen, die Teilnehmende unbewusst in eine bestimmte Richtung lenken. Formulierungen wie zum Beispiel „Finden Sie auch, dass unser Kundenservice hervorragend ist?“ beeinflussen die Antwort und verfälschen die Ergebnisse. Stattdessen sollten Fragen neutral formuliert werden, um ehrliche und unverfälschte Meinungen zu erhalten.

Eine weitere Fehlerquelle sind Fragen, die zwei (oder mehr) Aspekte gleichzeitig abfragen. Beispielsweise: „Wie zufrieden sind Sie mit dem Preis und der Qualität des Produkts?“ Hier weiß die befragte Person nicht, auf welchen Teil sich ihre Antwort nun bezieht.

Auch eine unpassende Reihenfolge der Fragen kann das Antwortverhalten beeinflussen – beispielsweise, wenn direkt zu Beginn sensible oder komplexe Fragen gestellt werden, bevor die Teilnehmenden sich mit dem Thema und der Umfrage vertraut fühlen.

Um solche Fehler zu vermeiden, sollten Fragebögen klar, logisch aufgebaut und am besten in Pre-Tests geprüft werden. Ebenso wichtig ist die Berücksichtigung der Zielgruppe. Ein Fragebogen, der nicht auf die spezifische Zielgruppe zugeschnitten ist, kann dazu führen, dass Fragen unverständlich sind oder an den Bedürfnissen der Befragten vorbeigehen. Um dies zu vermeiden, sollten Sprache, Inhalt und Länge gezielt angepasst werden, wobei auch demografische Merkmale und Vorkenntnisse der Zielgruppe berücksichtigt werden müssen. Zuletzt ist, wie bereits mehrfach erwähnt, eine standardisierte Auswertung essenziell, um subjektive Interpretationen oder manuelle Übertragungsfehler zu minimieren und die Datenqualität zu sichern.

Achten Sie auf diese Aspekte, um Verzerrungen zu minimieren und die Qualität Ihrer Befragung in Bezug auf Objektivität, Reliabilität und Validität zu verbessern!

Kontaktieren Sie unsere Expertinnen und Experten, wenn Sie Unterstützung bei der Erstellung oder Optimierung Ihres Fragebogens benötigen: Jetzt Unterstützung anfragen!

Fazit

Die Gütekriterien Objektivität, Reliabilität und Validität sind das Fundament jeder aussagekräftigen und vertrauenswürdigen Befragung. Auch wenn es zuweilen mühsam erscheint, in der Konzeption einer Befragung all diese Faktoren detailliert zu berücksichtigen, ist es unerlässlich, um wirtschaftlich effizient und ergebnisorientiert zu arbeiten. Die Investition in die Einhaltung der Gütekriterien zahlt sich langfristig aus und ist ein entscheidender Faktor für den Erfolg jeder datengestützten Arbeit!