Was ist überhaupt „Fragebogengüte“ und warum ist das so wichtig?
Beim Fragebogen erstellen ist es wichtig, die Fragebogengüte zu bedenken – doch was steckt dahinter?
Hinter jeder Umfrage steht ein Untersuchungszweck der näher beleuchtet werden soll. Beispiele hierfür wären:
- Bin ich ein guter Arbeitgeber?
- Welches Produkt wollen meine Kunden?
Solche Fragen sind oft sehr komplex und bestehen aus vielen verschiedenen Facetten, welche in der Regel separat in einer Umfrage abgefragt werden sollten. Am Beispiel der ersten Frage wären dies etwa die Zufriedenheit der Mitarbeiter bezüglich ihrer Führungskraft, Kollegen und den Arbeitsbedingungen. Bei der Unterteilung in die verschiedenen Teilaspekte läuft man allerdings Gefahr, dass diese die Hauptfrage nicht mehr korrekt abbilden und somit gar nicht das messen, was sie sollten. Mithilfe der Fragebogengüte kann untersucht werden, ob eben dieses Problem bei einer geplanten Umfrage voraussichtlich auftreten wird bzw. bei einer bereits durchgeführten aufgetreten ist.
Als Beispiel wird im weiteren Verlauf dieses Artikels die Umfrageform der Mitarbeiterbefragung herangezogen. Die angeführten Punkte lassen sich allerdings auch auf andere Formen der Befragung anwenden.
Woraus besteht die Fragebogengüte und wie wird sie gemessen?
Wie bereits erwähnt ist die Fragebogengüte ein entscheidendes Qualitätskriterium beim Fragebogen erstellen. Die Fragebogengüte lässt sich in die Objektivität, Reliabilität und Validität unterteilen.
1. Objektivität
Dieses Kriterium misst, ob die Ergebnisse der Befragung unabhängig von exogenen Einflüssen sind. Dabei wird wiederum unterschieden in Durchführungsobjektivität, Auswertungsobjektivität und Interpretationsobjektivität.
Ersteres wird durch Faktoren bestimmt, durch welche der Befragte während der Teilnahme an der Umfrage beeinflusst werden könnte, z.B. störende Geräusche oder ein unangenehmes Umfeld.
Aus diesem Grund werden manche Umfragen in Laboren durchgeführt, in denen die Umgebung gezielt gesteuert und beeinflusst werden kann. Diese Befragungsmethodik ist bei Mitarbeiterbefragungen allerdings nur bedingt geeignet. Nichtsdestotrotz kann durch einfache Maßnahmen die Durchführungsobjektivität gesteigert werden. Mitarbeitern in der Produktion kann beispielsweise eine Zusatzpause eingeräumt werden, in denen ihnen die Möglichkeit geboten wird, in Ruhe an der Umfrage teilzunehmen.
Ein weiterer Punkt der Durchführungsobjektivität ist unter anderem der Interviewereffekt, z.B. wenn der Interviewer durch sein Verhalten und seine Führung der Befragung den Teilnehmer bewusst oder unbewusst in seinem Antwortverhalten beeinflusst. Unter den Begriff Interviewereffekt fällt auch der Umgang der Führungskraft mit der Umfrage gegenüber den Mitarbeitern. Motiviert die Führungskraft die Mitarbeiter an der Teilnahme oder sieht er/sie diese eher als Hindernis an?
Des Weiteren gilt es auch noch, die Reihenfolgeeffekte der Items zu berücksichtigen. Eine simple Randomisierung (also zufällige Anordnung der Fragen) der Items kann hierbei die Objektivität steigern.
Bei der Auswertungsobjektivität handelt es sich um eventuell auftretende Fehler in der Umsetzung der Antworten in Zahlenwerte. Bei Mitarbeiterbefragungen betrifft dies insbesondere die Erfassung von Papierfragebögen und die Vercodung offener Nennungen. Wird hier nicht sauber gearbeitet, kann es schnell zu gravierenden Fehlern in den Daten kommen. Um eine Kennzahl der Genauigkeit der Erfassung zu erhalten, können die Fragebögen von zwei unabhängigen Personen erfasst werden, um anschließend auf Korrelation der beiden Daten zu untersuchen. Im besten Fall ist diese Korrelation gleich eins. Eine weniger zeit- und kostenaufwendige Variante wäre die stichprobenartige Überprüfung, welche grundsätzlich durchgeführt werden sollte. Bei der Vercodung offener Nennungen kommt es zusätzlich auf eine korrekte Interpretation des Bearbeiters an. Es ist daher zu empfehlen einen festen Codeplan vorzugeben. Die Auswertungsobjektivität kann bereits während der Fragebogenkonzeption gesteigert werden indem beispielsweise einheitliche Skalen und wenige bis keine offenen Textfragen im Fragebogen aufgenommen werden.
Die Interpretationsobjektivität betrifft die Leser der Ergebnisse. Werden beispielsweise komplizierte Statistiken erstellt und dem Leser ohne Erläuterung vorgelegt, so wird der ein oder andere Schwierigkeiten haben, diese richtig zu verstehen und korrekt zu interpretieren. Es kommt also auf eine klare und unmissverständliche Darbietung der Resultate an, ohne dafür auf Informationen verzichten zu müssen. Als einfaches Hilfsmittel können Vergleichswerte oder ein Lese- und Interpretationsbeispiel eingebaut werden, an welchen sich die Leser orientieren können.
2. Reliabilität
Die Reliabilität misst die Zuverlässigkeit der Umfrage. Eine hohe Reliabilität ist erreicht, wenn bei wiederholter Durchführung der Befragung die gleichen Ergebnisse erzielt werden. Getestet wird dies beispielsweise durch einen Retest oder Paralleltest. Dabei kann mittels Korrelationsuntersuchung die Reliabilität der wiederholten bzw. parallel durchgeführten Erhebungen untersucht werden.
Um gewährleisten zu können, dass die eigene Umfrage den Ansprüchen der Reliabilität genügt, ohne gleichzeitig viel Geld und Zeit für eine der oben genannten Testvarianten aufzubringen, kann auf die Erfahrung und Expertise von Marktforschungsinstituten zurückgegriffen werden. Diese haben bereits Erfahrungen in diesem Bereich aufbauen können und sind somit in der Lage, zuverlässige Aussagen darüber zu treffen, ob mit dem geplanten Fragebogen eine hohe Reliabilität erreicht werden kann bzw. an welchen Stellen etwas angepasst werden sollte.
3. Validität
Mit der Validität wird gemessen, wie genau der Fragebogen das misst, was er messen soll, sprich den eingangs angesprochenen Untersuchungszweck. Im Bereich der Fragebogengüte nimmt die Validität eine wesentliche Rolle ein, da Objektivität und Reliabilität unwesentlich sind, wenn der Fragebogen nicht valide ist.
Bei der Validität werden ebenfalls drei Arten unterschieden, Kontentvalidität, Kriteriumsvalidität und Konstruktvalidität.
Die Kontentvalidität ist erfüllt, wenn alle relevanten Teilaspekte des Untersuchungszwecks in die Umfrage aufgenommen sind. Soll beispielsweise die Arbeitszufriedenheit der Mitarbeiter gemessen werden, so ist die Erhebung nicht kontentvalide, wenn z.B. die Zufriedenheit mit der Führungskraft, ein wesentlicher Bestandteil der Gesamtzufriedenheit, nicht abgefragt wird. Es muss also bei der Fragebogenkonzeption genau darauf geachtet werden, dass alle relevanten Faktoren des Untersuchungszwecks aufgenommen wurden. An dieser Stelle gibt es keine quantifizierbare Messgröße. Es kommt vielmehr auf das logische Denken und Hintergrundwissen an. Auch hier können Marktforschungsinstitute mit ihrer Erfahrung und Expertise unterstützen.
Die Kriteriumsvalidität beschreibt, in welchem Grad die gemessenen Kriterien mit einem sogenannten „Außenkriterium“ korrelieren. Ein Außenkriterium ist dabei ein Kriterium, welches beobachtbar, messbar und von der Umfrage unabhängig ist. Nehmen wir beispielsweise eine Menge von Führungskräften, die in den Umfragen angeben, dass sie ihre Bereitschaft, Personalgespräche zu führen, hoch einschätzten. Aus extern aufgezeichneten (also nicht in der Umfrage abgefragten) Werten geht allerdings hervor, dass die Führungskrafte, trotz Anfragen der Mitarbeiter, nur sehr selten solche Gespräche umsetzen. Die Korrelation der Angabe der Führungskräfte mit dem Außenkriterium ist daher eher gering, was dazu führt, dass die Kriteriumsvalidität nicht erfüllt ist. Dies ist im Grunde ein sehr intuitiver Ansatz, kann allerdings in der Praxis aufgrund schwer definierbarer Außenkriterien oft nicht in der gewünschten Form umgesetzt werden.
Die Konstruktvalidität ist gegeben, wenn die im Fragebogen aufgestellten theoretischen Zusammenhänge der Items und Dimensionen durch die Ergebnisse der Erhebung bestätigt werden. Anhand eines Beispiels wird dies deutlicher. Eine Umfrage über die Gesamtarbeitszufriedenheit der Mitarbeiter wird durchgeführt, wobei drei Dimensionen definiert wurden:
Zufriedenheit mit
- der Führungskraft,
- den Kollegen und
- den Arbeitsbedingungen,
mit jeweils 4 Items (insgesamt somit 12 Fragen). Der Fragebogen erfüllt die Konstruktvalidität, wenn die 12 Fragen nun zum Erklärungsgehalt der sie betreffenden Dimension beitragen. Es sollte also beispielsweise nicht der Fall sein, dass eine Frage, die der ersten Dimension zugeordnet ist, eigentlich die Dritte erklärt. Wird beispielsweise folgende Frage unter der Dimension (1), Führungskraft, abgefragt: „Wie zufrieden sind Sie mit den Arbeitsbedingungen, die Ihre Führungskraft schafft?“, so kann wohl mit Sicherheit davon ausgegangen werden, dass diese auch die Dimension (3), Arbeitsbedingungen, abbildet.
Ebenso sollte keine der Fragen pro Dimension verzichtbar sein, weil sie keinen zusätzlichen Erklärungsgehalt zu der Dimension bietet. Diese zwei Punkte können mittels Faktorenanalyse und der Berechnung des Kennwerts „Cronbach Alpha“ genauer beleuchtet werden. Diese Methoden sind allerdings wiederum nur ex post möglich und helfen somit erst bei der nächsten Umfrage, um den Fehler von Vornherein zu vermeiden. An dieser Stelle wird wieder auf die Erfahrung und Expertise von Marktforschungsinstituten hingewiesen. Nur wer bereits viele und umfassende Umfragen in dem relevanten Themengebiet durchgeführt hat, kann qualifizierte Aussagen darüber treffen, ob ein Fragebogen der Konstruktvalidität standhält oder an welchen Stellen nochmals nachgebessert werden sollte.
Fazit: Fragebogengüten beim Fragebogen erstellen beachten
Jede Umfrage steht und fällt mit dem Fragebogen. Deshalb sollte beim Fragebogen Erstellen besonders viel Zeit investiert werden. Dabei muss dieser gut durchdacht und konzipiert sein, um eine solide Basis für ein erfolgreiches Projekt zu bilden. Die Fragebogengüte bietet dabei die Grundlage für einen Fragebogen, der aus methodentechnischer Sicht keine Mängel aufweist. In diesem Artikel wurde gezeigt, was die Fragebogengüte umfasst und wie diese untersucht bzw. gemessen werden kann. Nichtsdestotrotz sollte der Anwender nicht davor zurückschrecken und sich intensiv mit dem Thema beschäftigen, um eine hohe Qualität der Umfragen zu gewährleisten.
