Case Study: Kompetenz in der Fragebogenprogrammierung

1. Das Ziel

Brauerei sucht geeignetes Gastro-Design

Eine große Brauerei war auf der Suche nach einem neuen Design für Reklameschilder im Außenbereich von Gastronomie-Betrieben. Die neuen Konzeptvorschläge lagen bereits auf dem Tisch bzw. als Bildmaterialien vor und die interne Marktforschungsabteilung der Brauerei hatte auch schon ein geeignetes Abfragekonzept entworfen, mit dem die wesentlichen Vor- und Nachteile der Vorschläge quantitativ und qualitativ erfasst werden sollten.

Für die Umsetzung in Form einer Online-Befragung nahm das Unternehmen den Service der Fragebogenprogrammierung bei Rogator in Anspruch und vertraute dabei auf die kompetente Implementierung der komplexen, technisch-methodischen Anforderungen sowie die zusätzlichen Beratungsleistungen bei Rogator.

2. Der Weg

Methodische Beratung zur Programmierung

Die technische Umsetzung der Befragung erforderte zunächst die genaue Definition des experimentellen Designs der Befragung. Im Kontext einer Konzeptbeurteilung ist es z.B. entscheidend, in welcher Abfolge den einzelnen Teilnehmern die verschiedenen Inhalte und Designs präsentiert werden. Aus methodischen Grundlagenstudien ist nämlich bekannt, dass die Reihenfolge der Darbietung von Stimuli (also Texten, Bildern etc.) zur Bewertung einen erheblichen Einfluss auf eben diese Bewertungen haben kann.

So werden etwa die Fragen zu Beginn eines Fragebogens im Durchschnitt zumeist etwas aufmerksamer bearbeitet als am Ende. Dieses Phänomen, was vor allem bei längeren Fragebögen einsetzt, ist unter dem Namen „Survey Fatigue“ bekannt. Darüber hinaus spielt es bei sukzessiven Konzeptbewertungen eine Rolle, ob zum Start eines der attraktiveren Konzepte erscheint oder ein weniger attraktives. Die Teilnehmerinnen und Teilnehmer werden ihre Angaben dann entsprechend strategisch abstufen.

Eine weitere, wichtige und potenziell ergebnisrelevante Stellgröße ist die Bearbeitung und Einbindung der Bildvorlagen. An dieser Stelle ist Erfahrung in der Verarbeitung der Dateien gefragt, zum einen was das Handling verschiedener Bildformate angeht, zum anderen aber vor allem, was die Auswahl der richtigen Bildausschnitte sowie Helligkeit und Kontrast betrifft. Hierbei sollte gewährleistet werden, dass keine der Alternativen schon rein optisch aufgrund ihrer Größe oder Erscheinung bevorzugt wird.

Nicht zuletzt ist auch eine Befragungssoftware notwendig, mit der verschiedene Datenformate (gerade im Bereich Bild und Video) sicher implementiert und umgesetzt werden können.

3. Die Durchführung und Auswertung

Umsetzung methodischer Anforderungen mit Rogator

Die Reihenfolge der präsentierten Vorlagen bzw. Gastro-Designs für die Teilnehmer wurde mit Hilfe der Rogator-Software zufallsgesteuert umgesetzt. Dies bedeutet, dass jeder Ausfüller der Befragung die Konzepte in einer anderen Anordnung erhielt, in diesem Fall in Form einer sog. Fragen-Rotation.

Da auf einer Bewertungsseite teilweise bis zu vier Konzepte dargeboten wurden, wurde die bereits genannte Fragen-Rotation noch durch eine Item-Rotation ergänzt. Das bedeutet, dass – je nach Teilnehmer – unterschiedliche Reihenfolgen auf einer Frageseite erzeugt bzw. ausgegeben wurden, wobei sämtliche Rotationen vom Teilnehmer weder bemerkt noch beeinflusst werden konnten. Abbildung 1 zeigt die Einstellung der Fragen-Rotation in der Rogator-Software.

Abb. 1 (zur größeren Darstellung bitte anklicken)

Es ist wichtig zu betonen, dass mögliche Reihenfolgeeffekte in der beschriebenen Weise beim einzelnen Teilnehmer de facto nicht vermieden werden können. Durch die Randomisierungen werden jedoch die real auftretenden Effekte zufällig auf alle Personen verteilt und mitteln sich somit auf Basis ausreichend großer Zahlen wieder aus.

Die vom Kunden gelieferten, recht heterogenen Bildvorlagen wurden von Rogator harmonisiert und mit Hilfe von Bildbearbeitungs-Software soweit angepasst, dass die Wirkung auf den Probanden so weit wie möglich ausschließlich auf dem entscheidenden Element beruhte (in diesem Fall der Schriftzug der Marke). Darüber hinaus durfte keine Bevorzugung von Bildgröße bzw. Bildausschnitt suggeriert werden.

Eine weitere Besonderheit im Rahmen von Konzepttests unter Verwendung von Bild- und sonstigen Vorlagen ist die effektive Kontrolle, ob die Probanden die entsprechen-den Vorlagen auch ausreichend lange ansehen. Grundsätzlich kann dies nicht „erzwungen“ werden, da beim Online-Fragebogen kein Interviewer präsent ist. Allerdings kann die Wahrscheinlichkeit zur Erfüllung der methodischen Vorgabe durch einen Zeitzähler (Countdown) erheblich erhöht werden.

Das bedeutet, eine Vorlage muss bspw. mindestens 5 bis 10 Sekunden auf dem jeweiligen Bildschirm angezeigt werden, bevor man als Teilnehmer auf „Weiter“ klicken kann. Eine Countdown-Anzeige illustriert diesen Vorgang. Noch längere Countdown-Zeiten empfehlen sich im Übrigen nicht, da dann wiederum die Wahrscheinlichkeit erhöht wird, dass sich Teilnehmer in der Wartezeit mit anderen Dingen beschäftigen. Eine eher kurze Wartezeit wird hingegeben gern dazu verwendet, die Vorlage tatsächlich genauer zu begutachten. Einige Screenshots verdeutlichen dies. Abbildung 2 zeigt die Countdown-Funktion auf Konzeptseiten.

Abb. 2 (zur größeren Darstellung bitte anklicken)

Konzeptbeurteilung „quant“ und „qual“

Der Fragebogen selbst war für alle verwendeten Vorlagen bzw. Konzepte nach demselben Schema aufgebaut:

1. Anzeige des Konzeptes mit kontrollierter Wartezeit
2. Gesamtbewertung der Vorlage auf Skala 1-5
3. Qualitative Einschätzung: was gefällt / was gefällt nicht
4. Bewertung anhand einer Item-Batterie mit 10 Einzelkriterien
5. Abschließendes Ranking aller Konzepte

Abbildung 3 zeigt die Gesamtbewertung des Konzeptes, bei dem die Reihenfolge der Konzepte rotiert. Bei Abbildung 4 wird die Detailbewertung des Konzeptes aufgeführt. Hier rotiert die Reihenfolge der Items pro Teilnehmer. Bei Abbildung 5 wird die Möglichkeit der qualitativen Kommentierung demonstriert.

Abb. 3 (zur größeren Darstellung bitte anklicken)

Abb. 4 (zur größeren Darstellung bitte anklicken)

Abb. 5 (zur größeren Darstellung bitte anklicken)

Die mehreren Tausend Teilnehmer wurden vom Kunden selbst aus einem eigenen Adressbestand zur Befragung eingeladen und nahmen rege an der Befragung teil. Die beschriebene Aufteilung in qualitivate und quantitative Aspekte der Bewertung brachte für den Kunden ein umfassendes Bild zur Evaluierung der Konzepte. So wurden z.B. in die 16 Textfelder der Befragung insgesamt über 1 Mio Zeichen eingegeben oder 337 Zeichen pro Person.

Rogator lieferte bei diesem Projekt lediglich den aufbereiteten Datensatz. Der Kunde konnte die Analyse der Daten mit eigenen Kompetenzen und Mitteln selbst durchführen.

4. Die Erkenntnisse

Programmierung ist nicht gleich Programmierung

Der Erfolg der durchgeführten Befragung beruhte nicht zuletzt auf einer in Form der programmierten Umfrage konsequent umgesetzten Fragenmethodik. Für diese Umsetzungen bedarf es einer entsprechenden Befragungssoftware, welche diese methodischen Anforderungen nicht nur theoretisch, sondern auch unter der Last mehrerer tausend Teilnehmer sicher erfüllen kann.

Von entscheidender Bedeutung waren in diesem Fall auch die Kompetenzen und umfangreichen Erfahrungen der Programmierer bzw. der Projektleitung bei Rogator. Nur das effiziente Zusammenspiel der genannten Komponenten brachte für dieses komplexe Projekt den gewünschten Erfolg.