Wie verändern mobile Endgeräte die Online-Forschung?
In Teil 1 unserer dreiteiligen Reihe über die Auswirkungen von Smartphones auf Online-Befragungen haben wir das Design und die Methodik unserer Studie vorgestellt und generelle Unterschiede zwischen den Teilnehmern von mobilen Endgeräten und Desktop-Geräten vorgestellt.
Im zweiten Teil werden wir das Antwortverhalten bei den folgenden Fragetypen genauer analysieren:
- Einfach- und Mehrfachauswahlfrage
- Rankingfrage
Dabei hat uns insbesondere interessiert, ob allein der Gerätetyp und die damit verbundene unterschiedliche Usability einen direkten Einfluss auf die Datenqualität haben. Der Fokus liegt hierbei auf dem Vergleich der beiden Gerätearten PC und Smartphones. Tablets wurden aufgrund ihrer weniger klar definierten Eigenschaften, allen voran der Spannweite an Bildschirmgrößen sowie ihrer geringeren Relevanz in Online-Umfragen aus der Analyse ausgeschlossen.
Um die beiden Datensätze (mobil und Desktop) vergleichbar zu machen, haben wir das Propensity Score Matching-Verfahren (Teil 1) angewendet.
Die Vergleiche der beiden Datensätze basieren auf dem Konzept des Satisificing. Um eine Frage korrekt beantworten zu können, muss der Befragte die folgenden vier Stufen durchlaufen:
- Verstehen der Frage
- Abruf gespeicherter Informationen aus dem Gehirn
- Bewertung abgerufener Informationen nach zugrundeliegendem Kontext
- Bildung einer Antwort & ggf. Einpassung dieser in vorgegebene Antwortoptionen
Durchläuft man diese Stufen bei der Beantwortung einer Frage unachtsam bzw. nicht vollständig, so spricht man von Satisficing. Aufgrund der gerätespezifischen Eigenschaften eines Smartphones ist anzunehmen, dass Satisficing bei Nutzern von mobilen Endgeräten häufiger auftritt.
Einfachauswahl und Mehrfachauswahl
Um die Annahme zu überprüfen, haben wir drei Indikatoren des Satisficing bei mobilen Endgeräten bei Nutzern mobiler Endgeräte und Desktop-Nutzern untersucht:
- Primacy-Effekt:
Die Tendenz, die erste oder zweite angezeigte Kategorie direkt auszuwählen, um die Frage schneller beantworten zu können.
- Vermeidung halboffener Kategorien:
Die Tendenz, halboffene Antworten (z.B. Sonstiges mit verpflichtendem Textfeld) zu vermeiden
- Ignorieren zusätzlicher Optionen (nur bei Mehrfachauswahl):
Die Tendenz, weniger Optionen auszuwählen, um die Frage schneller beantworten zu können.
Für robustere Messergebnisse wurden jeweils zwei identische Fragetypen analysiert. Abbildung 1 zeigt die Ergebnisse der Analyse, die im Folgenden näher erklärt werden.
Studienergebnisse bei Einfachauswahl- und Mehrfachauswahlfragen
Einfachauswahl
Zur Untersuchung wurden zwei Einfachauswahlfragen mit elf (Frage 1) bzw. zehn (Frage 2) Antwortmöglichkeiten bezüglich der Internetnutzung sowie der wichtigsten Eigenschaft von Video-on-Demand-Diensten herangezogen.
Darstellung von Einfachauswahlfragen für mobile & Desktopgeräte
Beim Test des Primacy-Effekts zeigt sich bei der ersten Frage entgegen der Annahme für mobile Nutzer ein signifikant höherer Anteil von Personen, die die erste oder zweite Kategorie ausgewählt haben. Dieser Effekt dreht sich bei der zweiten Frage um. Der Unterschied ist aber statistisch nicht signifikant.
Bei der Vermeidung halboffener Antworten (mit verpflichtendem Textfeld) zeigt sich ein ähnliches Bild. Bei der ersten Frage neigen mobile Nutzer signifikant häufiger zur Vermeidung offener Antworten, allerdings ist die Differenz sehr gering. Auch hier dreht sich dieser Effekt bei der zweiten Frage um und ist statistisch nicht signifikant.
Insgesamt können daher bei Einfachauswahlfragen keine eindeutigen signifikanten Unterschiede zwischen den beiden Nutzergruppen festgestellt werden.
Mehrfachauswahl
Bei den für die Untersuchung der Mehrfachauswahl relevanten Fragen geht es inhaltlich um die Verwendung verschiedener technischer Geräte sowie die Nutzung von Video-on-Demand-Diensten mit zehn (Frage 1) bzw. zwölf (Frage 2) Antwortoptionen.
Darstellung von Mehrfachauswahlfragen für mobile & Desktopgeräte
Mobile Nutzer zeigen bei Mehrfachantworten tatsächlich die Tendenz zum Primacy-Effekt. So gibt es bei beiden Mehrfachauswahlfragen einen signifikanten Unterschied zwischen Desktop-Nutzern und mobilen Teilnehmern. Nutzer eines Smartphones geben demnach bei Auswahllisten mit Mehrfachnennungen häufiger eine der ersten beiden Optionen an, ohne eine weitere Alternative anzukreuzen. Dies weist auf eine unsorgfältigere Bearbeitung des Fragebogens bei Smartphone-Nutzung hin. Allerdings sind die Unterschiede sehr gering.
Darüber hinaus haben wir uns bei Mehrfachantworten angesehen, wie viele Optionen insgesamt ausgewählt werden. Hier bestätigt sich der Satisficing-Effekt noch deutlicher. Mobile Nutzer wählen durchschnittlich weniger Antwortoptionen als Desktop-Nutzer aus. In Mehrfachauswahlfragen führt der Einsatz eines mobilen Geräts tatsächlich dazu, dass weitere zutreffende Optionen ignoriert werden. Die Unterschiede sind bei beiden Fragen signifikant, jedoch nicht sehr groß.
Auch bei der Vermeidung halboffener Fragen (mit verpflichtendem Textfeld) zeigt sich ein ähnliches Bild wie bei Einfachauswahlfragen. Bei der ersten Frage neigen mobile Nutzer signifikant häufiger zur Vermeidung offener Antworten, allerdings ist die Differenz sehr gering. Wohingegen sich bei der zweiten Frage dieser Effekt umdreht. Es lässt sich also kein eindeutiger Einfluss nachweisen.
Rankingfrage
Die Rankingfrage behandelt die persönliche Wichtigkeit von insgesamt sieben verschiedenen technischen Endgeräten, für welche jeweils für jeden Probanden eine zufällig generierte Rangfolge der Geräte ausgewiesen wurde, die dieser dann individuell anpassen sollte.
Darstellung der Rankingfrage für mobile & Desktopgeräte
Bei der Rankingfrage haben wir zwei Effekte untersucht:
- Primacy-Effekt:
Die Tendenz, bei mobilen Endgeräten einem der ersten beiden angezeigten, zufällig geordneten Optionen auch den ersten Rang zuzuweisen
- Anzahl Änderungen im Ranking:
Die Tendenz, das mobile Teilnehmer die Optionen im vorgegebenen Ranking weniger oft verschieben und dadurch das Ranking weniger genau durchführen
Es zeigt sich, dass die Nutzung eines Smartphones zu keinem verstärkten Auftreten des Primacy-Effekts führt. So zeigen sich keine signifikanten Unterschiede zwischen mobilen und Desktop-Nutzern. Desktop-Nutzer weisen den ersten beiden angezeigten, zufällig geordneten Optionen sogar etwas häufiger den ersten Rang zu.
Entgegen den Erwartungen ist die durchschnittliche Anzahl der Veränderungen im Ranking bei mobilen Teilnehmer signifikant höher als bei Desktop-Nutzern. So wurden die insgesamt sieben Ränge bei mobilen Nutzern im Schnitt 5,09-mal verändert, bei Desktopnutzern 4,35-mal. Dies könnte daran liegen, dass die Umsetzung der Rankingfrage durch ein Drag & Drop Design mobilen Nutzern vertrauter ist, da allgemeine Navigationseigenschaften von Smartphones dazu Ähnlichkeiten aufweien.
Studienergebnisse bei Rankingfragen
Fazit
Die Ergebnisse unserer Mobile vs. Desktop Studie bei Einfachauswahl-, Mehrfachauswahl- und Rankingfragen auf einen Blick:
- Bei Einfachauswahlfragen wurden keine konstant signifikanten Unterschiede entdeckt.
- Bei Mehrfachauswahlfragen zeigt sich über beide Frageinstanzen hinweg ein geringfügig stärkerer Primacy-Effekt bei der mobilen Teilnehmergruppe.
Smartphone-Nutzer geben demnach bei Auswahllisten mit Mehrfachnennungen häufiger eine der ersten beiden Optionen an, ohne eine weitere Alternative anzukreuzen. Darüber hinaus wählen sie durchschnittlich etwas weniger Antwortoptionen als Desktopnutzer aus.
Bei der Nutzung halboffener Kategorien gibt es hingegen keinen Unterschied. - Betrachtet man die Rangordnungsfragen, führt hierbei die Nutzung eines Smartphones nicht zu einem verstärkten Auftreten des Primacy-Effekts. Bei der durchschnittlichen Anzahl der Änderungen im Ranking weisen überraschenderweise Mobile-Nutzer einen signifikant höheren Wert auf.
Bezogen auf die hier untersuchten Fragetypen geben die Ergebnisse größtenteils Grund zur Entwarnung. Sehr starke Abweichungen im Antwortverhalten zwischen mobilen und Desktopnutzern konnten nicht identifiziert werden. Dies bedeutet, dass mit einer gut durchdachten und für den Nutzer intuitiven Fragedarstellung im mobilen Design viele potenzielle Restriktionen durch das Nutzungsgerät, und insbesondere die damit verbundene geringere Größe des Bildschirms, ausgeglichen werden können.
Um eine hohe Datenqualität zu gewährleisten, ist es also wichtig methodisch sinnvolle und für den Nutzer intuitiv zu bedienende Lösungen für die Darstellung von Fragen auf mobilen Endgeräten zu entwickeln und anzuwenden.
Mit unserem interaktiven Test „MobileScore“ finden Sie in wenigen Sekunden heraus, ob sich Ihr Forschungsdesign für eine Anwendung auf mobilen Endgeräten eignet.
Verfasst von Philipp Scholz
Philipp Scholz, Teamleiter Consulting bei der Rogator AG, ist ein erfahrener Marktforscher in den Bereichen Customer Feedback und Employee Feedback sowie entsprechender Softwarelösungen. Durch zahlreiche erfolgreich abgeschlossene Projekte und langjährige Erfahrung hat er sich ein tiefgehendes Fachwissen angeeignet, das er gerne weitergibt.
Folgen Sie Philipp Scholz auf LinkedIn.