Mobile vs. Desktop – Welchen Einfluss hat die Nutzung eines Smartphones bei Online-Umfragen? Teil 2

13.06.2018
mobil-desktop

Die Diskussion um die Auswirkungen von mobilen Endgeräten bei Online-Umfragen ist in vollem Gange. So vielfältig die Smartphone Landschaft ist, so vielfältig sind auch die Meinungen bezüglich des Umgangs mit mobilen Endgeräten in der Online-Forschung. Wir wollten es genauer wissen und haben – im Rahmen einer Masterarbeit an der Friedrich-Alexander-Universität Erlangen-Nürnberg – gemeinsam mit SevenOne Media eine eigene Studie durchgeführt.

 

 

Wie verändern mobile Endgeräte die Online-Forschung?

Kein Thema wird in der Online-Forschung in den letzten Jahren so heiß diskutiert: Wie beeinflussen und verändern mobile Endgeräte die Online-Forschung?

 

Für uns als Marktforschungsinstitut und führender Softwareentwickler im Bereich Online-Studien ist diese Fragestellung für die weitere Fortentwicklung der Software essenziell.
Daher haben wir eine großangelegte Studie zu der Thematik Mobile vs. Desktop durchgeführt.

 

Im ersten Teil haben wir das Studiendesign und die Methodik vorgestellt und generelle Unterschiede zwischen den Teilnehmern von mobilen Endgeräten und Desktop-Geräten herausgearbeitet.

 

Im zweiten Teil werden wir das Antwortverhalten bei den folgenden Fragetypen genauer analysieren:

 

  1. Einfach- und Mehrfachauswahlfrage
  2. Rankingfrage

 

Dabei hat uns insbesondere interessiert, ob allein der Gerätetyp und die damit verbundene unterschiedliche Usability einen direkten Einfluss auf die Datenqualität haben. Der Fokus liegt hierbei auf dem Vergleich der beiden Gerätearten PC und Smartphones. Tablets wurden aufgrund ihrer weniger klar definierten Eigenschaften, allen voran der Spannweite an Bildschirmgrößen sowie ihrer geringeren Relevanz in Online-Umfragen aus der Analyse ausgeschlossen.

 

Um die beiden Datensätze (mobil und Desktop) vergleichbar zu machen, haben wir das Propensity Score Matching-Verfahren (Teil 1) angewendet.

 

Die Vergleiche der beiden Datensätze basieren auf dem Konzept des Satisificing. Um eine Frage korrekt beantworten zu können, muss der Befragte die folgenden vier Stufen durchlaufen:

 

  1. Verstehen der Frage
  2. Abruf gespeicherter Informationen aus dem Gehirn
  3. Bewertung abgerufener Informationen nach zugrundeliegendem Kontext
  4. Bildung einer Antwort & ggf. Einpassung dieser in vorgegebene Antwortoptionen

 

Durchläuft man diese Stufen bei der Beantwortung einer Frage unachtsam bzw. nicht vollständig, so spricht man von Satisficing. Aufgrund der gerätespezifischen Eigenschaften eines Smartphones ist anzunehmen, dass Satisficing bei Nutzern von mobilen Endgeräten häufiger auftritt.

 

 

Einfachauswahl und Mehrfachauswahl

Um die Annahme zu überprüfen, haben wir drei Indikatoren des Satisficing bei mobilen Endgeräten bei Nutzern mobiler Endgeräte und Desktop-Nutzern untersucht:

 

  1. Primacy-Effekt:

Die Tendenz, die erste oder zweite angezeigte Kategorie direkt auszuwählen, um die Frage schneller beantworten zu können.

  1. Vermeidung halboffener Kategorien:

Die Tendenz, halboffene Antworten (z.B. Sonstiges mit verpflichtendem Textfeld) zu vermeiden

  1. Ignorieren zusätzlicher Optionen (nur bei Mehrfachauswahl):

Die Tendenz, weniger Optionen auszuwählen, um die Frage schneller beantworten zu können.

 

Für robustere Messergebnisse wurden jeweils zwei identische Fragetypen analysiert. Abbildung 1 zeigt die Ergebnisse der Analyse, die im Folgenden näher erklärt werden.

Ergebnisse_EFAMFA

Studienergebnisse bei Einfachauswahl- und Mehrfachauswahlfragen

 

Einfachauswahl

Zur Untersuchung wurden zwei Einfachauswahlfragen mit elf (Frage 1) bzw. zehn (Frage 2) Antwortmöglichkeiten bezüglich der Internetnutzung sowie der wichtigsten Eigenschaft von Video-on-Demand-Diensten herangezogen.

mobil-vs-desktop

Darstellung von Einfachauswahlfragen für mobile & Desktopgeräte

 

 

Beim Test des Primacy-Effekts zeigt sich bei der ersten Frage entgegen der Annahme für mobile Nutzer ein signifikant höherer Anteil von Personen, die die erste oder zweite Kategorie ausgewählt haben. Dieser Effekt dreht sich bei der zweiten Frage um. Der Unterschied ist aber statistisch nicht signifikant.

 

Bei der Vermeidung halboffener Antworten (mit verpflichtendem Textfeld) zeigt sich ein ähnliches Bild. Bei der ersten Frage neigen mobile Nutzer signifikant häufiger zur Vermeidung offener Antworten, allerdings ist die Differenz sehr gering. Auch hier dreht sich dieser Effekt bei der zweiten Frage um und ist statistisch nicht signifikant.

 

Insgesamt können daher bei Einfachauswahlfragen keine eindeutigen signifikanten Unterschiede zwischen den beiden Nutzergruppen festgestellt werden.

 

 

Mehrfachauswahl

Bei den für die Untersuchung der Mehrfachauswahl relevanten Fragen geht es inhaltlich um die Verwendung verschiedener technischer Geräte sowie die Nutzung von Video-on-Demand-Diensten mit zehn (Frage 1) bzw. zwölf (Frage 2) Antwortoptionen.

Mehrfachauswahl

Darstellung von Mehrfachauswahlfragen für mobile & Desktopgeräte

 

 

Mobile Nutzer zeigen bei Mehrfachantworten tatsächlich die Tendenz zum Primacy-Effekt. So gibt es bei beiden Mehrfachauswahlfragen einen signifikanten Unterschied zwischen Desktop-Nutzern und mobilen Teilnehmern. Nutzer eines Smartphones geben demnach bei Auswahllisten mit Mehrfachnennungen häufiger eine der ersten beiden Optionen an, ohne eine weitere Alternative anzukreuzen. Dies weist auf eine unsorgfältigere Bearbeitung des Fragebogens bei Smartphone-Nutzung hin. Allerdings sind die Unterschiede sehr gering.

 

Darüber hinaus haben wir uns bei Mehrfachantworten angesehen, wie viele Optionen insgesamt ausgewählt werden. Hier bestätigt sich der Satisficing-Effekt noch deutlicher. Mobile Nutzer wählen durchschnittlich weniger Antwortoptionen als Desktop-Nutzer aus. In Mehrfachauswahlfragen führt der Einsatz eines mobilen Geräts tatsächlich dazu, dass weitere zutreffende Optionen ignoriert werden. Die Unterschiede sind bei beiden Fragen signifikant, jedoch nicht sehr groß.

 

Auch bei der Vermeidung halboffener Fragen (mit verpflichtendem Textfeld) zeigt sich ein ähnliches Bild wie bei Einfachauswahlfragen. Bei der ersten Frage neigen mobile Nutzer signifikant häufiger zur Vermeidung offener Antworten, allerdings ist die Differenz sehr gering. Wohingegen sich bei der zweiten Frage dieser Effekt umdreht. Es lässt sich also kein eindeutiger Einfluss nachweisen.

 

 

Rankingfrage

Die Rankingfrage behandelt die persönliche Wichtigkeit von insgesamt sieben verschiedenen technischen Endgeräten, für welche jeweils für jeden Probanden eine zufällig generierte Rangfolge der Geräte ausgewiesen wurde, die dieser dann individuell anpassen sollte.

Rankingfrage

Darstellung der Rankingfrage für mobile & Desktopgeräte

 

 

Bei der Rankingfrage haben wir zwei Effekte untersucht:

 

  1. Primacy-Effekt:

Die Tendenz, bei mobilen Endgeräten einem der ersten beiden angezeigten, zufällig geordneten Optionen auch den ersten Rang zuzuweisen

  1. Anzahl Änderungen im Ranking:

Die Tendenz, das mobile Teilnehmer die Optionen im vorgegebenen Ranking weniger oft verschieben und dadurch das Ranking weniger genau durchführen

 

 

Es zeigt sich, dass die Nutzung eines Smartphones zu keinem verstärkten Auftreten des Primacy-Effekts führt. So zeigen sich keine signifikanten Unterschiede zwischen mobilen und Desktop-Nutzern. Desktop-Nutzer weisen den ersten beiden angezeigten, zufällig geordneten Optionen sogar etwas häufiger den ersten Rang zu.

 

 

Entgegen den Erwartungen ist die durchschnittliche Anzahl der Veränderungen im Ranking bei mobilen Teilnehmer signifikant höher als bei Desktop-Nutzern. So wurden die insgesamt sieben Ränge bei mobilen Nutzern im Schnitt 5,09-mal verändert, bei Desktopnutzern 4,35-mal. Dies könnte daran liegen, dass die Umsetzung der Rankingfrage durch ein Drag & Drop Design mobilen Nutzern vertrauter ist, da allgemeine Navigationseigenschaften von Smartphones dazu Ähnlichkeiten aufweien.

Ergebnisse_Ranking

Studienergebnisse bei Rankingfragen

 

 

Fazit

Die Ergebnisse unserer Mobile vs. Desktop Studie bei Einfachauswahl-, Mehrfachauswahl- und Rankingfragen auf einen Blick:

 

  • Bei Einfachauswahlfragen wurden keine konstant signifikanten Unterschiede entdeckt.
  • Bei Mehrfachauswahlfragen zeigt sich über beide Frageinstanzen hinweg ein geringfügig stärkerer Primacy-Effekt bei der mobilen Teilnehmergruppe.
    Smartphone-Nutzer geben demnach bei Auswahllisten mit Mehrfachnennungen häufiger eine der ersten beiden Optionen an, ohne eine weitere Alternative anzukreuzen. Darüber hinaus wählen sie durchschnittlich etwas weniger Antwortoptionen als Desktopnutzer aus.
    Bei der Nutzung halboffener Kategorien gibt es hingegen keinen Unterschied.
  • Betrachtet man die Rangordnungsfragen, führt hierbei die Nutzung eines Smartphones nicht zu einem verstärkten Auftreten des Primacy-Effekts. Bei der durchschnittlichen Anzahl der Änderungen im Ranking weisen überraschenderweise Mobile-Nutzer einen signifikant höheren Wert auf.

 

Bezogen auf die hier untersuchten Fragetypen geben die Ergebnisse größtenteils Grund zur Entwarnung. Sehr starke Abweichungen im Antwortverhalten zwischen mobilen und Desktopnutzern konnten nicht identifiziert werden. Dies bedeutet, dass mit einer gut durchdachten und für den Nutzer intuitiven Fragedarstellung im mobilen Design viele potenzielle Restriktionen durch das Nutzungsgerät, und insbesondere die damit verbundene geringere Größe des Bildschirms, ausgeglichen werden können.

 

Um eine hohe Datenqualität zu gewährleisten, ist es also wichtig methodisch sinnvolle und für den Nutzer intuitiv zu bedienende Lösungen für die Darstellung von Fragen auf mobilen Endgeräten zu entwickeln und anzuwenden.

"Mobile first" - was bedeutet das für Ihre Umfrage?

Sie sind sich unsicher, ob Sie via einer Mobile oder Desktop Befragung bessere Ergebnisse erhalten? Wir beraten Sie gerne an dieser Stelle.

Jetzt Kontakt aufnehmen