Mobile vs. Desktop – Welchen Einfluss hat die Nutzung eines Smartphones bei Online-Umfragen? Teil 1

18.05.2018
Mobil vs. Desktop

Die Diskussion um die Auswirkungen von mobilen Endgeräten bei Online-Umfragen ist in vollem Gange. So vielfältig die Smartphone Landschaft ist, so vielfältig sind auch die Meinungen bezüglich des Umgangs mit mobilen Endgeräten in der Online-Forschung. Wir wollten es genauer wissen und haben – im Rahmen einer Masterarbeit an der Friedrich-Alexander-Universität – gemeinsam mit SevenOne Media eine eigene Studie durchgeführt.

 

Wie verändern mobile Endgeräte die Online-Forschung?

 

Kein Thema wird in der Online-Forschung in den letzten Jahren so heiß diskutiert: Wie beeinflussen und verändern mobile Endgeräte die Online-Forschung? Mit dem Schlagwort „mobile first“ setzt sich immer mehr die Strategie durch, Befragungen vom kleinsten mobilen Endgerät her zu denken. Damit wird die Gestaltung des Fragebogens auf den kleinsten Bildschirm ausgerichtet. Mit diesem Ansatz ist sichergestellt, dass die Inhalte auch automatisch auf größeren funktionieren. Dies betrifft zu einem die Usability bei der Beantwortung der Fragen, als auch die Fragebogenlänge, da davon ausgegangen wird, dass die Zeitspanne bei einem Nutzer der ein mobiles Endgerät benutzt deutlich geringer ist, als bei einem Teilnehmer der vor einem Desktop-PC sitzt.

 

Sowohl die Wissenschaft als auch die Praktiker sind sich bis heute uneins, welchen Einfluss die Nutzung von mobilen Endgeräten auf die Datenqualität nun wirklich hat und wie mit dieser Veränderung umgegangen werden sollte.

 

Für uns als Marktforschungsinstitut und führender Softwareentwickler im Bereich Online-Studien ist diese Fragestellung für die weitere Fortentwicklung der Software essentiell.
Wir wollten es daher genauer wissen und haben – im Rahmen einer Masterarbeit an der Friedrich-Alexander Universität – in Zusammenarbeit mit SevenOne Media eine großangelegte Studie durchgeführt. Dabei haben uns insbesondere die folgenden Aspekte interessiert:

  • Gibt es grundsätzliche Unterschiede zwischen Desktop- und mobilen Teilnehmern (Abbrecherquote und Bearbeitungsdauer)?
  • Hat die mobil optimierte Darstellung der verschiedenen Fragetypen einen Einfluss auf das Antwortverhalten? Sind Ergebnisse von Desktop- und mobilen Teilnehmern vergleichbar?
    Wir haben hierfür die folgenden Fragetypen untersucht:

    • Auswahlfragen (Einfach- und Mehrfachauswahl)
    • Rangordnungsfrage
    • Intensitätsfragen (Einfachrating, Matrix- und Doppelmatrix und semantisches Differential)
    • Offene Fragen

 

Wir werden Ihnen die Ergebnisse in drei Teilen präsentieren. In diesem ersten Beitrag geht es um die folgenden Themen:

 

  • Studiendesign und Methodik
  • Abbrecherquote und Bearbeitungsdauer
  • Allgemeine Merkmale des Antwortverhaltens

 

Studiendesign – Steckbrief

Quelle

offene Webseitenbefragung auf den verschiedenen Portalen des Seven One Media-Netzwerks

Incentivierung

keine

Feldzeit

27.11.2017 – 25.12.2017

Thema

Mediennutzungsverhalten

Fragenanzahl

30

Teilnehmer

6383

Das Fragebogendesign war für mobile Teilnehmer optimiert, d.h. dass die Fragen so konzipiert waren, dass sie für mobile Nutzer ohne Einschränkungen bedienbar waren (z.B. Schriftgröße, Wiederholung von Skalen etc.).  Bei der Vorstellung der Ergebnisse werden auch die in der Studie verwendeten Darstellungen gezeigt.

 

 

Methodik

 

Um die tatsächlichen Effekte des Endgerätes zu messen, ist es essentiell, dass sich die Stichproben der Desktopteilnehmer und der mobilen Teilnehmer möglichst nicht voneinander unterscheiden. Nur so kann man den Nettoeffekt Mobile vs. Desktop messen, ohne dass das Ergebnis durch externe Effekte beeinflusst wird. Es ist wichtig zu erwähnen, dass der Fokus auf dem Vergleich der beiden Gerätearten PC und Smartphones liegt. Tablets wurden aufgrund ihrer weniger klar definierten Eigenschaften, allen voran der Spannweite an Bildschirmgrößen, sowie ihrer geringeren Relevanz in Onlineumfragen aus der Analyse ausgeschlossen.

 

Es ist bekannt, dass sich bei Online-Studien Smartphone- von Desktopnutzern hinsichtlich verschiedener demographischer Merkmale unterscheiden. So sind Smartphone-Nutzer im Vergleich zum PC-Nutzer häufiger jünger und häufiger weiblich. Um demographische Effekte, die einen Einfluss auf Antwortverhalten haben können zu vermeiden, wurde das sogenannte Matching-Verfahren angewendet.

 

Vereinfacht gesagt, wird für jeden mobilen Teilnehmer ein statistischer Zwilling bei den Desktop-Nutzern gesucht. Hierfür wurden die demographischen Merkmale Geschlecht, Alter, Bildungsstand und Einkommen verwendet. Durch dieses Verfahren werden die beiden Stichproben harmonisiert und damit vergleichbar gemacht. Nach dem Matchingverfahren waren insgesamt noch 4.042 (Desktop und Mobile jeweils 2.021) Personen im Datensatz. Die Datensätze konnten nun separat ausgewertet und miteinander verglichen werden.

Beschreibung der Stichprobe
Beschreibung der Stichprobe

 

Abbrecherquote

 

Die Abbrecherquote ist bei mobilen Teilnehmern erwartungsgemäß höher, als bei PC-Nutzern. So haben auf der Startseite 29% der mobilen Teilnehmer die Umfrage bereits abgebrochen, bei Desktop Nutzern liegt dieser Anteil nur bei 15%. Zum Ende der Umfrage hatten 68% der mobilen Nutzer die Umfrage vorzeitig abgebrochen, bei den Desktop-Nutzern waren es 52%. Es ist auffallend, dass der Anteil bei mobilen Nutzern zwar höher ist, sich die Länge der Umfrage aber nicht negativ auf die Abbrecherquote bei mobilen Teilnehmern auswirkt. Vielmehr bleibt der Unterschied zwischen Desktop- und Smartphone-Nutzern über die Umfrage gesehen relativ konstant.

 

Sobald ein Smartphone-Teilnehmer die erste „Hürde“ der Einleitung überwunden hat, unterscheidet sich dessen Wahrscheinlichkeit eines Befragungsabbruchs im Allgemeinen nicht mehr signifikant von der eines Desktop-Nutzers. Dies widerspricht der Vermutung, dass mobil-optimierte Umfragen deutlich kürzer konzipiert sein müssen. Die durchschnittliche Bearbeitungszeit (beide Nutzergruppen) lag immerhin bei 12 Minuten 15 Sekunden. Die allgemein relativ hohe Abbrecherquote ist damit zu erklären, dass es sich um eine Webseitenbefragung handelt. Hier sind hohe Abbrecherquoten die Normalität, da viele Teilnehmer aus Neugierde kurz in die Umfrage klicken, aber nicht die Intention haben diese zu beenden.

Vergleich Abbrecherquoten
Vergleich Abbrecherquoten

Übersicht Fragebogenaufbau

I. Startseite ohne Zeitangabe zur Studiendauer
II. Demographie (Teil 1)  (Fragen 1-3)
III. Abfrage Smartphone-Besitz  (Frage 4)
IV. Abfrage der Gerätenutzung und -bewertung (Frage 5-6)
V. Abfrage der Häufigkeit des Medienkonsums
(TV & Online-Videos) | (Fragen 7-13)

VI. Nutzung & Weiterempfehlung von Video-On-Demand-Diensten (Fragen 17-19)
VII. Einschätzung Wichtigkeit verschiedener Medien aktuell & in Zukunft (Fragen 20-22)
VIII. Medien-Nutzungsgewohnheiten allg. (Frage 23)
IX. Selbsteinschätzung (Frage 24)
X. Demographie (Teil 2) (Fragen 25-30)

Bearbeitungsdauer

 

Entgegen der Annahme ist die durchschnittliche Bearbeitungsdauer bei mobilen Teilnehmern etwas kürzer als bei PC Nutzern (710 vs. 760 Sekunden). Wie man der Grafik entnehmen kann, ist die Bearbeitungsdauer lange nahezu identisch. Erst bei den komplexeren Fragetypen (Block VII – IX | Frage 20-24 – Doppelmatrix mit anschließender Textfrage, Matrix und semantisches Differential) verschiebt sich die Zeit zu Gunsten der mobilen Teilnehmer. Dieser hier aufgebaute Zeitunterschied bleibt bis zum Ende der Umfrage konstant.

Vergleich Bearbeitungsdauer
Vergleich Bearbeitungsdauer

 

Allgemeine Merkmale des Antwortverhaltens

 

Darüber hinaus ergab die empirische Untersuchung, dass Mobile-User häufiger Gebrauch von Ausweichkategorien („weiß nicht“) machen. So haben 6,5% der Smartphone-Nutzer Ausweichkategorien genutzt, bei Desktop-Nutzern waren es nur 4,9%. Der Unterschied ist zwar nicht sehr groß, aber statistisch signifikant.

Antwortverhalten_allgemein
Antwortverhalten allgemein

 

 

Fazit

 

 

Die ersten Ergebnisse unserer Mobile vs. Desktop Studie lassen die folgenden Schlüsse zu:

  • Die Abbruchquote bei Smartphone Nutzern ist zwar höher, allerdings nur zu Beginn der Befragung. Sobald ein Smartphone-Teilnehmer die erste „Hürde“ überwunden hat, ist die Gefahr eines Befragungsabbruchs mit dem eines Desktop-Nutzer vergleichbar
  • Die Bearbeitungsdauer war bei Smartphone-Nutzern etwas geringer als bei Desktop-Nutzern. Dies widerspricht der allgemeinen Auffassung, dass mobile Teilnehmer aufgrund der erschwerten Usability bei der Fragebeantwortung tendenziell länger benötigen. Ob Smartphone-Nutzer dazu neigen einen Fragebogen schneller und unkonzentrierter zu beantworten, schauen wir uns genauer im nächsten Beitrag zum Thema Datenqualität an
  • Mobile Nutzer machen darüber hinaus häufiger Gebrauch von Ausweichkategorien. Zwar sind die Unterschiede signifikant, aber nicht sehr hoch. Ein Grund hierfür könnte z.B. sein, dass ein Smartphone-Nutzer durch die erschwerte Beantwortung der Umfrage eher dazu neigt direkt die Ausweichkategorie zu wählen.

Mit unserem interaktiven Test „MobileScore“ finden Sie in wenigen Sekunden heraus, ob sich Ihr Forschungsdesign für eine Anwendung auf mobilen Endgeräten eignet.

 

Starten Sie jetzt den Test!

"Mobile first" - was bedeutet das für Ihre Umfrage?

Sie sind sich unsicher, ob Sie via einer Mobile oder Desktop Befragung bessere Ergebnisse erhalten? Wir beraten Sie gerne an dieser Stelle.

Jetzt Kontakt aufnehmen