Die Diskussion um die Auswirkungen von mobilen Endgeräten auf Online-Umfragen ist in vollem Gange. So vielfältig die Smartphone Landschaft ist, so vielfältig sind auch die Meinungen bezüglich des Umgangs mit mobilen Endgeräten in der Online-Forschung. Wir wollten es genauer wissen…
Wie verändern mobile Endgeräte die Online-Forschung?
In den letzten Jahren setzt sich immer mehr die Strategie „Mobile first“ durch. Sie schlägt vor, Webseiten und somit auch Befragungen für das kleinste mobile Endgerät zu konzipieren. Dies hat demnach auch Auswirkungen auf die Gestaltung des Fragebogens. Wissenschaft als auch Praxis sind sich jedoch uneinig, welchen Einfluss diese Entwicklung auf die Datenqualität hat und wie mit diesen Veränderungen umgegangen werden sollte.
Für uns als Marktforschungsinstitut und führender Softwareentwickler im Bereich Online-Studien ist diese Fragestellung für die weitere Fortentwicklung der Software essentiell.
Daher haben wir – im Rahmen einer Masterarbeit an der Friedrich-Alexander Universität – in Zusammenarbeit mit SevenOne Media eine großangelegte Studie durchgeführt. Dabei haben uns insbesondere die folgenden Aspekte interessiert:
- Gibt es grundsätzliche Unterschiede zwischen Desktop- und mobilen Teilnehmern (Abbrecherquote und Bearbeitungsdauer)?
- Hat die mobil optimierte Darstellung der verschiedenen Fragetypen einen Einfluss auf das Antwortverhalten? Sind Ergebnisse von Desktop- und mobilen Teilnehmern vergleichbar?
Wir haben hierfür die folgenden Fragetypen untersucht:- Auswahlfragen (Einfach- und Mehrfachauswahl)
- Rangordnungsfrage
- Intensitätsfragen (Einfachrating, Matrix- und Doppelmatrix und Semantisches Differential)
- Offene Fragen
Wir werden Ihnen die Ergebnisse in drei Teilen präsentieren. In diesem ersten Beitrag geht es um die folgenden Themen:
- Studiendesign und Methodik
- Abbrecherquote und Bearbeitungsdauer
- Allgemeine Merkmale des Antwortverhaltens
Studiendesign – Steckbrief
- Quelle: offene Webseitenbefragung auf den verschiedenen Portalen des Seven One Media-Netzwerks
- Thema: Mediennutzungsverhalten
- Incentivierung: keine
- Fragenanzahl: 30
- Feldzeit: 27.11-25.12.2017
- Teilnehmer: 6.383
Methodik
Um die tatsächlichen Effekte des Endgerätes zu messen, ist es essentiell, dass sich die Stichproben der Desktopteilnehmer und der mobilen Teilnehmer möglichst nicht voneinander unterscheiden. Nur so kann man den Nettoeffekt Mobile vs. Desktop messen, ohne dass das Ergebnis durch externe Effekte beeinflusst wird. Es ist wichtig zu erwähnen, dass der Fokus auf dem Vergleich der beiden Gerätearten PC und Smartphones liegt. Tablets wurden aufgrund ihrer weniger klar definierten Eigenschaften, allen voran der Spannweite an Bildschirmgrößen, sowie ihrer geringeren Relevanz in Onlineumfragen aus der Analyse ausgeschlossen.
Es ist bekannt, dass sich bei Online-Studien Smartphone- von Desktopnutzern hinsichtlich verschiedener demographischer Merkmale unterscheiden. So sind Smartphone-Nutzer im Vergleich zum PC-Nutzer häufiger jünger und häufiger weiblich. Um demographische Effekte, die einen Einfluss auf Antwortverhalten haben können zu vermeiden, wurde das sogenannte Matching-Verfahren angewendet.
Vereinfacht gesagt, wird für jeden mobilen Teilnehmer ein statistischer Zwilling bei den Desktop-Nutzern gesucht. Hierfür wurden die demographischen Merkmale Geschlecht, Alter, Bildungsstand und Einkommen verwendet. Durch dieses Verfahren werden die beiden Stichproben harmonisiert und damit vergleichbar gemacht. Nach dem Matchingverfahren waren insgesamt noch 4.042 (Desktop und Mobile jeweils 2.021) Personen im Datensatz. Die Datensätze konnten nun separat ausgewertet und miteinander verglichen werden.
Abbrecherquote
Die Abbrecherquote ist bei mobilen Teilnehmern erwartungsgemäß höher, als bei PC-Nutzern. So haben auf der Startseite 29% der mobilen Teilnehmer die Umfrage bereits abgebrochen, bei Desktop Nutzern liegt dieser Anteil nur bei 15%. Zum Ende der Umfrage hatten 68% der mobilen Nutzer die Umfrage vorzeitig abgebrochen, bei den Desktop-Nutzern waren es 52%. Es ist auffallend, dass der Anteil bei mobilen Nutzern zwar höher ist, sich die Länge der Umfrage aber nicht negativ auf die Abbrecherquote bei mobilen Teilnehmern auswirkt. Vielmehr bleibt der Unterschied zwischen Desktop- und Smartphone-Nutzern über die Umfrage gesehen relativ konstant.
Sobald ein Smartphone-Teilnehmer die erste „Hürde“ der Einleitung überwunden hat, unterscheidet sich dessen Wahrscheinlichkeit eines Befragungsabbruchs im Allgemeinen nicht mehr signifikant von der eines Desktop-Nutzers. Dies widerspricht der Vermutung, dass mobil-optimierte Umfragen deutlich kürzer konzipiert sein müssen. Die durchschnittliche Bearbeitungszeit (beide Nutzergruppen) lag immerhin bei 12 Minuten 15 Sekunden. Die allgemein relativ hohe Abbrecherquote ist damit zu erklären, dass es sich um eine Webseitenbefragung handelt. Hier sind hohe Abbrecherquoten die Normalität, da viele Teilnehmer aus Neugierde kurz in die Umfrage klicken, aber nicht die Intention haben diese zu beenden.
[vc_row css=“.vc_custom_1526561540120{background-color: #f6f6f6 !important;}“][vc_column][vc_column_text]
Übersicht Fragebogenaufbau
[/vc_column_text][vc_row_inner][vc_column_inner width=“1/2″][vc_column_text]I. Startseite ohne Zeitangabe zur Studiendauer
II. Demographie (Teil 1) (Fragen 1-3)
III. Abfrage Smartphone-Besitz (Frage 4)
IV. Abfrage der Gerätenutzung und -bewertung (Frage 5-6)
V. Abfrage der Häufigkeit des Medienkonsums
(TV & Online-Videos) | (Fragen 7-13)[/vc_column_text][/vc_column_inner][vc_column_inner width=“1/2″][vc_column_text]VI. Nutzung & Weiterempfehlung von Video-On-Demand-Diensten (Fragen 17-19)
VII. Einschätzung Wichtigkeit verschiedener Medien aktuell & in Zukunft (Fragen 20-22)
VIII. Medien-Nutzungsgewohnheiten allg. (Frage 23)
IX. Selbsteinschätzung (Frage 24)
X. Demographie (Teil 2) (Fragen 25-30)[/vc_column_text][/vc_column_inner][/vc_row_inner][/vc_column][/vc_row][vc_row][vc_column][vc_column_text]
Bearbeitungsdauer
Entgegen der Annahme ist die durchschnittliche Bearbeitungsdauer bei mobilen Teilnehmern etwas kürzer als bei PC Nutzern (710 vs. 760 Sekunden). Wie man der Grafik entnehmen kann, ist die Bearbeitungsdauer lange nahezu identisch. Erst bei den komplexeren Fragetypen (Block VII – IX | Frage 20-24 – Doppelmatrix mit anschließender Textfrage, Matrix und semantisches Differential) verschiebt sich die Zeit zu Gunsten der mobilen Teilnehmer. Dieser hier aufgebaute Zeitunterschied bleibt bis zum Ende der Umfrage konstant.
Allgemeine Merkmale des Antwortverhaltens
Darüber hinaus ergab die empirische Untersuchung, dass Mobile-User häufiger Gebrauch von Ausweichkategorien („weiß nicht“) machen. So haben 6,5% der Smartphone-Nutzer Ausweichkategorien genutzt, bei Desktop-Nutzern waren es nur 4,9%. Der Unterschied ist zwar nicht sehr groß, aber statistisch signifikant.
Fazit
Die ersten Ergebnisse unserer Mobile vs. Desktop Studie lassen die folgenden Schlüsse zu:
- Die Abbruchquote bei Smartphone Nutzern ist zwar höher, allerdings nur zu Beginn der Befragung. Sobald ein Smartphone-Teilnehmer die erste „Hürde“ überwunden hat, ist die Gefahr eines Befragungsabbruchs mit dem eines Desktop-Nutzer vergleichbar.
- Die Bearbeitungsdauer war bei Smartphone-Nutzern etwas geringer als bei Desktop-Nutzern. Dies widerspricht der allgemeinen Auffassung, dass mobile Teilnehmer aufgrund der erschwerten Usability bei der Fragebeantwortung tendenziell länger benötigen. Ob Smartphone-Nutzer dazu neigen einen Fragebogen schneller und unkonzentrierter zu beantworten, schauen wir uns genauer im nächsten Beitrag zum Thema Datenqualität an.
- Mobile Nutzer machen darüber hinaus häufiger Gebrauch von Ausweichkategorien. Zwar sind die Unterschiede signifikant, aber nicht sehr hoch. Ein Grund hierfür könnte z.B. sein, dass ein Smartphone-Nutzer durch die erschwerte Beantwortung der Umfrage eher dazu neigt direkt die Ausweichkategorie zu wählen.
Mit unserem interaktiven Test „MobileScore“ finden Sie in wenigen Sekunden heraus, ob sich Ihr Forschungsdesign für eine Anwendung auf mobilen Endgeräten eignet.
