Mobile vs. Desktop – Welchen Einfluss hat die Nutzung eines Smartphones bei Online-Umfragen? Teil 3
Wie verändern mobile Endgeräte die Online-Forschung?
Nach Vorstellung von Studiendesign und Methodik (Teil 1) und Einfluss des Endgeräts auf das Antwortverhalten bei Einfach- und Mehrfachauswahlfragen, sowie Rankingfragen (Teil 2), wird im dritten und letzten Teil das Antwortverhalten bei folgenden Fragetypen genauer untersucht:
- Intensitätsfragen
- offene Antworten
Die Anwendung des Propensity Score Matching-Verfahrens sowie des Satisificing finden hier analog Teil 2 Anwendung.
Intensitätsfragen
Um die Annahme zu überprüfen, haben wir drei Indikatoren des Satisficing bei Nutzern von mobilen Endgeräten und Desktop-Nutzern untersucht:
- Indifferenz:
Die Tendenz, bei einem Itemset oder bei mehreren aufeinanderfolgenden,
strukturgleichen Fragen (fast) immer die gleiche Antwortkategorie zu wählen.
- Nutzung der Ausweichkategorie:
Die Tendenz, Residualkategorien wie „keine Angabe“ oder „weiß nicht“ zu wählen, um sich
nicht eingehender mit den Fragen beschäftigen zu müssen.
- Linksdrang:
Die Tendenz, vermehrt Antwortkategorien auf der linken Seite zu wählen.
Abbildung 1 Studienergebnisse bei Intensitätsfragen
Einfachratingskala
Grundlage der Untersuchung einfacher Ratingskalen, in welchen je Frage nur ein Frageobjekt anhand einer Skala beurteilt wird, liefern drei Fragen zur abgestuften Nutzungshäufigkeit verschiedener Medieninhalte (Fünfer-Skala) sowie drei weitere Fragen zur Weiterempfehlung genutzter Video-on-Demand-Dienste (Elfer-Skala). Um zu überprüfen, ob die Verbreiterung der Skala von fünf auf elf Skalenpunkte einen Einfluss auf die Stärke der Abweichungen je nach verwendetem Gerät hat, wurden speziell zu diesem Fragetyp aufgrund seiner häufigen Anwendung sowie der besonderen Relevanz des NPS auch jeweils mögliche Interaktionseffekte untersucht.
In der Abbildung 1 sind die Ergebnisse der statistischen Analyse zusammengefasst. Wie man sieht, unterscheiden sich Mobile-Nutzer und Desktop-Nutzer, unabhängig von der Skalenbreite, lediglich hinsichtlich der Tendenz, vermehrt Antwortkategorien auf der linken Seite der Skala zu wählen. Desktop-Nutzer weisen, wie auch bereits in anderer Forschung beobachtet, einen signifikanten Linksdrang auf.
Hinsichtlich der Nutzung der Ausweichkategorie zeigt sich kein eindeutiges Bild. Lediglich bei der Nutzung der 5er-Skala gibt es signifikante Unterschiede zwischen mobilen und Desktop-Nutzern, allerdings ist die Effektstärke sehr gering.
Bei der Indifferenz zeigen sich keine signifikanten Unterschiede zwischen den Gruppen. Die Nutzung eines Smartphones führt also nicht zu einer höheren Tendenz, bei mehreren aufeinanderfolgenden, strukturgleichen Einfachratingfragen die gleiche Antwortkategorie zu wählen.
Auch beim Interaktionseffekt zwischen der Skalenbreite und dem Einfluss des Teilnahmegeräts zeigt sich kein signifikanter Unterschied. Dies bedeutet, dass die Skalenbreite die Effekte nicht maßgeblich beeinflusst. Die NPS-Frage, wahrscheinlich der häufig genutzte Fragetyp mit 11er-Skala, kann also auch ohne Einschränkungen auf mobilen Endgeräten abgefragt werden.
Abbildung 2 beispielhafte Darstellung von einer Matrixfrage für mobile und Desktopgeräte
Einfachmatrix
Die Befragung beinhaltete des Weiteren zwei Einfachmatrizen mit je sieben Beurteilungsobjekten. Diese erfragten einerseits die Wahrscheinlichkeit der Nutzung variierender Video-on-Demand-Dienste, andererseits wurde der Zustimmungsgrad zu verschiedenen Aussagen hinsichtlich allgemeiner Mediennutzungsgewohnheiten erhoben.
Hier zeigt sich ein etwas anderes Bild: Mobile Nutzer neigen im Vergleich zu Desktop-Nutzern bei Matrixfragen mit mehreren Antworten (Itembatterie) tatsächlich zu einem stärker indifferenten Antwortverhalten, allerdings ist der Unterschied sehr gering. Außerdem nutzen sie im Vergleich zu Desktop-Nutzern häufiger die Ausweichkategorie. Jedoch ist die Effektstärke ebenfalls sehr schwach.
Analog zur Einfachratingskala weisen Desktop-Nutzer einen signifikanten Linksdrang bei der Beantwortung auf. Bei mobilen Nutzern ist dieser Effekt auch hier nicht zu beobachten.
Offene Fragen
Als letzter Fragetyp wurden Kommentarfragen untersucht. Inhaltlich ging es um eine kurze Begründung zu einer vorab getroffenen Bewertung zweier zufällig ausgewählter Medien. Um die Differenzen zwischen mobilen und Desktop-Nutzern zu untersuchen, wurden folgende Indikatoren des Satisficing überprüft:
Abbildung 3 beispielhafte Darstellung einer offenen Frage für mobile und Desktopgeräte
- Vermeidung der kompletten Frage (wie bei offenen Fragen häufig üblich, bestand für den Teilnehmer kein Antwortzwang und er konnte direkt zur nächsten Frage gehen)
- Ausführlichkeit der Textantwort
- Anteil belangloser Textantworten
Im Gegensatz zu den geschlossenen Fragen sind die Ergebnisse hier sehr eindeutig (vgl. Abbildung 4). Smartphone-Nutzer beantworten deutlich seltener eine offene Kommentarfrage. Tun sie dies doch, gestaltet sich die Länge des Textes merklich kürzer und er besteht häufiger aus einer belanglosen Antwort.
Während letztes Merkmal nur sehr schwach ausgeprägt ist, zeigen sich hinsichtlich der ersten beiden Satisficing-Indikatoren die höchsten Effektstärken bezogen auf alle untersuchten Fragetypen. Gerade das Antwortverhalten in Kommentarfragen wird somit am deutlichsten durch das jeweilige Teilnahmegerät beeinflusst. Dies unterstreicht die Erkenntnisse aus wissenschaftlichen Studien, aber auch aus der praktischen Erfahrung.
Abbildung 4 Studienergebnisse bei offenen Fragen
Fazit
Die Ergebnisse unserer Mobile vs. Desktop Studie bei Matrix- und offenen Fragen lassen die folgenden Schlüsse zu:
- Bei Einfachratingskalen konnte kein eindeutiger Effekt des mobilen Teilnahmegeräts nachgewiesen werden. Bei Einfachmatrizen gibt es zwar einen signifikanten Einfluss, allerdings ist die Effektstärke sehr gering. Lediglich bei Desktopnutzern konnte bei beiden Fragetypen ein signifikanter Linksdrang nachgewiesen werden.
- Bei offenen Fragen sind mobile Nutzer deutlich restriktiver als Desktop-Nutzer. Sie beantworten Kommentarfragen generell seltener. Wenn Sie antworten, sind Ihre Antworten kürzer und haben öfter einen belanglosen Inhalt.
Bei der Verwendung von Intensitätsfragen besteht also kein Grund zur Sorge, dass die Datenqualität signifikant durch das Teilnahmegerät negativ beeinflusst wird. Auch die Skalenbreite hat keinen negativen Einfluss auf das Antwortverhalten, was gerade im Hinblick auf die Erhebung des NPS via Elfer-Skala Grund zur Entwarnung gibt.
Bei offenen Kommentaren sieht es etwas anders aus. Da die Abgabe ausformulierter Kommentare zur Begründung vorheriger Antworten aber durchaus wertvolle Einblicke liefern kann, sollte in Anbetracht steigender mobiler Zugriffszahlen aktiv daran gearbeitet werden, diesen Effekt abzumildern. Ein möglicher Schritt könnte beispielsweise im Einbau von einfach zu bedienenden Sprachaufzeichnungsassistenten liegen, welche das gesprochene Wort automatisch in Text umwandeln und somit die aufwändige Dateneingabe mittels Smartphone umgehen.
Bezogen auf die in allen drei Teilen untersuchten Fragetypen geben die Ergebnisse – mit Ausnahme von offenen Fragen – größtenteils Grund zur Entwarnung. Sehr starke Abweichungen im Antwortverhalten zwischen mobilen und Desktop-Nutzern konnten nicht identifiziert werden. Dies bedeutet, dass mit einer gut durchdachten und für den Nutzer intuitiven Fragedarstellung im mobilen Design viele potenzielle Restriktionen durch das Nutzungsgerät, und insbesondere die damit verbundene geringere Größe des Bildschirms, ausgeglichen werden können.
Um eine hohe Datenqualität zu gewährleisten, ist es also wichtig, methodisch sinnvolle und für den Nutzer intuitiv zu bedienende Lösungen für die Darstellung von Fragen auf mobilen Endgeräten zu entwickeln und anzuwenden. Auf diese Weise lassen sich methodische Effekte auf Basis des Nutzungsgeräts weitgehend vermeiden.
Mit unserem interaktiven Test „MobileScore“ finden Sie in wenigen Sekunden heraus, ob sich Ihr Forschungsdesign für eine Anwendung auf mobilen Endgeräten eignet.
