Mobile vs. Desktop – Welchen Einfluss hat die Nutzung eines Smartphones bei Online-Umfragen? Teil 3

30.08.2018
Mobilevsdesptop

Wie verändern mobile Endgeräte die Online-Forschung?

Kein Thema wird in der Online-Forschung in den letzten Jahren so heiß diskutiert: Wie beeinflussen und verändern mobile Endgeräte die Online-Forschung?

 

Für uns als Marktforschungsinstitut und führender Softwareentwickler im Bereich Online-Studien ist diese Fragestellung für die weitere Fortentwicklung der Software essenziell.

 

Wir wollten es daher genauer wissen und haben – im Rahmen einer Masterarbeit an der Friedrich-Alexander-Universität Erlangen-Nürnberg – in Zusammenarbeit mit SevenOne Media eine großangelegte Studie durchgeführt.

 

Im ersten Teil haben wir das Studiendesign und die Methodik vorgestellt und generelle Unterschiede zwischen den Teilnehmern von mobilen Endgeräten und Desktop-Geräten herausgearbeitet. Im zweiten Teil haben wir uns mit dem Einfluss des Endgerätes auf das Antwortverhalten bei Einfach- und Mehrfachauswahlfragen und Rankingfragen beschäftigt.

 

In diesem dritten und letzten Teil werden wir das Antwortverhalten bei den folgenden Fragetypen genauer analysieren:

 

  1. Intensitätsfragen
  2. offene Antworten

 

Dabei hat uns insbesondere interessiert, ob allein der Gerätetyp und die damit verbundene unterschiedliche Usability einen direkten Einfluss auf die Datenqualität haben.

Hierbei ist wichtig zu erwähnen, dass der Fokus auf dem Vergleich der beiden Gerätearten PC und Smartphones liegt. Tablets wurden aufgrund ihrer weniger klar definierten Eigenschaften, allen voran der Spannweite an Bildschirmgrößen sowie ihrer geringeren Relevanz in Onlineumfragen aus der Analyse ausgeschlossen.

 

Um die beiden Datensätze (mobil und Desktop) vergleichbar zu machen, haben wir das Propensity Score Matching-Verfahren angewendet (Details hierzu im ersten Teil).

 

Die Vergleiche der beiden Datensätze basieren auf dem Konzept des Satisificing. Um eine Frage korrekt beantworten zu können, muss der Befragte die folgenden vier Stufen durchlaufen:

 

  1. Verstehen der Frage
  2. Abruf gespeicherter Informationen aus dem Gehirn
  3. Bewertung abgerufener Informationen nach zugrundeliegendem Kontext
  4. Bildung einer Antwort & ggf. Einpassung dieser in vorgegebene Antwortoptionen

 

Durchläuft man diese Stufen bei der Beantwortung einer Frage unachtsam bzw. nicht vollständig, so spricht man von Satisficing. Aufgrund der gerätespezifischen Eigenschaften eines Smartphones ist anzunehmen, dass Satisficing bei Nutzern von mobilen Endgeräten häufiger auftritt.

 

Intensitätsfragen

Um die Annahme zu überprüfen, haben wir drei Indikatoren des Satisficing bei Nutzern von mobilen Endgeräten und Desktop-Nutzern untersucht:

 

  1. Indifferenz:

Die Tendenz, bei einem Itemset oder bei mehreren aufeinanderfolgenden,

strukturgleichen Fragen (fast) immer die gleiche Antwortkategorie zu wählen.

  1. Nutzung der Ausweichkategorie:

Die Tendenz, Residualkategorien wie „keine Angabe“ oder „weiß nicht“ zu wählen, um sich

nicht eingehender mit den Fragen beschäftigen zu müssen.

  1. Linksdrang:

Die Tendenz, vermehrt Antwortkategorien auf der linken Seite zu wählen.

Studienergebnisse bei Intensitätsfragen

Abbildung 1 Studienergebnisse bei Intensitätsfragen

 

 

Einfachratingskala

 

Grundlage der Untersuchung einfacher Ratingskalen, in welchen je Frage nur ein Frageobjekt anhand einer Skala beurteilt wird, liefern drei Fragen zur abgestuften Nutzungshäufigkeit verschiedener Medieninhalte (Fünfer-Skala) sowie drei weitere Fragen zur Weiterempfehlung genutzter Video-on-Demand-Dienste (Elfer-Skala). Um zu überprüfen, ob die Verbreiterung der Skala von fünf auf elf Skalenpunkte einen Einfluss auf die Stärke der Abweichungen je nach verwendetem Gerät hat, wurden speziell zu diesem Fragetyp aufgrund seiner häufigen Anwendung sowie der besonderen Relevanz des NPS auch jeweils mögliche Interaktionseffekte untersucht.

 

In der Abbildung 1 sind die Ergebnisse der statistischen Analyse zusammengefasst. Wie man sieht, unterscheiden sich Mobile-Nutzer und Desktop-Nutzer, unabhängig von der Skalenbreite, lediglich hinsichtlich der Tendenz, vermehrt Antwortkategorien auf der linken Seite der Skala zu wählen. Desktop-Nutzer weisen, wie auch bereits in anderer Forschung beobachtet, einen signifikanten Linksdrang auf.

 

Hinsichtlich der Nutzung der Ausweichkategorie zeigt sich kein eindeutiges Bild. Lediglich bei der Nutzung der 5er-Skala gibt es signifikante Unterschiede zwischen mobilen und  Desktop-Nutzern, allerdings ist die Effektstärke sehr gering.

 

Bei der Indifferenz zeigen sich keine signifikanten Unterschiede zwischen den Gruppen. Die Nutzung eines Smartphones führt also nicht zu einer höheren Tendenz, bei mehreren aufeinanderfolgenden, strukturgleichen Einfachratingfragen die gleiche Antwortkategorie zu wählen.

 

Auch beim Interaktionseffekt zwischen der Skalenbreite und dem Einfluss des Teilnahmegeräts zeigt sich kein signifikanter Unterschied. Dies bedeutet, dass die Skalenbreite die Effekte nicht maßgeblich beeinflusst. Die NPS-Frage, wahrscheinlich der häufig genutzte Fragetyp mit 11er-Skala, kann also auch ohne Einschränkungen auf mobilen Endgeräten abgefragt werden.

Matrix

Abbildung 2 beispielhafte Darstellung von einer Matrixfrage für mobile und Desktopgeräte

 

Einfachmatrix

 

Die Befragung beinhaltete des Weiteren zwei Einfachmatrizen mit je sieben Beurteilungsobjekten. Diese erfragten einerseits die Wahrscheinlichkeit der Nutzung variierender Video-on-Demand-Dienste, andererseits wurde der Zustimmungsgrad zu verschiedenen Aussagen hinsichtlich allgemeiner Mediennutzungsgewohnheiten erhoben.

 

Hier zeigt sich ein etwas anderes Bild: Mobile Nutzer neigen im Vergleich zu Desktop-Nutzern bei Matrixfragen mit mehreren Antworten (Itembatterie) tatsächlich zu einem stärker indifferenten Antwortverhalten, allerdings ist der Unterschied sehr gering. Außerdem nutzen sie im Vergleich zu Desktop-Nutzern häufiger die Ausweichkategorie. Jedoch ist die Effektstärke ebenfalls sehr schwach.

 

Analog zur Einfachratingskala weisen Desktop-Nutzer einen signifikanten Linksdrang bei der Beantwortung auf. Bei mobilen Nutzern ist dieser Effekt auch hier nicht zu beobachten.

 

Offene Fragen

Als letzter Fragetyp wurden Kommentarfragen untersucht. Inhaltlich ging es um eine kurze Begründung zu einer vorab getroffenen Bewertung zweier zufällig ausgewählter Medien. Um die Differenzen zwischen mobilen und Desktop-Nutzern zu untersuchen, wurden folgende Indikatoren des Satisficing überprüft:

 

Mehrfachfrage

Abbildung 3 beispielhafte Darstellung einer offenen Frage für mobile und Desktopgeräte

 

  1. Vermeidung der kompletten Frage (wie bei offenen Fragen häufig üblich, bestand für den Teilnehmer kein Antwortzwang und er konnte direkt zur nächsten Frage gehen)
  2. Ausführlichkeit der Textantwort
  3. Anteil belangloser Textantworten

 

Im Gegensatz zu den geschlossenen Fragen sind die Ergebnisse hier sehr eindeutig (vgl. Abbildung 4). Smartphone-Nutzer beantworten deutlich seltener eine offene Kommentarfrage. Tun sie dies doch, gestaltet sich die Länge des Textes merklich kürzer und er besteht häufiger aus einer belanglosen Antwort.

 

Während letztes Merkmal nur sehr schwach ausgeprägt ist, zeigen sich hinsichtlich der ersten beiden Satisficing-Indikatoren die höchsten Effektstärken bezogen auf alle untersuchten Fragetypen. Gerade das Antwortverhalten in Kommentarfragen wird somit am deutlichsten durch das jeweilige Teilnahmegerät beeinflusst. Dies unterstreicht die Erkenntnisse aus wissenschaftlichen Studien, aber auch aus der praktischen Erfahrung.

Ergebnisse_offene_fragen

Abbildung 4 Studienergebnisse bei offenen Fragen

 

Fazit

 

Die Ergebnisse unserer Mobile vs. Desktop Studie bei Matrix- und offenen Fragen lassen die folgenden Schlüsse zu:

 

  • Bei Einfachratingskalen konnte kein eindeutiger Effekt des mobilen Teilnahmegeräts nachgewiesen werden. Bei Einfachmatrizen gibt es zwar einen signifikanten Einfluss, allerdings ist die Effektstärke sehr gering. Lediglich bei Desktopnutzern konnte bei beiden Fragetypen ein signifikanter Linksdrang nachgewiesen werden.
  • Bei offenen Fragen sind mobile Nutzer deutlich restriktiver als Desktop-Nutzer. Sie beantworten Kommentarfragen generell seltener. Wenn Sie antworten, sind Ihre Antworten kürzer und haben öfter einen belanglosen Inhalt.

 

Bei der Verwendung von Intensitätsfragen besteht also kein Grund zur Sorge, dass die Datenqualität signifikant durch das Teilnahmegerät negativ beeinflusst wird. Auch die Skalenbreite hat keinen negativen Einfluss auf das Antwortverhalten, was gerade im Hinblick auf die Erhebung des NPS via Elfer-Skala Grund zur Entwarnung gibt.
Bei offenen Kommentaren sieht es etwas anders aus. Da die Abgabe ausformulierter Kommentare zur Begründung vorheriger Antworten aber durchaus wertvolle Einblicke liefern kann, sollte in Anbetracht steigender mobiler Zugriffszahlen aktiv daran gearbeitet werden, diesen Effekt abzumildern. Ein möglicher Schritt könnte beispielsweise im Einbau von einfach zu bedienenden Sprachaufzeichnungsassistenten liegen, welche das gesprochene Wort automatisch in Text umwandeln und somit die aufwändige Dateneingabe mittels Smartphone umgehen.

 

Bezogen auf die in allen drei Teilen untersuchten Fragetypen geben die Ergebnisse – mit Ausnahme von offenen Fragen – größtenteils Grund zur Entwarnung. Sehr starke Abweichungen im Antwortverhalten zwischen mobilen und Desktop-Nutzern konnten nicht identifiziert werden. Dies bedeutet, dass mit einer gut durchdachten und für den Nutzer intuitiven Fragedarstellung im mobilen Design viele potenzielle Restriktionen durch das Nutzungsgerät, und insbesondere die damit verbundene geringere Größe des Bildschirms, ausgeglichen werden können.

 

Um eine hohe Datenqualität zu gewährleisten, ist es also wichtig, methodisch sinnvolle und für den Nutzer intuitiv zu bedienende Lösungen für die Darstellung von Fragen auf mobilen Endgeräten zu entwickeln und anzuwenden. Auf diese Weise lassen sich methodische Effekte auf Basis des Nutzungsgeräts weitgehend vermeiden.

 

Mit unserem interaktiven Test „MobileScore“ finden Sie in wenigen Sekunden heraus, ob sich Ihr Forschungsdesign für eine Anwendung auf mobilen Endgeräten eignet.

 

Starten Sie jetzt den Test!

 

"Mobile first" - was bedeutet das für Ihre Umfrage?

Sie sind sich unsicher, ob Sie via einer Mobile oder Desktop Befragung bessere Ergebnisse erhalten? Wir beraten Sie gerne an dieser Stelle.

Jetzt Kontakt aufnehmen