Ergebnisse des Pretests
Zunächst ist von einigen der ausgewählten Testpersonen angemerkt worden, dass für die Beantwortung der Fragen mehr Zeit als von uns geplant benötigt wurde.
Abbildung 28 Eigene Darstellung Auswertung: Dauer der Bearbeitung
Im Durchschnitte benötigten die Tester 13,1 Minuten. Die angegebenen 8-10 Minuten konnten somit nicht eingehalten werden. Eine Nachfrage bei den Testern hat ergeben, dass die Dauer der Umfrage als angemessen angesehen wurde. Lediglich ein Tester hat die Dauer als „zu lang“ empfunden. Es wäre daher ratsam die auf der Startseite der Umfrage angegebene voraussichtliche Dauer auf ca. 10-15 Minuten auszuweiten.
Die Aufmerksamkeit während der Umfrage wurde insgesamt mit „gut“ bewertet. Ein „Highlight“ hat für fünf Tester das Video dargestellt, welches vor der Frage 17 eingebaut ist. Dieses Video wurde zum Teil als „genial“ und „klasse“ bezeichnet. Jedoch ist zudem angemerkt worden, dass ein direkter Bezug der anschließenden Fragen zum Video fehlen würde. Von einem Tester wurde aufgezeigt, dass die durch das Video aufgebaute Spannung bei den persönlichen Fragen sehr schnell wieder abgeklungen ist. Man könne die Fragen zu den persönlichen Daten bspw. kompakter gestalten oder sogar zu Beginn des Fragebogens anführen.
Es haben sich bei den Testern keine Probleme beim Verständnis der Fragen aufgetan. Zu den Beantwortungsmöglichkeiten der Fragen ist zum einen angemerkt worden, dass es bei Frage 7 und 8 schwierig zu sagen sei wie oft man die Tätigkeit „zu Fuß“ nutze, um zu Freizeitmöglichkeiten zu kommen. Zum anderen ist einem Tester aufgefallen, dass die Teilfrage „Ich habe selber schon mal eine Drohne geflogen“ der Frage 17 besser mit Ja/Nein beantwortet werden könne, als mit einer Skala von eins bis fünf.
Das persönliche Wohlbefinden bei der Beantwortung der Umfrage wurde insgesamt mit „gut“ bezeichnet.
Neben allgemeinen Fragen zu Dauer, Wohlbefinden und Problemen wurden die Tester gebeten die Fragen zur Überprüfung einer Umfrage von Beywl und Schepp-Winter (vgl. Punkt 4.4) zu beantworten. Diese wurden von den Testern teilweise jedoch als „unpraktisch“ empfunden, da die Fragen z. T. übergreifend gestellt sind und eine Beantwortung nur nach mehrfachen Testläufen abgegeben werden kann. Einige der von Beywl und Schepp-Winter aufgestellten Fragen haben die Tester ohne jeglichen Kommentar versehen, andere sogar falsch verstanden und dementsprechend unpassende Antworten gegeben. Die nicht beantworteten Fragen sind nach Rücksprache mit den Testern als „nicht zu beanstanden“ zu bewerten. In der folgenden Tabelle werden die zusammengefassten Antworten aller Tester den jeweiligen Fragen gegenübergestellt.
Fragen gem. Beywl/Schepp-Winter |
Antworten der Tester zusammengefasst |
|
Sind Fragen redundant? |
Frage 10: Unterschied zwischen "keine Meinung" und "keine Antwort"? |
|
Gibt es schwer verständliche Fragen? |
Frage 14: Wurde ein wenig hochtrabend formuliert, geht auch einfacher! |
|
Können überhaupt sinnvolle Antworten gegeben werden? |
Frage 8: Schwierig zu beantworten, da Freizeittätigkeit ein weiter Begriff ist. |
|
Sind die Anweisungen verständlich? |
Wurde von allen mit "Ja" beantwortet. |
|
Gibt es sprachliche oder lexikalische Überforderungen oder Brüche? |
Generell: Manchmal wird die Frage verneint gestellt, dass man bei der Zustimmungsmatrix überlegen muss, ob 1 oder 5 angegeben werden muss. |
Frage 17: Fehlendes Komma in Zeile 2 |
Bieten die Skalierungen genügend Differenzierung, und sind sie auch nicht zu weit aufgefächert? |
Frage 17: Besser Ja/Nein-Skalierung als eine Skala von 1-5. |
Frage 20/21: Skala zur Auswahl wünschenswert, statt Eingabe. |
Ist im Aufbau ein roter Faden erkennbar? |
Frage 9: Die Frage zum Auto ist zwar bei der Gruppe Mobilität, sollte aber direkt nach den Fragen zum Auto. |
|
Sind auch die Rahmentexte gut lesbar? |
Oftmals sehr klein dargestellt. |
|
Wird der Spannungsbogen beim Ausfüllen erhalten? |
Beim Video ist die Spannung am höchsten, bei den persönlichen Fragen ist die Motivation schnell wieder abgeflacht. |
|
Tabelle 6 Eigene Darstellung Pretest Auswertung anhand der Fragen von Beywl/Schepp-Winter
Wie bereits beschrieben, sind die genannten Fragen zur Bewertung der Umfrage von den Testern nicht als optimal empfunden worden. Bei der Auswertung wurden daher weitere nützliche Bewertungen mitgeteilt, die aufgrund keiner direkten Zuordnung zu einer Frage nicht in die obige Tabelle einzubauen waren.
So ist die optische Gestaltung der Matrixfragen von einem Tester bemängelt worden, da die Skala, wie in der folgenden Grafik gezeigt, auf dem Computer nicht einheitlich formatiert dargestellt wird.
Abbildung 29 Screenshot Skala der Antwortmöglichkeiten in Matrixfragen
Weiterhin wurde angemerkt, dass die Matrixfragen bei einer Aufrufung der Umfrage über das Smartphone nicht in einer gemeinsamen Matrix, wie auf dem Computer, abgebildet werden. Jede Frage/Aussage hat hier eine eigene Skala. Dies ist jedoch nicht als störend empfunden worden, da die Frage- und Antwortmöglichkeiten trotzdem übersichtlich dargestellt werden würden. Zum thematischen Inhalt hat sich ein Tester gefragt, warum neben den monatlichen Gesamtkosten für PKW-Fahrer/Besitzer nicht auch die monatlichen Kosten für Nutzer anderer Beförderungsmittel abgefragt werden.
Insgesamt lässt sich sagen, dass auf Grund der Auswertung des Pretests noch einige Verbesserungen an der Umfrage nötig sind. Auch wenn dieser Pretest mit 10 Befragten kein repräsentatives Ergebnis darstellt, werden einige Schwachstellen und Verfeinerungsmöglichkeiten aufgezeigt. Daher wäre es sinnvoll, nach einer Überarbeitung der Umfrage einen erneuten Pretest zu starten. Wichtig wäre dabei, eine größere Anzahl von Testern zu befragen sowie aufgrund der großen Zielgruppe, die mit der Umfrage abgefragt werden soll, eine möglichst heterogene Gruppe zufällig zu wählen.