Allgemeine Anforderungen an Umfragen

Umfragen sind ein Werkzeug zur Datenerhebung, um Informationen von befragten Personen zu erforschen. Sie dienen insbesondere in der Marktforschung als Instrument, um z. B. Hypothesen zu bewerten, nachzuweisen und um einen aktuellen Stand sowie zukünftige Prognosen zu erstellen. Weiterhin fungieren Umfragen als wichtiges Hilfsmittel, um ein Meinungsbild einer Menschenmenge, wie bspw. von Kunden eines Unternehmens, zu erhalten. Gemäß Bernard Batinic et al. helfe die empirische Forschung dazu, Fragen oder Probleme beantworten, bzw. lösen zu können, für die es keine Literatur gebe.[1]

Generell können Umfragen mittels verschiedener Erhebungsmethoden sowohl mündlich als auch schriftlich erfolgen. Neben der persönlichen und telefonischen Befragung sind schriftliche Umfragen bspw. auf postalischem Weg oder online möglich.

Umfragen können aus Kostengründen häufig nur von einer Teilmenge einer Grundgesamtheit durchgeführt werden. Diese Auswahl wird auch Stichprobe genannt.[2] Wichtig ist hierbei die Stichprobe so zu gestalten, dass valide Rückschlüsse auf die Grundgesamtheit geschlossen werden können.[3] Um eine repräsentative Umfrage zu erstellen, müsste die erhobene Stichprobe also der gesamten statistischen Masse entsprechen. Bei einer allgemeinen Umfrage, die im WWW veröffentlicht wird, ist es schwierig eine konkrete Zielgruppe festzulegen, jedoch gibt es die Möglichkeit eine Zielgruppe bei der Auswertung herauszufiltern und dementsprechend gewichten zu können. Ansonsten würde es zu einer Verzerrung des Ergebnisses kommen. Bei einer Gewichtung ist es allerdings möglich gegen das u. g. Gütekriterium der Unabhängigkeit bzw. Objektivität zu verstoßen, da durch das Gewichten von Datensätzen eine eigene Auswahl getroffen wird und somit Rückschlüsse auf eine Grund­gesamtheit ohne Vergleichsstichprobe verallgemeinert getroffen werden können.

Unabhängig von der Erhebungsmethode sollten Umfragen im Allgemeinen die folgenden Gütekriterien Reliabilität, Validität und Objektivität erfüllen. Ersteres be­schreibt die Zuverlässigkeit der Umfrage, also die Stabilität der Testergebnisse bei wiederholter Durchführung.[4] Validität bezeichnet das Maß, inwieweit die Testmethode, das tatsächliche Konstrukt misst.[5] Objektiv ist eine Messung dann, wenn sie vom Ersteller der Untersuchung unabhängig ist.[6] Diese Gütekriterien sind ein Maß zur Bewertung einer Umfrage. Bereits im Jahr 1986 wurde ein internationaler Kodex für Umfragen festgelegt, um die Vergleichbarkeit wissenschaftlicher Umfragen herzustellen. Die Standardregeln sind für die Bundesrepublik Deutschland im ICC/ ESOMAR Internationalen Kodex für die Praxis der Markt- und Sozialforschung festgelegt und sollen einen Standard zur Qualitätssicherung darstellen.[7] Er beinhaltet neben Definitionen und allgemeinen Regeln, Rechte und Pflichten für die Befragten und die Umfrageleiter. Darauf aufbauend wurde zunächst der ISO Standard 20252:2006 entwickelt. Am 1. Juni 2012 wurde dieser Standard zum derzeit gültigen ISO 20252:2012 weiterentwickelt[8]. Vereint werden diese allgemeinen Vorschriften in der entwickelten Richtlinie vom Verein ADM. Diese umfasst im wesentlichen folgende Punkte[9]:

• Standesregeln und Qualitätsstandards der Markt- und Sozialforschung
• Wissenschaftlichkeit der Vorgehensweise
• Freiwilligkeit der Teilnahme
• Befragungen mittels E-Mail
• Anonymisierung der erhobenen Daten
• Trennung von Forschung und forschungsfremden Tätigkeiten
• Schlussbestimmungen und Haftungsausschluss

Um eine Umfrage erstellen zu können, müssen neben der Einhaltung der allgemeinen Richtlinien weitere grundlegende Überlegungen getroffen werden. Die Erstellung einer Umfrage kann dementsprechend als Projekt definiert werden, denn in Anlehnung an das Projektmanagement sollte „jede Arbeit, die nicht Routine ist [..] als Projekt geplant werden.“[10]

Zunächst sollte das Ziel der Umfrage definiert werden, um darauf aufbauend exakte Fragen stellen zu können. Weiterhin muss geprüft werden, wie der aktuelle Stand zu dem zu erforschenden Thema ist. Anschließend sollte die Erhebungsmethode festgelegt werden, mit der das Forschungsproblem gelöst bzw. das festgelegte Ziel erreicht werden soll. Im Anschluss ist ein Konzept zu entwerfen, um den Ablauf der Entwicklung zu strukturieren. Dieses Konzept sollte die Zeit­planung und den Entwurf des Fragenkatalogs, inkl. Gliederung und Formulierung der Fragen sowie spezielle Anforderungen an die Webapplikation enthalten.

Für die Erstellung des Fragenkataloges gibt es neben den allgemeinen Richtlinien gemäß R. Porst weitere Regeln zur Formulierung eines Fragebogens.[11] Diese Regeln sollen als Grundgerüst für die Entwicklung des Fragenkataloges dienen. Sie seien keine „unumstößliche[n] Regeln“[12], jedoch hätten die Fragen eine größere Chance für eine bessere Datenqualität zu sorgen. Definiert werden diese Regeln in Form der folgenden „10 Gebote der Frageformulierung“^[13]:

• 1.    Du sollst einfache, unzweideutige Begriffe verwenden, die von allen Befragten in gleicher Weise verstanden werden!
• 2.    Du sollst lange und komplexe Fragen vermeiden!
• 3.    Du sollst hypothetische Fragen vermeiden!
• 4.    Du sollst doppelte Stimuli und Verneinungen vermeiden!
• 5.    Du sollst Unterstellungen und suggestive Fragen vermeiden!
• 6.    Du sollst Fragen vermeiden, die auf Informationen abzielen, über die viele Befragte mutmaßlich nicht verfügen!
• 7.    Du sollst Fragen mit eindeutigem zeitlichen Bezug verwenden!
• 8.    Du sollst Antwortkategorien verwenden, die erschöpfend und disjunkt (überschneidungsfrei) sind!
• 9.    Du sollst sicherstellen, daß [sic!] der Kontext einer Frage sich nicht auf deren Beantwortung auswirkt!
• 10. Du sollst unklare Begriffe definieren!

Nach der Konzepterstellung sollten die Fragen aus dem Fragenkatalog in das Umfragetool implementiert werden. Diese Implementierung in die Webapplikation wird in Anlehnung an das Modell „Design Science Research Methodology“ von Peffer im Kapitel 4.1 genauer beschrieben.

Als Möglichkeit zur Minimierung der Abbruchrate einer Umfrage kann neben Aspekten wie einer geringen Bearbeitungsdauer und dem Einsatz leicht verständlicher Fragen das Mittel der „Gamification“[14] dienen. Mit letzterem kann in Bezug auf die Marktforschung durch spielerische Methoden die Motivation der Befragten gesteigert und ein vorzeitiger Abbruch somit minimiert werden. Animierte Skalen oder Belohnungspunkte für eine erfolgreiche Teilnahme zu sammeln, einen besonderen Status zu erhalten und diesen mit Freunden und Bekannten teilen zu können, stellen nur einige Beispiele für den Einsatz Gamification dar. Daneben können Visualisierungen in Form von Videos und Bildern für eine gewisse Abwechslung sorgen und auch das Interesse an der Umfrage steigern.