Vor Beginn jeder Studie muss die Auswahl der für die Beantwortung der formulierten Forschungsfrage am besten geeigneten Messinstrumente getroffen werden. Um bewerten zu können welche Messinstrumente am besten geeignet sind, muss eine intensive Literaturrecherche erfolgen, um zu prüfen welche Messinstrumente mit welchem Ergebnis bei vergleichbaren Forschungsfragen eingesetzt worden sind. Grundsätzlich ist die Verwendung von Fragebögen oder Erfassungsbögen mit der Bereitstellung von Dokumentationsblättern für die nachfolgende Datenauswertung verbunden. Denn es kann nur das ausgewertet werden, was zuvor exakt und vollständig dokumentiert wurde. Falls dennoch Dateneinträge fehlen, gibt es Verfahren, um sie im statistisch zulässigen Sinne zu ergänzen.

Die Wahl der geeigneten Messinstrumente ist neben dem zugrunde gelegten Studiendesign von ausschlaggebender Bedeutung für die Erreichung des Studienziels. Da die Studienziele oft als sehr speziell wahrgenommen werden oder auch tatsächlich sehr speziell sind, wenn neuartige Fragestellungen aufgeworfen werden, behilft man sich dabei oft mit der Entwicklung eines eigenen Fragebogens. Dies ist insofern von Vorteil als der eigene Fragebogen in der Regel ein maßgeschneidertes Instrument für die eigene Studie darstellt, vorausgesetzt man hat die richtigen Fragen gestellt. Der schwer wiegende Nachteil besteht aber darin, dass die Ergebnisse nur mit einer einfachen Häufigkeitsauswertung präsentiert werden können, nicht statistisch abgesichert sind und daher im engeren Sinne nur für die Studienteilnehmer gelten. Mit einer Studie strebt man aber in der Regel stärker allgemein gültige Erkenntnisse an, die auch in anderen Regionen oder so genannten „Settings“ (d.h. den unmittelbaren Zusammenhängen, in denen eine Studie durchgeführt wird) genutzt werden können.

Selbst entwickelte Fragebögen müssen deshalb streng genommen validiert werden, bevor sie in einer Studie zum Einsatz kommen können. Dieses Vorgehen ist aus Zeitgründen oft nicht praktikabel, so dass man die laufende Studie für die Validierung benutzen und die Ergebnisse des Validierungsprozesses für die kritische Diskussion der Studienergebnisse verwenden kann. Die Validierung von Fragebögen wird inzwischen auch als Dienstleistung angeboten.

Die Validierung eines Fragebogens ist ein komplexes Verfahren, bei dem bestimmte Gütekriterien überprüft und bewertet werden, auf die hier nur in aller Kürze eingegangen werden kann:

Objektivität

  • der Fragen und der Befragungsbedingungen durch weitgehende Standardisierung
  • der Auswertung, z. B. durch zwei unabhängige Bewerter
  • der Interpretation, z. B. durch mehrere Bewerter

Reliabilität

Die Reliabilität beschreibt die Messgenauigkeit bzw. die Zuverlässigkeit des eingesetzten Verfahrens und damit die Genauigkeit, mit der z.B. eine Skala ein Merkmal misst. Dazu berechnet man die Korrelationen von zwei Messwerten eines identischen Fragebogens, den man der gleichen Person vorgelegt hat. Dazu gibt es verschiedene statistische Methoden (Paralleltest-Methode, Retest- Reliabilität, Split-Half-Reliabilität). Zudem sollte die interne Konsistenz der einzelnen Fragen des Fragebogens getestet werden.

Validität

Die Validität im engeren Sinne besteht in dem Ausmaß, mit dem der Test misst, was er messen soll. Dabei wird zwischen logischer, externer und interner Validität unterschieden, die ebenfalls mit Hilfe statistischer Verfahren bestimmt werden.

(siehe auch http://www.online-fragebogen.com/9/fragebogen-qualitaetskriterien.html, http://www.uni-leipzig.de/~emkf/Referate/G%C3%BCtekriterien%20PPT.pdf)

Nicht zuletzt wegen des zeitaufwändigen Validierungsverfahrens ist es deshalb empfehlenswert, wo immer möglich, auf einen bereits validierten Fragebogen zurück zu greifen. Zuvor muss jedoch geklärt werden, ob dieser für die allgemeine Verwendung zur Verfügung steht. Kann man ihn im Internet finden, ohne dass Anwendungseinschränkungen

vermerkt sind, kann man davon ausgehen, dass dies der Fall ist. Bei kommerziell angebotenen Fragebögen ist diese Frage insofern geklärt, als durch die Bezahlung des genannten Preises die Nutzungsbedingungen erworben werden. Außerdem werden hier meist auch Manuale zur korrekten Auswertung der Fragebögen mitgeliefert. Wenn man sich nicht sicher ist, sollte der Urheber eines Fragebogens ermittelt werden, soweit dies möglich ist. Zusätzlich ist wie bei allen wissenschaftlichen Arbeiten die Quelle anzugeben.