auf dem Stand von 1955

ich hatte es ja weiter unten schon mal angesprochen: der Koeffizient zur Inter-Rater-Reliabilität von Früh (2004) bzw. Holsti (in North et al., 1963, 1949) stinkt zum Himmel.
Die Formel lautet CR = 2*Ü/(U1+U2) mit Ü = Anzahl Übereinstimmungen und U1, U2 = Anzahl der von Urteiler 1,2 abgegebenen Urteile. Wie man leicht sehen kann gibt es keine Korrektur für die Anzahl zufälliger Übereinstimmungen. Konkret bedeutet das, dass man bspw. bei drei Merkmalsausprägungen und Auswürfeln der jeweiligen Zuordnung (Gleichwahrscheinlichkeit der Alternativen vorausgesetzt) eine Reliabilität, d.h. eine Messgenauigkeit (!???) von 0.3 erhält. Ohne gemessen zu haben! Bei sieben Merkmalsausprägungen bekommt man leider nur noch eine Reliabilität von 0.14 geschenkt. Der Fehler nimmt also mit der Zahl der Kategorien ab, bzw. andersherum, man sollte wenig Merkmalsausprägungen verwenden, wenn man eine hohe (Schein-)Reliabilität erzielen möchte.
Das alles weis man seit den fünfziger Jahren, und dementsprechend hat Merten auch schon 1983 (S. 304f) in der Erstauflage seines Buches umfangreich begründet weshalb ein zufallskorrigierter Koeffizient wie Scotts Pi (1955) oder Cohens Kappa verwendet werden sollte. (pi = (C-p)/(1-p) wobei C = Anteil Übereinstimmungen und p = Wahrscheinlichkeit zufälliger Übereinstimmung = Sum(p(i)*p(i)), wobei p(i) der Anteil der Codierentscheidungen für Kategorie i ist). Lauf hat 2001 ebenfalls eine solche Begründung vorgelegt und überdies auf die mangelhafte Darstellung der Reliabilitätsprüfung in publizistischen Fachzeitschriften hingewiesen.
Dessen ungeachtet findet sich der Koeffizient bei Früh (2004, S. 181) (übrigens ohne Verweis auf Holsti als Quelle), Brosius und Koschel (2001) und Bonfadelli (2002) verweist auf Früh (2001, inhaltlich identisch mit 2004). Angesichts dieser Defizite in der Fachliteratur scheint es kaum der Rede wert, dass bei in Eichstätt vorgelegten Diplomarbeiten von Gamisch (2002) und Zimmermann (2001) ebenfalls der Holsti-Koeffizient verwendet wird (ohne Holsti zu nennen, ohne Aufschlüsselung nach Variablen und obwohl beide neben Früh auch Merten im entsprechenden Abschnitt zitieren).
Wohl dem, der es sich leisten kann, auf dem wissenschaftlichen Stand von 1955 zu arbeiten.
(Eine Langfassung gibt's hier: 72 KB, .pdf Format)

Literatur:
- Bonfadelli, H. (2002). Medieninhaltsforschung: Grundlagen, Methoden, Anwendungen. Konstanz: UVK Verlagsgesellschaft.
- Brosius, H.-B., & Koschel, F. (2001). Methoden der empirischen Kommunikationsforschung. Wiesbaden: Westdeutscher Verlag. S.156 - 203.
- Früh, W. (2004). Inhaltsanalyse: Theorie und Praxis. 5. Aufl. Konstanz: UVK Verlagsgesellschaft.
- Gamisch, S. (2002). WWW = Wird Web Weiblich? Die Strategien von Frauenzeitschriften im Internet. Unveröffentlichte Diplomarbeit, Eichstätt
- Lauf, E. (2001). ".96 nach Holsti". Publizistik, 1(46). S. 57 - 68.
- Merten, K. (1983). Inhaltsanalyse: Einführung in Theorie, Methode und Praxis. Opladen: Westdeutscher Verlag.
- North, R. C., Holsti, O. R., Zaninovich, M. G., & Zinnes, D. A. (1963). Content Analysis. A handbook with applications for the study of international crisis. Evanston/Ill.: Northwestern University Press. (zitiert nach Merten, 1983)
- Scott, W. A. (1955). Reliability of content analysis: The case of nominal scaling. Public Opinion Quarterly 19, 321-325 (zitiert nach Merten, 1983)
- Zimmermann, M. (2001). Qualität Online? Die Welt und die Süddeutsche Zeitung im Internet. Unveröffentlichte Diplomarbeit, Eichstätt
Alles anzeigen!