Обществознание · объяснение и практика
Альфа Криппендорфа: расхождение кодировщиков и объединённые частоты
Рассчитайте номинальную альфу Криппендорфа для двух кодировщиков без пропусков. Сопоставьте наблюдаемое расхождение с ожидаемым по объединённым частотам, сохранив отличие от простой доли совпадений.

Вузовский уровень · Все вузовские темы
В теме Социальные данные и аргументация · Учебная карта
Главная мысль
Два кодировщика дали четырём фрагментам пары (0,0),(0,1),(1,1),(1,1). Совпали три решения из четырёх. Среди восьми кодов три нуля и пять единиц. Наблюдаемое расхождение Do=1/4, ожидаемое De=2·3·5/(8·7)=15/28. Поэтому alpha=1−Do/De=8/15≈0,533, а не 0,75.
Определите единицы и тип различия
Оба кодировщика должны независимо работать с теми же единицами и одной инструкцией. Числа ноль и один здесь обозначают номинальные категории, а не измеренную величину признака. Для номинального расхождения разные категории дают единицу, одинаковые — нуль. Замена названий категорий не меняет результат.
Урок ограничен двумя кодировщиками и полностью заполненной таблицей. Общая альфа допускает более сложные устройства данных, но их нельзя свести к нашей короткой формуле простым удалением любых пропусков. Сначала фиксируют единицы, шкалу различий и правила пригодности наблюдений, затем выбирают вычисление.
Рассчитайте два расхождения
Наблюдаемое Do в этом частном случае равно доле несовпавших пар. Для ожидаемого расхождения объедините коды обоих наблюдателей. Если всего n значений, из них n0 нулей и n1 единиц, вероятность разных категорий при выборе двух без возвращения равна 2n0n1/[n(n−1)]. Именно она задаёт De в данном расчёте.
После этого используйте alpha=1−Do/De при положительном De. Конечный знаменатель n−1 имеет значение: замена на n даст другой показатель. Объединённые частоты также нельзя молча заменить отдельными частотами каждого кодировщика, перемноженными между собой. Это иной способ определения ожидаемого согласия.
Пример
Две пары кодов (0,0) и (1,1), пропусков нет. Какова альфа?
Do=0. В четырёх объединённых значениях два нуля и две единицы, De=2·2·2/(4·3)=2/3>0. Следовательно, alpha=1. Даже полное согласие двух наблюдателей не доказывает, что оба верно поняли исходный текст.
Проверьте значение и границы интерпретации
В примере одна несовпавшая пара даёт Do=1/4. Объединение содержит три нуля и пять единиц, поэтому De=15/28 и отношение Do/De=7/15. Итог 8/15 показывает согласованность относительно выбранного ожидаемого расхождения. Он не является вероятностью истинности любого отдельного решения.
Если все значения относятся к одной категории, De равно нулю и эта формула не определена. Отрицательная альфа возможна, когда наблюдаемое расхождение больше ожидаемого; это повод изучить разметку, а не автоматически исправлять знак. Не назначайте универсальный порог пригодности без задачи и последствий ошибок. Доверительные интервалы и обобщение за пределы выбранных фрагментов здесь не рассчитываются.
От чтения к действию
А теперь — вы
Частые вопросы
Почему 75% совпадений не равны альфе 0,75?
Альфа сравнивает наблюдаемое расхождение с ожидаемым по распределению категорий. Простая доля совпадений этой поправки не содержит.
Одну категорию во всех клетках можно назвать альфой один?
В указанной формуле De=0, поэтому отношение не определено. Полное наблюдаемое совпадение следует описать отдельно, не выдавая деление на ноль за рассчитанную альфу.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Неответы в опросе: найдите границы доли без догадки о пропусках
Найдите минимально и максимально возможную долю ответа во всём приглашённом списке при неизвестных неответах. Не подменяйте пропуски отрицанием или сходством с ответившими.
Открыть темуДневник времени: разведите основные и одновременные занятия
Соберите временную линию основных занятий без пропусков и наложений. Одновременные занятия храните отдельным слоем и не прибавляйте их к продолжительности суток.
Открыть темуОценка Уолда: разделите назначение условия и участие
Разведите случайное предложение участия и само участие. Рассчитайте отношение Уолда по двум разностям и проверьте исключающее ограничение, направленность реакции и ненулевой первый этап.
Открыть тему