Обществознание · объяснение и практика

Согласие кодировщиков: совпадение решений ещё не гарантирует истинность

Согласие кодировщиков: независимое применение общей инструкции, доля совпадений и отличие воспроизводимости классификации от истинности интерпретации.

Две синие фигуры вместе держат оранжевый круг.

В теме Человек, познание и деятельность · Учебная карта

Главная мысль

Согласие кодировщиков показывает, насколько одинаково разные люди применяют правила классификации к одному материалу. Совпадение важно для воспроизводимости, но не доказывает правильность самого смысла категорий. Два человека могут одинаково применять неудачное правило. Поэтому проверяют и согласованность применения, и обоснованность схемы.

Сначала создайте сопоставимую задачу

В нашей условной проверке два человека независимо кодируют одинаковые десять фрагментов по одной инструкции. Они используют одну единицу анализа и одинаковый набор допустимых меток. Если одному дали целые ответы, а другому отдельные предложения, совпадения нельзя считать простой проверкой одного и того же решения. Нужно согласовать сам предмет сравнения.

Независимость означает, что человек не копирует уже готовые метки коллеги. Совместное обсуждение полезно для уточнения правил, но результат после договорённости отличается от исходного независимого согласия. Оба этапа можно описать, не выдавая согласованный после разговора итог за показатель первоначального совпадения.

Посчитайте понятный показатель

Если в нашей простой схеме с одной меткой на фрагмент совпали восемь из десяти решений, наблюдаемая доля совпадений равна 80%. Это характеристика данных условий. Она не означает, что восемь интерпретаций доказанно верны, а две обязательно ложны. При расхождении сначала изучают сами случаи и применённые определения.

Для более сложных задач существуют другие показатели, в том числе учитывающие особенности распределения меток. В этой статье они не вычисляются. Нельзя сравнивать голые проценты из разных схем без контекста: одинаковая высокая доля может возникать при очень разных наборах категорий и разной трудности материала. Название показателя и процедура должны быть видимыми.

Пример

В новом условии два кодировщика одинаково дали всем ответам одну метку «прочее», хотя вопросы содержали явные разные причины. Доказывает ли 100% совпадения содержательность схемы?

Нет. Применение воспроизводимо, но слишком широкая категория может не отвечать задаче. Согласие и полезность классификации проверяют отдельно.

Используйте расхождение для проверки инструкции

Причиной могут быть неясная граница, пропущенная категория или разное понимание фрагмента. Не нужно сразу объявлять одного кодировщика невнимательным. В условном спорном ответе один отметил освещение, другой размер подписи; возможно, исходный текст вообще не называл причину затруднения. Тогда пересмотра требует схема, которая заставляла выбирать недоказанную причину.

После уточнения правил фиксируют версию и заново проверяют соответствующие решения. При отчёте сохраняют исходные расхождения и объяснение изменений. Так согласие становится инструментом улучшения анализа, а не числом, которое следует любой ценой сделать максимальным. Даже полное совпадение не освобождает от проверки того, отвечает ли классификация исследовательскому вопросу.

От чтения к действию

А теперь — вы

В простой схеме совпали 9 из 12 независимых решений. Какова доля совпадений?

Частые вопросы

Согласие равно истинности?

Нет. Оно показывает совпадение применения правил, а не автоматически правильность интерпретации.

Результат после обсуждения равен исходному независимому согласию?

Нет. Эти этапы нужно описывать раздельно.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться