Вероятность и статистика · объяснение и практика
Порядок вариантов в анкете: как проверить эффект первого места
Различаем естественно упорядоченную шкалу и список названий, проектируем сравнение двух порядков и сохраняем причину различия условной до проверки плана.

В теме Выборка и план исследования · Учебная карта
Главная мысль
В длинном списке названий человек может чаще выбирать то, что увидел первым. Это возможный эффект порядка ответов. Чтобы изучить его, можно сравнить две версии одной анкеты с разным порядком, сохранив остальное и продумав распределение версий. Но шкалу «никогда — иногда — часто» не стоит бессмысленно перемешивать: у неё есть естественная последовательность.
Названия и степени различаются
Список жанров приключения, фантастика, история не имеет единственного числового порядка. Перестановка названий не меняет сами категории. В шкале частоты, напротив, соседство выражает увеличение признака. Если перемешать никогда, ежедневно и несколько раз в месяц, участнику станет сложнее прочитать ступени. Поэтому случайный порядок не является универсальным улучшением любого вопроса.
При подготовке нужно спросить, сообщает ли положение варианта дополнительный смысл. В перечне неранжированных названий такого смысла обычно не предполагают. Но читатель может ошибочно воспринять первый пункт как рекомендуемый или самый частый. Сходная длина и грамматическая форма названий помогают сделать выбор понятнее, однако их эффект тоже не стоит объявлять доказанным без проверки.
Сравнивайте версии при одинаковых условиях
В учебном опыте половине случайно распределённых участников дают порядок А, Б, В, другой половине В, Б, А. Текст вопроса, способ заполнения и время сохраняют. Тогда различие положения отделено от очевидной подмены содержания. Но даже при таком плане наблюдаемая разница имеет случайную изменчивость; она не означает, что каждый человек обязательно выбрал первый пункт из-за его места.
Если первую версию заполнил только спортивный класс, а вторую только музыкальный, причина различий неоднозначна. Интересы групп могли отличаться до опроса. Поменять порядок для новых добровольцев и сравнить проценты без учёта состава тоже недостаточно. Запишите отдельно переменную версии и сведения о способе её назначения. Это позволяет обсуждать влияние порядка как проверяемую гипотезу, а не удобное объяснение любого результата.
Пример
В версии 1 код 1 означает чай, в версии 2 код 1 означает воду. Можно ли сразу сложить частоты кода 1?
Нет. Сначала сопоставляют смысл категорий между версиями. Один номер позиции обозначает разные ответы, поэтому простое объединение смешивает воду и чай. Устойчивый код категории решил бы эту отдельную проблему.
Сохраняйте коды категорий
Перестановка строк не должна менять смысл записанного ответа. Если код единица раньше обозначал приключения, а после перестановки означает историю, объединение файлов по коду создаст ложную таблицу. Храните устойчивые идентификаторы категорий либо явную таблицу соответствий версии. Отображаемое место и смысловой код являются разными полями.
В отчёте назовите версии, способ распределения и число ответов в каждой. Не удаляйте неудобную версию потому, что её результат не совпал с ожиданием. Для основного исследования можно выбрать один заранее описанный порядок или предусмотренное смешение версий. Выбор обосновывают целью, а не поиском желательного процента. Так проверка инструмента соединяется с честным анализом собранных данных.
От чтения к действию
А теперь — вы
Частые вопросы
Нужно перемешивать любую шкалу?
Нет. Естественный порядок уровней признака обычно помогает её читать.
Разные проценты автоматически доказывают эффект порядка?
Нет. Требуется проверить план сравнения, состав групп и случайную изменчивость.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Почему большая выборка может оставаться смещённой
Почему большой опрос может плохо представлять совокупность: рамка отбора, добровольные ответы, пропуски и отличие случайной изменчивости от систематического смещения.
Открыть темуПочему случайное назначение группы отличается от случайного отбора людей
Разделите случайный отбор участников и случайное назначение условий: первый относится к охвату совокупности, второе — к сравнению воздействий.
Открыть тему