Вероятность и статистика · объяснение и практика

Порядок вариантов в анкете: как проверить эффект первого места

Различаем естественно упорядоченную шкалу и список названий, проектируем сравнение двух порядков и сохраняем причину различия условной до проверки плана.

Рука ставит оранжевый столбик между двумя синими столбиками разной высоты.

В теме Выборка и план исследования · Учебная карта

Главная мысль

В длинном списке названий человек может чаще выбирать то, что увидел первым. Это возможный эффект порядка ответов. Чтобы изучить его, можно сравнить две версии одной анкеты с разным порядком, сохранив остальное и продумав распределение версий. Но шкалу «никогда — иногда — часто» не стоит бессмысленно перемешивать: у неё есть естественная последовательность.

Названия и степени различаются

Список жанров приключения, фантастика, история не имеет единственного числового порядка. Перестановка названий не меняет сами категории. В шкале частоты, напротив, соседство выражает увеличение признака. Если перемешать никогда, ежедневно и несколько раз в месяц, участнику станет сложнее прочитать ступени. Поэтому случайный порядок не является универсальным улучшением любого вопроса.

При подготовке нужно спросить, сообщает ли положение варианта дополнительный смысл. В перечне неранжированных названий такого смысла обычно не предполагают. Но читатель может ошибочно воспринять первый пункт как рекомендуемый или самый частый. Сходная длина и грамматическая форма названий помогают сделать выбор понятнее, однако их эффект тоже не стоит объявлять доказанным без проверки.

Сравнивайте версии при одинаковых условиях

В учебном опыте половине случайно распределённых участников дают порядок А, Б, В, другой половине В, Б, А. Текст вопроса, способ заполнения и время сохраняют. Тогда различие положения отделено от очевидной подмены содержания. Но даже при таком плане наблюдаемая разница имеет случайную изменчивость; она не означает, что каждый человек обязательно выбрал первый пункт из-за его места.

Если первую версию заполнил только спортивный класс, а вторую только музыкальный, причина различий неоднозначна. Интересы групп могли отличаться до опроса. Поменять порядок для новых добровольцев и сравнить проценты без учёта состава тоже недостаточно. Запишите отдельно переменную версии и сведения о способе её назначения. Это позволяет обсуждать влияние порядка как проверяемую гипотезу, а не удобное объяснение любого результата.

Пример

В версии 1 код 1 означает чай, в версии 2 код 1 означает воду. Можно ли сразу сложить частоты кода 1?

Нет. Сначала сопоставляют смысл категорий между версиями. Один номер позиции обозначает разные ответы, поэтому простое объединение смешивает воду и чай. Устойчивый код категории решил бы эту отдельную проблему.

Сохраняйте коды категорий

Перестановка строк не должна менять смысл записанного ответа. Если код единица раньше обозначал приключения, а после перестановки означает историю, объединение файлов по коду создаст ложную таблицу. Храните устойчивые идентификаторы категорий либо явную таблицу соответствий версии. Отображаемое место и смысловой код являются разными полями.

В отчёте назовите версии, способ распределения и число ответов в каждой. Не удаляйте неудобную версию потому, что её результат не совпал с ожиданием. Для основного исследования можно выбрать один заранее описанный порядок или предусмотренное смешение версий. Выбор обосновывают целью, а не поиском желательного процента. Так проверка инструмента соединяется с честным анализом собранных данных.

От чтения к действию

А теперь — вы

В версии А анкеты кружки идут как «театр, робототехника, хор», в версии Б — «хор, театр, робототехника». Сохранён только номер выбранной строки, версия потеряна. Можно ли однозначно объединить частоты каждого кружка?

Частые вопросы

Нужно перемешивать любую шкалу?

Нет. Естественный порядок уровней признака обычно помогает её читать.

Разные проценты автоматически доказывают эффект порядка?

Нет. Требуется проверить план сравнения, состав групп и случайную изменчивость.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться