Обществознание · объяснение и практика

Пилотное исследование: что проверяют перед основным сбором

Пилот перед опросом: проверяем время, переходы анкеты и понятность инструкции. Собственный школьный пример показывает, почему пробная процедура ещё не измеряет мнение всех участников.

Две синие фигуры вместе держат оранжевый круг.

В теме Человек, познание и деятельность · Учебная карта

В маршруте Как работает измерение в анкете · 10 тем

Главная мысль

Пилотное исследование помогает проверить, как работает задуманный сбор данных, прежде чем проводить его в полном объёме. Если шесть приглашённых учеников не могут найти нужный переход анкеты, это полезный сигнал о процедуре. Но их ответы не становятся автоматически достоверной оценкой мнения всей школы: цель и способ отбора у пробного запуска другие.

Запишите, что именно проверяет пробный запуск

Перед пилотом составьте перечень наблюдаемых трудностей: длительность заполнения, непонятные слова, работа переходов, возможность сохранить ответ. Формулировка «проверим всё» неудобна: после неё трудно объяснить, почему процедура готова или требует изменений. Для каждого пункта нужна запись того, что участник сделал и где возникла остановка.

Не смешивайте техническую работоспособность и измерение интересующего признака. Ученик может успешно отправить анкету, но по-своему понять слово «регулярно». И наоборот, смысл вопроса может быть понятен, а переход на следующую страницу — не работать. Эти проблемы требуют разных исправлений: текста вопроса либо организации сбора.

Разберите конкретную неисправность до исправления

В собственной учебной ситуации библиотека готовит анкету об использовании читального зала. После ответа «не посещал» нужно перейти к последнему вопросу. На пробном запуске четыре участника из шести заполняют лишний блок, потому что указание перехода находится после длинного пояснения. Записывают не только количество ошибок, но и место, где участники не заметили инструкцию.

Исследователи переносят указание рядом с нужным вариантом и снова проверяют маршрут заполнения. Это разумная работа с процедурой. Однако нельзя объявить исправление успешным лишь потому, что новый текст кажется удобным автору. Нужна повторная проверка с человеком, который не знает заранее, куда разработчики собирались его направить.

Пример

Пилотный участник не смог ответить на обязательный вопрос о посещении, потому что ни один вариант не описывал его ситуацию. Что записать?

Зафиксировать отсутствующую ситуацию и устройство вариантов. Не следует просто подсказать участнику ближайший ответ: тогда проблема выбора будет скрыта, а не исправлена.

Не превращайте пробные ответы в итоговую статистику

Доля четыре из шести описывает ошибки именно в данном пробном запуске. Она не доказывает, что две трети всех учеников обязательно ошибутся. Условия отбора, небольшой размер группы и сама возможность наблюдения ограничивают такой перенос. При этом даже одна обнаруженная существенная ошибка может быть достаточным основанием пересмотреть инструкцию.

В кратком отчёте отделите наблюдение, изменение и повторную проверку. Например: участники пропускали переход; указание переместили; новый маршрут испытали отдельно. Если заодно изменились порядок вопросов и способ заполнения, это тоже отмечают. Тогда основной сбор начинается с понятной версии процедуры, а не с незаметно меняющейся анкеты.

От чтения к действию

А теперь — вы

На пилоте двое участников по-разному поняли слово «часто». Автор заменил его на «за последние семь дней», но новую версию никто ещё не заполнял. Что можно записать в отчёте?

Частые вопросы

Пилот обязательно нужен только для поиска технических ошибок?

Нет. Он может выявлять непонятные формулировки, неудобную последовательность и отсутствующие варианты, помимо технической работы формы.

Можно сразу опубликовать пробные ответы как мнение всей школы?

Не автоматически. Пилот проверяет процедуру; вывод о совокупности требует подходящего отбора и отдельного исследовательского обоснования.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться