Обществознание · объяснение и практика
Пилотное исследование: что проверяют перед основным сбором
Пилот перед опросом: проверяем время, переходы анкеты и понятность инструкции. Собственный школьный пример показывает, почему пробная процедура ещё не измеряет мнение всех участников.

В теме Человек, познание и деятельность · Учебная карта
В маршруте Как работает измерение в анкете · 10 тем
Главная мысль
Пилотное исследование помогает проверить, как работает задуманный сбор данных, прежде чем проводить его в полном объёме. Если шесть приглашённых учеников не могут найти нужный переход анкеты, это полезный сигнал о процедуре. Но их ответы не становятся автоматически достоверной оценкой мнения всей школы: цель и способ отбора у пробного запуска другие.
Запишите, что именно проверяет пробный запуск
Перед пилотом составьте перечень наблюдаемых трудностей: длительность заполнения, непонятные слова, работа переходов, возможность сохранить ответ. Формулировка «проверим всё» неудобна: после неё трудно объяснить, почему процедура готова или требует изменений. Для каждого пункта нужна запись того, что участник сделал и где возникла остановка.
Не смешивайте техническую работоспособность и измерение интересующего признака. Ученик может успешно отправить анкету, но по-своему понять слово «регулярно». И наоборот, смысл вопроса может быть понятен, а переход на следующую страницу — не работать. Эти проблемы требуют разных исправлений: текста вопроса либо организации сбора.
Разберите конкретную неисправность до исправления
В собственной учебной ситуации библиотека готовит анкету об использовании читального зала. После ответа «не посещал» нужно перейти к последнему вопросу. На пробном запуске четыре участника из шести заполняют лишний блок, потому что указание перехода находится после длинного пояснения. Записывают не только количество ошибок, но и место, где участники не заметили инструкцию.
Исследователи переносят указание рядом с нужным вариантом и снова проверяют маршрут заполнения. Это разумная работа с процедурой. Однако нельзя объявить исправление успешным лишь потому, что новый текст кажется удобным автору. Нужна повторная проверка с человеком, который не знает заранее, куда разработчики собирались его направить.
Пример
Пилотный участник не смог ответить на обязательный вопрос о посещении, потому что ни один вариант не описывал его ситуацию. Что записать?
Зафиксировать отсутствующую ситуацию и устройство вариантов. Не следует просто подсказать участнику ближайший ответ: тогда проблема выбора будет скрыта, а не исправлена.
Не превращайте пробные ответы в итоговую статистику
Доля четыре из шести описывает ошибки именно в данном пробном запуске. Она не доказывает, что две трети всех учеников обязательно ошибутся. Условия отбора, небольшой размер группы и сама возможность наблюдения ограничивают такой перенос. При этом даже одна обнаруженная существенная ошибка может быть достаточным основанием пересмотреть инструкцию.
В кратком отчёте отделите наблюдение, изменение и повторную проверку. Например: участники пропускали переход; указание переместили; новый маршрут испытали отдельно. Если заодно изменились порядок вопросов и способ заполнения, это тоже отмечают. Тогда основной сбор начинается с понятной версии процедуры, а не с незаметно меняющейся анкеты.
От чтения к действию
А теперь — вы
Частые вопросы
Пилот обязательно нужен только для поиска технических ошибок?
Нет. Он может выявлять непонятные формулировки, неудобную последовательность и отсутствующие варианты, помимо технической работы формы.
Можно сразу опубликовать пробные ответы как мнение всей школы?
Не автоматически. Пилот проверяет процедуру; вывод о совокупности требует подходящего отбора и отдельного исследовательского обоснования.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Когнитивное интервью: как проверить понимание вопроса
Когнитивное интервью перед опросом: выясняем смысл слова, границы события и путь к ответу. Собственная ситуация с посещением читального зала без подсказывания «правильного мнения».
Открыть темуПорядок вопросов: как предыдущий блок меняет контекст ответа
Один вопрос после разных блоков анкеты: контекст, направленность сравнения и сопоставимость повторного опроса. Учебная схема без утверждения, будто порядок всегда действует одинаково.
Открыть тему