Русский язык · объяснение и практика

Поиск словоформы и леммы: проверьте корпусную выдачу по контексту

Сравните поиск точной формы и поиск по лемме в размеченном русском тексте. Проверьте омонимию на контексте и не считайте автоматическую метку словарным приговором.

Синяя буква Ё расставляет над собой две оранжевые точки.

Вузовский уровень · Все вузовские темы

В теме Грамматический класс, форма и выбор разбора · Учебная карта

Главная мысль

В условном корпусе «стали» встречается в «из стали» и «они стали читать». Поиск формы вернёт обе строки. Поиск леммы «сталь» должен оставить существительное, а «стать» — глагол, если разметка верна. Сама одинаковая буквенная запись не определяет ни часть речи, ни нужное значение.

Разведите запись и аналитическую метку

Сохраните полный контекст найденного слова и его позицию. Поле FORM содержит встреченную форму, а LEMMA — её принятую лемму или основу в формате разметки. Это разные столбцы: запрос к одному не обязан давать те же строки, что запрос к другому.

Определите цель поиска до выгрузки. Для изучения написания «стали» нужна форма; для распределения форм существительного «сталь» нужен другой запрос и проверка значений. Смешение целей создаёт ошибочный подсчёт ещё до вычисления частот. Удаление неудобных строк без записанного критерия делает результат невоспроизводимым.

Проверьте каждое неоднозначное попадание

Возьмите узкий контекст и прочитайте синтаксическую связь. В сочетании «деталь из стали» предлог и зависимость помогают распознать существительное. В «мастера стали спорить» последовательность действий указывает на глагольное употребление. Для нашего примера эти основания заданы фразами, а не получены по одной форме вне предложения.

Составьте колонки: ID, фрагмент, автоматическая лемма, принятое после чтения решение и причина расхождения. Ошибочная метка не меняет исходного текста. Если контекст недостаточен, сохраняйте неопределённость вместо назначения самого частого разбора: частота альтернативы не доказывает решение для конкретной строки.

Пример

Есть три строки: «кольцо из стали», «стали темнее облака», «они стали петь». Сколько попаданий у точной формы и у подтверждённой леммы «сталь»?

Точная форма даёт три строки. По контексту существительное «сталь» имеется только в первой, две остальные содержат глагол «стать». Поэтому подтверждённая лемма даёт одну строку; первоначальный счёт три не является частотой существительного.

Пересчитайте только согласованный набор

Сначала сообщите число сырых попаданий, затем число подтверждённых и неразрешённых случаев. Не объединяйте неразрешённые с отрицательными. При сравнении корпусов согласуйте версию разметки, правило регистра и границы текста; иначе различие выдачи может происходить из обработки, а не из употребления слова.

Корпусный результат описывает включённые тексты. Он не устанавливает норму языка одним числом и не доказывает отсутствие редкой формы вне корпуса. Словарную рекомендацию и грамматический разбор следует проверять соответствующими источниками. Здесь выходом служат проверенная выборка и отчёт о критериях поиска, а не универсальная оценка правильности речи.

От чтения к действию

А теперь — вы

Нужны все появления буквенной формы «пила» независимо от значения. К какому полю прежде всего обращаются?

Частые вопросы

Лемма всегда совпадает с написанием токена?

Нет. Она объединяет формы по принятому анализу. Именно поэтому столбцы формы и леммы хранятся раздельно.

Ошибку автоматической разметки нужно стирать?

Сохраняйте исходную метку и исправление отдельно. Тогда видны происхождение данных и основание ручного решения.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться