Русский язык · объяснение и практика
Поиск словоформы и леммы: проверьте корпусную выдачу по контексту
Сравните поиск точной формы и поиск по лемме в размеченном русском тексте. Проверьте омонимию на контексте и не считайте автоматическую метку словарным приговором.

Вузовский уровень · Все вузовские темы
В теме Грамматический класс, форма и выбор разбора · Учебная карта
Главная мысль
В условном корпусе «стали» встречается в «из стали» и «они стали читать». Поиск формы вернёт обе строки. Поиск леммы «сталь» должен оставить существительное, а «стать» — глагол, если разметка верна. Сама одинаковая буквенная запись не определяет ни часть речи, ни нужное значение.
Разведите запись и аналитическую метку
Сохраните полный контекст найденного слова и его позицию. Поле FORM содержит встреченную форму, а LEMMA — её принятую лемму или основу в формате разметки. Это разные столбцы: запрос к одному не обязан давать те же строки, что запрос к другому.
Определите цель поиска до выгрузки. Для изучения написания «стали» нужна форма; для распределения форм существительного «сталь» нужен другой запрос и проверка значений. Смешение целей создаёт ошибочный подсчёт ещё до вычисления частот. Удаление неудобных строк без записанного критерия делает результат невоспроизводимым.
Проверьте каждое неоднозначное попадание
Возьмите узкий контекст и прочитайте синтаксическую связь. В сочетании «деталь из стали» предлог и зависимость помогают распознать существительное. В «мастера стали спорить» последовательность действий указывает на глагольное употребление. Для нашего примера эти основания заданы фразами, а не получены по одной форме вне предложения.
Составьте колонки: ID, фрагмент, автоматическая лемма, принятое после чтения решение и причина расхождения. Ошибочная метка не меняет исходного текста. Если контекст недостаточен, сохраняйте неопределённость вместо назначения самого частого разбора: частота альтернативы не доказывает решение для конкретной строки.
Пример
Есть три строки: «кольцо из стали», «стали темнее облака», «они стали петь». Сколько попаданий у точной формы и у подтверждённой леммы «сталь»?
Точная форма даёт три строки. По контексту существительное «сталь» имеется только в первой, две остальные содержат глагол «стать». Поэтому подтверждённая лемма даёт одну строку; первоначальный счёт три не является частотой существительного.
Пересчитайте только согласованный набор
Сначала сообщите число сырых попаданий, затем число подтверждённых и неразрешённых случаев. Не объединяйте неразрешённые с отрицательными. При сравнении корпусов согласуйте версию разметки, правило регистра и границы текста; иначе различие выдачи может происходить из обработки, а не из употребления слова.
Корпусный результат описывает включённые тексты. Он не устанавливает норму языка одним числом и не доказывает отсутствие редкой формы вне корпуса. Словарную рекомендацию и грамматический разбор следует проверять соответствующими источниками. Здесь выходом служат проверенная выборка и отчёт о критериях поиска, а не универсальная оценка правильности речи.
От чтения к действию
А теперь — вы
Частые вопросы
Лемма всегда совпадает с написанием токена?
Нет. Она объединяет формы по принятому анализу. Именно поэтому столбцы формы и леммы хранятся раздельно.
Ошибку автоматической разметки нужно стирать?
Сохраняйте исходную метку и исправление отдельно. Тогда видны происхождение данных и основание ручного решения.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
CoNLL-U: почему число строк не равно числу слов
Различите строки слов, многословные токены и пустые узлы в CoNLL-U. Получите три проверяемых счётчика вместо ошибочного подсчёта каждой строки как отдельного русского слова.
Открыть темуПолтора часа — к полутора часам: две формы числительного и изменение существительного
Склоняем сочетание с полтора и полторы, затем сравниваем с полтораста. Сохраняем исходное количество и не приписываем неизменной форме один падеж.
Открыть темуПонятно: краткое прилагательное, наречие или категория состояния
Сравниваем понятное объяснение, понятный способ речи и состояние понимания. На трёх собственных фразах проверяем связь, изменение и роль слова.
Открыть тему