Русский язык · объяснение и практика
CoNLL-U: почему число строк не равно числу слов
Различите строки слов, многословные токены и пустые узлы в CoNLL-U. Получите три проверяемых счётчика вместо ошибочного подсчёта каждой строки как отдельного русского слова.

Вузовский уровень · Все вузовские темы
В теме Грамматический класс, форма и выбор разбора · Учебная карта
Главная мысль
В условной схеме перечислены ID 1, 2-3, 2, 3, 3.1, 4. Здесь четыре целочисленных ID слов, одна строка многословного токена и один пустой узел. Поверхностных токенов три: 1, диапазон 2-3 и 4. Шесть строк данных нельзя объявить шестью словами или шестью единицами исходной записи.
Установите уровень единицы
CoNLL-U различает представление поверхностной записи и синтаксических слов. Многословный токен может объединять несколько слов разбора. Его диапазонный ID не является ещё одним словом поверх перечисленных компонентов. Пустой узел, напротив, обслуживает расширенное представление и не добавляет обычное напечатанное слово к исходному фрагменту.
Наш набор ID является учебной схемой устройства строк, а не полным валидным разбором русской фразы. Он не утверждает, что конкретное русское написание обязано делиться именно так. Для настоящего материала нужны FORM, остальные поля и правила выбранного дерева. Структуру формата нельзя использовать как самостоятельную орфографическую норму.
Разведите три типа идентификаторов
Целочисленный ID обозначает строку синтаксического слова. Диапазон с дефисом, например 2-3, обозначает многословный токен с компонентами 2 и 3. Десятичный идентификатор 3.1 представляет пустой узел. Эти записи нельзя преобразовать в обычные числа и затем сортировать как измерения: точка и дефис имеют структурный смысл.
Для счётчика слов берите целочисленные ID. Для счётчика поверхностных токенов включайте диапазон один раз и не включайте повторно покрытые им компоненты. Остальные целочисленные строки дают по одному токену. Пустые узлы учитывайте отдельно, а строки комментариев и пустые разделители не превращайте в лексические единицы.
Пример
В другом схематическом блоке ID 1, 2, 2.1, 3, диапазонов нет. Каковы счётчики?
Синтаксических слов три: 1,2,3. Поверхностных токенов также три, поскольку нет многословного диапазона. Пустой узел один — 2.1. Число строк данных четыре, но оно не заменяет ни один из двух лексических счётчиков.
Проверьте соответствия до сравнения частот
Убедитесь, что диапазоны не перекрываются и их компоненты существуют. Ошибочная строка 2-4 при отсутствующем слове 3 не становится нормальной оттого, что итоговый счётчик выглядит правдоподобно. Классификация ID обнаруживает часть структурных проблем, но не проверяет все требования формата, отношения HEAD и расширенный DEPS.
При сравнении двух русских корпусов назовите, считали ли вы поверхностные токены или синтаксические слова. Разное разбиение может изменить знаменатель частоты без изменения исходной фразы. Храните версию разметки и первоначальную запись. Результат урока — несколько согласованных счётчиков и список исключений, а не обещание полной валидации или единственно правильной токенизации языка.
От чтения к действию
А теперь — вы
Частые вопросы
Строка 2-3 увеличивает число слов на единицу?
Нет. Она представляет совместный поверхностный токен компонентов 2 и 3. При подсчёте синтаксических слов учитываются сами целочисленные компоненты.
Пустой узел следует удалить как мусор?
Нет. Он может нести нужные расширенные зависимости. Его исключение из счётчика поверхностных токенов не означает удаление из хранимой разметки.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Поиск словоформы и леммы: проверьте корпусную выдачу по контексту
Сравните поиск точной формы и поиск по лемме в размеченном русском тексте. Проверьте омонимию на контексте и не считайте автоматическую метку словарным приговором.
Открыть темуПолтора часа — к полутора часам: две формы числительного и изменение существительного
Склоняем сочетание с полтора и полторы, затем сравниваем с полтораста. Сохраняем исходное количество и не приписываем неизменной форме один падеж.
Открыть темуПонятно: краткое прилагательное, наречие или категория состояния
Сравниваем понятное объяснение, понятный способ речи и состояние понимания. На трёх собственных фразах проверяем связь, изменение и роль слова.
Открыть тему