Информатика · объяснение и практика

Онлайновая дисперсия: обновляем среднее без разности больших квадратов

Онлайновая сумма квадратов отклонений: состояние n, среднее и M2, порядок обновления и выбор знаменателя дисперсии.

Синие фигурные скобки держат между собой оранжевый квадрат.

В теме Методы алгоритмов: углубление · Учебная карта

В маршруте Случайность, численные оценки и целостность · 10 тем

Главная мысль

В онлайновом обновлении хранят число наблюдений n, среднее m и сумму квадратов отклонений M2. Для нового x сначала находят delta=x−m, затем новое среднее m′=m+delta/(n+1) и M2′=M2+delta·(x−m′). Деление выполняют после выбора нужного определения дисперсии.

Состояние описывает все уже увиденные значения

Допустим, поток начинается числом 4. После него n=1, m=4, M2=0: отклонение единственного числа от собственного среднего нулевое. Следующее число 8. Разность delta равна 4, новое среднее — 6. Добавка к M2 равна 4·(8−6)=8.

После двух наблюдений состояние равно (2,6,8). Проверка напрямую даёт (4−6)²+(8−6)²=8. В формуле используются два разных средних: старое при вычислении delta и новое во втором множителе. Подмена обоих одним и тем же значением нарушает тождество. При сдвиге центра прошлые отклонения меняются все сразу, но их сумма относительно прежнего среднего равна нулю. Поэтому перекрёстные слагаемые сокращаются; оставшаяся поправка выражается через старый размер набора и разность нового наблюдения с прежним центром.

Продолжим без хранения исходного списка

Добавим число 12. Теперь delta=12−6=6, n′=3, m′=8. Добавка равна 6·(12−8)=24, поэтому M2′=32. Прямая проверка на тройке 4,8,12 даёт 16+0+16=32. Эти вычисления показывают, что сумма меняется относительно нового центра, хотя прошлые элементы заново не обходятся.

Дисперсия именно этого набора со знаменателем n равна 32/3. Исправленная выборочная оценка со знаменателем n−1 равна 16. Нельзя объявить одну из них ошибочной, не уточнив задачу: они отвечают на разные статистические вопросы. Для исправленной оценки нужны хотя бы два наблюдения.

Пример

После 4,8: (n,m,M2)=(2,6,8). После 12: (3,8,32).

Среднее сдвинулось на 6/3=2. Произведение двух отклонений добавило 24 к центральной сумме квадратов.

Численная устойчивость имеет границы

Альтернативная формула через сумму квадратов минус квадрат среднего может вычитать близкие большие числа. Например, измерения возле очень большого базового уровня имеют маленький разброс; потеря значащих цифр в таком вычитании особенно неприятна. Обновление через отклонения уменьшает этот риск.

Однако операции с плавающей точкой всё равно округляются. Переполнение, NaN, пропущенные наблюдения и выбор типов нужно обрабатывать явно. Однопроходность не означает абсолютную точность на любых входах. Для небольших учебных данных хорошая независимая проверка — посчитать центральную сумму напрямую точными дробями и сравнить оба пути.

От чтения к действию

А теперь — вы

Для потока 2,6 получены n=2, m=4, M2=8. Какова дисперсия набора со знаменателем n?

Частые вопросы

M2 — уже готовая дисперсия?

Нет. Это сумма квадратов отклонений. Знаменатель n или n−1 выбирается отдельно.

Можно обновить среднее до вычисления delta?

Нужно сохранить разность с прежним средним. Иначе изменится смысл первого множителя.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться