Информатика · объяснение и практика
Онлайновая дисперсия: обновляем среднее без разности больших квадратов
Онлайновая сумма квадратов отклонений: состояние n, среднее и M2, порядок обновления и выбор знаменателя дисперсии.

В теме Методы алгоритмов: углубление · Учебная карта
В маршруте Случайность, численные оценки и целостность · 10 тем
Главная мысль
В онлайновом обновлении хранят число наблюдений n, среднее m и сумму квадратов отклонений M2. Для нового x сначала находят delta=x−m, затем новое среднее m′=m+delta/(n+1) и M2′=M2+delta·(x−m′). Деление выполняют после выбора нужного определения дисперсии.
Состояние описывает все уже увиденные значения
Допустим, поток начинается числом 4. После него n=1, m=4, M2=0: отклонение единственного числа от собственного среднего нулевое. Следующее число 8. Разность delta равна 4, новое среднее — 6. Добавка к M2 равна 4·(8−6)=8.
После двух наблюдений состояние равно (2,6,8). Проверка напрямую даёт (4−6)²+(8−6)²=8. В формуле используются два разных средних: старое при вычислении delta и новое во втором множителе. Подмена обоих одним и тем же значением нарушает тождество. При сдвиге центра прошлые отклонения меняются все сразу, но их сумма относительно прежнего среднего равна нулю. Поэтому перекрёстные слагаемые сокращаются; оставшаяся поправка выражается через старый размер набора и разность нового наблюдения с прежним центром.
Продолжим без хранения исходного списка
Добавим число 12. Теперь delta=12−6=6, n′=3, m′=8. Добавка равна 6·(12−8)=24, поэтому M2′=32. Прямая проверка на тройке 4,8,12 даёт 16+0+16=32. Эти вычисления показывают, что сумма меняется относительно нового центра, хотя прошлые элементы заново не обходятся.
Дисперсия именно этого набора со знаменателем n равна 32/3. Исправленная выборочная оценка со знаменателем n−1 равна 16. Нельзя объявить одну из них ошибочной, не уточнив задачу: они отвечают на разные статистические вопросы. Для исправленной оценки нужны хотя бы два наблюдения.
Пример
После 4,8: (n,m,M2)=(2,6,8). После 12: (3,8,32).
Среднее сдвинулось на 6/3=2. Произведение двух отклонений добавило 24 к центральной сумме квадратов.
Численная устойчивость имеет границы
Альтернативная формула через сумму квадратов минус квадрат среднего может вычитать близкие большие числа. Например, измерения возле очень большого базового уровня имеют маленький разброс; потеря значащих цифр в таком вычитании особенно неприятна. Обновление через отклонения уменьшает этот риск.
Однако операции с плавающей точкой всё равно округляются. Переполнение, NaN, пропущенные наблюдения и выбор типов нужно обрабатывать явно. Однопроходность не означает абсолютную точность на любых входах. Для небольших учебных данных хорошая независимая проверка — посчитать центральную сумму напрямую точными дробями и сравнить оба пути.
От чтения к действию
А теперь — вы
Частые вопросы
M2 — уже готовая дисперсия?
Нет. Это сумма квадратов отклонений. Знаменатель n или n−1 выбирается отдельно.
Можно обновить среднее до вычисления delta?
Нужно сохранить разность с прежним средним. Иначе изменится смысл первого множителя.
Источники и работа с материалом
Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.
Продолжить разбираться
Резервуарная выборка: как один слот остаётся равномерным
Резервуарная выборка одного элемента: правило замены, вероятность сохранения и разница между позицией и значением.
Открыть темуЛокальность памяти: почему порядок обхода меняет обращения к строкам кэша
Временная и пространственная локальность памяти: собственные трассы обращений, размер блока и пределы предсказания.
Открыть тему