Информатика · объяснение и практика

Как свойство и контрпример дополняют отдельные тестовые примеры

На ограничении числа допустимым интервалом составляем свойства, находим контрпример неполной проверке и объясняем роль конкретных регрессионных случаев.

Синие фигурные скобки держат между собой оранжевый квадрат.

В теме Методы алгоритмов: углубление · Учебная карта

Главная мысль

Тестирование свойств проверяет общее требование на множестве сгенерированных входов. Оно помогает находить неожиданные случаи, но не заменяет точную спецификацию и не доказывает корректность для всех возможных значений. Неполное свойство способна выполнить и неправильная функция.

Свойство начинается с определения результата

Функция clip(x,a,b) должна ограничивать целое x интервалом от a до b включительно, причём a≤b. Если x меньше a, возвращается a; если больше b — возвращается b; внутри интервала возвращается сам x. Например, clip(12,3,9)=9, а clip(7,3,9)=7.

Из определения следуют несколько проверок: результат лежит внутри интервала, допустимое исходное значение не меняется, повторное ограничение результата тем же интервалом ничего не меняет. Генератор должен создавать и значения ниже границы, и внутри, и выше. Если всегда выбирать x между a и b, ветви ограничения вообще останутся непроверенными.

Пример

Ошибочная функция, всегда возвращающая a, проходит проверку «результат внутри [a,b]».

Но на x=7, a=3, b=9 она выдаст 3 вместо 7. Одного требования диапазона недостаточно, чтобы описать нужное поведение.

Контрпример должен объяснять нарушение

Когда найден сбой, сохраняют вход и ожидаемое правило, которое нарушено. Небольшой пример часто понятнее огромного случайного числа: для функции «всегда a» подойдут x=1, a=0, b=2. Системы генерации могут пытаться уменьшать неудачный вход, сохраняя нарушение, но это не означает нахождение единственного глобально самого маленького контрпримера.

Из найденного случая делают отдельный регрессионный тест. Тогда ошибка продолжит проверяться и при другом случайном наборе в будущем. Повторяемость важна: записывают настройки или сохраняемый инструментом пример. Если функция зависит от времени, сети или внешнего состояния, сначала нужно управлять этими зависимостями, иначе один и тот же вход может вести себя по-разному.

Независимость проверки важнее количества генераций

Полезно сравнивать быструю реализацию с простым понятным эталоном на небольших входах. Но копировать тот же алгоритм в тест почти без изменений опасно: две версии могут повторять одну ошибку. Для clip можно отдельно проверить три области определения, а на границах a=b ожидать единственное разрешённое значение.

Нужно явно определить поведение на a>b: отказ, перестановка границ или другое правило. Генерация таких входов без ожидаемого ответа даст шум вместо проверки. Сто успешных запусков означают только, что нарушения не найдено в этих проверках. Осмысленные свойства, разные классы входов и сохранённые конкретные примеры дополняют друг друга; большой счётчик сам по себе не является доказательством.

От чтения к действию

А теперь — вы

Функция должна возвращать x, если 2≤x≤8, и ближайшую границу иначе. Какая проверка обнаружит реализацию, всегда возвращающую 2?

Частые вопросы

Идемпотентность clip достаточна для правильности?

Нет: функция, всегда возвращающая нижнюю границу, тоже идемпотентна. Нужны другие требования, включая сохранение значений внутри интервала.

Стоит ли удалять обычные примеры после добавления генератора?

Нет: конкретные границы и уже найденные ошибки полезно сохранять явно. Генератор расширяет покрытие, а примеры фиксируют важные договорённости.

Источники и работа с материалом

Объяснение, примеры и вопросы написаны для erudeet. Факты и определения сверены по источникам ниже; это ссылки для самостоятельной проверки.

Продолжить разбираться