Я делаю систему, которая собирает черновики производственных инструкций — из описания задачи, документов предприятия и открытых стандартов. Устроена она вокруг одного принципа: ничто не считается подтверждённым по умолчанию. Каждое утверждение хранится с типизированным происхождением и статусом «не проверено», повысить статус может только запись о валидации от человека, генерация обязана работать и без внешней модели, а черновик приезжает к эксперту вместе со списком того, что ему предстоит проверить руками.
Рубрика «мутационное тестирование»
Сколько ваших проверок хоть раз возвращали False?
2026-09-09 в 12:02, admin, рубрики: precision и recall, python, качество кода, ложные срабатывания, метрики качества, мутационное тестирование, Регулярные выраженияКак писать качественные unit-тесты: процент покрытия, мутанты и работа с моками
2024-10-30 в 5:15, admin, рубрики: golang, gomock, qa, testing, качество, моки, мутационное тестирование, юнит-тестыПривет! Меня зовут Марина, я Backend-инженер в компании Авито. Сегодня я хочу поделиться собственными рекомендациями, к которым удалось прийти при работе над качеством тестового покрытия сервисов нашей команды.
Итак, дело было давным-давно, у нас было пять сервисов, около 70% покрытия, интеграционные тесты... и всё равно баги оставались неуловимыми. Шутка, конечно, все куда проще. Процент покрытия и правда выглядел неплохо, но почему тогда мы решили что-то менять?
В чём подвох процента покрытия?
Изучаем mutmut — инструмент для мутационного тестирования на Python
2020-07-27 в 11:00, admin, рубрики: mutmut, python, Блог компании VDSina.ru — хостинг серверов, мутационное тестирование, мутационные тесты, Программирование, Тестирование веб-сервисовМутационное тестирование позволяет выявить баги, которые не покрыты обычными тестами.
У вас есть тесты на все случаи жизни? Или может быть, в репозитории вашего проекта даже лежит справка «О 100-процентном тестовом покрытии»? Но разве в реальной жизни всё так просто и достижимо?
Мутационное тестирование в PHP: качественное измерение для code coverage
2019-08-06 в 15:18, admin, рубрики: php, unit-testing, Блог компании Badoo, мутационное тестирование, Программирование, Тестирование IT-систем, Тестирование веб-сервисовКак оценивать качество тестов? Многие полагаются на самый популярный показатель, известный всем, — code coverage. Но это количественная, а не качественная метрика. Она показывает, какой объём вашего кода покрыт тестами, но не то, как хорошо эти тесты написаны.
Один из способов разобраться в этом — мутационное тестирование. Этот инструмент, внося небольшие правки в исходный код и заново прогоняя после этого тесты, позволяет выявить бесполезные тесты и низкокачественное покрытие.
На Badoo PHP Meetup в марте я рассказывал, как организовать мутационное тестирование для PHP-кода и с какими проблемами можно столкнуться. Видео доступно по ссылке, а за текстовой версией добро пожаловать под кат.
Мутационный анализ, или как тестировать тесты
2018-11-21 в 6:24, admin, рубрики: frontendconf, javascript, Блог компании Конференции Олега Бунина (Онтико), мутационное тестирование, Разработка веб-сайтов, Тестирование веб-сервисовТестов много не бывает — это все знают. Мемы про unit и интеграционное тестирование уже не очень-то веселят. А мы по-прежнему не знаем, можно ли полагаться на результаты прохождения тестов, и какой процент покрытия позволит не пустить баги в продакшен. Если фатальные изменения в коде проскакивают тесты, не оказывая влияния на их результат, то решение напрашивается само — надо тестировать тесты!
О подходе к автоматизации этой задачи и был доклад Марка Лангового на Frontend Conf. Видео и статья короткие, а идеи очень рабочие — надо брать на заметку.
Читать полностью »
Stryker, мутационное тестирование в JavaScript
2017-10-27 в 12:14, admin, рубрики: chai.js, javascript, mocha.js, mochajs, mutation-analysis, node.js, nodejs, testing, мутационное тестирование, тестирование поНедавно я познакомился с методом тестирования ПО под названием «Мутационное тестирование» и уже успел стать фанатом такого подхода к написанию тестов.
Сначала теория
Цель мутационного тестирования состоит в выявлении неэффективных и неполных тестов, то есть это по сути тестирование тестов.
Идея состоит в том, чтобы изменять небольшие случайные фрагменты исходного кода и наблюдать за реакцией тестов. Если после внесения изменений тесты всё равно пройдены, то такой набор тестов неэффективен или неполон.