В июле мы выпустили 1С:Документооборот версии 1.3.1.5. В эту версию вошло очень много нового, и поэтому мы решили уделить тестированию особенное внимание.
Конечно, мы тестируем выпускаемые версии всегда, даже тестовые, но в этот раз решили заняться этим особенно плотно. Составили план, прикинули время - получилось 1,5 человеко-месяца только на тесты. А ведь найденные ошибки надо еще и исправить и повторно проверить.
Поэтому помимо тестировщиков к тестам была привлечена практически вся команда - (разработчики, тестер, методолог и даже юзабилити-специалист). План был составлен так, чтобы разработчики не проверяли свои собственные механизмы.
На протяжении двух недель перед выпуском шло массированное тестирование по заранее подготовленным тестам. В результате мы нашли и до выпуска исправили несколько сотен ошибок.
И, в общем, все шло как обычно, пока мы не решили включить в план тестирования побольше всяких баз разного калибра. Эти базы мы сочинили сами, плюс смоделировали ситуации из обращений в техническую поддержку.
Например, у одного клиента в списке исполнителей процесса Исполнение были ссылки на несуществующие объекты (Пользователи, Роли). При обновлении на новую версию запускался перерасчет прав, возникала ошибка и обновление останавливалось.
У другого клиента почему-то оказался незаполненным справочник ПраваГруппДоступаНаТаблицы. В результате после обновления все данные стали недоступными обычным пользователям.
Еще у одного клиента в базе было 300 тысяч процессов. Некоторые с большим числом исполнителей - по 500 человек. Нам было важно проверить, что обновление не спотыкается о такой объем. Проверили - не споткнулось.
Базы нашего собственного сочинения заметно более "стерильные" и в них таких проблем нет. Придумывать такие случаи самим получается не очень хорошо. Да и реальная жизнь гораздо богаче на сюрпризы - всего не предусмотришь. Поэтому обращения в техническую поддержку оказались очень хорошим подспорьем.
В результате получилось несколько моделей тестовых баз, например:
Для каждой такой базы мы проверяли:
Тесты шли долго, так как для них использовались обычные компьютеры сотрудников. Например, первые две базы обновлялись почти сутки каждая. А нам понадобилось сделать по три итерации проверки, чтобы найти и исправить все ошибки и убедиться, что тест пройден.
Прямо сейчас мы составляем план тестирования версии 1.3.2 и хотим включить в него еще больше тестовых баз, составленных по мотивам обращений в техническую поддержку.
А еще мы активно занимаемся темой автоматизированного тестирования 1С:Документооборота с использованием новых возможностей платформы 8.3.3.
Но это уже совсем другая история.
А. Безбородов.
