Заметки из Зазеркалья

12.08.2013

Как мы тестировали 1С:Документооборот 1.3.1.5

В июле мы выпустили 1С:Документооборот версии 1.3.1.5. В эту версию вошло очень много нового, и поэтому мы решили уделить тестированию особенное внимание.

Конечно, мы тестируем выпускаемые версии всегда, даже тестовые, но в этот раз решили заняться этим особенно плотно. Составили план, прикинули время - получилось 1,5 человеко-месяца только на тесты. А ведь найденные ошибки надо еще и исправить и повторно проверить.

Поэтому помимо тестировщиков к тестам была привлечена практически вся команда - (разработчики, тестер, методолог и даже юзабилити-специалист). План был составлен так, чтобы разработчики не проверяли свои собственные механизмы.

На протяжении двух недель перед выпуском шло массированное тестирование по заранее подготовленным тестам. В результате мы нашли и до выпуска исправили несколько сотен ошибок.

И, в общем, все шло как обычно, пока мы не решили включить в план тестирования побольше всяких баз разного калибра. Эти базы мы сочинили сами, плюс смоделировали ситуации из обращений в техническую поддержку.

Например, у одного клиента в списке исполнителей процесса Исполнение были ссылки на несуществующие объекты (Пользователи, Роли). При обновлении на новую версию запускался перерасчет прав, возникала ошибка и обновление останавливалось.

У другого клиента почему-то оказался незаполненным справочник ПраваГруппДоступаНаТаблицы. В результате после обновления все данные стали недоступными обычным пользователям.

Еще у одного клиента в базе было 300 тысяч процессов. Некоторые с большим числом исполнителей - по 500 человек. Нам было важно проверить, что обновление не спотыкается о такой объем. Проверили - не споткнулось.

Базы нашего собственного сочинения заметно более "стерильные" и в них таких проблем нет. Придумывать такие случаи самим получается не очень хорошо. Да и реальная жизнь гораздо богаче на сюрпризы - всего не предусмотришь. Поэтому обращения в техническую поддержку оказались очень хорошим подспорьем.

В результате получилось несколько моделей тестовых баз, например:

  • Завод - 20 млн. записей;
  • Производственный холдинг - 2,5 млн. записей;
  • Добыча нефти и газа - 11 млн. записей;
  • Управляющая компания - 165 тыс. записей.

Для каждой такой базы мы проверяли:

  1. Обновление проходит быстро и нормально;
  2. Ключевые операции после обновления работают нормально и не медленнее чем до обновления.

Тесты шли долго, так как для них использовались обычные компьютеры сотрудников. Например, первые две базы обновлялись почти сутки каждая. А нам понадобилось сделать по три итерации проверки, чтобы найти и исправить все ошибки и убедиться, что тест пройден.

Прямо сейчас мы составляем план тестирования версии 1.3.2 и хотим включить в него еще больше тестовых баз, составленных по мотивам обращений в техническую поддержку.

А еще мы активно занимаемся темой автоматизированного тестирования 1С:Документооборота с использованием новых возможностей платформы 8.3.3.

Но это уже совсем другая история.

А. Безбородов.

Рассказать друзьям: