Вся правда о тест планах

Перелистывал на днях буржуйские блоги и наткнулся на пост небезызвестного  Парадипа Саундарараяна, в котором он срывает покровы и режет правду-матку о тест планах. И так мне этот пост пришелся по душе, что решил утащить его к себе, слегка перемешав со своими размышлизмами.

Собственно, размышлизмы...

Я вполне допускаю, что у меня какое-то предвзятое отношение к тест планам как к таковым. Ведь могло так случиться, что за свою не очень-то и долгую карьеру тестировщика мне довелось повидать слишком мало проектов, которым тест план был бы позарез необходим. Я бы сказал, исчезающе мало.

Нет, ну, правда. Вот если взять и спросить тех, кто сейчас читает этот пост: «Пишут ли у вас на работе тест планы?». Наверняка же многие ответят: «Да, пишут!». А если спросить: «А читают?», то они, скорее всего,  смущенно пожмут плечами и ответят в сторону что-нибудь нечленораздельное.  И можно ли их в этом упрекнуть? Может быть, но я бы не стал.

Знаете почему? Я знаю, что вы знаете, но все равно расскажу.

Вот как обычно рождаются тест планы?

А вот так

Планируем или начинаем разработку какого-нибудь продукта.

Приходит  некий менеджер и спрашивает:

–  И как вы, господа, будете нам качество обеспечивать?

А вы ему:

– Ну как, мы возьмем то и это, здесь такие тесты проведем, там – эдакие, вот для этого чек листы напишем, а для этого и тест кейсов не жалко, тут немного автоматизируем...

А он такой:

– ??!

И подумав:

– Не, ребят, так не пойдет. Что я потом в метрики запишу? А заказчику че показывать? Давайте-ка вы тест план набросаете, и все будут знать, что вы делаете, а заодно и свою работу распланируете.

Понятно кто:

-

Ну, че тут сделаешь? Рожу скривил, рукава засучил, написал, показал, забыл. Ты забыл и все забыли. Зато ощущение сухости и комфорта осталось... у менеджера.

Но такие менеджеры, пожалуй, не так часто попадаются, да и объяснить же можно, в конце концов. А бывает хуже.

Хуже

Планируем или начинаем разработку какого-нибудь продукта.

Проявляется заказчик:

– Здрасьте. Я тут денег за тестирование заплатил.

– Да, да, мы в курсе. Будем тестировать.

– Ну да, ну да... А мне вот хотелось бы знать, как вы будете тестировать? Сами же знаете Plan, Do, Check… Короче, хочу Plan.

И вы такие на пару с менеджером:

–

Рожи скривили, рукава засучили…  Дальше сами знаете.

Но и это ведь не худший сценарий. Все-таки в начале проекта пишется, мало ли, вдруг выстрелит, и потом пользоваться будете. Но бывает же и по-другому.

По-другому

Разрабатывали чего-то. Долго-долго. И тестировали. Долго-долго. И даже какие-то артефакты в виде чек листов или тест кейсов остались.

И вот, значит, выпустили это все в продакшен. И довольны все. Ну, баги там какие-то по ходу дела фиксятся, да хотелки добавляются. И тестировщику осталось работы на полчаса-час в день. Красота!

И тут, опять же, заказчик:

– Хай! Я тут денег за тестирование заплатил...

– ??!

– ...и неспокойно мне на душе, тревожит меня качество, ведь у всех тест план есть, а у нас...

А у тебя в мыслях:

– Изыди сотона!

И давай креститься-отмахиваться. Но глубоко в душе все равно понимаешь, что закончится тем, что рожу скривишь, рукава засучишь и...

А еще случается странное.

Странное

Действующие лица:

ХХХ – проект  продолжительностью около 80 часов

Нащальнике – нащальнике

Мну – тестировщик

(звучит музыка, открывается занавес)

Нащальнике: Привет

Мну: Привет

Нащальнике: Слу, тут по проекту XXX хотят тест план

Мну: 0_о

Мну: Нащальнике, а ты уверен, что им именно тест план нужен?

Нащальнике: Неа, не уверен...

Мну: Может уточнить?

Нащальнике: Да я тоже так подумал, но решил спросить, может ты представляешь зачем это им...

Мну: Без понятия

Нащальнике: Ок, уточню

(спустя час)

Нащальнике: Слушай, они твердо убеждены, что им нужен тест план. На вопрос зачем, отвечают: «Ну эта... шоп тестировать!»

Мну: Нащальнике, мне кажется, им нужен чек лист

Нащальнике: Похоже на то... Хмм...  Пиши чек лист.

Мну: Ок

(спустя еще несколько часов)

Мну: Нащальнике, лови чек лист

Нащальнике: Спасибо!

(и еще несколько часов)

Нащальнике: !!!

Нащальнике: Отправил им чек лист! Пишут: «Спасибо! Это именно то, что нам было нужно»!!!

Мну:

(занавес)

Но эта история с хеппи эндом, а ведь могла бы... могла бы закончиться как обычно. И появился бы на свет еще один монструозный write-only документ, оформленный в лучших традициях IEEE 829.  И мирно почивал бы себе в каком-нибудь SharePoint’е среди десятка других очень полезных планов и отчетов.

И что потом с этим документом делать?

Верить!

Верить в то, что он будет приносить пользу.

Хотя я лично не верю. И Парадип вот не верит, о чем прямо заявляет в своих тезисах:

• 98% тест планов никогда не обновляются и не поддерживаются в актуальном состоянии, короче говоря, о них просто забывают
• Первые 5 страниц тест плана содержат историю изменений, которая не интересует даже тех, чьи имена в ней перечислены
• Раздел описывающий цели тестирования  является самой забавной частью этого документа. Порой, когда тестировщик сообщает о серьезной проблеме, кто-нибудь цитирует этот раздел, намекая на то, что находить проблемы такого рода не входило в его задачи и… Опа! Продукт и проблема живут дальше бок о бок
• Конечные пользователи могли бы экономить миллионы долларов, если бы компании, разрабатывающие ПО, перестали писать тест планы
• Не имеет значения насколько хорошо или плохо написан ваш тест план – тестировщики все равно будут писать тест кейсы так, как они считают нужным
• На проекте, который длится 4 года, никто и никогда не вспоминает о тест плане
• Тест план – отличный инструмент для аутсорсинговой компании, который позволяет потребовать денег у заказчика, не проводя при этом тестирование как таковое
• Каждый, кто принял участие в процессе написания тест плана, испытывает  чувство глубочайшего удовлетворения в тот момент, когда этот документ завершен. При этом не важно, есть ли у них план тестирования или нет
• Стоимость рецензирования документа, который никто не собирается использовать, слишком высока
• Тот, кто считает, что он не готов к началу тестирования, поскольку у него нет тест плана, на самом деле не является тестировщиком
• Небольшой понятный тест план, который вы сможете поддерживать в актуальном состоянии, куда лучше, чем очень большой и подробный до которого никому нет дела
• Одна хорошая ассоциативная карта  заменит вам тысячу прекрасных тест планов
• Тест план – это всегда документ, но далеко не всегда это план тестирования
• Заставляя тестировщика писать документ, который никто не будет читать, не надейтесь, что он вложит в его написание душу
• Некоторые тест планы устаревают еще до того момента, как в их черновике будет дописана последняя строчка
• Некоторые рецензенты добиваются того, чтобы тест план был идеален, при этом совсем не факт, что они знают хоть что-нибудь о разрабатываемом продукте
• Тот, кто знает, что такое альтернативная стоимость, скорее всего, напишет тест план куда лучше того, кто о ней не знает

Ну что тут добавишь?

Пишите меньше тест планов – больше планируйте! И если уж созрели для написания такого документа, то сделайте его логическим продолжением вашего проекта, а не пятым колесом.