Yazılım Test Başlama ve Bitirme Kriterleri

Test bazen “after-the-fact” aktivitesi olarak düşünülür yani ürünün kodlaması bittikten sonra uygulanacak bir aktivite gibi fakat bu yanlış bir düşünce tarzıdır. Yazılım testi, gereksinimlerin ortaya çıkmasıyla başlaması gereken bir prosestir. Bir çok standard, gereksinimler gözden geçirilirken test senaryolarının da paralel olarak yazılmasını önermektedir. Bu sayede gözden geçirmeler sırasında özellikle “testability”, “ambiguity”, “completeness” gibi sorulara cevap vermek kolaylaşır ve geri dönüşler azalır.

Benim şahsi fikrim test tasarımının gereksinimler aşamasında yapılması, test prosedürlerinin ise yazılımın tasarımı olgunlaştıktan sonra tamamlanmasıdır fakat projenin takvimine göre bu aşama geç de olabilir. Burada yapılabilecek şey, test prosedürlerinin yazılım tasarımından en çok etkilenecek olanlarının belirlenmesi ve belki sadece bu testlerin tasarım olgunlaştıktan sonraki bir aşamaya bırakılmasıdır. Testlerde özellikle de entegrasyon testlerinde kullanılacak olan araçların projenin en başında Test Değerlendirme ve Ana Planında zaten belirlenmiş olması gerekmektedir.

Bence birim testler bir “software development” aktivitesidir. Yani geliştirici tarafından yapılan dinamik gereksinim, tasarım ve kod gözden geçirmesi sayılabilir. Bu sebeple burada bahsettiğim yazılım testi ifadesindeki “test” genelde entegrasyon (yazılım-yazılım, yazılım-donanım) testlerine karşılık gelmektedir.

Testler ne zaman bitmeli gibi sorular ilk defa bir projeye test mühendisi ya da uzmanı olarak başlayan çoğu insanın sorduğu bir sorudur. Aslında bu sorunun tek bir cevabı da yoktur. Fakat bu test sonlandırma kriterleri mutlaka ve mutlaka Test Değerlendirme ve Ana Planında yer almalı ve müşteri tarafından onaylanmalıdır.

Burada bilgi amaçlı örnek olsun diye bazı test sonlandırma kriterlerini de vermek istiyorum:

• Test prosedürlerinin %100’ü koşturulduğunda
• Test prosedürlerinin %95’i “PASS” olduğunda
• Yüksek öncelikli olan tüm testler “PASS” olduğunda
• 1.Öncelikli hatalar = 0
• 2.Öncelikli hatalar ≤ 2
• 3.Öncelikli hatalar ≤ 5
• 4.Öncelikli hatalar ≤ 10
• İstenilen kod kapsamı (code coverage) sağlandığında