Inleiding

We geven je met deze proefles zicht in de opleiding Informatica/computergerichte vakken.

Je start zo direct met een e-video. Daarna lees je een interessant stuk uit het boek SmarTEST – Slim testen van informatiesystemen. Tijdenshet lezen van de lesstof kun je jezelf testen door vragen te beantwoorden. 

Start proefles

De onderstaande video is afkomstig uit de module Ontwerpen en programmeren. Elke module die je volgt bij Hogeschool NTI bevat meerdere video's waarin belangrijke onderwerpen uit de module worden uitgelegd.

SmarTEST – Slim testen van informatiesystemen (Egbert Bouman)

Slim Testen van Informatiesystemen.
Egbert Bouman.

12.5 Eendimensionale risicoanalyse: de TRA-methode

De klassieke Test Risico Analyse-methode (TRA) houdt in dat slechts één dimensie, namelijk die van de onderdelen, wordt geprioriteerd. Eventueel met een afzonderlijk lijstje van belangrijke kwaliteitseigenschappen. Het voordeel van deze manier van prioriteren is de eenvoud en de concreetheid: vooral technici praten gemakkelijker over systeemdelen dan over de toch wat abstractere kwaliteitseigenschappen. Figuur 12.1 geeft een voorbeeld van een ingevuld formulier voor een dergelijke eendimensionale risicoanalyse. Daarin staat hoe de risicoscore wordt berekend op basis van een bepaling van de Faalkans (samengesteld uit complexiteit en gebruiksfrequentie) en de potentiële Schade (samengesteld uit interne en externe schade, direct én met doorwerking op lange termijn).

12.6 Tweedimensionale risicoanalyse: de PRIMA-methode

Een tweedimensionale risicoanalyse is gericht op twee zaken:

• Onderdelen: welke dingen?
• Kwaliteitseigenschappen: welke eigenschappen van die dingen?

De onderdelen zijn de producten, de dingen, de 'deliverables' van het project. In eerste instantie denken we dan aan de onderdelen van het op te leveren informatiesysteem. Maar er is meer! Bewust is hier de brede aanduiding 'onderdelen' gehanteerd, want zoals in hoofdstuk 2 gezegd: succes is meer dan een mooi systeem. Op de 'onderdelenlijst' staat dus niet alleen het systeem, maar wellicht ook processen en informatie. Ook dat zijn dingen met eigenschappen.

En ook daarvoor gelden acceptatiecriteria waarvan we de risico's willen kennen, die we vervolgens misschien wel door middel van testen willen afdekken. De andere dimensie zijn de kwaliteitseigenschappen, zoals functionaliteit en juistheid, maar ook gebruiksvriendelijkheid en snelheid. En voor een eindgebruiker minder voor de hand liggende zaken als onderhoudbaarheid en overzetbaarbeid naar andere besturingssystemen. Een volledig referentiekader voor mogelijk relevante kwaliteitsaspecten biedt het IPS-model in hoofdstuk 3. Eén dimensie is een lijst, twee dimensies is een matrix. Een tweedimensionale risicoanalyse levert dus een matrix. En omdat we het hier over risico's van producten hebben, ligt de benaming Product Risico Matrix (PRIMA) voor de hand.

In tegenstelling tot een ééndimensionale checklist verschaft een dergelijke matrix een compleet beeld van de projectresultaten en op die manier kunnen we de risico's genuanceerd visualiseren.
En visualisatie is belangrijk! Niet als doel op zich maar om te communiceren met de acceptanten. In workshops en daarbuiten.
Dezelfde matrix kan ook gebruikt worden om andere keuzes te documenteren, bijvoorbeeld door in de cellen aan te geven in welke testsoort (OT, ST, GAT, ... ) deze gedekt wordt.

De productrisicomatrix heeft twee assen, waarop de twee dimensies van het op te leveren product zijn uitgezet: de onderdelen en de kwaliteitskenmerken. Dit biedt de mogelijkheid om per combinatie, 
per 'cel', aan te geven wat het belang en de risico's zijn. Dat is nodig omdat niet voor alle onderdelen dezelfde kwaliteitseisen gelden.
In figuur 12.2 een voorbeeld van een productrisicomatrix voor een Customer Relationship Management-implementatie.
Zowel voor de kwaliteitskenmerken als voor de onderdelen is een risicoscore opgenomen. De kruisjes in de cellen geven aan voor welke combinaties extra risico wordt voorzien: meer kruisjes is meer risico.

12.7 Het PRIMA-stappenplan

Het uitvoeren van een risicoanalyse en opstellen van de productrisicomatrix is een samenspel tussen de opdrachtgever, de acceptanten en de begeleider, meestal de testmanager. Daarbij gelden de volgende stappen:

1. Voorbereiding en eerste invulling van de matrix door de workshopleider en enkele deskundigen.
2. Workshop met de acceptanten: 

- bepaal de relevante productonderdelen (de horizontale as); 
- bepaal de relevante kwaliteitskenmerken (de verticale as);
- prioriteer onderdelen en kwaliteitskenmerken; 
- bepaal de risico's per combinatie.

3. Follow-up met rapportage en toepassing (als 'geweten van het testtraject').

Na een voorzet van de begeleider volgt bij voorkeur een workshop met alle acceptanten. De voorzet bestaat uit een complete matrix, echter zonder de risicoscores. Die voorzet is belangrijk, omdat anders de workshop te lang zou duren. Uitgangspunt moet zijn dat het beslag op de tijd van de acceptanten minimaal blijft: een workshop mag hooguit een halve dag duren. Verder zullen één of twee inhoudelijk extra deskundige acceptanten ongeveer een halve dag beschikbaar moeten hebben om samen met de testmanager de voorzet te maken. In een korte presentatie wordt de matrix bij aanvang van de workshop toegelicht, en zo nodig aangepast en aangevuld. Daarna wordt de risicoanalyse uitgevoerd.

In bijlage E wordt de hele aanpak in detail beschreven. Op de website zijn de bijbehorende toolkit en de handleiding te vinden.

Bijlage E: Werkinstructie 'risicoanalyse met de PRIMA-matrix'

Hierna volgt een stappenplan voor het opstellen van een Product Risico Matrix, zoals behandeld in hoofdstuk 12. Het stappenplan is generiek maar gaat uit van toepassing van de PRIMA-tool, te vinden op www.smartest.nl. De resultaten blijven daarmee beschikbaar om gemaakte keuzes te verantwoorden en eenvoudig bij te stellen.

De eigenlijke risicoanalyse, het hart van het proces, kent vier stappen:
1. Bepaal de relevante productonderdelen (de horizontale as) Maak een zo logisch en volledig mogelijke lijst van systeemfuncties en andere productonderdelen (processen, informatie). Zie de paragraaf over decompositie van het testobject in hoofdstuk 12 voor een handreiking daarbij.

2. Bepaal de relevante kwaliteitskenmerken (de verticale as) Bepaal alle waarschijnlijk relevante kwaliteitskenmerken. Ten behoeve van de volledigheid en de communicatie gebruiken we hiervoor het in hoofdstuk 2 beschreven IPS-model of de afzonderlijke modellen:
- Systeem - Het ISO 9126-model voor softwarekwaliteit
- Informatie - Het IDQ-model voor Kwaliteit van In formatie en Gegevens
- Processen - Het POQ-model voor Kwaliteit van Processen in Organisaties

Deze modellen bieden een compleet referentiekader, zodat we geen belangrijke kenmerken over het hoofd zien. Maak hieruit een relevante selectie van hoofd- en subkenmerken die mogelijk van belang zijn voor het eindresultaat van het onderhavige project. Misschien kan hierbij gebruik worden gemaakt van een overzicht van organisatiebreed belangrijk geachte kwaliteitskenmerken, generieke acceptatiecriteria en normenkaders.

3. Prioriteer onderdelen en kwaliteitskenmerken
Maak een voorlopige prioritering per as. Voor kwaliteitskenmerken volstaat meestal een eenvoudige verdeling met punten of een Hoog/Midden/Laag-aanpak. Voor de onderdelen verdient het aanbeveling om een meer verfijnde risicoanalyse te hanteren, zoals beschreven bij de TRA-eendimensionale risicoanalyse.

4. Bepaal de risico's per combinatie
Identificeer, liefst in een workshop met alle acceptanten, de belangrijkste combinaties onderdeel/kwaliteitskenmerk. Zorg voor een evenwichtige invulling: het is niet mogelijk dat de helft van de matrix relatief zeer belangrijk is. Confronteer deze stap met de risicoscores op de assen: er moet een zekere consistentie zijn met deze eerder vastgestelde risicoscores.

Hierna volgt de gedetailleerde werkinstructie uit de PRIMA-toolkit van Valori, zoals beschikbaar bij verschijning van het boek. De laatste versie van de tool, mét deze werkinstructie vindt u op de website.

De aanpak valt uiteen in:
A. voorbereiding en eerste invulling van de matrix door de workshopleider en enkele deskundigen;
B. workshop met de acceptanten;
C. follow-up met rapportage en toepassing als 'geweten van het testtraject'.

A. Voorbereiding door workshopleider (vaak de testmanager):

Naarmate je meer deelnemers en/ of minder tijd hebt voor de plenaire workshop, wordt de voorbereiding belangrijker. Overweeg om het proces eerst met 1 of 2 goed ingewijde acceptanten te doorlopen en in de workshop een min of meer uitgewerkt voorstel te presenteren.
Maar wees voorzichtig met voorgebakken scores, want dan dwing Je de deelnemers niet meer tot eigen onafhankelijke oordeelsvorming.

1. Projectgegevens - Leg de algemene gegevens van het project en de op te leveren producten vast op blad Projectgegevens.

2. Acceptanten. - Stel in overleg met opdrachtgever/projectleider vast wie de acceptanten zijn, en vul dit in op blad Acceptanten. Kies vervolgens één of twee inhoudelijk goed ingewijde acceptanten,
analisten of andere specialisten om met hen de workshop voor te bereiden.

3. Bronnen - Belangrijke ingangsdocumenten kunnen vastgelegd worden op blad Bronnen.

4. Onderdelen - Bepaal in overleg met de acceptanten en specialisten de onderdelen van het op te leveren (en te testen) product. Ideaal aantal is tussen 5 en 10 onderdelen. Meer onderdelen maakt de matrix lastig hanteerbaar. Beperk je niet tot het informatiesysteem, maar ga ook na of Informatiekwaliteit en de inrichting van werkprocessen en organisatie ook tot de scope van de test behoren. Vul dit in op blad Onderdelen. Licht toe en benoem desgewenst subonderdelen.

5. Kwaliteitseigenschappen - Maak een voorselectie van relevante kwaliteitseigenschappen. Gebruik hiervoor het IPS-model van Valori voor kwaliteit van Informatie, Processen en Systemen eventueel met de detailmodellen ISO 9126 voor softwarekwaliteit' IDQ voor Informatiekwaliteit en POQ voor Kwaliteit van Processen in Organisaties. Vul dit in op blad Kwaliteit. Ideaal is 10, maximaallS. In de matrix verschijnt na sorteren de top 10.

6. Uitnodigingen - Organiseer een workshop van een halve dag, waarvoor je alle belangrijke acceptanten uitnodigt.

B. Workshop

Notulist: Bij het proces rondom de risicomatrix komen ongetwijfeld individuele acceptatiecriteria naar boven die in eerste instantie te gedetailleerd zijn. Registreer deze wel, want dit is waardevolle informatie. Het is daarom handig om een notulist te hebben tijdens de workshop.

Interactief: Dit hele proces is interactief en de resultaten worden Direct in de PRIMA-tool ingevuld en gepresenteerd. Daarvoor zijn laptop en beamer nodig. Wel is het verstandig om in eerste instantie de scores te verzamelen op enkele grote flip-overbladen.

Middeling van individuele keuzes: De ranking vindt plaats door elke deelnemer een aantal stickers of een aantal te verdelen punten te geven. Zo kan iedereen zijn eigen keuze maken, en ontstaat er geen patstelling. Stimuleer wel de onderlinge gedachtewisseling en bijstelling van meningen.

Variabel gewicht deelnemer:

Desgewenst kan onderscheid gemaakt worden door de ene deelnemer meer stickers/punten te geven dan de ander. Maar pas hiermee op! Afronden: Zowel op blad Kwaliteit als op blad Risico is een kolom 'afgerond', waarmee bijstellingen op berekende scores gemaakt kunnen worden.

1. Intro - Geef een korte toelichting op de scope van het project, de testopdracht, en het doel van de workshop: het verkrijgen van een globaal, maar wel breed en compleet beeld van alle relevante risico's. Dit vormt het 'geweten' Van het QA- en testtraject, en als het enigszins kan ook van het ontwikkeltraject. Heel concreet betekent dit dat straks de lijst van acceptatiecriteria op volledigheid getoetst kan worden.

2. Vaststellen scope en onderdelen - Licht de in de voorbereiding benoemde onderdelen toe (PowerPoint presentatie?!) en stel die gezamenlijk vast.

3. Vaststellen relevante kwaliteitseigenschappen - Licht de voorgeselecteerde kwaliteitseigenschappen toe, en stel die gezamenlijk vast.
Nu volgt discussie en prioritering door elke deelnemer. Voor en tijdens dit proces zorgt de workshopleider voor een constructieve gedachtewisseling en discussie. Ieder kan uiteindelijk zijn eigen keuzes maken. Dit groepsproces voorkomt eenzijdige oordeelsvorming en leidt tot begrip voor elkaar. Consensus is echter niet nodig, want uiteindelijk kan iedereen zijn eigen scores kiezen. Zet de scores daarna in de PRIMA-tool en presenteer met laptop en beamer. Bij weinig deelnemers kan dit direct op de laptop, zonder beamer.

4. Prioritering kwaliteitseigenschappen - Bepaal het relatieve belang van de kwaliteitseigenschappen door iedere deelnemer een afgesproken aantal punten of stickers te laten plaatsen op een flipover. Vul dit in de kolom belang op blad Kwaliteit. Sorteer de lijst op aflopend belang.

5. Prioritering FAALKANS per onderdeel - Elke deelnemer bepaalt voor zichzelf de FAALKANS per onderdeel (Laag, Midden, Hoog). Neem plenair de scores over op blad Faalkans. Bespreek dit en stel eventueel bij.

6. Prioritering SCHADE per onderdeel - Herhaal dit voor het bepalen van de verwachte SCHADE.

7. Risico = Faalkans x Schade - Bespreken en afronden: bespreek de score’s, laat deelnemers eventueel bijstellen, en bepaal dan gezamenlijk de afgeronde scores op blad Risico.

8. Prioriteren per combinatie - Ga nu naar blad Matrix, en stel met elkaar vast welke combinaties verhoogde aandacht, c.q. test inspanning vergen: aan te geven met 1 tot 3 kruisjes. Het gaat er hierbij niet om dat in elk vakje wat ingevuld wordt, maar wel dat de deelnemers aangeven waar ze het zwaartepunt willen hebben van het QA- en testtraject.

9. Double check - Verifieer tijdens en na de voorgaande stap door 'confrontatie' met de eerder vastgestelde prioritering per onderdeel en per kwaliteitseigenschap. Dit hoeft niet 100 procent sluitend te zijn, maar een te grote mismatch moet door de workshop leider gesignaleerd en plenair rechtgezet worden.

c. Follow-up (na de workshop)

De matrix geeft de richting aan en moet fungeren als geweten van het testtraject.

1. Rapportage - Communiceer het resultaat van de workshop aan opdrachtgever(s), acceptanten, projectleider en alle andere betrokkenen. Vermeld erbij dat dit nog bijgesteld kan worden (voortschrijdend inzicht!) maar dat het voor dit moment de visie is van alle acceptanten.

2. Acceptatiecriteria - Ga nu een lijst met concrete acceptatiecriteria maken (Valori-template beschikbaar op de website), op basis van brondocumenten en met input van alle acceptanten. Het verschil met de risicomatrix is dat de acceptatiecriteria concrete, zo veel mogelijk meetbaar geformuleerde dingen zijn. Het completeren van een lijst met acceptatiecriteria is veel werk, en kan niet in een workshop gebeuren, hoewel aanvullende workshops om meer boven water te krijgen wel een optie kunnen zijn. Afhankelijk van aard, omvang en stadium van het project kunnen hier enkele dagen tot vele weken overheen gaan.

3. Risicomatrix view -  Als de acceptatiecriteria in de Valori-template zijn ondergebracht, kan daarmee de Product Risico Matrixview worden gegenereerd. Deze kan vergeleken worden met de matrix uit de workshop, ter controle op volledigheid.

4.Confrontatie - Hoe meer kruisjes er in een cel van de PRIMAmatrix staan, hoe meer je verwacht dat er ook acceptatiecriteria voor die combinatie bestaan. Als dat niet het geval is, dan is dat verdacht en is nadere analyse en bespreking nodig.

Hiermee krijgt de gewetensfunctie van de PRIMA-matrix gestalte!

Vragen

Casus: Transportbedrijf De snelle koerier werkt aan een nieuw informatiesysteem met de onderstaande onderdelen. Voor het testen is 500 uur begroot. Aan de hand van de TRA-risicoanalyse methode is per onderdeel voor faalkans en schade een schatting gemaakt aan de hand van de factoren complexiteit, frequentie, interne schade en externe schade. De testmanager wil graag de beschikbare testuren verdelen over de te testen onderdelen aan de hand van de scores van deze risicoanalyse.

Vraag 1:

Bereken aan de hand van de TRA-risicoanalysemethode de score van het risico op de aangegeven onderdelen en aan de hand daarvan de begroting in uren voor de testactiviteiten per onderdeel.

Vraag 2:

Naast de TRA-risicoanalysemethode is er ook nog de PRIMA-risicoanalysemethode. Geef aan welke voordelen de PRIMA-methode biedt t.o.v. de TRA-methode en geef aan hoe het IPS 360 graden perspectief ingepast kan worden in de PRIMA-matrix.

Antwoord

Antwoord vraag 1

Antwoord vraag 2
De PRIMA-methode richt zich niet alleen op de onderdelen (de deliverables), maar ook op de kwaliteitseigenschappen van deze onderdelen en dat geeft een beter beeld van de projectresultaten.
Op die manier kunnen risico’s genuanceerd gevisualiseerd worden. Het IPS 360-gradenperspectief kan in de PRIMA-matrix toegepast worden door op de kwaliteits-as de voor het projectresultaat meest relevante kwaliteitskenmerken te plaatsen over Informatiekwaliteit (gebruik daarvoor het IDQ model), Proceskwaliteit (gebruik daarvoor het POQ model) en Systeemkwaliteit (gebruik daarvoor het ISO 9126 model).
Zie par. 12.7 en bijlage E.