Testlederen som mangler i data- og analyseprosjekter

Hva skjer når tallene i rapporten ikke stemmer? I verste fall tas viktige beslutninger på feil grunnlag.

Likevel mangler mange data- og analyseprosjekter en tydelig testlederrolle. Ansvaret for testing fordeles gjerne mellom dataingeniører, analytikere og arkitekter, uten at noen har ansvar for kvaliteten i hele verdikjeden.

Hvorfor er det slik, og hva kan en testleder bidra med?

Hvorfor blir testing nedprioritert i dataprosjekter?

I tradisjonell systemutvikling har testlederen ofte en naturlig plass i prosjektet. I data- og analyseprosjekter er det ikke alltid slik. Det kan være flere grunner til det:

1. «Vi flytter jo bare data.» Integrasjoner og dataflyt blir ofte sett på som tekniske oppgaver, selv om feil kan påvirke hele beslutningsgrunnlaget.
2. Utviklerne tester selv. Dataingeniører og analytikere kontrollerer sine deler av løsningen, men hvem har ansvar for helheten fra kilde til rapport?
3. Feilene oppdages i produksjon. Først når tallene i en rapport ikke stemmer med regnskapet, blir problemet synlig.
4. Verktøyene er ikke alltid tilrettelagt for testing. Testdata, testmiljøer og testcaser får ikke nødvendigvis en naturlig plass i dataplattformen.

Konsekvensen er at feil i datamodeller kan bli stående lenge og påvirke både rapporter og beslutninger.

Når brukerne mister tilliten til tallene, vender de gjerne tilbake til egne Excel-ark. Da svekkes både beslutningsgrunnlaget og verdien av investeringen i analyseplattformen.

Hva gjør egentlig en testleder?

En testleder bidrar til at prosjektet vet hvor godt løsningen fungerer før den tas i bruk. Det handler ikke nødvendigvis om å utføre testene selv, men om å planlegge, koordinere og synliggjøre kvalitet.

Testlederen avklarer hva som skal testes, av hvem og når. Innsatsen prioriteres ut fra risiko, slik at testtiden brukes der feil kan få størst konsekvenser.

Rollen handler også om å sikre nødvendige testdata, testmiljøer og tydelige akseptansekriterier, følge opp avvik og rapportere kvalitetsstatus til prosjektledelsen.

Like viktig er samarbeidet mellom utviklere, analytikere og forretningsbrukere. Alle må ha en felles forståelse av hva som faktisk er riktig.

Testlederen er den som stiller spørsmålet ingen andre har tid til: Hvordan vet vi at tallene er riktige?

For å finne svaret må testlederen samarbeide tett med fagpersoner om referansetall og forventede resultater. Samtidig må personvern ivaretas, blant annet gjennom riktig håndtering av testdata, maskering og tilgangsstyring.

Testlederens sju bidrag i data- og analyseprosjekter

1. En teststrategi tilpasset data

Testlederen lager en strategi som dekker hele dataflyten, fra kildesystem til ferdig rapport. Strategien avklarer hva som skal testes, på hvilket nivå og hvilke kontroller som bør automatiseres.

2. Risikobasert prioritering

Ikke alle data er like kritiske. Tall som brukes i styrerapportering, regulatorisk rapportering eller fakturering krever grundigere testing enn en intern utforskningsrapport. Testlederen sørger for at innsatsen prioriteres der feil kan få størst konsekvenser.

3. Kontroll på datakvalitet

Sammen med forretningen definerer testlederen krav til datakvalitet, som kompletthet, unikhet, gyldige verdier og konsistens mellom systemer. Avstemming av antall rader og summer mellom kilde og mål er eksempler på viktige kontroller.

4. Test av dataflyt og transformasjoner

Data som flyttes og bearbeides, må kontrolleres mot forventede resultater. Testlederen samarbeider med dataingeniører om representative testdata og tester også grensetilfeller som nullverdier, duplikater og forsinkede leveranser.

5. Test av rapporter og dashboards

Selv om tallene er riktige i databasen, kan de vises feil i rapporten. Derfor må blant annet filtre, beregninger, tidsdimensjoner og tilgangsstyring testes, gjerne mot referansetall forretningen allerede stoler på.

6. Akseptansetest med forretningen

Testlederen legger til rette for at fagpersoner tester løsningen med egne problemstillinger og referansetall. Det bidrar til å avdekke misforståelser, skape eierskap og bygge tillit før løsningen tas i bruk.

7. Regresjonstest og kontinuerlig kvalitet

Dataplattformer er i stadig endring, med nye datakilder, felt og regler. Automatiserte regresjonstester bidrar til å avdekke om endringer påvirker eksisterende rapporter og tall.

Det samme gjelder maskinlæringsmodeller, hvor både modellens ytelse og endringer i datagrunnlaget må overvåkes over tid.

Hvorfor er testing av data annerledes?

En testleder fra tradisjonell systemutvikling må tilpasse tilnærmingen når vedkommende går inn i et data- og analyseprosjekt.

Selv om prinsippene for god testing er de samme, er det noen viktige forskjeller:

Den viktigste forskjellen er at fasiten ofte mangler.

Det gjør samarbeidet med forretningen ekstra viktig. Uten en felles forståelse av hva som er riktige tall, blir det også vanskelig å avgjøre om løsningen fungerer som den skal.

Slik kommer du i gang

Ikke alle data- og analyseprosjekter trenger en testleder i full stilling. Men det betyr ikke at testledelse bør nedprioriteres.

Noen enkle grep kan gjøre stor forskjell:

• Involver testleder tidlig. Selv noen dager i oppstarten kan være verdifulle for å etablere teststrategi og vurdere risiko.
• Definer hva som er riktig. Bli enige med forretningen om referansetall og akseptansekriterier før utviklingen starter.
• Start med avstemming. Automatiserte kontroller av antall rader og summer kan avdekke feil tidlig. Bygg deretter testene inn i plattformen, slik at kvaliteten kontrolleres ved hver kjøring.
• Gjør kvalitet synlig. En enkel kvalitetsstatus i prosjektets statusmøter gjør det lettere å ta gode beslutninger om lansering.

Målet er ikke nødvendigvis å innføre omfattende testprosesser, men å sikre at testing blir en naturlig del av arbeidet.

Tillit er den egentlige leveransen

Et data- og analyseprosjekt leverer ikke bare tabeller og dashboards. Det skal gi et beslutningsgrunnlag folk kan stole på.

Testlederen bidrar til at tilliten er velfortjent, gjennom en tydelig strategi for hva som skal testes, kontroll på datakvaliteten og forretningens godkjenning av tallene før de tas i bruk.

Spørsmålet er derfor ikke bare om prosjektet har råd til en testleder. Det er om det har råd til å ta beslutninger på tall som ikke er godt nok testet.