AI gør ikke en umoden testorganisation moden

Af: Ole Chr. Hansen, Q Nation A/S

Kunstig intelligens er på rekordtid blevet en del af softwareudvikling og test. AI kan analysere krav, foreslå risici, generere testcases, skabe testdata, skrive automatiserede tests, analysere fejl og udarbejde statusrapporter. Nye AI-agenter lover endda at kunne planlægge og gennemføre større dele af testarbejdet næsten selvstændigt.

Det er forståeligt, at mange organisationer ser AI som en genvej til hurtigere leverancer, højere automatiseringsgrad og lavere omkostninger.

Men der er en grundlæggende risiko ved den fortælling:

AI gør ikke en umoden testorganisation moden.

Hvis organisationens krav er uklare, bliver AI’s testcases også baseret på uklare krav. Hvis produktrisikoanalysen er mangelfuld, kan AI automatisere test af de forkerte ting. Hvis testdata er utroværdige, bliver AI’s analyser tilsvarende utroværdige. Og hvis ingen ved, hvem der må acceptere en risiko, gør en AI-genereret anbefaling ikke beslutningen mere ansvarlig.

AI kan skabe reel værdi i testarbejdet. Men teknologien erstatter ikke procesmodenhed, kompetencer, testdata, integration og governance. Den forstærker det fundament, organisationen allerede har.

Det er både AI’s store mulighed og dens største risiko.

AI er en forstærker – ikke en organisatorisk mirakelkur

DORA’s rapport om AI-assisteret softwareudvikling fra 2025 beskriver AI som en forstærker af organisationens eksisterende styrker og svagheder. De største gevinster kommer ifølge DORA ikke alene fra AI-værktøjerne, men fra den måde, organisationens samlede system understøtter anvendelsen på.

Det er en vigtig pointe.

En moden testorganisation kan bruge AI til at gøre en velfungerende risikobaseret proces hurtigere. Den kan lade AI analysere ændringer, foreslå relevante regressionstest og identificere områder, der kræver menneskelig undersøgelse. Resultaterne kan efterfølgende vurderes af personer, som forstår både domænet, teknologien og de risici, organisationen forsøger at reducere.

En umoden organisation kan bruge præcis den samme teknologi og få det modsatte resultat. Den kan producere hundredvis af testcases uden at vide, om de dækker de væsentligste risici. Den kan automatisere test på et ustabilt grundlag. Den kan generere overbevisende rapporter med misvisende konklusioner. Og den kan øge leverancehastigheden uden samtidig at styrke evnen til at opdage og håndtere fejl.

AI kan dermed gøre en moden organisation mere effektiv, men den kan også gøre en umoden organisation hurtigere til at træffe dårlige beslutninger.

Når AI skaber problemer, er den umiddelbare reaktion ofte at lede efter fejl i modellen, prompten eller værktøjet. Men årsagen kan lige så vel være uklar ansvarsfordeling, svage krav, utilstrækkelige testdata, manglende sporbarhed eller fravær af klare kvalitetsmål.

Problemet er i så fald ikke kun teknologisk. Det er organisatorisk.

Mere output er ikke det samme som mere kvalitet

En af de mest synlige gevinster ved generativ AI er evnen til hurtigt at producere store mængder output. På få sekunder kan et AI-værktøj skabe testcases, acceptkriterier, testdata, automatiseringskode og rapportudkast.

Det ser produktivt ud.

Men i softwaretest er mængden af produceret materiale et dårligt mål for kvalitet. Hundrede testcases er ikke nødvendigvis bedre end tyve. Et stort automatiseret regressionssæt er ikke nødvendigvis mere værdifuldt end et mindre og risikobaseret udvalg. Og en velskrevet statusrapport er ikke nødvendigvis et korrekt beslutningsgrundlag.

Det afgørende spørgsmål er ikke, hvor meget AI kan producere, men om outputtet reducerer relevant risiko.

Forestil dig en organisation, hvor kravene primært består af korte brugerhistorier uden præcise forretningsregler. Testerne bliver involveret sent, og der gennemføres sjældent en struktureret produktrisikoanalyse. Organisationen tager nu et AI-værktøj i brug til at generere testcases.

AI’en vil sandsynligvis producere plausible testcases. De vil være velformulerede, ensartede og hurtige at læse. Det kan skabe en oplevelse af større professionalisme.

Men AI’en kan ikke vide, hvilke forretningsregler der aldrig blev dokumenteret. Den kan ikke automatisk forstå de politiske, økonomiske eller driftsmæssige konsekvenser af en fejl. Den ved ikke nødvendigvis, hvilke integrationer der historisk har været ustabile, eller hvilke kundetyper der risikerer at blive behandlet forkert.

Resultatet kan være en flottere version af den eksisterende umodenhed.

Det er en særlig farlig situation, fordi AI-genereret indhold ofte fremstår sikkert og struktureret. Formen kan få os til at overvurdere substansen. Organisationen får flere testartefakter, men ikke nødvendigvis større indsigt i kvaliteten.

Produktivitet må derfor ikke defineres som produceret testmateriale. Den bør vurderes ud fra værdien af den feedback, testarbejdet skaber, og kvaliteten af de beslutninger, feedbacken understøtter.

TMMi hjælper os med at stille de rigtige spørgsmål

TMMi, Test Maturity Model integration, beskriver udviklingen fra en ad hoc-præget testproces til en styret, defineret, målt og løbende optimeret praksis.

Modellen er nyttig i AI-sammenhæng, fordi den minder os om, at optimering kræver et fundament.

På TMMi-niveau 1 er testarbejdet typisk uforudsigeligt og afhængigt af enkeltpersoners indsats. Test udføres, men metoder, ansvar og resultater varierer betydeligt. På niveau 2 etableres grundlæggende styring gennem blandt andet testpolitik og teststrategi, planlægning, monitorering, testdesign og kontrollerede testmiljøer. På niveau 3 bliver processer og standarder mere organisatorisk forankrede, test integreres tidligere i udviklingsforløbet, og kompetenceudvikling bliver systematisk. På niveau 4 anvendes målinger til at forstå både testprocessen og produktkvaliteten. På niveau 5 bruges målingerne til løbende optimering og forebyggelse af fejl.

Det betyder ikke, at en organisation skal være certificeret på det højeste TMMi-niveau, før den må bruge AI. Det ville være både urealistisk og unødvendigt.

Men organisationen bør forstå sit udgangspunkt.

Hvis testprocessen primært er ad hoc, kan AI måske hjælpe den enkelte medarbejder, men det er vanskeligt at skalere brugen ansvarligt. Hvis organisationen mangler fælles testpolitik, risikomodel, målinger og ansvarsfordeling, vil AI ikke selv etablere dem. Tværtimod risikerer teknologien at øge variationen, fordi forskellige teams bruger forskellige værktøjer, prompts, datakilder og kvalitetskriterier.

Derfor bør modenhedsmodeller ikke anvendes som mekaniske tjeklister eller som et mål om at opnå det højest mulige niveau. De bør anvendes diagnostisk.

Spørgsmålet er ikke: ”Hvilket TMMi-niveau har vi?”

Det mere værdifulde spørgsmål er: ”Hvilke organisatoriske svagheder vil vores planlagte AI-anvendelse forstærke?”

AI afslører svagheder i testprocessen

AI kan fungere som et forstørrelsesglas. Når organisationen forsøger at automatisere en aktivitet, bliver det tydeligt, hvor mange implicitte beslutninger aktiviteten indeholder.

Tag testdesign som eksempel. Det kan ved første øjekast se ud som en aktivitet, der forholdsvis enkelt kan automatiseres: Giv AI’en et krav, og bed den om at generere testcases.

Men en erfaren testanalytiker foretager en lang række vurderinger:

Hvilke kvalitetskarakteristika er relevante? Hvad kan gå galt? Hvem bliver påvirket? Hvilke inputområder kræver grænseværdianalyse? Hvilke kombinationer skal dækkes med en beslutningstabel? Hvilke systemtilstande er væsentlige? Hvilke historiske fejl bør påvirke testdesignet? Og hvor meget test er tilstrækkeligt i forhold til risikoen?

Hvis disse vurderinger ikke er synlige i processen eller repræsenteret i den kontekst, AI’en modtager, kan resultatet blive generisk. AI’en optimerer ikke nødvendigvis det reelle testdesign. Den automatiserer en forenklet forestilling om testdesign.

Det samme gælder teststatusrapportering. AI kan hurtigt sammenfatte testresultater og producere en professionelt formuleret rapport. Men hvis de underliggende målinger ikke afspejler produktrisiko, kan rapporten stadig være misvisende.

Hvis 95 procent af alle planlagte tests er bestået, lyder det betryggende. Men tallet siger ikke nødvendigvis noget om de resterende fem procent. Måske omfatter de den mest forretningskritiske proces. Måske blev de vigtigste sikkerheds- eller disaster recovery-tests aldrig planlagt. Måske er dækningsgraden høj, fordi organisationen primært tester de lette scenarier.

AI kan formulere konklusionen. Den kan ikke kompensere for, at organisationen har valgt de forkerte målinger.

Kompetencer bliver vigtigere – ikke mindre vigtige

AI omtales ofte som en teknologi, der reducerer behovet for specialiserede kompetencer. I testarbejdet er virkeligheden mere nuanceret.

AI kan sænke tærsklen for at udføre bestemte aktiviteter. En medarbejder uden dyb erfaring med testdesign kan få hjælp til at formulere testcases. En manuel tester kan få hjælp til at forstå eller skrive automatiseringskode. En testmanager kan få et første udkast til en risikovurdering eller statusrapport.

Det er værdifuldt.

Men en lavere produktionstærskel er ikke det samme som en lavere vurderingstærskel. Jo lettere det bliver at producere indhold, desto vigtigere bliver evnen til at bedømme det.

Testprofessionelle skal kunne identificere plausible, men forkerte svar. De skal forstå, hvornår en AI har overset en væsentlig risikotype, foreslået redundante testcases eller opfundet en forretningsregel. De skal kunne kontrollere, om genereret kode er sikker, robust og vedligeholdelig. Og de skal vide, hvornår AI ikke bør anvendes.

Det kræver mindst tre typer kompetencer:

·       For det første klassiske testkompetencer: risikobaseret test, testteknikker, udforskende test, automatisering, kvalitetsegenskaber og testmålinger og -metrikker.

·       For det andet domænekompetencer: forståelse af produkter, kunder, forretningsregler, regulatoriske krav og konsekvenserne af fejl.

·       For det tredje AI-kompetencer: forståelse af modellernes begrænsninger, promptdesign, kontekststyring, databeskyttelse, evaluering, bias, hallucinationer og relevant human oversight.

Det er kombinationen, der skaber værdi. AI-kompetence uden testfaglighed kan resultere i hurtig produktion af svage testartefakter. Testfaglighed uden grundlæggende AI-forståelse kan føre til ukritisk brug eller unødvendig modstand. Og begge dele uden domæneviden kan give teknisk korrekte tests, som ikke adresserer den faktiske forretningsrisiko.

Organisationer bør derfor ikke kun købe AI-værktøjer. De bør samtidig opbygge medarbejdernes evne til at udfordre værktøjernes resultater.

Testdata er en del af fundamentet

AI og testdata har mindst to vigtige forbindelser.

Den første er AI’s evne til at generere testdata. Det kan være en stor fordel, især når der er behov for mange variationer, sjældne kombinationer eller syntetiske datasæt uden direkte personhenførbare oplysninger.

Den anden er de data, AI’en selv anvender til at skabe sine anbefalinger. Hvis en AI skal prioritere regressionstest, analysere fejlmønstre eller vurdere release-risiko, afhænger resultatet af kvaliteten af de tilgængelige data.

Mange organisationer har imidlertid testdata spredt på tværs af testmanagementværktøjer, pipelines, regneark, supportsystemer og driftsplatforme. Defektklassifikationer anvendes inkonsistent. Produktionshændelser forbindes ikke systematisk med de krav, ændringer og test, der gik forud. Testresultater mangler kontekst, og historiske data kan ikke sammenlignes på tværs af teams.

I den situation kan AI skabe en analyse, men datagrundlaget sætter en hård grænse for analysens værdi.

”Garbage in, garbage out” er stadig relevant. Med generativ AI bør vi tilføje, at dårlige data kan blive omsat til meget overbevisende output.

Før AI anvendes til beslutningsstøtte, bør organisationen derfor undersøge datakvalitet, ejerskab, adgang, klassifikation og sporbarhed. Den bør også sikre, at følsomme oplysninger ikke ukritisk overføres til eksterne modeller.

Dataarbejdet er måske mindre iøjnefaldende end en ny AI-assistent, men det er ofte her, den langsigtede værdi bliver skabt.

Værktøjsintegration er vigtigere end endnu et isoleret AI-værktøj

AI-værktøjer bliver ofte introduceret lokalt. Ét team bruger en assistent til testdesign. Et andet bruger en AI-funktion i automatiseringsplatformen. En tredje gruppe anvender et generelt sprogmodelværktøj til fejlanalyse og rapportering.

Hvert initiativ kan isoleret set skabe værdi. Men uden en fælles retning kan resultatet blive et fragmenteret værktøjslandskab med forskellige sikkerhedsindstillinger, datakilder, prompts og evalueringskriterier.

Problemet er ikke nødvendigvis antallet af værktøjer. Problemet er manglende sammenhæng.

AI skaber størst værdi, når den får relevant og kontrolleret kontekst. Hvis et værktøj skal foreslå regressionstest, bør det ideelt kunne forbinde ændringen med krav, arkitektur, tidligere fejl, produktionserfaringer og eksisterende tests. Hvis det kun ser en enkelt brugerhistorie, bliver anbefalingen tilsvarende begrænset.

Integration skal dog ikke forstås som ukontrolleret adgang til alle organisationens data. Tværtimod kræver det gennemtænkte grænser for adgang, dataminimering og sporbarhed.

Organisationen skal blandt andet vide, hvilke datakilder AI’en anvender, hvilke versioner der ligger til grund for resultatet, hvilke handlinger den må udføre, og hvordan en bruger efterfølgende kan kontrollere dens anbefaling.

En moden værktøjsstrategi handler derfor ikke om at anskaffe flest mulige AI-funktioner. Den handler om at skabe et sammenhængende og kontrollerbart flow fra krav og risici til tests, fejl, produktionserfaringer og forbedringer.

Governance skal etableres før skalering

Et mindre AI-eksperiment kan ofte håndteres uformelt. En erfaren tester prøver et værktøj på ufølsomme data, validerer resultatet og dokumenterer de vigtigste observationer.

Når anvendelsen skaleres til flere teams eller får indflydelse på releasebeslutninger, ændrer risikobilledet sig.

Organisationen bør da kunne besvare nogle grundlæggende spørgsmål:

• Hvilke testaktiviteter må AI understøtte, og hvilke beslutninger kræver menneskelig godkendelse?

• Hvem ejer kvaliteten af AI-genererede testartefakter?

• Hvilke data må de enkelte værktøjer tilgå?

• Hvordan valideres og monitoreres AI’s resultater?

• Hvordan håndteres model-, prompt- eller værktøjsændringer?

• Hvem kan stoppe anvendelsen, hvis kvaliteten falder eller risikoen ændrer sig?

Governance må ikke reduceres til et tungt godkendelsesapparat. God governance skal gøre sikker anvendelse lettere ved at skabe klare rammer. Teams skal ikke opfinde deres egen politik, hver gang de vil anvende AI til en ny opgave.

Rammerne bør være proportionale med risikoen. At bruge AI til at forbedre formuleringen af en intern testrapport er ikke det samme som at lade en agent ændre automatiserede tests eller anbefale, om et forretningskritisk system kan frigives.

Jo større autonomi, påvirkning og potentiel skade, desto stærkere krav bør der være til validering, dokumentation, adgangskontrol og menneskelig overvågning.

En vigtig styringsmekanisme er sporbarhed. Organisationen bør kunne se, hvornår AI er anvendt, hvilken kontekst den modtog, hvilket output den skabte, hvem der kontrollerede det, og hvilken beslutning der efterfølgende blev truffet.

Ellers bliver det vanskeligt at lære af fejl og næsten umuligt at placere ansvar.

Automatisering af dårlige processer skaber hurtigere dårlige processer

Der findes en gammel sandhed inden for procesforbedring: Hvis man automatiserer en ineffektiv proces uden først at forstå den, får man ofte blot en hurtigere ineffektiv proces.

AI ændrer ikke denne sandhed. Den gør den mere presserende.

En organisation, som har for mange manuelle godkendelser uden tydelig værdi, bør ikke automatisk bruge AI til at gennemføre dem hurtigere. Først bør den spørge, hvorfor godkendelserne findes.

En organisation, som producerer omfattende testrapporter, ingen læser, bør ikke begynde med at automatisere rapportskrivningen. Den bør undersøge, hvilke beslutninger rapporteringen skal understøtte.

En organisation, som vedligeholder tusindvis af automatiserede tests uden risikobaseret prioritering, bør ikke lade AI generere endnu flere. Den bør først rydde op i testsættet og definere, hvilken information det skal levere.

AI-initiativer bør derfor begynde med et problem, ikke et værktøj:

·       Det rigtige spørgsmål er ikke: ”Hvor kan vi bruge generativ AI?”

·       Det rigtige spørgsmål er: ”Hvilken kvalitetsmæssig udfordring forsøger vi at løse, og hvordan vil vi dokumentere, at AI faktisk forbedrer resultatet?”

En pragmatisk vej til ansvarlig skalering

Organisationen behøver ikke vente på perfekt procesmodenhed. Perfektion vil aldrig være en realistisk forudsætning.

Den bør i stedet arbejde iterativt.

Begynd med en konkret og afgrænset anvendelse, hvor et menneske kan kontrollere resultatet. Det kan eksempelvis være forslag til testideer på baggrund af eksisterende krav. Definér på forhånd, hvad der skal blive bedre: kortere forberedelsestid, større risikodækning, flere relevante variationer eller bedre sporbarhed.

Skab derefter en baseline. Hvor lang tid tager opgaven i dag? Hvilke fejl finder de eksisterende tests? Hvor meget efterbearbejdning kræver de nuværende artefakter? Uden en baseline bliver det vanskeligt at skelne reel forbedring fra teknologisk begejstring.

Gennemfør eksperimentet med en repræsentativ gruppe af brugere og opgaver. Sammenlign AI-understøttet arbejde med den eksisterende fremgangsmåde. Undersøg både hastighed og kvalitet. Mål også negative effekter såsom oversete risici, ekstra reviewarbejde, ukorrekte forslag og lavere variation i testdesignet.

Brug erfaringerne til at forbedre proces, datagrundlag, kompetencer og styringsrammer. Først derefter bør anvendelsen udvides.

Skalering bør være resultatet af dokumenteret værdi, ikke af leverandørens løfter eller ledelsens frygt for at komme bagud.

Testmanagerens rolle bliver mere strategisk

AI gør ikke testmanageren overflødig. Men den ændrer rollen.

Testmanageren skal fortsat planlægge, monitorere og kontrollere testarbejdet. Samtidig bliver det vigtigere at kunne forbinde AI, procesmodenhed, produktrisiko og organisatorisk styring.

Testmanageren bør kunne udfordre antagelsen om, at højere automatiseringsgrad automatisk giver bedre kvalitet. Rollen skal sikre, at AI-initiativer understøtter organisationens kvalitetsmål og ikke kun lokale produktivitetsmål.

Det indebærer blandt andet at skabe klarhed om:

Hvilke risici skal AI hjælpe med at reducere? Hvilke kompetencer kræver det? Hvilke data skal være tilgængelige? Hvilke værktøjer skal integreres? Hvordan valideres resultatet? Og hvordan bevarer organisationen et meningsfuldt menneskeligt ansvar?

Testmanageren får dermed en vigtig rolle som bro mellem teknologi, forretning, risikostyring og governance.

Det er ikke testmanagerens opgave at bremse AI-anvendelsen. Det er opgaven at gøre anvendelsen værdiskabende, transparent og ansvarlig.

Konklusion: Modenhed før acceleration

AI kan blive en af de mest betydningsfulde forbedringer af moderne testarbejde. Teknologien kan reducere rutinearbejde, øge analysekapaciteten, forbedre sporbarheden og give testprofessionelle mere tid til de komplekse vurderinger.

Men AI er ikke en erstatning for det organisatoriske fundament.

Hvis organisationen mangler klare mål, bliver AI’s optimering retningsløs. Hvis risiciene ikke er identificeret, kan AI prioritere forkert. Hvis data er utroværdige, bliver beslutningsstøtten utroværdig. Hvis medarbejderne ikke kan evaluere outputtet, bliver menneskelig kontrol en formalitet. Og hvis governance er uklar, bliver skalering en organisatorisk risiko.

Derfor bør organisationer ikke spørge, om de er klar til AI, som om svaret alene afhænger af teknologien.

De bør spørge, om deres testorganisation er moden nok til at forstå, kontrollere og lære af den acceleration, AI skaber.

Den bedste AI-strategi begynder ikke med et værktøj. Den begynder med et ærligt billede af organisationens processer, kompetencer, data, integrationer og beslutningsansvar.

AI gør ikke en umoden testorganisation moden.

Men anvendt med omtanke kan AI hjælpe en organisation, der arbejder målrettet med sin modenhed, med at lære hurtigere, træffe bedre beslutninger og skabe større tillid til sine leverancer.

Det er dér, den virkelige gevinst ligger.