Hvor præcise er AI-detektorer? Begrænsninger forklaret
AI-detektorer bliver ofte præsenteret, som om de med sikkerhed kan afgøre, om en tekst er skrevet af et menneske eller en maskine. Det kan de ikke. Alle detektorer, også vores, laver et skøn ud fra mønstre, og skøn kan være forkerte. Når du forstår hvorfor, kan du bruge en detektor fornuftigt og undgå at drage konklusioner, som resultatet ikke kan bære.
Sådan virker AI-detektorer
En detektor ser på træk ved teksten: hvor forudsigelige ordvalgene er, hvor meget sætningslængde og opbygning varierer, og hvor ofte typiske AI-formuleringer optræder. Ud fra de signaler vurderer den, hvor sandsynligt det er, at teksten er maskinskrevet.
Nøgleordet er sandsynligt. Detektoren har ingen adgang til, hvordan teksten blev til. Den sammenligner med mønstre, og et menneske kan skrive i et mønster, der ligner AI, ligesom AI-tekst kan redigeres, så den ligner menneskelig tekst.
Falske positiver: menneskelig tekst markeret som AI
En falsk positiv opstår, når en persons egen tekst bliver markeret som sandsynlig AI. Det er den mest skadelige fejl, fordi den kan føre til urimelig mistanke. Formel, neutral og meget struktureret tekst er mere udsat, ligesom tekst skrevet af folk på et andetsprog, der ofte vælger enklere og mere forudsigelige formuleringer.
Falske negativer: AI-tekst der slipper igennem
Det modsatte sker også. AI-tekst, der er omskrevet, blandet med skribentens egne sætninger eller lavet med instrukser om at variere stilen, kan få en lav score. En lav score beviser altså heller ikke, at et menneske har skrevet teksten.
Hvad gør et resultat mindre pålideligt
Flere forhold øger usikkerheden. Korte tekster indeholder få mønstre at analysere. Blandede tekster, hvor både et menneske og et værktøj har bidraget, ligger af natur mellem kategorierne. Fagtekster som juridisk eller teknisk skrivning er ofte formelagtige, uanset hvem der har skrevet dem. Og nye AI-modeller ændrer de mønstre, detektorerne bygger på.
Vær kritisk over for præcisionsløfter
Nogle værktøjer reklamerer med meget høje præcisionstal. Sådanne tal afhænger stærkt af, hvilke tekster der blev testet, hvor lange de var, og hvilke modeller der lavede dem, og de holder sjældent for de tekster, du selv tjekker. Vi offentliggør ikke en præcisionsprocent, fordi ét tal ville signalere en sikkerhed, metoden ikke har.
Sådan læser du et resultat ansvarligt
Brug scoren som en indikation, ikke en dom. Læs de passager, detektoren fremhæver, og vurder selv, om begrundelsen holder. Kombinér resultatet med anden dokumentation, fx kladder, kilder og skribentens tidligere tekster. Afhænger en vigtig beslutning af det, så tal med skribenten, før du konkluderer noget.
Ofte stillede spørgsmål
Findes der en AI-detektor, der er 100 % præcis?
Nej. Alle AI-detektorer beregner sandsynligheder ud fra mønstre i teksten og kan tage fejl begge veje. Vær skeptisk over for værktøjer, der lover sikkerhed.
Hvorfor blev min egen tekst markeret som AI?
Formel, struktureret eller meget forudsigelig tekst kan ligne AI-mønstre. Det er en kendt begrænsning, en såkaldt falsk positiv, og det betyder ikke, at du har gjort noget forkert.
Kan redigeret AI-tekst undgå at blive opdaget?
Nogle gange. Omskrevet eller blandet tekst kan få en lav score, og derfor er en lav score heller ikke et bevis for, at et menneske har skrevet teksten.