Försvåra och upptäck otillåten användning av AI

I sammanhanget är det viktigt att notera att det i nuläget finns få verktyg som kan identifiera om AI-verktyg har använts för att exempelvis producera en text, hitta källmaterial, felsöka kod, skapa bilder eller analysera data. De verktyg som finns (se sidan Olika typer av AI i utbildningskontexten) är sällan pålitliga utan att också ha stor kunskap och förståelse för vilka verktyg som faktiskt har använts vid skapandeprocessen. Vissa råd som återkommer i liknande guider från svenska högskolor och universitet, såsom att att vara specifik i uppgiftsinstruktioner eller att alltid kräva att studenter inkluderar korrekta källhänvisningar, är inte specifika råd för att navigera bedömning och examination i en AI-kontext. Det är snarare förutsättningar för all typ av examination och bedömning. De flesta sådana guider tar ett relativt smalt perspektiv som går att tillämpa på hemtentamen och skrivuppgifter. Den här sidan återspeglar det, men tar också ett bredare perspektiv och applicerar etiska riktlinjer och undervisning i akademisk integritet och god akademisk sed för att också skapa en lärandemiljö som förebygger fusk och främjar lärande.

Olika förutsättningar och påverkan på examinerande uppgifter

I texten The potential impact of AI tools on assessment lägger Bommenel och Forsyth (2023) fram en tydlig bild av vilka förutsättningar vi har för att begränsa eller möjliggöra användningen av AI i bedömning och examination. Texten diskuterar den potentiella påverkan av AI-skrivverktyg på bedömningar inom högre utbildning. Den förklarar vad AI-skrivverktyg är och hur de fungerar, och betonar deras tillgänglighet och integration i vanligt använda programvaror. Begränsningarna hos dessa verktyg nämns också, inklusive risken för att generera falsk information. Texten presenterar tre huvudsakliga alternativ för att överväga AI-skrivverktyg i bedömningen: att förbjuda deras användning, anta att de används och införliva dem i uppgifter, eller fullständigt integrera dem i bedömningen. Fördelar och nackdelar ges för varje alternativ. Texten avslutas med att föreslå att utbildare bör överväga sina kurskrav och goda bedömningspraktiker när de beslutar hur de ska hantera AI-verktyg. I många fall är det examinators och den enskilda lärararens beslut som ligger till grund för hur bedömning och examination kan genomföras på ett rättssäkert sätt.

Förslag från ChatGPT

Med grund i övriga källor till denna text, som inmatats som träningsdata, instruerade vi ChatGPT att genrera en punktlista med förslag på "hur lärare i högre utbildning kan försvåra och upptäcka fusk med AI-verktyg vid exempelvis hemtentamen, programmeringsuppgifter, och liknande bedömningar". Listan som genererades är inte helt utan pedagogisk grund, och exempelvis kan vi se spår av vanligt förekommande metoder som studentaktivt lärande, differentiering, och case-metodik. Det är intressant att notera att flera av förslagen innebär förändringar av uppgifterna i sig, och inte endast anpassning av uppgiftsinstruktionerna.

1. Skapa unika uppgifter: Istället för att använda generiska eller allmänt tillgängliga uppgifter, kan lärare skapa unika och anpassade uppgifter för varje student eller grupp. Detta gör det svårare för studenter att hitta förutbestämda svar eller lösningar online.
2. Använd flervalsfrågor: I stället för att enbart använda öppna svar, kan lärare inkludera flervalsfrågor som kräver förståelse och analytiskt tänkande. Detta minskar möjligheterna för studenter att hitta exakta svar online och tvingar dem att visa sin egen kunskap och resonemang.
3. Använd autogenererade uppgifter: Lärare kan använda programvara för att autogenerera unika uppgifter för varje student eller grupp. På så sätt blir det nästan omöjligt för studenter att fuska genom att kopiera från varandra eller använda förhandsbestämda lösningar.
4. Använd praktiska tillämpningar: Utforma uppgifter som kräver praktiska tillämpningar av kunskapen. Genom att använda scenarier eller case-studier kan studenter inte enbart förlita sig på att hitta svar online, utan måste visa att de kan tillämpa sin kunskap på verkliga situationer.
5. Använd anti-plagiatprogram: Använd programvaror och tjänster för att upptäcka plagiat, som kan identifiera omfattningen av kopiering och källhänvisningar i studenters arbete. Dessa programvaror kan hjälpa till att identifiera om studenter har kopierat från internet eller från varandra.
6. Använd omtentor och muntliga examinationer: Komplettera skriftliga bedömningar med omtentor eller muntliga examinationer. Detta ger lärare möjlighet att ställa följdfrågor och bedöma studenters förståelse på ett mer direkt sätt, vilket minskar risken för fuska med AI-verktyg.
7. Be om arbetsprocessen: Istället för enbart att be om slutresultatet, kan lärare be om att studenterna redogör för sin arbetsprocess eller tankegångar bakom en lösning. Detta gör det svårare för studenter att bara kopiera eller använda AI-verktyg utan att faktiskt förstå ämnet.
8. Variera bedömningsmetoder: Använd olika typer av bedömningar, som projekt, laborationer, grupparbeten, och skriftliga prov. Genom att variera bedömningsmetoderna blir det svårare för studenter att fuska genom att använda samma fuskmetod för olika typer av uppgifter.
9. Skapa en stark kommunikation: Bygg upp en stark kommunikation med studenterna och betona vikten av ärlighet och akademisk integritet.

Förslag på åtgärder som kan försvåra och upptäcka otillåten användning av AI

Sammanfattat från Uppsala universitet & Cullhed, M. (2023), används med tack ock tillåtelse

Formulering av hemuppgifter

Att ändra formuleringar i instruktioner av hemuppgifter är en relativt liten åtgärd, som inte nödvändigtvis addresserar underliggande svårigheter eller problem med examinationen eller bedömningen.

Formulering av uppgiften

• Ställ krav på att även kortare texter ska innehålla referenser. Detta hjälper till att uppmuntra studenterna att använda korrekta källhänvisningar och visa sin förmåga att belägga sina resonemang.
• Formulera frågor där svaren baseras på eller tillämpas på specifika och lokala kontexter som inte är kända för AI-verktyg. Detta gör det svårare för studenter att förlita sig på AI-genererade svar.

Se över examinationspraxis

• Se över vilka kursmål som examineras genom hemuppgifter och överväg att använda andra examinationsformer som salstentor eller muntliga examinationer när det är mer lämpligt.
• Inför fler tillfällen med muntlig examination. Detta kan vara tidskrävande, men det kan vara en effektiv metod för att bedöma studenternas kunskaper och minska möjligheten till otillåten användning av AI.
• Återkoppla på olika versioner av uppgiften. Genom att ha diskussioner och kamratåterkoppling kan det bli svårare för studenter att använda AI-verktyg för att generera sina svar.
• Överväg stegvis examination där muntlig återkoppling ges efter inlämningen av skriftliga uppgifter. Detta ger möjlighet att diskutera och förklara svaren med studenterna.

Använd AI-verktyg för att spåra texter skapade av AI-verktyg

• Utforska möjligheten att använda AI-verktyg för att upptäcka om studenterna har använt AI för att generera sina svar. Detta kan vara en mer avancerad åtgärd som kräver resurser och teknisk expertis, men det kan vara ett sätt att bekämpa otillåten användning av AI. Var uppmärksam på att detta kan generera så kallade "false positives", alltså felaktiga bevis.

Det är viktigt att komma ihåg att dessa åtgärder inte är heltäckande och att det är en pågående utmaning att hålla jämna steg med den snabba utvecklingen av AI. Det krävs också ett samarbete mellan lärare, ledning och administration (exempelvis Tentamensorganisationen på JU) för att implementera effektiva strategier och stödja kollegor i att hantera dessa frågor.

Andra förslag på åtgärder

Med utgångpunkt i texter från Linnéuniversitetet (2023), KTH & Naimi-Akbar, I. et al. (2023), Högskolan i Borås (2023) samt Lunds universitet (2023)

Tydliggöra regler och riktlinjer

• Lärare/examinatorer bör tydliggöra vilken användning av AI-chattbotar som är tillåten och otillåten under examinationen.
• Exempel på tillåtna användningsområden inkluderar att använda AI-chattbotar för att förbättra texter, hitta fel eller skapa en översikt över ämnesområden. Detta kräver att studenten redogör för hur AI-chattboten har använts.
• Otillåtna användningsområden inkluderar att lämna in en AI-genererad text som sin egen, vilket betraktas som fusk.
• Vid kamraträttning/opposition bör studenten göra en egen bedömning och inte använda obearbetade resultat från AI-chattboten.

Anpassa examinationsformerna

• Undvika oövervakad hemexamination och komplettera den med andra former av examination, t.ex. muntlig examination eller salsskrivningar.
• Genomföra bevakad "open book"-examination.
• Ha fler avstämningar och stegvisa redovisningar för längre textproduktion/projektarbeten.
• Skapa kontextbaserade uppgifter som är specifika för kursen eller har lokala förhållanden för att försvåra användningen av AI-chattbotar.
• Tydliga krav på att kurs- och annan litteratur alltid ska refereras till med sidhänvisningar.

Misstanke om fusk

• Vid misstanke om otillåten användning av AI-chattbotar ska förseelsen utredas och, vid grundad misstanke om fusk, anmälas enligt disciplinärendeprocessen.
• Verktyg för att bedöma sannolikheten för AI-genererade texter kan användas som en del av utredningen, men behöver kompletteras med annat material för att vara tillräckligt underlag.

Främja medvetenhet och reflektion

• Lärare bör inkludera diskussioner om fördelar, problem, felaktigheter och bias med AI-chattbotar och den genererade texten i undervisningen.
• Studenterna bör uppmanas till kritisk granskning av AI-chattbotens svar och medvetandegöras om risken för felaktigheter och bias.
• Jämförelser kan göras mellan AI-chattbotens svar och svar från experter för att reflektera över olika perspektiv och värderingar.
• Betona att AI-genererat material måste noggrant granskas för att säkerställa att det fångar kursens innehåll.