Kategori: Digitalisering

Nationella prov – gör om gör rätt!

I skolans värld går vi nu in i en period med nationella prov. För många av oss som arbetar i skolan medför detta en stor påverkan på vårt arbete. Lärare som undervisar i ämnen och kurser som ska prövas anpassar sin undervisning och gör sitt bästa för att förbereda sina elever. Men de nationella proven påverkar även andra lärare och ämnen eftersom de även leder till omfattande schemaändringar och förskjutningseffekter. Kostnaderna för att utveckla och administrera proven är även de betydande, för att inte nämna arbetet med att digitalisera dem. Till detta kommer all den stress som de nationella proven orsakar, särskilt för våra elever. Vi behöver därför fråga oss om denna påverkan och dessa kostnader är motiverade? Svaret på den frågan är inte helt uppenbar. Jag vill mena att dagens nationella prov är problematiska av flera skäl, och för att kunna motivera dem behöver de omformas från grunden.

Det största problemet är provens dubbla syften. En vanlig missuppfattning är att nationella prov är slutprov i ett ämne eller en kurs. Det är de inte. De nationella proven infördes 1997, som en ersättning för de äldre centrala proven, och som en följd av de omfattande skolreformerna i början av 1990-talet. Proven utformades med tre uttalade övergripande syften: betygsstödjande, utvärderande och formativa. Den formativa aspekten innebar att proven skulle tjäna som en kontrollpunkt för att möjliggöra anpassningar under pågående undervisning. Det är uppenbart att en sådan ambition är oförenlig med ett summativt slutprov. Över tid har det uttalade formativa syftet tagits bort men utformingen av proven är i stort sett fortfarande samma som när de introducerades. Om vi önskar summativa prov vars resultat ska vägas in vid betygssättning, behöver dessa prov genomföras i slutet av terminen och pröva ämnes- och kursinnehåll på ett sätt som är relevant för betygsättningen. Vill vi ha formativa tester som stödjer lärare och elever för att kunna förbättra pågående undervisning och lärande, behöver vi utforma dessa så att de testar delar av ämnes- och kursinnehållet så att lärare kan använda resultaten på ett meningsfullt sätt. Dagens nationella prov strävar efter att uppnå båda dessa mål samtidigt, vilket är acceptabelt enbart under förutsättning att man erkänner att det inte är möjligt att helt och hållet realisera något av målen.

Ytterligare ett problem med de nationella proven, som ligger i linje med ovanstående problematik, är hur de har börjat användas för att hantera betygsinflation och ökande ojämlikhet i skolan. Idén om att resultaten från de nationella proven ska vägas in vid betygssättningen bygger delvis på föreställningen att proven är relevanta för detta ändamål (vilket följdaktligen går att diskutera), och delvis på tanken att man kan lösa ett problem genom att hantera dess symtom. Att använda de nationella proven som en lösning på ett djupare systemfel bör därför ses som en akutåtgärd snarare än som en hållbar lösning på lång sikt.

När vi talar om de nationella proven och de problem som följer med dessa går det numer inte heller att bortse från projeket att digitalisera dem. Skolverket har arbetat med detta sedan 2017. Den ursprungliga ambitionen var att alla nationella prov skulle vara helt digitaliserade till 2022, men målet är nu justerat till hösten 2024 och omfattar initialt inte alla ämnen eller årskurs 3. Skolverkets interna utredning har dock visat att det justerade målet inte kommer att kunna uppnås helt (Strategirådet, 2023). Efter att personligen både ha deltagit i och studerat projektet, är min slutsats att det har stora problem som helhet och omgående borde granskas externt av oberoende part. Problemen stannar dock inte vid eskalerande kostnader och ett troligt icke fungerande provsystem. Att elever tycks prestera sämre när de går från att genomföra prov med papper och penna till att skriva dem på dator är ett lika allvarligt och tillika förbisett faktum. Att läsförståelse är svårare vid läsning på digitala enheter än motsvarande på papper är relativt väl påvisat (Delgado et al., 2018), men skillnaden mellan att skriva prov digitalt jämfört med på papper är mindre utforskad. Den hittills enda större studien på området undersökte införandet av digitala prov under 2015 och 2016 i USA (Backes & Cowan, 2019). Resultatet visade att elever presterade betydligt sämre på de digitala proven. Den statistiska försämringen motsvarade ungefär ett läsårs progression, det vill säga en elev i årskurs 8 presterade på ett digitalt prov som om denne hade gått i årskurs 7.

Grafen visar standardiserad prestation per år. Från artikeln Is the pen mightier than the keyboard? The effect of online testing on measured student achievement. Backers & Cowan, 2019.

Varför eleverna presterade sämre på de digitala proven framgår inte av studien. Sämre läsförståelse på skärm, allmän datorovana och ovana vid att genomföra prov digitalt kan vara bidragande faktorer. Men en ytterligare rimlig orsak är ovanan vid det faktiska provsystemet. Förtrogenhet med menyer, var knappar sitter och generell funktionalitet spelar sannolikt stor roll. Skolverkets beslut att utveckla ett eget digitalt provsystem som endast får användas vid nationella prov, samtidigt som våra elever behöver skriva alla övriga digitala prov i andra system, är därför mycket olyckligt. En bättre lösning hade varit att sätta upp standarder för de nationella proven som olika leverantörer gavs möjlighet att möta och därigenom skapa incitament för befintliga provsystem på marknaden att utvecklas, samt möjliggöra att elever fick skriva nationella prov i system de känner sig förtrogna med. En sådan lösning hade därtill minskat kostnaderna för huvudmän och skolor samt resulterat i provresultat med bättre validitet.

Det är dock viktigt att notera att man utifrån nämnda studie inte automatiskt kan dra slutsatsen att digitala prov är sämre än analoga. De försämrade provresultaten kan också bero på själva bytet från ett format till ett annat. Om vi exempelvis skulle designa ett prov för ett digitalt format och sedan låta elever genomföra samma prov med papper och penna skulle vi kanske se en liknande försämring. Det centrala är att vara medveten om att provformatet påverkar reliabiliteten, det vill säga hur tillförlitlig mätningningen är. Det digitala formatet, och den utveckling vi nu erfar inom generativ AI, öppnar dessutom upp för nya och potentiellt sätt bättre sätt att utforma prov. Ta ett traditionellt hörförståelseprov där elever får lyssna till en dialog på exempelvis engelska och därefter skall svara på frågor om innehållet. Mäter ett sådant provet den faktiska språkliga färdigheten eller störs mätningen av att även minne och koncentrationsförmåga spelar roll? Här kan vi leka med tanken om en testsituation där elever i stället fick prata med en välfungerande adaptiv AI-bot som också sannolikt skulle kunna fungera som ett bättre mätinstrument.

Sammanfattningsvis. Det vi borde göra är att gå tillbaka till början och ställa oss frågan varför vi ska ha nationella prov. Först när vi enats om ett svar bör vi utforma dessa prov så att de fyller sitt syfte. Att som idag försöka lösa ett problem med något som inte är utformat för ändamålet är lika symptomatiskt som det är dumdristigt. Att försöka hantera problemet med betygsinflation genom att väga in resultat från digitala nationella prov kan liknas vid att ställa ut hinkar när ett tak läcker. Det är rimligt i ett akut skede, men det är inte en hållbar lösning på längre sikt. Taket behöver läggas om.

Referenser

Backes, B., & Cowan, J. (2019). Is the pen mightier than the keyboard? The effect of online testing on measured student achievement. Economics of Education Review, 68, 89–103. https://doi.org/10.1016/j.econedurev.2018.12.007

Delgado, P., Vargas, C., Ackerman, R., & Salmerón, L. (2018). Don’t throw away your printed books: A meta-analysis on the effects of reading media on reading comprehension. Educational Research Review, 25, 23–38. https://doi.org/10.1016/j.edurev.2018.09.003

Strategirådet. (2023). Utvärdering av DNP- delstudie 1, utvärdering på uppdrag av Skolverket.

AI och skolan – tre aspekter

Efter över ett år med erfarenhet av AI och skolan har jag landat i att tänka kring området utifrån tre aspekter: AI som lärandemål, AI som verktyg och AI och bedömning. Tre olika aspekter som särskiljer sig men som också överlappar.

AI som lärandemål handlar dels om AI-litteracitet, dvs. allmän AI-kunskap, något som numer behöver ingå som en röd tråd i alla ämnen precis som exempelvis hållbar utveckling. Men dels handlar det om hur det centrala innehållet i olika ämnen och kurser färgas av generativ AI. I skolans läroplaner nämns inte AI explicit men i exempelvis syftesskrivingen för ämnet samhällskunskap för gymnasiet finner vi skrivningar såsom:

”Ett komplext samhälle med stort informationsflöde och snabb förändringstakt kräver ett kritiskt förhållningssätt och eleverna ska därför ges möjlighet att utveckla ett sådant. Det omfattar förmåga att söka, strukturera och värdera information från olika källor och medier samt förmåga att dra slutsatser utifrån informationen.”

I skrivningarna för teknikämnet står det bland annat:

”Undervisningen ska ge eleverna möj­ligheter att reflektera över teknikens historiska utveckling. Därmed får de bättre förutsättningar att förstå samtidens tekniska företeelser, hur tekniken och samhällsutvecklingen påverkar varandra samt hur teknik kan användas på ett ansvarsfullt sätt.”

Och för svenskämnet står det:

”Undervisningen ska även syfta till att eleverna utvecklar för­må­gan att skapa och bearbeta texter, enskilt och tillsammans med andra. Ele­ver­na ska ges möjlighet att kommunicera i digitala miljöer med interaktiva och föränderliga texter.”

Ovan exempel är tre bland många där AI inte nämns explicit men som till följd av den senaste tidens utveckling är svåra att möta utan att adressera AI i undervinsingen.


AI som verktyg är i grunden ett socioteknologisk område som berör människans samverkan med teknologi och hur denna interaktion i detta sammanhang kan förstås i lärandeprocesser. Det är exempelvis frestande att se AI som ett enkelt sätt att uppnå mål, likt hur nya verktyg kan erbjuda genvägar i olika sammanhang. Men detta perspektiv missar en avgörande poäng när det gäller utbildning och lärande. Den verkliga frågan blir om användandet av generativ AI, i sammanhanget av lärande och utbildning, kan jämföras med användandet av nya verktyg som på ytan förenklar uppgifter men också kan undandra den djupare lärprocessen. Nyligen genomförda undersökningar visar att en betydande del av unga använder generativ AI i sitt skolarbete, där en del medger att syftet varit att underlätta eller kringgå traditionella lärandeprocesser. Detta väcker frågor om vad som egentligen utgör fusk och vad som är en legitim användning av teknologi i lärande. Teknikentusiaster argumenterar ofta för att användningen av teknik i utbildningssyfte bör ses som en utveckling snarare än fusk, där det viktiga är förmågan att använda ny teknologi effektivt. Men det är just sådana argument som kan föra oss fel.

Problemet menar jag uppstår när vi felaktigt börjar se måluppnåelse som det sanna måttet på lärande. Lärande, i dess mest grundläggande form, handlar inte bara om att nå ett slutresultat, utan om resan dit. Den processen inbegriper inte bara att absorbera kunskap, utan också att utveckla kritiskt tänkande, problemlösningsförmåga och förmågan att reflektera över den information och de verktyg vi använder.

I ljuset av den senaste tidens framsteg inom kognition och lärande blir det allt viktigare att förstå teknologi inte bara som ett verktyg för att effektivisera lärande, utan som en faktor som djupt påverkar hur vi lär oss, vad vi lär oss och på vilket sätt vi interagerar med kunskap. Användningen av AI i utbildning ställer krav på en nyanserad förståelse som tar hänsyn till dessa faktorer, där vi behöver fundera kring hur vi balanserar mellan teknologins möjligheter och riskerna med att förlita oss för mycket på den.

AI och bedömning – Bedömning är en oundviklig del av utbildningen eftersom den ger oss insikter om elevernas utveckling och kunskapsnivå. Här uppstår frågor om hur AI påverkar vår syn på lärande och kunskap. Vi behöver fundera över vad lärande egentligen är och hur teknologin relaterar till detta begrepp. Diskussionen är omfattande och fascinerande och utgör hjärtat i mitt intresse för AI i skolan.

Alla tre av dessa aspekter är komplexa och sammanflätade, och mina reflektioner är fortfarande i utveckling. Jag skulle gärna vilja höra vad andra tänker om dessa frågor. Finns det några dimensioner jag har missat? Finns det något som bör tilläggas eller förtydligas? Jag välkomnar alla insikter och åsikter.

Målstyrningen står i vägen för AI

Årets buzzword har onekligen varit AI. Artificiell intelligens. Överallt pratar och skriver folk om det, och då framförallt generativ AI och ChatGPT. I skolsammanhang har diskussionen ofta kommit att handla om fusk, men också om möjligheter. Här skulle jag vilja komplettera samtalet med tanken om att det svenska skolsystemet i sig är konstruerat på ett sådant sätt som gör att det blir särskilt sårbart för teknologer såsom AI. Problemet ligger i den svenska skolans målstyrning.

En konsekvens av målstyrningen i skolan är att vi tenderar att mäta lärande utifrån måluppfyllelse. Problemet med målrelaterad pedagogik är att den riskerar att leda till en praktik där eleverna primärt skapar produkter som skall bedömas. Det kan handla om att skriva ett vetenskapligt PM, att författa en rapport eller ett gymnasiearbete. Men lärandet sker i processen, vägen till den färdiga produkten. Målrelaterade utbildningssystem blir därför särskilt utsatta för teknologer såsom generativ AI som automatiserar processer. Risken är att det skapar incitament för byggandet av kunskapsslott av luft. Det ser bra ut, men inuti är det bara tomt.

För att hantera dessa utmaningar och ta tillvara på potentialen av AI i skolan, behöver vi därför tänka om. Vi behöver minska fokusering på måluppfyllelse och börja mäta faktiskt utbildningseffekt. Detta kräver bland annat en tydlig progression i ämnen med definierat innehåll och mål. Exempelvis behöver ett ämne som svenska omvärderas där skrivandet som en aktivitet i sig uppvärderas. För att travestera Karin Boye: ”Nog finns det mål och mening i vår färd – men det är vägen, som är mödan värd”. Meningen ligger inte i den färdiga produkten, och därför behöver vi skapa incitament för att värdesätta processen mer.

Det svenska utbildningssystemet står inför ett vägskäl. För att inte gå vilse behöver vi reformera det. För att få fart frammåt behöver vi paradoxalt nog kanske göra mer som vi gjorde förr. Gör vi inte det riskerar vi att hamna i en situation med ökad ojämlikhet och allt fler elever som lämnar skolan utan tillräcklig kunskap. Men om vi gör det kan vi skapa ett sammanhang där vi tar tillvara på de möjligheter som AI faktiskt erbjuder. Vi behöver säkerställa ett skolsystem där teknologin tjänar som ett verktyg för verkligt lärande, snarare än ett sätt att enbart uppnå yttre mål.

* Bilden ovan är en del av en serie illustrationer skapade av franska konstnärer mellan 1899 och 1901. Dessa konstnärer föreställde sig hur Frankrike skulle kunna se ut ett sekel framåt i tiden. Illustrationen skildrar en fransk skolklass såsom man tänkte sig den år 2000. Fler av dessa bilder kan du hitta här.

TEDx

Igår hade jag förmånen att få hålla ett ”TED-talk”. Mitt tal Cheating or Coaching? Walking the AI tightrope in education handlade om AI och lärande.

Ett stort tack skall riktas till TEDx Göteborg och alla människor som genom organisationen utför ett fantastiskt arbete! Arrangemanget ägde rum i Chalmers konferenscenter. Övriga talare var Gourgen Gevoryan, Staffan Truvé, Liz Rider och Reneé Göthberg. Nu väntar vi på att talen skall klippas ihop, publiceras och sedan spridas.

Generativ AI och skola

Under våren har jag träffat och lyssnat till hur lärare erfar att deras arbete har påverkats av generativ AI, såsom ChatGPT. Inför sommaren satte jag mig ner och summerade mina erfarenheter och tankar i en film. Filmen vänder sig främst till dig som arbetar som lärare, men också till övrig skolpersonal och skolledning. Det är uppenbart att vi just nu står i början av något som kommer att påverka oss alla. Teknikutvecklingen i sig tror jag inte att vi kan bromsa, men tillsammans kan vi förhoppningsvis styra vårt användande av tekniken åt ett positivt håll. Men det kräver gemensam klokskap, samarbete och samtal.

Filmen får ni gärna använda er av. Önskar ni kompletterande diskussionsfrågor, eller om ni har frågor på själva innehållet, kanske vill ni lägga till något, eller om det är något som ni tycker är fel – hör bara av er.

Dela gärna filmen vidare!

De länkar som jag nämner i filmen är:

Multi-Agent Hide and Seek

Googles AI-kurs

Khan Academy GPT4 demo

AI har dödat den skrivna hemuppgiften

Olika aspekter av artificiell intelligens (AI) har blivit en naturlig del av vår vardag. Genom AI får vi musik- och filmförslag via våra strömningstjänster. Vi kan förvandla svartvita bilder till färg, och få dem att sjunga. Den största påverkan av AI sker dock i det dolda utan att vi märker det. Inom utbildningssektorn finns exempelvis numera AI-teknik obemärkt integrerad i såväl lärplattformar som läromedel.

En av de senaste AI-teknikerna är GPT-3 (Generative Pre-trained Transformer 3). Det rör sig om en så kallad autoregressiv språkmodell som använder djupinlärning för att producera människoliknande text. I praktiken innebär det att man matar in vad för sorts text man önskar att GPT-3 skall generera, och på ett par sekunder skrivs texten fram.

Författaren Arthur C. Clark lär ha sagt att tillräckligt avancerad teknik inte går att skilja från magi, och magi är rimligtvis något många kommer att tänka på när de prövar GPT-3 för första gången. Det fungerar otroligt bra.

Nedan följer en text skriven av en fritt tillgänglig och gratis version av GPT-3. Jag gav den i uppgift att författa en text på max 200 ord som diskuterade relationen mellan religion och vetenskap. Anledningen till detta val av uppgift är att jag som religionslärare på gymnasiet förväntas pröva elevers förmåga att just analysera relationen mellan religion och vetenskap, vilket ofta är en svår uppgift för eleverna. Uppgiften förutsätter en god förståelse för de olika begreppen samt förmåga att jämföra och problematisera dessa.

I exemplet användes en tjänst som i nuläget endast finns på engelska. Den genererade texten översatte jag därför till svenska genom Google translate. Utöver detta har texten inte manipulerats på något sätt.

Vetenskap och religion ses ofta som två motsatta krafter, men i verkligheten är de mycket mer sammanflätade än vad de flesta inser. Både vetenskap och religion bygger på tro – tro på sinnenas bevis respektive tro på en högre makt.

Både vetenskap och religion gör anspråk om universums natur och vår plats i det. Vetenskapen försöker förklara den naturliga världen genom observation och experiment, medan religion förlitar sig på uppenbarelse och tro.

Trots sina olikheter har vetenskap och religion ett gemensamt mål: att förstå och förklara universum. På många sätt är de två sidor av samma mynt.

Det går inte att förneka att vetenskap och religion har haft sin del av konflikten. Men i slutändan är båda väsentliga delar av den mänskliga upplevelsen. Vi behöver vetenskap för att förstå världen omkring oss, och vi behöver religion för att ge mening åt våra liv.

Som vi ser klarar GPT-3 av uppgiften relativt väl. I den genererade texten problematiseras och nyanseras begreppen. Av utrymmesskäl och för att få fram min poäng valde jag här att generera en relativt kort text, men i den aktuella AI-tjänsten går det idag att generera texter upp till 16 000 tecken. Det går också att be systemet att skriva andra sorters texter såsom exempelvis noveller, dikter eller manus till argumenterande tal. Systemet klarar i princip alla dessa uppgifter galant. Det går att ställa in olika stilnivåer. Systemet hanterar även i viss utsträckning fotnoter.

Det är också viktigt att uppmärksamma att den genererade texten ovan är unik. Ger man systemet samma uppgift igen författas en ny text. System för plagiatkontroll såsom Ourignal (före detta ”Urkund”) är därför helt chanslösa.

Är du en lärare som använder dig av examinerande skrivuppgifter där du inte övervakar skrivprocessen kommer du med stor sannolikhet att möta den här typen av AI-genererade texter. Kanske har du ovetandes redan gjort det.

Så hur skall vi hantera detta?

För det första: Vi behöver sluta helt med examinerande skrivuppgifter som elever genomför utanför lärares kontroll. Anledningen är dock inte helt nyuppkommen i och med denna nya AI-teknik. Elever har sedan urminnes tider fuskat genom att låta andra personer ”hjälpa” dem med examinerande hemuppgifter. Det nya med GPT-3 är att ”hjälpen” blir väldigt mycket mera tillgänglig.

Sedan finns det även fler argument för att sluta med examinerande hemuppgifter. Vi vet att olika elever har olika förutsättningar för att skriva hemma. Det är därför skolans uppgift att verka kompensatoriskt och eftersträva examinerande situationer som är så likvärdiga som möjligt, vilket i princip är omöjligt utanför skolan.

För det andra: Examinerande skrivuppgifter behöver genomföras i säkrade skrivmiljöer, exempelvis genom att använda digitala provtjänster. Sedan ökade krav på det digitala genomförandet av nationella prov i svenska, engelska och svenska som andraspråk har idag de flesta hög- och gymnasieskolor sådana system. Använd dem. Ofta. Men inte endast vid examinerande uppgifter.

Svensk skola behöver färre examinerande prov, inte fler. Vi vet att elever mår allt sämre till följd av en ökande prov- och betygsstress. Därför är det viktigt att lärare skiljer mellan de moment som är examinerande och de som inte är det. Genom att regelbundet använda digitala provtjänster vid moment som inte är betygsgrundande blir elever och lärare mer trygga i användningen, vilket rimligtvis leder till bättre validitet vid examinerande uppgifter.

För det tredje: Använd och utforska tekniken! GPT-3 kan fungera som ett givande verktyg för kreativitet. Varför inte låta GPT-3 skriva en inledning på en novell eller en debattartikel för att sedan låta elever fortsätta? Generera texter som kan fungera som underlag för diskussioner om stil och språk. Låt arbete med GPT-3 leda till samtal om framtiden, gränsen mellan människa och maskin. Endast den pedagogiska fantasin sätter gränser.

Texten är publicerad i tidiningen Skolvärlden den 31 maj 2022.