Vooringenomenheid tegen niet-moedertaalsprekers van het Engels

Terwijl onderwijzers blijven onderzoeken welke rol hulpmiddelen voor kunstmatige intelligentie in de klas zouden moeten of kunnen spelen, waarschuwen sommige onderzoekers leraren dat AI-detectoren bevooroordeeld zijn tegen niet-moedertaalsprekers van het Engels.

In een artikel dat vorige maand verscheenwilden onderzoekers van Stanford University evalueren hoe nauwkeurig detectoren van GPT, of generatieve vooraf getrainde transformatoren, zijn als het gaat om het bepalen of tekst die is geschreven door anderstaligen Engels, door AI is gegenereerd of geschreven door een mens.

Om dit te testen, lieten de onderzoekers essays die door Chinese studenten waren geschreven voor de Test of English as a Foreign Language, of TOEFL, door zeven veelgebruikte detectoren lopen. Ze deden hetzelfde met een aantal essays geschreven door US 8th ^{graders die native speakers Engels waren. De tools bestempelden ten onrechte meer dan de helft van de TOEFL-essays als AI-gegenereerd, terwijl de 8e cijfer essays.}

“We vonden deze substantiële vooringenomenheid waardoor veel van [non-native English speakers’] geschriften worden ten onrechte gemarkeerd als gegenereerd door GPT, terwijl ze in werkelijkheid door mensen zijn geschreven, “zei James Zou, een van de co-auteurs van het artikel en assistent-professor biomedische datawetenschap aan Stanford University.

GPT-detectoren kijken naar iets dat verwarring van tekst wordt genoemd, zei Zou. Tekst met een lage perplexiteit omvat het gebruik van meer algemene, generieke woorden die niet erg verrassend zijn en dus eerder worden gemarkeerd als door AI gegenereerd, zelfs als dat niet het geval is. De onderzoekers onderzochten om deze reden de verbijstering van de schrijfvoorbeelden van de studenten en ontdekten dat tekst met een lage verbijstering eerder werd gemarkeerd als door AI gegenereerd.

Studenten in de VS die Engels leren, zullen waarschijnlijk meer algemene woorden gebruiken in hun schrijven terwijl ze werken aan het uitbreiden van hun vocabulaire, waardoor ze waarschijnlijker ten onrechte worden gemarkeerd als hebbend AI gebruikt, voegde Zou eraan toe.

Vooroordelen in AI-detectoren aanpakken

Bias in AI-tools is geen nieuw fenomeen, en GPT-detectoren zijn nooit 100 procent onfeilbaar geweest, vooral omdat de AI-technologie zich blijft ontwikkelen, zei Christopher Doss, een beleidsonderzoeker bij de RAND Corporation.

“AI is getraind op data. Maatschappelijke vooroordelen worden ingebakken in gegevens, ‘zei Doss.

Voor Doss en anderen is de belangrijkste conclusie dat leraren voorzichtig moeten zijn wanneer ze vertrouwen op GPT-detectoren om te bepalen of een student vals speelde met AI-hulp, maar wat nog belangrijker is, dat docenten verschillende manieren moeten bedenken om AI-tools in de klas te gebruiken.

“Hoe kom je er aan het begin van de les achter hoe je ChatGPT kunt gebruiken om te leren en kinderen te leren hoe ze deze tools voorgoed kunnen gebruiken?” zei Doss. “Maar hoe zorg je er dan voor dat je kinderen het niet als kruk gebruiken?”

Peter Gault, de uitvoerend directeur en mede-oprichter van Quill, een non-profitorganisatie die open-source geletterdheidsmateriaal levert aan leraren, zei dat de AI-detector van de groep bekend als AI-schrijfcontrole was een van de tools die door de Stanford-onderzoekers werden onderzocht. Die tool is vanaf deze week niet meer beschikbaar voor docenten.

“Toen we deze tool in januari 2023 lanceerden, was ChatGPT de enige beschikbare tool voor generatieve AI. Er is nu een reeks verschillende tools beschikbaar en elk van deze tools wordt wekelijks geüpgraded. Naarmate deze tools hun AI complexer maken, wordt de AI-tekstuitvoer gevarieerder en wordt het moeilijker voor algoritmen om te detecteren of een stuk tekst door AI is gegenereerd”, aldus een verklaring op de AI Writing Check-website.

Als betrouwbaardere manier om te controleren of leerlingen AI in hun werk hebben gebruikt en om het risico van vooroordelen in AI-tools te vermijden, raadt Gault docenten aan om de versiegeschiedenis van tekst van leerlingen te gebruiken. Met andere woorden, docenten kunnen naar Google Documenten of Microsoft Word gaan en de verschillende bewerkingen en revisies zien die studenten in hun schrijven aanbrengen. Met deze iteraties kunnen docenten zien of een leerling AI-ondersteuning gebruikte en ook het schrijfproces van hun leerlingen beter begrijpen om te weten hoe ze hen het beste kunnen helpen hun schrijfvaardigheid te vergroten.

Vooruitkijkend zei Gault dat technologische vooruitgang zou kunnen leiden tot de ontwikkeling van AI-assistenten om studenten te helpen terwijl ze schrijven en hun werk te controleren terwijl ze bezig zijn in plaats van te wachten tot ze een opdracht hebben voltooid.

Zou, de Stanford-onderzoeker, beveelt ook deze meer proactieve benadering aan om de voortgang van het schrijven van studenten te controleren, in plaats van aan het eind te vertrouwen op een evaluatietool.

Met name voor Engelse studenten, voegde hij eraan toe, hebben AI-tools het potentieel om grammaticale fouten van studenten op te sporen voor meer persoonlijke assistentie en kunnen ze zelfs studenten helpen die vertaaldiensten nodig hebben.

De vooroordelen tegen Engelse leerlingen in het algemeen

Engelse leerlingen zijn een van de snelst groeiende studentendemografieën in de Verenigde Staten.

Als het gaat om specifiek werken met Engelse leerlingen, moeten onderwijzers zich bewust zijn van bredere vooroordelen waarmee deze leerlingen op K-12-scholen worden geconfronteerd, zei Xilonin Cruz-Gonzalez, de adjunct-directeur van Californians Together, een onderzoeks- en belangenbehartigingsorganisatie voor Engelse leerlingen en hun families. .

Hoewel er bijvoorbeeld duidelijke federale richtlijnen en zelfs enkele staatsrichtlijnen zijn over de rechten die Engelse leerlingen op scholen hebben – of het nu gaat om toegang tot vertaaldiensten of de mogelijkheid om zich in te schrijven voor scholen ongeacht de immigratiestatus – zijn sommige schooldistricten op lokaal niveau misschien niet begrijp altijd hun wettelijke verplichtingen, zei Cruz-Gonzalez.

Mede daarom publiceerden de Amerikaanse ministeries van Justitie en Onderwijs in juni factsheets onderwijzers herinneren aan de wettelijke rechten van immigrantenstudenten op K-12-scholen.

Cruz-Gonzalez zei dat Engelse leerlingen vaak te maken hebben met onbewuste vooroordelen onder docenten als het gaat om de taalkundige en academische troeven die ze naar de klas brengen.

Naarmate er nieuwe technologieën opduiken, hopen zij en andere pleitbezorgers dat ontwikkelaars vooroordelen in AI-tools aanpakken en kansen creëren voor Engelse leerlingen om creatief en positief om te gaan met AI-technologie.