AI verandert snel de manier waarop we omgaan met apps en ervaringen, en het kan worden gebruikt om het onderwijs efficiënter, consistenter en eerlijker te maken. Binnen Gradescope, een papieren-naar-digitaal beoordelingsplatform, kunnen instructeurs AI-ondersteunde beoordelingstools gebruiken om sneller te beoordelen, duidelijkere feedback te geven aan studenten en inzicht te krijgen in het begrip van studenten.
Door AI ondersteunde beoordeling met Gradescope stelt instructeurs in staat om de antwoorden van studenten eerst in groepen te sorteren en vervolgens hele groepen tegelijk te beoordelen. Voor sommige vraagtypes kan Gradescope de antwoorden van studenten automatisch in groepen sorteren, wat docenten nog meer tijd bespaart.
We moesten een gebruikersinterface ontwerpen waarmee instructeurs konden verifiëren dat de antwoordgroepen volledig correct waren, gemakkelijk fouten konden herstellen als dat niet het geval was, en het resultaat van een ingewikkeld proces aan de instructeur meedeelden zodat ze zich op hun gemak en effectief voelden.
Deze functie is het resultaat van nauwe samenwerking tussen onze AI-, ontwerp- en webontwikkelingsteams. De volgende drie principes van AI Product Design hebben ons geleid bij het bereiken van deze missie.
Principe 1: Spreek de taal van de gebruiker
In de vroege versies van de interface gebruikten we de term ‘cluster’, wat verwijst naar technieken voor het automatisch vormen van afzonderlijke groepen items. We realiseerden ons al snel dat het voor onze gebruikers niet dezelfde betekenis had als voor ons. In plaats daarvan hebben we besloten om het woord ‘groep’ te gebruiken, wat net zo nauwkeurig is, maar relevanter voor de gebruiker.
Een ander voorbeeld van het niet spreken van de taal van de gebruiker is het woord ‘autograde’ in een vroeg Gradescope-prototype. Ons team heeft dit woord zorgvuldig verwijderd uit de definitieve versies van de interface, omdat Gradescope AI niet automatisch beoordeelt. Het helpt de beoordelaar alleen bij het vormen van antwoordgroepen en vereist dat de beoordelaar zich bij de groepen afmeldt alvorens te beoordelen.
Door nauwkeurig te zijn met onze taal, weet de instructeur precies wat onze missie is: hen helpen, niet vervangen.
Principe 2: Details zijn belangrijk
Het doel van een succesvolle gebruikersinterface is om een complexe functie gebruiksvriendelijk te maken. Dit kan niet worden opgelost met ontwerpwerk alleen, je moet kijken hoe echte mensen de interface gebruiken, opmerken waar ze moeite mee hebben en de instructies verbeteren.
Zodra de AI-ondersteunde beoordelingsinterface enigszins bruikbaar was, begonnen we Gradescope-gebruikers uit te nodigen voor een alfatest. Ons kantoor bevond zich dicht bij UC Berkeley, dus meer dan een dozijn onderwijsassistenten en instructeurs vonden het gemakkelijk genoeg om langs te komen tijdens hun lunchpauze.
We zaten naast een gebruiker en observeerden in stilte hoe ze probeerden de nieuwe interface te achterhalen. We zouden met ontzetting toekijken hoe ze een pop-up met instructies oversloegen. We kronkelden terwijl ze worstelden om een duidelijk zichtbare knop te vinden. We zouden merken dat ze sneltoetsen probeerden te gebruiken, zonder resultaat.
Elke sessie leidde tot belangrijke inzichten over hoe dingen zouden moeten werken en we hebben talloze verbeteringen doorgevoerd. Individueel zijn het allemaal kleine functies en geen enkele is cruciaal. Maar in combinatie maken ze een gebruikersinterface zo intuïtief, gepolijst en verrukkelijk dat de gebruiker zich veilig voelt. Ze kunnen zien dat we om hen geven en dat ons product met hen in gedachten is gebouwd.
Principe 3: Interacties tussen de gebruiker en AI moeten beide partijen ten goede komen
Wanneer de gebruiker antwoordgroepen beoordeelt die zijn gevormd door de assistentie van Gradescope AI, hebben ze interactie met AI en zou de interactie nuttig moeten zijn. Daarom lanceren we geen door AI aangedreven functies totdat de AI-engine goed genoeg is om een groot verschil te maken in de gebruikerservaring.
Toch maakt onze AI af en toe een fout. Daarom hebben we de interface nauwgezet ontworpen, zodat de gebruiker fouten snel en effectief kan corrigeren. En wanneer de gebruiker een fout corrigeert die de AI heeft gemaakt, is dat gunstig voor de AI.
De meeste AI-toepassingen leren tegenwoordig met behulp van grote reeksen voorbeelden (bijvoorbeeld afbeeldingen van handgeschreven woorden en de bijbehorende tekstrepresentaties). Hoe meer van dergelijke voorbeelden kunnen worden gegeven, hoe beter de AI zal worden.
Dit vliegwieleffect ontstaat natuurlijk niet vanzelf. Het vereist veel werk van ontwerp-, webontwikkelings- en AI-teams. Gebruikersinteracties moeten zo worden ontworpen dat er bruikbare gegevens worden gegenereerd, vervolgens op de juiste plaats worden opgeslagen en uiteindelijk worden gebruikt voor AI-ontwikkeling. Zoals we hebben gedaan met alle productverbeteringen en -ontwikkelingen, houden we deze drie principes in gedachten als we kijken naar de toekomst van Gradescope en AI.
Source link: https://www.highereddive.com/spons/streamline-assessments-with-ai-assisted-grading-tools/689017/
