Vulnerabilità di IA nel valutare esami in e-learning

L’articolo sul sito web TheVerge con titolo “These students figured out their tests were graded by AI — and the easy way to cheat” racconta come alcuni studenti hanno superato al 100% un esame nella piattaforma e-learning di Edgenuity.

Si tratta di quiz a risposta aperta, in cui gli studenti possono scrivere la risposta come vogliono.

Gli studenti hanno capito che i voti erano assegnati dagli algoritmi senza alcun intervento dei professori. Così, hanno fatto qualche prova e hanno pensato di scrivere nelle risposte le parole chiave associate a quella domanda, prendendole dalla risposta corretta fornita nella fase di correzione dopo la chiusura del quiz. Non è stato neanche necessario scrivere una frase di senso compiuto, è bastato copiare e incollare alcune parole scelte secondo il testo della domanda.

Le funzioni di correzione automatica non sono una novità, sono previste in tante piattaforme di e-learning. L’algoritmo di analisi del testo non può certamente comprendere il senso della risposta, può solo verificare la presenza di certe parole in certe posizioni, quindi ha valutato correttamente le risposte fornite dagli studenti che, in realtà, non avevano studiato le lezioni come previsto. Dal punto di vista tecnico, si possono usare vari algoritmi di IA per fare NLP, si può anche ricorrere alle classiche espressioni regolari note come regexp o regex.

Se proprio si vuole fornire un esame con risposta aperta bisogna curare questi aspetti:

• verificare se dopo la chiusura del quiz fornire il testo della risposta corretta oppure un link a un fonte esterna per ripassare
• creare test per evitare il copia-incolla della risposta corretta, o scoraggiarlo con modifiche all’interazione tramite browser
• maggiore consapevolezza dei problemi di e-learning nella fase di progettazione
• valutazione accurata durante la fase di acquisto del sistema
• non dare grande risalto alla presenza di AI per la sostituzione del ruolo del docente nella correzione
• prevedere sempre nel processo di valutazione i controlli a campione del docente.