Auto-Multiple-Choice, corrector automàtic d’exàmens

Presentació

Corregir exàmens és, probablement, una de les tasques que més odiem els professors. És monòton, molt, moltíssim —els qui no treballeu en l’educància no us en podeu fer una idea— i tristament decebedor.

Per això, quan vaig descobrir un programa que servia per elaborar controls tipus test i, després, corregir-los de forma automatitzada (que no automàtica), tot estalviant temps i errors humans, vaig tindre molt clar que l’havia d’investigar a fons: això podria convertir-se en el meu Sant Graal! El resultat de les proves va ser tan satisfactori que, aquest curs, l’estic utilitzant de forma intensiva i n’estic la mar de feliç.

Sense ànim de fer-ne un tutorial (massa feina, i no hi cal, perquè està molt ben documentat), volia compartir aquesta troballa amb els companys docents. Us presente, doncs, l’AMC – Auto Multiple Choice.

Què és Auto Multiple Choice?

L’autor, Alexis Bienvenüe, el descriu com un conjunt d’utilitats que permeten crear, administrar i corregir automàticament exàmens d’elecció múltiple mitjançat el reconeixement òptic de marques (OMR). Es tracta de programari lliure publicat sota la llicència GPLv2 i la primera versió es remunta al 2008. Està detalladament documentat en francés1, anglés2 i japonés3.

Es troba disponible en els repositoris de moltes famílies GNU/Linux (Debian, Ubuntu, OpenSUSE, Arch Linux, Fedora…), però també hi ha versions per a FreeBSD i MacOSX.

Funcions de l’AMC

Cal afegir, a més, que treballa internament amb LaTeX, de manera que la presentació de les proves elaborades amb AMC és molt acurada estèticament. D’altra banda, ofereix la possibilitat de crear un model d’examen diferent per a cada alumne (tot combinant en diferent ordre tant les preguntes com les possibles respostes de cada pregunta: només cal indicar-hi quants alumnes han de realitzar la prova).

AMC-01.png

Figura 1: Aspecte d’un control creat amb AMC.

Un cop realitzada la prova per part dels alumnes, cal escanejar-la a pdf4; aquest pdf serà el punt de partida per a la correcció i avaluació.

AMC-02.png

Figura 2: Hermione Granger ha acabat el control en només cinc minuts: com creieu que li haurà sortit?

En aquest punt, AMC requereix la participació del professor, que s’ha d’assegurar que el programa ha identificat correctament els requadres marcats, els que han quedat en blanc i els que han estat descartats (aquesta és la part més tediosa del procediment, però no és, ni de lluny, tan lenta com haver d’efectuar la correcció manualment).

AMC és capaç d’identificar cada alumne a partir d’un codi numèric que li haurem de proporcionar en un llistat en format csv. Després, però, cal repassar aquesta identificació per corregir-hi possible errors, generalment deguts a una introducció incorrecta del codi per part de l’alumne. Amb això, AMC farà la seua màgia:

  1. crearà un nou pdf per a cada alumne tot i afegint-hi la correcció (marques vermelles per als errors i omissions, verdes per als encerts) i l’avaluació;
  2. enviarà, via correu electrònic, aquest pdf corregit a cada alumne (a cadascú, el seu, òbviament); si disposeu dels correus electrònics dels pares, també els en pot enviar una còpia;
  3. crearà un full de càlcul en format ods amb els resultats de tots els alumnes, però, no només els resultats globals: indica el resultat pregunta per pregunta, cosa que permet descobrir quins aspectes del temari han resultat més difícils per al grup (i caldria treballar-hi encara) i quins, en canvi, estan clarament superats.

AMC-03.png

Figura 3: AMC corregeix i avalua els controls d’una manera clara i entenedora. Aquest és el fitxer pdf que AMC enviarà als alumnes per correu electrònic.

Perquè us en feu una idea del temps estalviat, ara que ja hi tinc una mica de pràctica, aconseguisc corregir 75 proves de 25 preguntes en aproximadament hora i quart. És a dir, que un prova de quatre pàgines queda corregida, avaluada i analitzada estadísticament en un minut.

AMC-04.png

Figura 4: Sempre he volgut analitzar els controls dels alumnes estadísticament per esbrinar quins aspectes del temari habien quedat ben assolits i quins no: AMC, ara, ho fa per mi! Per cert, us imagineu la feinada d’introduir en el full de càlcul els resultats d’una prova de 30 preguntes realitzada per 100 alumnes?

Crear la prova amb AMC

Hi ha dues possibilitats per a crear les proves amb AMC: utilitzant LaTeX5 o emprant un codi de marques lleuger propi6. Jo només he fet servir el segon procediment i, un cop has preparat els motlles (templates) que s’adapten a les teues necessitats, la resta és tremendament fàcil.

Podeu emprar qualsevol editor de text pla per a crear els qüestionaris7 tot aplicant-hi unes poques regles:

  • cada pregunta i les respostes associades s’escriuen en un conjunt de línies consecutives, sense cap línia en blanc que les separe;
  • una línia en blanc (jo n’utilitze dues, per millorar-ne la legibilitat) separa cada pregunta de l’anterior i de la següent;
  • l’enunciat d’una pregunta comença amb un asterisc (*), ha de ser el primer caràcter de la línia;
  • la resposta correcta comença amb el signe més (+);
  • cada resposta errònia ha d’iniciar amb el signe menys ().

D’altra banda, cal indicar, per a cada pregunta, com serà puntuada (amb un bonus, els punts que sumarà l’encert; amb un malus, els punts que restarà l’error). Com que no s’hi poden emprar decimals, en una pregunta amb quatre respostes i només una correcta, si volem que cada error descompte 1/3 del valor de l’encert, cal emprar el codi [b=3,m=1]

AMC-05.png

Figura 5: Fins i tot sense l’ajut d’Emacs i del mode específic per a AMC, els fitxers font per als controls resulten clars de llegir.

També, afegint-hi un altre codi, es pot determinar el format de les respostes, ço és, si han d’aparèixer totes en una columna (és el cas per omissió, adequat per a respostes llargues, que ocupen quasi tota la línia), dues columnes ([columns=2]) o més, o totes en línia ([horiz]) si són respostes molt breus.

Podem donar, per cada pregunta, la quantitat de possibles respostes que hi calga.

Conclusions

Qualsevol docent sap que una prova tipus test no pot avaluar totes les possibles destreses de totes les especialitats: no serveix per avaluar la capacitat de redacció o de síntesi, de realitzar un dibuix tècnic o artístic, etc. Tanmateix, té una gran tradició en comprovar els coneixement teòrics de qualsevol àmbit, així com en mesurar (fins a cert punt) la comprensió lectora, entre moltes altres coses. Així, doncs, només cal que el professor analitze en quins aspectes li pot resultar útil i en quins no.

Entre els avantatges d’aquest tipus de prova, se’n sol citar l’objectivitat (el criteris són clars: aquesta resposta és correcta i aquestes altres no ho són), així com la possibilitat d’examinar vastes àrees de coneixement amb una sola bateria de preguntes.

Per la seua banda, AMC hi afegeix, pel que fa a la correcció, un increment brutal de la velocitat i una reducció dràstica dels errors humans, més l’anàlisi estadística dels resultats (una cosa que trigaríem hores a fer seria introduir en un full de càlcul els resultats, pregunta per pregunta, de cada alumne: AMC ho fa automàticament), la generació d’una còpia en pdf corregida i avaluada i, finalment, l’enviament automatitzat d’aquesta als alumnes o, si cal, de les famílies o tutors legals.

Un altre detall que aport AMC és el fet de no necessitar una gran infraestructura per a realitzar aquest tipus de tasca: un ordinador normal i una fotocopiadora (amb un escàner domèstic es trigaria massa temps) i ja podem corregir centenars de proves en un temps raonable. Fins ara, això només estava a l’abast de les administracions públiques, les universitats…

Però, sobretot, allò que estalvia al professor és l’avorriment, l’esgotament i el desànim que produeix corregir 70 o 100 o 200 proves aproximadament iguals: una autèntica tortura psicològica que hauria d’estar condemnada i perseguida per les autoritats internacionals.

Cal reconèixer que AMC té un cert nivell de dificultat: estar familiaritzat amb els llenguatges de marcat lleuger facilita l’elaboració dels tests; però cal, també, llegir molt atentament les instruccions i fer provatures, amb controls i grups ficticis d’alumnes, abans d’intentar crear un examen real i portar-lo a la pràctica. Tanmateix, l’esforç paga la pena i s’amortitza molt ràpidament.

I, tal com vaig imaginar en un primer moment, ha esdevingut el meu «Sant Graal» com a professor.

Notes a peu de pàgina:

4

Qualsevol impressora professional decent inclou l’opció d’escanejar a pdf, cosa que permet fer aquest pas en poc més d’un minut.

7

Emacs disposa (evidentment!) d’un mode major per editar el format específic d’AMC. Entre altres coses, destaca amb diferents colors els enunciats de les preguntes (blau), la resposta correcta (verd) i les respostes errònies (vermell). El podeu trobar aquí: GitHub – wentasah/amc-txt-mode: Emacs major mode for AMC-TXT files

Cookies? Galetes? Bunyols! Aquest blog utilitza bunyols per... bé, us mentiria si us digués que sé per a què punyetes utilitza bunyols aquest blog; a més, els bunyols els posa Wordpress, no jo, que no els vist mai. Però, com que la llei mana que us n'avise, avisats quedeu.
Accepte els bunyols
No vull bunyols, que engreixen!