Auto-Multiple-Choice, corrector automàtic d’exàmens

Corregir exàmens és, probablement, una de les tasques que més odiem els professors. És monòton, molt, moltíssim —els qui no treballeu en l’educància no us en podeu fer una idea— i tristament decebedor.

Per això, quan vaig descobrir un programa que servia per elaborar controls tipus test i, després, corregir-los de forma automatitzada (que no automàtica), tot estalviant temps i errors humans, vaig tindre molt clar que l’havia d’investigar a fons: això podria convertir-se en el meu Sant Graal! El resultat de les proves va ser tan satisfactori que, aquest curs, l’estic utilitzant de forma intensiva i n’estic la mar de feliç.

Sense ànim de fer-ne un tutorial (massa feina, i no hi cal, perquè està molt ben documentat), volia compartir aquesta troballa amb els companys docents. Us presente, doncs, l’AMC – Auto Multiple Choice.

L’autor, Alexis Bienvenüe, el descriu com un conjunt d’utilitats que permeten crear, administrar i corregir automàticament exàmens d’elecció múltiple mitjançat el reconeixement òptic de marques (OMR). Es tracta de programari lliure publicat sota la llicència GPLv2 i la primera versió es remunta al 2008. Està detalladament documentat en francés¹, anglés² i japonés³.

Es troba disponible en els repositoris de moltes famílies GNU/Linux (Debian, Ubuntu, OpenSUSE, Arch Linux, Fedora…), però també hi ha versions per a FreeBSD i MacOSX.

Cal afegir, a més, que treballa internament amb LaTeX, de manera que la presentació de les proves elaborades amb AMC és molt acurada estèticament. D’altra banda, ofereix la possibilitat de crear un model d’examen diferent per a cada alumne (tot combinant en diferent ordre tant les preguntes com les possibles respostes de cada pregunta: només cal indicar-hi quants alumnes han de realitzar la prova).

Un cop realitzada la prova per part dels alumnes, cal escanejar-la a pdf⁴; aquest pdf serà el punt de partida per a la correcció i avaluació.

En aquest punt, AMC requereix la participació del professor, que s’ha d’assegurar que el programa ha identificat correctament els requadres marcats, els que han quedat en blanc i els que han estat descartats (aquesta és la part més tediosa del procediment, però no és, ni de lluny, tan lenta com haver d’efectuar la correcció manualment).

AMC és capaç d’identificar cada alumne a partir d’un codi numèric que li haurem de proporcionar en un llistat en format csv. Després, però, cal repassar aquesta identificació per corregir-hi possible errors, generalment deguts a una introducció incorrecta del codi per part de l’alumne. Amb això, AMC farà la seua màgia:

1. crearà un nou pdf per a cada alumne tot i afegint-hi la correcció (marques vermelles per als errors i omissions, verdes per als encerts) i l’avaluació;
2. enviarà, via correu electrònic, aquest pdf corregit a cada alumne (a cadascú, el seu, òbviament); si disposeu dels correus electrònics dels pares, també els en pot enviar una còpia;
3. crearà un full de càlcul en format ods amb els resultats de tots els alumnes, però, no només els resultats globals: indica el resultat pregunta per pregunta, cosa que permet descobrir quins aspectes del temari han resultat més difícils per al grup (i caldria treballar-hi encara) i quins, en canvi, estan clarament superats.

Perquè us en feu una idea del temps estalviat, ara que ja hi tinc una mica de pràctica, aconseguisc corregir 75 proves de 25 preguntes en aproximadament hora i quart. És a dir, que un prova de quatre pàgines queda corregida, avaluada i analitzada estadísticament en un minut.

Hi ha dues possibilitats per a crear les proves amb AMC: utilitzant LaTeX⁵ o emprant un codi de marques lleuger propi⁶. Jo només he fet servir el segon procediment i, un cop has preparat els motlles (templates) que s’adapten a les teues necessitats, la resta és tremendament fàcil.

Podeu emprar qualsevol editor de text pla per a crear els qüestionaris⁷ tot aplicant-hi unes poques regles:

• cada pregunta i les respostes associades s’escriuen en un conjunt de línies consecutives, sense cap línia en blanc que les separe;
• una línia en blanc (jo n’utilitze dues, per millorar-ne la legibilitat) separa cada pregunta de l’anterior i de la següent;
• l’enunciat d’una pregunta comença amb un asterisc (*), ha de ser el primer caràcter de la línia;
• la resposta correcta comença amb el signe més (+);
• cada resposta errònia ha d’iniciar amb el signe menys (–).

D’altra banda, cal indicar, per a cada pregunta, com serà puntuada (amb un bonus, els punts que sumarà l’encert; amb un malus, els punts que restarà l’error). Com que no s’hi poden emprar decimals, en una pregunta amb quatre respostes i només una correcta, si volem que cada error descompte 1/3 del valor de l’encert, cal emprar el codi [b=3,m=1]

També, afegint-hi un altre codi, es pot determinar el format de les respostes, ço és, si han d’aparèixer totes en una columna (és el cas per omissió, adequat per a respostes llargues, que ocupen quasi tota la línia), dues columnes ([columns=2]) o més, o totes en línia ([horiz]) si són respostes molt breus.

Podem donar, per cada pregunta, la quantitat de possibles respostes que hi calga.

Qualsevol docent sap que una prova tipus test no pot avaluar totes les possibles destreses de totes les especialitats: no serveix per avaluar la capacitat de redacció o de síntesi, de realitzar un dibuix tècnic o artístic, etc. Tanmateix, té una gran tradició en comprovar els coneixement teòrics de qualsevol àmbit, així com en mesurar (fins a cert punt) la comprensió lectora, entre moltes altres coses. Així, doncs, només cal que el professor analitze en quins aspectes li pot resultar útil i en quins no.

Entre els avantatges d’aquest tipus de prova, se’n sol citar l’objectivitat (el criteris són clars: aquesta resposta és correcta i aquestes altres no ho són), així com la possibilitat d’examinar vastes àrees de coneixement amb una sola bateria de preguntes.

Per la seua banda, AMC hi afegeix, pel que fa a la correcció, un increment brutal de la velocitat i una reducció dràstica dels errors humans, més l’anàlisi estadística dels resultats (una cosa que trigaríem hores a fer seria introduir en un full de càlcul els resultats, pregunta per pregunta, de cada alumne: AMC ho fa automàticament), la generació d’una còpia en pdf corregida i avaluada i, finalment, l’enviament automatitzat d’aquesta als alumnes o, si cal, de les famílies o tutors legals.

Un altre detall que aport AMC és el fet de no necessitar una gran infraestructura per a realitzar aquest tipus de tasca: un ordinador normal i una fotocopiadora (amb un escàner domèstic es trigaria massa temps) i ja podem corregir centenars de proves en un temps raonable. Fins ara, això només estava a l’abast de les administracions públiques, les universitats…

Però, sobretot, allò que estalvia al professor és l’avorriment, l’esgotament i el desànim que produeix corregir 70 o 100 o 200 proves aproximadament iguals: una autèntica tortura psicològica que hauria d’estar condemnada i perseguida per les autoritats internacionals.

Cal reconèixer que AMC té un cert nivell de dificultat: estar familiaritzat amb els llenguatges de marcat lleuger facilita l’elaboració dels tests; però cal, també, llegir molt atentament les instruccions i fer provatures, amb controls i grups ficticis d’alumnes, abans d’intentar crear un examen real i portar-lo a la pràctica. Tanmateix, l’esforç paga la pena i s’amortitza molt ràpidament.

I, tal com vaig imaginar en un primer moment, ha esdevingut el meu «Sant Graal» com a professor.