Millainen arvioija olen?


”Mitä sä tälle antaisit? Onko tää A2.1 vai A2.2?”
”No mun mielestä se on kyllä A2.1.”
”Ai, mutta kyllähän se tässä kuitenkin näin jokseenkin hyvin on osannut asiansa ilmaista…”
”Niin, mutta onhan tässä sitten tuo ja tuo, mikä kyllä mun mielestä painaa sitä alemmas. No, mutta mä oonkin aika ankara arvioija.”
”Niinpä! Ja minä taas melko lempeä. Äh!”

Tällaisia keskusteluja käydään varmasti harva se kerta testaajien kesken. Voi olla epävarmuutta omasta arvioinnista; onko tämä nyt vai eikö tämä ole, ja silloin tietysti mennään kysymään kollegalta. Viimeistään tuossa vaiheessa huomataan, ettemme ole samanlaisia arvioijia. Millainen minä olen arvioijana? Entä sinä?

Arvioinnin haasteellisuutta ja sudenkuoppia pohdittiin syyskuun alussa ALTE:n (Association of Language Testers in Europe) järjestämällä kielitaidon arvioinnin peruskurssilla. Helteinen Lissabon nosti hikihelmiä ihon pintaan, mutta hiki tuli melkeinpä pelkästään jo arvioinnin kompleksisuutta miettiessä. Arviointia pohdittiin viikon mittaisen kurssin aikana monesta eri näkökulmasta Bedfordshiren yliopiston professorin Anthony Greenin ja ALTE:n asiantuntijan Jane Lloydin johdolla.

Kurssin neljäntenä päivänä pohdimme Jane Lloydin luennolla arvioijatyyppejä ja sitä, millaisia seikkoja on pidettävä silmällä, kun ihminen arvioi tuottamistaitoja. Vaikuttaako arvioija testin tulokseen? Jos, niin miten? Miten näitä inhimillisen arvioinnin ”sivuvaikutuksia” voi ehkäistä? Vai voiko?

Arvioijalla on yleensä oma tyylinsä arvioida; joku on lempeä, joku taas ankara suhteessa toisten arvioijien mielipiteeseen tai kriteereihin. Joku taas on arvioija, joka antaa kaikista osa-alueista saman tasoarvion; kun tekstin ja puheen ymmärtämisen olen arvioinut A2.1, niin annan muistakin A2.1. Arvioijalla voi myös olla taipumus antaa arvioita aina skaalan ääripäistä tai pysytellä aina keskellä arviointiasteikkoa.

Vai olenko kenties ennustaja? Arvioinko hellämielisesti aina tiettyä tehtävää, vai olenko ehkä lempeämpi arvioidessani tiettyä opiskelija- tai ihmisryhmää? Arvioinko ankarammin toista ryhmää? Onko minulla ennakkoasenteita? Vai ravistelenko arvosanat kenties ihan vain hihasta, kuten vanhassa opettajavitsissä.

No mutta, testaajathan ovat koulutettuja ihmisiä tähän tehtävään. Miten se voi olla sitten niin vaikeaa? Tutkimuksissa on todettu, että koulutus auttaa testaajaa olemaan johdonmukaisempi omassa arviointilinjassaan, mutta yhdenmukaisuutta testaajien välillä se harvoin on lisännyt, oli kyse sitten konkareista tai vasta-alkajista. Tutkimuksissa on myös huomattu, että koulutuksissa harvoin kiinnitetään huomiota arvioijien kesken esiintyvään variaatioon. Jane Lloyd totesi, että variaatioon voi olla useita syitä, esimerkiksi se, että ihmiset yksinkertaisesti tulkitsevat kriteerejä ja arviointiskaaloja eri tavalla. Siihen voi myös vaikuttaa myös se, että arviointi on monimutkaista ja kognitiivisesti vaativaa. Lloydin mukaan arviointikoulutus on tärkeää, mutta sen varaan ei voi kaikkea laskea.

Mikä siis ratkaisuksi tähän inhimillisen tekijän dilemmaan? Ensinnäkin testissä on hyvä olla erilaisia tehtävätyyppejä, jolloin saadaan siis tyypiltään erilaisia vastauksia, jolloin arvioijalla on taas enemmän tietoa käytössään. Arviointikriteerien pitäisi olla eksplisiittisiä ja yksityiskohtaisia, jolloin tilaa tulkinnalle jäisi mahdollisimman vähän. Mitä esimerkiksi tarkoittaa osaa hyvin? Tai melko tarkasti? Arvioinnin tasalaatuisuus vaatii tietysti harjoittelua ja maamerkkeilyä. Arviointia voi olla myös aiheellista tarkistaa joko kaksoisarvioinnilla tai jopa useamman arvioijan yhteistyöllä. Lisäksi tuloksia voi tarkastella myös tilastotieteen avulla.

Tärkeintä lienee kuitenkin se, että arvioija on tietoinen omasta arviointityylistään. Tietoisuus pitää hereillä ja ohjaa tarkastelemaan ja kehittämään omaa arviointityötä. Seuraavan kerran arvioidessa voi tarkastella arviointiaan objektiivisesti; onko tämä näin vai onko tämä näin koska minä ajattelen näin?


Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google photo

Olet kommentoimassa Google -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

Muodostetaan yhteyttä palveluun %s