Arvioinninkehä – ja minä osana sitä Testipisteessä

Syyskuuni alkoi tänä vuonna erityisellä tavalla, kun sain osallistua ALTE:n (Association of language testers in Europe) Johdanto kielitestaukseen -koulutukseen Lissabonissa. Tämä olikin todellinen arvioinnin kesäkurssi; arviointia, valoa, aurinkoa – ja ihana Lissabon!

Kurssia vetivät professori Anthony Green Bedfordshiren yliopistosta ja Jane Lloyd ALTE:sta. Heti ensimmäisenä päivänä Anthony Green kertoi meille kielitaidon testauksen arvioinninkehästä (the assessment cycle). Tämän kehän esittely sai minut pohtimaan, kuinka suunnitelmallista ja monitahoista kielitaidon arviointi parhaimmillaan on. Luotettava kielitaidon arviointi on palasista rakentuvaa työtä, jossa jokainen osatekijä vaikuttaa toisiinsa. Jos yksi kehän osanen hoidetaan huonosti, epäonnistuu todennäköisesti koko arviointi. Kuunnellessani Anthony Greenin luentoa, aloin myös miettiä sitä, mitkä tahot vastaavat arvioinninkehän eri osista Testipisteessä. Erityisesti aloin pohtia, mikä on minun roolini Testipisteen arvioinninkehässä, kun tulen testaamaan.

No mitä arvioinninkehä oikeastaan sitten tarkoittaa? Tiivistetysti sanottuna se tarkoittaa sitä, että arviointityö jakautuu osasiin. Osaset vaikuttavat toisiinsa ja toisaalta ne voidaan hoitaa toisistaan irrallaan. Arvioinninkehän ensimmäinen vaihe on arvioinnin tarkoituksen selvittäminen. Tällöin määritellään, mitä arvioidaan ja miksi arvioidaan. Kun arvioinnin tarkoitus on selvillä, suunnitellaan testi. Suunnittelutyön jälkeen yksi taho vastaa testin laatimisesta ja toinen järjestämiseen liittyvistä asioista. Testin laatijat tuottavat testin suunnittelijoiden tekemän suunnitelman mukaan ja toimittavat sen eteenpäin testaajille. Järjestävä taho taas vastaa esimerkiksi siitä, missä testi käytännössä toteutetaan ja että kaikki käytännön asiat toimivat. Testin järjestäjät tekevät ohjeistuksen hallinnosta vastaavalle taholle, joka taas selvittää hallintoon liittyvät asiat. Seuraavaksi vuorossa on varsinainen testaus. Kun testaus on valmis, arvioijat arvioivat ja pisteyttävät testit. Lopulta testin tulokset raportoidaan käyttäjille. Käyttäjien palaute johtaa taas kehän alkupisteeseen eli siihen, mitä arvioidaan ja miksi. Koko kehää kiertää testin oikeellisuuden vaatimus (validiteetti): Mittaako testi varmasti sitä, mitä sen pitäisi mitata?

Periaatteessa arvioinninkehä on hyvin looginen ja tuttu. Aloin kuitenkin miettiä, kuka Testipisteessä hoitaa minkäkin arvioinninkehän osan. Opettajana toimiessani minulla on suuri rooli koko kehässä, mutta Testipisteessä hyppään mukaan valmiiseen kehään. Suunnittelijat, testin tuottajat ja järjestäjät ovat tehneet työnsä ja minun roolini on olla nimenomaan kielitaidon arvioija ja tulosten raportoija.

Kuinka voisin sitten varmistaa sen, että arvioin oikeudenmukaisesti? Jane Lloyd totesi, että erityisesti puhetaitojen arviointi ei ole koskaan täysin tasaista. Tulos riippuu aina muun muassa aiheesta ja päivästä. Esimerkiksi B2 -tasoinen puhuja ei ole välttämättä aina ja kaikissa aiheissa B2-tasolla. Lisäksi monet inhimilliset tekijät, kuten arvioijan tai arvioitavan väsymys, vaikuttavat lopputulokseen. Molemmat luennoitsijat korostivatkin jatkuvan maamerkkeilyn ja kaksoisarvioinnin (esim. äänittämällä) tärkeyttä erityisesti puheen arvioinnin kohdalla. Niiden avulla testin tulokset saadaan mahdollisimman luotettaviksi ja tasalaatuisiksi. Testattavan täytyy voida myös kysyä testin tuloksista jälkikäteen. Tämän vuoksi arviointikriteerien tulisi olla läpinäkyviä ja testimateriaalin, kuten puheäänitteiden, tulisi olla saavutettavissa jälkikäteen.  

Laajassa testauksessa kaikki testin palaset voidaan siis hoitaa toisistaan erillään. Tärkeää on se, että jokainen kehän palanen rakennetaan hyvin ja ammattitaidolla. Kun kaikki palaset on hiottu valmiiksi, loksahtavat ne yhteen ja niistä rakentuu toimiva arvioinninkehä.

Hanna Tynkkynen

ALTE Introductory Course in Language Testing 2nd – 6th Semtember 2019, University of Lisbon Incubator, Lisbon, Portugal


Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google photo

Olet kommentoimassa Google -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

Muodostetaan yhteyttä palveluun %s