Onko minun mojitoni samanlainen kuin sinun mojitosi? Eli arvioijakoulutuksen olennaisuudesta

Onnistunut suoritus edellyttää kymmentätuhatta toistoa: huippujalkapalloilija on asunut lapsuutensa ja nuoruutensa yömyöhään pallokentällä, tosissaan treenaava viulisti saa herkästi jännetupintulehduksen, eikä kävelemään opetteleva taapero laske pyllähdyksiään. Harjoittelua vaatii myös onnistunut kielitaidon arviointi. EALTA:n kesäkoulun aiheena oli tänään arvioijakoulutus.

Kielitaidon arvioinnissa käytettävät kriteerit ja asteikot vaativat tulkintaa, sillä ne eivät koskaan ole yksiselitteisiä. Luotettavan ja reilun arvioinnin saavuttamiseksi onkin olennaista, että sekä kriteerejä että asteikkoja tulkitaan yhteisellä tavalla. Minun mojitoni on oltava sinun mojitosi – toisin sanoen minun B1:ni on vastattava sinun B1:täsi.

Arvioijakäyttäytymisen hyödyistä on tutkittua näyttöä. Sara Cushing Weiglen mukaan (1998) ennen arvioijakoulutusta arvioijien ankaruudessa ja lempeydessä oli huomattavia eroavaisuuksia, ja aloittelevat arvioijat olivat muita ankarampia sekä epäjohdonmukaisempia. Koulutuksen jälkeenkin eroja toki vielä oli, onhan kyse ihmistyöstä (vaikka nykyaikana suuret testiorganisaatiot hyödyntävätkin apuna myös koneellista arviointia). Arvioijien näkemykset olivat kuitenkin lähentyneet toisiaan. Erityisen hyödyllistä koulutus oli kokemattomammille arvioijille: ankaruus oli vähentynyt kohtuullisempien odotusten myötä, ja johdonmukaisuus oli lisääntynyt arviointikriteerien ja –asteikon tulkintakyvyn kehittyessä. Lisäksi koulutus tarjosi aloitteleville arvioijille mahdollisuuden verrata toimintaansa kokeneempien arvioijien tapaan toimia.

Laadukas arviointikoulutus vaatii aikaa ja paneutumista niin osallistujalta kuin toteuttajalta. Harvalla suomalaisella oppilaitoksella on kuitenkaan resursseja suuritöisen koulutuksen organisointiin ja toteutukseen. Isoilla kansainvälisillä testiorganisaatioilla koulutuksen keskeisiä osia ovat:

  • testin tarkoitukseen ja testattavien otokseen perehtyminen
  • arvioinnin vaikutusten pohdinta ja päätösten tekeminen
  • testiin tai tehtävään tutustuminen ja konstruktista keskusteleminen
  • arviointiasteikkoon perehtyminen eri työtavoin
  • maamerkkisuoritusten tarkastelu ja oman arvioinnin kalibrointi
  • arvioinnin harjoittelukierrokset
  • varsinaisten näytesuoritusten arviointi
  • arvioinnin luotettavuuden analysoiminen.

Etenkin viimeinen osuus tuntuu arjen kiireissä unohtuvan. On kuitenkin olennaista selvittää, täyttääkö arviointi ennalta määritellyt laatukriteerit, joita voivat olla täsmälleen yksimielisten arviointien määrä, yhden arviointiasteikon askelman päässä olevien arviointien määrä sekä arvioijien sisäinen johdonmukaisuus. Tällainen laaduntarkkailu ei ymmärrettävästikään ole oppilaitoksissa mahdollista, koska niiltä puuttuu osaamista ja välineitä tilastolliseen arvioijakäyttäytymisen seurantaan. Kesäkoulussa arvioijien väliseksi hyväksi korrelaatioksi todettiin vähintään 0.8. Samalla korostettiin, etteivät numerot sinänsä tee autuaiksi: toisin sanoen yksimielisyys pelkästä suorituksen yleisarvosanasta ei ole riittävä, vaan arvioijien tulee olla yksimielisiä myös kustakin arviointikriteeristä annettavasta arviosta. Arviointi on todella validia vasta silloin, kun arvioon päädytään samoista syistä.

Näin mökkirannan laiturinnokassa tai kuuman kesäkadun baarissa mojitoa siemaillessa arviointikoulutus voi tuntua kaukaiselta, mutta pitäkää asia mielessä, kun syksyn työrumba kielitaidonarviointeineen taas koittaa.

Mainokset

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

w

Muodostetaan yhteyttä palveluun %s