Tehtävä: työkalu tuottamistaitojen arviointiasteikon luomiseen tai lähilukuun

EALTA:n kesäkoulussa eräänä keskeisenä aiheena olivat kielitaidon arviointiasteikot. Euroopassa keskeinen asteikko on tietenkin Eurooppalainen viitekehys (Common European Framework of Reference for Languages: Learning, Teaching, Assessment eli lyhyemmin CEFR tai CEF), jonka erikieliset käännökset eivät valitettavasti ole aivan identtisiä. Tässä on linkki englanninkieliseen versioon Euroopan neuvoston sivuilla (suomenkielinen versio ei valitettavasti ole saatavilla internetissä). Suomalaiselle S2-opettajalle tutumpi saattaa olla Eurooppalaisesta viitekehyksestä tehty suomalainen 10-portainen sovellus, joka ei siis ole yksi yhteen alkuperäisen viitekehyksen kanssa. Maailmalla käytettyjä kielitaidon arviointiasteikkoja ovat myös Inter Agency Language Roundtabel ILR (Yhdysvaltojen liittovaltiotasoinen, etenkin armeijan, kielitaitoasteikko), Standardization Agreement STANAG (NATO:n asteikko), Canadian language benchmarks sekä ACTFL Proficiency Guidelines (amerikkalainen, etenkin akateemisen maailman asteikko).

Toiseen käyttöön luotuja arviointiasteikkoja ei voi sellaisenaan käyttää eri tarkoituksessa, eri testissä ja eri kohderyhmällä. Niistä saa kuitenkin vertailukohtia muun muassa sen suhteen, millaisia arviointikriteerejä käytetään ja miten kriteerejä voi ryhmitellä.

Joissakin tilanteissa ei ehkä ole käytettävissä soveltuvaa arviointiasteikkoa tai halutaan kenties luoda vaikkapa tehtäväkohtainen arviointiasteikko. EALTA:n kesäkoulussa kokeiltiin asteikon luomiseksi erilaisia menetelmiä, joista esittelen tässä aineistoperusteisen empiirisen mallin (empirically-derived, binary-choise, boundary-definition scale EBB). Mallin käyttöön tarvitaan arviointitehtävä(t), riittävästi suorituksia sekä yhteistyötä kollegoiden kanssa.

Valmisteluvaiheessa yksi osallistujista kerää arvioitavat puhumisen tai kirjoittamisen suoritukset ja valitsee niistä erilleen kahdeksan mahdollisimman erilaista suoritusta.  Nämä kahdeksan suoritusta, muut suoritukset, tehtävä ja sen konstrukti jaetaan toteutusvaiheessa osallistujille joko paperilla, sähköisinä kopioina tai äänitiedostoina.

Varsinaisen työskentelyn ensimmäisessä vaiheessa osallistujat vastaavat arvioitavaan tehtävään itse  sekä perehtyvät yhdessä konstruktiin, ohjeistukseen ja tehtävänantoon.

Toiseksi jokaiselle osallistujalle jaetaan samat valitut kahdeksan suoritusta. Jokainen työskentelee tässä vaiheessa yksin ja jakaa suoritukset puoliksi kahteen ryhmään: neljä vahvempaan ja neljä heikompaan ryhmään. Jaosta ja perusteluista keskustellaan yhdessä ja lopuksi päädytään yhteiseen yksimieliseen kahtiajakoon. Keskeinen vaihe on määritellä ja kirjata muistiin yhteisesti yksi kyllä–ei-kysymys, jonka perusteella kahtiajako voidaan tehdä. Kysymys saattaa olla esimerkiksi ”Vastaako suoritus tehtävänantoa?” Kysymys vaihtelee luonnollisestikin aineiston ja tehtävän mukaan.

Kolmannessa vaiheessa kukin osallistuja työskentelee jälleen itsenäisesti ja antaa vahvemman ryhmän suorituksille arviot 6, 5 tai 4. Vähintään yhdelle suoritukselle on annettava arvio 6 ja vähintään kahta eri arvosanaa on käytettävä. Sama arvio voidaan antaa usealle näytteelle. Arvioista ja perusteluista keskustellaan jälleen yhdessä ja lopuksi päädytään yhteisiin arvosanoihin. Määritellään jälleen kysymys, joka erottelee tasot 6 ja 5 toisistaan, sekä kysymys tasojen 5 ja 4 erotteluun.

Neljännessä vaiheessa toistetaan edellinen vaihe heikomman ryhmän suoritusten kanssa.

Lopputuloksena on empiirisesti johdettu arviointiasteikko, mutta vielä on määriteltävä, mitä tasot 1–6 käytännössä merkitsevät suhteessa viitekehykseen. Esimerkiksi arvio 2 ei tarkoita viitekehyksen taitotasoa A2, vaan vastaavuus riippuu luonnollisestikin käytetystä aineistosta. Voi olla, että esimerkiksi arviot 1–3 kaikki tarkoittavat samaa taitotasoa. Luotu empiirinen arviointiasteikko vain erottelee suoritukset suhteessa toisiinsa. On myös keskeistä huomata, että asteikon toimivuus riippuu olennaisesti erottelevien kysymysten mielekkäästä valinnasta.

Lopuksi jaetaan loput suositukset, ja kukin osallistuja arvioi ne juuri luodun kysymysasteikon avulla. Annettuja arvioita voidaan vielä vertailla asteikon yhtenäisen tulkinnan varmistamiseksi.

Malli saattaa tuntua tarpeettomalta arjen opetusta ajatellessa: S2-opettajalla ei useinkaan liene tarvetta arviointiasteikkojen luomiselle. Mallia voi kuitenkin hyödyntää myös jo olemassa olevan asteikon lähiluvussa: se nostaa konkreettisesti esiin yksittäisiä arviointikriteerejä, jotka ovat eri tasoilla painoarvoltaan erilaisessa asemassa. Silloin tällöin toistuvan yhteisen suoritusten maamerkkeilyn puolestaan toivoisin olevan mahdollista jokaiselle S2-opettajalle työnantajasta riippumatta. Tässä voisi ehkä olla yksi ajatus alkavan lukuvuoden yhteiseen kehityspäivään?

Mainokset

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

Muodostetaan yhteyttä palveluun %s