Tilastotiedettä testintekijöille

Lancasterin yliopistossa järjestetään vuosittain heinä–elokuussa neliviikkoinen testinlaatijan koulutuspaketti, jonka yhtenä osana on klassisen testiteorian perusteet testaajalle. Kurssin luennoitsijana toimii tohtori Rita Green.

Tänne Lancasteriin asti kuuluu, miten S2-opettajat nyt huutavat: ”Matikkaa, mälsää!” On kuitenkin nurinkurista käyttää lukuisia työtunteja testin suunnitteluun, toteutukseen ja arviointiin ilman että testin toimivuutta ja tulosten luotettavuutta arvioidaan mitenkään. Tilastotieteen perusteiden tulisikin olla jokaisen testinlaatijan – jos ei paras ystävä niin ainakin hyvänpäivän tuttu.

Tilastoanalyysi tarjoaa tietoa testin yksittäisten kysymysten, kokonaisten tehtävien sekä lopulta testikokonaisuuksien toimivuudesta. Esittelen seuraavassa neljä hyvää kurssilta poimittua syytä testin kysymysten tilastolliselle tarkastelulle.

Ensinnäkin tilastoanalyysi kertoo kysymysten vaikeustasosta suhteessa toisiinsa. Ei ole lainkaan itsestään selvää, että etukäteen helpoksi tai vaikeaksi ajateltu kysymys myös osoittautuu odotustenmukaiseksi. Kerrankos sitä itse kukin on yllättynyt testinsä tuloksista. Ja vaikka helpoksi suunniteltu kysymys olisikin todella helppo, niin mikä kolmesta tai neljästä helposta on helpoin? Entä onko helppo kysymys jo liiankin helppo? Onko testissä kylliksi eritasoisia kysymyksiä, vai jääkö siihen aukkoja?

Toiseksi analyysi paljastaa, miten eri tehtävätyypit toimivat. Ovatko kaikki monivalintakysymyksen vastausvaihtoehdot houkuttelevia? Jättävätkö opiskelijat usein täysin vastaamatta? Valitsevatko parhaat opiskelijat jostain syystä väärän vaihtoehdon? Onko vastausvaihtoehtoihin jäänyt vahingossa toinenkin oikeaksi tulkittava vastaus? Entä miten suoriudutaan tarkkaa lähilukua ja toisaalta nopeaa silmäilevää lukemista vaativassa tehtävässä? Miten kysymys tai tehtävä toimii suhteessa testikokonaisuuteen?

Kolmanneksi saadaan tietoa kysymysten erottelukyvystä: Vastaavatko taitavat opiskelijat vaikeisiin kysymyksiin oikein ja heikommat väärin? Osaavatko kaikki vastata helppoihin kysymyksiini? Ehkä jo liian moni vastaa oikein? Emmehän tee mitään kysymyksillä, joihin kaikki osaavat vastata tai joihin kukaan ei vastaa oikein. Arvaavatko heikot osallistujat joissakin kysymyksissä selvästi enemmän? Missä kysymyksissä edistyneimmätkin menevät vipuun? Tilastoanalyysi ei ehkä kerro edellisiin kysymyksiin syytä, mutta numerot ohjaavat tarkastelemaan testiä laadullisesta näkökulmasta.

Neljänneksi analyysi osoittaa, miten kukin kysymys vaikuttaa testikokonaisuuden luotettavuuteen: Parantaisiko tai heikentäisikö tietyn kysymyksen poisjättäminen testistä lopputulosta vai ei? Entä mittaavatko kaikki kysymykset samaa konstruktia, vai voiko poikkeavaa tulosta selittää jokin kielitaitoon liittymätön seikka?

Lista ei suinkaan ole tyhjentävä, mutta antaa toivottavasti varsin hyvän kuvan siitä, miten paljon jo pelkästään testikysymyksiin liittyy pohdittavaa. Lopputuloksena testinlaatija pystyy arvioimaan, kuinka osuvan kuvan opiskelijan taidosta testi antaa.

Mainokset

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out /  Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

w

Muodostetaan yhteyttä palveluun %s