George Brown: Procjena znanja: Priručnik za predavače (prvi dio)

Travanj 2007. / godište VII / ISSN 1333-5987

Sažetak: 1. Ovaj je priručnik zamišljen kao pomoć predavačima u provjeri, osvježavanju i dotjerivanju svojega pristupa procjeni znanja. Temelji se na usklađivanju planiranih ishoda učenja, procjene znanja, kriterija, bodovanja i pružanja povratnih informacija. Usklađivanje pruža temelj učinkovitom sustavu za procjenu znanja i novom pristupu Akademskoj provjeri koju vrši Agencija za osiguranje kvalitete.

George Brown University of Nottingham

2. Svrha procjene znanja je omogućavanje prelaska na viši stupanj ili dobivanje diplome; razvrstavanje studenata po uspješnosti; poboljšavanje njihovog učenja. Odabir vrste procjene znanja ovisi o svrsi procjene. 3. Ključna načela učinkovite procjene znanja, kao i uobičajene slabosti sustava procjene znanja prvenstveno se tiču usklađenosti između ishoda, oblika procjene znanja, kriterija, postupaka bodovanja i pružanja povratnih informacija. Navedene su i natuknice i prijedlozi vezani uz te komponente. 4. Postoji mnoštvo različitih metoda procjene znanja pa se postdiplomci, voditelji radnih grupa, skupine ravnopravnih sudionika i sami studenti sve više koriste kao izvori procjene znanja. Postoji širok raspon kriterija. Bolji su oni koji su jednostavni za korištenje i lako razumljivi. Svi bi izvori trebali sudjelovati u obuci temeljenoj na primijenjenim kriterijima. 5. Prijedlozi za povećanje učinkovitosti bodovanja i moderiranja, pružanje povratnih informacija studentima i procjenu znanja većeg broja studenata predstavljeni su zajedno s natuknicama o smanjivanju plagiranih materijala i procjeni znanja studenata koji imaju poteškoća s učenjem. 6. Razmotrene su pozitivne i negativne strane ocjenjivanja završnim testom i ocjenjivanja tijekom obrazovnog programa. Predloženo je uspostavljanje ravnoteže više različitih vrsta procjene znanja u studijskom programu. Točka ravnoteže treba se odrediti prvenstveno pomoću željenih ishoda učenja i raspoloživih sredstava. 7. Uloga vanjskog ispitivača je produžetak uloge predavača, kao procjenitelja znanja. Ona u sebi obuhvaća uloge čuvara normi, zaštitnika studenata i promicatelja kvalitete. Preporučuju se obuka i informiranje o svim aspektima te uloge. Uvod Važnost procjene znanja je neupitna. Procjena znanja određuje što će studenti smatrati važnim, kako će provoditi svoje vrijeme i kako sami sebe vide kao studente, a zatim i kao diplomante. Ono je glavna briga pojedinaca koji uče, pojedinaca koji poučavaju i pojedinaca koji su odgovorni za razvoj i odobravanje nastave. Stoga ovaj priručnik, zajedno s praktičnim priručnikom LTSN Generic centra za studente i upravitelje, pruža opširan pregled procjene znanja. Priručnik je oblikovan tako da vam pomogne da provjerite, osvježite i usavršite svoj pristup procjeni znanja. Glavna mu je tema usklađivanje, odnosno važnost usklađivanja između metoda procjene znanja, oblika procjene znanja, prilika za učenje i predviđenih ishoda učenja (ciljeva učenja) te između povratnih informacija, kriterija i oblika procjene znanja. Priručnik u glavnim crtama izlaže putanju procjene znanja od njegove svrhe i načela do uloge vanjskih ispitivača. Usput razmatra metode, izvore i sredstva, bodovanje, pružanje povratnih informacija i probleme plagiranja materijala. Uključuje natuknice, prijedloge i prilike za razmatranje pristupa procjeni znanja, ali ne bavi se mjerodavnim istraživanjima procjene znanja niti daje upute za oblikovanje instrumenata procjene znanja. Za te aspekte procjene znanja, čitatelje upućujemo na kratku anotiranu bibliografiju. Zašto je usklađivanje važno? Usklađivanje procjene znanja s drugim elementima nastave ključno je za oblikovanje nastave i za učinkovitu procjenu znanja. Model prikazan na Slici 1 sažima te odnose. Ako su ciljevi nejasni, sustav se urušava. Jasni i realistični rezultati pružaju studentima dobar vodič za ono što moraju naučiti, a predavačima govori kako da poučavaju i koje prilike za učenje da pružaju. Primjerene su one prilike za učenje koje pomažu studentima da postignu željene ishode učenja. Učinkovite su one metode i oblici procjene znanja koji su povezani s rezultatima učenja i metodama učenja. Ako su kriteriji previše neodređeni ili pretjerano detaljni tada je nastavnicima teško osigurati dosljednost procjene znanja, a studentima ispuniti zahtjeve procjene znanja. Bez bliskih veza između povratnih informacija, kriterija i oblika procjene znanja, nastavnici ne mogu pomoći studentima da postignu željene ishode učenja u sklopu programa. Slika 1: Usklađivanje procjene znanja Međutim, model nije tako jednostavan kako se čini. Ostavlja otvorenima pitanja trebaju li ishodi koji će se procjenjivati biti ishodi cijelog studijskog programa ili ishodi pojedinog modula (ili kratkoga tečaja), te treba li se procjenjivati svaki ishod učenja. Postoje argumenti za i protiv korištenja ishoda cijelog programa ili pojedinog modula kao temelja za procjenu znanja. Ako se netko odluči za procjenu svih ishoda svakog modula, tada se izlaže riziku pretjeranog procjenjivanja znanja studenta – a britanski su studenti vjerojatno najprocjenjivaniji u Europi. Ako se netko odluči za ishode cijelog programa, riskira da ne procjenjuje neophodna znanja i vještine već ima okvir za procjenu napretka i postignuća studenata. Sve u svemu, bolje je osigurati da se unutar svakog modula pružaju prilike za učenje i poučavanje koje studente približavaju željenim rezultatima programa, te da su neki rezultati programa procijenjeni u pojedinim modulima tako da do kraja programa svi rezultati budu procijenjeni na svim razinama barem dva puta. Ovaj pristup osigurava ponovljeno i stoga vjerojatno pouzdanije mjerenje postignuća, te realističan i ne pretjerano težak pristup procjeni znanja. Matrica rezultata učenja nekog programa i procjene znanja korištene u različitim modulima pomaže identificirati veze između rezultata programa i njihove procjene . Proširena verzija modela prikazana je na Slici 2. Ona prikazuje vezu između modela i pristupa vrednovanju Agencije za osiguranje kvalitete. Iako neki od nas možda sumnjaju u tehnike mikroupravljanja koje Agencija primjenjuje, taj model ipak olakšava ispunjenje njenih zahtjeva. Pristup Agencije je autoritativan: radi se o tome da X vrši aktivnosti na Y, a Z prosuđuje te aktivnosti. Ali usprkos strogim odrednicama, u učenje je moguće unijeti stanovitu slobodu. Slika 2: Vanjski utjecaji na procjenu znanja Sažeto rečeno, ovaj model pruža temelj za učinkovitu procjenu znanja, te pokazuje da su planiranje i oblikovanje tečajeva i učinkovita procjena znanja nerazdvojivi. Svrha procjene znanja Tri su glavne svrhe procjene znanja: omogućavanje prelaska na viši stupanj ili stjecanje diplome razvrstavanje studenata po uspješnosti poboljšavanje njihovog učenja. Ti se ciljevi mogu preklapati ili sukobljavati. Uobičajena je pogreška upotrijebiti neki oblik procjene znanja za jedan skup ciljeva, a zatim pretpostaviti da su dobiveni rezultati prikladni za druge ciljeve. Na primjer, reflektivni dnevnici ili zapisi o postignućima mogu biti korisni tijekom procesa učenja, ali ako ih se koristi za procjenu znanja ili kao preporuka za zapošljavanje, tada studenti mogu biti neskloni iskreno navesti svoje misli i osjećaje. Kad je svrha procjene 'dozvola za nastavak školovanja', oblici procjene znanja se trebaju temeljiti na procjeni osnovnog znanja i vještina, a prag za prolazak treba biti apsolutno siguran. Ako je glavni cilj procjene znanja razvrstati studente po uspješnosti, oblici procjene znanja trebaju biti oblikovani tako da razlikuju veliki raspon sposobnosti različitih studenata. Pod svrhom procjene misli se na sumativnu i formativnu. Sumativna procjena znanja ubraja se u bodovanje modula, razine ili stupnja. Formativna procjena daje povratnu informaciju studentima tijekom nastave da bi im se pružila prilika za usavršenje. Procjena koja je isključivo formativna isto je što i davanje povratne informacije u učenju. Za razliku od toga, ocjena za neki rad tijekom tečaja ili programa istovremeno je i sumativna i formativna. Namjena joj je i pružanje povratnih informacija i uračunavanje u završni broj bodova. Kada se to dogodi, procjena znanja na nastavi postaje dijelom višestruke sumativne procjene. Velika opterećenja u procjeni znanja i druge obveze mogu nas dovesti u iskušenje da pružimo površne povratne informacije. Neka načela procjene znanja Ključna načela procjene znanja mogu se izvesti iz modela na Slici 1. To su: procjena znanja oblikuje način učenja, tako da ukoliko želite promijeniti učenje, morate promijeniti metodu procjene znanja uskladite oblike procjene znanja sa željenim ishodima učenja uskladite kriterije sa zadacima i ishodima učenja kriteriji trebaju biti jednostavnima budite pošteni, pouzdani i točni u svojem bodovanju pružajte smislene i pravovremene povratne informacije. Primjenjujete li ova načela? Uobičajene slabosti Uobičajene slabosti u procjeni znanja su: zadaci nisu u skladu s definiranim ciljevima kriteriji nisu u skladu sa zadacima ili ciljevima studenti nisu upoznati s kriterijima studenti ne razumiju kriterije pretjerano korištenje jednoga načina procjene znanja, kao što su pismeni ispiti, eseji ili problemi zatvorenog tipa preopterećenost studenata i nastavnika studentima nije dano dovoljno vremena za rješavanje zadataka previše zadataka s istim rokom dovršetka nastavnicima nije dano dovoljno vremena da boduju zadatke ili testove nedostatak dobro definiranih kriterija, zbog čega je teško ostvariti dosljednost pretjerano detaljni kriteriji koji studente previše ograničavaju, a nastavnicima otežavaju bodovanje studenti dobivaju neodgovarajuće ili površne povratne informacije velike varijacije u bodovanju različitih modula i različitih procjenitelja i kod istih procjenitelja (samodosljednost) varijacije u zahtjevima procjene znanja u različitim modulima. Iz toga proizlazi da su učinkovitiji sustavi procjene znanja oni u kojima se pojavljuje manje ovakvih nedostataka. Vrijedi li to i za vaše sustave ocjenjivanja? Oblikovanje procjene znanja Postoji sedam pitanja koje si nastavnici mogu postaviti pri oblikovanju zadatka ili pismenog rada: Koji će se željeni ishodi procjenjivati? Koje se sposobnosti/vještine (implicitne ili eksplicitne) očituju u ishodima? Je li odabrana metoda procjene znanja u skladu s ishodima i vještinama? Je li metoda relativno učinkovita s obzirom na vrijeme kojim raspolažu studenti i nastavnici? Koje su alternative? Koje su njihove prednosti i nedostaci? Podudara li se ovaj konkretni oblik procjene znanja s ishodima i vještinama? Jesu li planovi za bodovanje ili kriteriji primjereni? Navedena pitanja prirodno dovode do oblikovanja određenog načina procjene znanja. No, navodimo i nekoliko zamki. Među njima su npr. Nehotično nejasno formulirana pitanja ili zadaci, podcjenjivanje vremena i financijskih sredstva potrebnih za izvršenje zadatka ili njegovo bodovanje, te zanemarivanje odgovarajućeg skupa kriterija ili plana bodovanja. Oblikovanje učinkovitih oblika procjene znanja može biti vremenski zahtjevno. Korisno polazište je pregled i bilježenje ispitnih pitanja i zadataka iz usporedne nastave na drugim institucijama. Zatim promotrite pitanja zadana u drugim predmetima na vlastitoj instituciji. Gotovo sigurno ćete pronaći pitanja koja su zanimljiva i neočekivana, a također ćete pronaći i oblike pitanja koji se mogu prenijeti na vaš vlastiti predmet. Povremeno ćete uočiti da su i sadržaj i oblik pitanja značajni i za vaš predmet. Dok čitate i bilježite pitanja, pokušajte shvatiti što je procjenitelj pokušao procijeniti. (Neke primjere ispitnih pitanja za različite predmete navode Brown, Bull i Pendlebury, 1997.) Zatim se vratite pitanjima u sklopu vašega predmeta. Uzmite u obzir vrste učenja koje želite razvijati i procjenjivati. Sagledajte ciljeve vaše nastave i razmislite kakva znanja želite da vaši studenti usvoje. Umjesto toga, možete razviti neke drugačije pristupe, nove oblike pitanja i zadataka, te diskutirati o njima sa svojim kolegama. Budite spremni argumentirati njihovo korištenje. Neki otkriju da tzv. brainstorming s kolegama predstavlja koristan način stvaranja niza pitanja o zadanoj temi. Drugi u bilježnicu zapisuju moguća pitanja, navode i probleme. Slika 5 nudi neke pristupe koje možda niste isprobali. Obično je u nastavno gradivo bolje uključiti nove vrste pitanja, nego ispite i nove metode procjene znanja za studente prvog stupnja. Pripazite da pitanja budu jasno izražena. Izbacite iz pitanja sve neželjene dvosmislenosti. Imajte na umu da što je pitanje otvorenije ili dvosmislenije, teže je osmisliti plan bodovanja, ali često se mogu primijeniti široki kriteriji. Ako napravite probnu procjenu znanja, pregledajte odgovore i zatim osmislite kriterije ili plan bodovanja ili prilagodite postojeći pristup. Zatim testirajte kriterije bodujući nekoliko zadataka. Kognitivni zahtjevi Poznavanje različitih vrsta kognitivnih zahtjeva ključni je dio oblikovanja i bodovanja zadataka i testova. Koristan pristup je prikazan na Slici 3. Paradoksalno, donje tri razine povezane su s 'površinskim' učenjem, a gornje razine s 'dubinskim' učenjem. Međutim, potrebno je koristiti ovu tablicu u kontekstu konkretnog tečaja i sposobnosti studenata u njemu. Ono što kod studenata prvog stupnja zahtijeva sintezu i vrednovanje može biti rutinsko prisjećanje za studente završnih godina. Slika 3: Hijerarhija kognitivnog područja 6 Vrednovanje Sposobnost donošenja suda o vrijednosti nečega 5 Sinteza Sposobnost kombiniranja razdvojenih elemenata u cjelinu 4 Analiza Sposobnost razlamanja problema u njegove sastavne dijelove i uspostavljanja odnosa među njima. 3 Primjena Sposobnost primjene preformuliranog znanja u novoj situaciji. 2 Manipulacija Sposobnost preformuliranja znanja. 1 Znanje Znanje kojega se moguće prisjetiti. Na temelju Bloomove Taksonomije obrazovnih ciljeva (Taxonomy of Educational Objectives, Bloom, 1956.). Više razine taksonomije u sebi sadrže niže razine. Biggs predlaže drugačiji pristup (Biggs, 1997.; Biggs, 1999.). On opisuje kako se njegova taksonomija, SOLO (Struktura opaženog rezultata učenja, eng. Structure of the Observed Learning Outcome), može upotrijebiti za analizu zadataka učenja, hijerarhiju ciljeva i procjenjivanje studentskog rada. Postoji pet razina Biggsove sheme: Predstrukturalna: Zadatku se nije pristupilo na odgovarajući način. Student nije shvatio smisao. Jednostrukturalna: Prepoznat je ili iskorišten jedan ili nekoliko aspekata zadatka, ali razumijevanje je površno. Multistrukturalna: Naučeno je nekoliko aspekata zadatka, ali se zasebno obrađuju. Relacijska: Komponente su integrirane u suvislu cjelinu u kojoj svaki dio pridonosi cjelokupnom značenju. Prošireni sažetak: Komponente su integrirane i ponovo konceptualizirane, stvarajući na taj način individualnu perspektivu. Gornja taksonomija, opet ovisna o kontekstu, korisnija je za razvrstavanje kognitivnih zahtjeva u zadacima temeljenima na tekstu. Druge taksonomije o rješavanju problema, praktičnom radu i vrijednostima opisuju Brown, Bull i Pendlebury (1997.) i Heywood (2000.).