George Brown: Procjena znanja: Priručnik za predavače (drugi dio)

Svibanj 2007. / godište VII / ISSN 1333-5987

Ovaj je priručnik zamišljen kao pomoć predavačima u provjeri, osvježavanju i dotjerivanju svojega pristupa procjeni znanja. Temelji se na usklađivanju planiranih ishoda učenja, procjene znanja, kriterija, bodovanja i pružanja povratnih informacija. Usklađivanje pruža temelj učinkovitom sustavu za procjenu znanja i novom pristupu Akademskoj provjeri koju vrši Agencija za osiguranje kvalitete.

George Brown University of Nottingham

Metode, izvori i instrumenti procjene znanja Za početak bi možda bilo korisno definirati razliku između tri pojma u procjeni znanja: metode, izvore i instrumente. Metoda podrazumijeva pristup koji se koristi u procjeni učenja, primjerice eseji, problemski zadaci, testovi s višestrukim izborom odgovora, i tako dalje. Izvor označava osobu, primjerice predavača, studenta, poslodavca ili grupu kolega studenata. Instrument podrazumijeva plan bodovanja, eksplicitne kriterije ili implicitne kriterije. Strogo govoreći, instrument procjene znanja je izvor zajedno s instrumentom. Tablica 4 prikazuje raspon metoda, izvora i instrumenata. Dio polemika oko novih pristupa procjeni znanja javlja se zbog nejasnoća vezanih uz izvore i sredstva. Tablica 4: Metode procjene, izvori i instrumenti Primjeri metoda Izvori Instrumenti Eseji Nastavnik* Implicitni kriteriji Problemski zadaci Drugi instruktori Globalni Proza "na neviđeno" Postdiplomski instruktori Eksplicitni kriteriji Laboratorijski nalazi Demonstranti Ocjenjivanje prema referentnim kriterijima Prezentacije Sami studenti Specifični kriteriji Projekti Kolege studenti Plan bodovanja Grupni projekti Poslodavci Dimenzije Posteri Mentori Plan ocjenjivanja Učenje temeljeno na radu Kontrolni popisi * odnosi se na nastavnika odgovornog za modul ili kolegij Samoprocjena i studentska međusobna procjena nisu metode procjene znanja, već izvori procjene koji bi se mogli upotrijebiti s bilo kojom metodom ili instrumentom. Stoga međusobna procjena i samoprocjena grupnoga projekta mogu biti koristan način ohrabrivanja studenata da razmisle o svojem timskom radu i njegovu rezultu, izvještaju o projektu. Eksplicitni kriteriji se trebaju koristiti radi osiguravanja dosljednosti i pravednosti. S druge strane, završni godišnji bodovi temeljeni isključivo na samoprocjeni i implicitnim kriterijima većini bi se činili potpuno neprikladni. Pojedinac mora odlučiti odgovara li kombinacija izvora, sredstava i metoda rezultatima, te jesu li troškovi, u smislu vremena i drugih sredstava, odgovarali pristupu. Metode procjene znanja Metode procjene znanja ukratko su prikazane na Prikazu 5. Uz svaku metodu nalazi se komentar o njezinoj primjeni, lakoći primjene, potencijalnoj valjanosti i pouzdanosti. Najčešće od ovih metoda su eseji, rješavanje problema, izvještaji o vježbama i projektima ili pisanje disertacija. Također se sve više koriste metode procjene temeljene na suradničkom radu, izradi portfolija i drugim vrstama reflektivnog učenja. Što je metoda uspješnija u prizivanju stečenih znanja i/ili dobrim rješenjima to je pouzdanija, ali ne nužno i bolja. Kao i obično, potrebno je uskladiti međusobno sukobljene zahtjeve valjanosti i pouzdanosti, te učinkovitosti (je li taj pristup dobar za procjenu rezultata učenja) i uspješnosti (vrijeme koje je studentima potrebno za izvršenje zadanog zadatka i procjeniteljima za bodovanje tih zadataka). Učinkovitost metode procjene ovisi o ishodima učenja koji se procjenjuju te o konkretnim zadatacima a ne o samoj metodi procjenjivanja. U okviru svake metode mogu se primijeniti različiti pristupi i kognitivni zahtjevi. Umjesto uobičajenih eseja može se zadati pisanje recenzije knjiga, osvrta na znanstveno-istraživačke radove ili pisanje članaka za ozbiljne novine. Kritičko mišljenje može se procjenjivati pomoću pitanja s višestrukim izborom odgovora ili pitanja na koje se očekuje kratak odgovor, na temelju znanstvenog članka ili slučaja. U idealnom slučaju, studenti bi se tijekom studijskog programa trebali susresti sa širokim nizom metoda procjene. Kako je ranije navedeno, matrica ishoda programa u usporedbi s metodama procjene znanja koje se primjenjuju u svakom kolegiju otkriva obrazac i bilo kakve manjkavosti. Ishode programa nije potrebno procjenjivati u svakom modulu, no bi bilo dobro da se tijekom cijelog programa ishodi poučavaju, vježbaju i procjenjuju. Dodatni podaci o metodama procjene znanja objašnjeni na Prikazu 5 mogu se pronaći u anotiranoj bibliografiji. Prikaz 5: Koje metode procjene znanja primjenjujete? Slučajevi i otvoreni problemi Mogu mjeriti primjenu znanja, analizu, rješavanje problema i vještine vrednovanja. Kratke je slučajeve razmjerno lako osmisliti i bodovati. Teže je osmisliti i razviti složenije slučajeve i njihove planove bodovanja. Bodovanje i davanje povratnih informacija odvijaju se jednako brzo kao i bodovanje eseja. Računalna procjena znanja O ovoj se vrsti procjene mnogo govori. Obično se za oblikovanje pitanja s višestrukim izborom odgovora, bodovanje i analizu rezultata koriste programi kao što je Questionmark. Mogu se koristiti raznolike grafike i simulacije. Možete koristiti i optičke čitače – no uzmite u obzir mogućnost da neki studenti neće jasno označiti elemente. Sastavljanje je dugotrajno no bodovanje se provodi vrlo brzo. Pouzdanost je visoka, ali valjanost (usklađenost s ishodima) zahtijeva veliku pažnju. Izravno promatranje Korisno je za pružanje izravnih povratnih informacija, za razvojne svrhe te za procjenu uspješnosti – ukoliko se koristi jednostavan, strukturiran sustav. Prisutnost promatrača može promijeniti uspješnost, pa je ovu metodu potrebno oprezno koristiti. Impresionističko promatranje može biti korisno ako ga potkrijepite konstruktivnom povratnom informacijom. Može se koristiti u grupi vršnjaka za pružanje povratnih informacija kao i za procjenu znanja. Ukoliko se koriste detaljni popisi za provjeru, za visoku pouzdanost potrebna je intenzivna, opširna obuka. Pouzdanost, valjanost i upravljivost prilično su visoki kada se primjenjuje strukturirano promatranje. Eseji Standardna metoda. Postoji nekoliko vrsta eseja kojima se ispituju različiti stilovi pisanja i načini razmišljanja. Esejima se mjeri razumijevanje, sinteza i vrednovanje, pod uvjetom da postavljate prava pitanja. Zadaju se razmjerno lako. Bodovanje temeljeno na impresionističkom bodovanju je brzo. Bodovanje u cilju davanja povratnih informacija može biti dugotrajno. Neka vam kriteriji budu jednostavni. Međusobne razlike među procjeniteljima mogu biti velike – kao i razlike kod jednoga Procjenitelja. Zapisnici/dnevnici učenja Postoji širok raspon formata koji se kreću od nestrukturiranih zabilješki o svakom danu do strukturiranog obrasca temeljenog na zadacima. Preporučuju se vježbe razmišljanja. Vremenski zahtjevni za studente. Zahtijevaju visoku razinu povjerenja između procjenitelja znanja i studenata. Teško im je mjeriti pouzdanost. Imaju visoku valjanost ukoliko struktura odgovara ishodima učenja. Mini testovi Niz mini testova koji se provode prema vremenski ograničenim uvjetima. Omogućuju ispitivanje širokog niza praktičnih, analitičkih i interpretativnih vještina. Početno je osmišljavanje dugotrajno. Dio, ili čak cjelokupno bodovanje, može se izvršiti odmah, te je postupak brz. Pružanje povratnih informacija studentima je brzo. Pouzdani su, ali zahtijevaju obuku procjenitelja znanja. Modificirana esejska pitanja Niz pitanja utemeljenih na analizi slučaja. Nakon što studenti odgovore na jedno pitanje, dobivaju daljnje informacije i novo pitanje. Postupak obično traje jedan sat. Razmjerno ih je lagano zadati. Mogu se koristiti pri poučavanju ili procjeni u razvojne ili prosudbene svrhe. Mogu biti računalna ili zadana na papiru. Potiču razmišljanje i analizu. Imaju visoku pouzdanost, valjanost i upravljivost. Pitanja s višestrukim izborom odgovora Standardna metoda. Omogućuje brzo uzorkovanje širokog raspona znanja. Služe za mjerenje razumijevanja, analize, rješavanja problema i vještina vrednovanja. Brojni oblici pitanja "točno/netočno" i "tvrdnja/razlog". Ne preporučuju se složeniji oblici: oni nepotrebno zbunjuju studente i njihovo je osmišljavanje dugotrajno. Postavljanje zahtjevnijih pitanja s višestrukim izborom odgovora zahtijeva više vremena. Ona bolja pitanja temelje se na analizama slučajeva ili na znanstveno-istraživačkim radovima. Lako je bodovati i analizirati njihove rezultate. Korisna su za samoprocjenu i provjeravanje. Imaju visoku pouzdanost, valjanost i upravljivost. Pružanje povratnih informacija studentima je brzo. Postoji opasnost od testiranja samo površnog znanja. Kako biste uštedjeti vrijeme, dodatne podatke potražite na Internetu ili u američkim udžbenicima. Tim procjenitelja usmjerenih k istim rezultatima učenja može zajednički osmisliti nekoliko pitanja tijekom jednog poslijepodneva. Usmeni ispiti Ispituju komunikaciju, razumijevanje, kapacitet brzog razmišljanja pod pritiskom te poznavanje postupaka. Nude mogućnost pružanja povratne informacije. Bodovanje može biti brzo, no potrebna je određena standardizacija postupka intervjuiranja da bi se osigurala pouzdanost i valjanost. Objektivni strukturirajući klinički ispit (OSCE) U početku su se koristili u medicini, ali mogu se primjenjivati u obrazovanju iz poslovanja, prava, upravljanja, psihologije, prirodnih znanosti i socijalnog rada. Osobito su korisni za brzu procjenu praktičnih i komunikacijskih vještina. Prilično ih je teško osmisliti i organizirati, ali su laki za bodovanje i pružanje povratne informacije. Mogu se koristiti u početnoj fazi za procjenu ključnih praktičnih vještina. Grupni OSCE ispiti korisni su za poučavanje, pružanje povratnih informacija te za razvojne svrhe. OSCE ispiti mogu se primjenjivati potkraj kolegija za pružanje povratnih informacija ili za ispitivanje uspješnosti u odnosu na očekivane ishode. Imaju visoku pouzdanost, valjanost i upravljivost. Vjerojatno su manje radno intenzivni od drugih planova bodovanja, no zahtijevaju nekoliko procjenitelja istovremeno. U početku je njihovo osmišljavanje dugotrajno – ali vrijedno je truda. Portfoliji Postoji širok raspon vrsta portfolija, od prikupljanja zadataka do razmišljanja o ključnim incidentima. Potonji su vjerojatno najkorisniji za razvojne potrebe. Mogu poslužiti kao temelj za usmene ispite. Bogat potencijal za razvoj reflektivnog učenja ako su studenti uvježbani u tim tehnikama. Zahtijevaju visoku razinu povjerenja između procjenitelja i studenata. Mjerenje pouzdanosti je teško. Mogu imati visoku valjanost ako struktura odgovara ciljevima obuke. Poster sekcije Provjeravaju sposobnost prezentiranja naučenog i tumačenja na jezgrovit i dopadljiv način. Opasnost od pretjeranog usredotočivanja na samu prezentaciju može se izbjeći korištenjem jednostavnih kriterija. Mogućnost davanja povratnih informacija: od instruktora, samih sebi i od vršnjaka. Bodovanje je brzo. Korištenje kriterija smanjuje varijabilnost. Prezentacije Provjeravaju pripremanje, razumijevanje, znanje, sposobnost strukturiranja, činjenice i vještinu usmene komunikacije. Mogućnosti davanja povratnih informacija: od instruktora, samih sebi i od vršnjaka. Bodovanje temeljeno na jednostavnim kriterijima brzo je i potencijalno pouzdano. Moguće je uključiti mjerenje sposobnosti odgovaranja na pitanja i vođenja rasprave. Problemski zadaci Standardna metoda. Ima potencijal za mjerenje primjene, analize i strategije rješavanja problema. Složeni problemski zadaci i planovi njihova bodovanje teško se osmišljaju. Bodovanje je brzo za lagane problemske zadatke. Bodovanje složenih problemskih zadataka može biti sporo. Bodovanje u cilju davanja povratnih informacija može biti sporo. Razlike među procjeniteljima su prilično niske kada se procjena temelji na modelu odgovora ili plana bodovanja. Moguće je očekivati kreativna, valjana rješenja od boljih studenata. Projekti, grupni projekti i dizertacije Dobra, zaokružena provjera. Mogućnost provjeravanja širokog niza praktičnih, analitičkih i interpretativnih vještina. Šira primjena znanja, razumijevanja i vještina na stvarne/simulirane situacije. Omogućuje mjerenje upravljanja projektom i vremenom. Grupni projekti omogućavaju mjerenje vještina i vođenja u timskom radu. Motivacija i timski rad mogu biti visoki. Bodovanje može biti dugotrajno. Bodovanje u cilju davanja povratnih informacija može se reducirati međusobnim procjenama sudionika, samoprocjenom i prezentacijama. Korist za učenje može biti vrlo velika, posebice ako je reflektivno učenje jedan od kriterija. Testira metode i procese, ali i završne rezultate. Moguće su razlike među procjeniteljima. Korištenje kriterija smanjuje varijabilnost, ali razlike u zahtjevnosti projekta ili rada mogu utjecati na pouzdanost. Upitnici i obrasci za izvještaje Opća metoda koja uključuje širok niz tipova. Strukturirani upitnici pružaju vam željene informacije, ali poluotvoreni ili otvoreni upitnici mogu vam pružiti informacije koje su vam zaista potrebne. Predlaže se mješavina strukturiranih i otvorenih pitanja. Ocjenjivanje prema referentnom kriteriju predlaže se za potrebe prosuđivanja. Široki kriteriji su pouzdaniji i točniji od vrlo detaljnih kriterija. Detaljni kriteriji potiču korisnike da reagiraju negativno ili s prezirom. Reflektivni praktični zadaci Mjeri sposobnost analiziranja i vrednovanja iskustva u svjetlu teorija i rezultata istraživanja. Relativno ih je lako postaviti. Mogućnost povratnih informacija od vršnjaka, samih sebi i od instruktora. Bodovanje u cilju davanja povratnih informacija može biti sporo. Bodovanje u cilju ocjenjivanja uglavnom je isto kao i za eseje. Korištenje kriterija smanjuje varijabilnost. Izvještaji o praktičnim zadacima Standardna metoda. Imaju mogućnost mjerenja znanja o proceduri izvođenja eksperimenta, analizi i tumačenju rezultata. Mjere znanje o praktičnim vještinama, ali ne i same vještine. Bodovanje pomoću jednostavnih strukturiranih obrazaca relativno je brzo. Bodovanje u cilju davanja povratnih informacija s jednostavnim strukturiranim obrascima brže je nego bez njih. Razlike među procjeniteljima, bez strukturiranih oblika, mogu biti visoke. Ova se metoda često pretjerano koristi. Da bi se smanjila opterećenost studenata i težina procjene, za različite se pokuse predlažu različita težišta procjenjivanja znanja. Pitanja za samoprocjenu temeljena na fleksibilnom učenju (materijali za učenje na daljinu i uz pomoć računalna) Strogo govoreći, ovo je metoda učenja, a ne procjenjivanja. Ali mogla bi se više koristiti. Pitanja za samoprocjenu mogla bi biti sastavni dio Otvorenog učenja. Ona se mogu temeljiti na kontrolnim popisima, pitanjima s višestrukim izborom odgovora, pitanjima koja zahtijevaju kratke odgovore, modificiranim esejskim pitanjima i drugim metodama. Njihova primarna svrha je pružiti korisnicima povratnu informaciju i usmjeravanje. Mogu se koristiti za ujedinjavanje otvorenog i učenja temeljenog na radu kada su u pitanju zaposleni studenti. Pouzdanost i valjanost dugoročno su vjerojatno umjereno visoki i lako upravljivi, ali su u početku niski. Pitanja koje zahtijevaju kratak odgovor Standardna metoda. Ima mogućnost mjerenja analize, primjene znanja, rješavanje problema i vještine vrednovanja. Lakša su za oblikovati od kompleksnih pitanja s višestrukim izborom, ali je oblikovanje još uvijek relativno sporo. Bodovanje korištenjem modela odgovora je relativno brzo, npr. u usporedbi s bodovanjem problemskih zadataka, ali ne i u usporedbi s pitanjima s višestrukim izborom odgovora. Bodovanje u cilju davanja povratnih informacija može biti relativno brzo. Simulirani intervjui Korisni za procjenu vještina usmenog komuniciranja i za razvijanje vještine pružanja i primanja povratnih informacija o uspješnosti. Snimanje intervjua oduzima više vremena, ali je korisno za pružanje povratnih informacija i procjenu. Može se primjenjivati međusobno ocjenjivanje polaznika i samoprocjenjivanje. Savjetujemo taktično usmeno davanje povratnih informacija o izvedbi. Procjena pomoću jednostavnog plana bodovanja ili kontrolnih popisa može biti pouzdana ako su procjenitelji, pa bili to i studenti, za to obučeni. Ispit u obliku eseja na zadanu temu Tri sata za pripremljenu temu. Relativno lagano za osmisliti, ali potrebno je posvetiti pažnju kriterijima. Testira se širok raspon sposobnosti uključujući mogućnost zaključivanja na temelju raznovrsnih znanja, sintetiziranje i uočavanje tema koje se ponavljaju. Bodovanje u cilju davanja povratnih informacija je relativno sporo. Bodovanje u cilju ocjenjivanja je relativno brzo, pod uvjetom da su kriteriji jednostavni. Procjenjivanje znanja temeljenog na radu Moguće je primijeniti raznovrsne metode, uključujući dnevnike učenja, portfolije, projekte, strukturirane izvještaje voditelja ili mentora. Važno je voditelje i mentore obučiti za korištenje kriterija. Radna iskustva se mogu mijenjati, pa pouzdanost može biti niska. Valjanost, kao i obično, ovisi o jasnim očekivanim ishodima učenja. Izvori procjene znanja Glavni izvor procjene znanja je nastavnik, iako se sve više koriste i drugi izvori. Hounsell i Thompson (1995) pružaju praktične prijedloge za postdiplomske instruktore i demonstratore. Ashworth i Saxton (1992) daju primjere vođenja i procjenjivanja znanja kod učenja temeljenog na radu i korištenje mentora (voditelja), a Brennan i Little (1996) preispituju teoriju i praksu učenja temeljenog na radu i ulogu procjene znanja. Bez obzira na izvor procjene znanja, važno je osigurati dosljednost između različitih procjenitelja i kod svakog pojedinog procjenitelja (samodosljednost). Kratka obuka, temeljena na kriterijima koji će se koristiti, poboljšat će dosljednost, ali ne treba očekivati savršenstvo. Instrumenti procjene znanja Instrumenti procjene znanja variraju od korištenja holističkog pristupa do vrlo detaljnih kontrolnih popisa. Glavni tipovi kriterija objašnjeni su na Prikazu 6: Korištenje kriterija nije tako lako kao što se čini. Ne mogu se svi kriteriji jasno izraziti ili priopćiti početnicima, a značenja kriterija ovise o kontekstu. Prikaz 6: Tipovi kriterija Intuitivni: implicitni kriteriji. Skriveni od drugih bodovatelja i studenata. Globalni: temeljeni na ključnim obilježjima, kao što su organizacija, dokaz o pročitanoj literaturi. Procjena znanja izravno dovodi do jednoge ocjene. Bodovanje može biti brzo i vrlo pouzdano. Pružanje povratnih informacija studentima može biti sporo. Ocjenjivanje prema referentnom kriteriju: opći kriteriji za ocjenjivanje studentskog rada. Obično ovise o vrsti i razini obrazovanja. Ocjenjivanje može biti brzo, kao i pružanje povratnih informacija studentima. Široki kriteriji: temeljeni na ocjenama ili bodovima. Koriste se za procjenu one kvalitete koja se proteže kroz cijeli zadatak, na primjer tečnost stila ili organiziranost. Obično su pouzdani, a povratne se informacije mogu brzo pružiti na temelju kriterija. Specifični kriteriji: detaljniji od širokih kriterija. Često se preklapaju i imaju nejasna značenja. npr. Koja je razlika između strukture i organizacije? Može ih biti teško primijeniti, varijacije između bodovatelja kod određenih kriterija mogu biti male, povratne informacije studentima mogu biti brze, ali ne nužno i korisne. Brojevi na ljestvici ne govore studentima kako da poboljšaju svoj uspjeh. Planovi bodovanja: često se koriste za linearno ocjenjivanje, na primjer sadržaja određenog predmeta, operacija ili postupaka, poput primjene standardnog integrala, pravilnog korištenja pluskvamperfekta ili točnog prijevoda odlomka proznog djela. Mogu oduzeti puno vremena ako greške nose posljedice pa, ako je moguće, odaberite problemske zadatke koji imaju samo nekoliko putanja. Obično su pouzdani i točni. Kontrolni popisi: mogu se koristiti za procjenu sekvencijalnih zadataka i jednostavnih specifikacija. Oduzimaju mnogo vremena kod procjenjivanja složenih zadataka. Mogu biti pouzdani. Detaljni kontrolni popisi: teški za primjenu. Nisu nužno korisni studentima. Potrebna je intenzivna obuka da bi se osigurala pouzdanost. Detaljni kriteriji: vjerojatno metoda s najmanjom pouzdanošću i instrument za procjenu znanja koji oduzima najviše vremena. "Dobro strukturirano" može imati različita značenja u biologiji, engleskoj književnosti i povijesti, a ono što vrijedi kao ‘dobro argumentirano' može imati različita značenja za studente na različitim razinama programa. Ocjene na ljestvicama procjenjivanja ne prenose nužno značenje, a pisane povratne informacije temeljene na kriterijima će možda različito interpretirati studenti s različitim razinama sposobnosti. Kriteriji ili planovi bodovanja mogu promijeniti studentov pristup učenju, dovršavanju zadataka, ponavljanju gradiva i ispitima. Ako se objavljeni plan bodovanja ili kriteriji bave samo specifičnim znanjem, studenti bi mogli zanemariti strukturu, stil i sintaksu. To tada ima učinak skrivenih kriterija. Pitanja s višestrukim izborom temeljena na negativnom bodovanju kažnjavaju studente nesklone riskiranju, a tako će postupiti žene češće od muškaraca. Pazite na kriterije koji mogu nepotrebno zaoštriti spolne razlike. Sve navedeno ukazuje da je korisno raspraviti sa studentima i kolegama o različitim vrstama kriterija i načinima ocjenjivanja, što oni mogu značiti i kako bi se trebali koristiti. Ove smjernice mogu vam pomoći u raspravama. Ključna načela su: odlučite se za ključne kriterije učinite kriterije ili kontrolne popise jednostavnima za upotrebu omogućite kratke komentare općenitih dojmova upoznajte studente s kriterijima prije nego počnu rješavati zadatak ako je moguće, uključite ih u oblikovanje kriterija i kontrolnih popisa potaknite studente na korištenje kriterija. Dobri kriteriji su oni koji: odgovaraju obliku procjene znanja i ishodu učenja omogućuju dosljednost bodovanja mogu odrediti područja neslaganja među procjeniteljima pomažu studentima da ostvare rezultate učenja omogućavaju pružanje korisnih povratnih informacija studentima. Imaju li vaši kriteriji ova obilježja? Bodovanje i moderiranje Temelji procesa bodovanja i moderiranja su pitanja valjanosti, izvedivosti i pouzdanosti. U procjeni znanja valjanost je stvar prosudbe: odgovaraju li kriteriji obliku procjene znanja i predviđenim ishodima učenja? Izvedivost se bavi praktičnim dijelom, s obzirom na vrijeme i raspoloživa financijska sredstva. Pouzdanost je vezana uz dosljednost bodovanja s obzirom na zadane kriterije. Ona osigura pravedno bodovanje studenata. Za procjenu znanja samodosljednost je važnija od dosljednosti između različitih procjenitelja. Ako je samodosljednost visoka, moguće je prilagoditi bodove. Ako je niska, tada nikakve statističke manipulacije ne mogu poboljšati pouzdanost. Samodosljednost je izazov. Svatko treba biti dobro upoznat sa svojim vrijednostima, predrasudama i kriterijima, bodovati po pitanjima, a ne po literaturi, a tajna je u sljedećem: ponoviti bodovanje u slučaju nedosljednosti. Zadatak moderatora je provjeriti dosljednost pojedinog procjenitelja. To je važnije od činjenice slažu li se prvi ili drugi bodovatelji. Što je veća složenost ili otvorenost zadatka, to je teže postići sklad među procjeniteljima. Ovo dobro poznato otkriće slaba je utjeha procjeniteljima, vanjskim ispitivačima i Agenciji za osiguranje kvalitete. Srećom, dosljednost između različitih procjenitelja može se poboljšati korištenjem jednostavnih kriterija i probnim bodovanjem od strane tima nastavnika. Korištenje sveobuhvatnijih ocjena povećava suglasnost oko bodova – ali ne nužno i oko razloga. Druge metode osiguravanja dosljednosti su zahtjevnije i ne nužno korisnije. Dvostruko slijepo ocjenjivanje udvostručuje administrativni i teret procjene znanja, a istraživanja (npr. Murphy, 1979.; Newton, 1996.) pokazuju da ono nije ništa pouzdanije od jednostrukog ocjenjivanja i moderiranja temeljenog na graničnim i središnjim uzorcima za svaku ocjenu. Postupak moderiranja treba se baviti provjerom, a ne ponovnim bodovanjem. Kada se dva bodovatelja ne slažu, obično se angažira treći. Treći bodovatelj može doći u iskušenje da sklopi kompromis, radije nego da strogo primijeni kriterije. Nedavno se raspravljalo o ideji vraćanja bodovanih testova studentima kako bi dobili povratnu informaciju i na taj način poboljšati svoj uspjeh. Ta će aktivnost oduzimati mnogo vremena. Ona pretpostavlja da će studenti imati korist od povratnih informacija i da će se njihovo učenje poboljšati. Prije nego što krenete tim putem, bilo bi pametno napraviti niz dobro kontroliranih pokusa da biste utvrdili što predavači i studenti gube, a što dobivaju tim postupkom. Anonimno bodovanje testova i zadataka sve je popularnije. Taj pristup može smanjiti neke pristranost pripisive procjeniteljevoj predodžbi o studentu, ali neće smanjiti odstupanja uslijed razlika u vrijednostima. Anonimnost je teško očuvati u malim odjelima što može oslabiti cjelokupan učinak procjene znanja na poboljšanje učenja i motivaciju studenata. Osobni kontakt još uvijek ima važnu ulogu u visokom obrazovanju. Koliko je dosljedno vaše bodovanje i bodovanje vaših kolega? Kako to znate? Povratne informacije studentima Svrha povratnih informacija je motivirati studente, informirati ih o njihovoj uspješnosti i savjetovati ih kako da se poboljšaju. Poboljšati mogu znanje, razumijevanje, strategije rješavanje problema i vještine pisanja. Ta se svrha treba postaviti u kontekst ishoda učenja, očekivanja od studenata s obzirom na zadatak i kriterija koji se primjenjuju. Pristupi pružanju povratnih informacija kreću se od vrlo blagih do vrlo strogih. Danas su takvi pretjerani primjeri svedeni na manju mjeru zahvaljujući korištenju obrazaca za povratne informacije, iako su neki obrasci nespretni za upotrebu i nisu uvijek od pomoći studentima. Kakvi su vaši? Pokazalo se da su povratne informacije najučinkovitije kada su pravovremene, kada ih se smatra važnima, smislenima, poticajnima i kada nude prijedloge za poboljšanje uspješnosti koji su u okviru mogućnosti studenta. Svi praktični savjeti o pružanju povratnih informacija mogu se izvesti iz ovih saznanja, a postoje i prateća svojstva tih saznanja za upravljanje modulima, vlastitim vremenom i pristupom pružanju povratnih informacija. Nažalost, studenti rijetko čitaju povratne informacije, a kamoli da ih koriste. Stoga je možda nužno naučiti studente kako koristiti povratne informacije i provjeriti jesu li primijenili povratne informacije dobivene nakon prethodnog zadatka. Ponekad povratne informacije nisu dostupne studentima kada su im potrebne. Neki odjeli i škole čuvaju sve zadatke u slučaju da ih Agencija za osiguranje kvalitete ili druge službe požele pregledati. Ovaj pristup ometa svrhu pružanja povratnih informacija studentima. Cijenu i korisnost alternativnih strategija trebaju razmotriti više rukovodstvo i Agencija za osiguranje kvalitete. Procjena znanja kod velikog broja studenata Veći dio vremena za procjenu znanja studenata troši se na procjenjivanje znanja u cilju davanja povratnih informacija ili za potrebe Agencije za osiguranje kvalitete. Za uštedu i upravljanje vremenom, a uz pružanje korisnih povratnih informacija studentima, mogu se koristiti sljedeće strategije: olakšavanje procjenu znanja utvrđivanje postupka za pružanje povratnih informacija raspodjela poslova oko bodovanja provjera sustava modula. Olakšavanje procjene znanja Možete zadati manje zadataka ili pripremiti kraće zadatke. Pobrinite se da količina posla bude ravnomjerno raspodijeljena kroz skupinu modula koju nudi vaš odjel. Provjera ukupne količine rada koji se zahtijeva od studenata može mnogo toga otkriti. Možete zadati testove ili zadatke koje treba dovršiti i/ili ocijeniti za vrijeme nastave. Iskoristite informacijsko-komunikacijsku tehnologiju koristeći pitanja s višestrukim izborom odgovora (MCQ), tražite da zadaci budu računalno obrađeni i za obradu, uspoređivanje i bilježenje bodova. Utvrđivanje postupka za pružanje povratnih informacija Da bi olakšali upravljanje vremenom, predavači mogu na početku modula odrediti datum kada trebaju vratiti ocijenjene zadaće studentima. Istovremeno, odredite u svojem dnevniku dane ili dijelove dana rezervirane za ocjenjivanje. Držite se tih rasporeda osim u krajnje hitnim slučajevima. Recite 'ne' kolegama i studentima koji vam žele oduzeti to vrijeme. Najkorisnija strategija za poboljšanje učenja je stavljati bodove i komentare na probni nacrt zadaće. Čuvajte primjerak svojih komentara. Ocijenite konačnu verziju i dodajte kratak opći komentar. Ovaj je pristup korisniji za učenje nego za temeljito bodovanje konačne verzije zadaće. On pokazuje studentima da mogu poboljšati svoju uspješnost. Nakon što su zadaće bodovane, studenti ih uglavnom odlažu i često ne primjenjuju ta saznanja na sljedeću zadaću. Individualnu nastavu koristite samo za studente kojima je zaista potrebna. Primjenjujte kriterije ili kontrolne popise te osobne napomene, ili se poslužite standardnim obrascima. Neka budu jednostavni, inače ćete potrošiti više, a ne manje vremena za upisivanje svojih komentara. Umjesto toga možete napraviti opći izvještaj temeljen na studentskim zadaćama. ‘Najuspješnije su zadaće imale sljedeće karakteristike... dobre zadaće... lošije zadaće...' Ova se metoda može primijeniti za problemske zadatke, primjere i eseje, te može tvoriti temelj grupne nastave ili individualne nastave. Raspodjela poslova oko bodovanja Podijelite bodovanje s timom postdiplomskih instruktora ili mentora s viših godina. Pružite postdiplomskim instruktorima obuku, kriterije ili plan bodovanja i primjere. Ovaj je pristup također korisno iskustvo za postdiplomske instruktore u ocjenjivanju rada drugih ljudi i u pružanju povratnih informacija. Primijenite međusobnu procjenu studenata za jedan zadatak. Pružite, ili još bolje, odredite kriterije zajedno s cijelim razredom i omogućite im obuku u bodovanju na temelju načina ili kriterija ocjenjivanja. Podijelite učenike u grupe od četiri ili pet učenika. Dajte svakoj grupi kriterije i neke zadaće koje je potrebno ocijeniti. Ovaj se zadatak može iskoristiti kao dio programa individualne nastave. Ovaj pristup ne samo da smanjuje količinu posla vezanu uz poučavanje i ocjenjivanje, već također uči učenike ocjenjivanju vlastitog rada, davanju i primanju povratnih informacija i radu u samostalnim grupama. Ocjene i napomene predaju se vama na pregled. Možete dodijeliti mali dio bodova za grupni rad na bodovanju eseja. Provjera sustava modula Što je veći broj modula, to je veći teret procjene znanja i za učenike i za nastavnike. Stoga izvršite procjenu postojećeg sustava modula i potražite načine olakšavanja procjene. Dugoročno, to će vam uštedjeti vrijeme za druge aktivnosti. Predložene strategije imaju ograničene mogućnosti. Realno, ako je broj učenika veći, tada će i teret procjene biti veći. Vrijeme nije elastično, i to nosi svoje posljedice. Problem plagiranja Pritisci na studente, bilo akademski ili financijski, mogu ih navesti na plagiranje. Protiv toga se mogu primijeniti tri opsežne strategije: prevencija, praćenje i kazna. Možda najvažnija preventivna mjera je poučiti studente što jest, a što nije plagijat, kako parafrazirati i raditi sažetke i kako citirati. Nemojte pomiješati pitanje plagijata s drugim oblicima akademskog nedoličnog ponašanja ili varanja. (Vidjeti Izvješće o plagijatima LTSN Generic Centra, 2001.) Ako se od studenata traži da pišu eseje, napravite model eseja (uključujući reference). Na taj način možete biti sigurni da ste dali odgovarajuće informacije i upute o praksi u svojoj disciplini vezanima uz navođenje izvora i citata. Jedan od načina je zadati zadatke koji ograničavaju mogućnosti plagiranja. Na primjer, kritičko bi analiziranje raznih novijih članaka ili korištenje prošlotjednih novinskih članaka moglo biti od koristi. Čini se da neki studenti radije troše vrijeme tražeći odgovore na webu nego razmišljajući. Posvetite dovoljno vremena informiranju studenata o točnim kriterijima procjene koji će se primjenjivati. Nagrađujete li studente za puko pronalaženje informacija ili i za njihovu analizu i vrednovanje? Ako ih ne nagrađujete za samo pronalaženje informacija, već za njihovu značajnu primjenu, vaši izgledi za smanjivanje plagijata prilično su visoki. Uključite studente što više u oblikovanje testova za procjenu znanja i u postavljanje kriterija procjene. Danas postoje mnoga sredstva namijenjena za različite nastavne predmete koja pokazuju način na koji se učenici mogu uključiti u taj proces. Ako osjećaju nekakav stupanj uključenosti i udjela u procesu, to će potaknuti pozitivniji stav prema učenju. Nemojte vrijeđati svoje student zadavanjem istih tema svake godine. Učenici će pozitivnije reagirati na procjenu znanja ako osjećaju da ona ima neko značenje. Korištenje istih zadataka svake godine govori studentima da zapravo ne marite – pa zašto bi oni? Praćenje stilova pisanja ili prezentiranja rješenja u esejima relativno je lagan posao. Možete iskoristiti pomoć tehnologije i poslužiti se pretraživačima kao što je ‘Google' da biste provjerili odlomke pronađene na webu i stranicama koje nude pismene zadatke (vidjeti Evans, 2000.). Kazna, ili prijetnja kaznom, može spriječiti plagiranje ali, dugoročno gledano, jednom kada se ta prijetnja ukloni, takvo se ponašanje može ponovo pojaviti pa je stoga bolje raditi na stavovima i vrijednostima. Prevencija je bolja od kazne. Ispiti ili radni zadaci na neviđeno? Brz porast broja studenata tijekom prošlog desetljeća i posljedični porast plagiranja naveo je mnoge nastavnika da preispitaju pozitivne i negativne strane ispita i radnih zadataka. Ispite „na neviđeno“ lakše je osmisliti i bodovati, ali oni sužavaju raspon rezultata koji se mogu mjeriti. Isključuju plagijate, ali pružaju tek jednokratan uzorak sposobnosti studenata, potiču mehaničko učenje i pogoduju onima koji mogu podnijeti snažan pritisak. Za razliku od njih, radni zadaci povećavaju teret procjene znanja nastavnicima i administrativnom osoblju i studentima, ali omogućuje pouzdaniju procjenu studentskih sposobnosti i mogu pomoći studentima da poboljšaju svoje rezultate. Također neizravno mjere sposobnost upravljanja vremenom i podnošenja dugotrajnog pritiska. Stres zbog ispita može se smanjiti tako da se studentima unaprijed daju teme ispita, ili da im se dopusti da na ispit ponesu svoje tekstove i bilješke. Činjenice pokazuju da ovi pristupi ne mijenjaju ljestvicu uspješnosti studenata. Ako je primarna svrha procjene znanja rangiranje studenata, tada je vjerojatno dovoljno tek četiri ili pet zadataka po studijskom programu da se izradi točna procjena studentskih sposobnosti. (Ako ne vjerujete ovu tvrdnju, provjerite obrazac bodova u zadacima u različitim modulima.) Ako, međutim, želite usporediti uspješnost s rezultatima programa, tada su vam potrebni raznovrsni oblici procjene znanja temeljeni na ispitima i zadacima „na neviđeno“. U sklopu studijskog programa, korištenje isključivo ispita „na neviđeno“ vjerojatno je jednako loše kao i nekorištenje bilo kakvih ispita „na neviđeno“. Procjena znanja kod studenata s poteškoćama u učenju I ispiti i radni zadaci predstavljaju posebne probleme studentima s poteškoćama. Neke od njihovih poteškoća su vezane uz pristup izvorima, fizičko okruženje, njihovu sposobnost i brzinu obrade podataka i sposobnost priopćavanja o naučenom. Mnoga sveučilišta izrađuju priručnike za pomoć studentima koji imaju poteškoća s učenjem. Web stranica Sveučilišta Bath (http://www.bath.ac.uk/Students/learningsupport/webb/d33.html) nudi korisne podatke o procjenjivanju znanja učenika s poteškoćama u učenju, a DISinHE centar (www.disinhe.ac.uk) pruža savjete za procjenu znanja učenika s poteškoćama u učenju. Suština problema je održavanje osjetljive ravnoteže između brige o potrebama učenika s poteškoćama u učenju i procjenom njihove akademske uspješnosti. Zamjena uloga: od nastavnika do vanjskog ispitivača Uloga vanjskog ispitivača je čuvanje normi, zaštita učenika i zastupanje kvalitete. To je produžetak uloge nastavnika. Zahtijeva razumijevanje predmeta, dizajna tečaja, prilika za učenje, oblika procjene znanja, kriterija i uzorkovanja, zajedno s poznavanjem odgovarajućih mjerila i strategija i sustava procjena znanja koji se koriste u školi. Posljednje, ali ne i manje važno, ta uloga zahtijeva sposobnost donošenja i iznošenja prosudbe cjelokupne kakvoće studentskog rada, procesa procjene znanja i učenja. Suština vanjskog ispitivanja je: poznavanje programa koji se procjenjuje, poznavanje sustava procjene znanja i poznavanje svoje uloge u njemu. Predavačima kojima je uloga vanjskih ispitivača još uvijek nova od koristi će biti tekst Partingtona, Browna i Gordona (1993.), QAA Code of Practice for External Examiners i video paket o Sastancima o unapređenju ispitivača čiji su autori Partington et al. (1995.) za UCoSDA sada Higher Education Staff Development Agency. Kontrolni popis u Partington et al. (str. 64-5) predstavlja koristan sažetak zadataka vanjskih ispitivača. Neka sveučilišta nude uvodne dane za novoimenovane vanjske ispitivače, a ostala nude radionice o vanjskom ispitivanju, dok Wisker (1997.) pruža skup dokumenata koji se tiču, izravno ili neizravno, najučinkovitijeg oblika suradnje s vanjskim ispitivačima. Temeljna poruka glasi: kratko ih uputiti u njihovu ulogu, omogućiti strukturiran oblik njihovih povratnih informacija i odgovoriti na njihove primjedbe. Uključite ih u oblikovanje zadataka, kao i u postupke ispitivanja i moderiranja, i savjetujte se s njima o novim razvojima događaja. Imajte na umu da nisu svi vanjski ispitivači blaognakloni prema promjenama, a neki zahtijevaju promjene koje nisu izvedive. Obvezan ispit za sve procjenitelje znanja Odgovorite na sva pitanja. Ovaj ispit nije vremenski ograničen. Savjetovanje s drugima (uključujući studente) i citiranje tekstova i ostalih izvora SE PREPORUČUJE. Koje planirane ishode učenja procjenjujete? Kako se vaš pristup procjeni znanja slaže s tim ishodima? Opravdajte i kritički se osvrnite na svoj izbor metoda procjene znanja i zadatke koje koristite za procjenu rezultata iz pitanja br. 1. U svojem odgovoru navedite mjerodavna istraživanja na polju procjene znanja. Opišite, opravdajte i kritički se osvrnite na svoju primjenu kriterija, metoda ocjenjivanja i/ili bodovanja. Kratko opišite i obrazložite svoj pristup pružanju povratnih informacija učenicima. U svojem se odgovoru osvrnite na mjerodavna istraživanja. Osvrćući se na otkrića istraživanja, opišite, obrazložite i kritički se osvrnite na svoje tehnike bodovanja za svladavanje sljedećeg: a) varijacije u standardima u jednoj prilici; b) varijacije u standardima u različitim prilikama; c) varijacije među procjeniteljima; d) razlike u rukopisima studenata Kako osiguravate da su vaši standardi slični standardima usvojenima u drugim sličnim procjenama znanja i ispitima? Koje vrijednosti čine temelj vašega pristupa procjeni znanja u visokom obrazovanju? Kako se one očituju u vašoj praksi? Ocijenite svoje odgovore na pitanja 1–7. Anotirana biografija Tekstovi o procjeni znanja imaju različite svrhe. Neki su pretežno usmjereni na pregled istraživanja, dok su drugi više zaokupljeni pružanjem praktičnih savjeta. Uz opće tekstove o procjeni znanja, često postoje i poglavlja o procjeni znanja u tekstovima o učenju i poučavanju. Web stranice posvećene knjigama, kao što su Amazon.com i Blackwell.com, vrijedan su izvor takvih tekstova i treba ih istražiti. Na webu se nalazi golema količina materijala o procjeni znanja. Pretraga na Googleu ili drugim kvalitetnim pretraživačima oduzet će vam mnogo vremena – stoga koristite tekstove, ili pričekajte nekoga da napravi priručnik o materijalima na webu korisnima za procjenu znanja. Tekstovi na temu procjene znanja Atkins, M., Beattie, J. and Dockrell, B. (1993) Assessment Issues in Higher Education. Sheffield: Employment Department. A substantial and scholarly commentary on assessment and the purposes of higher education. Vrijedan i stručan tekst o procjeni znanja i svrsi visokog obrazovanja. Brown, G., Bull, J., and Pendlebury, M. (1997) Assessing Student Learning in Higher Education. London: Routledge. This text describes in detail all the topics in this guide and it reviews the relevant research. Several workshop activities are included. Useful for lecturers and staff developers. Ovaj tekst detaljno opisuje sve teme iz ovog priručnika i iznosi pregled relevantnih istraživanja. Uključuje i nekoliko praktičnih aktivnosti. Vrlo korisno za nastavnike i zadužene za usavršavanje nastavnika. Brown, S. and Knight, P. (1994) Assessing Learners in Higher Education. London: Kogan Page A lively discussion of assessment replete with hints and persuasive arguments. Živahna diskusija o procjeni znanja prepuna savjeta i argumenata Brown, S., Race, P. and Smith, B. (1996) 500 Tips on Assessment. London: Kogan Page A rich compendium of suggestions on different methods and procedures of assessment. Bogati pregled prijedloga o različitim metodama i postupcima procjene znanja. Gibbs, G., Habeshaw, S., & Habeshaw, T. (1988) 53 Interesting Ways of Assessing Your Students. 2nd ed. Bristol: Technical and Educational Services. A useful set of hints on different approaches to assessing student learning. Koristan priručnik sa savjetima o različitim pristupima procjeni znanja. Gibbs, G. (1992) Assessing more students. London: PCFC (now HEFCE) A useful summary of approaches to assessment that focuses upon the problems of assessing larger numbers of students. Koristan pregled pristupa procjeni znanja, posebno posvećen procjeni velikog broja studenata. Heywood, J. (2000) Assessment in Higher Education: Student learning, Teaching, Programmes and Institutions. London: Jessica Kingsley For a detailed review of the literature on assessment. Considers Australian and US findings as well as assessment of competencies and examinations in secondary education. Invaluable for researchers. Za detaljan pregled literature o procjeni znanja. Uzima u obzir australska i američka istraživanja kao i procjenu znanja u srednjoj školi. Neprocjenjivo za znanstvenike. Miller, A., Imrie, B. and Cox, K. 1998 Student Assessment in Higher Education. London: Kogan Page. A practical guide to assessment supported by research findings. Praktični priručnik o procjeni znanja temeljen na znanstvenim istraživanjima. Rowntree, D. (1987) Assessing Students - how shall we know them?. 2nd ed. London: Harper & Row A seminal work. A stimulating discussion of the ideas and assumptions underlying assessment. Poticajan rad i diskusija o zamislima i pretpostavkama na kojima se temelji procjena znanja. Posebne teme vezane uz procjenu znanja Procjena znanja kod učenika s poteškoćama u učenju. Disability in Higher Education (www.disinhe.ac.uk) http://www.bath.ac.uk/Students/learningsupport/webb/d33.htm Both these sites contain articles and links relevant to the assessment of learning of disabled students. Na obje web stranice nalaze se članci i linkovi o procjeni znanja kod učenika s poteškoćama. Procjena znanja na temelju eseja Hounsell, D. (1995) Marking and Commenting on Essays. In F. Forster, D. Hounsell. and S. Thompson (eds.) Tutoring and Demonstrating: A Handbook. Sheffield: HESDA A useful practical guide on marking essays for tutors. Koristan praktični priručnik za tutore o ocjenjivanju eseja. Procjena znanja temeljena na računalima Brown, S., Bull, J. and Race, P. (eds) (1999) Computer-assisted assessment for students. A set of articles on different ways of using computers for assessment purposes. Više članaka o različitim načinima korištenja računala u procjeni znanja. Korištenje vanjskih ispitivača Partington, J.,Brown, G. and Gordon, G. (1993) Handbook for External Examiners in Higher Education. Sheffield: HESDA (formerly UCoSDA) Covers all aspects of External Examining including the examination of theses Pokriva sve aspekte vanjskog ispitivanja uključujući i ocjenjivanje disertacija. Laboratorijska nastava Hegarty-Hazel, E. (ed.) The student laboratory and the science curriculum. London: Routledge A useful collection of readings on teaching and assessing laboratory work. Koristan skup članaka o procjeni znanja i poučavanju u laboratorijima. Pitanja s višestrukim izborom odgovora Gronlund,N.E. (1988) How to Construct Achievement tests. Englewood Cliffs: Prentice Hall. A comprehensive text on designing assessments that focuses upon MCQ’s and allied methods. Sveobuhvatan tekst o kreiranju procjene znanja putem pitanja s višestrukim izborom i sličnih metoda. Međusobna procjena znanja ravnopravnih sudionika i samoprocjena Brown, S. and Dove, P. (eds) (1991) Self and Peer Assessment. Birmingham: SCED Paper 63. A collection of articles that provide hints and some research on self and peer assessment. Skup članaka sa savjetima i rezultatima istraživanja o samoprocjeni i procjeni među studentima. Falchikov, N. (2001) Peer assessment and peer tutoring. Buckingham: Open University Press (in press). A comprehensive text on peer assessment and tutoring which includes theory as well as reports of practical approaches to peer assessment. Sveobuhvatan tekst o međusobnoj procjeni studenata i poučavanju. Uključuje teoriju, rezultate istraživanja i praktične savjete. Plagiranje Evans, J.A. (2000) The New Plagiarism in Higher Education: From Selection to Reflection [online]. Available from: http://www.warwick.ac.uk/ETS/interactions/vol4 no2/evans.htm A well referenced, thought provoking discussion of plagiarism. Provokativna diskusija o plagijarizmu, sadrži dobre reference. Rješavanje problema Schoenfeld, A.H. (1985) Mathematical Problemsolving. New York: Academic Press. A text with a strong mathematical application. Tekst o primjeni u matematici. Učenje temeljeno na radu Ashworth, P. and Saxton, J. (1992) Managing Work Experience. London: Routledge. It contains some useful suggestions about assessments and arguments in favour of workbased learning. Sadrži neke korisne savjete o procjeni znanja s argumentima u prilog radnih zadataka. Higher Education Research & Development. 17, 2 June 1998. The whole of this issue is devoted to work-based learning. Assessment issues are scattered throughout the issue. Cijelo izdanje posvećeo je učenju temeljenom na radu. Kroz cijeli tekst mogu se naći dijelovi o procjeni znanja.