2017年4月24日 星期一

MOOC 中的同儕互評機制(三):如何改善 MOOCs 中的互評機制--評分標準 Rubrics


前情提要:MOOCs中互評機制的成效與影響

作為互評機制的使用者,我們該如何改善互評機制的成效呢?回頭思考一下互評為何有效:使同儕之間互相評分、再經由某些合計的機制--通常是某種平均的概念--最後得到接近教學者評分的效果。於是,我們至少有兩個大方向可以思考:其中之一是改進機制本身,亦即想出更完善的合計方法,讓作業(或作品)的品質能更準確的被衡量;另一個方向,就是設法讓單一的互評分數更為接近教學者所作的評分。

如果我們著眼於後者,則可以從教學者本身的評分行為開始發想。一個兼具專業知識和經驗的教學者,是如何為創造性作業評分的呢?相信絕少數的教學者是將分數信手拈來。絕大多數的教學者,心中對「怎樣的作品應得怎樣的分數」,是有其原則和標準存在的。若能將這個標準具體化、作為互評的依據,不同互評者做出的評分應該會更趨近一致--這正是所謂的「評分標準」(rubrics)的概念。如同互評並非為MOOCs而生,rubrics亦然;它的使用甚至並不限於互評或自評中,也能用於協調專業人士之間的評分(如聯考中的作文給分)。


若以評分標準的形式來區分,可分為整體性(holistic)及解析性(analytic)兩類(註1)。整體性的評分標準,指得就是對一份作品只打一個綜合性的分數;兩份作品可能各有所長,卻都大致落在同樣的區間內,最後得到同樣的分數。這類的評分標準,通常對某一個分數級別作一段整體性的敘述,通常較適用於作品的整體性較重要、細節上可以容許瑕疵的創造性作業或作品;例如國中會考作文目前採取的六級分標準,就是整體性的評分標準。


解析性的評分標準,則是分成數個面向來評分,不同面向之間的得分互不相關,最後再以某種加權的方式算出總分;這樣的標準會直接標示出各個面向的名稱、以及每個分數層級各自的敘述。如果上述國中會考的作文標準改為分別針對立意取材、結構組織、遣詞造句、錯別字四個項目各打一個分數,最後再整體相加,就會形成解析性的評分標準。和整體性標準相比,解析性的標準可以更為細部的規範一份好的作品應該具有哪些特質,也可以自由調整各面向之間的比重;然而除了使評分變得複雜之外,解析性的標準通常無法處理高自由度、風格濃烈或具爭議性的作品。另外,要求評分者對所有細項分級評分時,不同項目之間無法互補,評分結果之間的差異可能會因此放大;如何設定細項之間的權重和分級,也是棘手的任務。因此,現今主流MOOCs中的互評機制通常還是以整體性的評分標準為主。


那麼,怎樣才是一套好的rubrics呢?Popham在1997年提到(註2),好rubrics應該避免「過與不及」。所謂的「過」,就是指過度注重細節,甚至將無關緊要的小事也納入評分標準;「不及」,則是指評分標準太為空泛,彷彿套用到任何的作業上都能適用。再度以會考作文為例,如果為每年不同的作文題目特別制定一套標準,顯然太過;而如果每個級分的描述就只有「頂尖、良好、尚可、不佳」,則就跟沒有標準無異。好的rubrics應該緊緊扣合「教學者希望學習者展現的能力或達成的目標」,依此概念來調整標準的範圍;此外,在用字遣詞上應盡可能明確、消除歧義的可能性,避免使用詮釋上因人而異的形容詞。


好的rubrics除了能讓評分者共享一套標準、減少主觀的成份,使結果更為一致,還有一個重要的附加效果:它能預先將教學目標傳達給學習者。在著手寫作業或作作品之前,學習者就能得知這個學習活動著重哪些層面;以此作為依據來進行,搞錯重點或不符要求的情形自然會減少。


在MOOCs的世界中,學習者之間異質性高、教學兩方之間還存在時間、空間、甚至語言上的隔閡,這時一套明確的標準就更加重要。另外,MOOCs中的學習者之間也不再像傳統課堂上存在競爭的關係;因此,也有愈來愈多的MOOCs採用單一標準來界定學習者的通過課程與否,而不再特別區分合乎標準的學習者之間孰優孰劣。當教學目標愈趨簡單,採用rubrics作為衡量學習表現的工具就愈有利。
文/ 柯劭珩


下集預告:

如何改善MOOCs中的互評機制--下一代的互評機制


註1.Moskal, B. M. (2000). Scoring Rubrics: How?
註2.Popham, W. J. (1997). What's wrong-and what's right-with rubrics. Educational leadership, 55, 72-75.

沒有留言:

張貼留言