小議第四輪學科評估進退步評判方法

2017年12月28日，在2018年元旦前夕，教育部學位中心發佈了第四輪學科評估結果，為新年的到來提供了高教界最為關注的熱點話題。本次評估結果以“精准計算、分檔呈現”的原則公佈，按照各學科參評高校數的百分位次分別呈現前70%的高校，分別以“A+、A、A-、B+、B、B-、C+、C、C-”九個檔位定位發佈。

關注各高校第四輪評估結果是對高校發展現狀的一個評價，關注各高校第四輪與第三輪學科評估結果的變化是對高校五年發展情況的一個判斷。但由於第四輪與第三輪評價結果發佈方式的差異，造成了兩輪學科評估結果無法進行直接對比。因此在網路上流傳了兩種轉換後的對比方式，一是套用第四輪學科評估的分檔規則，將第三學科評估的排名結果轉換為分檔資料，並進行縱向對比（模擬分檔法）。二是根據第四輪評估的分檔，以及各檔的高校數量，將每一個分檔轉換為名次區間，並將名次區間與第三輪的評估結果排名進行模糊對比，判斷位次升降（排名區間法）。由於第四輪評估中參評學科總數從第三輪的4235個增加到了7315個，增幅達到72.7%。95個一級學科的參評高校數均有不同程度的增加，最大增量達到125個，最大增幅達到134%。因此同樣的排名位次，在兩輪評估中的分檔可能會有明顯差異，用兩種方法進行對比，會得到不同的升降判斷，模擬分檔法較排名區間法而言，會得到更好的結果。然而兩種對比方法各有不足，筆者嘗試探討一種更科學的判斷方法。

一、模擬分檔法的不足

分檔是第四輪評估的特色之一，以分檔替代名次可以一定程度上避免因微弱分差導致的排名差異，也可緩解對排名的過度解讀與過度關注，引導高校以評促建，通過評估發現優勢，找到不足，更加注重內涵建設。分檔的方式是一種思維創新，是一次評估手段革新。因此用第四輪的方法對第三輪評估結果進行分檔模擬是似乎是一種科學的手段，但實際而言，由於三四輪評估學科基數的差異，以模擬分檔法進行對比可能會帶來錯誤的價值判斷。

在第四輪評估中，95個參評一級學科的參評高校數均超過了第三輪，意味著某一高校在兩輪評估中如果處在相同的位次，但因為第四輪評估的參評高校總量的增加，其分檔可能得到提升。經分析評估資料發現，不少學科在第四輪評估中並未超過任何一所在第三輪評估中位次高於自己的學校，甚至還被原本位次低於自己的學校超過，但用模擬分檔法進行對比，該學科的分檔得到了提升，給出了進步的信號，但實際其名次提升原因是參評高校中增加一批成績不如自己的高校，相信這不應作為我們判斷“提升”與否的理由吧！

二、排名區間法的不足

通過第四輪評估各分檔位的高校數量，不難對各學科的各個分檔推算出相應的名次區間，比如A+有2個高校，A有3個高校，A-有5個高校……那麼可以推算出A+相當於1-2名，A相當於3-5名，A-相當於6-10名。在用排名區間與該學科第三輪評估位次進行對比，判斷進步與否。例如上述學科的某高校在第四輪評估中為A檔，在第三輪評估中第6名，則判斷為進步，在第三輪評估中第2名，則判斷為退步，在第三輪評估中第3、第4或第5名，則都判斷為持平。本方法雖然可以通過排名更為直觀的做出升降判斷，但是從兩個角度可能被質疑。一是學科中參評高校數量的差異會導致相同的位次存在不同的含金量。如具有100個高校大學科中的第5名，和具有5個高校小學科的第5名含金量是存在差異的，完全不考慮學科大小，只考慮排名位次是存在缺陷的。二是本輪學科評估以分檔的方式呈現結果，就是想更加淡化排名概念，但本方法又將分檔轉換為區間，似乎是在開歷史的倒車，可能會被詬病。

三、相對比較法的探索

判斷進步以否的關鍵是與比自己更好的學校相比，通過一定時期的發展，是否有所超越。判斷退步的關鍵是原本比自己差的學校，通過一定時期的發展超越了自己。基於如此思考前提，試圖構建一種通過與其他高校的排名位次（第三輪）或分檔檔位（第四輪）的相對位置比較進行升降評判的判斷方法（暫且命名為“相對比較法”）。

“相對比較法”具體說明。

（一）兩輪評估中參與評估的高校有三類，一是兩輪都參加了評估，二是第三輪未參評第四輪參評，三是第三輪參評第四輪未參評。第二種情況，由於沒有其第三輪評估資料，因此“相對比較法”中不予考慮，既不進行評判升降，也不用作其他高校評判升降的依據。第三中情況，由於第四輪評估結果僅僅發佈了C檔以前的高校，各學科均有30%左右的高校並未發佈，從發佈的公開信息中難以通過對比篩選出第三輪參評但第四輪未參評的高校，因此在使用“相對比較法”分析時將出現在第三輪榜單但為在第四輪榜單中出現的高校都暫歸入D檔，僅用作其他高校升降判斷的依據。

（二）在各一級學科中，對在第三輪和第四輪榜單中同時出現高校進行升降判斷，計算在第三輪評估中排名高於或等於本校但在第四輪評估中排名低於本校的高校數量，即超過高校數；同時計算在第三輪評估中排名低於或等於本校但在第四輪評估中排名高於本校的高校數量，即被趕超高校數。超過高校數大於被趕超高校數則判斷為進步，反之判斷為退步，兩個數相等則判斷為持平。

（三）相對比較法的缺陷。首先是因為第三輪參評但第四輪在D檔的資料無法獲得，因此造成判斷結果會略有偏差。第二在統計超過高校數和被高超高校數時，對在第三輪有名次差異，同時在第四輪在同一檔位的高校未做任何處理，造成一定的判斷偏差。例如：甲高校在第三輪評估中與乙高校並列第一，丙高校第三，第四輪評估甲和丙進入A+檔，乙進入A檔。按現有計算規則，甲因為超過了乙，所以超過高校數為1，同時沒有高校在第四輪評估中超過甲的分檔，因此被趕超高校數為0，綜合看來甲呈現進步狀態。但實際因為丙的迎頭趕上，甲實際狀態應該是持平。為糾正以上偏差，對於有因為超過第三輪並列高校而形成的超過高校數，以第三輪落後，本輪追平高校數進行消抵，到0為止。同樣道理，對有因為被第三輪並列高校超過而形成的被趕超高校數，以第三輪領先，本輪在同一檔位的高校數進行消抵，到0為止。