Kaggle競賽的排名機(jī)制

在比賽結(jié)束之前，參賽者每天最多可以提交5次測試集的預(yù)測結(jié)果。每一次提交結(jié)果都會(huì)獲得最新的臨時(shí)排名成績，直至比賽結(jié)束獲得最終排名。在比賽過程中，Kaggle將參賽者每次提交的結(jié)果取出25%-33%，并依照準(zhǔn)確率進(jìn)行臨時(shí)排名。在比賽結(jié)束時(shí)，參賽者可以指定幾個(gè)已經(jīng)提交的結(jié)果，Kaggle從中去除之前用于臨時(shí)排名的部分，用剩余數(shù)據(jù)的準(zhǔn)確率綜合得到最終排名。所以，比賽過程中用于最終排名的那部分?jǐn)?shù)據(jù)，參賽者是始終得不到關(guān)于準(zhǔn)確率的反饋的。這樣一定程度避免參賽模型的過擬合，保證評選出兼顧準(zhǔn)確率和泛化能力的模型。