一般的目標(biāo)檢測(cè)，圖片分類等CV任務(wù)，都會(huì)預(yù)設(shè)有哪些類別，要識(shí)別哪些種類。實(shí)際圖片信息是很豐富的，除了這些預(yù)設(shè)的類別，其他的視覺信息沒有被充分利用，如果還要識(shí)別圖上其他類別，就需要再加標(biāo)簽。

本文提出CLIP，Contrastive Language–Image Pre-training，用4億對(duì)來自網(wǎng)絡(luò)的圖文數(shù)據(jù)集，將文本作為圖像標(biāo)簽，進(jìn)行訓(xùn)練。進(jìn)行下游任務(wù)時(shí)，只需要提供和圖上的concepts對(duì)應(yīng)的文本描述，就可以進(jìn)行zero-shot transfer。