Related work and the limit

在傳統(tǒng)的NLP任務(wù)中，RNN等序列模型，自身便包含了詞的位置信息。而Transformer模型采用Attention機(jī)制來(lái)學(xué)習(xí)各個(gè)詞之間的關(guān)系，拋棄了它們的位置信息。但在語(yǔ)言理解中，位置信息是非常重要的，因此需要顯式地生成position encoding，手動(dòng)加入各點(diǎn)的位置信息。而對(duì)于圖像領(lǐng)域的Vision Transformer，二維圖像各個(gè)patch之間的相對(duì)位置關(guān)系也對(duì)物體的模式理解有重要的作用。