bert模型

BERT的全稱是Bidirectional Encoder Representation from Transformers，即雙向Transformer的Encoder，因?yàn)閐ecoder是不能獲要預(yù)測的信息的。模型的主要創(chuàng)新點(diǎn)都在pre-train方法上，即用了Masked LM和Next Sentence Prediction兩種方法分別捕捉詞語和句子級別的representation。