自注意力計(jì)算的詳細(xì)過程

在自注意力機(jī)制中，每個(gè)輸入元素都可以被視為一個(gè)向量。對(duì)于每個(gè)向量，都可以通過一個(gè)矩陣變換來生成三個(gè)新向量：查詢向量、鍵向量和值向量。這些新向量可以表示不同的信息，例如查詢向量可以表示要查詢的內(nèi)容，鍵向量可以表示文本中的單詞，值向量可以表示單詞的嵌入表示。