LLM中的位置编码方式，rope和sinusoidal两种方式，rope是一种新的位置编码方式，sinusoidal是Transformer中的位置编码方式。
位置编码方式
https://www.linsight.cn/a051710f.html
- 相对位置编码
- rope旋转编码，通过将 query 和 key 拆分成相邻的两两一对（保证dimension even），对每一对应用旋转矩阵（即视为二维，变成复数），这样一对的内积结果就可以表示成 Re{AB*}，
- T5 编码，将QK.T中引入的位置有关部分替换成与相对位置有关的矩阵
- 绝对位置编码
- transformer中使用的sin cos就是绝对位置编码，只保存绝对位置信息，得到的编码P和word embedding 后的 x 进行相加，在计算注意力过程中只添加了线性成分，但是绝对位置编码无法保留token之间的相对信息，因为和 word embedding 相加之后没有办法复原回原来的编码信息？