大家好，欢迎来到IT知识分享网。
本文主要介绍 RoPE 外推的缩放法则，相关的背景、理论、验证、思考。主要内容包括四点：一，RoPE 外推的近期相关工作；二，放大和缩小 RoPE旋转角的底数（全文简称base）并在原始长度上续训都会改善其外推效果；三，在原始长度上续训，RoPE 的外推效果和 base 大小之间的关系；四，在更长长度上续训，RoPE 的外推效果和 base 大小之间的关系。
与以往的外推研究不同，本文并没有聚焦一个具体的外推方案，而是给出了一套改进RoPE外推能力的框架，及其对应的数学解释、实验验证。在这个框架下，本文不仅给出了 任意base 任意续训长度时 模型外推表现如何，同时给出了 给定期望上下文长度时应该如何调整RoPE实现定长外推，没有给定期望上下文长度时应该如何调整RoPE实现不定长外推。
- 引言背景：RoPE的外推研究
1.1 基础：RoPE 与 外推
关于RoPE的提出、原理、解释、实现等的内容，笔者已经在先前关于 在预训练阶段改进RoPE外推 的系列博客中，给出了详细论述，详情可参考 Transformer位置编码（基础、意义）（由于LLaMA基于RoPE给出了良好的初始化参数，并且已有的研究主要聚焦微调和测试阶段的RoPE改进，因此笔者调整了研究方向，完成了这份工作&#
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/156596.html
