金沙娱乐,金沙娱乐城官网,金沙娱乐城app,金沙娱乐城,金沙集团官网,金沙娱乐城注册,金沙官网,金沙app,澳门金沙娱乐城官网,金沙网站,金沙官网,金沙集团,澳门金沙官网,澳门金沙网站,澳门金沙注册论文首先通过简单的前置实验，挖掘出参数空间的对齐是实现参数知识迁移的必要条件。现有的参数对齐方法Seeking通过梯度定位部分较大 LLM 参数以适配较小 LLM 张量形状，将其初始化为 LoRA 矩阵通过后续微调实现迁移，称之为后对齐参数迁移方法（Post-Align PKT）。论文为了更全面探索 PKT 是否可行，根据对齐时机提出先对齐知识迁移（Pre-Align PKT）新范式，采用定位后对齐（Locate-then-Align，LaTen）方法实现参数对齐。
对于 Post-Align PKT，论文将其同利用 SVD 从模型自身获取 LoRA 的 PiSSA 方法对比，结果发现 PiSSA 在相同设置下优于 Seeking，证明从较大模型抽取的参数知识不如利用模型自身知识作为 LoRA 初始化，进一步怀疑其可行性。对于 Pre-Align PKT，结果显示，只需要极少的训练步数和数据开销，LaTen 能有效取得性能提升。但是 Pre-Align PKT 通过训练实现参数对齐的方式受到极大限制，无法超越较大 LLM 的能力上界，同时训练不太稳定，没有明显收敛。
如图 4 所示，Llama2-7B 和 13B 之间的相似性较低，尤其是在多头自注意力（MHSA）模块中，该模块在信息整合中扮演着至关重要的角色。有趣的是，上投影层的相似性较高，这可能是因为它们作为关键记忆，捕捉特定的输入模式，而这些模式通常在不同模型间是一致的。跨规模大模型之间的低相似性也解释了为何从同一模型衍生的 LoRA 表现更好，因为它与模型的内在行为更为贴合。证明跨规模大语言模型之间的表示相似性较弱是导致神经不兼容性的关键因素之一，这使得理想的参数知识转移成功变得困难。
