考研大模子时万博manbext体育官网app娱乐，或然让它"记性差一丝"，反而更贤慧！

谎言语模子若是不加敛迹，很容易把考研数据茹毛饮血地复刻出来。为责罚这个问题，来自马里兰大学、图宾根大学和马普所的说合团队冷落了一个新时刻——金鱼亏蚀（Goldfish Loss）。

顾名念念义，金鱼亏蚀便是让模子像金鱼一样，不去死记每一个细节，而是在亏蚀函数磋磨时立时剔除一小部分 token。

由此，模子不再逐字记着考研集实质，但仍能学会话语规章。

实验表示，LLaMA-2 在使用金鱼亏蚀后：

记挂化实质权贵减少：模子不再复现考研数据

下贱任务性能险些不受影响：仍然能畅达生成文本

用网友的精深指摘详尽便是：dropout，但亏蚀函数！

在梯度磋磨中立时屏蔽部分 token

金鱼亏蚀的核神色念杰出浅薄，便是在模子考研历程中立时剔除一部分考研文本中的 tokens，使其不参与亏蚀察划。

这么一来，当模子在推理阶段际遇这些位置时，就只可"臆测"，而不是一字一板复现考研数据的完整序列。

此外，为了保证被剔除 token 的一致性，说合东说念主员遐想了一种基于哈希（hashing）的掩码战略。

那么，这和相通是扎眼模子背会的正则化时刻有什么不同呢？

以Dropout这么的正则化时刻为例，它通过在考研时"加噪声"来扎眼模子过度依赖某些参数，从而栽种模子举一反三的能力。

但这么作念的问题在于：若是仅仅立时丢 token，那么，每次看到合并段落时，丢掉的所在不一样，模子累计几次就能拼集出完整段落。

是以，说到底，模子已经靠死记硬背，记着了谜底。

比较之下，金鱼亏蚀则用哈希掩码确保每次际遇合并段落，遮蔽位置齐一样，这就从根底上扼制了模子复现完整考研文本。

接下来，咱们来看金鱼亏蚀具体是若何作念的。

在传统的 next-token prediction 中，模子以序列中的下一个真确 token 四肢标的，输出展望散布，并基于该散布磋磨交叉熵亏蚀。

在金鱼亏蚀下，模子天然也在前向传播中展望序列里下一个 token。但在磋磨亏蚀机，会以一定的概率将某些位置的 token 从亏蚀察划里"抹掉"。

也便是说，有些真确的下一个 token 不会四肢标的来考研。

在这里，说合东说念主员汲取了浅薄的静态掩码（static mask），剔除每序列中的第 4 个 token。

更进一步，为了确保模子不会从其他所在学到被掩码的数据（举例不同的文档会在不同的网页中反复出现），说合团队还冷落了一种局部化哈希掩码（localized hashed mask），使适应沟通的前 h 个 token 出面前，遮蔽情势是沟通的（可叠加）。

实验测试与松手

为了考据金鱼亏蚀照实能扎眼记挂化，说合团队遐想了两种实验场景：

一种是极点场景，通过对小数样本进行多个考研周期（即叠加）来热烈促使记挂化；

另一种是标准场景，模拟施行模子考研中使用的批次处理模样 。

同期，为了评估模子的记挂化进程，说合汲取了以下办法：

RougeL 得分：该办法掂量最长群众（非一语气）子序列的长度 。得分为 1.0 默示完满记挂 。

精准匹配率（Exact Match）：该办法掂量正确展望的序列占真确序列的百分比 .

实验标明，在极点场景下，标准考研导致模子逐字记挂了100 篇著述中的 84 篇，而金鱼亏蚀莫得记挂任何著述。

（注：实验让 LLaMA-2-7B 在《哈利 · 波特》第一章或 100 篇维基百科文档上进一步考研了 100 个 epoch）

此外，在标准考研场景下，金鱼亏蚀也彰着减少了模子逐字复现考研语料库中标的序列的情况。

但这里可能有个直观式的反映——若是让模子"立时漏学"一些 token，它的能力会不会也随之镌汰呢？

对此，说合东说念主员进行了测试：说合标明，金鱼亏蚀模子、标准亏蚀模子和对照模子之间的总体性能莫得系统性互异。

需要提神的是，金鱼亏蚀的中枢在于忽略部分 token 的梯度磋磨。因此，为了学到饱和的话语情势，模子必须通过更渊博据来赔偿这些空白，这可能导致磋磨成果的着落。

参考谄媚

[ 1 ] https://arxiv.org/pdf/2406.10209

一键三连「点赞」「转发」「防卫心」

接待在指摘区留住你的想法！

—  完  —

专属 AI 家具从业者的实名社群，只聊 AI 家具最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」苦求入群～

进群后，你将奏凯得到：

  � � 最新最专科的 AI 家具信息及分析 � �  

  � �   不如期披发的热点家具内测码 � �

  � �   里面专属实质与专科磋议 � �

� � 点亮星标 � �

科技前沿施展逐日见万博manbext体育官网app娱乐