【#零样本能力最强的语言模型结构#】谷歌&HuggingFace：一招让预训练提速 9 倍！
19 年 T5 通过“调参”发现，设计预训练模型时，Encoder-Decoder 的模型结构 + MLM 任务，在下游任务 finetune 效果是最好的。可是在 2202 年的当下，主流的大模型用的都是仅 decoder 的模型结构设计，比如 OpenAI 的 GPT 系列、Google 的 PaLM、Deepmind 的 Chinchilla等等。这是为什么？难道这些大模型设计都有问题？
今天带来一篇 Hugging Face 和 Google 的文章。这篇文章与 T5 在实验上的思路相似，通过大量对比设计，得到一个重磅结论：要是为了模型的 zero-shot 泛化能力，decoder 结构 + 语言模型任务最好；要是再 multitask finetuning，encoder-decoder 结构 + MLM 任务最好。
除了找到最好的训练方式，作者通过大量的实验，还找到了最好的同时还能最节省成本的训练方式。训练计算量只需要九分之一！
论文：What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization?
PDF链接：undefined - AMiner
解读全文：谷歌&HuggingFace| 零样本能力最强的语言模型结构 - AMiner
AMiner官网：网页链接
#人工智能##科技#
AMiner必读论文推荐#文本对抗性攻防#
论文集地址：文本对抗性攻防 - 必读论文 - AMiner
自然语言处理方面的研究在近几年取得了惊人的进步，深度神经网络模型已经取代了许多传统的方法。但是，当前提出的许多自然语言处理模型并不能够反映文本的多样特征。因此，许多研究者认为应该开辟新的研究方法，特别是利用近几年较为流行的对抗样本生成和防御的相关研究方法。使用对抗样本生成和防御的自然语言处理研究可以基本概括为以下三种：1. 用未察觉的扰动迷惑模型，并评价模型在这种情况下的表现；2. 有意的改变深度神经网络的输出；3. 检测深度神经网络是否过于敏感或过于稳定，并寻找防御攻击的方法。
该论文集共收录76篇论文，最高引用数是409，来自加州大学洛杉矶分校的Cho-Jui Hsieh在该领域发表了6篇论文，在所有学者中最多。
订阅了解更多论文信息，定制您的个人科研动态信息流：用户画像论文推荐-学术订阅 - AMiner
#AMiner##论文#
如果觉得《多语言企业网站模板》对你有帮助，请点赞、收藏，并留下你的观点哦！
