微软以儿童故事训练微小语言模型，开创模型训练新思路【微小语言模型训练革新】

快讯摘要

快讯正文

【微小语言模型进入成熟期】今年初，ChatGPT引爆全球。作为以自然语言处理为核心的大型语言模型，其训练成本非常昂贵。据不准确估算，大型语言模型训练成本高达上百万美元。为解决这一困难，微软研究人员使用儿童故事来训练微小模型以此更好地理解神经网络是如何学习模拟写作的。学习英语并非易事，无数学生都深有体会。想象一下，假设我们是一台电脑，有一种方法出奇地有效： 只需将互联网上堆积如山的文本输入一个巨大的神经网络模型即可。这就是OpenAI推出的ChatGPT 等生成语言模型背后的操作原理，在过去的一年里，ChatGPT 就广泛的话题与人类进行连贯对话的能力（即便会存在「幻觉」）令研究人员和公众感到惊讶。然而，将庞大的文本档案转化为语言模型所需的训练语料，成本高昂且耗时。基于此，微软的两名研究人员引入了一种新方法：用儿童故事训练微小语言模型。这一举措使小型语言模型能够迅速学会讲述连贯且符合语法的故事。他们的研究成果暗示了新的研究方向，可能有助于训练更大的模型并理解它们的行为。通过使用儿童故事作为训练素材和评估标准，研究人员发现，层数较少但每层神经元较多的网络更善于回答需要事实知识的问题；而层数较多且每层神经元较少的网络更善于追踪故事早期的人物和情节点。这一研究为微小语言模型的发展提供了新的思路和启示。和讯自选股写手风险提示：以上内容仅作为作者或者嘉宾的观点，不代表和讯的任何立场，不构成与和讯相关的任何投资建议。在作出任何投资决定前，投资者应根据自身情况考虑投资产品相关的风险因素，并于需要时咨询专业投资顾问意见。和讯竭力但不能证实上述内容的真实性、准确性和原创性，对此和讯不做任何保证和承诺。

标签: 模型语言和讯训练研究人员

上一篇: 《新规实施后的快递行业三难》
下一篇: 保罗过人视频（保罗经典过人动作）