微信WeLM

WeLM是一个中文预训练语言模型,可以完成多种NLP任务,包括对话-采访、阅读理解、翻译、改写、续写、多语言阅读理解等。

WeLM是微信AI团队开发的一个中文预训练语言模型,能够在零样本和少样本情境下完成多种NLP任务。

WeLM的功能和特点:

WeLM拥有处理跨多语言(中英日)任务的能力,并且具有mutilingual的能力。

WeLM具有记忆能力、自我纠正和检查能力,能够学习少量的文本转换例子即可达到对任意类型的文本转换。

在14项中文NLP任务上,WeLM的整体表现超出了所有同大小的模型,甚至能够匹配比它大25倍的模型。

WeLM使用62k的SentencePiece tokenizer进行词表处理,再加上3万个中文符号和中文中常见的英语、日语、韩语等语言的常用词也被包括在内。

相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》已经发布于论文预印本网站arXiv(https://arxiv.org/abs/2209.10372)

特别声明

微信WeLM为第三方网站,由网友提供,本站无法保证外部链接的准确性和完整性,同时,对于该网址的指向,不受本站控制,如网页出现失效改版违规等问题,可以直接反馈。

您必须登录才能参与评论!
立即登录