大模型RWKV5World7B于1月28日开源，英文性能看齐LlaMa2
记者 肖余林2024年1月28日，RWKV开源基金会宣布开源RWKV-5-World 7B模型。本次开源发布的最新模型“RWKV-5-World 7B”是 RWKV 第五代架构7B参数大模型，也是RWKV迄今为止多语言性能最强的开源大模型。根据性能评测数据显示，在100% attention-free和只训练1.1T tokens的前提下，RWKV-5 7B模型的多语言性能超过Mistral，英文性能看齐LlaMa2。即日起，全球开发者和研究者能够通过Hugging Face或wisemodel平台获取并开始使用RWKV-5-World 7B模型。根据公布的测试结果，对比众多同为7B参数的模型，RWKV-5 7B的多语言表现处于领先地位，英文性能获巨大提升。目前的英文性能测试中，Mistral-7B模型和Llama2模型表现较好，为了跨越Llama2性能线并接近Mistral性能线，RWKV团队表示将额外投入1T tokens语料继续训练RWKV-v5模型。RWKV的公开资料显示，RWKV是一种创新的深度学习网络架构，它将Transformer与RNN各自的优点相结合，同时实现高度并行化训练与高效推理，时间复杂度为线性复杂度，在长序列推理场景下具有优于Transformer的性能潜力。《电厂》了解到，RWKV元始智能公司已于1月16日完成种子轮融资，投资方之一是由陆奇创立的奇绩论坛。RWKV模型最初由彭博设计，主要算力由Stability AI和AI Eleuther等机构捐赠。如今，RWKV已捐赠给Linux Foundation AI&Data作为孵化项目。RWKV兼具Transformer和RNN的优势，主要特点包括推理效率高且恒定，显存占用少且恒定，元始智能联合创始人兼COO罗璇表示："Transformer的目前的效率限制了AI的发展和产业落地，RWKV的诞生可以也正在扭转这个局面。过去几十年，Linux的开源带来了互联网的繁荣。RWKV将沿袭Linux的开源精神。基于Transformer的infra和应用，都值得用RWKV重做一遍。"
本信息由网络用户发布，本站只提供信息展示，内容详情请与官方联系确认。
