AI公司MosaicML推出70亿参数模型MPT-7B-8,号称“一次处
,AI 创业公司 MosaicML 近日发布了其 70 亿参数模型 MPT-7B-8K,据悉,该模型一次可以处理 8000 字文本,相当擅长处理长文重点摘要和问答,还能在 MosaicML 平台上根据特定任务,进一步微调相关配置。
据悉,系列模型采用了 150 万个 Token,并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型,包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。
其中,第一个版本 MPT-7B-8k、是以 Transformer 解码器为基础,并以 FlashAttention 和 FasterTransformer 机制来加速训练与推论,能一次处理 8000 字文本,MosaicML 公司表示,该模型开源、允许商用。
第二个版本 MPT-7B-8k-Instruct 是以第一个版本 MPT-7B-8k 微调而成,MosaicML 公司表示,MPT-7B-8k-Instruct 模型可处理长篇指令,特别注重于生成“摘要和问答”,该模型一样开源且可商用。
第三个版本 MPT-7B-8k-Chat 则是机器人对话式的 AI 模型,MosaicML 公司宣称,该模型额外多用了 15 亿个聊天数据 Token,在第一版模型 MPT-7B-8k 之上继续训练而成,该模型开源,但不允许商用。
IT之家此前报道,MosaicML 公司也推出了一款号称训练成本仅为竞品零头的 MPT-30B 开源模型,该公司日前已将所有开源模型发布于 Huggingface 平台,感兴趣的小伙伴们可以前往进行相关了解,还可以在本地硬件上使用自己的数据,在下载后,对模型进行各种微调。
广告声明:文内含有的对外跳转链接,用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
声明:本网转发此文章,旨在为读者提供更多信息资讯,所涉内容不构成投资、消费建议。文章事实如有疑问,请与有关方核实,文章观点非本网观点,仅供读者参考。
推荐阅读
-
政策提振建材消费修复预期龙头企业将释放向上弹性...
本报讯受益于政策利好,7月25日,建材板块震荡走强。截至收盘,板块内个股正源... -
联想小新Pro162023笔记本新配置今晚开卖:i5+32GB,...
,联想日前发布小新Pro162023笔记本的两款新配置,7月26日0点正式开... -
谷歌母公司Alphabet二季度净利润同比增长15%,整体、Yo...
北京时间7月26日早间消息,Alphabet今天发布了该公司截至6月30日的... -
电小二推出光充户外电源300Plus:288Wh电池、300W快...
,电小二今日推出新款光充户外电源300Plus,目前已上架电商平台,售价17... -
销量下滑不断广汽丰田裁员降本...
7月25日,有消息称,广汽丰田在一份声明中表示,鉴于近期生产水平,提前终止约... -
上半年中国汽车出口增超75%,新能源车打开窗口期...
继成为汽车产销量全球第一后,中国正在向汽车出口第一大国迈进。 从2002年... -
把工厂建到欧洲?中国车企的海外“本土化”挑战...
中国车企走向世界,并非一帆风顺,“本土化”成为了车企躲避暗礁的重要手段。 ... -
无需候选名单,macOS和iOS版本Arc浏览器1.0开放下载...
,TheBrowserCompany近日宣布经过2年多的测试,旗下的Arc浏... -
分析师:英伟达有望再涨两成,2027年其AI相关收入或达3000...
,今年以来,芯片制造商英伟达的股价因为人工智能的热潮而翻了一番。而且,其还有... -
铭凡预热新款6LITX主机:显卡无损直连、SFX电源供电,PCI...
,铭凡预热新款ITX主机,该主机内置主板曾在2023台北电脑展上展出,该主机... -
勒布朗?詹姆斯展示索尼定制款PS5主机及手柄,7月27日限量发售...
,索尼PlayStation游戏机上个月宣布将与勒布朗?詹姆斯联名,推出限量... -
丰田旗下日野汽车明年将在美国推出重型电动卡车...
,日野汽车是一家位于日本东京的柴油货车、巴士和其它车辆的制造商,在日本的中重...