字节开源大型语言模型 Seed-OSS-36B_知识

字节开源大型语言模型 Seed-OSS-36B

创始人

2025-08-21 12:44:28

0次

钛媒体App 8月21日消息，字节跳动旗下的 Seed 团队在 AI 代码分享平台 Hugging Face 上发布了最新的开源大型语言模型 Seed-OSS-36B。Seed-OSS-36B 的架构结合了多种常见的设计选择，包括因果语言建模、分组查询注意力（Grouped Query Attention）、SwiGLU 激活函数、RMSNorm 和 RoPE 位置编码。每个模型包含 360 亿参数，分布在 64 层网络中，并支持 15.5 万词表。这一新模型最大上下文长度可达 512k tokens，能够在不损失性能的情况下处理超长文档和推理链。（广角观察）

字节语言 SwiGLU Seed-OSS- Hugging 模型 tokens 消息 Grouped RMSNorm 字节跳动 Seed 亿参数

上一篇：成都通报“50升油箱被加了67.96升汽油”：加油枪停用，正全面调查中

下一篇：淘宝正在灰度测试“AI万能搜”新功能，AI能在4大方面提高买家购物体验

字节开源大型语言模型 Seed-OSS-36B

相关内容

热门资讯