习近平主

这是一个480B参数激活35B参数的MoE模型，原生支持256Ktoken的上下文并可通过YaRN扩展到1Mtoken，拥有卓越的代

• Moonshine St. 14/05 Light, Japan
• +00 (123) 111 11 11
• test@test.com