「稀疏MoE」相关快讯

阶跃星辰 Step 5 Preview 开源完整权重：6000 亿参数只激活 270 亿，100 万 token 上下文

10 月 15 日上午 11 点，阶跃星辰把旗舰基座模型 Step 5 Preview 的完整权重挂上了 Hugging Face 和 ModelScope。6000 亿总参数、每个 token 只激活 270 亿、100 万 token 上下文窗口，三个数字...