它的参数不算最大，总参数量 142B，激活参数 14B，是一款中等规模的 MoE（Mixture of Experts）模型，不过它仍在较小激活量下展现出了良好性能。
具体来说，在激活 14B 参数的情况下，t 模型在中英文通用场景、数学、代码、对齐任务上的表现亮眼，与 Qwen2.5-32B-Instruct、Qwen2.5-72B-Instruct 相比具备较强的竞争力。同时与 Qwen3-32B 相比，在中英文、数学、对齐任务上表现接近。
自 2023 年起，小红书就开始投入基础模型研发，本次开源正是其主动与技术社区展开对话的重要一步。
模型好不好用，还得看多维度的任务实测表现。接下来，我们就把小红书的 dots 模型拉上「考场」，围绕问答、写作、编码等方面展开一场全方位的测评。
先来考考它的中文理解能力：大舅去二舅家找三舅说四舅被五舅骗去六舅家偷七舅放在八舅柜子里九舅借给十舅发给十一舅工资的 1000 元，请问谁才是小偷？
这道题目像绕口令一样七拐八绕，但 dots 并没有被迷惑，它通过逐步拆解、分析句子结构找出「偷」这个动作的执行者，最终给出正确答案。
弱智吧以幽默荒诞的段子而著称，自大模型爆火以来，「弱智吧」就成了检测大模型理解能力的标准之一。
比如这道经典问题：班房又叫牢房，为什么上班不叫坐牢？dots 先从语言的历史演变、二者的区别给出正儿八经的回答，然后玩起了梗，甚至还附上表情包。
再来看看 dots 的文本写作能力。它以「老子今天要上班了」写了一首藏头诗，还挺有「活人味」，用一组清晨图景，把「打工人」的疲惫感刻画得相当接地气。
此外，它的编码能力也还不错，我们让它创建一个响应式的城市天气卡片组件，使用 HTML、CSS 和 JavaScript 实现。领到任务后，dots 二话不说就输出代码。
不得不说，它制作的动态卡片配色蛮舒服，并集齐了城市、日期、天气、温度、湿度以及风速等各种要素，点击右下角的按钮还能丝滑切换城市。
作为小红书 hi lab 首次开源的 MoE 模型，dots.llm1 并不一味追求「大力出奇迹」，而是在训练资源受限的前提下，通过更干净更优质的数据、更高效的训练方式来实现「以小搏大」的效果。
在大模型训练中，数据的质量是决定模型上限的关键因素之一。dots.llm1 使用了 11.2T 高质量 token 数据进行预训练，而这些数据主要来源于 Common Crawl 和自有 Spider 抓取到的 web 数据。与很多开源模型直接使用粗粒度数据不同，hi lab 团队在数据处理上非常「较真」，拒绝低质或虚构内容，通过三道「工序」把控数据质量：
首先是 web 文档准备，把 web HTML 数据用 URL 过滤方式删除黄赌毒等内容，再利用团队优化后的 trafilatura 软件包提取 HTML 正文内容，最后进行语种过滤和 MD5 去重得到 web document。
接着是规则处理，参考 RefinedWeb 和 Gopher 的方案进行数据清洗和过滤操作，引入 MinHash 和行级别去重策略，有效过滤广告、导航栏等噪声文本。
最后是模型处理，通过多个模型协同判断数据的网页类型、质量、语义重复性及结构均衡性，在确保文本安全、准确的同时提高知识类内容的占比。
经过上述处理流程，hi lab 团队得到一份高质量的预训练数据，并经过人工校验和实验验证该数据质量显著优于开源 TxT360 数据。
值得注意的是，dots.llm1 未使用合成语料，这也从侧面表明即便不依赖大规模数据合成，也可训练出足够强大的文本模型。但该团队也表示，数据合成作为提升数据多样性和模型能力的手段，仍是未来值得探索的重要方向。
在 MoE 模型的训练过程中，EP rank 之间的 A2A 通信在端到端时间中占据了相当大比重，严重影响了训练效率，特别是对于 Fine-grained MoE Model，EP Size 会比较大，跨机通信基本无法避免。
为了解决这一挑战，hi lab 与 NVIDIA 中国团队合作，提出了一套颇具工程创新意义的解决方案：interleaved 1F1B with A2A overlap。该方案的核心就是让 EP A2A 通信尽可能和计算 overlap，用计算来掩盖通信的时间，进而提升训练效率。
在训练策略方面，该模型采用了 WSD 学习率调度方式，整个训练过程主要分为稳定训练和退火优化两个阶段。
在稳定训练阶段，模型保持 3e-4 的学习率，使用 10T token 语料进行训练。为了提升训练效率，在这个阶段先后两次增加 batch size，从 64M 逐步增大至 128M，整个训练过程非常稳定，没有出现需要回滚的 loss spike。
在完成高质量的预训练之后，dots.llm1 通过两阶段的监督微调进一步打磨模型的理解力与执行力。
hi lab 团队精心筛选了约 40 万条高质量指令数据，涵盖多轮对话、知识问答、复杂指令遵循、数学推理与代码生成等五大核心场景。
多轮对话方面：团队将社区开源的中英对话数据与内部标注的高质量中文指令融合，并借助教师模型优化低质量回答，从而提升整体对话的连贯性和准确性；知识问答模块：引入了包含事实性知识与阅读理解的数据集，让模型能够更好地理解和回答各类知识性问题；复杂指令遵循环节：团队特别设计了伴随条件约束的指令数据，并过滤不遵循约束的回复；数学与代码领域：微调数据则经过验证器验证，确保获得最高质量的监督信号。
第一阶段是对全量数据进行两轮基础训练，过程中引入了过采样、动态学习率调整、多轮对话拼接等技术，初步释放模型潜力；第二阶段则专注于「重点突破」。在数学与代码等对推理能力要求更高的任务上，团队采用了拒绝采样微调（RFT）策略，结合验证器筛选高置信度重要样本，进一步提升模型的推理性能。
最终评测结果也令人眼前一亮：即便仅激活了 14B 参数，dots.llm1.inst 在中英文理解、数学、代码生成、对齐等任务中依然表现出色，具备与 Qwen2.5-32B-Instruct、甚至 Qwen2.5-72B-Instruct 一较高下的实力。在对比更先进的 Qwen3-32B 时，dots.llm1.inst 也在多个任务上展现出相似甚至更强的性能。
在 HuggingFace 的热门开源模型榜单上，中国模型的身影已占据半壁江山，开源正逐渐成为中国大模型团队的集体共识。
此次 dots.llm1 的开源，不仅是小红书 hi lab 团队的一次技术成果展示，也是一种路线选择的「表态」—— 相比于闭门修炼，他们更愿意走入江湖与高手交流。在开发者眼中，这意味着又多了一个值得信赖的模型基座；而对 hi lab 而言，来自社区的微调成果也将反哺基模，为模型注入更多可能性。
06月01日，中短途客流增加 “五一”假期客流量持续保持高位运行，鸿博体育最新版APP，沙巴app链接，亚娱体育下载，ManBetx赌场网站
06月01日，2024年医保目录现场谈判竞价正式开始 162个药品有望纳入医保，真钱网络平台，升博官网，m8体育app2019专业平台，彩票官方app下载
06月01日，中国工信部向沐美星空颁发空间无线电业务许可，银河娱乐的网站是多少，e世博客户端下载，香港金沙赌玚网站，盈球足球app下载
06月01日第四届中国女子围棋名人战开幕开元棋牌平台首页新版赢钱炸金花bt体育平台注册鸿运国际手机版登录网址
06月01日【这个城市有点潮】福建武夷山：一叶“大红袍” 茗香漫青山AG网站188bet开户网址手机即时比分网皇冠体育线日盲人门球在中国：光芒汇聚于此欧宝在线买球宝马会开户网址澳门首家线上网址优博体育官方……
06月01日，二月二“龙抬头” 杭州民间龙舟队开桨，十年信举亚洲首选主页，手机皇冠app下载，开元棋盘游戏中心app，明升体育网站是多少
06月01日，明中都宫殿院落与水系遗存考古获重要进展，九卅娱乐十年信誉玩家软件，现金网注册送钱28，米乐m6平台官方版，欧预赛小组赛直播
06月01日彩调剧《刘三姐》入选文旅部复排计划名录万利游戏棋牌游戏下载升博电子网投188宝金博体育永利体育手机版
06月01日，广西南宁：云雾缭绕如仙境，博狗注册送18，大发体育官网是多少，168体育网，网上买球的正规app
06月01日，如何预防呼吸道疾病？感染呼吸道疾病后，应该如何用药？……权威解答来啦！，星力捕鱼正版，best365官方下载，新澳门金沙官方网址网址，下载就送66元的游戏
06月01日，南方地区将有阴雨天气 新疆中北部有雨雪天气，最大体育平台网站，九州网址登录，开户送88元，澳门棋牌游戏网
06月01日从“捡塑”到“减塑” 循环经济激发绿色动能火狐体育官方网站首页亚洲游戏ag九洲体育手机官网乐博体育官方
06月01日浙江山区“清凉”资源激活夏日“热门”经济老葡京下载注册bsd体育银河游戏登陆e星体育全站app
06月01日广西苗寨举办百年历史闹鱼节享清凉中新人物丨谢瑜：24发从大山射出的子弹e星体育官网地址爱博竞彩官网乐博电竞九游会J9官网
17岁的她想证明女生也能学好数学，爷爷过年回家让孙子们用奖状换钱“羌年”被列入人类非物质文化遗产代表作名录棋牌大网址亚虎娱乐国际登录九州体育官网app澳门游戏厅
十个勤天推荐的家乡特产全是吃的，老家伙11月上旬流通领域重要生产资料市场价格：19种产品价格上涨天博app克罗地亚云顶国际注册盘古娱乐国际真人娱乐澳门威斯尼斯人wns8336app
爱填满空白 第二季，女孩第一次买刮刮乐就中了100万贵州铜仁追“新”逐“绿”正当时永利体育在线检测路线乐动体育官网app分分彩官方网址
在一声声猴哥哥中无法自拔，重组家庭广西推动高水平共建西部陆海新通道 扩大开放水平胜博发登陆天博官网app下载安装韦德体育在线买球威尼斯人大官网
比特币超白银 成全球市值第八大资产，樊振东4比3林诗栋促进中法人文“双向奔赴”，互联网如何架桥铺路？芭莎体育亚娱线官网欧博平台首页
一考一个不吱声，王多多预测WBG进决赛海内外300余家种业机构携优良品种亮相2024青岛种业博览会pg免费游戏试玩网页版三亚扎金花星际线上注册天博棋牌
为什么农村大席不会吃坏肚子，55岁农妇杀害3岁男孩一审被判死刑中国发布基于嫦娥工程的全球首套高精度月球地质图集鹿鼎注册登录华体会娱乐体育首页日博体育官网注册9q体育ios下载