
148: 访谈它石创始人陈亦伦:具身的三道曙光和第一道关卡
1/16/2026 | 1h 25 mins.
「华为前自动驾驶首席科学家投身具身创业。」 本期嘉宾是它石智航创始人陈亦伦,他曾担任大疆创新机器视觉总工程师和华为自动驾驶部门首席科学家。 2021 年,智能辅助驾驶的爆发前夕,陈亦伦在华为带团队开始采集大量真实的驾驶数据,用深度学习替代过去自动驾驶的规则方法,3 万行代码做了过去 200 万行代码的事,这是业界第一批探索端到端智能驾驶的尝试。 陈亦伦说,那一刻,他觉得自己找到了自动驾驶的钥匙,而他还想用这把钥匙去探索一个年少时种下的更大梦想:通用智能机器人,也就是具身智能。 在回到母校清华,于 AIR(智能产业研究院)担任智能机器人方向首席专家 2 年后,2025 年初,陈亦伦和百度原资深副总裁、百度智能驾驶事业群负责人李震宇一起创立它石智航,在最初 2 轮融资中,筹集了超过 2.4 亿美元。创下中国具身智能领域的首轮融资记录。 这期节目,陈亦伦讲述了他从自动驾驶到具身智能的多年技术探索和研发实践,他看到的具身智能的 3 道曙光和 3 道关卡,以及怎么先越过其中的第一道:数据。 本期嘉宾:陈亦伦,它石智航创始人兼 CEO 本期主播:程曼祺,晚点 LatePost 科技报道负责人 时间线: -从华为、清华到创立它石,看到具身的三道曙光 02:35 用神经网络做自驾规控(PnC),3 万行替代 200 万行代码 11:13 三道曙光:强化学习提升运控(locomotion)能力;LLM 处理任务规划;端到端解决极端案例 17:13 端到端、VLA、世界模型,联系与区别 20:40 三道关卡:数据、算法、后训练 24:43 具身还在第一道关卡,数据;最后能经受大量数据的算法结构会很简单;GPT 最伟大的是定义了训练任务是预测下一个 token,而非架构本身 30:16 定义具身模型的训练任务:建立空间概念、跟世界交互 -数据解法:真实数据而非仿真和视频数据,手套采集而非遥操 40:54 具身需要真实数据,不看好仿真和视频数据 49:42 真实数据只有两个源头,世界与人;真实意味着场景真实、动作真实;为可穿戴设备是唯一解 55:08 手套+第一视角摄像头采集数据的具体实现 59:11 具身充满了硬件场景、本体、数据算法间的交替组合和协同优化,中国有供应链和场景优势 01:05:08 没有选择 VLA,具身会有自己的模型,而不是简单在 LLM 上发展 具身已经到了 Scaling 的临界点 01:13:23 看数据增长趋势,具身已经到了 Scaling 的临界点 01:18:04 它石的落地场景之一是处理柔性材料的线束装配 01:21:15 能自己定义目标的具身公司就是靠谱的;成为别人,不是好的选择 01:22:38 连点成线:往期分享 往期具身智能访谈: 晚点聊 112 期:与千寻高阳聊具身:一个像机器人的人,怎么做像人的机器人 (https://www.xiaoyuzhoufm.com/episode/68109c65d44eb392638f3eba?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 96 期:和楼天城聊 Robotaxi:学习人类优秀司机,让我绝望 (https://www.xiaoyuzhoufm.com/episode/676c92ed4e2405e3fde38272?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 86 期:We, Robot-2,清华叉院/星海图许华哲看“Optimus”的门道 (https://www.xiaoyuzhoufm.com/episode/671eaa8fd6db5bf9593a1e6f?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 65 期:信仰充值的威力:与逐际动力谌骅聊聊 GTC 和人形机器人新进展 (https://www.xiaoyuzhoufm.com/episode/68a6546b7357a4b631fe8cd3) 剪辑制作:甜食 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章: https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

147: 访谈OiiOii闹闹:“先抖音后剪映” 不再成立,AI 时代的创作工具和内容社区
1/06/2026 | 1h 41 mins.
「Agent 的工具可以以终为始。」 今天这期节目,是晚点的作者祝颖丽对 OiiOii 创始人闹闹的访谈。本次访谈的文字版今天也会发布在《晚点科技》公众号上。 OiiOii 是一款动画创作 Agent。刚刚在 25 年 11 月开启内测。闹闹自己是一名动画爱好者,2014年,在微信工作 3 年后,她辞职学了半年动画。但当时她发现,做动画太难了,行业环境也很糟。 时隔10年,在自己创过业,去字节做过剪映,在大模型公司阶跃星辰做过二次元社区产品“狸谱”之后,她找到了用 AI 延续动画梦想的方法。 这期,闹闹分享了她和团队是如何构思和做出 OiiOii 的,以及她过去的创业和大厂经历。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20260106/JhBR/1702X1232/%E6%88%AA%E5%B1%8F2026-01-06_19.31.44.png/webp 图:OiiOii 官网页面。地址:https://www.oiioii.ai/home) 本期嘉宾:闹闹,OiiOii 创始人 本期主播:祝颖丽,《晚点 LatePost》 作者 时间线跳转: 05:06 先做好工具,再去做内容的社区:因为大家不再能忍受内容的单调了 11:40 市场现状:现在动画的产能和消费非常不对等 16:46 OiiOii为什么是这个形态? 31:04 如果做AI漫剧,商业模式、审美都不一样 41:30 怎么利用和理解不同的模型 51:50 现在的团队分工 53:50 第一次创业做极限运动社区,发现其实喜欢做内容 01:06:17 第一次创业留下的最宝贵的东西:抗体 01:18:15 在字节:对剪映和抖音特效最大贡献是… 01:27:17 去了B站:看到产能被憋着了 01:28:45 OiiOii 后面大致的节奏:填充垂类内容,去海外,做内容社区 往期「AI 应用/AI Agent」创始人访谈: 晚点聊 136:Sora新世界 & Lovart 4个月复盘 | 与陈冕聊怎么做垂类 (https://www.xiaoyuzhoufm.com/episode/68e82298b97d3bce02b4f815?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 125:用AI复刻一个「我」,与心识宇宙陶芳波聊身份模型 (https://www.xiaoyuzhoufm.com/episode/687437ef3246f7333b55747a?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 晚点聊 111:Pokee.ai 朱哲清的 Agent 造法:强化学习作后端,语言模型作前端 (https://www.xiaoyuzhoufm.com/episode/680818eb79d324fdd40c2b5e?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 《晚点对话明超平:他们不信 AI coding 会是新的创作方式,我很开心》 (https://mp.weixin.qq.com/s/CTzqphisNyyj11DVglZO3A) 剪辑制作:Nick ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章: https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

146: Gemini 3翻盘背后、Agent需要什么大模型、RL创业机会,与前 Google 创业者、硅谷投资人聊湾区动向
12/26/2025 | 1h 40 mins.
「一线开发者看到的前排变化。」 本期是 137 期 Agentic 工具链节目的嘉宾返场,Henry 和 Naomi,他们近期刚刚和普林斯顿 AI 加速创新中心联席主任,王梦迪教授,一起成立了一家新的早期 VC,MoE capital。 这次一起的也有两位之前在 Google DeepMind 和 谷歌云 Vertex AI 平台工作 7 年,刚刚创业,成立 Agent 工具层公司 Precur 的戴涵俊和 Bethany。 我请他们分享了,岁末年初,在硅谷观察到的 AI 水温,OpenAI、Google 等一系列新模型进展背后的故事,和围绕当今 Agent 与 RL 生态的创业机会。 这是我们本年关于 Agent 的第 8 期节目。 本期嘉宾: Bethany Wang,Precur 联创 戴涵俊,Precur 联创 Henry Yin,MoE Capital 创始合伙人 Naomi Xia,MoE Capital 创始合伙人 本期主播: 程曼祺,晚点 LatePost 科技报道负责人 时间线: -基础模型竞争和幕后故事:Google 在旧金山开 Gemini 3 Party 的同一天,OpenAI 发布 GPT-5.2 06:11 AI 进入实用工作:OpenAI 的 GDPval,Databricks 也发布了 Office QA 14:25 GDPval 在主流知识工作上表现优秀,但基础模型处理长尾问题的 gap 始终存在 19:09 Gemini 3 后,OpenAI、Anthropic、Google、各自的进展 22:15 NotebookLM 和 Nano Banana 策源地——Google Labs,不仅招工程师,也有主编、作家、创作者 24:54 DeemMind 研究员 Orio:Gemini 3 的秘密?预训练还有很多空间;TPU 对 Google 训练的加持 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251226/CtEk/1178X828/%E4%B8%8B%E8%BD%BD.png/webp 26:34 Google 的 3 层协同优化:从 TPU 到 Infra 到模型;模型和应用;数据和硬件 surface(终端) 30:18 Google TPU 已经更多对外,这对英伟达 GPU 优势的影响 38:02 回顾组织变化:DeepMind 和 Google Brain 的合并与磨合 -大厂竞争中,新公司的成长:围绕 RL 与 Agent 的创业机会 43:31 垂类的机会:弥补基础模型到具体问题的差距;水平的机会:调度层、数据层、工具层都有新公司涌现 50:17 技术新趋势——自我演化:RL、用 RAG 加长记忆有人尝试,但远不是成熟方案 53:32「可训练的工具层」背后的技术变化:code 驱动工具,如 Anthropic 的 PTC(Programmatic Tool Calling) 59:44 RL 创业方向:RL 环境,RL as a Service,RL 应用 01:08:47 Agent 开发者挑选模型的前置条件:用什么云(比如 Azure 客户用不了 Gemini),再看云厂商折扣 01:12:20 Anthropic 的 Claude Code 已成为 Agent 核心,刚发布的 Promatic to Call 探索新开发范式 01:17:13 开源模型使用体验:Qwen 很棒;驶往 NeurIPS 的飞机上,1/3 人在看 DeepSeek-V3.2 技术报告 01:22:04 选择模型时,关注什么 benchmark & 为什么? 01:29:34 模型优化方向预测:加入大量 agent trace 的开源模型,更强的多模态,长程任务优化 01:38:58 连点成线:往期节目推荐 《晚点聊》今年关于 Agent 的更多节目: 晚点聊 106 期:与真格戴雨森长聊 Agent:各行业都会遭遇“李世石时刻”,Attention is not all you need (https://www.xiaoyuzhoufm.com/episode/67cdb53f7ccfd410926b0c66) 晚点聊 110 期:《与明势夏令聊Agent竞争:通用入口之战就要来,创业要做垂、做专》 (https://www.xiaoyuzhoufm.com/episode/67fd8cafcc06f8ff48a73642) 晚点聊 111 期:Pokee.ai 朱哲清的 Agent 造法:强化学习作后端,语言模型作前端 (https://www.xiaoyuzhoufm.com/episode/680818eb79d324fdd40c2b5e) 晚点聊 130 期:手机Agent大幕拉开!从刚上线的AutoGLM 2.0聊起,大模型如何改造手机 (https://www.xiaoyuzhoufm.com/episode/68a6546b7357a4b631fe8cd3) 晚点聊 136 期:Sora新世界 & Lovart 4个月复盘 | 与陈冕聊怎么做垂类Agent| (https://www.xiaoyuzhoufm.com/episode/68e82298b97d3bce02b4f815) 晚点聊 137 期:Agent 是机会,造 Agent 的工具也是|从OpenAI开发者日聊起 (https://www.xiaoyuzhoufm.com/episode/68f1727052f01d1dd2a00523) 晚点聊 138 期:从你用手机到它更懂你,OPPO的手机AI实践 |与小布负责人万玉龙聊端侧AI (https://www.xiaoyuzhoufm.com/episode/68faad2749540bd15c2ee589) 附录: 本期中提到的一些 benchmark: -GDPVal:OpenAI 今年 10 月发布的、用于评估大模型在复杂推理与决策场景中“价值对齐与结果质量”的验证型 benchmark,强调输出是否符合人类偏好而不只是“做对题”。 -ARC-AGI-2:ARC Prize 今年 3 月发布的、用于测试模型在少样本条件下的抽象、组合推理能力,被视为接近“通用智能门槛”的挑战集。 -OfficeQA:Databricks 今年 12 月发布的、围绕办公场景(文档、表格、邮件、日程等)的 benchmark,用来评估模型在真实工作流中的信息检索、理解与执行能力。 本期中提到的一些产品/服务、公司 -PTC(Programmatic Tool Calling):Anthropic 今年 11 月底发布的一种新的工具调用方法 https://www.anthropic.com/engineering/advanced-tool-use -Tinker:Thinking Machines Lab 今年 10 月发布的首个对外产品 https://thinkingmachines.ai/blog/announcing-tinker/ -Preference Model:一家旧金山初创企业,做强化学习环境 剪辑制作:甜食、Nick 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章: https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

145: 对话极壳孙宽:首个「消费级外骨骼」的诞生
12/17/2025 | 2h 8 mins.
「创业治好了我的死亡焦虑。」 极壳是第一家把外骨骼做成消费级产品的公司。21 年成立以来,他们经历过账上只有20万元人民币的危急时刻,也刚在今年融到了 7000 万美元,出货量达到数万台。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251217/tCS8/2390X794/%E6%88%AA%E5%B1%8F2025-12-17_13.38.57.png/webp 图注:极壳已发布 4 款消费级外骨骼产品。 这只是个开始,远远不意味着成功。孙宽多次告诉我们,消费级外骨骼还在非常早期的阶段;他享受定义一个新品类的乐趣,也深知跨越鸿沟,走出小众市场的挑战。 这是一家起步时没有风口的公司;这是一个父母开手机卖场,从小做各种发明,但没有名校光环的创始人。 孙宽分享了他早年的“折腾”经历,他创立极壳、开发出第一款产品的故事,以及他对未来的更多想象。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251217/Uwyx/1279X1706/WechatIMG60.jpg/webp 图注:孙宽是一个户外爱好者;极壳的主要目标用户是户外人群,外骨骼可以帮助他们增强运动能力。 本期嘉宾:孙宽,极壳创始人 & CEO 本期主播: 程曼祺,《晚点 LatePost》科技报道负责人 李梓楠,《晚点 LatePost》科技报道作者 时间线跳转: -水滴字幕、光固化 3D 打印机、3 年轮岗、内部创业 03:05《攻壳机动队》、90 后的科学幻想、技术是魔法 13:25 第一份工作:从轮岗 3 年到模块化 PC 的内部创业 18:27 一次误诊后回到初心:做一件做着做着挂了的事也不会后悔 -从 1 人公司,到第一款消费级外骨骼 26:51 1 人公司手搓原型,一度账上只有 20 万元人民币 40:06 做“真有用”的消费级外骨骼:拉高核心正面效果,尽量降低负面影像 49:41 推倒第一代方案,用户体验比新架构重要 01:04:27 正式交付 Hpershell X,有人日行 7 万步,有人重返户外 -效率的迭代:从 40 个月到 5 个月 01:09:11 从成立到第一款产品,40 个月;第二代产品,5 个月 01:05:08 从 1 人公司,到 4 位联创和 200+团队 01:25:47 对拓竹组织的观察:好的人,希望身边都是好的人 -跨越鸿沟 01:32:52 品类跨越鸿沟:营造向往、价格、自研、形态拓展 01:49:47 组织跑得更快 -创业之后更踏实了,“活对了的感觉” 01:56:22 创业治好了我的“死亡恐惧”。 01:59:53 广义的外骨骼,最终是让我们的身体可编程。 02:05:40 连点成线:后记 & 往期节目推荐 往期「消费科技」创始人访谈: 晚点聊 120 期:科创板后再访Insta360刘靖康:这何尝不是一种极限运动! (https://www.xiaoyuzhoufm.com/episode/684b3febcdecf72d4cb70f82) 晚点聊 141 期:大疆激光雷达前负责人做了台“电动轮椅”?与 Strutt 洪小平聊创业两年半:不做人形也能通向具身 (https://www.xiaoyuzhoufm.com/episode/6923997b83aceb424d94f667?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 往期「AI 硬件」创始人访谈: 晚点聊 107 期:与Haivivi李勇聊月入千万的AI Jellycat:小众AI硬件×大众消费品的交叉口创业 (https://www.xiaoyuzhoufm.com/episode/67d2a7cb52a6af799c23479a) 晚点聊 118 期:天生卷王郭人杰:从 97 年的扫地机器人总裁到创业做家庭通用机器人 (https://www.xiaoyuzhoufm.com/episode/68379234661c1af455c9e42c) 晚点聊 122 期:10分钟朱啸虎投资,泡泡玛特、米哈游都在试;Fuzozo孙兆治聊AI潮玩 (https://www.xiaoyuzhoufm.com/episode/67d2a7cb52a6af799c23479a?s=eyJ1IjogIjY1ZGRjOWUyZWRjZTY3MTA0YWUxMWU0YiJ9) 剪辑制作:甜食 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章: https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png

144: 从「大而强」到「小而强」,密度法则、RL 的 Scaling Law 和智能的分布式未来
12/11/2025 | 1h 41 mins.
本期嘉宾,是清华大学的刘知远和肖朝军,他们刚在 11 月的《自然》杂志《机器学习》子刊上发表了封面文章:Densing Law of LLMS,大模型的密度法则。所谓“密度”,就是用更少的算力和数据获得相当乃至更多的智能。 刘知远是清华计算机系副教授和面壁智能首席科学家,肖朝军现在在清华做博士后,也是面壁 MiniCPM 系列的文本模型负责人。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251211/ajP0/1280X699/da0e6f3b-bcb7-44e0-8f3f-48e0e5d66648.png/webp 图注:此图描述了 2023 年 4 月之后,主要开源模型的能力密度的变化。能力密度是衡量单位参数/算力下,模型能力的指标。目前版本的密度法则总结了预训练大语言模型的密度变化,o1、R1 等后训练强化学习对能力密度的提升尚未体现在指标里。 我们讨论了密度法则研究的源起,也展开聊了业界提升模型能力密度的具体做法:如何从架构、数据治理、算法和软硬协同优化 4 个环节着手提升模型能力密度。 而再往后,更大的密度提升,可能需要一些全新方法,因为强化学习的 Scaling Law 还未清晰展现,未来可能有两种技术路线:一是继续扩大强化学习的规模,观察其中是否涌现更多泛化能力;二是寻找新的学习方式。 在刘知远的设想中,未来,更高密度的模型,会支持每个人在端侧的专属模型,智能会分布式存在:也许手机都不是最终的入口,而是一个可以随身携带的个人计算设备:“就像一个可以随身携带的 NAS”。 https://pic4.fukit.cn/autoupload/n-L6s5C_cu5ZZHPwIYlQzY12_FRYNb81z6UPhMWD8iI/20251211/J3ZV/1080X679/31971587-39a6-4c14-a140-c117c88bcd67.png/webp 图注:达到 GPT-4V 水平的模型参数规模随时间增长迅速缩减,而端侧算力快速增强,当芯片电路密度(摩尔定律)和模型能力密度(密度法则)两条曲线交汇,端侧设备将能运行以往只能在云端运行的大模型。 性能一直是人们更关注的模型演进的脉络,而这期我们会讨论,在另一条主线“效率”上,我们可以做出什么努力。 本期嘉宾: 刘知远,清华大学计算机系副教授、面壁智能首席科学家 肖朝军,清华大学计算机系博士后、面壁智能 MiniCPM 系列文本模型负责人 本期主播:程曼祺,《晚点 LatePost》科技报道负责人 时间线跳转: -大模型时代的“摩尔定律” 02:09 Gemini 3 和 Nano Banana Pro 的启发:统一的“自回归式视觉+语言生成”即将突破 04:31 大模型演进的两条主线:能力和效率 10:23 和摩尔定律一样,“密度法则”是行业现实,也是“自我实现” 18:43 每 3.5 个月,大模型的能力密度翻一番 21:01 2023 年下半年的抉择:花几千万再训一个更大的模型,然后呢? -提升密度的四个环节 27:08 架构、数据、算法、软硬协同优化 30:41 (1) 架构:MoE (混合专家系统) + 注意力机制改进 34:28 (2) 数据治理:Ultra-FinWeb 用 1/10 数据量达到更好效果 40:24 (3) 算法:RL 还没有 Scaling Law,接下来可能有两条路 49:21 (4) 软硬协同优化 52:02 InfLLM-V2 的核心更新:把稀疏注意力做到预训练阶段 55:18 注意力改进趋势:长文本不仅是长输入,更多关注“长输出” -大模型上车、上手机 58:53 5 年内,手机可跑 GPT-4~5 级别的模型 01:06:23 大模型在汽车上已开始量产落地 01:10:34 “别人得到的,不一定是你失去的”,AGI 既会发生在云端,也会发生在终端 01:15:07 未来入口也许不是手机,而是属于每个人的移动计算终端 -AGI 下一步:自主学习 + 分布式的智能 01:17:40 自主学习→AI 协作网络→真正的创新 01:21:04 2023 年初,有巨头说世界上只会拥有几个大模型,就像 1943 年,IBM 董事长曾说全球不需要超过 5 台主机 01:24:46 AI 助手帮成为更好的工作者 01:28:53 不担心生产过剩,未知领域还太多 01:31:39 机器制造机器,AI 制造 AI 01:40:01 ☆连点成线 相关链接: 晚点聊 143 期:《再聊 Attention:阿里、Kimi 都在用的 DeltaNet 和线性注意力新改进》 (https://www.xiaoyuzhoufm.com/episode/692cd86fe4244f7e3d3ad135) 晚点聊 103 期:《用Attention串起大模型优化史,详解DeepSeek、Kimi最新注意力机制改进》 (https://www.xiaoyuzhoufm.com/episode/67bf356952a6af799c558399?s=eyJ1IjogIjYwZDg0ZWU1ZTBmNWU3MjNiYjc3YjhmMCJ9) 剪辑制作:Nick 附录,本期提到的一些论文(更多具体名词解释,见本期文字版): Densing law of LLMss (https://www.nature.com/articles/s42256-025-01137-0)(《大模型的密度法则》) Efficient GPT-4V level multimodal large language model for deployment on edge devices (https://www.nature.com/articles/s41467-025-61040-5)(本期中提到的,具身行业喜欢引用的图的原始论文。) InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation (https://arxiv.org/abs/2509.24663)(InfLLM 稀疏注意力改进的第二版。) 本期主播: 小红书@曼祺_火柴Q (https://www.xiaohongshu.com/user/profile/5dfa9e92000000000100626f?xsec_token=YBSKzbnOGWpnyJ5fxw_yafTdnAUIDw-EfCtqmFTkCIM2o=&xsec_source=app_share&xhsshare=CopyLink&appuid=5dfa9e92000000000100626f&apptime=1736682459&share_id=331aecb9ca7941f498d81fb9c32ea810)即刻@曼祺_火柴Q (https://okjk.co/FBoH1Q) https://cdn.z.wiki/autoupload/20250129/p96l/1428X298/%E6%92%AD%E5%AE%A2-%E7%BB%93%E5%B0%BE%E4%BD%9C%E8%80%85%E7%AD%BE%E5%90%8D.png ☆《晚点聊 LateTalk》建立「 播客听友群」啦!☆ 欢迎关注科技、商业大公司动态和创业创新的小伙伴进群交流,第一时间收听新节目。 这里有更多互动,更多话题讨论。欢迎贡献选题 & 推荐嘉宾。 请先添加「晚点」小助手的微信号,备注:“晚点聊”,我们邀请您入群。 https://tc.z.wiki/autoupload/f/vF9vElnh05iCqwr0xfm9iL4wP3sHaC7Y1psXYbgMe5eyl5f0KlZfm6UsKj-HyTuv/20250730/YNjr/907X339/WechatIMG1646.jpg 关注公众号《晚点 LatePost》和《晚点对话》,阅读更多商业、科技文章: https://hv.z.wiki/autoupload/20250129/DqTi/1452X514/%E6%92%AD%E5%AE%A2%E7%BB%93%E5%B0%BE%E6%88%AA%E5%9B%BE.png



晚点聊 LateTalk