2026 年，机器东谈主正在准备走进家庭，和东谈主类同处一个屋檐下。

但在这背后，一个难以忽略的现实是：现时险些系数具身智能模子的考验中，“东谈主”是缺席的。

模子照旧学会了抓打水杯、折叠衣物、实施一条条提醒，却险些无法理解坐在沙发上的东谈主此刻是窘况照旧狂躁。然则对于东谈主类来说，惟恐递过一杯水的时机与格局，可能比“递水”这个动作自己更伏击。

这个问题招引了两位学者：冯瑶和刘淼的防备。在他们看来，具身智能要信得过落地生存场景，必须把对“东谈主”的理解加入模子。对物体的操作才能和对东谈主的理解需要同步鞭策，而非先后分离。

冯瑶面前是斯坦福大学的博士后，来岁行将入职清华东谈主工智能学院任教。她在博士阶段师从筹备机视觉领域的伏击学者 Michael J. Black，在德国马普所专注"东谈主"的数字化建模，用算法重建东谈主体的三维形态、动作与姿态，让机器理解东谈主类体魄如安在空间中迁徙、交互。到斯坦福后转入机器东谈主标的，试图把对东谈主的理解带进物理宇宙。

而刚从国际归国的刘淼，面前担任清华大学东谈主工智能学院的助理说明。他在已往三年在 Meta GenAI 参与了 Llama 3 与 Llama 4 等多模态大模子的研发，博士期间在乔治亚理工斟酌第一视角视觉与具身感知。

自然两东谈主的斟酌旅途不同，但他们看到了灭亡块缺失：现时的具身智能考验中，"东谈主"并莫得被放在一个伏击的位置。无论是对东谈主体进行三维建模，照旧用第一视角数据考验模子，画面中的"东谈主"往往只是配景而非交互主体。模子学会了识别场景中的一切物体，却读不懂对面阿谁东谈主的情状、意图与需求。

于是他们决定系数创业——打造一种以东谈主为中心（Human-Centric）的全新具身模子范式，让机器东谈主信得过理解“东谈主”的行径、意图、顾虑与偏好，并最终在着实的共处场景中诞生信任。

在这场对话中，咱们的问题长久围绕“东谈主”张开：机器东谈主该如何捕捉需求、推断意图，进而赢得信任？谜底可能藏在尚未成型的数据范式里，可能指向仍在探索的模子架构，也可能依赖一套需要透彻重构的评测体系……

一切还在探索之中。

以下是咱们的对话：

为什么是“东谈主”？从大模子到具身智能的转向

DeepTech：两位为什么会采用具身智能这个标的进行斟酌？

刘淼：其实我在博士阶段作念的即是机器东谈主标的，比如基于第一视角视觉（egocentric vision），辘集 learning from demonstration 或 imitation learning，让机器东谈主通过师法学习去完成更接近东谈主类的操作任务。

其时受限于边幅要求，咱们更多只可作念一些偏“纯视觉”的斟酌。自后在 Meta 责任期间，由于斟酌标的相对从上至下（top-down），个东谈主能够采用的空间比较有限，这条旅途依然莫得被系统性鞭策。

但具身智能在我心里其实一直莫得放下。我长久但愿有契机把“让机器东谈主信得过像东谈主一样在物理宇宙中行径”这件事作念好。

冯瑶：我的旅途和刘淼有些不同。我的起点即是“东谈主”，在博士阶段，我在德国主要的责任是作念“东谈主”的建模，比如什么是好的 human representation（东谈主体表征），以及如何从收罗数据中理解东谈主类行径。我也尝试过辘集大模子作念行径理解，但这些大多在“数字宇宙”里完成。

但纯数字环境的问题在于清苦着实的交互感，也很难评估模子是否确切“理解了东谈主”。因为衰败可靠的 benchmark。

自后我去了斯坦福，加入机器东谈主团队，把这些对于“东谈主”的建模放到物理宇宙中考据。我渐渐建壮到：只好当模子既能理解东谈主类行径，又能驱动一个实体在着实宇宙中与东谈主交互时，咱们才信得过有契机判断它是否“作念对了”。

而机器东谈主就像一个自然的测试平台。你让它去行径、去互动，好多问题会坐窝暴清楚来，推动斟酌从“看起来灵验”转向“信得过可用”。

DeepTech：刘淼锤真金不怕火之前在 Meta GenAI 参与过 Llama 3/4 等大模子考验，那是纯正的数字宇宙；但具身智能需要处分复杂的物理宇宙。除了喜爱，这种转换背后是什么原因？

刘淼：费曼有一句很闻明的话：“What I cannot create， I do not understand.”（我无法创造的东西，我就无法信得过理解。）

但在今天这个期间，这句话其实不错被“反过来”看。一个模子即使能够生成文本、图像以致视频，也不料味着它信得过理解了物理宇宙。

什么才算信得过的理解？一个表率是：它能否在物理宇宙中行径，并理解行径带来的后果。包括物理规律、因果联系，以及“动作如何改动环境”。这正是具身智能被防备的原因：只好插足着实宇宙、与环境交互，模子才可能造成访佛东谈主类的“宇宙模子”。

更伏击的是，现实宇宙不单是由物体组成的，它更是一个“有东谈主存在的宇宙”。现时的大模子在“理解东谈主”上很有限。它们能识别动作、衣饰、年事，但很难理解厚谊、意图，以及“心智表面”。

要是把这些模子径直放进着实环境与东谈主类互动，它们很难踏实责任。这个宇宙从来不是空的物理空间，而是充满东谈主的宇宙。忽略这少许，具身智能走不远。这亦然我在 Meta 时渐渐建壮到的局限，是以我归国后，但愿在这些方进取络续探索。

DeepTech：比较海量的第三视角数据，你所斟酌的第一视角数据的不可替代性在那儿？

刘淼：第一视角最中枢的独有性是“具身性”（embodiment）：感知和动作风雅耦合。感知驱动动作、动作改动环境、环境反过来影响下一步的不雅测。这种闭环是第一视角自然具备的，也更合适东谈主类的感知和行径格局。

另外，万古刻的第一视角视频还隐含了东谈主类的贯通层级：它纪录了你的意图（视野主动聚焦在那儿）、探索旅途（如何寻找主义），以及到达主义后如何讹诈环境完成任务。

这对应了机器学习中的“探索与讹诈”的权衡（exploration vs. exploitation）。第一视角数据自然把两者辘集在了系数，对机器东谈主学习卓著有价值。

DeepTech：要是放在一个具体任务中，基于第一视角和第三视角的数据，机器东谈主履行阐述会有什么永别？

刘淼：以厨房场景为例，比如洗菜或切菜。从第三视角看，你能大致判断这个东谈主在作念什么。是站在池塘边或案板前，知谈是洗菜或切菜。

但好多关节细节是捕捉不到的：具体洗到哪个位置、哪只手合手菜、哪只手滚水龙头，或者切菜时的角度、双手配合、切到哪一步。这些细粒度的动作信息，第三视角很难获取。

而第一视角能径直对皆“手—眼—动作”的联系，这对机器东谈主学习可实施的操作计策卓著关节。

DeepTech：冯瑶锤真金不怕火，从 DECA、PIXIE 这么的东谈主体重建责任，到说话模子估计斟酌，再到近一两年的东谈主形机器东谈主限制，这条旅途其实跨度很大。你的斟酌想路是怎么的？

冯瑶：我一直想构建一个信得过的“实体智能体”，它能够像东谈主一样存在和行径。

从这个主义往回看，第一步一定是理解“东谈主自己”。早期的责任，比如 DECA、PIXIE，关注的是如安在数字宇宙中重建东谈主，也即是学习一个灵验的 human representation，以及从大规模互联网数据中索求东谈主的行径模式。

但一个很自然的问题是：学到这些暗示之后，下一步该作念什么？梗概在 2022 年，大模子的出现让我很快建壮到，这类模子在建模和推理才能上是一个卓著关节的粗心。于是咱们开动尝试把大模子和此前的东谈主体暗示辘集起来，让模子不仅能“看到东谈主”，还能在语义层面理解东谈主类行径。

再往前走，就际遇了一个很现实的问题：咱们很难判断模子是否确切理解了东谈主类。即使构建各式数据集和 benchmark，也很难粉饰复杂、多变的着实行径。是以我自后去了斯坦福，插足机器东谈主标的，把模子放到着实的物理系统中，让它和东谈主发生交互。

在这个进程中也发现，传统强化学习（RL）往往更关注任务得手率或精度，但与东谈主交互时，素丽性（compliance）、安全性等成分相同伏击，这些在已往的算法设计中是被低估的。因此，后续的责任也会更多关注这些维度。

DeepTech：要是用一句话界说，你们设想中的 human-centric（以东谈主为中心）的具身基础模子是什么样的？

刘淼：我但愿这个模子能够通过理解宇宙中的“东谈主”，从而获取对宇宙更无缺的贯通。

冯瑶：我会以为是通过理解东谈主、以及东谈主与东谈主之间的交互，让机器东谈主更像“东谈主”。

端到端照旧模块化？以及具身智能的“陷坑”

DeepTech：面前行业里存在端到端（end-to-end）和模块化（modular）的门道之争。两位设计中的具身基础模子，会更接近 VLA 这种端到端模子，照旧会保留清澈的限制规模？

冯瑶：我以为“端到端 vs 模块化”某种进程上是个伪命题。关节在于：在系统的哪一层引入可解释性，哪一层作念语义介入。比如叠衣裳任务，机器东谈主不成只是“看到衣裳就叠”，而是要先理解提醒（“帮我把衣裳叠一下”），找到衣裳，实施。

更关节的是，任务会动态变化。要是叠到一半，你说随即要穿，它就得中止并切换任务。这就要求系统能在中间层插入语义理解与决策。

另外，可解释性也很伏击。要是机器东谈主递水失败了，要知谈是意图理解错了、抓取失败了，照旧递交位置不合。这些都需要分层语义抒发。

是以咱们的想路是：高层保留明确的语义结构和可解释性，底层限制（如抓取）领受更接近端到端的优化格局，兼顾放胆。这有点像东谈主类神经系统。把“牢固的社会贯通”与“快速的本能限制”解耦，幸免用一个广漠收罗同期处分极难和极简便的问题。

刘淼：我以为面前之是以有“端到端 vs 模块化”的盘问，是因为面前任务还比较简便。放到复杂场景（比如既要对话又要同期作念饭），很难用一个救助模子同期输出说话和动作计策。

是以架构的采用，骨子上是由任务需求决定的。要是是高度结构化、重迭性的工业场景，比如“抓—取—放”，作念成端到端系统是有可能的；但在盛开环境中，尤其是触及东谈主机交互的复杂任务，就很难用单一架构粉饰。换句话说，不太可能存在一个救助的框架适用于系数场景，系统结构会跟着任务复杂度和才能规模不休演化。

DeepTech：听起来你们的决策中有好多“语义插入”和动态决策的设计，你们认为结束它最大的发愤在那儿？

冯瑶：这条门道的难点在于它对“东谈主”的理解要求更高。比如语义插入不单是是理解一句话的上层含义，还触及对用户的耐久建模：包括顾虑（memory）、行径模式，以及具体情境。

举个例子：用户说“这件衣裳无谓叠了”，系统需要理解原因。可能是这件衣裳刚穿过，需要放去清洗；也可能是随即要穿，需要径直递给用户。这背后其实是一个复杂的决策进程，需要辘集历史信息、用户风俗以及现时情状。因此，这不仅是一个感知或限制问题，更是一个对于“东谈主类建模”的问题，需要多模态信息交融和耐久顾虑机制的撑持。

从期间角度看，这一整套系统的复杂度是比较高的。 不仅是架构复杂，更是数据壁垒。工业操作数据不错靠东谈主工遥控在工场里大规模刷出来，但‘东谈主机着实交互的信任数据’是无法在实验室里靠遥控献技来的，它必须通过着实用户的耐久平日使用才能自然助长。

刘淼：从行业角度来说，已往好多团队莫得优先作念这件事情，也有现实原因：是期间熟悉度还不够，YABO SPORTS 2026世界杯(中国)官网注册登录另一方面环球大都认为“机器东谈主插足家庭”还比较远处，是以更倾向于先把基础才能，比如抓取和操作，作念好。

但面前咱们判断，这个时刻点正在发生变化。自然信得过插足家庭可能还需要几年，但照旧不再是一个很远处的主义了。在这个阶段，要是仍然只关注“抓取放胆”或“操作精度”，其实是不够的。因为一个机器东谈主要是不成理解东谈主，就很难安全、可靠地和东谈主共处。至少从用户角度来看，很难信任这么一个系统。

是以咱们更多是从“东谈主”的视角启航，把“理解东谈主”算作具身智能插足现实场景的一个前摘要求，而不单是是把任务完成好。

冯瑶：像本年一些 AI agent 居品（比如不错操作电脑的系统），一开动用户其实是不太激昂把个东谈主信拒接给它的。但跟着使用进程，你会先通过对话诞生信任，阐述它确切理解你的需求，然后才渐渐盛开更多权限。读取文献、处分邮件、以致帮你完成复杂任务。

这个进程骨子上是“渐渐诞生信任”。 我认为机器东谈主插足家庭亦然访佛的旅途：它需要先理解东谈主、获取信任，然后再渐渐扩张才能，而不是一开动就承担系数任务。用户也更倾向于不绝使用灭亡个系统，而不是通常更换。因为其中照旧诞生了一种“联系”。

DeepTech：要是从更客不雅的期间方针来看，两位认为量度一个具身模子优劣的根柢表率是什么？比如推理蔓延、操作得手率，照旧泛化才能？

刘淼：这是很关节的问题。我最近一直在反想：评测自己可能成为具身智能最大的“陷坑”之一。

多模态大模子有相对熟悉的评测体系：自动化 benchmark（如 MMLU）加上东谈主工评测。但具身智能统统不同。由于硬件形态不救助，实验平台互异，是以莫得公认的表率化 benchmark。常见的作念法是在着实机器东谈主上作念简便任务（如 zero-shot 抓取），但本钱极高、可复现性很差。

环球常说数据最伏击，但我越来越以为，评测体系的不完善自己，可能是一个很大的瓶颈，以致会误导期间门道。

冯瑶：我卓著答应这少许。是以面前好多斟酌者开动更主动地和工业界辘集，因为当一个系统信得过插足用户场景之后，用户才是最佳的评测者。

不管机器东谈主是什么形态。是作陪型、督察型，照旧家庭助手；是轮式照旧腿式，单臂照旧双臂。这些都不是最中枢的。关节在于：当它被用户履行使用时，用户的反映是什么，他们是否激昂不绝使用。

从这个角度看，着实用户反映可能才是惟一的黄金表率。而系统需要笔据这些反映不休养息自身，无论是模子才能照旧机器东谈主形态。

DeepTech：有莫得一种可能是，面前着实反映还不够多，是以还无法造成救助表率？

刘淼：我以为不单是“数目不够”，而是“数据自己不合”。好多现存数据像“糖水”而不是“牛奶”。来自过于干净、简便的环境（比如桌面抓取），与着实家庭环境差距很大。

要是模子在这种“假分散”上考验和评测，就会学到失实的模式，以致带偏期间门道。骨子上，模子是在拟合数据分散。要是分散自己偏离着实宇宙，再好的模子设计也会被带偏。

是以咱们更海涵的是如何获取“着实宇宙”的数据。要是机器东谈主能更好地理解东谈主，即使功能还不够全面，用户也更可能采用它、激昂使用它。这么咱们才能以更可扩张（scalable）的格局获取高质料数据，而不是依赖“数据汇集工场”。

DeepTech：但现实问题是，第一视角和东谈主机交互数据的获取本钱卓著高，以致互联网里险些莫得现成数据。翌日你们缱绻怎么构建一个低本钱、可规模化的数据闭环？

冯瑶：这是一个很好的问题。我先说论断：互联网数据其实是不错用的，况兼会是一个卓著伏击的数据开头。关节在于“重建才能”。要是你能把视频中的东谈主体行径高精度重建出来，它骨子上就不错鬈曲为可学习的数据。包括姿态、动作、手部操作等 3D 行径信息。

这部分其实是我的一个耐久斟酌标的，也和东谈主体重建、行径建模是径直估计的。中间会触及一些关节期间，比如东谈主体动作 prior、3D 重建优化等。

在这个基础上，咱们会作念两件事：第一，讹诈互联网视频数据算作最大规模的数据源；第二，在此基础上进行低本钱的着实数据汇集，由咱们我方设计汇集环境和硬件系统，再通过算法保证高质料重建。

另外，合成数据（simulation）我认为是一个伏击的“增强器”。它更像是一种数据 augmentation 的器具，而不是虚构生成数据的开头。比如，咱们不错把多个短视频片断进行组合，在物理拘谨下进行重建和补全，从而生成更长的行径序列。这一类法子不错匡助模子学习更万古序的行径结构。

刘淼：要是你上周问我，我可能会说我不太信任合成数据。但面前不一样了，比如 GPT-image2 才能照旧普及很快，从肉眼来看，很厚情况下照旧很难划分着实和合成数据。

是以这件事其实是动态演化的：当合成数据的质料和本钱达到一个临界点，它就会自然插足考验体系。但更伏击的少许不是“用无谓合成数据”，而是“如何更合理地使用数据”。包括如何讹诈着实数据和合成数据之间的互补联系，这里其实还有好多莫得被充分探索的空间。

从学术到创业：为什么采用家庭场景？

DeepTech：传说两位有筹划从学术走向创业？你们是如何相识，并最终决定在具身智能这个方进取张开调解的？

冯瑶：其实我和刘淼很早就建壮了，但之前一直以为咱们在作念不同标的的事情。我耐久聚焦在东谈主自己。包括东谈主体表征、东谈主类行径理解以及机器东谈主限制；而刘锤真金不怕火更多是从多模态学习、以模子为中心（model-centric）的视角来鞭策估计问题。

直到前段时刻咱们有了比较长远的疏导，才发现咱们在“具身智能大脑”这个问题上，其实有一个很一致的判断：要是要构建一个能够与东谈主耐久共处的具身系统，它既需要坚强的多模态感知才能，也必须信得过理解“东谈主”自己。这两件事情是不可偏废的。是以咱们会以为，这种辘集其实是比较自然的。况兼从个东谈主层面来说，能找到一个在期间上互补、同期也值得信任的调解伙伴，是一件挺平定的事情。

另外一个很现实的原因是，前边也提到，这一类系统的迭代高度依赖着实宇宙的数据和用户反映。要作念到这少许，就必须有大规模的着实部署，而这在工程复杂度、资金、算力等方面的要求，照旧超出了一个学术实验室所能承担的范围。从这个角度看，走向创业其实是一个比较自然、以致不错说是“必经”的旅途。只好插足着实用户场景，才能完成模子的闭环迭代。

刘淼：我和冯瑶也算是“相识于微时”。我其时去她导师 Michael Black 的团队走访过一段时刻。

自然那时候咱们的斟酌标的不统救助样，但有一个共同的关注点。“东谈主”在系统中的脚色。无论是从东谈主的视角去感知宇宙，照旧去理解环境中的东谈主，骨子上都是围绕“东谈主”张开的。其时其实莫得猜测，翌日会系数作念产业化。但面前回及其来看，这种辘集是有一定内在逻辑的。自后冯锤真金不怕火归国，咱们才有契机更长远地盘问这些问题，也渐渐发现两边在期间上是高度互补的。

简便来说，她更多是在作念偏底层的 human behavior understanding，比如畅通讯号、动作层面的建模；我则更偏向贯通层，比如 memory、intention、attention，以及多模态交融。这两部分恰巧不错造成一个比较无缺的闭环。

DeepTech：那从学术走向产业的进程中，你们有莫得际遇一些落差或挑战？毕竟学术斟酌往往更偏设想化。

刘淼：咱们其实都不算统统“纯学术”的旅途。我之前在 Meta 责任过几年，对产业侧照旧有一定了解的，也很了了“写论文”和“作念居品”之间的永别。但我个东谈主的一个判断是：在某个阶段，照实需要洽商交易化，这是不可幸免的；但模子自己的迭代逻辑，仍然应该以斟酌为主导，而不是统统由居品需求驱动。不然很容易出现标的性的偏差。

冯瑶：我其实也交易过不少产业环境。早期我在 Horizon Robotics、CloudWalk Technology 实习，自后也在 Meta 有过资历。再往后，我还参与过我博士导师的创业公司，开动交易一些更中枢的决策问题。那段资历对我影响挺大的。你会发现，一个团队里不仅有斟酌者，还有 3D 艺术家、前后端工程师、以及业务和销售团队。不同脚色会带来统统不同的视角，这些视角反过来会匡助咱们把斟酌信得过落地。

我我方一直比较介意的少许是：无论是斟酌照旧居品，最终都应该被东谈主使用。要是一个期间只是停留在论文里，它的价值是有限的。从这个角度来说，我也比较运气。之前作念的一些开源边幅，在社区里有比较多的使用和反映，这让我更坚强了一个见地：期间只好插足着实宇宙，才会信得过“长出来”。

DeepTech：回到门道采用的问题。面前好多具身公司一开动会采用工业场景，比如工场或仓库。但你们更强调家庭环境和东谈主机共融，为什么一开动就莫得采用工业旅途？

冯瑶：骨子的原因照旧愿景不同。咱们更但愿作念的是插足家庭、插足平日生存，让更多豪迈东谈主不错使用。另外，工业场景在某种进程上是“结构化的”，东谈主的参与较少，行径也更可预计。但咱们关注的恰正是东谈主自己，是以标的自然不同。

刘淼：对。我归国之后，其实也有好多工业落地的调解契机，但我以为这和咱们想作念的 human-centric AI 不是一件事。工业环境里，东谈主是弱存在的，行径模式也比较固定。但要是主义是让机器东谈主插足东谈主类生存空间，那它必须先理解“东谈主”，不然我个东谈主是很难信任它和我共处在一个空间里的。是以这更多是一个价值采用的问题，而不是单纯的期间门道采用。

DeepTech：从时刻模范上看，两位以为具身智能面前处在什么阶段？距离设想情状冒昧还有多久？

冯瑶：我以为不错分两条旅途来看。要是是传统“任务驱动”的门道，比如只作念抓取、叠衣裳这种才能，那插足家庭可能还需要较万古刻，因为用户采用“机器插足生存空间”自己就需要一个进程。但要是是咱们这条“以理解东谈主为中枢”的门道，我认为插足家庭的时刻会更短。可能在一到两年内，就不错先以“有限功能 + 诞生信任”的格局插足家庭，然后渐渐迭代才能。

刘淼：我举座判断是访佛的。短期来看，一到两年内，照实会出现一些“低级可用”的家庭机器东谈主，它们可能照旧开动插足着实家庭，但功能仍然比较有限，以致有点“实验性”，可能会出现环球说的“买且归吃灰”的情况。

是以要是沿着现时的期间门道发展，主义是一个信得过道理上的“家庭智能体”。访佛不错耐久作陪、理解需求、承担多任务的系统。我认为至少还需要五年以上。这个差距主要不在硬件，而在于对“东谈主”的理解才能，以及在复杂家庭环境中的耐久学习才能。这亦然为什么我想探索一种新的具身模子范式。

运营/排版：何晨龙

注：封面/首图由 AI 扶直生成亚搏app2026世界杯中国官网注册登录

HJC黄金城官方首页入口