
时令 发自 凹非寺
量子位 | 公众号 QbitAI
黄仁勋大众都见得多了,但你见过他女儿讲具身智能吗?
这不,黄仁勋女儿Madison Huang初次公开亮相直播访谈节目,行为英伟达Omniverse与物理AI高等总监,与光轮智能CEO谢晨,以及光轮智能增长负责东说念主穆斯塔法一皆,对“怎样减弱机器东说念主在假造与履行之间的差距”张开深化筹商。

光轮智能是一家专注于仿真合成数据时期的公司。和专注于大模子的企业不同,他们的中枢方针是匡助AI更好地清爽和干预物理天下。现时主要聚焦于具身智能和自动驾驶两大场景。
在一个半小时的访谈时期内,三东说念主提议了一系列遑急不雅点:
合成数据对于处分机器东说念主数据逆境至关遑急 。光轮智能的SimReady钞票不仅要视觉准确,更遑急的是物理准确。英伟达和光轮智能正在共同开发Isaac Lab Arena——一个用于基准测试、评估、数据集结和大规模强化学习的下一代开源框架和平台。……底下具体来看。
愚弄合成数据和仿真来处分机器东说念主数据防碍访谈一细致运转,主捏东说念主Edmar Mendizabal(Omniverse社区司理)就开门见山抛出了一个许多东说念主都很意思意思的问题。
英伟达与光轮智能的邻接关系是怎样运转的?
Madison解答说念,英伟达里面许多技俩都依赖于光轮智能的维持。举例,Gear Lab正在构建通用智能体模子,西雅图机器东说念主实验室正在开展无数波及斗争操作和精密安设的任务。
对话语模子的参谋东说念主员来说,他们不错愚弄所有这个词这个词互联网的数据去查考LLM。但对机器东说念主领域来说,情况却皆备不同,他们必须去手动集结数据,这亦然为什么会有那么多数据集结工场的出现。
在这种缺少数据的情况下,英伟达觉得,仿真便是处分决策,因此需要一个合成数据工场,同期也但愿邻接伙伴认可OpenUSD的愿景,将其行为构建仿真就绪钞票(SimReady Assets)的基础。
2023年,光轮智能建树了,方针便是愚弄合成数据和仿真来打破机器东说念主数据瓶颈。
但其时机器东说念主领域还处于荒谬早期的阶段,是以他们先从自动驾驶的合成数据问题脱手,随后,邻接险些延长到英伟达的各个团队。
成心料的是,谢晨往日便是英伟达自动驾驶仿真负责东说念主,兜兜转转,现时又在为英伟达责任了。
接下来,主捏东说念主又问说念:“那现时机器东说念主从假造到履行(Sim2Real)还存在哪些问题。”
谢晨回应说:
对于自动驾驶来说,Sim2Real是最容易处分的,因为它主要依赖视觉感知。而对于机器东说念主来说,一切都波及物理斗争,最遑急的是操作才调(manipulation)。同期,它还需要颖异手和触觉传感器配合使用,因此问题变得愈加复杂。
中枢问题就在于物理准确性。
以雪柜为例,当你拉开门时,会嗅觉到磁吸密封条产生的力的作用,还有拉抽屉时会嗅觉到多重摩擦,这些物理特质都荒谬精准。
而要达成这种物理准确性,数据荒谬遑急,高质地的数据是干预机器东说念主查考系统、生成正确算法的环节。
因此,谢晨还止境提到了数字金字塔的理念。
他觉得,要让具身智能果然部署到履行天下需要亏损巨量的数据,实质上比大型话语模子所需的数据还要多。这就变成了一个雄伟的数据防碍,而履行天下数据无法皆备处分这个问题。
以自动驾驶为例,履行中有无数驾驶员和汽车在说念路上运行,但在工场、家庭等环境中,机器东说念主数目却荒谬有限。
因此,合成数据将成为处分具身智能数据瓶颈的最遑急、最主要的数据来源。
他们借助了无数物理拓荒来集结精准的数据,并将其达成到仿真环境中。同期,他们还联想了一些容颜去对比真实天下中的力和仿真中的力,以确保二者匹配。
除了数据外,另一个令谢晨觉得遑急的点便是高效。
他提到,强化学习荒谬遑急,但要运行大规模强化学习,就必须确保不同类型的仿真在规画上荒谬高效。
为了让无数仿真环境同期运行,他们用简便又高效的环节(如基本几何体和凸包)来检测碰撞,这么既能保捏饱和准确,又能检朴无数规画资源。
之后,谢晨还讲到了电缆仿真。电缆既像柔性物体,但又在某些情况下又弘扬得像刚体,是以它的仿真其实荒谬繁重。
为了让机器东说念主学习怎样操作电缆,光轮智能与Newton及英伟达邻接,为电缆构建求解器,并研发仿真就绪钞票来构建这种仿真。
人所共知,东说念主与动物的分裂是东说念主会使用器具,是以怎样教机器东说念主正确愚弄器具完成特定操作变得越来越环节。
举例,让机器东说念主在仿真中切割黄瓜黑白常繁重的,这不单是是为了数据集结,更遑急的是要维持强化学习。
为此,光轮智能已与英伟达Isaac Sim实验室张开邻接,共同致力于于攻克仿真到履行的挪动挑战。
临了,谢晨提到,光轮智能还在与英伟达共同构建Isaac Lab Arena——一个面向下一代基准测试、评估数据集结和大规模强化学习的框架平台,该技俩已在CoRL大会上由英伟达细致发布。
黄仁勋子女访谈斥逐,我们再来扒一扒很少出面的黄仁勋的两个子女。
发轫是女儿Madison,汉文名黄敏珊,现年34岁。
2020年加入英伟达率先担任市集营销实习生,实习四个月后成为了Omniverse部门的行径营销司理,之后一直在该部门任职。
Madison在英伟达一齐担任了居品营销司理、高等居品营销司理等职务,直到本年3月成为高等总监。
令东说念主骇怪的是,Madison率先干的果然是烹调。
2012年,她在好意思国烹调学院得回了烹调艺术工商管制学士学位,之后到蓝带厨艺学院学习制作甜点以及葡萄酒,并曾在纽约和旧金山担任厨师。
2015年,Madison再行回到巴黎,加入挥霍行业,在LVMH公司担任市集营销与开发司理。在LV责任时代,Madison还学习了伦敦政事经济学院相关数据科学的短期课程。
在2019年,Madison和哥哥Spencer一皆修读了MIT的短期AI高管课程。
之后,她于2021年得回了伦敦商学院的MBA学位,彼时她照旧是英伟达的细致职工。
说完老黄的女儿,奈何能不接着提提他犬子呢?
雷同“秉承父业”的,还有Madison的哥哥Spencer,汉文名黄胜斌,本年35岁。
他在英伟达的职位是机器东说念主居品线司理,负责开发用于机器东说念主的AI模子与仿真软件。
Spencer在2022年加入英伟达,开端的职位是Isaac Sim Cloud团队居品司理。
前边先容Madison时说过,兄妹二东说念主曾一同参加MIT的短期AI高管课程,不外Spencer还稀奇多读了对于东说念主机交互的课程。
之后,Spencer先是到哈佛商学院读了短期课程,之后也读了MBA,不外是在纽约大学,2022年得回学位。
成心料的是,更早之前,Spencer的身份是别称酒吧专揽东说念主。
2012年,Spencer在好意思国最大的私立艺术与媒体学院——芝加哥哥伦比亚学院本科毕业,主修国外市集和文化参谋两个标的。
毕业后,老黄让他特意“回桑梓”学了一年汉文,便是在这段时期,Spencer创立了他的鸡尾酒酒吧——R&D Cocktail Lab,况兼一干便是八年。
据悉,这家酒吧屡获国外大奖,并曾入选亚洲50佳酒吧,不外现时谷歌舆图披露该酒吧照旧恒久歇业。
好好好,富二代要专心接受家业了是吧。
参考长入:https://www.youtube.com/watch?v=UgT-P6ynxLc
— 完 —
量子位 QbitAI · 头条号签约
和顺我们尊龙凯时体育,第一时期获知前沿科技动态
