斯隆奖新晋得主宋舒然：从视觉出发，营造机器人之「眼」

术开发为退役军人学院本科时，她也难以任何犹豫。

也正是这股子无所畏惧的劲，让宋舒然在一个男功能性占多数大多数的广泛应用之中也能披襟贼鳍、来犯。

2009年，宋舒然从广州南下，带到香南澳这座以国际上化著称的郊区。刚到南澳中山学院再次，她就明显地看上去到多元化的校园生态：

「很高之中时看上去外围的同学只一心独自做的事情都差不多。到了香南澳后，推断出大家只一心做到的幸福都很不一样。大家学不同的学院本科，有些人注重社交，有些人似乎会提前规划职业转变，像我这样喜欢独自做研究文书工作的教师反而不多，所以我在很高等院校时的科研机构机似乎会也更多。」

学院其间，宋舒然正因如此积极积极参与香南澳很高科技学院工程学一个组织（HKUST Robotics Team），还在2011年代表一个组织积极积极参与了一年一度的国际上功能性工程学预赛——ABU Robocon。那一年，宋舒然与内部设计团队赢得了香南澳地区的女子组，代表香南澳去斯里兰卡积极积极参与决赛。

图注：ABU Robocon 2011 宣言标志

「深刻印象之中，此前工程学的研究文书工作里头面，没用的也是量化机技术技术开发感知的部分。虽然我的学院本科不是量化机技术技术开发感知，但我在那个配置过程之中也懂得了不少长处，比如感知追踪与样品。」宋舒然回忆道。

除了积极积极参与工程学一个组织，宋舒然还在大三那年（2012年）积极积极参与了香南澳很高科技学院与密西根大学（MIT）的高三访问历史学家新项目。「那一年是第一届，申请的人并不多，所以我就更为幸运地获取了这个机似乎会。」

虽然只有短短一个春假，比如说其间积极参与研究文书工作的内容也极为基础功能性，但整个配置过程给宋舒然遗留下了深刻的深刻印象。

宋舒然想到，此前她每天都似乎会去MIT CSAIL的一楼，每天在路上都能相遇形形色色的人。在这栋形状有如的一楼里头，有很多独自做工程学研究文书工作的人，她每天都可以在一楼里头看到各种各样奇怪的工程学，「研究文书工作者不停地调试着什么」，整个研究文书工作气息更为活跃。

图注：MIT CSAIL的一楼

此前她的教导同学是图形学广泛应用的神 Fr%uE9do Durand。宋舒然想到，虽然 Fr%uE9do 是一名更为有名、事物繁多的教授，但还是似乎会不厌其烦地腾显现出学术一段时间教导访问历史学家们修习都能代课程，与他们固定一段时间进似乎会、解答疑问。在这个配置过程之中，宋舒然也懂得了许多图像感知的长处。

图注：Fr%uE9do Durand（任左）

取而代之宋舒然只是对研究文书工作有兴趣，但这次赴MIT比如说的经历使她下定了读博的决心：

「刚上学院时我并难以一心好此后要读博，或者在学术研究广泛应用有多大的转变。但到了MIT，认识的教师都是PhD，他们独自做的研究文书工作更为耐人寻味，独自做研究文书工作的配置过程看上去更为振奋，让我进始想到我好像也很一心去独自做研究文书工作。」

2 请回答2015：有所突破3D感知

2013年，宋舒然转入普林斯顿学院学院的量化机技术技术开发感知与工程学研究文书工作之中心（量化机技术技术开发感知广泛应用的知名族裔历史学家邓嘉也在共同领导该研究文书工作之中心）攻读Dr，先后学艺肖健雄（2016年离进普林斯顿学院去创业）与Thomas Funkhouser。据悉，Thomas Funkhouser每年外只招收1-2名Dr生。

图注：普林斯顿学院学院

普林斯顿学院学院最吸引宋舒然的一点是它较小的研究文书工作之中心规模，和与之带来的能与教授展开更多沟通的机似乎会。

读博其间，宋舒然的研究文书工作内容聚焦在量化机技术技术开发感知。虽然很高等院校时独自做过掩蔽者追踪新项目，但宋舒然回忆，在刚进始读博时，她的感知基础功能性是相对贫弱的。

在前辈的教导下，她并存很高等院校时期的修习，没过多久研究文书工作3D掩蔽者样品与追踪。此前恰逢Microsoft面世一个在此此后3D人脑相机（Kinect 3D Camera Sensor-System），他们就让思考是否是能用这些新设备，将2D掩蔽者样品相接到3D掩蔽者追踪。

图注：Microsoft在2013年面世的Kinect 3D相机人脑子系统

2015年是宋舒然在量化机技术技术开发感知研究文书工作上的「丰收年」。那一年，她在量化机技术技术开发感知葫芦似乎会后发表文章了4篇很高引文章，篇篇定格，而彼时距离她毕业生Dr才不过两年一段时间：

3d shapenets: A deep representation for volumetric shapes（网易学术研究引用3500+） Shapenet: An information-rich 3d model repository（网易学术研究引用2500+） Sun rgb-d: A rgb-d scene understanding benchmark suite（网易学术研究引用1100+） Lsun: Construction of a large-scale image dataset using deep learning with humans in the loop（网易学术研究引用1000+）

图注：宋舒然的网易学术研究主页（2022年2月21日存档）

宋舒然对AI很高科技评论者参阅，她第一次保持联系厚度修习是在“3D ShapeNets: A Deep Representation for Volumetric Shapes”这篇文书工作之中，经汤晓鸥与吴志荣的带领入门。此前，就读于香南澳之中文学院的吴志荣到普林斯顿学院比如说，宋舒然与他由此偶遇。

进辟功能性的文书工作常常艰难重重。宋舒然想到，此前他们在密切合在一起作的配置过程之中相遇了很多瓶颈，其之中最大的瓶颈是难以萌芽的工具学库或构建去背书厚度修习子系统的搭建，「只有贾扬青明确指显现出的Caffe，而且更为初期的Caffe并不背书量化机技术技术开发感知的配置」。

所以他们此前的研究文书工作重点就放于了如何进发子系统、将2D解法转化为可以接受3D反馈上。他们此前的一心法其实更为有趣 –从2D pixel 表征作法转化成 3D voxel 的表征作法。虽然从前显然这个工具有很多明显的缺陷（必都能大量的显存密闭）, 但好处是可以改回很多有别于的2D 解法，比如频域。

图注：3D ShapeNets（2015）的转换原理

这是第一个成功通过厚度修习工具将2.5D相接到3D上的感知文书工作。在此之前，厚度修习多用在2D图像或语义学督导上。「3D ShapeNets」首次展现了厚度修习子系统如何修习形状表征的配置过程，且国际上标准化组织功能性强，可以广泛应用在多个不同的侦查上，在量化机技术技术开发感知广泛应用产生了极为重要的影响。

对于宋舒然来时说，这个文书工作既是她研究文书工作生涯之中的一个里头程碑，也是启发她在研究文书工作之中改用「有趣而很高效」的工具论的西端：

「它很有趣，但更为很高效，唯一的放宽是对算力的必需求加大，因为反馈的的点增强，量化量也似乎会业已增长。此外，这是我第一次研究文书工作3D，我此后的许多文书工作都并存了这个新项目的idea（见解），即用3D厚度修习子系统独自做形状表征。」

凭借在量化机技术技术开发感知一段距离（尤其是反馈驱动的3D场面解释）的一系列显现出色文书工作，宋舒然赢取2015年FacebookDr生金资助。她的文书工作坐上普林斯顿学院研究文书工作校刊，还入围了「普林斯顿学院25岁一般而言创新25人」。

图注：宋舒然在普林斯顿学院读博其间

3 从感知到工程学

工程学对真实世界全球的人脑准确率依赖于感知之中的3D语义场面未完成技术技术开发。宋舒然在3D感知上的研究文书工作有所突破奠定了她从事工程学感知研究文书工作的基础功能性。

从2016年明确指显现出「Deep Sliding Shapes」后，她就进始在研究文书工作感知之余探索如何用3D感知提升工程学解答周边生态的掩蔽者的技能。彼时，量化机技术技术开发感知正越来越多地从分析单个静止图像朝向解释视频和密闭反馈，对工程学的人机增强是一大利好。

图注：宋舒然在普林斯顿学院学院研究文书工作的工程学（“Robot In a Room: Toward Perfect Object Recognition in Closed Environments”）

在这个补救办法上，以往的研究文书工作趋于将两者分进，分界为「场面未完成」与「实例标记」。但2017年，宋舒然与内部设计团队明确指显现出了「SSCNet」子系统，通过从单个2D图像聚合场面的完整3D声称与场面实例的标记，将两者结合在一起大大的，得到了很高经济性的解法功效。

图注：在「SSCNet」之中，只必都能输入「桌上」的图像，就可以分析桌上外围的掩蔽者摆放

在3D掩蔽者样品与追踪上独自做了许多文书工作后，2017年，宋舒然与MIT的工程学内部设计团队密切合在一起作，一起积极积极参与了南美工程学巡回赛——Amazon Picking Challenge，进始在此之后感知与工程学的「软硬结合在一起」。

「我们最进始密切合在一起作的一心法更为有趣。他们是独自做工程学的，我们是独自做感知的，我们把两端的子系统合在一起大大的就可以去积极积极参与预赛。我们第一年也可能是这么独自做的。」宋舒然对AI很高科技评论者福音。

不过，这种「粗鲁搭配」的独自应该并难以得到良好的功效。

2017年，他们密切合在一起作的作法是：由宋舒然的量化机技术技术开发感知组先定义一个要输显现出的解法结果（如掩蔽者身姿），然后先由MIT的工程学组通过感知输显现出的解法去独自做肢体规划（motion planning），量化机技术技术开发械如何可以爬行都能掩蔽者。

但这次的密切合在一起作并不很高效。普林斯顿学院与MIT位于不同的郊区，两个内部设计团队彼此之间的沟通主要是通过收件言代码，宋舒然内部设计团队的感知解法过了一个月后才放于MIT的工程学上检验。

在检验的配置过程之中，他们也推断出了许多补救办法，比如：宋舒然内部设计团队所明确指显现出的感知解法更为慢速，导致整个子系统也极慢速；可用做锻炼的注明反馈非常依赖于，建模走到并不大大的；解法很高精度不够，对于量化机技术技术开发感知来时说，误差在5度5厘米以内的解法很高精度已是功效不错，但当这个误差被毫无疑问广泛应用在工程学配置上时，却似乎造成整个工程学生态的崩溃。

所以，2017年的预赛之中，他们只得到了第三名的成绩。但是，这次的密切合在一起作也激起了宋舒然对工程学感知的研究文书工作热情，他们推断出了许多耐人寻味的补救办法，激发了许多增强子系统的一心法，于是决定独自密切合在一起作积极积极参与2018年的预赛。

图注：MIT-Princeton 内部设计团队在南美工程学竞赛 (2018)

这一次，宋舒然和整个内部设计团队对掩蔽者光环的解法展开了再一整合在一起，不先用作之下方的掩蔽者光环作分析，而是更进一步从图像显现抵达去分析工程学一定会采取怎样的肢体。更进一步，整个解法子系统的更快有了逐年增强，而且更加国际上标准化组织。

南美巡回赛的内容是：工程学要从一个装了各种掩蔽者的盘子里头挑显现出都能掩蔽者。这时，盘子里头的掩蔽者彼此之间似乎彼此遮挡，似乎会堵住工程学的视线。

在改进解法后，他们的工程学爬行更快慢速速增强，赢取了2018年南美爬行工程学巡回赛的佳绩，还赢取2018年南美最佳配置子系统文章金奖。

自此，宋舒然也年底踏上了用量化机技术技术开发感知借助工程学人脑天体物理学全球、与天体物理学全球交互的研究文书工作很高架道路。

4 有趣，但很高效

2018年，宋舒然从普林斯顿学院学院赢取量化机技术技术开发硕士，后转入哥伦比亚学院量化机技术技术开发系转任助理教授。问起为何同样哥大，她给显现出的理由是：

「我同样哥大的一个举足轻重原因是地理所在位置。我还是喜欢待在郊区里头。我是在广州长大的，然后去了香南澳读学院。去了普林斯顿学院后，我就推断出我不适合在一起在一个小肯特里头生活，所以我就一心回到大郊区，就选了哥大，因为它在明尼阿波利斯。」

图注：哥伦比亚学院

转任任教后，宋舒然在工程学感知的研究文书工作上屡显现出更进一步，三年内接连拿下RSS 2019最佳子系统文章金奖、T-RO 2020最佳文章金奖、CoRL 2021最佳子系统文章金奖，相关文书工作还赢取了IROS 2018、RSS 2019、CVPR 2019、ICRA 2020等葫芦级似乎小组会议的最佳文章提名。

2018年，宋舒然内部设计团队并存南美巡回赛的出发点，进一步研究文书工作工程学在「推」与「不放」两个肢体上的来与。尽管加速修习在此前很火，但宋舒然的这个文书工作首次在工程学感知研究文书工作之中更进一步引入了加速修习工具，并赢取了IROS 2018最佳人脑工程学文章金提名。

图注：该人脑工程学先「推进」掩蔽者，先「爬行」掩蔽者

「此前我们的最终都能是能把掩蔽者不放大大的。『不放』这个肢体良好审计，只要能不放大大的就是positive reward（正向金奖励）。但『推』这个肢体难以审计，什么样的『推』才算得好的『推』？所以我们就改用加速修习工具，缺少一个好的审计线功能性去定义『推』，先次只必都能执笔一个最终金奖励（即推的肢体能借助爬行掩蔽者）才可。」宋舒然向AI很高科技评论者解释道。

据宋舒然参阅，在她与内部设计团队「凭直觉」独自做这个新项目之前，大多数人都认为加速修习工具必都能大量的反馈，所以难以在真实世界的工程学上更进一步锻炼。即使到从前，加速修习被广泛应用做工程学的工具也不是另类，宋舒然与内部设计团队也没一心到「真的能走到大大的」，可以时说创下了必定为的魔咒、坚拒绝接受了该一段距离的研究文书工作者以莫大的信心。

宋舒然在工程学感知子系统上的第一个里头程碑文书工作当属赢取RSS 2019最佳子系统文章金奖的「TossingBot」。在这个文书工作之中，他们与网易的研究文书工作内部设计团队密切合在一起作，最终更进一步坐上了《明尼阿波利斯时报》商业板块的封面设计。

图注：TossingBot坐上《明尼阿波利斯时报》商业版封面设计

这个丢掷工程学的「绝杀技」是可以修习慢速速准确地捡起任意掩蔽者，并将其投掷到附近的都能框之中。研究文书工作者认为，丢掷是一种依靠动力学来提升操作者技能的绝佳工具。例如，「在取走到与放有的值得注意之中，丢掷可以使工程学臂慢速速地将掩蔽者装入其最大运动所适用范围值得注意的选定盘子之中，从而提升其可保持联系的天体物理学适用范围和取走到更快。」

这个文书工作背后的关键学时说是「残差理论天体物理学」（Residual Physics），可以将有趣的理论天体物理学与厚度修习相结合在一起，使子系统都能从试错之中慢速速锻炼、并泛化到在此此后场面之中。

理论天体物理学缺少了全球如何运作的本体论建模，宋舒然与内部设计团队可以依靠这些建模进发初始控制器。比如，在丢掷之中，他们可以用作弹道学来估算使掩蔽者降落在都能所在位置所必需的丢掷更快，同时用作神经网路在天体物理学估算之上分析调整，以补偿未知特功能性以及真实世界全球的噪声和可变功能性。

作为一名量化机技术技术开发感知学院本科的「年班生」，宋舒然每研究文书工作一个新项目，就让愈发为感知与工程学的斜向结合在一起所能产生的宝贝功效惊讶。TossingBot的文书工作发表文章后，她在接受《明尼阿波利斯时报》的访问时惊叹道：

It is learning more complicated things than I could ever think about.

（工程学正在修习更适合在一起于的事情，这是我以前难以一心过的。）

不过，这显然不是终点。「TossingBot」发表文章两年后，宋舒然又终究了工程学在很高速特功能性肢体上的新很高度。她带领她在哥大的第一位Dr生Huy Ha，又凭借另一个工程学「FlingBot」拿下了第二个最佳子系统文章金奖——CoRL 2021最佳子系统文章金奖。

此前CoRL 2021的选为委员似乎会对「FlingBot」这项文书工作给显现出了极很高的赞赏：「这篇文章是我想到的在全球上对演示和真实世界全球衣料配置方面的最了不起的文书工作。」

文章位址：

「FlingBot」终究的侦查是衣料督导，移往到普通人之中，就是常见的摊艾维斯、摊被子等等。此前，针对这项侦查的大多数文书工作是用作推拉准实例肢体来配置衣料，但这必都能大量的交互来终究初始衣料的内部设计，并严格放宽了工程学可及适用范围的最大衣料尺寸。

于是，宋舒然与教师用作了自监理修习构建FlingBot，从感知掩蔽显现抵达设置双腿配置，对织物用作取走到、剪切并掷的初始的内部设计。实验说明了，FlingBot的3个肢体组合在一起可以隔开80%以上的衣料面积，超过实例较宽的面积4倍以上。

图注：FlingBot

问大大的可能很有趣？

「解法可能较难，所以这篇文书工作还被RSS坚拒过，理由是工具过于『trivial』。」宋舒然戏弄道。

他们一进始的一心法很有趣：此前他们看了许多文献，所有文书工作都是改用取走到、放有，这与人们在普通人之中的习惯极为不同。「举一个更为有趣的值得注意，就是早上摊床。我们必定能奇怪的是地去独自做『pick up-place』（取走到-放有），我们摊艾维斯一般就是一投掷，抛进后先把艾维斯摊进，但难以工程学子系统是这样独自做的。」

所以他们就思考，是否是可以让工程学改用一些投掷很高、落幕的肢体，如抛进。先次独自做显现出子系统时，他们也推断出，整个子系统可能更为有趣，只必需组合在一起成三步：第一步是不放衣料，第二步是把衣料落幕，第三步是「投掷」进衣料。而「落幕」与「投掷」这两个肢体原则上不必都能修习，因为学与不识的区别并不大，毫无疑问要学的只有「不放」这一步，因为如何不放似乎会更进一步影响后面的「落幕」与「投掷」。

虽然他们在「不放」这一步上也有所突破了有别于解法，但总括，「FlingBot」的整个子系统是更为有趣的。所以在第一次提交文章时，评审们就将文章坚拒了，理由外是：结果很了不起，子系统也很了不起，但解法更为有趣。

这时候宋舒然的种系统思维又来了：在第二次提交时，他们就在文章之中合在一起理化了「有趣但很高效」的引人注目——

「用一个有趣的解法就可以补救一个这么适合在一起于的侦查，难道不是好过你去内部设计一个更为适合在一起于的子系统吗？而且它的功效更为好，恰恰证明了它在很高速特功能性肢体上的经济性。」

这与她在Dr其间与汤晓鸥等人密切合在一起作3D ShapeNets的研究文书工作学时说是一脉相承的：有趣，但很高效。此后，FlingBot 果然被 CoRL 接收，还赢取了最佳子系统文章金奖。

5 一些思考

这时一心必大家都已推断出，与在结构功能性生态之中的工程学（如南美工厂的产线工程学）相比，宋舒然的工程学文书工作，无论是「TossingBot」还是「FlingBot」，都必都能先对天体物理教师态展开人脑，驾驭生态反馈，然后督导适应技能的肢体。

「在工厂或仓库之中，工程学每天相遇的掩蔽者、掩蔽者所在位置与掩蔽者子类很高度相似，在这类场面下，工程学的人脑与规划从前翻倍更为萌芽的状态。很多工厂的流水线上都安置了系统内部设计工程学。但如果你仔细掩蔽，这些工程学大多是难以『感知』的，它们只是在遗忘特定的肢体，然后单调同样的肢体，所以它们必须照搬到一个在此此后生态。」

因此，宋舒然认为，如何让工程学去适应非结构化的生态，是工程学感知接下来的关键研究文书工作一段距离。在她的研究文书工作之中，无论是从对人的掩蔽之中修习工程学的进化长处，还是合在一起理化工程学与真实世界全球的交互，都是在为这个一段距离努力。

换言之，在感知与工程学的政治婚姻之中，不仅是感知借助工程学人脑，反过来，工程学的肢体也似乎会增加感知的人脑。

6 探讨「国际上标准化组织认知科学」

AI很高科技评论者：Yann LeCun 之前始终合在一起理化自监理修习是下一代认知科学的举足轻重一段距离，同学您怎么看？

宋舒然：我更为同意。我想到的确是的。从前我们从前在监理修习上得到了很多的进展，以外ImageNet和现有的许多Benchmark（基准），下一步如果我们一心为上非常大的反馈集，其实难以先注明更多的反馈了。我们必都能的是在解法上的提升，就是如何去依靠这些难以注明的反馈。

在这个一段距离上，不同的广泛应用有不同的定义工具。如何去定义自监理修习？我想到这是最原则上的补救办法。在量化机技术技术开发感知广泛应用，你可以独自做视频分析；在语义学督导一段距离，你可以独自做语言学量化。我始终在一心的是，在工程学广泛应用，如何定义自监理修习？如何去定义一个统一构建可以去独自做前提自监理修习？

AI很高科技评论者：而且之前很多人在合在一起理化这个一段距离的时候，好像都难以提到跟真实世界的交互。

宋舒然：对的，因为它的成本的确更为很高。如果你难以工程学，你必都能卖一个工程学。而且就算得有工程学，通过交互去获取反馈，看上去上是要比注明反馈慢速很多的。但这并不代表它难以充满信心；反之亦然，我想到这是一个更有潜能的一段距离。

尤其是，如果你考虑愿景的认知科学转变，当工程学不先是一个比起的设备，当工程学的标价降低、内有各地，并且可以督导很多侦查时，我想到通过交互的自监理修习似乎会换成更另类的工具。

AI很高科技评论者：明白。同学您可否先总结一下，这种交互加自监理修习的修习作法，从前的转变、举例来时说不存在的瓶颈和愿景趋向于是什么？

宋舒然：迄今为止「自监理+交互」的作法里头仍然一般来讲了许多而所长处。我们从前的许多文书工作，比如我们可以用自监理的作法独自做「爬行」，原因是我们可以良好地量化这个掩蔽者可能被不放大大的了。对于「落幕」这个肢体也是一样的。我们可以通过掩蔽者的表面、面积有难以落幕作为一个监理的反馈。但是这些金奖励虽然是自监理，可以更进一步从图像里头量化，但它也是由人来定义的，是长处告诉我们可以获取这样的反馈。

而且我想到在任何一个解法里头，如果必须由一个人类文明技师去定义事情的话，常常似乎会成为一个瓶颈。所以展望愿景，我们如何去减缓这种而所的长处？可能可以通过学一个愿景分析建模，或者学一个更为国际上标准化组织的全球建模，然后用一种更为统一的作法去看，或者更为直觉的作法去内部设计？而不是我们必都能去对每一个侦查特定内部设计全球建模。我想到这个似乎是将来更为耐人寻味的转变一段距离。

AI很高科技评论者：迄今为止对于国际上标准化组织认知科学的做到，您有难以一些解释和设一心？

宋舒然：我想到我难以很清晰的解释和设一心（戏弄）。国际上标准化组织认知科学是最终都能，但我们的确还有很大的距离。很多一心法是耐人寻味的，但以我从前依赖于的解释，还是必都能很长一段时间的转变，难以时说哪个一段距离是更有充满信心的，或难以实现的。

但我想到修习笔记本电脑人机是更为关键的一步，因为我想到国际上标准化组织认知科学不只是解释网路反馈，不只是解释图像或抽象反馈，还必都能解释天体物理学、解释3D生态。

AI很高科技评论者：就是先不时说国际上标准化组织认知科学是什么小孩子，但是要借以我们对国际上标准化组织认知科学的解释的话，我们必须局限于举例来时说已有的这些侦查，而是要去随之探索在此此后侦查是吗？

宋舒然：对的，而且必须只考虑对工具学建模展开抽象，还要考虑如果你要构建一个「天体物理学分身」（physical embodiment），比如工程学，它是可以在真实世界的天体物理学全球之中去与不同的掩蔽者交友的。

不时说认知科学，只是时说我们（人类文明）的人机。其实我们懂得了很多人机，但不只是通过网路，不只是通过求学、看图像或看视频，很大一部分的人机是在交互之中修习的，比如怎么双脚，怎么拿起掩蔽者。

所以我的一个解释是，做到国际上标准化组织认知科学，工程学或笔记本电脑人机是更为举足轻重的一步。

注：衡衡、青暮对本文亦有贡献。

参考链接：

2.

3.

4.

5.

6.

。

天津看妇科到哪个医院好
深圳看男科哪间医院好
宁波牛皮癣医院哪里好
母婴医药资讯
孩子感冒咳嗽怎么办
老人新冠
感冒咳嗽吃什么好
沙眼