“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

2025年03月10日,18时38分47秒 OpenAI 阅读 96 views 次

在字节跳动,有这样一群实习生,他们的另一重身份,都是来自顶尖高校的技术博士。

实习第 100 天,团队为了清华博士云飞专门开了一个全新课题。北大博士瑞晨曾经不得已搁置的想法,也在这里实现了大规模验证。

在字节跳动的实习经历,几乎贯穿了北大博士天亮和中科院博士露阳的整个博士生涯。天亮从一个 “束手束脚” 的实习生成长为一名独当一面的技术大牛。曾抱着 “试一试” 心态的露阳,也在 “一件又一件有挑战的事” 中拿下了 5 篇顶会和 3 项专利,他决定长期留在这里……

天亮、露阳、云飞、瑞晨…… 他们是众多正在或曾在字节跳动实习的技术博士故事的缩影。对于仍在校园象牙塔的年轻人而言,职场仿佛是个很遥远的地方。但加入字节跳动后,他们就像一颗颗种子,在这片自由、创新的土壤扎下了根,并不断实现突破、成长……

“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

从左至右:露阳、云飞、天亮、瑞晨

“去那里能真的学到东西”

天亮常说,自己是在字节跳动读了个博士,因为 “博士期间的成果基本上都是在公司做的”。

2018 年 10 月 22 日,入职那天,也是天亮的生日。到达盈都那排 “矮楼” 时,恰逢上班高峰,穿过 “旋转门” 后,她决定另辟蹊径。

“算法之所以探索不到有用的信号,是因为每次都从零开始,碰了钉子就又回到了零的状态,哪怕做出了一些好的结果也作废了。” 云飞说,“后来我们想到,可以让算法记录下自己的历史状态,遇到好的结果就继续沿用。” 本质上,这是一个算法自我学习、自我探索、自我奖励的过程。

“当然这个方法并不是我们的首创,但当时在国内受到的关注还比较小,主要是在学术界大家在鼓捣着玩。” 云飞说,“我在的组之前并没有人做,相当于是单独为我这个实习生新开了个课题。”

“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

国际智能机器人与系统大会 IROS 2021 上,云飞参与设计的机械臂展示如何 “搭桥”

不只是云飞,类似的故事,几乎每天都在字节跳动发生。

研究量子蒙特卡罗领域的北大博士瑞晨回忆说,自己刚入职时做的事情也很基础,“就是用各种标准网络结构解方程、计算分子性质。”

但不久后,他就发现已有的网络结构开销非常大,计算速度面临着瓶颈。“要得到一个双苯环 84 电子的计算结果,可能需要用一万多的 GPU 卡时。” 瑞晨回忆说,“在这样大的一个消耗下,我们的迭代速度会非常缓慢。”

“我们当时是沿着业界的标准做法,直接计算神经网络的二阶导数,这极大限制了计算速度。” 瑞晨回忆说,“但当时二阶导数在神经网络领域的研究非常少,我就在想,能不能有一种新的方法,去加速二阶导数的计算?”

虽然有严格的理论支撑,但并没人尝试过。当瑞晨拿着初期的验证结果找到 Leader,对方直接鼓励他,“去干吧”。于是,瑞晨就成了这个课题项目的实际负责人,那时距离他入职实习,也只过去了三个多月。

最终结果得到验证的时刻是个冬天,“我当时正在电话亭里和同事开会,顺便把代码跑一跑,结果发现真的成了。” 他回忆说,“那一刻真的是头皮发麻,激动得浑身冒汗。”

在瑞晨和同事们的努力下,最初的那个小想法沉淀成了一套二阶导数计算的自动微分程序,“在这套程序的帮助下,在保证标准网络结构计算精度的同时,计算速度也提升了 10 倍以上。”

这项成果也成为了该领域内里程碑式的研究工作,并发表在了自然子刊《Nature Machine Intelligence》上。去年八月,DeepMind 发表于《Science》上的成果也受益于这项成果。

“这也许会让你大吃一惊,” DeepMind 研究员 David Pfau 在社交媒体上评论道,“但我们依靠微软基于北京字节跳动团队研究的开源包来快速完成这些计算。”

“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

DeepMind 科学家 David Pfau 的个人社交媒体

从 0 经验到推动技术实现行业领先

事实上,这个想法的雏形在瑞晨来字节跳动之前就形成了,但当时的他只能搁置下来。背后的原因,主要是计算资源的欠缺。

到了字节跳动之后,曾经的难题迎刃而解。“正是因为有着充足的计算资源,我才想到原来的那个 idea 能不能再试一试。” 瑞晨说,自己的课题也是组内消耗资源最多的项目,“即便是有前期试验结果,在大规模验证之前,没人能预料到最终的结果,我的部门其实是在陪我一起冒险。”

“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

筋斗云 (字节跳动面向优秀校园技术人才推出的人才专项)Open Day 上,瑞晨在参与破冰游戏

“不怕你试错,就怕你不试嘛。” 天亮到字节跳动实习后,慢慢变得更敢放手干了,他感觉自己 “从没打过这么富裕的仗”。

“在字节跳动,我可能一两天就拿到计算结果了,这给了我更多试错空间。搞研究嘛,没有试错怎么进步?” 他说,“但是在学校实验室,用到的时间就比较长,拿到结果时甚至可能都忘记为什么要做这个实验了。”

云飞对此也深有体会。“在机器人这个语境下,如果脱离了基础设施,再好的想法也是空中楼阁。” 她说,在实验室里要做一项分布式训练是不可想象的,但到了字节跳动,“有专门的团队在做基础设施,你的训练任务可以得到非常稳定的保障,想实现一些想法也会更加容易。”

露阳正是字节跳动技术基础设施建设者中的一员。

入职第一年,露阳就独立构建了基于 Python 的硬件仿真框架 (Cocotb),并面向 ByteFPGA 平台开发了 driver、monitor、function coverage 等多类基础组件和基于 HBM 的行为模型,为字节跳动多项业务的顺利开展打下了基础。

后来,他开始走出软件仿真的 “舒适区”,逐渐迈向硬件设计这个的陌生领域。

弹性加速部门的工作涉及到众多真实业务,可谓牵一发而动全身。“我在硬件领域的经验不足,没能力去独立负责一个很大的功能模块。” 他回忆称,自己正是从一个个子功能模块开始做起,“每当我提出一种设计方案,Mentor 和其他同事都会帮逐个分析细节,并一起修正错误。”

随着一个个子功能模块的完善,露阳也越走越远。实习第三年,在字节跳动自研网卡项目中,他已经可以独立负责 “超大规模组网拥塞控制测试和优化” 这个关键任务了。自研网卡分为单卡设计、测试和大规模组网测试、优化,在某种程度上,露阳成为了整个项目的 “守门员”。

“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

露阳和陪伴他 4 年多的工位

正当他准备大干一场时,却发现自己掉进了一个又一个 “坑”。“我接手一段时间后,发现到某一个版本后突然间性能就上不去了,网络抖动特别厉害,延迟也很高。” 露阳最开始采用排除法,“哪个组件出现了问题,我就让它回退一个版本,迭代更新之后再重新测试”。

但经过数次迭代,“距离理想的性能还是有很大的差距”。在 “每两周就要更新一个版本” 的上线压力下,他每天一睁眼就开始思考。“整个人到晚上 9、10 点。” 露阳说,“你的创新想法不会受到层层审批,不用靠关系,你纯粹可以靠能力去实现价值。”

时隔多年以后,瑞晨已经很难再回忆起自己当初究竟是在哪一刻说服同事跟自己一起 “冒险” 了,“可能是在一次闲聊中?或者是一起去食堂吃饭的路上。” 他说,“我们从来没有什么边界,随时随地都在交流想法。”

尽管中间曾短暂离开过字节跳动一段时间,但云飞始终对那种自由、创新的氛围念念不忘,“这里既有成熟组织完善的基础设施,又有创业公司的灵活性。” 去年,露阳、瑞晨、云飞,也都通过了 “筋斗云人才计划”,并拿到了字节跳动的正式 Offer。

“这是一片创新的土壤。” 天亮说,这种认知在他入职的第一天就形成了。那时,他刚到工位就看到一个同事在那里 “叭叭”——“一会儿聊聊技术、一会儿唠唠家常。” 天亮回忆说,“看到我来,她非常开心,说‘小鲜肉来了’,并告诉我无论有什么问题都可以找她。”

“专为我开了一个新课题”,顶尖博士为什么偏爱去字节实习?

天亮依旧是那个阳光开朗大男孩

“这里跟学校的实验室没什么区别,无论部门 Leader 还是行业大佬都没有架子,” 天亮说,“和他们讨论某个问题,就像是跟师兄师姐交流一样,你的每一个想法都会得到充分尊重。”

实习 1600 多天后,天亮从一个 “束手束脚” 的实习生,成长为一名独当一面的技术大牛。实习期间拿下的 5 个提案、5 篇顶会和 1 篇重要期刊,也构成了天亮博士论文的基本内容。

2023 年,天亮在字节跳动成功转正,并从视频编码标准部门换到了离线编码技术部门。但他最开始感受到的那种活跃的氛围却从没有消失。入职第一天开心叫他 “小鲜肉” 的那位同事,也依然坐在他的旁边。

如今,天亮已经升级做了 “奶爸”,他没想到在职场 “混迹” 六年多之后,他还依然是那个 “阳光开朗大男孩”。有时候带着带着娃,或玩着玩着游戏,天亮也会抽空跑一跑自己的代码。妻子经常开玩笑说,“你是真的爱自己的工作啊。”

“就像谈恋爱一样,你很难回忆是在具体哪一刻爱上了对方。” 露阳说,“但通过很多日常中的小事,你会不知不觉爱上这里。你心里明白,你愿意和它一起走下去,因为它,你也会成为一个更好的人。”

据编者了解,3 月 6 日,字节跳动启动了筋斗云人才计划实习生专项招聘,在大模型应用、搜索、推荐、广告、计算机体系结构与系统优化、安全、AI Safety、硬件、AI Coding、视频架构、AIGC、AI for Science、机器人等 10 大技术领域开设了 44 个课题,旨在全球范围内吸引和招募一批有志于用技术创造突破性价值的顶尖博士(2025 年 9 月及以后毕业)。

(来源:机器之心)

标签:


用户登录