傍晚六点,川西雅安,大雨初歇。
银灰色的星驰S9顺着山谷公路拐过三道弯,过完两处荷枪实弹的岗亭,钻进半山腰的迷彩伪装网。
防爆门滑开。宋阳、秦朗和韩冬带着刚从双流机场接回来的林元庆,换上防静电白大褂,顺着通道往地下走。
顾屿没在二号主控大厅,人在地下二层东侧的“雪浪纸”专项实验室。
两百多平的屋子,摆着二十几张升降桌,正中间是四块八十寸的拼接屏。
顾屿套着件灰色连帽卫衣站在屏前,手指转着电子触控笔,盯着上面一排损失函数代码看。
门禁滴了一声,玻璃门滑开。
宋阳打头阵,进门就嚷嚷:“顾董,人给您平平安安接回来了!”
顾屿转身,把触控笔往桌沿上一搁,看向宋阳身后的中年男人。
林元庆,清华光学工程硕士,宾大计算机博士。
当过美国NEC实验室媒体分析主管,手里捏着十几个国际计算机视觉顶会大奖,带队拿过ImageNet挑战赛冠军。
两年前被百度高薪挖回国当深度学习实验室主任,今年初百度研究院人事大震荡后短暂接手院长。
国内计算机视觉与图像算法这块,他是站金字塔尖的人物。
陆知远和人事部盯了足足三个月,趁着西二旗内斗见血,拿顶格薪水加期权池硬撬过来的。
顾屿迎上去两步,伸出右手:
“林博士,从京城飞过来,又坐两个钟头车进山,辛苦。”
林元庆快步上前握手。看着面前这张过于年轻的脸,他手上的力道顿了一下:
“顾董,真没想到您亲自在雅安等我。”
来之前林元庆猜过好几种交接场面。
九天实验室的任少卿,或者算法部的周晨、柳云,谁出面都合理。
唯独没料到,直接蹲在实验室等他对接具体项目的,是顾屿本人。
顾屿松开手,指了指旁边的皮转椅:
“任少卿这几天盯着天问四号预训练,脱不开身。再说雪浪纸是我拍板单独立项的亲儿子,今天找着新当家,我不来交个底,晚上睡不踏实。”
他扭头看向还杵在门口的宋阳三人,挥挥手:
“行了,跑一下午,先去食堂吃口热乎饭。我跟林博士单聊。”
宋阳三个应了一声,麻溜退出去带上门。
玻璃门合拢,屋里只剩外围液冷管道的低鸣。
顾屿抄起触控笔点亮四块拼接屏,调出网络架构图和过去三个月的训练日志。
“林博士,搞技术的就不整酒桌寒暄那套了,直接看东西。”
触控笔尖敲了敲屏幕左上角的模块:
“雪浪纸走的是扩散模型路线,现在学术界主流的生成对抗网络,咱们全扔了。正向往图像里逐步加高斯噪声,反向用U-Net结合交叉注意力机制去噪还原。”
顾屿划动屏幕调出底层代码库:
“过去三个月,宋阳他们把五百一十二乘五百一十二分辨率的单主体生成跑通了,但眼下卡在两个工程死穴上。”
“第一,多主体交互时空间注意力溃散。文本编码器的语义特征在深层网络里互相污染,画出来的人手多长指头,或者背景结构错位。”
“第二,马尔可夫链采样步数太长。传统DDPM采样器得跑上千步,换成上个月刚改的加速算法,出一张高清图还得跑五十步迭代,耗时将近四秒。”
林元庆站在大屏前,脸上的客套笑意早收了。
他往前迈了半步,推了下无框眼镜,视线盯着顾屿笔尖划过的那几行红色损失函数公式。
来锦城前,林元庆读过顾屿挂名通讯作者的那篇《AttentiOn IS All YOU Need》。
但他毕竟在大厂待久了,总觉得这位年轻首富也就是把控个大方向,具体代码和数学推导肯定得靠底下博士生。
可刚听完这三分钟,林元庆后背有点发紧。
对U-Net跳跃连接层梯度消失的定位,对采样器微分方程求解器步长的拆解,这根本不是看几页汇报PPT能背下来的词儿。只有天天泡在代码堆里调参的总架构师,才能张嘴就来。
这年轻老板把扩散模型的底裤都摸透了。
顾屿没留意林元庆的脸色,手指在屏上一划,切出另一个打着加密水印的独立代码分支。
“全尺寸高清文生图算力开销太大,留给你接手后慢慢带团队啃。”
顾屿拿笔指着新模块,
“不过在死磕文生图之前,上个月我带宋阳他们把早期扩散底座剥出来一块,专门针对Inpainting做了轻量化裁剪。”
他在白板上随手画了个带缺口的方框。
Inpainting,图像修复与补全。
传统算法只能修点小划痕或者纯色背景,要是照片里抠掉个大活人或者电线杆,只能拿周围像素硬涂,补出来糊成一团。
但用扩散模型做Inpainting,是先拿掩码把不要的残缺处圈出来,往局部注入高斯噪声。
模型读取缺口周围的光影、纹理和透视关系,再调用预训练底座里的现实世界常识,在噪声里一步步去噪重构,把缺掉的画面顺理成章地“脑补”出来。
顾屿点点屏幕上的延时测试数据:
“我让他们把参数量裁剪量化到两亿以内,锁死局部掩码的注意力感受野。不用它凭空画世界名画,只根据周围像素上下文,填补重绘局部区域。”
林元庆盯着测试对比图,脱口道:
“全局生成降维成局部条件重绘,计算量能砍掉八成以上,空间逻辑错乱也绕过去了。”
“就这个账。”顾屿把触控笔扔回笔槽,拍拍手,
“底层算法已经跑通了,柳云和周晨这几天正带人做黑盒封装,准备直接塞进九月即将发布的手机里。”
“塞手机里?”林元庆追问,“顾董,就算砍过显存占用,移动端跑起来也不轻松。打算封装成什么功能?”
顾屿靠在实验桌沿上,冲他眨了下眼:
“具体什么形态,用在哪块芯片架构上,先卖个关子。离九月十二号的联合发布会就剩半个来月,到时候林博士坐台下看实机演示。”
他顿了顿,指了指身后四块写满公式的大屏:
“这玩意儿充其量是个开胃菜,拿雪浪纸边角料攒出来的阶段性应用。雪浪纸往后要干的,是任意分辨率的秒级高清生成,把三维空间控制、骨骼姿态绑定全揉进底座里。再往后跟旁边的方寸山世界模型合流,直接从静态图推演到动态视频。”
顾屿看着林元庆:
“这些硬骨头,靠我这么个半路出家的甩手掌柜啃不下来。往后雪浪纸和视觉生成这块,林博士,你挑大梁。”
林元庆站在原地,没接话。
他在美国待了十几年,又在西二旗干了两年多。
在老东家的时候,每天一半精力花在写PPT给不懂技术的业务高管做科普,另一半精力用来跟搜索部门的老臣子抢显卡、争预算,改个立项方向能开十几个会扯皮。
外行指导内行,逼着研究院搞短期变现的噱头。
他宁可不要未归属的期权也要走人,就是受够了这口气。
现在脚下是掏空半座山的地下算力堡垒,对面是比首席科学家还懂行、却痛快把技术大权交出来的老板。
林元庆吸了口气,把胸口那股热流压下去,挺直腰背:
“顾董,有这句话,我林元庆要是做不出动静,没脸在计算机视觉圈子里混。”
顾屿哈哈一笑,抓起桌上的最高权限门禁卡和签好字的交接单递过去:
“从今天起,雪浪纸现有的四十几号骨干,加上知远刚从工程院和秋招提前批划过来的八十个专项编制,凑齐一百二十号人。二号算力集群拨四千张专属计算卡,全归你调遣。”
“钱不够找知远,算力不够找徐静。我只管年底看你的大图。”
林元庆接过门禁卡攥进手心,重新伸出右手。
顾屿伸手,两只手在实验台前握紧。
银灰色的星驰S9顺着山谷公路拐过三道弯,过完两处荷枪实弹的岗亭,钻进半山腰的迷彩伪装网。
防爆门滑开。宋阳、秦朗和韩冬带着刚从双流机场接回来的林元庆,换上防静电白大褂,顺着通道往地下走。
顾屿没在二号主控大厅,人在地下二层东侧的“雪浪纸”专项实验室。
两百多平的屋子,摆着二十几张升降桌,正中间是四块八十寸的拼接屏。
顾屿套着件灰色连帽卫衣站在屏前,手指转着电子触控笔,盯着上面一排损失函数代码看。
门禁滴了一声,玻璃门滑开。
宋阳打头阵,进门就嚷嚷:“顾董,人给您平平安安接回来了!”
顾屿转身,把触控笔往桌沿上一搁,看向宋阳身后的中年男人。
林元庆,清华光学工程硕士,宾大计算机博士。
当过美国NEC实验室媒体分析主管,手里捏着十几个国际计算机视觉顶会大奖,带队拿过ImageNet挑战赛冠军。
两年前被百度高薪挖回国当深度学习实验室主任,今年初百度研究院人事大震荡后短暂接手院长。
国内计算机视觉与图像算法这块,他是站金字塔尖的人物。
陆知远和人事部盯了足足三个月,趁着西二旗内斗见血,拿顶格薪水加期权池硬撬过来的。
顾屿迎上去两步,伸出右手:
“林博士,从京城飞过来,又坐两个钟头车进山,辛苦。”
林元庆快步上前握手。看着面前这张过于年轻的脸,他手上的力道顿了一下:
“顾董,真没想到您亲自在雅安等我。”
来之前林元庆猜过好几种交接场面。
九天实验室的任少卿,或者算法部的周晨、柳云,谁出面都合理。
唯独没料到,直接蹲在实验室等他对接具体项目的,是顾屿本人。
顾屿松开手,指了指旁边的皮转椅:
“任少卿这几天盯着天问四号预训练,脱不开身。再说雪浪纸是我拍板单独立项的亲儿子,今天找着新当家,我不来交个底,晚上睡不踏实。”
他扭头看向还杵在门口的宋阳三人,挥挥手:
“行了,跑一下午,先去食堂吃口热乎饭。我跟林博士单聊。”
宋阳三个应了一声,麻溜退出去带上门。
玻璃门合拢,屋里只剩外围液冷管道的低鸣。
顾屿抄起触控笔点亮四块拼接屏,调出网络架构图和过去三个月的训练日志。
“林博士,搞技术的就不整酒桌寒暄那套了,直接看东西。”
触控笔尖敲了敲屏幕左上角的模块:
“雪浪纸走的是扩散模型路线,现在学术界主流的生成对抗网络,咱们全扔了。正向往图像里逐步加高斯噪声,反向用U-Net结合交叉注意力机制去噪还原。”
顾屿划动屏幕调出底层代码库:
“过去三个月,宋阳他们把五百一十二乘五百一十二分辨率的单主体生成跑通了,但眼下卡在两个工程死穴上。”
“第一,多主体交互时空间注意力溃散。文本编码器的语义特征在深层网络里互相污染,画出来的人手多长指头,或者背景结构错位。”
“第二,马尔可夫链采样步数太长。传统DDPM采样器得跑上千步,换成上个月刚改的加速算法,出一张高清图还得跑五十步迭代,耗时将近四秒。”
林元庆站在大屏前,脸上的客套笑意早收了。
他往前迈了半步,推了下无框眼镜,视线盯着顾屿笔尖划过的那几行红色损失函数公式。
来锦城前,林元庆读过顾屿挂名通讯作者的那篇《AttentiOn IS All YOU Need》。
但他毕竟在大厂待久了,总觉得这位年轻首富也就是把控个大方向,具体代码和数学推导肯定得靠底下博士生。
可刚听完这三分钟,林元庆后背有点发紧。
对U-Net跳跃连接层梯度消失的定位,对采样器微分方程求解器步长的拆解,这根本不是看几页汇报PPT能背下来的词儿。只有天天泡在代码堆里调参的总架构师,才能张嘴就来。
这年轻老板把扩散模型的底裤都摸透了。
顾屿没留意林元庆的脸色,手指在屏上一划,切出另一个打着加密水印的独立代码分支。
“全尺寸高清文生图算力开销太大,留给你接手后慢慢带团队啃。”
顾屿拿笔指着新模块,
“不过在死磕文生图之前,上个月我带宋阳他们把早期扩散底座剥出来一块,专门针对Inpainting做了轻量化裁剪。”
他在白板上随手画了个带缺口的方框。
Inpainting,图像修复与补全。
传统算法只能修点小划痕或者纯色背景,要是照片里抠掉个大活人或者电线杆,只能拿周围像素硬涂,补出来糊成一团。
但用扩散模型做Inpainting,是先拿掩码把不要的残缺处圈出来,往局部注入高斯噪声。
模型读取缺口周围的光影、纹理和透视关系,再调用预训练底座里的现实世界常识,在噪声里一步步去噪重构,把缺掉的画面顺理成章地“脑补”出来。
顾屿点点屏幕上的延时测试数据:
“我让他们把参数量裁剪量化到两亿以内,锁死局部掩码的注意力感受野。不用它凭空画世界名画,只根据周围像素上下文,填补重绘局部区域。”
林元庆盯着测试对比图,脱口道:
“全局生成降维成局部条件重绘,计算量能砍掉八成以上,空间逻辑错乱也绕过去了。”
“就这个账。”顾屿把触控笔扔回笔槽,拍拍手,
“底层算法已经跑通了,柳云和周晨这几天正带人做黑盒封装,准备直接塞进九月即将发布的手机里。”
“塞手机里?”林元庆追问,“顾董,就算砍过显存占用,移动端跑起来也不轻松。打算封装成什么功能?”
顾屿靠在实验桌沿上,冲他眨了下眼:
“具体什么形态,用在哪块芯片架构上,先卖个关子。离九月十二号的联合发布会就剩半个来月,到时候林博士坐台下看实机演示。”
他顿了顿,指了指身后四块写满公式的大屏:
“这玩意儿充其量是个开胃菜,拿雪浪纸边角料攒出来的阶段性应用。雪浪纸往后要干的,是任意分辨率的秒级高清生成,把三维空间控制、骨骼姿态绑定全揉进底座里。再往后跟旁边的方寸山世界模型合流,直接从静态图推演到动态视频。”
顾屿看着林元庆:
“这些硬骨头,靠我这么个半路出家的甩手掌柜啃不下来。往后雪浪纸和视觉生成这块,林博士,你挑大梁。”
林元庆站在原地,没接话。
他在美国待了十几年,又在西二旗干了两年多。
在老东家的时候,每天一半精力花在写PPT给不懂技术的业务高管做科普,另一半精力用来跟搜索部门的老臣子抢显卡、争预算,改个立项方向能开十几个会扯皮。
外行指导内行,逼着研究院搞短期变现的噱头。
他宁可不要未归属的期权也要走人,就是受够了这口气。
现在脚下是掏空半座山的地下算力堡垒,对面是比首席科学家还懂行、却痛快把技术大权交出来的老板。
林元庆吸了口气,把胸口那股热流压下去,挺直腰背:
“顾董,有这句话,我林元庆要是做不出动静,没脸在计算机视觉圈子里混。”
顾屿哈哈一笑,抓起桌上的最高权限门禁卡和签好字的交接单递过去:
“从今天起,雪浪纸现有的四十几号骨干,加上知远刚从工程院和秋招提前批划过来的八十个专项编制,凑齐一百二十号人。二号算力集群拨四千张专属计算卡,全归你调遣。”
“钱不够找知远,算力不够找徐静。我只管年底看你的大图。”
林元庆接过门禁卡攥进手心,重新伸出右手。
顾屿伸手,两只手在实验台前握紧。
为更好的阅读体验,本站章节内容基于百度转码进行转码展示,如有问题请您到源站阅读, 转码声明。
圣墟小说网邀请您进入最专业的小说搜索网站阅读高二分科,我选校花也选亿万身家,高二分科,我选校花也选亿万身家最新章节,高二分科,我选校花也选亿万身家 圣墟小说网!
圣墟小说网邀请您进入最专业的小说搜索网站阅读高二分科,我选校花也选亿万身家,高二分科,我选校花也选亿万身家最新章节,高二分科,我选校花也选亿万身家 圣墟小说网!
