第二章 第一行

白板上那三行字，是花班写的。

一、不联网。

二、不依赖任何要申请的算力。

三、三楼的旧机器跑得动。

写完她把笔帽扣上，退后一步看了看，觉得字有点丑，又不好意思擦。

老檀拿过笔，在第三行底下画了一道横线。

“这条最难。”老阙说。

他坐在角落，伤腿搁在小板凳上。这屋里只有他说话前会先停半拍，像在心里把数算完才开口。

“先说机器。三楼三台，能算的只有那台双路的，2011年的货，十六核，六十四G内存，没有固态盘。”他说，“要跑现在那些开源的东西，一张卡不够。”

“所以不跑那些。”老檀说。

“跑什么？”

“跑咱们自己写的。”

老阙把腿从板凳上收下来，抬头看他：“自己写要六个人。六个人里，能写代码的两个，只会前端的一个，腿不好的一个。”

“腿不好的那个，昨天半夜拆了台电源。”老檀说。

“那也算一个。”

孙鹏在旁边举手，手里还捏着筷子：“我算第七个。但郎哥，有句话我得说在前头。”

“说。”

“咱这楼晚上十一点断电。”孙鹏说，“宿舍统一熄灯，机房跟着断。早上八点来电，中间九个小时，机器是黑的。”

花班愣了一下：“九个小时？”

“九个小时。”孙鹏说，“你一个模型要跑三十轮，一轮四十分钟，算算是多少。”

花班闭着嘴算。

“二十个小时。”

“二十个小时，”孙鹏说，“咱们只有九个小时。跑一半断电，第二天从头来。这不是干活，这是给电网打工。”

机房里静了几秒。

老檀把粉笔在手里转了半圈。

“那就把模型定小。”他说，“小到九个小时能跑完。”

“多小？”

“现在还不知道。”老檀走到白板前，“但我知道它得满足三条：不联网，不吃算力，断电前跑得完。”

定架构那天，花班在另一块白板上画了七版。

第一版到第六版，全被她自己擦掉了。第七版画到一半，老檀把她叫停。

“停。这个框是什么？”

“嵌入层。”

“多少维？”

“768。”

“为什么是768？”

花班愣了一下。

“因为……大家都用768。”

“谁？”

“BERT就是768。”

老檀点点头，走到窗台前，在那台老交换机上吹了吹灰，吹得自己咳了两声。

“你说说，人家为什么是768？”

“因为效果好。”

“原因我告诉你。”老檀说，“那帮人试过512，试过768，试过1024，最后发现在他们的机器上，768最划算。”

“他们的机器是什么？”他转过身，“是成排的卡，插满一整个机房。咱们的机器是什么？”

花班看着那台机箱。

“……两张卡。”

“一张多大？”

“十一G。”

“两张呢？”

“二十二。”

“二十二G里，还得留出系统、留出缓存、留出你半夜忘了关的浏览器。”老檀说，“你打算拿几个G喂768？”

花班张了张嘴，没说出来。

老檀拿板擦把那个“768”抹了，粉笔停在空框上。

“二百五十六。”他说，“先跑二百五十六。”

“二百五十六会不会太寒碜？”

老檀把粉笔递给花班。

“你试三档。二百五十六，三百八十四，五百一十二。每档先跑三轮，看损失值掉得多快。掉得最狠的那一档，就是咱们的。”

“试多久？”

“三天。”

“三天出不来呢？”

“那就六天。”

那三天，机房里没人回宿舍睡过整觉。

第一晚跑二百五十六。花班写了个脚本，把批大小开到三十二，跑起来。进度条在屏幕上一格一格爬，慢得像楼道里那台饮水机烧水。

凌晨一点，爬到百分之十七。

凌晨两点，爬到百分之三十一。

凌晨两点四十，机房的灯闪了一下，屏幕黑了半秒，又亮起来。

花班猛地站起来，椅子在地上一声尖叫。

“操。”

她扑到窗台前，把交换机的电源拔了又插上。交换机重启，风扇重新转起来，那排绿灯一颗一颗亮回去。

进度条还在动。

停在百分之三十一的位置，往前爬了一格。

花班盯着那一格看了三秒，忽然转过头。

“檀哥，交换机重启了。”

“我看见了。”

“训练没断。”花班说，“因为训练跑在本地，不经过网。”

老檀从门口走过来，蹲在她旁边，看着那条慢慢往前拱的进度条。

“记下来。”他说。

“记什么？”

“记今天这一下。”老檀站起来，走到白板前，在那行“一、不联网”底下画了一道横线，横线下写三个字：已验证。

写完他回头看了一眼花班。

“以后每次电压不稳，你都盼着它跳一下。”他说，“跳一次，就是替咱们验一次货。”

那三天的作息，后来成了北枢的规矩。

九个小时的窗口，得有人盯着。花班排了个班，四个人轮，每人两个钟头，剩下两个睡觉。值班的人不许碰键盘，只许看屏幕和温度，出了岔子就喊人。

第一夜守头班的是灰贝。他抱着那台裂屏笔记本坐在机箱旁边，把手机闹钟设成每十分钟响一次，响一次就看一眼温度。

“你不用这么紧张。”花班说。

“我怕它炸。”

“炸不了。它要是想炸，早炸了。”

“那它要是不想跑完呢？”

花班被问住了。

凌晨三点半，灰贝忽然敲了敲桌子：“檀哥，温度掉了一度。”

老檀从折叠床上坐起来，走过来看了一眼。

“风扇转速自己上去了。”他说，“它热了会自己想办法。”

灰贝把这一句记在本子上，写完抬头：“那人呢？”

“人得记账。”老檀说。

从那天起，灰贝有了第一个正式的活：记账。谁几点到，几点走，跑了哪一档，屏幕上出过什么红字，全记。他记在一本五块钱的作业本上，字小，密，一页能写三十行。

孙鹏管饭。他每天中午骑一辆掉了链子的自行车去二食堂，打包六份饭，用两个塑料袋挂在车把上，回来的时候汤洒一半。

“你们这活，”他把饭往桌上一放，“比我高中在工地搬砖还费人。”

“那你还来？”

“我算过。”孙鹏说，“搬砖一天一百二，这活一天零元。但我在这儿学到的东西，出去能换一百二。”

他顿了一下。

“当然，前提是这活儿能出去。”

第二天下午，老松在群里催活。

一批竞赛报名的名单核对，要求当天交。花班的电脑正跟着跑训练，一开表格就卡。

“檀哥，怎么办？”

“用那台旧的。”老檀说，“慢一半，但能跑。”

“用旧的那台，我今晚就交不了。”

“那就明天早上交。”

“明天早上，老松会记一笔‘延迟’。”

老檀看了她一眼。

“记一笔就记一笔。”他说，“训练不能停。训练停了，咱们就永远只能给人核名单。”

花班把名单拷到旧机器上，一边核一边骂。

那天夜里两点，她核完了。

第二天早上八点，她把名单发过去。老松回了两个字：收到。

没有记延迟，也没有说别的。

花班看着那两个字，忽然觉得有点没意思。

“檀哥，我核了六个小时。”她说，“他回我两个字。”

老檀把烟从嘴里拿下来，看了一眼，又叼回去。

第二晚跑三百八十四。

跑到第二个钟头，花班发现损失值掉得比二百五十六快。她拿纸算了算，快了百分之十八。

“檀哥，快十八个点。”

老檀正蹲在地上拆一台旧电源，螺丝刀咬着一颗滑丝的螺钉。

“代价呢？”

“什么代价？”

老檀把螺丝刀抽出来。“你拿什么换的？”

花班低头翻记录。

“……显存。批大小从三十二降到二十四。”

“降了八。”

“嗯。”

“一轮多跑多久？”

“……六分钟。”

“三十轮下来，多三个小时。”老檀说，“三个小时，够不够你在断电前跑完？”

花班算了一下，脸白了。

“不够。”

“那就是拿‘跑不完’换了‘快十八个点’。”老檀把螺丝刀重新插进螺钉，“这个价，你觉得值吗？”

花班没说话。

老檀把电源盖扣上，站起来。

“以后你所有东西，都这么报。”他说，“报两个数：一个是你得到了什么，一个是你拿什么换的。”

“那要是两个数都报了，还是亏呢？”

“亏就认。”老檀说，“认了以后再想怎么把亏的赚回来。别瞒。”

第三晚跑五百一十二。

五百一十二跑到第二轮，出事的不是代码，是卡。

那两张卡是老檀大二从闲鱼上淘的矿卡，淘来的时候风扇就响。他拆开清过一次灰，声音小了点，没根治。这一晚，第一张卡四十分钟爬到八十七度。八十七度是降频线，一过线，算力砍半，第二轮两个钟头还没跑完。

凌晨三点十二分，屏幕全红。

花班从折叠床上弹起来，鞋都没穿。

“檀哥！卡炸了！”

老檀在楼道里打地铺，被拽起来的时候还没完全醒。他跟着跑进机房，站在那台机器前面，看着屏幕上那行红字。

看了一会儿，他伸手把电源线拔了。

“檀哥！”

“拔了。”

“数据——”

“数据在本地盘上。”老檀说，“训练崩了，盘不会崩。”

他把电源插回去，按下开机键。机器嗡一声起来，风扇的动静不对，多了一种金属摩擦的咔啦声。

老阙从角落站起来，一瘸一拐走过来，蹲在机箱前面，侧着耳朵听。

听了三秒。

“风扇轴承坏了。”

“能换吗？”

“能。要拆卡。”

“多久？”

老阙抬头看了一眼墙上的钟。三点二十。

“二十分钟。”

“换。”

那是北枢的人第一次看老阙拆显卡。

他坐在地上，伤腿伸直了搁在小板凳上，把卡从机箱里抽出来，垫在膝盖上。拆风扇要卸四颗螺丝，螺丝小，他手里那把螺丝刀头有点滑，第一颗打滑了三次。

第三次打滑，他的右手抖了一下。

花班蹲在旁边，这才看清：老阙的右手，无名指是弯的。

不是天生的弯，是断过以后没接好，长歪了。

“阙哥，你手……”

“大二拆机器夹的。”老阙没抬头，“夹完去医务室，医务室说先挂号。挂完号回来，手指已经肿成萝卜了。”

他拧下第二颗螺丝。

“后来就没接。反正也不耽误拧螺丝。”

花班没敢再问。

风扇换好是三点五十八。老檀把卡插回去，开机，跑诊断。温度三十六，风扇转速百分之三十，噪音正常。

老阙撑着地想站起来，起到一半，没起来。

花班伸手去扶，他摆摆手。

“腿麻了。”

他扶着机箱，慢慢把那条腿收回来，站直。

“檀哥。”

“嗯。”

“这卡再炸两次，就真废了。”老阙说，“废了，两千四就打水漂了。咱们没有第二个两千四。”

老檀看着屏幕上慢慢往上爬的温度。三十六，三十八，四十一，四十三。爬得稳。

“五百一十二不跑了。”他说。

“跑三百八十四？”

“跑三百八十四。批大小二十四，一轮四十六分钟。”

花班在旁边算：“断电前能跑十轮。三十轮要三天。”

“三天以后呢？”

老檀拍了拍机箱侧板。

“三天以后，这东西跑通。”

第四天傍晚，苦栗跑通了。

跑通的意思是：损失值从零点九一掉到零点二三，在验证集上的准确率到了八十六点四。

八十六点四这个数，放在当年的任何一个榜单上都不好看。开源社区里最好的同类模型能到九十二点三。

但它是用两张二手矿卡、一台 2011 年的双路机、和一台刚换过风扇轴承的破机器，在每天晚上断电九个小时的楼里，跑了三天三夜跑出来的。

而且它不联网。

跑通那一刻，机房里没人说话。

花班盯着屏幕上那个“86.4”，看了半分钟。

“檀哥。”

“嗯。”

“八十六点四，比人家低六个点。”

老檀蹲在窗台上，嘴里叼着烟，没点着。窗外天黑了，行政楼那边的灯还亮着，二层那间屋子的玻璃门上，三张纸还贴着。

“人家八张卡，一张十万。”他说，“八十万。咱们两千四。”

“可咱们还是低六个点。”

“低六个点，是差在哪？”

花班张了张嘴。

“……数据量。人家的语料是咱们的三十倍。”

“对。”老檀说，“所以这六个点不是脑子差，是钱差。钱差三百三十倍，点差六个。你觉得哪头划算？”

花班愣了一下，忽然笑了。

“檀哥，你这么一算，我还挺得意。”

“得意可以，别当真。”老檀说，“咱们只有两千四的时候，六个点是天花板。等哪天有两万四了，这六个点还得往下压。”

模型得有名字。

老阙先提的：“总不能一直叫它‘那个东西’。”

“叫什么？”

“你起。”

老檀在窗台上坐了很久。窗玻璃上蒙着白机的热气，他把那根没点的烟在指间转来转去，忽然说：“苦栗。”

“苦栗？”

“一种长在石头缝里的树。”老檀说，“果子是苦的，嚼碎了咽下去，肚子里有东西垫着。”

他把烟从嘴里拿下来，在手里转了一圈。

“学生会不会要这种果子。他们要甜的那种，摆在盘子里，能拍照的那种。”

老阙点点头：“那咱们就自己嚼。”

孙鹏忽然开口。他一直蹲在门口，把账本摊在膝盖上。

“檀哥，我算了一笔账。”

“说。”

“这三天，机器没停过。三台机加交换机，满负荷跑，一小时两度电，一天四十八度。”孙鹏说，“宿舍电不要钱，但这楼是教学用电，走总表。后勤要是查，一查就查出来。”

“查出来会怎样？”

“最轻是断电，最重是通报。”孙鹏说，“通报上写‘学生私自占用教学用电’，那咱们就真的一点退路都没了。”

机房里静了几秒。

“那就省。”老檀说。

“怎么省？”

“训练的时候，屋里不许开灯。人少开一台机，少开一台显示器。”老檀说，“我这两天不睡这儿了，我回宿舍睡。少一个人在这儿，少一盏灯。”

“你回去睡，谁盯夜班？”

“灰贝盯。”

灰贝猛地抬头：“我？”

“你记性好，眼睛也尖。”老檀说，“你一晚上能记三十行，这就是本事。别人记不了这么细。”

灰贝把本子往怀里抱了抱，耳朵红了。

那天夜里，白板上多了一行字。

不是公式，也不是架构图，是一行很土的话：

苦栗 v0.1 / 2023.10.17 / 86.4 / 两张 1080Ti / 断电前跑通

底下是六个人的名字，花班一个一个写上去。

写到一半她停住：“檀哥，署名怎么排？”

“按干活多少排。”

“怎么算干活多少？”

老檀想了想。

“按提交数。”他说，“谁提交多少次，谁改了多少行，一目了然。这个数骗不了人。”

花班把名字写完，转身去敲命令。

屏幕跳出来一个数字。

一。

只有一。因为这是第一次提交。

她看着那个“1”，忽然有种说不清的感觉，像站在一口刚挖开的井边上，往下看，看不见底。

“檀哥。”

“嗯。”

“以后要是有人问咱们凭什么署名，就把这个数给他看？”

“对。”老檀说，“这个数，是这屋里唯一一个不会说谎的东西。”

人都走了以后，老檀一个人留在机房。

他走到墙角那台 07 号机前面，蹲下，伸出手指在机箱侧板上敲了两下。

咚。咚。

声音是闷的。底下不空。

他愣了一下，把腰弯得更低，脸几乎贴到地面。

机箱底下压着东西，只露出一个角。

巴掌大，黑色外壳，边缘磨得发亮，接口处缠着一圈透明胶带。胶带黄了，卷了边。正面贴着一张手写标签，字迹被磨掉一半，只剩前三个字能看清：

工坊。

老檀的手停在半空。

没有伸过去。

外面楼道里，那盏坏灯闪了两下。机房深处，07 号机前面板最底下那颗指示灯，也亮了一下，亮得很轻，像有人在很远的地方点了一支烟，又掐了。

本书首发来自17K小说网，第一时间看正版内容！