第十三章 百分之九十四

数据到位以后，苦栗变了。

变化是从三月开始的。

三月第一周，花班把清洗过的第一批语料，一千万条，挂进训练管线。机房的暖气还没停，窗户上蒙着一层水汽，屏幕的光在玻璃上照出一块白。

跑了一夜。

第二天早上，验证集准确率：八十九点一。

从八十六点四到八十九点一，涨了二点七。

花班盯着那个数字，盯了一分钟。然后她跑到楼道里，冲着窗户喊了一嗓子。声音撞在对面楼上，弹回来一点。

喊完回来，老檀蹲在窗台上，嘴里叼着烟，没点着。

“喊什么？”

“涨了。”

“涨了是正常的。”老檀说，“数据量翻了八十倍，涨二点七，涨少了。”

花班站在门口，手还扶在门框上。

“按经验该涨五到八个点。”老檀把烟从嘴里拿下来，看了看烟头，“咱们只涨了二点七。”

他停了一下。

“说明有别的东西在拖。”

“什么东西？”

老檀跳下窗台，鞋底在水泥地上磕出两声。

“模型。”他说。

拖后腿的是 core.py。

花班从十一月底开始写，写到二月，三个月，推倒了四次。第四次是二月二十六号，那天她删了六百八十行，删完坐在工位上，一句话没说，坐了俩小时。老檀给她买了一份炒饭，放在桌角，凉了，她没动。

现在跑着的是第五版。能训练，能收敛，能推理。

但它是个凑合的东西。花班自己知道。

她用的是低秩分解，r 取三十二。跑出来 loss 零点三四，跟推导里三十二那一组对得上。对得上，说明她写对了。

但是。

三月的第二周，两个人在白板前站了一下午。白板擦过一遍，底下还留着上一版的印子，灰的。

花班把第五版的结构画上去，粉笔灰落了一鞋面。画完，她指着其中一段。

“这一段。”

“哪儿不满意？”老檀问。

“门控。”花班说，“我用了最土的写法。两个线性层，中间夹一个 sigmoid。”

“跑得动吗？”

“跑得动。”

“那不满意什么？”

花班低下头，粉笔在指间转了半圈。

“因为它跟别人写的一样。”

“跟谁一样？”

“跟所有人的都一样。”花班说，“你去看任何一份轻量注意力的实现，门控都是这么写的。”

她抬起头。

“我照着推导写，写到这一段，脑子里冒出来的第一个东西就是这个。”

“为什么？”

“因为我见过。”花班说，“大一看过一个帖子，帖子上就是这么写的。”

她停了一下。

“我删了那个帖子的收藏，删了硬盘上所有跟注意力有关的代码。但我脑子里的那份，删不掉。”

老阙在角落里把那条伤腿从凳子上搬下来，脚在地上试了试。

“花班。”

“嗯。”

“你这个门控，跟别人一样，会怎么样？”

“会被 verify 判吗？”花班问。

老阙没答，只看着她。

花班愣了一下，想了想。

“不会。”她说，“verify 只查三件事：有没有调用第三方库、权重指纹是不是像某个开源模型、有没有推倒重写。”

她停了一下。

“我这个门控是自己写的，不是抄的。它能过。”

“那不就行了。”

“不行。”

老阙把腿收回去。

花班低下头，看着白板上那个方框。

“因为‘能过’和‘是对的’，不是一回事。”

老檀往前半步，站到白板前面。他的影子把那个方框盖住了一半。

“你说清楚。”

“檀哥，我这两个月一直在想一件事。”

“什么事？”

“core.py 里那组参考数字。”花班说，“四十八那一组，写着四十一毫秒，loss 零点三一二，后面两个字是‘临界’。”

她用粉笔在那两个字上点了一下，留下一个白点。

“我一直在想，‘临界’是什么意思。”

“想出来了吗？”

花班摇头。

“没有。但我想明白了另一件事。”

“什么事？”

“那四组数字，”她说，“不是给你抄的。”

“那是什么？”

“是给你对的。”花班说，“你自己写出来，跑一遍，跑出来跟他这个数对得上，说明你写对了。对不上，说明你哪里写错了。”

老檀站在那儿，看着白板上那四个数字的位置。

“所以那四组数字，是一把尺。”

“是一把尺。”

“那你现在，”老檀说，“用这把尺量过你的门控了吗？”

花班愣住了，张了张嘴。

“我。”

“量过没有？”

“……没有。”

“为什么？”

花班低下头。

“因为我不敢。”

“不敢什么？”

“不敢量。”花班说，“我怕量出来对不上。对不上我就得推倒。第五次了。”

老檀走到白板前，拿起板擦。他擦得很慢，从方框的左上角开始往下推，粉笔灰落在袖口上。

擦完，白板上剩一个空。

“花班。”

“嗯。”

“你去年校赛被刷了。”

“我知道。”

“刷你的理由，你还记得吗？”

花班低下头。

“记得。‘参赛单位未挂靠，资格待定’。”

“不是这个。”

花班抬起头。

“那是什么？”

老檀把板擦放回槽里。

“没有一个人看过。”

花班没说话。窗外有人在楼下打羽毛球，球拍打在球上，一声一声，隔着玻璃，很闷。

“咱们这一年，”老檀说，“做苦栗，做承露，去行政楼谈判，去东门找周野，去五楼找铁翼，半夜去开那台机器。”

他停了一下。

“咱们做的所有事，说到底就是为了不让一句话成立。”

“哪一句？”

老檀看着她。

“别让我们做的东西，没被人看过。”

花班站在那儿，站了一会儿。然后她转身走到工位上坐下，打开 core.py，把那个门控函数从头到尾看了一遍。

看完，她敲了一条命令。屏幕上跳出五次提交。

五次推倒。

她盯着那五行，然后伸出手，把那个门控函数整个选中，按下了删除。

删除以后，她开始重写。

这一次，她没有照脑子里的那份写。他从推导开始。

推导里写着：把 QK 的乘积拆成两块相乘，先算 V 那一侧，用结合律换顺序。

后面被截断了。截断的地方，什么都没有，只有一条注释：

此处省略四十七步，见 verify.py。

花班敲开了 verify.py，翻到那一段。那一段不长。看完，她的手停在键盘上。

那段代码的意思只有一句：它不给你看那四十七步，它要你自己推。

推完以后，它会检查你推出来的东西，跟原始推导是不是“同构”。判定方式很笨：在一千组随机输入上采样，比较输出。误差小于万分之一，算同构。

花班盯着那几行，手指从键盘上拿下来。

“檀哥。”

“嗯。”

“它不告诉我答案。”她说，“它只告诉我，我推出来的对不对。”

“只告诉你这个。”

花班低下头。

“那我要是推不出来呢？”

老檀站在她身后，手插在冲锋衣兜里。

“接着推。”

那天是三月十九号。

从三月十九号到四月二号，花班推了十五天。十五天里，她推了三十七步。第三十八步，卡住了。

卡住的地方，是一个变换。她试了六种变换，全部对不上。

四月二号晚上十一点，她把第六种变换删了。删完，她坐在工位上，坐到凌晨一点。屏幕的光照着她半边脸，另一半在暗里。

这十五天，机房里的气氛变了。

花班话少了。原来她一天能说三百句，后来一天说不了三十句。她桌上堆了六个泡面桶，桶里的汤都干了，结了褐色的壳。灰贝偷偷收走过两次，收完她又从垃圾桶里捡回来，说“别动，我数着呢”。

老阙每天晚上来一趟，不说话，在角落坐半小时，走。

老檀每天早上来，看一眼屏幕上的进度，把一份早饭放在桌角，然后蹲到窗台上去。

第四天早上，花班说：“檀哥，你别放了，我不吃。”

老檀说：“放着。”

第五天早上，花班把那份早饭吃了。

凌晨一点，老檀从楼道里进来，看见她还坐着。

“卡住了。”

花班没抬头，手指还搭在键盘上。

“第几步？”

“三十八。”

老檀走到她旁边蹲下，膝盖响了一声。

“你推到第三十八步，用的是什么方法？”

“低秩分解。”

“一直用的。”

花班这才转过头，点了一下。

老檀点头。

“花班。”

“嗯。”

“你从第一步开始，”他说，“用的都是低秩分解。”

“是。”

“为什么？”

花班愣了一下。

“因为推导里第一句就是：令 Q 等于 x 乘 W_Q，K 等于 x 乘 W_K，V 等于 x 乘 W_V，其中 W 是 D 乘 r，r 远小于 D。”

她停了一下。

“r 远小于 D，就是低秩分解。”

老檀蹲在那儿，看着屏幕上那行推导。楼道里有人关水房的门，铁皮碰铁皮，很远。

“花班。”

“嗯。”

“你确定，”他说，“‘r 远小于 D’ 是让你一路用到底的意思。”

花班僵住了。

她盯着那行字，盯了大概十秒。然后猛地转过头。

“檀哥。”

“嗯。”

“这句话，”她说，“没说要一路用到底。”

“没说。”

“它只说第一步这么设。”

老檀站起来，手撑了一下膝盖。

“那第二步呢？”他问。

花班低下头，重新看屏幕。

第二步的推导，她扫过很多遍，从来没细看。现在她细看。

第二步写着：由此，原来那个 L 乘 L 的方阵，被降成了 r 维的隐式表示。

但注意：这里的 r 维表示，不是最终输出。

它还需要一步“再投影”。

“再投影”三个字下面画了一条线。线的下面，有一行手写的小字。

花班念了出来：

“再投影不等于再降维。”

机房里安静下来。老檀的那根烟还在嘴里，没点着。

花班盯着那九个字，盯了大概二十秒。然后她伸出手，把第三十八步那个变换删了。

删完，她闭了一下眼睛。睁开眼，她开始敲。

那一夜，她没有用低秩分解。她用了一个别人没写过的东西。

那个东西说穿了很简单：既然 r 维是“隐式表示”，不是“最终输出”，那再投影的时候，就不该再压。

应该放开。

放开以后，再用一步非线性把它收回来。

敲到凌晨三点四十，敲完了。她跑测试。

屏幕上滚了一会儿。采样一千组随机输入，跟参考比。

最大相对误差：万分之零点三。

判定：通过。

花班盯着那两个字，盯了大概十秒。然后她站起来，走出机房，走到楼道里。

老檀蹲在楼道口，嘴里叼着烟，没点着。楼道的窗户开着一条缝，风把烟吹得歪了。

“檀哥。”

“嗯。”

“过了。”

“我听见了。”

花班站在那儿，站了一会儿。

“檀哥，我刚才在想一件事。”

“什么事？”

“那四十七步，”她说，“他为什么不写出来？”

老檀抬起头，看着楼道尽头的窗户。窗外是黑的。

“因为写出来了，你就是第四十八个人。”

他停了一下。

“推出来了，你才是第一个。”

花班站在那儿。然后她转身回机房了。

四月的第一周，苦栗零点九版跑完。

数据量：三千万条。

核心算子：花班第六次重写。

训练时长：十一天。

验证集准确率：九十四点二。

从八十六点四到九十四点二，涨了七点八。

跑完那一刻，机房里六个人全部站起来了。

花班盯着屏幕上那个数字。老阙一瘸一拐走过来，站在她旁边。灰贝坐在角落，抱着那台笔记本，眼睛一眨不眨。老檀蹲在窗台上，把烟从嘴里拿下来，看了一眼，又塞回去。

然后他跳下窗台。

“花班。”

“嗯。”

“推理延迟，”他说，“跑了吗？”

花班愣了一下，转过头。

“……没跑。”

“跑。”

花班敲了一条命令。屏幕上跑起来，跑了一分钟。

单核，一次一条，重复一千次。

平均延迟二十八点四毫秒。百分位九十九，三十一点一毫秒。

限制是五十毫秒。

判定：通过。

二十八点四毫秒。

花班盯着那行数字，然后转过头，看着老檀。

“檀哥。”

“嗯。”

“二十八点四。”她说。

“我看见了。”

“青锋跑出来是三十九。”

老檀没接，把烟从嘴里拿下来。

“咱们是二十八点四。”

“我看见了。”她说，“你说了三遍了。”

花班低下头，坐了一会儿，又抬起来。

“檀哥，我想问一件事。”

“问。”

“咱们这个东西，现在能跟谁说？”

机房里安静下来。老檀站在那儿，站了一会儿。然后他走到白板前，拿起板擦。

他把白板上所有的公式、所有的架构图、所有的数字，全部擦掉。擦完，白板上什么都没有了，只剩最上面那一行，因为他够不着。

那一行是两个月前他自己写的：

core.py

他在底下重新写了三行。

第一行：九十四点二 / 二十八点四毫秒 / 三千万条 / 两张1080Ti。

第二行：作者：花班（第六次重写）。

第三行：未挂靠，未申报，未认定。

写完，他把板擦放下，转过身。

“花班。”

“嗯。”

“你刚才问，能跟谁说。”

“是。”

老檀看着她。

“我告诉你。”

他停了一下。

“跟谁都别说。”

花班站在那儿。

“为什么？”她问。

老檀走回窗台前，把嘴里那根烟拿下来，在手里转了一圈。

“因为还有七个月。”

“七个月。”

“十一月二十七号，省赛报名系统开放。”老檀说，“十二月四号关闭。”

花班愣住了。

“檀哥，咱们没有备案单位。”

“现在没有。”

“那七个月能弄到。”

老檀把烟塞回嘴里。

“不弄。”

花班张了张嘴。

“咱们不跪。”

“那怎么办？”

老檀看着窗外。窗外是四月，江城的四月，天已经热了，楼下的玉兰开完，落了一地，被踩成黑的。

他看了一会儿，然后说了一句话。

那句话说完，机房里六个人全部坐直了。

老檀说的是：

“报名系统关掉之前，咱们要让‘挂靠’这两个字，变得不重要。”

花班站在那儿。

“怎么让它变得不重要？”

老檀转过身。

“你想想，”他说，“挂靠这件事，为什么重要。”

“因为不挂靠就没名额。”

“对。”老檀说，“没名额，就没资格。没资格，就没认定。没认定，就没加分。”

他停了一下。

“这一串是连着的。”

“是。”

“那你想，”老檀说，“这一串里，哪一环是假的。”

花班低下头，在心里把那一串从头到尾过了一遍。

不挂靠，没名额。没名额，没资格。没资格，没认定。没认定，没加分。

过到第三遍的时候，她停住了。

“檀哥。”

“嗯。”

“我觉得，”她说，“‘没认定’是假的。”

“为什么？”

“因为认定是要看东西的。”花班说，“东西在那儿，它就有。它不会因为你没挂靠，就消失。”

她停了一下。

“九十四点二就是九十四点二。它跟咱们挂不挂靠，没关系。”

老檀站在那儿，看着她。然后他伸手，在花班后脑勺上拍了一下。

“你明白了。”

“我明白了。”

“那你想，”老檀说，“既然认定不靠挂靠。”

他停住了。

“那靠什么？”

他自己接了下去：

“靠有没有人看见。”

花班站了一会儿，走到白板前，拿起粉笔。在老檀写的那三行底下，加了第四行。

第四行只有三个字：

给人看。

写完，她放下粉笔，转过身。

“檀哥。”

“嗯。”

“给谁看？”

老檀看着白板上那三个字。

“给所有人看。”

那天夜里，北枢散得比平时晚。

花班最后一个走。走到门口，她忽然停住，手搭在灯绳上。

“檀哥。”

“嗯。”

“我刚才一直在想一个数字。”

“什么数字？”

“一亿两千八百万。”花班说，“咱们现在用了三千万。”

“是。”

“那还剩九千八百万。”

“是。”

花班低下头，灯绳在她手里晃。

“檀哥，你说那九千八百万条数据，躺了三年零十个月。”

“躺了。”

“这三年零十个月里，”她说，“是不是有人，天天从那台机器旁边走过去？”

老檀蹲在窗台上，嘴里叼着烟，没点着。他看着窗外。

然后他说：

“天天走过去。”

他停了一下。

“三年零十个月，一千四百多天。”

“没有一个人按过那个电源键。”

本书首发来自17K小说网，第一时间看正版内容！