……
六点半的时候，晚宴正式开始了。
服务员推着餐车从门口的侧门进来。
宴会厅一共就两桌，李东、高稳、李总坐在主桌。
旁边几个也是比较有分量的人。
包括里云那位副总裁，还有一个看起来像是某家做芯片的初创公司CEO的男人，也都坐在主桌上。
服务员退出去之后，话题自然而然就从最近的天气、最近的政策，慢慢地飘到了“那玩意儿”上面。
“那玩意儿”
这是在场所有人对“GPT-3.5”心照不宣的称呼。
最先开口的是里云AI那位副总裁，姓邱，叫邱明丽。
她端着酒杯，慢悠悠地说道。
“上个礼拜我们组里专门搞了一个内部测试。”
“中文常识题、英文阅读理解、代码生成、数学推理、长文本总结，五个方向，各出了二十道题。”
她叹了口气。
“五个方向，它都赢了。”
桌上一片沉默。
李总放下了筷子，眉头皱着。
“赢得多吗？”
邱明丽自嘲的笑了一声。
“我就不说具体分数了，但差距……不小。”
“尤其是那种需要多步推理的题，我们这边的模型基本上做到第三步就开始胡言乱语了。”
“它还能稳稳地往下推。”
“你把一道国内高考压轴题扔给它，它就算做错，它做错的路子也是对的。”
“它是在认真地算错，不是那种一看就知道在瞎编的错。”
“这个东西，是我们目前的模型最缺的。”
那个戴眼镜的男人放下了刀叉，慢慢地开口。
“邱总，我其实一直有个问题想请教。”
“GPT-3到GPT-3.5中间这一跳，到底关键是跳在哪儿的？”
“外面现在一提就是RLHF，好像那一套人类反馈就是所有答案。”
“但我总觉得没那么简单。”
邱明丽笑了一下。
“你这个问题，问到点子上了。”
“RLHF这几个字，最近被炒得有点太凶了。”
他用筷子头在桌布上虚划了一下。
“GPT-3到GPT-3.5，真正那一跳，不是RLHF。”
“是代码。”
桌上有人愣了一下。
“代码？”
邱明丽点头。
“OpenAI中间悄悄干了一件事。”
“他们在GPT-3的底座上，又灌了一轮超大规模的代码预训练，内部叫code-davinci-002。”
“GitHub上能扒的高质量代码，加上一部分自然语言和代码混在一起的数据，一锅炖进去。”
“灌完这一轮出来，模型的推理能力莫名其妙地就起来了。”
“不光是会写代码了，你让它做数学题、让它做多步逻辑推理、让它分析一段很长的论证，它突然就会想了。”
“业内现在把这个叫做代码带出来的思维链。”
“代码这个东西是很严苛的，你少一个分号它就跑不了。”
“模型在海量代码上被反复蹂躏过一遍之后，它对一步一步地把事情想清楚这件事，就有了一种别的语料给不了的感觉。”
邱明丽顿了一下，抿了一口酒。
“在这个底座上，再往上套指令微调、再往上套 RLHF那才有了ChatGPT。”
“但你要问跳在哪儿，我也只是个人猜测，最关键的一跳我觉得的是在代码预训练那一步。”
“RLHF真正解决的问题，是怎么让这个聪明但是野的模型听人话。”
“它解决的是对齐，不是智商。”
那个戴眼镜的男人慢慢地点头，若有所思。
邱明丽接着补了一句。
“当然RLHF那一套也不是简单东西。”
“我们这边要追这一套，标注员的培训体系从零开始搭，至少得半年到一年才能进入状态。”
桌上一片安静。
李总端起杯子，轻轻晃了一下。
“我补一句。”
“我们家文心这边，其实也不是从今年才开始搞的。”
“ERNIE 3.0 Titan两年前就发了，2600亿参数，中文那些经典榜单上咱们也不虚GPT-3。”
“真要说单纯的中文语言理解，我们底子不差。”
李东一直没有说话，但是他听的很认真。
李总继续说道。
“但这次3.5一出来，我自己心里凉了一下。”
“凉不是凉在它中文比我们好，它中文其实还没我们好。”
“主要是……它和我们根本不是在做同一件事。”
“我们之前那一代大模型，比的是这个句子的意思你理解得准不准、你分类的对不对、你完形填空填得好不好。”
“它比的是你能不能和人自然地聊天，聊的时候顺手把一道题给做了、把一段代码给写了。”
“后面这件事，是另一个维度上的能力。”
“不是我们原来那一套路线自然延伸能接上的。”
“我们内部这两个月已经在赶下一版了。”
“对外的代号你们可能过一阵子就会听到，这次我们是对着3.5去的。”
“但我跟你们交个底。”
“第一版出来的东西，和3.5之间，差距肯定还会有。”
“而且还不是那种一个月两个月就能抹平的差距。”
气氛沉了一会儿，邱明丽突然看向李东。
笑着开口。
“这位小兄弟一直没说话啊。”
“还挺面生的。”
第216章 原来你也只是个会做白日梦的小孩
李东礼貌的把筷子放了下来。
“邱总您好，我是高老师的学生，李东。”
邱明丽愣了一下。
然后就有些惊喜的说道。
“你就是李东？”
“那个降维算法的李东？”
“我的天，你这也太年轻了吧。”
旁边几个原本没对上号的，听见“降维算法”这四个字，也反应了过来，纷纷看向李东。
李东被这么多双眼睛盯着，多少有点不自在。
“邱总过奖了，我就是个大学生。”
“我就瞎搞的。”
李总在旁边哈哈大笑。
“瞎搞？你这要是瞎搞，那我们这帮人全都白干了。”
桌上一片善意的笑声。
笑声落下之后，邱明丽率先说道。
“李东啊，我特别想听听你的看法。”
“你看刚才咱们聊的，算力、数据……这些东西”
“那你心里对‘怎么追上去’这件事，有没有什么想法？”
说实话在座的人是真的想听，毕竟李东算法的去向他们不知道，不知道本身就很说明问题了。
所以他们对李东是特别的好奇的。
李东沉默了几秒钟。
老实讲，他心里其实并没有什么完整的能拿出来讲的想法。
他只是……
只是想到了牛顿的小黑。
那玩意儿，怎么看都不像是用现在这一套大语言模型的路子搞出来的。
他斟酌了一下措辞，慢慢开口。
“我没什么很专业的看法。”
“就是有个特别外行的问题，大家别笑我哈。”
桌上的人都笑着说不会的。
李东这才继续说道。
“为什么……人工智能就一定要按照现在这种路子做呢？”
“我说的是，为什么不能更接近人脑真正的工作方式？”
“你看，人脑大概有八百多亿个神经元，每天大概就消耗二十瓦的功率。”
“但它能听、能看、能想、能学、能在一秒钟之内认出一张脸，还能在两年之内学会一门语言。”
“而我们现在最先进的大模型……”
“训练一次要烧几千万度电，推理一次也得调动一整个机房的卡。”
上一篇：我家艺人太没上进心了
下一篇：挨打永久加防御，神魔都打不动我