以下文章来源于智能涌现 ，作者周鑫雨
编者按：日前，启明创投投资企业智谱AI正式上线首款生成式AI助手——智谱清言。该助手基于智谱AI自主研发的中英双语对话模型ChatGLM2，经过万亿字符的文本与代码预训练，并采用监督微调技术，以通用对话的形式为用户提供智能化服务。同时，智谱AI等8家企业/机构的大模型通过了《生成式人工智能服务管理暂行办法》备案，位列第一批名单，可正式上线面向公众提供服务。
智谱AI首席执行官张鹏日前接受36氪的采访时，分析了选择GLM（通用语言模型）路径的原因，他指出，GLM对人类输入意图，以及对一些常识或者知识类信息的理解能力，出现了一些意想不到的表现。他亦分享道，智谱AI预见到的下一代技术应该是认知智能。围绕大模型的落地，他分享只有一定规模的大模型，才能够实现类人的认知能力的涌现；智谱AI希望拥有解决多场景、多任务甚至跨模态的技术。
智谱AI首席执行官张鹏
在清华科技园赛尔大厦的大厅，能看见许多前来拜访的投资人和FA。在科技园的2层和5层，有一家大模型公司、启明创投投资企业智谱AI。
为何投资人看好智谱AI？
不少圈内人给出的答案都是：自2019年成立，智谱AI就是“有人、有技术、有客户”的“完成时”企业。
智谱AI每个创始成员单拎出来，都是圈内叫得上名字的学者。比如首席执行官张鹏设计和研发的跨语言知识图谱系统XLORE，在国际上颇受好评。
智谱AI首席执行官张鹏
而智谱AI合作研发的超大规模预训练语言模型GLM-130B，是2022年亚洲唯一入选斯坦福评测的全球主流大模型。这个自研的大语言模型，也直接让智谱AI的名字，出现在百度、字节、360、有道等企业的合作名单中。
今年6月，在硅谷科技媒体The Information的盘点中，智谱AI被视为最有可能成为“中国OpenAI”的5家企业之一。
不过，成为“中国的OpenAI”，并非智谱AI的目标。
“中国没有自己的预训练模型框架。”张鹏告诉36氪。市面上最主流的三种模型训练路径都出自西方：GPT来自OpenAI，BERT和T5都来自谷歌。若是照搬西方的主流路径，意味着中国企业已经失去了先发优势，弯道超车的机会渺茫。
为此，智谱AI提出了全新的GLM（通用语言模型）路径。若GPT的原理可以被比作“根据上文做完形填空”，那么GLM完形填空的依据则从上文扩充到上下文——理论上，GLM的训练效率会比GPT更高，也能理解更复杂的场景。
时至今日，GLM的探索已经初见成效。“在硅谷，智谱AI的GLM应该是最被头部科技企业承认的中国大语言模型。”一名微软的算法工程师告诉36氪。
为了更早推动AGI（通用人工智能）技术，智谱AI没有选择推出行业大模型，而是说服行业客户在通用大模型基座上做微调。
“行业模型本质上是用大模型的壳，重复造了一遍传统算法的轮子。”张鹏指出行业大模型的局限性，“我们认为只有一定规模的（通用）大模型，才能实现类人的认知能力涌现。”
以下为精编整理的采访实录。
01/
带着技术、团队、客户
直接入场
36氪：智谱AI给人的感觉是手里盘的球很多，一边做技术研发，一边做行业落地，还能做一些企业服务。你们是怎么做到的？
张鹏：人工智能本来就是一个综合性学科，如果研究的成果不能很快被应用，它的价值很可能被遗忘。所以在KEG，我们会把研究和工程放在相对平等的位置上。这个风格也延续到我们出来做公司。
另一个因素是，在大模型时代里，产学研用这件事被极度压缩，表现为周期变短、距离变近。原来像神经网络、CV等技术从被学界研究出来，到真正落地工业产生实际价值，中间要2-5年。但ChatGPT模型训练到产品上线，再到有一亿全球用户，可能不超过1年。
36氪：从2019年成立，智谱AI的商务合作就没断过，当时你们是怎样让商业合作跑起来的？
张鹏：我们有一个和别人不一样的特点，长期有一群工程师和研究员一起工作，所以从成立第一天起，智谱AI就是从一个团队开始的。
所以从公司的发展路径上来说，我们是带着技术，带着团队，带着客户和市场直接启动。我们是一边做核心的技术，一边去拓展市场。
36氪：你们实验室的技术对应的客户和市场是什么样的？
张鹏：我们团队早期在学校里做知识工程相关的研究，比如说科技情报分析、数据挖掘，所以服务的客户群体比较广泛，国内的科研机构、科技型企业、互联网企业，甚至包括国际上的顶尖科技企业。
36氪：团队对转向研究大模型的信心从何而来？
张鹏：我们一直大胆假设，小心求证。
有一句话叫做“预见未来”，这和我们一开始主要的研究方向有关，包括数据挖掘、机器学习、算法这些知识工程下面的分支。这个过程中我们可以做科技趋势的分析和对未来的预判。
36氪：智谱AI能预见的是什么？
张鹏：从宏观角度来讲，人工智能技术的发展经历了几个阶段，比如此前到了感知智能的阶段。
我们认为下一代的技术应该是认知智能。认知智能的技术要解决的问题，和上一代的感知智能不太一样，比如多模态需要更大的数据量、更类人智能的能力，以及多任务、多场景的一些通用化的能力等等。
所以公司成立的时候，我们就在研究大模型相关的底层技术，包括算法。2021年我们就有了自己的成果GLM，比GPT-3稍微晚了一点。
02/
采用GLM路线的原因
36氪：你们有没有横向和国内其他团队对比过技术和研究进展？
张鹏：我还不清楚到底应该怎么和别人比。如果要比的话，我们更愿意跟世界最顶尖水平去比，比如OpenAI。当然在技术层面上，我们保持开放，和国内其他团队的交流保持得还不错，但我们不会特别从竞争对手的角度去看待问题。
36氪：硅谷的进展是大模型赛道很重要的一个参照，那边有直接对智谱AI的成立产生重要影响的时刻吗？
张鹏：我个人认为有两件事。
第一件是2020年5月GPT-3的发布，直接将预训练模型的参数规模推到1000亿以上，模型表现出的智能确实超乎想象。我们在第一时间就开始研究参数量的影响，后来对这事儿有了更深刻的理解后，我们对投入更多资源和精力去做大模型也更加坚定。
第二件事就是ChatGPT的发布。其实在ChatGPT之前，InstructGPT和WebGPT等技术我们一直有，也预感到基于GPT-3这样一个优秀千亿基座的智能应用会迎来爆发。但ChatGPT的上线给我们一个明显信号：预训练模型已经到了完全可使用且好用的阶段，是产品化的很好范例。
36氪：这两件事的具体影响是什么？
张鹏：GPT-3对我们的影响是坚定了要自研一个稠密的、千亿的、双语的模型。因为当年我们研究完之后也知道，做这样一件事情投入是非常大的，尤其是算力、人才、团队、数据。
2020年智谱AI才成立一年多，但OpenAI已经做了两年多，他们的很多资源也远超我们。所以那时即便联合清华的研究团队，做大模型也是一件有挑战的事，团队经过了激烈的讨论才确定。所以GPT-3给了我们信心。
36氪：团队激烈讨论的重心是什么？
张鹏：那个时候GLM还没有完全定型，之前我们用的这些模型，比如MoE（专家混合模型，在Transformer架构的基础上增加了可以处理不同数据的“专家层”）等方法，虽然也能通过稀疏化的方式把模型参数推到很大，但效果并不太好。
我们内部也在讨论是继续走稀释模型路径，还是做更大的稠密模型。那个时候因为OpenAI没有公开很多技术细节，大家也不知道怎么复现，国外像Meta、BigScience，复现GPT都不能算特别成功。所以内部也在讨论，我们该选用什么样的技术路线，然后该怎么做这件事，以及目标是什么。
36氪：智谱AI采用的是GLM，不是比较主流的GPT。团队是怎么考虑技术路线问题的？
张鹏：单纯从技术发展上来看，其实早期预训练模型就有几个类型，比如GPT、BERT还有T5，每个训练框架都有适合的某些任务和场景。
在早期，BERT的效果比GPT-1和GPT-2更好，直到参数规模更大的GPT-3出现。所以，我们做GLM的原因，是希望把不同预训练模型的优势组合到一起。
还有一个原因是，中国没有自己的预训练模型框架。无论是GPT、BERT，还是T5，都是西方的科学家提出的底层技术。我们不希望复刻OpenAI的路径。
36氪：采用GLM是一种冒险的做法，团队是什么时候觉得路线可行？
张鹏：参数规模达到千亿规模的时候，我们突然发现GLM对人类输入意图，以及对一些常识或者知识类信息的理解能力，出现了一些意想不到的表现。我最喜欢举的一个例子是：
当你问大模型一个简单的问题：一个婴儿出生的时候，它的头长是身长的1/4，如果一个婴儿出生的时候身长是50厘米，请问它的头长是多少？
这是一个很简单的小学的数理的数学的题目，对吧？
但GLM模型给出的答案是非常有意思的，它并没有用简单的“50×1/4”这种方式来计算，而是用了“50÷4”来计算。背后的逻辑是，模型理解了“乘以1/4”和“除4”之间在数学上的等价关系。
我从来没有在参数规模小一点的模型上看到这样的现象。
03/
通用大模型
做行业生意
36氪：之前有观点是大模型和应用场景要同时做。你们觉得这是现在做大模型最好的方式吗？
张鹏：我觉得这和认知以及团队的基因有关，就是你更擅长干什么。
老王已经成功过，他对很多事情有自己的笃信，他觉得一种技术最终是要落地，结合场景产生实际价值的，这样会更快。
这个逻辑我也认同，所以我们也会考虑怎么去做落地，比如到底To B还是To C？我们要不要做To C？如果做To C我们到底做什么样的产品？这些问题最终归结到我们更相信什么和更擅长什么。
36氪：To B还是To C，你们的想法是什么？
张鹏：我们还是比较认同OpenAI的路径，To C有自己的好处，最主要的目的是聚集用户，这是获得用户量和用户数据反馈最直接的通路，团队也基于智谱AI自主研发的中英双语对话模型ChatGLM2，正式上线了首款生成式AI助手——智谱清言。To B更多的是为了市场和最快的收益。
36氪：在大模型落地的过程中，智谱AI最主要的认知是什么？
张鹏：我们的认知可以概括为：不把目标定为“做中国的ChatGPT”。从成立起我们就认为预训练模型是一项革命性的技术，但它有自己的问题，不能包治百病，可能也不是AGI的终极方案。不复制ChatGPT，会让我们在具体落地过程中和其他团队有一些差异。
36氪：是怎样的差异？
张鹏：从最早开始我们就定了做通用大模型，没有做所谓的小模型。之前也有企业说不一定需要大模型，小模型也能很好地平衡成本和效果。但我们认为只有一定规模的大模型，才能够实现类人的认知能力的涌现。
其次我们希望拥有解决多场景、多任务甚至跨模态的技术，我们不会把模型局限在具体的任务、场景，甚至垂直的行业里。当然行业大模型也没问题，但是我们认为它可能是阶段性的、时代所需的产物，毕竟需要落地，在使用过程能平衡成本和收益。但最终我们还是得推动AGI，不能停留在一个阶段性目标上。
36氪：这会如何影响智谱AI落地垂直行业的路径？
张鹏：就算我们做行业落地，用的也是通用大模型，当然中间需要解决的事情会比较多。
36氪：怎么说服行业客户用通用大模型？
张鹏：我们会和客户拉齐这样一个认知：所谓的行业能力或专业能力，可以在通用基座上用少量数据的微调和深度学习快速获得。
如果客户没法很好利用通用大模型的能力，而是仍然用专用模型解决问题，本质上和传统模式没有区别，可能唯一的区别是行业大模型的成本比之前更高。
但如果客户强调近期收益，或者场景很狭窄，比如只想提升智能客服的问答效果，那用所谓的专业小模型可能就够用了。
所以我们就会把以上的观念同步给客户，如果他们接受通用大模型，那我们就持续合作共创；如果他们说不，我们只需要把当下的业务搞定，那么我们就用符合用户成本预算的方案来解决，比如Model Instance（为企业提供模型API的商业模式）方案。
36氪：服务客户和项目反过来对学术有怎样的帮助？
张鹏：数据反馈、用户反馈是大家比较了解的最直接的帮助。另外一个帮助是核算收支平衡点，大模型落地的每个行业都还不太一样，这时候就会倒逼我们在技术上做选择：是要更大的模型、更高的成本、更好的效果，还是要去平衡成本，比如出一个中等规模的模型，来满足客户对成本的要求。
36氪：目前比较好的收支平衡点是？
张鹏：目前来看，不同规模的模型有不同的收支平衡点。
04/
在榜单上超越ChatGPT
不是真超越
36氪：智谱AI的团队规模感觉在大模型创业公司里并不小。
张鹏：因为我们的团队非常齐全。从数据，到训练集群的运维，再到核心算法的研究，所有的层次都是自己人。
36氪：做大模型的清华系团队很多，你们交流多吗？大家的路径有差别吗？
张鹏：其实大家的路径都有所差别。我们比较开放，在学术技术上的交流以及产品上的合作都比较开放，大模型不是靠一家独大就能做好的，还是需要开放的生态。我觉得做开源也好、免费也好，这些事情都不是为了商业利益。
36氪：智谱AI也开源了GLM-130B，开源和商业化会有冲突吗？
张鹏：两件事情不是天生矛盾。开源可以提供一个比较繁荣的社区和生态，社区的活力能保证产品的迭代和创新力。
商业化模型版本则会给有需求的客户提供更好的服务，比如更稳定、安全。所以两者各有优势，也可以互相弥补。
我们很多客户也是开源社区过来的，他们会先用开源版本做简单的学习和体验，尝到了新技术的便利，转头找我们做商业化合作。
36氪：在通往AGI的路上，哪些重要因素能让团队跑得更快？
张鹏：首先要认识到大模型不完美。用行为学的方式，去模拟或者定义人的认知能力，这是大模型给我们带来的一个解决方案。
但就像张䥽院士说的那样，大模型构造的是人脑的system 1，还要引入另一套机制去实现system 2，去补完大脑的功能。所以从研究角度还要去做一些努力，并且用大模型的优点弥补缺点。
其次是定义好目标。比如现在大家经常会听到“超越ChatGPT”的口号，但是把它拆解开来定义清晰不容易，比如超过ChatGPT是追赶它哪方面的能力？是在某一个榜单上超过它吗？上榜就意味着超越吗？
我觉得认知到事情的本质，就能够避免做无所谓的消耗。
来源 | 36氪
作者 | 杨轩 周鑫雨
编辑 | 苏建勋
