尤洋

　　潞晨科技创始人兼董事长

　　新加坡国立大学校长青年教授

　　尤洋是清华大学硕士，加州伯克利大学博士，是新加坡国立大学计算机系的校长青年教授；曾任职于谷歌，微软，英伟达，英特尔，IBM 等国际知名厂商。

　　尤洋曾创造 ImageNet、 BERT、AlphaFold、ViT 训练速度的世界纪录， 相关技术被广泛应用于谷歌，微软，英特尔，英伟达等科技巨头。近三年，他以第一作者身份在国际重要会议或期刊上发表论文十余篇。

　　潞晨科技是一家致力于“解放AI生产力”的全球性企业，团队核心成员来自美国加州大学伯克利分校，斯坦福大学，清华大学，北京大学等国内外知名高校。主营业务包括分布式软件系统，大规模人工智能平台，以及企业级云计算解决方案。公司旨在打造一个开源低成本AI大模型开发系统Colossal-AI，作为深度学习框架的内核，帮助企业最大化人工智能训练效率的同时最小化人工智能的训练成本。潞晨科技近期获得数亿元A轮及A+轮融资，在成立24个月内已迅速连续完成四轮融资，投资方为创新工场、真格基金、蓝驰创投、某世界500强科技巨头、大湾区基金、新加坡电信等。

　　胡润百富·尤洋专访

　　大数据时代，众多科技公司始终围绕人工智能大模型做文章，请问潞晨科技选择围绕降本增效发展的原因是什么？贵公司区别于市场上其他科技公司的核心竞争力又是什么？

　　尤洋：在过去的六年里，主流模型的规模增长了数千倍，并且更大的模型的确带来了更好的效果，因此我们预计这个规模还会持续增长。然而，硬件算力的增长速度远远落后于模型的发展速度，硬件的性能和成本已经成为训练更大更好模型的一大阻碍。我们公司的技术团队在高性能计算和人工智能领域有很强的技术积累，我们觉得这些技术可以有效帮助解决这一问题，让模型的训练成本降下来，更好更快地完成模型训练。

　　相比于其他公司，我们有以下几个方面的核心竞争力：

　　一、降本增效，技术过硬

　　我们拥有世界顶级研发团队，核心人员均来清北、加州伯克利、斯坦福、新加坡国立等世界一流高校，在国际顶级学术刊物或会议共发表论文近百篇，在高性能计算，人工智能，分布式系统方面已有十余年的积累。我们自研的Colossal-AI系统，集成了多种先进技术，可以最大程度降低模型训练所需的时间和成本，处于世界领先水平。

　　二、完整链路，服务周到

　　我们可以为企业提供端到端的大模型服务，从预训练到微调再到推理，每一个流程我们都有经过验证的方案，并且为多家企业客户打造了满意的大模型。从最前的数据处理，到最后的模型私有化部署，我们都可以完成，并根据客户需求提供定制化的改进和升级。

　　三、技术开源，实力可靠

　　我们的Colossal-AI系统和多个基于该系统的项目都在GitHub上开源，已经获得了3.5万多颗星，有包括谷歌、微软在内的多家头部互联网公司使用了我们的技术，许多AI相关的从业者和研发人员都加入了我们的开源社区，并给予我们的技术极高的评价。

　　四、全球布局，广泛关注

　　我们自成立以来就有着全球化的理念，励志将公司打造成全球化的企业。学术方面，我们参与了包括ICML，NIPS在内的多次世界顶级学术会议，商业化方面，我们与世界五百强、东南亚巨头、亚洲地区国家级研究机构等开展合作，促进AI大模型商业化落地。

　　AI作为缺少知识版权的模型工具，更多是发挥辅助性的技术作用，关键在于开源，请问贵公司是如何进行开源的？开源的过程中又想要构建出怎样的生态呢？

　　尤洋：AI能有现在这样百花齐放的发展势头，和AI社区广泛的开源与自由交流是离不开的。对于软件类产品来说，只有足够多的人在使用，在反馈，在改进才能一步步迭代创造出更优秀更好用的产品。尤其是在人工智能或者说计算机领域，一直以来开源都是推动新技术的发展与进步的重要因素。作为该领域内比较领先的团队，我们希望能以开源的方式分享我们的新技术，吸引更多优秀开发者协作，共同构建Colossal-AI开源社区。

　　我们相信，一个好的社区，好的产品，一定是大家共同努力的结果。我们希望和众多开发者共同学习和分享最新的技术，一起构建和完善软件系统，最终推动领域的不断进步。

　　我们目前在GitHub上开源了Colossal-AI的核心代码和一些自主研究项目的代码，方便开发者查看和交流；除此之外，我们还开源了一个中英双语大模型Colossal-LLaMA-2，得到了广泛关注，首月下载量超过18万人次。我们也很注重社群的发展，比如我们很关注Colossal-AI的用户反馈，我们的团队成员会定期在GitHub和各类社群里回复技术相关的疑问，引领和睦融洽的社群氛围，构建友好活跃的Colossal-AI社区。

　　AI模型越来越成为科技行业的中坚力量，帮助人们从过去的深度学习时代进化至宽度学习的时代，请问您是如何看待AI大模型的机遇与挑战的？

　　尤洋：以前我们说深度学习，是因为涌现的新模型的层数越来越多。但是我们现在看大模型，比如GPT-3，并没有比之前的ResNet-50增长多少层数，但是参数量却大了一万倍，所以我们说这个模型“变宽了”，我们处于“宽度学习”的时代。从技术的角度看，越宽的层，每层内的计算量更大，所以我们需要更适合“宽度学习”场景的优化方案，比如用数据并行和张量并行来替换以前深度学习常用的参数服务器和异步优化方案。

　　在大模型这个领域，一切都是新兴的，不断发展的，不管是大模型本身，还是大模型与行业结合，都存在着大量的机会。想要抓住这些机遇，需要我们时刻保持警惕，及时跟进最新技术，不断挑战和发展更快更好的优化技术，同时积极在各行各业布局，找寻数字化智能化与AI大模型相结合的方案。

　　什么是Colossal-AI？Colossal-AI又是致力于解决什么问题呢？

　　尤洋：Colossal-AI是一个集成了高性能计算和人工智能领域先进技术的系统，可以通过如分布式并行计算，异构内存管理，低延时推理优化等技术来最大程度降低模型训练所需的时间和成本。

　　（1）异构内存管理系统：

　　AI大模型训练需要大量计算资源。Colossal-AI通过异构内存管理，利用更低廉的CPU内存和硬盘空间，可节省GPU等高端硬件需求50%以上。

　　（2）高效N维并行系统：

　　Colossal-Al在兼容现有并行方案的基础上，独创序列并行并首先把张量并行从1维扩展到2维、2.5维及3维。易用性极佳，仅需极少量修改即可快速部署各种复杂并行策略。

　　（3）低延时推理系统：

　　低延时推理系统的作用是减少模型推理速度慢带来的延时感。为解决这一问题，我们采用了包括内存管理、张量并行技术，以及剪枝蒸馏等一系列优化技术，从整体的部署方式和模型本身的优化两方面下手，最大化加速模型推理。

　　Colossal-AI通过以上技术，使用户能够最大限度地提高人工智能部署的效率，同时大幅降低成本。

　　很多人都觉得人工智能大模型是一个很高大上的东西，对于普通人来说，自己训练一个大模型是难以想象的。请问您认为在未来我们可以很轻松地训练一个自己的专属大模型吗？

　　尤洋：大模型由于参数量巨大，而且需要大量的计算资源，训练成本确实很高。我们公司的使命，就是降低大模型的训练成本，解放人工智能的生产力，让更多人能享受大模型带来的便利。

　　我们公司目前可以在15个小时以内完成0.85B数据的预训练，训练成本仅需几千人民币；对于小数据量的微调，我们可以在几百块钱内搞定。这些任务在我们的Colossal-AI云平台上就能完成。我们给Colossal-AI云平台上配备了我们的加速框架和经我们优化后的算力集群，用户只需很少量的算力就可以训练自己的大模型并且一键部署到网页等终端上。对于不了解大模型，不了解编程的人，也可以比较轻松地在我们的云平台上低成本地完成专属大模型的训练。

　　大模型在国内外市场的应用呈现极大的区别，请问您认为未来国内大模型会呈现怎样的发展局面？国内大模型的决胜点又是什么呢？

　　尤洋：国内大模型有两个方向可以走，一个是通用大模型，一个是行业大模型。目前这两个赛道都有不少公司，尤其是通用大模型，有大量科技公司已经推出了公测或内测的大语言模型。但是在未来，我们预计最终剩下的只会有两三家的通用大模型。而行业大模型这一块，有许多传统行业由于自身数据量大，或数据需要严格保密，是需要训练自己的行业大模型的，这其中可能蕴含着更大的市场。

　　那么什么样的大模型能够脱颖而出呢？我们觉得有两方面的因素，一是成本，二是效果。成本方面，要求更快更便宜地训练大模型。这也是我们公司一直在努力的方向，并且已经取得了很优秀的成果。效果方面，除了保证模型自身足够准确，性能优越，还需要真正对行业有用，深度结合业务。这就要求参与模型开发的项目人员真正了解客户的业务，深入挖掘大模型与行业的结合点，这可能是一个长期且持续的磨合。

　　OpenAI开始入局数据大模型，请问您如何看待中美之间的技术差异？你如何让看AI时代中国将扮演的角色？

　　尤洋：应当说，技术上双方并没有很大的差异，比如我们公司在ChatGPT刚火起来的时候就快速低成本复现了其核心技术RLHF，而且大部分新兴技术的论文甚至代码都是公开的。目前中美大模型领域的差距更多地来自于研究方向、应用场景和数据资源。在AI时代，中国庞大的市场有着巨大的潜力，可以有效地推动大模型的发展。

　　比起通用大模型，中国可能在行业大模型上有更多的发力点，结合计算机视觉，语音识别等其他AI技术，我们可能会创造出更多智能制造、智慧服务类的大模型相关应用。

　　本文系胡润百富专访，素材来源于受访者