首页  >  媒体动态  >  媒体动态详情

中国工程院院士高文:鹏城云脑Ⅱ和鹏城云脑Ⅲ可以解决目前所有大模型的训练

2023-05-25   界面新闻   阅读量:110

图片来源:图虫创意

    界面新闻记者 | 张熹珑

    5月22日,在2023大湾区科学论坛上,鹏城实验室发布了鹏城·星云系统和星方数据——这是支撑国际大科学计划和工程的需求、聚焦天文和遥感两大学科的科研云平台。

    鹏城星云系统依托于“鹏城云脑Ⅱ”而构建。鹏城云脑Ⅱ是国产自主的首个E级AI算力平台,根据中国工程院院士、鹏城实验室主任高文的介绍,是“10的18次方、每秒16位复点运算的机器平台”。目前,云脑Ⅱ已经连续五次在超算打榜获得世界第一。

    成立于2018年的鹏城实验室位于深圳,主要从事网络空间信息研究,定位为省级实验室;2022年被列入国家实验室。

    相比之下,鹏城实验室的合作伙伴知名度或许更高——此前百度发布的全球首个知识增强千亿大模型百度文心、华为发布的首个千亿级生成和理解中文NLP大模型盘古大模型,均有鹏城实验室的研发参与。

    ChatGPT带火了整个人工智能产业,也让焦点集中在大模型上。高文指出,ChatGPT之所以能对整个技术发展带来这么大冲击,最关键的是它使用了大模型。

    从人工智能行业出发,如何将训练好的模型从一个领域迁移到另外一个领域,始终是一个难题,因为不可能依赖于大量人力去标注数据。

    国际欧亚科学院院士李世鹏表示,大模型是解决这个瓶颈的方法,“采用一种预训练模式,对所有数据进行非监督学习,形成大模型后再进行微调,落实到具体的应用场景。”

    “其实模型本身很简单,就是生物学里面神经元的一个连接。但是因为它规模大,就起到非常理想的结果。所以规模是大模型里最核心的东西。”高文表示,规模需要靠三方面结合:巨大的算力、海量数据和足够好的算法。例如ChatGPT就是微软为其提供算力,提供了约1万块A100芯片的算力服务器支持。

    高文提到,中国也有这样的算力,在2020年推出的云脑Ⅱ,相当于4000块A100芯片组合出来的机器,既可以做理论研究,也可以做核心技术,或者一些比较大的应用。

    云脑Ⅱ的诞生让鹏城实验室的AI算力从100P上升到1000P。举例来说,24小时内能训练100亿张图像,或1亿人的DNA、或1千万小时语音、或1万天的自动驾驶数据等,是52万台家用电脑算力之和。

    “我们现在正在设计下一台3.2万块卡的机器,这台机器的能力会比微软的机器还强,是后者能力的三倍,确保为人工智能训练持续提供强有力的算力支持。”高文透露,这台机器大约花费60亿元,算力达到16000P。

    “两台机器加在一起,可以解决到目前为止所有大模型的训练。”高文表示,而且以此为核心,现在正在启动中国算力网的建设,将来的算力会像ChatGPT电力一样即插即用。

    为了实现这个目标,鹏城实验室现在正推动大模型的开源和底座训练工作。例如云脑Ⅱ,只有1/4是鹏城实验室在用,3/4开放出去,作为大设施开放提供给国内的合作伙伴、高校甚至企业使用,此前也帮助百度、华为训练了一系列大模型。

    “鹏城会帮助相关单位训练出GPT的底座来,云脑Ⅱ、云脑Ⅲ会给人工智能大模型提供足够算力,我们也希望合作伙伴提供一些数据。”根据设想,通过鹏城的算力、公开渠道的数据结合,训练出大模型底座向全社会开放。

    算力、算法、数据,是人工智能的三大范畴。这也意味着,即使企业的算力不高,也能通过底座完成工作——毕竟ChatGPT一次训练要花费将近1000万美元。而对于云脑Ⅱ等基础设备而言,也有望降低开发工作量。

    腾讯首席科学家张正友则指出,因为各种各样的原因,包括隐私、行业数据之间的关系,是不可能做一个模型打遍所有事情的,“如何去解决数据之间的壁垒,将多个模型高效地整合起来,这可能又是一个值得研究和探讨的方向。”