的是大规模神经网络,大型深度网络。
这些词在未来有一个更加准确的称呼。
叫做大模型!
2013年啊,成教授就已经有大模型的概念,通用模型的模糊概念了!
“不不不,成教授,你说的也是我想说的,我的设想就是构建一个规模足够大的神经网络,先用海量无标注数据预训练,学习世界的通用表征,之后不需要全部重训,只做少量调整,就可以处理语言、对话、甚至图像等多种任务。它不是AGI完整的通用人工智能,但它是通向AGI的一块核心基石。”
“为了拥有这块基石,我才邀请成教授你到红星来的。”
“而你说的这些,可以称之为大模型。”
成文飞此时也产生了一种异样的感觉。
陈总好懂啊。
陈总好懂我啊。
这套理论他之前在宾夕法尼亚的时候也和业内人士说过,只不过他们都说自己异想天开。
还大型深度学习网络,现在的CPU算力集群怎么可能处理得了海量数据。
更别提训练了。
所以那时候成文飞就知道,CPU算力集群,一定会被淘汰掉,效率太低太低了。
想实现真正的模型训练,必须要有效率更高的方式,霉国那边目前大家都在尝试用图形计算卡来实现,只不过还没有厂商有成果和论文在学术界出现。
不过成文飞觉得,用分布式的GPU进行训练,绝对是未来的方向,所以半个月前听到甘良才说红星在自研GPU和计算卡的时候,就明白一件事。
红星的在一些方向上,是确定的,是开始行动的,是走在霉国很多机构和公司前面的。
“那么陈总,要实现你所谓的大模型,我口中的大型深度网络,就必须要有足够的算力,现在的CPU计算到了一定瓶颈,大家准备转向GPU并行计算,那我想问一下,这方面咱们红星是怎么打算的?”
陈星不语,走到自己办公桌前,并示意成文飞也过来。
然后拿出了无冬大师给自己的那份报告。
“成教授,你先看看这个。”