电子邮箱

密码

注册 忘记密码?
   

关注科研人员公众号


即时获知最新信息​​​​​​​​​​

最重要的信息不漏


给您精中选优

扫描二维码,关注公众号
复旦教授谈中美大模型差距:国内独角兽如果不走错,咬咬牙能撑到GPT-4水平
来源:搜狐科技 | 作者:proac3c72 | 发布时间: 2024-04-15 | 189 次浏览 | 分享到:

搜狐科技《思想大爆炸——对话科学家》栏目第69期,对话复旦大学计算机科学技术学院教授张奇。

嘉宾简介:张奇,复旦大学计算机科学技术学院教授、博士生导师,复旦眸思(MouSi)大模型负责人,MOSS大模型核心人员,兼任中国中文信息学会理事。发表论文150余篇,获得美国授权专利4项,著有《自然语言处理导论》、《大规模语言模型:从理论到实践》。

划重点:

1、Claude3在榜单上超过GPT-4意义不大,从实际体验来看,现在达到GPT-4依然很难,大幅度超越的可能性很小。

2、GPT-4是统计机器学习在文本理解上的一个巅峰,再往上难度可能很大,大模型技术增长曲线已经处于放缓的状态。

3、AGI最核心的是推理能力,但现在大模型推理能力还很弱。如果大模型不能构建出来推理能力,那靠大模型这条路线,AGI就不可能实现。

4、国内没有足够大的资源持续投入,大模型差距肯定在扩大。如果有技术信仰,又能搞到资金,就应该去follow OpenAI,没有钱去试,那永远不可能追得上。

5、我们follow OpenAI的工作,所要花的钱可能并不会比OpenAI少,总体没有10亿-20亿美金,这事儿没啥希望。

出品 | 搜狐科技

作者 | 梁昌均

质疑OpenAI,学习OpenAI,成为OpenAI,甚至超越OpenAI。不久前,赶超OpenAI的梦想,被一家名为Anthropic的公司“实现”了。

这家被谷歌、亚马逊等投资的公司最新推出的大模型Claude 3,评测性能碾压GPT-4,成为OpenAI的最强竞对。这似乎又让国内大模型燃起了希望——OpenAI并不是无法超越的神话。

不过,复旦大学计算科学技术学院教授张奇对此保持着冷静。作为国内高校率先推出对话式大语言模型MOSS的核心研发人员,张奇对国内外大模型进展,时刻保持着关注。

他认为,榜单参考意义不大,从其团队评测和实际体验来看,GPT-4仍然领先,想要达到GPT-4还是很难,大幅度超越的可能性就更小。

早前,OpenAI剧透文生视频模型Sora,逼真的视频效果再次惊艳科技圈。周鸿祎甚至直言,Sora将AGI的实现从10年缩短到1年。

“它生成视频的长度、精度及效果比较惊艳,而且加了世界模拟,使大家有无限的遐想。”但张奇认为,Sora还无法通过视频学习到物理世界的知识,四条腿的蚂蚁就是例证。

张奇表示,大模型现在最弱的就是推理能力,这是AGI(通用人工智能)最核心的能力,但在统计机器学习的范畴下,其很难提升。

“如果大模型不具备推理能力,那它就是一个知识的压缩器和检索器,AGI就不可能实现。从这种角度上来看,我个人觉得AGI还远着呢。”张奇说。

无论是ChatGPT,还是Sora,都是暴力美学的胜利,其背后则是scaling law(规模定律)在发挥作用,甚至不少观点视其为大模型时代的“摩尔定律”。

张奇认为,scaling law带来的是知识记忆和多任务混合能力的提升,但最核心的还是要具备推理能力,只扩大参数没有太大意义。

同时,他认为,大模型的技术增长曲线放缓会非常快,且现在已经处于放缓的状态。“GPT-4应该是统计机器学习在文本理解上的一个巅峰,再往上难度可能很大。”

目前,业内都普遍预计OpenAI会在年内发布GPT-5。张奇判断称,GPT-5在技术线路上不会有大的改变,会加上视频理解,是否会有视频生成要看Sora何时正式发布,惊艳程度则要看它如何找一些特定应用场景来展示。

随着OpenAI不断掏出新的武器,国内外的差距也一直是争议焦点。目前,国内大模型市场派居多,这种情况下,我们是否还要追赶 OpenAI?

张奇表示,要想全面追赶OpenAI,难度很大,如果没有更多的资源持续投入,那肯定差距会扩大。“如果有技术信仰,又能搞到资金,就应该去follow OpenAI,如果不去试,那永远不可能追得上。”

金沙江创投主管合伙人朱啸虎此前认为,跟着OpenAI后面走,能少花一个数量级的钱。对此,张奇并不认同。

“我们follow OpenAI的工作,所要花的钱可能并不会比OpenAI少。”他认为,这件事并没有捷径,很多基础的钱逃不掉,技术试错成本很高。

据张奇团队预测,完全复现GPT-4,至少需要20亿人民币,稍微走些弯路,可能就需要40亿以上,然后还需要用户推广等商业资金,因此需要百亿资金或10亿-20亿美金,才有可能做成。不过,张奇坚信,国内一定会有一家公司做成,追上OpenAI。

当然,张奇也表示,如果拿不到这么多的投资,那就选择场景,做产品落地。“但怎么达到用户长期稳定的使用,或者是否可以大幅度提升效率,这样的场景是不是有?大家也都比较焦虑这件事情。”

大模型似乎陷入了技术和商业的两难当中,是一往无前,还是掉头转向,可能会是接下来很多公司需要做出的抉择。

以下是访谈节选(经编辑整理优化)

GPT-4仍很难超越,GPT-5会有视频理解

搜狐科技:不久前发布的Claude3性能号称碾压GPT-4,您怎么看?

张奇:我们自己的数据集评测下来,初步结果,感觉它并没有超过GPT-4。伯克利大学做的LMSYS评测,应该也没有超过GPT-4。榜单的意义可能越来越低,尤其是公开的测试数据,参考意义基本为零,更多还是要看真实的使用体验。我认为现在达到GPT-4可能依然很难,大幅度超越的可能性很小。

搜狐科技:Claude3在多模态上说超过GPT-4,目前业内对大模型多模态怎么看的,尤其是Sora出来以后?

张奇:多模态主要就是多模态的生成和理解。大语言模型一定要具备多模态的理解能力,不仅仅是图片,还包含video。生成能力有很多评价维度,也没有好的评价准则和手段,要看用户自己的体验、对指令的服从等。OpenAI的视频生成技术,至少现在可能没有人敢说可以达到它的效果。

搜狐科技:Sora很惊艳,也引发了争议,一方认为这意味着AGI实现大大缩短,但杨立昆等人不以为然,您怎么看它对AGI的意义?

张奇:文本生成视频,OpenAI今年一定会做,这没有超出预期,但生成视频的长度和精度以及效果比较惊艳,而且它加了世界模拟这样一个词语,使得大家有无限的遐想。如果它看视频就能学会物理世界的知识,那当然对推动AGI有很大帮助。但从目前的技术路线和角度来看,我个人觉得它根本就没有学世界知识,还是相关性,并没有学到因果。

搜狐科技:很多人都预测OpenAI今年一定会发GPT-5,您预计它会在哪些方面提升?还能带来惊艳的效果吗?

张奇:GPT-5技术路线不会有大的改变,它一定会加上视频理解,生成视频不确定。Sora迟迟不往外发布,我觉得是效果太差的原因。视频生成的稳定性、一致性、连贯性等问题,可能用统计学习的方法很难避免。其它部分可能就是做些升级,惊艳程度就看它怎么找一些特定应用场景来展示。

技术增长曲线已在放缓,大模型推理能力还很弱

搜狐科技:ChatGP刚出来很惊艳,现在感觉技术增长曲线是不是在放缓,您怎么判断的呢?

张奇:我觉得GPT-4应该是统计机器学习在文本理解上的一个巅峰,再往上我觉得难度可能很大。当然可以再投入更大的资源,把60分、70分的部分提到90分,但这不改变本质。技术曲线肯定会放缓非常快,现在已经处于放缓的状态。

搜狐科技:ChatGPT和Sora背后都是scaling law在发挥作用,很多人认为这是大模型性能提升的核心,您怎么看?

张奇:很多人提的scaling law更多是说所谓的涌现,以及模型足够大了之后,这东西就是AGI了,这我不是很认可。它能提升知识的记忆能力,但能灵活运用吗?能融汇贯通吗?我觉得最核心的在于它是否具备真正的逻辑推理能力,仅仅是知识记忆能力,或者只扩大参数,没有太大意义。

搜狐科技:大模型被视为AGI的一条路径,离AGI还有多远也有很多讨论,从AGI角度来看,目前大模型最缺什么?

张奇:AGI如果缩小定义来看,就是要去完成人的智力工作,那我觉得最核心的就是要具备语言知识学习和推理的能力。学习对模型来说难度非常大,很多常识知识,它答不上来,也学不会。

人用的最多的就是演绎推理和归纳推理,但现在大模型推理能力还很弱,它能不能扩展,程度有多大,还要去做研究。如果大模型不能构建出来推理能力,达到非常好的泛化能力,它就是一个知识的压缩器和检索器。那我觉得靠大模型这条路线,AGI就不可能实现。从这种角度上来看,我个人觉得AGI还远着呢。

搜狐科技:为什么现在大模型还学不会推理?OpenAI也做不到?

张奇:这条路径不一定是对的,Transformer、大规模无监督训练,都仅仅体现的是相关性,很难学习到因果性。这种神经网络架构,依然还是统计机器学习的范畴。

我觉得再往后发展,应该完全脱离统计机器学习的架构。但是脱离之后难度在于哪儿呢?因果性怎么体现,怎么建模,没有好的数学方法和工具。这可能需要非常有creative idea的人做,现有的商业逻辑也支撑不了这件事情。

复现GPT-4至少要20亿,能搞到钱就应follow OpenAI

搜狐科技:Sora出来以后,GPT-5可能也要发,很多人觉得我们跟OpenAI的差距更大了,您觉得呢?

张奇:GPT-4出来,大家都说一年后要追上,Sora出来后,国内基本没人说跟了。OpenAI在发GPT-3.5的时候就已经烧了40亿美金,Sora可能没有五亿人民币或一亿美金做不到。OpenAI有很多条线,Agent、GPT-5、GPTs等,每条线可能一年都是上亿美金的消耗。全面追赶,我觉得难度很大,如果没有这么大的资源持续投入,那差距肯定会扩大。

搜狐科技:很多公司曾表态要赶超OpenAI,但现在想的更多是怎么去赚钱,市场派成了主导,怎么看这种转变?

张奇:大厂前面为了复现GPT-4,可能十几个亿扔下去了,还没有达到这个水平,然后还要去进行产品化,体现在使用人数跟B端买单的token数。但如果投入和回报严重偏差,那往后更多投入肯定心里会打鼓。

所以现在更多考虑说,基于GPT-3.5到GPT-4的中间状态,进行转化。如果有正向回报,那肯定愿意投。但怎么达到用户长期稳定的使用,或者是否可以大幅度提升效率,这样的场景是不是有?我觉得大家也都比较焦虑这件事情。

搜狐科技:在差距扩大、市场导向的情况下,我们到底还要不要去follow OpenAI?

张奇:如果有技术信仰,又能搞到资金,就应该去follow。如果没有钱去试,那永远不可能追得上OpenAI。国内应该有投资机构站出来,大规模地去投,他们可能会从商业逻辑上考虑,但还是应该有人应该坚定地投下去。

搜狐科技:朱啸虎此前说我们跟着后面走,能少花很多钱,您也是这么看?

张奇:我觉得我们follow OpenAI的工作,所要花的钱可能并不会比OpenAI少。按我们的估算,完全复现GPT-4,不走弯路,可能至少要20亿人民币;稍微走点弯路,可能要往40亿去烧,还得再准备用户推广等商业部分,所以没有百亿或者10亿-20亿美金,这事儿基本没啥希望。

如果能够拿到这么大的资源,就去复现GPT-4,但真正意义上达到GPT-4,可能并没有捷径,很多基础的钱逃不掉,有人愿意投资当然是最好的。如果拿不到,那就选择场景,做产品落地。

搜狐科技:很多公司曾说要做中国的OpenAI,我们还有技术信仰能赶超吗?

张奇:我觉得并不是说国内没有这样的技术信仰,国外也就仅此一家,Google都不敢投。OpenAI在2020年前的投资大部分都是捐赠,没有考虑回报,但国内很难找到这样的投资商,并且这么大规模。国内能不能有这样的环境,让科学家们可以坚持20年,就认准自己的事情去做,国内这方面长期缺乏。

现在国内至少有五家都是独角兽规模,如果不走错,咬咬牙应该能支撑看到GPT-4这些情况。但稍微走错一点,可能公司就没了。这个风险很大,试错成本很高,国内的人才差距也很大。但我相信中国肯定会有一家能成,大概率是这五家中的一家。


扫描下方二维码,关注公众号

科研人员  公众号


科研界

即时工作、学习、生活的

资讯平台

最重要的不漏


给您精中选优

关注公众号


即时获知最新信息​​​​​​​​​​