红杉AI2025峰会4-开源人工智能会超越闭源模型吗?

红杉资本AI闭门会围绕AI开源的未来展开了一场精彩的讨论。几位开源界的大佬(Fireworks的Dima,来自OpenRouter的Alex Atala,当然还有来自OLLama的Jeffrey Morgan)聊了聊开源现在怎么样了,将来会怎么样,以及面临哪些挑战和机遇。

核心观点总结

  1. 开源AI现在还不是主流,但潜力巨大: 目前大部分AI应用跑的还是闭源模型,开源的大概占两三成。但开源的好处是透明,而且能让全世界有才华的人都参与进来,未来可期。
  2. 有人想限制开源,但大佬们觉得这很危险: 有些人担心开源模型被滥用,想严格管制甚至禁止。但专家们认为,开源对技术进步、个性化定制太重要了,不能一刀切,就像不能禁止用电一样。
  3. 中国模型DeepSeek的崛起是个惊喜: DeepSeek模型之所以火,是因为技术做得好,用户体验新颖(能看到模型的“思考过程”),而且一开始他们自己服务器顶不住,反而促使了美国公司帮忙把它推广开。这也说明开源领域的领头羊是会变的。
  4. “微调”模型可能暂时退烧: 以后可能会有更强大的通用大模型出来,大家可能就不太需要费劲去“微调”小模型了。但长远看,用户还是需要能自己定制的模型的。
  5. 开源的未来,“去中心化”很关键: 有专家认为,如果不能建立起一个可持续的、去中心化的开源模型服务体系(就是不由少数大公司控制),那未来可能还是闭源模型的天下。去中心化能让更多人参与进来,改变游戏规则。
以下红杉AI闭门会关于本次讨论的完整版:

开场介绍与嘉宾背景

Sonya Huang (主持人): 那么,现在我们欢迎Sonya Huang主持我们下一场关于开源的专题讨论,参与者有来自Fireworks的Dima,来自OpenRouter的Alex Atala,当然还有来自OLLama的Jeffrey Morgan船长,他们将与我们探讨等式的另一面——开源的未来,一个各位可以应用到自己产品中并即刻采用的未来。请欢迎他们上台。
感谢Alex、Dima、Jeff,非常感谢你们的到来。今天早上我们听了Jensen的演讲,他慷慨陈词,强调了构建一个繁荣的开源模型生态系统的重要性,我想在座的各位都完全认同这一愿景。所以我很高兴今天能有这个专题讨论。让我们先进行一轮介绍,请说出您的名字以及您公司的一两句简介。
Jeff Morgan: 大家好,我是Jeff。感谢邀请。我是OLLama的创始人。OLLama是上手和运行开源大语言模型(LLM)最简单的方式。这就是我。
Dima: 大家好,我是Dima。我是Fireworks的联合创始人,今天早上大家也听到了我的联合创始人Lin的演讲。正如早上所听到的,Fireworks是构建和扩展这种生成式AI的最佳平台。我们帮助您以极快的速度和大规模进行模型的微调和服务。显然,我们是开源模型的坚定支持者,因为这就是我们所做的。是的,我也很高兴能成为OpenRouter上的提供商之一。
Alex Atala: 我是Alex,OpenRouter的联合创始人兼首席执行官。我们是一个语言模型路由器和市场,一个能为您提供模型最佳定价、性能和正常运行时间的一站式服务。我们与许多不同的提供商紧密合作,其中与Fireworks的合作尤为重要,他们让这一切成为可能。

开源的核心价值与挑战

Sonya Huang: 好的。让我们从Jensen今天早上为我们提出的问题陈述开始。生态系统中的一些危言耸听者正在推动对开源模型进行严格监管甚至禁止。显然,在座的各位可能不同意这种观点。你们是开源生态系统的拥护者。你们会怎么说?你们如何阐述开源的重要性?
Alex Atala: 我认为开源背后的一项基本原则是,人类的才华依然可以来自世界任何角落,将其集中在少数模型实验室手中是非常危险的。与允许才华随处涌现相比,这不是一个好的赌注,杠杆效应也不够高。我认为语言模型和生成式AI所解锁的是,让那些拥有独特、无法在别处找到的智能的人,有能力创造一种服务,在任何人需要时按需生成这种智能。我们现在正处于一个开源相较于闭源并未占据优势的时期。就我们使用的Token数量而言,开源推理大约占20%到30%。而且,对于很多公司来说,它更像是一种“最后一公里”的优化方案,比如你有一个客户就是拒绝使用某个闭源模型提供商的服务,而你仍然想为他们服务。但我认为,其透明性和相比闭源模型极高的杠杆效应意味着,当今天的年轻人成长起来,真正思考前沿的边缘端机器学习时,他们会先创造开源的东西,然后才是闭源的,因为他们可能无法在那些大型模型实验室工作。届时,我们将开始看到真正令人惊叹的事物被构建出来。
Jeff Morgan: 如果我可以补充的话,这其实关乎实用性。体现在两个方面:首先,许多开源模型部署在非数据中心的硬件上。所以最终客户无论如何都能接触到它。对于消费者而言,问题在于,如果你要在他们的设备上分发模型,他们实际获取它的难度有多大,这有点像以前的Photoshop,或者像操作系统对消费者日益免费一样。而且这些模型通常并非在数据和训练过程、论文方面完全开放,但权重是公开的。所以,如果你已经在外部获取了权重,那么你实际上就已经得到了它。在企业方面,许多企业对定制模型非常感兴趣。如果这些东西被禁止,但企业仍然需要,可能还是有办法实现的。但那时你就会问,客户是否真的完全拥有最终结果。根据我们的经验,这对客户来说非常重要。当他们用自己的数据微调、训练或蒸馏一个模型时,他们希望拥有整个模型,而不是其中的某个部分。所以,如果真的出现那种情况,这些都是我们必须面对的实际问题。
Dima: 对此我再补充一点,基本上,如果你将AI视为一种通用技术,那么即使从全球福祉和造福社会的角度来看,就像你试图监管电力一样,你可以尝试监管其在分销、住房、市场等领域的应用,但不应该禁止基础技术本身。从这个角度来看,我认为它对于推动科学进步是有益的。是的,关于定制化的问题,我们也看到很多人希望定制和调整模型,并真正构建AI优先的产品。这与开源软件的论点相同:如果它是核心产品,你希望能够定制它,控制它,并掌握其基础。

开源模型的当前态势与未来展望

Sonya Huang: 事实上,关于这一点,请举手表决,今天在座的各位,谁在生产环境中使用了开源模型?好的,人数不少。Alex,我想就你之前提到的观点深入探讨一下,即开源模型目前处于落后状态。能多谈谈这种动态以及你认为它会如何发展吗?
Alex Atala: 目前,我看到大多数大型模型实验室都在努力构建更通用、更强大的基础模型,这些模型需要较少的微调,并且适用于更多的使用场景。如果我现在要做一个预测,我认为微调在接下来的一年左右可能会经历一个低谷期。因为随着这些强大的强化学习(RL)模型不断扩展,通过微调获得的边际效益,可能会被由此带来的过时风险所抵消。但是,正如今天每个人都说过的,我们仍处于大规模采用浪潮的开端,大多数企业甚至还没有尝试任何东西。当这股浪潮进一步发展时,我预计会发生与软件领域非常相似的事情——人们会追求透明度和可定制性。届时,我们可能会看到某种——我不知道未来它是否还会被称为微调——但我们可能会看到某种必须是开源类型的定制化方案出现,而这很可能首先由开源社区实现。
Sonya Huang: 那么,你认为谁将成为这种前沿基础模型供应的坚定支持者?过去很长一段时间是Meta的Llama,在此之前我记得Mistral也很火。所以,我很好奇你认为Mistral后来怎么样了。现在看来,DeepSeek似乎风头正劲。但你们认为,在开源领域,哪个研究实验室或与其相关的经济引擎将推动前沿发展?
Dima: 我认为这很难预测,因为涉及到很多因素。开源的魔力在于,你基本上在任何特定时间点,至少需要一个参与者能真正推出一个好的模型来作为基础进行构建。所以我认为这个领域的领导者可能会变化,但整个市场和行业会持续发展。
Jeff Morgan: 我认为DeepSeek、阿里巴巴的Qwen系列模型以及Meta的Llama模型有一个共同点,那就是这些公司都在寻求解决一个不仅仅是分发和销售模型本身的问题。你可能已经看到Meta本周推出的应用,它实际上是一个社交网络。通过与中国的一些模型构建者交流,我了解到他们也在寻求打造下一个伟大的消费级应用或消费级用例。因此,在这个过程中,他们顺便将这些模型开源了。所以,我认为对于DeepSeek而言,我们恰好看到的是,在通往那个目标的道路上,由于没有理由将这些东西闭源——开源能让他们获得更多反馈——所以他们在这个过程中选择了开源。他们最终开源了一个非常棒的东西。我认为在一月份发生的DeepSeek时刻是很难预测的。

DeepSeek的异军突起:原因与影响

Sonya Huang: 让我们多谈谈DeepSeek时刻。这是怎么发生的?我们知道扎克伯格为Llama投入了大量计算资源。我们是如何发展到这样一个地步:一个中国模型不仅在排行榜上名列前茅,更重要的是,在开源世界中成为开发者关注的焦点?
Dima: 我认为从模型本身来看,他们确实做了非常出色的工程工作。正如我们之前在一些演讲中也多次听到的,小团队行动可以非常迅速,并且需要整合研究和工程系统方面的能力来训练一个出色的大语言模型(LLM),我认为他们在这一点上做得非常好。是的,有时候在更大的组织环境中做到这一点会更难。
Alex Atala: 我认为这是几件事情结合的结果。首先,它是一个非常优秀的开源推理模型,我们之前还没有这样的模型。其次,它有一个用户体验(UX)上的创新,你可以看到模型思考的过程,这是用GPT-3.5(O1,指OpenAI的模型)无法做到的。社区通过这样做获得了各种豁然开朗的时刻。而且它也让人感觉更加透明。所以它与DeepSeek试图建立的开源品牌非常契合。第三,他们无法承受推理的负载。他们的服务器完全崩溃了,你甚至无法向他们付款,他们网站上的支付功能都被禁用了。因此,美国公司被迫想办法扩展这个模型。Fireworks在这方面做得非常出色,据我们的指标显示,他们在早期捕获了大部分推理流量。我们不仅看到美国公司对此非常感兴趣,而且去中心化的推理提供商也终于有了一个人们真正想要的模型可以运行。我们在那个领域看到了爆炸性的增长,我认为AI领域的大多数人对此仍然不甚了解。
Sonya Huang: Dima,能否在不把这变成Fireworks广告的前提下(我们不希望这样),给我们介绍一下你们为优化模型以使其运行如此良好所做的工作?我对其中的细微差别很好奇,例如我读到Perplexity对GPT-3.5进行了微调或后调整,以消除该模型的一些独特元素。关于这一点,您能多说些什么吗?
Dima: 首先,关于扩展性,是的,TensorFlow,为你点赞。在扩展性方面,这个模型本身是第一个真正成功的大型开源混合专家模型(MoE)。现在,Llama 3 Floor也是混合专家模型,像一些大型获奖者等等。混合专家模型在如何良好扩展方面存在很多有趣的基础设施问题,因为你可以进入多GPU、多服务器的分布式推理,而这正是我们非常擅长的。所以,这其中有很多有趣的工程工作,以确保服务器不会崩溃,你不必拒绝客户。正如你所说,我们从圣诞节它发布开始,大约几周后人们才意识到并跟上,我们看到现有客户和新客户的用量都出现了疯狂增长。是的,关于你提到的独特性元素的问题,我认为Perplexity和其他一些公司在针对特定行为微调它方面做得很好。我们也看到很多其他客户实际上在针对不同任务微调DeepSeek。所以它是一个非常好的预训练基础模型,你可以根据自己的需求对其进行塑造。是的,回到你之前关于对此类事物进行危言耸听的观点,在很多情况下,这其实并不直接适用,对吧?你实际上希望专注于某个特定的商业案例,那些人们在网上发布的敏感元素,在产品问题中根本不会出现。比如,如果有人在那个用例中问你关于政治的模型,你实际上不希望得到任何答案,你希望它专注于狭窄的商业用例。是的,针对特定商业用例进行微调和定制在这方面效果非常好。

对Llama 4的展望与思考

Sonya Huang: 太棒了。你们对Llama 4有什么看法?你们认为它未来会如何发展?比如说,你们是否推测Llama会最终超越DeepSeek?
Dima: 这种可能性很大,我们也当然希望如此。但我认为,从根本上说,所有的要素都已具备,对吧?有高层的承诺,有Meta的优秀人才在工作,还有大量的计算资源。所以,是的,我认为当前版本中有些地方可能不尽如人意,有些可能实际上与基准测试有关。我看到目前LLM的公开通用基准测试有点达到顶峰了,很难判断什么是好,什么是坏。但我看到基本要素都在那里,是的,我对Llama的下一代充满希望。
Jeff Morgan: 是的,我认为,你知道,周六早上他们宣布Llama 4时,有那个巨型模型和他们发布的两个模型,Maverick,然后这周马克谈到了,你知道,小Llama或者更小的那个,这是Llama系列发布中第一次没有包含小模型的。而且,活动上的很多反馈是客户想要那个小模型。我的意思是,那是Llama的价值主张之一。所以我不会把他们排除在外,因为他们拥有最大的模型,然后他们还有最有用的,我猜,那些尚未发布的模型。我认为DeepSeek做得非常好的一点是,他们显然开源了这个庞大的模型,然后以非常便宜的价格托管它,对大多数消费者免费。但他们也发布了这些蒸馏版本。我认为,从实际应用的角度来看,这非常强大。我认为Llama 4发生的事情与此相反,但我认为未来的版本可能会效仿,甚至可能更强大。马克具备了成功的要素,拥有大量资源,但同时他也在解决一个问题,即如何利用这个来发展Meta的业务,这可能不是直接销售模型,而是在他们的消费应用中使用它。所以这感觉很像我们之前谈到的DeepSeek成功的要素,但这些事情很难预料。
Alex Atala: 我只想补充一点,对于很多开源项目来说,关键在于学习速率。Llama 4似乎吸取了很多教训。听起来他们正在考虑奖励机制被滥用(reward hacking)以及排行榜式的基准测试问题。我认为我们将不得不调整,并且必须在评估模型方面做得更好,以避免奖励机制被滥用。

未来五年展望:开源与闭源的份额之争

Sonya Huang: 好的,我们以最后一个问题结束,这是一个量化问题。我不像我的同事Constantine那样精通Slido,但如果你们预测五年后,通过闭源模型与开源模型运行的推理Token百分比各是多少?
Jeff Morgan: 这是一个非常难回答的问题,原因有二。我会说50/50。因为,关于这一点有很多很棒的研究,我认为其中两个很好的例子是Route Llama,它讨论了如何将开源模型与大型模型结合使用并在两者之间切换;还有斯坦福大学的Minions项目,它实际上是结合使用它们。而且,工作负载主要在小模型上运行。所以我认为我们会在路由层看到大量的工作。因此很难确定,但可能是一半一半,这是我的看法。
Dima: 我认为很难给出确切的数字,所以我可能也会选择50/50。但我认为,如果你要绘制出整体使用最多的模型,在闭源方面,可能仍然是少数几个领先者,比如X公司可能占据总量的四分之一左右。而在开源方面,它不会是单一模型,而会是更多的模型家族、功能和定制化。是的,回到之前关于开源与闭源的问题,我认为有一种情况是,如果收益仅仅来自预训练,那么闭源实际上具有优势,因为你只需要不断建造那些万亿美元的数据中心。但我们今天听到了很多关于从预训练转向后训练和强化学习(RL)的讨论,其中有趣的部分在于,这个方法论是有效的,你可以将其应用于许多问题。而且,如果你想尝试构建一个适用于所有场景的模型,你需要花费大量的计算资源来针对所有可能的问题进行训练。但是,如果你采用定制化的方式,你可能花费较少的计算资源,但可以独特地使用数据,并以独特的方式来解决你实际试图解决的问题,比如什么是正确的评估标准,什么是正确的RL环境和问题表述,从而以可能更少的资本投入获得非常好的结果。我认为鉴于这种转变,开源作为一个整体的份额实际上似乎会增长,即使不一定会出现某个单一模型主导一切的情况。
Sonya Huang: 超过50%?Alex,你怎么看?
Alex Atala: 五年是很漫长的时间。我认为,如果去中心化提供商没有出现,或者无法可持续地发展,那么我倾向于认为闭源模型可能会占据多数。在我看来,除非类似的情况发生,否则情况就是这样。如果提供商找到了去中心化的方法,那么我认为情况会改变。我知道去中心化目前在AI领域并不是一个热门话题,但我确实认为它会彻底改变动态。它基本上将AI与某种金融系统联系起来,启动一个冷启动的飞轮效应,并帮助新的人员处理流量。现在所有现有的参与者都非常新,其中一些有着疯狂的激励措施,比如我们路由到的一个提供商,每天通过激励措施赚取约36万美元。他们是否能够持续发展,这是一个很大的问题。
Sonya Huang: 好的,加密货币的伙计为去中心化带来了经济引擎,我喜欢这个。Alex、Dima、Jeff,非常感谢你们今天参与讨论。
© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
none
暂无评论...