深度｜Cohere 创始人最新思考：模型进展已经变得越来越难！AI 下一个大的突破在机器人，模型需要更强大更便宜
近日，Cohere 创始人&CEO Aidan Gomez 对谈 20VC 主理人 Harry Stebbings，分享了他对 AI 发展的最新思考。Aidan 表示，AI 的未来发展潜力远未被完全挖掘，尤其是在推理能力、规划能力和长期任务执行等方面，这些能力的开发将带来质的飞跃。
在谈及AI模型的构建时，他承认自己曾低估了数据质量的重要性。数据的质量对 AI 模型的影响极为敏感，甚至一个错误的数据点都可能对模型产生显著影响。
他指出，提高生产力是 AI 技术的核心价值所在，AI 有望缓解社会经济停滞，推动经济增长。
在谈到企业采用 AI 技术时，他指出，信任是当前的主要障碍，尤其是在数据安全和隐私方面。Cohere 通过私有部署和数据本地处理的方式，努力消除企业的这些顾虑……
以下为这场对话的全部内容，enjoy～
Harry Stebbings:
Aidan 提到你是在安大略省的乡村长大的，住在你祖父亲手建造的房子里。这是一个好的起点吗？你能跟我说说这段经历吗？
Aidan Gomez:
是的，我是在安大略省的一个偏远地区长大的。那是一块百英亩的大片土地，全是森林，是一片枫树林。在这样一个极具加拿大特色的环境中长大真的很酷，但这确实让我远离了科技。
Harry Stebbings:
但你喜欢游戏，对吧？
Aidan Gomez:
是的，我确实喜欢游戏，我从小就喜欢科技。只是很难接触到它，比如我们当时无法上网，能用的也只是拨号上网。
在别人都已经用上高速互联网的时候，我还在用拨号上网。我所有的朋友都在玩在线游戏，而我只能羡慕，或者说感到遗憾，错过了互联网兴起并变得流行的那一波潮流。
所以这让我对科技非常着迷。我会坐在家里的电脑前，使用糟糕的拨号互联网，尽力让它变得更快。
我会尽量利用现有的资源。这最终促使我想要学习编程，了解网络是如何运作的。我能让这些东西更快吗？能让互联网加载更快吗？因为我当时看着屏幕上的像素一行一行地加载。
这真的推动了我进入计算机科学领域。我不得不去学习这些技术的运作原理，以便能更好地利用它们。
Harry Stebbings:
这让我想起我从许多了不起的创始人那里了解到的一件事，那就是在早年玩过游戏的人和后来成功的创始人之间有着极高的相关性。你认为游戏为什么会成为成功创始人的奇怪因素？
Aidan Gomez:
电子游戏教会了你一些东西。你会更愿意为了一些更大的目标去做重复、困难且痛苦的事情。这种韧性非常重要。
另外，你在游戏中总能重来。你可以再试一次。这个乐观的心态或者说这种框架在很多文化中都非常重要。在很多文化中，你只有一次机会，如果你搞砸了，那就完了。
但也许游戏能给人们一种感觉，就是你可以搞砸了再试一次，你可以变得更好。第二次搞砸的次数比第一次少，第三次搞砸的次数比第二次少。这种通过失败取得进步的理念，对我们来说非常重要。
Harry Stebbings:
我也一直相信游戏设计的力量，它的渐进性或者说游戏设计的方式让我们感觉良好，增强了自信。你绝不会在一款游戏中从一个非常困难的第一关开始，让人觉得“不可能完成，我不想玩了”。
Aidan Gomez:
是的，是的，这在机器学习中被称为“课程学习”（curriculum learning）。你要先教模型做一些非常简单的事情，然后逐步增加复杂性，基于已有的知识构建。
有趣的是，课程学习在机器学习中实际上是失败的。我们并没有真正进行课程学习，而是把最难和最简单的材料同时抛给模型，让它自己去弄明白。
但对人类来说，这种方式非常有效，是我们学习的重要组成部分。看到它在机器学习中没有取得成功，真的很有趣。
Harry Stebbings:
你刚才说到直接把所有东西抛给模型，我想直接深入探讨这个问题，因为这是大家都在问的一个问题：很多人都说只要增加计算能力就是我们最大的限制因素。
我们只需要更多的计算能力，性能就会提升。你认为这是正确的吗？我们是否还有其他因素在限制性能的提升？
Aidan Gomez:
确实，如果你给模型增加更多的计算能力，或者让模型更大，它确实会变得更好。这是提高模型性能最可靠的方式，但也是最笨的。如果一切都失败了，只需让模型更大。
对于那些资金充足的人来说，这是一个非常有吸引力的策略，风险极低。你知道它会变得更好，只需扩展模型，花更多钱，购买更多的计算能力。我相信这一点，只是觉得这样做极其低效。
有更好的方法。如果你看看过去一年半的时间，比如从 ChatGPT 发布到现在 GPT-4 发布的时间段。如果 GPT-4 确实像他们所说的那样有 1.7 万亿参数，它是一个巨大的 MOE。
我们现在有比这个模型更好的模型，它们只有 130 亿参数。所以这种变化的速度，或者说成本迅速下降的程度，简直是不可思议的，甚至有些超现实。
所以是的，你可以通过扩展规模来达到模型的质量，但可能不应该这么做。
Harry Stebbings:
这样的进步会继续保持吗？我的意思是，我们会继续看到这种规模上的进步吗？还是它会在某个时候达到瓶颈？
正如你所说，我们总是听到更多的存储，但在某个时候，它只是变成了一个更好的计算器。
Aidan Gomez:
是的，这确实需要指数级的投入。你需要不断地加倍计算能力才能维持智力上的线性增长。但这种增长可能会持续非常、非常、非常长的时间。
它会变得越来越聪明。但是你会遇到经济上的限制，对吧？并不是很多人购买了最初的 GPT-4，特别是很多企业因为它非常庞大，非常昂贵，运行效率低下，成本高昂，而它的智能不足以证明这种成本的合理性。
所以，市场上有很大的压力，要让模型变得更小、更高效，通过数据和算法、方法来让模型更聪明，而不仅仅是依赖规模的扩大。
Harry Stebbings:
价格压力。在我们生活的这个世界里，有更小、更高效的垂直化模型，这些模型设计用于特定的用例，是否会出现几个大型的、统治一切的模型？还是会两者兼有？
Aidan Gomez:
我们在过去几年中看到的一种趋势是，人们喜欢用一个通用的、智能的模型进行原型设计。他们不想用一个特定的模型进行原型设计，不想花时间微调模型来使其在他们关心的事情上特别出色。
他们想要的是抓住一个昂贵的大模型，用它来做原型设计，证明它可以完成任务，然后将其提炼成一个在特定领域表现出色的高效模型。所以这种模式真的出现了。
因此，我们将继续生活在一个多模型共存的世界中，一些模型是垂直化和专注的，另一些则是完全横向的。
Harry Stebbings:
你提到了成本以及需要加倍计算能力来保持相同的智力水平。成本非常高昂。也许我在这里错了，我年纪太小，不记得过去的技术进步，但几乎感觉像是一场持续的竞争。
比如说，现在 OpenAI 花费了 30 亿美元。你怎么能在这场竞赛中保持自己的位置，除非你是微软、 Amazon 、 Google 、Facebook 这样的公司？
Aidan Gomez:
如果你只是做规模化的项目，你确实需要成为这些公司中的一个，或者成为这些公司旗下的一个子公司。但是，还有很多其他事情可以做。
如果你不完全依赖规模化作为唯一的前进路径，如果你相信数据创新或模型和方法创新，还有很多可以探索的方向。
Harry Stebbings:
我们可以深入探讨一下什么是数据创新和模型及方法的创新吗？
Aidan Gomez:
几乎我们在开源领域看到的所有重大进展都来自数据的改进。通过从互联网上获取更高质量的数据、改进网页抓取算法、解析网页、提取出重要部分、提升互联网上特定部分的权重，因为互联网上有很多重复和垃圾内容。
通过提取最有价值的、知识丰富的部分，并强调给模型，以及生成合成数据的能力，这些都让我们能够获取大量的文本或网页内容，而无需人类参与，这些数据是由模型自动生成的。
这些创新，特别是提高数据质量的能力，推动了我们目前看到的大部分进展。
Harry Stebbings:
好的，这是数据创新，那模型创新呢？
Aidan Gomez:
这涉及到像新的强化学习算法。你知道，有很多关于 Q-Star 的传闻，以及它可能带来的变化。围绕搜索的想法，比如如何搜索解决方案。
当前模型的状态是我问你一个问题，你的模型需要立即给出正确答案。这对模型来说是一个极其苛刻的要求，对吧？
你不能对人类这样做，你不能问一个人一个难题，然后期望他们立即吐出答案。他们需要时间去思考和处理。
Harry Stebbings:
他们有时还需要一点头脑风暴时间。
Aidan Gomez:
对，有时确实需要。所以，模型的一个非常明显的下一个发展步骤就是，你需要让它们思考和解决问题。你需要让它们犯错，尝试一些东西，失败了，理解为什么失败，然后回溯再试一次。
目前，模型中并没有解决问题的概念。
Harry Stebbings:
你提到的解决问题，这是否与推理是同一个概念？
Aidan Gomez:
是的。
Harry Stebbings:
为什么推理这么难？为什么我们现在还没有推理的概念？
Aidan Gomez:
推理并不难，难的是我们在互联网上没有太多展示推理过程的训练数据。互联网上大多是推理过程的输出结果。
当你在网上写东西时，你不会展示你的思考过程，而是直接展示你的结论，展示你的想法，而这些都是经过大量思考、经验和讨论后的结果。
所以我们缺乏这样的训练数据，它不是免费提供的，你必须自己构建。因此，像 Cohere、 OpenAI 和 Anthropic 这样的公司正在做的就是收集展示人类推理过程的数据。
Harry Stebbings:
你如何看待与 OpenAI 这样的大型玩家竞争？
Aidan Gomez:
是的，这确实非常困难，特别是在企业领域，他们绝不会让你用他们的数据进行训练。所以我们无法用任何客户的数据进行训练，数据非常私密。
他们的观点是，他们的数据就是他们的知识产权，其中包含太多的商业机密，因此他们不愿意分享。我非常理解他们的立场。
所以对于我们来说，我们的重点是合成数据，我们在这方面投入了很多，同时我们还有一个人类标注团队，并与 Scale AI 合作。
我们有自己的内部团队，但这是我们的责任，因为我们不是一家面向消费者的公司，所以我们必须自己生成这些数据。
好处是我们更加专注，因此需要覆盖的范围较小。这意味着我们不需要应对来自全世界的各种需求，而是专注于企业，他们有非常明确的需求，比如他们想要自动化某些财务功能或人力资源功能。
所以范围大大缩小，这让我们能够真正专注于这些领域。
Harry Stebbings:
那么合成数据市场会是什么样子？它会被两到三家供应商主导吗？
Aidan Gomez:
我听说当前的大模型 API 市场主要由合成数据主导。大多数人都是使用这些大型昂贵的模型生成数据，然后用这些数据来微调更小、更高效的模型。
所以他们基本上是在提炼更大的模型。我不知道这种模式作为市场是否可持续。但我确实认为，总会有新的任务、新的问题或新的数据需求，无论这些数据来自模型还是人类，我们都必须满足这些需求。
Harry Stebbings:
有一件事让我感到担忧，或者说让我感到犹豫。你看到 OpenAI 在进行价格竞争，你看到像 Meta 这样的公司免费发布模型，同时也没有对开源和开放生态系统的价值进行明确说明。
我们是否正在看到这些模型价值的真正下降？这是不是一场竞相降低价格、甚至是竞相归零的竞争？
Aidan Gomez:
，如果你只是卖模型，那么在接下来的一段时间里，这将是一场非常艰难的游戏。这不会是一个小市场。
Harry Stebbings:
会有很多人只是卖模型，还有一些人会卖模型以及其他东西。
Aidan Gomez:
我不想点名，但可以说，比如 Cohere，现在只卖模型。我们有一个 API ，你可以通过这个 API 访问我们的模型。
这种情况很快就会改变。产品格局将会发生变化，我们会在现有产品基础上增加新的东西。如果你只卖模型，情况会很困难，因为这将变成一个零利润的业务，价格竞争太激烈了。很多人免费提供模型。
尽管如此，它仍然会是一项大业务，市场需求增长非常迅速。但至少在现阶段，利润会非常微薄。
这就是为什么在应用层面有很多兴奋点。市场上的讨论是正确的，指出价值正在芯片层以下发生，因为一开始每个人都在芯片上投入大量资金来构建这些模型，然后在应用层面上看到价值的体现，比如 ChatGPT ，它按用户收费，每月 20 美元。
这似乎是目前价值发生的地方。模型层在长期来看是一个有吸引力的业务，但在短期内，按照现状，它是一个利润非常低、商品化的业务。
Harry Stebbings:
如果我们进一步分解一下，你提到了芯片层。你如何看待你们目前在芯片上的支出，以及随着时间的推移，这一支出占总支出的比例变化？
Aidan Gomez:
是的，这部分支出增长了很多。现在它占我们支出的大头，实在是太多了。
Harry Stebbings:
你们与英伟达有直接的合作关系。
Aidan Gomez:
是的，还有许多芯片制造商。我们与英伟达、 AMD 都很接近，并且与许多正在开发新型芯片的初创公司有对话。我们还使用 Google 的 TPU 。
Harry Stebbings:
这是因为你们不希望有单一的失败点吗？
Aidan Gomez:
是的，主要是市场需求。我们的客户希望能够在不同的平台上运行，他们希望有选择的自由，不想被锁定在一个平台上。
因此，我们需要提供一个非常多样化的平台空间来运行。就像我们非常避免被锁定在一个云服务商上，我们希望能够在每个云上都可用。
这是因为市场的需求，客户希望有选择权，不想被垂直化锁定在一个供应商上。
Harry Stebbings:
你认为每个人都会垂直化自己的堆栈，建立自己的芯片能力吗？你看到了苹果最近在垂直化方面的努力，他们希望拥有自己的芯片供应链。你认为这种趋势会继续吗？
Aidan Gomez:
目前，芯片的利润非常高，市场上的选择非常少。但这种情况会比人们预想的更快地改变。我对此非常有信心。
Harry Stebbings:
我坐在供应链团队里，注意到你提到的“变化”。你知道，以前我们面临着供应链短缺的情况。
Aidan Gomez:
是的，现在这种情况不再那么严重了。短缺正在减少，很快就会有更多的选择可用，不仅仅是在推理端。推理已经相当多样化了，你在推理端有很多选择，而不是在模型训练方面。
在训练方面，情况一直是：只有一家公司制造你可以用来训练大模型的芯片。到今天为止，这仍然是真的。但实际上，现在有两家公司。
你完全可以用 TPU 来训练大模型。它们现在已经是一个可用的平台，适用于超大规模的模型训练。
Google 已经相当有说服力地证明了这一点。然后还有英伟达。但很快， AMD 的训练平台也会真正准备好进入市场。
Harry Stebbings:
我有个问题，当你看到模型和计算能力上的支出时，模型的进展远远快于数据中心的建设和计算能力的进展。那么，随着时间的推移，我们是否会在H100或其他18个月前的计算机上运行新一代的模型？是否存在模型进步与计算能力进展之间的不协调？
Aidan Gomez:
供应链问题确实非常有趣。你是否需要建立自己的数据中心？不，我们会与其他人合作。这种情况是否会改变？你知道吗？我们是经济理性的行为者。
如果建立自己的数据中心更便宜，我们会这么做。我们做过计算，我们相信我们从供应商那里得到的价格让这个路径不太吸引人。
但如果出现了一个非常有吸引力的芯片，但没有供应商会为我们采购它，那我们可能会考虑自建。
Harry Stebbings:
你在早期是否遇到过获取大量计算芯片的挑战？今天这种情况发生了变化吗？
Aidan Gomez:
我们已经存在了大约五年了，所以在这个领域开始大热之前我们就已经存在了。我们很幸运。你是否预料到了这种爆发？
我不会在当初创办公司如果我不预料到，但爆发的方式确实有些意外。它发生得更晚且更突然。
Harry Stebbings:
是的，我理解。你们在 2017 年合作发起的公司？没有，还是 Transformer 的研究。是的，是的。所以你们当时预计它会很快流行起来？
Aidan Gomez:
不，在那一刻没有。在 2017 年，我只是这个 Transformer 论文的实习生，这只是研究工作。我们只是创造新的架构，提高翻译分数3个百分点，仅此而已。
我没想到这个架构，即 Transformer ，以及社区对它的喜爱和基于它的整个平台的实际整合。我没想到。
至于语言建模和整个规模化项目，我以为世界会更快地关注到这一块。这开始变得非常明显，但花了两三年的时间，大家才意识到它的潜力，并在全球范围内开始应用。
Harry Stebbings:
那段时间怎么样？很有挑战性吗？
Aidan Gomez:
确实很有挑战性。将技术直接呈现在用户面前，这样你就不必向你的父母解释了。你可以坐下来，与模型对话，体验与这些模型对话的感觉。
Harry Stebbings:
你认为聊天是最好的用户界面吗？
Aidan Gomez:
对于某些东西来说是的，对于其他东西来说，传统的图形用户界面还是非常不错的。这取决于情况，聊天作为一种界面并不适用于一切。
我不想为了完成任务而必须详细地输入我的指令。有时候我只想点击几个按钮，通过图形界面完成任务。我不认为图形界面已经过时了，也不应该用文本框取代一切。
但我确实认为它提供了一个非常有吸引力的界面，语音也是如此。语音是神奇的。我第一次看到模型像人类一样有说服力地回复文本时，那是一种神奇的体验，那发生在 2017 年，我们提交论文后不久。
我们开始用维基百科来训练语言模型，并从这些模型中采样，它们能够像人类一样撰写维基百科页面。那是一个非常神奇的时刻，计算机仿佛醒了过来，开始与我们对话。
接下来的神奇时刻是对话作为一种界面。不是我提交一个指令，模型返回一个响应，而是通过聊天与模型进行对话。
Harry Stebbings:
我对语音投资了一些。你认为对语音作为下一代用户界面的信心是正确且合理的吗？
Aidan Gomez:
绝对是的。任何与这些模型进行过语音对话的人都会感到震惊。当你听到模型表现出情感和语调时，当你听到它在说话前吸气时，当你听到它嘴巴的声音时，那种体验是如此引人入胜。
这种体验很难用语言描述，直到你第一次尝试时才会明白。这是一个如此吸引人的界面，非常吸引人。
Harry Stebbings:
我一直坚信我们往往会高估短期内的变化，而低估长期的变化。你认为这是这种情况吗？还是说语音即将来临，并且来得很快？GPT-5 即将来临，可能是在三到六个月内。我们是否低估了短期内的变化？
Aidan Gomez:
情况是这样的。有两件事情正在发生。第一，模型进展变得越来越难了。它变得更加困难、费力和昂贵，因为曾经有段时间，模型还不够智能。
我可以随便找一个人来说，让他们与模型对话，发现错误，他们会的，并改进它。最终，模型变得如此聪明，以至于让普通人很难找到知识
Harry Stebbings:
什么时候这就不再值得了呢？如果你想想语言学习，比如你可以在六个月内学会95%的语言，但要达到 98% 的熟练度却需要五年。
我把这个过程简化到这样的程度：为了那额外的 0.5% 的提升，你可能需要再投入 10 亿美元。那么这就不再有效率了。
Aidan Gomez:
幸运的是，所有东西的成本都在迅速下降。计算成本，每次浮点运算的成本，模型的规模。每次浮点运算的成本是多少？浮点运算（flop）是计算中的一个单位。
Harry Stebbings:
对我来说，浮点运算好像是个新概念。
Aidan Gomez:
它其实是个非常古老的概念。它是指浮点操作，一个时钟周期内的运算。如果你有 100 亿个参数，这基本上等于一些数量的浮点运算。
如果你有 1000 亿个参数，那就相当于 10 倍的浮点运算次数。浮点运算的价格随着时间的推移迅速下降。这正是使得更大模型得以解锁的原因。今天与 2017 年相比，甚至与两年前相比，情况已经大不相同。
Harry Stebbings:
鉴于这一点，你不认为对于新创公司进入模型领域来说为时已晚吗？大家都在说，现在进入模型领域为时已晚，但考虑到成本障碍的降低，这是否意味着现在对创业公司来说比以往更容易进入这个领域？
Aidan Gomez:
是的。构建去年的模型变得更便宜，每年成本降低 10 倍或 100 倍。我们获得了更好的数据和更便宜的计算能力。
所以，是的，这确实降低了上一代模型的进入门槛。但现实情况是，没有人关心上一代的模型，没有人想要它们。市场上对去年的模型没有需求。
它们与今年的模型相比显得毫无用处。任何技术进步都会让上一代产品迅速变得过时。
Harry Stebbings:
不同之处在于，构建第一个版本可能花费 1000 万美元，这在软件产品中是很常见的，而将其提升到第二版本只需额外的 100～200 万美元。
但是在这里，构建一个模型可能需要 30 亿美元，而将其提升到下一版本可能需要 50 亿美元。这种增量并不是线性的，而是数量级的。
Aidan Gomez:
我不确定是否总是下一代的构建成本更便宜。在芯片等非常复杂的技术领域，每一代的成本可能确实会更高，但我们仍然会去做，因为这是值得的。
Harry Stebbings:
好的，回到你之前的观点，对上一代的模型没有人关心。
Aidan Gomez:
你刚才在问这些改进是否会持续，我在说改进这些模型变得越来越难，摩擦越来越大。另一个奇怪的现象是，由于这些模型变得越来越聪明，人们，或者说每个人的能力，使得他们很难区分不同的模型代际。
你无法分辨它们之间的区别，因为你没有足够的医学、数学、物理等方面的专业知识，无法真正感受到变化。模型已经在基础知识上达到了尽可能的好水平，这就是你我所拥有的知识水平。
所以当我们与模型互动时，我们在不同代际之间的体验是相同的。但实际上，这些代际在更具体的能力或原始智力上发生了巨大的变化。
你在问，这样持续花费大量资金推进是否值得？绝对值得。即使对于你我这样的消费者来说，当我们使用这些技术时，我们可能不在乎它是否懂得 C-Star 代数和量子物理，但这对量子物理研究者非常有用。通过提供这些工具，我们将在这些领域取得更大的进展。
这就像一般的技术问题一样：我们已经有了充足的食物，超级便宜的汽车，每个人口袋里都有手机，我们似乎已经足够好了。
所以，是否还应该投资于下一代技术，比如开发一种新的航天材料，使得航天器能更高效地进入轨道？
也许这对你来说无关紧要，但对某些人来说，这非常重要，他们愿意为此付出代价，并且存在市场需求。
Harry Stebbings:
这就是进步得以持续的方式。进步显然需要继续投入大量资金。你之前提到过一个很有趣的词：“有效的子公司”。我们看到很多公司被收购或整合进了大公司。
现在每个人都意识到，云服务是一个持续带来收益的“现金牛”，你看到的 Azure 和 AWS 的增长率和盈利能力就是例子。
实际上，我们可能会看到那些较小的模型提供公司大多数都被这些大型云服务提供商收购。你认为在未来三到五年，这种情况是否很有可能发生？三年内？
Aidan Gomez:
是的，这个领域会经历一次清理，它已经在发生了。很多模型构建者都在寻求与大公司合作。
Harry Stebbings:
他们在 Amazon ，甚至于微软都有合作。
Aidan Gomez:
是的，这种整合将会越来越多。这种空间的整合是肯定的，但当你让自己成为云服务提供商的子公司时，这是非常危险的。
Harry Stebbings:
为什么？
Aidan Gomez:
因为这对商业来说并不是好事。作为一家公司，你需要去说服投资者，他们只关心资本的回报率，他们给你资金，你用这些资金创造价值。但当你从云服务提供商那里融资时，数学就完全不同了。
Harry Stebbings:
你认为风投投资者会从我们过去几年看到的模型投资中赚钱吗？像 Cohere 的投资者呢？他们会赚很多钱吗？他们相信你，并投入了大量资金，你会觉得“那笔资金真便宜，我不应该给那么多股份。”
增强劳动力，你需要有一个开发这些助理的统一平台，这个平台对特定工具集没有偏好，并且根据实际使用情况合理地优先选择工具集。
Harry Stebbings:
所以你认为这不会由 Copilot 来完成。你提到的 Agents 是风险投资界最热门的话题之一。你认为代理的炒作是合理的吗？
Aidan Gomez:
炒作是完全合理的。这是 AI 的承诺。这些模型的承诺是它们能够自己完成工作，这将彻底改变生产力。一旦你有一个模型可以独立工作很长一段时间，这就完全改变了一个组织的能力。
因此，炒作是合理的。我的质疑是，谁最适合构建这些产品？是在模型构建者内部，还是在外部？为什么在模型构建者内部构建这些产品更好？这完全取决于模型的质量。模型是代理背后的原因。
因此，你必须能够在这个层面上进行干预。如果你不能实际改进模型，让它在你关心的事情上表现得更好，那么你作为模型的消费者在构建这些产品时处于结构性的不利地位。
Harry Stebbings:
你认为今天谁处于不利地位？大家都在谈论 Salesforce ，但我不敢轻视 Benioff。
Aidan Gomez:
他确实非常出色，他非常清楚面临的威胁，我不认为他会让 Salesforce 处于不利地位。它不会有太大问题。
另一个问题是，大家容易忘记企业软件的粘性有多强。企业软件很难被替代，它们往往会存在几十年。有机会打造真正变革性的消费者体验，而消费者对单一提供商的忠诚度要低得多。
他们会选择朋友所在的平台，或者选择服务和产品最好的地方。因此，如果有人能够提供比现有产品更好的 AI 驱动的服务，消费者会转移过去。
你认为谁拥有最好的研究资源？当然是 Cohere。除此之外，现在的研究资源非常分散。过去它们非常集中，像 Google Brain。
Harry Stebbings:
为什么他们落后了？
Aidan Gomez:
他们并没有真正落后。两周后我们发布了 Transformer 论文，并开始训练语言模型。所以从技术上和研究上，Google Br AI n 肯定没有落后。
我不想评论 Google ，但我可以说，真正重要的是产品愿景和想象力，以及你能够想象出利用技术做什么。这不仅仅是技术开发本身的问题，而是你对技术的愿景。
即使你公司内部有人看到了这个愿景，你是否有能力让他们执行这个愿景？还是他们需要去别的地方执行？这些是你必须要问的问题。
最后，关于规模化假设，这种认为模型会随着我们投入更多资源而不断改进的想法，这是一种非常冒险、不确定甚至疯狂的赌注。我并不认为 Google 做出的决定是错误的。OpenAI 做了非常好的赌注。
Harry Stebbings:
你认为 OpenAI 做出的最佳赌注是什么？
Aidan Gomez:
毫无疑问是规模化假设。就是认为规模化会持续下去，我们应该继续10 倍10 倍地增加投入。很多人不相信这一点，很多人对此持反对意见。他们认为这是一个愚蠢而多余的追求。但他们有信念坚持下来了。
Harry Stebbings:
你认为在 AI 社区里，大家现在没有谈到的最大问题是什么？在接下来的12到24个月里，我们应该怎么看待这个问题？
Aidan Gomez:
现在有一种说法在传播，说 AI 的发展已经到了平台期，没有什么新的东西要来了，速度在放缓。
我真的认为这是错误的。不仅仅是从需要 10 倍计算能力的角度来看，而是从方法论的角度来看。
所以当我谈到推理者、规划者以及能够尝试、失败并从失败中恢复的模型，以及能够执行需要很长时间才能完成的任务的模型时，这些都是今天技术中还不存在的明显能力。
我们还没有来得及集中精力去实现这些能力，但在过去的一年多时间里，大家一直在关注这些问题，这些能力很快就会准备好投产。所以我们会看到这些能力的出现，这将是一个能力上的重大变化。
Harry Stebbings:
那么对于我来说，作为 20VC 的投资者，现在的机会在哪里？
Aidan Gomez:
产品领域、应用领域仍然非常有吸引力。这些技术将会带来新的产品，它们将改变社交媒体。人们喜欢与这些模型交流，使用时间非常惊人。
Harry Stebbings:
你觉得这是件好事吗， Aidan？你在一个非常健康自然的环境中长大，你提到你的家庭，我相信你现在在英国见到他们的次数更多了。我不希望我的孩子生活在一个他们与生成式系统交流、模仿人类的世界中。我不希望他们从与一个模型的对话中获得满足感。
Aidan Gomez:
你可能错了。你可能希望你的孩子能够与一个极其富有同情心、非常聪明、知识渊博、安全的智能体交流，它可以教给他们东西，和他们一起玩，它不会对他们发脾气，不会对他们发火，不会欺负他们，不会让他们产生不安全感。
当然，没有任何东西能取代人类。没有什么可以取代人类的世界，我们不会突然间全都开始与 ChatBot 约会，导致人类出生率下降。
我不认为会发生这种情况，对吧？我想要一个孩子，我不能和一个 ChatBot 一起生孩子。
人类伴侣对我来说比任何 ChatBot 都要宝贵得多。就像在职场中，我不认为我们能够完全取代人类。AI 会增强人类的能力，使人类变得更加高效，但这并不意味着工作岗位会减少。
你无法取代人类。想想销售吧，如果我是由一个机器人推销的，我是不会买的。就是这么简单，我不想和机器对话。
当然，某些简单的购买可能可以由机器人处理，但对于那些对我和我的公司来说非常重要的购买，我希望另一方是一个可以负责的真人。
如果出现问题，我需要一个有权力进行干预的人。所以我真的认为，无论是在消费端，我们是否会沉迷于与 ChatBot 对话，还是在工作端，工作将会消失，导致大规模失业，我都看不到这些情况发生。
Harry Stebbings:
总是有一种认识，即新技术的采用总会带来一些轻微的替代，这是正常的，但确实会看到某种形式的替代，但不会是全盘替代。
80%的人，像你看到的祖父母，他们现在看到计算机和电子邮件时可能会想，“我们整天都在做什么？这真是太疯狂了。”所以我完全同意，但我确实担心在较低层次的工作中，会有大量的客户服务团队被取代。
Aidan Gomez:
肯定会有局部的替代发生。但总体上，这将是增长，而不是替代。某些角色确实容易受到技术的影响，客户支持就是其中之一。
但最终，仍然需要有人来做这些工作，只是数量可能会比今天少。但客户支持是一个艰难的角色，这是一个心理上非常消耗人的工作。如果你曾经听过那些电话录音，你就会知道这是一份情感上非常消耗的工作。
Harry Stebbings:
是的，这有点像社交媒体平台上的内容审核，那在很多方面也是一种心理创伤。
Aidan Gomez:
每天你醒来，去工作，整天被人骂，还得道歉。所以，也许我们应该让模型处理这些对话，而让人类来处理那些真正需要人类帮助的客户支持问题，比如说，解决某个问题，没有情绪化的抱怨，而是有机会让这个人的生活变得更好。
Harry Stebbings:
你认为 AI 今天还不能做什么，但在三年内将会成为现实并带来巨大变革？
Aidan Gomez:
AI 的下一个大突破将出现在机器人领域。成本需要降低，但成本已经在下降。然后我们需要更强大的模型。
Harry Stebbings:
为什么你认为机器人领域将会有大的突破？
Aidan Gomez:
因为很多障碍已经消失了。之前机器人的推理者和规划者（背后的软件）非常脆弱，你必须为每个任务编程，它们被硬编码到特定的环境中。
所以你必须有一个布局完全一致的厨房，尺寸相同，没有任何不同的地方，这非常脆弱。但在研究方面，通过使用基础模型、语言模型，人们实际上开发出了更好的规划者，它们能够更自然地推理世界。
所以已经有很多公司在研究这方面，可能很快就会有人破解通用人形机器人的难题，使其价格便宜且更加稳定。
这将会是一个巨大的转变。我不知道这是在未来五年内发生，还是十年内发生，但它肯定会在这个时间范围内出现。
Harry Stebbings:
今天和你聊天真的很有意思。我想进行一个快问快答，我给出一个陈述，你立刻给出你的想法，这样可以吗？
Aidan Gomez:
好啊，让我们开始吧。
Harry Stebbings:
在过去的 12 个月里，你对什么改变了最大的看法？
Aidan Gomez:
数据的重要性。我严重低估了它。我曾经认为一切都在于规模化，但在 Cohere 内部发生的许多事情彻底改变了我对构建这项技术的重要性因素的理解。
数据质量至关重要。质量，比如在数十亿个数据点中，一个错误的例子就能对模型产生显著影响。这有点不真实，模型对数据的敏感性是如此之高，每个人都低估了这一点。
Harry Stebbings:
你们现在筹集了多少钱？
Aidan Gomez:
总共大约 10 亿美元。
Harry Stebbings:
筹集资金最容易的一轮是哪一轮？
Aidan Gomez:
是的，那有点像是一场对话，然后他们说，“这是几百万美元，去试试看吧。”所以那一轮可能是最容易的。当你试图筹集 5 亿美元时，情况就复杂得多了。
Harry Stebbings:
当你看到账户里有 5 亿美元到账时，你会不会觉得有点不真实？因为我管理基金的时候，我们会收到资本调用的通知，所以这不是一次性得到 5 亿美元，而是分几年逐步到账。
Aidan Gomez:
是的，你会觉得有点不真实，而且利息非常可观。但的确，我有时会感到惊讶。我不是那种还在为 2500 万美元而烦恼的人。我不清楚确切的数字，但这是一个很大的数目。
确实，Cohere 让我在经济和金钱方面的思维方式有些扭曲了。相比我的竞争对手，这似乎不算多，对吧？
Harry Stebbings:
这会让你担心吗？
Aidan Gomez:
不会，我的意思是，这是我们战略的一部分。如果我们想要拿下某个交易，我们可以去拿，但我们的战略是追求独立性，自己来做这件事。
Harry Stebbings:
如果你能选择世界上任何一个董事会成员，你会选择谁，为什么选择他们？
Aidan Gomez:
我会选择 Mike Volpi 和 Jordan Jacobs，他们是我现在的董事会成员。
Harry Stebbings:
为什么 Mike 是如此出色的董事会成员？很多人都这么说。
Aidan Gomez:
是的，Mike 确实非常出色。他给人的感觉是，他之前已经见过所有问题。我可以带着任何问题去找他，而他通常已经遇到过三次类似的情况。
第一次是这样的，第二次是那样的，第三次又是那样的。他总是有非常丰富的经验和建议。
Harry Stebbings:
Jeff Hinton 和 Yann LeCun 更偏向哪一个？
Aidan Gomez:
我和 Jeff 个人关系更紧密，当然更倾向于他。Yann的观点太乐观了。不，我在许多关于 AI 的看法上和 Yann 更为一致。
所以 Jeff 是那种非常末日预言者类型的，认为这项技术会毁灭世界，而 Yann 则更乐观一些，而我在这一点上与他更一致。不幸的是，Yann最近有点像是 Elon Musk 的“回复哥”。
我觉得 Jeff 就像我的联合创始人 Nick，他和 Jeff 关系非常紧密，他们每周一都会一起下棋。Jeff 非常聪明，极具智慧和深思熟虑，他是一个非常深刻的思想家。你们现在在伦敦有团队，你也住在伦敦？
Harry Stebbings:
每个人都在谈论欧洲的衰落。我和 Founders Fund 的 Daly 聊过，他说西欧可能很快就会成为第三世界国家的集合体，负面情绪很强烈。现在在伦敦和欧洲建立出色的工程研究团队，你的感受如何？
Aidan Gomez:
英国在欧洲的表现很突出，这里有一种技术乐观精神，人们愿意投资并做出必要的改变来支持生态系统的发展。
在欧洲大陆，我的妈妈是英国人，爸爸是西班牙人，我拥有双重国籍，所以我对这里也很了解，夏天我会在这里度过，家人也在这里。
不幸的是，这里的文化对技术非常不友好，解决技术问题的办法在欧洲人的观念中就是监管。
不过，压力正在促使变化发生，法国在欧洲舞台上变得更加雄心勃勃，并在全球舞台上发出更大的声音，说我们需要更加进步。这可能需要十年时间。
Harry Stebbings:
在过去，没有远程办公。
Aidan Gomez:
Cohere 是在疫情期间诞生的，所以我们完全是远程办公。我们遍布各地，虽然并不是完全远程，我们在多伦多、伦敦、纽约和旧金山都有办公室。
这些地方确实是公司的核心。人们每天都会到办公室。面对面的工作效率提升是无法量化的。
Harry Stebbings:
你从来没有被问过的问题是什么？你认为应该被问到的问题是什么？最后一个问题。
Aidan Gomez:
人们应该问“你希望事情发展到哪里？”我经常被问到“事情会发展到哪里？”也经常被问到关于技术的潜在风险。人们在谈到 AI 时，脑海中充满了恐惧，但对我们所拥有的机会讨论却很少。人们不太谈论这个。
Harry Stebbings:
你希望它发展到哪里？
Aidan Gomez:
世界的资源供应非常有限。我们今天享有的几乎所有奢侈品都来自于技术的进步，这些技术提高了生产力，增加了供应，使得事物更加丰富、更便宜。
所以我真正关心的是利用这项技术推动世界的生产力，提高人类的效率，能够做更多的事情。我觉得生产力这个话题非常不性感，太被低估了。
Harry Stebbings:
确实如此，但如果你将 5% 的生产力提升应用到国家卫生服务体系，这对国家状况、国家预算和医疗保健将会产生巨大影响，可能影响到数百万人的生活。
Aidan Gomez:
是的。在加拿大，实际 GDP 并没有真正增加。有人称这是“失落的十年”，因为人们并没有变得更富有，物品也没有变得更丰富，你十年间无法负担更多东西。
这种停滞会导致很多社会动荡，当经济增长停滞时，人们会为了争夺有限的资源而争斗。这种动态真的让我很担忧。我们作为社会的优先事项应该是提高生产力和促进增长。
作者：有新Newin提供前沿领域商业洞见与资讯
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！
