关于人工智能我不知道的事情

对于人工智能堆栈的每个级别，我都有一些悬而未决的问题。我在下面列出了这些内容，以激发对话和反馈。

LLM问题

从某种意义上说，LLM 有两种类型——前沿模型——处于性能的最前沿（想想 GPT-4 与直到最近的其他模型），以及其他所有类型。在 2021 年，我写道，由于所需的资本规模，我认为随着时间的推移，前沿模型市场将会崩溃，成为寡头垄断市场。与此同时，非前沿模型将更多地由商品/定价驱动，并具有更强大的开源存在（请注意，这是 Llama 和 Mistral 之前的发布）。

事情似乎正在朝着上述方向发展：

前沿法学硕士很可能是一个寡头垄断市场。当前的竞争者包括 OpenAI、Google、Anthropic 等闭源模型，或许还有 Grok/X.ai，以及开源方面的 Llama (Meta) 和 Mistral。当然，这个列表可能会在未来一两年内发生变化。前沿模型的训练成本越来越高，而商品模型的价格随着性能的提高而逐年下降（例如，现在训练 GPT-3.5 等效项可能比 2 年前便宜约 5 倍）

随着模型规模变得越来越大，资金越来越多地主要来自云提供商/大型科技公司。例如，微软向 OpenAI 投资了 10B+ 美元，而 Anthropic 在亚马逊和谷歌之间筹集了 70 亿美元。 NVIDIA 也是多种类型基础模型公司的重要投资者。相比之下，这些公司的风险投资只是沧海一粟。随着前沿模型培训成本的激增，新兴资助者主要集中在大型科技公司（通常有强烈的动机为自己的收入资助该领域 - 即云提供商或 NVIDIA），或希望支持当地冠军的国家（参见例如阿联酋和猎鹰）。这正在影响市场并推动尽早选择潜在的获胜者。

值得注意的是，这些云提供商的投资规模与实际云收入相比相形见绌。例如，微软的 Azure 每季度产生 25B 美元的收入。微软对 OpenAI 的约 10B 美元投资相当于 Azure 6 周的收入。人工智能最近对 Azure 收入产生了巨大影响。事实上，Azure 在 2024 年第二季度的 AI 增长了 6 个百分点，这意味着它的年增长率为 5-6B 美元（或每年 OpenAI 投资的 50%！）。显然，收入不是净利润，但这仍然令人震惊，并且表明随着时间的推移，大云有经济理由为更大规模的模型提供资金。

与此同时，Meta 在 Llama 模型方面做出了出色的工作，最近宣布了 20B 美元的计算预算，部分用于资助大规模模型训练。 18 个月前，我假设 AI 模型的开源赞助商应该出现，但假设是 Amazon 或 NVIDIA，Meta 的可能性较小。（扎克伯格和 Yann Lecunn 在这方面很有远见）。

关于 LLM 的问题：

云提供商是否能够在前沿领域占据一席之地，并通过其提供的计算/资本规模锁定寡头垄断市场？ 云提供商何时停止为新的 LLM 基础公司提供资金，而不是继续为现有的公司提供资金？云提供商很容易成为基础模型的最大资助者，而不是风险资本家。考虑到他们因联邦贸易委员会的行动而在并购方面受到限制，以及来自云使用的收入，他们这样做是合理的。这可能导致/已经导致市场动态的一些扭曲。这对法学硕士的长期经济和市场结构有何影响？这是否意味着由于新进入者缺乏足够的资本和人才，我们很快就会看到新前沿法学硕士公司的终结？或者他们是否继续资助大型模型，希望其中一些模型能够在他们的云上转化为收入？
OSS 模型是否会将人工智能中的一些经济学从基础模型转向云？ Meta 是否会继续资助操作系统模型？如果是这样，Llama-N 是否能够赶上前沿？ 在人工智能最前沿运行的完全开源模型有可能将人工智能基础设施的一小部分经济份额从法学硕士转向云和推理提供商，并减少其他法学硕士基础模型公司的收入。同样，这可能是一个寡头垄断市场，没有单一的赢家（AGI 除外），但对如何思考云和基础设施公司在这个市场中的相对重要性有影响（当然两者都可能非常重要！）。
Llama2 使用条款中最精彩的事情之一是，如果您的用户数量少于 7 亿，则可以开放商业使用许可证 [1]。这显然阻止了一些大型竞争对手使用他们的模型。但这也意味着，如果你是一家大型云提供商，你需要向 Meta for Llama 支付许可证费用，微软已经这样做了。尽管 Llama 是开源的，但这为 Meta 控制（和货币化）Llama 创造了一种有趣的长期方式。
我们如何考虑模型的速度和价格与性能？ 人们可以想象，与人类正常的做事速度相比，极其缓慢、令人难以置信的性能模型可能非常有价值。最新最大的 Gemini 模型似乎正朝着这个方向发展，拥有超过 100 万个代币上下文窗口，就像 Magic 一样，Magic在 2023 年 6 月宣布了 500 万个代币窗口。大型上下文窗口和理解深度可以真正改变我们对 AI 使用的看法和工程。另一方面，Mistral 展示了小型、快速且廉价的推理性能模型的价值。下面的 2x2 显示了模型最重要的潜在细分。

基础模型的架构如何演变？具有不同架构的代理模型是否包含了法学硕士的一些未来潜力？其他形式的记忆和推理何时发挥作用？

政府是否支持（或直接采购）区域人工智能冠军？ 各国政府是否会像航空航天领域的波音公司和空客公司一样，在本地型号上的支出有所不同？政府是否希望支持反映当地价值观、语言等的模型？ 除了云提供商和全球大型科技公司（也可以考虑阿里巴巴、乐天等）之外，潜在资本的其他主要来源是国家。现在欧洲（例如Mistral）、日本、印度、阿联酋、中国和其他国家都有伟大的模型公司。如果是这样，可能会有一些仅靠政府收入创建的价值数十亿美元的人工智能基础模型区域公司。
中国会发生什么？ 人们可以预见，中国的法学硕士将得到腾讯、阿里巴巴、小米、字节跳动和其他公司的支持，这些公司将大举投资本土法学硕士公司。中国政府长期以来一直利用监管和字面上的防火墙来防止来自非中国公司的竞争，并建立政府支持和审查的本地冠军企业。值得注意的一件有趣的事情是中国 OSS 模型的趋势。上排名更高例如，来自阿里巴巴的 Qwen 在更广泛的LMSYS 排行榜。
X.ai 会发生什么？ 看起来像是一张通配符。
谷歌有多好？ 谷歌拥有创造令人惊叹的事物的计算能力、规模和人才，而且组织严密、行动迅速。谷歌一直是世界上第一家人工智能优先的公司。看起来像是一张通配符。

基础设施公司

有几种类型的基础设施公司，用途截然不同。例如， Braintrust 提供评估、提示游乐场、日志记录和代理，以帮助公司从“基于氛围”的人工智能分析转向数据驱动。 Scale.ai 等在数据标记、微调和其他领域发挥着关键作用。其中许多存在开放但不太存在的问题（例如，有多少 RLHF 转变为 RLAIF）。

人工智能基础设施中最大的不确定性和问题与人工智能云堆栈及其发展方式有关。看来初创公司和企业对于AI云服务的需求有很大不同。对于初创公司来说，新的云提供商和工具（例如 Anyscale、Baseten、Modal、Replicate、Together 等）似乎正在采取一条有用的道路，从而实现快速采用和收入增长。

对于往往有特殊需求的企业来说，存在一些悬而未决的问题。例如：

当前的人工智能云公司是否需要为大型企业构建其产品的本地/BYOC/VPN 版本？ 企业似乎会针对以下方面进行优化：(a) 使用他们已经有预算的现有云市场积分来购买服务 (b) 会犹豫是否要从其 Web 应用程序/数据托管位置（即 AWS、Azure、 GCP) 由于延迟和性能，(c) 会关心安全性、合规性（FedRAMP、HIPAA 等）。人工智能云的短期初创市场可能与长期企业需求不同。
AI 云的采用有多少是由于 GPU/GPU arb 受限所致？ 在主要云提供商缺乏 GPU 的情况下，各公司都在争先恐后地寻找足够的 GPU 来满足自己的需求，从而加速采用自己的 GPU 云的新初创公司。 NVIDIA 可能采取的一项潜在策略是优先将 GPU 分配给这些新供应商，以降低超大规模厂商的议价能力并分割市场，并通过初创公司加速行业发展。 GPU 瓶颈何时结束？这对新的人工智能云提供商有何影响？ 似乎主要云上 GPU 短缺的结束对于那些唯一业务是 GPU 云的公司来说是负面的，而如果这种情况发生，那些拥有更多工具和服务的公司应该会更容易过渡。
这样的新型 AI ASICS 如何像Groq 影响 AI 云？
还有什么可以整合到人工智能云中？ 他们交叉销售嵌入和 RAG 吗？持续更新？微调？其他服务？这对数据标签商或其他提供重叠产品的人有何影响？与通过云相比，什么可以直接整合到模型提供商中？
AI云中哪些公司会追求哪种商业模式？
值得注意的是，人工智能云世界实际上有两个细分市场（a）初创公司（b）中端市场和企业。 “仅 GPU”商业模式默认适用于初创企业（云需求较少），但对于大型企业来说，采用可能更多地受到主要平台上 GPU 云限制的推动。提供开发人员工具、API 端点和/或专用硬件或其他方面的公司是否会演变成其他两个类似的模型 - (a) “Snowflake/Databricks for AI”模型或 (b) “Cloudflare for AI”？如果有，哪些采用哪种模式？
新的人工智能云有多大？像 Heroku、Digital Ocean、Snowflake 还是 AWS 一样大？此类公司的产出规模和利用规模是多少？
人工智能堆栈如何随着超长上下文窗口模型的发展而发展？我们如何考虑上下文窗口和提示工程、微调、RAG 和推理成本之间的相互作用？
FTC（和其他监管机构）预防并购对这个市场有何影响？ 至少有十几家可靠的公司在开发人工智能云相关的产品和服务——数量太多，不可能全部都是独立的。在一个大力反对科技并购的政府领导下，人们如何看待退出？人工智能云本身是否应该相互整合以巩固所提供的份额和服务？

应用程序问题

ChatGPT 是许多 AI 创始人的发令枪。在 ChatGPT 之前（以及在 Midjourney 和 Stable Diffusion 之前），大多数科技人员并没有密切关注我们现在正在经历的 Transformer/Diffusion 模型革命和混乱。

这意味着最接近该模型和技术的人——即人工智能研究人员和基础设施工程师——是第一批离开并创办基于该技术的新公司的人。远离核心模型世界的人们——许多产品工程师、设计师和产品经理，直到现在才意识到人工智能的重要性。

ChatGPT 大约 15 个月前推出。如果你需要 9 到 12 个月的时间来决定辞去工作，需要几个月的时间，然后又需要几个月的时间与联合创始人集思广益，形成一个初步的想法，那么我们应该会开始看到一波应用程序开发者现在/很快就会出现。

B2B 应用程序。在新兴的 B2B 应用浪潮中，哪些重要的公司和市场将是哪些？ 与初创企业相比，现有企业将在哪些方面获得价值？ 我很快就会就此发表一篇长文。
消费者。 可以说，许多最早的人工智能产品都是消费者或“产消者”——即用于个人和商业用例。 ChatGPT、Midjourney、Perplexity 和 Pika 等应用程序就是这样的例子。 也就是说，为什么人工智能生态系统中的消费者构建者如此之少？纯粹是上面提到的时间延迟吗？ 2007-2012 年的社交产品群体似乎已经过时了。打造下一波人工智能消费浪潮需要新鲜血液。
代理商。 代理可能会发生很多很多事情。 与寻找用例的初创公司相比，哪些领域是重点关注的产品领域？

这是我一生中技术领域最激动人心、变化最快的时刻之一。看看每个人都建造了什么将会很有趣。期待对上述问题的思考。