FX168财经网_全球视野外汇黄金加密货币NFT资讯网

赚翻了！OpenAI 首席执行官或因Reddit上市赚取数百万美元

到来自能够对少量书面输入产生类人文本的大型语言模型的竞争。列出的LLM包括谷歌的Gemini、初创公司Anthropic和ChatGPT。作为IPO的一部分，Reddit将向一些用户和版主（俗称Redditors）提供股票。对于Altman来说，这可能是一个积极的信号。 “让我一直感到不安的是，用户创造了诸如Reddit之类网站的许多价值，但却没有任何所有权。”他在2014年的博客文章中写道。他接着说，B轮融资的投资者将会把10%的股份给Reddit的用户。 “我希望随着时间的推移增加社区的所有权。”他写道。

Heidi2024-02-23

“美国散户大本营”即将IPO，向论坛用户募资8亿，奥特曼持有5%股权

和知识库对于AI尤其重要，是许多领先的大型语言模型接受培训的基础材料。 “美国贴吧”Reddit将成为本季度科技行业IPO领头羊。 2月22日，Reddit公布了招股说明书。报告显示，2023年，该公司营收达到了8.04亿美元，同比增长21%，毛利率为86%。2023年的净亏损从1.59亿美元减少到9100万美元，亏损额在不断收窄。减少亏损是朝着实现盈利的重要一步，尽管Reddit至今尚未报告过盈利。此外，Reddit决定将数量“可观”的股票出售给散户和Reddit平台用户。Reddit认为其用户不仅是平台的使用者，而且是构成公司价值的核心部分。通过允许用户参与到公司的股权中，强化用户对平台的归属感。该公司将于下月初在纽约证券交易所上市，股票代码为RDDT。 Reddit招股说明书显示，Reddit的庞大的对话数据和知识库对于AI尤其重要，尤其它是许多领先的大型语言模型接受培训的基础材料。且Reddit与科技巨头有合作和交叉投资，例如Altman持有Reddit5%股权，谷歌使用Reddit帖子来训练其AI模型。 Reddit与科技巨头合作 Reddit表示，OpenAI首席执行官Sam Altman通过与他有关的实体在Reddit拥有超过5%的股份。在2021年的融资时，Altman就是Reddit董事会的成员。 Reddit在2021年的最后一轮私募融资中估值达到了100亿美元，但自那以来，一些投资者已将其估值下调了约50%。但Reddit的营业收入仍在稳步增长。据招股说明书显示，Reddit在2023年的销售额达到了8.04亿美元，同比增长21%。 Reddit销售收入的增长主要来源于广告。作为一个曾被认为是自由言论堡垒的平台，Reddit近年来不得不更加严格地监管其平台上的内容，以便为广告客户创造一个更加安全和有吸引力的环境。除了广告之外，Reddit还在寻求实现收入多样化，例如通过向第三方收取数据访问费、与科技巨头如谷歌合作，以及正式化用户之间的市场交易。周四，Reddit宣布与谷歌达成了一项协议，该协议将“开创Reddit内容在谷歌产品中展示的新方式”，同时允许谷歌使用Reddit帖子来训练其人工智能模型。据媒体报道，这笔交易每年价值约6000万美元。这不仅为Reddit带来了显著的收入，也可能增加Reddit内容的可见性和影响力，同时支持谷歌在人工智能领域的发展。此外，Reddit正在探索如何从其平台上的交易活动中来创造收入，例如用户可以在某些特定的社区买卖运动鞋，对照片进行编辑或改造等。服务完成后，发布请求的用户会向提供服务的用户支付一定的费用。招股说明书透露，截至2023年12月31日，Reddit拥有超过10亿条帖子和超过160亿条评论，并于2023年12月跻身美国访问量最大的十大网站之一。Reddit的内容对于AI尤其重要，尤其是它是许多领先的大型语言模型接受培训的基础部分。此外，Reddit使用内部构建和训练的模型来改进Reddit的许多方面，包括用户入门、内容翻译以及审核和安全。Reddit庞大的对话数据和知识库使该公司独一无二，Reddit相信，随着用户生成的数据不断增长，其价值将随着时间的推移而不断增长。 Reddit向论坛用户募资 Reddit在其招股说明书中提到，该平台拥有2亿6750万周活跃用户，这些用户分布在超过10万个子版块中。这些子版块几乎覆盖了从娱乐、科技到个人财务等所有领域的讨论。最著名的子版块是WallStreetBets交易论坛，它因促使散户投资者集体购买GME等散户概念股而引发股市震动而闻名，凸显了社交媒体在金融市场中的影响力。 Reddit联合创始人兼首席执行官Steve Huffman在招股说明书中表达了对社区的重视： “希望公司公开上市能为其社区带来有意义的好处”。 Reddit表示，它将通过“定向股票计划”将股票分配给Reddit用户，并计划通过流行的个人投资管理应用如Robinhood和SoFi出售股票，吸引更广泛的散户投资者参与其IPO。Reddit认识到其用户不仅是平台的使用者，而且是构成公司价值的核心部分。通过允许用户参与到公司的股权中，强化用户对平台的归属感。 Huffman还强调了Reddit用户对他们创建的社区有着深厚的归属感，而且用户对他们创建的社区的归属权感常常扩展到整个Reddit平台。在Reddit上，用户不仅消费内容，他们还创造和维护社区。这种归属感是Reddit文化的一个关键方面，使用户感到他们对平台有直接的投入和影响。分析师认为，Reddit通过公开上市，不仅是为了筹集资金和扩大其业务，还是为了加深与其用户社区的联系，认可用户对平台的贡献，并以实际的股权形式赋予他们所有权。这种做法可能会进一步激励用户参与和投入，从而增强社区的活力和参与度。但是，Reddit也在其招股说明书中警告称，让数量异常庞大的散户投资者参与上市可能加剧股价波动，并有可能复制2021年Robinhood上市后不久股价短暂跳涨的那种“散户概念股”价格行为。如果股价的上涨主要是由于短期的交易热潮而不是公司基本面的支持，那么这种高价可能不会持续，随着时间的推移，股价可能会下跌。两年多前，Reddit首次提交了一份保密版本的招股说明书，但由于利率上升和科技股估值下降，其上市计划受阻。然而，近几个月来，随着市场预期加息周期见顶，以及美国股指创出历史新高，市场活动一直在回暖。Reddit等公司正寻找这样的时机来实现它们的上市目标。

金融界2024-02-23

Reddit申请IPO 奥特曼将成最大股东之一

it在其提交的文件中表示，它看到了来自大型语言模型的竞争，这些模型可以根据几个单词的书面输入生成类似人类的文本。

金融界2024-02-23

比特派钱包下载更新:bitpie.bar比特派Bitpie钱包

靠地进行。首先在城市交通管理领域，通过大型语言模型，城市可以实现更智能、高效的交通流控制，提高交通运输系统的整体效能，包括实时交通监测、智能交通信号控制以及交通事故预测等方面，有望有效减缓交通拥堵问题，提升居民的出行体验。其次，在应急响应领域，通过大型语言模型的强大生成能力，城市管理者可以更快速、准确地进行危机情况的预测和响应。这涵盖了灾害预警、紧急事件管理以及卫生危机处理等方面，使城市更具抗灾能力，保障居民的安全。此外，生成式AI还可以用于改善城市的实时监控系统。通过语言模型的深度学习和分析能力，城市可以建立更智能的监控网络，监测城市环境、公共设施和安全状况。这将有助于提高城市的整体安全水平，及时发现并解决潜在的问题，创造更安全宜居的城市环境。生成式AI在这些领域的应用，不仅可以提高城市运行效率，更能够深入洞察居民的喜好和需求，提供度身定制的服务，弥合居民个性化需求和行政解决方案之间的差距，进一步改善信息交流。然而，这一进步也伴随着一系列挑战。首先是隐私问题。生成式AI广泛应用于城市生活中也意味着海量个人数据将被收集和使用，因此城市管理者必须制定严格的隐私政策，确保居民个人信息得到妥善保护，防止滥用和泄露。其次是网络安全风险。城市基础设施的智能化程度越高，网络攻击风险也随之增加。城市管理者需要投入更多的资源构建强大的网络安全体系，确保公共事务领域的生成式AI应用不会成为网络犯罪分子的攻击目标。最后，伦理问题也是生成式AI发展中不可忽视的一环。城市管理者需要建立明确的伦理指导方针，确保公正、透明地使用。克莱·加纳指出：“城市完全可以成为制定LLMs在地方层面使用指导方针的主要推动者，但需要顾及国家和地方政府政策之间的平衡，因此会牵涉一系列需要仔细考虑的复杂问题。”例如，国家与地方对生成式AI监管的权责划分，各层级技术支持、人力资源和财政投入分配方式，如何统一技术标准以确保生成式AI在不同城市间的公共服务具有互通性，等等。

用户17086794349447102024-02-23

英伟达扶摇直上创造历史黄仁勋站到全球首富俱乐部门口

入的近一半用于支持推断工作负载，这是[大型语言模型]推断将成为未来英伟达和其他公司加速器的主要需求驱动因素的又一个证据。” 拉姆齐对英伟达股票持有“跑赢市场”评级，并在周三晚间将目标价格从700美元提高至900美元。 Cantor Fitzgerald的C.J.穆斯（C.J. Muse）对英伟达的“金发女郎”消息表示欢迎，称公司的指引“刚刚好”，并提供了“在整个年度内估值上行的充足空间”。英伟达预计，今年需求将超过供应，这意味着在整个时期内顶线增长的潜力。与此同时，穆斯指出，管理层“预计新产品的短缺，包括H200、Spectrum-X和B100，这表明增长将持续到[2025年]”。穆斯在周三晚间将目标价格从775美元上调至900美元，他表示，这个新的目标价格“可能是保守的”，反映了他对下一年度调整后每股收益28美元的32倍估值。

Heidi2024-02-23

AI x Crypto 报告：案例研究、发展瓶颈、技术挑战

有两个文件。例如，LLaMa 2（一个大型语言模型，类似于 GPT-4）就是两个文件：参数，一个 140GB 的文件，其中包括数字。 run.c ，和一个简单的文件（约 500 行代码）。第一个文件包含 LLaMa 2 模型的所有参数，run.c 包含如何进行推理（使用模型）的说明。这些模型都是神经网络。图 30：神经网络的基本图示在像上面这样的神经网络中，每个节点都有一堆数字。这些数字被称为参数，并存储在文件（惊喜！）参数中。获取这些参数的过程称为训练。下面是一个高度概括的过程。想象一下训练一个识别数字（从0到9）的模型。我们首先收集数据（在这种情况下，我们可以使用MNIST数据集）。然后开始训练模型。我们取第一个数据点，即 "5"。然后，我们将图像（"5"）传递给网络。网络会对输入图像进行数学运算。网络将输出一个0到9之间的数字。该输出是当前网络对该图像的预测。现在有两种情况。网络要么是对的（它预测了 "5"），要么是错的（任何其他数字）。如果它预测的数字正确，我们就不用做什么。如果预测的数字不正确，我们将返回网络，对所有参数进行小幅修改。在做了这些小改动后，我们再试一次。从技术上讲，网络现在有了新的参数，因此预测结果也会不同。我们对所有数据点一直这样做，直到网络基本正确为止。这一过程本质上是顺序性的。我们首先通过整个网络传递一个数据点，看看预测结果如何，然后更新模型的权重。训练过程可以更加全面。首先，我们必须选择模型架构。我们应该选择哪种类型的神经网络？并不是所有的机器学习模型都是神经网络。其次，在确定哪种架构最适合我们的问题，或者至少是我们认为最适合的架构之后，我们需要确定训练流程。例如，我们将以何种顺序将数据传递给网络？第三，我们需要硬件设置。我们要使用什么样的硬件（CPU、GPU、TPU）？我们又该如何对其进行训练？最后，在训练模型的同时，我们要验证这个模型是否真的很好。我们希望在训练结束时测试这个模型是否能提供我们想要的输出结果。剧透（其实也不算剧透），训练模型的计算成本非常高。任何微小的低效都会带来巨大的成本。正如我们稍后将看到的，特别是对于像LLM这样的大型模型，低效的训练可能会让你付出数百万美元的代价。在第2部分中，我们将再次详细讨论训练模型所面临的挑战。 1.2.3 推理机器学习管道的第三步是推理，也就是使用模型。当我使用ChatGPT并得到回应时，模型正在执行推理。如果我用脸部解锁iPhone，脸部ID模型会识别我的脸并打开手机。该模型执行了推理。数据已经有了，模型已经训练好了，现在模型训练好了，我们就可以使用它，使用它就是推理。严格来说，推理与网络在训练阶段做出的预测是一回事。回想一下，一个数据点通过网络，然后进行预测。然后根据预测的质量更新模型参数。推理的工作原理与此相同。因此，与训练相比，推理的计算成本非常低。训练LLaMa可能要花费数千万美元，但推理一次只需几分之一。与训练相比，计算成本更低。训练 LLaMa可能要花费数千万美元，但进行一次推理只需几分之一。与训练相比，进行推理的成本很低，而且更容易并行化，这可能为小型闲置计算（如笔记本电脑和手机）提供了机会。推理过程有几个步骤。首先，在实际生产中使用之前，我们需要对其进行测试。我们对训练阶段未见的数据进行推理，以验证模型的质量。其次，当我们部署一个模型时，会有一些硬件和软件要求。例如，如果我的iPhone上有人脸识别模型，那么该模型就可以放在苹果公司的服务器上。然而，这样做非常不方便，因为现在每次我想解锁手机时，都必须访问互联网并向苹果服务器发送请求，然后在该模型上进行推理。然而，如果想在任意时刻使用这种技术，进行人脸识别的模型就必须存在于你的手机上，这意味着该模型必须与你iPhone上的硬件类型兼容。最后，在实践中，我们还必须维护这一模式。我们必须不断进行调整。我们训练和使用的模型并不总是完美的。硬件要求和软件要求也在不断变化。 1.2.4 机器学习管道是迭代式的到目前为止，我把这个管道设计成了依次进行的三个步骤。你获取数据，处理数据，清理数据，一切都很顺利，然后你训练模型，模型训练完成后，你进行推理。这就是机器学习在实践中的美好图景。实际上，机器学习需要进行大量的迭代。因此，它不是一个链条，而是如下图所示的几个循环。图 31：机器学习流水线可以形象地理解为由数据、训练和推理三个步骤组成的链条。不过，在实践中，这一过程的迭代性更强，如蓝色箭头所示。为了理解这一点，我们可以举几个例子。例如，我们可能会收集一个模型的数据，然后尝试对其进行训练。在训练的过程中，我们会发现我们需要的数据量应该更多。这意味着我们必须暂停训练，回到数据步骤并获取更多数据。我们可能需要重新处理数据，或者进行某种形式的数据扩增。数据扩增就像是给数据改头换面，从老一套中创造出新的面貌。想象一下，你有一本相册，你想让它变得更有趣。你把每张照片都复制了几份，但在每份副本中，你都做了一些小改动--也许你旋转了一张照片，放大了另一张照片，或者改变了另一张照片的光线。现在，你的相册有了更多的变化，但实际上你并没有拍摄任何新照片。例如，如果你正在训练一个模特识别狗，你可能会水平翻转每张照片，然后把它也提供给模特。或者，我们改变照片中狗的姿势，如下图所示。就模型而言，这增加了数据集，但我们并没有到现实世界中去收集更多数据。使用合成数据来训练机器学习模型可能会导致许多问题，因此能够证明数据的真实性在未来可能变得至关重要。图 32：数据增强示例。对原始数据点进行多点扩增，无需到世界各地收集更多独特的数据点迭代的第二个更明显的例子是，当我们实际训练了一个模型，然后将其用于实践，即进行推理时，我们可能会发现模型在实践中表现不佳或存在偏差。这意味着我们必须停止推理过程，返回并重新训练模型，以解决这些问题，如偏差和证明。第三个也是非常常见的步骤是，一旦我们在实践中使用模型（进行推理），我们最终会对数据步骤进行修改，因为推理本身会产生新的数据。例如，想象一下建立一个垃圾邮件过滤器。首先，我们要收集数据。本例中的数据是一组垃圾邮件和非垃圾邮件。当模型经过训练并用于实践时，我的收件箱中可能会收到一封垃圾邮件，这意味着模型犯了一个错误。它没有把它归类为垃圾邮件，但它就是垃圾邮件。因此，当 Gmail用户选择 "这封邮件属于垃圾邮件 "时，就会产生一个新的数据点。之后，所有这些新数据点都会进入数据步骤，然后我们可以通过多做一些训练来提高模型的性能。另一个例子是，想象一个人工智能在下棋。我们训练人工智能下棋所需的数据是大量棋局，以及谁赢谁输的结果。但当这个模型用于实际下棋时，就会为人工智能生成更多的数据。这意味着，我们可以从推理步骤回到数据，利用这些新的数据点再次改进我的模型。这种推理和数据相连的想法适用于很多场合。本节旨在让你对机器学习模型的构建过程有一个高层次的了解，这个过程是非常反复的。它不像 "哦，我们只需获取数据，一次尝试就能训练出一个模型，然后将其投入生产"。模型是不断更新的，因此不变的记录可能会给设计带来挑战。 1.3 机器学习的类型我们将介绍三种主要的机器学习模型。监督学习："老师，教我方法" 无监督学习："只需找到隐藏的模式“ 强化学习："试一试，看什么有效" 1.3.1 监督学习 "老师，教我方法" 想象一下，你正在教孩子区分猫和狗。你（对一切都了如指掌的老师）给他们看很多猫和狗的图片，每次都告诉他们哪个是哪个。最终，孩子们学会了自己辨别。这几乎就是机器学习中监督学习的工作原理。在监督学习中，我们有大量的数据（比如猫和狗的图片），而且我们已经知道答案（老师告诉他们哪个是狗，哪个是猫）。我们利用这些数据来训练一个模型。该模型会查看许多示例，并有效地学习模仿老师。在这个例子中，每张图片都是一个原始数据点。答案（狗或猫）被称为"标签"。因此，这是一个标签数据集。每个数据点都包含一张原始图片和一个标签。这种方法概念简单，功能强大。在医疗诊断、自动驾驶汽车和股票价格预测中，使用监督学习模型的应用很多。这种方法概念简单，功能强大。在医疗诊断、自动驾驶汽车和股票价格预测中，使用监督学习模型的应用很多。然而，可以想象，这种方法面临着许多挑战。例如，我们不仅需要获取大量数据，还需要标签。这可能非常昂贵。Scale.ai (opens new window) 等公司在这方面提供了有价值的服务。数据标注对稳健性提出了许多挑战。给数据贴标签的人可能会犯错，或者只是对标签有不同意见。从人类收集的所有标签中，有 20% 无法使用的情况并不少见。激励机制和其他博弈论动态可能有助于提高开放数据集的质量。 1.3.2 无监督学习（Unsupervised Learning, USL） "只需找到隐藏的模式" 想象一下，你有一个装满各种水果的大篮子，但你并不熟悉所有的水果。你开始根据它们的外观、大小、颜色、质地甚至气味将它们分类。你不太清楚每种水果的名称，但你注意到有些水果彼此相似。也就是说，你在数据中发现了一些规律。这种情况类似于机器学习中的无监督学习。在无监督学习中，我们会给模型一堆数据（比如各种水果的组合），但我们不会告诉模型每个数据是什么（我们不会给水果贴标签）。然后，模型会检查所有这些数据，并试图自己找出模式或分组。它可能会根据水果的颜色、形状、大小或任何其他它认为相关的特征进行分组。然而，模型找到的特征并不总是相关的。这就导致了许多问题，我们将在第 2 章中看到。例如，模型最终可能会将香蕉和大蕉归为一组，因为它们都是长条形且呈黄色，而苹果和西红柿可能会被归为另一组，因为它们都是圆形且可能是红色。这里的关键在于，模型是在没有任何先验知识或标签的情况下找出这些分组的--它是从数据本身学习的，就像你根据可观察到的特征将未知水果分到不同的组中一样。无监督学习是许多流行的机器学习模型的支柱，例如大型语言模型（LLM）。ChatGPT不需要人类通过提供标签来教它如何说每个句子。它只需分析语言数据中的模式，并学会预测下一个单词。许多其他强大的生成式人工智能模型都依赖于无监督学习。例如，GAN（生成对抗网络）可用于生成人脸（即使这个人并不存在）。参见 https://thispersondoesnotexist.com/(opens new window) 图 33：人工智能生成的图像来自 https://thispersondoesnotexist.com 图 34：第二张人工智能生成的图片来自 https://thispersondoesnotexis t.com 上面的图片是人工智能生成的。我们并没有教这个模型"什么是人脸"。它是在大量人脸的基础上训练出来的，通过巧妙的架构，我们可以利用这个模型生成看似真实的人脸。请注意，随着生成式人工智能的兴起和模型的改进，对内容进行验证变得越来越困难。加密解决方案可以让我们追踪内容的来源，并以可扩展的方式让我们安全地使用生成式人工智能。 1.3.3 强化学习 (Reinforcement Learning, RL) "试一试，看什么有效 "或 "从试验和错误中学习" 想象一下，您正在教一只狗做一个新的动作，比如捡球。每当狗狗做出接近你想要的动作时，比如跑向球或捡起球，你就给它点心吃。如果狗狗做了与此无关的事情，比如朝相反的方向跑，它就得不到食物。渐渐地，狗狗发现捡到球就能得到美味的食物，所以它就会一直这样做。这基本上就是机器学习领域中的强化学习（RL）。在RL中，你有一个计算机程序或代理（如狗），它通过尝试不同的事情（如狗尝试不同的动作）来学习决策。如果代理做出了好的行为（比如捡球），它就会得到奖励（食物）；如果做出了不好的行为，它就得不到奖励。随着时间的推移，代理会学会多做能获得奖励的好事，少做不能获得奖励的坏事。从形式上看，这就是最大化奖励函数。最酷的地方在于：代理会自己通过试错找出这一切。现在，如果我们想构建一个人工智能来下棋，那么人工智能最初可以随意尝试走棋。如果最终赢得了比赛，人工智能就会得到奖励。然后，该模型就会学会走更多的胜棋。这可以应用于许多问题，尤其是需要连续决策的问题。例如，RL方法可用于机器人与控制、国际象棋或围棋（如 AlphaGo）以及算法交易。 RL方法面临许多挑战。其一，代理可能需要很长时间才能"学会"有意义的策略。这对于学习下棋的人工智能来说是可以接受的。但是，当人工智能开始采取随机行动来观察哪些行动有效时，你会把你的个人资金投入到人工智能算法交易中吗？或者说，如果机器人一开始会采取随机行动，你会允许它住在你家吗？图35：这是一些强化学习代理在训练过程中的视频：一个[真正的机器人](https://www.youtube.com/watch?v=n2gE7n11h1Y)和一个[模拟机器人](https://www.youtube.com/watch?v=hx_bgoTF7bs) 以下是每种机器学习的应用实例简述：机器学习面临的挑战本章概述了机器学习领域的问题。我们将有选择性地对该领域的某些问题展开。这样做有两个原因：1）简明扼要，全面概述该领域的挑战并考虑到细微差别会导致报告非常冗长；2）在讨论与加密货币的交叉点时，我们将重点关注相关问题。不过，本节本身只是从人工智能的角度撰写的。也就是说，我们不会在本节讨论密码学方法。本节所涉主题概述：从偏见到可访问性，数据面临着巨大的挑战。此外，数据层面上存在恶意的攻击也会导致机器学习模型的误判。当模型（如GPT-X）在合成数据上进行训练时，会发生模型崩溃。这会对其造成不可逆转的损害。标注数据可能非常昂贵、缓慢且不可靠。根据不同的架构，训练机器学习模型会面临许多挑战。模型并行化带来了巨大的挑战，例如通信开销。贝叶斯模型可用于量化不确定性。例如：在进行推理时，模型会返回它的确定程度（如 80% 的确定性）。 LLM面临幻觉（hallucination）和训练困难等特殊挑战。 2.1 数据挑战数据是任何类型机器学习模型的关键。不过，数据的要求和规模因使用的方法而异。无论是监督学习还是无监督学习，都需要原始数据（无标签数据）。在无监督学习中，只有原始数据，不需要标注。这就缓解了许多与标注数据集相关的问题。然而，无监督学习所需的原始数据仍然会带来许多挑战。这包括数据偏差：当训练数据不能代表所要模拟的真实世界场景时，机器学习中就会出现偏差。这可能导致偏差或不公平的结果，例如面部识别系统在某些人口群体上表现不佳，因为他们在训练数据中的代表性不足。不均衡的数据集：通常，可用于训练的数据在不同类别之间的分布并不均衡。例如，在疾病诊断应用中，“无病”案例可能比"有病"案例多得多。这种不平衡会导致模型在少数民族/阶层上表现不佳。这个问题与偏见不同。数据的质量和数量：机器学习模型的性能在很大程度上取决于训练数据的质量和数量。数据不足或质量不佳（如低分辨率图像或嘈杂的音频录音）会严重影响模型的有效学习能力。数据的可获取性：获取大型、高质量的数据集可能是一项挑战，尤其是对于规模较小的机构或个人研究人员而言。大型科技公司在这方面往往具有优势，这可能导致机器学习模型开发方面的差距。这是一项重大挑战。不过，众包数据集也会带来一些问题，比如数据质量的保证。经济激励和博弈论设计可以帮助创建开放的高质量数据集。数据安全：保护数据免遭未经授权的访问并确保其在存储和使用过程中的完整性至关重要。安全漏洞不仅会损害隐私，还会导致数据被篡改，影响模型性能。隐私问题：由于机器学习需要大量数据，处理这些数据可能会引发隐私问题，尤其是当其中包含敏感或个人信息时。确保数据隐私意味着尊重用户同意、防止数据泄露以及遵守 GDPR 等隐私法规。这可能非常具有挑战性（见下文示例）。在机器学习模型中，删除特定用户的数据（遵守GDPR）是一项非常具有挑战性的工作。与数据库不同，我们不能随便删除一个条目。模型参数会根据提供的所有数据进行调整，因此在模型训练完成后删除特定用户的信息是非常困难的。图 34：数据隐私的一个特殊问题源于机器学习模型的性质。在普通数据库中，我可以有关于多人的条目。如果我的公司要求我删除这些信息，你只需从数据库中删除即可。然而，当我的模型经过训练后，它持有几乎整个训练数据的参数。不清楚哪个数字对应训练中的哪个数据库条目 2.1.1 模型崩溃在无监督学习中，我们要强调的一个特殊挑战是模型崩溃。在本文中，作者进行了一项有趣的实验。GPT-3.5 和 GPT-4 等模型是使用网络上的所有数据训练而成的。然而，这些模型目前正在被广泛使用，因此一年后互联网上的大量内容将由这些模型生成。这意味着，GPT-5 及以后的模型将使用 GPT-4 生成的数据进行训练。在合成数据上训练模型的效果如何？他们发现，在合成数据上训练语言模型会导致生成的模型出现不可逆转的缺陷。论文作者指出："我们证明，如果我们要保持从网络上搜刮的大规模数据进行训练所带来的好处，就必须认真对待这一问题。事实上，当从互联网抓取的数据中出现由 LLM 生成的内容时，收集到的有关人类与系统之间真正交互行为的数据的价值将越来越大"。这可能表明，围绕数据出处（追踪数据来源）的解决方案存在重大机遇。图 35：模型崩溃示意图。随着使用人工智能模型生成的互联网内容越来越多，下一代模型的训练集中很可能包含合成数据，如本文所示请注意，这种现象并非LLM所特有，它可能会影响各种机器学习模型和生成式人工智能系统（如变异自动编码器、高斯混合模型）。现在，让我们来看看监督学习。在监督学习中，我们需要一个贴有标签的数据集。这意味着原始数据本身（一张狗的图片）和一个标签（"狗"）。标签由模型设计者手动选择，可以通过人工标注和自动化工具相结合的方式获得。这在实践中带来了许多挑战。这包括主观性：决定数据的标签可能是主观的，从而导致模糊不清和潜在的伦理问题。一个人认为合适的标签，另一个人可能会有不同的看法。标签的差异：同一个人（更不用说不同的人）重复运行可能会提供不同的标签。这就提供了 "真实标签 "的噪声近似值，因此需要质量保证层。例如，人类可能会收到一个句子，并负责标注该句子的情绪（"快乐"、"悲伤"......等）。同一个人有时会给完全相同的句子贴上不同的标签。这就降低了数据集的质量，因为它在标签中引入了差异。在实践中，20% 的标签无法使用的情况并不少见。想象一下，创建一个数据集来预测区块链上新协议的质量。你很可能会得到一个范围很广的分数，这取决于你所选择的评分系统的次活动性，以及你所调查的人的意见差异。缺乏专家注释者：对于一个小众的医疗应用，人们可能很难获得大量有意义的标签数据。这是由于能够提供这些标签的人员（医学专家）十分稀缺。罕见事件：对于许多事件来说，由于事件本身非常罕见，因此很难获得大量的标注数据。例如，发现流星的计算机视觉模型。高成本：当试图收集大量高质量数据集时，成本可能高得惊人。由于上述问题，如果需要对数据集进行标注，成本尤其高昂。还有很多问题，比如应对对抗性攻击和标签的可转移性。为了让读者对数据集的规模有一些直观的了解，请看下图。像 ImageNet这样的数据集包含1400万个标签数据点。图 36：各种机器学习数据集的规模示意图。Common Crawl的近似值为10亿个网页，因此总字数远远超过这个数字。小型数据集（如 Iris）包含 150 幅图像。MNIST 大约有 70,000 张图像。请注意，这是一个对数比例 2.1.2 强化学习中的数据收集在强化学习中，数据收集是一项独特的挑战。与监督学习不同的是，监督学习的数据是预先标记好的静态数据，而强化学习则依赖于通过与环境互动而产生的数据，这通常需要复杂的模拟或真实世界的实验。这就带来了一些挑战：这一过程可能会耗费大量资源和时间，对于物理机器人或复杂环境而言尤其如此。如果机器人在真实世界中接受训练，那么它从试验和错误中学习可能会导致事故。或者，也可以考虑让训练机器人通过试验和错误来学习。奖励稀少且延迟：在收到有意义的反馈之前，代理可能需要探索大量的行动，从而难以学习有效的策略。确保所收集数据的多样性和代表性至关重要；否则，代理可能会过度适应狭隘的经验集，而不能通用化。在探索（尝试新行动）和利用（使用已知的成功行动）之间取得平衡使数据收集工作更加复杂，需要复杂的策略才能有效收集有用的数据。值得强调的一点是，数据收集与推理直接相关。在训练一个强化学习代理下棋时，我们可以利用自我对弈来收集数据。自我对弈就像是与自己下棋，以获得进步。代理与自己的副本对弈，形成一个持续学习的循环。这种方法非常适合收集数据，因为它会不断产生新的场景和挑战，帮助代理从广泛的经验中学习。这一过程可以在多台机器上并行执行。由于推理的计算成本很低（与训练相比），这一过程对硬件的要求也很低。通过自我游戏收集数据后，所有数据都将被用于训练模型和改进模型。闲置计算在分布式推理和数据收集中可以发挥强大作用，因为对硬件的要求比训练低得多。 2.1.3 对抗性数据攻击数据毒化攻击：在这种攻击中，通过添加扰动来破坏训练数据，从而欺骗分类器，导致不正确的输出。例如，有人可能会在非垃圾邮件中添加垃圾邮件元素。这将导致将来在垃圾邮件过滤器的训练中加入这些数据时，性能下降。这可以通过在非垃圾邮件上下文中增加 "free"、"win"、"offer "或 "token"等词的使用来解决。规避攻击：攻击者在部署过程中操纵数据，欺骗先前训练好的分类器。规避攻击在实际应用中最为普遍。针对生物识别验证系统的"欺骗攻击 "就是规避攻击的例子。对抗性攻击：这是对合法输入的修改，目的是愚弄模型，或者使用专门设计的"噪音"来引起错误分类。请看下面的例子，在熊猫图像中添加噪音后，模型将其分类为长臂猿（置信度为99.3%）。图 37：通过在熊猫图像中添加特殊类型的噪声，模型可预先判断出图像是长臂猿而不是熊猫。在进行对抗攻击时，我们向神经网络提供一幅输入图像（左图）。然后，我们使用梯度下降法构建噪声向量（中）。该噪声向量被添加到输入图像中，从而导致错误分类（右图）。(图片来源：本文图 1解释和利用对抗性实例》论文中的图 1）在创建开放数据集时，有必要建立一个强大的质量控制层，以避免恶意攻击。此外，数据出处（追溯图像来源）可能会有所帮助。 2.2 训练方面的挑战训练机器学习模型会面临许多挑战。本节绝不是为了说明这些挑战的严重性。相反，我们试图让读者了解挑战的类型和瓶颈所在。这将有助于建立直觉，从而能够评估将训练模型与密码原语相结合的项目构想。请看下面这个无监督学习问题的例子。在无监督学习中，没有 "老师 "提供标签或指导模型。相反，模型会发现问题中隐藏的模式。考虑一个猫狗数据集。每只猫狗都有两种颜色：黑色和白色。我们可以使用一个无监督学习模型，通过将它们聚类为两组来找到数据中的模式。该模型有两种有效的方法：将所有狗集中在一起，将所有猫集中在一起将所有白色动物集中在一起，将所有黑色动物集中在一起。请注意，从技术上讲，这两者都没有错。模型找到的模式很好。然而，要完全按照我们的要求来引导模型是非常具有挑战性的。图 38：训练好的对猫和狗进行分类的模型最终可能会根据颜色将动物聚类在一起。这是因为在实践中很难指导无监督学习模型。所有图像均由人工智能使用 Dalle-E 生成这个例子说明了无监督学习所面临的挑战。然而，在所有类型的学习中，能够评估模型在训练过程中的学习效果并进行潜在干预至关重要。这可以节省大量资金。在无权限系统中，模型的训练无需专家监督，因此可能会浪费大量资源。处理早期停止等问题的自动化工具还很不成熟。训练大型模型的挑战还有很多，这是一个非常简短的清单：训练大规模机器学习模型，尤其是深度学习模型，需要大量的计算能力。这通常意味着要使用高端 GPU 或 TPU，而它们可能既昂贵又耗能。与这些计算需求相关的成本不仅包括硬件，还包括连续运行这些机器（有时长达数周或数月）所需的电力和基础设施。强化学习因其训练的不稳定性而闻名，模型或训练过程中的微小变化都可能导致结果的显著差异。与Adam等监督学习中使用的更稳定的优化方法不同，强化学习中没有放之四海而皆准的解决方案。通常需要对训练过程进行定制，这不仅耗时，而且需要深厚的专业知识。强化学习中的探索-开发两难问题使训练变得更加复杂，因为找到正确的平衡点对于有效学习至关重要，但却很难实现。机器学习中的损失函数定义了模型的优化目标。选择错误的损失函数会导致模型学习到不恰当或次优的行为。在复杂任务中，例如涉及不平衡数据集或多类分类的任务，选择、有时甚至定制设计正确的损失函数变得更加重要。损失函数必须与应用的实际目标紧密结合，这就需要深入了解数据和预期结果。在强化学习中，设计能持续、准确反映预期目标的奖励函数是一项挑战，尤其是在奖励稀少或延迟的环境中。在国际象棋游戏中，奖励函数可以很简单：赢了得 1 分，输了得 0 分。但是，对于行走机器人来说，这个奖励函数可能会变得非常复杂，因为它将包含 "面向前方行走"、"不要随意摆动手臂 "等信息。奖励函数（和损失函数）包含了模型去符号化者认为重要的主观因素。可能有必要建立管理制度，以确保为广泛使用的模型选择适当的函数。在监督学习中，由于深度神经网络的 "黑箱 "性质，要了解是哪些特征驱动了复杂模型（如深度神经网络）的预测具有挑战性。这种复杂性使得调试模型、了解其决策过程和提高其准确性变得十分困难。这些模型的复杂性也对可预测性和可解释性提出了挑战，而这对在敏感或受监管领域部署模型至关重要。同样，训练模式和所涉及的挑战也是非常复杂的话题。我们希望上述内容能让您对所涉及的挑战有一个大致的了解。如果您想深入了解该领域当前面临的挑战，我们推荐您阅读《应用深度学习中的开放性问题》（Open Problems in Applied Deep Learning）和《MLOps 指南》（MLOps guide）。从概念上讲，机器学习模型的训练是按顺序进行的。但在很多情况下，并行训练模型至关重要。这可能只是因为模型太大，一个 GPU 难以容纳，并行训练可以加快训练速度。然而，并行训练模型会带来重大挑战，包括通信开销：将模型分割到不同的处理器需要这些单元之间不断进行通信。这可能会造成瓶颈，尤其是对于大型模型而言，因为各单元之间的数据传输可能会耗费大量时间。负载均衡：确保所有计算单元得到平等利用是一项挑战。不平衡会导致一些单元闲置，而另一些单元超负荷运行，从而降低整体效率。内存限制：每个处理器单元的内存都是有限的。在不超出这些限制的情况下，有效管理和优化多个单元的内存使用情况是非常复杂的，尤其是大型模型。实施的复杂性：设置模型并行涉及计算资源的复杂配置和管理。这种复杂性会增加开发时间和出错的可能性。优化困难：传统的优化算法可能无法直接适用于模型并行化环境，也无法提高效率，这就需要进行修改或开发新的优化方法。调试和监控：由于训练过程的复杂性和分布性增加，监控和调试分布在多个单元上的模型比监控和调试运行在单个单元上的模型更具挑战性。分散和并行训练方面的基本新方法可以极大地推动机器学习的进步。 2.3 推理中的挑战许多类型的机器学习系统面临的最重要挑战之一就是它们可能会"自信地出错"。ChatGPT可能会返回一个我们听起来很有把握的答案，但事实上这个答案是错误的。这是因为大多数模型经过训练后都会返回最有可能的答案。贝叶斯方法可用于量化不确定性。也就是说，模型可以返回一个有根据的答案，来衡量它有多确定。考虑使用蔬菜数据训练图像分类模型。该模型可以获取任何蔬菜的图像，并返回它是什么，例如 "黄瓜 "或 "红洋葱"。如果我们给这个模型输入一张猫的图像，会发生什么呢？普通模型会返回它的最佳猜测，也许是 "白色洋葱"。这显然是不正确的。但这是模型的最佳猜测。贝叶斯模型的输出则是 "白色洋葱 "和一个确定度，例如 3%。如果模型有 3% 的确定性，我们可能就不应该根据这个预测采取行动。图 39：常规模型预测（只返回最有可能的答案）和贝叶斯模型预测（返回预测结果的 s 分布）的示意图这种形式的不确定性定性和推理在关键应用中至关重要。例如，医疗干预或金融决策。然而，贝叶斯模型的实际训练成本非常高，而且面临许多可扩展性问题。推理过程中出现的更多挑战维护：随着时间的推移，尤其是数据和现实世界场景发生变化时，保持模型的更新和正常运行。 RL 中的探索-利用：在探索新策略和利用已知策略之间取得平衡，尤其是在推理直接影响数据收集的情况下。测试性能：确保模型在新的、未见过的数据上表现良好，而不仅仅是在训练过的数据上。分布偏移：处理输入数据分布随时间发生的变化，这种变化会降低模型性能。例如，推荐引擎需要考虑客户需求和行为的变化。某些模型生成缓慢：像扩散模型这样的模型在生成输出时可能需要大量时间，而且速度较慢。高斯过程和大型数据集：随着数据集的增长，使用高斯过程进行推理的速度会越来越慢。增加防护栏：在生产模型中实施制衡措施，防止出现不良结果或误用。在封闭源模型中增加哪些防护措施，这对于确保不出现偏差至关重要。 2.4 LLM 面临的挑战大型语言模型面临许多挑战。不过，由于这些问题受到了相当多的关注，我们在此仅作简要介绍。 LLM 不提供参考文献，但可以通过检索增强生成（RAG）等技术来缓解没有参考文献等问题。幻觉：产生无意义、虚假或无关的输出。训练运行需要很长时间，而且数据集重新平衡的边际值很难预测，这就导致了缓慢的反馈循环。很难将人类的基本评估标准扩展到模型所允许的吞吐量。量化在很大程度上是需要的，但其后果却鲜为人知。下游基础设施需要随着模型的变化而变化。在与企业合作时，这意味着长时间的发布延迟（生产总是远远落后于开发）。不过，我们想重点介绍论文《沉睡代理：训练通过安全训练持续存在的欺骗性 LLMs》一文中的一个例子。作者训练的模型会在提示年份为 2023 年时编写安全代码，但在提示年份为 2024 年时插入可被利用的代码。他们发现，这种后门行为可以持续存在，因此标准的安全训练技术无法将其清除。这种后门行为在最大的模型中最持久，在经过经训练产生思维链路以欺骗训练过程的的模型中也最持久，甚至就算思维链路已经消失也一直存在。图 40 后门示意图。如果是 2024 年，模型的训练表现为 "正常"，但如果是 2024 年，则策略表现不同。资料来源：本文图 1 模型训练过程的透明度至关重要，因为即使是开源模型，也可能被训练出只在特定情况下使用的后门。例如，想象一下，将一个有资金的钱包连接到一个人工智能代理，结果却发现了一个后门。然后，这个代理就会将所有资金转移到一个特定的地址，或者以不同的身份恶意行事。在本章中，我们讨论了机器学习领域的许多挑战。显而易见，研究的巨大进步解决了许多此类问题。例如，基础模型为训练特定模型提供了巨大优势，因为您只需根据使用情况对其进行微调即可。此外，数据标注不再是全手工过程，使用半监督学习等方法可以避免大量的人工标注。本章的总体目标是先让读者对人工智能领域的问题有一些直观的了解，然后再探讨人工智能与密码学的交叉问题。报告外读物 3.1.1 Gensyn 网站： https://www.gensyn.ai/(opens new window) 一句话简介：去中心化机器学习计算协议，实现人工智能开发民主化。描述：旨在通过将全球所有计算能力整合到一个全球超级集群中，彻底改变人工智能和加密货币领域。该网络专为机器学习计算协议设计，任何人都可以随时访问，从而推动机器学习的发展。通过利用区块链技术，Gensyn实现了人工智能训练过程的去中心化，允许点对点、低成本高效率地访问计算资源。这就消除了对云寡头和大型科技公司的依赖，为人工智能开发提供了一个更加民主和无许可的环境。Gensyn的协议使世界各地的设备（包括未充分利用的硬件）都能为去中心化计算网络做出贡献，为任何人、任何地方都能实现人工智能潜力的未来铺平了道路。简短描述什么是数据类别中的公司，最好使用第 2 章中的框架进行细分。 3.1.2 Axiom 网站： https://www.axiom.xyz/(opens new window) 一句话简介： Axiom利用零知识证明，实现对以太坊历史的无信任链上查询和计算，适用于数据丰富的动态的去中心化应用。描述：为人工智能和加密货币的交叉领域铺平了道路，它使开发人员能够在以太坊上创建智能合约，这些合约可以通过零知识（ZK）证明对区块链数据的整个历史进行访问和计算。这一点至关重要，因为它为动态DeFi应用、定制化的预言机和链上忠诚度计划开辟了新的可能性，允许协议根据历史链上活动进行调整，而无需依赖外部预言机或修改已部署的合约。此外，该协议还旨在将 ZK 技术用于人工智能应用，例如通过确保数据完整性和无信任计算，Axiom可以验证在线内容并检测深度伪造。这使得Axiom成为以太坊上未来安全、数据丰富应用的关键参与者，利用人工智能和加密货币的优势，创建一个更加透明、高效和用户驱动的生态系统。来源：金色财经

金色财经2024-02-22

英伟达2024 年第 4 季度业绩电话会分析师问答

造革命性的能力。如果在我们的下一代中，大型语言模型突然实现了惊人的突破，请不要感到惊讶，并且这些突破（其中一些突破将在软件中，因为它们运行 CUDA）将可供安装基础使用。因此，我们一方面带着每个人。另一方面，我们取得了巨大的突破。 Aaron Rakers 我想问一下中国业务。我知道，在您准备好的评论中，您说过您开始向中国运送一些替代解决方案。您还表示，您预计这一贡献将继续占整个数据中心业务的中个位数百分比。所以我想问题是你们今天向中国市场运送的产品有多大，为什么我们不应该期待其他替代解决方案进入市场并扩大你们的广度以再次参与这个机会？黄仁勋想一想，从本质上讲，记住美国政府希望将 NVIDIA 加速计算和 AI 的最新能力限制在中国市场。美国政府希望看到我们在中国尽可能取得成功。在这两个限制之内，如果你愿意的话，在这两个支柱之内，就是限制，所以当新的限制出现时，我们不得不暂停。我们立刻停了下来。为了了解限制是什么，我们以软件无法以任何方式破解的方式重新配置了我们的产品。这需要一些时间。所以我们重新调整了我们向中国提供的产品，现在我们正在向中国的客户提供样品。我们将尽最大努力在该市场中竞争，并在限制范围内取得成功。就是这样。上个季度，当我们在市场上暂停时，我们的业务大幅下降。我们停止在市场上发货。我们预计本季度的情况大致相同。但之后，希望我们能够去竞争我们的业务并尽力而为，我们会看看结果如何。 Harsh Kumar 嘿，黄仁勋、Colette 和 NVIDIA 团队。首先，祝贺您获得了令人惊叹的季度和指南。我想谈谈你们的软件业务，很高兴听到它超过 10 亿美元，但我希望黄仁勋或 Colette 能帮助我们了解该软件的不同部分和组成部分商业？换句话说，只需帮助我们稍微解开它，这样我们就可以更好地了解增长的来源。黄仁勋让我退后一步，解释一下NVIDIA在软件方面会非常成功的根本原因。首先，如您所知，加速计算确实在云中发展。在云中，云服务提供商拥有非常庞大的工程团队，我们与他们合作的方式允许他们运营和管理自己的业务。每当出现任何问题时，我们都会指派大型团队来处理。他们的工程团队直接与我们的工程团队合作，我们增强、修复、维护、修补加速计算所涉及的复杂软件堆栈。如您所知，加速计算与通用计算有很大不同。您不是从 C++ 等程序开始。你编译它，然后它就可以在你所有的 CPU 上运行。每个领域所需的软件堆栈，从数据处理 SQL 与 SQL 结构数据与所有非结构化的图像、文本和 PDF，到经典机器学习、计算机视觉、语音到大语言模型，所有这些——推荐系统。所有这些都需要不同的软件堆栈。这就是 NVIDIA 拥有数百个库的原因。如果没有软件，就无法打开新市场。如果您没有软件，则无法打开和启用新应用程序。软件对于加速计算至关重要。这是大多数人花了很长时间才理解的加速计算和通用计算之间的根本区别。现在，人们明白软件确实是关键。我们与 CSP 合作的方式非常简单。我们有大型团队正在与他们的大型团队合作。然而，现在生成式人工智能正在使每个企业和每个企业软件公司都能够拥抱加速计算——以及何时——拥抱加速计算现在至关重要，因为它不再可能，也不可能仅仅通过简单的方式来维持吞吐量的提高。通用计算。所有这些企业软件公司和企业公司都没有大型工程团队来维护和优化其软件堆栈以在全球所有云、私有云和本地运行。因此，我们将对他们的所有软件堆栈进行管理、优化、修补、调整和安装基础优化。我们将它们容器化到我们的堆栈中。我们将其称为 NVIDIA AI Enterprise。我们将 NVIDIA AI Enterprise 推向市场的方式是，将 NVIDIA AI Enterprise 视为一个像操作系统一样的运行时，它是一个人工智能操作系统。我们对每个 GPU 每年收取 4,500 美元的费用。我的猜测是，世界上每家企业、每家在所有云、私有云和本地部署软件的软件企业公司都将在 NVIDIA AI Enterprise 上运行，尤其是对于我们的 GPU 而言。因此，随着时间的推移，这可能会成为一项非常重要的业务。我们有了一个良好的开端。Colette 提到，它的运行速度已经达到 10 亿美元，而我们实际上才刚刚开始。谢谢。现在，我将把电话转回给首席执行官黄仁勋，让其致闭幕词。黄仁勋计算机行业正在同时进行两个同步平台转变。价值数万亿美元的数据中心安装基础正在从通用计算转向加速计算。每个数据中心都将得到加速，以便世界能够满足计算需求，增加吞吐量，同时管理成本和能源。NVIDIA 实现了令人难以置信的速度——NVIDIA 实现了一种全新的计算范式，即生成式 AI，软件可以学习、理解和生成从人类语言到生物结构和 3D 世界的任何信息。我们现在正处于一个新行业的开端，人工智能专用数据中心处理大量原始数据，将其提炼为数字智能。与上一次工业革命的交流发电厂一样，NVIDIA AI 超级计算机本质上也是本次工业革命的 AI 发电厂。每个行业的每家公司从根本上都是建立在其专有的商业智能之上，并且在未来，其专有的生成人工智能。生成式人工智能已经启动了一个全新的投资周期，以建设下一个万亿美元的人工智能生成工厂基础设施。我们相信，这两种趋势将推动全球数据中心基础设施安装基数在未来五年内翻一番，并代表每年数千亿的市场机会。这种新的人工智能基础设施将开辟一个今天不可能实现的全新应用世界。我们与超大规模云提供商和消费者互联网公司一起开启了人工智能之旅。现在，从汽车到医疗保健到金融服务，从工业到电信、媒体和娱乐，每个行业都参与其中。 NVIDIA 的全栈计算平台具有行业特定的应用程序框架以及庞大的开发者和合作伙伴生态系统，为我们提供了帮助每个公司的速度、规模和覆盖范围，帮助每个行业的公司成为人工智能公司。在下个月于圣何塞举行的 GTC 上，我们有很多东西要与您分享。所以一定要加入我们。我们期待向您通报下季度的最新进展。 (这份记录可能不是100％的准确率，并且可能包含拼写错误和其他不准确的。提供此记录，没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见)

老虎证券2024-02-22

英伟达2024 年第 4 季度业绩电话会高管解读财报

由跨行业、用例和地区的生成式人工智能和大型语言模型的训练和推理推动的。我们的数据中心平台的多功能性和领先性能可为许多用例带来高投资回报，包括人工智能训练和推理、数据处理和广泛的 CUDA 加速工作负载。我们估计，去年大约 40% 的数据中心收入来自人工智能推理。构建和部署人工智能解决方案几乎已涉及每个行业。各行各业的许多公司都在通过云提供商（包括超大规模云、GPU 专用云、私有云或本地云）大规模培训和运营其 AI 模型和服务，以及跨 NVIDIA AI 基础设施的企业。 NVIDIA 的计算堆栈可跨云和本地环境无缝扩展，允许客户采用多云或混合云策略进行部署。第四季度，大型云提供商占我们数据中心收入的一半以上，支持内部工作负载和外部公共云客户。微软最近指出，超过 50,000 个组织使用 GitHub Copilot 业务来提高开发人员的工作效率，推动 GitHub 收入同比增长加速至 40%。Copilot for Microsoft 365 采用率在前两个月的增长速度比之前两个主要 Microsoft 365 企业套件版本的增长速度更快。消费互联网公司是人工智能的早期采用者，也是我们最大的客户类别之一。从搜索到电子商务、社交媒体、新闻和视频服务以及娱乐的公司都在使用人工智能来构建基于深度学习的推荐系统。这些人工智能投资通过提高客户参与度、广告对话和点击率而产生了丰厚的回报。 Meta 在最新季度中表示，更准确的预测和广告商业绩的改善有助于其收入大幅增长。此外，消费互联网公司正在投资生成式人工智能，通过内容和广告创建、在线产品描述和人工智能购物辅助的自动化工具为内容创作者、广告商和客户提供支持。企业软件公司正在应用生成式人工智能来帮助客户实现生产力提升。我们在生成式人工智能的训练和推理方面合作的早期客户已经取得了显着的商业成功。 ServiceNow 的生成式人工智能产品在最新一个季度推动了所有新产品系列发布中有史以来最大的年度净新合同价值贡献。我们还与许多其他领先的人工智能和企业软件平台合作，包括 Adobe、Databricks、Getty Images、SAP 和 Snowflake。大语言模型的基础领域正在蓬勃发展。Anthropic、谷歌、Inflection、微软、OpenAI 和 xAI 在生成人工智能领域不断取得惊人突破，处于领先地位。Adept、AI21、Character.ai、Cohere、Mistral、Perplexity 和 Runway 等令人兴奋的公司正在构建为企业和创作者服务的平台。新的初创公司正在创建法学硕士，以服务于世界许多地区的特定语言、文化和习俗。其他人正在创建基础模型来解决完全不同的行业，例如递归制药和生成：生物学生物医学。这些公司正在通过超大规模或 GPU 专业云提供商推动对 NVIDIA AI 基础设施的需求。就在今天早上，我们宣布与 Google 合作优化其最先进的新 Gemma 语言模型，以加速其在云数据中心和 PC 中 NVIDIA GPU 上的推理性能。过去一年最显着的趋势之一是汽车、医疗保健和金融服务等垂直行业的企业大量采用人工智能。NVIDIA 提供多种应用框架，利用我们的全栈加速计算平台，帮助企业在自动驾驶、药物发现、用于欺诈检测或机器人技术的低延迟机器学习等垂直领域采用人工智能。我们估计去年汽车垂直行业通过云或本地数据中心的收入贡献超过 10 亿美元。NVIDIA DRIVE 基础设施解决方案包括用于开发自动驾驶的系统和软件，包括数据摄取、创建、标记和 AI 培训，以及通过模拟进行验证。全球 OEM、新能源汽车、卡车运输、自动驾驶出租车和一级供应商的近 80 家汽车制造商正在使用 NVIDIA 的 AI 基础设施来训练法学硕士和其他 AI 模型，以实现自动驾驶和 AI 座舱应用。事实上，几乎所有致力于人工智能的汽车公司都在与 NVIDIA 合作。随着 AV 算法转向视频转换器以及更多汽车配备摄像头，我们预计 NVIDIA 的汽车数据中心处理需求将大幅增长。在医疗保健领域，数字生物学和生成人工智能正在帮助重塑药物发现、手术、医学成像和可穿戴设备。过去十年，我们在医疗保健领域积累了深厚的专业知识，创建了 NVIDIA Clara 医疗保健平台和 NVIDIA BioNeMo（一项生成式 AI 服务，用于开发、定制和部署用于计算机辅助药物发现的 AI 基础模型）。 BioNeMo 具有越来越多的预训练生物分子 AI 模型，可应用于端到端药物发现过程。我们宣布 Recursion 正在通过 BioNeMo 为药物发现生态系统提供其专有的人工智能模型。在金融服务领域，客户正在将人工智能用于越来越多的用例，从交易和风险管理到客户服务和欺诈检测。例如，美国运通使用 NVIDIA AI 将欺诈检测准确率提高了 6%。转向我们按地理位置划分的数据中心收入。所有地区的增长均强劲，但中国除外，在美国政府 10 月份实施出口管制法规后，我们的数据中心收入大幅下降。尽管我们尚未获得美国政府向中国运送受限制产品的许可证，但我们已经开始向中国市场运送不需要许可证的替代品。第四季度，中国数据中心收入占我们数据中心收入的中个位数百分比。我们预计第一季度它将保持在类似的范围内。在美国和中国以外的地区，主权人工智能已成为额外的需求驱动力。世界各国都在投资人工智能基础设施，以支持使用本国语言、基于国内数据构建大型语言模型，并支持当地研究和企业生态系统。从产品角度来看，绝大多数收入是由我们的 Hopper 架构和 InfiniBand 网络推动的。它们共同成为加速计算和人工智能基础设施的事实上的标准。我们有望在第二季度实现 H200 的首次发货。需求强劲，因为 H200 的推理性能几乎是 H100 的两倍。网络年化收入运行率超过 130 亿美元。我们的端到端网络解决方案定义了现代人工智能数据中心。我们的 Quantum InfiniBand 解决方案同比增长超过 5 倍。 NVIDIA Quantum InfiniBand 是最高性能 AI 专用基础设施的标准。我们现在正在进入以太网网络领域，推出了专为数据中心人工智能优化网络而设计的新 Spectrum-X 端到端产品。Spectrum-X 通过以太网引入了专为人工智能而构建的新技术。与传统以太网相比，我们的 Spectrum 交换机、BlueField DPU 和软件堆栈中采用的技术可将 AI 处理的网络性能提高 1.6 倍。包括戴尔、HPE、联想和超微在内的领先 OEM 拥有全球销售渠道，正在与我们合作，将我们的人工智能解决方案扩展到全球企业。我们有望在本季度推出 Spectrum-X。我们的软件和服务产品也取得了巨大进展，第四季度的年化收入达到了 10 亿美元。我们宣布 NVIDIA DGX Cloud 将扩大其合作伙伴名单，将亚马逊 AWS 纳入其中，加入 Microsoft Azure、Google Cloud 和 Oracle Cloud 的行列。DGX Cloud 用于 NVIDIA 自己的 AI 研发和自定义模型开发以及 NVIDIA 开发人员。它将 CUDA 生态系统带给 NVIDIA CSP 合作伙伴。好吧，转向游戏。游戏收入为 28.7 亿美元，环比持平，同比增长 56%，好于我们对假期期间消费者对 NVIDIA GeForce RTX GPU 强劲需求的预期。财年收入为 104.5 亿美元，增长 15%。在 CES 上，我们发布了 GeForce RTX 40 Super 系列 GPU 系列。它们起价 599 美元，提供令人难以置信的游戏性能和生成人工智能功能。销售有了一个良好的开端。 NVIDIA AI Tensor 核心和 GPU 提供多达 836 个 AI 顶级，非常适合为游戏 AI 提供动力，创造日常生产力。我们通过 RTX GPU 提供的丰富软件堆栈进一步加速了人工智能。借助我们的 DLSS 技术，八分之七的像素可以由 AI 生成，从而使光线追踪速度提高 4 倍并提高图像质量。借助适用于 Windows 的 Tensor RT LLM，我们的开源库可加速最新大语言模型生成式 AI 的推理性能，在 RTX AI PC 上的运行速度可提高 5 倍。在 CES 上，我们还宣布了各大 OEM 厂商推出的一系列新款 RTX 40 系列 AI 笔记本电脑。这些为各种外形尺寸带来了高性能游戏和人工智能功能，包括 14 英寸和轻薄笔记本电脑。这些下一代 AI PC 拥有高达 686 个顶级 AI 性能，将生成式 AI 性能提高了 60 倍，成为性能最佳的 AI PC 平台。在 CES 上，我们发布了 NVIDIA Avatar Cloud Engine 微服务，它允许开发人员将最先进的生成式 AI 模型集成到数字化身中。ACE 荣获多项 CES 2024 最佳奖项。 NVIDIA 拥有一个端到端平台，用于为 RTX PC 和工作站构建和部署生成式 AI 应用程序。这包括开发人员可以纳入其生成人工智能工作负载的库、SDK、工具和服务。NVIDIA 正在推动下一波进入 PC 的生成式 AI 应用程序。我们已经在路上，拥有超过 1 亿台 RTX PC 和超过 500 个支持 AI 的 PC 应用程序和游戏。转向专业可视化。收入为 4.63 亿美元，环比增长 11%，同比增长 105%。财年收入为 15.5 亿美元，增长 1%。本季度的连续增长是由 RTX Ada 架构 GPU 的丰富组合持续增长所推动的。企业正在更新其工作站，以支持与生成型人工智能相关的工作负载，例如数据准备、LLM 微调和检索增强生成。这些推动需求的关键垂直行业包括制造业、汽车和机器人技术。汽车行业也是 NVIDIA Omniverse 的早期采用者，因为该行业寻求将工厂和汽车从设计到建造、模拟、操作和体验的工作流程数字化。在 CES 上，我们宣布 Brickland、WPP 和 ZeroLight 等创意合作伙伴和开发商正在构建 Omniverse 支持的汽车配置器。像莲花这样的领先汽车制造商正在采用该技术，将个性化、真实性和互动性提升到新的购车体验水平。转向汽车。收入为 2.81 亿美元，环比增长 8%，同比下降 4%。由于汽车制造商继续采用 NVIDIA DRIVE 平台，该财年收入达到 10.9 亿美元，增长 21%，首次突破 10 亿美元大关。NVIDIA DRIVE Orin 是软件定义 AV 车队的首选 AI 车载计算机。其后续产品 NVIDIA DRIVE Thor 通常专为视觉变形者而设计，可提供更多 AI 性能，并将广泛的智能功能集成到单个 AI 计算平台中，包括自动驾驶和停车、驾驶员和乘客监控以及 AI 驾驶舱功能，并将明年上市。本季度有多家汽车客户发布公告，理想汽车、长城汽车、吉利旗下高端电动汽车子公司 ZEEKR 以及小米电动汽车均发布了基于 NVIDIA 的新车。转向损益表的其余部分。由于数据中心的强劲增长和组合，GAAP 毛利率连续扩大至 76%，非 GAAP 毛利率扩大至 76.7%。我们第四季度的毛利率受益于有利的零部件成本。随后，GAAP 运营费用增长了 6%，非 GAAP 运营费用增长了 9%，主要反映了计算和基础设施投资的增加以及员工的增长。第四季度，我们以股票回购和现金股息的形式向股东返还 28 亿美元。在 24 财年，我们使用了 99 亿美元的现金来回报股东，其中包括 95 亿美元的股票回购。让我谈谈第一季度的展望。总收入预计为 240 亿美元，上下浮动 2%。我们预计数据中心和供应商的环比增长将被游戏的季节性下降部分抵消。GAAP 和非 GAAP 毛利率预计分别为 76.3% 和 77%，上下浮动 50 个基点。与第四季度类似，第一季度的毛利率受益于有利的零部件成本。在第一季度之后，在今年剩余时间内，我们预计毛利率将恢复到 70% 左右的范围。 GAAP 和非 GAAP 运营费用预计分别约为 35 亿美元和 25 亿美元。随着我们继续投资于面前的巨大机遇，2025 财年 GAAP 和非 GAAP 运营费用预计将增长 30% 左右。 GAAP 和非 GAAP 其他收入和支出预计约为 2.5 亿美元，不包括非关联投资的损益。GAAP 和非 GAAP 税率预计为 17%，正负 1%（不包括任何离散项目）。更多财务细节包含在 CFO 评论和我们的 IR 网站上提供的其他信息中。最后，让我强调一下金融界即将发生的一些事件。我们将参加 3 月 4 日在旧金山举行的摩根士丹利技术与媒体和电信会议，以及 3 月 5 日在波士顿举行的 TD Cowen 第 44 届年度医疗保健会议。当然，请参加我们于 3 月 18 日星期一在旧金山举行的年度 DTC 会议加利福尼亚州何塞市将是五年来首次面对面举行。DTC 将以 Jen-Hsun 的主题演讲拉开帷幕，我们将在第二天（3 月 19 日）为金融分析师举办问答环节。 (这份记录可能不是100％的准确率，并且可能包含拼写错误和其他不准确的。提供此记录，没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见)

老虎证券2024-02-22

美国突传两则“意外”重磅！美联储“释鸽”按兵不动美元跌破104、黄金2026酝酿涨潮比特币多空交战激烈

片包括H100，被AI开发人员用来创建大型语言模型。 (来源:Bloomberg) 2023年，OpenAI公司的ChatGPT将价值4万美元的英伟达芯片变成了硅谷最热门的商品。 Meta首席执行官马克·扎克伯格(Mark Zuckerberg)在今年1月份表示，该公司计划今年将H100芯片的总库存增加到35万个。黄仁勋指出，英伟达的数据中心平台由日益多样化的驱动因素提供支持，目前汽车、金融服务和医疗保健等行业的支出达到数十亿美元的水平。随着英伟达的重点转向新产品，例如预计将于今年晚些时候开始发货的高端AI芯片B100，投资者正在密切关注黄仁勋能否维持英伟达的高增长率。英伟达周三表示，预计本季收入将再次增长，达到240亿美元。在最新财报公布之前，美国银行分析师称，英伟达股价飙升是由于“恐惧、贪婪以及投资者对AI不加选择的追逐”。巴以新突破：美国联合航空恢复以色列航班英国《金融时报》报道，美国联合航空(United Airlines)是第一家恢复飞往以色列航班的美国航空公司，该公司2023年10月战争爆发后暂停了该航线。#巴以冲突# (来源:Financial Times) 公司表示，将于3月2日恢复新泽西州纽瓦克和特拉维夫之间的航班，四天后开始提供直达服务。哈马斯武装分子于2023年10月7日袭击以色列后，美联航停止飞往以色列的航班，而以色列则通过袭击加沙进行报复。联合航空表示：“一旦旅行需求恢复，渴望在5月份恢复从纽瓦克出发的第二趟每日特拉维夫航班。” 回到经济数据面，联邦公开市场委员会(FOMC)会议纪要显示，一些成员认为利率可能已达到最高水平，表明未来将采取谨慎态度。官员们对实现通胀目标的困难表示担忧，凸显了经济形势的不确定性。根据某些政策制定者的观点，目前认为2023年12月份的经济预测比之前认为的更加乐观。就目前而言，CME的Fed Watch工具显示3月份下次会议降息的可能性为20%，并且5月份也仍然较低，反映出市场情绪倾向于美联储将利率稳定在限制性水平的意图。市场目前将降息的开始时间推迟到6月。周四，市场将密切关注美国每周初请失业金人数和2月份标准普尔PMI初值。美元技术分析：多头表现疲弱，必须恢复100日移动平均线 FXStreet分析师Patricio Martín表示，美元日线图上的指标反映了买卖压力之间的平衡。相对强弱指数(RSI)处于正值区域，但其负斜率表明购买动力正在失去动力。移动平均线收敛背离(MACD)的绿色条不断减少，意味着任何看涨势头正在减弱，并可能转变为看跌倾向。此外，该指数与其简单移动平均线(SMA)相比的定位提供了一个有趣的视角。尽管面临看跌压力，多头仍设法将美元指数保持在20日和200日移动平均线之上。这表明买家在更广泛的时间范围内继续发挥一定的力量。然而，美元指数低于100日移动平均线可能暗示看涨走势存在中间障碍。因此，尽管更广泛的趋势可能仍然倾向于买家，但短期前景呈现出多头和空头之间的控制权争夺战。黄金技术分析：黄金可能转向更大上升趋势 FXEmpire分析师Bruce Powers表示，金价短暂反弹至周二高点2031美元之上，引发看涨趋势延续，随后在2032美元遭遇阻力。这是两周内第三次成功测试50日均线的阻力位。首先，这告诉市场50日线代表阻力，可能导致再次下跌以测试近期低点。此外，它还表明市场正在再次尝试突破该线。第二次测试是在周二，周三不仅创下了新的日高，而且还创下了更高的日低，表明五日趋势仍然良好。周三的上涨还触发了上周锤子烛台形态的周度看涨突破，该形态是在突破2031美元后触发的。日收市价高于2031美元将确认周线突破，并将更高的价格提上议事日程。第一个中期目标将是2045美元左右。如果达到这一点，金价将升至下降趋势线上方，标志着反映需求改善的关键进展。尽管如此，日收市价高于55日均线将提供下一个走强迹象，目前位于2031美元。由于今天是金价连续第五天上涨，并且继续测试50日线阻力，如果这样的话，可能会导致先转跌再上破。在这种情况下，当跌破今天的低点2020美元时，首先表明疲软。在先前看到的低点的推动下，有两个潜在的支撑位值得关注，它们分别位于2015和2009美元。 38.2%斐波那契回调位位于2014美元，足够接近以确认2015美元价格区域。此外，2008美元的50%回撤确认了2009美元价位区域是潜在的重要支撑。跌破每日低点1995美元可能会导致进一步测试近期波动低点1984美元，并可能导致更低的价格。关键的较低支撑位是200日均线，目前位于1965美元。自2023年12月底B点波动高点以来，黄金一直走低。每日收市价高于标志着下跌动态阻力的下降趋势线，将首次确认下降趋势已转变为正在发展的上升趋势。到那时，完成3000美元的上升ABCD形态就成为主要的初始目标。 (来源:FXEmpire) 比特币技术分析：多空陷入激烈交战 CoinTelegraph表示，比特币过去几天一直横盘整理，表明多头和空头之间正在展开一场艰苦的战斗。卖方会压倒买方并开始短期调整，还是买方会脱颖而出？这是每个加密货币投资者心中的问题。美联储提前降息的希望逐渐减弱，导致标准普尔500指数获利回吐。这可能预示着近期的避险情绪，增加了比特币和部分山寨币回调的风险。然而，下跌可能不会改变长期看涨观点。投资者可能将每次下跌视为买入机会，因为比特币即将在4月份减半周期，这在历史上一直是看涨事件。比特币正在努力维持在52000美元上方，表明空头正在激烈捍卫该水平。如果价格跌破50000美元，短线交易者可能会放弃并获利了结。这可能会将比特币拉至20天指数移动平均线48842美元。如果价格从20日均线强力反弹，则表明市场情绪依然乐观，交易者正在较低水平买入。这将增加反弹至52000美元上方的可能性。随后，比特币可能会跃升至60000美元。相反，如果价格继续走低并跌破20日均线，则将标志着开始回调至50日简单移动平均线44924美元。#VIP会员尊享# (来源:CoinTelegraph)

小萧2024-02-22

会员

Covalent Network 发展新里程碑：SOC 2 数据安全认证通过,进一步加强了其人工智能支持

金色财经2024-02-21

24小时热点