FX168财经网_全球视野外汇黄金加密货币NFT资讯网

周末要闻集锦出炉！全国进入两会时间，今年国内生产总值增长目标5%左右，A股下周解禁市值275.1亿元

条问题是：“Bard和ChatGPT是大型语言模型，而不是知识模型。他们擅长生成人性化的文本，但不擅长确保文本是基于事实的。为什么我们认为首要大型应用应该是搜索，它的核心是寻找真实信息吗？”面对该充满质疑的问题，Bard的产品负责人Jack Krawczyk立即回应道：“我只是想明确一点：Bard不仅仅是搜索而已。这是我们谈论过的人工智能合作服务的一个实验。我们发现，使用这款产品的神奇之处在于，它是一个具有创造性的伙伴，可以帮助你激发想象力，探索你的好奇心等等。　　索尼考虑同三星电子联手据悉将讨论半导体供应合作方案　　韩国SBS电视台旗下财经新闻频道SBS Biz 3月4日消息，业内人士透露，索尼集团会长兼CEO吉田宪一郎6日将拜访三星电子平泽园区，同三星电子DS（半导体）部门负责人庆桂显会面。据悉，三星电子与索尼双方将共有5到6名主管参与这次非公开会议，预计讨论半导体供应及相关合作具体方案。据报道，结束平泽园区行程后，双方还将前往负责半导体封装的三星电子天安与温阳园区。业界推测，这次会议可能提及超精密晶圆制程及影像感测器相关合作。三星电子计划将车用半导体制程扩大至4纳米，力图扩大自动驾驶市场市占率。索尼则将通过新公司Sony Mobility进军电动汽车市场，索尼旗下影像感测器工厂今后将不只供应手机所需，也将扩大生产车用影像感测器。

金融界2023-03-05

人工智能：中国式ChatGPT的“大跃进”

中，在美国工作的全职“高级软件工程师，大型语言模型，应用机器学习”（Staff Software Engineer, Large Language Models, Applied ML）岗位基本工资范围为年薪17.4万-27.6万美元（约120万-190万元人民币）+奖金+股权+福利。这份工作的主要职责是：为谷歌大型语言模型的关键冲刺做出贡献，将尖端的 LLM（Large Language Mode，大型语言模型）引入下一代谷歌产品和应用程序，以及外部用户。在建模技术方面进行协作，以支持全方位的 LLM 调整，从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”（Post Doc Researcher-Machine Learning and Reinforcement Learning）年薪则在9.4万-18.2万美元（约64万-125万元人民币）。工作职责是“与其他研究人员合作制定自己的研究议程，推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员，其中5人本科毕业于国内高校，美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑，美国是从80亿人里挑，全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示，要承认差距确实存在，不过他也表示，“在这方面，我们也不用气馁。中国也有自己的优势，比如市场化、产品化的能力，近年来我们不比美国同行差了。” 国内大厂的实力如何？除了人才问题，国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚，而起步晚的原因，则还是与“钱”脱不开关系。从技术角度看，生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前，技术实现的效果并不理想，且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资，投入到这种看上去不太赚钱，还要烧钱的业务。中国的AI产业更注重应用场景，而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务，比如听写、翻译，在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力，一方面他们赚钱，另一方面在这些领域的技术积累，使研究人员能够“在规定跑道上赛跑”，而不是在未知领域探路。这一点不只是限制了国内公司，更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样，巨头都不喜欢“破坏式创新”，谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值，这也正是谷歌一直声称不愿发布LaMDA大模型的理由，害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题，毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。不过，在这波大模型的追赶赛中，国内大厂的团队也可以说是实力颇强。百度在大模型方面走的最早，百度自2019年开始研发预训练模型，先后发布了知识增强文心（ERNIE）系列模型。文心大模型研发的带头人，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士，是自然语言处理领域权威国际学术组织ACL（Association for Computational Linguistics）的首位华人主席、ACL亚太分会创始主席、ACL Fellow，还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前，王海峰在国内外期刊会议上发表的学术论文有200余篇，获得已授权专利170余项。虽然没有像百度一样公布类ChatGPT产品的发布时间表，但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型，均已研发了很长时间。据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计（2023年的统计尚未发布）显示，2012-2021年中，在ML（Machine Learning，机器学习）和NLP顶级期刊和会议发表论文数量最多的机构是谷歌，微软紧随其后。发文数量最多的中国机构是清华大学，第二是位列第16的腾讯，腾讯也是前32名中唯一的中国互联网厂商。不过，在2021年单年的统计中，阿里和华为也登上此榜，腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计目前，腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过，腾讯旗下AI研发团队“腾讯AI Lab”的专家构成，也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成，带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任，腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学（Stanford University）发布的2022 年度“全球前2%顶尖科学家榜单”（World's Top 2% Scientists 2022）中，排名全球“终身科学影响力排行榜”第1002名，中国排名 Top 10。阿里在LLM领域的研究主要由阿里巴巴达摩院负责，阿里巴巴集团资深副总裁，阿里云智能CTO、达摩院副院长周靖人主导，他是IEEE Fellow，多次担任VLDB，SIGMOD，ICDE等国际顶级会议程序委员会主编、主席，在顶尖国际期刊和会议上发表论文超百篇，并拥有几十项技术专利。华为也未对“类ChatGPT产品”公开表态，但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导，他是计算机视觉、多媒体信息检索专家，IEEE Fellow，国际欧亚科学院院士，教育部长江讲座教授，国家自然科学基金海外杰青，中国科学院海外评审专家，在国内多所高校任讲席教授及客座教授。在自己组建团队投入研发的同时，百度、阿里、腾讯、华为等IT大厂，也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构数据闭环是大模型研发的关键，用户越多，积累时间越长，就意味着可以用于迭代升级的数据和反馈也就越多。在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月，但用户量和访问量增长速度飞快，这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了，就会面临卡脖子的风险。”很多AI专家对此都有担心，由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持，以及地方政策支持，人才聚拢能力非常强劲。北京智源人工智能研究院（以下简称“智源研究院”）是科技部和北京市政府共同支持，联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江，是美国国家工程院外籍院士，ACM Fellow和IEEE Fellow，同时也是微软亚洲研究院的创始人之一。 2021年，智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本，这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）的孙茂松教授，清华大学知识工程研究室（KEG）的唐杰教授，清华大学交互式人工智能课题组（CoAI）的黄民烈教授。目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中，大模型给搜索广告带来了2.7%的收入增长。在南方的科技重镇也有一家相似的研究机构，粤港澳大湾区数字经济研究院（以下简称IDEA研究院），IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处，IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士，他参与创建了微软亚洲研究院，担任院长兼首席科学家，并曾担任微软公司全球执行副总裁，主管微软全球研究院和人工智能产品线，并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院，他的团队推出的开源模型“太乙”，据称在中文文生图领域可以达到接近Stable Diffusion（一款开源文生图AI模型）的水平。目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”，已经开源了6个系列共10个模型，包含4种模型结构，模型参数最大为35亿。其中包括：以Encoder结构为主的双向语言系列模型的二郎神系列；面向医疗领域，拥有35亿参数的余元系列；与追一科技联合开发的新结构大模型周文王系列；以Decoder结构为主的单向语言模型闻仲系列；以Transformer结构为主的编解码语言模型，主要解决通用任务的大模型燃灯系列；以及主要面向各种纠错任务的比干系列。 2月20日晚，复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”，并在公开平台（https://moss.fastnlp.top/），邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示，“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会，但是从后边的公告来看，有可能是在工程优化，并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上，邱锡鹏教授公开表示，如果优化顺利，MOSS计划在2023年3月底开源。虽然，没能成功抢发“国产ChatGPT”，但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价，“邱锡鹏教授的团队比较偏重学术，这和早期的OpenAI在科研心态上是有共性的，非营利性的AI研究机构，没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学，虽然计算机技术已发展多年，但AI仍属于前沿科技，对LLM以及其他通用大模型的研究更是兴起不久，仍然需要依靠应用数据，持续迭代升级，不管MOSS是不是因为工程经验绊了跟头，要在AI、大模型这些领域实现突破，能推广到市场中，接地气的技术和产品才是王道。事实上，目前国内AI行业活跃的实验室大多已开始尝试商业化，在市场的磨砺中探索大模型未来的出路。深言科技深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）。THUNLP由清华大学人工智能研究院常务副院长孙茂松，以及刘洋、刘知远，三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一，「九歌」已经为用户创作了超过3000万首诗词。孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身，也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的，目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”，以及根据意思查询句子的“WantQuotes据意查句”。智谱AI 智谱AI的前身是清华大学知识工程研究室（KEG），KEG专注研究网络环境下的知识工程，在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年，智谱AI就启动了科技信息分析引擎ArnetMiner（以下简称AMiner）的相关研究，先后获得了国际顶级会议SIGKDD的十年最佳论文（Test-of-Time Award）、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月，由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，其在多个公开评测榜单上超过GPT-3 v1。此外，智谱AI还打造了认知大模型平台（BigModel.ai），形成AIGC产品矩阵，提供智能API服务。聆心智能 2月17日，聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型，基于大模型可控、可配置、可信的核心技术优势，聆心智能推出“AI乌托邦”，该系统允许用户快速定制 AI 角色。聆心智能由清华大学交互式人工智能课题组（CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年，就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。西湖心辰西湖心辰背靠西湖大学深度学习实验室，创始人是西湖大学助理教授、博士生导师蓝振忠，主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家，也是轻量化大模型ALBERT的第一作者。西湖大学在人工智能领域的研发实力很强，除了蓝振忠博士的深度学习实验室，西湖大学NLP实验室，在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中，于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势，技术和数据。”西湖心辰COO俞佳对虎嗅表示，国内大模型创业公司在技术方面普遍已有多年研究经验，构筑了一定的技术壁垒，这是很难短期超越的。同时，由于已经推出了相关产品，“数据飞轮”已经转起来了，这些数据的质量相比互联网数据质量要高很多，能够对产品迭代起到很大支撑作用。对于国内大模型创业公司未来的发展趋势，俞佳认为可能性很多，“有些公司可能会走出自己的道路，也有的公司可能会像OpenAI一样与IT大厂开展深度合作，甚至像DeepMind直接并入其中。” 出品｜虎嗅科技组作者｜齐健编辑｜陈伊凡来源：DeFi之道来源：金色财经

金色财经2023-03-05

OpenAI逆天正式开放ChatGPT API 100万个单词才18元全民AIGC时代真的要来了

同，微软称之为「新的下一代OpenAI大型语言模型」，它比 ChatGPT 和 GPT3.5 「更快、更准确、更强大」。当然，考虑到微软在OpenAI上投入的资金，它能够获得普通开发人员无法获得的技术，也就不足为奇了。更何况，微软还在Bing上大量使用自己的技术，就能获得更多的反馈。有趣的是，有网友发现，此次开发的API比网页版ChatGPT限制更小，更加「狂野」。比如，它可以细节地描述黄色和暴力的场景，还可以告诉你它不是AI，甚至是有意识的。老板再也不用担心我泄密了与此同时，OpenAI还表示，如果开发人员通过API运行大量数据，他们还能够获得专用的ChatGPT实例。这样可以让开发者更好地控制正在使用的模型，比如你希望它需要多长时间响应请求，以及与机器人的对话可以持续多长时间。另外，OpenAI还宣布了一些政策的变更，这些变更都是基于开发者的反馈。划重点！除非客户明确同意，否则它将不再使用通过API提交的数据来训练模型。这种变化，大概会缓解很多人的担忧。此前很多公司就禁止员工使用ChatGPT，因为担心ChatGPT把用户输入的数据吐给其他人，从而泄露商业机密。 OpenAI表示，正在努力提高正常运行时间，现在「工程团队的首要任务就是是生产用例的稳定性。」此前，就有很多开发者在自己的应用中使用OpenAI的常规GPT API了，而如今，官方ChatGPT API的引入彻底打开了闸门。对API具体的更改包括：通过API提交的数据不再用于服务改进（包括模型训练），除非企业选择加入为API用户实施默认保留30天数据，并根据用户需求提供更严格的保留选项删除发布前审查（通过改进自动监控解锁）改进开发人员文档简化服务条款和使用政策，包括有关数据所有权的条款：用户拥有模型的输入和输出语音转文字，1秒仅需0.1美分除了ChatGPT API外，OpenAI还发布了Whisper API——一个由AI驱动的语音到文本模型。它可以用来转录或翻译音频，费用为每分钟0.006美元。从技术上讲，Whisper模型不仅是开源的，而且还受到了开发者社区的盛赞。但如果需要实现语音到文本的快速转录，或者在手机等边缘设备上运行，那么能够利用OpenAI强大的硬件的Whiper AI，就是最佳选择了。和ChatGPT AI一样，import一下openai就行了。社交、学习、购物，这些APP都已经用上了既然OpenAI开放的是API，那么我们思路就要打开了。毕竟，AI聊天机器人能做可不只是「聊天」。 Snapchat 本周，Snap公司为Snapchat+订阅用户推出了My AI——一项基于ChatGPT API的实验性功能。据了解，这个可定制的聊天机器人不仅可以提供建议，甚至可以在几秒钟内为朋友写一首俳句。目前，Snapchat的月活用户已经达到7.5亿。 Shop Shopify通过ChatGPT API，为自家用户量达到1亿的应用程序Shop创建了一个「智能导购」。当消费者搜索产品时，AI就会根据他们的要求进行个性化的推荐。据了解，Shop的AI助理将通过扫描数百万种产品来简化购物流程，从而帮助用户快速找到自己想要的东西。 Quizlet Quizlet是一个6000多万学生都在使用学习平台。过去三年，Quizlet与OpenAI合作，在多个用例中利用GPT-3，包括词汇学习和实践测试。随着ChatGPT API的推出，Quizlet也发布了Q-Chat——一个可以基于相关的学习材料提出自适应问题，并通过富有趣味性的聊天体验来吸引学生的「AI老师」。 Speak Speak是韩国发展最快的英语学习应用，可以为不同水平的语言学习者提供真正的开放式对话练习和高度准确的反馈。现在，Speak正利用Whisper API为一个新的AI语音产品提供技术支持，并迅速将其推向全球其他地区。此前，有些开发者试着自己在应用中接入OpenAI的常规GPT API，却无法达到ChatGPT的效果。这次，OpenAI正式打开了官方的ChatGPT API，为广大开发者打开了新的大门。不管OpenAI此举是抢夺市场的商业策略，还是希望所有开发者共同参与模型功能的迭代，开发出更有商业价值和创造力的应用，现在可以说，ChatGPT是真正成为了全人类的财富。参考资料： https://openai.com/blog/introducing-chatgpt-and-whisper-apis https://www.theverge.com/2023/3/1/23620783/chatgpt-api-openai-pricing-whisper https://the-decoder.com/openai-opens-api-for-chatgpt-and-whisper/ 来源：新智元转自：DeFi之道来源：金色财经

金色财经2023-03-04

中国式ChatGPT“大跃进”

中，在美国工作的全职“高级软件工程师，大型语言模型，应用机器学习”（Staff Software Engineer, Large Language Models, Applied ML）岗位基本工资范围为年薪17.4万-27.6万美元（约120万-190万元人民币）+奖金+股权+福利。这份工作的主要职责是：为谷歌大型语言模型的关键冲刺做出贡献，将尖端的 LLM（Large Language Mode，大型语言模型）引入下一代谷歌产品和应用程序，以及外部用户。在建模技术方面进行协作，以支持全方位的 LLM 调整，从提示工程、指令调整、基于人类反馈的强化学习 (RLHF)、参数高效调整到微调。微软研究院的研究员岗位“博士后研究员-机器学习和强化学习”（Post Doc Researcher-Machine Learning and Reinforcement Learning）年薪则在9.4万-18.2万美元（约64万-125万元人民币）。工作职责是“与其他研究人员合作制定自己的研究议程，推动有效的基础、基础和应用研究计划。” ChatGPT团队中另一个有意思的点是团队中有9位华人成员，其中5人本科毕业于国内高校，美国学界对人才的虹吸效应也正是硅谷巨头以及“OpenAI”们强大人才竞争力的基础。 “中国的AI人才是从14亿人里挑，美国是从80亿人里挑，全世界优秀的人很多都到美国去了。”图灵联合创始人、原智源研究院副院长刘江表示，要承认差距确实存在，不过他也表示，“在这方面，我们也不用气馁。中国也有自己的优势，比如市场化、产品化的能力，近年来我们不比美国同行差了。” 国内大厂的实力如何？除了人才问题，国内大模型研究落后美国另一个原因是在生成式AI和大模型研究方面起步略晚，而起步晚的原因，则还是与“钱”脱不开关系。从技术角度看，生成式技术在Stable Diffusion和ChatGPT等网红产品出现之前，技术实现的效果并不理想，且需要消耗大量算力进行研究。所以大厂、资本很难斥以重资，投入到这种看上去不太赚钱，还要烧钱的业务。中国的AI产业更注重应用场景，而非基础理论和技术创新。各家大厂在NLP的理解方面有很多成熟业务，比如听写、翻译，在视觉识别和AI大数据处理方面也有很多应用场景。所以这部分业务自然是AI研发的主力，一方面他们赚钱，另一方面在这些领域的技术积累，使研究人员能够“在规定跑道上赛跑”，而不是在未知领域探路。这一点不只是限制了国内公司，更是很多全球巨头的创新桎梏。正如诺基亚做不出iPhone一样，巨头都不喜欢“破坏式创新”，谷歌发布的Bard只因一个小失误就牵动了母公司Alphabet的万亿市值，这也正是谷歌一直声称不愿发布LaMDA大模型的理由，害怕会因AI的失误影响自己的商誉。而OpenAI显然不太在乎ChatGPT在公测中会出什么问题，毕竟他发布ChatGPT时只是一家估值200亿美元的独角兽。不过，在这波大模型的追赶赛中，国内大厂的团队也可以说是实力颇强。百度在大模型方面走的最早，百度自2019年开始研发预训练模型，先后发布了知识增强文心（ERNIE）系列模型。文心大模型研发的带头人，百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰博士，是自然语言处理领域权威国际学术组织ACL（Association for Computational Linguistics）的首位华人主席、ACL亚太分会创始主席、ACL Fellow，还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前，王海峰在国内外期刊会议上发表的学术论文有200余篇，获得已授权专利170余项。虽然没有像百度一样公布类ChatGPT产品的发布时间表，但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型，均已研发了很长时间。据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计（2023年的统计尚未发布）显示，2012-2021年中，在ML（Machine Learning，机器学习）和NLP顶级期刊和会议发表论文数量最多的机构是谷歌，微软紧随其后。发文数量最多的中国机构是清华大学，第二是位列第16的腾讯，腾讯也是前32名中唯一的中国互联网厂商。不过，在2021年单年的统计中，阿里和华为也登上此榜，腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计目前，腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过，腾讯旗下AI研发团队“腾讯AI Lab”的专家构成，也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成，带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任，腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学（Stanford University）发布的2022 年度“全球前2%顶尖科学家榜单”（World's Top 2% Scientists 2022）中，排名全球“终身科学影响力排行榜”第1002名，中国排名 Top 10。阿里在LLM领域的研究主要由阿里巴巴达摩院负责，阿里巴巴集团资深副总裁，阿里云智能CTO、达摩院副院长周靖人主导，他是IEEE Fellow，多次担任VLDB，SIGMOD，ICDE等国际顶级会议程序委员会主编、主席，在顶尖国际期刊和会议上发表论文超百篇，并拥有几十项技术专利。华为也未对“类ChatGPT产品”公开表态，但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导，他是计算机视觉、多媒体信息检索专家，IEEE Fellow，国际欧亚科学院院士，教育部长江讲座教授，国家自然科学基金海外杰青，中国科学院海外评审专家，在国内多所高校任讲席教授及客座教授。在自己组建团队投入研发的同时，百度、阿里、腾讯、华为等IT大厂，也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构数据闭环是大模型研发的关键，用户越多，积累时间越长，就意味着可以用于迭代升级的数据和反馈也就越多。在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月，但用户量和访问量增长速度飞快，这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了，就会面临卡脖子的风险。”很多AI专家对此都有担心，由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持，以及地方政策支持，人才聚拢能力非常强劲。北京智源人工智能研究院（以下简称“智源研究院”）是科技部和北京市政府共同支持，联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江，是美国国家工程院外籍院士，ACM Fellow和IEEE Fellow，同时也是微软亚洲研究院的创始人之一。 2021年，智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本，这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）的孙茂松教授，清华大学知识工程研究室（KEG）的唐杰教授，清华大学交互式人工智能课题组（CoAI）的黄民烈教授。目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中，大模型给搜索广告带来了2.7%的收入增长。在南方的科技重镇也有一家相似的研究机构，粤港澳大湾区数字经济研究院（以下简称IDEA研究院），IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处，IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士，他参与创建了微软亚洲研究院，担任院长兼首席科学家，并曾担任微软公司全球执行副总裁，主管微软全球研究院和人工智能产品线，并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院，他的团队推出的开源模型“太乙”，据称在中文文生图领域可以达到接近Stable Diffusion（一款开源文生图AI模型）的水平。目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”，已经开源了6个系列共10个模型，包含4种模型结构，模型参数最大为35亿。其中包括：以Encoder结构为主的双向语言系列模型的二郎神系列；面向医疗领域，拥有35亿参数的余元系列；与追一科技联合开发的新结构大模型周文王系列；以Decoder结构为主的单向语言模型闻仲系列；以Transformer结构为主的编解码语言模型，主要解决通用任务的大模型燃灯系列；以及主要面向各种纠错任务的比干系列。 2月20日晚，复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”，并在公开平台（https://moss.fastnlp.top/），邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示，“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会，但是从后边的公告来看，有可能是在工程优化，并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上，邱锡鹏教授公开表示，如果优化顺利，MOSS计划在2023年3月底开源。虽然，没能成功抢发“国产ChatGPT”，但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价，“邱锡鹏教授的团队比较偏重学术，这和早期的OpenAI在科研心态上是有共性的，非营利性的AI研究机构，没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学，虽然计算机技术已发展多年，但AI仍属于前沿科技，对LLM以及其他通用大模型的研究更是兴起不久，仍然需要依靠应用数据，持续迭代升级，不管MOSS是不是因为工程经验绊了跟头，要在AI、大模型这些领域实现突破，能推广到市场中，接地气的技术和产品才是王道。事实上，目前国内AI行业活跃的实验室大多已开始尝试商业化，在市场的磨砺中探索大模型未来的出路。深言科技深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室（THUNLP）。THUNLP由清华大学人工智能研究院常务副院长孙茂松，以及刘洋、刘知远，三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一，「九歌」已经为用户创作了超过3000万首诗词。孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身，也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的，目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”，以及根据意思查询句子的“WantQuotes据意查句”。智谱AI 智谱AI的前身是清华大学知识工程研究室（KEG），KEG专注研究网络环境下的知识工程，在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年，智谱AI就启动了科技信息分析引擎ArnetMiner（以下简称AMiner）的相关研究，先后获得了国际顶级会议SIGKDD的十年最佳论文（Test-of-Time Award）、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月，由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布，其在多个公开评测榜单上超过GPT-3 v1。此外，智谱AI还打造了认知大模型平台（BigModel.ai），形成AIGC产品矩阵，提供智能API服务。聆心智能 2月17日，聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型，基于大模型可控、可配置、可信的核心技术优势，聆心智能推出“AI乌托邦”，该系统允许用户快速定制 AI 角色。聆心智能由清华大学交互式人工智能课题组（CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年，就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。西湖心辰西湖心辰背靠西湖大学深度学习实验室，创始人是西湖大学助理教授、博士生导师蓝振忠，主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家，也是轻量化大模型ALBERT的第一作者。西湖大学在人工智能领域的研发实力很强，除了蓝振忠博士的深度学习实验室，西湖大学NLP实验室，在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中，于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势，技术和数据。”西湖心辰COO俞佳对虎嗅表示，国内大模型创业公司在技术方面普遍已有多年研究经验，构筑了一定的技术壁垒，这是很难短期超越的。同时，由于已经推出了相关产品，“数据飞轮”已经转起来了，这些数据的质量相比互联网数据质量要高很多，能够对产品迭代起到很大支撑作用。对于国内大模型创业公司未来的发展趋势，俞佳认为可能性很多，“有些公司可能会走出自己的道路，也有的公司可能会像OpenAI一样与IT大厂开展深度合作，甚至像DeepMind直接并入其中。” 来源：金色财经

金色财经2023-03-03

不论谁赢了ChatGPT大战英伟达都是最后的赢家

tGPT 和 DALL-E 2 这样的大型语言模型（Large Language Model）将生成式 AI 引入了公众的视线——几乎所有软件将被 AI 重塑，黄仁勋更是将其比作「AI 的 iPhone 时刻」。就此，时代的风口由元宇宙和 web3 突然切换到生成式 AI，FAAMG 等硅谷巨头们匆忙备战随时「开打」。而英伟达，稳稳地成为这场时代之战的「最大军火商」。作为当下「AI 超级周期的跳动心脏」，英伟达的 GPU（图形处理芯片）是训练和操作机器学习模型的最佳选择，因而被视为「2023 年云资本支出重心转向人工智能的最大受益者」。其实，这不是英伟达第一次乘上时代的风车——加速计算、深度学习、挖矿、元宇宙，英伟达屡次踩中时代的风口。在它成立的短短 30 年里，芯片江湖已然换了人间，当年与 90 家显卡商厮杀落败的初创公司，早已成为市值最高的芯片霸主。英伟达屡次「躺赢」，离不开其掌舵者黄仁勋的战略眼光——总是能精准预判下一个技术变革，提前下手。在近日的财报电话会上，黄仁勋透露了：这一次，他提前看到的未来及其相应的战略布局。面对大语言模型加持的生成式 AI，「核弹厂」的野心远非提供「军火」。 ChatGPT 大战背后的「战争之王」去年 11 月底以来，OpenAI 让人们见识到了「通用智能」的厉害，依托大语言模型的 ChatGPT 所展现的思维链条（Chain of Thought）和自发涌现的各种能力（Emergence）令人惊艳——尽管 ChatGPT 本身没有知识和智慧，但是它做到了「让你以为它有知识甚至智慧」的程度。不久前，在加州大学伯克利分校哈斯商学院的炉边谈话上，黄仁勋兴奋地评价 ChatGPT 将开启科技行业的新纪元，也是人工智能和计算行业有史以来最美妙的事情。他说：「上一次看到一项如此多才多艺、可以解决问题并经常以多种方式带给人们惊喜的科技是什么时候？它可以写一首诗，可以填写电子表格，可以编写 SQL 查询并执行，可以写 Python 代码……对于很多一直致力于此的人来说，我们一直在等待这一刻，这是人工智能的 iPhone 时刻。我现在可以将它用作 API 并连接到电子表格、PPT、各个应用程序，它有让一切变得更好的潜力」。这是「AI 将重塑所有软件」的际遇，而要让生成式 AI 能够像 ChatGPT 这样展现五花八门的通识才能，必须依托像 GPT3.5 这样的底层大语言模型。人们将其比作移动互联网时代里安卓或 iOS。因此，大语言模型也就成为大厂和创业公司的必争之地。无论是「造」出这样一个大模型，还是运行这样一个大模型，都需要极大的算力，需要成千上万个 GPU。据报道，OpenAI 用了 10000 个英伟达的 GPU 来训练 ChatGPT。花旗集团估计，ChatGPT 的使用可能会在 12 个月内为英伟达带来 30 亿至 110 亿美元的销售额。此前，《中国电子报》采访业内人士表示，「大模型技术涉及 AI 开发、推理、训练的方方面面，所谓模型的『大』主要是参数量大、计算量大，需要更大体量的数据和更高的算力支撑。对于 GPU 厂商来说，大模型是值得期待的算力红利，尤其是通用性极强的英伟达」。全球来看，大算力芯片领域主要有两个玩家，英伟达和 AMD，从市占率来说，英伟达远超 AMD。根据 John Peddie Research 的数据，英伟达占据了 GPU 市场约 86% 的份额。这也就不难理解，在炙手可热的生成式 AI 浪潮下，英伟达被视为最大的潜在赢家。从财报上看，这波生成式 AI 对于英伟达的需求主要反映在数据中心业务。事实上，2023 整个财年的四个季度，数据中心已经替代了英伟达起家的支柱业务——游戏，成为第一大业务。 2022 财年第 4 季度——2023 财年第 4 季度，英伟达各个板块的营收 | 截图来源：Nvidia 2023 财年，数据中心总收入增长了 41%，达到创纪录的 150.1 亿美元。仅就第四季度而言，数据中心收入为 36.2 亿美元，贡献了英伟达全公司收入的 60% 左右。数据中心增长的基本盘来自于新一代旗舰产品 H100 的出货量持续走高、云的渗透率持续增长、以及超大规模客户扩大了 AI 布局。就 H100 而言，其收入在第二季度就已经远远高于 A100，后者的营收份额连续下降。据悉，H100 在训练方面比 A100 快 9 倍，在基于 Transformer 的大型语言模型推理方面比 A100 快 30 倍。同时，英伟达正在为越来越多的、快速增长的云服务商（Cloud Service Providers，简称 CSP）提供服务，包括甲骨文和一些专注于 GPU 的云服务提供商（GPU specialized CSPs）。在过去的 4 个季度中，CSP 客户贡献了数据中心收入的 40% 左右。下一步：AI 即服务财报电话会上，老黄透露了英伟达的新动向——AI 企业级服务上云。尽管更多信息会在十几天后的 GTC 大会上才宣布，但英伟达正与领先的云服务商合作提供 AI 即服务（AI-as-a-service），让企业可以访问英伟达的 AI 平台。据官方消息，客户将能够把 NVIDIA AI 的每一层（包括 AI 超级计算机、加速库软件或预训练的生成式 AI 模型等）作为云服务来使用。老黄阐述道，「技术突破的积累使 AI 到了一个拐点。生成式 AI 的多功能性和能力引发了世界各地企业开发和部署 AI 战略的紧迫感。然而，AI 超级计算机基础设施、模型算法、数据处理和训练技术仍然是大多数人无法克服的障碍。」基于这样的行业痛点，英伟达商业模式的下一个层次是：帮助每个企业客户都能使用 AI。客户使用自己的浏览器，就可以通过 NVIDIA DGX Cloud 来使用 NVIDIA DGX AI 超级计算机，该服务已经在 Oracle Cloud Infrastructure 上可用，预计不久后也将在 Microsoft Azure、Google Cloud 和其他平台上线。在 AI 平台软件层，客户将能够访问 NVIDIA AI Enterprise，以训练和部署大型语言模型或其他 AI 工作负载。而在 AI 模型即服务层，英伟达将向希望为其业务建立专有生成式 AI 模型和服务的企业客户提供 NeMo 和 BioNeMo 可定制 AI 模型。就其市场前景，黄仁勋认为，ChatGPT 让人们意识到计算机编程的民主化，几乎任何人都可以用人类语言向机器解释要执行的特定任务。因此，全世界 AI 基础设施的数量将会增长，「你会看到这些 AI 工厂无处不在」。人工智能的生产将会像制造业一样，在未来，几乎每个公司都会以智能的形式生产软件产品。数据进来了，只做一件事，利用这些数据产生一个新的更新模型。他进一步解释了 AI 工厂，「当原材料进入时，建筑或基础设施就会启动，然后一些改进的东西就会出现，这是非常有价值的，这就是所谓的工厂。所以我希望在世界各地看到 AI 的工厂。其中一些将托管在云中。其中一些将是本地的。会有一些很大，有些会非常大，然后会有一些更小。所以我完全期待这会发生。」事实上，老黄关于 AI 工厂愿景正在发生，上个月，他在公开演讲中声称，自从 ChatGPT 出现以来，可能已经有大约 500 家新创业公司开发出令人愉快的、有用的 AI 应用程序。基于这一前景，英伟达对数据中心的未来充满信心。CFO Cress 表示，通过新的产品周期、生成式 AI 以及人工智能在各个行业的持续采用，数据中心部门将持续实现增长。她说：「除了与每个主要的超大规模云服务商合作外，我们还与许多消费互联网公司、企业和初创企业合作。这一机会意义重大，推动数据中心的强劲增长，并将在今年加速增长。」汽车向上，游戏向下除了数据中心，英伟达其他的业务板块——游戏、汽车、专业视觉等，本季度的表现则有好有坏。其中，车用业务表现亮眼。财年总收入增长 60%，达到创纪录的 9.03 亿美元。第四季度收入创下 2.94 亿美元的纪录，较去年同期增长 135%，较上一季度增长 17%。无论是环比还是同比，车用业务均持续增长。根据英伟达，这些增长反映了自动驾驶解决方案的销售增长，面向电动汽车制造商的计算解决方案以及 AI 座舱解决方案的销售强劲。电动汽车和传统 OEM 客户的新项目助推了这一增长。值得注意的是，在今年 1 月初举行的 CES 大会上，英伟达宣布与富士康建立战略合作伙伴关系，共同开发基于 NVIDIA DRIVE Orin 和 DRIVE Hyperion 的自动驾驶汽车平台。相比之下，游戏业务依然深处泥潭之中。过去几个季度，RTX 4080 销售疲软、视频游戏行业下滑、加密货币市场疲软、以及去库存压力等因素，让英伟达的游戏业务持续低迷，尤其第三季度，游戏业务营收同比暴跌 51%。但就像 CFO Cress 所言，「最低点可能已经过去，而且事情可以改善前进。」第四季度，英伟达游戏营收为 18.3 亿美元，同比下降 46%，环比增长 16%，整个财年收入下降 27%。该季度和财年的同比下降反映了销售减少，背后是全球宏观经济低迷和中国放开疫情管控对游戏需求的影响。但环比三季度，英伟达的游戏业务还是取得了一定增长。这是由于受到基于 Ada Lovelace 架构的新 GeForce RTX GPU 的推出推动。黄仁勋也肯定了这一看法，他说：「游戏业正在从新冠肺炎疫情后的低迷中复苏，而且玩家们热烈欢迎使用 AI 神经渲染的 Ada 架构 GPU。」近日，游戏行业一个复苏的好迹象是：动视暴雪（Activision Blizzard）在第四季度实现了营收正增长，超出了预期。但仍要警惕——动视暴雪在 PC 和主机上销售游戏，而只有 PC 销售与英伟达相关，主机制造商使用 AMD 显卡。此外，在财报发布的前一天，英伟达宣布与微软签订了一项为期 10 年的协议，将 Xbox PC 游戏阵容引入 GeForce NOW，包括《我的世界（Minecraft）》、《光环（Halo）》和《微软模拟飞行（Microsoft Flight Simulator）》。待微软完成收购动视之后，GeForce NOW 将新增《使命召唤（Call of Duty）》和《守望先锋（Overwatch）》等游戏。除了游戏业务之外，专业视觉和 OEM 这两个部门的业务也较上一年有大幅下降。从中可以看出：半导体市场正在经历罕见的下行周期。专业视觉业务第四季度收入为 2.26 亿美元，较去年同期下降 65%，较上一季度增长 13%。财年总收入下降 27% 至 15.4 亿美元。该季度和财年同比下降反映了向合作伙伴销售较少以帮助减少渠道库存。环比增长是由台式工作站 GPU 推动的。 OEM 和其他收入同比下降 56%，环比增长 15%。财年收入下降 61%。该季度和财年同比下降是由笔记本 OEM 和加密货币挖掘处理器（CMP）推动的。在财年 2023 中，CMP 收入微不足道，而在财年 2022 中为 5.5 亿美元。风口上的赢家，为什么又是英伟达英伟达 30 年的发展史可以分为两段。从 1993 年到 2006 年，英伟达的目标是在竞争激烈的图形卡市场中存活下来，并创造了 GPU 这一革命性的技术；从 2006 年到 2023 年的转型，则主要是如何利用 CUDA 这一平台，将 GPU 应用于机器学习、深度学习、云计算等领域。后者让英伟达走上人工智能之旅，今天市值已经超过老牌霸主英特尔和 AMD，也是在今天生成式 AI 热潮下，英伟达再次站上风口的前提。在 2019 年的一次主题演讲中，黄仁勋分享了英伟达一次次重溯行业的缘起——找到了真正重要的问题并坚持。他说：「这使我们能够一次又一次地发明、重塑我们的公司、重溯我们的行业。我们发明了 GPU。我们发明了编程着色。是我们让电子游戏变得如此美丽。我们发明了 CUDA，它将 GPU 变成了虚拟现实的模拟器。」回到英伟达的起点。当时 Windows 3.1 刚刚问世，个人电脑革命才刚刚要开始。英伟达想要能找到一种方法让 3D 图形消费化、民主化，让大量的人能够接触到这项技术，从而创造一个当时不存在的全新行业——电子游戏。他们认为，如果做成，就有可能成为世界上最重要的技术公司之一。原因在于：三维图形主要表现为对现实的模拟，对世界的模拟相当复杂，如果知道如何创建难辨真假的虚拟现实，在所做的一切中模拟物理定律，并将人工智能引入其中，这一定是世界上最大的计算挑战之一。它沿途衍生的技术，可以解决惊人的问题。最有代表性的案例，就是通过 CUDA 等方案为计算、人工智能等带来了革新性影响，也让它在这一波生成式 AI 浪潮中处于最佳生态位。尽管 GPU 作为计算设备的发现经常被认为有助于引领围绕深度学习的「寒武纪大爆炸」，但 GPU 并不是单独工作的。英伟达内外的专家都强调，如果英伟达在 2006 年没有将 CUDA 计算平台添加到组合中，深度学习革命就不会发生。 CUDA（Compute Unified Device Architecture）计算平台是英伟达于 2006 年推出的软件和中间件堆栈，其通用的并行计算架构能够使得 GPU 解决复杂的计算问题。通过 CUDA，研究人员可以编程和访问 GPU 实现的计算能力和极致并行性。而在英伟达发布 CUDA 之前，对 GPU 进行编程是一个漫长而艰巨的编码过程，需要编写大量的低级机器代码。使用免费的 CUDA，研究人员可以在在英伟达的硬件上更快、更便宜地开发他们的深度学习模型。 CUDA 的发明起源于可程式化 GPU 的想法。英伟达认为，为了创造一个美好的世界，第一件要做的事情就是先模拟它，而这些物理定律的模拟是个超级电脑负责的问题，是科学运算的问题，因此，关键在于：怎么把一个超级电脑才能解决的问题缩小、并放进一台正常电脑的大小，让你能先模拟它，然后再产生画面。这让英伟达走向了可程式化 GPU，这是个无比巨大的赌注。彼时，英伟达花了三四年时间研发 CUDA，最后却发现所有产品的成本都不得不上升近一倍，而在当时也并不能给客户带来价值，客户显然不愿意买单。若要让市场接受，英伟达只能提高成本，但不提高售价。黄仁勋认为，这是计算架构的事情，必须要让每一台电脑都能跑才能让开发者对这种架构有兴趣。因此，他继续坚持，并最终打造出了 CUDA。但在那段时间，英伟达的利润「摧毁性」地下降，股票掉到了 1.5 美元，并持续低迷了大约 5 年，直到橡树岭国家实验室选择了英伟达的 GPU 来建造公用超级电脑。接着，全世界的研究人员开始采用 CUDA 这项技术，一项接着一项的应用，一个接着一个的科学领域，从分子动力学、计算物理学、天体物理学、粒子物理学、高能物理学……这些不同的科学领域开始采用 CUDA。两年前，诺贝尔物理学奖和化学奖得主，也都是因为有 CUDA 的帮助才得以完成自己的研究。当然，CUDA 也为英伟达的游戏提供了动力，因为虚拟世界里和现实世界的流体力学是一样的，像是粒子物理学的爆炸、建筑物的崩塌效果，和英伟达在科学运算中观察到的是一样的，都是基于同样的物理法则。然而，CUDA 发布后的前六年里，英伟达并未「全力投入」AI，直到 AlexNet 神经网络的出现。在即将到来的 GTC 大会上，黄仁勋邀请了 OpenAI 联创兼首席科学家 Ilya Sutskever，而 Sutskever 见证了英伟达这段在人工智能领域崛起的故事。 Sutskever 与 Alex Krizhevsky 及其博士生导师 Geoffrey Hinton 一起创建了 AlexNet，这是计算机视觉领域开创性的神经网络，在 2012 年 10 月赢得了 ImageNet 竞赛。获奖论文表明该模型实现了前所未有的图像识别精度，直接导致了此后十年里人工智能的主要成功故事——从 Google Photos、Google Translate 和 Uber 到 Alexa 和 AlphaFold 的一切。根据 Hinton 的说法，如果没有英伟达，AlexNet 就不会出现。得益于数千个计算核心支持的并行处理能力，英伟达的 GPU 被证明是运行深度学习算法的完美选择。Hinton 甚至在一次演讲上告诉在场的近千名研究人员都应该购买 GPU，因为 GPU 将成为机器学习的未来。在 2016 年接受福布斯采访时，黄仁勋说自己一直都知道英伟达图形芯片的潜力不止于为最新的视频游戏提供动力，但他没想到会转向深度学习。事实上，英伟达的深度神经网络 GPU 的成功是「一个奇怪的幸运巧合」，一位名叫 Sara Hooker 的作者在 2020 年发表的文章「硬件彩票」探讨了各种硬件工具成功和失败的原因。她说，英伟达的成功就像「中了彩票」，这在很大程度上取决于「硬件方面的进展与建模方面的进展之间的正确对齐时刻」。这种变化几乎是瞬间发生的。「一夜之间，需要 13000 个 CPU 的工作两个 GPU 就解决了」她说。「这就是它的戏剧性。」然而，英伟达并不同意这种说法，并表示，从 2000 年代中期开始英伟达就意识到 GPU 加速神经网络的潜力，即使他们不知道人工智能将成为最重要的市场。在 AlexNet 诞生的几年后，英伟达的客户开始购买大量 GPU 用于深度学习，当时，Rob Fergus（现任 DeepMind 研究科学家）甚至告诉英伟达应用深度学习研究副总裁 Bryan Catanzaro，「有多少机器学习研究人员花时间为 GPU 编写内核，这太疯狂了——你真的应该研究一下」。黄仁勋逐渐意识到 AI 是这家公司的未来，英伟达随即将把一切赌注押在 AI 身上。于是，在 2014 年的 GTC 主题演讲中，人工智能成为焦点，黄仁勋表示，机器学习是「当今高性能计算领域最激动人心的应用之一」。「其中一个已经取得令人兴奋的突破、巨大的突破、神奇的突破的领域是一个叫做深度神经网络的领域。」黄仁勋在会上说道。此后，英伟达加快布局 AI 技术，再也不只是一家 GPU 计算公司，逐渐建立了一个强大的生态系统，包括芯片、相关硬件以及一整套针对其芯片和系统进行优化的软件和开发系统。这些最好的硬件和软件组合平台，可以最有效地生成 AI。可以说，GPU + CUDA 改变了 AI 的游戏规则。中信证券分析师许英博在一档播客节目中评价道：英伟达一直在做一件非常聪明的事情，就是软硬一体。在 GPU 硬件半导体的基础上，它衍生出来了基于通用计算要用的 CUDA。这促成了英伟达拿到了软件和硬件的双重规模效应。在硬件端，因为它是图形和计算的统一架构，它的通用性保证了它有规模性，而规模性摊薄了它的研发成本，所以硬件上本身通过规模性可以拿到一个比较优势的研发成本。在软件端，因为它有庞大的开发者的生态，而这些宝贵的软件开发人员，即便是这些软件开发人员换了一个公司，但他可能还是在继续用 CUDA 的软件。主要参考文献： 1）《ChatGPT 火了，英伟达笑了》——中国电子报 2）Nvidia: The GPU Company (1993-2006) 3）Nvidia: The Machine Learning Company (2006-2022) 4）NVIDIA CEO Jensen Huang - AI Keynote Session at MSOE 5）Jensen Huang Q&A: Why Moore』s Law is dead, but the metaverse will still happen 6）How Nvidia dominated AI—and plans to keep it that way as generative AI explodes 7）中信证券许英博：从英伟达看国产 GPU 的挑战与前景 - 小宇宙 - 创业内幕来源：金色财经

金色财经2023-03-02

人类生成 or 机器生成？ChatGPT 引发了一场真假辩论

金融时报》像 ChatGPT 这样的大型语言模型是合理性的提供者。许多聊天机器人基于所谓的生成式人工智能，经过训练可以通过在互联网上搜索相关信息并收集连贯的答案来回答用户的问题，从而生成令人信服的学生论文、权威的法律文件和可信的新闻报道。但是，由于公开可用的数据包含错误信息和虚假信息，一些机器生成的文本可能不准确或不真实。这引发了人们争相开发工具来识别文本是由人还是机器起草的。科学也在努力适应这个新时代，现场讨论是否应该允许聊天机器人撰写科学论文，甚至产生新的假说。区分人工智能和人类智能的重要性与日俱增。本月，瑞银分析师透露，ChatGPT 是历史上增长最快的网络应用程序，1 月份每月活跃用户达到 1 亿。一些部门已经决定没有必要锁住稳定的大门：周一，国际文凭组织表示，学生将被允许使用 ChatGPT 撰写论文，前提是他们注明引用了它。平心而论，这项技术的创造者坦率地指出了它的局限性。 OpenAI 首席执行官萨姆奥特曼 (Sam Altman) 去年 12 月警告说，ChatGPT“在某些方面足够出色，足以给人一种伟大的误导印象”。我们在稳健性和真实性方面还有很多工作要做。” 该公司正在为其内容输出开发加密水印，这是一种机器可读的秘密标点符号、拼写和词序序列；并且正在磨练一个“分类器”来区分合成文本和人工生成的文本，使用两者的例子来训练它。斯坦福大学的研究生 Eric Mitchell 认为分类器需要大量的训练数据。他与同事一起提出了 DetectGPT，这是一种发现差异的“零样本”方法，这意味着该方法不需要事先学习。相反，该方法会自行启动聊天机器人，以嗅探出自己的输出。它是这样工作的：DetectGPT 询问聊天机器人它对示例文本的“喜欢”程度，“喜欢”是示例与其自己的创作有多相似的简写。 DetectGPT 然后更进一步——它“扰乱”了文本，稍微改变了措辞。假设是聊天机器人在“喜欢”更改后的人工生成文本方面比更改后的机器文本更具可变性。研究人员声称，在早期测试中，该方法在 95% 的时间内正确地区分了人类和机器作者。需要注意的是：这些结果尚未经过同行评审；该方法虽然优于随机猜测，但在所有生成式 AI 模型中的工作可靠性并不相同。对合成文本进行人为调整可能会愚弄 DetectGPT。这一切对科学意味着什么？科学出版是研究的命脉，将想法、假设、论据和证据注入全球科学经典。一些人很快就将 ChatGPT 作为研究助理，一些有争议的论文将 AI 列为合著者。 Meta 甚至推出了一款名为 Galactica 的科学专用文本生成器。三天后它被撤回了。在它被使用的这段时间，构建了一段熊在太空旅行的虚构历史。 Tübingen 的马克斯普朗克智能系统研究所的迈克尔·布莱克教授当时在推特上表示，他对 Galactica 对有关他自己研究领域的多项询问的回答感到“困扰”，包括将虚假论文归咎于真正的研究人员。 “在所有情况下，[Galactica] 都是错误的或有偏见的，但听起来是正确和权威的。我认为这很危险。” 危险来自于看似合理的文本滑入真正的科学提交，用虚假引用充斥文献并永远歪曲经典。《科学》杂志现在完全禁止生成文本；《自然》杂志则允许使用它，前提是必须对使用进行了声明，但禁止将其列为共同作者。话又说回来，大多数人不会查阅高端期刊来指导他们的科学思维。如果狡猾的人如此倾向，这些聊天机器人可以按需喷出大量引用伪科学，解释为什么疫苗不起作用，或者为什么全球变暖是个骗局。在线发布的误导性材料可能会被未来的生成人工智能吞噬，产生新的谎言迭代，进一步污染公共话语。贩卖怀疑的商人肯定已经摩拳擦掌，迫不及待了。来源：金色财经

金色财经2023-03-01

一文了解 ChatGPT 等 LLMs 得到明显改进的 3 个变化

源：Marktechpost 近年来，大型语言模型（Large Language Models，LLMs）在全世界受到了广泛赞赏，并在自然语言处理领域备受欢迎。这使我们能够使用比以往任何时候都更好、更清晰的语言理解来描述智能系统（Intelligent Systems）。诸如 GPT-3、T5、PaLM 等 LLMs 的性能有了显着提高，并且这些模型将继续存在，因为它们可以完成从通过学习阅读来模仿人类，到生成文本和总结长段落内容的所有工作。而根据一些深入的研究，如果 LLM 的规模很大，那么它的表现就会很好。通过在大量数据上训练这些模型，它们可以理解人类语言的语法、语义和语用学。由 OpenAI 开发的流行的大型语言模型 ChatGPT 之所以发展得如此之快，正是因为采用了人类反馈强化学习（RLHF）等先进技术。通过 RLHF，机器学习算法结合并使用人工输入提高了模型的性能。它针对预训练的 LLM 进行了微调，用于开发聊天机器人、虚拟助手等任务。此外，ChatGPT 等 LLMs 所基于的预训练基础模型也得到了明显的改进。这主要是由于三个方面的变化： 1.实践证明，模型的扩展性（Scaling）对提高其性能很有帮助。以 Pathways 语言模型（Pathways Language Model，PaLM）为例，该模型通过扩展小样本学习（few-shot learning）大大影响了其性能，小样本学习可以减少根据具体应用调整模型所需的特定任务训练实例的数量。通过使用 Pathways 语言模型在 6144 TPU v4 芯片上扩展和训练 5400 亿个参数，PaLM 展示了重复扩展的好处，其表现超过了各种传统模型，并显示出很大的进步。因此，深度和宽度的扩展都是提高基础模型性能的一个重要因素。 2.另一个变化是在预训练时增加标记数量的过程。像 Chinchilla 这样的模型（开源语言模型）已经证明，通过增加预训练数据，大型语言模型的表现会更好。 Chinchilla 是一个计算最优模型。在相同的计算预算下，在 70B 参数和比 Gopher 模型多四倍的数据上进行训练，Chinchilla 的表现一致优于 Gopher，它甚至比 GPT-3、Jurassic-1 和 Megatron-Turing NLG 等 LLMs 效果更好。这清楚地描述了对于每一个计算最优的训练，标记的数量应该相应地缩放——即模型大小的两倍，因此训练标记的数量应该是两倍。 3.第三个变化是使用干净和多样化的预训练数据。Galactica 的性能证明了这一点，它是一种存储、混合和推理科学知识的大型语言模型。经过几篇科学论文文本的训练，Galactica 的表现优于 GPT-3、Chinchilla 等模型。另一个大型语言模型 BioMedLM 是一种针对生物医学文本的特定领域 LLM，在针对特定领域数据进行训练时，它表现出了巨大的性能提升。它清楚地表明，在特定领域的数据上进行的预训练胜过在通用数据上的训练。结论 LLMs 的成功无疑归功于多种因素的混合，包括 RLHF 的使用和预训练基础模型的发展。这三个变化极大地影响了 LLMs 的性能。此外，GLaM（通用语言模型）通过使用稀疏激活的混合专家架构（Mixture-of-Experts architecture），以更少的训练成本扩展模型的容量，从而显着提高了性能。因此，这些变化为更高级的语言模型开辟了道路，而这些模型将继续让我们的生活变得轻松。来源：金色财经

金色财经2023-03-01

AI可以为加密市场带来什么？有哪些机会值得关注？

我们钱包的安全。而与ChatGPT等大型语言模型整合将大大加快这一进程，届时，人人都可以轻松访问加密网络，加密行业也有潜力创造一个新的普惠的金融生态系统。来源：金色财经

金色财经2023-03-01

苹果、微软、英伟达等15家公司有望从人工智能中受益

设备制造商可能是受益者，因为训练和运行大型语言模型需要“强大的”计算模型。　　分析人士还解释说，云软件分析将受益于数据量的增加，而网络安全将受益于更复杂的数字威胁。可能被颠覆的领域包括媒体，特别是视频、音乐和图像，因为生成式人工智能能够在这些行业中创建内容，这可能会导致工作自动化程度的提高。　　上市公司: 　　微软（Microsoft）通过其OpenAI集成　　Alphabet（GOOG）通过DeepMindSparrowLLM和最近的Bard聊天机器人　　Meta平台（Meta）通过其最近发布的LLaMA大型语言模型和GPU支持的人工智能研究超级集群　　苹果（Apple）因为它受益于iOS搜索引擎的授权　　百度（百度）的Ernie聊天机器人　　英伟达（Nvidia）通过其gpu被用于人工智能军备竞赛　　ASML（ASML）作为极紫外光刻工具的“领导者” 　　台积电（TSM）因为它是代工芯片制造的领导者　　AristaNetworks（ANET）通过用于密集人工智能工作负载的高通量数据中心交换机　　Adobe（ADBE）的SenseiAI平台　　Shutterstock（SSTK）该公司与OpenAI建立了生成人工智能合作伙伴关系　　NICE系统（NICE）通过人工智能数据监控　　SAP（SAP）通过其企业和商业软件　　Relx（Relx）通过AI支持的信息分析/决策工具　　Palantir（PLTR）通过其被商业企业和政府使用的人工智能平台。　　韦德布什证券（WedbushSecurities）上周表示，自去年12月云计算市场疲软以来，微软的云计算交易“稳步”增加。

金融界2023-03-01

马斯克被曝正在“招兵买马” 准备进军AI赛道

器人并不是马斯克的目标，他的目标是提高大型语言模型的推理能力和真实性，确保模型的反应更值得信赖和可靠。事实上，早在2017年，马斯克就提出了一个立场鲜明的观点：不受监管的人工智能可能是我们作为文明面临的最大风险。前段时间，微软推出了新版搜索引擎New Bing，只不过随着大量试用者记录曝光，这款聊天机器人的问题也随之暴露出来：威胁、PUA用户，辱骂用户，坚持错误的言论……不由得让人们对此心生恐惧。业内人士在推特上表示，微软需要关闭New Bing中的类ChatGPT功能，因为系统有时表现得像精神病一样，会给用户错误答案。马斯克对此评论称：“同意，它显然还不安全。” 随着AI技术更多被应用到现实生活中，人们一边对AI改善自己生活有了更多的期待，另一边又对AI的使用甚至滥用所造成的道德困境提高了警惕。总结虽然马斯克对AI的愿景让人捉摸不定，但如何平衡AI的“智能”与“可控”确实是一个问题。人类在创造新事物时，总是需要具有创新观念的人来引领，因此也期待马斯克会带来更多惊喜。来源：金色财经

金色财经2023-02-28

24小时热点