西南偏西是哪个城市,西南偏南是哪个城市,西南的成汉是什么,西南成语有哪些

每经记者 文巧每经编辑 谭玉涵

当地时间3月10日至19日，西南偏南多元创新大会和艺术节（SXSW）在美国得克萨斯州奥斯汀举行。如果说去年SXSW的主题是关于Web3、NFT和元宇宙，那么今年的SXSW显然展现出完全不同的景象，【【微信】】几乎成为贯穿每场活动的话题。

3月10日，OpenAI联合创始人兼总裁Greg Brockman在当天举行的活动现场接受了外媒的专访，在长达一小时的谈话中，Brockman谈到了许多与【【微信】】和人工智能（AI）的话题。当天，现场座无虚席，观众时不时因为Greg的发言而发出阵阵呼声。

与许多人一样，在Brockman的畅想中，未来的通用AI将给人类带来颠覆性的影响。他认为，未来AI更像是一个全天候的助手，它能够“放大”人们的能力，并帮助人类获得新的想法。

“想想今天，每个人都在看同一个电视节目，也许人们都在看《权力的游戏》的最后一季，”他说，“但想象一下，如果你可以让你的AI以不同的方式进行，甚至可能将自己作为主角置身其中，并进行互动体验。”

在此之前，许多人――包括Brockman本人在内――都认为AI将从一些体力劳动开始替代人类的工作，但如今的事实恰好相反。Brockman在谈话中表示，未来人类基于认知的工作将首先被机器取代，例如内容审核。因此，在AI浪潮中，人类需要更高级别的技能、判断和认知。

【【微信】】火爆背后：更强的语言处理+开源

【【微信】】无疑是近期发展最迅猛的应用之一，它的崛起也使生成式人工智能赛道升温。上个月，【【微信】】在推出仅两个月后，月活用户估计已达1亿，成为历史上增长最快的消费应用。

Brockman在谈到这一点时，也承认【【微信】】的火爆让他自己感到惊讶。他表示，这是OpenAI首次公布一个面向大众消费者的应用，整个团队对此感到非常紧张，但好在结果是积极的。

对于【【微信】】现象级的火爆，他认为，尽管【【微信】】背后的大型语言模型GPT-3.5早于一年前就已经诞生，并非一个新的技术，但他和他的团队做了很多额外的工作让其拥有了更强的语言处理能力。

其次，Brockman认为，OpenAI做出的“开源”决定也是让【【微信】】如此受欢迎的原因之一。继去年11月底公布【【微信】】后，本月初【【微信】】的API也向公众开放了。“人们能够接触到最前沿的技术，他们能够亲身体验到什么是‘可能’，什么是‘不可能’，”Brockman这样说道。

OpenAI公司：目标是通用AI

在【【微信】】掀起新一轮AI浪潮的同时，OpenAI这家公司也走到了聚光灯下。2015年7月，Brockman与该公司的另一位创始人兼首席执行官Sam Altman在一次晚宴上齐聚一堂，讨论AI的未来。在场还有许多大名鼎鼎的人物，例如Elon Musk、Reid Hoffman、Jessica Li【【微信】】、Peter Thiel、和 Oli【【微信】】。

他们认为通用AI的未来并非不能实现，并向彼此问道这个时候一起开办实验室是否为时已晚呢？答案不言而喻，于是，OpenAI就这样成立了。最初，OpenAI是一家非营利性研究实验室，计划开源代码，他们的目标是让所有东西都开源。但为了更好地确保资金和规模，在2019年转为营利性公司。

不过，并非所有创始人都坚持留在了这里。Elon Musk于2018年从OpenAI董事会辞职，但仍是捐助者。不过，近几个月来一直直言不讳地批评该公司，称其存在偏见。

在访谈中，Brockman接受了这个批评，也承认【【微信】】并不完美。“这是我们的失败，我们没有足够快地解决【【微信】】 中的偏见，虽然我们也不希望它们存在。我们的目标确实是拥有一个平等的系统，对所有人一视同仁。在过去的一个月里，我们实际上在这方面有了很多改进。”他说道。

Brockma：AI不完美是必须经历的过程

尽管【【微信】】收获了许多掌声，但正如大众所知道的那样，它远非完美，有时会“自信地说出完全错误的话”。上个月，微软发布了嵌入【【微信】】模型的新版必应浏览器后，必应立刻“花式翻车”了。有关AI伦理的问题也再次被广泛讨论。

“很多时候（产品）与大众的期望是有鸿沟的。这是一个过程，你必须经历这些痛苦。但我们的目标是建立一种信任。” 。” Brockma表示，“即便我们知道它并不完美，但你不应该因为过于保守而将这些东西雪藏起来。”

AI的伦理问题也是Brockman经常思考的问题，他认为人工智能是全人类需要帮助的东西，人们也不应该100%地相信人工智能。他表示，错误信息一直是OpenAI很关注的一件事，这也是为什么需要收集用户反馈的数据对模型进行不断地调整。

AI的滥用一直是围绕在这项技术身上的担忧。Brockman透露，最常见的一种滥用AI的方式是用户通常用来传播有关毒品等有害事物的信息。不过，通过观察【【微信】】的用户信息反馈，他们发现，许多用户会创建多个账号来尽可能多地尝试使用【【微信】】，但是却过于依赖【【微信】】给出的信息，即便其给出的信息是错误的。

Brockman说，随着AI工具的发展，新闻业和拥有权威的信息来源将变得越来越重要。基于此，他也认为，对于AI的监管也越来越重要，而在这一点上，需要所有人的参与。

通用AI的未来：全天候助手

可以说，【【微信】】带来了AI的黄金时刻。对于这一点，Brockman认为，得益于过去数年的努力，才迎来了今天的爆发。AI积累了一定的价值才能呈现如今的指数级增长，它并非昙花一现。

他表示，【【微信】】 自去年12月以来已经更新了大约四五次。许多人对【【微信】】的使用让他感到惊喜，他已经看到了AI工具改变人类学习方式的潜力。“在我们公司，有员工的英文不好，【【微信】】正好可以帮助他的英文写作。”他这样说道。

谈及通用AI的未来时，Brockman认为，通用AI将给人类带来颠覆性的影响。最重要的一点是，AI能够“放大”人们的能力，它会更像一个助手，尤其是在知识性的工作上。例如，在医疗、编码、写作、娱乐等领域的工作上，AI将开辟另一个个性化定制的世界。

“对我来说，生成式AI真正能发挥作用的地方在于解除你的阻碍，获得新的想法，并成为一个愿意24小时为你服务的助手，”Brockman说。

尽管Brockman认为，AI不会完全替代人们的工作，但他承认，部分工作的确会被机器所取代。

“许多人――包括我自己――曾经都认为AI将从一些体力劳动开始替代人类的工作。但是，从现在来看，事实是相反的。AI会首先替代基于认知的工作，例如内容审核、写诗之类的。”他说道。因此，Brockman表示，在AI浪潮中，人们需要更高级别的技能、判断和认知。

每经特约记者岳琦对本文亦有贡献

ChatGPT思考：探索智能的极限01. 三种不同的答案02. 极限思维03. 人工智能显著超过人类的点04. Alignment 对齐05. 结语

chatgpt,chatgpt怎么下载,chatgpt国内能用吗,chatgpt怎么用

注册下载，立即领取价值高达60,000元数字货币盲盒

The Game of Scale 在中国已然拉开。

2022 年 12 月，ChatGPT 横空出世。OpenAI 用一个核弹级的成果改变了科学研究和工程应用的范式。在中国，ChatGPT 受到了广泛的关注与深刻的讨论。在过去的一个月里，我走访各大高校，研究院，大厂，创业公司，风投；从北京到上海到杭州到深圳，跟所有头部的玩家们全部聊了一遍。The Game of Scale 在中国已然拉开，风暴中心的玩家们，在已知国内技术和生态与世界前沿的巨大鸿沟下，如何做成这件事？谁能做成这件事？

秦失其鹿，天下共逐之。―――《史记・淮阴侯列传》

以下为本文目录，建议结合要点进行针对性阅读。

01 三种不同的答案

02 极限思维

03 人工智能显著超过人类的点

04 Alignment 对齐

05 结语

01. 三种不同的答案

我每接触到一个创业公司，都会问同一个问题：”ChatGPT 在那里，你们想做什么？“ 我大概能收到三种不同的答案。第一个答案很明确，要做中国的 ChatGPT。

做中国的 ChatGPT

因为它就在那里，所以想要复现，想要国产化。这是很经典的产品导向中文互联网思维。这种思路也是过去二十年，中文互联网常见的商业模式：首先硅谷做出来一个东西，然后我们把它抄过来。

但这里的问题是，首先，ChatGPT 可不像打车软件，复现难度完全不可同日而语。光从人的角度看，GPT 的产生，是这个世界上最顶尖的科学家和工程师们从 2015 年开始就不断研究的结果。OpenAI 的首席科学家， Ilya Sutskever，深刻地相信 AGI 一定能实现。作为图灵奖得主 Geoffery Hinton 的大弟子，从 2007 年就开始研究深度学习。他的 citation 有 37 万，发过的文章精准踩中了过去十年 Deep Learning 的所有关键节点。即使是如此强大的团队，从 GPT 2 到 GPT 3.5 也花了四年的时间，它的科学与工程的难度可想而知。

同时，初代 ChatGPT，是 OpenAI 在 GPT 3.5 的基础模型上，花了两星期时间对着 dialog 做 finetuning 之后随手扔出来的 demo。这里真正强的并不是 ChatGPT 这一个产品，而是底下的 GPT 3.5 基础模型。这个模型还在不断地演化，GPT 3.5 系列在 2022 年更新了三个大版本，每个大版本都显著强于前一个版本；同样地，ChatGPT 发布两个月一共更新了四个小版本，每个小版本都在单个的维度上比前一个版本有着明显的改进。OpenAI 的所有模型都在持续不断的演化，随时间推移越来越强。

这也就意味着，如果只盯着当前 ChatGPT 这一个产品看，无异于刻舟求剑。当 ChatGPT 出现的时候，它对已有的语音助手们形成了降维打击；如果看不到基础模型的演化，即使花个一两年辛辛苦苦做出一个类似的东西，那时候 OpenAI 的基础模型也在继续变强，如果他们接着产品化，以新的更强的基础模型 finetune 到一个更强的产品，难道要再被降维打击一次吗？

刻舟求剑的做法是行不通的。

做中国的 OpenAI

第二种答案是，要做中国的 OpenAI。给出这个答案的玩家，跳出了经典中文互联网产品思维。他们不止看到单个产品，而且还看到了这个产品背后，基础模型不断演化的强大驱动力，来源于尖端人才的密度和先进的组织架构。

尖端人才的密度：不是一个人集资源带队然后把任务按层级打包分配给底下的人，而是一群顶级的集 【【微信】】 和 engineering 于一身的人们共同协作；

先进的组织架构：Language 团队与 Alignment 的团队相互合作迭代，然后底下 scaling 团队和 data 团队帮忙提供基础设施，每个 team 都非常小，但目标明确路径清晰，高度集中资源，朝着 AGI 进发。

所以，如果要做这件事情，不只要看到产品，还要看到它背后的人才团队和组织架构；按稀缺程度排名的话，人 > 卡 > 钱。

但这里的问题是，不同的土壤对创新的鼓励程度是不一样的。在 OpenAI 刚创立的 2015 年，它的投资者们都相信 AGI ，即使当时看不到什么盈利的点。现在 GPT 做出来了，国内的投资者们也都信了 AGI，但相信的点或许也不一样：到底是信 AGI 能挣钱，还是信 AGI 能推动人类发展？

更进一步地，即使 OpenAI 就产生在这里，明天就出现，但他们跟微软达成的 deal，能否跟国内的云计算厂商达成呢？大模型的训练和推理都需要极大的成本，需要一个云计算引擎作为支撑。微软可以倾尽所有，让整个 Azure 给 OpenAI 打下手，这个换到国内，阿里云有可能给一个创业公司打下手吗？

组织架构很重要，只有尖端的人才和先进的组织架构才能推动智能的不断迭代与进化；但它同样需要跟所在的土壤做适配，寻找可以 flourish 的方法。

探索智能的极限

第三种答案是，要探索智能的极限。这是我听到的最好的答案。它远超刻舟求剑式的经典互联网产品思维，也看到了组织架构和尖端人才密度的重要性，并且更重要地是它看到了未来，看到了模型演化与产品迭代，思考着如何把最深刻，最困难的问题用最创新的方法来解决。

这就涉及到了思考大模型的极限思维。

02. 极限思维

观察现在的 ChatGPT / GPT-3.5 ，它明显是一个中间状态，它还有很多显著可以加强，并且马上就能加强的点，包括：

更长的输入框：开始的时候，GPT 3.5 的上下文最长到八千个 t抹茶en；现在的 ChatGPT 上下文建模的长度似乎已经过万。并且这个长度明显可以接着增长，在融入 efficient attention 和 recursi【【微信】】 的方法之后，context length 应该可以接着 scale 到十万，甚至百万的长度；

更大的模型，更大的数据：模型的大小还没有到极限，MoE 可以接着把模型 scale 到 T 的量级；数据的大小还没有到极限，人类反馈的数据每天都在增长；

多模态：在增加了多模态数据（音频，图片），特别是视频数据之后，总体与训练数据的大小可以再增大两个量级，这个可以让已知的能力接着按 scaling law 线性增加，同时还有可能继续出现新的涌现能力。比如可能模型在看过各种几何形状的图片，以及看过代数题之后，或许会自动学会做解析几何；

专业化：现有的模型在文科上大概相当于研究生水平，但在理科上相当于高中或大一大二的学生水平；已有的工作已经证明我们可以把模型的技能点从一个方向挪到另一个方向，这就意味着即使不做任何 scaling，我们依然可以在通过牺牲其他方面能力的情况下，把模型朝着目标方向推进。比如牺牲掉模型的理科能力，把它的文科能力从研究生推到专家教授的水准。

以上四点只是现阶段可以看到的，马上就可以加强但暂时还没有加强的点，随着时间的推移和模型的演化，会有更多可以被 scale 的维度进一步体现出来。这意味着我们需要有极限的思维，思考当我们把能够拉满的维度全部拉满的时候，模型会是什么样子。

能够拉满全部拉满

模型的输入框可以接着加长，模型的大小可以继续增大，模型的数据可以继续增多，多模态的数据可以融合，模型的专业化程度可以继续增高，所有这些维度可以继续往上拉，模型还没有到极限。极限是一个过程，在这个过程中模型的能力会怎样发展呢？

? Log-linear 曲线：一部分能力的增长会遵循 log-linear 的曲线，比如说某项任务的 finetuning。随着 finetune 数据的指数增长，模型所对应的 finetune 的任务的能力会线性增长。这部分能力会可预测地变得更强；

? 【【微信】】 曲线：一部分能力会随着 scaling 继续涌现，比如说上文中的模型做解析几何的例子。随着可以被拉满的维度被不断拉满，新的，难以预测的涌现能力会接着出现；

? 多项式曲线?当模型强到一定程度，与人类 align 到一定程度之后，或许一些能力的线性增长，所需要的数据，会突破指数增长的封锁，而降低到多项式的量级。也就是说，当模型强到一定程度之后，它或许不需要指数级的数据，而是只需要多项式级的数据，就可以完成泛化。这可以从人类的专业学习中观察到：当一个人还不是领域专家的时候，ta 需要指数级的数据来学习领域的知识；当一个人已经是领域专家的时候了，ta 只需要很少量级的数据就自己迸发出新的灵感和知识。

所以，在极限思维下，把所有能拉满的维度全部拉满，模型注定会越来越强，出现越来越多的涌现能力。

反推中间过程

在思考清楚极限的过程之后，就可以从极限状态往后反推中间过程。比如说，如果我们希望增长输入框的大小：

?如果希望把模型的输入框从千的量级增长到万的量级，可能只需要增加显卡数量，进行显存优化就能实现；

?如果希望接着把输入框从万的量级增长到十万的量级，可能需要linear attention的方法，因为此时加显存应该也架不住 attention 运算量随输入框长度的二次增长；

?如果希望接着把输入框从十万的量级增长到百万的量级，可能需要recursi【【微信】】的方法和增加【【微信】】的方法，因为此时 linear attention 可能也架不住显存的增长。

以这种方式，我们可以反推不同阶段的 scaling 需要怎样的技术。以上分析不止适用于输入框的长度，也适用于其他因素的 scaling 的过程。

这样的话，我们可以得到清晰的从现阶段的技术到 scaling 的极限的每个中间阶段的技术路线图。

按模型演化进程产品化

模型在不断演化，但产品化不需要等到最终那个模型完成 ― 每当模型迭代出来一个大的版本，都可以产品化。以 OpenAI 的产品化过程为例：

?2020 年，初代 GPT 3 训练完成，开放 OpenAI API；

?2021 年，初代 Codex 训练完成，开放 Github Copilot；

?2022 年，GPT-3.5 训练完成，以 dialog 数据 finetune 成 ChatGPT 然后发布。

可以看到，在中间阶段的每一个重要版本，模型的能力都会增强，都存在产品化的机会。

更加重要的是，按照模型演化进程产品化，可以在产品化的阶段适配市场。学习 OpenAI 的组织架构来推进模型演化本身，但产品化可以按照本土市场的特征来。这种方式或许可以既学到 OpenAI 的先进经验，又避免水土不服的问题。

03. 人工智能显著超过人类的点

到目前为止，我们讨论了要用模型演化的视角来分析模型，要用极限的思维讨论模型的演化历程。现阶段马上可以加强的点包括了输入框的长度，更大的模型和数据，多模态数据，和模型的专业化程度。现在让我们再把视野放得更长期些，思考在更大的时间和空间中，模型如何进一步地往极限推。我们讨论：

并行感知：一个人类研究员一次顺序地读四五篇论文已经是极限，但模型输入框变长之后，可以在极短的时间内并行阅读一百篇论文。这意味着，模型对外部信息的感知能力远超人类一个数量级；

记忆遗传：人类的演化过程中，子代只继承父代的基因，但不继承父代的记忆，这意味着每一次生殖都需要重启一次；在模型的演化过程中，子代可以继承父代的记忆，并且这个继承的程度可控：我们可以设置子代继承 100%，50%，20% 的记忆，或清空记忆，这意味着父代的经验和技能可以不断累积；

加速时间：人类相互交流的速率是受到人类说话的物理速度限制的，而模型相互交流的速率可以远快于人类，这意味着模型可以通过相互交流来解决人类数据随时间线性增长的问题；人类演化的过程受到物理时间的限制，模型的演化可以比人类的物理时间快上几个数量级，这意味着模型的进步速度可以远快于人类；

无限生命：一个人的生命有限，百年之后终归尘土，但模型的权重只要不丢失，就可以不断地演化。

从这些角度来说，人工智能超过人类并不是一件难以想象的事情。这就引发了下一个问题：

如何驾驭远超人类的强人工智能？

这个问题，是 Alignment 这项技术真正想要解决的问题。

04. Alignment 对齐

当前阶段，模型的能力，除了?AlphaGo 在围棋上超过了最强人类之外，其他方面的 AI 并没有超过最强的人类（但 ChatGPT 在文科上或许已经超过了 95% 的人类，且它还在继续增长）。在模型还没超过人类的时候，Alignment 的任务是让模型符合人类的价值观和期望；但当模型继续演化到超过人类之后，Alignment 的任务就变成了寻找驾驭远超人类的智能体的方法。

Alignment 作为驾驭远超人类的智能体的方法

一个显然的问题是，当 AI 超过人类之后，还可以通过人类反馈让 ta 更强 / 更受约束吗？是不是这个时候就已经管不了了？

不一定，即使模型远超人类，我们依然又可能驾驭 ta，这里的一个例子是运动员和教练之间的关系：金牌运动员在 ta 的方向上已经是最强的人类了，但这并不意味着教练就不能训练 ta。相反，即使教练不如运动员，ta 依然可以通过各种反馈机制让运动员变得更强且更有纪律。

类似地，人类和强人工智能的关系，在 AI 发展的中后期，可能会变成运动员和教练之间的关系。这个时候，人类需要的能力并不是完成一个目标，而是设定一个好的目标，然后衡量机器是否足够好地完成了这个目标，并给出改进意见。

这个方向的研究还非常初步，这个新学科的名字，叫 Scalable O【【微信】】。

Alignment 与组织架构

在通往强人工智能的路上，不只是需要人类与 AI 对齐，人类与人类，也需要高度的对齐。从组织架构的角度，alignment 涉及到：

? Pretraining 团队与 instruction tuning - alignment 团队之间的对齐：

这两者应该是一个相互迭代的过程，pretraining 团队不断地 scale 基础模型，alignment 团队为基础模型做 instruction tuning，同时用得到的结果反向指导 pretraning 团队的方向。

? Pretraining / Alignment 团队与 Scaling / Data 团队的对齐：

scaling 负责为 pretraining / alignment 做好基础设施，data 做好高质量数据与人类反馈数据。

创业公司与 VC 的对齐：

AGI 是一个困难的事情，需要长期的投入，这需要各个方面的人都有足够的耐心和足够高的视野。烧一趟热钱后催产品化然后占满市场的逻辑在大模型时代应该已经不复存在了。大模型的游戏要求 ta 的玩家们有足够高的视野与格局，模型的演化会让有足够耐心的，踏实做事人们在长期得到丰厚的回报，也会让只看短期刻舟求剑的人们一次又一次被降维打击。

05. 结语

在 2017 年，我刚刚入行 NLP 的时候，花了很大的力气做可控生成这件事情。那个时候所谓的 text style transfer 最多就是把句子情感分类改一改，把 good 改成 bad 就算是完成了 transfer。

2018 年我花了大量的时间研究如何让模型从句子结构的角度修改句子的风格，一度误认为风格转换是几乎不可能完成的事情。而今 ChatGPT 做风格转换简直信手拈来。那些曾经看似不可能完成的任务，曾经极其困难的事情，今天大语言模型非常轻松地就能完成。

在 2022 年一整年，我追踪了从 GPT-3 到 GPT-3.5 的全部版本迭代，亲眼看到它一步步地从弱到强不断演化。这个演化速度并没有变慢，反而正在加快。那些原先看来科幻的事情，现在已经成为现实。谁会知道未来会怎样呢？

彼黍离离，彼稷之苗。

行迈靡靡，中心摇摇。

彼黍离离，彼稷之穗。

行迈靡靡，中心如醉。

――― 《诗经 ・ 黍离》

Reference

1. Ilya Sutskever

https://scholar.google.com/citationsuser=x04W_mMAAAAJ&hl=en

2.?GPT 3.5 系列在 2022 年更新了三个大版本

【【网址】】/docs/model-index-for-researchers

3.?ChatGPT 发布两个月一共更新了四个小版本【【网址】】/en/articles/6825453-【【微信】】s

4.?微软 Azure 辅助 OpenAI

https【【网址】】/blog/2023/01/23/microsoftandopenaiextendpartnership/

5.?efficient attention

【【网址】】/abs/2302.04542

6.?recursi【【微信】】

【【网址】】/research/summarizing-bo抹茶s

7.?MoE 可以接着把模型 scale 到 T 的量级

【【网址】】/abs/2101.03961

8.?log-linear 的曲线

【【网址】】/abs/2001.08361

【【网址】】/abs/2203.15556

9.?【【微信】】 曲线

【【网址】】/abs/2206.07682

10.?linear attention

【【网址】】/abs/2103.02143

【【网址】】/abs/2302.04542

11.?recursi【【微信】】

【【网址】】/research/summarizing-bo抹茶s

12.?【【微信】】

【【网址】】/abs/2112.04426

13.?OpenAI API

【【网址】】/docs/introduction/overview

14.?Github Copilot

https【【网址】】/features/copilot

15.?Scalable O【【微信】】

【【网址】】/abs/2211.03540

16.?从 GPT-3 到 GPT-3.5 的全部版本迭代

【【网址】】/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc

来源：元宇宙之心

文章来源于抹茶交易所。

抹茶安卓下载：立即前往

抹茶IOS下载：立即前往

注册领取新手礼包!交易手续费返现：20%!