淘姐妹

淘姐妹

港股概念追踪 | GPT-4王炸上线!考试能击败90%“做题家” 国内这些企业有类似布局(附概念股)

电脑 0

淘宝搜:【天降红包222】领超级红包,京东搜:【天降红包222】
淘宝互助,淘宝双11微信互助群关注公众号 【淘姐妹】

港股概念追踪股票,港股概念股什么意思,港股科普,港股概念上市公司

智通财经APP获悉,美东时间3月14日周二,OpenAI宣布,推出大型的多模态模型GPT-4,其在各种专业学术基准上有着人类水平表现,例如在模拟律师考试中,GPT-4得分约为前10%――击败了90%人类,而ChatGPT背后的GPT-3.5得分约为倒数10%。中信证券表示,长期来看以GPT为主的生成式预训练大模型持续升级,国内多家公司也在积极布局大语言模型,建议关注国内推出及布局AI芯片/GPGPU芯片的相关公司。

据OpenAI介绍,与此前的版本相比,GPT-4具备强大的识图能力,文字输入限制也提升至2.5万字;GPT-4的回答准确性也显著提升,还能够生成歌词、创意文本从而实现风格变化。同时,GPT-4在各类专业测试及学术基准上也表现优良。从整体而言,GPT-4实现了多重能力的跃升。

OpenAI表示,已经与多家公司合作,要将GPT-4结合到他们的产品中,包括Duolingo、Stripe和KhanAcademy。GPT-4模型也将以API的形式,提供给付费版ChatGPTPlus的订阅用户。开发者可以注册,用它打造应用。微软此后表示,新款的必应(Bing)搜索引擎将运行于GPT-4系统之上。

尽管中国在AI领域进行了很多研究成果和布局,但目前要达到像OpenAI的效果可能还需时日。科学技术部部长王志刚3月5日表示,ChatGPT证明了AI是大方向,而OpenAI在AI对话实时效果方面有明显优势。

目前在国内,百度、商汤、旷视科技及玄武云等多家AI公司和科研机构都在做关于大模型的技术产品和应用。

就在3月14日晚,港股AI龙头企业商汤科技发布了多模态通用大模型“书生2.5”,拥有30亿参数,支持问答、识图、以文生图等,在自动驾驶和居家机器人等通用场景下,“书生2.5”可辅助处理各种复杂任务。据悉,“书生”由商汤科技、上海人工智能实验室、清华大学、香港中文大学、上海交通大学于2021年11月首次共同发布,并持续联合研发。

旷视科技自2011年成立的12年来,一直致力于构建万物互联的AI基础设施,聚焦消费物联网、城市物联网、供应链物联网三大核心场景。根据美国机构ZetaAlpha基于2020年、2021年和2022年每年被引用次数最多的100篇论文最新数据显示,已发表AI论文高引用转化率的排名中,旷视排名全球第二,仅次于OpenAI。

作为国内领先的智慧CRM服务商,玄武云的产品矩阵已实现自研AI平台赋能,公司下一步计划在生成内容领域(不限于文字,图像,语音)结合CRM做更进一步的智慧场景创新。

中信证券表示,长期来看以GPT为主的生成式预训练大模型持续升级,多模态带来更大的数据支持需求,模型计算精度逐渐提升,开放API后应用场景持续落地,对于算力的总体需求料将持续提升。国内多家公司也在积极布局大语言模型,但是国内高端算力芯片目前比较依赖海外厂商,在高端芯片国产替代背景下,建议关注国内推出及布局AI芯片/GPGPU芯片的相关公司。

相关概念股:

百度集团-SW(09888):百度表示,将于3月16日发布生成式AI产品“文心一言”。为支持文心一言的超大规模计算需求,进一步实现文心一言的产业化落地,近期百度智能云也频繁公布文心一言配套设施的准备情况。

商汤-W(00020):作为计算机视觉AI领域龙头,商业变现空间、潜力巨大,具备一定的标的稀缺性和溢价空间。商汤自研AI基础设施有望打造行业壁垒,商业化落地实战经验丰富。

旷视科技(01167):日前,旷视联合创始人、CEO印奇在谈及ChatGPT时表示,ChatGPT的出现,让外界感觉到了AI产业的发展又到了一个真正产生范式迁移的临界点,对很多行业产生非常多本质的变化。2022年,旷视科技推出了“AIoT生态合伙人计划”,面向行业ISV、区域ISV、产品方案商,共建AIoT生态、共研AIoT产品、共助AIoT产业落地。

玄武云(02392):公司向客户提供CRM PaaS服务及CRMSaaS服务,已构建以aPaaS、cPaaS、AI、数据平台为基础,营销云、销售云、客服云为核心应用,为快消、金融、政企、互联网等行业企业提供全触点、全渠道、全生命周期管理的智慧CRM产品体系及服务。基于玄武云智慧CRM的整体解决方案,通过连接与赋能,帮助企业客户实现数智化转型。

阿里巴巴-SW(09988):阿里达摩院牵头推出魔搭社区ModelScope。社区首批上架超300个模型,其中中文模型超过100个,覆盖了视觉、语音、自然语言处理、多模态等AI主要领域,覆盖主流任务超过60个,均全面开源并开放使用。



清华系公司智谱AI开源ChatGLM-6B模型,千亿基座对话模型开启内测

清华控股的北京智谱华章,清华 智源,清华智能,清华智库是什么?

出品|开源中国

由清华技术成果转化的公司智谱 AI?宣布开源了 GLM 系列模型的新成员 ――?中英双语对话模型 【【微信】】,支持在单张消费级显卡上进行推理使用。这是继此前开源 GLM-130B 千亿基座模型之后,智谱 AI 再次推出大模型方向的研究成果。

此外,基于千亿基座的 ChatGLM 线上模型目前也在 【【网址】】 进行邀请制内测,用户需要使用邀请码进行注册,也可以填写基本信息申请内测。

根据介绍,【【微信】】 是一个开源的、支持中英双语问答的对话语言模型,并针对中文进行了优化。该模型基于 General Language Model (GLM)?架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。

【【微信】】 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 【【微信】】 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

【【微信】】 具备以下特点:

充分的中英双语预训练:【【微信】】 在 1:1 比例的中英语料上训练了 1T 的 token 量,兼具双语能力。

优化的模型架构和大小:吸取 GLM-130B 训练经验,修正了二维 RoPE 位置编码实现,使用传统 FFN 结构。6B(62 亿)的参数大小,也使得研究者和个人开发者自己微调和部署 【【微信】】 成为可能。

较低的部署门槛:FP16 半精度下,【【微信】】 需要至少 13 GB 的显存进行推理,结合模型量化技术,这一需求可以进一步降低到 10GB(INT8) 和 6GB(INT4),使得 【【微信】】 可以部署在消费级显卡上。

更长的序列长度:相比 GLM-10B(序列长度 1024),【【微信】】 序列长度达 2048,支持更长对话和应用。

人类意图对齐训练:使用了监督微调(【【微信】】g)、反馈自助(Feedback Bootstrap)、人类反馈强化学习(Reinforcement Learning from Human Feedback)等方式,使模型初具理解人类指令意图的能力。输出格式为 markdown,方便展示。

基于以上特点,【【微信】】 在一定条件下具备较好的对话与问答能力。【【微信】】 的对话效果展示如下:

不过由于 【【微信】】 模型的容量较小,不可避免地存在一些局限和不足,包括:

相对较弱的模型记忆和语言能力。在面对许多事实性知识任务时,【【微信】】 可能会生成不正确的信息,也不太擅长逻辑类问题(如数学、编程)的解答。

可能会产生有害说明或有偏见的内容:【【微信】】 只是一个初步与人类意图对齐的语言模型,可能会生成有害、有偏见的内容。

较弱的多轮对话能力:【【微信】】 的上下文理解能力还不够充分,在面对长答案生成和多轮对话的场景时,可能会出现上下文丢失和理解错误的情况。

相比起 【【微信】】,ChatGLM 参考了 ChatGPT 的设计思路,在千亿基座模型 GLM-130B?中注入了代码预训练,通过有监督微调(【【微信】】g)等技术实现人类意图对齐。ChatGLM 线上模型的能力提升主要来源于独特的千亿基座模型 GLM-130B。它采用了不同于 BERT、GPT-3 以及 T5 的 GLM 架构,是一个包含多目标函数的自回归预训练模型。

GLM 团队表示,2022 年 11 月,斯坦福大学大模型中心对全球 30 个主流大模型进行了全方位的评测,GLM-130B 是亚洲唯一入选的大模型。在与 OpenAI、Google Brain、微软、英伟达、【【微信】】 的各大模型对比中,评测报告显示 GLM-130B 在准确性和公平性指标上与 GPT-3 175B (davinci) 接近或持平,鲁棒性、校准误差和无偏性则优于 GPT-3 175B。?

由 ChatGLM 生成的对话效果展示:

不过 GLM 团队也坦言,整体来说 ChatGLM 距离国际顶尖大模型研究和产品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)还存在一定的差距。该团队表示,将持续研发并开源更新版本的 ChatGLM 和相关模型。“欢迎大家下载 【【微信】】,基于它进行研究和(非商用)应用开发。GLM 团队希望能和开源社区研究者和开发者一起,推动大模型研究和应用在中国的发展。”