GPT 家族进化史

来源:钛媒体 时间:2023-03-17 19:01:37
图片来源 @视觉中国

文 | MetaPost


(资料图)

传播学之父威尔伯 · 施拉姆曾说过:" 这一天的前 23 个小时,人类传播史上几乎全都是空白,一切重大的发展都集中在这一天的最后 7 分钟。正是这最后 7 分钟,谱写了人类历史的黄金时期,而午夜前的最后 3 秒却翻开了人类迈进信息化社会的新篇章。"

这句话用来形容技术进化也很合适。人类绝大多数时间都处在 " 科技大停滞 " 的状态,而科技大爆炸来的时候常常是 " 一句招呼都不打 "。近期,人工智能(AI)技术的发展,就让大家切实感受到了科技的 " 暴力美学 "。

在 ChatGPT 出现前,有人悲观地认为,AI 领域已经形成巨大泡沫。但眼下,AI 呈现出全新的价值,让行业重现百家争鸣的热闹景象。

3 月 15 日凌晨,OpenAI 发布大型多模式模型 GPT-4,GPT-4 不仅能够处理图像内容,且回复的准确性亦有所提高,在官方演示中,GPT-4 只花了 10 秒,就识别了手绘网站图片,并根据要求实时生成了网页代码制作出了几乎与手绘版一样的网站,堪称 " 王炸级 " 产品。

图 | OpenAI

3 月 16 日,提前一个月宣传造势,备受关注的百度文心一言揭开神秘面纱。虽然发布会一开始,百度股价便出现断崖式下跌,李彦宏也坦言产品没有完全准备好,但这并不影响市场的庞大需求。

发布会后 1 小时内,排队申请文心一言企业版 API 调用服务测试的企业用户已达 3 万多家,申请产品测试网页多次被挤爆。

3 月 17 日,在 " 用 AI 重塑生产力 " 活动上,美国科技巨头微软宣布为其 Microsoft 365 应用和服务推出一款新的 AI 驱动的产品 Copilot,由 OpenAI 本周发布的 GPT-4 提供技术支持,旨在像助手一样,用 AI 帮助用户生成文档、表格、电子邮件、PPT 等。这意味着,超 12 亿人(微软官方数据)将会解放双手,获得 AI 带来的生产力提升。

对于天天码字的小编来说,只有一个词——想拥有!

时至今日,已经没有人会怀疑 AI 以及大语言模型的重要性了。更大、更快、更强,又意味着什么呢?有人说,ChatGPT 的出现,终于让人类的一只脚迈进了元宇宙。

任何指数增长的曲线初期,拉近了看都不过是一个平淡的缓坡,但只有回顾整个历史的时候,我们才会知道这条曲线最终会加速到怎样的高度。

今天我们就来回顾一下 GPT 家族的进化史,看看它是如何一步步让全世界科技大厂黯然失色的。

01 GPT 的升级之路

过去十年间,谷歌、脸书、亚马逊、苹果和微软等科技巨头纷纷开启 AI 军备竞赛,先后成立专门的 AI 实验室,而业界公认的顶级 AI 实验室只有三家:背靠谷歌的 DeepMind、背靠微软的 OpenAI 和背靠脸书的 FAIR。其中,被谷歌收购的 DeepMind 因拥有 AlphaGo(阿尔法狗)最为家喻户晓。

2015 年 12 月,特斯拉汽车创始人埃隆 · 马斯克,格雷格 · 布罗克曼 ( OpenAI 联合创始人兼总裁 ) 、山姆 · 阿尔特曼 ( OpenAI 首席执行官 ) 、彼得泰尔 ( Paypal 创始人 ) 以及伊利亚 · 苏特斯科夫 ( 师从神经网络之父杰弗里 · 辛顿,OpenAI 首席科学家 ) 等数位硅谷大佬拿出了 10 亿美元,在旧金山创立了 OpenAI Inc.。

OpenAI Inc. 设立之时就是一家非盈利组织,他的目标就是研发通用且开放的的人工智能来对抗谷歌的 DeepMind" 霸权 "。

2016 年,微软 Azure 云服务为 OpenAI 提供了算力条件,使得日后的 ChatGPT 要进行大规模深度学习、神经网络渲染等都成为可能。

2017 年,Google 团队首次提出基于自我注意力机制的 Transformer 模型,并将其应用于自然语言处理。OpenAI 应用了这项技术,2018 年发布了最早的一代大型模型 GPT-1(GPT 是 Generative Pre-trained Transformer 的简称,中文为生成型预训练变换模型)。

最初的 GPT-1,运用几十亿文本档案的语言资料库进行训练,模型的参数量为 1.17 亿个,据说效果一般;2019 年,GPT-2 发布,模型参数量提高到 15 亿个,效果仍然很一般;可 OpenAI 坚持 " 大力出奇迹 " 的想法,继续扩大它的参数量,得益于更高的数据质量和更大的数据规模,GPT-2 有了惊人的生成能力。

2020 年,GPT-3 诞生,参数量达到了创纪录的 1750 亿个,其训练参数是 GPT-2 的 10 倍以上,技术路线上则去掉了初代 GPT 的微调步骤,直接输入自然语言当作指示,给 GPT 训练读过文字和句子后可接续问题的能力,同时包含了更为广泛的主题。

这一次,结果终于不同,大家发现它的对话功能一下子达到了相当高的水平,2022 年 12 月首次公布的 ChatGPT(能够对话的 GPT 版本)就是在 GPT-3 基础上的 3.5 版本。

02 让人工智能出圈的 ChatGPT

ChatGPT 之所以受到如此广泛的关注和喜爱,是因为它具备了 GPT-3 所缺乏的关键功能:对话设计。

对于许多人来说,评估一个人工智能模型的好坏,往往看它是否能够在一次来回的对话中听懂使用者的问题,并给出令人满意的答案。相比于背后的知识量,人们更关注 AI 模型的 " 沟通能力 "。

这些模型能够以比人类快上 10 倍甚至 20 倍以上的速度生成文本,并且生成的文本质量还不错,令人印象深刻。

简单来说,GPT-3 的架构就是通过喂入大量的范本,学习拆解这些模板并重新组合出新的结果。引擎设计者所喂入的资料越多,GPT-3 获得的知识就越丰富。例如,OpenAI 在 GPT-3 的预训练过程中喂入了超过 570GB 的文本资料。当 GPT-3 获得足够丰富的知识库时,其生成的结果也变得越来越精确。

使用者只需要将自己的工作通过语意拆分成多个小任务,让 GPT-3 分别完成,再将结果组装起来,就能像有了 10 倍超能力的工作者一样高效地完成工作。

03 GPT-4 功能强过 ChatGPT,能玩梗图还能做网页

鉴于 ChatGPT 给人工智能产业带来的变革,市场自然对其升级版 GPT-4 赋予了诸多想象。

3 月 15 日凌晨,OpenAI 正式推出 GPT-4,产品具备诸多亮点。据 OpenAI 介绍,在平常的聊天过程中,可能感受不到 GPT-3.5 和 GPT-4 之间的区别,但是当任务的复杂性达到足够的阈值时,两者之间的区别就显现出来了。GPT-4 比 GPT-3.5 更可靠、更有创造力,能够处理更细微的指令。

相比 ChatGPT 仅能在文字领域施展特长,GPT-4 的一个关键升级就是多模态,也就是支持图像和文本输入,拥有强大的识图能力。值得一提的是,GPT-4 已经能看懂一些图梗了,不再仅仅是对话助手。

用户提问:解释下图的笑点是什么,并对图片中的每部分进行描述。GPT-4 的回答如图所示:

据 OpenAI 介绍,虽然目前 GPT-4 在现实场景中的能力可能不如人类,但在各种专业和学术考试上都表现出明显超越人类水平的能力。虽然 GPT-4 的训练语料库还停留在 2021 年 9 月之前,但对科学、医学、法律等特定领域进行了知识面的扩充,不仅能在美国统一律师资格考试中取得前列成绩,在奥赛、GRE 等考试均取得了很高的分数,甚至 SAT 成绩(可以理解为美国高考成绩)——已经超过了 90% 的考生,跨过哈佛、斯坦福等名校的门槛。图 | OpenAI:GPT3.5 和 4 的部分考试成绩

据外媒最新消息,OpenAI 总裁格雷格 · 布罗克曼称,公司正在测试 GPT-4 高级版本,是普通 GPT-4 储存内容能力的 5 倍。

04 成就 GPT 的股权新玩法

OpenAI 带来的革新不仅体现在产品和技术层面,其独特的股权投资方式也在很大程度上造就了 GPT 的成功。

随着 GPT 的技术以指数级速度增长,其算力的烧钱速度也呈现出指数级的上升。巧妇难为无米之炊,OpenAI 需要不断地输血才能保持运转,但显然全世界没有一个投资者想当慈善家,唯一的解决办法就是对外引进财务投资。

2019 年担任 OpenAI 首席执行官的阿尔特曼说:为了成功完成我们的使命,我们需要海量资金,数额远超出我最初的设想。

为了彻底解决资金问题,OpenAI 调整了结构,一分为二:非营利部门(OpenAI Nonprofit)从事开发技术,营利部门(OpenAI LP)负责商业化,但 OpenAI 给不同时期进入的投资人设置了各自的盈利天花板。天花板之上,所有的盈利将属于非营利部门。

图:创业邦

2019 年,改制后的 OpenAI 正式开启融资之旅。据创业邦数据显示,包括最早期投资(比种子轮更早的 Pre- 种子轮),OpenAI 一共进行了 8 轮融资,涉及 9 家知名机构和企业,融资总金额约 110 亿美元。

图 | 创业邦

根据 OpenAI 的发展,简单概括为以下 4 个阶段:

阶段一2015 年 OpenAI 首席执行官阿尔特曼,与埃隆 · 马斯克等人宣布出资 10 亿美元,创立了非营利性研究机构 OpenAI。

阶段二:2019 年 OpenAI 的架构进行了调整,调整后变身为两家机构——营利性机构 OpenAI LP 和最初的非营利机构 OpenAI, Inc。

目前我们提到 OpenAI,通常指的是被称为 OpenAI LP 的一家有限合伙企业,在组织形态上采用的是有限合伙,这是一家盈利公司。

非营利机构 OpenAI, Inc 是其负责投资管理的普通合伙人(GP),这是一家在美国特拉华州注册的有限责任公司。也就是说,OpenAI LP 由 OpenAI, Inc 控制。

阶段三:从 2019 年开始,微软与 OpenAI 建立了战略合作伙伴关系,不少于三次投资,共投入 130 亿美元,成为 OpenAI 最大的有限合伙人。OpenAI LP 从成立之初参与投资的 VC 们,也成为了有限合伙人。

阶段四:在 OpenAI 未来盈利后,与一般企业通过上市让投资人获得回报的做法不同,OpenAI 选择了一种新的股权投资协议模式——以投资回报速度代替投资回报水平。

盈利后的 OpenAI 将分节奏,逐步回报投资人:

1、优先保证 OpenAI 的首批投资者收回初始资本;

2、微软投资完成、OpenAI LP 首批投资人收回初始投资后,微软有权获得 OpenAI LP 75% 利润;

3、微软收回 130 亿美元投资、从 OpenAI LP 获得 920 亿美元利润后,它分享利润的比例从 75% 降到 49%;

4、OpenAI LP 产生的利润达到 1500 亿美元后,微软和其他风险投资者的股份将无偿转让给 OpenAI LP 的普通合伙人——非营利机构 OpenAI, Inc。

从以上四个阶段可以看出,本质上 OpenAI 是在把公司借给微软,而借多久,取决于 OpenAI 赚钱的速度。

直接以投资回报速度代替投资回报水平,这种做法是建立在 OpenAI 最终回归公益的愿景必然实现的强烈信念,以及管理团队能够驾驭 OpenAI 走向成功的充分信任基础上。

在这样的信念之下,OpenAI 吸引了很多顶尖的 AI 研究人员,承诺绝对有竞争力的薪水和绝对的商业自由。他们毅然离开原来的科技公司和学术机构,加入 OpenAI,希望专心思考人类的终极问题。

当然,OpenAI LP 的股权结构尚存在一些不足。相比之下,拥有较好的创始团队激励、较好的股权流动性、无上限的投资回报收益等优点的传统股权投资体系,在现阶段仍然是不可被替代的。

OpenAI LP 的新路能否最终通向罗马,尚需时间的检验。

更多精彩内容,关注钛媒体微信号(ID:taimeiti),或者下载钛媒体 App

关键词:
x 广告
x 广告

Copyright @  2015-2022 中国砍柴网版权所有  备案号: 沪ICP备2022005074号-4   联系邮箱:58 55 97 3@qq.com