人工智能 LLM 革命破晓：一文读懂当下超大语言模型发展现状

0

百度权重
0

百度移动
0

3 6 0权重
0

搜狗权重
浏览热度
SEO查询
更新时间
2024-05-29T14:19:30
网站介绍

网站编号：1621
所属分类： 图片摄影
网站URL： https://www.mikecaptain.com/2023/03/06/captain-aigc-2-llm
最后点入：2024-05-29 14:19:22 · 加入时间：2023-04-14 09:58:29
网站关键词(0个字符):
该站未曾设置keywords
网站描述词(429个字符):
人类创造城市，又把它虚拟化；创造机器，又希望机器习得创造。人工智能似乎要来到觉醒的那一刻了。过去数十年，数据科学家研发出了一个又一个AI模型，似乎总在重复造轮子。能否通过更便捷有效的方式，真正让机器去统一吸收文本、语音、图片等不同类型的数据和知识并创造出不同的内容呢？多模态预训练大模型打通了模态之间的关系，模型逐步标准化。下一步，则是建立统一的、跨场景、多任务的多模态基础模型。机器从未像今天这般吸收、理解、创造，一个崭新的AI大时代即将开启。生成式AI显然是机器中的佼佼者。不久前爆火的ChatGPT，学会了从人类的反馈中强化学习，能你来我往多轮聊天。会对话，也会作画，是基于diffusion模型的AI绘画，，从最初的拼贴已经进化到三维动画、建模贴图的nextlevel，甚至AI还会自我编码，在codeforces举办的编程竞赛中AlphaCode超过了47%的人类工程师。未来三年，生成式AI不但会有越来越多的产品，它的内容创造能力将达到人类水平。
关于www.mikecaptain.com说明：
www.mikecaptain.com由网友主动性提交被自动秒收录整理收录的，自动秒收录仅提供www.mikecaptain.com的基础信息并免费向大众网友展示，www.mikecaptain.com的是IP地址：185.199.109.153 [泛播 GitHub]，www.mikecaptain.com的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、www.mikecaptain.com的备案号是-、备案人叫-、被百度收录的关键词有0个、手机端关键词有0个、迄今为止已经创建1年5个月8天。
下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载
本页地址: https://www.badfl.com/links/b85d0bd925b98e9e2a29.html
上一篇：Rachel's Blog | Rachel030219 | 下一篇：AI 应用第一次大爆发来了：一文入门 ChatGPT 官方 API 文档解读
SEO综合查询

SEO信息	百度来访IP：- \| 移动端来访IP：- \| 出站链接：0 \| 站内链接：0
IP网速：	IP地址：185.199.109.153 [泛播 GitHub] \| 网速：510毫秒
ALEXA排名	世界排名：- \| 预估IP：- \| 预估PV：-
备案信息	- \| 名称：- \| 已创建：1年5个月8天
收录	百度	360	搜狗	谷歌
查询	0	0	0	0
电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
0	0	电脑端优秀	-	0	0
协议类型HTTP/1.1 200 OK 页面类型 text/html; charset=utf-8 服务器类型 GitHub.com 是否压缩是原网页大小30229 压缩后大小10 压缩比99.97%
网页快照

                         人 工 智 能 L L M 革 命 破 晓 ： 一 文 读 懂 当 下 超 大 语 言 模 型 发 展 现 状 H o m e 关 于 我 读 书 行 路 C a t e g o r i e s A I R T 前 端 设 计 投 资 思 考 关 于 我 读 书 行 路 D o w n l o a d P r o j e c t o n G i t h u b v e r s i o n 1 . 0 . 0 M i k e C a p t a i n A I R T 前 端 设 计 投 资 思 考       丨   关 于 我 读 书 行 路 D o w n l o a d P r o j e c t o n G i t h u b 人 工 智 能 L L M 革 命 破 晓 ： 一 文 读 懂 当 下 超 大 语 言 模 型 发 展 现 状 0 6 M a r 2 0 2 3 , 杭 州 | 麦 克 船 长 | 总 计 9 7 5 0 4 字 本 文 目 录 前 言 第 一 章 · 初 步 了 解 自 然 语 言 处 理 的 任 务 、 方 法 和 模 型 第 1 节 · 我 们 要 解 决 什 么 问 题 ： N L P 任 务 1 . 1 、 相 当 长 时 间 里 ， N L P 领 域 都 有 大 量 细 分 任 务 1 . 2 、 我 们 始 终 在 追 求 简 洁 优 雅 的 技 术 路 线 / 技 术 理 论 第 2 节 · 解 决 问 题 的 思 路 之 方 法 ： 神 经 网 络 模 型 学 习 方 法 的 三 个 范 式 阶 段 2 . 1 、 第 一 阶 段 ： 完 全 监 督 学 习 （ F u l l y S u p e r v i s e d L e a r n i n g ） 范 式 2 . 2 、 第 二 阶 段 ： 预 训 练 （ P r e t r a i n ） 范 式 — — 为 了 更 好 的 泛 化 性 （ G e n e r a l i z a t i o n ） 2 . 2 . 1 、 这 四 个 思 路 的 交 汇 点 ： 「 预 训 练 微 调 」 学 习 范 式 2 . 2 . 2 、 解 决 L L M 微 调 成 本 高 的 问 题 ： 「 预 训 练 提 示 」 学 习 范 式 2 . 2 . 3 、 特 定 领 域 的 更 优 解 ： 「 预 训 练 微 调 提 示 」 学 习 范 式 2 . 3 、 第 三 阶 段 ： 「 预 训 练 人 工 反 馈 强 化 学 习 提 示 （ P r e t r a i n , R L H F a n d P r o m p t ） 」 学 习 范 式 第 3 节 · 解 决 问 题 的 思 路 之 模 型 ： 初 识 预 训 练 语 言 模 型 本 小 节 参 考 第 二 章 · L L M 关 键 发 展 节 点 与 主 流 模 型 （ 2 0 1 8 2 0 2 1 ） 第 4 节 · T r a n s f o r m e r （ 2 0 1 7 年 6 月 ） 第 5 节 · E L M o ： 词 所 在 的 上 下 文 很 重 要 （ 2 0 1 8 年 2 月 ） 5 . 1 、 一 词 多 义 问 题 5 . 2 、 S e e T h e m s e l v e s 问 题 5 . 3 、 E L M o ： 基 于 两 个 单 向 L S T M 的 语 言 模 型 5 . 4 、 E L M o 训 练 及 使 用 5 . 5 、 双 向 语 言 模 型 ， 是 灯 塔 吗 ？ 5 . 6 、 E L M o 的 局 限 性 本 小 节 参 考 第 6 节 · G P T （ 2 0 1 8 年 6 月 ） 6 . 1 、 G P T 出 现 的 背 景 ： 监 督 学 习 模 型 为 主 ， 但 标 注 和 泛 化 成 为 卡 点 6 . 2 、 G P T 1 ： 基 于 T r a n s f o r m e r D e c o d e r 的 自 监 督 训 练 语 言 模 型 6 . 3 、 G P T 1 为 什 么 用 T r a n s f o r m e r 而 不 是 L S T M ？ 6 . 4 、 G P T 1 的 无 监 督 预 训 练 （ U n s u p e r v i s e d P r e t r a i n i n g ） 6 . 5 、 G P T 1 的 监 督 微 调 （ S u p e r v i s e d F i n e T u n i n g ， S F T ） 6 . 6 、 G P T 1 的 预 训 练 数 据 集 6 . 7 、 小 结 本 小 节 参 考 第 7 节 · B E R T （ 2 0 1 8 年 1 0 月 ） 7 . 1 、 B E R T 的 模 型 架 构 ： 双 向 7 . 1 . 1 、 B E R T 是 深 度 双 向 （ D e e p l y B i d i r e c t i o n a l ） ， E L M o 是 浅 度 双 向 （ S h a l l o w l y B i d r e c t i o n a l ） 7 . 1 . 2 、 基 于 T r a n s f o r m e r E n c o d e r 之 上 B E R T 做 了 哪 些 架 构 改 进 7 . 2 、 B E R T 的 训 练 方 法 7 . 2 . 1 、 M a s k e d L a n g u a g e M o d e l i n g （ M L M ） 预 训 练 任 务 7 . 2 . 2 、 N e x t S e n t e n c e P r e d i c t i o n （ N S P ） 预 训 练 任 务 7 . 3 、 B E R T 的 哪 些 改 进 是 带 来 最 显 著 性 能 提 升 的 ？ 7 . 4 、 B E R T 的 数 据 集 7 . 5 、 B E R T 小 节 7 . 6 、 动 手 小 实 践 7 . 6 . 1 、 安 装 B E R T 所 需 要 的 各 种 依 赖 7 . 6 . 2 、 下 载 一 个 预 训 练 （ P r e T r a i n ） 过 的 B E R T 模 型 7 . 6 . 3 、 安 装 B E R T 的 服 务 端 和 客 户 端 7 . 6 . 4 、 启 动 B E R T 服 务 端 7 . 6 . 5 、 编 写 程 序 实 现 B E R T 客 户 端 7 . 6 . 6 、 测 试 效 果 本 小 节 参 考 第 8 节 · G P T 2 （ 2 0 1 9 年 2 月 ） 8 . 1 、 G P T 2 是 对 G P T 1 的 直 接 扩 展 ， 但 更 笃 定 地 追 逐 「 通 用 语 言 模 型 」 的 理 想 8 . 2 、 G P T 2 大 幅 改 进 训 练 方 法 8 . 2 . 1 、 Z e r o S h o t ： 无 需 监 督 微 调 即 可 执 行 下 游 任 务 ， 不 用 f i n e t u n e 8 . 2 . 2 、 M u l t i t a s k L e a r n i n g ： 多 任 务 学 习 共 享 参 数 更 新 8 . 3 、 G P T 2 的 预 训 练 数 据 集 ： 高 质 量 、 多 样 性 的 W e b T e x t 8 . 4 、 如 果 预 训 练 直 接 喂 生 数 据 ， 最 终 的 效 果 怎 样 ？ 8 . 4 . 1 、 生 文 本 「 隐 式 」 包 含 任 务 模 式 ， 上 下 文 「 显 式 」 提 示 具 象 任 务 8 . 4 . 2 、 L L M 军 备 竞 赛 的 序 幕 拉 开 8 . 5 、 O p e n A I 初 步 预 见 了 L L M 可 能 带 来 的 影 响 8 . 5 . 1 、 O p e n A I 在 2 0 1 9 年 就 倡 议 政 府 监 管 8 . 5 . 2 、 同 年 5 月 公 布 3 . 4 5 亿 参 数 版 本 ， 并 暗 示 了 后 来 微 软 对 O p e n A I 不 O p e n 的 影 响 8 . 6 、 G P T 2 小 节 本 小 节 参 考 第 9 节 · T 5 ： 提 出 所 有 N L P 任 务 可 统 一 为 文 本 生 成 任 务 （ 2 0 1 9 年 1 0 月 ） 9 . 1 、 对 下 游 N L P 任 务 的 统 一 9 . 2 、 新 开 源 数 据 集 C 4 （ C o l o s s a l C l e a n C r a w l e d C o r p u s ） 9 . 3 、 大 量 实 验 覆 盖 模 型 、 数 据 、 算 力 的 多 维 度 因 素 9 . 4 、 T 5 小 节 本 小 节 参 考 第 1 0 节 · 缩 放 定 律 （ S c a l i n g L a w ） ： A I 时 代 的 摩 尔 定 律 （ 2 0 2 0 年 1 月 ） 第 1 1 节 · G P T 3 （ 2 0 2 0 年 5 月 ） 1 1 . 1 、 G P T 3 表 明 O p e n A I 进 一 步 收 紧 其 技 术 开 放 度 1 1 . 2 、 G P T 3 参 数 规 模 ： 直 接 比 G P T 2 放 大 1 0 0 倍 1 1 . 3 、 G P T 3 的 训 练 数 据 1 1 . 3 . 1 、 训 练 数 据 集 1 1 . 3 . 2 、 提 高 数 据 质 量 的 处 理 准 备 工 作 1 1 . 4 、 G P T 3 的 训 练 开 销 1 1 . 5 、 I n C o n t e x t L e a r n i n g 1 1 . 6 、 G P T 3 A P I 1 1 . 6 . 1 、 G P T 一 些 基 本 概 念 1 1 . 6 . 2 、 G P T 3 的 几 个 基 础 模 型 1 1 . 7 、 G P T 3 小 节 本 小 节 参 考 第 三 章 · 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ） 第 1 2 节 · I C L 能 力 的 直 接 应 用 ： P r o m p t E n g i n e e r i n g 1 2 . 1 、 P E T ： 提 出 P V P 框 架 1 2 . 2 、 从 硬 提 示 到 软 提 示 1 2 . 3 、 P r o m p t T u n i n g 1 2 . 4 、 P r o m p t 带 来 的 风 险 1 2 . 5 、 小 结 第 1 3 节 · I C L 能 力 的 底 层 假 设 ： 贝 叶 斯 推 理 第 1 4 节 · L L M 是 如 何 具 备 I C L 能 力 的 ？ （ 2 0 2 1 年 1 1 月 ） 1 4 . 1 、 预 训 练 分 布 （ P r e t a i n D i s t r i b u t i o n ） 的 数 学 解 读 1 4 . 2 、 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ） 的 数 学 解 读 1 4 . 3 、 L L M 是 隐 式 马 尔 科 夫 模 型 的 概 念 混 合 体 （ M i x t u r e o f H M M C o n c e p t s ） 第 1 5 节 · I C L 是 如 何 工 作 的 ？ （ 2 0 2 2 年 2 月 ） 1 5 . 1 、 P r o m p t 中 的 I n p u t L a b e l M a p p i n g 不 重 要 1 5 . 2 、 P r o m p t 中 的 I n p u t D i s t r i b u t i o n 很 重 要 1 5 . 3 、 P r o m p t 中 的 L a b e l S p a c e 很 重 要 1 5 . 4 、 P r o m p t 中 F o r m a t o f D e m o n s t r a t i o n 很 重 要 1 5 . 5 、 小 结 一 下 第 1 6 节 · 思 维 链 （ C h a i n o f T h o u g h t ， C o T ， 2 0 2 2 年 1 月 ） 1 6 . 1 、 深 度 学 习 就 是 要 从 S y s t e m 1 走 向 S y s t e m 2 1 6 . 2 、 G o o g l e 提 出 思 维 链 提 示 （ C o T P r o m p t i n g ） 1 6 . 3 、 L e t ’ s T h i n k S t e p b y S t e p 本 小 节 参 考 第 四 章 · L L M 发 展 关 键 节 点 与 主 流 模 型 （ 2 0 2 2 2 0 2 3 ） 第 1 7 节 · I n s t r u c t G P T ： 为 对 齐 （ A l i g n m e n t ） 而 生 的 指 令 式 G P T （ 2 0 2 2 年 3 月 ） 1 7 . 1 、 对 齐 （ A l i g n m e n t ） ： 关 于 「 我 们 到 底 要 A I 未 来 变 成 什 么 样 子 」 这 件 事 儿 1 7 . 2 、 如 何 用 R L H F 方 法 训 练 得 到 更 能 对 齐 人 类 的 I n s t r u c t G P T ？ 1 7 . 3 、 对 齐 税 （ A l i g n m e n t T a x ） 1 7 . 4 、 目 前 I n s t r u c t G P T 的 局 限 性 1 7 . 5 、 I n s t r u c t G P T 就 是 G P T 3 . 5 吗 ？ 第 1 8 节 · C h a t G P T ： 基 于 R L H F 训 练 的 对 话 式 G P T 模 型 （ 2 0 2 2 年 1 1 月 底 ） 1 8 . 1 、 C h a t G P T 的 训 练 方 法 1 8 . 2 、 C h a t G P T 与 I n s t r u c t G P T 的 主 要 技 术 区 别 1 8 . 2 . 1 、 训 练 数 据 的 格 式 1 8 . 3 、 C h a t G P T 开 放 C h a t A P I 第 1 9 节 · 其 他 一 些 近 期 值 得 关 注 的 模 型 1 9 . 1 、 L L a M A ： M e t a 对 C h a t G P T 的 回 应 1 9 . 2 、 其 他 一 些 近 期 值 得 关 注 的 、 创 新 性 L L M 第 五 章 · 未 来 技 术 趋 势 的 关 注 重 点 及 一 些 推 荐 参 考 第 2 0 节 · 未 来 技 术 趋 势 的 关 注 重 点 第 2 1 节 · 一 些 推 荐 2 1 . 1 、 关 键 论 文 2 1 . 2 、 值 得 关 注 的 重 要 机 构 2 1 . 3 、 推 荐 关 注 的 博 客 或 T w i t t e r M a r k 本 篇 其 他 参 考 文 本 来 自 我 的 个 人 博 客 ： M i k e C a p t a i n 麦 克 船 长 的 技 术 、 产 品 与 商 业 博 客 ， 初 次 成 稿 于 2 0 2 3 年 初 春 节 期 间 对 L L M （ L a r g e L a n g u a g e M o d e l s ， 大 型 语 言 模 型 ） 的 技 术 演 变 学 习 的 笔 记 记 录 ， 后 来 又 补 充 了 一 些 近 期 的 内 容 （ L L a M A 发 布 、 C h a t G P T A P I 发 布 等 ） 。 
 本 文 是 《 人 工 智 能 L L M 革 命 前 夜 ： 一 文 读 懂 横 扫 自 然 语 言 处 理 的 T r a n s f o r m e r 模 型 》 （ 以 下 简 称 《 麦 克 船 长 ： L L M 革 命 前 夜 》 ） 的 续 篇 ， 也 是 前 篇 中 提 到 过 的 ， 近 日 终 于 抽 了 些 时 间 完 成 了 排 版 、 插 图 与 参 考 内 容 的 完 善 。 
 作 者 ： 钟 超 （ 麦 克 船 长 ） 微 信 ： s i n o s u p e r m a n 前 篇 《 麦 克 船 长 ： L L M 革 命 前 夜 》 主 要 讲 的 是 L L M 发 展 的 神 经 网 络 模 型 一 路 如 何 走 到 T r a n s f o r m e r 的 ， 是 过 去 。 
 本 篇 《 麦 克 船 长 ： L L M 革 命 破 晓 》 讲 的 是 L L M 近 年 到 现 在 进 行 时 的 演 进 关 键 点 ， 是 当 下 。 
 再 后 续 ， 我 还 将 以 商 业 为 第 一 视 角 ， 与 大 家 一 起 探 讨 下 未 来 一 些 年 内 ， A G I 在 应 用 领 域 的 发 展 路 线 可 能 会 是 怎 样 的 ， 那 将 更 多 围 绕 推 演 和 畅 享 。 
 前 言 在 麦 克 船 长 上 一 篇 文 章 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 ， 我 们 介 绍 了 引 领 当 下 自 然 语 言 处 理 （ N a t u r a l L a n g u a g e P r o c e s s i n g ， N L P ） 领 域 的 基 础 模 型 T r a n s f o r m e r 。 
 但 是 2 0 1 7 年 G o o g l e 发 表 《 A t t e n t i o n i s A l l Y o u N e e d 》 论 文 介 绍 T r a n s f o r m e r 后 ， 经 过 了 五 年 才 让 我 们 用 到 C h a t G P T 这 样 惊 艳 的 文 本 生 成 A I 模 型 ， 这 中 间 发 生 的 变 化 值 得 我 们 一 窥 究 竟 。 
 本 文 试 图 解 答 两 个 问 题 ： 1 ） 从 T r a n s f o r m e r 问 世 后 ， 这 几 年 是 哪 些 关 键 技 术 出 现 使 得 主 流 语 言 模 型 （ L a n g u a g e M o d e l s ， L M ） 进 化 到 C h a t G P T 这 种 程 度 ？ 2 ） 近 几 年 大 型 语 言 模 型 （ L a r g e L M ， L L M ） 的 整 体 进 展 是 怎 样 的 ？ 本 文 的 受 众 ： 希 望 产 品 、 运 营 等 非 技 术 的 同 学 也 看 的 懂 ， 有 少 量 计 算 机 技 术 基 础 ， 且 大 致 对 《 麦 克 船 长 ： L L M 革 命 前 夜 》 所 述 基 础 模 型 有 粗 浅 了 解 的 朋 友 。 
 对 于 N L P 领 域 的 学 者 来 讲 ， 本 文 只 是 一 篇 易 于 理 解 的 解 读 综 述 。 
 本 文 包 括 这 几 部 分 内 容 ： 第 一 章 ， 初 步 了 解 自 然 语 言 处 理 的 任 务 、 方 法 和 模 型 ， 其 中 方 法 部 分 介 绍 了 近 些 年 直 到 当 下 N L P 的 几 个 技 术 范 式 转 换 阶 段 ， 模 型 方 面 最 好 你 有 阅 读 过 前 篇 《 麦 克 船 长 ： L L M 革 命 前 夜 》 。 
 第 二 章 ， 介 绍 了 2 0 1 8 2 0 2 1 年 L L M 关 键 发 展 节 点 与 主 流 模 型 ， 从 T r a n s f o r m e r 之 后 的 E L M o ， 到 G P T 1 、 B E R T 、 G P T 2 、 T 5 、 G P T 3 ， 以 及 S c a l i n g L a w 。 
 第 三 章 ， 探 究 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ） 的 应 用 （ P r o m p t E n g i n e e r i n g ） 、 底 层 假 设 和 原 理 探 究 ， 包 括 思 维 链 （ C o T ） 。 
 第 四 章 ， 介 绍 了 2 0 2 2 2 0 2 3 年 初 L L M 发 展 关 键 节 点 与 主 流 模 型 ， 延 续 前 面 对 G P T 的 探 讨 基 础 上 ， 一 起 看 下 I n s t r u c t G P T 、 C h a t G P T 以 及 近 期 出 现 的 一 些 其 他 L L M 。 
 第 五 章 ， 未 来 技 术 趋 势 的 关 注 重 点 ， 和 值 得 翻 阅 的 关 键 论 文 、 值 得 关 注 的 A I 机 构 、 值 得 关 注 的 博 客 或 T w i t t e r 账 号 。 
 阅 读 本 文 ， 先 对 你 过 往 的 基 础 知 识 做 了 一 些 假 设 ， 如 果 你 暂 未 了 解 ， 可 能 在 阅 读 时 遇 到 以 下 内 容 做 一 些 简 单 地 查 询 即 可 ： 对 人 工 神 经 网 络 有 一 点 点 基 础 ， 可 以 通 过 阅 读 麦 克 船 长 的 《 麦 克 船 长 ： L L M 革 命 前 夜 》 第 一 章 快 速 了 解 。 
 对 T r a n s f o r m e r 模 型 有 一 点 点 基 础 ， 可 以 通 过 阅 读 麦 克 船 长 的 《 麦 克 船 长 ： L L M 革 命 前 夜 》 第 二 章 快 速 了 解 。 
 本 文 第 一 章 是 关 于 自 然 语 言 处 理 的 任 务 、 学 习 训 练 方 法 、 语 言 模 型 基 础 的 一 些 背 景 知 识 ， 对 这 些 有 了 解 的 朋 友 可 以 直 接 跳 到 第 二 章 开 始 阅 读 。 
 希 望 本 文 能 够 以 一 种 按 图 索 骥 、 深 入 浅 出 的 方 式 让 大 多 数 同 学 能 了 解 到 当 下 火 热 的 L L M 这 几 年 都 在 发 生 什 么 。 
 由 于 麦 克 船 长 近 些 年 主 职 并 非 技 术 ， 因 此 本 文 内 容 抛 砖 引 玉 ， 若 有 错 误 纰 漏 ， 请 大 家 联 系 我 及 时 修 正 。 
 期 待 与 大 家 多 多 交 流 、 学 习 。 
 第 一 章 · 初 步 了 解 自 然 语 言 处 理 的 任 务 、 方 法 和 模 型 第 1 节 · 我 们 要 解 决 什 么 问 题 ： N L P 任 务 自 然 语 言 处 理 领 域 要 实 现 的 终 极 形 态 ， 就 是 让 机 器 按 照 人 类 偏 好 的 方 式 ， 与 人 类 通 过 语 言 文 字 高 效 交 互 。 
 而 人 类 高 等 文 明 中 「 最 高 等 」 的 那 部 分 文 明 ， 全 都 是 人 类 在 发 明 了 语 言 文 字 后 才 诞 生 的 — — 物 理 、 数 学 、 生 物 医 药 、 金 融 体 系 、 现 代 通 信 、 航 空 航 天 、 汽 车 工 业 、 计 算 机 科 学 等 等 。 
 而 绘 画 、 音 乐 等 视 听 刺 激 ， 更 多 来 自 本 能 。 
 因 此 这 里 麦 克 船 长 再 引 用 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 一 段 话 ： 从 第 一 性 原 理 角 度 讲 ， 生 成 图 片 的 应 用 广 度 ， 远 远 小 于 生 成 文 本 。 
 文 本 内 容 的 本 质 是 语 言 文 字 的 理 解 与 生 成 ， 人 类 历 史 有 6 0 0 万 年 ， 但 是 人 类 文 明 历 史 大 概 就 6 0 0 0 年 ， 文 明 的 大 发 展 出 现 在 近 2 0 0 0 多 年 的 原 因 ， 主 要 来 自 3 5 0 0 多 年 前 人 类 发 明 了 文 字 。 
 所 以 A I 生 成 文 本 ， 意 味 着 A I 可 以 用 人 类 熟 悉 的 方 式 （ 语 言 文 字 ） 与 人 类 高 效 协 作 ， 这 必 将 引 爆 生 产 力 革 命 。 
 而 这 必 将 深 入 影 响 电 商 、 内 容 、 游 戏 、 云 计 算 、 企 业 服 务 等 众 多 领 域 。 
 但 是 语 言 文 字 信 息 没 有 显 式 的 结 构 化 ， 其 中 还 有 大 量 的 语 言 学 问 题 ， 可 以 说 是 非 常 的 复 杂 。 
 也 是 在 相 当 长 时 间 里 ， N L P 领 域 企 图 完 全 解 构 人 类 的 语 言 文 字 的 所 有 细 节 ， 以 期 建 立 起 一 套 理 论 ， 就 像 数 学 一 样 ， 能 够 精 准 描 述 我 们 在 语 言 文 字 中 显 式 、 隐 式 包 含 的 信 息 。 
 这 就 是 人 工 智 能 领 域 的 符 号 主 义 （ S y m b o l i s m ） 路 线 ， 它 期 望 通 过 「 知 其 所 以 然 」 ， 进 而 「 知 其 然 」 。 
 而 另 一 个 路 线 则 是 希 望 机 器 像 人 类 一 样 ， 给 机 器 灌 输 一 些 文 本 信 息 后 ， 机 器 能 够 自 己 抽 取 其 中 的 特 征 信 息 ， 学 会 语 言 文 字 背 后 的 知 识 。 
 这 一 体 系 整 体 都 基 于 人 工 神 经 网 络 （ A r t i f i c i a l N e u r a l N e t w o r k s ） ， 将 多 个 神 经 网 络 层 以 某 种 机 制 连 接 起 来 形 成 一 套 架 构 ， 每 层 神 经 网 络 中 又 包 含 数 据 的 输 入 、 输 出 、 对 输 入 的 处 理 方 法 、 处 理 这 些 数 据 所 用 到 的 大 量 参 数 。 
 这 就 是 人 工 智 能 领 域 的 连 结 主 义 （ C o n n e c t i o n i s m ） 路 线 ， 它 期 望 先 让 机 器 「 知 其 然 」 ， 「 所 以 然 」 这 个 问 题 以 后 再 说 。 
 连 结 主 义 的 底 层 逻 辑 是 经 验 主 义 ， 其 交 付 物 是 一 大 堆 参 数 ， 但 是 i t w o r k s ！ 这 是 典 型 的 实 验 科 学 ， 如 果 A I 的 驱 动 是 工 业 应 用 的 话 ， 这 条 路 线 的 上 游 学 术 研 究 会 被 下 游 的 「 i t w o r k s 」 驱 动 着 跑 起 来 。 
 那 么 下 游 的 任 务 都 有 什 么 呢 ？ 1 . 1 、 相 当 长 时 间 里 ， N L P 领 域 都 有 大 量 细 分 任 务 由 于 N L P 领 域 面 对 的 问 题 太 过 庞 杂 ， 因 此 前 面 很 多 年 N L P 领 域 任 务 都 被 拆 分 的 非 常 细 ， 比 如 （ 下 列 任 务 大 家 看 个 感 觉 就 好 ， 暂 时 不 搞 懂 细 节 不 影 响 理 解 ） ： 命 名 实 体 识 别 （ N a m e d E n t i t y R e c o g n i t i o n ， N E R ） ： 比 如 对 于 输 入 语 句 「 擎 天 柱 回 到 赛 博 坦 」 得 到 输 出 「 B P E R , I P E R , E P E R , O , O , B L O C , I L O C , E L O C 」 ， 其 中 B 、 I 、 E 分 别 表 示 开 始 、 中 间 、 结 束 ， P E R 、 L O C 分 别 表 示 人 物 、 地 点 ， O 表 示 其 他 无 关 。 
 文 本 蕴 含 （ T e x t E n t a i l m e n t ） ： 比 如 对 于 文 本 T 「 我 在 杭 州 」 和 如 下 三 个 假 设 H 1 「 我 在 浙 江 」 、 H 2 「 我 在 上 海 」 、 H 3 「 我 是 杭 州 人 」 之 间 的 蕴 含 关 系 就 是 P o s i t i v e 、 N e g a t i v e 、 N e u t r a l ， 其 实 是 个 三 分 类 问 题 。 
 常 识 推 理 （ C o m m o n S e n s e R e a s o n i n g ） ： 比 如 一 个 测 试 L M 是 否 具 备 常 识 推 理 的 例 子 ， 在 句 子 A 「 奖 杯 无 法 放 进 到 箱 子 里 ， 因 为 它 太 了 」 中 的 「 它 」 指 的 谁 ？ 在 句 子 B 「 奖 杯 无 法 放 进 到 箱 子 里 ， 因 为 它 大 了 」 中 「 它 」 指 的 谁 ？ 。 
 问 答 （ Q u e s t i o n A n s w e r i n g ） 。 
 词 性 标 注 （ P O S T a g g i n g ） 。 
 情 感 分 析 （ S e n t i m e n t A n a l y s i s ， S A ） 。 
 自 然 语 言 推 理 （ N a t u r a l L a n g u a g e I n f e r e n c e ， N L I ） 。 
 总 结 摘 要 （ S u m m a r i z a t i o n ） 。 
 … … 太 多 细 分 任 务 了 ， 这 里 不 一 一 举 例 。 
 每 个 任 务 也 自 然 有 它 的 测 试 数 据 集 ， 由 研 究 人 员 开 发 出 新 的 任 务 解 法 （ 可 能 是 模 型 创 新 ， 也 可 能 是 训 练 方 法 创 新 ， 甚 至 是 一 些 小 t r i c k s ） 后 去 「 打 榜 」 ， 也 就 是 检 验 下 目 标 任 务 在 测 试 数 据 集 上 的 表 现 如 何 。 
 下 面 我 引 用 《 A C o m p r e h e n s i v e S u r v e y o n P r e t r a i n e d F o u n d a t i o n M o d e l s : A H i s t o r y f r o m B E R T t o C h a t G P T 》 一 文 中 对 N L P 领 域 数 据 集 的 汇 总 。 
 1 . 2 、 我 们 始 终 在 追 求 简 洁 优 雅 的 技 术 路 线 / 技 术 理 论 对 于 上 面 那 么 多 N L P 任 务 类 型 ， 大 致 上 我 们 可 以 把 自 然 语 言 处 理 ， 分 成 自 然 语 言 理 解 （ N a t u r a l L a n g u a g e U n d e r s t a n d i n g ， N L U ） 和 自 然 语 言 生 成 （ N a t u r a l L a n g u a g e G e n e r a t i o n ， N L G ） 两 大 类 ， 而 N L U 任 务 都 要 输 出 判 断 作 为 结 果 ， 离 散 的 判 断 就 是 分 类 （ C l a s s i f i c a t i o n ） 问 题 ， 连 续 的 判 断 就 是 回 归 （ R e g r e s s i o n ） 问 题 ， 但 是 回 归 问 题 最 终 也 基 本 会 转 换 为 分 类 问 题 。 
 因 此 可 以 说 N L P 领 域 的 任 务 主 要 就 是 分 类 、 生 成 。 
 分 类 任 务 （ C l a s s i f i c a t i o n T a s k s ） 更 进 一 步 细 分 ， 比 如 包 括 情 感 分 析 （ S e n t i m e n t A n a l y s i s ， S A ） 、 命 令 实 体 识 别 （ N a m e d E n t i t y R e c o g n i t i o n ， N E R ） 、 自 然 语 言 推 理 （ N a t u r a l L a n g u a g e I n f e r e n c e ， N L I ） 、 文 本 蕴 含 （ T e x t E n t a i l m e n t ） 、 词 性 标 注 （ P O S T a g g i n g ） 、 常 识 推 理 （ C o m m o n S e n s e R e a s o n i n g ） 等 等 。 
 生 成 任 务 （ G e n e r a t i o n T a s k s ） 更 进 一 步 细 分 ， 比 如 包 括 摘 要 （ S u m m a r i z a t i o n ） 、 机 器 翻 译 （ M a c h i n e T r a n s l a t i o n ） 等 等 。 
 一 方 面 ， 这 里 很 多 任 务 ， 其 实 都 不 是 最 终 任 务 ， 而 属 于 中 间 任 务 。 
 什 么 叫 中 间 任 务 ？ 就 是 为 了 完 成 现 实 中 生 产 生 活 中 的 某 项 任 务 ， 而 根 据 某 种 问 题 解 决 方 法 拆 解 出 来 的 某 个 过 程 目 标 下 的 任 务 。 
 N E R 、 P O S T a g g i n g 等 等 都 属 于 中 间 任 务 。 
 从 技 术 的 优 雅 发 展 角 度 看 ， 我 们 希 望 这 些 繁 杂 的 技 术 路 线 都 被 替 代 掉 。 
 另 一 方 面 ， 即 使 是 分 类 任 务 ， 最 终 也 要 有 输 出 。 
 那 么 如 果 对 分 类 任 务 做 一 些 改 造 ， 其 输 出 就 是 另 一 种 形 式 的 「 生 成 」 。 
 本 篇 会 提 到 的 T 5 模 型 在 这 条 路 线 上 的 研 究 领 域 具 有 关 键 意 义 。 
 所 以 回 到 本 篇 开 头 处 的 探 讨 ， 既 然 高 等 文 明 的 各 项 成 功 都 建 立 在 语 言 文 字 诞 生 的 基 础 上 ， 那 么 回 归 我 们 的 直 觉 ， 机 器 在 交 互 形 式 层 面 ， 如 果 能 对 语 言 文 字 进 行 听 说 读 写 ， 也 就 能 达 到 人 类 对 自 然 语 言 处 理 领 域 的 终 极 诉 求 。 
 听 和 读 是 输 入 ， 说 和 写 是 输 出 。 
 说 和 写 就 对 应 着 文 本 生 成 ， 而 能 「 正 确 地 」 说 和 写 就 意 味 着 已 经 能 「 正 确 地 」 听 和 读 了 ， 那 从 这 个 意 义 上 说 ， 自 然 语 言 处 理 是 不 是 就 等 价 于 文 本 生 成 问 题 ？ 是 这 样 吗 ？ 从 近 几 年 大 型 语 言 模 型 （ L a r g e L a n g u a g e M o d e l ， L L M ） 一 路 走 过 来 看 ， 似 乎 是 这 样 。 
 看 过 《 麦 克 船 长 ： L L M 革 命 前 夜 》 文 章 的 朋 友 们 应 该 还 记 得 ， 在 连 结 主 义 的 路 线 上 ， 人 工 神 经 网 络 的 基 础 模 型 架 构 是 如 何 从 统 计 语 言 模 型 （ S t a t i s t i c a l L a n g u a g e M o d e l s ） 发 展 为 神 经 语 言 模 型 （ N e u r a l L a n g u a g e M o d e l s ） ， 并 在 神 经 语 言 模 型 的 道 路 上 经 历 了 从 M L P 到 最 终 T r a n s f o r m e r 的 迭 代 演 化 。 
 T r a n s f o r m e r 问 世 后 几 乎 统 一 了 N L P 领 域 的 基 础 模 型 架 构 ， 而 一 代 又 一 代 的 模 型 在 这 几 年 时 间 里 大 爆 发 ， 向 通 用 人 工 智 能 （ A r t i f i c i a l G e n e r a l I n t e l l i g e n c e ） 方 向 加 速 推 进 了 N L P 的 进 程 ， 直 到 大 家 觉 得 几 乎 要 逼 近 奇 点 的 C h a t G P T 出 现 。 
 这 过 程 中 ， 解 决 N L P 问 题 的 技 术 思 路 是 怎 么 发 展 过 来 的 ？ 已 经 说 了 「 要 解 决 什 么 问 题 」 ， 所 以 接 下 来 我 们 要 开 始 探 讨 下 「 解 决 问 题 的 思 路 」 。 
 既 然 沿 着 连 结 主 义 的 人 工 神 经 网 络 往 前 走 ， 回 忆 下 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 我 们 提 到 的 神 经 网 络 的 基 本 研 究 范 式 。 
 先 要 把 文 本 转 换 为 一 组 组 的 数 字 （ 文 本 表 示 ， W o r d R e p r e s e n t a t i o n ） ， 再 由 计 算 机 寻 找 这 些 数 字 之 间 潜 在 关 联 （ 特 征 抽 取 ， F e a t u r e E x t r a c t i o n ） 去 优 化 参 数 （ 训 练 ， T r a i n i n g ） 得 到 一 个 模 型 ， 然 后 就 可 以 用 它 处 理 任 务 了 。 
 因 此 概 括 起 来 ， 解 决 问 题 的 思 路 就 变 成 了 如 何 设 计 模 型 架 构 、 设 计 学 习 方 法 。 
 模 型 架 构 （ M o d e l A r c h i t e c t u r e ） 的 设 计 ： 这 包 括 如 何 表 示 文 本 、 抽 取 文 本 特 征 、 以 及 围 绕 特 征 抽 取 对 输 入 / 输 出 的 各 种 处 理 方 法 。 
 学 习 方 法 （ L e a r n i n g M e t h o d s ） 的 设 计 ： 这 包 括 优 化 目 标 函 数 的 选 定 、 训 练 数 据 的 预 处 理 、 训 练 方 法 设 计 。 
 这 两 个 问 题 是 相 互 交 织 在 一 起 的 。 
 整 体 上 2 0 1 7 年 后 的 主 流 模 型 基 本 都 以 T r a n s f o r m e r 为 基 础 架 构 做 变 体 ， 但 是 模 型 如 何 学 习 则 经 历 了 很 大 的 范 式 转 换 。 
 第 2 节 · 解 决 问 题 的 思 路 之 方 法 ： 神 经 网 络 模 型 学 习 方 法 的 三 个 范 式 阶 段 如 果 你 了 解 前 篇 《 麦 克 船 长 ： L L M 革 命 前 夜 》 的 2 . 7 节 中 的 「 简 述 如 何 训 练 一 个 神 经 网 络 模 型 」 的 话 ， 下 面 我 们 可 以 看 下 基 于 此 ， N L P 领 域 在 几 个 阶 段 的 不 同 学 习 范 式 。 
 卡 耐 基 梅 隆 大 学 几 位 学 者 在 2 0 2 1 年 的 论 文 《 P r e t r a i n , P r o m p t , a n d P r e d i c t : A S y s t e m a t i c S u r v e y o f P r o m p t i n g M e t h o d s i n N a t u r a l L a n g u a g e P r o c e s s i n g 》 中 对 N L P 领 域 到 那 个 时 间 点 的 学 习 范 式 演 进 做 了 总 结 ， 我 在 其 基 础 上 做 了 一 些 修 改 ， 写 一 下 我 自 己 的 理 解 。 
 2 . 1 、 第 一 阶 段 ： 完 全 监 督 学 习 （ F u l l y S u p e r v i s e d L e a r n i n g ） 范 式 先 了 解 下 什 么 是 监 督 学 习 （ S u p e r v i s e d L e a r n i n g f o r N L P ） 。 
 拿 「 英 语 翻 译 成 中 文 」 这 个 机 器 翻 译 任 务 举 例 ， 最 容 易 想 到 的 就 是 如 果 我 们 知 道 很 多 正 确 的 「 输 入 的 英 语 x ， 对 应 的 翻 译 中 文 y 」 ， 其 中 y 一 般 叫 做 输 入 数 据 的 标 签 （ l a b e l ） 。 
 我 们 就 可 以 让 模 型 去 学 习 一 组 \ \ ( ^ n _ \ \ ) 这 样 的 数 据 ， 来 训 练 好 模 型 中 的 所 有 参 数 。 
 然 后 在 使 用 模 型 时 ， 直 接 面 向 目 标 任 务 的 英 文 输 入 x 通 过 模 型 输 出 中 文 翻 译 。 
 这 种 输 入 数 据 有 标 签 的 方 法 就 叫 监 督 学 习 ， 而 标 签 是 需 要 人 工 标 注 的 。 
 这 里 顺 便 提 一 下 ， 既 然 有 监 督 学 习 ， 相 应 地 还 有 ： 1 ） 非 监 督 学 习 （ U n s u p e r v i s e d L e a r n i n g ） ， 训 练 使 用 的 输 入 数 据 是 没 有 标 记 的 ； 2 ） 半 监 督 学 习 （ S e m i S u p e r v i s e d L e a r n i n g ） ， 则 是 用 少 量 有 标 记 的 数 据 和 大 量 无 标 记 的 数 据 训 练 模 型 ； 3 ） 自 监 督 学 习 （ S e l f S u p e r v i s e d L e a r n i n g ） 则 是 训 练 所 用 的 数 据 虽 然 没 有 标 记 ， 但 是 可 以 被 模 型 生 成 标 记 ， 一 般 采 用 自 监 督 学 习 的 典 型 N L P 任 务 是 语 言 建 模 。 
 早 期 的 N L P 模 型 还 是 统 计 模 型 时 就 有 监 督 学 习 方 法 ， 那 时 很 重 要 的 一 个 环 节 是 研 究 人 员 要 自 己 定 义 特 征 模 板 ， 进 而 抽 取 特 征 。 
 后 来 神 经 网 络 出 现 后 ， 通 过 M L P 、 C N N 、 R N N 、 L S T M 、 T r a n s f o r m e r 等 都 可 以 通 过 训 练 自 己 的 过 程 就 顺 便 又 比 较 黑 盒 地 抽 取 了 特 征 。 
 这 样 完 全 监 督 学 习 大 概 也 分 成 两 个 「 子 阶 段 」 ， 其 时 间 和 核 心 工 作 如 下 ： 非 神 经 网 络 的 完 全 监 督 学 习 （ F u l l y S u p e r v i s e d L e a r n i n g b a s e o n N o n N e u r a l N e t w o r k s ） ， 大 概 在 2 0 1 1 年 之 前 ， 核 心 工 作 则 聚 焦 在 了 特 征 工 程 （ F e a t u r e E n g i n e e r i n g ） 。 
 基 于 神 经 网 络 的 完 全 监 督 学 习 （ F u l l y S u p e r v i s e d L e a r n i n g b a s e o n N e u r a l N e t w o r k s ） ， 大 概 在 2 0 1 1 2 0 1 7 年 间 ， 这 一 阶 段 ， 我 们 把 特 征 抽 取 这 件 事 儿 交 给 了 模 型 自 己 （ 它 的 特 征 工 程 能 力 已 远 超 人 类 ） ， 而 核 心 工 作 变 成 了 如 何 设 计 、 优 化 出 适 合 目 标 任 务 的 模 型 架 构 ， 这 其 实 是 相 对 宏 观 地 来 调 节 特 征 抽 取 ， 例 如 M L P 、 C N N 、 R N N 、 L S T M 等 基 础 模 型 被 提 出 ， 都 有 其 各 自 特 点 适 应 不 同 的 任 务 。 
 2 . 2 、 第 二 阶 段 ： 预 训 练 （ P r e t r a i n ） 范 式 — — 为 了 更 好 的 泛 化 性 （ G e n e r a l i z a t i o n ） 完 全 监 督 学 习 的 范 式 非 常 不 优 雅 ， 一 方 面 上 游 标 注 数 据 难 搞 （ 记 作 「 短 板 一 」 ） ， 另 一 方 面 因 为 针 对 特 定 任 务 训 练 ， 所 以 下 游 使 用 时 只 能 对 特 定 任 务 起 作 用 （ 记 作 「 短 板 二 」 ） 。 
 这 两 个 显 著 的 短 板 ， 引 出 下 面 几 个 研 究 的 技 术 路 线 ， 跟 麦 克 船 长 一 起 从 逻 辑 上 来 理 解 一 下 。 
 思 路 一 ： 构 建 N L P 自 己 的 I m a g e N e t 。 
 针 对 「 短 板 一 」 是 比 较 为 难 的 ， 因 为 自 然 语 言 处 理 ( N L P ) 的 最 大 挑 战 之 一 就 是 训 练 标 注 数 据 的 匮 乏 ， 这 与 计 算 机 视 觉 （ C V ） 领 域 形 成 鲜 明 对 比 。 
 由 于 N L P 任 务 的 多 元 化 ， 因 此 研 究 人 员 都 在 面 向 不 同 任 务 领 域 ， 各 领 域 也 只 能 有 各 自 的 、 围 绕 目 标 任 务 的 标 记 数 据 ， 很 难 全 领 域 形 成 合 力 构 筑 统 一 的 、 海 量 的 训 练 标 记 数 据 。 
 然 而 ， 近 些 年 N L P 深 度 学 习 发 展 到 了 比 拼 大 模 型 的 阶 段 ， 这 些 大 模 型 对 有 标 注 的 大 数 据 量 有 极 度 的 渴 求 。 
 填 补 这 个 G A P 的 其 中 一 种 思 路 就 出 现 了 ： 搞 个 N L P 人 的 I m a g e N e t 。 
 I m a g e N e t 是 包 含 了 超 过 1 4 0 0 万 张 手 动 标 注 图 像 、 涵 盖 2 万 多 个 类 别 的 大 型 图 像 数 据 库 ， 这 一 直 让 N L P 领 域 研 究 人 员 非 常 羡 慕 搞 C V 的 ， 这 些 年 围 绕 「 N L P 的 I m a g e N e t 时 刻 到 来 」 的 说 法 不 少 ， 也 有 不 少 相 关 研 究 是 朝 这 个 方 向 努 力 ， 但 其 实 一 直 无 法 真 正 和 I m a g e N e t 相 提 并 论 。 
 思 路 二 ： 设 计 一 套 免 标 注 的 训 练 方 法 。 
 仍 然 是 沿 着 上 面 这 个 问 题 ， 但 是 填 补 这 个 G A P 的 想 法 是 ， 能 否 搞 出 一 套 无 标 注 数 据 （ 或 者 是 少 量 标 注 数 据 ） 也 能 训 练 的 方 法 。 
 思 路 三 ： 上 游 学 习 ， 下 游 迁 移 。 
 针 对 「 短 板 二 」 ， 针 对 特 定 任 务 训 练 的 模 型 ， 泛 化 性 都 很 差 。 
 那 么 能 否 把 针 对 \ \ ( \ \ t e x t _ 1 \ \ ) 任 务 训 练 出 的 模 型 \ \ ( \ \ t e x t \ \ ) ， 用 一 些 办 法 迁 移 到 \ \ ( \ \ t e x t _ 2 \ \ ) 上 也 能 跑 呢 ？ 所 以 就 有 了 「 迁 移 学 习 （ T r a n s f e r L e a r n i n g ） 」 。 
 思 路 四 ： 上 游 多 任 务 学 习 。 
 在 迁 移 学 习 的 路 线 里 ， 还 延 伸 出 一 个 思 路 ， 就 是 不 要 模 型 都 训 练 好 了 再 去 迁 移 ， 而 是 一 开 始 训 练 的 时 候 ， 就 让 模 型 \ \ ( \ \ t e x t \ \ ) 对 \ \ ( \ \ t e x t _ 1 \ \ ) 、 \ \ ( \ \ t e x t _ 2 \ \ ) 甚 至 到 \ \ ( \ \ t e x t _ n \ \ ) 一 起 训 练 ， 训 练 好 后 再 去 使 用 。 
 这 种 方 法 就 叫 「 多 任 务 学 习 （ M u l t i T a s k L e a r n i n g ） 」 。 
 2 . 2 . 1 、 这 四 个 思 路 的 交 汇 点 ： 「 预 训 练 微 调 」 学 习 范 式 本 小 节 标 题 已 经 剧 透 了 答 案 ， 但 我 们 还 是 按 照 逻 辑 思 路 理 一 下 。 
 上 船 ！ 我 们 先 看 「 思 路 三 」 和 「 思 路 四 」 。 
 两 个 思 路 都 是 把 学 习 过 程 分 成 了 两 个 阶 段 ， 三 是 希 望 学 过 某 个 任 务 的 模 型 ， 下 游 稍 微 调 整 一 下 （ 也 要 更 新 模 型 参 数 ） 后 也 会 解 决 另 一 个 任 务 。 
 但 四 是 对 三 的 进 一 步 发 展 ， 希 望 上 游 学 过 一 堆 任 务 后 ， 下 游 最 好 能 经 过 一 些 调 整 能 解 决 任 何 N L P 任 务 。 
 这 样 的 两 阶 段 学 学 习 方 法 ， 第 一 阶 段 叫 「 预 训 练 （ P r e t r a i n ） 」 ， 第 二 阶 段 叫 「 微 调 （ F i n e t u n e ） 」 。 
 我 们 再 说 「 思 路 二 」 ， 免 除 大 量 标 注 工 作 就 能 训 练 模 型 ， N L P 里 什 么 任 务 具 备 这 个 特 点 呢 ？ 就 是 文 本 生 成 任 务 ， 人 类 有 海 量 的 文 本 预 料 拿 来 把 任 意 一 段 话 、 一 句 话 做 截 断 ， 前 面 部 分 就 是 \ \ ( x \ \ ) ， 后 面 部 分 就 是 \ \ ( y \ \ ) ， 天 然 可 以 作 为 文 本 生 成 的 训 练 数 据 。 
 这 样 在 语 料 库 中 自 己 构 建 标 记 数 据 的 方 法 ， 叫 「 自 监 督 学 习 （ S e l f S u p e r v i s e d L e a r n i n g ） 」 ， 后 面 要 讲 到 的 G P T 1 就 是 这 样 做 的 。 
 但 是 这 样 是 不 是 只 能 解 决 「 文 本 生 成 」 任 务 ？ 这 就 与 我 们 前 面 在 1 . 2 节 聊 到 的 话 题 对 上 了 ， 第 二 章 开 始 讲 的 模 型 发 展 一 直 到 G o o g l e T 5 提 出 的 文 本 生 成 统 一 N L P 任 务 ， 就 是 在 回 答 这 个 问 题 。 
 最 后 看 下 ， 如 果 沿 着 「 思 路 一 」 搞 下 去 ， 先 说 结 论 ， 应 该 不 是 做 出 一 个 类 似 I m a g e N e t 的 什 么 W o r d N e t 、 T e x t N e t 之 类 的 数 据 库 ， 而 应 该 是 语 言 建 模 。 
 我 们 想 一 下 ， 人 类 对 图 像 、 文 本 的 理 解 使 用 是 不 同 的 。 
 对 于 图 像 ， 与 具 备 视 觉 感 受 器 的 生 物 的 原 始 本 能 有 关 ， 认 出 它 是 啥 是 人 类 最 朴 素 的 目 的 ， 然 后 用 于 人 脸 识 别 、 道 路 标 记 识 别 等 等 ， 核 心 是 一 种 「 识 别 」 能 力 。 
 而 对 于 文 本 ， 根 据 不 同 输 入 目 的 ， 给 予 不 同 的 输 出 反 馈 ， 例 如 分 类 、 总 结 、 回 答 等 等 ， 核 心 是 一 种 「 对 话 」 能 力 。 
 所 以 对 于 「 聚 焦 识 别 」 的 C V 领 域 ， 构 建 一 个 识 别 好 （ 即 标 注 好 ） 的 数 据 库 I m a g e N e t 是 好 的 解 法 ， 而 不 会 去 构 建 一 个 「 人 来 发 图 、 A I 回 复 个 图 」 的 「 斗 图 对 话 」 系 统 ， 或 者 基 于 其 他 什 么 核 心 能 力 的 系 统 ； 而 对 于 「 聚 焦 对 话 」 的 N L P 领 域 ， 构 建 一 个 识 别 好 的 文 本 数 据 库 并 非 好 的 解 法 ， 这 个 数 据 库 离 最 终 任 务 距 离 还 很 远 ， 而 需 要 的 是 一 个 「 能 对 话 」 的 文 本 系 统 ， 所 以 用 「 语 言 建 模 」 作 为 任 务 训 练 模 型 ， 然 后 下 游 再 执 行 具 体 任 务 ， 这 样 的 方 法 被 提 出 并 验 证 效 果 不 错 ， 此 后 逐 渐 成 为 预 训 练 的 基 本 范 式 。 
 四 个 思 路 所 提 出 的 问 题 和 逻 辑 推 演 ， 都 m a k e s e n s e 的 话 ， 这 些 就 引 导 者 学 界 和 业 界 的 人 们 走 向 了 同 一 个 方 向 ： 分 「 预 训 练 微 调 」 两 阶 段 的 训 练 方 法 ， 且 预 训 练 阶 段 的 任 务 是 语 言 建 模 。 
 预 训 练 微 调 （ P r e t r a i n a n d F i n e t u n e ） 学 习 范 式 ： 具 体 说 应 该 是 「 语 言 建 模 预 训 练 微 调 （ P r e t r a i n L M a n d F i n e t u n e ） 」 范 式 。 
 一 方 面 以 w o r d 2 v e c 、 G l o V e 等 一 系 列 文 本 表 示 方 法 在 推 动 「 预 训 练 」 先 用 文 本 表 示 做 语 言 建 模 ， 这 是 一 股 力 量 ， E L M o 在 2 0 1 8 年 的 出 现 是 这 种 思 路 发 展 的 一 个 巅 峰 ； 另 一 方 面 2 0 1 7 年 出 现 的 T r a n s f o r m e r 能 够 极 强 地 抽 取 文 本 特 征 进 而 更 好 地 通 过 语 言 建 模 完 成 预 训 练 ， G P T 1 、 B E R T 等 模 型 都 是 典 型 代 表 ， 尤 其 B E R T 把 这 种 范 式 下 的 N L P 研 究 推 向 了 一 个 高 潮 ， 下 面 我 在 本 篇 第 7 节 B E R T 部 分 会 详 细 讲 解 。 
 因 此 这 种 范 式 大 概 从 2 0 1 7 年 开 始 盛 行 ， 要 注 意 微 调 本 身 也 是 一 个 训 练 过 程 ， 需 要 更 新 模 型 参 数 。 
 这 个 阶 段 的 重 要 研 究 工 作 ， 在 于 下 游 微 调 任 务 的 目 标 优 化 ， 因 为 语 言 建 模 的 任 务 边 界 非 常 模 糊 ， 因 为 你 很 难 孤 立 地 用 某 一 个 语 料 集 ， 说 它 训 练 后 就 是 完 备 的 ， 不 需 要 任 何 其 他 语 料 补 充 。 
 要 实 现 一 个 使 用 体 验 较 好 的 语 言 建 模 ， 需 要 的 语 料 库 是 很 大 的 ， 相 应 地 ， 构 建 出 来 的 语 言 模 型 的 参 数 规 模 也 要 很 大 才 能 体 现 出 语 料 库 大 的 优 势 。 
 因 此 ， 大 语 言 模 型 （ L a r g e L a n g u a g e M o d e l s ， L L M ） 就 是 在 这 一 阶 段 被 提 出 的 。 
 2 . 2 . 2 、 解 决 L L M 微 调 成 本 高 的 问 题 ： 「 预 训 练 提 示 」 学 习 范 式 L L M 模 型 参 数 规 模 非 常 大 ， 以 大 家 熟 悉 的 2 0 2 0 年 出 现 的 G P T 3 为 例 ， 模 型 参 数 就 达 到 了 1 7 5 0 亿 个 。 
 这 样 下 游 再 去 「 微 调 」 时 ， 针 对 一 个 特 定 任 务 ， 都 要 更 新 一 个 巨 大 的 模 型 ， 成 本 就 有 点 高 了 。 
 变 相 地 拉 高 了 「 预 训 练 微 调 」 范 式 的 泛 化 成 本 。 
 如 果 面 对 下 游 任 务 时 ， 不 用 更 新 参 数 就 好 了 — — 也 就 是 预 训 练 之 后 不 用 微 调 。 
 能 实 现 吗 ？ 2 0 1 8 、 2 0 1 9 年 在 这 方 面 的 探 索 蛮 多 的 ， 例 如 S a l e s f o r c e R e s e a r c h 在 2 0 1 8 年 6 月 、 D e e p M i n d 在 2 0 1 9 年 1 月 、 O p e n A I 在 2 0 1 9 年 2 月 都 提 出 了 这 方 面 类 似 的 论 断 ： 语 言 模 型 应 该 可 以 解 决 一 切 文 本 任 务 。 
 麦 克 船 长 会 在 本 篇 第 8 节 G P T 2 部 分 重 点 讲 到 。 
 这 里 隐 含 着 语 言 模 型 从 大 量 语 料 里 「 隐 式 地 」 学 到 了 很 多 任 务 该 怎 么 做 。 
 既 然 学 到 了 ， 下 游 可 能 就 不 用 微 调 了 ， 但 是 你 可 能 需 要 给 出 一 些 「 显 式 」 的 提 醒 来 唤 醒 模 型 学 到 的 「 隐 式 」 任 务 概 念 ， 这 就 是 预 训 练 范 式 下 的 第 二 个 阶 段 ： 预 训 练 提 示 （ P r e t r a i n a n d P r o m p t ） 学 习 范 式 ： 同 样 也 可 以 具 体 说 成 是 「 语 言 建 模 预 训 练 提 示 」 范 式 ， 举 例 来 说 比 如 你 在 使 用 模 型 时 输 入 「 北 京 ， 中 国 ； 纽 约 ， 美 国 ； 大 阪 ， 日 本 ； 悉 尼 ， X X X 。 
 X X X 应 该 是 什 么 ？ 」 ， 模 型 输 出 「 澳 大 利 亚 」 ， 这 个 输 入 的 部 分 就 是 「 提 示 （ P r o m p t ） 」 。 
 P r o m p t 与 F i n e t u n e 最 大 的 区 别 ， 是 P r o m p t 是 不 更 新 模 型 参 数 的 ， 这 是 一 种 「 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ， I C L ） 」 能 力 ， 这 是 一 个 非 常 重 要 的 议 题 ， 因 此 本 篇 第 四 章 将 用 一 整 章 来 探 讨 I C L 。 
 这 样 就 从 让 预 训 练 模 型 经 过 「 微 调 」 的 笨 重 方 式 去 缩 短 与 下 游 任 务 距 离 的 范 式 ， 切 换 到 了 让 下 游 任 务 经 过 「 提 示 」 的 轻 便 方 式 去 缩 短 与 预 训 练 模 型 的 距 离 。 
 这 个 「 预 训 练 提 示 」 范 式 以 2 0 1 9 年 登 场 的 G P T 2 模 型 开 始 为 代 表 ， 到 G P T 3 推 出 后 被 推 向 了 顶 峰 ， 尤 其 到 了 2 0 2 1 年 ， 甚 至 衍 生 出 了 「 提 示 工 程 （ P r o m p t E n g i n e e r i n g ） 」 。 
 围 绕 于 此 的 研 究 论 文 也 井 喷 式 出 现 （ 下 图 引 用 自 p r e t r a i n . n l p e d i t . a i ） ： 2 . 2 . 3 、 特 定 领 域 的 更 优 解 ： 「 预 训 练 微 调 提 示 」 学 习 范 式 对 于 现 实 中 特 定 领 域 的 实 际 应 用 来 说 ， 比 如 法 律 、 客 服 、 医 疗 等 领 域 ， 在 「 预 训 练 提 示 」 的 范 式 上 也 加 上 针 对 特 定 领 域 的 一 些 训 练 数 据 来 微 调 ， 应 用 效 果 会 更 进 一 步 提 高 ， 因 此 也 出 现 了 这 样 的 范 式 ： 预 训 练 微 调 提 示 （ P r e t r a i n , F i n e t u n e a n d P r o m p t ） 学 习 范 式 ： O p e n A I 在 开 放 G P T 3 A P I 后 ， 也 推 出 了 f i n e t u n e 的 A P I ， 不 过 后 者 价 格 就 贵 多 了 ， 而 且 把 f i n e t u n e 、 使 用 两 个 环 节 分 开 收 费 ， 具 体 费 用 汇 总 可 以 看 《 A I 应 用 第 一 次 大 爆 发 来 了 ： 一 文 入 门 C h a t G P T 官 方 A P I 文 档 解 读 》 第 一 部 分 的 第 5 小 节 「 定 价 」 。 
 虽 然 会 有 上 面 说 的 「 微 调 L L M 成 本 高 」 的 问 题 ， 但 是 对 于 商 业 化 的 应 用 领 域 ， L L M 带 来 的 A I 性 能 显 著 提 升 ， 是 值 得 用 微 调 成 本 换 取 商 业 收 益 的 ， 而 且 通 常 这 些 领 域 还 有 私 有 数 据 授 权 的 问 题 ， 比 如 2 0 2 3 年 3 月 M e t a 放 出 L L a M A 并 提 供 预 训 练 好 的 模 型 下 载 后 ， 业 界 很 多 人 在 其 上 开 始 使 用 自 己 的 商 业 敏 感 数 据 进 行 微 调 再 提 供 服 务 。 
 2 . 3 、 第 三 阶 段 ： 「 预 训 练 人 工 反 馈 强 化 学 习 提 示 （ P r e t r a i n , R L H F a n d P r o m p t ） 」 学 习 范 式 发 展 到 「 预 训 练 」 范 式 阶 段 ， 还 有 什 么 显 而 易 见 的 问 题 ？ 第 一 是 预 训 练 语 言 模 型 对 数 据 、 模 型 、 算 力 的 要 求 都 太 高 了 ， 就 像 当 年 计 算 机 刚 出 来 时 候 占 满 一 栋 楼 一 样 。 
 第 二 是 L L M 没 有 与 人 类 的 价 值 观 、 道 德 伦 理 等 方 面 对 齐 ， 存 在 风 险 ， 因 此 需 要 推 进 h e l p f u l 、 h a r m l e s s 、 h o n e s t 的 模 型 出 现 ， 这 就 是 「 对 齐 （ A l i g n m e n t ） 」 议 题 。 
 由 于 L L M 能 力 太 强 ， 因 此 带 来 的 负 面 影 响 亟 需 兜 底 策 略 ， 否 则 可 能 会 对 人 工 智 能 领 域 发 展 带 来 毁 灭 式 的 巨 大 风 险 ， 所 以 对 齐 问 题 的 优 先 级 从 「 预 训 练 」 范 式 蓬 勃 发 展 后 就 变 得 异 常 之 高 ， 也 就 引 出 了 第 三 阶 段 的 范 式 。 
 而 第 二 阶 段 的 范 式 热 潮 几 乎 一 直 延 续 到 现 在 （ 本 篇 初 步 成 文 于 2 0 2 3 年 1 月 春 节 期 间 ， 后 又 做 内 容 补 充 发 表 ） ， 但 是 与 之 交 叠 在 一 起 出 现 的 新 范 式 是 2 0 2 2 上 半 年 ， 在 「 预 训 练 提 示 」 的 基 础 上 增 加 了 「 人 工 反 馈 强 化 学 习 」 来 通 过 人 工 干 预 解 决 对 齐 问 题 ， 主 流 模 型 里 I n s t r u c t G P T 是 率 先 这 样 训 练 的 ， 我 会 在 本 篇 的 第 1 8 节 I n s t r u c t G P T 部 分 详 细 介 绍 对 齐 相 关 议 题 。 
 这 里 我 们 继 续 讨 论 范 式 。 
 先 了 解 下 什 么 是 「 强 化 学 习 （ R e i n f o r c e m e n t L e a r n i n g ） 」 。 
 强 化 学 习 就 类 似 人 类 的 考 试 ， 是 有 一 套 标 准 答 案 （ 叫 「 奖 励 模 型 （ R e w a r d M o d e l ） 」 来 评 判 A I 学 习 效 果 的 。 
 监 督 学 习 在 训 练 时 ， 是 模 型 针 对 x 给 出 的 输 出 值 被 拿 去 与 标 签 y 对 比 计 算 损 失 ， 进 而 优 化 模 型 参 数 ； 而 强 化 学 习 在 训 练 时 ， 是 模 型 针 对 x 给 出 的 输 出 被 拿 去 由 环 境 反 馈 评 价 ， 进 而 优 化 模 型 参 数 。 
 要 将 人 的 伦 理 道 德 观 念 注 入 给 L L M ， 所 以 强 化 学 习 中 的 环 境 反 馈 就 是 「 人 工 反 馈 」 了 ， 因 此 「 人 工 反 馈 的 强 化 学 习 （ R e i n f o r c e m e n t L e a r n i n g w i t h H u m a n F e e d b a c k ， R L H F ） 」 被 引 入 「 预 训 练 提 示 」 范 式 中 ， 变 成 了 ： 预 训 练 人 工 反 馈 强 化 学 习 提 示 （ P r e t r a i n , R L H F a n d P r o m p t ） 学 习 范 式 ： R L H F 方 法 最 早 由 O p e n A I 在 2 0 1 7 年 论 文 《 D e e p r e i n f o r c e m e n t l e a r n i n g f r o m h u m a n p r e f e r e n c e s 》 中 提 出 ， 后 来 G P T 2 、 G P T 3 相 继 发 布 后 出 现 了 虚 假 新 闻 、 教 唆 犯 罪 、 消 极 暗 示 等 大 量 使 用 G P T 系 列 的 负 面 案 例 ， 于 是 O p e n A I 开 始 重 视 A l i g n m e n t 并 最 终 在 2 0 2 2 年 上 半 年 的 I n s t r u c t G P T 上 引 入 R L H F 方 法 对 齐 人 类 道 德 伦 理 ， 起 到 很 好 的 效 果 ， 后 来 这 也 被 迭 代 回 了 G P T 3 中 以 保 障 A P I 调 用 时 遵 循 人 类 道 德 伦 理 观 念 。 
 这 套 范 式 也 被 用 于 大 家 熟 悉 的 C h a t G P T 中 ， 成 为 了 目 前 的 主 流 范 式 。 
 与 第 二 阶 段 类 似 的 ， 对 于 特 定 领 域 应 用 ， 也 可 以 下 游 的 f i n e t u n e ， 以 期 进 一 步 提 升 效 果 ， 即 如 下 范 式 ： 预 训 练 人 工 反 馈 强 化 学 习 微 调 提 示 （ P r e t r a i n , R L H F , F i n e t u n e a n d P r o m p t ） 学 习 范 式 ： 预 训 练 人 工 反 馈 强 化 学 习 ， 都 是 上 游 阶 段 ， 微 调 和 提 示 属 于 下 游 阶 段 。 
 目 前 提 供 f i n e t u n e 的 G P T A P I 背 后 的 G P T 模 型 也 是 有 R L H F 的 ， 已 经 不 是 最 初 没 有 考 虑 a l i g n m e n t 的 G P T 版 本 了 。 
 可 以 看 到 G P T 官 方 A P I 文 档 中 有 M o d e r a t i o n A P I 第 3 节 · 解 决 问 题 的 思 路 之 模 型 ： 初 识 预 训 练 语 言 模 型 语 言 模 型 （ L a n g u a g e M o d e l ） 就 是 词 序 列 的 概 率 分 布 ， 因 为 在 给 定 词 序 列 后 能 预 测 下 一 个 词 ， 所 以 语 言 模 型 本 身 任 务 就 是 文 本 生 成 。 
 按 照 技 术 路 线 ， 可 以 分 为 统 计 语 言 模 型 （ S t a t i s t i c a l L a n g u a g e M o d e l ） 和 神 经 语 言 模 型 （ N e u r a l L a n g u a g e M o d e l ） 。 
 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 提 到 的 N 元 文 法 就 属 于 统 计 语 言 模 型 ， M L P 、 C N N 、 R N N 、 L S T M 、 T r a n s f o r m e r 等 等 都 属 于 神 经 语 言 模 型 。 
 本 篇 第 3 节 提 到 ， 从 第 二 阶 段 的 「 预 训 练 」 范 式 成 为 主 流 开 始 一 直 到 当 下 ， N L P 领 域 在 模 型 架 构 上 的 探 讨 ， 就 变 成 了 如 何 打 造 一 个 更 强 有 力 抽 取 语 言 特 征 并 生 成 文 本 的 语 言 模 型 问 题 。 
 目 前 主 流 语 言 模 型 已 经 全 面 拥 抱 T r a n s f o r m e r ， 甚 至 可 以 说 N L P 乃 至 很 多 其 他 A I 领 域 也 都 拥 抱 了 T r a n s f o r m e r 。 
 T r a n s f o r m e r 变 体 而 来 的 语 言 模 型 ， 有 如 下 这 几 类 （ 下 图 引 用 自 L i u e t a l . , 2 0 2 1 ） 。 
 有 些 文 献 里 ， 比 如 G o o g l e 的 T 5 论 文 中 （ R a f f e l e t a l . 2 0 1 9 ） 没 有 把 M a s k e d L M （ 或 叫 A u t o E n c o d i n g L M ） 看 做 语 言 模 型 ， 只 把 最 后 有 自 左 向 右 根 据 x 输 出 y 的 当 做 了 语 言 模 型 ， 从 这 点 上 说 其 他 三 个 模 型 从 右 侧 看 都 是 这 样 。 
 自 回 归 语 言 模 型 （ A u t o R e g r e s s i v e L a n g u a g e M o d e l s ） 也 被 一 些 文 献 叫 做 「 从 左 到 右 语 言 模 型 （ L e f t t o R i g h t L M ） 」 会 用 已 生 成 的 预 测 结 果 做 后 续 新 的 预 测 ， 简 单 说 就 是 「 G u e s s t h e N e x t 」 ， 然 后 把 生 成 的 词 再 放 回 到 输 入 里 组 成 新 的 输 入 继 续 G u e s s t h e N e x t ， 从 而 使 模 型 的 注 意 力 都 集 中 在 前 面 的 文 本 上 ， 从 注 意 力 机 制 上 说 就 是 C a s u a l M u l t i H e a d S e l f A t t e n t i o n 。 
 T r a n s f o r m e r X L 、 X L N e t 、 O p e n A I 的 G P T 系 列 都 属 于 自 回 归 模 型 。 
 自 回 归 模 型 需 要 学 习 各 词 、 各 词 组 的 文 本 内 部 依 赖 关 系 。 
 从 自 回 归 模 型 的 定 义 你 可 以 看 出 ， 文 本 生 成 就 是 一 个 典 型 的 要 使 用 自 回 归 模 型 的 任 务 。 
 曾 经 一 度 N L P 领 域 还 会 像 上 面 那 样 把 文 本 拆 分 的 很 细 ， 在 所 有 任 务 都 可 以 转 换 成 文 本 生 成 文 本 任 务 的 思 想 统 一 N L P 江 湖 后 ， 你 就 知 道 自 回 归 模 型 其 实 有 着 最 强 大 的 潜 力 。 
 T h e w a y A u t o R e g r e s s i o n M o d e l s a c t u a l l y w o r k i s t h a t a f t e r e a c h t o k e n i s p r o d u c e d , t h a t t o k e n i s a d d e d t o t h e s e q u e n c e o f i n p u t s . A n d t h a t n e w s e q u e n c e b e c o m e s t h e i n p u t t o t h e m o d e l i n i t s n e x t s t e p . T h i s i s a n i d e a c a l l e d “ A u t o R e g r e s s i o n ” . — — C i t e d f r o m j a l a m m a r . g i t h u b . i o 自 编 码 语 言 模 型 （ A u t o E n c o d i n g L a n g u a g e M o d e l s ） 是 通 过 破 坏 文 本 再 尝 试 恢 复 来 学 习 语 言 的 ， 简 单 说 就 是 「 完 形 填 空 」 ， 会 用 掩 码 （ M a s k ， 跟 计 算 机 网 络 里 说 的 掩 码 是 一 回 事 儿 ） 挖 掉 训 练 预 测 的 词 ， 所 以 涉 及 到 怎 么 挖 （ 破 坏 方 法 C o r r u p t i o n ） 、 挖 多 少 （ 破 坏 比 率 C o r r u p t i o n R a t e ） 、 挖 多 长 （ 破 坏 长 度 C o r r u p t i o n L e n g t h ） ， 对 这 类 C o r r u p t i o n 的 实 验 可 以 看 本 文 T 5 模 型 的 第 3 小 节 。 
 也 因 此 这 类 模 型 也 叫 掩 码 语 言 模 型 （ M a s k e d L a n g u a g e M o d e l s ， M L M ） ， 或 者 掩 蔽 语 言 模 型 。 
 从 注 意 力 机 制 上 说 ， 是 M a s k e d M u l t i H e a d S e l f A t t e n t i o n 。 
 相 比 自 回 归 模 型 ， 自 编 码 模 型 的 学 习 过 程 ， 能 看 到 待 预 测 词 的 前 后 内 容 ， 所 以 对 文 本 的 理 解 是 更 深 入 的 ， 在 同 等 成 本 的 情 况 下 理 论 上 自 编 码 模 型 对 文 本 的 分 类 、 回 归 方 面 的 N L U 问 题 会 有 更 好 性 能 表 现 。 
 典 型 的 自 编 码 模 型 有 B E R T 、 E R N I E 、 A L B E R T 、 R o B E R T a 、 D i s t i l B E R T 、 C o n v B E R T 、 X L M 、 X L M R o B E R T a 、 F l a u B E R T 、 E L E C T R A 、 F u n n e l T r a n s f o r m e r 。 
 前 缀 语 言 模 型 （ P r e f i x L M ） ： 也 算 是 L e f t t o R i g h t 模 式 的 ， 但 是 与 自 回 归 语 言 模 型 相 比 ， 前 缀 语 言 模 型 在 抽 取 输 入 文 本 特 征 时 用 了 F u l l y V i s i b l e M a s k （ E n c o d e r 用 的 掩 码 ， 能 看 到 「 过 去 」 和 「 未 来 」 ） 而 不 是 F u t u r e M a s k （ D e c o d e r 用 的 掩 码 ， 只 能 看 到 「 过 去 」 ） ， 而 生 成 本 文 部 分 则 与 自 回 归 语 言 模 型 一 样 ， 只 看 到 左 侧 。 
 从 注 意 力 机 制 上 讲 ， 用 到 了 M a s k e d M u l t i H e a d S e l f A t t e n t i o n 和 C a s u a l M u l t i H e a d S e l f A t t e n t i o n 。 
 采 用 此 架 构 的 模 型 有 U n i L M （ D o n g e t a l . , 2 0 1 9 ） 、 U n i L M v 2 （ B a o e t a l . , 2 0 2 0 ） 、 E R N I E M （ O u y a n g e t a l . , 2 0 2 0 ） 。 
 编 码 器 解 码 器 语 言 模 型 （ E n c o d e r D e c o d e r L M ） 是 把 T r a n s f o r m e r 的 E n c o d e r 和 D e c o d e r 都 包 括 在 内 。 
 其 注 意 力 机 制 ， E n c o d e r 部 分 是 M a s k e d M u l t i H e a d S e l f A t t e n t i o n ， D e c o d e r 部 分 是 C a s u a l M u l t i H e a d C r o s s A t t e n t i o n 和 C a s u a l M u l t i H e a d S e l f A t t e n t i o n 兼 具 。 
 典 型 的 E n c o d e r D e c o d e r 语 言 模 型 有 B A R T （ L e w i s e t a l . , 2 0 2 0 a ） 、 T 5 （ R a f f e l e t a l , 2 0 2 0 ） 、 M A S S （ S o n g e t a l . , 2 0 1 9 ） 。 
 本 小 节 参 考 h t t p s : / / a r x i v . o r g / a b s / 2 1 0 7 . 1 3 5 8 6 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 3 9 5 1 1 5 7 7 9 h t t p : / / p r e t r a i n . n l p e d i a . a i h t t p s : / / a r x i v . o r g / a b s / 1 9 0 5 . 0 2 4 5 0 h t t p : / / p r e t r a i n . n l p e d i a . a i / d a t a / p d f / p l m . p d f h t t p s : / / l i f e a r c h i t e c t . a i / c h a t g p t / h t t p s : / / h u g g i n g f a c e . c o / d o c s / t r a n s f o r m e r s / m o d e l _ s u m m a r y h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 6 0 8 0 4 7 0 5 2 h t t p s : / / a r x i v . o r g / a b s / 1 9 0 5 . 0 3 1 9 7 h t t p s : / / a r x i v . o r g / a b s / 2 0 0 2 . 1 2 8 0 4 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 4 2 4 6 3 1 6 8 1 h t t p s : / / a r x i v . o r g / a b s / 1 9 1 0 . 1 0 6 8 3 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 1 9 8 9 6 4 2 1 7 h t t p s : / / a r x i v . o r g / a b s / 1 9 1 0 . 1 3 4 6 1 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 3 9 5 1 1 5 7 7 9 h t t p s : / / w e b . s t a n f o r d . e d u / c l a s s / a r c h i v e / c s / c s 2 2 4 n / c s 2 2 4 n . 1 1 8 4 / l e c t u r e s / l e c t u r e 1 7 . p d f h t t p s : / / s p e e c h . e e . n t u . e d u . t w / ~ h y l e e / m l / 2 0 2 1 s p r i n g . p h p h t t p s : / / a r x i v . o r g / a b s / 1 3 0 1 . 3 7 8 1 h t t p s : / / a r x i v . o r g / a b s / 2 0 1 2 . 1 5 6 7 4 第 二 章 · L L M 关 键 发 展 节 点 与 主 流 模 型 （ 2 0 1 8 2 0 2 1 ） 第 4 节 · T r a n s f o r m e r （ 2 0 1 7 年 6 月 ） 麦 克 船 长 在 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 讲 述 了 N L P 领 域 基 础 模 型 如 何 发 展 出 T r a n s f o r m e r 的 。 
 T r a n s f o r m e r 最 初 只 不 过 想 解 决 机 器 翻 译 问 题 ， 输 入 A 语 言 的 文 本 序 列 ， 输 出 B 语 言 的 文 本 序 列 ， 但 其 强 大 的 能 力 让 其 几 乎 正 在 统 一 A I 个 研 究 领 域 。 
 T r a n s f o r m e r 模 型 的 最 大 亮 点 有 两 方 面 ： 特 征 提 取 能 力 强 ： 捕 获 更 大 范 围 内 的 语 言 结 构 （ C a p t u r e l o n g e r r a n g e l i n g u i s t i c s t r u c t u r e ） 。 
 非 常 好 的 并 行 性 。 
 T r a n s f o r m e r 由 E n c o d e r 和 D e c o d e r 组 成 ， 其 诞 生 之 后 各 主 流 语 言 模 型 要 么 基 于 E n c o d e r ， 大 致 结 构 示 意 如 下 ： 要 么 基 于 D e c o d e r ， 大 致 结 构 示 意 如 下 ： 要 么 基 于 E n c o d e r 和 D e c o d e r 整 体 ， 比 如 G o o g l e 推 出 的 T 5 。 
 如 果 想 搞 懂 T r a n s f o r m e r E n c o d e r D e c o d e r 结 构 再 继 续 阅 读 本 文 的 话 ， 建 议 先 看 《 麦 克 船 长 ： L L M 革 命 前 夜 》 。 
 如 果 你 已 经 大 致 了 解 了 ， 后 续 提 到 E n c o d e r 、 D e c o d e r 部 分 则 不 会 有 疑 问 ， 请 跟 随 麦 克 船 长 继 续 下 去 啦 。 
 第 5 节 · E L M o ： 词 所 在 的 上 下 文 很 重 要 （ 2 0 1 8 年 2 月 ） 尽 管 在 2 0 1 7 年 的 T r a n s f o r m e r 之 后 第 一 个 在 N L P 圈 子 里 爆 火 的 模 型 是 E L M o ， 但 它 并 不 是 基 于 T r a n s f o r m e r 架 构 。 
 甚 至 现 在 回 头 看 它 的 核 心 价 值 都 不 是 完 成 目 标 任 务 方 面 的 出 色 程 度 ， 而 是 词 的 表 示 （ W o r d P r e s e n t a t i o n ） ， 但 它 对 于 双 向 语 言 模 型 、 词 向 量 等 的 后 续 发 展 都 产 生 了 很 大 影 响 。 
 需 要 提 一 下 的 是 ， E L M o 的 作 者 们 在 2 0 1 7 年 时 提 出 过 「 T a g L M 」 模 型 ， 其 思 路 在 E L M o 推 出 后 回 头 来 看 算 是 一 个 过 渡 阶 段 的 思 考 方 案 ， E L M o 对 其 思 路 方 向 是 一 个 完 善 。 
 这 一 阶 段 的 一 系 列 模 型 （ T a g L M 、 E L M o 、 U L M F i T 等 ） ， 概 括 起 来 都 是 在 从 W o r d E m b e d d i n g s 升 级 为 更 先 进 的 E m b e d d i n g s 。 
 我 们 还 是 重 点 讲 解 下 最 受 认 可 且 结 构 简 单 清 爽 的 E L M o 语 言 模 型 ， 先 看 下 E L M o 解 决 的 最 核 心 问 题 ： 一 词 多 义 。 
 5 . 1 、 一 词 多 义 问 题 无 论 是 w o r d 2 v e c 还 是 G l o V e ， 对 于 多 义 词 始 终 没 有 处 理 好 。 
 这 些 词 嵌 入 （ W o r d E m b e d d i n g s ） 方 法 都 是 在 语 料 库 中 词 之 间 的 共 现 （ c o o c c u r r e n c e ） 统 计 进 行 预 训 练 的 。 
 比 如 下 面 这 个 例 子 中 ， k i n g 和 q u e e n 就 会 得 到 完 全 一 样 的 w o r d e m b e d d i n g ： 尽 管 这 被 G l o V e 方 法 考 虑 更 大 范 围 词 频 共 现 后 一 定 程 度 解 决 了 （ 没 有 完 全 解 决 ） 。 
 然 而 另 外 一 个 问 题 才 是 最 致 命 的 ， 就 是 对 任 何 一 个 词 ， 这 类 方 法 都 是 采 用 固 定 的 向 量 ， 完 全 没 有 考 虑 上 下 文 语 境 — — 换 句 话 说 ， 一 词 多 义 问 题 无 法 解 决 ， 比 如 ： 那 为 什 么 不 考 虑 上 下 文 呢 ？ 实 际 上 ， 到 2 0 1 8 年 初 那 个 时 间 点 ， 主 流 的 语 言 模 型 基 本 都 只 看 单 向 的 上 下 文 ， 即 上 文 （ L e f t C o n t e x t ） 或 者 下 文 （ R i g h t C o n t e x t ） 。 
 这 与 人 类 在 自 然 语 言 理 解 （ N a t u r a l L a n g u a g e U n d e r s t a n d i n g ， N L U ） 上 的 真 正 方 式 — — 上 下 文 双 向 理 解 — — 是 不 一 样 的 。 
 于 是 很 自 然 的 问 题 就 是 ， 实 现 一 个 双 向 的 语 言 模 型 呀 ？ 那 为 什 么 一 直 到 2 0 1 8 年 语 言 模 型 还 都 是 单 向 的 ？ 5 . 2 、 S e e T h e m s e l v e s 问 题 B E R T 作 者 J a c o b D e v l i n 总 结 过 「 到 2 0 1 8 年 时 为 什 么 主 流 语 言 模 型 一 直 未 出 现 双 向 」 的 原 因 ： W o r d s c a n “ s e e t h e m s e l v e s ” . 这 个 问 题 就 是 S e e T h e m s e l v e 问 题 ， 也 被 一 些 人 叫 做 S e e I t s e l f 问 题 ， 就 是 在 预 训 练 的 词 向 量 生 成 过 程 中 ， 当 学 习 输 入 的 文 本 语 料 时 ， 其 中 已 经 包 含 了 自 己 ， 则 在 词 表 示 上 形 成 了 递 归 ， 如 下 图 则 是 对 这 个 问 题 的 抽 象 表 示 （ 左 侧 是 单 向 L M ， 右 侧 是 双 向 L M ） ： 那 么 是 否 存 在 可 以 解 决 S e e T h e m s e l v e s 问 题 的 双 向 模 型 呢 ？ 5 . 3 、 E L M o ： 基 于 两 个 单 向 L S T M 的 语 言 模 型 2 0 1 8 年 2 月 A I 2 （ A l l a n I n s t i t u t i o n f o r A I ） 在 论 文 《 D e e p c o n t e x t u a l i z e d w o r d r e p r e s e n t a t i o n s 》 中 提 出 了 E L M o 模 型 。 
 该 论 文 同 时 被 I C L R 、 N A A C L 接 受 ， 并 获 得 N A A C L 最 佳 论 文 奖 。 
 E L M o 是 「 E m b e d d i n g s f r o m L a n g u a g e M o d e l 」 的 意 思 ， 也 是 呼 应 美 国 知 名 儿 童 电 视 节 目 《 芝 麻 街 》 里 的 角 色 E l m o ， 这 样 给 模 型 起 名 是 比 较 容 易 口 口 相 传 的 。 
 E L M o 会 根 据 上 下 文 信 息 给 一 个 词 编 码 出 一 个 词 向 量 。 
 这 样 类 似 下 面 的 b a n k 在 两 个 句 子 中 含 义 不 同 ， 则 有 不 同 的 词 向 量 ： 这 样 的 词 表 示 方 法 在 《 L i n g u i s t i c K n o w l e d g e a n d T r a n s f e r a b i l i t y o f C o n t e x t u a l R e p r e s e n t a t i o n s 》 中 被 称 为 「 C o n t e x t u a l W o r d R e p r e s e n t a t i o n s ， C W R s 」 ， 后 来 出 现 的 G P T 、 B E R T 也 都 是 用 关 注 上 下 文 的 方 法 做 词 表 示 （ 只 不 过 关 注 的 范 围 有 差 异 ） ， 到 2 0 2 3 年 初 我 写 文 本 的 当 下 ， 关 注 上 下 文 的 词 表 示 法 已 经 是 共 识 （ 从 语 言 学 上 ， 向 这 个 方 向 演 化 也 是 对 的 ） 。 
 本 节 要 介 绍 的 这 个 E L M o 模 型 ， 在 解 决 了 一 词 多 义 问 题 的 同 时 ， 也 避 开 了 S e e T h e m s e l v e s 问 题 。 
 如 本 小 节 的 剧 透 ， E L M o 用 了 B i L S T M （ 快 速 了 解 B i L S T M ， 看 《 人 工 智 能 L L M 革 命 前 夜 ： 一 文 读 懂 横 扫 自 然 语 言 处 理 的 T r a n s f o r m e r 模 型 》 这 篇 文 章 的 4 . 4 、 4 . 5 节 ） 。 
 其 结 构 很 好 理 解 ， 对 于 任 何 一 个 输 入 文 本 ， 用 一 个 L e f t t o R i g h t 的 单 向 L S T M 模 型 和 一 个 R i g h t t o L e f t 的 单 向 L S T M 模 型 ， 从 而 避 免 了 「 S e e T h e m s e l v e s 」 问 题 ， 如 下 所 示 ： 这 样 每 个 词 的 词 向 量 表 示 都 考 虑 了 上 下 文 。 
 这 样 用 E L M o 得 到 的 文 本 词 向 量 作 为 预 训 练 词 嵌 入 （ P r e t r a i n e d E m b e d d i n g s ） ， 可 以 作 为 词 嵌 入 输 入 给 其 他 流 行 的 模 型 架 构 ： 下 面 是 一 个 E L M o 执 行 文 本 预 测 任 务 的 过 程 ， 以 此 来 说 明 E L M o 的 模 型 结 构 （ 这 里 只 展 示 了 L e f t t o R i g h t 单 向 L S T M 部 分 ， R i g h t t o L e f t 与 之 相 似 略 去 ） ： 对 输 入 文 本 先 W o r d E m b e d d i n g 提 取 单 词 特 征 ， 然 后 经 过 两 层 L S T M ， 研 究 表 名 第 一 层 L S T M 能 够 捕 获 句 法 特 征 ， 第 二 层 L S T M 能 够 提 取 到 语 义 特 征 。 
 最 后 到 输 出 层 （ F F N N 前 馈 神 经 网 络 + S o f t m a x 回 归 ， 这 两 个 概 念 也 在 麦 克 船 长 的 《 人 工 智 能 L L M 革 命 前 夜 ： 一 文 读 懂 横 扫 自 然 语 言 处 理 的 T r a n s f o r m e r 模 型 》 的 2 . 8 、 2 . 5 中 有 简 洁 讲 述 ） 得 到 预 测 概 率 最 高 的 词 。 
 更 详 细 地 结 构 描 述 中 ， 补 充 一 点 ， 即 在 E L M o 的 第 一 第 二 层 之 间 ， 还 有 一 个 R e s N e t （ R e s N e t 的 快 速 了 解 可 参 考 麦 克 船 长 上 一 篇 《 人 工 智 能 L L M 革 命 前 夜 ： 一 文 读 懂 横 扫 自 然 语 言 处 理 的 T r a n s f o r m e r 模 型 》 ） 的 第 9 节 ） ， 这 样 可 以 增 加 模 型 的 稳 定 性 。 
 5 . 4 、 E L M o 训 练 及 使 用 第 一 阶 段 是 预 训 练 ， 就 是 灌 入 大 量 语 料 给 E L M o ， 目 标 是 构 建 语 言 模 型 。 
 首 先 是 对 输 入 词 的 E m b e d d i n g ， 然 后 经 过 两 层 L S T M ， 分 别 提 取 目 标 词 的 C o n t e x t B e f o r e 和 C o n t e x t A f t e r 的 特 征 ， 之 后 输 出 层 的 细 节 就 不 展 开 了 。 
 剩 下 的 就 是 神 经 网 络 基 本 的 反 向 传 播 、 梯 度 更 新 、 优 化 目 标 函 数 。 
 预 训 练 结 束 后 我 们 就 得 到 了 一 个 E L M o ， 其 包 含 大 量 被 预 训 练 好 的 参 数 ， 等 待 用 于 下 游 任 务 。 
 第 二 阶 段 是 下 游 任 务 使 用 。 
 一 个 具 体 的 下 游 任 务 的 输 入 X ， 经 过 第 一 步 预 训 练 好 的 E L M o 得 到 P r e t r a i n e d E m b e d d i n g s 作 为 新 的 输 入 ， 给 到 下 游 任 务 模 型 。 
 因 此 新 的 输 入 P r e t r a i n e d E m b e d d i n g s 比 只 是 W o r d E m b e d d i n g s 要 提 取 了 更 多 特 征 ， 所 以 第 一 步 的 这 种 预 训 练 也 叫 F e a t u r e b a s e d P r e t r a i n i n g 。 
 5 . 5 、 双 向 语 言 模 型 ， 是 灯 塔 吗 ？ 尽 管 A I 2 官 方 称 ， E L M o 在 问 答 （ Q u e s t i o n A n s w e r i n g ， Q A ） 、 文 本 蕴 含 （ T e x t u a l E n t a i l m e n t ， T E ） 、 情 感 分 析 （ s e n t i m e n t a n a l y s i s ） 三 类 N L P 任 务 上 取 得 S O T A 。 
 但 是 我 们 回 顾 下 本 节 前 面 提 到 的 ： 在 2 0 1 8 年 初 那 个 时 间 点 ， 主 流 的 语 言 模 型 基 本 都 只 看 单 向 的 上 下 文 ， 即 上 文 （ L e f t C o n t e x t ） 或 者 下 文 （ R i g h t C o n t e x t ） 。 
 这 与 人 类 在 自 然 语 言 理 解 （ N a t u r a l L a n g u a g e U n d e r s t a n d i n g ， N L U ） 上 的 真 正 方 式 — — 上 下 文 双 向 理 解 — — 是 不 一 样 的 。 
 注 意 这 里 提 到 的 是 N L U ， 不 是 N L G 。 
 对 于 N L U ， 我 们 在 处 理 文 本 内 容 时 ， 通 常 都 是 通 过 上 下 文 来 理 解 的 （ 双 向 ） 。 
 而 对 于 N L G ， 通 常 通 过 上 文 来 影 响 下 文 （ 单 向 ） 。 
 但 是 从 自 然 语 言 的 任 务 角 度 说 ， N L U 和 N L G 其 实 并 没 有 明 显 的 界 限 。 
 一 个 N L U 任 务 ， 最 终 也 要 有 输 出 ， 那 么 这 类 任 务 就 可 以 对 输 入 进 行 改 造 变 成 N L G 的 「 形 式 」 。 
 这 里 先 按 下 不 表 ， 在 下 面 T 5 模 型 时 我 们 会 再 次 提 到 。 
 所 以 双 向 语 言 模 型 是 灯 塔 吗 ？ 上 下 文 一 定 要 都 知 道 才 对 吗 ？ 更 具 体 地 说 ， L e f t t o R i g h t 和 R i g h t t o L e f t 都 要 兼 顾 到 的 模 型 才 是 唯 一 正 确 的 方 向 吗 ？ 我 们 继 续 往 下 把 本 章 看 完 再 讨 论 这 个 话 题 。 
 5 . 6 、 E L M o 的 局 限 性 在 2 0 1 8 年 T r a n s f o r m e r 已 经 发 布 并 引 起 普 遍 关 注 的 情 况 下 ， E L M o 依 然 选 择 了 基 于 L S T M 的 架 构 。 
 因 此 要 讲 E L M o 的 局 限 性 ， 其 实 主 要 就 是 这 个 视 角 。 
 相 比 这 一 点 ， 对 其 训 练 方 法 、 数 据 集 等 等 的 关 注 显 得 避 重 就 轻 了 。 
 所 以 以 下 说 两 点 ： L S T M 特 征 提 取 能 力 的 局 限 ： 尽 管 E L M o 在 特 征 提 取 上 ， 已 经 显 著 优 于 此 前 仅 依 靠 W o r d E m b e d d i n g 方 法 的 w o r d 2 v e c 、 G l o V e 等 。 
 但 是 回 头 看 ， 后 续 一 系 列 T r a n s f o r m e r 架 构 之 上 的 模 型 表 现 ， 都 远 优 于 L S T M 架 构 的 模 型 ， 两 者 的 特 征 抽 取 能 力 差 距 显 著 。 
 也 是 因 为 T r a n s f o r m e r 如 此 的 优 秀 ， 后 续 基 本 统 一 了 N L P 的 技 术 路 线 。 
 双 向 L S T M 拼 接 的 局 限 ： E M L o 采 用 了 双 向 模 型 ， 但 是 没 有 采 用 T r a n s f o r m e r E n c o d e r 的 架 构 ， 而 是 用 双 向 L S T M 拼 接 的 方 式 ， 相 比 T r a n s f o r m e r 效 果 要 差 。 
 本 小 节 参 考 h t t p s : / / a l l e n a i . o r g / a l l e n n l p / s o f t w a r e / e l m o h t t p s : / / j a l a m m a r . g i t h u b . i o / i l l u s t r a t e d b e r t / h t t p s : / / a r x i v . o r g / a b s / 1 8 0 2 . 0 5 3 6 5 h t t p s : / / n l p . s t a n f o r d . e d u / s e m i n a r / d e t a i l s / j d e v l i n . p d f h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 1 6 7 9 7 8 3 h t t p s : / / a r x i v . o r g / a b s / 1 9 0 3 . 0 8 8 5 5 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 7 2 8 3 9 5 0 1 h t t p s : / / w w w . j i a n s h u . c o m / p / 8 1 d d d e c 2 9 6 f a 第 6 节 · G P T （ 2 0 1 8 年 6 月 ） 由 于 G P T 系 列 模 型 已 经 成 为 当 下 阶 段 L L M 领 域 的 绝 对 领 导 者 ， 因 此 本 文 中 关 于 G P T 系 列 的 每 个 模 型 细 节 的 着 墨 都 会 稍 多 一 些 。 
 6 . 1 、 G P T 出 现 的 背 景 ： 监 督 学 习 模 型 为 主 ， 但 标 注 和 泛 化 成 为 卡 点 在 介 绍 G P T 之 前 ， 我 们 说 一 下 它 出 现 的 那 个 时 间 点 的 N L P 模 型 发 展 情 况 。 
 那 时 N L P 领 域 绝 大 多 数 的 S O T A 模 型 ， 都 是 针 对 特 定 类 型 任 务 进 行 监 督 学 习 训 练 得 到 的 ， 而 监 督 学 习 模 型 有 两 个 严 重 的 限 制 ： 标 注 成 本 极 高 ： 面 对 特 定 任 务 ， 需 要 大 量 的 标 注 数 据 用 于 训 练 。 
 泛 化 能 力 极 差 ： 除 了 训 练 过 的 特 定 任 务 ， 模 型 很 难 泛 化 去 做 其 他 任 务 。 
 这 两 个 问 题 不 解 决 ， A I 技 术 在 N L P 领 域 很 难 带 来 应 用 的 广 泛 性 ， 更 不 要 提 准 确 性 问 题 了 。 
 但 是 G P T 的 出 现 ， 拉 开 了 N L P 领 域 预 训 练 大 模 型 对 任 务 大 一 统 的 大 幕 。 
 而 后 T 5 模 型 则 明 确 提 出 了 这 个 断 言 ， 而 后 续 G P T 3 基 本 实 现 了 这 一 点 。 
 O p e n A I 官 方 所 称 的 G P T ， 根 据 其 官 方 定 义 是 G e n e r a t i v e P r e t r a i n e d T r a n s f o r m e r 缩 写 ， 这 里 大 家 注 意 并 不 是 一 些 文 中 误 传 的 G e n e r a t i v e P r e T r a i n e d ， 因 为 架 构 的 核 心 理 念 是 T r a n s f o r m e r 。 
 6 . 2 、 G P T 1 ： 基 于 T r a n s f o r m e r D e c o d e r 的 自 监 督 训 练 语 言 模 型 在 2 0 1 8 年 1 月 ， G o o g l e B r a i n 团 队 在 文 章 《 G e n e r a t i n g W i k i p e d i a b y S u m m a r i z i n g L o n g S e q u e n c e s 》 中 提 出 了 一 种 基 于 T r a n s f o r m e r 改 进 ， 但 只 有 D e c o d e r 架 构 的 模 型 ， 也 可 以 用 于 构 建 语 言 模 型 。 
 相 应 地 ， 因 为 没 有 E n c o d e r ， 这 种 架 构 里 自 然 去 掉 了 D e c o d e r 中 的 E n c o d e r D e c o d e r 注 意 力 层 。 
 G o o g l e A I L a n g u a g e 团 队 在 《 C h a r a c t e r L e v e l L a n g u a g e M o d e l i n g w i t h D e e p e r S e l f A t t e n t i o n 》 论 文 的 工 作 中 验 证 了 用 类 似 架 构 构 建 的 语 言 模 型 可 以 逐 一 生 成 词 。 
 O p e n A I 在 2 0 1 8 年 6 月 其 博 客 上 发 布 一 篇 名 为 《 I m p r o v i n g L a n g u a g e U n d e r s t a n d i n g w i t h U n s u p e r v i s e d L e a r n i n g 》 的 文 章 提 出 了 一 种 模 型 ， 该 模 型 的 打 造 方 法 包 括 生 成 式 预 训 练 （ G e n e r a t i v e P r e t r a i n i n g ） 和 判 别 式 微 调 （ D i s c r i m i n a t i v e F i n e t u n i n g ） 两 个 关 键 阶 段 ， 并 在 一 系 列 不 同 语 言 任 务 上 获 得 了 S O T A 的 结 果 。 
 其 实 这 种 方 法 ， 早 在 G P T 1 推 出 几 年 前 在 C V （ 计 算 机 视 觉 ） 领 域 就 已 经 很 主 流 了 ， 其 中 预 训 练 环 节 在 C V 领 域 用 的 都 是 大 名 鼎 鼎 的 I m a g e N e t 。 
 而 因 为 N L P 领 域 没 有 类 似 I m a g e N e t 这 种 海 量 标 注 数 据 可 用 。 
 最 初 ， 大 家 甚 至 不 知 道 该 称 呼 它 叫 什 么 ， 所 以 那 段 时 间 提 到 它 的 相 关 文 章 里 你 会 看 到 F i n e t u n e T r a n s f o r m e r 、 F i n e t u n e d T r a n s f o r m e r 、 O p e n A I T r a n s f o r m e r 等 等 ， 后 来 G P T 2 推 出 后 ， 大 家 也 就 叫 2 0 1 8 年 这 个 为 G P T 1 了 ， 下 文 也 用 该 说 法 。 
 G P T 1 与 当 时 主 流 的 N L P 模 型 最 大 的 区 别 是 什 么 ？ 首 先 是 基 础 架 构 （ A r c h i t e c t u r e ） ， 与 G o o g l e B r a i n 团 队 2 0 1 8 年 1 月 提 出 的 模 式 一 样 ， 下 图 是 G P T 采 用 的 T r a n s f o r m e r 模 型 变 体 ， 也 用 的 是 T r a n s f o r m e r D e c o d e r ， 同 样 因 为 没 有 E n c o d e r 自 然 也 就 移 除 了 E n c o d e r D e c o d e r A t t e n t i o n ， 而 只 采 用 多 头 自 注 意 力 （ M u l t i H e a d e d S e l f A t t e n t i o n ， 关 于 此 的 介 绍 可 见 《 麦 克 船 长 ： L L M 革 命 前 夜 》 的 第 7 、 8 节 ） ， 中 间 的 t r a n s f o r m e r b l o c k s 一 共 用 了 1 2 层 （ 作 为 对 比 ， 后 续 的 G P T 2 、 G P T 3 分 别 达 到 了 4 8 层 、 9 6 层 ） 。 
 其 次 是 核 心 方 法 （ M e t h o d ） ， G P T 1 采 用 的 是 「 无 监 督 预 训 练 + 监 督 微 调 」 ， 当 时 O p e n A I 把 这 种 方 法 仍 然 归 类 为 半 监 督 学 习 ， 但 后 来 学 界 和 业 界 都 把 这 种 叫 做 「 自 监 督 学 习 （ S e l f S u p e r v i s e d L e a r n i n g ） 」 ， 后 面 要 介 绍 的 B E R T 也 采 用 这 种 方 法 。 
 关 于 架 构 和 这 两 段 式 的 训 练 方 法 ， 我 们 分 四 个 小 节 来 看 下 。 
 6 . 3 、 G P T 1 为 什 么 用 T r a n s f o r m e r 而 不 是 L S T M ？ 回 到 2 0 1 7 年 的 背 景 下 （ 虽 然 是 2 0 1 8 年 初 发 布 ， 但 G P T 1 的 研 发 是 从 2 0 1 7 年 T r a n s f o r m e r 发 布 后 就 开 始 的 ） ， 哪 怕 知 道 T r a n s f o r m e r 是 个 不 错 的 基 础 模 型 ， 但 是 当 时 一 个 新 的 语 言 模 型 采 用 L S T M / R N N 还 是 T r a n s f o r m e r 并 没 有 现 在 这 么 显 而 易 见 。 
 为 什 么 选 择 T r a n s f o r m e r ？ O p e n A I 给 出 了 两 个 原 因 。 
 但 是 麦 克 船 长 认 为 ， 按 学 界 的 通 常 情 况 ， 都 是 试 出 了 结 果 再 尝 试 归 因 ， 肯 定 不 是 分 析 出 哪 个 模 型 更 有 效 然 后 指 哪 打 哪 的 。 
 这 并 非 吐 槽 ， 因 为 与 理 论 科 学 不 同 ， 实 验 科 学 其 实 就 要 这 样 。 
 我 们 来 看 下 O p e n A I 给 出 的 归 因 。 
 首 先 一 个 原 因 ， 是 T r a n s f o r m e r 有 更 结 构 化 的 记 忆 可 以 处 理 长 距 离 依 赖 关 系 （ 可 以 理 解 为 更 能 搞 定 长 文 本 ） ， 这 样 就 意 味 着 不 仅 是 句 子 维 度 ， 甚 至 段 落 维 度 、 文 章 维 度 上 的 信 息 也 可 以 被 T r a n s f o r m e r 学 习 到 。 
 其 次 ， O p e n A I 在 做 迁 移 学 习 的 时 候 ， 同 样 不 做 监 督 微 调 的 情 况 下 ， 发 现 T r a n s f o r m e r 比 L S T M 架 构 有 更 好 的 表 现 。 
 如 下 图 ： 6 . 4 、 G P T 1 的 无 监 督 预 训 练 （ U n s u p e r v i s e d P r e t r a i n i n g ） 能 用 未 标 注 的 数 据 做 无 监 督 的 预 训 练 ， 已 经 很 不 容 易 了 ， 尽 管 G P T 1 并 不 是 第 一 个 这 样 做 的 （ 2 0 1 4 年 的 W o r d 2 V e c 词 嵌 入 模 型 也 是 用 的 大 量 无 标 注 文 本 ） 。 
 下 面 我 们 来 理 解 一 下 无 监 督 预 训 练 的 过 程 。 
 \ \ ( \ \ m a t h c a l = \ \ ) 是 一 个 无 监 督 词 序 列 语 料 ， 那 么 语 言 模 型 给 出 这 样 一 个 词 序 列 的 概 率 是 ： \ \ [ \ \ b e g i n P ( \ \ m a t h c a l ) = P ( u _ 1 ) P ( u _ 2 | u _ 1 ) P ( u _ 3 | u _ 1 , u _ 2 ) . . . p ( u _ n | u _ 1 , u _ ) = \ \ p r o d _ i ^ n P ( u _ i | u _ 1 , . . . , u _ ) \ \ e n d \ \ ] 如 果 模 型 的 上 下 文 窗 口 （ C o n t e x t W i n d o w s ） 大 小 是 \ \ ( k \ \ ) 的 话 ， 则 上 式 可 近 似 转 化 为 ： \ \ [ \ \ b e g i n P ( \ \ m a t h c a l ) = \ \ p r o d _ i P ( u _ i | u _ , . . . , u _ ) \ \ e n d \ \ ] 我 们 的 目 标 就 是 让 这 个 概 率 \ \ ( P ( \ \ m a t h c a l ) \ \ ) 最 大 化 ， 因 此 我 们 定 义 一 下 目 标 ， 即 最 大 化 对 数 似 然 函 数 。 
 再 将 模 型 的 参 数 \ \ ( \ \ T h e t a \ \ ) 也 考 虑 进 来 ， 则 其 定 义 如 下 ： \ \ [ \ \ b e g i n L _ 1 ( \ \ m a t h c a l ) = \ \ s u m _ \ \ l o g P ( u _ i | u _ , . . . , u _ ; \ \ T h e t a ) \ \ e n d \ \ ] 明 确 了 上 面 目 标 函 数 后 ， 我 们 来 看 下 G P T 1 预 训 练 模 型 。 
 \ \ ( U = ( u _ , . . . , u _ ) \ \ ) 是 考 虑 了 上 下 文 的 输 入 词 向 量 矩 阵 ， \ \ ( W _ e \ \ ) 是 词 嵌 入 矩 阵 ， \ \ ( W _ p \ \ ) 是 位 置 编 码 （ 或 叫 位 置 嵌 入 ） 矩 阵 。 
 所 有 隐 藏 层 都 是 t r a n s f o r m e r _ b l o c k ， 第 一 个 隐 藏 层 的 输 入 是 \ \ ( h _ 0 \ \ ) ， 每 i 个 隐 藏 层 的 输 出 是 \ \ ( h _ i \ \ ) 。 
 那 么 G P T 1 预 训 练 模 型 可 以 表 示 为 ： \ \ [ \ \ b e g i n h _ 0 & = U W _ e + W _ p \ \ \ \ h _ l & = \ \ o p e r a t o r n a m e ( h _ ) \ \ q u a d \ \ f o r a l l i \ \ i n [ 1 , n ] \ \ \ \ P ( u ) & = \ \ o p e r a t o r n a m e ( h _ n W _ e ^ T ) \ \ e n d \ \ ] 如 果 你 在 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 已 经 理 解 了 位 置 编 码 （ P o s i t i o n a l E n c o d i n g ） ， 那 么 在 G P T 1 模 型 里 ， \ \ ( U \ \ ) 经 过 \ \ ( W _ e \ \ ) 处 理 后 每 一 行 就 得 到 了 特 征 （ 特 征 抽 取 ） 。 
 文 本 的 有 序 性 决 定 了 「 位 置 」 本 身 就 是 有 信 息 量 的 ， 因 此 叠 加 \ \ ( W _ p \ \ ) 则 保 留 了 位 置 相 关 （ p o s i t i o n w i s e ） 信 息 。 
 以 最 大 化 \ \ ( L _ 1 \ \ ) 为 目 标 ， 经 过 这 样 学 习 大 量 文 本 语 料 后 ， 就 得 到 了 一 个 预 训 练 模 型 。 
 6 . 5 、 G P T 1 的 监 督 微 调 （ S u p e r v i s e d F i n e T u n i n g ， S F T ） 现 在 我 们 已 经 有 了 一 个 预 训 练 好 的 模 型 了 ， 这 一 步 就 是 要 f i n e t u n e 它 的 参 数 ， 来 适 应 下 游 的 监 督 学 习 任 务 。 
 对 于 不 同 的 任 务 ， 在 f i n e t u n e 阶 段 将 所 有 任 务 的 输 入 结 构 都 转 换 成 t o k e n 序 列 ， 喂 给 已 经 预 训 练 好 的 模 型 来 f i n e t u n e ， 然 后 再 接 一 个 l i n e a r + s o f t m a x 。 
 流 程 结 构 上 表 达 如 下 ： 设 我 们 有 一 个 标 注 过 的 数 据 集 \ \ ( \ \ m a t h c a l \ \ ) ， 组 成 它 的 每 个 样 本 都 包 括 一 个 文 本 序 列 \ \ ( x = x ^ 1 , . . . , x ^ m \ \ ) 和 一 个 标 签 \ \ ( y \ \ ) 。 
 微 调 时 ， 就 是 把 输 入 \ \ ( x \ \ ) 经 过 预 训 练 模 型 后 在 最 后 一 个 D e c o d e r 输 出 的 \ \ ( y \ \ ) ， 进 行 线 性 变 换 和 s o f t m a x 回 归 ： \ \ [ \ \ b e g i n P ( y | x ^ 1 , . . . , x ^ m ) = \ \ o p e r a t o r n a m e ( y W _ y ) \ \ e n d \ \ ] 这 个 过 程 中 ， 就 学 习 到 了 \ \ ( W _ l \ \ i n \ \ m a t h b b ^ \ \ ) 参 数 矩 阵 ， 其 中 \ \ ( c \ \ ) 是 下 游 任 务 目 标 类 别 的 数 量 ， 比 如 情 感 分 类 （ p o s i t i v e 、 n e u t r a l 、 n e g a t i v e ） 的 \ \ ( c \ \ ) 为 3 。 
 在 模 型 使 用 时 ， 最 后 得 到 的 \ \ ( \ \ o p e r a t o r n a m e ( y W _ y ) \ \ ) 就 能 得 到 一 组 关 于 目 标 类 别 的 概 率 分 布 了 ， 其 中 最 大 的 概 率 值 即 可 看 做 是 结 果 。 
 监 督 微 调 的 目 标 ， 也 是 最 大 化 对 数 似 然 函 数 ： \ \ [ \ \ b e g i n L _ 2 ( \ \ m a t h c a l ) = \ \ s u m _ \ \ l o g P ( y | x ^ 1 , . . . , x ^ m ) \ \ e n d \ \ ] 这 样 整 体 看 ， 我 们 把 两 个 训 练 过 程 （ 无 监 督 预 训 练 、 监 督 训 练 ） 联 合 起 来 。 
 其 中 在 无 监 督 预 训 练 过 程 中 ， 我 们 顺 手 完 成 了 语 言 建 模 ， 它 其 实 相 当 于 我 们 的 一 个 辅 助 目 标 。 
 我 们 发 现 这 个 辅 助 目 标 有 两 个 好 处 ： 提 升 了 监 督 模 型 的 泛 化 能 力 ； 加 速 模 型 收 敛 。 
 这 并 非 G P T 1 首 次 提 出 ， 此 前 剑 桥 大 学 的 M a r e k R e i 在 2 0 1 7 年 4 月 2 4 日 发 表 的 论 文 《 S e m i s u p e r v i s e d M u l t i t a s k L e a r n i n g f o r S e q u e n c e L a b e l i n g 》 中 就 得 出 过 同 样 的 结 论 ： W e f o u n d t h a t t h e a d d i t i o n a l l a n g u a g e m o d e l i n g o b j e c t i v e p r o v i d e d c o n s i s t e n t p e r f o r m a n c e i m p r o v e m e n t s o n e v e r y b e n c h m a r k . 同 样 在 2 0 1 7 年 ， A I 2 的 M a t t h e w E . P e t e r s 等 四 位 学 者 在 4 月 2 9 日 发 表 的 论 文 《 S e m i s u p e r v i s e d s e q u e n c e t a g g i n g w i t h b i d i r e c t i o n a l l a n g u a g e m o d e l s 》 中 也 提 到 了 半 监 督 预 训 练 一 个 语 言 模 型 后 在 N E R 和 C h u n k i n g 数 据 集 上 都 有 显 著 的 表 现 提 升 ： I n t h i s p a p e r , w e p r o p o s e d a s i m p l e a n d g e n e r a l s e m i s u p e r v i s e d m e t h o d u s i n g p r e t r a i n e d n e u r a l l a n g u a g e m o d e l s t o a u g m e n t t o k e n r e p r e s e n t a t i o n s i n s e q u e n c e t a g g i n g m o d e l s . O u r m e t h o d s i g n i f i c a n t l y o u t p e r f o r m s c u r r e n t s t a t e o f t h e a r t m o d e l s i n t w o p o p u l a r d a t a s e t s f o r N E R a n d C h u n k i n g . 在 这 样 的 「 无 监 督 预 训 练 + 监 督 训 练 」 方 法 下 ， 目 标 函 数 就 是 最 大 化 下 面 这 个 组 合 （ 引 入 一 个 \ \ ( \ \ l a m b d a \ \ ) 超 参 数 控 制 无 监 督 预 训 练 权 重 ） ： \ \ [ \ \ b e g i n L _ 3 ( \ \ m a t h c a l ) = L _ 2 ( \ \ m a t h c a l ) + \ \ l a m b d a * L _ 1 ( \ \ m a t h c a l ) \ \ e n d \ \ ] 以 上 整 个 架 构 与 方 法 ， 为 后 来 G P T 的 发 展 确 定 了 基 本 的 模 式 ， 甚 至 包 括 后 来 的 商 业 化 。 
 O p e n A I 在 2 0 2 0 年 6 月 开 放 了 G P T 的 A P I （ 不 过 那 时 候 已 经 不 是 G P T 1 了 ） 后 ， 其 实 提 供 的 是 预 训 练 后 的 模 型 ， 另 外 还 给 开 发 者 提 供 了 S F T 的 A P I 。 
 6 . 6 、 G P T 1 的 预 训 练 数 据 集 在 最 初 G P T 1 的 论 文 中 ， 对 于 预 训 练 数 据 集 的 来 源 和 内 容 ， 只 轻 描 淡 写 地 提 了 一 句 ： W e u s e t h e B o o k s C o r p u s d a t a s e t o f t r a i n i n g t h e l a n g u a g e m o d e l . 论 文 中 所 说 的 这 个 B o o k s C o r p u s ， 其 实 是 把 B o o k C o r p u s 拼 写 错 误 了 。 
 B o o k C o r p u s 也 被 称 为 T o r o n t o B o o k C o r p u s ， 是 一 个 包 含 未 出 版 的 、 免 费 的 书 籍 内 容 的 数 据 集 ， 这 些 书 籍 都 是 来 自 S m a s h W o r d s 电 子 书 网 站 （ 这 个 网 站 自 称 是 全 球 最 大 独 立 电 子 书 分 销 商 ， 独 立 电 子 书 的 概 念 可 以 类 比 独 立 电 影 、 独 立 游 戏 ） 。 
 2 0 1 8 年 O p e n A I 训 练 G P T 1 时 ， O p e n A I 称 该 数 据 集 包 含 7 0 0 0 多 本 未 出 版 的 书 籍 ， 4 . 6 G B 数 据 。 
 为 什 么 用 未 出 版 的 小 说 书 籍 训 练 呢 ？ 在 麦 克 船 长 的 理 解 里 ， 这 是 为 了 在 一 个 相 对 隔 离 的 数 据 集 上 训 练 ， 然 后 在 真 实 世 界 中 我 们 可 能 遇 到 的 问 题 上 做 测 试 ， 这 样 可 以 更 好 地 检 验 模 型 的 泛 化 能 力 。 
 因 为 B o o k C o r p u s 这 些 书 都 是 未 公 开 的 ， 而 且 小 说 又 不 像 其 他 书 籍 ， 理 论 上 构 成 的 语 料 也 都 是 原 创 性 的 ， 这 样 就 能 更 好 地 检 验 泛 化 能 力 。 
 在 2 0 2 1 年 时 ， 一 份 对 B o o k C o r p u s 当 时 1 1 0 3 8 本 书 籍 各 类 目 分 布 的 统 计 分 析 如 下 （ 来 自 A l a n D . T h o m p s o n , M a r c h 2 0 2 2 , W h a t ’ S I N M Y A I ? ） ， 从 这 个 分 布 里 大 概 能 推 测 G P T 1 用 其 中 7 0 0 0 本 书 都 学 了 什 么 ：   书 籍 类 别 书 籍 数 占 比       书 籍 类 别 书 籍 数 占 比   1 言 情 2 8 8 0 2 6 . 1 %     1 1 A d v e n t u r e 3 9 0 3 . 5 %   2 F a n t a s y 1 5 0 2 1 3 . 6 %     1 2 O t h e r 3 6 0 3 . 3 %   3 科 幻 8 2 3 7 . 5 %     1 3 L i t e r a t u r e 3 3 0 3 . 0 %   4 N e w A d u l t 7 6 6 6 . 9 %     1 4 H u m o r 2 6 5 2 . 4 %   5 Y o u n g A d u l t 7 5 8 6 . 8 %     1 5 历 史 1 7 8 1 . 6 %   6 T h r i l l e r 6 4 6 5 . 9 %     1 6 T h e m e s 5 1 0 . 5 %   7 M y s t e r y 6 2 1 5 . 6 %       T o t a l 1 1 0 3 8 1 0 0 %   8 吸 血 鬼 6 0 0 5 . 4 %               9 H o r r o r 4 4 8 4 . 1 %               1 0 T e e n 4 3 0 3 . 9 %               6 . 7 、 小 结 从 性 能 表 现 上 来 看 ， 在 如 下 这 些 数 据 集 上 的 表 现 大 都 是 超 越 此 前 的 模 型 的 ： G P T 1 给 N L P 领 域 带 来 了 两 个 重 要 启 示 与 指 引 ： G P T 1 基 于 T r a n s f o r m e r 架 构 ， 不 同 于 当 时 主 流 模 型 采 用 的 L S T M 。 
 具 体 说 ， 是 T r a n s f o r m e r 的 D e c o d e r 部 分 ， 并 移 除 T r a n s f o r m e r 定 义 的 E n c o d e r D e c o d e r A t t e n t i o n （ 毕 竟 没 有 E n c o d e r ） 。 
 这 样 的 架 构 ， 先 天 地 可 以 实 现 无 监 督 训 练 ， 让 世 界 上 所 有 自 然 语 言 （ 甚 至 代 码 ） 都 有 了 成 为 其 语 料 的 可 能 。 
 尽 管 并 非 G P T 1 首 创 ， 但 是 它 采 用 自 监 督 学 习 的 训 练 方 法 ， 具 体 是 语 言 建 模 的 无 监 督 预 训 练 + 监 督 微 调 训 练 ， 为 模 型 带 来 了 更 强 的 泛 化 能 力 、 更 快 的 收 敛 速 度 。 
 虽 然 那 个 时 间 点 学 界 与 业 界 觉 得 G P T 1 规 模 不 小 ， 但 现 在 回 头 看 它 的 各 维 度 都 还 不 算 暴 力 。 
 预 训 练 数 据 量 为 4 . 6 G B 、 上 下 文 滑 动 窗 口 为 5 1 2 t o k e n s 、 d r o p r a t e 为 0 . 1 ， 其 他 基 本 信 息 如 下 ： 模 型 参 数 量 层 数 词 向 量 长 度 注 意 力 头 数 头 宽 度 B a t c h S i z e L e a r n i n g R a t e G P T 1 1 1 7 M 1 2 7 6 8 1 2 6 4 6 4 不 超 过 2 . 5 E 4 另 外 ， O p e n A I 也 公 布 了 G P T 1 的 源 码 和 训 练 好 的 模 型 ， 那 时 的 O p e n A I 还 是 很 O p e n 的 。 
 而 就 在 O p e n A I 发 布 G P T 1 后 没 多 久 ， 提 出 T r a n s f o r m e r 模 型 的 G o o g l e 发 布 了 后 来 几 年 产 生 深 远 影 响 的 、 基 于 T r a n s f o r m e r E n c o d e r 架 构 的 语 言 模 型 — — B E R T 。 
 本 小 节 参 考 h t t p s : / / o p e n a i . c o m / b l o g / l a n g u a g e u n s u p e r v i s e d / h t t p s : / / t r a n s f o r m e r . h u g g i n g f a c e . c o / d o c / g p t h t t p s : / / h u g g i n g f a c e . c o / d o c s / t r a n s f o r m e r s / m o d e l _ d o c / o p e n a i g p t h t t p s : / / c d n . o p e n a i . c o m / r e s e a r c h c o v e r s / l a n g u a g e u n s u p e r v i s e d / l a n g u a g e _ u n d e r s t a n d i n g _ p a p e r . p d f h t t p s : / / l i f e a r c h i t e c t . a i / w h a t s i n m y a i / h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 3 6 2 9 2 9 1 4 5 h t t p s : / / m e d i u m . c o m / t h e a r t i f i c i a l i m p o s t o r / n o t e s i m p r o v i n g l a n g u a g e u n d e r s t a n d i n g b y g e n e r a t i v e p r e t r a i n i n g 4 c 9 d 4 2 1 4 3 6 9 c h t t p s : / / a r x i v . o r g / a b s / 1 7 0 5 . 0 0 1 0 8 h t t p s : / / a r x i v . o r g / a b s / 1 7 0 4 . 0 7 1 5 6 第 7 节 · B E R T （ 2 0 1 8 年 1 0 月 ） O p e n A I 发 布 G P T 1 后 ， G o o g l e 大 受 震 撼 。 
 在 其 发 布 4 个 月 后 的 2 0 1 8 年 1 0 月 ， G o o g l e 终 于 推 出 了 B E R T ， 它 有 两 个 版 本 B E R T B a s e 和 B E R T L a r g e 。 
 从 性 能 表 现 上 看 ， 参 数 规 模 相 当 的 情 况 下 ， B E R T B a s e 超 越 G P T 1 ， 而 参 数 规 模 更 大 的 B E R T L a r g e 又 远 好 于 B E R T B a s e ， 可 以 说 G o o g l e 又 穿 上 了 黄 色 领 骑 衫 。 
 B E R T 的 名 字 ， 在 麦 克 船 长 看 来 也 是 作 者 们 硬 凑 出 来 的 ， 就 是 为 了 呼 应 E L M o 这 种 芝 麻 街 角 色 名 字 系 列 。 
 B E R T 是 B i d i r e c t i o n a l E n c o d e r R e p r e s e n t a t i o n s f r o m T r a n s f o r m e r s 的 缩 写 。 
 下 面 是 B E R T 的 基 本 信 息 。 
 模 型 参 数 量 层 数 词 向 量 长 度 注 意 力 头 数 B E R T L a r g e 3 . 4 亿 2 4 层 1 0 2 4 1 6 B E R T B a s e 1 . 1 亿 1 2 层 7 6 8 1 2 G P T 1 1 . 1 7 亿 1 2 层 7 6 8 1 2 B E R T 公 布 了 源 码 和 训 练 好 的 模 型 参 数 供 下 载 。 
 G o o g l e 团 队 希 望 B E R T 能 够 让 业 内 人 士 ， 用 几 个 小 时 甚 至 几 十 分 钟 ， 就 能 训 练 好 一 个 S O T A 小 模 型 。 
 G o o g l e 在 论 文 中 称 可 以 在 1 1 个 N L P 任 务 上 取 得 S O T A 结 果 ， 甚 至 包 括 非 常 挑 战 的 S Q u A D v 1 . 1 数 据 集 。 
 B E R T 发 布 一 年 半 后 的 2 0 2 0 年 3 G o o g l e 又 为 B E R T 发 布 了 一 系 列 2 4 种 小 模 型 共 各 种 场 景 使 用 ， 开 源 精 神 一 直 都 贯 穿 在 G o o g l e 的 技 术 路 线 上 。 
 这 些 小 模 型 有 不 同 的 层 数 和 自 注 意 力 头 数 ， 具 体 如 下 ： 以 下 阅 读 前 需 要 你 初 步 了 解 T r a n s f o r m e r 基 本 架 构 。 
 如 果 你 此 前 不 了 解 T r a n s f o r m e r E n c o d e r 、 D e c o d e r 的 架 构 特 点 ， 可 以 看 《 麦 克 船 长 ： L L M 革 命 前 夜 》 中 的 第 二 章 。 
 下 面 我 们 来 看 看 在 T r a n s f o r m e r 模 型 基 础 上 研 发 的 B E R T 吧 。 
 7 . 1 、 B E R T 的 模 型 架 构 ： 双 向 与 G P T 不 同 ， B E R T 采 用 的 是 T r a n s f o r m e r 的 编 码 器 。 
 但 是 这 样 在 技 术 路 线 上 选 择 的 分 野 ， 带 来 的 影 响 非 常 的 大 。 
 T r a n s f o r m e r 的 编 码 器 就 像 完 形 填 空 ， 在 预 测 每 个 词 时 ， 是 知 道 前 后 （ 过 去 和 未 来 ） 的 文 本 内 容 的 ； 但 是 T r a n s f o r m e r 的 解 码 器 仅 知 道 前 面 的 文 本 （ 过 去 ） 来 预 测 词 ， 相 当 于 在 预 测 未 来 。 
 在 E L M o 一 节 我 们 介 绍 过 双 向 语 言 模 型 ， 这 里 将 单 向 与 双 向 作 对 比 ， 举 例 来 说 ， 对 于 同 一 句 话 「 I a c c e s s e d t h e b a n k a c c o u n t 」 ， G P T 单 向 语 言 模 型 的 学 习 方 法 是 ： I I a c c e s s e d I a c c e s s e d I a c c e s s t h e I a c c e s s e d t h e I a c c e s s e d t h e b a n k I a c c e s s e d t h e b a n k I a c c e s s e d t h e b a n k a c c o u n t 而 B E R T 、 E L M o 双 向 语 言 模 型 的 学 习 方 法 是 ： I a c c e s s e d t h e [ M A S K ] a c c o u n t [ M A S K ] = b a n k 这 里 就 涉 及 到 两 个 关 键 点 ： 首 先 ， 上 面 在 E L M o 提 到 的 ， 双 向 语 言 模 型 需 要 解 决 的 「 S e e I t s e l f 或 S e e T h e m s e l v e s 」 问 题 。 
 其 次 ， B E R T 如 何 挖 词 来 做 完 形 填 空 ， 即 C o r r u p t i o n T e c h n i q u e 。 
 可 以 说 O p e n A I 做 了 一 个 价 值 更 大 、 难 度 更 大 的 技 术 选 型 ， 因 此 如 果 在 类 似 数 据 规 模 、 模 型 规 模 、 训 练 方 法 的 情 况 下 ， G P T 是 难 有 超 过 B E R T 的 表 现 的 。 
 B E R T 问 世 后 的 几 年 内 ， 学 界 与 业 界 的 很 多 人 都 以 为 B E R T 是 一 统 江 湖 的 正 途 ， 甚 至 都 认 为 O p e n A I 的 G P T 选 择 错 了 技 术 路 线 还 硬 着 头 皮 坚 持 。 
 这 与 2 0 2 2 年 底 C h a t G P T 彻 底 轰 动 世 界 形 成 了 鲜 明 的 对 比 。 
 上 图 展 示 了 B E R T 与 当 时 另 外 两 大 主 流 N L P 模 型 G P T 1 、 E L M o 的 对 比 。 
 B E R T 与 G P T 的 共 同 点 是 都 基 于 T r a n s f o r m e r 架 构 ， 而 B E R T 与 E L M o 的 共 同 点 是 都 用 了 双 向 架 构 。 
 7 . 1 . 1 、 B E R T 是 深 度 双 向 （ D e e p l y B i d i r e c t i o n a l ） ， E L M o 是 浅 度 双 向 （ S h a l l o w l y B i d r e c t i o n a l ） 由 于 自 注 意 力 层 的 加 持 ， T r a n s f o r m e r 有 着 极 其 强 大 的 特 征 提 取 能 力 ， 这 使 得 G o o g l e 在 其 官 方 博 客 上 有 底 气 说 B E R T 是 深 度 双 向 模 型 ， 而 E L M o 基 于 双 向 L S T M 提 取 特 征 的 能 力 只 算 是 浅 度 双 向 模 型 ， 提 出 E L M o 的 A I 2 对 此 也 无 法 辩 驳 。 
 同 样 基 于 T r a n s f o r m e r 、 得 益 于 自 注 意 力 ， 双 向 模 型 比 单 向 模 型 对 自 然 语 言 有 更 好 的 理 解 ， 因 此 在 N L U （ N a t u r a l L a n g a u g e U n d e r s t a n d i n g ， N L U ） 问 题 上 可 以 轻 松 取 得 比 单 向 模 型 好 得 多 的 表 现 ， 这 也 是 G P T 1 相 对 吃 亏 的 地 方 。 
 7 . 1 . 2 、 基 于 T r a n s f o r m e r E n c o d e r 之 上 B E R T 做 了 哪 些 架 构 改 进 首 先 是 I n p u t E m b e d d i n g 处 理 得 到 优 化 ， B E R T 的 I n p u t E m b e d d i n g 是 三 种 E m b e d d i n g 的 求 和 。 
 单 词 嵌 入 （ T o k e n E m b e d d i n g ） 。 
 位 置 嵌 入 （ P o s i t i o n E m b e d d i n g ） ： 在 N L P 任 务 中 ， 词 的 位 置 信 息 非 常 有 影 响 。 
 片 段 嵌 入 （ S e g m e n t E m b e d d i n g ） ： 或 者 叫 「 句 子 嵌 入 」 ， 增 加 对 句 子 结 构 的 理 解 。 
 7 . 2 、 B E R T 的 训 练 方 法 B E R T 也 是 采 用 「 无 监 督 预 训 练 + 监 督 微 调 」 的 方 法 ， 与 G P T 1 相 同 。 
 但 毕 竟 是 双 向 语 言 模 型 ， B E R T 的 预 训 练 任 务 与 G P T 1 不 同 ， 有 如 下 两 个 ： M a s k e d L a n g u a g e M o d e l i n g （ 在 某 些 文 献 中 也 叫 M a s k L a n g u a g e M o d e l i n g ， M L M ） 和 N e x t S e n t e n c e P r e d i c t i o n （ N S P ） 7 . 2 . 1 、 M a s k e d L a n g u a g e M o d e l i n g （ M L M ） 预 训 练 任 务 B E R T 具 体 采 用 的 方 法 是 ， 随 机 选 择 1 5 % 的 t o k e n s 出 来 ， 但 是 并 非 把 它 们 全 部 都 M A S K 掉 ， 而 是 ： 其 中 的 8 0 % 被 替 换 为 [ M A S K ] ， 类 似 m y d o g i s h a i r y m y d o g i s [ M A S K ] 。 
 其 中 的 1 0 % 被 替 换 为 一 个 随 机 t o k e n ， 类 似 m y d o g i s h a i r y m y d o g i s a p p l e 。 
 剩 余 的 1 0 % 不 变 。 
 这 个 8 0 1 0 1 0 是 怎 么 定 出 来 的 ， G o o g l e 团 队 也 是 脑 拍 了 几 种 数 字 组 合 试 出 来 的 ， 如 下 图 ： M N L I 任 务 ： M u l t i G e n r e N a t u r a l L a n g u a g e I n f e r e n c e 是 一 个 大 规 模 的 众 包 蕴 含 （ e n t a i l m e n t ） 分 类 任 务 （ W i l l i a m s e t a l . , 2 0 1 8 ） 。 
 给 定 一 对 句 子 ， 预 测 第 二 个 句 子 相 对 于 第 一 个 句 子 是 蕴 含 、 矛 盾 还 是 中 性 。 
 N E R 任 务 ： N a m e d E n t i t y R e c o g n i t i o n 命 名 实 体 识 别 任 务 ， 比 如 对 于 输 入 语 句 「 擎 天 柱 回 到 赛 博 坦 」 得 到 输 出 「 B P E R , I P E R , E P E R , O , O , B L O C , I L O C , E L O C 」 ， 其 中 B 、 I 、 E 分 别 表 示 开 始 、 中 间 、 结 束 ， P E R 、 L O C 分 别 表 示 人 物 、 地 点 ， O 表 示 其 他 无 关 。 
 7 . 2 . 2 、 N e x t S e n t e n c e P r e d i c t i o n （ N S P ） 预 训 练 任 务 许 多 N L P 任 务 （ 比 如 问 答 、 推 理 等 等 ） 都 涉 及 到 句 子 之 间 关 系 的 理 解 ， 这 不 会 被 一 般 性 的 语 言 建 模 过 程 学 习 到 。 
 因 此 G o o g l e 想 用 预 训 练 阶 段 的 N S P 任 务 来 解 决 这 个 痛 点 。 
 N S P 预 训 练 任 务 所 准 备 的 数 据 ， 是 从 单 一 语 种 的 语 料 库 中 取 出 两 个 句 子 \ \ ( S _ i \ \ ) 和 \ \ ( S _ j \ \ ) ， 其 中 5 0 % 的 情 况 下 B 就 是 实 际 跟 在 A 后 面 的 句 子 ， 5 0 % 的 情 况 下 B 是 随 机 取 的 。 
 这 样 语 言 模 型 就 是 在 面 对 一 个 二 元 分 类 问 题 进 行 预 训 练 ， 例 如 ： I N P U T : [ C L S ] t h e m a n w e n t t o [ M A S K ] s t o r e [ S E P ] h e b o u g h t a g a l l o n [ M A S K ] m i l k [ S E P ] L A B E L : I s N e x t I N P U T : [ C L S ] t h e m a n [ M A S K ] t o t h e s t o r e [ S E P ] p e n g u i n [ M A S K ] a r e f l i g h t # # l e s s b i r d s [ S E P ] L A B E L : N o t N e x t C L S 是 一 个 表 示 「 c l a s s i f i c a t i o n 」 的 t o k e n ， S E P 是 一 个 表 示 「 s e p a r a t e 」 的 t o k e n 。 
 这 样 的 预 训 练 任 务 ， 让 B E R T 在 词 维 度 的 语 言 知 识 外 ， 也 让 B E R T 学 习 到 一 些 句 子 维 度 的 语 言 结 构 。 
 7 . 3 、 B E R T 的 哪 些 改 进 是 带 来 最 显 著 性 能 提 升 的 ？ B E R T 与 其 他 几 个 主 流 模 型 的 性 能 对 比 如 下 ： 可 以 看 到 B E R T 在 当 时 有 着 极 其 出 色 的 表 现 。 
 那 么 对 于 这 么 出 色 的 表 现 ， 从 上 面 B E R T 的 架 构 特 色 到 训 练 方 法 ， 到 底 什 么 改 进 对 B E R T 性 能 的 积 极 影 响 是 最 大 的 ？ 这 就 要 依 赖 消 融 研 究 （ A b l a t i o n S t u d i e s ， 也 可 以 叫 消 融 实 验 ） 了 。 
 什 么 是 消 融 研 究 ？ 你 在 一 些 论 文 中 会 经 常 看 到 ， 就 是 指 删 除 模 型 或 算 法 的 某 些 「 功 能 」 并 查 看 其 如 何 影 响 性 能 ， 也 就 是 物 理 实 验 中 大 家 最 熟 悉 的 「 控 制 变 量 」 法 ， 我 们 下 面 具 体 看 下 G o o g l e 对 B E R T 做 的 消 融 研 究 实 验 ： 上 表 中 对 如 下 四 项 做 了 对 比 ： B E R T B a s e ： 这 个 是 b a s e l i n e ， 其 他 所 有 「 变 量 」 都 基 于 此 。 
 N o N S P ： 在 B E R T B a s e 上 移 除 「 N e x t S e n t e n c e P r e d i c t i o n 」 预 训 练 任 务 。 
 L T R & N o N S P ： L T R 就 是 L e f t T o R i g h t ， 也 就 是 变 成 了 G P T 的 A u t o R e g r e s s i o n M o d e l 架 构 ， 同 时 也 把 N S P 预 训 练 任 务 移 除 。 
 + B i L S T M ： 在 f i n e t u n i n g 期 间 ， 基 于 「 L T R & N o N S P 」 架 构 之 上 增 加 随 机 初 始 化 的 B i L S T M 。 
 可 以 看 到 ， 「 L T R & N o N S P 」 与 「 N o N S P 」 对 比 ， 在 5 个 任 务 中 的 4 个 都 显 著 大 幅 下 降 ， 说 明 双 向 结 构 的 正 向 影 响 是 最 显 著 的 。 
 而 单 独 移 除 N S P 后 ， 各 任 务 上 的 表 现 只 小 幅 下 降 ， 但 其 中 在 Q N L I 任 务 上 大 幅 下 降 （ Q N L I ， Q u e s t i o n N a t u r a l L a n g u a g e I n f e r e n c e 是 基 于 S t a n f o r d Q u e s t i o n D a t a s e t 之 上 的 一 个 测 试 推 理 能 力 的 二 元 分 类 任 务 ） ， 这 说 明 增 加 句 子 维 度 的 学 习 对 「 推 理 」 有 帮 助 。 
 再 看 在 「 L T R & N o N S P 」 上 加 「 B i L S T M 」 也 未 能 拯 救 性 能 （ 只 有 S Q u A D 提 升 多 一 些 ） ， 说 明 T r a n s f o r m e r 特 征 抽 取 能 力 比 B i L S T M 强 很 多 。 
 7 . 4 、 B E R T 的 数 据 集 B E R T 比 G P T 1 用 的 训 练 数 据 集 要 大 得 多 。 
 B E R T 同 样 也 用 了 B o o k C o r p u s （ 并 且 继 承 了 G P T 1 在 论 文 中 的 拼 写 谬 误 「 B o o k s C o r p u s 」 ） 约 含 8 亿 个 词 ， 以 及 英 文 维 基 百 科 （ E n g l i s h W i k i p e d i a ） 约 含 2 5 亿 词 。 
 整 体 来 看 ， B E R T 训 练 数 据 集 大 小 差 不 多 是 G P T 1 训 练 数 据 集 的 4 倍 左 右 。 
 7 . 5 、 B E R T 小 节 用 足 够 硬 的 打 榜 成 绩 夯 实 了 「 预 训 练 + 微 调 」 学 习 范 式 ： 过 去 我 们 都 是 针 对 某 个 任 务 进 行 训 练 ， 让 模 型 成 为 这 个 任 务 领 域 的 专 家 。 
 但 是 N L P 的 很 多 知 识 是 有 交 叉 的 ， 比 如 语 言 知 识 、 推 理 能 力 等 等 ， 各 个 任 务 的 边 界 并 不 泾 渭 分 明 ， 因 此 总 是 为 了 更 好 解 决 特 定 任 务 而 要 学 习 补 充 其 他 知 识 。 
 逐 渐 地 ， 领 域 知 识 的 边 界 越 来 越 模 糊 ， 知 识 范 围 越 来 越 广 ， 就 逐 渐 自 然 地 向 着 大 语 言 模 型 的 方 向 发 展 了 ， 于 是 就 出 现 了 G P T 、 B E R T 这 种 「 预 训 练 + 微 调 」 的 学 习 范 式 。 
 但 是 B E R T 对 特 定 任 务 微 调 后 ， 由 于 参 数 被 更 新 ， 相 应 地 在 其 他 一 些 任 务 上 的 表 现 可 能 就 会 下 降 ， 这 就 导 致 模 型 的 泛 化 能 力 受 到 局 限 。 
 而 后 来 的 G P T 3 、 I n s t r u c t G P T 到 C h a t G P T ， 则 是 在 预 训 练 完 成 后 并 不 针 对 任 何 下 游 任 务 更 新 参 数 。 
 这 样 的 好 处 是 模 型 泛 化 能 力 很 好 ， 但 是 针 对 到 特 定 任 务 身 上 ， 很 肯 定 没 有 监 督 微 调 的 B E R T 好 ， 尤 其 是 在 N L U 类 型 的 任 务 上 。 
 开 源 并 开 放 各 种 规 格 的 模 型 下 载 ： 成 为 了 2 0 1 8 到 几 乎 C h a t G P T 出 现 之 前 N L P 领 域 研 究 的 核 心 模 型 。 
 T r a n s f o r m e r E n c o d e r 双 向 模 型 的 特 征 抽 取 能 力 ， 被 充 分 认 可 。 
 但 其 实 双 向 语 言 模 型 在 生 成 类 任 务 上 并 不 符 合 人 类 自 然 的 语 言 文 字 「 从 前 向 后 」 的 交 互 模 式 ， 这 也 为 后 来 G P T 系 列 反 超 埋 下 伏 笔 。 
 掀 起 了 模 型 轻 量 化 的 研 究 热 点 ， 尤 其 在 2 0 2 0 年 推 出 2 4 个 小 模 型 后 。 
 N S P 预 训 练 任 务 增 加 了 句 子 层 面 的 语 言 结 构 理 解 。 
 7 . 6 、 动 手 小 实 践 B E R T 是 主 流 大 模 型 里 ， 开 放 源 代 码 和 模 型 参 数 最 好 的 。 
 我 们 在 本 小 节 用 b e r t a s s e r v i c e 来 跑 个 简 单 的 例 子 ， 为 了 让 大 家 在 任 何 个 人 电 脑 上 都 跑 的 起 来 ， 这 个 例 子 比 较 小 ， 我 们 主 要 是 为 了 简 单 实 践 一 下 找 找 感 觉 。 
 7 . 6 . 1 、 安 装 B E R T 所 需 要 的 各 种 依 赖 c o n d a i n s t a l l t e n s o r f l o w = = 1 . 1 4 . 0 验 证 t e n s o r f l o w 是 否 安 装 正 确 ： i m p o r t t e n s o r f l o w a s t f p r i n t ( t f . _ _ v e r s i o n _ _ ) 7 . 6 . 2 、 下 载 一 个 预 训 练 （ P r e T r a i n ） 过 的 B E R T 模 型 官 方 的 模 型 在 这 里 浏 览 ： h t t p s : / / g i t h u b . c o m / g o o g l e r e s e a r c h / b e r t # p r e t r a i n e d m o d e l s 也 有 一 些 中 文 的 模 型 ， 以 下 是 C h a t G P T 推 荐 的 三 个 ： B E R T B a s e , C h i n e s e ： 这 是 G o o g l e 官 方 提 供 的 中 文 B E R T 模 型 ， 在 中 文 N L P 任 务 中 表 现 良 好 。 
 你 可 以 从 这 里 下 载 这 个 模 型 。 
 E R N I E ： 这 是 由 中 科 院 自 然 语 言 所 提 供 的 中 文 B E R T 模 型 ， 包 含 了 额 外 的 语 义 信 息 。 
 你 可 以 从 这 里 下 载 这 个 模 型 。 
 R o B E R T a w w m e x t ： 这 是 由 清 华 大 学 自 然 语 言 处 理 实 验 室 提 供 的 中 文 B E R T 模 型 ， 在 多 种 中 文 N L P 任 务 中 表 现 良 好 。 
 你 可 以 从 这 里 下 载 这 个 模 型 。 
 7 . 6 . 3 、 安 装 B E R T 的 服 务 端 和 客 户 端 这 里 我 们 使 用 b e r t a s s e r v i c e ， b e r t a s s e r v i c e 是 一 种 将 B E R T 模 型 部 署 为 服 务 的 方 式 。 
 该 工 具 使 用 T e n s o r F l o w S e r v i n g 来 运 行 B E R T 模 型 ， 并 允 许 通 过 R E S T A P I 进 行 调 用 。 
 根 据 b e r t a s s e r v i c e 的 文 档 ， 它 已 经 在 T e n s o r F l o w 1 . 1 4 . 0 上 测 试 过 。 
 在 你 激 活 的 c o n d a 环 境 里 ， 安 装 b e r t a s s e r v i c e ： # 安 装 服 务 端 和 客 户 端 # 更 多 关 于 b e r t s e r v i n g s e r v e r 的 信 息 可 以 参 考 ： h t t p s : / / b e r t s e r v i n g . r e a d t h e d o c s . i o / e n / l a t e s t / i n d e x . h t m l c o n d a i n s t a l l b e r t s e r v i n g s e r v e r b e r t s e r v i n g c l i e n t 验 证 b e r t a s s e r v i c e 是 否 安 装 成 功 b e r t s e r v i n g s t a r t h 7 . 6 . 4 、 启 动 B E R T 服 务 端 # 命 令 行 下 启 动 B E R T 服 务 # n u m _ w o r k e r 表 示 启 动 几 个 w o r k e r 服 务 ， 即 可 以 处 理 几 个 并 发 请 求 ， 超 过 这 个 数 字 的 请 求 将 会 在 L B S （ 负 载 均 衡 器 ） 中 排 队 等 待 b e r t s e r v i n g s t a r t m o d e l _ d i r / 模 型 / 的 / 绝 对 / 路 径 n u m _ w o r k e r = 4 7 . 6 . 5 、 编 写 程 序 实 现 B E R T 客 户 端 这 里 有 一 个 客 户 端 例 子 可 以 参 考 ： h t t p s : / / c l o u d . t e n c e n t . c o m / d e v e l o p e r / a r t i c l e / 1 8 8 6 9 8 1 f r o m b e r t _ s e r v i n g . c l i e n t i m p o r t B e r t C l i e n t i m p o r t n u m p y a s n p # 定 义 类 c l a s s B e r t M o d e l : d e f _ _ i n i t _ _ ( s e l f ) : t r y : s e l f . b e r t _ c l i e n t = B e r t C l i e n t ( i p = 1 2 7 . 0 . 0 . 1 , p o r t = 5 5 5 5 , p o r t _ o u t = 5 5 5 6 ) # 创 建 客 户 端 对 象 # 注 意 ： 可 以 参 考 A P I ， 查 看 其 它 参 数 的 设 置 # 1 2 7 . 0 . 0 . 1 表 示 本 机 I P ， 也 可 以 用 l o c a l h o s t e x c e p t : r a i s e E x c e p t i o n ( c a n n o t c r e a t e B e r t C l i e n t ) d e f c l o s e _ b e r t ( s e l f ) : s e l f . b e r t _ c l i e n t . c l o s e ( ) # 关 闭 服 务 d e f s e n t e n c e _ e m b e d d i n g ( s e l f , t e x t ) : 对 输 入 文 本 进 行 e m b e d d i n g A r g s : t e x t : s t r , 输 入 文 本 R e t u r n s : t e x t _ v e c t o r : f l o a t , 返 回 一 个 列 表 ， 包 含 t e x t 的 e m b e d d i n g 编 码 值 t e x t _ v e c t o r = s e l f . b e r t _ c l i e n t . e n c o d e ( [ t e x t ] ) [ 0 ] r e t u r n t e x t _ v e c t o r # 获 取 输 出 结 果 d e f c a c u l a t e _ s i m i l a r i t y ( s e l f , v e c _ 1 , v e c _ 2 ) : 根 据 两 个 语 句 的 v e c t o r ， 计 算 它 们 的 相 似 性 A r g s : v e c _ 1 : f l o a t , 语 句 1 的 v e c t o r v e c _ 2 : f l o a t , 语 句 2 的 v e c t o r R e t u r n s : s i m _ v a l u e : f l o a t , 返 回 相 似 性 的 计 算 值 # 根 据 c o s i n e 的 计 算 公 式 v 1 = n p . m a t ( v e c _ 1 ) v 2 = n p . m a t ( v e c _ 2 ) a = f l o a t ( v 1 * v 2 . T ) b = n p . l i n a l g . n o r m ( v 1 ) * n p . l i n a l g . n o r m ( v 2 ) c o s i n e = a / b r e t u r n c o s i n e i f _ _ n a m e _ _ = = _ _ m a i n _ _ : # 创 建 b e r t 对 象 b e r t = B e r t M o d e l ( ) w h i l e T r u e : # 输 入 语 句 i n p u t _ a = i n p u t ( 请 输 入 语 句 1 : ) i f i n p u t _ a = = N o r i n p u t _ a = = n : b e r t . c l o s e _ b e r t ( ) # 关 闭 服 务 b r e a k i n p u t _ b = i n p u t ( 请 输 入 语 句 2 : ) # 对 输 入 语 句 进 行 e m b e d d i n g a _ v e c = b e r t . s e n t e n c e _ e m b e d d i n g ( i n p u t _ a ) p r i n t ( a _ v e c s h a p e : , a _ v e c . s h a p e ) b _ v e c = b e r t . s e n t e n c e _ e m b e d d i n g ( i n p u t _ b ) p r i n t ( b _ v e c s h a p e : , b _ v e c . s h a p e ) # 计 算 两 个 语 句 的 相 似 性 c o s = b e r t . c a c u l a t e _ s i m i l a r i t y ( a _ v e c , b _ v e c ) p r i n t ( c o s i n e v a l u e : , c o s ) p r i n t ( \ \ n \ \ n ) # 如 果 相 似 性 值 大 于 0 . 8 5 ， 则 输 出 相 似 ， 否 则 ， 输 出 不 同 i f c o s > 0 . 8 5 : p r i n t ( 2 个 语 句 的 含 义 相 似 ) e l s e : p r i n t ( 不 相 似 ) 7 . 6 . 6 、 测 试 效 果 在 使 用 b e r t s e r v i n g c l i e n t 连 接 b e r t s e r v i n g s e r v e r 时 ， 你 需 要 确 保 b e r t s e r v i n g s e r v e r 使 用 的 模 型 和 b e r t s e r v i n g c l i e n t 使 用 的 模 型 是 匹 配 的 ， 否 则 会 出 现 错 误 。 
 程 序 正 常 运 行 后 ， 将 要 求 你 输 入 两 句 话 ， 然 后 B E R T 计 算 两 句 话 的 相 似 性 。 
 请 输 入 语 句 1 : 请 输 入 语 句 2 : 两 句 输 入 好 确 认 后 ， 得 到 如 下 形 式 的 结 果 ： a _ v e c s h a p e : ( 7 6 8 , ) b _ v e c s h a p e : ( 7 6 8 , ) c o s i n e v a l u e : 0 . 8 6 9 1 6 9 8 5 6 1 4 2 2 9 5 9 本 小 节 参 考 h t t p s : / / n l p . s t a n f o r d . e d u / s e m i n a r / d e t a i l s / j d e v l i n . p d f h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 4 9 2 7 1 6 9 9 h t t p s : / / a r x i v . o r g / a b s / 2 3 0 2 . 0 9 4 1 9 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 3 0 5 2 4 5 3 3 h t t p s : / / a r x i v . o r g / a b s / 1 7 0 4 . 0 5 4 2 6 h t t p s : / / g i t h u b . c o m / h a n x i a o / b e r t a s s e r v i c e h t t p s : / / c l o u d . t e n c e n t . c o m / d e v e l o p e r / a r t i c l e / 1 8 8 6 9 8 1 第 8 节 · G P T 2 （ 2 0 1 9 年 2 月 ） 虽 然 B E R T 似 乎 在 结 果 上 「 打 败 」 了 G P T 1 ， 但 是 用 T r a n s f o r m e r E n c o d e r （ 更 容 易 ） 并 且 数 据 规 模 和 参 数 规 模 都 显 著 提 升 ， 多 少 有 点 「 胜 之 不 武 」 ， O p e n A I 自 然 不 服 。 
 B E R T 发 布 后 又 过 了 4 个 月 ， O p e n A I 发 布 了 比 B E R T 更 大 的 G P T 2 ， 俨 然 进 入 了 军 备 竞 赛 。 
 前 面 麦 克 船 长 介 绍 G P T 1 时 仍 以 结 构 理 念 、 训 练 方 法 为 主 ， 现 在 介 绍 这 个 扩 展 自 G P T 1 的 G P T 2 ， 则 我 们 主 要 以 它 在 结 构 、 方 法 、 数 据 等 方 面 改 进 了 什 么 为 讲 解 线 索 。 
 8 . 1 、 G P T 2 是 对 G P T 1 的 直 接 扩 展 ， 但 更 笃 定 地 追 逐 「 通 用 语 言 模 型 」 的 理 想 在 2 0 1 8 年 6 月 ， S a l e s f o r c e R e s e a r c h 团 队 在 论 文 《 T h e N a t u r a l L a n g u a g e D e c a t h l o n : M u l t i t a s k L e a r n i n g a s Q u e s t i o n A n s w e r i n g 》 中 提 出 「 通 用 N L P 模 型 是 无 法 诞 生 于 一 个 只 着 眼 在 单 一 度 量 、 数 据 集 和 任 务 的 范 式 中 的 」 ， 同 时 提 出 将 N L P 的 十 项 全 能 任 务 （ N a t u r a l L a n g u a g e D e c a t h l o n ， d e c a N L P ） ， 主 张 所 有 N L P 任 务 可 以 转 换 成 问 答 任 务 ， 并 且 提 出 了 一 个 基 于 该 思 路 的 实 验 模 型 M Q A N 来 挑 战 d e c a N L P ， 尽 管 性 能 表 现 还 有 差 距 。 
 D e e p M i n d 团 队 对 S a l e s f o r c e R e s e a r c h 提 出 的 假 设 非 常 认 同 ， 并 在 2 0 1 9 年 1 月 发 表 的 论 文 《 L e a r n i n g a n d E v a l u a t i n g G e n e r a l L i n g u i s t i c I n t e l l i g e n c e 》 中 提 到 ： A p e r f e c t l a n g u a g e m o d e l s h o u l d i n t h e o r y b e a b l e t o d o a n y l i n g u i s t i c t a s k . 理 论 上 ， 完 美 的 语 言 模 型 应 该 能 够 执 行 任 何 语 言 任 务 。 
 W e b e l i e v e t h a t c o n t i n u e d p r o g r e s s o n g e n e r a t i v e l a n g u a g e m o d e l s w i l l d r i v e p r o g r e s s o n g e n e r a l l i n g u i s t i c i n t e l l i g e n c e . 我 们 相 信 ， 对 生 成 式 语 言 模 型 的 持 续 进 展 ， 将 推 动 通 用 语 言 智 能 的 发 展 。 
 O p e n A I 也 认 同 这 些 理 念 假 设 ， 所 以 期 待 构 建 出 能 解 决 任 何 N L P 任 务 的 语 言 模 型 。 
 O p e n A I 在 G P T 2 的 工 作 中 ， 把 这 些 理 念 假 设 概 括 为 「 由 于 （ 所 训 练 的 ） 这 些 任 务 是 通 用 语 言 建 模 的 子 集 ， 因 此 我 们 可 以 预 期 随 着 更 多 算 力 和 训 练 数 据 的 使 用 ， 性 能 将 进 一 步 提 高 。 
 」 2 0 1 9 年 的 情 人 节 ， O p e n A I 在 其 官 方 发 布 了 一 篇 b l o g 《 B e t t e r L a n g u a g e M o d e l s a n d T h e i r I m p l i c a t i o n s 》 ， 后 又 发 布 了 介 绍 G P T 2 的 论 文 《 L a n g u a g e M o d e l s a r e U n s u p e r v i s e d M u l t i t a s k L e a r n e r s 》 。 
 G P T 2 是 G P T 1 的 直 接 扩 展 ， 因 此 还 是 基 于 T r a n s f o r m e r D e c o d e r 架 构 ， 但 是 参 数 扩 1 0 倍 左 右 ， 训 练 数 据 集 扩 1 0 倍 左 右 。 
 G P T 2 的 训 练 目 标 也 很 简 单 ， 就 是 基 于 一 段 文 本 中 前 面 的 所 有 词 ， 预 测 下 一 个 词 。 
 训 练 方 法 上 ， G P T 2 没 有 对 任 何 任 务 的 任 何 数 据 集 做 针 对 性 的 训 练 ， 都 是 直 接 评 估 并 作 为 最 终 结 果 。 
 G P T 2 模 型 的 基 本 信 息 如 下 表 ， 其 中 可 以 看 出 1 1 7 M 参 数 版 本 的 G P T 2 是 对 标 B E R T B a s e ， 1 5 亿 参 数 版 本 的 G P T 2 是 对 标 B E R T L a r g e 。 
 M o d e l N a m e \ \ ( n _ \ \ ) \ \ ( n _ \ \ ) \ \ ( d _ \ \ ) \ \ ( n _ \ \ ) G P T 1 1 1 7 M 1 2 7 6 8 1 2 G P T 2 S m a l l 1 1 7 M 1 2 7 6 8 1 2 G P T 2 M e d i u m 3 4 5 M 2 4 1 0 2 4 1 6 G P T 2 L a r g e 7 6 2 M 3 6 1 2 8 0 1 6 G P T 2 E x t r a L a r g e 1 5 4 2 M 4 8 1 6 0 0 2 4 B E R T B a s e 1 1 0 M 1 2 7 6 8 1 2 B E R T L a r g e 3 4 0 M 2 4 1 0 2 4 1 6 在 A I 2 网 站 上 可 以 在 线 试 用 基 于 G P T 2 的 N e x t T o k e n 的 语 言 模 型 ： h t t p s : / / d e m o . a l l e n n l p . o r g / n e x t t o k e n l m 。 
 G P T 2 模 型 架 构 在 G P T 1 做 了 一 些 优 化 ， 如 下 几 点 ： L a y e r N o r m a l i z a t i o n 移 到 了 输 入 部 分 ， 并 在 自 注 意 力 之 后 也 加 了 L a y e r N o r m a l i z a t i o n 。 
 残 差 层 （ R e s i d u a l L a y e r s ） 的 初 始 化 权 重 用 \ \ ( 1 / \ \ s q r t \ \ ) 缩 放 ， 其 中 \ \ ( N \ \ ) 是 残 差 层 数 。 
 词 汇 表 扩 展 至 5 0 , 2 5 7 . 上 下 文 窗 口 从 5 1 2 扩 展 至 1 0 2 4 . G P T 2 的 b a t c h s i z e 是 5 1 2 . 但 更 重 要 的 亮 点 在 于 其 对 更 先 进 训 练 方 法 的 成 功 验 证 。 
 8 . 2 、 G P T 2 大 幅 改 进 训 练 方 法 G P T 2 的 核 心 亮 点 ， 都 体 现 在 其 论 文 标 题 「 L a n g u a g e M o d e l s a r e U n s u p e r v i s e d M u l t i t a s k L e a r n e r s 」 中 。 
 第 一 个 亮 点 即 「 U n s u p e r v i s e d 」 ， 可 不 只 是 预 训 练 过 程 无 监 督 ， 整 个 学 习 过 程 都 可 以 无 监 督 。 
 第 二 个 亮 点 是 「 M u l t i t a s k 」 ， 在 无 监 督 的 情 况 下 还 可 以 把 多 种 不 同 的 任 务 混 合 起 来 学 。 
 8 . 2 . 1 、 Z e r o S h o t ： 无 需 监 督 微 调 即 可 执 行 下 游 任 务 ， 不 用 f i n e t u n e G P T 2 的 首 个 重 要 改 进 ， 就 是 其 论 文 摘 要 中 的 前 两 句 话 总 结 ： N a t u r a l l a n g u a g e p r o c e s s i n g t a s k s , s u c h a s q u e s t i o n a n s w e r i n g , m a c h i n e t r a n s l a t i o n , r e a d i n g c o m p r e h e n s i o n , a n d s u m m a r i z a t i o n , a r e t y p i c a l l y a p p r o a c h e d w i t h s u p e r v i s e d l e a r n i n g o n t a s k s p e c i f i c d a t a s e t s . W e d e m o n s t r a t e t h a t l a n g u a g e m o d e l s b e g i n t o l e a r n t h e s e t a s k s w i t h o u t a n y e x p l i c i t s u p e r v i s i o n w h e n t r a i n e d o n a n e w d a t a s e t o f m i l l i o n s o f w e b p a g e s c a l l e d W e b T e x t . G P T 1 及 当 时 所 有 语 言 模 型 的 局 限 性 在 于 ， 即 便 采 取 无 监 督 预 训 练 ， 仍 然 需 要 对 特 定 任 务 进 行 监 督 微 调 。 
 而 O p e n A I 在 G P T 2 上 验 证 了 基 于 数 以 百 万 计 网 页 上 的 无 监 督 学 习 后 就 可 以 执 行 多 种 语 言 任 务 ， 比 如 问 答 、 及 其 翻 译 、 阅 读 理 解 、 文 本 摘 要 。 
 8 . 2 . 2 、 M u l t i t a s k L e a r n i n g ： 多 任 务 学 习 共 享 参 数 更 新 卡 耐 基 梅 隆 大 学 R i c h C a r u a n a 在 1 9 9 7 年 提 出 了 M u l t i t a s k L e a r n i n g （ 多 任 务 学 习 ） 这 样 一 个 提 升 模 型 泛 化 能 力 的 学 习 框 架 ， 但 是 经 过 了 二 十 年 发 展 ， N L P 在 多 任 务 的 训 练 探 索 上 仍 然 不 成 熟 。 
 不 过 有 两 个 取 得 了 一 定 突 破 的 技 术 路 线 ， 值 得 关 注 。 
 一 个 是 ， 2 0 1 8 年 O p e n A I 提 出 的 G P T 1 与 G o o g l e 提 出 的 B E R T 都 验 证 了 「 不 需 针 对 特 定 任 务 而 只 需 要 增 加 自 注 意 力 即 可 」 的 架 构 可 行 性 。 
 但 是 这 样 的 技 术 方 案 ， 依 然 需 要 用 到 监 督 学 习 ， 泛 化 性 依 然 受 局 限 。 
 另 一 个 是 ， 在 无 监 督 或 极 少 量 监 督 数 据 的 情 况 下 ， 在 特 定 任 务 上 也 都 能 取 得 很 好 表 现 ， 例 如 常 识 推 理 （ 华 盛 顿 大 学 几 位 学 者 于 2 0 1 7 年 在 《 S t o r y C l o z e T a s k : U W N L P S y s t e m 》 研 究 中 验 证 ） 、 情 感 分 析 （ O p e n A I 团 队 2 0 1 7 年 在 《 L e a r n i n g t o G e n e r a t e R e v i e w s a n d D i s c o v e r i n g S e n t i m e n t 》 研 究 中 验 证 ） 。 
 O p e n A I 团 队 受 到 两 条 研 究 路 线 的 启 发 并 采 用 更 通 用 的 迁 移 方 法 ， 实 现 无 监 督 预 训 练 后 ， 在 Z e r o S h o t 情 况 下 完 成 多 任 务 ， 多 有 任 务 共 享 更 新 同 一 个 T r a n s f o r m e r D e c o d e r 架 构 之 上 的 模 型 参 数 。 
 8 . 3 、 G P T 2 的 预 训 练 数 据 集 ： 高 质 量 、 多 样 性 的 W e b T e x t G P T 1 是 拿 一 堆 书 预 训 练 的 ， 其 实 很 明 显 多 样 性 是 不 足 的 ， 尤 其 只 用 了 小 说 。 
 G P T 2 则 用 了 4 0 G B 的 W e b T e x t 语 料 （ 8 0 0 万 个 网 页 ） 。 
 具 体 地 ， 这 些 网 页 都 是 来 自 R e d d i t 的 网 页 中 包 含 的 出 站 链 接 （ O u t b o u n d L i n k s ） ， 并 且 获 得 了 至 少 3 个 k a r m a ， 这 两 点 门 槛 让 O p e n A I 认 为 得 到 了 一 些 比 较 高 质 量 的 网 页 （ 明 显 质 量 比 C o m m o n C r a w l 整 来 那 些 乱 七 八 糟 的 要 高 不 少 ） 。 
 而 且 这 样 得 到 的 数 据 集 ， 具 有 非 常 好 的 多 样 性 ， 因 此 很 多 任 务 的 示 例 会 自 然 地 被 学 习 到 。 
 O p e n A I 在 论 文 中 提 到 ： … … T h e s e f i n d i n g s s u g g e s t a p r o m i s i n g p a t h t o w a r d s b u i l d i n g l a n g u a g e p r o c e s s i n g s y s t e m s w h i c h l e a r n t o p e r f o r m t a s k s f r o m t h e i r n a t u r a l l y o c c u r r i n g d e m o n s t r a t i o n s . … … 这 些 发 现 为 构 建 语 言 处 理 系 统 指 明 了 一 条 道 路 ， 就 是 从 文 本 语 料 中 自 然 出 现 的 样 本 示 例 来 学 习 并 完 成 任 务 。 
 当 O p e n A I 在 研 发 G P T 2 时 这 样 认 为 ， 已 经 预 示 着 两 点 ： 1 ） I C L （ I n C o n t e x t L e a r n i n g ） ， 甚 至 P r o m p t E n g i n e e r i n g ， 势 必 会 在 语 言 模 型 通 用 性 变 得 更 强 后 ， 成 为 一 个 人 人 都 能 参 与 的 研 究 热 点 。 
 2 ） 如 果 各 类 任 务 的 模 式 是 「 隐 式 」 出 现 在 语 料 中 的 ， 那 么 大 规 模 训 练 数 据 就 意 味 着 可 以 覆 盖 更 多 任 务 类 型 ， 进 而 暴 力 军 备 竞 赛 有 了 理 论 上 的 动 力 。 
 从 实 验 表 现 上 ， 用 W e b T e x t 预 训 练 的 G P T 2 优 于 在 W i k i p e d i a 、 新 闻 或 书 籍 上 训 练 的 其 他 语 言 模 型 ， 而 无 需 使 用 这 些 训 练 数 据 集 。 
 8 . 4 、 如 果 预 训 练 直 接 喂 生 数 据 ， 最 终 的 效 果 怎 样 ？ 对 于 预 训 练 数 据 集 的 处 理 ， G P T 2 采 用 了 最 简 单 直 接 、 符 合 我 们 目 标 期 待 的 方 式 ： 不 作 任 何 处 理 ， 直 接 喂 生 数 据 （ r a w t e x t ） 。 
 8 . 4 . 1 、 生 文 本 「 隐 式 」 包 含 任 务 模 式 ， 上 下 文 「 显 式 」 提 示 具 象 任 务 G P T 2 直 接 从 原 始 文 本 开 始 学 习 ， 而 不 需 要 针 对 任 务 准 备 的 训 练 数 据 ， 也 不 需 要 任 何 微 调 ， 尤 其 对 于 问 答 、 阅 读 理 解 、 s u m m a r i z a t i o n 、 t r a n s l a t i o n 这 些 任 务 上 ， 只 需 要 以 正 确 的 方 式 提 示 经 过 训 练 的 模 型 就 能 得 到 令 人 惊 讶 的 结 果 。 
 当 然 离 S O T A 还 有 区 别 ， 但 作 者 们 表 示 ， 从 实 验 表 现 上 看 ， 如 果 有 足 够 大 的 未 标 记 数 据 集 和 算 力 ， 模 型 在 这 些 任 务 上 也 会 取 得 领 先 表 现 。 
 ↑ 标 注 ( + ) 的 项 ， 表 示 分 数 越 高 越 好 ； 标 注 ( – ) 的 项 ， 表 示 分 数 越 低 越 好 。 
 这 里 已 经 基 本 预 示 着 ， 投 喂 生 文 本 数 据 ， 让 模 型 「 囫 囵 吞 枣 」 地 学 会 了 不 少 东 西 ， 就 像 一 个 小 孩 子 到 父 亲 的 书 房 里 翻 了 很 多 很 多 书 ， 知 识 都 学 杂 了 。 
 但 是 如 果 启 发 教 育 问 的 好 ， 给 一 些 上 下 文 提 示 语 ， 模 型 就 能 给 出 很 不 错 的 响 应 。 
 这 也 就 引 出 了 I n C o n t e x t L e a r n i n g 、 P r o m p t E n g i n e e r i n g 等 一 系 列 话 题 。 
 关 于 这 些 的 探 讨 ， 我 们 将 在 「 I n C o n t e x t L e a r n i n g 」 那 一 章 详 细 介 绍 这 方 面 的 研 究 发 展 和 技 术 尝 试 。 
 但 是 显 然 在 G P T 2 这 个 阶 段 ， 其 表 现 还 没 有 让 O p e n A I 这 么 笃 定 这 件 事 。 
 比 如 整 体 看 ， O p e n A I 发 现 需 要 对 G P T 2 多 尝 试 几 次 才 能 获 得 好 的 样 本 ， 尝 试 的 次 数 取 决 于 模 型 对 上 下 文 的 熟 悉 程 度 ： 1 ） 当 提 示 数 据 中 有 非 常 具 体 的 主 题 （ 比 如 英 国 脱 欧 、 指 环 王 等 ） 时 ， G P T 2 能 在 一 半 的 时 间 内 生 成 合 理 的 样 本 。 
 2 ） 对 于 高 度 技 术 性 或 深 奥 类 型 的 内 容 ， G P T 2 就 表 现 不 太 行 了 。 
 比 如 对 于 数 据 集 N a t u r a l Q u e s t i o n s 上 ， O p e n A I 给 出 测 试 问 答 的 例 子 ： 任 务 Q u e s t i o n A n s w e r i n g 数 据 集 N a t u r a l Q u e s t i o n s 示 例 W h o w r o t e t h e b o o k t h e o r i g i n o f s p e c i e s ? C o r r e c t a n s w e r : C h a r l e s D a r w i n M o d e l a n s w e r : C h a r l e s D a r w i n W h a t i s t h e l a r g e s t s t a t e i n t h e U . S . b y l a n d m a s s ? C o r r e c t a n s w e r : A l a s k a M o d e l a n s w e r : C a l i f o r n i a 8 . 4 . 2 、 L L M 军 备 竞 赛 的 序 幕 拉 开 整 体 来 看 ， G P T 2 在 以 下 这 些 数 据 集 上 执 行 的 对 应 任 务 ， 虽 然 很 多 没 到 S O T A ， 但 效 果 还 可 以 ， 毕 竟 是 没 有 针 对 性 的 任 务 数 据 拿 来 训 练 的 。 
 还 是 上 面 提 到 的 那 句 ， O p e n A I 认 为 「 由 于 （ 所 训 练 的 ） 这 些 任 务 是 通 用 语 言 建 模 的 子 集 ， 因 此 我 们 可 以 预 期 随 着 更 多 算 力 和 训 练 数 据 的 使 用 ， 性 能 将 进 一 步 提 高 」 。 
 这 也 为 G P T 3 留 下 了 巨 大 的 空 间 ： 任 务 数 据 集 S u m m a r i z a t i o n : s u m m a r i z e n e w s a r t i c l e s C N N a n d D a i l y M a i l d a t a s e t M a c h i n e T r a n s l a t i o n : t r a n s l a t e F r e n c h s e n t e n c e s t o E n g l i s h W M T 1 4 F r E n R e a d i n g C o m p r e h e n s i o n : a n s w e r q u e s t i o n s a b o u t g i v e n p a s s a g e s C o Q A C o m m o n S e n s e R e a s o n i n g : r e s o l u t i o n o f a n a m b i g u o u s p r o n o u n W i n o g r a d S c h e m a C h a l l e n g e Q u e s t i o n A n s w e r i n g N a t u r a l Q u e s t i o n s L a n g u a g e M o d e l i n g o f B r o a d C o n t e x t s : p r e d i c t t h e l a s t w o r d o f a p a s s a g e L A M B A D A 在 G P T 2 的 开 发 与 公 布 阶 段 ， O p e n A I 就 已 经 跃 跃 欲 试 L L M 下 一 阶 段 的 可 能 范 式 ： 基 于 扩 展 性 极 好 的 T r a n s f o r m e r D e c o d e r 架 构 上 （ 撑 得 起 巨 量 参 数 规 模 ） 构 建 模 型 ， 并 投 喂 足 够 多 的 数 据 （ 海 量 数 据 已 经 潜 在 包 括 各 种 任 务 模 式 ） 进 行 无 监 督 预 训 练 （ 所 有 任 务 都 「 隐 式 」 地 变 成 从 左 至 右 的 生 成 训 练 ） — — 从 而 拉 开 了 「 大 模 型 、 大 数 据 、 大 算 力 」 的 军 备 竞 赛 大 幕 。 
 8 . 5 、 O p e n A I 初 步 预 见 了 L L M 可 能 带 来 的 影 响 其 实 如 果 大 家 对 2 0 1 9 年 的 科 技 新 闻 还 有 印 象 的 话 ， 一 定 记 得 当 时 说 有 一 家 美 国 公 司 搞 了 个 A I 模 型 编 造 假 新 闻 给 大 家 忽 悠 得 一 愣 一 愣 的 ， 也 就 是 G P T 2 。 
 另 外 G P T 2 在 发 布 时 只 放 出 来 一 个 小 模 型 ， 所 以 也 就 是 从 这 时 开 始 O p e n A I 被 人 调 侃 为 C l o s e d A I 的 。 
 当 时 O p e n A I 认 为 L L M 正 变 得 越 来 越 可 扩 展 、 可 定 制 、 生 成 连 贯 ， 而 这 可 以 给 各 行 各 业 带 来 很 大 积 极 价 值 ， 也 能 拿 来 作 恶 。 
 因 此 O p e n A I 最 初 发 布 博 客 和 论 文 时 没 有 放 出 完 整 的 模 型 ， 只 给 出 了 一 个 用 于 研 究 的 实 验 小 版 本 ： h t t p s : / / g i t h u b . c o m / o p e n a i / g p t 2 。 
 具 体 地 ， G P T 2 没 有 放 出 数 据 集 、 训 练 代 码 、 G P T 2 模 型 参 数 。 
 O p e n A I 认 为 那 些 可 能 的 危 害 是 必 须 预 防 的 ， 所 以 要 预 期 到 。 
 8 . 5 . 1 、 O p e n A I 在 2 0 1 9 年 就 倡 议 政 府 监 管 I t i s n o t p o s s i b l e t o c o n t r o l r e s e a r c h i n t h e s e d o m a i n s w i t h o u t s l o w i n g d o w n t h e p r o g r e s s o f A I a s a w h o l e . 如 果 管 控 这 些 领 域 的 研 究 ， 就 不 可 能 不 减 缓 整 个 人 工 智 能 的 进 展 。 
 O p e n A I 希 望 大 家 对 此 要 有 预 期 ， 不 要 抵 触 可 能 出 现 的 管 控 。 
 甚 至 O p e n A I 早 在 G P T 2 出 现 的 2 0 1 9 年 这 个 时 间 点 就 提 出 倡 议 ： 政 府 应 考 虑 扩 大 或 启 动 更 系 统 地 监 测 A I 技 术 的 社 会 影 响 和 扩 散 ， 并 要 能 够 量 化 A I 系 统 能 力 的 迭 代 发 展 情 况 。 
 这 其 实 就 预 示 着 后 来 关 于 「 对 齐 （ A l i g n m e n t ） 」 这 个 议 题 被 更 重 视 的 提 出 ， 顺 带 必 然 要 面 对 的 「 对 齐 税 （ A l i g n m e n t T a x ） 」 ， 也 因 此 有 为 了 A l i g n m e n t 而 出 现 的 I n s t r u c t G P T ， 进 而 孕 育 出 C h a t G P T 。 
 8 . 5 . 2 、 同 年 5 月 公 布 3 . 4 5 亿 参 数 版 本 ， 并 暗 示 了 后 来 微 软 对 O p e n A I 不 O p e n 的 影 响 同 年 5 月 ， O p e n A I 公 开 发 布 了 G P T 2 的 3 . 4 5 亿 参 数 版 本 ， 因 为 O p e n A I 认 为 很 多 机 构 已 经 能 够 训 练 同 等 能 力 的 模 型 ， 所 以 风 险 不 大 。 
 另 外 ， 对 那 些 致 力 于 促 进 社 会 为 L L M 的 广 泛 影 响 做 好 准 备 的 合 作 伙 伴 与 安 全 社 区 ， O p e n A I 开 放 了 7 . 6 2 亿 参 数 和 1 5 亿 参 数 的 版 本 。 
 这 里 O p e n A I 提 到 ： T h e s e r e s e a r c h p a r t n e r s h i p s w i l l b e a k e y i n p u t t o o u r d e c i s i o n m a k i n g o n l a r g e r m o d e l s . 这 些 研 究 方 面 的 合 作 关 系 将 是 我 们 在 决 定 发 布 更 大 模 型 时 的 关 键 因 素 。 
 这 个 在 2 0 1 9 年 时 间 节 点 上 的 表 态 ， 暗 示 了 此 后 O p e n A I 与 M i c r o s o f t 的 合 作 关 系 ， 对 于 O p e n A I 后 续 模 型 的 公 开 程 度 的 影 响 ， 给 各 方 在 打 预 防 针 。 
 后 来 在 2 0 2 3 年 1 月 2 3 日 O p e n A I 博 客 上 也 发 布 了 《 O p e n A I 与 M i c r o s o f t 扩 大 合 作 伙 伴 关 系 》 一 文 提 到 M i c r o s o f t 从 2 0 1 9 年 开 始 对 O p e n A I 的 投 资 。 
 而 在 5 月 这 次 发 布 的 内 容 ， 还 包 括 G P T 2 o u t p u t d a t a s e t 。 
 8 . 6 、 G P T 2 小 节 G P T 2 的 亮 点 和 洞 察 ： 自 回 归 语 言 模 型 虽 然 难 但 正 确 ， 可 以 隐 式 地 从 语 料 中 学 到 各 类 任 务 概 念 （ 有 研 究 认 为 其 包 含 隐 式 马 尔 科 夫 模 型 ， 详 见 本 篇 第 1 4 节 ） ， 继 续 显 著 提 高 性 能 及 泛 化 能 力 的 方 法 ， 就 是 加 大 训 练 数 据 规 模 、 模 型 参 数 规 模 。 
 无 需 监 督 微 调 阶 段 ： 处 理 下 游 任 务 时 不 需 要 f i n e t u n e ， 预 示 未 来 在 L L M 上 以 P r o m p t 方 式 完 成 任 务 可 能 成 为 一 种 新 范 式 。 
 本 小 节 参 考 h t t p s : / / o p e n a i . c o m / b l o g / b e t t e r l a n g u a g e m o d e l s / h t t p s : / / j a l a m m a r . g i t h u b . i o / i l l u s t r a t e d g p t 2 / h t t p s : / / g i t h u b . c o m / o p e n a i / g p t 2 h t t p s : / / g i t h u b . c o m / o p e n a i / g p t 2 o u t p u t d a t a s e t h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 6 8 6 9 0 7 9 h t t p s : / / d e m o . a l l e n n l p . o r g / n e x t t o k e n l m h t t p s : / / o p e n a i . c o m / b l o g / o p e n a i a n d m i c r o s o f t e x t e n d p a r t n e r s h i p / h t t p s : / / l i n k . s p r i n g e r . c o m / a r t i c l e / 1 0 . 1 0 2 3 / A : 1 0 0 7 3 7 9 6 0 6 7 3 4 h t t p s : / / a r x i v . o r g / a b s / 1 8 0 6 . 0 8 7 3 0 h t t p s : / / a r x i v . o r g / a b s / 1 9 0 1 . 1 1 3 7 3 h t t p s : / / m a a r t e n s a p . c o m / p d f s / s c h w a r t z 2 0 1 7 s t o r y . p d f h t t p s : / / a r x i v . o r g / a b s / 1 7 0 4 . 0 1 4 4 4 h t t p s : / / w w w . m i k e c a p t a i n . c o m / 2 0 2 3 / 0 1 / 2 2 / c a p t a i n a i g c 1 t r a n s f o r m e r / h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 3 5 0 0 1 7 4 4 3 第 9 节 · T 5 ： 提 出 所 有 N L P 任 务 可 统 一 为 文 本 生 成 任 务 （ 2 0 1 9 年 1 0 月 ） G o o g l e 团 队 在 2 0 1 9 年 1 0 月 发 布 了 一 个 对 N L P 任 务 大 一 统 的 T 5 模 型 《 E x p l o r i n g t h e L i m i t s o f T r a n s f e r L e a r n i n g w i t h a U n i f i e d T e x t t o T e x t T r a n s f o r m e r 》 。 
 T 5 模 型 是 基 于 T r a n s f o r m e r 整 体 E n c o d e r D e c o d e r 架 构 的 。 
 这 篇 论 文 有 三 个 后 来 被 大 家 常 提 起 的 关 注 点 — — 对 下 游 N L P 任 务 的 统 一 、 新 开 源 数 据 集 C 4 的 引 入 和 多 到 惊 人 的 实 验 数 据 。 
 9 . 1 、 对 下 游 N L P 任 务 的 统 一 最 直 接 的 价 值 ， 就 是 提 出 「 所 有 基 于 文 本 的 语 言 问 题 ， 都 可 以 转 换 成 文 本 生 成 文 本 （ t e x t t o t e x t ） 形 式 」 ： I n t h i s p a p e r , w e e x p l o r e t h e l a n d s c a p e o f t r a n s f e r l e a r n i n g t e c h n i q u e s f o r N L P b y i n t r o d u c i n g a u n i f i e d f r a m e w o r k t h a t c o n v e r t s a l l t e x t b a s e d l a n g u a g e p r o b l e m s i n t o a t e x t t o t e x t f o r m a t . 具 体 地 ， 只 要 在 编 码 前 ， 加 上 任 务 提 示 （ 比 如 s u m m a r i z e 、 t r a n s l a t e E n g l i s h t o G e r m a n ） 就 可 以 在 模 型 输 出 得 到 想 要 的 结 果 。 
 下 面 这 张 图 可 以 说 是 提 到 T 5 模 型 必 会 引 用 的 图 。 
 该 图 里 举 例 了 语 言 翻 译 、 分 类 问 题 （ 来 自 c o l a 数 据 集 ） 、 回 归 问 题 的 语 义 文 本 相 似 评 测 （ S T S B ） 、 摘 要 生 成 。 
 除 了 图 中 提 到 这 四 种 任 务 ， T 5 模 型 所 有 下 游 任 务 都 可 以 转 化 （ t r a n s f e r ） 为 t e x t t o t e x t 任 务 ， 所 以 这 也 是 T 5 模 型 名 称 的 由 来 ： T e x t T o T e x t T r a n s f e r T r a n s f o r m e r 。 
 而 且 这 个 方 法 并 不 局 限 于 T r a n s f o r m e r E n c o d o e r D e c o d e r 架 构 ， 其 他 架 构 的 模 型 也 可 以 。 
 9 . 2 、 新 开 源 数 据 集 C 4 （ C o l o s s a l C l e a n C r a w l e d C o r p u s ） 作 者 对 从 互 联 网 上 爬 取 的 公 开 网 页 数 据 集 C o m m o n C r a w l （ 来 自 c o m m o n c r a w l . o r g ） 的 6 . 1 T B 数 据 过 滤 处 理 为 7 4 5 G B 的 「 庞 大 而 干 净 的 爬 取 语 料 库 」 ， 也 就 是 它 名 字 （ C o l o s s a l C l e a n C r a w l e d C o r p u s ） 的 由 来 ， 但 其 实 军 事 迷 或 爱 玩 射 击 游 戏 的 朋 友 们 都 知 道 ， 作 者 主 要 是 为 了 凑 成 「 C 4 」 炸 药 这 个 缩 写 。 
 过 滤 处 理 的 主 要 手 段 包 括 ： 只 保 留 以 句 号 、 感 叹 号 、 问 号 或 结 束 引 号 结 尾 的 行 。 
 干 掉 了 少 于 5 个 句 子 的 页 面 ， 只 保 留 了 至 少 包 含 3 个 单 词 的 行 。 
 干 掉 了 任 何 包 含 「 L i s t o f D i r t y , N a u g h t y , O b s c e n e o r O t h e r w i s e B a d W o r d s 」 语 料 库 中 任 意 词 语 的 页 面 。 
 干 掉 了 所 有 包 含 J a v a s c r i p t 这 个 词 儿 的 行 （ 因 为 许 多 爬 取 的 页 面 都 包 含 类 似 「 请 启 用 J a v a S c r i p t 」 这 样 的 警 告 ） 。 
 干 掉 了 所 有 包 含 印 刷 及 排 版 领 域 常 用 的 哑 元 文 本 （ 又 叫 乱 数 假 文 ） l o r e m i p s u m — — 你 可 能 在 调 试 打 印 机 时 见 过 。 
 干 掉 了 所 有 包 含 代 码 的 页 面 。 
 特 别 低 ， 因 为 编 程 语 言 常 用 的 大 括 号 \ \ ) \ \ ( n _ \ \ ) \ \ ( d _ \ \ ) \ \ ( n _ \ \ ) \ \ ( d _ \ \ ) B a t c h S i z e L e a r n i n g R a t e G P T 3 S m a l l 1 2 5 M 1 2 7 6 8 1 2 6 4 0 . 5 M 6 . 0 E 4 G P T 3 M e d i u m 3 5 0 M 2 4 1 0 2 4 1 6 6 4 0 . 5 M 3 . 0 E 4 G P T 3 L a r g e 7 6 0 M 2 4 1 5 3 6 1 6 9 6 0 . 5 M 2 . 5 E 4 G P T 3 X L 1 . 3 B 2 4 2 0 4 8 2 4 1 2 8 1 M 2 . 0 E 4 G P T 3 2 . 7 B 2 . 7 B 3 2 2 5 6 0 3 2 8 0 1 M 1 . 6 E 4 G P T 3 6 . 7 B 6 . 7 B 3 2 4 0 9 6 3 2 1 2 8 2 M 1 . 2 E 4 G P T 3 1 3 B 1 3 . 0 B 4 0 5 1 4 0 4 0 1 2 8 2 M 1 . 0 E 4 G P T 3 1 7 5 B 1 7 5 . 0 B 9 6 1 2 2 8 8 9 6 1 2 8 3 . 2 M 0 . 6 E 4 在 模 型 参 数 规 模 \ \ ( n _ \ \ ) 的 军 备 竞 赛 方 面 ， 可 以 看 到 G P T 3 S m a l l 是 与 G P T 1 （ 1 . 1 7 亿 参 数 ） 、 B E R T B a s e （ 1 . 1 亿 参 数 ） 对 应 的 ； G P T 3 M e d i u m 是 与 B E R T L a r g e （ 3 . 4 亿 参 数 ） 对 应 的 ； 其 余 六 个 的 参 数 规 模 都 直 接 超 过 了 这 些 大 模 型 ， 尤 其 G P T 3 1 7 5 0 亿 参 数 的 版 本 ， 直 接 从 G P T 2 最 大 的 1 5 . 4 亿 版 本 基 础 上 拉 升 了 1 0 0 多 倍 规 模 ！ 也 比 以 往 任 何 一 个 非 稀 疏 模 型 至 少 大 1 0 倍 ！ 模 型 的 T r a n s f o r m e r d e c o d e r b l o c k 的 层 数 \ \ ( n _ \ \ ) ， 也 常 叫 模 型 深 度 。 
 可 以 看 到 随 着 模 型 参 数 规 模 的 急 速 拉 升 ， O p e n A I 团 队 并 没 有 把 模 型 深 度 急 剧 增 加 ， 与 G P T 2 1 5 2 M 版 本 相 比 ， 比 它 大 一 百 多 倍 的 G P T 3 1 7 5 B 的 层 数 也 只 不 过 是 其 两 倍 （ 9 6 v s . 4 8 ） 。 
 模 型 的 词 向 量 长 度 ， 也 常 叫 模 型 宽 度 ， 一 般 表 示 为 \ \ ( d _ \ \ ) ， 区 分 于 注 意 力 头 的 宽 度 \ \ ( d _ \ \ ) 。 
 与 G P T 2 对 比 就 能 看 到 ， 类 似 层 数 的 模 型 情 况 下 ， G P T 3 要 宽 很 多 ， 可 以 说 整 体 G P T 3 的 模 型 要 胖 一 些 ， 而 不 是 在 提 升 规 模 时 更 多 去 加 深 （ 加 层 数 ） 。 
 G P T 3 的 b a t c h s i z e 都 非 常 大 ， 哪 怕 S m a l l 版 本 也 有 0 . 5 M ， 1 7 5 B 版 本 更 是 达 到 3 . 2 M ， 这 对 内 存 要 求 非 常 高 。 
 如 果 b a t c h 处 理 并 行 的 话 ， 那 么 内 存 就 是 就 是 3 . 2 M 除 以 并 行 的 数 量 。 
 注 意 一 般 b a t c h 指 的 是 每 次 训 练 迭 代 中 模 型 处 理 的 样 本 数 ， 而 不 是 具 体 的 数 据 量 ， 即 3 , 2 0 0 , 0 0 0 个 样 本 ， 而 不 是 3 . 2 M B 数 据 。 
 把 b a t c h s i z e 做 大 的 好 处 是 ， 降 低 模 型 训 练 时 的 通 讯 量 。 
 不 过 对 于 小 模 型 ， b a t c h s i z e 太 大 的 话 很 容 易 过 拟 合 。 
 对 于 参 数 量 大 的 模 型 ， b a t c h s i z e 自 然 也 要 相 匹 配 的 变 大 。 
 L R （ L e a r n i n g R a t e ， 学 习 率 ） 在 G P T 3 里 是 随 着 b a t c h s i z e 增 加 而 下 降 的 ， 这 与 当 时 一 些 研 究 的 结 果 是 相 反 的 。 
 1 1 . 3 、 G P T 3 的 训 练 数 据 上 面 这 个 表 格 ， 是 G P T 3 用 到 的 训 练 数 据 集 。 
 关 于 G P T 3 的 训 练 数 据 集 解 读 ， 很 多 中 文 文 章 里 说 的 是 错 的 ， 主 要 是 对 论 文 中 该 表 的 数 据 理 解 错 误 ， 下 面 我 们 分 别 来 看 下 各 个 数 据 集 和 整 体 数 据 处 理 做 的 核 心 工 作 。 
 1 1 . 3 . 1 、 训 练 数 据 集 G P T 3 的 数 据 源 来 自 五 部 分 组 成 ， 包 括 一 个 大 型 的 来 自 C o m m o n C r a w l . o r g 数 据 集 、 扩 展 的 W e b T e x t 数 据 集 、 两 个 互 联 网 上 的 书 籍 语 料 库 （ 一 般 认 为 书 籍 的 语 料 质 量 是 非 常 高 的 ） 和 英 文 的 维 基 百 科 。 
 表 中 各 列 的 含 义 如 下 ： 第 二 列 Q u a n t i t y ： 每 个 数 据 源 本 身 的 数 据 规 模 ， 单 位 是 t o k e n s （ 根 据 O p e n A I 官 方 文 档 里 提 到 的 一 个 大 概 的 经 验 是 ， 通 常 英 文 文 本 里 1 t o k e n 有 4 个 字 母 或 者 0 . 7 5 个 单 词 ） 。 
 训 练 期 间 从 给 定 数 据 集 中 提 取 的 部 分 ， 就 是 第 三 列 W e i g h t i n t r a i n i n g m i x （ 数 据 混 合 训 练 时 的 权 重 ） ， 因 为 不 同 数 据 集 质 量 不 同 ， 基 于 此 考 虑 O p e n A I 结 合 数 据 质 量 因 素 做 的 配 比 。 
 最 后 ， G P T 3 整 体 上 是 设 定 了 3 0 0 0 亿 t o k e n s 的 训 练 数 据 集 。 
 第 四 列 表 示 各 数 据 集 在 训 练 时 出 现 的 次 数 ， 最 高 的 w i k i p e d i a 是 3 . 4 次 。 
 这 样 其 实 是 为 了 高 质 量 训 练 ， 稍 微 接 受 一 点 点 的 过 拟 合 。 
 说 到 这 里 ， 不 得 不 提 中 文 L L M 的 数 据 集 问 题 。 
 中 文 整 体 上 是 缺 乏 这 些 非 营 利 组 织 语 料 库 、 高 质 量 文 本 内 容 社 区 / 百 科 平 台 内 容 的 。 
 类 似 S t a c k O v e r f l o w 这 种 技 术 问 答 社 区 、 W i k i P e d i a 高 质 量 百 科 。 
 1 1 . 3 . 2 、 提 高 数 据 质 量 的 处 理 准 备 工 作 在 上 述 数 据 集 基 础 上 ， G P T 3 使 用 如 下 方 式 提 高 了 数 据 集 的 质 量 。 
 首 先 ， 用 一 个 高 质 量 数 据 集 作 为 正 例 ， 用 L o g i s t i c R e g r e s s i o n 过 滤 了 C o m m o n C r a w l 的 数 据 。 
 这 个 高 质 量 数 据 集 是 什 么 呢 ？ 还 记 得 G P T 2 里 采 用 的 W e b T e x t 数 据 （ R e d d i t 外 链 ， 且 K a r m a 大 于 3 ） 吗 ？ O p e n A I 认 为 这 是 质 量 比 较 高 的 数 据 ， 就 是 将 其 作 为 正 例 来 过 滤 的 。 
 过 滤 前 的 文 本 压 缩 规 模 是 4 5 T B ， 过 滤 后 的 是 5 7 0 G B 。 
 其 次 ， 在 文 档 级 别 上 用 L S H 算 法 去 除 重 复 的 数 据 。 
 L S H 是 L o c a l i t y S e n s i t i v e H a s h i n g （ 局 部 敏 感 哈 希 ） ， 是 信 息 检 索 领 域 的 一 个 常 用 算 法 ， 可 以 快 速 判 断 一 个 词 集 合 （ 文 章 就 是 一 个 词 集 合 ） 和 一 个 很 大 集 合 之 间 的 相 似 度 。 
 第 三 ， 再 额 外 加 一 些 高 质 量 的 数 据 ， 上 面 表 格 中 W e b T e x t 2 就 是 基 于 G P T 2 用 的 W e b T e x t 扩 展 而 来 的 ， 另 外 还 有 E n g l i s h W i k i p e d i a 、 两 个 电 子 书 数 据 集 。 
 1 1 . 4 、 G P T 3 的 训 练 开 销 上 图 展 示 了 G P T 3 与 B E R T 、 R o B E R T a 、 T 5 的 训 练 算 力 对 比 。 
 可 以 看 到 G P T 3 的 算 力 开 销 有 多 么 惊 人 。 
 注 意 图 标 的 纵 轴 是 非 线 性 的 、 指 数 级 间 隔 。 
 那 么 消 耗 这 么 多 的 算 力 ， 性 能 表 现 如 何 呢 ？ 我 们 看 下 面 这 张 表 。 
 上 表 中 横 轴 是 算 力 （ 对 应 上 上 表 中 的 纵 轴 ， 注 意 同 样 是 指 数 增 长 ） ， 纵 轴 是 训 练 期 间 的 验 证 损 失 （ 注 意 也 是 指 数 增 长 ） 。 
 可 以 看 到 每 一 条 曲 线 都 有 一 个 大 致 的 拐 点 ， 在 拐 点 之 后 继 续 增 加 算 力 并 不 能 显 著 提 升 性 能 。 
 所 有 这 个 最 优 拐 点 连 起 来 ， 是 完 全 符 合 S c a l i n g L a w 的 （ 关 于 S c a l i n g L a w 可 以 看 本 文 的 「 第 1 0 节 」 ） 。 
 O p e n A I 官 方 并 没 有 公 开 讲 过 花 了 多 少 钱 训 练 G P T 3 ， 市 面 上 流 传 的 说 法 「 4 6 0 万 美 元 」 目 前 考 证 来 看 是 一 家 云 服 务 厂 商 用 其 最 低 价 格 G P U 云 服 务 估 算 而 写 的 一 篇 软 广 ， 并 不 可 信 。 
 也 有 一 些 其 他 组 织 或 个 人 做 了 测 算 ， 整 体 上 都 是 想 表 达 训 练 一 次 很 贵 。 
 至 少 从 O p e n A I 的 论 文 里 我 们 能 看 出 来 ， 这 个 训 练 花 费 已 经 贵 到 研 究 人 员 即 使 发 现 多 个 b u g 也 没 舍 得 重 新 训 练 的 地 步 ： 论 文 第 9 页 ： U n f o r t u n a t e l y , a b u g i n t h e f i l t e r i n g c a u s e d u s t o i g n o r e s o m e o v e r l a p s , a n d d u e t o t h e c o s t o f t r a i n i n g i t w a s n o t f e a s i b l e t o r e t r a i n t h e m o d e l . 中 文 翻 译 ： 不 幸 的 是 ， 过 滤 中 的 一 个 B U G 导 致 我 们 忽 略 了 一 些 重 叠 ， 而 考 虑 到 训 练 成 本 ， 重 新 训 练 模 型 是 不 可 行 的 。 
 论 文 第 3 1 页 ： U n f o r t u n a t e l y , a b u g r e s u l t e d i n o n l y p a r t i a l r e m o v a l o f a l l d e t e c t e d o v e r l a p s f r o m t h e t r a i n i n g d a t a . D u e t o t h e c o s t o f t r a i n i n g , i t w a s n ’ t f e a s i b l e t o r e t r a i n t h e m o d e l . 中 文 翻 译 ： 不 幸 的 是 ， 一 个 B U G 导 致 仅 删 除 了 训 练 数 据 中 检 测 到 的 所 有 重 叠 的 一 部 分 。 
 考 虑 到 训 练 成 本 ， 重 新 训 练 模 型 是 不 可 行 的 。 
 论 文 第 4 4 页 ： D u e t o a b u g r e v e a l e d b y t h i s a n a l y s i s , f i l t e r i n g d e s c r i b e d a b o v e f a i l e d o n l o n g d o c u m e n t s s u c h a s b o o k s . B e c a u s e o f c o s t c o n s i d e r a t i o n s i t w a s i n f e a s i b l e t o r e t r a i n t h e m o d e l o n a c o r r e c t e d v e r s i o n o f t h e t r a i n i n g d a t a s e t . 中 文 翻 译 ： 由 于 此 分 析 揭 示 的 B U G ， 上 述 过 滤 在 长 文 档 （ 比 如 书 籍 ） 上 是 失 败 的 。 
 出 于 成 本 考 虑 ， 在 训 练 数 据 集 的 修 正 版 本 上 重 新 训 练 模 型 是 不 可 行 的 。 
 作 为 对 比 ， 我 们 看 下 ： M e t a A I 在 同 样 参 数 规 模 的 《 O P T : O p e n P r e t r a i n e d T r a n s f o r m e r L a n g u a g e M o d e l s 》 模 型 上 ， 用 约 1 0 0 0 个 8 0 G A 1 0 0 G P U 上 训 练 至 少 两 个 月 时 间 ， 就 可 想 而 知 这 花 费 有 多 高 昂 了 。 
 2 0 2 2 年 7 月 ， 为 了 训 练 拥 有 1 7 6 0 亿 个 参 数 的 开 源 模 型 B l o o m ， H u g g i n g F a c e 的 研 究 人 员 耗 时 三 个 月 ， 使 用 了 3 8 4 个 英 伟 达 A 1 0 0 G P U ， 数 据 来 自 其 论 文 《 B L O O M : A 1 7 6 B P a r a m e t e r O p e n A c c e s s M u l t i l i n g u a l L a n g u a g e M o d e l 》 。 
 1 1 . 5 、 I n C o n t e x t L e a r n i n g O p e n A I 在 G P T 3 发 布 中 显 式 地 提 出 了 I n C o n t e x t L e a r n i n g ， 即 在 无 监 督 训 练 好 的 G P T 3 ， 使 用 时 用 少 量 示 例 就 可 以 得 到 有 较 好 的 输 出 反 馈 ， 这 就 叫 F e w S h o t P r o m p t 。 
 只 有 1 个 示 例 的 时 候 就 叫 O n e S h o t P r o m p t ， 没 有 示 例 的 时 候 就 叫 Z e r o S h o t 。 
 对 于 在 使 用 时 出 现 在 输 入 中 的 这 些 示 例 ， 模 型 是 不 会 更 新 其 参 数 来 做 f i n e t u n e 的 。 
 那 么 模 型 是 怎 么 从 这 些 示 例 学 到 东 西 的 呢 ？ 我 们 把 这 样 的 学 习 方 法 叫 I n C o n t e x t L e a r n i n g ， 即 模 型 从 无 监 督 的 训 练 文 本 上 下 文 里 ， 完 成 了 非 显 性 的 学 习 。 
 I n C o n t e x t L e a r n i n g 与 F i n e T u n e 两 者 区 别 在 于 是 否 更 新 模 型 参 数 。 
 I n C o n t e x t L e a r n i n g 这 种 神 奇 的 能 力 为 什 么 会 w o r k ， 麦 克 船 长 将 和 你 在 本 文 的 「 第 1 4 节 · 语 言 模 型 是 如 何 具 备 I C L 能 力 的 ？ 」 一 起 来 初 步 探 索 下 （ 目 前 这 个 领 域 还 没 有 完 全 清 晰 明 确 的 理 论 证 明 ） 。 
 O p e n A I 评 估 模 型 性 能 时 ， 对 示 例 不 同 做 了 区 分 ： F e w S h o t L e a r n i n g ， 对 每 个 子 任 务 提 供 1 0 1 0 0 个 样 本 。 
 O n e S h o t ， F e w S h o t 一 个 特 殊 情 况 是 只 给 1 个 样 本 ， 我 们 叫 O n e S h o t L e a r n i n g 。 
 Z e r o S h o t L e a r n i n g 顾 名 思 义 无 样 本 。 
 对 位 对 比 ， F i n e T u n e 如 下 图 示 例 ， 能 看 到 要 进 行 多 次 梯 度 更 新 。 
 G P T 3 得 出 了 一 些 与 I C L 有 关 的 一 些 实 验 结 论 。 
 模 型 性 能 表 现 ， 随 着 示 例 样 本 数 增 加 而 增 加 ， 如 下 图 所 示 。 
 无 论 是 F e w S h o t 、 O n e S h o t 还 是 Z e r o S h o t ， 模 型 的 性 能 表 现 都 随 着 参 数 规 模 的 增 加 而 增 加 ， 如 下 图 所 示 。 
 关 于 F e w S h o t P r o m p t ， 沿 着 F e w S h o t 的 方 向 ， 机 器 学 习 的 过 程 有 点 类 似 于 人 类 的 学 习 ： 大 量 无 监 督 输 入 ， 针 对 特 定 任 务 只 需 极 少 量 有 监 督 输 入 。 
 更 多 与 I n C o n t e x t L e a r n i n g 有 关 的 探 讨 ， 麦 克 船 长 在 本 篇 专 门 安 排 了 一 个 章 节 （ 第 三 章 ） ， 会 探 讨 如 何 利 用 好 I C L 的 能 力 、 I C L 能 力 的 底 层 是 什 么 、 为 什 么 L L M 具 备 I C L 能 力 、 I C L 具 体 是 如 何 起 作 用 的 。 
 1 1 . 6 、 G P T 3 A P I 具 体 大 家 可 以 查 看 O p e n A I G P T A P I 文 档 ， 但 是 这 里 麦 克 船 长 罗 列 几 个 值 得 一 提 的 点 。 
 1 1 . 6 . 1 、 G P T 一 些 基 本 概 念 关 于 p r o m p t 和 c o m p l e t i o n ： O p e n A I 提 到 一 个 理 念 ： 「 设 计 提 示 语 ， 就 相 当 于 在 用 一 些 指 令 和 少 量 例 子 给 模 型 编 程 」 。 
 另 外 O p e n A I 还 强 调 了 在 目 标 任 务 上 的 区 别 ， 就 是 O p e n A I 的 N L P 模 型 与 其 他 N L P 模 型 很 大 的 一 个 区 别 是 ， 它 不 是 设 计 用 来 解 决 单 一 类 型 任 务 的 ， 而 是 可 以 解 决 几 乎 各 种 类 型 的 N L P 任 务 ， 包 括 但 不 限 于 文 本 生 成 （ c o n t e n t g e n e r a t i o n ） 、 代 码 生 成 （ c o d e g e n e r a t i o n ） 、 总 结 （ s u m m a r i z a t i o n ） 、 扩 写 （ e x p a n s i o n ） 、 对 话 （ c o n v e r s a t i o n ） 、 创 意 写 作 （ c r e a t i v e w r t i n g ） 、 风 格 转 换 （ s t y l e t r a n s f e r ） 等 。 
 关 于 t o k e n ： 我 们 理 解 和 处 理 文 本 ， 是 把 文 本 先 打 碎 成 t o k e n 。 
 以 英 文 文 本 为 例 ， t o k e n 可 以 是 单 词 ， 也 可 以 词 根 （ 一 些 字 母 组 合 ） ， 比 如 单 词 「 h a m b u r g e r 」 可 能 会 被 打 碎 成 「 h a m 」 、 「 b u r 」 、 「 g e r 」 这 几 个 t o k e n s 。 
 再 比 如 「 p e a r 」 这 个 单 词 ， 可 能 就 会 单 独 作 为 一 个 t o k e n 不 再 打 碎 了 。 
 还 有 些 t o k e n 可 能 会 以 「 空 格 」 开 头 ， 比 如 「 h e l l o 」 、 「 b y e 」 。 
 一 个 大 概 的 经 验 是 ， 通 常 英 文 文 本 里 1 t o k e n 有 4 个 字 母 或 者 0 . 7 5 个 单 词 。 
 使 用 时 的 一 个 限 制 是 ， 最 好 你 的 提 示 （ p r o m p t ） 或 生 成 内 容 ， 不 要 超 过 2 0 4 8 个 t o k e n s ， 大 概 相 当 于 1 5 0 0 个 单 词 。 
 关 于 m o d e l ： 目 前 O p e n A I 有 基 于 G P T 3 . 5 的 基 础 模 型 T u r b o 和 这 些 基 于 G P T 3 的 基 础 模 型 D a v i n c i 、 C u r i e 、 B a b b a g e 、 A d a 开 放 A P I ， 另 外 C o d e x 系 列 是 G P T 3 的 后 代 ， 是 用 「 自 然 语 言 + 代 码 」 训 练 的 。 
 1 1 . 6 . 2 、 G P T 3 的 几 个 基 础 模 型 注 意 ： 因 为 2 0 2 3 . 3 O p e n A I 发 布 了 G P T 3 . 5 支 持 的 A P I ， 所 以 原 有 的 模 型 已 经 有 一 些 变 化 了 ， 此 处 列 出 的 并 非 G P T 全 部 A P I ， 详 细 信 息 可 以 看 麦 克 船 长 的 一 份 入 门 解 读 《 A I 应 用 第 一 次 大 爆 发 来 了 ： 一 文 入 门 C h a t G P T 官 方 A P I 文 档 解 读 》 。 
 先 介 绍 下 基 础 模 型 系 列 如 下 ： D a v i n c i ： 目 前 已 经 有 G P T 3 . 5 版 本 的 D a v i n c i 了 ， 但 D a v i n c i 在 G P T 3 中 就 已 经 存 在 ， 是 最 有 能 力 的 模 型 系 列 ， 可 以 执 行 其 他 模 型 （ A d a 、 C u r i e 和 B a b b a g e ） 可 以 执 行 的 任 何 任 务 ， 而 且 通 常 只 需 要 很 少 的 i n s t r u c t i o n 。 
 对 于 需 要 对 内 容 有 大 量 理 解 的 应 用 程 序 ， 例 如 针 对 特 定 受 众 的 s u m m a r i z a t i o n 和 创 意 内 容 生 成 ， D a v i n c i 将 产 生 最 佳 结 果 。 
 这 些 增 加 的 功 能 需 要 更 多 的 计 算 资 源 ， 因 此 D a v i n c i 每 次 A P I 调 用 更 贵 ， 并 且 不 如 其 他 模 型 那 么 快 。 
 D a v i n c i 的 另 一 个 亮 点 是 理 解 文 本 的 意 图 。 
 D a v i n c i 擅 长 解 决 多 种 逻 辑 问 题 和 解 释 人 物 的 动 机 。 
 达 芬 奇 已 经 能 够 解 决 一 些 涉 及 因 果 关 系 的 最 具 挑 战 性 的 人 工 智 能 问 题 。 
 适 合 ： 复 杂 的 意 图 、 因 果 分 析 、 S u m m a r i z a t i o n f o r A u d i e n c e 。 
 C u r i e ： C u r i e 在 G P T 3 中 就 已 经 存 在 ， 也 非 常 强 大 ， 速 度 也 比 较 快 。 
 虽 然 D a v i n c i 在 分 析 复 杂 文 本 方 面 更 强 大 ， 但 C u r i e 能 够 胜 任 许 多 细 微 的 任 务 ， 例 如 情 感 分 类 和 摘 要 。 
 C u r i e 还 非 常 擅 长 回 答 问 题 和 执 行 问 答 以 及 作 为 通 用 服 务 聊 天 机 器 人 。 
 适 合 ： 机 器 翻 译 、 复 杂 分 类 任 务 、 情 感 分 析 、 S u m m a r i z a t i o n 。 
 B a b b a g e ： 同 样 是 G P T 3 里 就 存 在 的 。 
 B a b b a g e 可 以 执 行 简 单 的 任 务 ， 例 如 简 单 的 分 类 。 
 在 语 义 搜 索 方 面 ， 它 也 非 常 有 能 力 对 文 档 与 搜 索 查 询 的 匹 配 程 度 进 行 排 名 。 
 适 合 ： 适 度 分 类 、 语 义 搜 索 分 类 。 
 A d a ： 也 是 G P T 3 时 期 就 有 的 。 
 A d a 通 常 是 最 快 的 模 型 ， 可 以 执 行 解 析 文 本 、 地 址 更 正 和 不 需 要 太 多 细 微 差 别 的 某 些 分 类 任 务 等 任 务 。 
 A d a 的 性 能 通 常 可 以 通 过 提 供 更 多 上 下 文 来 提 高 。 
 适 合 ： 解 析 文 本 、 简 单 分 类 、 地 址 修 正 、 关 键 词 。 
 需 要 注 意 的 是 ： 由 像 A d a 这 样 更 快 的 模 型 执 行 的 任 何 任 务 都 可 以 由 像 C u r i e 或 D a v i n c i 这 样 更 强 大 的 模 型 执 行 。 
 基 于 这 些 基 础 模 型 系 列 ， 目 前 G P T 3 目 前 可 用 的 模 型 包 括 下 面 这 些 ， 与 I n s t r u c t G P T 背 后 的 模 型 是 一 样 的 ， 它 们 的 最 大 请 求 都 是 2 0 4 8 t o k e n s ， 训 练 数 据 也 都 是 u p t o 2 0 1 9 年 1 0 月 ： t e x t c u r i e 0 0 1 ： 比 d a v i n c i 要 弱 一 点 ， 但 是 速 度 更 快 、 更 便 宜 。 
 t e x t b a b b a g e 0 0 1 ： 一 些 比 较 直 接 的 任 务 （ s t r a i g h t f o r w a r d t a s k s ） ， 比 t e x t c u r i e 0 0 1 更 快 、 更 便 宜 。 
 t e x t a d a 0 0 1 ： 一 些 非 常 简 单 的 任 务 ， 这 些 模 型 里 最 快 、 最 便 宜 的 。 
 d a v i n c i ： 目 前 最 强 的 G P T 3 模 型 ， 任 何 其 他 模 型 能 做 的 任 务 ， d a v i n c i 都 可 以 做 。 
 c u r i e ： 就 是 t e x t c u r i e 0 0 1 。 
 b a b b a g e ： 就 是 t e x t b a b b a g e 0 0 1 。 
 a d a ： 就 是 t e x t a d a 0 0 1 。 
 1 1 . 7 、 G P T 3 小 节 G P T 3 比 较 充 分 展 示 了 训 练 范 式 上 不 用 微 调 的 可 信 性 。 
 G P T 3 跟 很 多 深 度 学 习 模 型 一 样 ， 都 是 无 法 解 释 的 。 
 L M M 一 定 是 下 一 个 军 备 竞 赛 打 卡 点 。 
 L M M 即 L a r g e M u l t i m o d a l M o d e l s （ 大 型 多 模 态 模 型 ） ， 目 前 的 L L M 只 是 在 读 书 （ 读 文 本 ） ， 缺 少 其 他 体 验 ， 比 如 视 频 到 底 是 什 么 鬼 ， 比 如 真 实 物 理 世 界 的 交 互 ； 而 L M M 就 不 同 了 ， 可 以 与 人 类 进 行 不 同 模 态 的 交 互 ， 可 以 读 懂 人 类 给 它 的 文 本 、 视 频 、 语 音 等 等 模 态 内 容 ， 也 能 根 据 需 要 给 人 类 生 成 文 档 、 图 片 、 视 频 等 等 。 
 G P T 3 论 文 试 图 重 新 定 义 M e t a L e a r n i n g ， 但 发 表 后 并 没 有 引 起 大 家 的 认 同 。 
 G P T 3 的 局 限 性 也 很 明 显 ： 训 练 成 本 太 高 。 
 算 力 能 耗 太 高 ， 不 环 保 。 
 当 然 一 开 始 大 型 计 算 机 出 来 的 时 候 也 是 很 夸 张 的 用 电 量 和 占 地 空 间 。 
 样 本 有 效 性 差 ， 目 前 训 练 方 法 还 是 让 G P T 3 看 了 太 多 数 据 了 （ 相 比 人 类 一 生 能 看 的 文 本 量 ， G P T 看 的 量 太 大 了 ） 。 
 未 来 提 高 样 本 有 效 性 也 是 一 个 重 要 工 作 。 
 缺 少 A l i g n m e n t ， 可 能 导 致 被 用 来 撒 布 不 实 消 息 、 生 成 垃 圾 邮 件 或 者 钓 鱼 、 造 假 论 文 ； 内 容 可 能 带 有 性 别 偏 见 、 种 族 评 价 、 宗 教 歧 视 ； 缺 少 对 政 治 敏 感 的 兼 容 ， 但 这 也 是 最 复 杂 的 。 
 G P T 在 f e w s h o t l e a r n i n g 时 到 底 是 现 学 的 ， 还 是 找 到 原 来 学 过 的 相 似 的 东 西 找 出 来 。 
 如 果 是 后 者 ， 那 真 的 是 在 拼 训 练 数 据 大 小 了 。 
 但 是 对 比 人 类 ， 我 们 应 该 要 做 到 前 者 才 对 。 
 如 果 要 补 全 一 段 ， 还 可 以 。 
 如 果 要 一 直 续 写 小 说 ， G P T 可 能 不 太 行 。 
 训 练 学 习 时 ， 对 每 个 词 都 是 一 样 对 待 的 ， 就 不 像 人 类 其 实 是 有 重 点 的 。 
 这 里 也 有 问 题 ： 1 ） 当 你 在 下 游 任 务 真 有 一 大 组 样 本 （ 比 如 1 万 条 ） 想 给 模 型 时 ， F e w S h o t 真 的 给 模 型 那 么 多 数 据 么 ， 那 每 次 使 用 都 要 带 着 也 太 麻 烦 了 ， 效 率 也 不 高 。 
 2 ） 哪 怕 只 有 1 条 样 本 想 P r o m p t ， 不 用 它 效 果 就 不 好 ， 但 是 每 次 使 用 模 型 都 要 把 这 一 条 带 着 也 不 优 雅 。 
 本 小 节 参 考 h t t p s : / / a r x i v . o r g / a b s / 2 2 0 5 . 0 1 0 6 8 h t t p s : / / j a l a m m a r . g i t h u b . i o / h o w g p t 3 w o r k s v i s u a l i z a t i o n s a n i m a t i o n s / h t t p s : / / l i f e a r c h i t e c t . a i / c h a t g p t / h t t p s : / / p l a t f o r m . o p e n a i . c o m / d o c s / a p i r e f e r e n c e / h t t p s : / / a r x i v . o r g / a b s / 2 2 1 1 . 0 5 1 0 0 h t t p s : / / a r x i v . o r g / a b s / 2 0 0 5 . 1 4 1 6 5 h t t p s : / / w w w . m i c r o s o f t . c o m / e n u s / r e s e a r c h / b l o g / t u r i n g n l g a 1 7 b i l l i o n p a r a m e t e r l a n g u a g e m o d e l b y m i c r o s o f t h t t p s : / / b m k . s h / 2 0 2 0 / 0 5 / 2 9 / G P T 3 A B r i e f S u m m a r y / h t t p s : / / o p e n a i . c o m / b l o g / g p t 3 a p p s / 第 三 章 · 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ） 一 个 预 训 练 模 型 ， 在 处 理 下 游 任 务 时 ， 不 微 调 模 型 参 数 ， 只 需 要 在 输 入 时 加 一 些 示 例 ， 就 能 有 S O T A 的 表 现 ， 这 就 是 模 型 的 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ， I C L ） 能 力 。 
 比 如 下 面 的 I C L 示 例 ： 相 比 我 们 以 往 对 计 算 机 、 神 经 网 络 的 理 解 ， 这 是 很 神 奇 的 。 
 因 为 我 们 并 没 有 「 有 意 地 、 显 性 地 」 用 某 个 下 游 任 务 去 预 训 练 L L M ， 但 是 L L M 却 能 很 好 地 给 出 输 出 。 
 大 家 使 用 C h a t G P T 自 己 都 有 体 会 ， 这 里 不 必 举 更 多 例 子 。 
 那 么 由 此 就 有 两 个 有 意 思 的 议 题 方 向 ： 这 说 明 p r o m p t i n g 只 是 让 L L M 已 具 备 的 能 力 被 展 现 出 来 ， 那 么 L L M 是 如 何 具 备 I C L 能 力 的 ？ I C L 能 力 又 是 如 何 工 作 的 ？ 别 管 那 么 多 ， 既 然 L L M 有 I C L 能 力 ， 那 就 直 接 用 吧 ！ 有 什 么 强 有 力 使 用 方 法 可 以 挖 掘 出 来 ？ 这 也 是 很 值 得 探 究 的 方 向 。 
 可 以 说 2 是 「 知 其 然 」 ， 而 1 是 为 了 「 知 其 所 以 然 」 。 
 咱 们 先 看 看 使 用 上 ， 研 究 人 员 们 都 开 发 出 来 了 什 么 吧 。 
 第 1 2 节 · I C L 能 力 的 直 接 应 用 ： P r o m p t E n g i n e e r i n g 大 概 在 2 0 1 7 ~ 2 0 1 9 年 期 间 「 预 训 练 微 调 」 是 绝 对 的 主 流 范 式 ， 此 后 随 着 G P T 2 出 来 「 预 训 练 提 示 」 这 种 范 式 就 开 始 出 现 ， 尤 其 是 G P T 3 推 出 开 始 加 速 发 展 ， 到 2 0 2 1 年 开 始 相 关 围 绕 P r o m p t 的 研 究 井 喷 出 现 ， 以 至 于 2 0 2 1 ~ 2 0 2 2 期 间 很 多 学 界 人 士 的 研 究 重 点 都 转 向 了 P r o m p t 。 
 那 么 我 们 来 看 看 围 绕 P r o m p t 的 研 究 发 展 到 了 什 么 程 度 。 
 首 先 一 般 性 地 「 P r e t r a i n , P r o m p t 」 到 了 P r o m p t 环 节 ， 可 能 是 给 模 型 输 入 \ \ ( x \ \ ) 期 望 得 到 输 出 \ \ ( y \ \ ) 。 
 但 是 如 果 我 们 对 使 用 者 给 出 的 \ \ ( x \ \ ) 进 行 二 次 加 工 （ 比 如 把 这 个 加 工 表 示 为 一 个 函 数 \ \ ( f \ \ ) ） ， 是 否 能 在 输 出 上 获 得 更 好 的 结 果 \ \ ( y \ \ ) 呢 ？ 即 ： \ \ [ \ \ b e g i n x & \ \ r i g h t a r r o w y \ \ \ \ f ( x ) & \ \ r i g h t a r r o w y \ \ e n d \ \ ] 如 果 不 止 优 化 输 入 ， 我 们 优 化 输 出 。 
 比 如 我 们 在 模 型 直 接 给 出 的 结 果 \ \ ( y \ \ ) 上 进 一 步 再 加 工 （ 比 如 把 这 个 加 工 表 示 为 一 个 函 数 \ \ ( g \ \ ) ） ， 可 以 使 得 到 的 结 果 更 加 优 质 呢 ？ 如 下 ： \ \ [ \ \ b e g i n x & \ \ r i g h t a r r o w y \ \ t e x t y \ \ \ \ f ( x ) & \ \ r i g h t a r r o w y \ \ t e x t g ( y ) \ \ e n d \ \ ] 为 了 好 理 解 ， 我 举 个 例 子 。 
 比 如 模 型 的 使 用 者 想 问 「 自 驾 去 杭 州 周 边 两 天 一 夜 玩 ， 有 什 么 推 荐 的 地 方 吗 ？ 」 ， 模 型 返 回 了 「 南 浔 古 镇 」 。 
 而 如 果 通 过 P r o m p t E n g i n e e r i n g 优 化 一 下 可 以 这 样 ： x 本 周 末 周 边 自 驾 两 天 一 夜 ， 最 推 荐 的 地 方 ？ \ \ ( f ( x ) \ \ ) 我 的 所 在 地 是 ， 请 对 下 面 这 个 问 题 给 出 5 个 不 同 的 答 案 并 且 每 个 答 案 都 带 一 条 简 短 的 理 由 ： 本 周 末 周 边 自 驾 两 天 一 夜 ， 最 推 荐 的 地 方 ？ y 南 浔 古 镇 ， 有 保 存 完 好 的 明 清 时 期 建 筑 ； 莫 干 山 ， 远 离 城 市 喧 嚣 亲 近 大 自 然 享 受 慢 节 奏 的 民 宿 生 活 ； 千 岛 湖 ， 一 边 吃 美 味 鱼 宴 一 边 赏 着 湖 光 山 色 水 清 鱼 跃 绝 美 的 自 然 风 光 ； 乌 镇 ， 江 南 水 乡 特 色 韵 味 古 镇 建 筑 有 着 深 厚 的 文 化 积 淀 ； 普 陀 山 ， 佛 教 圣 地 有 着 浓 厚 的 宗 教 氛 围 素 有 “ 海 上 名 山 ” 之 称 。 
 g ( y ) 1 、 对 y 中 几 条 结 果 ， 查 询 天 气 、 最 新 交 通 管 制 措 施 、 游 客 接 待 政 策 等 等 （ 假 设 因 此 剔 除 了 南 浔 古 镇 、 千 岛 湖 ） ； 2 、 剔 除 用 户 已 去 过 的 目 的 地 （ 假 设 用 户 已 授 权 模 型 访 问 其 旅 游 平 台 账 户 ， 剔 除 了 普 陀 山 ） ； 3 、 对 y 的 结 果 进 行 优 化 并 保 留 推 荐 值 最 高 的 结 果 「 莫 干 山 … … 」 并 输 出 ： 莫 干 山 ， ， ， ， ， ， 。 
 这 样 f ( x ) 就 是 P r o m p t E n g i n e e r i n g ， 而 g ( x ) 其 实 是 A n s w e r E n g i n e e r i n g 。 
 1 2 . 1 、 P E T ： 提 出 P V P 框 架 德 国 慕 尼 黑 大 学 的 研 究 人 员 于 2 0 2 0 年 1 月 在 论 文 《 E x p l o i t i n g C l o z e Q u e s t i o n s f o r F e w S h o t T e x t C l a s s i f i c a t i o n a n d N a t u r a l L a n g u a g e I n f e r e n c e 》 中 提 出 P E T （ P a t t e r n E x p l o i t i n g T r a n i n g ） 训 练 方 法 ， 该 方 法 主 要 用 于 小 样 本 上 的 文 本 分 类 和 自 然 语 言 推 理 。 
 以 小 样 本 的 文 本 情 感 分 类 任 务 为 例 ， 我 们 下 面 来 快 速 讲 一 下 P E T 方 法 ， 可 能 会 有 一 点 抽 象 ， 如 果 不 理 解 也 没 关 系 ， 可 以 跳 过 。 
 现 在 我 们 希 望 用 预 训 练 过 的 模 型 来 通 过 微 调 的 方 式 解 决 下 游 任 务 ， 而 下 游 任 务 的 标 记 样 本 有 比 较 少 ， 如 何 解 决 呢 ？ 将 这 少 量 的 标 记 样 本 ， 改 造 为 完 形 填 空 （ C l o z e Q u e s t i o n s ） 的 模 式 。 
 但 是 因 为 样 本 千 奇 百 怪 ， 可 能 需 要 不 同 的 「 完 形 填 空 」 模 式 ， 所 以 就 分 成 几 类 模 式 （ P a t t e r n ） ， 每 一 类 模 式 都 对 应 着 自 己 要 的 填 空 内 容 。 
 分 类 到 填 空 内 容 存 在 一 个 关 系 映 射 （ 我 们 叫 V e r b a l i z e r ） ， 比 如 「 这 个 披 萨 很 _ _ _ 」 可 以 填 「 好 吃 」 或 者 「 难 吃 」 ， V e r b a l i z e r s 就 是 \ \ ( v ( \ \ t e x t ) \ \ ) = 好 吃 ， \ \ ( v ( \ \ t e x t ) \ \ ) = 难 吃 ， 这 样 就 打 造 出 了 多 组 「 P a t t e r n V e r b a l i z e r P a i r s ， P V P 」 。 
 你 可 能 会 问 ， 那 为 什 么 P a t t e r n 也 有 多 种 呢 ？ 我 举 个 例 子 ， 比 如 「 这 家 披 萨 店 我 再 也 不 想 来 了 」 表 达 的 也 是 N e g a t i v e ， 但 是 与 「 这 个 披 萨 很 难 吃 」 就 是 不 同 的 模 式 ， 其 对 应 的 V e r b a l i z e r 也 不 同 ， 所 以 就 有 了 多 组 P V P 。 
 理 解 这 个 的 话 ， P E T 就 一 共 有 3 步 （ 对 应 上 图 ） ： 每 一 组 P V P \ \ ( _ i \ \ ) 都 去 单 独 微 调 一 个 预 训 练 模 型 M \ \ ( _ i \ \ ) 。 
 再 用 微 调 过 的 M \ \ ( _ i \ \ ) 去 跑 下 游 未 标 记 的 数 据 ， 得 到 多 组 标 记 结 果 ， 再 汇 总 到 一 起 。 
 对 汇 总 的 标 记 结 果 用 分 类 器 进 行 最 终 的 文 本 分 类 。 
 可 以 看 到 这 也 是 基 于 「 P r e t r a i n a n d F i n e t u n e 」 范 式 而 来 的 方 法 。 
 P E T 最 大 价 值 是 定 义 了 一 套 在 预 训 练 模 型 上 更 好 完 成 下 游 任 务 的 方 法 框 架 P V P 。 
 这 里 最 关 键 的 工 作 有 两 个 ， 一 是 构 建 各 种 P a t t e r n s （ 也 有 文 献 叫 T e m p l a t e s ） ， 另 一 个 是 构 建 V e r b a l i z e r s ， 这 两 个 是 2 0 2 0 年 P E T 提 出 后 围 绕 它 的 两 个 研 究 热 点 。 
 而 原 始 的 P E T 方 法 有 一 个 问 题 ， 就 是 要 f i n e t u n e 预 训 练 模 型 。 
 当 模 型 都 大 型 化 之 后 ， f i n e t u n e 的 成 本 太 高 ， 何 况 还 要 f i n e t u n e 多 个 预 训 练 模 型 。 
 因 此 ， 如 果 面 对 下 游 任 务 时 ， 不 更 新 预 训 练 模 型 参 数 ， 即 不 f i n e t u n e ， 只 是 给 模 型 p r o m p t 呢 ？ 另 一 方 面 ， L L M 本 身 也 具 备 对 任 务 很 好 的 迁 移 性 ， 尤 其 在 2 0 2 0 年 P E T 出 来 那 个 节 点 前 后 ， 整 体 研 究 范 式 已 经 在 从 「 预 训 练 微 调 」 向 「 预 训 练 提 示 」 转 换 了 。 
 L L M 这 种 强 大 的 下 游 任 务 迁 移 能 力 ， 其 实 就 体 现 在 了 不 需 要 p r o m p t 携 带 太 多 下 游 标 记 样 本 ， 就 能 有 较 好 性 能 ， 那 也 就 更 没 必 要 去 更 新 参 数 了 。 
 比 如 本 篇 第 1 1 节 介 绍 的 G P T 3 就 提 到 在 并 不 多 样 本 量 情 况 下 ， 多 个 任 务 通 过 f e w s h o t 随 着 模 型 规 模 增 大 就 能 达 到 S O T A （ 以 下 几 个 实 验 样 本 量 都 未 超 过 1 0 0 ） ： 1 2 . 2 、 从 硬 提 示 到 软 提 示 P r o m p t 最 开 始 都 是 人 工 编 写 的 ， 如 果 用 _ _ 来 表 示 希 望 模 型 输 出 的 结 果 ， 如 果 给 模 型 的 p r o m p t 是 「 s o m e w o r d s _ _ s o m e w o r d s 」 这 种 形 式 ， 一 般 叫 c l o z e p r o m p t ； 如 果 是 「 s o m e w o r d s _ _ 」 这 种 形 式 ， 一 般 叫 p r e f i x p r o m p t 。 
 这 是 提 示 的 两 种 不 同 形 状 （ P r o m p t S h a p e ） 。 
 这 样 编 写 的 质 量 就 非 常 不 稳 定 ， 而 且 什 么 样 的 质 量 好 ， 人 的 主 观 判 断 也 并 不 可 信 ， 比 如 看 下 面 这 几 个 例 子 ： 我 们 把 这 种 P r o m p t 叫 「 硬 提 示 （ H a r d P r o m p t ） 」 ， 也 有 叫 「 离 散 提 示 （ D i s c r e t e P r o m p t ） 」 。 
 其 缺 点 显 而 易 见 ， 但 即 使 如 此 ， 这 个 阶 段 人 们 还 是 开 发 出 来 一 些 围 绕 H a r d P r o m p t 的 方 法 ， 比 如 P r o m p t M i n i n g （ 在 输 入 输 出 之 间 插 中 间 词 来 搭 建 依 赖 路 径 ） 、 P r o m p t G e n e r a t i o n （ 用 另 一 个 模 型 来 生 成 P r o m p t ， 有 点 套 娃 ） 等 等 ， 因 为 不 是 重 点 这 里 不 展 开 。 
 P r o m p t 的 初 衷 是 为 了 「 让 下 游 任 务 迎 合 上 游 模 型 」 ， 其 实 从 逻 辑 上 与 「 让 上 游 模 型 迎 合 下 游 任 务 」 类 似 ， 只 是 后 者 用 「 微 调 」 地 方 式 改 变 上 游 模 型 ， 受 此 启 发 ， 能 不 能 用 类 似 「 微 调 」 的 方 式 改 变 下 游 呢 ？ 也 就 是 ， 为 了 找 到 更 好 的 P r o m p t ， 我 们 可 以 把 优 化 P r o m p t 自 身 也 当 做 一 个 任 务 目 标 ， 让 机 器 连 续 地 优 化 P r o m p t — — 这 就 是 软 提 示 （ S o f t P r o m p t ） ， 也 叫 连 续 提 示 （ C o n t i n u o u s P r o m p t ） 。 
 想 用 机 器 学 习 的 方 式 优 化 P r o m p t ， 就 一 定 要 引 入 额 外 参 数 了 。 
 怎 么 让 引 入 的 参 数 有 效 地 服 务 于 优 化 P r o m p t 的 目 标 ， 研 究 人 员 们 提 出 了 如 下 方 法 ： P r e f i x T u n i n g ： 2 0 2 1 年 1 月 S t a n f o r d 学 者 提 出 在 论 文 （ 《 P r e f i x T u n i n g : O p t i m i z i n g C o n t i n u o u s P r o m p t s f o r G e n e r a t i o n 》 ） 中 提 出 该 方 法 。 
 P T u n i n g ： 2 0 2 1 年 3 月 《 G P T U n d e r s t a n d s , T o o 》 P P T ： 2 0 2 1 年 9 月 《 P P T : P r e t r a i n e d P r o m p t T u n i n g f o r F e w s h o t L e a r n i n g 》 这 些 软 提 示 方 法 ， 成 文 时 间 有 限 在 此 暂 不 展 开 。 
 但 这 里 最 值 得 一 提 的 ， 是 G o o g l e 团 队 的 一 个 研 究 ， 在 下 一 小 节 我 们 来 一 起 看 下 。 
 1 2 . 3 、 P r o m p t T u n i n g 2 0 2 1 年 4 月 G o o g l e R e s e a r c h 团 队 在 文 章 中 《 T h e P o w e r o f S c a l e f o r P a r a m e t e r E f f i c i e n t P r o m p t T u n i n g 》 提 出 「 P r o m p t T u n i n g 」 。 
 连 续 优 化 P r o m p t 是 另 一 种 「 微 调 」 ， 调 的 对 象 是 P r o m p t ， 所 以 叫 做 「 P r o m p t T u n i n g 」 。 
 与 其 相 对 的 ， 我 们 一 般 说 的 「 F i n e t u n i n g 」 在 这 个 语 境 下 专 指 「 M o d e l T u n i n g 」 ， 即 更 新 的 对 象 是 模 型 ， 而 P r o m p t T u n i n g 不 更 新 模 型 。 
 两 者 的 对 比 如 下 ： 另 外 一 个 用 来 对 比 的 方 法 是 ， 文 章 提 出 的 按 个 时 间 P r o m p t 已 经 火 了 ， 尤 其 G P T 3 发 布 后 ， 但 是 大 家 主 要 还 是 在 设 计 没 有 t u n i n g 的 p r o m p t ， G o o g l e 团 队 在 此 将 这 种 方 法 叫 做 P r o m p t D e s i g n 。 
 研 究 发 现 ， 随 着 模 型 参 数 增 大 ， P r o m p t T u n i n g 与 F i n e t u n i n g 性 能 相 当 ， 并 且 显 著 优 于 P r o m p t D e s i g n ， 如 下 图 ： 具 体 地 ， 研 究 人 员 用 的 是 一 种 「 前 缀 提 示 」 方 法 ， 但 是 这 些 前 缀 并 非 来 自 人 工 设 计 ， 而 是 由 机 器 学 习 方 法 不 断 微 调 产 生 的 ， 同 时 上 游 的 模 型 参 数 始 终 固 定 不 变 。 
 这 相 当 于 把 P r o m p t 当 做 下 游 的 一 个 独 立 训 练 任 务 ， 但 是 优 化 好 的 P r o m p t 作 为 输 入 交 给 上 游 模 型 。 
 所 以 这 种 方 法 ， 是 会 引 入 额 外 参 数 的 ， 所 以 需 要 验 证 参 数 有 效 性 前 提 下 ， 在 此 基 础 上 期 待 看 到 模 型 在 P r o m p t T u n i n g 中 表 现 不 逊 于 M o d e l T u n i n g 。 
 研 究 人 员 从 四 个 方 面 重 点 深 入 ， 做 了 消 融 研 究 （ 忘 记 消 融 实 验 含 义 的 读 者 ， 可 以 回 顾 本 篇 7 . 3 小 节 ） ： 每 个 图 中 的 绿 色 线 ， 是 默 认 配 置 。 
 结 论 是 P r o m p t 长 度 越 长 表 现 越 好 ， P r o m p t 随 机 初 始 化 效 果 显 著 逊 色 ， 训 练 方 法 上 使 用 真 实 本 文 输 出 代 替 T 5 的 带 哨 兵 的 文 本 输 出 效 果 好 （ T 5 的 S p a n C o r r u p t i o n 策 略 导 致 其 输 出 始 终 有 哨 兵 存 在 ， 具 体 详 见 T 5 论 文 ， 这 里 不 展 开 ， 不 理 解 并 不 影 响 继 续 阅 读 ） 、 且 修 正 消 除 哨 兵 影 响 的 T 5 训 练 步 数 越 多 效 果 越 好 。 
 但 是 ， 只 要 模 型 参 数 足 够 大 ， P r o m p t 的 长 度 、 初 始 化 方 式 、 跟 T 5 输 出 哨 兵 问 题 有 关 的 预 训 练 方 法 及 训 练 迭 代 次 数 不 同 时 ， 影 响 也 都 不 大 。 
 1 2 . 4 、 P r o m p t 带 来 的 风 险 通 过 P r o m p t E n g i n e e r i n g 也 有 很 多 作 恶 的 空 间 ， 因 为 可 能 可 以 绕 过 L L M 原 本 设 定 好 的 政 策 。 
 也 有 很 多 相 关 的 研 究 、 分 析 或 报 道 ， 这 里 暂 不 详 述 ， 麦 克 船 长 提 供 以 下 参 考 阅 读 ： P r o m p t i n j e c t i o n a t t a c k s a g a i n s t G P T 3 W H A T ’ S O L D I S N E W A G A I N : G P T 3 P R O M P T I N J E C T I O N A T T A C K A F F E C T S A I G P T 3 ‘ p r o m p t i n j e c t i o n ’ a t t a c k c a u s e s b a d b o t m a n n e r s E x p l o r i n g P r o m p t I n j e c t i o n A t t a c k s T h e c l e v e r t r i c k t h a t t u r n s C h a t G P T i n t o i t s e v i l t w i n 1 2 . 5 、 小 结 围 绕 P r o m p t 的 研 究 已 经 进 入 了 工 程 实 用 阶 段 ， L L M 的 潜 力 就 像 一 座 金 矿 ， 这 个 方 向 的 研 究 人 员 在 不 断 挖 掘 其 价 值 。 
 但 是 对 于 为 什 么 P r o m p t 能 够 在 不 更 新 参 数 的 L L M 上 得 到 S O T A 的 效 果 ， 很 快 学 界 认 识 到 仅 仅 发 现 一 些 不 错 的 P r o m p t 方 法 也 只 能 算 是 在 黑 盒 之 上 E n g i n e e r i n g ， 而 且 很 多 还 是 在 他 人 的 黑 盒 模 型 上 做 嫁 衣 （ 比 如 很 多 论 文 都 是 基 于 G P T 3 实 验 的 ） ， 所 以 逐 渐 这 方 面 的 研 究 开 始 从 「 知 其 然 」 走 向 「 知 其 所 以 然 」 的 探 究 、 假 设 、 分 析 和 实 验 。 
 但 从 业 界 视 角 ， P r o m p t E n g i n e e r i n g 仍 然 非 常 有 价 值 。 
 第 1 3 节 · I C L 能 力 的 底 层 假 设 ： 贝 叶 斯 推 理 L L M 为 什 么 具 备 I C L 能 力 这 方 面 有 一 些 研 究 蛮 有 意 思 的 ， 下 面 和 麦 克 船 长 来 一 起 看 看 。 
 但 这 里 有 一 个 基 础 的 假 设 ， 就 是 L L M 具 备 一 个 底 层 能 力 ： 贝 叶 斯 推 理 （ B a y e s i a n I n f e r e n c e ） 。 
 我 们 知 道 L L M 在 预 训 练 阶 段 都 学 习 过 海 量 文 本 ， 可 能 从 W i k i p e d i a 的 百 科 到 T w i t t e r 的 推 文 ， 从 Q u o r a 的 问 答 到 S t a c k O v e r f l o w 的 贴 子 ， 从 R e d d i t 的 版 聊 到 a r X i v 的 论 文 ， 从 莎 士 比 亚 的 十 四 行 诗 到 G i t H u b 上 的 代 码 … … 所 以 我 们 假 设 ： 在 预 训 练 大 量 文 本 时 ， 语 言 模 型 已 经 对 多 种 （ 覆 盖 下 游 任 务 的 ） 概 念 进 行 了 建 模 。 
 所 以 问 题 就 变 成 了 ： 预 训 练 时 L L M 先 验 性 地 学 到 了 某 些 概 念 ， 现 在 使 用 L L M 时 问 了 它 一 些 与 这 些 概 念 存 在 一 定 似 然 度 的 问 题 ， 这 时 L L M 就 可 以 后 验 性 地 预 测 输 出 了 。 
 这 是 不 是 让 你 想 起 了 「 贝 叶 斯 推 理 （ B a y e s i a n I n f e r e n c e ） 」 ？ 对 于 不 熟 悉 的 朋 友 ， 这 里 简 单 介 绍 下 贝 叶 斯 推 理 。 
 起 初 ， 贝 叶 斯 是 为 了 解 决 「 概 率 预 测 」 问 题 而 提 出 的 「 贝 叶 斯 定 理 / 贝 叶 斯 公 式 」 ， 可 以 表 示 为 ： \ \ [ \ \ b e g i n P _ = P _ \ \ c d o t L \ \ e n d \ \ ] \ \ ( P _ \ \ ) 为 先 验 概 率 ， 是 对 事 情 的 主 观 判 断 、 过 去 经 验 的 总 结 规 律 等 。 
 \ \ ( L \ \ ) 为 「 似 然 度 （ L i k e l i h o o d ） 」 ， 而 \ \ ( P _ \ \ ) 是 后 验 概 率 。 
 贝 叶 斯 定 理 影 响 了 概 率 理 论 的 发 展 ， 在 所 有 需 要 对 概 率 进 行 预 测 的 情 况 里 你 都 能 看 到 它 的 身 影 ， 而 它 也 成 为 了 机 器 学 习 的 一 个 核 心 方 法 。 
 这 里 对 于 L L M 具 备 I C L 这 种 魔 法 能 力 的 事 实 ， 有 学 者 给 出 了 相 对 令 人 信 服 的 基 于 贝 叶 斯 推 理 的 数 学 解 读 ， 我 们 一 起 来 看 看 。 
 第 1 4 节 · L L M 是 如 何 具 备 I C L 能 力 的 ？ （ 2 0 2 1 年 1 1 月 ） 2 0 2 1 年 1 1 月 ， 斯 坦 福 大 学 的 几 位 研 究 人 员 在 论 文 《 A n E x p l a n a t i o n o f I n c o n t e x t L e a r n i n g a s I m p l i c i t B a y e s i a n I n f e r e n c e 》 中 试 图 给 出 解 释 。 
 首 先 作 者 们 提 出 了 一 个 假 设 ： 「 语 言 模 型 是 通 过 I n C o n t e x t L e a r n i n g p r o m p t ， 在 模 型 内 定 位 到 已 经 学 好 的 概 念 （ c o n c e p t ） ， 进 而 解 决 I n C o n t e x t L e a r n i n g t a s k 」 。 
 如 果 是 这 样 ， 那 么 语 言 模 型 是 具 备 贝 叶 斯 推 理 能 力 的 。 
 作 者 们 认 为 是 如 下 这 样 实 现 这 一 点 的 ： 预 训 练 阶 段 ： 预 训 练 时 为 了 预 测 下 一 个 t o k e n 是 什 么 ， 语 言 模 型 必 须 通 过 前 面 句 子 的 证 据 来 推 理 文 本 潜 在 的 任 务 概 念 。 
 这 让 L L M 学 到 了 一 些 先 验 的 概 念 （ c o n c e p t ） 。 
 I C L 阶 段 ： 如 果 提 示 （ p r o m p t ） 中 出 现 了 与 预 训 练 时 所 遇 到 概 念 （ c o n c e p t ） 似 然 度 较 高 的 示 例 （ d e m o n s t r a t i o n ） ， 那 么 L L M 就 会 给 出 一 些 后 验 结 果 。 
 从 数 学 上 ， 研 究 人 员 提 出 了 一 个 数 学 框 架 假 设 来 理 解 在 预 训 练 过 程 就 实 现 了 的 上 下 文 理 解 能 力 ： L L M 就 是 很 多 隐 式 马 尔 科 夫 模 型 的 混 合 体 （ M i x t u r e o f H i d d e n M a r k o v M o d e l s ） 。 
 1 4 . 1 、 预 训 练 分 布 （ P r e t a i n D i s t r i b u t i o n ） 的 数 学 解 读 预 训 练 的 一 个 文 本 都 可 以 表 示 为 一 个 长 度 T 的 序 列 ： \ \ [ \ \ b e g i n P ( o _ 1 , . . . , o _ T ) = \ \ i n t _ P ( o _ 1 , . . . o _ T \ \ t e x t \ \ t h e t a ) d \ \ t h e t a \ \ e n d \ \ ] 其 中 \ \ ( \ \ v a r T h e t a \ \ ) 是 一 组 c o n c e p t s 的 集 合 ， \ \ ( \ \ t h e t a \ \ ) 就 是 模 型 中 隐 含 的 某 一 c o n c e p t 。 
 如 果 假 设 \ \ ( P ( o _ 1 , . . . , o _ T \ \ t e x t \ \ t h e t a ) \ \ ) 是 一 个 隐 式 马 尔 科 夫 模 型 （ H M M ） 定 义 的 ， 那 么 \ \ ( \ \ t h e t a \ \ ) 就 决 定 了 H M M 所 有 状 态 的 转 移 概 率 矩 阵 。 
 具 体 下 来 回 到 本 小 节 内 容 开 头 的 第 一 个 插 图 的 举 例 来 看 ， 比 如 两 种 情 况 下 的 概 率 是 均 等 ， 那 么 上 面 的 公 式 则 可 以 表 示 为 ： \ \ [ \ \ b e g i n P _ ) } \ \ , = \ \ , & 0 . 5 * P _ \ \ , \ \ t e x t \ \ , \ \ t h e t a _ 1 ) } \ \ \ \ + \ \ , & 0 . 5 * P _ \ \ , \ \ t e x t \ \ , \ \ t h e t a _ 2 ) } \ \ e n d \ \ ] 1 4 . 2 、 上 下 文 学 习 （ I n C o n t e x t L e a r n i n g ） 的 数 学 解 读 L L M 完 成 训 练 后 ， 我 们 就 可 以 给 它 一 个 提 示 ， 它 是 由 「 一 组 独 立 的 示 例 \ \ ( d _ 1 , \ \ t e x t , d _ 2 , \ \ t e x t , . . . , \ \ t e x t , d _ n \ \ ) + 一 个 输 入 \ \ ( x _ \ \ ) 」 （ 注 ： \ \ ( \ \ t e x t \ \ ) 表 示 分 隔 符 ） ， 并 且 这 组 示 例 和 输 入 都 是 面 向 \ \ ( \ \ t h e t a \ \ ) 这 个 概 念 的 。 
 那 么 任 务 就 可 以 理 解 为 在 L L M 中 找 到 对 应 \ \ ( \ \ t h e t a \ \ ) c o n c e p t 的 那 个 H M M 进 而 给 出 输 出 结 果 ， 并 且 随 着 \ \ ( n \ \ r a r r + \ \ i n f i n \ \ ) ， 输 出 结 果 无 限 逼 近 于 理 想 的 输 出 结 果 \ \ ( y _ \ \ ) 。 
 \ \ [ \ \ b e g i n \ \ t e x t n \ \ r a r r + \ \ i n f i n , \ \ , P ( y \ \ t e x t d _ 1 , \ \ t e x t , . . . , \ \ t e x t , d _ n , x _ ) \ \ r a r r P _ ( y \ \ t e x t x _ ) \ \ e n d \ \ ] 1 4 . 3 、 L L M 是 隐 式 马 尔 科 夫 模 型 的 概 念 混 合 体 （ M i x t u r e o f H M M C o n c e p t s ） X i e e t a l . 2 0 2 1 合 成 了 一 个 名 为 G I N C 的 数 据 集 ， 这 个 数 据 集 包 括 ： 预 训 练 数 据 集 ： 五 种 概 念 的 H M M 的 统 一 混 合 体 ， 1 0 0 0 个 用 于 预 训 练 的 文 本 文 档 （ 总 计 约 一 千 万 t o k e n s ） 。 
 上 下 文 学 习 的 测 试 数 据 ： p r o m p t s 是 一 些 带 有 0 ~ 6 4 个 示 例 的 输 入 ， 示 例 长 度 k 等 于 3 、 5 、 8 、 1 0 . 在 这 个 数 据 集 上 ， 作 者 们 基 于 G P T 2 的 T r a n s f o r m e r 和 L S T M 两 个 模 型 都 做 了 一 个 实 验 （ 为 了 排 除 是 模 型 结 构 的 特 殊 性 带 来 的 ） ， 结 果 如 下 图 。 
 可 见 性 能 是 正 相 关 于 实 例 数 量 、 实 例 长 度 的 。 
 那 么 我 们 再 想 一 下 前 面 的 假 设 「 L L M 就 是 很 多 隐 式 马 尔 科 夫 模 型 的 混 合 体 （ M i x t u r e o f H i d d e n M a r k o v M o d e l s ） 」 ， 所 以 如 果 训 练 数 据 只 是 用 隐 含 一 种 概 念 结 构 的 数 据 呢 ？ 或 者 包 含 多 种 结 构 但 是 并 非 M a r k o v ， 而 是 状 态 随 机 流 转 的 呢 ？ X i e e t a l . 2 0 2 1 分 别 单 独 验 证 了 一 下 。 
 可 见 ， 对 于 「 包 含 多 个 概 念 的 隐 式 马 尔 科 夫 」 的 两 个 关 键 因 素 「 多 个 概 念 」 和 「 隐 式 马 尔 科 夫 」 两 者 分 别 改 成 「 一 个 概 念 」 和 「 随 机 转 换 」 后 ， 模 型 的 上 下 文 学 习 表 现 迅 速 下 降 。 
 所 以 这 两 个 因 素 组 成 的 「 H M M 概 念 混 合 体 」 非 常 关 键 。 
 最 后 我 们 总 结 一 下 基 于 贝 叶 斯 推 理 的 I C L ： \ \ [ P ( \ \ t e x t ) = \ \ i n t _ } P ( \ \ t e x t ) P ( \ \ t e x t ) d ( \ \ t e x t ) \ \ ] 由 c o n c e p t 、 p r o m p t 得 出 o u t p u t 的 先 验 概 率 \ \ ( P ( \ \ t e x t ) \ \ ) 。 
 p r o m p t 与 c o n c e p t 的 似 然 度 \ \ ( P ( \ \ t e x t ) \ \ ) 。 
 给 定 p r o m p t 得 到 o u t p u t 的 后 验 概 率 \ \ ( P ( \ \ t e x t ) \ \ ) 。 
 第 1 5 节 · I C L 是 如 何 工 作 的 ？ （ 2 0 2 2 年 2 月 ） 2 0 2 2 年 2 月 华 盛 顿 大 学 、 M e t a 和 A I 2 的 几 位 作 者 在 论 文 《 R e t h i n k i n g t h e R o l e o f D e m o n s t r a t i o n s : W h a t M a k e s I n C o n t e x t L e a r n i n g W o r k ? 》 中 ， 从 实 验 验 证 角 度 深 入 地 探 索 了 I C L 背 后 ， 到 底 是 p r o m p t s 中 的 什 么 起 到 了 作 用 。 
 首 先 我 们 先 明 确 在 I C L 中 输 入 的 内 容 里 ， 每 一 部 分 都 是 啥 ， 并 且 明 确 下 名 称 ， 避 免 歧 义 。 
 我 们 先 看 下 图 ： 整 体 输 入 是 由 1 组 d e m o n s t r a t i o n s 和 1 个 t e s t s a m p l e 组 成 的 。 
 在 这 组 d e m o n s t r a t i o n s 中 的 每 一 个 都 是 i n p u t l a b e l p a i r ， i n p u t 和 l a b e l 之 间 的 存 在 映 射 （ m a p p i n g ） 关 系 。 
 g r a p h v i z 2 7 7 2 b e 2 c 9 8 8 2 a 1 1 8 2 6 6 e 1 e c 7 7 8 5 6 a c 2 9 d i g r a p h G d e m o s [ l a b e l = d e m o s / d e m o n s t r a t i o n s ] p r o m p t d e m o s d e m o s d e m o 1 d e m o s d e m o 2 d e m o s d e m o 3 p r o m p t t e s t _ e x a m p l e d e m o 1 i n p u t 1 d e m o 2 i n p u t 2 d e m o 3 i n p u t 3 i n p u t 1 l a b e l 1 [ a r r o w h e a d = n o n e ] i n p u t 2 l a b e l 2 [ a r r o w h e a d = n o n e ] i n p u t 3 l a b e l 3 [ a r r o w h e a d = n o n e ] } G d e m o s d e m o s / d e m o n s t r a t i o n s d e m o 1 d e m o 1 d e m o 1 d e m o s d e m o 1 d e m o 2 d e m o 2 d e m o 2 d e m o s d e m o 2 d e m o 3 d e m o 3 d e m o 3 d e m o s d e m o 3 t e s t _ e x a m p l e t e s t _ e x a m p l e p r o m p t p r o m p t d e m o s p r o m p t d e m o s t e s t _ e x a m p l e p r o m p t t e s t _ e x a m p l e i n p u t 1 i n p u t 1 i n p u t 1 d e m o 1 i n p u t 1 i n p u t 2 i n p u t 2 i n p u t 2 d e m o 2 i n p u t 2 i n p u t 3 i n p u t 3 i n p u t 3 d e m o 3 i n p u t 3 l a b e l 1 l a b e l 1 l a b e l 1 i n p u t 1 l a b e l 1 l a b e l 2 l a b e l 2 l a b e l 2 i n p u t 2 l a b e l 2 l a b e l 3 l a b e l 3 l a b e l 3 i n p u t 3 l a b e l 3 以 下 是 一 些 显 性 的 部 分 ： 后 面 麦 克 船 长 会 提 到 「 C i r c u l a t i o n r e v e n u e h a s i n c r e a s e d b y 5 % i n F i n l a n d 」 这 句 是 d e m o 中 的 i n p u t ； 对 应 的 「 P o s i t i v e 」 是 d e m o 中 的 l a b e l ； i n p u t 和 l a b e l 组 成 的 就 是 d e m o ； 类 似 「 T h e a c q u i s i t i o n w i l l h a v e a n i m m e d i a t e p o s i t i v e i m p a c t 」 这 样 的 就 是 一 个 t e s t e x a m p l e ； 我 们 期 待 语 言 模 型 反 馈 给 我 们 的 对 应 t e s t e x a m p l e 的 就 是 o u t p u t ； 一 组 d e m o 和 一 个 t e s t e x a m p l e 组 成 的 就 是 整 个 一 个 p r o m p t 。 
 以 下 是 一 些 隐 性 的 部 分 ： i n p u t 中 整 体 文 本 输 入 分 布 i n p u t d i s t r i b u t i o n ； l a b e l 的 所 有 可 能 结 果 的 值 域 空 间 l a b e l s p a c e ； 所 有 i n p u t 整 体 与 所 有 l a b e l 整 体 之 间 的 映 射 关 系 i n p u t l a b e l m a p p i n g ； 整 体 i n p u t 、 l a b e l 的 f o r m a t ， 比 如 本 节 开 头 图 里 的 例 子 ， 每 个 d e m o 就 是 一 句 i n p u t 一 个 \ \ n 再 一 个 l a b e l 。 
 通 过 一 系 列 实 验 ， 研 究 人 员 得 出 一 系 列 重 要 的 结 论 ， 并 普 遍 在 L L M 的 使 用 中 被 认 为 正 确 ， 我 们 往 下 逐 一 看 看 。 
 1 5 . 1 、 P r o m p t 中 的 I n p u t L a b e l M a p p i n g 不 重 要 这 个 结 论 是 非 常 反 直 觉 的 ， 但 是 实 验 结 果 就 是 这 样 ， 我 们 来 详 细 地 看 一 下 。 
 我 们 尝 试 看 下 随 机 打 乱 的 m a p p i n g 会 带 来 什 么 影 响 。 
 如 下 图 ， 基 于 1 2 种 语 言 模 型 ， 对 比 在 p r o m p t s 中 没 有 d e m o 示 例 （ 下 图 中 蓝 色 ） 、 有 d e m o 示 例 且 g o l d e n l a b e l （ 你 可 以 把 g o l d e n l a b e l 理 解 为 人 类 监 督 下 符 合 期 望 的 l a b e l ， 下 图 中 的 橙 黄 色 ） 、 有 d e m o 示 例 但 l a b e l 随 机 （ 下 图 中 的 红 色 ） 这 3 种 情 况 。 
 实 验 结 果 如 下 ： 上 图 中 ， 上 面 是 分 类 问 题 ， 下 面 是 多 选 问 题 。 
 实 验 结 果 表 明 ， 随 机 l a b e l 与 g o l d e n l a b e l 的 表 现 差 异 并 不 大 ， 但 是 远 好 于 没 有 d e m o 的 情 况 。 
 也 就 是 说 只 要 有 d e m o 就 行 ， d e m o 中 的 i n p u t l a b e l m a p p i n g 没 太 大 所 谓 。 
 也 就 是 ， 随 机 的 l a b e l s 虽 然 增 加 了 噪 声 ， 但 是 并 没 有 移 除 贝 叶 斯 推 理 中 的 全 部 信 号 。 
 这 里 要 强 调 的 是 ， 随 机 打 乱 的 l a b e l s 的 值 域 分 布 空 间 还 是 与 g o l d e n l a b e l s 一 样 的 ， 与 下 面 要 聊 到 的 「 l a b e l s p a c e 」 是 不 同 的 ， 后 者 是 完 全 没 有 值 域 边 界 的 一 个 值 域 空 间 。 
 1 5 . 2 、 P r o m p t 中 的 I n p u t D i s t r i b u t i o n 很 重 要 对 于 i n p u t d i s t r i b u t i o n 的 验 证 ， 我 们 来 对 比 两 组 ： 第 一 组 就 是 来 自 训 练 数 据 里 句 子 作 为 d e m o s 的 i n p u t ， 第 二 组 是 不 服 从 分 布 的 （ O u t O f D i s t r i b u t i o n ， O O D ） ， 具 体 说 ， 是 从 其 他 外 部 语 料 库 随 机 采 样 的 一 组 句 子 \ \ ( } ^ k _ \ \ ) 替 换 d e m o s 里 的 \ \ ( ^ k _ \ \ ) 。 
 这 种 情 况 下 ， l a b e l 都 用 r a n d o m ， f o r m a t 都 不 变 ， 实 验 结 果 如 下 图 ： 每 4 个 一 组 的 柱 状 图 里 （ 具 体 说 明 在 右 侧 ） ， 中 间 两 个 （ R a n d o m l a b e l s 和 O O D + R a n d o m l a b e l s ） 的 对 比 区 别 就 是 i n p u t d i s t r i b u t i o n 不 同 。 
 可 见 除 了 D i r e c t M e t a I C L 模 型 之 外 ， 其 他 模 型 下 这 两 组 i n p u t d i s t r i b u t i o n 带 来 的 结 果 表 现 差 异 是 很 显 著 的 。 
 所 以 可 以 通 过 实 验 初 步 得 出 结 论 ： i n p u t d i s t r i b u t i o n 是 有 显 著 影 响 的 。 
 1 5 . 3 、 P r o m p t 中 的 L a b e l S p a c e 很 重 要 对 于 本 小 节 开 头 的 那 个 例 子 ， 正 确 的 L a b e l S p a c e 应 该 是 这 样 的 G o l d e n L a b e l S p a c e ， 而 一 个 L a b e l S p a c e 不 分 布 在 正 确 值 域 里 的 情 况 ， 可 以 是 一 些 完 全 无 关 的 、 随 机 的 ， 比 如 上 面 例 子 里 可 以 出 现 U n a n i m i t y 、 W a v e 、 G u a n a 、 S y r u p … 类 似 的 R a n d o m L a b e l S p a c e 。 
 每 4 个 一 组 的 柱 状 图 里 ， 中 间 两 个 （ R a n d o m L a b e l s 和 R a n d o m E n g l i s h W o r d s ） 的 对 比 区 别 就 是 L a b e l S p a c e 不 同 。 
 前 者 是 G o l d e n ， 后 者 是 R a n d o m ， 可 见 在 D i r e c t 模 型 里 有 显 著 差 异 ， 但 是 在 C h a n n e l 模 型 里 几 乎 表 现 差 不 多 。 
 所 以 可 以 通 过 实 验 初 步 得 出 结 论 ： l a b e l s p a c e 是 有 显 著 影 响 的 。 
 1 5 . 4 、 P r o m p t 中 F o r m a t o f D e m o n s t r a t i o n 很 重 要 我 们 可 以 设 置 很 多 种 不 同 的 f o r m a t 来 对 比 ， 但 这 里 为 了 更 简 单 、 直 接 说 明 问 题 ， 我 们 将 用 n o l a b e l s 和 w i t h l a b e l s o n l y 两 种 f o r m a t s ， 如 下 ： 将 这 两 种 f o r m a t s 来 和 「 i n p u t w i t h r a n d o m l a b e l 」 f o r m a t 做 对 比 （ 因 为 通 过 前 面 的 实 验 ， 我 们 可 以 认 为 i n p u t l a b e l m a p p i n g 是 不 显 著 影 响 的 ， 所 以 用 r a n d o m l a b e l 且 l a b e l s p a c e 是 正 确 的 ） 。 
 实 验 结 果 如 下 ： 每 7 个 一 组 的 柱 状 图 里 ， 分 别 对 比 了 7 种 情 况 ， 我 们 这 里 看 每 一 组 的 第 2 、 4 、 6 个 柱 状 图 。 
 可 以 看 出 n o l a b e l s 和 w i t h l a b e l s o n l y 两 种 f o r m a t s 的 表 现 都 显 著 低 于 r a n d o m l a b e l s 。 
 所 以 可 以 通 过 实 验 初 步 得 出 结 论 ： 使 用 i n p u t l a b e l 作 为 d e m o 的 f o r m a t 对 于 模 型 表 现 有 显 著 提 升 作 用 。 
 1 5 . 5 、 小 结 一 下 在 基 于 I C L 能 力 来 用 好 L L M 时 ， 我 们 有 以 下 l e a r n i n g ： 在 p r o m p t 里 带 上 d e m o 是 很 重 要 的 ， 而 且 d e m o 在 形 式 上 i n p u t 和 l a b e l 都 需 要 。 
 对 于 d e m o 中 的 i n p u t ， 不 要 乱 来 ， 要 给 出 比 较 合 理 的 i n p u t 。 
 对 于 d e m o 中 的 l a b e l ， 只 要 它 属 于 正 确 的 值 域 空 间 l a b e l s p a c e 就 可 以 了 ， 是 否 与 i n p u t 有 c o r r e c t m a p p i n g 不 重 要 。 
 由 此 指 导 我 们 在 实 践 中 ， 给 出 尽 量 多 的 d e m o n s t r a t i o n s 时 ， 不 需 要 人 工 标 注 每 个 i n p u t 有 正 确 的 l a b e l ， 而 是 对 于 每 个 i n p u t 可 以 批 量 化 随 机 地 给 出 符 合 l a b e l s p a c e 的 l a b e l 即 可 ， 实 现 在 下 游 任 务 上 人 工 标 注 成 本 的 下 降 。 
 但 是 关 于 本 节 的 各 项 研 究 结 论 ， 目 前 还 有 很 多 是 基 于 假 设 之 上 推 演 + 实 验 的 ， 并 非 如 「 理 论 科 学 」 那 么 严 谨 ， 可 以 和 麦 克 船 长 一 起 持 续 关 注 后 续 学 界 与 业 界 对 于 I C L 的 最 新 进 展 。 
 第 1 6 节 · 思 维 链 （ C h a i n o f T h o u g h t ， C o T ， 2 0 2 2 年 1 月 ） 1 6 . 1 、 深 度 学 习 就 是 要 从 S y s t e m 1 走 向 S y s t e m 2 在 认 知 科 学 里 ， 有 一 个 「 认 知 双 通 道 理 论 」 ， 讲 的 是 人 脑 有 两 套 系 统 ， 即 「 系 统 1 」 和 「 系 统 2 」 [ 1 4 ] ： 系 统 1 （ S y s t e m 1 ） 常 被 称 为 直 觉 系 统 ， 它 的 运 行 是 无 意 识 且 快 速 的 ， 不 怎 么 费 脑 力 ， 没 有 感 觉 ， 完 全 处 于 自 主 控 制 状 态 。 
 系 统 2 （ S y s t e m 2 ） 常 被 称 为 逻 辑 分 析 系 统 ， 它 将 注 意 力 转 移 到 需 要 费 脑 力 的 大 脑 活 动 上 来 ， 例 如 复 杂 的 运 算 。 
 系 统 2 的 运 行 通 常 与 行 为 、 选 择 和 专 注 等 主 观 体 验 相 关 联 。 
 该 理 论 由 心 理 学 家 基 思 · 斯 坦 诺 维 奇 （ K e i t h S t a n o v i c h ） 和 理 查 德 · 韦 斯 特 （ R i c h a r d W e s t ） 率 先 提 出 。 
 后 被 行 为 经 济 学 之 父 、 诺 贝 尔 奖 获 得 者 丹 尼 尔 · 卡 尼 曼 （ D a n i e l K a h n e m a n ） 引 用 在 其 著 作 《 思 考 ， 快 与 慢 》 中 ， 而 被 心 理 学 领 域 之 外 的 人 广 泛 所 知 ， 我 上 述 的 表 述 也 引 自 该 书 。 
 图 灵 奖 得 主 Y o s h u a B e n g i o 在 2 0 1 9 年 人 工 智 能 顶 级 会 议 N e u r I P S 的 题 为 《 F r o m S y s t e m 1 D e e p L e a r n i n g T o S y s t e m 2 D e e p L e a r i n g 》 报 告 中 引 用 该 理 论 ， 被 A I 圈 子 很 多 人 误 以 为 这 个 理 论 是 Y o s h u a B e n g i o 提 出 的 （ 而 Y o s h u a 误 以 为 这 是 K a h n e m a n 提 出 的 ） 。 
 但 是 Y o s h u a 很 有 价 值 地 指 出 ： S y s t e m 1 是 目 前 深 度 学 习 正 在 做 的 事 情 — — C u r r e n t D L ， 比 如 图 像 识 别 、 人 脸 识 别 、 机 器 翻 译 、 情 感 分 类 、 语 音 识 别 、 自 动 驾 驶 等 。 
 S y s t e m 2 是 未 来 深 度 学 习 将 要 做 的 事 情 — — F u t u r e D L ， 比 如 推 理 、 规 划 等 任 务 ， 这 些 任 务 基 本 都 是 有 逻 辑 的 （ l o g i c a l ） 、 可 推 理 的 （ r e a s o n i n g ） 。 
 L L M 的 研 究 者 们 也 在 探 究 那 些 S y s t e m 2 要 解 决 的 任 务 ， 于 是 有 了 下 面 麦 克 船 长 了 解 到 的 几 个 技 术 方 向 ， 与 大 家 分 享 探 讨 。 
 1 6 . 2 、 G o o g l e 提 出 思 维 链 提 示 （ C o T P r o m p t i n g ） 尽 管 在 语 言 建 模 方 面 ， 现 有 模 型 表 现 还 可 以 ， N L P 领 域 的 S y s t e m 1 任 务 基 本 还 算 比 较 好 的 解 决 ， 但 是 对 于 S y s t e m 2 基 本 上 都 没 有 太 好 的 进 展 。 
 但 G P T 出 来 后 这 事 儿 变 得 不 一 样 了 ， 尤 其 是 I n s t r u c t G P T 。 
 我 们 往 下 慢 慢 看 。 
 2 0 2 2 年 初 G o o g l e 在 论 文 《 C h a i n o f T h o u g h t P r o m p t i n g E l i c i t s R e a s o n i n g i n L a r g e L a n g u a g e M o d e l s 》 中 提 出 「 思 维 链 （ C h a i n o f T h o u g h ， C o T ） 」 ： 研 究 发 现 通 过 在 p r o m p t s 中 增 加 思 维 链 （ 即 一 系 列 中 间 推 理 步 骤 ） ， 就 能 显 著 提 升 L L M 的 推 力 表 现 。 
 并 将 这 种 提 示 方 式 称 为 「 C h a i n o f T h o u g h t p r o m p t i n g 」 。 
 比 如 如 上 示 例 ， 标 准 的 提 示 中 给 了 一 对 问 答 样 例 ， 再 加 上 一 个 问 题 ， 让 L L M 返 回 问 题 的 答 案 。 
 C o T P r o m p t i n g 则 在 那 对 问 答 样 例 中 加 上 了 一 段 C o T ， 而 不 是 直 接 给 出 「 T h e a n s w e r i s 1 1 . 」 上 图 展 示 了 这 样 两 种 p r o m p t i n g 及 对 应 输 出 的 案 例 。 
 在 不 同 的 模 型 上 ， 这 两 种 p r o m p t i n g 方 式 1 6 . 3 、 L e t ’ s T h i n k S t e p b y S t e p 2 0 2 2 年 5 月 三 位 东 京 大 学 学 者 与 两 位 G o o g l e 的 研 究 人 员 在 论 文 《 L a r g e L a n g u a g e M o d e l s a r e Z e r o S h o t R e a s o n e r s 》 中 提 到 了 后 来 在 G e n A I 领 域 那 句 著 名 的 提 示 — — L e t ’ s t h i n k s t e p b y s t e p — — 对 于 涉 及 到 逻 辑 推 理 方 面 的 问 题 ， 通 过 增 加 这 句 提 示 后 ， 模 型 展 现 出 了 推 理 性 能 的 大 幅 跃 升 。 
 对 于 O p e n A I 的 I n s t r u c t G P T （ 具 体 地 ， 是 t e x t d a v i n c i 0 0 2 ） 模 型 ， 在 输 入 提 示 时 加 上 「 L e t ’ s t h i n k s t e p b y s t e p 」 后 ， 其 表 现 ： 在 M u l t i A r i t h 数 据 集 上 ， 准 确 率 从 1 7 . 7 % 提 升 到 7 8 . 7 % 在 G S M 8 K 数 据 集 上 ， 准 确 率 从 1 0 . 4 % 提 升 到 4 0 . 7 % 对 于 G o o g l e 的 P a L M 模 型 （ 具 体 地 ， 参 数 规 模 为 5 4 0 0 亿 ） ， 同 样 的 输 入 提 示 改 造 ， 其 表 现 ： 在 M u l t i A r i t h 数 据 集 上 ， 准 确 率 从 2 5 . 5 % 提 升 到 6 6 . 1 % 在 G S M 8 K 数 据 集 上 ， 准 确 率 从 1 2 . 5 % 提 升 到 4 3 . 0 % 事 实 上 ， 除 了 「 L e t ’ s t h i n k s t e p b y s t e p 」 ， 该 论 文 的 作 者 们 还 尝 试 了 一 系 列 其 他 p r o m p t s 的 插 入 ， 只 不 过 这 句 的 表 现 最 好 ： 从 这 里 我 们 可 以 看 到 ， 对 于 C o T 的 挖 掘 体 现 了 我 们 对 L L M 的 了 解 仍 然 处 于 非 常 早 期 的 阶 段 。 
 如 果 未 来 麦 克 船 长 会 更 新 本 篇 文 章 的 新 版 本 ， 我 认 为 在 I C L 、 C o T 部 分 一 定 会 有 很 多 新 进 展 出 现 。 
 而 随 着 我 们 对 L L M 为 什 么 具 备 I C L 能 力 的 研 究 加 深 ， 更 好 地 。 
 本 小 节 参 考 h t t p s : / / a r x i v . o r g / a b s / 2 1 0 7 . 1 3 5 8 6 h t t p s : / / a r x i v . o r g / a b s / 2 0 0 1 . 0 7 6 7 6 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 3 9 9 2 9 5 8 9 5 h t t p s : / / a r x i v . o r g / a b s / 2 1 0 4 . 0 8 6 9 1 h t t p s : / / a c l a n t h o l o g y . o r g / 2 0 2 1 . a c l l o n g . 3 5 3 . p d f h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 5 1 1 7 4 7 1 1 T o w a r d s U n d e r s t a n d i n g I n c o n t e x t L e a r n i n g , S a m L i a n g & K e v i n J i n , P r i n c e t o n U n i v e r s i t y . h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 2 4 3 8 3 5 5 4 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 5 1 0 1 4 1 2 7 H o w d o e s i n c o n t e x t l e a r n i n g w o r k ? A f r a m e w o r k f o r u n d e r s t a n d i n g t h e d i f f e r e n c e s f r o m t r a d i t i o n a l s u p e r v i s e d l e a r n i n g A n E x p l a n a t i o n o f I n c o n t e x t L e a r n i n g a s I m p l i c i t B a y e s i a n I n f e r e n c e R e t h i n k i n g t h e R o l e o f D e m o n s t r a t i o n s : W h a t M a k e s I n C o n t e x t L e a r n i n g W o r k ? h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 4 9 3 5 3 3 5 8 9 第 四 章 · L L M 发 展 关 键 节 点 与 主 流 模 型 （ 2 0 2 2 2 0 2 3 ） 第 1 7 节 · I n s t r u c t G P T ： 为 对 齐 （ A l i g n m e n t ） 而 生 的 指 令 式 G P T （ 2 0 2 2 年 3 月 ） G P T 3 上 线 并 商 业 化 后 ， 半 年 后 （ 到 2 0 2 1 年 3 月 ） 有 3 0 0 余 款 基 于 它 的 A P I 开 发 的 应 用 。 
 O p e n A I 认 为 自 己 在 开 创 下 一 代 应 用 生 态 。 
 但 是 遇 到 的 一 个 严 重 问 题 是 ， G P T 3 的 输 出 存 在 不 可 信 、 有 害 等 内 容 。 
 为 了 解 决 这 个 问 题 ， O p e n A I 将 「 对 齐 研 究 （ A l i g n m e n t R e s e a r c h ） 」 作 为 其 技 术 研 发 重 点 之 一 [ 3 ] 。 
 在 该 公 司 2 0 2 2 年 1 月 底 的 b l o g 中 提 到 ， 他 们 已 经 研 究 a l i g n m e n t 好 几 年 了 ， 但 I n s t r u c t G P T 是 他 们 第 一 次 把 它 用 到 产 品 里 。 
 1 7 . 1 、 对 齐 （ A l i g n m e n t ） ： 关 于 「 我 们 到 底 要 A I 未 来 变 成 什 么 样 子 」 这 件 事 儿 所 谓 「 A I 对 齐 」 ， 就 是 A I 要 语 言 模 型 的 输 出 应 该 向 人 类 使 用 者 对 齐 。 
 关 于 具 体 地 ， O p e n A I 想 用 人 类 指 令 （ I n s t r u c t ） 作 为 输 入 ， A I 根 据 指 令 输 入 ， 返 回 符 合 人 类 价 值 观 的 输 出 。 
 对 于 A l i g n m e n t ， A n t h r o p i c 在 其 论 文 《 A G e n e r a l L a n g u a g e A s s i s t a n t a s a L a b o r a t o r y f o r A l i g n m e n t 》 中 给 出 了 该 公 司 在 A I 对 齐 上 的 理 念 ： 有 用 （ h e l p f u l ） 、 可 信 （ H o n e s t ） 、 无 害 （ H a r m l e s s ） ， 比 较 被 广 泛 接 受 。 
 目 前 围 绕 A l i g n m e n t ， 业 内 A n t h r o p i c 和 O p e n A I 是 走 在 比 较 前 沿 的 两 家 公 司 ， 尤 其 前 者 。 
 所 以 可 以 看 出 ， 「 A I A l i g n m e n t 」 其 实 是 「 A I S a f e t y 」 的 一 个 子 领 域 ， 国 内 所 有 做 安 全 、 合 规 、 技 术 道 德 相 关 方 向 的 朋 友 都 要 重 视 起 来 ， 关 于 A I A l i g n m e n t 或 许 我 可 以 单 独 写 一 篇 文 章 来 和 大 家 交 流 。 
 为 了 实 现 这 一 点 ， 需 要 将 人 类 对 于 文 本 内 容 是 否 为 人 类 所 需 的 判 断 ， 被 A I 学 习 会 ， 于 是 最 初 O p e n A I 想 到 的 是 用 监 督 微 调 （ S u p e r v i s e d F i n e T u n e ） 的 方 法 ， 基 于 此 推 出 了 d a v i n c i i n s t r u c t b e t a ， 就 是 对 一 些 O p e n A I 收 集 的 用 户 p r o m p t s 输 入 ， 由 人 类 给 出 输 出 ， 这 些 p r o m p t g e n e r a t i o n p a i r s 拿 来 f i n e t u n e 原 来 的 G P T 3 。 
 但 是 这 样 其 实 并 没 有 明 示 A I ， 只 是 「 暗 戳 戳 」 地 让 它 学 习 。 
 其 实 我 们 想 要 的 是 ， 与 人 类 对 齐 的 输 出 结 果 ， 是 好 的 输 出 ； 与 人 类 不 对 齐 的 输 出 结 果 ， 不 是 好 的 输 出 ； 所 以 输 出 好 与 不 好 ， 这 里 可 以 做 一 个 奖 励 模 型 来 评 判 。 
 而 用 这 个 奖 励 模 型 来 训 练 一 个 语 言 模 型 ， 就 是 用 强 化 学 习 的 思 路 了 。 
 于 是 O p e n A I 选 择 通 过 「 人 工 反 馈 的 强 化 学 习 （ R e i n f o r c e m e n t L e a r n i n g w i t h H u m a n F e e d b a c k ） 」 来 实 现 这 一 点 ， 就 在 G P T 3 的 基 础 上 研 发 了 I n s t r u c t G P T 。 
 1 7 . 2 、 如 何 用 R L H F 方 法 训 练 得 到 更 能 对 齐 人 类 的 I n s t r u c t G P T ？ 用 R L H F 方 法 得 到 I n s t r u c t G P T 的 具 体 流 程 ， O p e n A I 官 方 给 出 了 如 下 解 释 [ 2 ] ： 第 一 步 ， 是 监 督 微 调 （ S u p e r v i s e d F i n e T u n e ， S F T ） 出 一 个 对 齐 人 类 的 初 始 模 型 。 
 O p e n A I 把 这 个 模 型 叫 做 「 监 督 策 略 （ S u p e r v i s e d P o l i c y ） 」 ， 因 为 用 R L H F 来 实 现 A l i g n m e n t 的 目 的 就 是 为 了 用 「 对 齐 策 略 」 把 A I 给 「 管 」 起 来 。 
 首 先 ， 从 G P T 开 放 使 用 后 收 集 的 用 户 输 入 提 示 （ p r o m p t s ） 中 取 用 一 部 分 提 示 ， 根 据 O p e n A I 的 说 法 其 采 用 的 数 据 是 来 自 官 网 P l a y g r o u n d 工 具 收 集 的 提 示 （ 具 体 来 说 ， 用 的 数 据 来 自 2 0 2 1 年 O p e n A I 部 署 的 G P T 版 本 所 收 集 ） ， 并 去 掉 了 其 中 涉 及 到 隐 私 / 个 人 信 息 的 内 容 [ 2 ] 。 
 然 后 ， 由 人 类 为 它 们 来 编 写 一 些 输 出 样 例 （ d e m o n s t r a t i o n ） 。 
 接 着 ， 用 这 些 监 督 数 据 （ 一 些 p r o m p t d e m o n s t r a t i o n p a i r s ） 去 微 调 G P T 3 。 
 第 二 步 ， 训 练 一 个 对 齐 人 类 的 奖 励 模 型 （ 注 意 第 一 步 、 第 二 步 是 两 个 独 立 的 模 型 ） ， 这 是 强 化 学 习 中 不 可 或 缺 的 。 
 首 先 ， 基 于 用 户 提 示 （ 与 S F T 那 一 步 用 的 p r o m p t s 是 相 同 来 源 ） 从 多 个 模 型 得 到 多 个 输 出 。 
 然 后 ， 人 类 标 注 员 （ l a b e l e r s ） 对 不 同 的 结 果 进 行 排 序 （ 注 意 不 是 打 分 ） 。 
 最 后 ， 将 不 同 模 型 的 输 出 结 果 和 排 序 结 果 作 为 训 练 数 据 ， 训 练 一 个 奖 励 模 型 （ R e w a r d M o d e l ， R M ） 。 
 训 练 成 功 后 ， 这 个 R M 就 有 了 衡 量 输 出 表 现 的 能 力 。 
 第 三 步 ， 用 第 二 步 的 奖 励 模 型 ， 以 强 化 学 习 P P O 方 法 训 练 第 一 步 得 到 的 初 始 模 型 （ 监 督 政 策 ） 。 
 将 训 练 集 数 据 输 入 给 初 始 模 型 （ 监 督 政 策 ） ， 得 到 相 应 的 输 出 。 
 R M 对 初 始 模 型 的 输 出 计 算 奖 励 。 
 基 于 奖 励 值 ， 用 P P O 算 法 更 新 监 督 政 策 。 
 这 个 流 程 下 来 ， 「 对 齐 」 体 现 在 哪 里 了 呢 ？ 基 本 上 需 要 人 工 的 地 方 ， 就 是 在 「 对 齐 」 。 
 S F T 的 第 一 步 ， 用 的 是 「 符 合 人 类 期 望 行 为 的 样 例 （ d e m o n s t r a t i o n s o f t h e d e s i r e d m o d e l b e h a v i o r ） 」 。 
 训 练 R M 的 第 二 步 ， 排 序 判 断 来 自 人 类 。 
 根 据 O p e n A I 发 表 的 《 T r a i n i n g l a n g u a g e m o d e l s t o f o l l o w i n s t r u c t i o n s w i t h h u m a n f e e d b a c k 》 ， 用 R L H F 方 法 得 到 的 1 3 亿 参 数 规 模 的 I n s t r u c t G P T 的 表 现 要 优 于 1 7 5 0 亿 参 数 的 G P T 3 。 
 这 是 非 常 令 人 吃 惊 的 结 果 ， 换 句 话 说 ， 1 7 5 0 亿 参 数 的 G P T 3 的 能 力 并 没 有 被 很 好 的 挖 掘 — — 它 有 学 习 能 力 ， 但 是 人 类 没 有 教 好 。 
 到 这 里 我 们 能 看 到 ， R L H F 的 方 法 一 定 非 常 适 合 做 领 域 垂 直 化 的 训 练 ， 只 需 要 雇 佣 一 批 垂 直 领 域 的 「 专 家 」 来 做 标 注 员 （ l a b e l e r s ） 来 训 练 初 始 模 型 和 奖 励 模 型 就 可 以 。 
 所 以 现 在 类 似 C h a t G P T 这 种 L L M 对 事 实 类 知 识 处 理 得 不 太 好 的 领 域 ， 都 有 R L H F 做 基 础 训 练 方 法 得 到 可 用 产 品 的 机 会 。 
 还 值 得 一 提 的 是 ， 测 试 I n s t r u c t G P T 在 A l i g n m e n t 方 面 表 现 的 两 个 数 据 集 可 以 关 注 一 下 ： 测 模 型 谎 言 多 少 的 数 据 集 ： T r u t h f u l Q A : M e a s u r i n g h o w m o d e l s m i m i c h u m a n f a l s e h o o d s . L i n , S . , H i l t o n , J . a n d E v a n s , O . , 2 0 2 1 . 测 模 型 有 害 程 度 的 数 据 集 ： R e a l T o x i c i t y P r o m p t s : E v a l u a t i n g n e u r a l t o x i c d e g e n e r a t i o n i n l a n g u a g e m o d e l s . G e h m a n , S . , G u r u r a n g a n , S . , S a p , M . , C h o i , Y . a n d S m i t h , N . A . , 2 0 2 0 . 1 7 . 3 、 对 齐 税 （ A l i g n m e n t T a x ） 目 前 从 实 际 表 现 看 ， 只 在 客 户 任 务 上 对 齐 模 型 ， 可 能 会 让 模 型 在 其 他 一 些 学 术 任 务 上 的 表 现 更 差 ， 我 们 把 这 种 代 价 叫 做 「 对 齐 税 （ A l i g n m e n t T a x ） 」 。 
 O p e n A I 提 到 一 种 最 小 化 对 齐 税 的 小 t r i c k ： 在 强 化 学 习 第 一 步 微 调 的 时 候 ， 混 入 一 点 训 练 G P T 3 时 用 到 的 原 始 数 据 ， 然 后 微 调 训 练 时 用 正 则 对 数 极 大 似 然 函 数 （ N o r m a l L o g L i k e l i h o o d M a x i m i z a t i o n ） 做 l o s s 函 数 。 
 这 种 方 式 既 能 大 概 保 持 在 客 户 任 务 方 面 的 性 能 ， 也 能 缓 解 学 术 任 务 上 的 表 现 下 降 ， 在 某 些 情 况 下 甚 至 超 过 了 G P T 3 。 
 1 7 . 4 、 目 前 I n s t r u c t G P T 的 局 限 性 听 话 与 拒 绝 ： 训 练 模 型 f o l l o w i n s t r u c t i o n s 的 一 个 副 产 品 就 是 — — 太 听 话 也 不 是 好 事 儿 — — 如 果 指 令 产 生 了 不 好 的 内 容 ， 模 型 可 能 更 容 易 被 滥 用 。 
 解 决 方 法 是 模 型 要 会 明 确 拒 绝 某 些 指 令 。 
 文 化 兼 容 性 不 足 ： I n s t r u c t G P T 是 用 英 文 指 令 训 练 的 ， 因 此 它 偏 向 于 英 语 使 用 者 的 文 化 价 值 观 。 
 1 7 . 5 、 I n s t r u c t G P T 就 是 G P T 3 . 5 吗 ？ I n s t r u c t G P T 不 等 于 G P T 3 . 5 。 
 G P T 3 . 5 是 O p e n A I 用 2 0 2 1 年 第 四 季 度 之 前 的 文 本 、 代 码 训 练 的 。 
 O p e n A I 在 其 官 网 [ 1 0 ] 明 确 指 出 ， 目 前 O p e n A I 公 开 的 A P I 中 ： 你 能 用 到 的 I n s t r u c t G P T 模 型 有 d a v i n c i i n s t r u c t b e t a 、 t e x t d a v i n c i 0 0 1 , t e x t d a v i n c i 0 0 2 , t e x t c u r i e 0 0 1 , t e x t b a b b a g e 0 0 1 、 t e x t d a v i n c i 0 0 3 。 
 你 能 用 到 的 G P T 3 . 5 模 型 有 c o d e d a v i n c i 0 0 2 、 t e x t d a v i n c i 0 0 2 、 t e x t d a v i n c i 0 0 3 。 
 在 2 0 2 2 年 1 月 底 ， O p e n A I 官 方 说 这 个 a l i g n 过 的 I n s t r u c t G P T 模 型 已 经 在 O p e n A I 线 上 的 G P T A P I 里 跑 了 一 年 多 了 ， 只 是 没 告 诉 大 家 。 
 第 1 8 节 · C h a t G P T ： 基 于 R L H F 训 练 的 对 话 式 G P T 模 型 （ 2 0 2 2 年 1 1 月 底 ） I n s t r u c t G P T 是 基 于 人 类 指 令 输 入 ， 给 予 对 应 的 输 出 结 果 ， O p e n A I 将 它 迭 代 用 在 了 其 官 网 的 P l a y g r o u n d 产 品 里 。 
 但 发 送 指 令 这 种 方 式 ， 其 实 还 不 是 人 类 最 自 然 的 方 式 。 
 秉 承 A l i g n m e n t 的 理 念 ， 为 了 让 交 互 方 式 更 符 合 人 类 的 习 惯 ， O p e n A I 希 望 打 造 基 于 对 话 — — — — 人 类 最 熟 悉 的 交 流 方 式 — — — — 进 行 输 入 输 出 交 互 的 语 言 模 型 ， 于 是 有 了 C h a t G P T 。 
 1 8 . 1 、 C h a t G P T 的 训 练 方 法 训 练 方 法 上 ， O p e n A I 称 C h a t G P T 与 I n s t r u c t G P T 的 R L H F 方 法 相 同 ， 只 是 数 据 集 设 置 方 面 有 一 点 区 别 。 
 下 面 是 O p e n A I 官 方 其 在 C h a t G P T 研 发 中 使 用 的 R L H F 流 程 ： 第 一 步 ， 监 督 微 调 （ S F T ） ， 方 法 与 I n s t r u c t G P T 是 相 同 的 ， 但 是 数 据 上 略 有 差 异 。 
 在 I n s t r u c t G P T 所 用 的 S F T 数 据 集 基 础 上 ， C h a t G P T 还 收 集 了 一 些 人 类 编 写 的 对 话 （ 对 话 的 双 方 内 容 都 由 人 类 训 练 师 提 供 ， 训 练 师 既 扮 演 用 户 ， 也 扮 演 A I 助 手 ） 。 
 然 后 ， 把 这 些 监 督 数 据 （ p r o m p t d e m o n s t r a t i o n p a i r s ） 与 I n s t r u c t G P T 训 练 用 的 数 据 集 混 合 起 来 ， 并 从 「 指 令 （ I n s t r u c t ） 」 全 部 改 成 「 对 话 （ C h a t ） 」 模 式 。 
 接 着 ， 用 这 些 数 据 来 微 调 （ f i n e t u n e ） G P T 3 . 5 。 
 （ 注 ： 所 以 我 们 看 到 O p e n A I 说 的 是 基 于 G P T 3 . 5 研 发 的 C h a t G P T ， 而 不 是 C h a t G P T 等 于 G P T 3 . 5 。 
 ） 第 二 步 ， 奖 励 模 型 （ R M ） 的 构 建 过 程 中 ， 产 出 训 练 数 据 所 需 的 结 果 排 序 时 ， 迭 代 为 排 序 中 不 可 以 有 排 位 相 等 的 情 况 ， 而 是 全 部 要 区 分 开 。 
 第 三 步 ， 与 I n s t r u c t G P T 流 程 相 同 ， 就 是 用 第 二 步 的 R M 以 P P O 强 化 学 习 方 法 来 训 练 第 一 步 S F T 得 到 的 原 始 模 型 （ 监 督 策 略 ） 。 
 1 8 . 2 、 C h a t G P T 与 I n s t r u c t G P T 的 主 要 技 术 区 别 训 练 数 据 来 源 不 同 ： C h a t G P T 所 用 的 训 练 数 据 ， 是 在 I n s t r u c t G P T 所 用 训 练 数 据 的 基 础 上 ， 混 入 了 人 类 训 练 师 编 写 的 对 话 数 据 。 
 训 练 数 据 格 式 不 同 ： I n s t r u c t G P T 的 训 练 数 据 用 的 还 是 「 指 令 响 应 」 的 格 式 ， 而 训 练 C h a t G P T 时 O p e n A I 将 数 据 转 换 成 「 对 话 」 格 式 。 
 基 础 模 型 版 本 不 同 ： I n s t r u c t G P T 是 基 于 G P T 3 微 调 的 ， C h a t G P T 是 基 于 G P T 3 . 5 微 调 的 。 
 1 8 . 2 . 1 、 训 练 数 据 的 格 式 S F T 时 用 的 数 据 ， C h a t G P T 是 基 于 I n s t r u c t G P T 数 据 集 改 的 。 
 具 体 来 说 ， 比 如 I n s t r u c t G P T 有 如 下 指 令 数 据 集 ： M a k e a s a n d w i c h . P o u r m i l k i n t o a g l a s s . W r i t e a l e t t e r t o y o u r f r i e n d . 这 每 一 个 I n s t r u c t 都 会 有 一 个 r e s p o n d ， 根 据 O p e n A I 的 解 释 ， 在 I n s t r u c t G P T 中 ， A I 训 练 师 编 写 了 这 些 「 指 令 响 应 」 对 （ 指 令 和 响 应 都 是 人 工 编 写 的 ） ， 而 C h a t G P T 把 这 些 对 儿 改 为 了 对 话 形 式 ， 举 例 如 下 ： U s e r : M a k e a s a n d w i c h . A I : S u r e , w h a t k i n d o f s a n d w i c h w o u l d y o u l i k e ? U s e r : A t u r k e y a n d c h e e s e s a n d w i c h , p l e a s e . A I : A l r i g h t , w h a t k i n d o f b r e a d d o y o u p r e f e r ? U s e r : W h o l e w h e a t . A I : G r e a t . W h a t t y p e o f c h e e s e w o u l d y o u l i k e o n y o u r s a n d w i c h ? U s e r : S w i s s c h e e s e . A I : G o t i t . W o u l d y o u l i k e a n y c o n d i m e n t s o n y o u r s a n d w i c h ? U s e r : J u s t m a y o , p l e a s e . A I : O k a y , y o u r t u r k e y a n d S w i s s c h e e s e s a n d w i c h w i t h m a y o i s r e a d y . U s e r : P o u r m i l k i n t o a g l a s s . A I : D o y o u h a v e a s p e c i f i c t y p e o f m i l k y o u d l i k e t o u s e ? U s e r : J u s t r e g u l a r c o w s m i l k . A I : S u r e t h i n g . H o w m u c h m i l k w o u l d y o u l i k e t o p o u r ? U s e r : A b o u t h a l f a g l a s s . A I : O k a y , h a l f a g l a s s o f m i l k c o m i n g u p . U s e r : W r i t e a l e t t e r t o y o u r f r i e n d . A I : W h a t w o u l d y o u l i k e t h e l e t t e r t o s a y ? U s e r : I w a n t t o a s k t h e m h o w t h e i r v a c a t i o n w a s . A I : O k a y , I c a n h e l p y o u w i t h t h a t . D o y o u w a n t t o s t a r t w i t h a g r e e t i n g ? U s e r : Y e s , D e a r S a r a h . A I : G o t i t . W h a t d o y o u w a n t t o a s k a b o u t t h e i r v a c a t i o n ? U s e r : I w a n t t o k n o w i f t h e y h a d a g o o d t i m e a n d i f t h e y w e n t a n y w h e r e i n t e r e s t i n g . A I : A l r i g h t , I c a n h e l p y o u w r i t e t h a t . H e r e s w h a t I s u g g e s t . . . ( a n d s o o n ) 然 后 将 A I 的 部 分 做 文 本 生 成 任 务 的 S F T 。 
 1 8 . 3 、 C h a t G P T 开 放 C h a t A P I 我 在 2 0 2 3 年 3 月 2 日 写 了 一 篇 简 单 的 入 门 C h a t G P T 官 方 A P I 文 档 解 读 。 
 本 次 O p e n A I 在 其 G P T 系 列 模 型 D a v i n c i 、 C u r i e 、 B a b b a g e 、 A d a 之 外 ， 推 出 了 T u r b o 模 型 ， 是 比 D a v i n c i 性 能 还 要 强 的 。 
 T u r b o 与 支 持 C h a t G P T 的 模 型 系 列 相 同 ， 它 针 对 对 话 式 聊 天 输 入 和 输 出 进 行 了 优 化 ， 但 与 D a v i n c i 模 型 系 列 相 比 ， 它 在 完 成 方 面 同 样 出 色 。 
 在 C h a t G P T 中 可 以 很 好 地 完 成 的 任 何 用 例 都 应 该 在 A P I 中 与 T u r b o 模 型 系 列 一 起 很 好 地 执 行 。 
 T u r b o 模 型 家 族 也 是 第 一 个 像 C h a t G P T 一 样 接 收 定 期 模 型 更 新 的 模 型 。 
 T u r b o 适 合 于 对 话 、 文 本 生 成 。 
 O p e n A I 发 布 的 C h a t G P T 模 型 系 列 G P T 3 . 5 t u r b o 与 C h a t G P T 产 品 中 使 用 的 模 型 相 同 。 
 但 是 它 的 价 格 为 每 1 k t o k e n s 0 . 0 0 2 美 元 ， 比 O p e n A I 现 有 的 G P T 3 模 型 便 宜 1 0 倍 。 
 即 使 对 于 许 多 非 聊 天 用 例 ， 它 也 是 O p e n A I 的 最 佳 模 型 — — 如 果 你 之 前 就 用 了 t e x t d a v i n c i 0 0 3 ， 那 么 迁 移 到 g p t 3 . 5 t u r b o 时 只 需 要 对 他 们 的 提 示 进 行 少 量 调 整 。 
 O p e n A I 在 本 次 开 放 中 额 外 增 加 或 更 新 了 如 下 模 型 ： g p t 3 . 5 t u r b o ： 功 能 最 强 大 的 G P T 3 . 5 模 型 并 针 对 聊 天 进 行 了 优 化 ， 成 本 仅 为 t e x t d a v i n c i 0 0 3 的 1 / 1 0 。 
 将 使 用 我 们 最 新 的 模 型 迭 代 进 行 更 新 。 
 g p t 3 . 5 t u r b o 0 3 0 1 ： 2 0 2 3 年 3 月 1 日 的 g p t 3 . 5 t u r b o 快 照 。 
 与 g p t 3 . 5 t u r b o 不 同 ， 此 模 型 不 会 收 到 更 新 ， 并 且 仅 在 2 0 2 3 年 6 月 1 日 结 束 的 三 个 月 内 提 供 支 持 。 
 t e x t d a v i n c i 0 0 3 ： 此 前 G P T 3 期 间 就 有 的 D a v i n c i 模 型 ， 这 次 直 接 升 级 到 了 G P T 3 . 5 ， 与 G P T 3 阶 段 一 样 ， 仍 然 是 最 大 请 求 4 0 0 0 t o k e n s ， 同 样 训 练 数 据 u p t o 2 0 2 1 年 6 月 ， 能 做 几 乎 所 有 N L P 任 务 。 
 t e x t d a v i n c i 0 0 2 ： 与 t e x t d a v i n c i 0 0 3 类 似 情 况 ， 这 次 直 接 升 级 到 了 G P T 3 . 5 ， 专 门 为 了 代 码 生 成 任 务 优 化 的 模 型 。 
 与 G P T 3 阶 段 一 样 ， 仍 然 是 最 大 请 求 4 0 0 0 t o k e n s ； 训 练 数 据 也 没 有 变 ， 依 然 是 u p t o 2 0 2 1 年 6 月 。 
 而 以 下 模 型 不 再 由 G P T 3 提 供 支 持 ： t e x t d a v i n c i 0 0 3 ： 此 前 在 G P T 3 接 口 中 存 在 ， 本 次 更 新 后 由 G P T 3 . 5 支 持 提 供 了 ， 见 上 一 段 。 
 目 前 已 经 有 基 于 不 少 C h a t A P I 的 应 用 在 网 上 开 始 出 现 ， 比 如 下 面 这 个 ： 支 持 e p u b 的 双 语 阅 读 器 （ 开 源 ） ： h t t p s : / / g i t h u b . c o m / y i h o n g 0 6 1 8 / b i l i n g u a l _ b o o k _ m a k e r 第 1 9 节 · 其 他 一 些 近 期 值 得 关 注 的 模 型 1 9 . 1 、 L L a M A ： M e t a 对 C h a t G P T 的 回 应 2 0 2 3 年 2 月 2 5 日 M e t a A I 在 其 官 网 公 开 发 布 了 L L a M A （ L a r g e L a n g u a g e M o d e l M e t a A I ） 大 型 语 言 模 型 ， 包 括 7 0 亿 、 1 3 0 亿 、 3 3 0 亿 、 6 5 0 亿 4 种 参 数 规 模 ， 旨 在 推 动 L L M 领 域 的 小 型 化 、 平 民 化 研 究 。 
 在 其 论 文 《 L L a M A : O p e n a n d E f f i c i e n t F o u n d a t i o n L a n g u a g e M o d e l s 》 中 声 称 用 不 到 G P T 3 的 1 / 1 0 参 数 规 模 就 超 越 其 表 现 。 
 下 面 是 参 数 规 模 对 比 ： M o d e l N a m e \ \ ( n _ \ \ ) \ \ ( n _ \ \ ) \ \ ( d _ \ \ ) \ \ ( n _ \ \ ) B a t c h S i z e L e a r n i n g R a t e L L a M A 7 B 7 B 3 2 4 0 9 6 3 2 4 M 3 . 0 E 4 G P T 3 6 . 7 B 6 . 7 B 3 2 4 0 9 6 3 2 2 M 1 . 2 E 4 L L a M A 1 3 B 1 3 B 4 0 5 1 2 0 4 0 4 M 3 . 0 E 4 G P T 3 1 3 B 1 3 B 4 0 5 1 4 0 4 0 2 M 1 . 0 E 4 L L a M A 3 3 B 3 3 B 4 0 6 6 5 6 5 2 4 M 1 . 5 E 4 L L a M A 6 5 B 6 5 B 8 0 8 1 9 2 6 4 4 M 1 . 5 E 4 G P T 3 1 7 5 B 1 7 5 . 0 B 9 6 1 2 2 8 8 9 6 3 . 2 M 0 . 6 E 4 与 G P T 3 模 型 对 比 可 以 看 出 ， L L a M A 的 四 个 版 本 中 ： L L a M A 7 B 对 应 的 是 G P T 3 6 . 7 B 版 本 ， 都 是 3 2 层 、 3 2 个 多 头 注 意 力 、 4 0 9 6 宽 度 ， L R 3 . 0 E 4 要 高 于 G P T 的 1 . 2 E 4 ， b a t c h 4 M 更 大 。 
 L L a M A 1 3 B 对 应 的 是 G P T 3 1 3 B 版 本 ， 都 是 4 0 层 、 4 0 个 多 头 注 意 力 ， 模 型 宽 度 5 1 2 0 、 5 1 4 0 差 不 多 ， L R 3 . 0 E 4 也 高 于 G P T 的 1 . 0 E 4 ， b a t c h 4 M 更 大 。 
 L L a M A 3 3 B 、 L L a M A 6 5 B 与 G P T 3 就 没 有 对 应 了 ， 都 是 仅 次 于 G P T 3 最 大 的 1 7 5 B 版 本 。 
 M e t a A I 也 是 为 了 证 明 ， 更 小 的 模 型 也 能 达 到 甚 至 超 越 G P T 3 暴 力 大 模 型 ， 这 也 是 推 动 模 型 小 型 化 的 一 个 动 力 。 
 跟 G P T 系 列 一 样 ， L L a M A 也 是 采 用 T r a n s f o r m e r D e c o d e r 的 自 回 归 语 言 模 型 架 构 ， 但 是 做 了 一 些 小 改 进 （ 可 以 说 并 没 有 太 多 创 新 ） ， 此 前 麦 克 船 长 已 发 布 过 一 篇 快 速 解 读 L L a M A 的 文 章 《 M e t a 推 出 开 源 L L a M A ， 用 1 / 1 0 参 数 规 模 打 败 G P T 3 ， 群 「 模 」 乱 舞 的 2 0 2 3 拉 开 序 幕 》 ， 这 里 说 下 其 模 型 架 构 的 小 改 进 有 什 么 ： 从 G P T 3 得 到 启 发 的 P r e n o r m a l i z a t i o n ： 为 了 增 强 训 练 的 稳 定 性 ， 将 只 在 输 出 层 的 n o r m a l i z a t i o n 改 成 了 T r a n s f o r m e r 里 面 每 一 层 的 输 入 都 进 行 n o r m a l i z e ， 具 体 用 的 是 Z h a n g a n d S e n n r i c h ( 2 0 1 9 ) 提 到 的 R M S N o r m 。 
 从 P a L M 得 到 启 发 的 S w i G L U 激 活 函 数 ： 用 S h a z e e r ( 2 0 2 0 ) 提 到 的 S w i G L U 激 活 函 数 替 换 了 大 家 熟 悉 的 R e L U 激 活 函 数 。 
 从 G P T N e o 得 到 启 发 的 R o P E ： 在 T r a n s f o r m e r 位 置 编 码 部 分 ， 没 有 用 绝 对 位 置 编 码 （ A b s o u t e P o s i t i o n a l E m b e d d i n g s ） ， 而 是 用 的 S u e t a l . ( 2 0 2 1 ) 提 到 的 R o P E （ R o t a r y P o s i t i o n a l E m b e d d i n g s ） 。 
 可 以 说 模 型 的 改 进 并 没 有 亮 点 。 
 再 看 下 L L a M A 用 到 了 如 下 这 些 训 练 数 据 集 ， 并 给 出 了 相 应 的 占 比 ： C C N e t ： 6 7 % . C 4 ： 1 5 % ， N L P 领 域 的 人 也 基 本 知 道 了 ， 全 称 是 C o l o s s a l C o m m o n C r a w l C o r p u s ， 最 早 大 家 了 解 到 它 基 本 是 通 过 G o o g l e T 5 模 型 的 那 篇 论 文 《 E x p l o r i n g t h e L i m i t s o f T r a n s f e r L e a r n i n g w i t h a U n i f i e d T e x t t o T e x t T r a n s f o r m e r 》 。 
 作 为 对 比 ， G P T 3 中 的 6 0 % 数 据 来 自 C o m m o n C r a w l ， 不 过 G P T 3 对 其 C o m m o n C r a w l 的 数 据 以 及 此 前 O p e n A I 在 G P T 2 用 的 W e b T e x t 作 为 训 练 数 据 参 照 对 C o m m o n C r a w l 数 据 进 行 了 正 类 、 负 类 的 分 类 清 理 ， 不 过 还 不 是 C 4 。 
 G i t H u b ： 4 . 5 % ， 开 源 代 码 仓 库 平 台 ， 目 前 已 经 是 M i c r o s o f t 自 己 的 了 。 
 W i k i p e d i a ： 4 . 5 % ， 之 前 G P T 3 就 用 了 E n g l i s h W i k i p e d i a 。 
 B o o k s ： 4 . 5 % ， 作 为 对 比 G P T 3 的 数 据 源 中 1 6 % 来 自 书 籍 。 
 A r X i v ： 2 . 5 % ， 是 学 界 最 熟 悉 的 开 放 电 子 学 术 论 文 存 档 库 ， 由 康 奈 尔 大 学 于 1 9 9 1 年 成 立 。 
 S t a c k E x c h a n g e ： 2 % ， 类 似 于 S t a c k O v e r f l o w 的 、 针 对 程 序 员 群 体 的 在 线 技 术 问 答 社 区 。 
 起 初 的 邀 请 制 被 后 来 有 人 发 布 到 G i t H u b 和 H u g g i n g F a c e 给 破 坏 了 ， 不 过 此 前 L L a M A 已 经 说 了 开 源 ， 所 以 这 也 只 是 大 家 帮 助 M e t a 推 进 下 速 度 吧 。 
 但 是 目 前 L L a M A 缺 少 R L H F 的 加 持 ， 同 时 从 目 前 各 开 发 者 使 用 反 馈 来 讲 举 例 G P T 3 有 差 距 。 
 无 论 如 何 还 是 感 谢 M e t a 为 A I 开 源 做 出 贡 献 ， 期 待 后 面 在 开 源 社 区 的 努 力 下 模 型 变 得 更 加 鲁 棒 和 S O T A 。 
 1 9 . 2 、 其 他 一 些 近 期 值 得 关 注 的 、 创 新 性 L L M C l a u d e ： 由 O p e n A I 的 离 职 员 工 组 成 的 A n t h r o p i c 人 工 智 能 公 司 开 发 ， 暂 未 公 开 。 
 与 O p e n A I 提 出 的 R L H F 针 锋 相 对 地 ， 在 2 0 2 2 年 1 2 月 于 论 文 《 C o n s t i t u t i o n a l A I : H a r m l e s s n e s s f r o m A I F e e d b a c k 》 提 出 基 于 A I 反 馈 的 强 化 学 习 （ R e i n f o r c e m e n t L e a r n i n g w i t h A r t i f i c i a l I n t e l l i g e n c e F e e d b a c k ， R L A I F ） ， 同 时 提 出 C o n s t i t u t i o n a l A I 概 念 ， 并 基 于 此 开 发 了 C l a u d e ， 一 个 与 C h a t G P T 类 似 但 采 用 了 R L A I F 的 L L M 对 话 产 品 。 
 C h a t R W K V ： 一 个 中 国 团 队 开 发 的 、 完 全 基 于 R N N 架 构 的 、 开 源 对 话 系 统 ， 目 标 是 最 终 可 以 在 个 人 设 备 上 运 行 。 
 第 五 章 · 未 来 技 术 趋 势 的 关 注 重 点 及 一 些 推 荐 参 考 第 2 0 节 · 未 来 技 术 趋 势 的 关 注 重 点 对 齐 （ A l i g n m e n t ） 与 M o d e r a t i o n 模 型 小 型 化 技 术 资 产 私 有 与 架 构 分 层 ： 知 识 是 如 何 存 储 、 如 何 修 改 P r o m p t E n g i n e e r i n g 未 来 衡 量 L L M 也 需 要 提 出 新 的 b e n c h m a r k ， 既 有 的 这 些 测 试 打 榜 并 不 满 足 需 求 。 
 G P T 在 f e w s h o t l e a r n i n g 时 到 底 是 现 学 的 ， 还 是 找 到 原 来 学 过 的 相 似 的 东 西 找 出 来 。 
 如 果 是 后 者 ， 那 真 的 是 在 拼 训 练 数 据 大 小 了 。 
 但 是 对 比 人 类 ， 我 们 应 该 要 做 到 前 者 才 对 。 
 第 2 1 节 · 一 些 推 荐 2 1 . 1 、 关 键 论 文 2 0 1 7 . 0 6 《 A t t e n t i o n I s A l l Y o u N e e d 》 来 自 G o o g l e ， 提 出 T r a n s f o r m e r 。 
 2 0 1 8 . 0 2 《 D e e p c o n t e x t u a l i z e d w o r d r e p r e s e n t a t i o n s 》 来 自 A I 2 ， 提 出 E L M o 。 
 2 0 1 8 . 0 6 I m p r o v i n g L a n g u a g e U n d e r s t a n d i n g b y G e n e r a t i v e P r e T r a i n i n g 来 自 O p e n A I ， 提 出 G P T 1 2 0 1 8 . 1 0 《 B E R T : P r e t r a i n i n g o f D e e p B i d i r e c t i o n a l T r a n s f o r m e r s f o r L a n g u a g e U n d e r s t a n d i n g 》 来 自 G o o g l e ， 提 出 B E R T 。 
 2 0 1 9 . 0 2 《 L a n g u a g e M o d e l s a r e U n s u p e r v i s e d M u l t i t a s k L e a r n e r s 》 来 自 O p e n A I ， 提 出 G P T 2 2 0 1 9 . 1 0 《 E x p l o r i n g t h e L i m i t s o f T r a n s f e r L e a r n i n g w i t h a U n i f i e d T e x t t o T e x t T r a n s f o r m e r 》 来 自 G o o g l e ， 提 出 T 5 模 型 。 
 2 0 2 0 . 0 1 《 S c a l i n g L a w s f o r N e u r a l L a n g u a g e M o d e l s 》 来 自 O p e n A I ， 提 出 S c a l i n g L a w s 。 
 2 0 2 0 . 0 1 《 E x p l o i t i n g C l o z e Q u e s t i o n s f o r F e w S h o t T e x t C l a s s i f i c a t i o n a n d N a t u r a l L a n g u a g e I n f e r e n c e 》 来 自 慕 尼 黑 大 学 ， 提 出 P E T 。 
 2 0 2 0 . 0 5 《 L a n g u a g e M o d e l s a r e F e w S h o t L e a r n e r s 》 来 自 O p e n A I ， 提 出 G P T 3 。 
 2 0 2 1 . 0 4 《 T h e P o w e r o f S c a l e f o r P a r a m e t e r E f f i c i e n t P r o m p t T u n i n g 》 来 自 G o o g l e ， 提 出 P r o m p t T u n i n g 。 
 2 0 2 2 . 0 1 《 C h a i n o f T h o u g h t P r o m p t i n g E l i c i t s R e a s o n i n g i n L a r g e L a n g u a g e M o d e l s 》 来 自 G o o g l e ， 提 出 C o T 。 
 2 0 2 2 . 0 3 《 T r a i n i n g l a n g u a g e m o d e l s t o f o l l o w i n s t r u c t i o n s w i t h h u m a n f e e d b a c k 》 来 自 O p e n A I ， 提 出 I n s t r u c t G P T 。 
 2 0 2 2 . 0 5 《 L a r g e L a n g u a g e M o d e l s a r e Z e r o S h o t R e a s o n e r s 》 来 自 东 京 大 学 和 G o o g l e ， 提 出 著 名 提 示 语 「 L e t ’ s t h i n k s t e p b y s t e p 」 。 
 2 0 2 2 . 1 2 《 C o n s t i t u t i o n a l A I : H a r m l e s s n e s s f r o m A I F e e d b a c k 》 来 自 A n t h r o p i c ， 提 出 C o n s t i t u t i o n a l A I 。 
 2 0 2 3 . 0 2 《 L L a M A : O p e n a n d E f f i c i e n t F o u n d a t i o n L a n g u a g e M o d e l s 》 来 自 M e t a ， 提 出 L L a M A 。 
 2 1 . 2 、 值 得 关 注 的 重 要 机 构 O p e n A I ： 2 0 1 8 年 推 出 G P T 1 ， 2 0 1 9 年 推 出 G P T 2 ， 2 0 2 0 年 推 出 G P T 3 ， 2 0 2 1 年 推 出 C o d e x （ 用 户 侧 产 品 是 G i t H u b C o P i l o t ） ， 2 0 2 2 年 初 推 出 I n s t r u c t G P T ， 2 0 2 2 年 底 推 出 C h a t G P T 用 户 产 品 ， 2 0 2 3 年 3 月 开 放 C h a t G P T A P I 。 
 M i c r o s o f t ： 目 前 已 成 为 O p e n A I 背 后 的 大 金 主 ， 对 其 各 模 型 都 有 开 放 访 问 权 限 并 向 M i c r o s o f t 既 有 产 品 线 整 合 。 
 尽 管 如 此 ， M i c r o s o f t 和 N V i d i a 一 起 联 合 推 出 过 M e g a t r o n T u r i n g 。 
 G o o g l e 和 D e e p M i n d ： 2 0 1 7 年 提 出 T r a n s f o r m e r ， 2 0 1 8 年 推 出 B E R T ， 2 0 1 9 年 提 出 T 5 ， 2 0 2 1 年 推 出 F L A N 、 L a M A D A ， 2 0 2 2 年 推 出 C h i n c h i l l a 、 P a L M 、 S p a r r o w 。 
 F a c e b o o k （ a k a M e t a ） ： 2 0 1 9 年 推 出 R o B E R T a ， 2 0 2 0 年 推 出 B A R T ， 2 0 2 2 年 推 出 O P T 、 B l e n d e r B o t 3 、 G a l a c t i c a 。 
 A l l e n I n s t i t u t e f o r A I （ A I 2 ） ： 其 提 出 了 著 名 的 E L M o 模 型 ； 阿 里 ： 2 0 2 1 年 推 出 1 0 0 0 亿 参 数 的 M 6 ； 华 为 ： 2 0 2 1 年 推 出 2 0 0 0 亿 参 数 的 P a n g u a l p h a ； 百 度 ： 2 0 2 1 年 推 出 2 6 0 0 亿 参 数 的 E r n i e 3 . 0 T i t a n ； S a l e s f o r c e ： 推 出 C o d e T 5 、 C o d e R L ； B i g S c i e n c e R e s e a r c h W o r k s h o p ； 2 0 2 2 年 推 出 开 源 的 B L O O M 。 
 E l e u t h e r A I ： 推 出 G P T n e o x 2 0 B ； C h a r a c t e r . A I ； A n t h r o p i c ： O p e n A I 早 期 员 工 离 职 创 办 ， 其 C l a u d e A I 暂 未 开 放 访 问 。 
 2 1 . 3 、 推 荐 关 注 的 博 客 或 T w i t t e r O p e n A I 公 司 官 网 的 b l o g H u g g i n g F a c e 公 司 官 网 的 b l o g J a y A l a m m a r 的 b l o g ， 写 了 一 系 列 非 常 棒 的 I l l u s t r a t e d M o d e l s 文 章 L e o G a o ， 博 主 是 O p e n A I 的 A l i g n m e n t R e s e a r c h e r @ s a m a ， S a m A l t m a n ， O p e n A I 公 司 联 合 创 始 人 & C E O @ g d b ， G r e g B r o c k m a n ， O p e n A I 公 司 联 合 创 始 人 & 总 裁 @ y l e c u n ， Y a n n L e C u n ， M e t a 首 席 A I 科 学 家 @ k a r p a t h y ， K a r p a t h y ， 特 斯 拉 前 人 工 智 能 总 监 ， 李 飞 飞 在 S t a n f o r d 的 助 教 @ d a n q i _ c h e n ， 康 奈 尔 大 学 计 算 机 科 学 助 理 教 授 @ s e w o n _ _ m i n ， 华 盛 顿 大 学 计 算 机 科 学 与 工 程 P h . D . 学 生 @ Z h o u _ Y u _ A I ， 哥 伦 比 亚 大 学 计 算 机 科 学 助 理 教 授 @ n a b l a _ t h e t a ， L e o G a o ， O p e n A I 公 司 A l i g n m e n t R e s e a r c h e r @ s a n g m i c h a e l x i e ， 斯 坦 福 大 学 P h . D . 学 生 @ A l e c R a d ， A l e c R a d f o r d ， O p e n A I 研 究 员 ， G P T 1 / G P T 2 / G P T 3 的 作 者 之 一 刘 鹏 飞 张 俊 林 M a r k 本 文 转 载 至 阿 里 集 团 内 部 技 术 社 区 A T A 头 条 推 荐 。 
 本 篇 其 他 参 考 各 章 节 内 有 单 独 的 参 考 文 献 列 表 ， 未 在 其 中 标 注 出 的 ， 罗 列 如 下 ： 人 工 智 能 L L M 革 命 前 夜 ： 一 文 读 懂 横 扫 自 然 语 言 处 理 的 T r a n s f o r m e r 模 型 A I 应 用 第 一 次 大 爆 发 来 了 ： 一 文 入 门 C h a t G P T 官 方 A P I 文 档 解 读 M e t a 推 出 开 源 L L a M A ， 用 1 / 1 0 参 数 规 模 打 败 G P T 3 ， 群 ” 模 ” 乱 舞 的 2 0 2 3 拉 开 序 幕 麦 克 船 长 的 O p e n A I 模 型 A P I 官 方 文 档 入 门 解 读 你 可 能 已 经 听 说 G P T 3 ， 但 是 你 也 不 能 不 知 道 B E R T — — 跟 我 一 起 用 B E R T 跑 个 小 用 例 C h a t G P T : O p t i m i z i n g L a n g u a g e M o d e l s f o r D i a l o g u e A l i g n i n g L a n g u a g e M o d e l s t o F o l l o w I n s t r u c t i o n s A l i g n i n g A I s y s t e m s w i t h h u m a n i n t e n t T r a i n i n g l a n g u a g e m o d e l s t o f o l l o w i n s t r u c t i o n s w i t h h u m a n f e e d b a c k 《 A r t i f i c i a l I n t e l l i g e n c e : A M o d e r n A p p r o a c h , 4 t h e d i t i o n 》 C h a t G P T i s n o t a l l y o u n e e d . A S t a t e o f t h e A r t R e v i e w o f l a r g e G e n e r a t i v e A I m o d e l s H o w d o e s i n c o n t e x t l e a r n i n g w o r k ? A f r a m e w o r k f o r u n d e r s t a n d i n g t h e d i f f e r e n c e s f r o m t r a d i t i o n a l s u p e r v i s e d l e a r n i n g , h t t p s : / / m p . w e i x i n . q q . c o m / s / h 9 c 3 w 1 a f 2 u B Y L l V b w 7 j 8 2 A P r o x i m a l P o l i c y O p t i m i z a t i o n M o d e l i n d e x f o r r e s e a r c h e r s L a m b e r t , e t a l . , “ I l l u s t r a t i n g R e i n f o r c e m e n t L e a r n i n g f r o m H u m a n F e e d b a c k ( R L H F ) ” , H u g g i n g F a c e B l o g , 2 0 2 2 . L a n g u a g e M o d e l s a r e F e w S h o t L e a r n e r s 《 思 考 ， 快 与 慢 》 丹 尼 尔 · 卡 尼 曼 h t t p s : / / w w w . l e s s w r o n g . c o m / p o s t s / m i d X m M b 2 X g 3 7 F 2 K g n / n e w s c a l i n g l a w s f o r l a r g e l a n g u a g e m o d e l s h t t p s : / / a r x i v . o r g / a b s / 1 9 1 0 . 0 1 1 0 8 h t t p s : / / w w w . m i c r o s o f t . c o m / e n u s / r e s e a r c h / b l o g / t u r i n g n l g a 1 7 b i l l i o n p a r a m e t e r l a n g u a g e m o d e l b y m i c r o s o f t / h t t p s : / / b m k . s h / 2 0 2 0 / 0 5 / 2 9 / G P T 3 A B r i e f S u m m a r y / h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 9 3 9 6 2 4 0 0 h t t p s : / / x v 4 4 5 8 6 . g i t h u b . i o / 2 0 2 3 / 0 1 / 0 9 / z e r o t o c h a t g p t / h t t p s : / / w w w . l e s s w r o n g . c o m / p o s t s / m i d X m M b 2 X g 3 7 F 2 K g n / n e w s c a l i n g l a w s f o r l a r g e l a n g u a g e m o d e l s h t t p s : / / a r x i v . o r g / a b s / 2 2 0 3 . 1 5 5 5 6 h t t p s : / / s p i n n i n g u p . o p e n a i . c o m / e n / l a t e s t / a l g o r i t h m s / p p o . h t m l h t t p s : / / m p . w e i x i n . q q . c o m / s / h 9 c 3 w 1 a f 2 u B Y L l V b w 7 j 8 2 A h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 5 2 7 4 2 3 1 9 0 h t t p s : / / a r x i v . o r g / a b s / 1 7 0 6 . 0 3 7 6 2 h t t p s : / / a r x i v . o r g / a b s / 2 1 1 2 . 0 0 8 6 h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 4 9 3 5 3 3 5 8 9 C O S 5 9 7 G ( F a l l 2 0 2 2 ) : U n d e r s t a n d i n g L a r g e L a n g u a g e M o d e l s h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 3 9 5 1 1 5 7 7 9 h t t p : / / p r e t r a i n . n l p e d i a . a i h t t p s : / / l i f e a r c h i t e c t . a i / w h a t s i n m y a i / h t t p s : / / z h u a n l a n . z h i h u . c o m / p / 6 1 1 4 0 3 5 5 6 船 长 还 不 会 游 泳 a t 微 信 公 众 号 / 微 博 @ 麦 克 船 长 a t 即 刻 / 知 乎 / 小 宇 宙 / 掘 金 / 小 红 书 / 微 信 读 书 @ 船 长 模 玩 a t B i l i b i l i C o p y r i g h t © 2 0 1 1 2 0 2 3 , M i k e C a p t a i n . c o m