大模型基础知识

第一章引言

1.1 语言模型LM

LM是一种对词元序列(token)的概率分布

从语言模型p中以概率$p(x_{1:L})$进行采样：

关键是p的模型。

1.1.1 自回归语言模型(Autoregressive language models)

链式法则：

在自回归语言模型中生成整个序列，我们需要一次生成一个词元(token)，该词元基于之前以生成的词元进行计算获得：

其中T是一个控制我们希望从语言模型中得到多少随机性的温度参数：

∝成正比
T较高时，结果更随机；较低时，模型会倾向于生成概率较高的词元

自回归语言模型允许有效地生成给定提示 $x{1:i}$ 的补全 $x{i+1:L}$。

1.2 大模型相关历史回顾

交叉熵

N-gram模型。在一个n-gram模型中，关于$x{i}$的预测只依赖于最后的 $n-1$ 个字符 $x{i−(n−1):i−1}$ ，而不是整个历史：

$p(xi \mid x{1:i-1}) = p(xi \mid x{i-(n-1):i-1}).$

例如：

3-gram $p(𝖼𝗁𝖾𝖾𝗌𝖾∣𝗍𝗁𝖾,𝗆𝗈𝗎𝗌𝖾,𝖺𝗍𝖾,𝗍𝗁𝖾)=p(𝖼𝗁𝖾𝖾𝗌𝖾∣𝖺𝗍𝖾,𝗍𝗁𝖾)$

这些概率是基于各种n-gram（例如，𝖺𝗍𝖾 𝗍𝗁𝖾 𝗆𝗈𝗎𝗌𝖾和𝖺𝗍𝖾 𝗍𝗁𝖾 𝖼𝗁𝖾𝖾𝗌𝖾）在大量文本中出现的次数计算的，并且适当地平滑以避免过拟合（例如，Kneser-Ney平滑）。

如果n太小，那么模型将无法捕获长距离的依赖关系，下一个词将无法依赖于𝖲𝗍𝖺𝗇𝖿𝗈𝗋𝖽。然而，如果n太大，统计上将无法得到概率的好估计（即使在“大”语料库中，几乎所有合理的长序列都出现0次）.

因此，语言模型被限制在如语音识别和机器翻译等任务中，其中声音信号或源文本提供了足够的信息，只捕获局部依赖关系（而无法捕获长距离依赖关系）并不是一个大问题。

神经语言模型

仍受上下文长度限制，但是更大的n是可行的

RNNs（包括LSTM）依赖整个上下文

Transformer 返回固定上下文长度，更容易训练（GPT3中n=2048）

GPT-3最吸引人的地方是上下文学习。

第二章大模型能力

2.1 语言模型

困惑度（Perplexity）是一个重要的指标，是自然语言处理和语言模型中的一个重要概念，用于衡量语言模型的性能。它可以解释为模型在预测下一个词时的平均不确定性。简单来说，如果一个模型的困惑度较低，那么它在预测下一个词的时候就会更加准确。对于给定的语言模型和一个测试数据集，困惑度被定义为：

其中， $X=x{1},x{2},…,x_{N}$ 是测试集中的词序列， $N$ 是测试集中的总词数。困惑度与语言模型的质量紧密相关。一个优秀的语言模型应能准确预测测试数据中的词序列，因此它的困惑度应较低。相反，如果语言模型经常做出错误的预测，那么它的困惑度将较高。

困惑度可以被理解为每个标记（token）的平均"分支因子（branching factor）"。这里的“分支因子”可以理解为在每个位置，模型认为有多少种可能的词会出现。例如，若困惑度为10，那意味着每次模型在预测下一个词时，平均上会考虑10个词作为可能的选择。

$\text{perplexity}q(x{1:L}) \le \frac{1}{1 - \epsilon} \text{perplexity}p(x{1:L}) \approxeq (1 + \epsilon) \text{perplexity}p(x{1:L})$

第三章模型架构

3.1 概括

prompt

3.2 分词

词元(token)一般在NLP（自然语言处理）中来说，通常指的是一个文本序列中的最小单元，可以是单词、标点符号、数字、符号或其他类型的语言元素。通常，对于NLP任务，文本序列会被分解为一系列的tokens，以便进行分析、理解或处理。在英文中一个"token"可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为token（这其中就包含一些字符串分词的差异性，将在后续内容中讲到）。

为什么说是“隐式的对齐”，这是由于每一个词在模型中，都有一个其确定的词向量。

3.2.1 基于空格的分词

3.2.2 字节对编码BPE

3.2.3 Unigram model (SentencePiece)

它被用来训练T5和Gopher模型。

p(分词)·p(分词) = 似然值

似然值的计算是 unigram 模型中重要的一部分，它用于评估分词结果的质量。较高的似然值表示训练数据与分词结果之间的匹配程度较高，这意味着该分词结果较为准确或合理。

通过算法来剔除对似然值贡献较小的词汇：