GPT-1

生成型预训练变换模型 1
Generative Pre-trained Transformer 1（GPT-1）

原作者	OpenAI
首次发布	2018年2月，​7年前​（2018-02）
当前版本	110M（2018年6月11日）[1]
源代码库	github.com/openai/finetune-transformer-lm
繼任	GPT-2
类型	大型语言模型 基于转换器的生成式预训练模型
许可协议	MIT[2]
网站	openai.com/blog/gpt-2-1-5b-release/

机器学习与数据挖掘
范式 监督学习 無監督學習 線上機器學習 元学习（英语：Meta-learning (computer science)） 半监督学习 自监督学习 强化学习 基于规则的机器学习（英语：Rule-based machine learning） 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计（英语：density estimation） 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测（英语：Structured prediction） 特征工程 表征学习 排序学习（英语：Learning to rank） 语法归纳（英语：Grammar induction） 本体学习（英语：Ontology learning） 多模态学习
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning） 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm） 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维 因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction） 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor） 孤立森林（英语：Isolation forest）
人工神经网络 自编码器 認知計算 深度学习 DeepDream（英语：DeepDream） 多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network） 储备池计算（英语：reservoir computing） 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transformer（英语：Vision transformer） 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor） 电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习 主动学习（英语：Active learning (machine learning)） 众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断 学习曲线（英语：Learning curve (machine learning)）
数学基础 内核机器（英语：Kernel machines） 偏差–方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化 奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目 人工智能术语（英语：Glossary of artificial intelligence） 机器学习研究数据集列表（英语：List of datasets for machine-learning research） 机器学习概要（英语：Outline of machine learning）
查 论 编

GPT-1，全称基于转换器的生成式预训练模型1（Generative Pre-trained Transformer 1）是继2017年Google推出Transformer架构后，OpenAI推出的第一个大型语言模型^[3]。2018年，OpenAI发布了一篇名为《通过生成式预训练提高语言理解能力》（Improving Language Understanding by Generative Pre-Training）的论文，其中介绍了该初期模型以及基于转换器的生成式预训练模型的总体概念^[4] 。

在此之前，表现最佳的神经网络自然语言处理模型主要采用依靠大量手动标记数据的监督学习。这种依赖于监督学习的方法限制了它们在未经精细标注的数据集上的应用，并使训练超大模型相当耗时且开支非常昂贵^[5][6]；许多语言（例如斯瓦希里语或海地克里奥尔语）由于缺乏能创建起语料库的文本资料，导致模型难以对其进行翻译和解释^[6]。相比之下，GPT采用了“半监督”方法，包含两个阶段：无监督的生成式“预训练”阶段，使用目标函数来设置初始参数；以及有监督的判别式“微调（英语：fine-tuning (machine learning)）”阶段，将这些参数在目标任务上进行微调^[5]。

与之前基于注意力增强的循环神经网络（RNN）技术相比，GPT采用的Transformer架构为模型提供了比循环机制更加结构化的记忆；使其拥有“跨多样任务的稳健传输性能”^[5]。

1. ^ https://huggingface.co/transformers/pretrained_models.html.
2. ^ gpt-2. GitHub. [2023-03-13]. （原始内容存档于2023-03-11）. 
3. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Lukasz; Polosukhin, Illia. Attention Is All You Need. 2017-06-12. arXiv:1706.03762  [cs.CL]. 
4. ^ Archived copy. [2023-04-29]. （原始内容存档于2023-04-15）. 
5. ^ ^{5.0 5.1 5.2} 引用错误：没有为名为gpt1paper的参考文献提供内容
6. ^ ^{6.0 6.1} 引用错误：没有为名为tsvetkov的参考文献提供内容