GPT-3

生成型预训练变换模型 3
Generative Pre-trained Transformer 3（GPT-3）
原作者	OpenAI
首次发布	2020年6月11日，4年前 (beta)
当前版本	2023年2月13日，2年前
源代码库	https://github.com/openai/gpt-3
前任	GPT-2
繼任	GPT-4
类型	大型语言模型; 基于转换器的生成式预训练模型; 基礎模型;
许可协议	专有
网站	openai.com/blog/openai-api

生成型预训练變換模型 3 （英語：Generative Pre-trained Transformer 3，簡稱 GPT-3）是一個自迴歸語言模型，目的是為了使用深度學習生成人類可以理解的自然語言^[1]。GPT-3是由在舊金山的人工智能公司OpenAI訓練與開發，模型設計基於谷歌開發的 Transformer 語言模型。GPT-3的神經網路包含1750億個參數，需要700GB来存储，為有史以来參數最多的神經網路模型^[2]。该模型在许多任务上展示了强大的零样本和少样本的能力^[3]。

OpenAI於2020年5月發表GPT-3的論文，在次月為少量公司與開發人團釋出應用程式介面的測試版。微軟在2020年9月22日宣布取得了GPT-3的獨家授權^[4]。

GPT-3被認為可寫出人類無法與電腦區別的文章與字串，GPT-3原始論文的作者们警告了GPT-3有可能對於社會的負面影響，比如利用製造假新聞的可能性。英國《衛報》即使用GPT-3生成了一個關於人工智慧对人类无威胁的評論專欄^[5]。李開復稱卷積神經網路與GPT-3為人工智能重要的改善，两者皆是模型加海量数据的成果^[6]。

^ Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini. Language models are few-shot learners. Proceedings of the 34th International Conference on Neural Information Processing Systems. NIPS '20 (Red Hook, NY, USA: Curran Associates Inc.). 2020-12-06 [2025-01-14]. ISBN 978-1-7138-2954-6. doi:10.5555/3495724.3495883. （原始内容存档于2025-01-11）.
^ Ray, Tiernan. OpenAI’s gigantic GPT-3 hints at the limits of language models for AI. ZDNet. 2020-06-01 [2020-07-31]. （原始内容存档于2020-06-01）.
^ Radford, Alec; Narasimhan, Karthik. Improving Language Understanding by Generative Pre-Training. 2018 [2025-01-14]. （原始内容存档于2025-01-07）.
^ Hao, Karen. OpenAI is giving Microsoft exclusive access to its GPT-3 language model. MIT Technology Review. 2020-09-23 [2020-09-25]. （原始内容存档于2021-02-05）（英语）. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases.
^ GPT-3. A robot wrote this entire article. Are you scared yet, human?. The Guardian. 2020-09-08 [2020-09-15]. ISSN 0261-3077. （原始内容存档于2021-02-04）（英国英语）.
^ Lee, Kai-fu. 李开复对话MIT彭特兰：AI不是单打独斗，应避免AI冷战. 2020-10-09 [2020-10-17]. （原始内容存档于2024-10-04）.

[arXiv_Brown_20200722-1] Brown, Tom B.; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared; Dhariwal, Prafulla; Neelakantan, Arvind; Shyam, Pranav; Sastry, Girish; Askell, Amanda; Agarwal, Sandhini. Language models are few-shot learners. Proceedings of the 34th International Conference on Neural Information Processing Systems. NIPS '20 (Red Hook, NY, USA: Curran Associates Inc.). 2020-12-06 [2025-01-14]. ISBN 978-1-7138-2954-6. doi:10.5555/3495724.3495883. （原始内容存档于2025-01-11）.

[ZDNet_Tiernan_20200601-2] Ray, Tiernan. OpenAI’s gigantic GPT-3 hints at the limits of language models for AI. ZDNet. 2020-06-01 [2020-07-31]. （原始内容存档于2020-06-01）.

[OpenAI_Radford_20200611-3] Radford, Alec; Narasimhan, Karthik. Improving Language Understanding by Generative Pre-Training. 2018 [2025-01-14]. （原始内容存档于2025-01-07）.

[4] Hao, Karen. OpenAI is giving Microsoft exclusive access to its GPT-3 language model. MIT Technology Review. 2020-09-23 [2020-09-25]. （原始内容存档于2021-02-05）（英语）. The companies say OpenAI will continue to offer its public-facing API, which allows chosen users to send text to GPT-3 or OpenAI’s other models and receive its output. Only Microsoft, however, will have access to GPT-3’s underlying code, allowing it to embed, repurpose, and modify the model as it pleases.

[5] GPT-3. A robot wrote this entire article. Are you scared yet, human?. The Guardian. 2020-09-08 [2020-09-15]. ISSN 0261-3077. （原始内容存档于2021-02-04）（英国英语）.

[6] Lee, Kai-fu. 李开复对话MIT彭特兰：AI不是单打独斗，应避免AI冷战. 2020-10-09 [2020-10-17]. （原始内容存档于2024-10-04）.

[1]

[2]

[3]

[4]

[5]

[6]

GPT-3

From Wikipedia, the free encyclopedia · View on Wikipedia