GPT-3

GPT-3

Description de l'image שיחה עם GPT-3 על ויקיפדיה.png.
Informations
Développé par OpenAIVoir et modifier les données sur Wikidata
Première version Voir et modifier les données sur Wikidata
Dépôt github.com/openai/gpt-3Voir et modifier les données sur Wikidata
Type Grand modèle de langage
Modèle autorégressif
Modèle transformeur
Modèle génératif
Transformateur génératif pré-forméVoir et modifier les données sur Wikidata
Licence Licence propriétaireVoir et modifier les données sur Wikidata
Site web arxiv.org/abs/2005.14165Voir et modifier les données sur Wikidata

Chronologie des versions

Architecture du modèle GPT

GPT-3 (sigle de Generative Pre-trained Transformer 3) est un modèle de langage, de type transformeur génératif pré-entraîné, développé par la société OpenAI, annoncé le 28 mai 2020, ouvert aux utilisateurs via l'API d'OpenAI en juillet 2020.

Au moment de son annonce, GPT-3 est le plus gros modèle de langage jamais entraîné avec 175 milliards de paramètres. GPT-2, sorti en 2019, n'avait que 1,5 milliard de paramètres[1].

OpenAI ouvre une version bêta en juillet 2020 avec l'intention d'en faire un produit commercial[1].

En mars 2022, OpenAI a sorti de nouvelles versions de GPT-3 (« text-davinci-002 » et « code-davinci-002 »)[2]. En novembre 2022, OpenAI a commencé à faire référence à ces modèles comme faisant partie de la série « GPT-3.5 », et en a intégré une version ajustée dans ChatGPT[3].

En , OpenAI annonce le lancement de son successeur, GPT-4[4]. GPT-3 et GPT-4 sont à la base de chatGPT, un robot conversationnel commercialisé par OpenAI.

  1. a et b (en) Will Douglas Heaven, « OpenAI’s new language generator GPT-3 is shockingly good—and completely mindless », MIT Technology Review,‎ (lire en ligne).
  2. (en) « New GPT-3 capabilities: Edit & insert », sur OpenAI,
  3. (en) Matthias Bastian, « GPT-3.5: OpenAI's latest GPT-3 model generates better and longer texts », sur the decoder, (consulté le )
  4. (en) James Vincent, « OpenAI announces GPT-4 AI language model », sur theverge.com, (consulté le ).

From Wikipedia, the free encyclopedia · View on Wikipedia

Developed by Nelliwinne