GPT-2

Generativ aldınnan tayarlanǵan transformator 2 yaǵnıy GPT-2 (ingl. Generative Pre-Trained Transformer 2, GPT-2) − OpenAI tárepinen jaratılǵan úlken til modeli hám GPT modelleriniń tiykarǵı ekinshi seriyası. GPT-2 segiz million veb-betten ibarat maǵlıwmatlar jıynaǵında aldınnan oqıtıldı.^[1] Onıń 2019 jıl fevralda bir bólimi shıǵarıldı, sonnan keyin 1,5 milliard parametrli modeli 2019 jıl 5-noyabrde tolıq shıǵarıldı.^{[2][3][4][5][6]}

GPT-2 bul GPT-1 parametriniń “tikkeley keńeyiwi” retinde jaratıldı^[7] onıń parametrleri de, oqıw maǵlıwmatlar jıynaǵınıń ólshemi de on ese artadı.^[6] Bul ulıwma maqsetli oqıwshı hám onıń hár túrli tapsırmalardı orınlaw qábileti onıń keyingi elementi izbe-izlik penen anıq boljawdıń ulıwma qábiletiniń aqıbeti boldı,^[1] bul oǵan tekstlerdi awdarıwǵa, tekstten tema boyınsha sorawlarǵa juwap beriwge, úzindilerdi (bóleklerdi) juwmaqlawǵa imkaniyat beredi. Úlkenirek tekstten,^[8] hám geyde adamlardan ózgeshelenbeytuǵın dárejede tekst shıǵısın jaratıw, biraq uzaq bóleklerdi jaratıwda ol qaytalanatuǵın yamasa mánissiz bolıwı múmkin.^[9] Onıń ornın endi ashıq derek bolmaytuǵın GPT-3 hám GPT-4 modelleri iyeledi.

GPT-2 óziniń burınǵı GPT-1 hám onıń miyrasxorları GPT-3 hám GPT-4 sıyaqlı tereń neyron tarmaqtı ámelge asıratuǵın generativ aldınnan tayarlanǵan transformator arxitekturasına iye, atap aytqanda eski qaytalanıwdıń ornına itibar beretuǵın transformator modeli,^[7] konvolyuciyaǵa tiykarlanǵan arxitekturalar.^[10][11] Itibar beriw mexanizmleri modelge eń aktual dep boljaǵan kiris tekstiniń segmentlerine tańlamalı túrde itibar qaratıwǵa imkaniyat beredi. Bul model parallelizaciyanı ádewir arttırıwǵa imkaniyat beredi hám RNN/CNN/LSTM tiykarındaǵı modeller ushın jetik kórsetkishlerden joqarı.^[7]

1. ↑ ^{1,0 1,1} Radford, Alec (14 February 2019). Language models are unsupervised multitask learners. https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf. Retrieved 19 December 2020.  Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "gpt2paper" defined multiple times with different content
2. ↑ Vincent. „OpenAI has published the text-generating AI it said was too dangerous to share“. The Verge (7-noyabr 2019-jıl). 11-iyun 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl.
3. ↑ „GPT-2: 1.5B Release“ (en). OpenAI (5-noyabr 2019-jıl). 14-noyabr 2019-jılda túp nusqadan arxivlendi. Qaraldı: 14-noyabr 2019-jıl.
4. ↑ Piper. „A poetry-writing AI has just been unveiled. It's ... pretty good.“. Vox (15-may 2019-jıl). 7-noyabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl.
5. ↑ Johnson. „OpenAI releases curtailed version of GPT-2 language model“. VentureBeat (20-avgust 2019-jıl). 18-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl.
6. ↑ ^{6,0 6,1} „Better Language Models and Their Implications“. OpenAI (14-fevral 2019-jıl). 19-dekabr 2020-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "openai" defined multiple times with different content
7. ↑ ^{7,0 7,1 7,2} Radford. „Improving Language Understanding by Generative Pre-Training“ 12. OpenAI (11-iyun 2018-jıl). 26-yanvar 2021-jılda túp nusqadan arxivlendi. Qaraldı: 23-yanvar 2021-jıl. Silteme kórsetiwdegi qátelik: Invalid <ref> tag; name "gpt1paper" defined multiple times with different content
8. ↑ Silteme kórsetiwdegi qátelik: Жарамсыз <ref> тегі; no text was provided for refs named badpaper
9. ↑ Hern. „New AI fake text generator may be too dangerous to release, say creators“. The Guardian (14-fevral 2019-jıl). 14-fevral 2019-jılda túp nusqadan arxivlendi. Qaraldı: 19-dekabr 2020-jıl.
10. ↑ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob (2017). Attention is All you Need. Curran Associates, Inc.. https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf. 
11. ↑ Olah, Chris; Carter, Shan (8 September 2016). Attention and Augmented Recurrent Neural Networks. https://distill.pub/2016/augmented-rnns/. Retrieved 22 January 2021.