Proč je tolik systémů AI pojmenováno podle Muppetů?
Vnitřní vtip, který hodně říká o vývoji AI
Jedním z největších trendů v oblasti AI v poslední době bylo vytvoření modelů strojového učení, které mohou generovat psané slovo s bezprecedentní plynulostí. Tyto programy mění hry a potenciálně přeplňují schopnost počítačů analyzovat a produkovat jazyk.
Ale něco, co zůstalo do značné míry bez povšimnutí, je sekundární trend - stín pro první - a to je: překvapivý počet těchto nástrojů je pojmenován podle Muppets.
motorola verveones
K dnešnímu dni toto nové plemeno jazykových AI zahrnujeELMo, doBERT, doGrover, doVelký pták, doRosita, doRoBERTa, alespoňdva ERNIEs (tři, pokud zahrneteERNIE 2.0) a aKERMIT. Všichni technologičtí hráči jako Google, Facebook a Allenův institut pro AI jsou zapojeni a šílenství má globální dosah, přičemž čínské vyhledávací giganty Baidu a pekingská univerzita Tsinghua přispívají modely. Konvence pojmenování je tak dobře zavedená, že tyto systémy jsou někdy označovány jako Muppetware. Ale kdo zahájil sjezd a proč?
Jak jste možná uhodli, jednoduchá odpověď zní: je to vnitřní vtip, protože vědci pojmenovali modely AI podle Muppetů, protožejinývědci pojmenovali modely AI podle Muppetů. Jde však o vtip, který zdůrazňuje konkrétní charakteristiku výzkumu AI a ukazuje, jak laboratoře vzdávají poctu a staví na práci druhého.
2018: Dokumenty o jazykových modelech musí zavést zkratky související se sezamovou ulicí
- Miles Brundage (@Miles_Brundage)11. června 2019
2019: Dokumenty o jazykových modelech vyžadují v názvu vtipy ze Sesame Street, všechny přednášky vyžadují alespoň jeden obrázek ze Sesame Street.
2020: ACL / NAACL společně s kongresem Sesame Street, Big Bird dává hlavní slovo.
Tento trend začal modelem ELMo, který vytvořil Allenův institut a který byl poprvé publikován online v říjnu 2017. Jak se často stává v případě výzkumu, který prolomí novou půdu, tým, který stojí za prací, chtěl pro svůj model vymyslet zkratku. Řekl hlavní autor článku, Matt PetersThe Vergepřes e-mail, že brainstormovali nápady na Slack.
Měli jsme seznam písmen použitelných ve zkratce, říká Peters. Jazykový model, kontext, vložení atd. Byl to inženýr jménem Joel Grus, který přišel s ELMo, aby zastupoval vložení z jazykových modelů, říká, a jméno se okamžitě zaseklo.
Můj nejstarší syn byl v té době asi tři a byl to také můj způsob, jak jsem mu mohl věnovat papír.Líbilo se mi to, protože je to trochu rozmarné, ale nezapomenutelné, říká Peters. Můj nejstarší syn byl v té době asi tři a byl to také můj způsob, jak jsem mu mohl věnovat papír.
ELMo by mohl být jednorázový, kdyby to nebylo pro BERT - jazykový model vytvořený týmem AI společnosti Google v roce 2018. Tento model se ukázal jako silný a vlivný a vtlačil řadu nových myšlenek o generování jazyků do hlavního proudu AI.
Samotný BERT oficiálně znamená obousměrné zastoupení kodéru od Transformers, a přestože Google odmítl několik žádostíThe Vergek diskusi o původu jména se obecně předpokládá, že vědci, stejně jako Allenovi, měli na mysli Muppety. Vlastní Googlepříspěvek na bloguna toto téma společnost říká, že BERT staví na nedávné práci v předtréninkové kontextové reprezentaci - včetně ... ELMo.
BERT dosáhl nejmodernějších výsledků u řady testů a byl tak úspěšný, že jej Google nedávno začlenil do svého vyhledávače. Jakmile byl model vydán, otevřela se stavidla Muppetware a brzy po něm následovalo mnoho chytrých algoritmů se sportovními zkratkami brutální síly, včetně ERNIE (Enhanced Representation through Knowledge Integration), KERMIT (Kontextuell Encoder Representations Made by Insertion Transformations) a Big BIRD (Big Bidirectional Insertion Reprezentations for Documents).
Trend však není jen vtip. Jak vysvětluje Oren Etzioni, generální ředitel Allenova institutu, je to také vážný způsob, jak rozpoznat intelektuální dluh ve světě AI. ELMo byl takto pojmenován jako rozmar, ale BERT staví přímo na poznatcích ELMo; Grover využívá BERT atd., Řekl EtzioniThe Vergepřes e-mail. Zdůraznění úvěru, který je způsoben ELMo, je pro nás velmi důležité ... Snuffaluffagus nemůže být pozadu!
Mitchell Stern, doktorand z Berkeley, který pomohl vytvořit KERMIT a Big BIRD, uvedl, že konvence pojmenování byla většinou zábavná, ale měla také aspekt značky.
Pojmenování modelů po Muppetovi je způsob, jak rozpoznat intelektuální dluhVzhledem k tomu, jak rozšířený je tento trend, lidé pracující v této oblasti přirozeně rozpoznají nové příspěvky obsahující aSezame, otevři se- tematické jméno, řekl SternThe Vergeemailem. A i když ne každý jazykový model AI využívající tyto nové technikyjepojmenované po Muppetovi (OpenAI's precested GPT-2 is one exception, though Snuffleupagus, or Snuffy short waspovažovánojako jméno, než bude zamítnuto jako příliš lstivý), je docela jisté, že pokud uvidíte model Muppetware, víte, jaké přístupy používá.
To vše nám zase pomáhá pochopit, jak svět AI závisí na otevřenosti a spolupráci při generování a vylepšování nápadů. AI není disciplína, kde osamělí vědci dřou v noci v laboratoři, pumpují elektřinu přes procesory a kdákají. Je to všudypřítomné přes zářící příkazový řádek. (Zřeknutí se odpovědnosti: toto se jistě stane, ale není to vždy nejproduktivnější přístup.) Pokroky místo toho bývají iterativní a kolaborativní, přičemž skupiny výzkumníků vycházejí z práce a myšlenek toho druhého.
A i když je možné, že se vtip Muppetware brzy opotřebuje, dokud se tak nestane, je to vhodná tradice. Koneckonců, spolupráce a respekt jsou přesně ten druh charakteristik, kteréSezame, otevři sepostavy by byly hrdé.
sdílený kalendář
Aktualizovat St 11. prosince, 12:00 ET: Příběh byl aktualizován, aby si všiml, že OpenAI zvažoval volání GPT-2 Snuffleupagus nebo zkráceně Snuffy, podle šéfa politiky Jacka Clarka.
