Runoja kirjoittava tekoäly on juuri julkistettu. Se on melko hyvä.

Voit kokeilla OpenAI:n kiistanalaista tekoälyä itse.

Javier Zarracina / Vox

Tämä tarina on osa tarinaryhmää nimeltä Tulevaisuus täydellinen

Löytää parhaat tavat tehdä hyvää.





Tänä keväänä Elon-Muskin perustama tekoälytutkimuslaboratorio OpenAI teki loisteen Tekoälyjärjestelmä, joka luo tekstiä . Se voi kirjoittaa vakuuttavia vääriä arvosteluja, väärennettyjä uutisartikkeleita ja jopa runoutta.

Nyt yleisöllä on mahdollisuus kokeilla sitä - ainakin rajoitettu versio siitä. Aluksi yritys oli julkaissut erittäin rajoitetun version järjestelmästä vedoten siihen, että sitä käytettäisiin väärin. Tässä kuussa OpenAI julkaisi tehokkaamman version (joskin silti huomattavasti rajoitettu verrattuna koko asiaan). Sinä pystyt tarkista se itse .

Toimintatapa on hämmästyttävän yksinkertainen. Käyttäjä antaa GPT-2-nimiselle järjestelmälle kehotteen – muutaman sanan, tekstinpätkän, pätkän artikkelista, mitä sinulla on. Järjestelmä on koulutettu Internetistä saatujen tietojen perusteella ennustamaan kohdan seuraavat sanat – mikä tarkoittaa, että tekoäly muuttaa kehotteesi uutisartikkeliksi, novelliksi tai runoksi. (Voit kokeilla GPT-2:n uusinta versiota a yksityinen sivusto, jota isännöi koneoppimisinsinööri Adam King .)



Tulokset voivat olla varsin hienostuneita. Kun Testasin sitä , Syötin GPT-2:lle tarinoiden alkua lumimyrskyistä luoteisosassa, opiskelijoista ja itse GPT-2:sta. Sitten järjestelmä otti sen sieltä keksimällä kuvitteellisia tiedemiehiä lainaamaan ja kuvitteellisia organisaatioita lainaamaan (ja se jopa innostui tekoälyn nopeasta edistymisestä).

OpenAI päätti alun perin olla julkaisematta koko järjestelmää yleisölle, koska pelkäsi, että pahantahtoiset toimijat voisivat käyttää sitä täyttävät meidät kaikki valeuutisilla. Sen sijaan se julkaisi pienempiä ja vähemmän suorituskykyisiä versioita – porrastetun käyttöönoton, jonka OpenAI toivoo antavan tutkijoille mahdollisuuden tutkia järjestelmää ja oppia siitä pitäen silti mahdolliset riskit loitolla.

Tekoäly on tulossa kehittyneempää – ja se on iso juttu. Se voi auttaa meitä ratkaisemaan joitain aikamme suurimmista ongelmista lääkekehityksestä puhtaaseen energiaan. Mutta tutkijat pelkäävät, että sillä voi olla tahattomia seurauksia, se voi lisätä eriarvoisuutta ja, kun järjestelmät saavat tarpeeksi voimakkaita, jopa poseeraa todellinen vaara . Selvitämme edelleen, kuinka voisimme tasapainottaa tekoälyn edut sen mahdollisten vaarojen kanssa.



Ihmisillä oli tapana sanoa, että tekoäly ei voi olla luova. Nyt se voi.

Jopa GPT-2:n pienempi, vähemmän suorituskykyinen versio on tarpeeksi tehokas säveltämään mielenkiintoista runoutta ja fiktiota, ja on helppo nähdä, kuinka tehokkaammat versiot kirjoittavat niin vakuuttavia valeuutisia.

Tässä on joitain otteita runoista, jotka GPT-2 (pienin julkinen versio) on kirjoittanut, kiitos Gwern Branwen , tutkija, joka koulutti mallin runouttamiseen käyttämällä dataa varten suurta runokokoelmaa.

Heidän pienessä huoneessaan ovi raollaan



Ja kynttilä roikkuu seinällä raollaan,

Olen törmännyt sanaan Rise



Kasvot niin vakavat ja litteät kuin haluat.

Yksi asia, jonka muistan Risestä

Se, miten se saa sinut tuntemaan - niin paha, niin paha.

Ja tänä iltana olen tavannut monia sanoja

Ne ovat niin kuin Rise - niin kuin - niin epämääräisiä, niin epämääräisiä.

Eleganssia ja taiteellista elinvoimaa,

Mutta Rise on paljon muiden yläpuolella,

Ja en voi kuulla - enkä näe - sanaa,

Pysähdyn tähän (pysähdyn, jos voin).

Jos et tiedä mitä Rise tarkoittaa, kokeile.

Tässä toinen:

Ja ennen kuin myrskyn pilvi puhalsi,

Hänen sielunsa oli maailman mukana pelissä.

Hän katsoi tähtiin, ja tähdet hymyilivät,

Ja kuu taivaassa katsoi;

Ja kun hän katsoi, hän näki hänen valonsa,

Ja koko taivas hymyili hänelle.

Kun tuulet ja myrskyt lentää,

Kun tulvat ja tulipalot epäonnistuvat,

Niinkuin heidän jälkensä niitty ja suo,

Se on mies-lapsen sydän, joka kaipaa.

Ja minä olen sidottu,

Karvapäisellä, vahvalla, vanhalla,

Maahan ja kuolleiden haudoille,

joiden jalat on niitetty alas, koska he makaavat;

Ja annan levätä väsyneen pääni,

Ikuisuuden hiljaisuudessa,

Jumalan rauhallisissa käsivarsissa.

Nämä eivät ole huonoja! Mutta se ei tarkoita, että tekoäly voi todella ymmärtää runoutta, eikö niin? Se on enimmäkseen totta - mutta se riippuu siitä, kuinka ajattelet asiasta.

Yksi selitys siitä, kuinka ihmiset ymmärtävät maailmaa, on se, että rakennamme assosiaatioverkkoa toisiinsa liittyvien käsitteiden ja ideoiden välille, ymmärryksen, jonka avulla voimme ennustaa, mitä tapahtuu seuraavaksi. Se kuulostaa aavemaisen läheltä sitä, mitä GPT-2 tekee.

Tietenkin järjestelmä on pohjimmiltaan hyvin rajallinen - se toimii vain tekstin kanssa, se muuttuu vähemmän johdonmukaiseksi sen edetessä ja se tuottaa usein järjetöntä typeryyttä. Mutta jopa näissä rajoissa sen tuotos on kiehtovaa. Tekoälyjärjestelmien kehittyessä on vaikeampaa sanoa asioita, kuten vain ihmiset voivat olla luovia tai vain ihmiset voivat todella ymmärtää asioita.

Näemme ohjaamattoman oppimisen mahdollisuudet

Olemme edistyneet valtavasti luonnollisen kielen käsittelyssä viimeisen vuosikymmenen aikana. Käännös on parantunut, ja siitä on tullut tarpeeksi korkealaatuista, jotta voit lukea uutisartikkeleita muilla kielillä. Google esiteltiin viime kesänä että Google Assistant voi soittaa puheluita ja varata tapaamisia samalla, kun se kuulostaa ihmiseltä (vaikka yritys lupasi, ettei se käytä petollisia taktiikoita käytännössä).

Tekoälyjärjestelmät näkevät yhtä vaikuttavia voittoja luonnollisen kielen käsittelyn ulkopuolella. Uudet tekniikat ja enemmän laskentatehoa ovat antaneet tutkijoille mahdollisuuden keksiä fotorealistisia kuvia, loistaa kahden pelaajan peleissä, kuten Go, ja kilpailla ammattilaisten kanssa strategiavideopeleissä, kuten Starcraft ja DOTA .

Mutta jopa niille meistä, jotka ovat tottuneet näkemään nopeaa edistystä tässä tilassa, on vaikea olla hämmästyttämättä pelatessaan GPT-2:lla.

Tähän asti tutkijat, jotka yrittivät saada maailmanennätystuloksia kielitehtävistä, hienosääsivät mallejaan toimimaan hyvin kyseisessä tehtävässä – toisin sanoen tekoäly olisi koulutettu jokaiseen tehtävään.

OpenAI:n GPT-2 ei tarvinnut hienosäätöä: Se teki ennätyssuorituskyvyn monissa ydintehtävissä, joita käytämme kielten tekoälyjen arvioinnissa, ilman, että olisimme koskaan nähneet näitä tehtäviä aiemmin ja ilman, että meitä olisi erityisesti koulutettu käsittelemään niitä. Se alkoi myös osoittaa osaamista luetun ymmärtämisessä, yhteenvedossa ja kääntämisessä ilman erityistä koulutusta näihin tehtäviin.

GPT-2 on seurausta lähestymistavasta, jota kutsutaan valvomattomaksi oppimiseksi. Tässä on mitä se tarkoittaa: Nykyään alalla vallitseva lähestymistapa on ohjattu oppiminen. Siellä sinulla on suuria, huolellisesti merkittyjä tietojoukkoja, jotka sisältävät halutut tulot ja halutut lähdöt. Opetat tekoälyä tuottamaan ulostulot syötteillä.

Tällä voi saada loistavia tuloksia, mutta se vaatii valtavien tietojoukkojen luomista ja jokaisen datan huolellista merkitsemistä. Ja se kannattaa huomioida ohjattu oppiminen ei ole tapa, jolla ihmiset hankkivat taitoja ja tietoja. Teemme johtopäätöksiä maailmasta ilman tarkasti rajattuja esimerkkejä ohjatusta oppimisesta.

Monet ihmiset uskovat, että yleisten tekoälyominaisuuksien kehittyminen vaatii edistystä valvomatta oppiminen – toisin sanoen tekoäly altistuu suurelle määrälle dataa ja sen on selvitettävä kaikki muu itse. Ohjaamaton oppiminen on helpompi skaalata, koska strukturoimatonta dataa on paljon enemmän kuin strukturoitua tietoa, ja ohjaamaton oppiminen voi yleistyä paremmin tehtävien välillä.

Opi lukemaan kuin ihminen

Yksi tehtävä, jolla OpenAI testasi GPT-2:n ominaisuuksia, on kuuluisa koneoppimisen testi, joka tunnetaan nimellä Winograd-skeeman testi . Winograd-skeema on lause, joka on kieliopillisesti moniselitteinen, mutta ei moniselitteinen ihmisille - koska meillä on konteksti sen tulkitsemiseen.

Otetaan esimerkiksi lause: Pokaali ei mahdu ruskeaan matkalaukkuun, koska se on liian iso.

Ihmislukijalle on selvää, että tämä tarkoittaa pokaali on liian suuri, ei sillä, että matkalaukku olisi liian iso, koska tiedämme kuinka muihin esineisiin sopivat esineet toimivat. Tekoälyjärjestelmät kamppailevat kuitenkin tällaisten kysymysten kanssa.

Ennen tätä artikkelia huippuluokan tekoälyt, jotka pystyvät ratkaisemaan Winograd-skeemoja, saivat ne oikein 63,7 prosenttia ajasta, OpenAI sanoo. (Ihmiset eivät koskaan ymmärrä niitä väärin.) GPT-2 saa nämä oikein 70,7 prosenttia ajasta. Se on edelleen selvästi alle ihmistason suorituskyvyn, mutta se on silmiinpistävä voitto verrattuna siihen, mikä oli aiemmin mahdollista.

GPT-2 asetti ennätyksiä myös muihin kielitehtäviin. LAMBADA on tehtävä, joka testaa tietokoneen kykyä käyttää aiemmin tarinassa mainittua kontekstia lauseen viimeistelemiseksi. Edellinen paras suoritus oli 56,25 prosentin tarkkuus; GPT-2 saavutti 63,24 prosentin tarkkuuden. (Ihmiset saavat nämä asiat oikein yli 95 prosenttia ajasta, joten tekoäly ei ole vielä korvannut meitä – mutta tämä on merkittävä hyppy ominaisuuksissa.)

Sam Bowman, joka työskentelee luonnollisen kielen käsittelyssä NYU:ssa, selitti sähköpostitse, miksi näitä edistysaskeleita suhtaudutaan skeptisesti: tämänkaltaiset mallit voivat joskus näyttää petollisen hyviltä toistamalla täsmälleen niitä tekstejä, joihin ne on koulutettu. On esimerkiksi helppoa saada johdonmukaisia ​​kappaleita, jos plagioit kokonaisia ​​kappaleita muista lähteistä.

Mutta se ei ole sitä, mitä täällä tapahtuu, Bowmanin mukaan: Tämä on asetettu niin, että se ei todellakaan voi tehdä niin. Koska se valitsee yhden sanan kerrallaan, se ei ole plagiointia.

Toinen skeptinen näkökulma tämän kaltaiseen tekoälyn edistymiseen on se, että ne eivät heijasta syvää edistystä tietojärjestelmien ymmärtämisessämme, vaan vain pinnallisia parannuksia, jotka johtuvat kyvystä käyttää enemmän tietoa ja enemmän laskentatehoa. Kriitikot väittävät, että melkein kaikki tekoälyn edistysaskel on vain asteittainen edistystä laskentatehon lisäämisestä olemassa oleviin lähestymistapoihin.

OpenAI:n tiimi kiisti sen. GPT-2 käyttää hiljattain keksittyä neuroverkkosuunnittelua nimeltä Transformer, jonka Google Brainin tutkijat keksivät 18 kuukautta sitten. Osa suorituskyvyn parannuksista johtuu varmasti enemmän datasta ja suuremmasta laskentatehosta, mutta niitä ohjaavat myös voimakkaat viimeaikaiset alan innovaatiot – kuten odotamme, jos tekoäly kehittyy alallaan kaikilla rintamilla.

Se on enemmän dataa, enemmän laskentaa, halvempaa laskentaa ja arkkitehtonisia parannuksia – Googlen tutkijoiden suunnitteleman noin puolitoista vuotta sitten, OpenAI-tutkija Jeffrey Wu kertoi minulle. Haluamme vain kokeilla kaikkea ja nähdä, mihin todelliset tulokset meidät vievät.

Koska OpenAI ei julkaissut järjestelmää, se aiheutti kiistaa

OpenAI:n ilmoitus järjestelmän julkaisun rajoittamisesta sai aikaan ristiriitaisia ​​reaktioita - jotkut ihmiset tukivat, toiset turhautuivat.

OpenAI on ollut aktiivinen yrittäessään selvittää, miten se tehdään rajoittaa tekoälyn väärinkäytön mahdollisuutta , ja se on tullut siihen tulokseen, että joissain tapauksissa oikea ratkaisu on rajoittaa sen julkaisemista.

Tällaisella työkalulla esimerkiksi olisi helppoa huijata Amazon-arvosteluja ja pumpata valheellisia uutisartikkeleita murto-osassa siitä ajasta, jonka ihminen tarvitsee. Hieman kehittyneempi versio saattaa olla tarpeeksi hyvä, jotta opiskelijat voivat luoda plagioituja esseitä ja roskapostittajat voivat parantaa viestiään kohteisiin.

Olen huolissani trolli 4chan -näyttelijöistä, jotka tuottavat mielivaltaisen suuria määriä seksististä ja rasistista mielipidesisältöä, OpenAI:n politiikan johtaja Jack Clark kertoi minulle. Hän on myös huolissaan näyttelijöistä, jotka tekevät disinformaation kaltaisia ​​asioita, jotka ovat kehittyneempiä, ja huomauttaa, että väärinkäytöksille saattaa olla muita keinoja, joita emme ole vielä ajatelleet. Joten OpenAI pitää työkalun tehokkaimmat versiot offline-tilassa toistaiseksi, kun taas kaikki voivat pohtia, kuinka tällaisia ​​tekoälyjä käytetään turvallisesti.

Mutta kriitikot katsovat, että mallin suurimpien versioiden pidättäminen ei vähentäisi riskejä paljon. Olen varma, että yksi yksin työskentelevä henkilö, jolla on riittävästi laskentaresursseja, voisi tuottaa nämä tulokset kuukaudessa tai kahdessa (joko harrastaja, jolla on paljon laitteita ja aikaa, tai todennäköisemmin teknologiayrityksen tutkijat), Bowman kirjoitti minulle. Koska mallien julkistaminen on vakiokäytäntö, tämä päätös viivyttää tällaisten mallien julkaisua vain lyhyellä aikavälillä.

Muut kriitikot valittivat, että mallin julkaisun järkyttäminen todellakin palvelee enimmäkseen OpenAI: n saamista lisää julkisuutta , joka saavutettiin herättämällä näennäisen kohtuuttomia pelkoja siitä, mitä malli voisi tehdä.

Ihmiset huomauttavat, että muut tekoälylaboratoriot ovat kehittäneet ohjelmia yhtä kehittyneitä ja julkaisseet ne ilman pidennettyä julkaisuprosessia tai kehotuksia keskustella turvallisuudesta. Se on totta sikäli kuin se menee, mutta mielestäni on vahva syy siihen, että nuo muut laboratoriot eivät ole tarpeeksi varovaisia ​​- ja että heidänkin pitäisi yrittää herättää keskustelua uusien keksintöjensa haitoista ja vaaroista ennen niiden vapauttamista. internetissä.

Tämä ei tarkoita, että kaiken tekoälytutkimuksen pitäisi edetä salassa täältä - tai edes sitä, että suurempia GPT-2-malleja ei pitäisi julkaista. Toistaiseksi ihmiset eivät ole käyttäneet GPT-2:ta roskapostiin. he ovat käyttäneet sitä runoudessa. Tekoälyn kehittyessä entistä kehittyneempään, yksi suurimmista haasteistamme on selvittää, kuinka mahdollistaa hyvät käyttötavat ilman huonoja.


Tilaa Future Perfect -uutiskirje. Saat kahdesti viikossa joukon ideoita ja ratkaisuja suurimpien haasteidemme ratkaisemiseksi: kansanterveyden parantaminen, ihmisten ja eläinten kärsimyksen vähentäminen, katastrofiriskien vähentäminen ja – yksinkertaisesti sanottuna – hyvän tekemisen parantaminen.