https://bodybydarwin.com
Slider Image

Facebook åpen kilder datamaskinene bak dens kunstige intelligens

2021

Å ta kraftig programvare for kunstig intelligens og gjøre den åpen kildekode, slik at alle i verden kan bruke den, virker som noe ut av en sci-fi-film, men både Google og Microsoft har gjort akkurat det de siste månedene. Nå går Facebook et skritt videre og åpner for sin kraftige AI- maskinvare- design for verden.

Det er et stort trekk, fordi selv om programvareplattformer kan gjøre AI-forskning enklere, mer reproduserbar og mer delbar, er hele prosessen nesten umulig uten kraftige datamaskiner.

I dag kunngjorde Facebook at det er åpen innkjøp av designene til serverne - som de hevder kjører dobbelt så raskt som før. Den nye designen, kalt Big Sur, krever åtte høydrevne grafiske prosesseringsenheter, eller GPUer, blant de andre tradisjonelle delene av datamaskinen, for eksempel den sentrale prosessorenheten, eller CPU, harddisk og hovedkort. Men Facebook sier at de nye GPU-ene spesielt lar sine forskere jobbe med dobbelt så stor størrelse og hastighet som maskinlæringsmodellene deres.

Det å jobbe regelmessig med bilder eller lydopptak kan være skattepliktig for utstyr av forbrukerklasse, og noen typer kunstig intelligens må bryte sammen og lære av 10 millioner bilder for å lære av dem. Prosessen, kalt opplæring, krever seriøs datakraft.

For å få datamaskinen til å lære hva en katt er, må du vise den potensielt millioner av bilder av katter.

For det første kan la s etablere noen grunnleggende underlivet til AI være et skremmende og sammensatt. Kunstig intelligens er en paraplybegrep for en rekke tilnærminger til å skape et kunstig system som etterligner menneskelig tanke og resonnement. Det har vært mange tilnærminger til dette; akkurat nå er de mest populære metodene forskjellige typer kunstige nevrale nettverk for dyp læring. Disse nettverkene må trenes eller vises eksempler før de kan sende ut informasjon. For å få datamaskinen til å lære hva en katt er, må du vise den potensielt millioner av bilder av katter (selv om Facebooks metoder har redusert antallet dramatisk). Nevrale nettverk er virtuelle klynger av matematiske enheter som individuelt kan behandle små informasjonsstykker, for eksempel piksler, og når de blir samlet og lagdelt kan takle uendelig mye mer komplekse oppgaver.

Dette betyr at millioner av bilder eller uttrykk eller lydbiter må brytes ned og sees på av potensielt millioner av kunstige nevroner, på forskjellige abstraksjonsnivåer. Hvis vi ser på delene av den tradisjonelle datamaskinen som er kandidater til denne jobben, får vi to alternativer: prosessoren (CPU) eller grafikkprosessorenheten (GPU).

CPU, den viktigste "hjernen" på den moderne datamaskinen, er ypperlig for å jobbe med noen få generelle dataoppgaver. Den har relativt få kjerner (4-8 i forbrukerdatamaskiner og -telefoner), men hver kjerne har et dypere hurtigminne for å jobbe med en ting i flere ganger. Den tapper datamaskinens RAM (random access memory) for data som trengs i prosessene.

GPU er motsatt. En enkelt serverorientert GPU kan ha tusenvis av kjerner med lite minne, optimalisert for å utføre ørsmå, gjentatte oppgaver (som gjengivelse av grafikk). Når du kommer tilbake til kunstig intelligens, gir mange kjerner i en GPU flere beregninger som kan kjøres på samme tid, noe som fremskynder hele arbeidet. CPUer pleide å være et mål for denne typen tunge prosesser, men store prosjekter krevde store flåter nettverksbrikker, mer enn hvis de ble beregnet med GPU-er, ifølge Serkan Piantino, ingeniørdirektør for Facebooks AI Research.

"For øyeblikket er GPU-er de beste for mange nettverk vi bryr oss om."

"Fordelen som GPU-er tilbyr er ren beregningstetthet ett sted Piantino sa." For øyeblikket er GPU-er de beste for mange nettverk vi bryr oss om. "

Facebook sier at Big Sur jobber med et bredt spekter av GPU-er fra forskjellige produsenter, men at de spesielt bruker en nylig utgitt modell fra Nvidia, som har lagt sine produkter kraftig i retning av kunstig intelligensforskning. I sine tester av CPU og GPU-ytelse for bildetrening, behandlet doble 10-kjerne Ivy Bridge-CPUer (les: veldig raskt) 256 bilder på 2 minutter og 17 sekunder. En av deres serverorienterte K40 GPU-er behandlet de samme bildene på bare 28, 5 sekunder. Og den nyere modellen som Facebook bruker i Big Sur, Nvidias M40, er faktisk raskere.

Mange Nvidia-enheter leveres også med Comput Unified Device Architecture (CUDA) -plattform, som lar utviklere skrive native code som C eller C ++ direkte til GPU, for å orkestreere kjernene parallelt med større presisjon. CUDA er en stift i mange AI-forskningssentre, som Facebook, Microsoft og Baidu.

GPU er arbeidshesten til moderne AI, men noen få forskere mener at status quo for databehandling ikke er svaret. Det føderalt finansierte DARPA (Defense Advanced Research Projects Agency) samarbeidet med IBM i 2013 om SyNapse-programmet, med et mål om å lage en ny rase av datamaskinbrikke som lærer naturlig — selve handlingen om å motta innspill ville lære maskinvaren. Utfallet var TrueNorth: en "nevromorfisk" brikke kunngjort i 2014.

TrueNorth er laget av 5, 4 milliarder transistorer, som er strukturert til 1 million kunstige nevroner. De kunstige nevronene bygger 256 millioner kunstige synapser, som gir informasjon fra neuron til nevron når data mottas. Dataene reiser gjennom nevroner og lager mønstre som kan oversettes til brukbar informasjon for nettverket.

I Europa jobber et team av forskere med et prosjekt som heter FACETS, eller Fast Analog Computing with Emergent Transient States. Brikken deres har 200 000 nevroner, men 50 millioner synaptiske forbindelser. IBM og FACETS-teamet har bygget sjetongene sine for å være skalerbare, noe som betyr å kunne jobbe parallelt med å øke datakraften enormt. I år samlet IBM 48 TrueNorth-brikker for å bygge et 48 millioner nevronenettverk, og MIT Technology Review rapporterer at FACETS håper å oppnå en milliard nevroner med ti billioner synapser.

Selv med det tallet, er vi fortsatt langt fra å gjenskape den menneskelige hjernen, som består av 86 milliarder nevroner og kan inneholde 100 billioner synapser. (IBM har truffet dette 100 billioner tallet i tidligere TrueNorth forsøk, men brikken kjørte 1542 ganger saktere enn sanntid, og tok en 96-rack superdatamaskin.)

"Det du ender opp med er intelligent teknologi."

Alex Nugent, grunnleggeren av Knowm og DARPA SyNapse alun, prøver å få fremtiden til databehandling med en spesiell rase av memristors, som han sier vil erstatte CPU, GPU og RAM som kjører på transistorer.

Memristoren har vært en enhjørning av teknologibransjen siden 1971, da dataforsker Leon Chua først foreslo teorien som "The Missing Circuit Element." Teoretisk sett fungerer en memristor som erstatning for en tradisjonell transistor, byggesteinen til den moderne datamaskinen.

En transistor kan eksistere i to tilstander (av eller på). Overforenklet er en datamaskin ingenting annet enn et stort utvalg av transistorer som svinger mellom av og på. En memristor bruker elektrisk strøm for å endre motstanden til metall, noe som gir større fleksibilitet i disse verdiene. I stedet for to stater som en transistor, kan en memristor teoretisk ha fire eller seks, og multiplisere kompleksiteten av informasjon en rekke memristorer kan inneholde.

Nugent jobbet med maskinvareutvikler Kris Campbell fra Boise State University for å faktisk lage en spesifikk brikke som fungerer med det han kaller AHaH (Anti-Hebbian and Hebbian) learning. Denne metoden bruker memristors for å etterligne kjeder av nevroner i hjernen. Mulighetene til memristoren til å endre motstand basert på påført spenning i toveistrinn, er veldig lik måten nerveceller overfører sin egen minuscule elektriske ladning, sier Nugent. Dette lar dem tilpasse seg når de bruker. Siden deres motstand fungerer som et naturlig minne, ville memristors ødelegge det noen forskere kaller von Neumann-flaskehalsen, databehandlingshette som ble opprettet når data blir overført mellom prosessoren og RAM.

AHaH computing sier Let s ta denne byggesteinen og bygge opp fra den, sa Nugent i et intervju med Popular Science. Ved utgangspunktet å utnytte disse neuronene, koble dem opp på forskjellige måter og sammenkoble resultatene deres på forskjellige måter, kan du gjøre læringsoperasjoner.

Slik ser Nugent at dette arbeidet ikke bare gjelder generell databehandling, men spesielt orientert mot maskinlæring.

Så snart du tar tettheten som vi allerede kan oppnå i dag, parer du det med memristors, parer du det med en teori som gjør det mulig for oss å bruke den, du stabler brikkene i tre dimensjoner, du ender opp med biologisk effektivitet, Nugent sa. Det du ender opp med er intelligent teknologi.

Disse fuglefjærene er så svarte at øynene dine ikke kan fokusere på dem

Disse fuglefjærene er så svarte at øynene dine ikke kan fokusere på dem

Hvordan laste ned Android-apper, og hvorfor skulle du ønske det

Hvordan laste ned Android-apper, og hvorfor skulle du ønske det

Hvordan bytte telefon uten å miste noe

Hvordan bytte telefon uten å miste noe