Kas yra NPU?

Svarbiausios išvados:

• Grafikos procesoriai yra pageidaujami Dirbtinio intelekto modelio mokymas ir debesų kompiuterija.

• TPU yra orientuoti į debesį ir geriausi savo srityje „Google“ dirbtinio intelekto ekosistema.

• CPU yra universalistai, todėl netinka giliam mokymuisi.

• NPU yra geriausias pasirinkimas įrenginyje integruotas dirbtinis intelektas, siūlydama geriausias greičio, efektyvumo ir mažos energijos sąnaudų balansas išvadų darbo krūviams.

Dirbtiniam intelektui toliau judant į kraštas, NPU išsiskiria kaip perspektyviausias ilgalaikis sprendimas realaus laiko, įterptinis mašininis mokymasis.

Kur naudojami NPU? Pagrindinės taikymo sritys

Neuroniniai procesoriai (NPU) dabar yra pagrindinis komponentas daugelyje sričių Dirbtinio intelekto valdomos technologijos, ypač tiems, kuriems reikia išvada įrenginyje, mažas energijos suvartojimasir reagavimas realiuoju laikuKadangi pramonės šakos toliau integruojasi dirbtinis intelektas į savo darbo eigą NPU diegiami abiejose srityse plataus vartojimo elektronika ir pramoninės sistemos.

1. Išmanieji telefonai ir mobilieji įrenginiai

Modernus išmanieji telefonai yra aprūpinti NPU, kad maitintų pažangius Dirbtinio intelekto funkcijos pavyzdžiui:

• Veido atpažinimas (pvz., biometrinis autentifikavimas)

• Nuotraukų gerinimas ir objektų aptikimas kameros programėlėse

• Balso asistentai ir kalbos vertimas

• Papildytoji realybė (AR) atvaizdavimas realiuoju laiku

Pirmaujantys mobiliųjų mikroschemų rinkiniai, tokie kaip „Apple“ A serijos neuroninis variklis, „Qualcomm Snapdragon“ir „Huawei“ „Kirin SoC“ integruoti NPU efektyvumui krašto dirbtinio intelekto apdorojimas.

2. Kraštinių kompiuterių ir daiktų interneto

Pasaulyje krašto dirbtinis intelektas, NPU įgalina išmaniosios kameros, nešiojami įrenginiaiir namų automatikos centrai paleisti sudėtingą mašininio mokymosi modeliai lokaliai. Tai sumažina priklausomybę nuo debesijos serverių ir užtikrina greitesnį sprendimų priėmimasnet ir aplinkoje, kurioje ribotas ryšys.

3. Automobilių ir robotų pramonė

NPU vis dažniau naudojami autonominės transporto priemonės ir robotikos sistemos apdoroti:

• Jutiklių suliejimas

• Eismo juostos aptikimas

• Pėsčiųjų atpažinimas

• Balso valdymo sistemos

Atlikdami išvadas tiesiogiai transporto priemonėje ar robote, NPU užtikrina apdorojimas realiuoju laiku su minimaliu vėlavimu.

4. Pramonės ir sveikatos priežiūros dirbtinis intelektas

NPU taip pat naudojami gamyklos automatizavimas, nuspėjamoji priežiūrair medicininė vizualizacijaĮ išmanioji gamyba, NPU įgalina Dirbtinio intelekto regėjimo sistemos nustatyti defektus, klasifikuoti medžiagas ir nuolat stebėti operacijas, nereikalaujant didelės spartos debesijos ryšių.

Pagrindiniai NPU aparatūros tiekėjai ir ekosistemos

Augimas Dirbtinis intelektas periferijoje paskatino dideles investicijas į NPU aparatinės įrangos kūrimas didžiųjų technologijų bendrovių. Šie tiekėjai formuoja aplinką įterptasis dirbtinis intelektas siūlydami specialiai sukurtus, optimizuotus sprendimus išvados greitis, energijos vartojimo efektyvumasir integracijos lankstumasKiekvienas prekės ženklas turi savo NPU architektūra, įrankių grandinė ir ekosistemos palaikymas.

1. „Apple“ – neuroninis variklis

„Apple“ Neuroninis variklis, integruota į savo A serijos ir M serijos lustai, leidžia atlikti pažangias dirbtinio intelekto užduotis „iPhone“, „iPad“ ir „Mac“ įrenginiuose. Ji teikia:

• Realiuoju laiku veido atpažinimas

• „Siri“ apdorojimas įrenginyje

• Išmanūs nuotraukų ir vaizdo įrašų patobulinimai

2. Huawei – Da Vinci architektūra

„Huawei“ „Ascend“ NPU ir Da Vinci architektūra yra jos pagrindas „Kirin“ sistemų lustai ir Dirbtinio intelekto infrastruktūra:

• Pagreitintas dirbtinio intelekto išvados mobilieji įrenginiai

• Diegimas duomenų centrai skirtas įmonių dirbtiniam intelektui

• Atramos MindSpore DI sistema

3. „Qualcomm“ – šešiakampis skaitmeninis signalo procesorius su dirbtinio intelekto varikliu

„Qualcomm“ Šešiakampis DSP + dirbtinio intelekto variklis yra integruota į „Snapdragon“ platformas ir siūlo:

• DI spartinimas „Android“ programėlėms

• Efektyvus apdorojimas įrenginyje

• Suderinamumas su TensorFlow Lite ir ONNX

4. „Google“ – „Edge“ TPU

The Edge TPU, „Google“ dalis Koralų platforma, yra pritaikytas Daiktų interneto ir periferinių diegimų:

• Optimizuotas TensorFlow Lite

• Itin mažos galios dirbtinio intelekto išvados

• Kompaktiškas formos faktorius išmanieji jutikliai ir vartai

5. NVIDIA – NVDLA ir Jetson platforma

NVIDIA NVDLA (Giluminio mokymosi greitintuvas) ir Jetsono serija teikti didelio našumo dirbtinio intelekto skaičiavimus:

• Naudojamas robotika, dronaiir autonominės mašinos

• Atramos KITOKIE, TensorRTir „DeepStream“ SDK

NPU iššūkiai ir apribojimai

Nors Neuroniniai procesoriai (NPU) pasiūlyti įspūdingų pranašumų DI išvadų našumas, energijos vartojimo efektyvumasir kraštinių kompiuterių, jie nėra be apribojimų. Kūrėjai ir sistemų integratoriai, diegdami NPU, turi atsižvelgti į keletą techninių ir operacinių iššūkių. Dirbtiniu intelektu pagrįsti įrenginiai.

1. Suderinamumas su sistema

Viena iš pagrindinių kliūčių yra ribota parama Dirbtinio intelekto sistemosKitaip nei GPU, kurie palaiko platų platformų spektrą, pvz. TensorFlow, PyTorchir ONNXNPU dažnai reikalauja nestandartinių įrankių grandinių arba patentuotų SDK. Tai gali lemti:

• Ilgesni vystymosi ciklai

• Sunkumas modelio konvertavimas ir optimizavimas

• Nenuoseklus našumas tarp aparatūros tiekėjų

2. Tik išvadų darymo galimybė

Dauguma NPU yra sukurti išskirtinai išvada, ne mokymaiTai reiškia:

• Dirbtinio intelekto modeliai turi būti apmokyti GPU arba TPU

• Bet kokiam perkvalifikavimui ar tikslinimui reikalinga išorinė infrastruktūra

• Sumažėjęs lankstumas mokymasis įrenginyje

3. Aparatinės įrangos integravimo apribojimai

NPU integravimas į įterptąsias sistemas arba Sistema viename luste (SoC) Dizainas apima kompromisus:

• Silicio ploto apribojimai

• Šiluminio projektavimo apribojimai

• Galimi konfliktai su esamas įvesties / išvesties ir atminties pralaidumas