Kas ir NPU?

Galvenie secinājumi:

• Grafiskās procesoras ir priekšroka AI modeļa apmācība un mākoņdatošana.

• TPU ir orientēti uz mākoņdatošanu un vislabāk atbilst Google mākslīgā intelekta ekosistēma.

• CPU ir vispārēji izstrādāti, nav ideāli piemēroti dziļai mācīšanās procesam.

• NPU ir labākā izvēle ierīcē iebūvētais mākslīgais intelekts, piedāvājot labākais ātruma, efektivitātes un zemas jaudas līdzsvars secinājumu darba slodzēm.

Tā kā mākslīgais intelekts turpina virzīties uz mala, NPU izceļas kā dzīvotspējīgākais ilgtermiņa risinājums reāllaika, iegultā mašīnmācīšanās.

Kur tiek izmantoti NPU? Galvenie pielietojumi

Neironu apstrādes vienības (NPU) tagad ir pamatelements plašā klāstā Mākslīgā intelekta vadītas tehnoloģijas, īpaši tiem, kam nepieciešama secinājumi ierīcē, zems enerģijas patēriņšun reāllaika reaģētspējaTā kā nozares turpina integrēties mākslīgais intelekts savās darbplūsmās NPU tiek ieviesti abos patēriņa elektronika un rūpnieciskās sistēmas.

1. Viedtālruņi un mobilās ierīces

Moderns viedtālruņi ir aprīkoti ar NPU, lai darbinātu progresīvus Mākslīgā intelekta funkcijas piemēram:

• Sejas atpazīšana (piemēram, biometriskā autentifikācija)

• Fotoattēlu uzlabošana un objektu noteikšana kameras lietotnēs

• Balss asistenti un valodas tulkošana

• Paplašinātā realitāte (AR) renderēšana reāllaikā

Vadošie mobilo mikroshēmojumu komplekti, piemēram, Apple A sērijas neironu dzinējs, Qualcomm Snapdragonun Huawei Kirin SoC integrēt NPU efektīvai perifērijas mākslīgā intelekta apstrāde.

2. Perifērijas skaitļošana un lietu internets (IoT)

Pasaulē malas mākslīgais intelekts, NPU iespējo viedās kameras, valkājamas ierīcesun mājas automatizācijas centrmezgli vadīt sarežģītu mašīnmācīšanās modeļi lokāli. Tas samazina atkarību no mākoņserveriem un nodrošina ātrāku lēmumu pieņemšanapat vidēs ar ierobežotu savienojamību.

3. Automobiļi un robotika

NPU arvien vairāk tiek izmantoti autonomie transportlīdzekļi un robotikas sistēmas apstrādāt:

• Sensoru saplūšana

• Joslu noteikšana

• Gājēju atpazīšana

• Balss vadības sistēmas

Izpildot secinājumus tieši transportlīdzeklī vai robotā, NPU nodrošina reāllaika apstrāde ar minimālu latentumu.

4. Rūpnieciskais un veselības aprūpes mākslīgais intelekts

NPU tiek izmantoti arī rūpnīcas automatizācija, paredzamā apkopeun medicīniskā attēlveidošanaIekšā viedā ražošana, NPU iespējo Mākslīgā intelekta redzes sistēmas lai identificētu defektus, klasificētu materiālus un nepārtraukti uzraudzītu darbības, neizmantojot liela joslas platuma mākoņsavienojumus.

Galvenie NPU aparatūras pārdevēji un ekosistēmas

Izaugsme Mākslīgais intelekts perifērijā ir novedis pie ievērojamām investīcijām NPU aparatūras izstrāde lieli tehnoloģiju uzņēmumi. Šie pārdevēji veido ainavu iegultā mākslīgā intelekta piedāvājot mērķtiecīgi izstrādātus risinājumus, kas ir optimizēti secinājumu ātrums, energoefektivitāteun integrācijas elastībaKatram zīmolam ir savs NPU arhitektūra, rīku ķēde un ekosistēmas atbalsts.

1. Apple – neironu dzinējs

Apple Neironu dzinējs, integrēts tās A sērijas un M sērijas mikroshēmas, nodrošina uzlabotus mākslīgā intelekta uzdevumus iPhone, iPad un Mac tālruņos. Tas nodrošina:

• Reāllaikā sejas atpazīšana

• Siri apstrāde ierīcē

• Viedi fotoattēlu un video uzlabojumi

2. Huawei – Da Vinci arhitektūra

Huawei Ascend NPU un Da Vinči arhitektūra ir tās centrālie Kirin SoC un Mākslīgā intelekta infrastruktūra:

• Paātrināta mākslīgā intelekta secinājumu veikšana mobilās ierīces

• Izvietošana datu centri uzņēmumu mākslīgajam intelektam

• Atbalsta MindSpore Mākslīgā intelekta ietvars

3. Qualcomm — sešstūra digitālais signāla procesors ar mākslīgā intelekta dzinēju

Qualcomm Sešstūra DSP + mākslīgā intelekta dzinējs ir iestrādāts Snapdragon platformās, piedāvājot:

• AI paātrinājums Android lietotnēm

• Efektīvs apstrāde ierīcē

• Saderība ar TensorFlow Lite un ONNX

4. Google — Edge TPU

The Edge TPU, daļa no Google Koraļļu platforma, ir pielāgots IoT un perifērijas izvietojumi:

• Optimizēts priekš TensorFlow Lite

• Īpaši mazas jaudas mākslīgā intelekta secinājumi

• Kompakts formas faktors priekš viedie sensori un vārti

5. NVIDIA — NVDLA un Jetson platforma

NVIDIA NVDLA (Dziļās mācīšanās paātrinātājs) un Džetsona sērija nodrošināt augstas veiktspējas mākslīgā intelekta skaitļošanu:

• Izmantots robotika, droniun autonomas mašīnas

• Atbalsta CITĀDS, TensorRTun DeepStream SDK

NPU izaicinājumi un ierobežojumi

Kamēr Neironu apstrādes vienības (NPU) piedāvāt ievērojamas priekšrocības AI secinājumu veiktspēja, energoefektivitāteun perifērijas skaitļošana, tiem nav ierobežojumu. Izstrādātājiem un sistēmu integratoriem, ieviešot NPU, jāņem vērā vairākas tehniskas un operacionālas problēmas. Ar mākslīgo intelektu aprīkotas ierīces.

1. Ietvara saderība

Viens no galvenajiem šķēršļiem ir ierobežotais atbalsts AI ietvariAtšķirībā no GPU, kas atbalsta plašu platformu klāstu, piemēram, TensorFlow, PyTorchun ONNX, NPU bieži vien ir nepieciešami pielāgotas instrumentu ķēdes vai patentētiem SDK. Tas var novest pie:

• Ilgāki attīstības cikli

• Grūtības modeļa konvertēšana un optimizācija

• Nekonsekventa veiktspēja dažādiem aparatūras piegādātājiem

2. Tikai secinājumu iespēja

Lielākā daļa NPU ir paredzēti tikai secinājums, nevis apmācībaTas nozīmē:

• Mākslīgā intelekta modeļi ir jāapmāca Grafiskās procesoras vai procesora procesori

• Jebkurai pārkvalifikācijai vai precizēšanai ir nepieciešama ārēja infrastruktūra.

• Samazināta elastība mācīšanās ierīcē

3. Aparatūras integrācijas ierobežojumi

NPU integrēšana iegultās sistēmās vai Sistēma vienā mikroshēmā (SoC) Dizains ietver kompromisus:

• Silīcija laukuma ierobežojumi

• Termiskās projektēšanas ierobežojumi

• Iespējamie konflikti ar esošā I/O un atmiņas joslas platums