Blog

Kedu ihe bụ NPU?

2024-08-13 16:29:49

N'ime ngwa ngwa taa na-agbanwe Ụwa nke AI na-achị, Achọ maka ngwa ngwa ngwa ngwa, mgbako na-arụ ọrụ nke ọma emeela ka ndị nhazi pụrụ iche dị ka ndị Ngalaba Nhazi Neural (NPU). N'adịghị ka omenala CPUs ma ọ bụ GPUs, ihe NPU bụ ebumnuche-wuru iji mee ngwa ngwa ntinye mmụta igwe, karịsịa maka netwọk akwara miri emi eji na kọmputa ọhụụ, nhazi asụsụ eke, na njirimara olu.

A NPU bụ ụdị nke AI ngwa ngwa nke na-enye ọrụ dị elu, nhazi dị ala maka ọrụ ndị chọrọ myirịta mgbakọ na arụ ọrụ tensor. Ndị nhazi ndị a na-agbakwunyere ugbu a n'ọtụtụ dị iche iche nke nyiwe-site na smartphones na Ngwa IoT ka ụgbọ ala usoro na akụrụngwa mgbako ọnụ- enyere na ngwaọrụ AI na obere ike oriri.

Ihe kpatara NPU ji dị mkpa:

Emelitere arụmọrụ ozugbo maka ọrụ AI
Oriri ike dị ala tụnyere GPU dabeere ngwọta
Mbelata ịdabere na ntinye igwe ojii, na-emeziwanye nzuzo data na latency
scalability maka kọmpat ngwaọrụ na agbakwunyere usoro

ịrị elu nke ọnụ AI na mmụba nke Ngwa ndị AI kwadoro mee ka ọ dị mkpa ịghọta ihe NPU bụ yana otu o si dị iche na ngalaba nhazi ndị ọzọ. N'isiokwu a, anyị na-enyocha ihe ije, jiri ikpe, na stratejik uru NPUs n'ihe gbasara mgbako nwere ọgụgụ isi.

Kedu ihe bụ NPU? Nleba nka nka

A Ngalaba Nhazi Neural (NPU) bụ microprocessor raara onwe ya nye nke emebere ka ọ na-ejikwa ọgụgụ isi artificial (AI) oke ọrụ, ọkachasị ndị metụtara mmụta miri emi na Neural netwọk mmetụta. N'adịghị ka izugbe-ebumnobi CPUs ma ọ bụ eserese-gbakwasara GPUs, NPUs kachasị maka ọrụ mgbakọ na mwepụ na-enye ike igwe mmụta ụdị, dị ka matrix multiplications, mgbagwoju anya, na nhazi tensor.

Njirimara isi nke NPU:

Ebumnuche-wuru maka ntinye aka AI, ọ bụghị ọzụzụ
Na-egbu arụmọrụ yiri ya nke ọma
Ebuliri maka obere oge, nke dị elu ibu ọrụ
Na-arụ ọrụ nke ukwuu obere ike oriri karịa GPU

Mgbe CPUs dị mma maka usoro mgbagha na GPUs mara mma n'ịrụ ọrụ na egwuregwu, NPU ahaziri iji mee ka ọrụ dị ngwa dịka:

Nchọpụta ihe
Nchọpụta ihu
Ntụgharị olu-gaa-ederede
Nyocha igwefoto smart

Ụdị nhazi	Ọrụ izizi	Ike	Ịrụ ọrụ ike	Kwesịrị ekwesị AI
CPU	Ọrụ izugbe	Na-agbanwe agbanwe	Dị ala	Oke
GPU	Eserese, AI	Ntinye aka dị elu	Ọkara	Ike maka ọzụzụ
NPU	Ntuziaka AI	AI- kachasị	Elu	Kachasị mma maka ihu AI

Ka AI na-agbakwunyere na ngwaọrụ ndị ọzọ - sitere na smartphones ka ụlọ ọrụ IoT-nke NPU pụtara dị ka ndị kasị rụọ ọrụ nke ọma na scalable processor maka enyere ndị nwere ọgụgụ isi atụmatụ ozugbo na onu, na-enweghị ịdabere na ịnweta igwe ojii mgbe niile.

Kedu ka NPU si arụ ọrụ?

A Ngalaba Nhazi Neural (NPU) emebere ya ka o gbuo Ọrụ ntinye aka AI na ahụkebe ọsọ na arụmọrụ. N'adịghị ka ndị nhazi ọdịnala, NPU na-arụ ọrụ usoro data dabere na tensor, na-emezu oke ego arụ ọrụ matrix n'otu aka ahụ-dị mkpa maka ịgba ọsọ ọgbara ọhụrụ ụdị mmụta miri emi dị ka CNNs (Convolutional Neural Networks) na RNN (Network Neural Na-emekarị).

Ụkpụrụ ọrụ isi:

Myirịta: NPU na-arụ ọrụ otutu arụmọrụ n'out oge, na-ebelata oge nhazi maka ọrụ dịka nhazi ọkwa na njirimara okwu.
Mgbakọ tensor agbagoro ngwaike: Wuru n'ime ụbụrụ tensor rụọ ọrụ nke ọma n'ọtụtụ buru ibu matrix multiplications.
Mgbakọ dị obere nkenke: Ọtụtụ NPU na-eji INT8 ma ọ bụ FP16 usoro ziri ezi iji mee ka nguzozi dị n'etiti izi ezi na ike arụmọrụ.
Pipelind ije: Ọrụ ndị dị ka nweta data, nhazi arọ, na mgbako mmalite A na-egbu ya n'usoro ọkpọkọ ka ọ na-ebuwanye ibu.

Usoro ntinye aka dị mfe:

Ntinye data (dịka ọmụmaatụ, onyonyo ma ọ bụ mgbama ọdịyo) emebere ya ụzọ.
Data na-abanye na Igwe tensor nke NPU maka mgbakọ akwara.
Ihe nlereanya ibu na eleghi anya na-eduzi inference.
A na-ewepụta nsonaazụ ya ozugbo, na-enweghị enyemaka igwe ojii.

Site na ijikọta obere igbu egbu, ike-arụ ọrụ imewe, na echiche AI raara onwe ya nye, NPU na-eme ka ngwaọrụ rụọ ọrụ ụdị AI mgbagwoju anya na mpaghara. Nke a na-eme ka ha dị mkpa maka ọnụ mgbakọ, smart ngwaọrụ, na ulo oru AI ngwa ebee ime mkpebi ozugbo dị egwu.

Uru isi nke NPUs

Nkuchi nke Ngalaba Nhazi Neural (NPUs) emewo mgbanwe mgbanwe nke Ntuziaka AI n'ime ha abụọ ngwaọrụ ihu na gburugburu igwe ojii. NPU na-enye a pụrụ iche nhazi ije nke na-enyere aka ịrụ ọrụ dị ịrịba ama na uru ike ike karịa omenala CPU na GPU ngwọta mgbe eme ụdị mmụta miri emi.

Uru kacha mma nke iji NPUs:

Ọrụ dị elu maka ntinye AI
Ewubere NPU maka ya AI na-arụ ọrụ, na-emezu ọrụ netwọk neural na nnukwu ọsọ na obere latency. Ha na-ahazi ngụkọta tensor yiri nke ọma, na-ebuga nghọta ozugbo na ngwa dị ka nchọpụta ihe, foto nkebi, na njirimara okwu.
Ịrụ ọrụ ike
Ndị NPU na-eri obere ike karịa GPU, ekele maka ha mgbako dị ala (dịka ọmụmaatụ, INT8, FP16) na ihe owuwu kachasị mma. Nke a na-eme ka ha dị mma maka mobile AI na Ngwa IoT ebee ndụ batrị na oke okpomọkụ dị oké egwu.
Ike na ngwaọrụ AI
Site n'ịkwado ntụnyere mpaghara, NPU na-ebelata mkpa maka nhazi igwe ojii, na-emeziwanye nzuzo data, oge nzaghachi, na netwọk bandwit arụmọrụ.
Nhazi kọmpat na scalable
Enwere ike itinye NPU n'ime Sistemu-na-Chip (SoC) aghụghọ, ikwe ka ndị na-emepụta ihe tinye AI accelerators n'ime kọmpat ngwaọrụ dị ka smartphones, ihe eji eme ihe, ọnụ ụzọ ámá, na usoro kwụụrụ onwe ya.

Okpokoro atụnyere: NPU vs. GPU na CPU

Njirimara	NPU	GPU	CPU
Ebumnuche	Ntuziaka AI	Eserese, AI izugbe	Mgbakọ ebumnuche izugbe
Ịrụ ọrụ ike	⭐⭐⭐⭐⭐	⭐⭐	⭐
Latency (ezigbo oge)	Dị ala	Ọkara	Elu
Ọnụọgụ AI na-arụkọ ọrụ	Magburu onwe	Ọ dị ezigbo mma	Oke
Akpa eji eme ihe nke ọma	Edge AI, Mobile AI	Ọzụzụ AI, eserese	Njikwa mgbagha, ọrụ OS

Site na ijikọ NPUs n'ime ngwọta kọmpụta nke AI, azụmahịa nwere ike imeghe ọnụọgụ mmụta igwe dị elu na ọnụ ahịa arụmọrụ dị ala, na-eme ka NPU bụrụ ntọala nke ngwaike AI na-esote.

NPU vs. CPU, GPU, na TPU: Nyocha atụnyere

Dị ka mkpa Ntụle AI ozugbo na-eto n'ofe ngwaọrụ - site na smartphones na ụgbọ ala kwụụrụ onwe ya ruo na robotics mmepụta ihe - arụmụka banyere nke nhazi nke ọma na-eji ọrụ ndị a na-akawanye njọ. Mgbe CPUs, GPUs, TPU, na NPU niile nwere ike ime igwe mmụta Arụ ọrụ, a na-ahazi ha maka ebumnuche dị iche iche. Ịghọta ọdịiche ndị a dị oke mkpa mgbe ị na-ahọrọ ngwaike maka Ngwa AI, karịsịa na onu.

CPU (Ngalaba nhazi etiti)

Nke CPU na-anọgide kasị vasatail processor. Ọ na-arụ ọrụ dị iche iche nke mkpokọta ebumnuche, gụnyere arụ ọrụ sistemụ arụmọrụ, Njikwa I/O, na usoro mgbagha. Ọ bụ ezie na CPUs nwere ike ịrụ ọrụ teknụzụ AI, ahazighị ha maka nke ahụ nhazi nhazi netwọkụ akwara chọrọ.

GPU (Ngalaba Nhazi eserese)

Na mbụ mepụtara maka ịsụgharị onyonyo na vidiyo, ndị GPU egosila nke ukwuu dị irè maka arụmọrụ yiri ya, na-eme ka ọ dị mma maka ha abụọ AI ọzụzụ na ntinye aka. GPU kachasị mma gburugburu data center, ebe ike na ohere na-adịchaghị mma.

TPU (Ngalaba Nhazi Tensor)

Google mebere ya, nke TPU ahaziri maka mgbakọ tensor na ọrụ AI. Ọ na-enye ọzụzụ siri ike na arụmọrụ inference mana a na-ahụ ya na ya akụrụngwa igwe ojii ma ọ bụ ngwaike ụlọ ọrụ.

NPU (Ngalaba Nhazi Neural)

Ezubere site na ala maka Ntuziaka AI, nke NPU na-enye arụmọrụ na-enweghị atụ kwa watt. Ugbu a etinyere ya n'ọtụtụ ebe Sistemu-na-Chip (SoC) na-echepụta n'ofe smartphones, ngwaọrụ ihu AI, na igwe kwụụrụ onwe ya.

Okpokoro ntụnyere nhazi

Njirimara	CPU	GPU	TPU	NPU
Ebere maka	Nzube izugbe	Eserese & AI	Tensor Ops	Ntinye aka AI
Ọzụzụ AI	Ogbenye	Magburu onwe	Ọ dị ezigbo mma	Oke
Ntinye aka AI	Oke	Ọ dị mma	Magburu onwe	Magburu onwe
Ịrụ ọrụ ike	Dị ala	Ọkara	Dị ala	Elu
Latency (Ọrụ Edge)	Elu	Ọkara	Dị ala	Dị nnọọ ala
Ekwentị mkpanaaka/IoT dabara	Ogbenye	Ogbenye	Oke	Magburu onwe
Nkwado Framework	sara mbara	sara mbara	Oriri (Google)	Ọdịghị oke (iche)

Isi ihe eji eme ihe:

GPUs na-ahọrọ maka ọzụzụ nlereanya AI na igwe ojii ịgbakọ.
TPU bụ ígwé ojii-centric na kasị mma n'ime Google AI gburugburu ebe obibi.
CPUs bụ ndị izugbe, adịghị mma maka mmụta miri emi.
NPU bụ ndị na-aga-na-ahọrọ maka na ngwaọrụ AI, na-enye kacha mma itule nke ọsọ, arụmọrụ, na ala ike maka ịrụsi ọrụ ike.

Ka AI na-aga n'ihu na-aga n'ihu onu, NPU pụtara dị ka ihe ngwọta ogologo oge kachasị mma maka ezigbo oge, mmụta igwe agbakwunyere.

Ebee ka eji NPUs? Ngwa igodo

Ngalaba Nhazi Neural (NPUs) bụ ugbu a ntọala akụrụngwa na a dịgasị iche iche nke Teknụzụ AI na-akwalite, karịsịa ndị chọrọ ntinye aka na ngwaọrụ, obere ike oriri, na nnabata ozugbo. Ka ụlọ ọrụ na-aga n'ihu na-ejikọta Amamịghe echiche N'ime usoro ọrụ ha, a na-anabata NPU n'ofe abụọ ahụ eji eletrọnịkị na usoro mmepụta ihe.

1. Smartphones na Mobile Devices

Oge a smartphones na-onwem na NPUs ike elu Njirimara AI dị ka:

Nchọpụta ihu (dịka ọmụmaatụ, nyocha biometric)
nkwalite foto na nchọpụta ihe na ngwa igwefoto
Ndị enyemaka olu na ntụgharị asụsụ
Eziokwu agbakwunyere (AR) na-eme ihe ozugbo

Ndị na-eduga mobile chipsets dị ka Igwe akwara Neural nke A-usoro Apple, Qualcomm Snapdragon, na Huawei's Kirin SoC jikọta NPUs maka ịrụ ọrụ nke ọma njedebe AI nhazi.

2. Edge Computing na IoT

N'ụwa nke ọnụ AI, NPUs nwee ike smart ese foto, ngwaọrụ wearable, na ebe akpaaka ụlọ na-agba ọsọ mgbagwoju igwe mmụta ụdị na mpaghara. Nke a na-ebelata ịdabere na sava igwe ojii ma hụ na ngwa ngwa ịme mkpebi, ọbụlagodi na gburugburu nwere oke njikọ.

3. Automotive na Robotics

A na-ebuga NPUs na-abawanye na ụgbọ ala kwụụrụ onwe ya na sistemụ robotik iji hazie:

Ngwakọta ihe mmetụta
Nchọpụta okporo ụzọ
Ịmata ndị ji ụkwụ aga
Sistemụ iwu olu

Site n'ịgba ọsọ inference ozugbo na ụgbọ ala ma ọ bụ robot, NPU na-ahụ ezigbo oge nhazi na ntakiri latency.

4. Ụlọ ọrụ mmepụta ihe na ahụike AI

A na-ejikwa NPUs factory akpaaka, mmezi amụma, na onyonyo onyonyo. N'ime smart n'ichepụta, NPUs nwee ike Sistemụ ọhụụ AI iji chọpụta ntụpọ, kewaa ihe, na nyochaa ọrụ na-aga n'ihu na-enweghị mkpa maka njikọ igwe ojii dị elu-bandwidth.

Ndị na-ere ngwaike NPU na gburugburu ebe obibi

Uto nke AI na njedebe emeela ka itinye ego dị ukwuu na ya NPU ngwaike mmepe site na isi ụlọ ọrụ teknụzụ. Ndị na-ere ahịa a na-akpụzi odida obodo nke agbakwunyere AI site n'inye ebumnuche wuru ngwọta kachasị maka inference ọsọ, ike arụmọrụ, na mgbanwe mgbanwe. Ụdị ọ bụla nwere nke ya NPU architecture, ngwá ọrụ, na nkwado gburugburu ebe obibi.

1. Apple - Neural Engine

Apple's Njin akwara, agbakwunyere n'ime ya A-usoro na M-usoro ibe, na-akwado ọrụ AI dị elu na iPhones, iPads, na Mac. Ọ na-enye:

Ozugbo njirimara ihu
Nhazi Siri na ngwaọrụ
Smart foto na vidiyo nkwalite

2. Huawei - Da Vinci Architecture

Huawei's Nweta NPUs na Da Vinci architecture bụ isi na ya Kirin SoCs na akụrụngwa AI:

Ntinye ngwa ngwa AI na mobile ngwaọrụ
Nkwanye na ebe data maka ụlọ ọrụ AI
Na-akwado MindSpore AI framework

3. Qualcomm - Hexagon DSP na AI Engine

Qualcomm Hexagon DSP + AI Engine agbakwunyere na nyiwe Snapdragon, na-enye:

AI osooso maka ngwa Android
Oru oma nhazi ngwaọrụ
Ndakọrịta na TensorFlow Lite na ONNX

4. Google - Edge TPU

Nke Ọnụ TPU, akụkụ nke Google Coral ikpo okwu, ahaziri maka IoT na nrụnye ihu:

Ebuliri maka TensorFlow Lite
Mmetụta AI dị ala dị ala
Ụdị kọmpat maka smart sensọ na ọnụ ụzọ ámá

5. NVIDIA - NVDLA na Jetson Platform

NVIDIA's NVDLA (Deep Learning Accelerator) na Jetson usoro wepụta kọmpụta AI dị elu:

Eji ya igwe rọbọt, drones, na igwe kwụụrụ onwe ya
Na-akwado Iche iche, TensorRT, na DeepStream SDK

Ihe ịma aka na oke nke NPU

Mgbe Ngalaba Nhazi Neural (NPUs) na-enye uru dị ịrịba ama na arụmọrụ inference AI, ike arụmọrụ, na ọnụ mgbakọ, ha enweghị oke. Ndị mmepe na ndị na-ejikọ sistemu ga-atụlerịrị ọtụtụ ihe ịma aka nka na arụmọrụ mgbe ha na-anabata NPU Ngwa ndị nwere AI.

1. Framework ndakọrịta

Otu n'ime ihe mgbochi bụ oke nkwado maka AI frameworks. N'adịghị ka GPUs, nke na-akwado ọtụtụ nyiwe dị ka TensorFlow, PyTorch, na ONNX, NPU na-achọkarị ngwá ọrụ omenala ma ọ bụ SDK nke nwe ya. Nke a nwere ike ibute:

Ogologo okirikiri mmepe
Ihe isi ike mgbanwe nlereanya na njikarịcha
Arụmọrụ na-ekwekọghị ekwekọ n'ofe ndị na-ere ngwaike

2. Inference-naanị ike

Emebere ọtụtụ NPU naanị maka ntinye aka, ọ bụghị ọzụzụ. Nke a pụtara:

A ga-azụrịrị ụdị AI na ya GPU ma ọ bụ TPU
Ọzụzụ ọ bụla ma ọ bụ ngbanwe ọ bụla chọrọ akụrụngwa mpụga
Mbelata mgbanwe n'ime mmụta na ngwaọrụ

3. Mgbochi njikọta ngwaike

Na-ejikọta NPU n'ime sistemu agbakwunyere ma ọ bụ Sistemu-na-Chip (SoC) Eserese na-agụnye mgbanwe mgbanwe:

Oke mpaghara silicon
Ihe mgbochi imewe thermal
Enwere esemokwu na I/O dị na bandwidth ebe nchekwa

Ọdịnihu nke NPUs na AI Hardware

Dị ka ọchịchọ maka Ntụle AI ozugbo na-aga n'ihu na-eto eto gafee ụlọ ọrụ, ọdịnihu nke Ngalaba Nhazi Neural (NPUs) na-atụ anya na-etiti na evolushọn nke AI ngwaike. Ndị nhazi ndị a pụrụ iche na-aghọwanye ndị dị ike, kọmpat, na ike na-arụ ọrụ nke ọma-na-edobe ha dị ka akụkụ bụ isi nke ọgbọ na-esote. akụkụ AI ngwaọrụ, smart sensọ, na usoro kwụụrụ onwe ya.

Ọnọdụ na-apụta na mmepe NPU

Mgbakwunye SoC siri ike
NPU na-abawanye ụba n'ime Sistemu-na-Chip (SoC) emebere n'akụkụ CPUs, GPUs, na ISPs. Ihe owuwu a jikọtara ọnụ na-enyere aka ngwa ngwa pipeline nhazi data, na-ebelata nkwụsịtụ, ma na-ebelata mgbagwoju anya usoro.
Nkwado maka Mgbakọ dị iche iche
NPU ga-eme n'ọdịnihu ga-arụ ọrụ nke ọma na ndị ọzọ AI accelerators, na-ekesa ọrụ n'ofe CPUs, GPUs na TPUs maka ezigbo arụmọrụ.
Ndakọrịta Framework emelitere
Ndị na-ere ahịa na-ewu nkwado maka usoro AI bụ isi dị ka ONNX, TensorFlow Lite, na PyTorch Mobile, ibelata onye nrụpụta usoro mmụta ma na-agba ume ibunye n'ofe ikpo okwu.
Mgbasawanye gafere ngwaọrụ ndị ahịa
NPU ga-arụ ọrụ ka ukwuu na ulo oru akpaaka, smart ahụike, akụkụ robotics, ugbo AI, na usoro onyunyo, ebe ike dị ala, ntinye ọsọ ọsọ dị egwu.

N'ime ụwa na-aga n'ihu ọgụgụ isi n'ebe nile, NPU agaghị eme ngwa ngwa AI kamakwa mee ka ọ dịkwuo elu enwere ike inweta, adigide, na nchekwa. Ọrụ ha n'ịkpụzi na-esote-gen agbakwunyere usoro, site na Igwefoto ndị AI kwadoro ka nyiwe igodo igodo kwụụrụ onwe ya, na-emesi mkpa na-eto eto nke ngalaba-kpọmkwem compute architecture n'oge AI.