ບລັອກ

NPU ແມ່ນຫຍັງ?

2024-08-13 16:29:49

ໃນປັດຈຸບັນການພັດທະນາຢ່າງວ່ອງໄວ ໂລກທີ່ຂັບເຄື່ອນດ້ວຍ AI, ຄວາມຕ້ອງການສໍາລັບການຄໍານວນໄວ, ປະສິດທິພາບຫຼາຍໄດ້ເພີ່ມຂຶ້ນກັບໂຮງງານຜະລິດພິເສດເຊັ່ນ: ໜ່ວຍປະມວນຜົນປະສາດ (NPU). ແຕກຕ່າງຈາກປະເພນີ CPUs ຫຼື GPUs, NPU ແມ່ນຈຸດປະສົງທີ່ສ້າງຂຶ້ນເພື່ອເລັ່ງ ການຮຽນຮູ້ເຄື່ອງຈັກ, ໂດຍສະເພາະສໍາລັບ ເຄືອຂ່າຍ neural ເລິກ ໃຊ້ໃນ ວິໄສທັດຄອມພິວເຕີ, ການປຸງແຕ່ງພາສາທໍາມະຊາດ, ແລະ ການຮັບຮູ້ສຽງ.

ອັນ NPU ເປັນປະເພດຂອງ ເຄື່ອງເລັ່ງ AI ທີ່ສະຫນອງປະສິດທິພາບສູງ, ການປະມວນຜົນຕ່ໍາ latency ສໍາລັບວຽກງານທີ່ຕ້ອງການ ການຄິດໄລ່ຂະຫນານ ແລະ ການດໍາເນີນງານ tensor. ໂປເຊດເຊີເຫຼົ່ານີ້ໃນປັດຈຸບັນໄດ້ຖືກຝັງຢູ່ໃນລະດັບຄວາມກ້ວາງຂອງເວທີ - ຈາກ ໂທລະສັບສະຫຼາດ ແລະ ອຸປະກອນ IoT ກັບ ລະບົບຍານຍົນ ແລະ ໂຄງສ້າງພື້ນຖານຂອງຄອມພິວເຕີ້ຂອບ- ການເປີດໃຊ້ງານ AI ໃນອຸປະກອນ ດ້ວຍການບໍລິໂພກພະລັງງານຫນ້ອຍທີ່ສຸດ.

ເປັນຫຍັງ NPUs ຈຶ່ງສຳຄັນ:

ປັບປຸງປະສິດທິພາບໃນເວລາຈິງ ສໍາລັບວຽກ AI
ການບໍລິໂພກພະລັງງານຕ່ໍາ ເມື່ອປຽບທຽບກັບການແກ້ໄຂທີ່ໃຊ້ GPU
ຫຼຸດຜ່ອນການເອື່ອຍອີງການ inference cloud, ປັບປຸງຄວາມເປັນສ່ວນຕົວຂອງຂໍ້ມູນ ແລະເວລາໃນການຕອບສະໜອງ
ຄວາມສາມາດໃນການຂະຫຍາຍ ສໍາລັບອຸປະກອນທີ່ຫນາແຫນ້ນແລະລະບົບຝັງຕົວ

ການເພີ່ມຂຶ້ນຂອງ ຂອບ AI ແລະການຂະຫຍາຍຕົວຂອງ ແອັບພລິເຄຊັນທີ່ໃຊ້ AI ເຮັດໃຫ້ມັນເປັນສິ່ງຈໍາເປັນທີ່ຈະເຂົ້າໃຈວ່າ NPU ແມ່ນຫຍັງແລະມັນແຕກຕ່າງຈາກຫນ່ວຍປະມວນຜົນອື່ນໆແນວໃດ. ໃນບົດຄວາມນີ້, ພວກເຮົາຄົ້ນຫາ ຖາປັດຕະຍະ, ກໍລະນີການນໍາໃຊ້, ແລະມູນຄ່າຍຸດທະສາດຂອງ NPUs ໃນຂອບເຂດທີ່ກວ້າງຂວາງຂອງຄອມພິວເຕີ້ອັດສະລິຍະ.

NPU ແມ່ນຫຍັງ? ພາບລວມດ້ານວິຊາການ

ກ ໜ່ວຍປະມວນຜົນປະສາດ (NPU) ເປັນ microprocessor ສະເພາະທີ່ອອກແບບມາໂດຍສະເພາະເພື່ອຈັດການ ປັນຍາປະດິດ (AI) ວຽກງານ, ໂດຍສະເພາະທີ່ກ່ຽວຂ້ອງກັບ ການຮຽນຮູ້ເລິກ ແລະ inference ເຄືອຂ່າຍ neural. ແຕກຕ່າງຈາກຈຸດປະສົງທົ່ວໄປ CPUs ຫຼືກາຟິກຮັດກຸມ GPUs, NPUs ຖືກປັບໃຫ້ເໝາະສົມສໍາລັບການປະຕິບັດງານທາງຄະນິດສາດທີ່ມີອໍານາດ ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກ, ເຊັ່ນ ຄູນ matrix, convolutions, ແລະ ການປະມວນຜົນ tensor.

ຄຸນລັກສະນະຫຼັກຂອງ NPU:

ຈຸດປະສົງສ້າງສໍາລັບ AI inference, ບໍ່ແມ່ນການຝຶກອົບຮົມ
ປະຕິບັດ ການດໍາເນີນງານຂະຫນານ ມີປະສິດທິພາບ
ເຫມາະສໍາລັບ latency ຕໍ່າ, ຜ່ານສູງ ວຽກງານ
ປະຕິບັດການຢ່າງຫຼວງຫຼາຍ ການບໍລິໂພກພະລັງງານຕ່ໍາ ກວ່າ GPUs

ໃນຂະນະທີ່ CPUs ແມ່ນເຫມາະສົມສໍາລັບເຫດຜົນຕາມລໍາດັບແລະ GPUs excel ໃນການເຮັດວຽກແລະການເກມ, NPUs ຖືກປັບແຕ່ງເພື່ອເລັ່ງວຽກງານເຊັ່ນ:

ກວດຫາວັດຖຸ
ການຮັບຮູ້ໃບໜ້າ
ການປ່ຽນສຽງເປັນຂໍ້ຄວາມ
ການວິເຄາະກ້ອງອັດສະລິຍະ

ປະເພດໂປເຊດເຊີ	ບົດບາດຕົ້ນຕໍ	ຄວາມເຂັ້ມແຂງ	ປະສິດທິພາບພະລັງງານ	ຄວາມເໝາະສົມຂອງ AI
CPU	ວຽກງານທົ່ວໄປ	ອະເນກປະສົງ	ຕໍ່າ	ຈຳກັດ
GPU	ກຣາບຟິກ, AI	ກະແສໄຟຟ້າສູງ	ຂະຫນາດກາງ	ເຂັ້ມແຂງສໍາລັບການຝຶກອົບຮົມ
NPU	AI inference	AI-optimized	ສູງ	ທີ່ດີທີ່ສຸດສໍາລັບຂອບ AI

ເມື່ອ AI ຝັງຢູ່ໃນອຸປະກອນຫຼາຍຂຶ້ນ - ຈາກ ໂທລະສັບສະຫຼາດ ກັບ IoT ອຸດສາຫະກໍາ— ໄດ້ NPU ໂດດເດັ່ນທີ່ສຸດ ປະສິດທິພາບ ແລະສາມາດຂະຫຍາຍໄດ້ ໂປເຊດເຊີສໍາລັບການເປີດໃຊ້ຄຸນສົມບັດອັດສະລິຍະໂດຍກົງຢູ່ທີ່ ຂອບ, ໂດຍບໍ່ມີການອີງໃສ່ການເຂົ້າເຖິງຄລາວຄົງທີ່.

NPU ເຮັດວຽກແນວໃດ?

ກ ໜ່ວຍປະມວນຜົນປະສາດ (NPU) ຖືກອອກແບບເພື່ອປະຕິບັດ ວຽກງານ AI inference ດ້ວຍຄວາມໄວແລະປະສິດທິພາບພິເສດ. ບໍ່ເຫມືອນກັບໂປເຊດເຊີແບບດັ້ງເດີມ, NPUs ດໍາເນີນການ ໂຄງສ້າງຂໍ້ມູນໂດຍອີງໃສ່ tensor, ປະຕິບັດຈໍານວນມະຫາສານ ການດໍາເນີນງານ matrix ໃນຂະຫນານ - ເປັນສິ່ງຈໍາເປັນສໍາລັບການແລ່ນທີ່ທັນສະໄຫມ ຮູບແບບການຮຽນຮູ້ເລິກ ເຊັ່ນ CNNs (Convolutional Neural Networks) ແລະ RNNs (ເຄືອຂ່າຍປະສາດທີ່ເກີດຂຶ້ນຊ້ຳ).

ຫຼັກການເຮັດວຽກຫຼັກ:

ຂະໜານ: NPUs ປະຕິບັດ ການດໍາເນີນງານຫຼາຍພ້ອມກັນ, ຫຼຸດລົງຢ່າງຫຼວງຫຼາຍທີ່ໃຊ້ເວລາການປຸງແຕ່ງສໍາລັບວຽກງານເຊັ່ນ: ການຈັດປະເພດຮູບພາບ ແລະ ການຮັບຮູ້ສຽງເວົ້າ.
ການຄິດໄລ່ tensor ເລັ່ງຮາດແວ: ໃນຕົວ ແກນ tensor ຈັດການຂະໜາດໃຫຍ່ຢ່າງມີປະສິດທິພາບ ຄູນ matrix.
ເລກຄະນິດສາດທີ່ມີຄວາມແມ່ນຍໍາຕໍ່າ: NPUs ຫຼາຍຄົນໃຊ້ INT8 ຫຼື FP16 ຮູບແບບທີ່ຊັດເຈນເພື່ອປະຕິບັດຄວາມສົມດູນລະຫວ່າງ ຄວາມຖືກຕ້ອງ ແລະ ປະສິດທິພາບພະລັງງານ.
ສະຖາປັດຕະຍະກໍາທໍ່: ວຽກງານເຊັ່ນ: ດຶງຂໍ້ມູນ, ການປຸງແຕ່ງນ້ໍາ, ແລະ ການຄິດໄລ່ການເປີດໃຊ້ງານ ຖືກປະຕິບັດໃນລໍາດັບທໍ່ເພື່ອຂະຫຍາຍການສົ່ງຜ່ານສູງສຸດ.

ຂັ້ນຕອນການສະຫຼຸບແບບງ່າຍດາຍ:

ປ້ອນຂໍ້ມູນ (ຕົວຢ່າງ, ຮູບພາບ ຫຼືສັນຍານສຽງ) ຖືກປະມວນຜົນກ່ອນ.
ຂໍ້ມູນເຂົ້າໄປໃນ ເຄື່ອງຈັກ tensor ຂອງ NPU ສໍາລັບການຄິດໄລ່ neural.
ຕົວແບບ ນ້ໍາຫນັກແລະອະຄະຕິ ຊີ້ນໍາການຄິດໄລ່.
ຜົນໄດ້ຮັບແມ່ນສົ່ງໃນເວລາຈິງ, ເລື້ອຍໆໂດຍບໍ່ມີການຊ່ວຍເຫຼືອໃນຄລາວ.

ໂດຍການສົມທົບ ການປະຕິບັດການ latency ຕ່ໍາ, ການອອກແບບປະສິດທິພາບພະລັງງານ, ແລະ ເຫດຜົນຂອງ AI ທີ່ອຸທິດຕົນ, NPUs ເຮັດໃຫ້ອຸປະກອນສາມາດດໍາເນີນການໄດ້ ຮູບແບບ AI ທີ່ສັບສົນ ທ້ອງຖິ່ນ. ນີ້ເຮັດໃຫ້ພວກເຂົາຂາດບໍ່ໄດ້ສໍາລັບ ຄອມພິວເຕີຂອບ, ອຸປະກອນອັດສະລິຍະ, ແລະ ຄໍາຮ້ອງສະຫມັກ AI ອຸດສາຫະກໍາ ຢູ່ໃສ ການຕັດສິນໃຈໃນເວລາຈິງ ແມ່ນສໍາຄັນ.

ຜົນປະໂຫຍດຫຼັກຂອງ NPUs

ການຮັບຮອງເອົາ ໜ່ວຍປະມວນຜົນປະສາດ (NPUs) ໄດ້ປະຕິວັດການນໍາໃຊ້ຂອງ AI inference ໃນທັງສອງ ອຸປະກອນຂອບ ແລະ ສະພາບແວດລ້ອມເມຄ. NPUs ໃຫ້ a ສະຖາປັດຕະຍະກໍາການປຸງແຕ່ງພິເສດ ທີ່ເຮັດໃຫ້ປະສິດທິພາບ ແລະປະສິດທິພາບພະລັງງານເພີ່ມຂຶ້ນຫຼາຍກວ່າແບບດັ້ງເດີມ CPU ແລະ GPU ການແກ້ໄຂໃນເວລາທີ່ປະຕິບັດ ຮູບແບບການຮຽນຮູ້ເລິກ.

ຜົນປະໂຫຍດສູງສຸດຂອງການນໍາໃຊ້ NPUs:

ປະສິດທິພາບສູງສໍາລັບ AI Inference
NPUs ແມ່ນຈຸດປະສົງທີ່ສ້າງຂຶ້ນສໍາລັບ ວຽກງານ AI, ການປະຕິບັດ ການດໍາເນີນງານເຄືອຂ່າຍ neural ດ້ວຍຄວາມໄວທີ່ສູງກວ່າ ແລະເວລາຕອບສະໜອງຕໍ່າກວ່າ. ພວກເຂົາເຈົ້າຂະບວນການ ການຄິດໄລ່ tensor ຂະຫນານ ປະສິດທິພາບ, ການສະຫນອງຄວາມເຂົ້າໃຈໃນເວລາທີ່ແທ້ຈິງໃນຄໍາຮ້ອງສະຫມັກເຊັ່ນ: ການກວດສອບວັດຖຸ, ການແບ່ງສ່ວນຮູບພາບ, ແລະ ການຮັບຮູ້ສຽງເວົ້າ.
ປະສິດທິພາບພະລັງງານ
NPUs ໃຊ້ພະລັງງານຫນ້ອຍກວ່າ GPUs ຢ່າງຫຼວງຫຼາຍ, ຍ້ອນພວກມັນ ເລກຄະນິດສາດທີ່ມີຄວາມແມ່ນຍໍາຕໍ່າ (ຕົວຢ່າງ, INT8, FP16) ແລະສະຖາປັດຕະຍະກໍາທີ່ດີທີ່ສຸດ. ນີ້ເຮັດໃຫ້ພວກເຂົາເຫມາະສົມສໍາລັບ AI ມືຖື ແລະ ອຸປະກອນ IoT ຢູ່ໃສ ຊີວິດຫມໍ້ໄຟ ແລະ ຈໍາກັດຄວາມຮ້ອນ ມີຄວາມສໍາຄັນ.
ຄວາມສາມາດ AI ໃນອຸປະກອນ
ໂດຍການເປີດໃຊ້ງານ inference ທ້ອງຖິ່ນ, NPUs ຫຼຸດຜ່ອນຄວາມຕ້ອງການສໍາລັບການປຸງແຕ່ງຟັງ, ປັບປຸງ ຄວາມເປັນສ່ວນຕົວຂອງຂໍ້ມູນ, ເວລາຕອບສະຫນອງ, ແລະ ປະສິດທິພາບແບນວິດເຄືອຂ່າຍ.
ການອອກແບບກະທັດຮັດ ແລະສາມາດຂະຫຍາຍໄດ້
NPUs ສາມາດຖືກລວມເຂົ້າໃນ ລະບົບເທິງຊິບ (SoC) ການອອກແບບ, ອະນຸຍາດໃຫ້ຜູ້ຜະລິດຝັງ ເຄື່ອງເລັ່ງ AI ເຂົ້າໄປໃນອຸປະກອນທີ່ຫນາແຫນ້ນເຊັ່ນ: ໂທລະສັບສະຫຼາດ, ເຄື່ອງສວມໃສ່, ປະຕູຮົ້ວຂອບ, ແລະ ລະບົບປົກຄອງຕົນເອງ.

ຕາຕະລາງປຽບທຽບ: NPU ທຽບກັບ GPU ແລະ CPU

ຄຸນສົມບັດ	NPU	GPU	CPU
ຈຸດປະສົງ	AI inference	ຮູບພາບ, AI ທົ່ວໄປ	ການຄິດໄລ່ໂດຍທົ່ວໄປ
ປະສິດທິພາບພະລັງງານ	⭐⭐⭐⭐⭐	⭐⭐	⭐
Latency (ເວລາຈິງ)	ຕໍ່າ	ຂະຫນາດກາງ	ສູງ
ຂະຫນານ AI Workloads	ທີ່ດີເລີດ	ດີຫຼາຍ	ຈຳກັດ
ກໍລະນີການນໍາໃຊ້ທີ່ເຫມາະສົມ	Edge AI, AI ມືຖື	ການຝຶກອົບຮົມ AI, ຮູບພາບ	ຄວບຄຸມເຫດຜົນ, ວຽກງານ OS

ໂດຍການລວມ NPUs ເຂົ້າໃນການແກ້ໄຂຄອມພິວເຕີ້ AI edge, ທຸລະກິດສາມາດປົດລັອກການຮຽນຮູ້ເຄື່ອງຈັກຄວາມໄວສູງດ້ວຍຄ່າໃຊ້ຈ່າຍໃນການດໍາເນີນງານຕ່ໍາ, ເຮັດໃຫ້ NPUs ເປັນພື້ນຖານຂອງຮາດແວ AI ຮຸ່ນຕໍ່ໄປ.

NPU ທຽບກັບ CPU, GPU ແລະ TPU: ການວິເຄາະປຽບທຽບ

ຕາມຄວາມຕ້ອງການ ການສົມມຸດຕິຖານ AI ໃນເວລາຈິງ ເຕີບໂຕໃນທົ່ວອຸປະກອນຕ່າງໆ - ຈາກໂທລະສັບສະຫຼາດແລະຍານພາຫະນະອັດຕະໂນມັດໄປສູ່ຫຸ່ນຍົນອຸດສາຫະກໍາ - ການໂຕ້ວາທີກ່ຽວກັບວ່າໂປເຊດເຊີໃດທີ່ດີທີ່ສຸດທີ່ຈະຈັດການກັບວຽກງານເຫຼົ່ານີ້ເພີ່ມຂຶ້ນ. ໃນຂະນະທີ່ CPUs, GPUs, TPUs, ແລະ NPUs ທັງຫມົດສາມາດປະຕິບັດ ການຮຽນຮູ້ເຄື່ອງຈັກ ວຽກງານ, ເຂົາເຈົ້າໄດ້ຖືກ optimized ສໍາລັບຈຸດປະສົງທີ່ແຕກຕ່າງກັນຫຼາຍ. ການເຂົ້າໃຈຄວາມແຕກຕ່າງເຫຼົ່ານີ້ແມ່ນສໍາຄັນໃນເວລາທີ່ເລືອກຮາດແວສໍາລັບ ຄໍາຮ້ອງສະຫມັກ AI, ໂດຍສະເພາະຢູ່ ຂອບ.

CPU (ຫນ່ວຍປະມວນຜົນກາງ)

ໄດ້ CPU ຍັງຄົງເປັນໂຮງງານຜະລິດທີ່ຫຼາກຫຼາຍທີ່ສຸດ. ມັນຈັດການກັບວຽກງານຄອມພິວເຕີທີ່ມີຈຸດປະສົງທົ່ວໄປຢ່າງກວ້າງຂວາງ, ລວມທັງ ການທໍາງານຂອງລະບົບປະຕິບັດການ, ການຈັດການ I/O, ແລະ ເຫດຜົນຕາມລໍາດັບ. ໃນຂະນະທີ່ CPUs ສາມາດປະຕິບັດທາງດ້ານເຕັກນິກ AI inference, ພວກມັນບໍ່ໄດ້ຖືກປັບແຕ່ງສໍາລັບ ການປຸງແຕ່ງຂະຫນານ ທີ່ເຄືອຂ່າຍ neural ຕ້ອງການ.

GPU (ຫນ່ວຍປະມວນຜົນກາຟິກ)

ພັດທະນາໃນເບື້ອງຕົ້ນສໍາລັບການ rendering ຮູບພາບແລະວິດີໂອ, ໄດ້ GPU ໄດ້ພິສູດປະສິດທິພາບສູງສໍາລັບ ການດໍາເນີນງານຂະຫນານ, ເຮັດໃຫ້ມັນເຫມາະສົມສໍາລັບທັງສອງ ການຝຶກອົບຮົມ AI ແລະ inference. GPUs ດີເລີດໃນ ສະພາບແວດລ້ອມສູນຂໍ້ມູນ, ບ່ອນທີ່ການບໍລິໂພກພະລັງງານແລະພື້ນທີ່ມີຂໍ້ຈໍາກັດຫນ້ອຍ.

TPU (Tensor Processing Unit)

ພັດທະນາໂດຍ Google, the TPU ຖືກປັບແຕ່ງສໍາລັບ ການຄິດໄລ່ tensor ໃນວຽກງານ AI. ມັນສະຫນອງການຝຶກອົບຮົມທີ່ມີປະສິດທິພາບແລະການປະຕິບັດ inference ແຕ່ສ່ວນໃຫຍ່ແມ່ນພົບເຫັນຢູ່ໃນ ພື້ນຖານໂຄງລ່າງຄລາວ ຫຼື ຮາດແວລະດັບວິສາຫະກິດ.

NPU (ຫນ່ວຍປະມວນຜົນປະສາດ)

ອອກແບບມາຈາກພື້ນດິນຂຶ້ນສໍາລັບ AI inference, ໄດ້ NPU ສະຫນອງການປະຕິບັດທີ່ບໍ່ກົງກັນຕໍ່ວັດ. ໃນປັດຈຸບັນມັນຖືກຝັງຢູ່ໃນຢ່າງກວ້າງຂວາງ ລະບົບເທິງຊິບ (SoC) ການອອກແບບໃນທົ່ວໂທລະສັບສະຫຼາດ, ອຸປະກອນຂອບ AI, ແລະເຄື່ອງຈັກອັດຕະໂນມັດ.

ຕາຕະລາງປຽບທຽບໂປເຊດເຊີ

ຄຸນສົມບັດ	CPU	GPU	TPU	NPU
ອອກແບບສໍາລັບ	ຈຸດປະສົງທົ່ວໄປ	ກຣາບຟິກ & AI	Tensor Ops	AI Inference
ການຝຶກອົບຮົມ AI	ທຸກຍາກ	ທີ່ດີເລີດ	ດີຫຼາຍ	ຈຳກັດ
AI Inference	ຈຳກັດ	ດີ	ທີ່ດີເລີດ	ທີ່ດີເລີດ
ປະສິດທິພາບພະລັງງານ	ຕໍ່າ	ຂະຫນາດກາງ	ຕໍ່າ	ສູງ
Latency (Edge Tasks)	ສູງ	ຂະຫນາດກາງ	ຕໍ່າ	ຕໍ່າຫຼາຍ
ຄວາມເໝາະສົມຂອງມືຖື/IoT	ທຸກຍາກ	ທຸກຍາກ	ຈຳກັດ	ທີ່ດີເລີດ
ສະຫນັບສະຫນູນກອບ	ກວ້າງ	ກວ້າງ	ແຄບ (Google)	ປານກາງ (ແຕກຕ່າງກັນ)

Key Takeaways:

GPUs ຕ້ອງການ ການຝຶກອົບຮົມແບບຈໍາລອງ AI ແລະ ຄອມພິວເຕີ້ຟັງ.
TPUs ມີເມຄເປັນສູນກາງ ແລະດີທີ່ສຸດພາຍໃນ ລະບົບນິເວດ AI ຂອງ Google.
CPUs ເປັນຄົນທົ່ວໄປ, ບໍ່ເຫມາະສົມສໍາລັບການຮຽນຮູ້ເລິກ.
NPUs ແມ່ນທາງເລືອກໄປ-ກັບ AI ໃນອຸປະກອນ, ສະເຫນີໃຫ້ ຄວາມດຸ່ນດ່ຽງທີ່ດີທີ່ສຸດຂອງຄວາມໄວ, ປະສິດທິພາບ, ແລະພະລັງງານຕ່ໍາ ສໍາລັບການປະຕິບັດວຽກງານ.

ໃນຂະນະທີ່ AI ຍັງສືບຕໍ່ກ້າວໄປສູ່ ຂອບ, NPU ຢືນອອກເປັນການແກ້ໄຂໄລຍະຍາວທີ່ເປັນໄປໄດ້ທີ່ສຸດສໍາລັບ ເວລາຈິງ, ການຮຽນຮູ້ເຄື່ອງຈັກທີ່ຝັງໄວ້.

NPUs ໃຊ້ຢູ່ໃສ? ຄໍາຮ້ອງສະຫມັກທີ່ສໍາຄັນ

ໜ່ວຍປະມວນຜົນປະສາດ (NPUs) ໃນປັດຈຸບັນເປັນອົງປະກອບພື້ນຖານໃນຂອບເຂດກ້ວາງຂອງ ເຕັກໂນໂລຊີທີ່ຂັບເຄື່ອນດ້ວຍ AI, ໂດຍສະເພາະແມ່ນການທີ່ຕ້ອງການ inference ໃນອຸປະກອນ, ການບໍລິໂພກພະລັງງານຕ່ໍາ, ແລະ ການຕອບສະ ໜອງ ໃນເວລາຈິງ. ໃນຂະນະທີ່ອຸດສາຫະກໍາສືບຕໍ່ປະສົມປະສານ ປັນຍາປະດິດ ເຂົ້າໄປໃນຂະບວນການເຮັດວຽກຂອງພວກເຂົາ, NPUs ໄດ້ຖືກຮັບຮອງເອົາໃນທົ່ວທັງສອງ ເອເລັກໂຕຣນິກບໍລິໂພກ ແລະ ລະບົບອຸດສາຫະກໍາ.

1. ໂທລະສັບສະຫຼາດແລະອຸປະກອນມືຖື

ທັນສະໄຫມ ໂທລະສັບສະຫຼາດ ມີອຸປະກອນ NPUs ເພື່ອພະລັງງານຂັ້ນສູງ ຄຸນນະສົມບັດ AI ເຊັ່ນ:

ການຮັບຮູ້ໃບໜ້າ (ເຊັ່ນ: ການກວດສອບຄວາມຖືກຕ້ອງທາງຊີວະມິຕິ)
ການປັບປຸງຮູບພາບ ແລະ ການກວດສອບວັດຖຸ ໃນແອັບກ້ອງຖ່າຍຮູບ
ຜູ້ຊ່ວຍສຽງ ແລະ ການແປພາສາ
ຄວາມເປັນຈິງທີ່ເພີ່ມຂຶ້ນ (AR) rendering ໃນເວລາທີ່ແທ້ຈິງ

ຊິບເຊັດມືຖືຊັ້ນນໍາເຊັ່ນ Apple's A-series Neural Engine, Qualcomm Snapdragon, ແລະ Kirin SoC ຂອງ Huawei ປະສົມປະສານ NPUs ສໍາລັບປະສິດທິພາບ ຂອບການປະມວນຜົນ AI.

2. Edge Computing ແລະ IoT

ໃນໂລກຂອງ ຂອບ AI, NPUs ເປີດໃຊ້ ກ້ອງອັດສະລິຍະ, ອຸປະກອນສວມໃສ່ໄດ້, ແລະ ສູນກາງອັດຕະໂນມັດໃນເຮືອນ ເພື່ອດໍາເນີນການສະລັບສັບຊ້ອນ ຮູບແບບການຮຽນຮູ້ເຄື່ອງຈັກ ທ້ອງຖິ່ນ. ອັນນີ້ຊ່ວຍຫຼຸດຜ່ອນການເອື່ອຍອີງໃສ່ເຊີບເວີຄລາວ ແລະຮັບປະກັນໄວຂຶ້ນ ການຕັດສິນໃຈ, ເຖິງແມ່ນວ່າຢູ່ໃນສະພາບແວດລ້ອມທີ່ມີການເຊື່ອມຕໍ່ຈໍາກັດ.

3. ຍານຍົນ ແລະ ຫຸ່ນຍົນ

NPUs ຖືກ ນຳ ໃຊ້ຫຼາຍຂຶ້ນໃນ ຍານພາຫະນະຂອງຕົນເອງ ແລະ ລະບົບຫຸ່ນຍົນ ປະມວນຜົນ:

ເຊັນເຊີ fusion
ການກວດຫາເສັ້ນທາງ
ການຮັບຮູ້ຄົນຍ່າງ
ລະບົບຄຳສັ່ງສຽງ

ໂດຍການດໍາເນີນການ inference ໂດຍກົງກ່ຽວກັບຍານພາຫະນະຫຼືຫຸ່ນຍົນ, NPUs ຮັບປະກັນ ການປະມວນຜົນໃນເວລາຈິງ ມີ latency ຫນ້ອຍ.

4. AI ອຸດສາຫະກໍາ ແລະສຸຂະພາບ

NPUs ຍັງຖືກນໍາໃຊ້ໃນ ອັດຕະໂນມັດໂຮງງານ, ການບໍາລຸງຮັກສາການຄາດຄະເນ, ແລະ ຮູບພາບທາງການແພດ. ໃນ ການຜະລິດອັດສະລິຍະ, NPUs ເປີດໃຊ້ ລະບົບວິໄສທັດ AI ເພື່ອກໍານົດຂໍ້ບົກພ່ອງ, ຈັດປະເພດວັດສະດຸ, ແລະຕິດຕາມການດໍາເນີນງານຢ່າງຕໍ່ເນື່ອງໂດຍບໍ່ຈໍາເປັນຕ້ອງມີການເຊື່ອມຕໍ່ຟັງທີ່ມີແບນວິດສູງ.

ຜູ້ຂາຍຮາດແວ NPU ແລະລະບົບນິເວດທີ່ສໍາຄັນ

ການຂະຫຍາຍຕົວຂອງ AI ຢູ່ຂອບ ໄດ້ນໍາໄປສູ່ການລົງທຶນທີ່ສໍາຄັນໃນ ການພັດທະນາຮາດແວ NPU ໂດຍບໍລິສັດເຕັກໂນໂລຊີທີ່ສໍາຄັນ. ຜູ້ຂາຍເຫຼົ່ານີ້ກໍາລັງສ້າງພູມສັນຖານຂອງ AI ຝັງ ໂດຍການສະເຫນີການແກ້ໄຂຈຸດປະສົງສ້າງໃຫ້ເຫມາະສົມສໍາລັບການ ຄວາມໄວ inference, ປະສິດທິພາບພະລັງງານ, ແລະ ຄວາມຍືດຫຍຸ່ນຂອງການເຊື່ອມໂຍງ. ແຕ່ລະຍີ່ຫໍ້ມີຂອງຕົນເອງ ສະຖາປັດຕະຍະກໍາ NPU, ຕ່ອງໂສ້ເຄື່ອງມື, ແລະສະຫນັບສະຫນູນລະບົບນິເວດ.

1. Apple – Neural Engine

ຂອງ Apple ເຄື່ອງຈັກປະສາດ, ປະສົມປະສານເຂົ້າໄປໃນຂອງຕົນ ຊິບ A-series ແລະ M-series, ເພີ່ມປະສິດທິພາບວຽກງານ AI ຂັ້ນສູງໃນ iPhones, iPads, ແລະ Macs. ມັນສະຫນອງ:

ເວລາຈິງ ການຮັບຮູ້ໃບໜ້າ
ການປະມວນຜົນ Siri ໃນອຸປະກອນ
ການປັບປຸງຮູບພາບ ແລະວິດີໂອອັດສະລິຍະ

2. Huawei – Da Vinci ສະຖາປັດຕະຍະກໍາ

ຂອງ Huawei Ascend NPUs ແລະ ສະຖາປັດຕະຍະກໍາ Da Vinci ແມ່ນຈຸດໃຈກາງຂອງມັນ Kirin SoCs ແລະ ໂຄງສ້າງພື້ນຖານ AI:

ການເລັ່ງ AI inference in ອຸປະກອນມືຖື
ການນໍາໃຊ້ໃນ ສູນຂໍ້ມູນ ສໍາລັບວິສາຫະກິດ AI
ສະຫນັບສະຫນູນ MindSpore ກອບ AI

3. Qualcomm – Hexagon DSP ກັບ AI Engine

ຂອງ Qualcomm Hexagon DSP + AI Engine ຖືກຝັງຢູ່ໃນເວທີ Snapdragon, ສະເຫນີ:

ການເລັ່ງ AI ສໍາລັບແອັບຯ Android
ປະສິດທິພາບ ການປະມວນຜົນໃນອຸປະກອນ
ຄວາມເຂົ້າກັນໄດ້ກັບ TensorFlow Lite ແລະ ONNX

4. Google – Edge TPU

ໄດ້ ຂອບ TPU, ສ່ວນຫນຶ່ງຂອງ Google ເວທີປະກາລັງ, ຖືກປັບແຕ່ງສໍາລັບ ການນຳໃຊ້ IoT ແລະຂອບ:

ເຫມາະສໍາລັບ TensorFlow Lite
ການອະນຸມານ AI ພະລັງງານຕໍ່າສຸດ
ປັດໄຈຮູບແບບທີ່ຫນາແຫນ້ນສໍາລັບ ເຊັນເຊີອັດສະລິຍະ ແລະ ປະຕູ

5. NVIDIA – NVDLA ແລະ Jetson Platform

ຂອງ NVIDIA NVDLA (Deep Learning Accelerator) ແລະ ຊຸດ Jetson ສະຫນອງຄອມພິວເຕີ້ AI ທີ່ມີປະສິດທິພາບສູງ:

ໃຊ້ໃນ ຫຸ່ນຍົນ, drones, ແລະ ເຄື່ອງຈັກອັດຕະໂນມັດ
ສະຫນັບສະຫນູນ ແຕກຕ່າງກັນ, TensorRT, ແລະ DeepStream SDK

ສິ່ງທ້າທາຍ ແລະຂໍ້ຈຳກັດຂອງ NPUs

ໃນຂະນະທີ່ ໜ່ວຍປະມວນຜົນປະສາດ (NPUs) ສະເຫນີຂໍ້ໄດ້ປຽບທີ່ໂດດເດັ່ນໃນ AI inference ປະສິດທິພາບ, ປະສິດທິພາບພະລັງງານ, ແລະ ຄອມພິວເຕີຂອບ, ພວກເຂົາບໍ່ແມ່ນບໍ່ມີຂໍ້ຈໍາກັດ. ນັກພັດທະນາແລະຜູ້ປະສົມປະສານລະບົບຕ້ອງພິຈາລະນາສິ່ງທ້າທາຍທາງດ້ານເຕັກນິກແລະການດໍາເນີນງານຫຼາຍຄັ້ງເມື່ອນໍາໃຊ້ NPUs ເຂົ້າມາ ອຸປະກອນທີ່ເປີດໃຊ້ AI.

1. ຄວາມເຂົ້າກັນໄດ້ຂອງກອບ

ຫນຶ່ງໃນອຸປະສັກທີ່ສໍາຄັນແມ່ນການສະຫນັບສະຫນູນຈໍາກັດສໍາລັບ ກອບ AI. ບໍ່ເຫມືອນກັບ GPUs, ເຊິ່ງສະຫນັບສະຫນູນລະດັບຄວາມກວ້າງຂອງເວທີເຊັ່ນ: TensorFlow, PyTorch, ແລະ ONNX, NPUs ມັກຈະຕ້ອງການ ຕ່ອງໂສ້ເຄື່ອງມືແບບກຳນົດເອງ ຫຼື SDKs ທີ່ເປັນເຈົ້າຂອງ. ນີ້ສາມາດນໍາໄປສູ່:

ຮອບວຽນການພັດທະນາທີ່ຍາວກວ່າ
ຄວາມຫຍຸ້ງຍາກໃນ ການປ່ຽນແປງແບບຈໍາລອງແລະການເພີ່ມປະສິດທິພາບ
ການປະຕິບັດທີ່ບໍ່ສອດຄ່ອງໃນທົ່ວຜູ້ຂາຍຮາດແວ

2. Inference-Only Capability

NPUs ສ່ວນໃຫຍ່ຖືກອອກແບບສະເພາະສໍາລັບ inference, ບໍ່ແມ່ນ ການຝຶກອົບຮົມ. ນີ້ຫມາຍຄວາມວ່າ:

ຮູບແບບ AI ຕ້ອງໄດ້ຮັບການຝຶກອົບຮົມ GPUs ຫຼື TPUs
ການຝຶກອົບຮົມ ຫຼືການປັບປຸງອັນໃດນຶ່ງ ຕ້ອງການໂຄງສ້າງພື້ນຖານພາຍນອກ
ຫຼຸດຜ່ອນຄວາມຍືດຫຍຸ່ນໃນ ການຮຽນຮູ້ໃນອຸປະກອນ

3. ຂໍ້ຈໍາກັດການລວມຮາດແວ

ການເຊື່ອມໂຍງ NPUs ເຂົ້າໄປໃນລະບົບຝັງຫຼື ລະບົບເທິງຊິບ (SoC) ການອອກແບບກ່ຽວຂ້ອງກັບການຄ້າ:

ຂໍ້ຈໍາກັດຂອງພື້ນທີ່ Silicon
ຂໍ້ຈໍາກັດການອອກແບບຄວາມຮ້ອນ
ຄວາມຂັດແຍ້ງທີ່ອາດເກີດຂຶ້ນກັບ I/O ແລະແບນວິດຫນ່ວຍຄວາມຈໍາທີ່ມີຢູ່ແລ້ວ

ອະນາຄົດຂອງ NPUs ແລະ AI Hardware

ຕາມຄວາມຕ້ອງການ ການສົມມຸດຕິຖານ AI ໃນເວລາຈິງ ສືບຕໍ່ຂະຫຍາຍຕົວໃນທົ່ວອຸດສາຫະກໍາ, ໃນອະນາຄົດຂອງ ໜ່ວຍປະມວນຜົນປະສາດ (NPUs) ຄາດວ່າຈະເປັນສູນກາງຂອງວິວັດທະນາການ ຮາດແວ AI. ໂປເຊດເຊີພິເສດເຫຼົ່ານີ້ກໍາລັງກາຍເປັນທີ່ມີປະສິດທິພາບ, ຫນາແຫນ້ນ, ແລະປະຫຍັດພະລັງງານ - ການຈັດຕໍາແຫນ່ງພວກມັນເປັນອົງປະກອບຫຼັກຂອງການຜະລິດຕໍ່ໄປ. ຂອບອຸປະກອນ AI, ເຊັນເຊີອັດສະລິຍະ, ແລະ ລະບົບປົກຄອງຕົນເອງ.

ທ່າອ່ຽງທີ່ພົ້ນເດັ່ນໃນການພັດທະນາ NPU

ການເຊື່ອມໂຍງ SoC ທີ່ເຄັ່ງຄັດຂຶ້ນ
NPUs ຖືກລວມເຂົ້າກັນຫຼາຍຂຶ້ນ ລະບົບເທິງຊິບ (SoC) ການອອກແບບຄຽງຄູ່ກັບ CPUs, GPUs, ແລະ ISPs. ສະຖາປັດຕະຍະກໍາແບບປະສົມປະສານນີ້ເຮັດໃຫ້ໄວຂຶ້ນ ທໍ່ການປະມວນຜົນຂໍ້ມູນ, ຫຼຸດຜ່ອນເວລາ latency, ແລະຫຼຸດລົງຄວາມສັບສົນຂອງລະບົບ.
ສະຫນັບສະຫນູນສໍາລັບຄອມພິວເຕີ້ Heterogeneous
NPUs ໃນອະນາຄົດຈະເຮັດວຽກຢ່າງບໍ່ຢຸດຢັ້ງກັບຕົວເລັ່ງ AI ອື່ນໆ, ແຈກຢາຍວຽກທົ່ວ. CPUs, GPUs, ແລະ TPUs ສໍາລັບການປະຕິບັດທີ່ດີທີ່ສຸດ.
ປັບປຸງຄວາມເຂົ້າກັນໄດ້ຂອງກອບ
ຜູ້ຂາຍກໍາລັງສ້າງການສະຫນັບສະຫນູນສໍາລັບກອບ AI ຕົ້ນຕໍເຊັ່ນ ONNX, TensorFlow Lite, ແລະ PyTorch ມືຖື, ການຫຼຸດຜ່ອນການ ເສັ້ນໂຄ້ງການຮຽນຮູ້ຂອງນັກພັດທະນາ ແລະຊຸກຍູ້ການນຳໃຊ້ຂ້າມເວທີ.
ການຂະຫຍາຍຕົວນອກເຫນືອຈາກອຸປະກອນຜູ້ບໍລິໂພກ
NPUs ຈະມີບົດບາດຫຼາຍຂຶ້ນໃນ ອັດຕະໂນມັດອຸດສາຫະກໍາ, ການດູແລສຸຂະພາບ smart, ຫຸ່ນຍົນຂອບ, AI ກະສິກໍາ, ແລະ ລະບົບການເຝົ້າລະວັງ, ຢູ່ໃສ ພະລັງງານຕ່ໍາ, inference ຄວາມໄວສູງ ແມ່ນສໍາຄັນ.

ໃນໂລກທີ່ກ້າວໄປຂ້າງຫນ້າ ສະຕິປັນຍາຢູ່ທົ່ວທຸກແຫ່ງ, NPUs ຈະບໍ່ພຽງແຕ່ເລັ່ງ AI ແຕ່ຍັງເຮັດໃຫ້ມັນຫຼາຍ ເຂົ້າເຖິງໄດ້, ຍືນຍົງ, ແລະ ປອດໄພ. ພາລະບົດບາດຂອງເຂົາເຈົ້າໃນຮູບຮ່າງ ລະບົບຝັງຕົວຂອງລຸ້ນຕໍ່ໄປ, ຈາກ ກ້ອງຖ່າຍຮູບທີ່ໃຊ້ AI ກັບ ເວທີການນໍາທາງອັດຕະໂນມັດ, underscores ຄວາມສໍາຄັນການຂະຫຍາຍຕົວຂອງ ສະຖາປັດຕະຍະກຳຄອມພິວເຕີສະເພາະໂດເມນ ໃນຍຸກ AI.