ಬ್ಲಾಗ್

NPU ಎಂದರೇನು?

2024-08-13 16:29:49

ಇಂದಿನ ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿರುವ ಪರಿಸ್ಥಿತಿಯಲ್ಲಿ AI-ಚಾಲಿತ ಜಗತ್ತುವೇಗವಾದ, ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾದ ಕಂಪ್ಯೂಟೇಶನ್‌ಗೆ ಬೇಡಿಕೆಯು ವಿಶೇಷ ಸಂಸ್ಕಾರಕಗಳ ಹೊರಹೊಮ್ಮುವಿಕೆಗೆ ಕಾರಣವಾಗಿದೆ, ಉದಾಹರಣೆಗೆ ನರ ಸಂಸ್ಕರಣಾ ಘಟಕ (NPU)ಸಾಂಪ್ರದಾಯಿಕಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿ CPUಗಳು ಅಥವಾ GPU ಗಳು, NPU ಅನ್ನು ವೇಗಗೊಳಿಸಲು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ನಿರ್ಮಿಸಲಾಗಿದೆ ಯಂತ್ರ ಕಲಿಕೆಯ ಅನುಮಾನ, ವಿಶೇಷವಾಗಿ ಆಳವಾದ ನರಮಂಡಲ ಜಾಲಗಳು ಬಳಸಲಾಗಿದೆ ಕಂಪ್ಯೂಟರ್ ದೃಷ್ಟಿ, ನೈಸರ್ಗಿಕ ಭಾಷಾ ಸಂಸ್ಕರಣೆ, ಮತ್ತು ಧ್ವನಿ ಗುರುತಿಸುವಿಕೆ.

ಒಂದು ಎನ್‌ಪಿಯು ಒಂದು ವಿಧವಾಗಿದೆ AI ವೇಗವರ್ಧಕ ಅಗತ್ಯವಿರುವ ಕಾರ್ಯಗಳಿಗೆ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆ, ಕಡಿಮೆ-ಸುಪ್ತತೆಯ ಪ್ರಕ್ರಿಯೆಯನ್ನು ನೀಡುತ್ತದೆ ಸಮಾನಾಂತರ ಗಣನೆ ಮತ್ತು ಟೆನ್ಸರ್ ಕಾರ್ಯಾಚರಣೆಗಳುಈ ಪ್ರೊಸೆಸರ್‌ಗಳನ್ನು ಈಗ ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ವೇದಿಕೆಗಳಲ್ಲಿ ಹುದುಗಿಸಲಾಗಿದೆ—ಇದರಿಂದ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಮತ್ತು IoT ಸಾಧನಗಳು ಗೆ ಆಟೋಮೋಟಿವ್ ಸಿಸ್ಟಮ್‌ಗಳು ಮತ್ತು ಅಂಚಿನ ಕಂಪ್ಯೂಟಿಂಗ್ ಮೂಲಸೌಕರ್ಯ—ಸಕ್ರಿಯಗೊಳಿಸುವುದು ಸಾಧನದಲ್ಲಿನ AI ಕನಿಷ್ಠ ವಿದ್ಯುತ್ ಬಳಕೆಯೊಂದಿಗೆ.

NPUಗಳು ಏಕೆ ಮುಖ್ಯ:

ವರ್ಧಿತ ನೈಜ-ಸಮಯದ ಕಾರ್ಯಕ್ಷಮತೆ AI ಕೆಲಸದ ಹೊರೆಗಳಿಗಾಗಿ
ಕಡಿಮೆ ಶಕ್ತಿಯ ಬಳಕೆ GPU ಆಧಾರಿತ ಪರಿಹಾರಗಳಿಗೆ ಹೋಲಿಸಿದರೆ
ಮೋಡದ ನಿರ್ಣಯದ ಮೇಲಿನ ಅವಲಂಬನೆ ಕಡಿಮೆಯಾಗಿದೆ., ಡೇಟಾ ಗೌಪ್ಯತೆ ಮತ್ತು ಸುಪ್ತತೆಯನ್ನು ಸುಧಾರಿಸುವುದು
ಸ್ಕೇಲೆಬಿಲಿಟಿ ಸಾಂದ್ರೀಕೃತ ಸಾಧನಗಳು ಮತ್ತು ಎಂಬೆಡೆಡ್ ವ್ಯವಸ್ಥೆಗಳಿಗಾಗಿ

ಉದಯ ಅಂಚಿನ AI ಮತ್ತು ಪ್ರಸರಣ AI-ಚಾಲಿತ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು NPU ಎಂದರೇನು ಮತ್ತು ಅದು ಇತರ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳಿಗಿಂತ ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಅತ್ಯಗತ್ಯ. ಈ ಲೇಖನದಲ್ಲಿ, ನಾವು ಅನ್ವೇಷಿಸುತ್ತೇವೆ ವಾಸ್ತುಶಿಲ್ಪ, ಬಳಕೆಯ ಸಂದರ್ಭಗಳು, ಮತ್ತು ಬುದ್ಧಿವಂತ ಕಂಪ್ಯೂಟಿಂಗ್‌ನ ವಿಶಾಲ ಸಂದರ್ಭದಲ್ಲಿ NPU ಗಳ ಕಾರ್ಯತಂತ್ರದ ಮೌಲ್ಯ.

NPU ಎಂದರೇನು? ತಾಂತ್ರಿಕ ಅವಲೋಕನ

ಅ ನರ ಸಂಸ್ಕರಣಾ ಘಟಕ (NPU) ನಿರ್ವಹಿಸಲು ವಿಶೇಷವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಮೀಸಲಾದ ಮೈಕ್ರೊಪ್ರೊಸೆಸರ್ ಆಗಿದೆ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ (AI) ಕೆಲಸದ ಹೊರೆಗಳು, ವಿಶೇಷವಾಗಿ ಒಳಗೊಂಡಿರುವವುಗಳು ಆಳವಾದ ಕಲಿಕೆ ಮತ್ತು ನರಮಂಡಲದ ನಿರ್ಣಯ. ಸಾಮಾನ್ಯ ಉದ್ದೇಶಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿ CPUಗಳು ಅಥವಾ ಗ್ರಾಫಿಕ್ಸ್-ಆಧಾರಿತ GPU ಗಳು, NPU ಗಳನ್ನು ಗಣಿತದ ಕಾರ್ಯಾಚರಣೆಗಳಿಗೆ ಶಕ್ತಿ ತುಂಬಲು ಅತ್ಯುತ್ತಮವಾಗಿಸಲಾಗಿದೆ ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳು, ಉದಾಹರಣೆಗೆ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರಗಳು, ಸುರುಳಿಗಳು, ಮತ್ತು ಟೆನ್ಸರ್ ಸಂಸ್ಕರಣೆ.

NPU ನ ಪ್ರಮುಖ ಗುಣಲಕ್ಷಣಗಳು:

AI ನಿರ್ಣಯಕ್ಕಾಗಿ ಉದ್ದೇಶಿತ, ತರಬೇತಿ ಅಲ್ಲ
ಕಾರ್ಯಗತಗೊಳಿಸುತ್ತದೆ ಸಮಾನಾಂತರ ಕಾರ್ಯಾಚರಣೆಗಳು ಪರಿಣಾಮಕಾರಿಯಾಗಿ
ಇದಕ್ಕಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ ಕಡಿಮೆ-ಸುಪ್ತತೆ, ಹೆಚ್ಚಿನ-ಥ್ರೂಪುಟ್ ಕೆಲಸದ ಹೊರೆಗಳು
ಗಮನಾರ್ಹವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಕಡಿಮೆ ವಿದ್ಯುತ್ ಬಳಕೆ GPU ಗಳಿಗಿಂತ

ಹಾಗೆಯೇ CPUಗಳು ಅನುಕ್ರಮ ತರ್ಕಕ್ಕೆ ಸೂಕ್ತವಾಗಿದೆ ಮತ್ತು GPU ಗಳು ರೆಂಡರಿಂಗ್ ಮತ್ತು ಗೇಮಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ ಶ್ರೇಷ್ಠತೆ, NPUಗಳು ಈ ರೀತಿಯ ಕಾರ್ಯಗಳನ್ನು ವೇಗಗೊಳಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ:

ವಸ್ತು ಪತ್ತೆ
ಮುಖ ಗುರುತಿಸುವಿಕೆ
ಧ್ವನಿಯಿಂದ ಪಠ್ಯಕ್ಕೆ ಪರಿವರ್ತನೆ
ಸ್ಮಾರ್ಟ್ ಕ್ಯಾಮೆರಾ ವಿಶ್ಲೇಷಣೆ

ಪ್ರೊಸೆಸರ್ ಪ್ರಕಾರ	ಪ್ರಾಥಮಿಕ ಪಾತ್ರ	ಸಾಮರ್ಥ್ಯ	ವಿದ್ಯುತ್ ದಕ್ಷತೆ	AI ಸೂಕ್ತತೆ
ಸಿಪಿಯು	ಸಾಮಾನ್ಯ ಕಾರ್ಯಗಳು	ಬಹುಮುಖ	ಕಡಿಮೆ	ಸೀಮಿತ
ಜಿಪಿಯು	ಗ್ರಾಫಿಕ್ಸ್, AI	ಹೆಚ್ಚಿನ ಥ್ರೋಪುಟ್	ಮಧ್ಯಮ	ತರಬೇತಿಗೆ ಬಲಿಷ್ಠ.
ಎನ್‌ಪಿಯು	AI ನಿರ್ಣಯ	AI-ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ	ಹೆಚ್ಚಿನ	ಎಡ್ಜ್ AI ಗೆ ಉತ್ತಮ

AI ಹೆಚ್ಚಿನ ಸಾಧನಗಳಲ್ಲಿ ಹುದುಗುತ್ತಿದ್ದಂತೆ - ನಿಂದ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಗೆ ಕೈಗಾರಿಕಾ ಐಒಟಿ- ದಿ ಎನ್‌ಪಿಯು ಅತ್ಯಂತ ಎದ್ದು ಕಾಣುತ್ತದೆ ಪರಿಣಾಮಕಾರಿ ಮತ್ತು ವಿಸ್ತರಿಸಬಹುದಾದ ಬುದ್ಧಿವಂತ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನೇರವಾಗಿ ಸಕ್ರಿಯಗೊಳಿಸಲು ಪ್ರೊಸೆಸರ್ ಅಂಚು, ನಿರಂತರ ಕ್ಲೌಡ್ ಪ್ರವೇಶವನ್ನು ಅವಲಂಬಿಸದೆ.

NPU ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ?

ಅ ನರ ಸಂಸ್ಕರಣಾ ಘಟಕ (NPU) ಕಾರ್ಯಗತಗೊಳಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ AI ನಿರ್ಣಯ ಕಾರ್ಯಗಳು ಅಸಾಧಾರಣ ವೇಗ ಮತ್ತು ದಕ್ಷತೆಯೊಂದಿಗೆ. ಸಾಂಪ್ರದಾಯಿಕ ಸಂಸ್ಕಾರಕಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, NPUಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಟೆನ್ಸರ್-ಆಧಾರಿತ ಡೇಟಾ ರಚನೆಗಳು, ಬೃಹತ್ ಪ್ರಮಾಣದಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಕಾರ್ಯಾಚರಣೆಗಳು ಸಮಾನಾಂತರವಾಗಿ—ಆಧುನಿಕ ಚಾಲನೆಗೆ ಅತ್ಯಗತ್ಯ ಆಳವಾದ ಕಲಿಕೆಯ ಮಾದರಿಗಳು ಉದಾಹರಣೆಗೆ CNN ಗಳು (ಕನ್ವಲ್ಯೂಷನಲ್ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳು) ಮತ್ತು RNN ಗಳು (ಪುನರಾವರ್ತಿತ ನರಮಂಡಲ ಜಾಲಗಳು).

ಮುಖ್ಯ ಕಾರ್ಯ ತತ್ವಗಳು:

ಸಮಾನಾಂತರತೆ: NPUಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಏಕಕಾಲದಲ್ಲಿ ಬಹು ಕಾರ್ಯಾಚರಣೆಗಳು, ಈ ರೀತಿಯ ಕಾರ್ಯಗಳಿಗೆ ಪ್ರಕ್ರಿಯೆಯ ಸಮಯವನ್ನು ತೀವ್ರವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಚಿತ್ರ ವರ್ಗೀಕರಣ ಮತ್ತು ಭಾಷಣ ಗುರುತಿಸುವಿಕೆ.
ಹಾರ್ಡ್‌ವೇರ್-ವೇಗವರ್ಧಿತ ಟೆನ್ಸರ್ ಕಂಪ್ಯೂಟೇಶನ್: ಅಂತರ್ನಿರ್ಮಿತ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ನಿರ್ವಹಿಸಿ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಾಕಾರಗಳು.
ಕಡಿಮೆ ನಿಖರತೆಯ ಅಂಕಗಣಿತ: ಅನೇಕ NPUಗಳು ಬಳಸುತ್ತವೆ ಐಎನ್ಟಿ 8 ಅಥವಾ ಎಫ್‌ಪಿ 16 ನಡುವೆ ಸಮತೋಲನವನ್ನು ಸಾಧಿಸಲು ನಿಖರ ಸ್ವರೂಪಗಳು ನಿಖರತೆ ಮತ್ತು ವಿದ್ಯುತ್ ದಕ್ಷತೆ.
ಪೈಪ್‌ಲೈನ್ಡ್ ವಾಸ್ತುಶಿಲ್ಪ: ಮುಂತಾದ ಕಾರ್ಯಗಳು ಡೇಟಾ ಪಡೆಯುವುದು, ತೂಕ ಸಂಸ್ಕರಣೆ, ಮತ್ತು ಸಕ್ರಿಯಗೊಳಿಸುವಿಕೆ ಲೆಕ್ಕಾಚಾರ ಥ್ರೋಪುಟ್ ಅನ್ನು ಗರಿಷ್ಠಗೊಳಿಸಲು ಪೈಪ್‌ಲೈನ್ ಮಾಡಿದ ಅನುಕ್ರಮದಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗುತ್ತದೆ.

ಸರಳೀಕೃತ ಅನುಮಾನ ಹರಿವು:

ಇನ್ಪುಟ್ ಡೇಟಾ (ಉದಾ, ಚಿತ್ರ ಅಥವಾ ಆಡಿಯೊ ಸಿಗ್ನಲ್) ಪೂರ್ವ-ಸಂಸ್ಕರಿಸಲಾಗಿದೆ.
ಡೇಟಾ ಪ್ರವೇಶಿಸುತ್ತದೆ NPU ನ ಟೆನ್ಸರ್ ಎಂಜಿನ್ ನರಗಳ ಲೆಕ್ಕಾಚಾರಕ್ಕಾಗಿ.
ಮಾದರಿಯ ತೂಕ ಮತ್ತು ಪಕ್ಷಪಾತಗಳು ತೀರ್ಮಾನಕ್ಕೆ ಮಾರ್ಗದರ್ಶನ ನೀಡಿ.
ಫಲಿತಾಂಶಗಳನ್ನು ನೈಜ ಸಮಯದಲ್ಲಿ ತಲುಪಿಸಲಾಗುತ್ತದೆ, ಆಗಾಗ್ಗೆ ಕ್ಲೌಡ್ ಸಹಾಯವಿಲ್ಲದೆ.

ಸಂಯೋಜಿಸುವ ಮೂಲಕ ಕಡಿಮೆ-ವಿಳಂಬ ಕಾರ್ಯಗತಗೊಳಿಸುವಿಕೆ, ಇಂಧನ-ಸಮರ್ಥ ವಿನ್ಯಾಸ, ಮತ್ತು ಮೀಸಲಾದ AI ತರ್ಕ, NPUಗಳು ಸಾಧನಗಳನ್ನು ಚಲಾಯಿಸಲು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತವೆ ಸಂಕೀರ್ಣ AI ಮಾದರಿಗಳು ಸ್ಥಳೀಯವಾಗಿ. ಇದು ಅವುಗಳನ್ನು ಅನಿವಾರ್ಯವಾಗಿಸುತ್ತದೆ ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್, ಸ್ಮಾರ್ಟ್ ಸಾಧನಗಳು, ಮತ್ತು ಕೈಗಾರಿಕಾ AI ಅನ್ವಯಿಕೆಗಳು ಎಲ್ಲಿ ನೈಜ-ಸಮಯದ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವಿಕೆ ನಿರ್ಣಾಯಕವಾಗಿದೆ.

NPU ಗಳ ಪ್ರಮುಖ ಪ್ರಯೋಜನಗಳು

ದತ್ತು ನರ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳು (NPUಗಳು) ನಿಯೋಜನೆಯಲ್ಲಿ ಕ್ರಾಂತಿಯನ್ನುಂಟು ಮಾಡಿದೆ AI ನಿರ್ಣಯ ಎರಡರಲ್ಲೂ ಅಂಚಿನ ಸಾಧನಗಳು ಮತ್ತು ಮೋಡದ ಪರಿಸರಗಳು. NPUಗಳು ಒದಗಿಸುತ್ತವೆ ವಿಶೇಷ ಸಂಸ್ಕರಣಾ ವಾಸ್ತುಶಿಲ್ಪ ಇದು ಸಾಂಪ್ರದಾಯಿಕಕ್ಕಿಂತ ಗಮನಾರ್ಹ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ಇಂಧನ ದಕ್ಷತೆಯ ಲಾಭಗಳನ್ನು ಶಕ್ತಗೊಳಿಸುತ್ತದೆ ಸಿಪಿಯು ಮತ್ತು ಜಿಪಿಯು ಕಾರ್ಯಗತಗೊಳಿಸುವಾಗ ಪರಿಹಾರಗಳು ಆಳವಾದ ಕಲಿಕೆಯ ಮಾದರಿಗಳು.

NPU ಗಳನ್ನು ಬಳಸುವ ಪ್ರಮುಖ ಪ್ರಯೋಜನಗಳು:

AI ನಿರ್ಣಯಕ್ಕಾಗಿ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆ
NPU ಗಳು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ನಿರ್ಮಿಸಲ್ಪಟ್ಟಿವೆ AI ಕೆಲಸದ ಹೊರೆಗಳು, ಕಾರ್ಯಗತಗೊಳಿಸುವುದು ನರಮಂಡಲ ಜಾಲ ಕಾರ್ಯಾಚರಣೆಗಳು ಹೆಚ್ಚಿನ ವೇಗ ಮತ್ತು ಕಡಿಮೆ ಸುಪ್ತತೆಯೊಂದಿಗೆ. ಅವರು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತಾರೆ ಸಮಾನಾಂತರ ಟೆನ್ಸರ್ ಲೆಕ್ಕಾಚಾರಗಳು ಪರಿಣಾಮಕಾರಿಯಾಗಿ, ಅನ್ವಯಿಕೆಗಳಲ್ಲಿ ನೈಜ-ಸಮಯದ ಒಳನೋಟಗಳನ್ನು ತಲುಪಿಸುವುದು ವಸ್ತು ಪತ್ತೆ, ಚಿತ್ರ ವಿಭಜನೆ, ಮತ್ತು ಭಾಷಣ ಗುರುತಿಸುವಿಕೆ.
ಇಂಧನ ದಕ್ಷತೆ
NPUಗಳು GPU ಗಳಿಗಿಂತ ಗಮನಾರ್ಹವಾಗಿ ಕಡಿಮೆ ಶಕ್ತಿಯನ್ನು ಬಳಸುತ್ತವೆ, ಏಕೆಂದರೆ ಅವುಗಳ ಕಡಿಮೆ ನಿಖರತೆಯ ಅಂಕಗಣಿತ (ಉದಾ, INT8, FP16) ಮತ್ತು ಅತ್ಯುತ್ತಮವಾದ ವಾಸ್ತುಶಿಲ್ಪ. ಇದು ಅವುಗಳನ್ನು ಸೂಕ್ತವಾಗಿಸುತ್ತದೆ ಮೊಬೈಲ್ AI ಮತ್ತು IoT ಸಾಧನಗಳು ಎಲ್ಲಿ ಬ್ಯಾಟರಿ ಬಾಳಿಕೆ ಮತ್ತು ಉಷ್ಣ ಮಿತಿಗಳು ನಿರ್ಣಾಯಕವಾಗಿವೆ.
ಸಾಧನದಲ್ಲಿನ AI ಸಾಮರ್ಥ್ಯಗಳು
ಸಕ್ರಿಯಗೊಳಿಸುವ ಮೂಲಕ ಸ್ಥಳೀಯ ಅನುಮಾನ, NPUಗಳು ಕ್ಲೌಡ್ ಸಂಸ್ಕರಣೆಯ ಅಗತ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ, ಸುಧಾರಿಸುತ್ತವೆ ಡೇಟಾ ಗೌಪ್ಯತೆ, ಪ್ರತಿಕ್ರಿಯೆ ಸಮಯ, ಮತ್ತು ನೆಟ್‌ವರ್ಕ್ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ದಕ್ಷತೆ.
ಸಾಂದ್ರ ಮತ್ತು ಸ್ಕೇಲೆಬಲ್ ವಿನ್ಯಾಸ
NPU ಗಳನ್ನು ಇವುಗಳಲ್ಲಿ ಸಂಯೋಜಿಸಬಹುದು ಸಿಸ್ಟಮ್-ಆನ್-ಚಿಪ್ (SoC) ತಯಾರಕರಿಗೆ ಎಂಬೆಡ್ ಮಾಡಲು ಅನುವು ಮಾಡಿಕೊಡುವ ವಿನ್ಯಾಸಗಳು AI ವೇಗವರ್ಧಕಗಳು ನಂತಹ ಸಾಂದ್ರೀಕೃತ ಸಾಧನಗಳಾಗಿ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು, ಧರಿಸಬಹುದಾದ ವಸ್ತುಗಳು, ಅಂಚಿನ ಗೇಟ್‌ವೇಗಳು, ಮತ್ತು ಸ್ವಾಯತ್ತ ವ್ಯವಸ್ಥೆಗಳು.

ಹೋಲಿಕೆ ಕೋಷ್ಟಕ: NPU vs. GPU ಮತ್ತು CPU

ವೈಶಿಷ್ಟ್ಯ	ಎನ್‌ಪಿಯು	ಜಿಪಿಯು	ಸಿಪಿಯು
ಉದ್ದೇಶ	AI ನಿರ್ಣಯ	ಗ್ರಾಫಿಕ್ಸ್, ಸಾಮಾನ್ಯ AI	ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಕಂಪ್ಯೂಟಿಂಗ್
ವಿದ್ಯುತ್ ದಕ್ಷತೆ	⭐⭐⭐⭐⭐	⭐⭐	⭐ ದಶಾ
ಸುಪ್ತತೆ (ನೈಜ ಸಮಯ)	ಕಡಿಮೆ	ಮಧ್ಯಮ	ಹೆಚ್ಚಿನ
ಸಮಾನಾಂತರ AI ಕೆಲಸದ ಹೊರೆಗಳು	ಅತ್ಯುತ್ತಮ	ತುಂಬಾ ಒಳ್ಳೆಯದು	ಸೀಮಿತ
ಆದರ್ಶ ಬಳಕೆಯ ಸಂದರ್ಭ	ಎಡ್ಜ್ AI, ಮೊಬೈಲ್ AI	AI ತರಬೇತಿ, ಗ್ರಾಫಿಕ್ಸ್	ನಿಯಂತ್ರಣ ತರ್ಕ, OS ಕಾರ್ಯಗಳು

NPU ಗಳನ್ನು AI ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಪರಿಹಾರಗಳಲ್ಲಿ ಸಂಯೋಜಿಸುವ ಮೂಲಕ, ವ್ಯವಹಾರಗಳು ಕಡಿಮೆ ಕಾರ್ಯಾಚರಣೆಯ ವೆಚ್ಚದೊಂದಿಗೆ ಹೆಚ್ಚಿನ ವೇಗದ ಯಂತ್ರ ಕಲಿಕೆಯ ತೀರ್ಮಾನವನ್ನು ಅನ್ಲಾಕ್ ಮಾಡಬಹುದು, ಇದು NPU ಗಳನ್ನು ಮುಂದಿನ ಪೀಳಿಗೆಯ AI ಹಾರ್ಡ್‌ವೇರ್‌ನ ಅಡಿಪಾಯವನ್ನಾಗಿ ಮಾಡುತ್ತದೆ.

NPU vs. CPU, GPU, ಮತ್ತು TPU: ತುಲನಾತ್ಮಕ ವಿಶ್ಲೇಷಣೆ

ಅಗತ್ಯಕ್ಕೆ ತಕ್ಕಂತೆ ನೈಜ-ಸಮಯದ AI ನಿರ್ಣಯ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಮತ್ತು ಸ್ವಾಯತ್ತ ವಾಹನಗಳಿಂದ ಹಿಡಿದು ಕೈಗಾರಿಕಾ ರೊಬೊಟಿಕ್ಸ್‌ವರೆಗೆ ಸಾಧನಗಳಲ್ಲಿ ಬೆಳೆಯುತ್ತದೆ - ಈ ಕೆಲಸದ ಹೊರೆಗಳನ್ನು ಯಾವ ಪ್ರೊಸೆಸರ್ ಉತ್ತಮವಾಗಿ ನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬ ಚರ್ಚೆ ತೀವ್ರಗೊಳ್ಳುತ್ತದೆ. CPUಗಳು, GPU ಗಳು, TPUಗಳು, ಮತ್ತು NPUಗಳು ಎಲ್ಲರೂ ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದು ಯಂತ್ರ ಕಲಿಕೆ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುವಾಗ, ಅವುಗಳನ್ನು ವಿಭಿನ್ನ ಉದ್ದೇಶಗಳಿಗಾಗಿ ಅತ್ಯುತ್ತಮವಾಗಿಸಲಾಗಿದೆ. ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಆಯ್ಕೆಮಾಡುವಾಗ ಈ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಬಹಳ ಮುಖ್ಯ. AI ಅನ್ವಯಿಕೆಗಳು, ವಿಶೇಷವಾಗಿ ಅಂಚು.

ಸಿಪಿಯು (ಕೇಂದ್ರ ಸಂಸ್ಕರಣಾ ಘಟಕ)

ದಿ ಸಿಪಿಯು ಇದು ಅತ್ಯಂತ ಬಹುಮುಖ ಪ್ರೊಸೆಸರ್ ಆಗಿ ಉಳಿದಿದೆ. ಇದು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಕಂಪ್ಯೂಟಿಂಗ್ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಅವುಗಳಲ್ಲಿ ಆಪರೇಟಿಂಗ್ ಸಿಸ್ಟಮ್ ಕಾರ್ಯಗಳು, I/O ನಿರ್ವಹಣೆ, ಮತ್ತು ಅನುಕ್ರಮ ತರ್ಕ. CPUಗಳು ತಾಂತ್ರಿಕವಾಗಿ AI ನಿರ್ಣಯವನ್ನು ನಿರ್ವಹಿಸಬಹುದಾದರೂ, ಅವುಗಳನ್ನು ಸಮಾನಾಂತರ ಸಂಸ್ಕರಣೆ ನರಮಂಡಲಗಳಿಗೆ ಅಗತ್ಯವಿರುವ.

GPU (ಗ್ರಾಫಿಕ್ಸ್ ಸಂಸ್ಕರಣಾ ಘಟಕ)

ಆರಂಭದಲ್ಲಿ ಚಿತ್ರಗಳು ಮತ್ತು ವೀಡಿಯೊಗಳನ್ನು ರೆಂಡರಿಂಗ್ ಮಾಡಲು ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿದೆ, ಜಿಪಿಯು ಗೆ ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿ ಎಂದು ಸಾಬೀತಾಗಿದೆ ಸಮಾನಾಂತರ ಕಾರ್ಯಾಚರಣೆಗಳು, ಇದು ಎರಡಕ್ಕೂ ಸೂಕ್ತವಾಗಿದೆ AI ತರಬೇತಿ ಮತ್ತು ತೀರ್ಮಾನ. GPUಗಳು ಅತ್ಯುತ್ತಮವಾಗಿವೆ ಡೇಟಾ ಸೆಂಟರ್ ಪರಿಸರಗಳು, ಅಲ್ಲಿ ವಿದ್ಯುತ್ ಬಳಕೆ ಮತ್ತು ಸ್ಥಳಾವಕಾಶ ಕಡಿಮೆ ನಿರ್ಬಂಧಿತವಾಗಿರುತ್ತದೆ.

TPU (ಟೆನ್ಸರ್ ಸಂಸ್ಕರಣಾ ಘಟಕ)

ಗೂಗಲ್ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ, ದಿ ಟಿಪಿಯು ಇದಕ್ಕಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ಟೆನ್ಸರ್ ಗಣನೆ AI ಕೆಲಸದ ಹೊರೆಗಳಲ್ಲಿ. ಇದು ಶಕ್ತಿಯುತ ತರಬೇತಿ ಮತ್ತು ನಿರ್ಣಯ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ ಆದರೆ ಪ್ರಾಥಮಿಕವಾಗಿ ಕಂಡುಬರುತ್ತದೆ ಕ್ಲೌಡ್ ಮೂಲಸೌಕರ್ಯ ಅಥವಾ ಎಂಟರ್‌ಪ್ರೈಸ್-ಗ್ರೇಡ್ ಹಾರ್ಡ್‌ವೇರ್.

NPU (ನರ ಸಂಸ್ಕರಣಾ ಘಟಕ)

ಮೊದಲಿನಿಂದಲೂ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ AI ನಿರ್ಣಯ, ದಿ ಎನ್‌ಪಿಯು ಪ್ರತಿ ವ್ಯಾಟ್‌ಗೆ ಸರಿಸಾಟಿಯಿಲ್ಲದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ. ಇದು ಈಗ ವ್ಯಾಪಕವಾಗಿ ಹುದುಗಿದೆ ಸಿಸ್ಟಮ್-ಆನ್-ಚಿಪ್ (SoC) ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು, AI ಅಂಚಿನ ಸಾಧನಗಳು ಮತ್ತು ಸ್ವಾಯತ್ತ ಯಂತ್ರಗಳಲ್ಲಿ ವಿನ್ಯಾಸಗಳು.

ಪ್ರೊಸೆಸರ್ ಹೋಲಿಕೆ ಕೋಷ್ಟಕ

ವೈಶಿಷ್ಟ್ಯ	ಸಿಪಿಯು	ಜಿಪಿಯು	ಟಿಪಿಯು	ಎನ್‌ಪಿಯು
ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ	ಸಾಮಾನ್ಯ ಉದ್ದೇಶ	ಗ್ರಾಫಿಕ್ಸ್ ಮತ್ತು AI	ಟೆನ್ಸರ್ ಓಪ್ಸ್	AI ನಿರ್ಣಯ
AI ತರಬೇತಿ	ಕಳಪೆ	ಅತ್ಯುತ್ತಮ	ತುಂಬಾ ಒಳ್ಳೆಯದು	ಸೀಮಿತ
AI ನಿರ್ಣಯ	ಸೀಮಿತ	ಒಳ್ಳೆಯದು	ಅತ್ಯುತ್ತಮ	ಅತ್ಯುತ್ತಮ
ವಿದ್ಯುತ್ ದಕ್ಷತೆ	ಕಡಿಮೆ	ಮಧ್ಯಮ	ಕಡಿಮೆ	ಹೆಚ್ಚಿನ
ವಿಳಂಬ (ಅಂಚಿನ ಕಾರ್ಯಗಳು)	ಹೆಚ್ಚಿನ	ಮಧ್ಯಮ	ಕಡಿಮೆ	ತುಂಬಾ ಕಡಿಮೆ
ಮೊಬೈಲ್/IoT ಸೂಕ್ತತೆ	ಕಳಪೆ	ಕಳಪೆ	ಸೀಮಿತ	ಅತ್ಯುತ್ತಮ
ಫ್ರೇಮ್‌ವರ್ಕ್ ಬೆಂಬಲ	ವಿಶಾಲ	ವಿಶಾಲ	ಕಿರಿದು (ಗೂಗಲ್)	ಮಧ್ಯಮ (ಬದಲಾಗುತ್ತದೆ)

ಪ್ರಮುಖ ಅಂಶಗಳು:

GPU ಗಳು ಆದ್ಯತೆ ನೀಡಲಾಗಿದೆ AI ಮಾದರಿ ತರಬೇತಿ ಮತ್ತು ಕ್ಲೌಡ್ ಕಂಪ್ಯೂಟಿಂಗ್.
TPUಗಳು ಮೋಡ-ಕೇಂದ್ರಿತ ಮತ್ತು ಅತ್ಯುತ್ತಮವಾದವುಗಳು ಗೂಗಲ್ AI ಪರಿಸರ ವ್ಯವಸ್ಥೆ.
CPUಗಳು ಸಾಮಾನ್ಯವಾದಿಗಳು, ಆಳವಾದ ಕಲಿಕೆಗೆ ಸೂಕ್ತವಲ್ಲ.
NPUಗಳು ಇವುಗಳಿಗೆ ಸೂಕ್ತವಾದ ಆಯ್ಕೆಗಳು ಸಾಧನದಲ್ಲಿನ AI, ನೀಡುತ್ತಿದೆ ವೇಗ, ದಕ್ಷತೆ ಮತ್ತು ಕಡಿಮೆ ಶಕ್ತಿಯ ಅತ್ಯುತ್ತಮ ಸಮತೋಲನ ತೀರ್ಮಾನದ ಕೆಲಸದ ಹೊರೆಗಳಿಗಾಗಿ.

AI ಮುಂದುವರಿಯುತ್ತಿದ್ದಂತೆ ಅಂಚು, NPU ಅತ್ಯಂತ ಕಾರ್ಯಸಾಧ್ಯವಾದ ದೀರ್ಘಕಾಲೀನ ಪರಿಹಾರವಾಗಿ ಎದ್ದು ಕಾಣುತ್ತದೆ ನೈಜ-ಸಮಯದ, ಎಂಬೆಡೆಡ್ ಯಂತ್ರ ಕಲಿಕೆ.

NPU ಗಳನ್ನು ಎಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ? ಪ್ರಮುಖ ಅನ್ವಯಿಕೆಗಳು

ನರ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳು (NPUಗಳು) ಈಗ ವ್ಯಾಪಕ ಶ್ರೇಣಿಯಲ್ಲಿ ಮೂಲಭೂತ ಅಂಶವಾಗಿದೆ AI-ಚಾಲಿತ ತಂತ್ರಜ್ಞಾನಗಳು, ವಿಶೇಷವಾಗಿ ಅಗತ್ಯವಿರುವವರು ಸಾಧನದಲ್ಲಿನ ನಿರ್ಣಯ, ಕಡಿಮೆ ವಿದ್ಯುತ್ ಬಳಕೆ, ಮತ್ತು ನೈಜ-ಸಮಯದ ಪ್ರತಿಕ್ರಿಯೆ. ಕೈಗಾರಿಕೆಗಳು ಏಕೀಕರಣಗೊಳ್ಳುವುದನ್ನು ಮುಂದುವರಿಸಿದಂತೆ ಕೃತಕ ಬುದ್ಧಿಮತ್ತೆ ಅವುಗಳ ಕೆಲಸದ ಹರಿವುಗಳಲ್ಲಿ, NPU ಗಳನ್ನು ಎರಡರಲ್ಲೂ ಅಳವಡಿಸಿಕೊಳ್ಳಲಾಗುತ್ತಿದೆ ಗ್ರಾಹಕ ಎಲೆಕ್ಟ್ರಾನಿಕ್ಸ್ ಮತ್ತು ಕೈಗಾರಿಕಾ ವ್ಯವಸ್ಥೆಗಳು.

1. ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಮತ್ತು ಮೊಬೈಲ್ ಸಾಧನಗಳು

ಆಧುನಿಕ ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಮುಂದುವರಿದ ಯೂನಿಟ್‌ಗಳಿಗೆ ವಿದ್ಯುತ್ ಒದಗಿಸಲು NPU ಗಳನ್ನು ಅಳವಡಿಸಲಾಗಿದೆ. AI ವೈಶಿಷ್ಟ್ಯಗಳು ಉದಾಹರಣೆಗೆ:

ಮುಖ ಗುರುತಿಸುವಿಕೆ (ಉದಾ, ಬಯೋಮೆಟ್ರಿಕ್ ದೃಢೀಕರಣ)
ಫೋಟೋ ವರ್ಧನೆ ಮತ್ತು ವಸ್ತು ಪತ್ತೆ ಕ್ಯಾಮೆರಾ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ
ಧ್ವನಿ ಸಹಾಯಕರು ಮತ್ತು ಭಾಷಾ ಅನುವಾದ
ವರ್ಧಿತ ರಿಯಾಲಿಟಿ (AR) ನೈಜ ಸಮಯದಲ್ಲಿ ರೆಂಡರಿಂಗ್

ಪ್ರಮುಖ ಮೊಬೈಲ್ ಚಿಪ್‌ಸೆಟ್‌ಗಳು ನಂತಹವು ಆಪಲ್‌ನ ಎ-ಸರಣಿಯ ನರ ಎಂಜಿನ್, ಕ್ವಾಲ್ಕಾಮ್ ಸ್ನಾಪ್‌ಡ್ರಾಗನ್, ಮತ್ತು ಹುವಾವೇ ಕಿರಿನ್ SoC ಪರಿಣಾಮಕಾರಿತ್ವಕ್ಕಾಗಿ NPU ಗಳನ್ನು ಸಂಯೋಜಿಸಿ ಅಂಚಿನ AI ಸಂಸ್ಕರಣೆ.

2. ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್ ಮತ್ತು IoT

ಜಗತ್ತಿನಲ್ಲಿ ಅಂಚಿನ AI, NPUಗಳು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತವೆ ಸ್ಮಾರ್ಟ್ ಕ್ಯಾಮೆರಾಗಳು, ಧರಿಸಬಹುದಾದ ಸಾಧನಗಳು, ಮತ್ತು ಮನೆ ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಕೇಂದ್ರಗಳು ಸಂಕೀರ್ಣವನ್ನು ಚಲಾಯಿಸಲು ಯಂತ್ರ ಕಲಿಕೆ ಮಾದರಿಗಳು ಸ್ಥಳೀಯವಾಗಿ. ಇದು ಕ್ಲೌಡ್ ಸರ್ವರ್‌ಗಳ ಮೇಲಿನ ಅವಲಂಬನೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ವೇಗವಾಗಿ ಖಚಿತಪಡಿಸುತ್ತದೆ ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವುದು, ಸೀಮಿತ ಸಂಪರ್ಕ ಹೊಂದಿರುವ ಪರಿಸರಗಳಲ್ಲಿಯೂ ಸಹ.

3. ಆಟೋಮೋಟಿವ್ ಮತ್ತು ರೊಬೊಟಿಕ್ಸ್

NPU ಗಳನ್ನು ಹೆಚ್ಚಾಗಿ ನಿಯೋಜಿಸಲಾಗುತ್ತಿದೆ ಸ್ವಾಯತ್ತ ವಾಹನಗಳು ಮತ್ತು ರೊಬೊಟಿಕ್ಸ್ ವ್ಯವಸ್ಥೆಗಳು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು:

ಸಂವೇದಕ ಸಮ್ಮಿಳನ
ಲೇನ್ ಪತ್ತೆ
ಪಾದಚಾರಿ ಗುರುತಿಸುವಿಕೆ
ಧ್ವನಿ ಆಜ್ಞೆ ವ್ಯವಸ್ಥೆಗಳು

ವಾಹನ ಅಥವಾ ರೋಬೋಟ್ ಮೇಲೆ ನೇರವಾಗಿ ಅನುಮಾನವನ್ನು ಚಲಾಯಿಸುವ ಮೂಲಕ, NPU ಗಳು ಖಚಿತಪಡಿಸುತ್ತವೆ ನೈಜ-ಸಮಯದ ಸಂಸ್ಕರಣೆ ಕನಿಷ್ಠ ಸುಪ್ತತೆಯೊಂದಿಗೆ.

4. ಕೈಗಾರಿಕಾ ಮತ್ತು ಆರೋಗ್ಯ AI

NPU ಗಳನ್ನು ಸಹ ಬಳಸಲಾಗುತ್ತದೆ ಕಾರ್ಖಾನೆ ಯಾಂತ್ರೀಕರಣ, ಮುನ್ಸೂಚಕ ನಿರ್ವಹಣೆ, ಮತ್ತು ವೈದ್ಯಕೀಯ ಚಿತ್ರಣ. ಇನ್ ಸ್ಮಾರ್ಟ್ ಉತ್ಪಾದನೆ, NPUಗಳು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತವೆ AI ದೃಷ್ಟಿ ವ್ಯವಸ್ಥೆಗಳು ಹೆಚ್ಚಿನ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್ ಕ್ಲೌಡ್ ಸಂಪರ್ಕಗಳ ಅಗತ್ಯವಿಲ್ಲದೆ ದೋಷಗಳನ್ನು ಗುರುತಿಸಲು, ವಸ್ತುಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರಂತರವಾಗಿ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು.

ಪ್ರಮುಖ NPU ಹಾರ್ಡ್‌ವೇರ್ ಮಾರಾಟಗಾರರು ಮತ್ತು ಪರಿಸರ ವ್ಯವಸ್ಥೆಗಳು

ಬೆಳವಣಿಗೆ ಅಂಚಿನಲ್ಲಿ AI ಗಮನಾರ್ಹ ಹೂಡಿಕೆಗಳಿಗೆ ಕಾರಣವಾಗಿದೆ NPU ಹಾರ್ಡ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿ ಪ್ರಮುಖ ತಂತ್ರಜ್ಞಾನ ಕಂಪನಿಗಳಿಂದ. ಈ ಮಾರಾಟಗಾರರು ಭೂದೃಶ್ಯವನ್ನು ರೂಪಿಸುತ್ತಿದ್ದಾರೆ ಎಂಬೆಡೆಡ್ AI ಉದ್ದೇಶಿತ ಪರಿಹಾರಗಳನ್ನು ಅತ್ಯುತ್ತಮವಾಗಿಸುವುದರ ಮೂಲಕ ನಿರ್ಣಯ ವೇಗ, ವಿದ್ಯುತ್ ದಕ್ಷತೆ, ಮತ್ತು ಏಕೀಕರಣ ನಮ್ಯತೆ. ಪ್ರತಿಯೊಂದು ಬ್ರ್ಯಾಂಡ್ ತನ್ನದೇ ಆದ NPU ವಾಸ್ತುಶಿಲ್ಪ, ಟೂಲ್‌ಚೈನ್ ಮತ್ತು ಪರಿಸರ ವ್ಯವಸ್ಥೆಯ ಬೆಂಬಲ.

1. ಆಪಲ್ - ನರ ಎಂಜಿನ್

ಆಪಲ್ ನ ನರ ಎಂಜಿನ್, ಅದರೊಳಗೆ ಸಂಯೋಜಿಸಲಾಗಿದೆ ಎ-ಸರಣಿ ಮತ್ತು ಎಂ-ಸರಣಿ ಚಿಪ್‌ಗಳು, ಐಫೋನ್‌ಗಳು, ಐಪ್ಯಾಡ್‌ಗಳು ಮತ್ತು ಮ್ಯಾಕ್‌ಗಳಲ್ಲಿ ಸುಧಾರಿತ AI ಕಾರ್ಯಗಳಿಗೆ ಶಕ್ತಿ ನೀಡುತ್ತದೆ. ಇದು ಇವುಗಳನ್ನು ನೀಡುತ್ತದೆ:

ನೈಜ-ಸಮಯ ಮುಖ ಗುರುತಿಸುವಿಕೆ
ಸಾಧನದಲ್ಲಿನ ಸಿರಿ ಸಂಸ್ಕರಣೆ
ಸ್ಮಾರ್ಟ್ ಫೋಟೋ ಮತ್ತು ವೀಡಿಯೊ ವರ್ಧನೆಗಳು

2. ಹುವಾವೇ - ಡಾ ವಿನ್ಸಿ ಆರ್ಕಿಟೆಕ್ಚರ್

ಹುವಾವೇ ಅಸೆಂಡ್ NPUಗಳು ಮತ್ತು ಡಾ ವಿನ್ಸಿ ವಾಸ್ತುಶಿಲ್ಪ ಅದರ ಕೇಂದ್ರಬಿಂದುವಾಗಿದೆ ಕಿರಿನ್ SoC ಗಳು ಮತ್ತು AI ಮೂಲಸೌಕರ್ಯ:

ವೇಗವರ್ಧಿತ AI ನಿರ್ಣಯ ಮೊಬೈಲ್ ಸಾಧನಗಳು
ನಿಯೋಜನೆ ಡೇಟಾ ಕೇಂದ್ರಗಳು ಎಂಟರ್‌ಪ್ರೈಸ್ AI ಗಾಗಿ
ಬೆಂಬಲಿಸುತ್ತದೆ ಮೈಂಡ್‌ಸ್ಪೋರ್ AI ಚೌಕಟ್ಟು

3. ಕ್ವಾಲ್ಕಾಮ್ - AI ಎಂಜಿನ್ ಹೊಂದಿರುವ ಹೆಕ್ಸಾಗನ್ DSP

ಕ್ವಾಲ್ಕಾಮ್‌ನ ಷಡ್ಭುಜಾಕೃತಿಯ DSP + AI ಎಂಜಿನ್ ಸ್ನಾಪ್‌ಡ್ರಾಗನ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳಲ್ಲಿ ಎಂಬೆಡ್ ಮಾಡಲಾಗಿದ್ದು, ಇವುಗಳನ್ನು ನೀಡುತ್ತದೆ:

AI ವೇಗವರ್ಧನೆ Android ಅಪ್ಲಿಕೇಶನ್‌ಗಳಿಗಾಗಿ
ಪರಿಣಾಮಕಾರಿ ಸಾಧನದಲ್ಲಿನ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಿಕೆ
ಇದರೊಂದಿಗೆ ಹೊಂದಾಣಿಕೆ ಟೆನ್ಸರ್‌ಫ್ಲೋ ಲೈಟ್ ಮತ್ತು ಒಎನ್ಎನ್ಎಕ್ಸ್

4. ಗೂಗಲ್ - ಎಡ್ಜ್ ಟಿಪಿಯು

ದಿ ಎಡ್ಜ್ ಟಿಪಿಯು, Google ನ ಭಾಗ ಹವಳದ ವೇದಿಕೆ, ಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ IoT ಮತ್ತು ಅಂಚಿನ ನಿಯೋಜನೆಗಳು:

ಇದಕ್ಕಾಗಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲಾಗಿದೆ ಟೆನ್ಸರ್‌ಫ್ಲೋ ಲೈಟ್
ಅತಿ ಕಡಿಮೆ ಶಕ್ತಿಯ AI ನಿರ್ಣಯ
ಕಾಂಪ್ಯಾಕ್ಟ್ ಫಾರ್ಮ್ ಫ್ಯಾಕ್ಟರ್ ಸ್ಮಾರ್ಟ್ ಸೆನ್ಸರ್‌ಗಳು ಮತ್ತು ದ್ವಾರಗಳು

5. NVIDIA - NVDLA ಮತ್ತು ಜೆಟ್ಸನ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್

NVIDIA ಗಳು ಎನ್‌ವಿಡಿಎಲ್‌ಎ (ಡೀಪ್ ಲರ್ನಿಂಗ್ ಆಕ್ಸಿಲರೇಟರ್) ಮತ್ತು ಜೆಟ್ಸನ್ ಸರಣಿ ಹೆಚ್ಚಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ AI ಕಂಪ್ಯೂಟಿಂಗ್ ಅನ್ನು ಒದಗಿಸಿ:

ಬಳಸಲಾಗಿದೆ ರೊಬೊಟಿಕ್ಸ್, ಡ್ರೋನ್‌ಗಳು, ಮತ್ತು ಸ್ವಾಯತ್ತ ಯಂತ್ರಗಳು
ಬೆಂಬಲಿಸುತ್ತದೆ ವಿಭಿನ್ನ, ಟೆನ್ಸರ್ ಆರ್‌ಟಿ, ಮತ್ತು ಡೀಪ್‌ಸ್ಟ್ರೀಮ್ SDK

NPU ಗಳ ಸವಾಲುಗಳು ಮತ್ತು ಮಿತಿಗಳು

ಹಾಗೆಯೇ ನರ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳು (NPUಗಳು) ಗಮನಾರ್ಹ ಪ್ರಯೋಜನಗಳನ್ನು ನೀಡುತ್ತವೆ AI ನಿರ್ಣಯ ಕಾರ್ಯಕ್ಷಮತೆ, ವಿದ್ಯುತ್ ದಕ್ಷತೆ, ಮತ್ತು ಎಡ್ಜ್ ಕಂಪ್ಯೂಟಿಂಗ್, ಅವುಗಳು ಮಿತಿಗಳಿಲ್ಲದೆ ಇಲ್ಲ. ಡೆವಲಪರ್‌ಗಳು ಮತ್ತು ಸಿಸ್ಟಮ್ ಇಂಟಿಗ್ರೇಟರ್‌ಗಳು NPU ಗಳನ್ನು ಅಳವಡಿಸಿಕೊಳ್ಳುವಾಗ ಹಲವಾರು ತಾಂತ್ರಿಕ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯ ಸವಾಲುಗಳನ್ನು ಪರಿಗಣಿಸಬೇಕು AI-ಸಕ್ರಿಯಗೊಳಿಸಿದ ಸಾಧನಗಳು.

1. ಫ್ರೇಮ್‌ವರ್ಕ್ ಹೊಂದಾಣಿಕೆ

ಪ್ರಮುಖ ಅಡೆತಡೆಗಳಲ್ಲಿ ಒಂದು ಸೀಮಿತ ಬೆಂಬಲ AI ಚೌಕಟ್ಟುಗಳು. GPU ಗಳಂತಲ್ಲದೆ, ಇದು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ಟೆನ್ಸರ್ ಫ್ಲೋ, ಪೈಟಾರ್ಚ್, ಮತ್ತು ಒಎನ್ಎನ್ಎಕ್ಸ್, NPU ಗಳು ಹೆಚ್ಚಾಗಿ ಅಗತ್ಯವಿರುತ್ತದೆ ಕಸ್ಟಮ್ ಟೂಲ್‌ಚೈನ್‌ಗಳು ಅಥವಾ ಸ್ವಾಮ್ಯದ SDK ಗಳು. ಇದು ಇದಕ್ಕೆ ಕಾರಣವಾಗಬಹುದು:

ದೀರ್ಘ ಅಭಿವೃದ್ಧಿ ಚಕ್ರಗಳು
ತೊಂದರೆ ಮಾದರಿ ಪರಿವರ್ತನೆ ಮತ್ತು ಅತ್ಯುತ್ತಮೀಕರಣ
ಹಾರ್ಡ್‌ವೇರ್ ಮಾರಾಟಗಾರರಲ್ಲಿ ಅಸಮಂಜಸ ಕಾರ್ಯಕ್ಷಮತೆ

2. ಅನುಮಾನ-ಮಾತ್ರ ಸಾಮರ್ಥ್ಯ

ಹೆಚ್ಚಿನ NPU ಗಳನ್ನು ಪ್ರತ್ಯೇಕವಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ ತೀರ್ಮಾನ, ಅಲ್ಲ ತರಬೇತಿ. ಇದರರ್ಥ:

AI ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ನೀಡಬೇಕು GPU ಗಳು ಅಥವಾ TPU ಗಳು
ಯಾವುದೇ ಮರುತರಬೇತಿ ಅಥವಾ ಉತ್ತಮಗೊಳಿಸುವಿಕೆಗೆ ಬಾಹ್ಯ ಮೂಲಸೌಕರ್ಯ ಅಗತ್ಯವಿರುತ್ತದೆ.
ಕಡಿಮೆಯಾದ ನಮ್ಯತೆ ಸಾಧನದಲ್ಲಿನ ಕಲಿಕೆ

3. ಹಾರ್ಡ್‌ವೇರ್ ಏಕೀಕರಣ ನಿರ್ಬಂಧಗಳು

ಎಂಬೆಡೆಡ್ ಸಿಸ್ಟಮ್‌ಗಳಲ್ಲಿ NPU ಗಳನ್ನು ಸಂಯೋಜಿಸುವುದು ಅಥವಾ ಸಿಸ್ಟಮ್-ಆನ್-ಚಿಪ್ (SoC) ವಿನ್ಯಾಸಗಳು ರಾಜಿ ವಿನಿಮಯಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ:

ಸಿಲಿಕಾನ್ ಪ್ರದೇಶದ ಮಿತಿಗಳು
ಉಷ್ಣ ವಿನ್ಯಾಸ ನಿರ್ಬಂಧಗಳು
ಸಂಭಾವ್ಯ ಸಂಘರ್ಷಗಳು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ I/O ಮತ್ತು ಮೆಮೊರಿ ಬ್ಯಾಂಡ್‌ವಿಡ್ತ್

NPU ಗಳು ಮತ್ತು AI ಹಾರ್ಡ್‌ವೇರ್‌ನ ಭವಿಷ್ಯ

ಬೇಡಿಕೆಯಂತೆ ನೈಜ-ಸಮಯದ AI ನಿರ್ಣಯ ಕೈಗಾರಿಕೆಗಳಲ್ಲಿ ಬೆಳೆಯುತ್ತಲೇ ಇದೆ, ಭವಿಷ್ಯ ನರ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳು (NPUಗಳು) ವಿಕಾಸಕ್ಕೆ ಕೇಂದ್ರಬಿಂದುವಾಗಿದೆ ಎಂದು ನಿರೀಕ್ಷಿಸಲಾಗಿದೆ AI ಹಾರ್ಡ್‌ವೇರ್ಈ ವಿಶೇಷ ಸಂಸ್ಕಾರಕಗಳು ಹೆಚ್ಚು ಶಕ್ತಿಶಾಲಿ, ಸಾಂದ್ರ ಮತ್ತು ಶಕ್ತಿ-ಸಮರ್ಥವಾಗುತ್ತಿವೆ - ಮುಂದಿನ ಪೀಳಿಗೆಯ ಪ್ರಮುಖ ಅಂಶವಾಗಿ ಅವುಗಳನ್ನು ಇರಿಸುತ್ತಿವೆ. ಅಂಚಿನ AI ಸಾಧನಗಳು, ಸ್ಮಾರ್ಟ್ ಸೆನ್ಸರ್‌ಗಳು, ಮತ್ತು ಸ್ವಾಯತ್ತ ವ್ಯವಸ್ಥೆಗಳು.

NPU ಅಭಿವೃದ್ಧಿಯಲ್ಲಿ ಉದಯೋನ್ಮುಖ ಪ್ರವೃತ್ತಿಗಳು

ಬಿಗಿಯಾದ SoC ಏಕೀಕರಣ
NPUಗಳು ಹೆಚ್ಚಾಗಿ ಸಂಯೋಜಿಸಲ್ಪಡುತ್ತಿವೆ ಸಿಸ್ಟಮ್-ಆನ್-ಚಿಪ್ (SoC) CPU ಗಳು, GPU ಗಳು ಮತ್ತು ISP ಗಳ ಜೊತೆಗೆ ವಿನ್ಯಾಸಗಳು. ಈ ಏಕೀಕೃತ ವಾಸ್ತುಶಿಲ್ಪವು ವೇಗವಾಗಿ ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ ಡೇಟಾ ಸಂಸ್ಕರಣಾ ಪೈಪ್‌ಲೈನ್‌ಗಳು, ವಿಳಂಬವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ ಮತ್ತು ವ್ಯವಸ್ಥೆಯ ಸಂಕೀರ್ಣತೆಯನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ಹೆಟೆರೋಜೀನಿಯಸ್ ಕಂಪ್ಯೂಟಿಂಗ್‌ಗೆ ಬೆಂಬಲ
ಭವಿಷ್ಯದ NPUಗಳು ಇತರ AI ವೇಗವರ್ಧಕಗಳೊಂದಿಗೆ ಹೆಚ್ಚು ಸರಾಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ, ಕೆಲಸದ ಹೊರೆಗಳನ್ನು ವಿತರಿಸುತ್ತವೆ CPU ಗಳು, GPU ಗಳು ಮತ್ತು TPU ಗಳು ಅತ್ಯುತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಗಾಗಿ.
ಸುಧಾರಿತ ಫ್ರೇಮ್‌ವರ್ಕ್ ಹೊಂದಾಣಿಕೆ
ಮಾರಾಟಗಾರರು ಮುಖ್ಯವಾಹಿನಿಯ AI ಚೌಕಟ್ಟುಗಳಿಗೆ ಬೆಂಬಲವನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದಾರೆ, ಉದಾಹರಣೆಗೆ ಒಎನ್ಎನ್ಎಕ್ಸ್, ಟೆನ್ಸರ್‌ಫ್ಲೋ ಲೈಟ್, ಮತ್ತು ಪೈಟಾರ್ಚ್ ಮೊಬೈಲ್, ಕಡಿಮೆ ಮಾಡುವುದು ಡೆವಲಪರ್ ಕಲಿಕೆಯ ರೇಖೆ ಮತ್ತು ಅಡ್ಡ-ವೇದಿಕೆ ನಿಯೋಜನೆಯನ್ನು ಪ್ರೋತ್ಸಾಹಿಸುವುದು.
ಗ್ರಾಹಕ ಸಾಧನಗಳನ್ನು ಮೀರಿ ವಿಸ್ತರಣೆ
NPUಗಳು ಹೆಚ್ಚಿನ ಪಾತ್ರವನ್ನು ವಹಿಸುತ್ತವೆ ಕೈಗಾರಿಕಾ ಯಾಂತ್ರೀಕರಣ, ಸ್ಮಾರ್ಟ್ ಆರೋಗ್ಯ ರಕ್ಷಣೆ, ಎಡ್ಜ್ ರೊಬೊಟಿಕ್ಸ್, ಕೃಷಿ AI, ಮತ್ತು ಕಣ್ಗಾವಲು ವ್ಯವಸ್ಥೆಗಳು, ಎಲ್ಲಿ ಕಡಿಮೆ-ಶಕ್ತಿ, ಹೆಚ್ಚಿನ-ವೇಗದ ಅನುಮಾನ ನಿರ್ಣಾಯಕವಾಗಿದೆ.

ಕಡೆಗೆ ಸಾಗುತ್ತಿರುವ ಜಗತ್ತಿನಲ್ಲಿ ಸರ್ವವ್ಯಾಪಿ ಬುದ್ಧಿಮತ್ತೆ, NPUಗಳು AI ಅನ್ನು ವೇಗಗೊಳಿಸುವುದಲ್ಲದೆ ಅದನ್ನು ಇನ್ನಷ್ಟು ಹೆಚ್ಚಿಸುತ್ತವೆ ಪ್ರವೇಶಿಸಬಹುದಾದ, ಸಮರ್ಥನೀಯ, ಮತ್ತು ಸುರಕ್ಷಿತರೂಪಿಸುವಲ್ಲಿ ಅವರ ಪಾತ್ರ ಮುಂದಿನ ಪೀಳಿಗೆಯ ಎಂಬೆಡೆಡ್ ವ್ಯವಸ್ಥೆಗಳು, ಇಂದ AI-ಚಾಲಿತ ಕ್ಯಾಮೆರಾಗಳು ಗೆ ಸ್ವಾಯತ್ತ ಸಂಚರಣೆ ವೇದಿಕೆಗಳು, ಹೆಚ್ಚುತ್ತಿರುವ ಪ್ರಾಮುಖ್ಯತೆಯನ್ನು ಒತ್ತಿಹೇಳುತ್ತದೆ ಡೊಮೇನ್-ನಿರ್ದಿಷ್ಟ ಕಂಪ್ಯೂಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್ AI ಯುಗದಲ್ಲಿ.