NPU ਕੀ ਹੈ?

ਮੁੱਖ ਗੱਲਾਂ:

• ਜੀਪੀਯੂ ਲਈ ਤਰਜੀਹੀ ਹਨ ਏਆਈ ਮਾਡਲ ਸਿਖਲਾਈ ਅਤੇ ਕਲਾਉਡ ਕੰਪਿਊਟਿੰਗ.

• ਟੀਪੀਯੂ ਕਲਾਉਡ-ਕੇਂਦ੍ਰਿਤ ਹਨ ਅਤੇ ਦੇ ਅੰਦਰ ਸਭ ਤੋਂ ਵਧੀਆ ਹਨ ਗੂਗਲ ਏਆਈ ਈਕੋਸਿਸਟਮ.

• ਸੀਪੀਯੂ ਜਨਰਲਿਸਟ ਹਨ, ਡੂੰਘੀ ਸਿੱਖਿਆ ਲਈ ਆਦਰਸ਼ ਨਹੀਂ ਹਨ।

• ਐਨਪੀਯੂ ਲਈ ਸਭ ਤੋਂ ਵਧੀਆ ਵਿਕਲਪ ਹਨ ਡਿਵਾਈਸ 'ਤੇ AI, ਦੀ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ ਗਤੀ, ਕੁਸ਼ਲਤਾ, ਅਤੇ ਘੱਟ ਪਾਵਰ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਸੰਤੁਲਨ ਅਨੁਮਾਨ ਵਰਕਲੋਡ ਲਈ।

ਜਿਵੇਂ ਕਿ AI ਅੱਗੇ ਵਧਦਾ ਰਹਿੰਦਾ ਹੈ ਕਿਨਾਰਾ, NPU ਸਭ ਤੋਂ ਵਿਹਾਰਕ ਲੰਬੇ ਸਮੇਂ ਦੇ ਹੱਲ ਵਜੋਂ ਖੜ੍ਹਾ ਹੈ ਰੀਅਲ-ਟਾਈਮ, ਏਮਬੈਡਡ ਮਸ਼ੀਨ ਲਰਨਿੰਗ.

NPU ਕਿੱਥੇ ਵਰਤੇ ਜਾਂਦੇ ਹਨ? ਮੁੱਖ ਐਪਲੀਕੇਸ਼ਨ

ਨਿਊਰਲ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟ (NPUs) ਹੁਣ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਵਿੱਚ ਇੱਕ ਬੁਨਿਆਦੀ ਹਿੱਸਾ ਹਨ ਏਆਈ-ਸੰਚਾਲਿਤ ਤਕਨਾਲੋਜੀਆਂ, ਖਾਸ ਕਰਕੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਲੋੜ ਹੁੰਦੀ ਹੈ ਡਿਵਾਈਸ 'ਤੇ ਅਨੁਮਾਨ, ਘੱਟ ਬਿਜਲੀ ਦੀ ਖਪਤ, ਅਤੇ ਅਸਲ-ਸਮੇਂ ਦੀ ਜਵਾਬਦੇਹੀ. ਜਿਵੇਂ-ਜਿਵੇਂ ਉਦਯੋਗ ਏਕੀਕਰਨ ਕਰਦੇ ਰਹਿੰਦੇ ਹਨ ਬਣਾਵਟੀ ਗਿਆਨ ਉਹਨਾਂ ਦੇ ਵਰਕਫਲੋ ਵਿੱਚ, NPUs ਨੂੰ ਦੋਵਾਂ ਵਿੱਚ ਅਪਣਾਇਆ ਜਾ ਰਿਹਾ ਹੈ ਖਪਤਕਾਰ ਇਲੈਕਟ੍ਰਾਨਿਕਸ ਅਤੇ ਉਦਯੋਗਿਕ ਪ੍ਰਣਾਲੀਆਂ.

1. ਸਮਾਰਟਫੋਨ ਅਤੇ ਮੋਬਾਈਲ ਡਿਵਾਈਸ

ਆਧੁਨਿਕ ਸਮਾਰਟਫ਼ੋਨ ਐਨਪੀਯੂ ਨਾਲ ਲੈਸ ਹਨ ਜੋ ਪਾਵਰ ਐਡਵਾਂਸਡ ਹਨ ਏਆਈ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਜਿਵੇ ਕੀ:

• ਚਿਹਰੇ ਦੀ ਪਛਾਣ (ਉਦਾਹਰਨ ਲਈ, ਬਾਇਓਮੈਟ੍ਰਿਕ ਪ੍ਰਮਾਣੀਕਰਨ)

• ਫੋਟੋ ਵਾਧਾ ਅਤੇ ਵਸਤੂ ਖੋਜ ਕੈਮਰਾ ਐਪਸ ਵਿੱਚ

• ਵੌਇਸ ਅਸਿਸਟੈਂਟ ਅਤੇ ਭਾਸ਼ਾ ਅਨੁਵਾਦ

• ਵਧੀ ਹੋਈ ਹਕੀਕਤ (AR) ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਪੇਸ਼ਕਾਰੀ

ਮੋਹਰੀ ਮੋਬਾਈਲ ਚਿੱਪਸੈੱਟ ਜਿਵੇਂ ਕਿ ਐਪਲ ਦਾ ਏ-ਸੀਰੀਜ਼ ਨਿਊਰਲ ਇੰਜਣ, ਕੁਆਲਕਾਮ ਸਨੈਪਡ੍ਰੈਗਨ, ਅਤੇ ਹੁਆਵੇਈ ਦਾ ਕਿਰਿਨ ਐਸਓਸੀ ਕੁਸ਼ਲਤਾ ਲਈ NPUs ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰੋ ਐਜ ਏਆਈ ਪ੍ਰੋਸੈਸਿੰਗ.

2. ਐਜ ਕੰਪਿਊਟਿੰਗ ਅਤੇ ਆਈਓਟੀ

ਦੀ ਦੁਨੀਆਂ ਵਿੱਚ ਐਜ ਏਆਈ, NPU ਯੋਗ ਕਰਦੇ ਹਨ ਸਮਾਰਟ ਕੈਮਰੇ, ਪਹਿਨਣਯੋਗ ਡਿਵਾਈਸਾਂ, ਅਤੇ ਘਰੇਲੂ ਆਟੋਮੇਸ਼ਨ ਹੱਬ ਗੁੰਝਲਦਾਰ ਚਲਾਉਣ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲ ਸਥਾਨਕ ਤੌਰ 'ਤੇ। ਇਹ ਕਲਾਉਡ ਸਰਵਰਾਂ 'ਤੇ ਨਿਰਭਰਤਾ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਤੇਜ਼ ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਫੈਸਲਾ ਲੈਣਾ, ਸੀਮਤ ਕਨੈਕਟੀਵਿਟੀ ਵਾਲੇ ਵਾਤਾਵਰਣਾਂ ਵਿੱਚ ਵੀ।

3. ਆਟੋਮੋਟਿਵ ਅਤੇ ਰੋਬੋਟਿਕਸ

NPUs ਨੂੰ ਵਧਦੀ ਗਿਣਤੀ ਵਿੱਚ ਤਾਇਨਾਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ ਆਟੋਨੋਮਸ ਵਾਹਨ ਅਤੇ ਰੋਬੋਟਿਕਸ ਸਿਸਟਮ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਲਈ:

• ਸੈਂਸਰ ਫਿਊਜ਼ਨ

• ਲੇਨ ਖੋਜ

• ਪੈਦਲ ਯਾਤਰੀਆਂ ਦੀ ਪਛਾਣ

• ਵੌਇਸ ਕਮਾਂਡ ਸਿਸਟਮ

ਵਾਹਨ ਜਾਂ ਰੋਬੋਟ 'ਤੇ ਸਿੱਧੇ ਅਨੁਮਾਨ ਲਗਾ ਕੇ, NPU ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹਨ ਕਿ ਅਸਲ-ਸਮੇਂ ਦੀ ਪ੍ਰਕਿਰਿਆ ਘੱਟੋ-ਘੱਟ ਲੇਟੈਂਸੀ ਦੇ ਨਾਲ।

4. ਉਦਯੋਗਿਕ ਅਤੇ ਸਿਹਤ ਸੰਭਾਲ AI

NPUs ਦੀ ਵਰਤੋਂ ਇਹਨਾਂ ਵਿੱਚ ਵੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਫੈਕਟਰੀ ਆਟੋਮੇਸ਼ਨ, ਭਵਿੱਖਬਾਣੀ ਸੰਭਾਲ, ਅਤੇ ਮੈਡੀਕਲ ਇਮੇਜਿੰਗ. ਵਿੱਚ ਸਮਾਰਟ ਨਿਰਮਾਣ, NPU ਯੋਗ ਕਰਦੇ ਹਨ ਏਆਈ ਵਿਜ਼ਨ ਸਿਸਟਮ ਉੱਚ-ਬੈਂਡਵਿਡਥ ਕਲਾਉਡ ਕਨੈਕਸ਼ਨਾਂ ਦੀ ਲੋੜ ਤੋਂ ਬਿਨਾਂ ਨੁਕਸਾਂ ਦੀ ਪਛਾਣ ਕਰਨ, ਸਮੱਗਰੀ ਦਾ ਵਰਗੀਕਰਨ ਕਰਨ ਅਤੇ ਕਾਰਜਾਂ ਦੀ ਨਿਰੰਤਰ ਨਿਗਰਾਨੀ ਕਰਨ ਲਈ।

ਪ੍ਰਮੁੱਖ NPU ਹਾਰਡਵੇਅਰ ਵਿਕਰੇਤਾ ਅਤੇ ਈਕੋਸਿਸਟਮ

ਦਾ ਵਾਧਾ ਕਿਨਾਰੇ 'ਤੇ AI ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਨਿਵੇਸ਼ ਹੋਇਆ ਹੈ NPU ਹਾਰਡਵੇਅਰ ਵਿਕਾਸ ਵੱਡੀਆਂ ਤਕਨੀਕੀ ਕੰਪਨੀਆਂ ਦੁਆਰਾ। ਇਹ ਵਿਕਰੇਤਾ ਦੇ ਲੈਂਡਸਕੇਪ ਨੂੰ ਆਕਾਰ ਦੇ ਰਹੇ ਹਨ ਏਮਬੈਡਡ AI ਲਈ ਅਨੁਕੂਲਿਤ ਉਦੇਸ਼-ਨਿਰਮਿਤ ਹੱਲ ਪੇਸ਼ ਕਰਕੇ ਅਨੁਮਾਨ ਗਤੀ, ਪਾਵਰ ਕੁਸ਼ਲਤਾ, ਅਤੇ ਏਕੀਕਰਨ ਲਚਕਤਾ. ਹਰੇਕ ਬ੍ਰਾਂਡ ਦਾ ਆਪਣਾ ਹੁੰਦਾ ਹੈ NPU ਆਰਕੀਟੈਕਚਰ, ਟੂਲਚੇਨ, ਅਤੇ ਈਕੋਸਿਸਟਮ ਸਹਾਇਤਾ।

1. ਐਪਲ - ਨਿਊਰਲ ਇੰਜਣ

ਐਪਲ ਦਾ ਨਿਊਰਲ ਇੰਜਣ, ਇਸਦੇ ਵਿੱਚ ਏਕੀਕ੍ਰਿਤ ਏ-ਸੀਰੀਜ਼ ਅਤੇ ਐਮ-ਸੀਰੀਜ਼ ਚਿਪਸ, ਆਈਫੋਨ, ਆਈਪੈਡ ਅਤੇ ਮੈਕ ਵਿੱਚ ਉੱਨਤ AI ਕਾਰਜਾਂ ਨੂੰ ਸ਼ਕਤੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਇਹ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ:

• ਅਸਲੀ ਸਮਾਂ ਚਿਹਰੇ ਦੀ ਪਛਾਣ

• ਡਿਵਾਈਸ 'ਤੇ Siri ਪ੍ਰਕਿਰਿਆ ਹੋ ਰਹੀ ਹੈ

• ਸਮਾਰਟ ਫੋਟੋ ਅਤੇ ਵੀਡੀਓ ਸੁਧਾਰ

2. ਹੁਆਵੇਈ – ਦਾ ਵਿੰਚੀ ਆਰਕੀਟੈਕਚਰ

ਹੁਆਵੇਈ ਦਾ ਅਸੈਂਡ NPUs ਅਤੇ ਦਾ ਵਿੰਚੀ ਆਰਕੀਟੈਕਚਰ ਇਸਦੇ ਕੇਂਦਰੀ ਹਨ ਕਿਰਿਨ ਐਸਓਸੀ ਅਤੇ ਏਆਈ ਬੁਨਿਆਦੀ ਢਾਂਚਾ:

• ਐਕਸਲਰੇਟਿਡ AI ਅਨੁਮਾਨ ਵਿੱਚ ਮੋਬਾਈਲ ਡਿਵਾਈਸਾਂ

• ਵਿੱਚ ਤੈਨਾਤੀ ਡਾਟਾ ਸੈਂਟਰ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਏਆਈ ਲਈ

• ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਮਾਈਂਡਸਪੋਰ ਏਆਈ ਫਰੇਮਵਰਕ

3. ਕੁਆਲਕਾਮ - ਏਆਈ ਇੰਜਣ ਦੇ ਨਾਲ ਹੈਕਸਾਗਨ ਡੀਐਸਪੀ

ਕੁਆਲਕਾਮ ਦਾ ਹੈਕਸਾਗਨ ਡੀਐਸਪੀ + ਏਆਈ ਇੰਜਣ ਸਨੈਪਡ੍ਰੈਗਨ ਪਲੇਟਫਾਰਮਾਂ ਵਿੱਚ ਏਮਬੇਡ ਕੀਤਾ ਗਿਆ ਹੈ, ਜੋ ਇਹ ਪੇਸ਼ਕਸ਼ ਕਰਦਾ ਹੈ:

• AI ਪ੍ਰਵੇਗ ਐਂਡਰਾਇਡ ਐਪਾਂ ਲਈ

• ਕੁਸ਼ਲ ਡਿਵਾਈਸ 'ਤੇ ਪ੍ਰਕਿਰਿਆ

• ਨਾਲ ਅਨੁਕੂਲਤਾ ਟੈਂਸਰਫਲੋ ਲਾਈਟ ਅਤੇ ਓ.ਐੱਨ.ਐੱਨ.ਐਕਸ.

4. ਗੂਗਲ - ਐਜ ਟੀਪੀਯੂ

ਦ ਕਿਨਾਰਾ TPU, ਗੂਗਲ ਦਾ ਹਿੱਸਾ ਕੋਰਲ ਪਲੇਟਫਾਰਮ, ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ IoT ਅਤੇ ਕਿਨਾਰੇ ਤੈਨਾਤੀਆਂ:

• ਲਈ ਅਨੁਕੂਲਿਤ ਟੈਂਸਰਫਲੋ ਲਾਈਟ

• ਬਹੁਤ ਘੱਟ ਪਾਵਰ ਵਾਲਾ AI ਅਨੁਮਾਨ

• ਲਈ ਸੰਖੇਪ ਫਾਰਮ ਫੈਕਟਰ ਸਮਾਰਟ ਸੈਂਸਰ ਅਤੇ ਗੇਟਵੇ

5. NVIDIA – NVDLA ਅਤੇ Jetson ਪਲੇਟਫਾਰਮ

ਐਨਵੀਡੀਆ ਦੇ ਐਨਵੀਡੀਐਲਏ (ਡੀਪ ਲਰਨਿੰਗ ਐਕਸਲੇਟਰ) ਅਤੇ ਜੈੱਟਸਨ ਲੜੀ ਉੱਚ-ਪ੍ਰਦਰਸ਼ਨ ਵਾਲੀ AI ਕੰਪਿਊਟਿੰਗ ਪ੍ਰਦਾਨ ਕਰੋ:

• ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਰੋਬੋਟਿਕਸ, ਡਰੋਨ, ਅਤੇ ਖੁਦਮੁਖਤਿਆਰ ਮਸ਼ੀਨਾਂ

• ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਵੱਖਰਾ, ਟੈਂਸਰਆਰਟੀ, ਅਤੇ ਡੀਪਸਟ੍ਰੀਮ SDK

NPUs ਦੀਆਂ ਚੁਣੌਤੀਆਂ ਅਤੇ ਸੀਮਾਵਾਂ

ਜਦੋਂ ਕਿ ਨਿਊਰਲ ਪ੍ਰੋਸੈਸਿੰਗ ਯੂਨਿਟ (NPUs) ਵਿੱਚ ਸ਼ਾਨਦਾਰ ਫਾਇਦੇ ਪੇਸ਼ ਕਰਦੇ ਹਨ AI ਅਨੁਮਾਨ ਪ੍ਰਦਰਸ਼ਨ, ਪਾਵਰ ਕੁਸ਼ਲਤਾ, ਅਤੇ ਐਜ ਕੰਪਿਊਟਿੰਗ, ਉਹ ਸੀਮਾਵਾਂ ਤੋਂ ਬਿਨਾਂ ਨਹੀਂ ਹਨ। ਡਿਵੈਲਪਰਾਂ ਅਤੇ ਸਿਸਟਮ ਇੰਟੀਗ੍ਰੇਟਰਾਂ ਨੂੰ NPUs ਨੂੰ ਅਪਣਾਉਂਦੇ ਸਮੇਂ ਕਈ ਤਕਨੀਕੀ ਅਤੇ ਸੰਚਾਲਨ ਚੁਣੌਤੀਆਂ 'ਤੇ ਵਿਚਾਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਏਆਈ-ਸਮਰਥਿਤ ਡਿਵਾਈਸਾਂ.

1. ਫਰੇਮਵਰਕ ਅਨੁਕੂਲਤਾ

ਮੁੱਖ ਰੁਕਾਵਟਾਂ ਵਿੱਚੋਂ ਇੱਕ ਸੀਮਤ ਸਹਾਇਤਾ ਹੈ ਏਆਈ ਫਰੇਮਵਰਕ. GPUs ਦੇ ਉਲਟ, ਜੋ ਪਲੇਟਫਾਰਮਾਂ ਦੀ ਇੱਕ ਵਿਸ਼ਾਲ ਸ਼੍ਰੇਣੀ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਟੈਂਸਰਫਲੋ, ਪਾਈਟੋਰਚ, ਅਤੇ ਓ.ਐੱਨ.ਐੱਨ.ਐਕਸ., NPUs ਨੂੰ ਅਕਸਰ ਲੋੜ ਹੁੰਦੀ ਹੈ ਕਸਟਮ ਟੂਲਚੇਨ ਜਾਂ ਮਲਕੀਅਤ ਵਾਲੇ SDK। ਇਸ ਨਾਲ ਇਹ ਹੋ ਸਕਦੇ ਹਨ:

• ਵਿਕਾਸ ਦੇ ਲੰਬੇ ਚੱਕਰ

• ਵਿੱਚ ਮੁਸ਼ਕਲ ਮਾਡਲ ਪਰਿਵਰਤਨ ਅਤੇ ਅਨੁਕੂਲਤਾ

• ਹਾਰਡਵੇਅਰ ਵਿਕਰੇਤਾਵਾਂ ਵਿੱਚ ਅਸੰਗਤ ਪ੍ਰਦਰਸ਼ਨ

2. ਸਿਰਫ਼ ਅਨੁਮਾਨ ਸਮਰੱਥਾ

ਜ਼ਿਆਦਾਤਰ NPU ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਇਹਨਾਂ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ ਅਨੁਮਾਨ, ਨਹੀਂ ਸਿਖਲਾਈ. ਇਸ ਦਾ ਮਤਲੱਬ:

• ਏਆਈ ਮਾਡਲਾਂ ਨੂੰ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਣੀ ਚਾਹੀਦੀ ਹੈ GPU ਜਾਂ TPU

• ਕਿਸੇ ਵੀ ਮੁੜ ਸਿਖਲਾਈ ਜਾਂ ਸੁਧਾਰ ਲਈ ਬਾਹਰੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

• ਵਿੱਚ ਲਚਕਤਾ ਘਟੀ ਡਿਵਾਈਸ 'ਤੇ ਸਿਖਲਾਈ

3. ਹਾਰਡਵੇਅਰ ਏਕੀਕਰਣ ਪਾਬੰਦੀਆਂ

ਏਮਬੈਡਡ ਸਿਸਟਮਾਂ ਵਿੱਚ NPUs ਨੂੰ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ ਜਾਂ ਸਿਸਟਮ-ਆਨ-ਚਿੱਪ (SoC) ਡਿਜ਼ਾਈਨਾਂ ਵਿੱਚ ਵਪਾਰ ਸ਼ਾਮਲ ਹੁੰਦਾ ਹੈ:

• ਸਿਲੀਕਾਨ ਖੇਤਰ ਦੀਆਂ ਸੀਮਾਵਾਂ

• ਥਰਮਲ ਡਿਜ਼ਾਈਨ ਪਾਬੰਦੀਆਂ

• ਇਹਨਾਂ ਨਾਲ ਸੰਭਾਵੀ ਟਕਰਾਅ ਮੌਜੂਦਾ I/O ਅਤੇ ਮੈਮੋਰੀ ਬੈਂਡਵਿਡਥ