About npu

about-npu/index.md

@@ -1,11 +1,12 @@
+# NPU, Copilot+ PC и нейросети. Использую NPU в повседневной жизни.
+
 # Введение
 
 Год назад я приобрел ноутбук категории Copilot+ PC с процессором [AMD Ryzen AI 9 HX 370](https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-9-hx-370.html). Тогда такие устройства были в новинку, да и сейчас не сильно распространены. Прошло достаточно времени и теперь хочу рассказать о том, что из себя представляют устройства такого типа.
 
 Статью можно разделить на две части. Сначала расскажу об опыте использования Copilot+ PC и его функций в рамках Windows 11, а потом углубимся в NPU, разберемся что оно из себя представляет и даже проведем тестирование с запуском LLM.
 
-> **Дисклеймер**
+> **Дисклеймер:** Статья написана живым человеком и даже НЕ редактировалась ИИ!
-> Статья написана живым человеком и даже НЕ редактировалась ИИ!
 > Если найдете ошибки, то смело кидайтесь помидорами в этого необразованного, но честного автора.
 
 # Copilot+ PC
@@ -22,7 +23,7 @@ NPU (Neural Processing Unit) - это отдельный сопроцессор,
 
 Вместе с презентацией Copilot+ PC, Microsoft рассказали об ИИ-функциях в Windows 11. И это были самые странные обещания. Да, именно обещания, потому что рассказать - не значит сделать. Часть из представленных функций до сих пор либо нет, либо они в бете и не доступны в РФ.
 
-Все представленные ИИ-функции должны работать локально на устройстве, как раз благодаря тем самым NPU.
+Все представленные ИИ-функции должны работать локально на устройстве, как раз благодаря тому самому NPU.
 
 Далее я расскажу лишь о некоторых таких функциях, которые сам опробовал или по крайней мере пытался.
 
@@ -34,11 +35,13 @@ NPU (Neural Processing Unit) - это отдельный сопроцессор,
 
 Функция, как и было заявлено, работает полностью локально. Встроенный ИИ обрабатывает снимки, которые затем в зашифрованном виде сохраняются на диск. Снимки делаются раз в 10-15 секунд, это видно по использованию NPU в диспетчере задач.
 
-Работает функция незаметно, влияния на производительность системы нет, т.к. задействуется в основном NPU. Но все же есть то, что понравится далеко не всем. Для работы функции требуется включить шифрование устройства. Что это такое, зачем нужно и какое имеет влияние на производительность, можно узнать в других статьях, ведь здесь это не основная тема.
+Работает функция незаметно, влияния на производительность системы нет, т.к. задействуется в основном NPU. Но все же есть то, что понравится далеко не всем. Для работы функции требуется включить шифрование устройства.
+
+Шифрование устройства (BitLocker) - защищает данные на дисках, путем их шифрования. Но по данным тестов, в некоторых случаях, из-за шифрования, скорость работы диска снижалась до 45%.
 
 ![](./img_4.png)
 
-Просмотр и поиск снимков работает интересно, вполне неплохо. Можно человеческим запросом найти снимки, выделить на них текст и получить разные подробности.
+Просмотр и поиск снимков работает интересно и вполне неплохо. Можно человеческим запросом найти снимки, выделить на них текст и получить разные подробности.
 
 Но зачем это нужно? Я считаю, что функция бесполезна. Она несомненно необычная и интересная, но совершенно бесполезная. За пол года работы Recall, ни разу не воспользовался им по реальной нужде. По этому функцию благополучно отключил.
 
@@ -46,18 +49,22 @@ NPU (Neural Processing Unit) - это отдельный сопроцессор,
 
 Другой, действительно полезной, оказалась функция [Click to do](https://support.microsoft.com/en-us/windows/click-to-do-do-more-with-what-s-on-your-screen-6848b7d5-7fb0-4c43-b08a-443d6d3f5955) - она позволяет анализировать и копировать текст на экране.
 
+![](./img_6.png)
+
 Текст определяет не идеально, есть ошибки, но в целом хорошо, периодически выручает.
 
 Работает это так: нажав определенное сочетание клавиш, создается снимок экрана, который быстро (буквально за пол секунды) прогоняется через нейросеть. Работает все так же локально, на NPU.
 
 ### Paint с Copilot
 
-Про эти ИИ-функции не смогу много рассказать, т.к. в РФ он не работают. Но зайдя в Paint, можно увидеть отдельную вкладку с различными функциями Copilot.
+Про эти ИИ-функции не смогу много рассказать, т.к. в РФ они не работают. Но зайдя в Paint, можно увидеть отдельную вкладку с различными функциями Copilot.
 
-![](img_5.png)
+![](./img_5.png)
 
 Для работы функций, требуется установить Image Generation Extension из Microsoft Store, но, как уже сказал, в РФ это расширение недоступно.
 
+По описанию эти функции выглядят интересно, хотя далеко не новинка, кажется такое мы уже давно видим в смартфонах. 
+
 ### Вывод об ИИ-функциях
 
 Я рассказал об этих функциях только для того, чтобы Вы могли понять их философию. Они не дают каких-то невероятных и прорывных возможностей. Но они есть, их можно использовать локально и благодаря NPU Ваша система не будет нагружаться.
@@ -76,11 +83,11 @@ NPU может в десятки раз проигрывать GPU по прои
 
 После обучения, нейросеть попадает к пользователю (сейчас мы говорим о локальных нейросетях) для работы и выполнения своих задач. На этом этапе все еще требуется значительная вычислительная мощность, но видеокарты уже не являются предпочтительным вариантом, т.к. они совершенно не мобильные и имеют высокое энергопотребление.
 
-При чем тут мобильность? Дело в том, что нейросети не всегда используются только в ПК. Есть, например, такие устройства, как Яндекс Станции, на некоторых из них работают локальные нейросети и запихнуть туда видеокарту явно не получится. К тому же, страшно представить, какое будет энергопотребление.
+При чем тут мобильность? Дело в том, что нейросети не всегда используются только в ПК. Есть, например, устройства умного дома, на некоторых из них работают локальные нейросети и запихнуть туда видеокарту явно не получится. К тому же, страшно представить, какое будет энергопотребление.
 
 Но мы, все же, в подавляющем большинстве говорим о ПК. Тут мобильность не так важна, но важно другое - ресурсы. Я бы не хотел, чтобы нейросети, работающие в фоновом режиме, съедали ресурсы GPU и CPU.
 
-И тут в дело вступает NPU в виде отдельного сопроцессора, который не затрагивает ресурсы CPU и GPU, достаточно мобильный и потребляет меньше электроэнергии. Но, конечно, все это бьет по производительности самого NPU.
+И тут в дело вступает NPU в виде отдельного сопроцессора, который не затрагивает ресурсы CPU и GPU, достаточно мобильный и потребляет меньше энергии. Но, конечно, все это бьет по производительности самого NPU.
 
 # Тестируем NPU
 
@@ -98,8 +105,7 @@ NPU может в десятки раз проигрывать GPU по прои
 | NPU TOPS                    | 50                                         |
 | Оперативная память          | 32гб LPDDR5x, распаяна на плате в 4 гнезда |
 | Скорость оперативной памяти | 7500                                       |
-| Оперативная память для NPU  | 16гб (заимствует оперативную память)       |
+| Память NPU                  | 16гб (заимствует оперативную память)       |
-
 Более подробные характеристики о ноутбуке можно посмотреть [тут](https://www.dns-shop.ru/product/2d49546e2d22d582/16-noutbuk-asus-vivobook-s-m5606wa-mx019w-cernyj/).
 
 Обратите внимание, что поскольку NPU не имеет большого объема собственной памяти, как VRAM в GPU, он использует оперативную память, как это делает процессор.
@@ -156,8 +162,8 @@ NPU может в десятки раз проигрывать GPU по прои
 
 # Заключение
 
-NPU - это, как по мне, в первую очередь сопроцессор, предназначенный для работы фоновых нейронных процессов, которые требуют не быстрого результата, а экономной работы без перегрузки устройства.
+NPU - это в первую очередь, как по мне, сопроцессор, предназначенный для работы фоновых нейронных процессов, которые требуют не быстрого результата, а экономной работы без перегрузки устройства.
 
-И такие фоновые нейронные процессы это не только про LLM. В качестве хорошего примера у нас уже есть ИИ-функции в Windows 11 на устройствах категории Copilot+ PC. Хотя, как по мне, многие из этих функций не являются полезными, но они все же задают верное направление для использования NPU в повседневных задачах.
+И такие фоновые нейронные процессы это не только про LLM. В качестве хорошего примера у нас уже есть ИИ-функции в Windows 11 на устройствах категории Copilot+ PC. Хотя, как по мне, многие из этих функций являются бесполезными, но они все же задают верное направление для использования NPU в повседневных задачах.
 
 Я показал что из себя представляет NPU на персональных устройствах в данный момент, а выводы для себя делайте сами. Спасибо за прочтение.