diff --git a/about-npu/img_6.png b/about-npu/img_6.png new file mode 100644 index 0000000..c0d9596 Binary files /dev/null and b/about-npu/img_6.png differ diff --git a/about-npu/index.md b/about-npu/index.md index 9189e1d..2bb846f 100644 --- a/about-npu/index.md +++ b/about-npu/index.md @@ -1,11 +1,12 @@ +# NPU, Copilot+ PC и нейросети. Использую NPU в повседневной жизни. + # Введение Год назад я приобрел ноутбук категории Copilot+ PC с процессором [AMD Ryzen AI 9 HX 370](https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-9-hx-370.html). Тогда такие устройства были в новинку, да и сейчас не сильно распространены. Прошло достаточно времени и теперь хочу рассказать о том, что из себя представляют устройства такого типа. Статью можно разделить на две части. Сначала расскажу об опыте использования Copilot+ PC и его функций в рамках Windows 11, а потом углубимся в NPU, разберемся что оно из себя представляет и даже проведем тестирование с запуском LLM. -> **Дисклеймер** -> Статья написана живым человеком и даже НЕ редактировалась ИИ! +> **Дисклеймер:** Статья написана живым человеком и даже НЕ редактировалась ИИ! > Если найдете ошибки, то смело кидайтесь помидорами в этого необразованного, но честного автора. # Copilot+ PC @@ -22,7 +23,7 @@ NPU (Neural Processing Unit) - это отдельный сопроцессор, Вместе с презентацией Copilot+ PC, Microsoft рассказали об ИИ-функциях в Windows 11. И это были самые странные обещания. Да, именно обещания, потому что рассказать - не значит сделать. Часть из представленных функций до сих пор либо нет, либо они в бете и не доступны в РФ. -Все представленные ИИ-функции должны работать локально на устройстве, как раз благодаря тем самым NPU. +Все представленные ИИ-функции должны работать локально на устройстве, как раз благодаря тому самому NPU. Далее я расскажу лишь о некоторых таких функциях, которые сам опробовал или по крайней мере пытался. @@ -34,11 +35,13 @@ NPU (Neural Processing Unit) - это отдельный сопроцессор, Функция, как и было заявлено, работает полностью локально. Встроенный ИИ обрабатывает снимки, которые затем в зашифрованном виде сохраняются на диск. Снимки делаются раз в 10-15 секунд, это видно по использованию NPU в диспетчере задач. -Работает функция незаметно, влияния на производительность системы нет, т.к. задействуется в основном NPU. Но все же есть то, что понравится далеко не всем. Для работы функции требуется включить шифрование устройства. Что это такое, зачем нужно и какое имеет влияние на производительность, можно узнать в других статьях, ведь здесь это не основная тема. +Работает функция незаметно, влияния на производительность системы нет, т.к. задействуется в основном NPU. Но все же есть то, что понравится далеко не всем. Для работы функции требуется включить шифрование устройства. + +Шифрование устройства (BitLocker) - защищает данные на дисках, путем их шифрования. Но по данным тестов, в некоторых случаях, из-за шифрования, скорость работы диска снижалась до 45%. ![](./img_4.png) -Просмотр и поиск снимков работает интересно, вполне неплохо. Можно человеческим запросом найти снимки, выделить на них текст и получить разные подробности. +Просмотр и поиск снимков работает интересно и вполне неплохо. Можно человеческим запросом найти снимки, выделить на них текст и получить разные подробности. Но зачем это нужно? Я считаю, что функция бесполезна. Она несомненно необычная и интересная, но совершенно бесполезная. За пол года работы Recall, ни разу не воспользовался им по реальной нужде. По этому функцию благополучно отключил. @@ -46,18 +49,22 @@ NPU (Neural Processing Unit) - это отдельный сопроцессор, Другой, действительно полезной, оказалась функция [Click to do](https://support.microsoft.com/en-us/windows/click-to-do-do-more-with-what-s-on-your-screen-6848b7d5-7fb0-4c43-b08a-443d6d3f5955) - она позволяет анализировать и копировать текст на экране. +![](./img_6.png) + Текст определяет не идеально, есть ошибки, но в целом хорошо, периодически выручает. Работает это так: нажав определенное сочетание клавиш, создается снимок экрана, который быстро (буквально за пол секунды) прогоняется через нейросеть. Работает все так же локально, на NPU. ### Paint с Copilot -Про эти ИИ-функции не смогу много рассказать, т.к. в РФ он не работают. Но зайдя в Paint, можно увидеть отдельную вкладку с различными функциями Copilot. +Про эти ИИ-функции не смогу много рассказать, т.к. в РФ они не работают. Но зайдя в Paint, можно увидеть отдельную вкладку с различными функциями Copilot. -![](img_5.png) +![](./img_5.png) Для работы функций, требуется установить Image Generation Extension из Microsoft Store, но, как уже сказал, в РФ это расширение недоступно. +По описанию эти функции выглядят интересно, хотя далеко не новинка, кажется такое мы уже давно видим в смартфонах. + ### Вывод об ИИ-функциях Я рассказал об этих функциях только для того, чтобы Вы могли понять их философию. Они не дают каких-то невероятных и прорывных возможностей. Но они есть, их можно использовать локально и благодаря NPU Ваша система не будет нагружаться. @@ -76,11 +83,11 @@ NPU может в десятки раз проигрывать GPU по прои После обучения, нейросеть попадает к пользователю (сейчас мы говорим о локальных нейросетях) для работы и выполнения своих задач. На этом этапе все еще требуется значительная вычислительная мощность, но видеокарты уже не являются предпочтительным вариантом, т.к. они совершенно не мобильные и имеют высокое энергопотребление. -При чем тут мобильность? Дело в том, что нейросети не всегда используются только в ПК. Есть, например, такие устройства, как Яндекс Станции, на некоторых из них работают локальные нейросети и запихнуть туда видеокарту явно не получится. К тому же, страшно представить, какое будет энергопотребление. +При чем тут мобильность? Дело в том, что нейросети не всегда используются только в ПК. Есть, например, устройства умного дома, на некоторых из них работают локальные нейросети и запихнуть туда видеокарту явно не получится. К тому же, страшно представить, какое будет энергопотребление. Но мы, все же, в подавляющем большинстве говорим о ПК. Тут мобильность не так важна, но важно другое - ресурсы. Я бы не хотел, чтобы нейросети, работающие в фоновом режиме, съедали ресурсы GPU и CPU. -И тут в дело вступает NPU в виде отдельного сопроцессора, который не затрагивает ресурсы CPU и GPU, достаточно мобильный и потребляет меньше электроэнергии. Но, конечно, все это бьет по производительности самого NPU. +И тут в дело вступает NPU в виде отдельного сопроцессора, который не затрагивает ресурсы CPU и GPU, достаточно мобильный и потребляет меньше энергии. Но, конечно, все это бьет по производительности самого NPU. # Тестируем NPU @@ -98,8 +105,7 @@ NPU может в десятки раз проигрывать GPU по прои | NPU TOPS | 50 | | Оперативная память | 32гб LPDDR5x, распаяна на плате в 4 гнезда | | Скорость оперативной памяти | 7500 | -| Оперативная память для NPU | 16гб (заимствует оперативную память) | - +| Память NPU | 16гб (заимствует оперативную память) | Более подробные характеристики о ноутбуке можно посмотреть [тут](https://www.dns-shop.ru/product/2d49546e2d22d582/16-noutbuk-asus-vivobook-s-m5606wa-mx019w-cernyj/). Обратите внимание, что поскольку NPU не имеет большого объема собственной памяти, как VRAM в GPU, он использует оперативную память, как это делает процессор. @@ -156,8 +162,8 @@ NPU может в десятки раз проигрывать GPU по прои # Заключение -NPU - это, как по мне, в первую очередь сопроцессор, предназначенный для работы фоновых нейронных процессов, которые требуют не быстрого результата, а экономной работы без перегрузки устройства. +NPU - это в первую очередь, как по мне, сопроцессор, предназначенный для работы фоновых нейронных процессов, которые требуют не быстрого результата, а экономной работы без перегрузки устройства. -И такие фоновые нейронные процессы это не только про LLM. В качестве хорошего примера у нас уже есть ИИ-функции в Windows 11 на устройствах категории Copilot+ PC. Хотя, как по мне, многие из этих функций не являются полезными, но они все же задают верное направление для использования NPU в повседневных задачах. +И такие фоновые нейронные процессы это не только про LLM. В качестве хорошего примера у нас уже есть ИИ-функции в Windows 11 на устройствах категории Copilot+ PC. Хотя, как по мне, многие из этих функций являются бесполезными, но они все же задают верное направление для использования NPU в повседневных задачах. Я показал что из себя представляет NPU на персональных устройствах в данный момент, а выводы для себя делайте сами. Спасибо за прочтение. \ No newline at end of file