From 93bc4b56b224c13f4c32ef324041ea146c084cd8 Mon Sep 17 00:00:00 2001 From: Falmer Date: Mon, 9 Mar 2026 11:46:13 +0300 Subject: [PATCH] About npu --- about-npu/index.md | 6 ++---- 1 file changed, 2 insertions(+), 4 deletions(-) diff --git a/about-npu/index.md b/about-npu/index.md index cf31291..17c0618 100644 --- a/about-npu/index.md +++ b/about-npu/index.md @@ -1,7 +1,5 @@ # NPU, Copilot+ PC и нейросети. Использую NPU в повседневной жизни. -# Введение - Год назад я приобрел ноутбук категории Copilot+ PC с процессором [AMD Ryzen AI 9 HX 370](https://www.amd.com/en/products/processors/laptop/ryzen/ai-300-series/amd-ryzen-ai-9-hx-370.html). Тогда такие устройства были в новинку, да и сейчас не сильно распространены. Прошло достаточно времени и теперь хочу рассказать о том, что из себя представляют устройства такого типа. Статью можно разделить на две части. Сначала расскажу об опыте использования Copilot+ PC и его функций в рамках Windows 11, а потом углубимся в NPU, разберемся что оно из себя представляет и даже проведем тестирование с запуском LLM. @@ -124,7 +122,7 @@ NPU может в десятки раз проигрывать GPU по прои Модель должна быть предварительно оптимизирована для работы на NPU. Благо AMD предоставляют некоторое количество таких моделей. Со списком можно ознакомиться [тут](https://huggingface.co/collections/amd/ryzen-ai-17-npu-llm). -Для тестирования выбрал 3 модели: [Phi-3.5-mini-instruct](https://huggingface.co/amd/Phi-3.5-mini-instruct-onnx-ryzenai-npu), [Qwen2.5-Coder07B-Instruct](https://huggingface.co/amd/Qwen2.5-Coder-7B-Instruct-onnx-ryzenai-npu) и [gpt-oss-20b](https://huggingface.co/amd/gpt-oss-20b-onnx-ryzenai-npu). Разберем результаты для каждой модели отдельно. +Для тестирования выбрал 3 модели: [Phi-3.5-mini-instruct](https://huggingface.co/amd/Phi-3.5-mini-instruct-onnx-ryzenai-npu), [Qwen2.5-Coder-7B-Instruct](https://huggingface.co/amd/Qwen2.5-Coder-7B-Instruct-onnx-ryzenai-npu) и [gpt-oss-20b](https://huggingface.co/amd/gpt-oss-20b-onnx-ryzenai-npu). Разберем результаты для каждой модели отдельно. ### Phi-3.5-mini-instruct @@ -136,7 +134,7 @@ NPU может в десятки раз проигрывать GPU по прои ![](./img_1.png) -### Qwen2.5-Coder07B-Instruct +### Qwen2.5-Coder-7B-Instruct Эта модель уже потребляет 5.4гб памяти и почти 6гб после начала генерации. Генерирует в среднем 10-11 tps. И нагружает NPU так же на 90-100%.