Proxmox 5.3 - Проблемы с vGPU Tesla P40

2026-04-28T19:57:03Z

Vix:

* Пошаговая инструкция:

1) [https://pve.proxmox.com/wiki/Pci_passthrough Включите] iommu на хосте Proxmox:
2) Загрузите NVIDIA vGPU для Linux KVM (NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run или более позднюю версию) с [https://nvid.nvidia.com/dashboard/ Nvidia]
3) Выполните код на хосте Proxmox
* Код:
chmod +x NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run
apt install gcc make pve-headers-`uname -r`
./NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run
mkdir /usr/lib64
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-ml.so /usr/lib64/libnvidia-ml.so
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-vgxcfg.so /usr/lib64/libnvidia-vgxcfg.so
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-vgpu.so /usr/lib64/libnvidia-vgpu.so
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-cfg.so /usr/lib64/libnvidia-cfg.so
4) Перезагрузите хост Proxmox.
5) Добавьте все виртуальные машины с разными UUID: 'args: -uuid 00000000-0000-0000-0000-000000000100' в файл конфигурации виртуальной машины /etc/pve/local/qemu-server/100.conf

* [https://fastfox.pro/blog/tutorials/linux-vfio-iommu-passthrough/ Дополнительно]

Proxmox 5.3 - Проблемы с vGPU Tesla P40

2026-04-28T19:55:00Z

Vix: Новая страница: «* Пошаговая инструкция: 1) Включите iommu на хосте Proxmox: https://pve.proxmox.com/wiki/Pci_passthrough 2) Загрузите NVIDIA vGPU для Linux KVM (NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run или более позднюю версию) с https://nvid.nvidia.com/dashboard/ 3) Выполните код на хосте Proxmox * Код: chmod +x NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run apt install gcc make pve-he...»

* Пошаговая инструкция:

1) Включите iommu на хосте Proxmox: https://pve.proxmox.com/wiki/Pci_passthrough
2) Загрузите NVIDIA vGPU для Linux KVM (NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run или более позднюю версию) с https://nvid.nvidia.com/dashboard/
3) Выполните код на хосте Proxmox
* Код:
chmod +x NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run
apt install gcc make pve-headers-`uname -r`
./NVIDIA-Linux-x86_64-430.67-vgpu-kvm.run
mkdir /usr/lib64
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-ml.so /usr/lib64/libnvidia-ml.so
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-vgxcfg.so /usr/lib64/libnvidia-vgxcfg.so
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-vgpu.so /usr/lib64/libnvidia-vgpu.so
ln -s /usr/lib/x86_64-linux-gnu/libnvidia-cfg.so /usr/lib64/libnvidia-cfg.so
4) Перезагрузите хост Proxmox.
5) Добавьте все виртуальные машины с разными UUID: 'args: -uuid 00000000-0000-0000-0000-000000000100' в файл конфигурации виртуальной машины /etc/pve/local/qemu-server/100.conf

AI или Искуственный Интеллект - разработка и изучение

2026-04-24T00:21:52Z

Vix: /* ПОЛЕЗНОЕ */

==ВВЕДЕНИЕ==
LLM расшифровывается как «Модель большого языка». Это передовые системы искусственного интеллекта, предназначенные для понимания и создания текста, похожего на человеческий, на основе вводимых данных. 
Эти модели были обучены на огромных объемах текстовых данных и могут выполнять широкий спектр задач, связанных с языком, таких как ответы на вопросы, проведение бесед, обобщение текста, перевод языков и многое другое. 
* '''Обучение модели LLM'''
На высоком уровне обучение модели LLM включает в себя три этапа, т. е. сбор данных, обучение и оценку.
* Сбор данных (Data Collection) Первым шагом является сбор данных, которые будут использоваться для обучения модели. Данные могут быть собраны из различных источников, таких как Википедия, новостные статьи, книги, веб-сайты и т. д.
* Обучение (Training): Затем данные проходят через обучающий конвейер, где они очищаются и предварительно обрабатываются перед тем, как поступить в модель для обучения. Процесс обучения обычно занимает много времени и требует больших вычислительных мощностей.
* Оценка (Evaluation): Последний шаг — оценить производительность модели, чтобы увидеть, насколько хорошо она справляется с различными задачами, такими как ответы на вопросы, обобщение, перевод и т. д.
* Результатом конвейера обучения является модель LLM, которая представляет собой просто параметры или веса, отражающие знания, полученные в процессе обучения. Эти параметры или веса обычно сериализуются и хранятся в файле, который затем может быть загружен в любое приложение, требующее возможностей языковой обработки, например, генерация текста, ответы на вопросы, языковая обработка и т. д.
* '''Типы LLM'''
На высоком уровне LLM можно разделить на два типа: - базовые LLM - LLM, настроенные под инструкции.

* '''Базовые LLM'''
Базовые LLM — это LLM, предназначенные для предсказания следующего слова на основе обучающих данных. Они не предназначены для ответов на вопросы, проведения бесед или помощи в решении проблем. Например, если вы дадите базовому LLM предложение «В этой книге мы обсудим LLM», оно может завершить это предложение и дать вам «В этой книге о LLM мы обсудим, что такое LLM, как они работают и как вы можете использовать их в своих приложениях. ». Или, если вы дадите ему «Какие известные социальные сети?», вместо ответа он может ответить «Почему люди используют социальные сети?» или «Каковы преимущества социальных сетей?». Как видите, он дает нам соответствующий текст, но не отвечает на вопрос. Именно здесь в игру вступают LLM, настроенные под инструкции.

* '''LLM, настроенные по инструкции'''
Instruction Tuned LLM вместо того, чтобы пытаться автозаполнять ваш текст, попробуйте следовать данным инструкциям, используя данные, на которых они были обучены. Например, если вы введете предложение «Что такое LLM?» он будет использовать данные, на которых он обучен, и попытается ответить на вопрос. Точно так же, если вы введете «Какие известные социальные сети?» он попытается ответить на вопрос вместо того, чтобы дать вам случайный ответ.

* Instruction Tuned LLM построены поверх базовых LLM:
Instruction Tuned LLMs = Base LLMs + Further Tuning + RLHF
Для создания LLM с настройкой инструкций берется базовый LLM, который дополнительно обучается с использованием большого набора данных, охватывающего пример «Инструкций» и того, как модель должна работать в результате этих инструкций. Затем модель настраивается с помощью метода под названием «обучение с подкреплением с обратной связью человека» (RLHF), который позволяет модели учиться на обратной связи человека и со временем улучшать свою производительность.

* '''В итоге'''
Языковые модели (LLM) произвели революцию в области обработки естественного языка (NLP), позволив машинам понимать и генерировать человекоподобный текст. LLM — это мощный инструмент, который можно использовать для решения широкого круга языковых задач. Они используются в различных отраслях, таких как здравоохранение, финансы, образование и т. д., для автоматизации процессов и повышения эффективности. У LLM есть потенциал революционизировать то, как мы взаимодействуем с компьютерами, и сделать нашу жизнь проще. 
[https://devopsgu.ru/blog/posts/chto-takoe-llm/#llm_4 Источник]

==РАЗРАБОТКА==
* [https://nuancesprog.ru/p/18464/ Рост производительности машинного обучения с Rust]
* [https://uproger.com/biblioteka-rust-burn-dlya-glubokogo-obucheniya/ Библиотека Rust Burn для глубокого обучения]
* [https://dzen.ru/a/ZzOHE-7MEj_PiZZb Эмбединги с помощью Rust]
* [https://codezup.com/deploying-machine-learning-models-in-rust-with-rustml/ Развертывание моделей машинного обучения в Rust с помощью RUSTML]
---
* [https://github.com/coqui-ai/TTS Coqui TTS (модель XTTS-v2) голос]
* [https://digest.allm.link/ru/blogs/pixtral-12b-vision-model-now-on-amazon-bedrock/ Pixtral-12B теперь на Amazon Bedrock]
* [https://github.com/tomstaan/Clarivex-Pixtral-12B Clarivex-Pixtral-12B]
* [https://habr.com/ru/companies/serverflow/articles/851712/ Тестируем Pixtral12B и LLaMA 3.2 11B на народных Tesla P100 и P40]
==ИСТОЧНИКИ==
* [https://vc.ru/ai/881777-spravochnik-po-vyboru-gpu-dlya-raboty-s-bolshimi-yazykovymi-modelyami-llama Справочник по выбору GPU для работы с большими языковыми моделями Llama]
* [https://habr.com/ru/articles/768844/ Раскрывая секреты LLM: руководство по основным понятиям больших языковых моделей без хайпа]

==ПОЛЕЗНОЕ==
* [https://huyenchip.com/llama-police Большой список open-source AI-моделей и не только]
* [https://github.com/stars/chiphuyen/lists/cool-llm-repos GitHub open-source AI List]
* [https://habr.com/ru/companies/first/articles/699380/ Опенсорс учёный: 15 полезных инструментов с искусственным интеллектом и машинным обучением]
* [https://sysadmin78.ru/doku.php/open_source:open_source_ai_machine_learning 7 лучших ИИ и систем машинного обучения с открытым исходным кодом]
* [https://hubai.ru/ HuB AI - Рабочие модели]
* [https://huggingface.co/spaces/Vokturz/can-it-run-llm Требования по ресурсам модель LLM]
* [https://www.ixbt.com/live/sw/ustanavlivaem-deepseek-na-domashniy-pk.html Как установить нейронную сеть DeepSeek на ПК]
* [https://dzen.ru/a/Z5zNHtZRjhRfVDkw Устанавливаем нейросеть DeepSeek локально на компьютер.]
* [https://rozetked.me/articles/37509-kak-zapustit-neyroset-deepseek-r1-lokal-no-na-svoem-komp-yutere Как запустить нейросеть DeepSeek-R1 локально на своём компьютере]
* [https://baskovsky.ru/2023/11/saiga/ Используем русский LLM — saiga]
* [https://vk.com/wall-208569258_115 ProgressNeuro: ChatGPT, Midjourney & Нейросети]
* [https://habr.com/ru/articles/767588/ Сайга-Мистраль — третья русская нейросеть после YaGPT и GigaChat, публично доступная по API]
* [https://timeweb.com/ru/community/articles/neyroseti-dlya-transkribacii-audio-i-video-v-tekst-10-luchshih-servisov-podborka Нейросети для транскрибации аудио и видео в текст: 10 лучших сервисов]
* [https://serverflow.ru/blog/stati/luchshie-modeli-ii-dlya-razvertyvaniya-na-svoem-pk-ili-servere-podrobno-o-trebovaniyakh-dlya-razvert/ Лучшие модели ИИ для развертывания на своем ПК или сервере]
* [https://pikabu.ru/story/luchshie_otkryityie_modeli_ii_dlya_sinteza_russkoy_rechi_na_domashnem_pk_12859001 Лучшие открытые модели ИИ для синтеза русской речи на домашнем ПК]
* [https://translated.turbopages.org/proxy_u/en-ru.ru.e01f73f9-69038089-64503cc9-74722d776562/https/www.freecodecamp.org/news/machine-learning-using-julia/ Машинное обучение с помощью Julia — как создать и развернуть обученную модель ИИ в виде веб-сервиса]
* [https://devtrends.ru/python/janvarev-irene-voice-assistant Ирина - ваш личный русскоязычный ассистент без зависимости от интернета]
* [https://devtrends.ru/typescript/janhq-jan Ваш персональный AI-ассистент, который не требует интернета]
* [https://habr.com/ru/companies/minerva_media/articles/909130/ За полчаса установил DeepSeek 1.5B, пока вы искали GPT подешевле]
* [https://1dedic.ru/blog/articles/lokalnoe-ispolzovanie-yazykovoy-modeli-na-vydelennom-servere-chast-pervaya-deepseek-i-eyo Локальное использование языковой модели на выделенном сервере. Часть первая: DeepSeek и её дистилляты на сервере без GPU]
* [https://mclouds.ru/2025/04/deploying-deepseek/ Как развернуть DeepSeek на своем сервере]
* [https://help.apiyi.com/ru/kimi-k2-5-paper-parameters-requirements-guide-ru.html Обзор технической статьи Kimi K2.5 ...]
* [https://habr.com/ru/articles/969748/ Kimi K2: новая китайская LLM ...]
* [https://www.ai-stat.ru/news/2026-01-30-kimi-k25-local-guide Как запустить Kimi K2.5 локально: полный гайд]
---
* [https://habr.com/ru/articles/896204/ Сравниваем скорость генерации LLM локально и по API]
* [https://habr.com/ru/companies/minerva_media/articles/920946/ 15 минут — и у тебя бесплатная ИИ-модель для генерации кода, текста, чтения иллюстраций]
* [[Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ]]
---
* [https://mclouds.ru/2025/04/deploying-deepseek/ Установка DeepSeek & Ollama]
* [https://ollama.com/carstenuhlig/omnicoder-9b https://ollama.com/carstenuhlig]
* [https://ai-manual.ru/article/tesla-p40-dlya-moe-offloudinga-kak-zastavit-8-letnyuyu-kartu-rabotat-luchshe-sovremennyih/ Tesla P40 для MoE]
* [https://cnb.cool/ai-models/Tesslate/OmniCoder-9B-GGUF OmniCoder-9B-GGUF]
* [https://habr.com/ru/articles/1025132/ Выжать больше из локальных LLM...]

Управление вентиляторами в Linux

2026-04-23T00:15:16Z

Vix:

* [[Управление скоростью вращения вентилятора в Linux]]
==ИСТОЧНИКИ==
* [https://losst.pro/upravlenie-kulerom-linux#upravlenie-kulerom-linux Управление кулером Linux]

Управление скоростью вращения вентилятора в Linux

2026-04-23T00:14:46Z

Vix: Новая страница: «==Введение== Управление скоростью вращения вентилятора позволяет продлить срок службы системного оборудования и повысить производительность как аппаратного, так и программного обеспечения. По крайней мере, это может повысить энергоэффективность, св...»

==Введение==
Управление скоростью вращения вентилятора позволяет продлить срок службы системного оборудования и повысить производительность как аппаратного, так и программного обеспечения. По крайней мере, это может повысить энергоэффективность, свести к минимуму износ оборудования из-за перегрева и обеспечить корректную работу программ.

* В этом уроке мы расскажем о способах управления скоростью вращения вентилятора в Linux.

==Использование fancontrol==
* lm-sensors — это инструмент для мониторинга аппаратных датчиков в системе, в том числе датчиков температуры, скорости вращения вентилятора и напряжения.

* fancontrol — это утилита lm-sensors, которая регулирует скорость вращения вентилятора в зависимости от температуры системы. Разумеется, мы можем настроить скорость вращения при разных температурах.

==Установка lm-sensors==
Чтобы использовать fancontrol в нашей системе на базе Debian, мы установим lm-sensors с помощью apt:

$ sudo apt update && sudo apt install lm-sensors
* Однако если мы используем дистрибутив на основе RHEL, например CentOS, мы установим lm-sensors с помощью dnf:

$ sudo dnf -y install lm_sensors
* Затем, после установки lm-sensors, мы проверим, все ли прошло успешно:

$ sensors -v
sensors version 3.6.0 with libsensors version 3.6.0
==Обнаружение датчиков и определение модулей для загрузки==
Прежде чем настраивать fancontrol для управления скоростью вращения вентилятора, проверим наличие доступных датчиков и модулей ядра, которые нужно загрузить в систему:

$ sudo sensors-detect

* При запуске sensors-detect мы получим как минимум четыре запроса.

Первая проверка обычно направлена на поиск встроенных в центральный процессор датчиков, южных мостов и контроллеров памяти. Затем, как минимум, проверяются порты ввода-вывода ISA, адаптеры I2C/SMBus и датчики, встроенные в микросхемы ввода-вывода.

* sensors-detect сообщит нам, обнаружен ли какой-либо датчик. Кроме того, он может вернуть список модулей ядра, которые необходимо загрузить для lm-sensors корректной работы. 
Запуск датчиков помогает нам проверить, исправно ли они работают.

$ sensors
coretemp-isa-0000
Adapter: ISA adapter
Package id 0: +35.0°C (high = +80.0°C, crit = +100.0°C)
Core 0: +33.0°C (high = +80.0°C, crit = +100.0°C)
Core 1: +31.5°C (high = +80.0°C, crit = +100.0°C)

...truncated...

atk0110-acpi-0
Adapter: ACPI interface
Vcore Voltage: 1.08 V (min = +0.80 V, max = +1.60 V)
+3.3 Voltage: 3.32 V (min = +2.97 V, max = +3.63 V)
+5 Voltage: 5.03 V (min = +4.50 V, max = +5.50 V)
+12 Voltage: 12.10 V (min = +10.20 V, max = +13.80 V)
CPU FAN Speed: 1200 RPM (min = 600 RPM, max = 2000 RPM)
Chassis FAN Speed:1200 RPM (min = 600 RPM, max = 2000 RPM)

* В некоторых случаях скорость вращения вентилятора может не отображаться или быть нулевой. Чтобы это исправить, можно увеличить делитель для датчиков вентилятора при настройке fancontrol.

==Настройка fancontrol==
После запуска sensors-detect мы запустим pwmconfig, чтобы настроить fancontrol:

$ sudo pwmconfig

* Обычно после установки lm-датчиков должны быть доступны pwmconfig и fancontrol . Но в некоторых случаях нам, возможно, придется устанавливать fancontrol отдельно, чтобы использовать pwmconfig и fancontrol.

* pwmconfig выполняет поиск датчиков, поддерживающих управление с помощью широтно-импульсной модуляции. Во время работы программа выводит различные подсказки для настройки обнаруженных датчиков. Однако подсказки могут отличаться в зависимости от аппаратного обеспечения и конфигурации системы.

* После завершения работы pwmconfig система создаст файл конфигурации /etc/fancontrol:

$ cat /etc/fancontrol
INSIDE=thermal_zone0
FULL=100
MAXTEMP=70
MINTEMP=40
MINSTART=40
MINSTOP=0
MINPWM=20
FANTIME=10
FANPWM=255

* Как показано выше, /etc/fancontrol содержит наши ответы на запросы pwmconfig. Мы можем отредактировать его, если нам нужно обновить или изменить настройки fancontrol. 
После создания файла конфигурации fancontrol мы запустим демон fancontrol:

$ sudo systemctl start fancontrol

* После этого fancontrol сможет регулировать скорость вращения вентиляторов в соответствии с настройками, заданными в /etc/fancontrol.

==Использование nbfc-linux==
* nbfc-linux — это сокращение от «Notebook Fan Control — Linux». Это реализация оригинального nbfc для Linux, которая управляет скоростью вращения вентилятора в соответствии с заданными температурными пороговыми значениями.

* Установка nbfc-linux
Чтобы установить nbfc-linux, сначала клонируем репозиторий GitHub:

$ git clone https://github.com/nbfc-linux/nbfc-linux.git

* Затем мы перейдем в локальную копию репозитория и установим пакет с помощью make и make install:

$ cd nbfc-linux/ && make && sudo make install

* Использование nbfc-linux
После установки nbfc-linux программа предложит подходящую конфигурацию для нашей системы:

$ nbfc config -r

* В качестве альтернативы мы могли бы получить список готовых конфигураций:

$ nbfc config -l
...truncated..
Acer Aspire 1410
...truncated...
Asus Zenbook UX530U
...truncated...
Dell Inspiron 7348
...truncated...
HP Laptop 14-cm0xxx
...truncated...
Xiaomi Mi Book (TM1613, TM1703)

* Затем мы можем применить одну из этих конфигураций к нашей системе:

$ sudo nbfc config -a "HP Laptop 14-cm0xxx"

* После применения конфигурации мы можем запустить службу nbfc:

$ sudo nbfc start

==Аппаратные средства управления вентиляторами==
* nbfc-linux и fancontrol предлагают управление вентиляторами без привязки к конкретному оборудованию. Но существуют специализированные инструменты для управления вентиляторами, которые могут пригодиться, если универсальные варианты не работают.

* i8kutils — это инструмент для управления скоростью вращения вентилятора и контроля температуры на некоторых ноутбуках Dell. По умолчанию он настроен на определенные параметры, но пользователи могут изменить их по своему усмотрению.
* thinkfan — это инструмент для управления вентилятором, который регулирует скорость вращения вентилятора в ноутбуках Thinkpad в соответствии с температурными пороговыми значениями, заданными в конфигурационном файле.
* macfanctld получает данные о температуре процессора с датчиков вентиляторов на MacBook. Затем на основе полученных данных регулирует скорость вращения вентилятора.
==Заключение==
В этой статье мы рассказали о двух инструментах для управления скоростью вращения вентилятора в различных моделях ноутбуков, уделив особое внимание их установке и некоторым ключевым функциям. Затем мы рассмотрели несколько распространенных аппаратных средств для управления скоростью вращения вентилятора.

* [https://translated.turbopages.org/proxy_u/en-ru.ru.def279fd-69e96166-7ab6d355-74722d776562/https/www.baeldung.com/linux/control-fan-speed Источник]

Управление вентиляторами в Linux

2026-04-23T00:08:18Z

JavaScript

2026-04-21T17:07:54Z

Vix:

NVIDIA TESLA P40 24Gb

2026-04-20T21:54:12Z

Vix:

Особенности управления NVIDIA P40 с помощью mdevctl

2026-04-19T22:47:21Z

Vix: /* ДОПОЛНИЕЛЬНО */

==Основные команды mdevctl==
* '''list.''' Выводит список активных или определённых устройств. С опцией --defined команда покажет все определённые в системе устройства, даже если они не активны.
* '''types.''' Предоставляет информацию о поддерживаемых на системе типах опосредованных устройств, включая количество экземпляров каждого типа, доступный API, а также название и описание от производителя.
* '''define.''' Определяет конфигурацию для устройства mdev. Можно указать UUID существующего устройства или полностью задать параметры.
* '''modify.''' Позволяет изменять конфигурацию устройства. Изменения для работающего устройства не вступят в силу до его остановки и перезапуска.
undefine. Удаляет определение конфигурации без изменения работающего устройства.
* '''start и stop.''' Управляют запуском и остановкой устройств.
==Рекомендации==
* '''Идентификация устройства'''. Устройства mdev идентифицируются по UUID (универсальному уникальному идентификатору).
* [https://manpages.ubuntu.com/manpages/focal/en/man8/mdevctl.8.html Источник]
* [https://github.com/mdevctl/mdevctl Источник]
* '''Конфигурация'''. Файлы конфигурации хранятся в директории /etc/mdevctl.d/ в формате JSON. Они находятся в поддиректориях, соответствующих родительскому устройству, а имена файлов соответствуют UUID устройства.
* [https://manpages.ubuntu.com/manpages/focal/en/man8/mdevctl.8.html Источник]
* '''Типы устройств'''. При использовании команды types можно увидеть доступные типы опосредованных устройств для конкретного GPU. Например, в некоторых случаях для Tesla P40 могут отображаться определённые профили.
* [https://forum.proxmox.com/threads/vgpu-tesla-p4-wrong-mdevctl-gpu.143247/page-2 Источник]
* '''Важно:''' для корректной работы vGPU (виртуального графического процессора) могут потребоваться дополнительные настройки, например, поддержка IOMMU (Input/Output Memory Management Unit) и SR-IOV (Single Root I/O Virtualization) в BIOS.
* [https://www.ispsystem.ru/docs/vmmanager-admin/klastery/ispol-zovanie-vgpu Источник]
* Если возникают проблемы с отображением типов устройств или управлением ими, стоит проверить версию драйвера NVIDIA и настройки конфигурации vGPU. В некоторых случаях может потребоваться обновление драйвера или корректировка конфигурационных файлов (например, vgpuConfig.xml).
==ДОПОЛНИЕЛЬНО==
* [https://docs.nvidia.com/vgpu/latest/grid-vgpu-user-guide/index.html How NVIDIA vGPU Software Is Used]
* [https://github.com/mdevctl/mdevctl mdevctl - a mediated device management utility for Linux]
* [https://wiki.astralinux.ru/brest/3.3/podklyuchenie-nvidia-vgpu-k-vm-302045322.html Подключение NVIDIA vGPU к ВМ Astra-Linux]
* [https://github.com/ProTechEx/vgpu-proxmox#nvidia-driver NVIDIA vGPU on Proxmox]

Особенности управления NVIDIA P40 с помощью mdevctl

2026-04-19T22:41:33Z

Vix: /* ДОПОЛНИЕЛЬНО */

Особенности управления NVIDIA P40 с помощью mdevctl

2026-04-19T22:39:42Z

Vix: /* ДОПОЛНИЕЛЬНО */

2026-04-19T22:26:34Z

Vix: Новая страница: «* '''Идентификация устройства'''. Устройства mdev идентифицируются по UUID (универсальному уникальному идентификатору). * [https://manpages.ubuntu.com/manpages/focal/en/man8/mdevctl.8.html Источник] * [https://github.com/mdevctl/mdevctl Источник] * '''Конфигурация'''. Файлы конфигурации хранятся в директори...»

NVIDIA TESLA P40 24Gb

2026-04-19T22:20:22Z

Vix:

* [https://wvthoog.nl/proxmox-7-vgpu-v2/ Proxmox 7 vGPU – v2]
* [https://www.tune-it.ru/web/ifsolo/blog/-/blogs/razblokirovka-vgpu-na-pol-zovatel-skih-videokartah-nvidia Разблокировка vGPU на пользовательских видеокартах NVIDIA]
* [https://docs.virtuozzo.com/virtuozzo_hybrid_infrastructure_4_7_admins_guide/index.html#preparing-nodes-gpu-passthrough.html Administrator Guide]
* [https://pve.proxmox.com/wiki/NVIDIA_vGPU_on_Proxmox_VE NVIDIA vGPU on Proxmox VE]
* [https://www.derekseaman.com/2024/07/proxmox-ve-8-2-windows-11-vgpu-vt-d-passthrough-with-intel-alder-lake.html Proxmox VE 8.2: Windows 11 vGPU (VT-d) Passthrough with Intel Alder Lake]
* [https://set.ogorodguru.ru/nvidia-grid-vgpu-linux/ Nvidia grid vgpu linux]
* [https://www.alibabacloud.com/help/en/egs/user-guide/use-cloud-assistant-to-automatically-install-and-upgrade-grid-drivers?spm=a2c63.p38356.help-menu-155040.d_1_5_2_1.19a1463afUkaci Install the GRID driver on a vGPU-accelerated Linux instance]
* [https://www.tune-it.ru/web/ifsolo/blog/-/blogs/razblokirovka-vgpu-na-pol-zovatel-skih-videokartah-nvidia Разблокировка vGPU на пользовательских видеокартах NVIDIA]
<hr>
* [https://github.com/ProTechEx/vgpu-proxmox#nvidia-driver NVIDIA vGPU on Proxmox]
* [https://files.nvidia.space/Drivers/ nvidia.space/Drivers]
* [https://cloud.google.com/compute/docs/gpus/grid-drivers-table grid-drivers-table]
* [https://git.collinwebdesigns.de/oscar.krause/fastapi-dls Minimal Delegated License Service (DLS).]
<hr>
* [https://archive.org/details/nvidiagpuarchive NVIDIA vGPU Archive]
* [https://github.com/NVIDIA/cuda-gdb/releases cuda-toolkit]
* [https://developer.nvidia.com/cuda-12-2-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Debian&target_version=11&target_type=deb_local CUDA Toolkit 12.2 Downloads]

NVIDIA TESLA P40 24Gb

2026-04-19T22:19:47Z

Vix:

* [https://wvthoog.nl/proxmox-7-vgpu-v2/ Proxmox 7 vGPU – v2]
* [https://www.tune-it.ru/web/ifsolo/blog/-/blogs/razblokirovka-vgpu-na-pol-zovatel-skih-videokartah-nvidia Разблокировка vGPU на пользовательских видеокартах NVIDIA]
* [https://docs.virtuozzo.com/virtuozzo_hybrid_infrastructure_4_7_admins_guide/index.html#preparing-nodes-gpu-passthrough.html Administrator Guide]
* [https://pve.proxmox.com/wiki/NVIDIA_vGPU_on_Proxmox_VE NVIDIA vGPU on Proxmox VE]
* [https://www.derekseaman.com/2024/07/proxmox-ve-8-2-windows-11-vgpu-vt-d-passthrough-with-intel-alder-lake.html Proxmox VE 8.2: Windows 11 vGPU (VT-d) Passthrough with Intel Alder Lake]
* [https://set.ogorodguru.ru/nvidia-grid-vgpu-linux/ Nvidia grid vgpu linux
Источник: https://set.ogorodguru.ru/nvidia-grid-vgpu-linux]
* [https://www.alibabacloud.com/help/en/egs/user-guide/use-cloud-assistant-to-automatically-install-and-upgrade-grid-drivers?spm=a2c63.p38356.help-menu-155040.d_1_5_2_1.19a1463afUkaci Install the GRID driver on a vGPU-accelerated Linux instance]
* [https://www.tune-it.ru/web/ifsolo/blog/-/blogs/razblokirovka-vgpu-na-pol-zovatel-skih-videokartah-nvidia Разблокировка vGPU на пользовательских видеокартах NVIDIA]
<hr>
* [https://github.com/ProTechEx/vgpu-proxmox#nvidia-driver NVIDIA vGPU on Proxmox]
* [https://files.nvidia.space/Drivers/ nvidia.space/Drivers]
* [https://cloud.google.com/compute/docs/gpus/grid-drivers-table grid-drivers-table]
* [https://git.collinwebdesigns.de/oscar.krause/fastapi-dls Minimal Delegated License Service (DLS).]
<hr>
* [https://archive.org/details/nvidiagpuarchive NVIDIA vGPU Archive]
* [https://github.com/NVIDIA/cuda-gdb/releases cuda-toolkit]
* [https://developer.nvidia.com/cuda-12-2-0-download-archive?target_os=Linux&target_arch=x86_64&Distribution=Debian&target_version=11&target_type=deb_local CUDA Toolkit 12.2 Downloads]

2026-04-16T20:14:19Z

Vix: /* ПОЛЕЗНОЕ */

AI или Искуственный Интеллект - разработка и изучение

2026-04-16T20:12:01Z

Vix: /* ПОЛЕЗНОЕ */

NVIDIA TESLA P40 24Gb

2026-04-16T19:26:03Z

Vix:

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T19:13:17Z

Vix: /* Подготовка поля боя: что нужно сделать до загрузки модели */

==Вводная==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' 
* Когда 8 ГБ видеопамяти должно хватить на всё.
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

* Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга.
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

* llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.
==Подготовка поля боя: что нужно сделать до загрузки модели==
Первая ошибка – скачать всё подряд и надеяться, что заработает. Не заработает. Нам нужна чистая система, правильные драйверы и освобождённая память.
 
1. Очистка системы от цифрового мусора 
Закройте Chrome с 50 вкладками. Серьёзно. Каждая вкладка – это сотни мегабайт оперативки, которая нам позарез нужна для offload-а слоёв модели из VRAM в RAM. Если у вас 32 ГБ ОЗУ, перед запуском должно быть свободно минимум 18-20 ГБ. Проверьте фоновые процессы. Выгрузите всё, что не нужно.
 
2. Установка самых свежих драйверов и CUDA
На март 2026 года стабильная ветка CUDA – это 12.6. Драйверы NVIDIA должны быть не старше февраля 2026. Да, иногда новые драйверы ломают совместимость, но в случае с llama.cpp разработчики быстро выпускают фиксы. Старые драйверы гарантированно дадут падение производительности или ошибки компиляции.

3. Проверяем версию драйвера
nvidia-smi
# Ожидаем что-то вроде:
# Driver Version: 555.xx.xx
# CUDA Version: 12.6
Если версия CUDA не указана или старая, качаем с официального сайта NVIDIA. Не через пакетный менеджер, если вы не уверены в его настройках. Прямая загрузка – ваш друг.

* Не пытайтесь установить CUDA Toolkit через apt-get на Ubuntu без чёткого понимания репозиториев. В 90% случаев вы получите конфликт версий, и сборка llama.cpp сломается с невнятной ошибкой про «не найден cudart». Лучший способ – локальный установщик от NVIDIA.

* Сборка llama.cpp с CUDA: не пропустите эти флаги
Качаем исходники. Никаких готовых бинарников – они собраны с универсальными настройками, которые не раскроют потенциал вашей карты.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# Переключаемся на последнюю стабильную ветку (актуально на март 2026)
git checkout release/2.5
Теперь самое важное – компиляция. Классическая ошибка: сделать просто `make`. Это соберёт CPU-версию, которая будет работать в 20 раз медленнее. Нам нужна сборка с поддержкой CUDA и, что критично, со слоёвым offload-ом.

4. Очищаем предыдущие сборки (на всякий случай)
make clean

5. Ключевая команда. Флаги:
# LLAMA_CUDA=1 - включаем CUDA
# LLAMA_CUDA_FORCE_DMMV=1 - принудительно используем более быстрые матричные операции для архитектур Ampere (RTX 3070) и новее
# LLAMA_CUDA_MMQ=1 - включаем оптимизированные очереди матриц (существенно для скорости)
# LLAMA_CUDA_F16=1 - работа с половинной точностью (экономия памяти без большого ущерба)

make LLAMA_CUDA=1 LLAMA_CUDA_FORCE_DMMV=1 LLAMA_CUDA_MMQ=1 LLAMA_CUDA_F16=1 -j$(nproc)
Флаг `-j$(nproc)` использует все ядра процессора для компиляции, это быстрее. После успешной сборки в папке появится бинарник `main` (или `main.exe` на Windows). Это наш рабочий инструмент.

* Загрузка и квантование OmniCoder-9B: где брать и как сжать
Оригинальная полная версия OmniCoder-9B весит около 18 ГБ в формате FP16. Нам это не подходит. Идём на Hugging Face и ищем квантованные версии. Ключевые слова: «OmniCoder-9B-GGUF». GGUF – это формат, который понимает llama.cpp.
 
* Если готовой версии Q4_K_M нет (что маловероятно к 2026 году), качаем оригинальную модель и квантуем сами. Это долго, но просто.
 
# Предположим, скачали модель в папку ./models
# Конвертируем в формат GGUF (если скачали в формате PyTorch/Safetensors)
python3 convert.py ./models/OmniCoder-9B --outtype f16 --outfile ./models/omnicoder-9b.f16.gguf

6. Теперь квантуем до Q4_K_M
./quantize ./models/omnicoder-9b.f16.gguf ./models/omnicoder-9b.Q4_K_M.gguf Q4_K_M
Процесс квантования может занять 10-30 минут. На выходе получите файл весом ~5.5 ГБ. Именно его мы и будем запускать.

💡 Где брать модели? Платформа Hugging Face – основной хаб. Для конкретно этой модели ищите репозиторий от создателей или сообщества «TheBloke», который славится качественными квантованиями. Прямые ссылки имеют свойство умирать, поэтому ищите по названию.

==Запуск и настройка: магия флагов командной строки==
Вот момент истины. Запускаем модель с правильными параметрами, чтобы она поместилась в память и работала быстро.

./main -m ./models/omnicoder-9b.Q4_K_M.gguf \
-n 512 \
-t 10 \
-ngl 33 \
-c 8192 \
--temp 0.2 \
--top-p 0.95 \
-p "Код на Python для быстрой сортировки:"
Разберём каждый флаг, потому что без понимания вы будете тыкать наугад.

-n 512: генерируем 512 токенов. Достаточно для небольшой функции или блока кода.
-t 10: используем 10 CPU-потоков для обработки тех слоёв, которые не влезли в VRAM. Оптимально для большинства 6-8 ядерных процессоров.
-ngl 33: САМЫЙ ВАЖНЫЙ ПАРАМЕТР. Количество слоёв, которые загружаем в VRAM. OmniCoder-9B имеет около 40-45 слоёв. 33 – это примерно 75% модели. Они будут обрабатываться на GPU со скоростью света. Остальные слои (offload) уйдут в оперативку и будут считаться на CPU. Баланс, который позволяет уместить модель в 8 ГБ VRAM и не превратить генерацию в слайд-шоу.
-c 8192: размер контекста. 8K – хороший компромисс для работы с несколькими файлами. Можно и больше, но помните: каждый токен контекста съедает память. Если нужен огромный контекст, изучите технику SSD offload.
--temp 0.2, --top-p 0.95: параметры «творчества». Для кодинга нужна низкая температура (больше детерминизма) и высокий top-p (для разнообразия, но без бреда).
После запуска вы увидите, как модель загружает слои в VRAM и RAM. Если всё настроено верно, потребление VRAM будет на уровне 6.5-7.5 ГБ, а оперативки – 12-15 ГБ. Генерация 512 токенов должна занимать 20-40 секунд. Это не мгновенно, но вполне терпимо для обдумывания задачи.

==Интеграция в рабочий процесс: не останавливайтесь на консоли==
Работать через консольный ввод – это каменный век. Нам нужна интеграция в IDE или хотя бы удобный интерфейс.

Вариант 1: Superpowers (или его форки 2026 года). Это локальный веб-интерфейс, который подключается к llama.cpp как бэкенд. Настраивается за 5 минут, даёт удобный чат, историю, возможность загружать файлы в контекст.

Вариант 2: Плагин для VSCode, например, Continue.dev или его аналоги, которые умеют работать с локальными LLM через API. Запускаем llama.cpp в server mode:

./server -m ./models/omnicoder-9b.Q4_K_M.gguf -c 8192 -ngl 33 --host 127.0.0.1 --port 8080
И настраиваем плагин на этот адрес. Теперь автодополнение и чат с ИИ прямо в редакторе. Без облаков, без подписок.

Не используйте стандартный `--server` флаг из старых версий llama.cpp. В версиях 2.5.x его заменил отдельный бинарник `server`, который собирается вместе с `main`. Если его нет, пересоберите проект с теми же флагами.

Что делать, если всё падает? Типичные ошибки и их лечение
1. «CUDA out of memory» сразу после запуска. Слишком большое значение `-ngl`. Уменьшайте на 5-10, пока не заработает. Для RTX 3070 8GB стартовая точка – 28-33 слоя.

2. Генерация тормозит (меньше 1 токена в секунду). Скорее всего, модель работает почти полностью на CPU. Проверьте, что `-ngl` больше 0 и что llama.cpp собрана с CUDA. Запустите `nvidia-smi` во время генерации – должна быть загрузка GPU.

3. Модель выдаёт бессвязный текст вместо кода. Вы скачали не ту версию. OmniCoder – модель, дообученная именно на код. Убедитесь, что это не базовая общая LLM. Также проверьте параметры `--temp` – если она выше 0.7, модель начнёт «сочинять».

4. Ошибка «Illegal instruction» при запуске. Проблема совместимости CPU. Собирайте llama.cpp с флагом `-march=native` или, если используете Docker, образ должен быть собран для вашей архитектуры. Чаще встречается на старых процессорах.

А что с альтернативами? Краткий обзор на 2026 год
Opencode + GLM-5-9B: мощная комбинация для интерактивного выполнения кода (модель может запускать код в песочнице и исправлять ошибки). Но её минимальные требования – 10 ГБ VRAM для комфортной работы, и она менее стабильна в режиме offload. Если у вас есть запас по памяти – стоит попробовать.

DeepSeek-Coder-7B: отличная модель, но на март 2026 года уже немного устарела по сравнению с оптимизациями в OmniCoder. Запускается легко, но качество кода в сложных задачах проседает.

Если у вас совсем мало ОЗУ (16 ГБ), смотрите в сторону моделей на 7 миллиардов параметров с квантованием Q4_K_M. Они поместятся полностью в VRAM 8 ГБ карты, но и возможностей у них меньше.

Гонка за параметрами бессмысленна на слабом железе. Важнее эффективность и специализация. OmniCoder-9B в связке с правильно собранным llama.cpp даёт максимальный результат на ограниченных ресурсах. Это не игрушка, а рабочий инструмент, который окупается за неделю активного использования.

И последний совет: не зацикливайтесь на одной модели. Раз в месяц проверяйте Hugging Face на предмет новых квантований или оптимизированных версий. Мир локальных LLM движется не так быстро, как корпоративный, но движется. И теперь вы знаете, как заставить его работать на себе, а не против.

==Источники==
* [https://ai-manual.ru/article/luchshaya-sborka-dlya-lokalnogo-ii-na-slabom-zheleze-omnicoder-9b-llamacpp-i-32-gb-ozu/ Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ]
* [https://github.com/marselcomp/aiguide Запуск нейросетей на слабом ПК — реально!]
* [https://habr.com/ru/companies/bothub/articles/1019314/ Топ локальных нейросетей 2026: полный суверенитет без интернета]

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T19:12:26Z

Vix: /* Подготовка поля боя: что нужно сделать до загрузки модели */

==Вводная==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' 
* Когда 8 ГБ видеопамяти должно хватить на всё.
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

* Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга.
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

* llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.
==Подготовка поля боя: что нужно сделать до загрузки модели==
Первая ошибка – скачать всё подряд и надеяться, что заработает. Не заработает. Нам нужна чистая система, правильные драйверы и освобождённая память.
 
# Очистка системы от цифрового мусора 
Закройте Chrome с 50 вкладками. Серьёзно. Каждая вкладка – это сотни мегабайт оперативки, которая нам позарез нужна для offload-а слоёв модели из VRAM в RAM. Если у вас 32 ГБ ОЗУ, перед запуском должно быть свободно минимум 18-20 ГБ. Проверьте фоновые процессы. Выгрузите всё, что не нужно.
 
# Установка самых свежих драйверов и CUDA
На март 2026 года стабильная ветка CUDA – это 12.6. Драйверы NVIDIA должны быть не старше февраля 2026. Да, иногда новые драйверы ломают совместимость, но в случае с llama.cpp разработчики быстро выпускают фиксы. Старые драйверы гарантированно дадут падение производительности или ошибки компиляции.

# Проверяем версию драйвера
nvidia-smi
# Ожидаем что-то вроде:
# Driver Version: 555.xx.xx
# CUDA Version: 12.6
Если версия CUDA не указана или старая, качаем с официального сайта NVIDIA. Не через пакетный менеджер, если вы не уверены в его настройках. Прямая загрузка – ваш друг.

* Не пытайтесь установить CUDA Toolkit через apt-get на Ubuntu без чёткого понимания репозиториев. В 90% случаев вы получите конфликт версий, и сборка llama.cpp сломается с невнятной ошибкой про «не найден cudart». Лучший способ – локальный установщик от NVIDIA.

* Сборка llama.cpp с CUDA: не пропустите эти флаги
Качаем исходники. Никаких готовых бинарников – они собраны с универсальными настройками, которые не раскроют потенциал вашей карты.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# Переключаемся на последнюю стабильную ветку (актуально на март 2026)
git checkout release/2.5
Теперь самое важное – компиляция. Классическая ошибка: сделать просто `make`. Это соберёт CPU-версию, которая будет работать в 20 раз медленнее. Нам нужна сборка с поддержкой CUDA и, что критично, со слоёвым offload-ом.

# Очищаем предыдущие сборки (на всякий случай)
make clean

# Ключевая команда. Флаги:
# LLAMA_CUDA=1 - включаем CUDA
# LLAMA_CUDA_FORCE_DMMV=1 - принудительно используем более быстрые матричные операции для архитектур Ampere (RTX 3070) и новее
# LLAMA_CUDA_MMQ=1 - включаем оптимизированные очереди матриц (существенно для скорости)
# LLAMA_CUDA_F16=1 - работа с половинной точностью (экономия памяти без большого ущерба)

make LLAMA_CUDA=1 LLAMA_CUDA_FORCE_DMMV=1 LLAMA_CUDA_MMQ=1 LLAMA_CUDA_F16=1 -j$(nproc)
Флаг `-j$(nproc)` использует все ядра процессора для компиляции, это быстрее. После успешной сборки в папке появится бинарник `main` (или `main.exe` на Windows). Это наш рабочий инструмент.

* Загрузка и квантование OmniCoder-9B: где брать и как сжать
Оригинальная полная версия OmniCoder-9B весит около 18 ГБ в формате FP16. Нам это не подходит. Идём на Hugging Face и ищем квантованные версии. Ключевые слова: «OmniCoder-9B-GGUF». GGUF – это формат, который понимает llama.cpp.
 
* Если готовой версии Q4_K_M нет (что маловероятно к 2026 году), качаем оригинальную модель и квантуем сами. Это долго, но просто.
 
# Предположим, скачали модель в папку ./models
# Конвертируем в формат GGUF (если скачали в формате PyTorch/Safetensors)
python3 convert.py ./models/OmniCoder-9B --outtype f16 --outfile ./models/omnicoder-9b.f16.gguf

# Теперь квантуем до Q4_K_M
./quantize ./models/omnicoder-9b.f16.gguf ./models/omnicoder-9b.Q4_K_M.gguf Q4_K_M
Процесс квантования может занять 10-30 минут. На выходе получите файл весом ~5.5 ГБ. Именно его мы и будем запускать.

💡 Где брать модели? Платформа Hugging Face – основной хаб. Для конкретно этой модели ищите репозиторий от создателей или сообщества «TheBloke», который славится качественными квантованиями. Прямые ссылки имеют свойство умирать, поэтому ищите по названию.

==Запуск и настройка: магия флагов командной строки==
Вот момент истины. Запускаем модель с правильными параметрами, чтобы она поместилась в память и работала быстро.

./main -m ./models/omnicoder-9b.Q4_K_M.gguf \
-n 512 \
-t 10 \
-ngl 33 \
-c 8192 \
--temp 0.2 \
--top-p 0.95 \
-p "Код на Python для быстрой сортировки:"
Разберём каждый флаг, потому что без понимания вы будете тыкать наугад.

-n 512: генерируем 512 токенов. Достаточно для небольшой функции или блока кода.
-t 10: используем 10 CPU-потоков для обработки тех слоёв, которые не влезли в VRAM. Оптимально для большинства 6-8 ядерных процессоров.
-ngl 33: САМЫЙ ВАЖНЫЙ ПАРАМЕТР. Количество слоёв, которые загружаем в VRAM. OmniCoder-9B имеет около 40-45 слоёв. 33 – это примерно 75% модели. Они будут обрабатываться на GPU со скоростью света. Остальные слои (offload) уйдут в оперативку и будут считаться на CPU. Баланс, который позволяет уместить модель в 8 ГБ VRAM и не превратить генерацию в слайд-шоу.
-c 8192: размер контекста. 8K – хороший компромисс для работы с несколькими файлами. Можно и больше, но помните: каждый токен контекста съедает память. Если нужен огромный контекст, изучите технику SSD offload.
--temp 0.2, --top-p 0.95: параметры «творчества». Для кодинга нужна низкая температура (больше детерминизма) и высокий top-p (для разнообразия, но без бреда).
После запуска вы увидите, как модель загружает слои в VRAM и RAM. Если всё настроено верно, потребление VRAM будет на уровне 6.5-7.5 ГБ, а оперативки – 12-15 ГБ. Генерация 512 токенов должна занимать 20-40 секунд. Это не мгновенно, но вполне терпимо для обдумывания задачи.

==Интеграция в рабочий процесс: не останавливайтесь на консоли==
Работать через консольный ввод – это каменный век. Нам нужна интеграция в IDE или хотя бы удобный интерфейс.

Вариант 1: Superpowers (или его форки 2026 года). Это локальный веб-интерфейс, который подключается к llama.cpp как бэкенд. Настраивается за 5 минут, даёт удобный чат, историю, возможность загружать файлы в контекст.

Вариант 2: Плагин для VSCode, например, Continue.dev или его аналоги, которые умеют работать с локальными LLM через API. Запускаем llama.cpp в server mode:

./server -m ./models/omnicoder-9b.Q4_K_M.gguf -c 8192 -ngl 33 --host 127.0.0.1 --port 8080
И настраиваем плагин на этот адрес. Теперь автодополнение и чат с ИИ прямо в редакторе. Без облаков, без подписок.

Не используйте стандартный `--server` флаг из старых версий llama.cpp. В версиях 2.5.x его заменил отдельный бинарник `server`, который собирается вместе с `main`. Если его нет, пересоберите проект с теми же флагами.

Что делать, если всё падает? Типичные ошибки и их лечение
1. «CUDA out of memory» сразу после запуска. Слишком большое значение `-ngl`. Уменьшайте на 5-10, пока не заработает. Для RTX 3070 8GB стартовая точка – 28-33 слоя.

2. Генерация тормозит (меньше 1 токена в секунду). Скорее всего, модель работает почти полностью на CPU. Проверьте, что `-ngl` больше 0 и что llama.cpp собрана с CUDA. Запустите `nvidia-smi` во время генерации – должна быть загрузка GPU.

3. Модель выдаёт бессвязный текст вместо кода. Вы скачали не ту версию. OmniCoder – модель, дообученная именно на код. Убедитесь, что это не базовая общая LLM. Также проверьте параметры `--temp` – если она выше 0.7, модель начнёт «сочинять».

4. Ошибка «Illegal instruction» при запуске. Проблема совместимости CPU. Собирайте llama.cpp с флагом `-march=native` или, если используете Docker, образ должен быть собран для вашей архитектуры. Чаще встречается на старых процессорах.

А что с альтернативами? Краткий обзор на 2026 год
Opencode + GLM-5-9B: мощная комбинация для интерактивного выполнения кода (модель может запускать код в песочнице и исправлять ошибки). Но её минимальные требования – 10 ГБ VRAM для комфортной работы, и она менее стабильна в режиме offload. Если у вас есть запас по памяти – стоит попробовать.

DeepSeek-Coder-7B: отличная модель, но на март 2026 года уже немного устарела по сравнению с оптимизациями в OmniCoder. Запускается легко, но качество кода в сложных задачах проседает.

Если у вас совсем мало ОЗУ (16 ГБ), смотрите в сторону моделей на 7 миллиардов параметров с квантованием Q4_K_M. Они поместятся полностью в VRAM 8 ГБ карты, но и возможностей у них меньше.

Гонка за параметрами бессмысленна на слабом железе. Важнее эффективность и специализация. OmniCoder-9B в связке с правильно собранным llama.cpp даёт максимальный результат на ограниченных ресурсах. Это не игрушка, а рабочий инструмент, который окупается за неделю активного использования.

И последний совет: не зацикливайтесь на одной модели. Раз в месяц проверяйте Hugging Face на предмет новых квантований или оптимизированных версий. Мир локальных LLM движется не так быстро, как корпоративный, но движется. И теперь вы знаете, как заставить его работать на себе, а не против.

==Источники==
* [https://ai-manual.ru/article/luchshaya-sborka-dlya-lokalnogo-ii-na-slabom-zheleze-omnicoder-9b-llamacpp-i-32-gb-ozu/ Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ]
* [https://github.com/marselcomp/aiguide Запуск нейросетей на слабом ПК — реально!]
* [https://habr.com/ru/companies/bothub/articles/1019314/ Топ локальных нейросетей 2026: полный суверенитет без интернета]

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T18:35:17Z

Vix: /* Источники */

==Вводная==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' 
* Когда 8 ГБ видеопамяти должно хватить на всё.
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

* Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга.
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

* llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.
==Подготовка поля боя: что нужно сделать до загрузки модели==
Первая ошибка – скачать всё подряд и надеяться, что заработает. Не заработает. Нам нужна чистая система, правильные драйверы и освобождённая память.

1
Очистка системы от цифрового мусора
Закройте Chrome с 50 вкладками. Серьёзно. Каждая вкладка – это сотни мегабайт оперативки, которая нам позарез нужна для offload-а слоёв модели из VRAM в RAM. Если у вас 32 ГБ ОЗУ, перед запуском должно быть свободно минимум 18-20 ГБ. Проверьте фоновые процессы. Выгрузите всё, что не нужно.

2
Установка самых свежих драйверов и CUDA
На март 2026 года стабильная ветка CUDA – это 12.6. Драйверы NVIDIA должны быть не старше февраля 2026. Да, иногда новые драйверы ломают совместимость, но в случае с llama.cpp разработчики быстро выпускают фиксы. Старые драйверы гарантированно дадут падение производительности или ошибки компиляции.

# Проверяем версию драйвера
nvidia-smi
# Ожидаем что-то вроде:
# Driver Version: 555.xx.xx
# CUDA Version: 12.6
Если версия CUDA не указана или старая, качаем с официального сайта NVIDIA. Не через пакетный менеджер, если вы не уверены в его настройках. Прямая загрузка – ваш друг.

Не пытайтесь установить CUDA Toolkit через apt-get на Ubuntu без чёткого понимания репозиториев. В 90% случаев вы получите конфликт версий, и сборка llama.cpp сломается с невнятной ошибкой про «не найден cudart». Лучший способ – локальный установщик от NVIDIA.

Сборка llama.cpp с CUDA: не пропустите эти флаги
Качаем исходники. Никаких готовых бинарников – они собраны с универсальными настройками, которые не раскроют потенциал вашей карты.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# Переключаемся на последнюю стабильную ветку (актуально на март 2026)
git checkout release/2.5
Теперь самое важное – компиляция. Классическая ошибка: сделать просто `make`. Это соберёт CPU-версию, которая будет работать в 20 раз медленнее. Нам нужна сборка с поддержкой CUDA и, что критично, со слоёвым offload-ом.

# Очищаем предыдущие сборки (на всякий случай)
make clean

# Ключевая команда. Флаги:
# LLAMA_CUDA=1 - включаем CUDA
# LLAMA_CUDA_FORCE_DMMV=1 - принудительно используем более быстрые матричные операции для архитектур Ampere (RTX 3070) и новее
# LLAMA_CUDA_MMQ=1 - включаем оптимизированные очереди матриц (существенно для скорости)
# LLAMA_CUDA_F16=1 - работа с половинной точностью (экономия памяти без большого ущерба)

make LLAMA_CUDA=1 LLAMA_CUDA_FORCE_DMMV=1 LLAMA_CUDA_MMQ=1 LLAMA_CUDA_F16=1 -j$(nproc)
Флаг `-j$(nproc)` использует все ядра процессора для компиляции, это быстрее. После успешной сборки в папке появится бинарник `main` (или `main.exe` на Windows). Это наш рабочий инструмент.

Загрузка и квантование OmniCoder-9B: где брать и как сжать
Оригинальная полная версия OmniCoder-9B весит около 18 ГБ в формате FP16. Нам это не подходит. Идём на Hugging Face и ищем квантованные версии. Ключевые слова: «OmniCoder-9B-GGUF». GGUF – это формат, который понимает llama.cpp.

Если готовой версии Q4_K_M нет (что маловероятно к 2026 году), качаем оригинальную модель и квантуем сами. Это долго, но просто.

# Предположим, скачали модель в папку ./models
# Конвертируем в формат GGUF (если скачали в формате PyTorch/Safetensors)
python3 convert.py ./models/OmniCoder-9B --outtype f16 --outfile ./models/omnicoder-9b.f16.gguf

# Теперь квантуем до Q4_K_M
./quantize ./models/omnicoder-9b.f16.gguf ./models/omnicoder-9b.Q4_K_M.gguf Q4_K_M
Процесс квантования может занять 10-30 минут. На выходе получите файл весом ~5.5 ГБ. Именно его мы и будем запускать.

💡
Где брать модели? Платформа Hugging Face – основной хаб. Для конкретно этой модели ищите репозиторий от создателей или сообщества «TheBloke», который славится качественными квантованиями. Прямые ссылки имеют свойство умирать, поэтому ищите по названию.
==Запуск и настройка: магия флагов командной строки==
Вот момент истины. Запускаем модель с правильными параметрами, чтобы она поместилась в память и работала быстро.

./main -m ./models/omnicoder-9b.Q4_K_M.gguf \
-n 512 \
-t 10 \
-ngl 33 \
-c 8192 \
--temp 0.2 \
--top-p 0.95 \
-p "Код на Python для быстрой сортировки:"
Разберём каждый флаг, потому что без понимания вы будете тыкать наугад.

-n 512: генерируем 512 токенов. Достаточно для небольшой функции или блока кода.
-t 10: используем 10 CPU-потоков для обработки тех слоёв, которые не влезли в VRAM. Оптимально для большинства 6-8 ядерных процессоров.
-ngl 33: САМЫЙ ВАЖНЫЙ ПАРАМЕТР. Количество слоёв, которые загружаем в VRAM. OmniCoder-9B имеет около 40-45 слоёв. 33 – это примерно 75% модели. Они будут обрабатываться на GPU со скоростью света. Остальные слои (offload) уйдут в оперативку и будут считаться на CPU. Баланс, который позволяет уместить модель в 8 ГБ VRAM и не превратить генерацию в слайд-шоу.
-c 8192: размер контекста. 8K – хороший компромисс для работы с несколькими файлами. Можно и больше, но помните: каждый токен контекста съедает память. Если нужен огромный контекст, изучите технику SSD offload.
--temp 0.2, --top-p 0.95: параметры «творчества». Для кодинга нужна низкая температура (больше детерминизма) и высокий top-p (для разнообразия, но без бреда).
После запуска вы увидите, как модель загружает слои в VRAM и RAM. Если всё настроено верно, потребление VRAM будет на уровне 6.5-7.5 ГБ, а оперативки – 12-15 ГБ. Генерация 512 токенов должна занимать 20-40 секунд. Это не мгновенно, но вполне терпимо для обдумывания задачи.

==Интеграция в рабочий процесс: не останавливайтесь на консоли==
Работать через консольный ввод – это каменный век. Нам нужна интеграция в IDE или хотя бы удобный интерфейс.

Вариант 1: Superpowers (или его форки 2026 года). Это локальный веб-интерфейс, который подключается к llama.cpp как бэкенд. Настраивается за 5 минут, даёт удобный чат, историю, возможность загружать файлы в контекст.

Вариант 2: Плагин для VSCode, например, Continue.dev или его аналоги, которые умеют работать с локальными LLM через API. Запускаем llama.cpp в server mode:

./server -m ./models/omnicoder-9b.Q4_K_M.gguf -c 8192 -ngl 33 --host 127.0.0.1 --port 8080
И настраиваем плагин на этот адрес. Теперь автодополнение и чат с ИИ прямо в редакторе. Без облаков, без подписок.

Не используйте стандартный `--server` флаг из старых версий llama.cpp. В версиях 2.5.x его заменил отдельный бинарник `server`, который собирается вместе с `main`. Если его нет, пересоберите проект с теми же флагами.

Что делать, если всё падает? Типичные ошибки и их лечение
1. «CUDA out of memory» сразу после запуска. Слишком большое значение `-ngl`. Уменьшайте на 5-10, пока не заработает. Для RTX 3070 8GB стартовая точка – 28-33 слоя.

2. Генерация тормозит (меньше 1 токена в секунду). Скорее всего, модель работает почти полностью на CPU. Проверьте, что `-ngl` больше 0 и что llama.cpp собрана с CUDA. Запустите `nvidia-smi` во время генерации – должна быть загрузка GPU.

3. Модель выдаёт бессвязный текст вместо кода. Вы скачали не ту версию. OmniCoder – модель, дообученная именно на код. Убедитесь, что это не базовая общая LLM. Также проверьте параметры `--temp` – если она выше 0.7, модель начнёт «сочинять».

4. Ошибка «Illegal instruction» при запуске. Проблема совместимости CPU. Собирайте llama.cpp с флагом `-march=native` или, если используете Docker, образ должен быть собран для вашей архитектуры. Чаще встречается на старых процессорах.

А что с альтернативами? Краткий обзор на 2026 год
Opencode + GLM-5-9B: мощная комбинация для интерактивного выполнения кода (модель может запускать код в песочнице и исправлять ошибки). Но её минимальные требования – 10 ГБ VRAM для комфортной работы, и она менее стабильна в режиме offload. Если у вас есть запас по памяти – стоит попробовать.

DeepSeek-Coder-7B: отличная модель, но на март 2026 года уже немного устарела по сравнению с оптимизациями в OmniCoder. Запускается легко, но качество кода в сложных задачах проседает.

Если у вас совсем мало ОЗУ (16 ГБ), смотрите в сторону моделей на 7 миллиардов параметров с квантованием Q4_K_M. Они поместятся полностью в VRAM 8 ГБ карты, но и возможностей у них меньше.

Гонка за параметрами бессмысленна на слабом железе. Важнее эффективность и специализация. OmniCoder-9B в связке с правильно собранным llama.cpp даёт максимальный результат на ограниченных ресурсах. Это не игрушка, а рабочий инструмент, который окупается за неделю активного использования.

И последний совет: не зацикливайтесь на одной модели. Раз в месяц проверяйте Hugging Face на предмет новых квантований или оптимизированных версий. Мир локальных LLM движется не так быстро, как корпоративный, но движется. И теперь вы знаете, как заставить его работать на себе, а не против.

==Источники==
* [https://ai-manual.ru/article/luchshaya-sborka-dlya-lokalnogo-ii-na-slabom-zheleze-omnicoder-9b-llamacpp-i-32-gb-ozu/ Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ]
* [https://github.com/marselcomp/aiguide Запуск нейросетей на слабом ПК — реально!]
* [https://habr.com/ru/companies/bothub/articles/1019314/ Топ локальных нейросетей 2026: полный суверенитет без интернета]

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T18:32:00Z

Vix: /* Подготовка поля боя: что нужно сделать до загрузки модели */

==Вводная==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' 
* Когда 8 ГБ видеопамяти должно хватить на всё.
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

* Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга.
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

* llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.
==Подготовка поля боя: что нужно сделать до загрузки модели==
Первая ошибка – скачать всё подряд и надеяться, что заработает. Не заработает. Нам нужна чистая система, правильные драйверы и освобождённая память.

1
Очистка системы от цифрового мусора
Закройте Chrome с 50 вкладками. Серьёзно. Каждая вкладка – это сотни мегабайт оперативки, которая нам позарез нужна для offload-а слоёв модели из VRAM в RAM. Если у вас 32 ГБ ОЗУ, перед запуском должно быть свободно минимум 18-20 ГБ. Проверьте фоновые процессы. Выгрузите всё, что не нужно.

2
Установка самых свежих драйверов и CUDA
На март 2026 года стабильная ветка CUDA – это 12.6. Драйверы NVIDIA должны быть не старше февраля 2026. Да, иногда новые драйверы ломают совместимость, но в случае с llama.cpp разработчики быстро выпускают фиксы. Старые драйверы гарантированно дадут падение производительности или ошибки компиляции.

# Проверяем версию драйвера
nvidia-smi
# Ожидаем что-то вроде:
# Driver Version: 555.xx.xx
# CUDA Version: 12.6
Если версия CUDA не указана или старая, качаем с официального сайта NVIDIA. Не через пакетный менеджер, если вы не уверены в его настройках. Прямая загрузка – ваш друг.

Не пытайтесь установить CUDA Toolkit через apt-get на Ubuntu без чёткого понимания репозиториев. В 90% случаев вы получите конфликт версий, и сборка llama.cpp сломается с невнятной ошибкой про «не найден cudart». Лучший способ – локальный установщик от NVIDIA.

Сборка llama.cpp с CUDA: не пропустите эти флаги
Качаем исходники. Никаких готовых бинарников – они собраны с универсальными настройками, которые не раскроют потенциал вашей карты.

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
# Переключаемся на последнюю стабильную ветку (актуально на март 2026)
git checkout release/2.5
Теперь самое важное – компиляция. Классическая ошибка: сделать просто `make`. Это соберёт CPU-версию, которая будет работать в 20 раз медленнее. Нам нужна сборка с поддержкой CUDA и, что критично, со слоёвым offload-ом.

# Очищаем предыдущие сборки (на всякий случай)
make clean

# Ключевая команда. Флаги:
# LLAMA_CUDA=1 - включаем CUDA
# LLAMA_CUDA_FORCE_DMMV=1 - принудительно используем более быстрые матричные операции для архитектур Ampere (RTX 3070) и новее
# LLAMA_CUDA_MMQ=1 - включаем оптимизированные очереди матриц (существенно для скорости)
# LLAMA_CUDA_F16=1 - работа с половинной точностью (экономия памяти без большого ущерба)

make LLAMA_CUDA=1 LLAMA_CUDA_FORCE_DMMV=1 LLAMA_CUDA_MMQ=1 LLAMA_CUDA_F16=1 -j$(nproc)
Флаг `-j$(nproc)` использует все ядра процессора для компиляции, это быстрее. После успешной сборки в папке появится бинарник `main` (или `main.exe` на Windows). Это наш рабочий инструмент.

Загрузка и квантование OmniCoder-9B: где брать и как сжать
Оригинальная полная версия OmniCoder-9B весит около 18 ГБ в формате FP16. Нам это не подходит. Идём на Hugging Face и ищем квантованные версии. Ключевые слова: «OmniCoder-9B-GGUF». GGUF – это формат, который понимает llama.cpp.

Если готовой версии Q4_K_M нет (что маловероятно к 2026 году), качаем оригинальную модель и квантуем сами. Это долго, но просто.

# Предположим, скачали модель в папку ./models
# Конвертируем в формат GGUF (если скачали в формате PyTorch/Safetensors)
python3 convert.py ./models/OmniCoder-9B --outtype f16 --outfile ./models/omnicoder-9b.f16.gguf

# Теперь квантуем до Q4_K_M
./quantize ./models/omnicoder-9b.f16.gguf ./models/omnicoder-9b.Q4_K_M.gguf Q4_K_M
Процесс квантования может занять 10-30 минут. На выходе получите файл весом ~5.5 ГБ. Именно его мы и будем запускать.

💡
Где брать модели? Платформа Hugging Face – основной хаб. Для конкретно этой модели ищите репозиторий от создателей или сообщества «TheBloke», который славится качественными квантованиями. Прямые ссылки имеют свойство умирать, поэтому ищите по названию.
==Запуск и настройка: магия флагов командной строки==
Вот момент истины. Запускаем модель с правильными параметрами, чтобы она поместилась в память и работала быстро.

./main -m ./models/omnicoder-9b.Q4_K_M.gguf \
-n 512 \
-t 10 \
-ngl 33 \
-c 8192 \
--temp 0.2 \
--top-p 0.95 \
-p "Код на Python для быстрой сортировки:"
Разберём каждый флаг, потому что без понимания вы будете тыкать наугад.

-n 512: генерируем 512 токенов. Достаточно для небольшой функции или блока кода.
-t 10: используем 10 CPU-потоков для обработки тех слоёв, которые не влезли в VRAM. Оптимально для большинства 6-8 ядерных процессоров.
-ngl 33: САМЫЙ ВАЖНЫЙ ПАРАМЕТР. Количество слоёв, которые загружаем в VRAM. OmniCoder-9B имеет около 40-45 слоёв. 33 – это примерно 75% модели. Они будут обрабатываться на GPU со скоростью света. Остальные слои (offload) уйдут в оперативку и будут считаться на CPU. Баланс, который позволяет уместить модель в 8 ГБ VRAM и не превратить генерацию в слайд-шоу.
-c 8192: размер контекста. 8K – хороший компромисс для работы с несколькими файлами. Можно и больше, но помните: каждый токен контекста съедает память. Если нужен огромный контекст, изучите технику SSD offload.
--temp 0.2, --top-p 0.95: параметры «творчества». Для кодинга нужна низкая температура (больше детерминизма) и высокий top-p (для разнообразия, но без бреда).
После запуска вы увидите, как модель загружает слои в VRAM и RAM. Если всё настроено верно, потребление VRAM будет на уровне 6.5-7.5 ГБ, а оперативки – 12-15 ГБ. Генерация 512 токенов должна занимать 20-40 секунд. Это не мгновенно, но вполне терпимо для обдумывания задачи.

==Интеграция в рабочий процесс: не останавливайтесь на консоли==
Работать через консольный ввод – это каменный век. Нам нужна интеграция в IDE или хотя бы удобный интерфейс.

Вариант 1: Superpowers (или его форки 2026 года). Это локальный веб-интерфейс, который подключается к llama.cpp как бэкенд. Настраивается за 5 минут, даёт удобный чат, историю, возможность загружать файлы в контекст.

Вариант 2: Плагин для VSCode, например, Continue.dev или его аналоги, которые умеют работать с локальными LLM через API. Запускаем llama.cpp в server mode:

./server -m ./models/omnicoder-9b.Q4_K_M.gguf -c 8192 -ngl 33 --host 127.0.0.1 --port 8080
И настраиваем плагин на этот адрес. Теперь автодополнение и чат с ИИ прямо в редакторе. Без облаков, без подписок.

Не используйте стандартный `--server` флаг из старых версий llama.cpp. В версиях 2.5.x его заменил отдельный бинарник `server`, который собирается вместе с `main`. Если его нет, пересоберите проект с теми же флагами.

Что делать, если всё падает? Типичные ошибки и их лечение
1. «CUDA out of memory» сразу после запуска. Слишком большое значение `-ngl`. Уменьшайте на 5-10, пока не заработает. Для RTX 3070 8GB стартовая точка – 28-33 слоя.

2. Генерация тормозит (меньше 1 токена в секунду). Скорее всего, модель работает почти полностью на CPU. Проверьте, что `-ngl` больше 0 и что llama.cpp собрана с CUDA. Запустите `nvidia-smi` во время генерации – должна быть загрузка GPU.

3. Модель выдаёт бессвязный текст вместо кода. Вы скачали не ту версию. OmniCoder – модель, дообученная именно на код. Убедитесь, что это не базовая общая LLM. Также проверьте параметры `--temp` – если она выше 0.7, модель начнёт «сочинять».

4. Ошибка «Illegal instruction» при запуске. Проблема совместимости CPU. Собирайте llama.cpp с флагом `-march=native` или, если используете Docker, образ должен быть собран для вашей архитектуры. Чаще встречается на старых процессорах.

А что с альтернативами? Краткий обзор на 2026 год
Opencode + GLM-5-9B: мощная комбинация для интерактивного выполнения кода (модель может запускать код в песочнице и исправлять ошибки). Но её минимальные требования – 10 ГБ VRAM для комфортной работы, и она менее стабильна в режиме offload. Если у вас есть запас по памяти – стоит попробовать.

DeepSeek-Coder-7B: отличная модель, но на март 2026 года уже немного устарела по сравнению с оптимизациями в OmniCoder. Запускается легко, но качество кода в сложных задачах проседает.

Если у вас совсем мало ОЗУ (16 ГБ), смотрите в сторону моделей на 7 миллиардов параметров с квантованием Q4_K_M. Они поместятся полностью в VRAM 8 ГБ карты, но и возможностей у них меньше.

Гонка за параметрами бессмысленна на слабом железе. Важнее эффективность и специализация. OmniCoder-9B в связке с правильно собранным llama.cpp даёт максимальный результат на ограниченных ресурсах. Это не игрушка, а рабочий инструмент, который окупается за неделю активного использования.

И последний совет: не зацикливайтесь на одной модели. Раз в месяц проверяйте Hugging Face на предмет новых квантований или оптимизированных версий. Мир локальных LLM движется не так быстро, как корпоративный, но движется. И теперь вы знаете, как заставить его работать на себе, а не против.

==Источники==
* [https://ai-manual.ru/article/luchshaya-sborka-dlya-lokalnogo-ii-na-slabom-zheleze-omnicoder-9b-llamacpp-i-32-gb-ozu/ Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ]

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T18:21:05Z

Vix:

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T18:19:26Z

Vix:

==ВВОДНАЯ==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' 
* Когда 8 ГБ видеопамяти должно хватить на всё.
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

* Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга.
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

* llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T18:19:10Z

Vix:

==ВВОДНАЯ==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' 
* Когда 8 ГБ видеопамяти должно хватить на всё.
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

* Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга.
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

* llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

* Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.

Лучшая сборка для локального ИИ на слабом железе: OmniCoder-9B, llama.cpp и 32 ГБ ОЗУ

2026-04-15T18:18:06Z

Vix: Новая страница: «==ВВОДНАЯ== '''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' '''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.''' Когда 8 ГБ видеопамяти должно хватить на всё Вы купили RTX 3070 пару лет назад, и она отлич...»

==ВВОДНАЯ==
'''Полное руководство по запуску OmniCoder-9B с llama.cpp на слабом железе.''' 
'''Квантование Q4_K_M, настройка CUDA, тесты скорости. Ежедневный кодинг без облачных затрат.'''
Когда 8 ГБ видеопамяти должно хватить на всё
Вы купили RTX 3070 пару лет назад, и она отлично тянула игры. Теперь вы хотите запустить локальную нейросеть для помощи в кодинге, но каждая модель требует минимум 24 ГБ VRAM. Ваши 8 ГБ – шутка. Вы скачиваете какую-то 7B-модель, а она выдаёт код, который выглядит так, словно его писал студент после трёх бессонных ночей. Знакомая ситуация?

Проблема не в вас. Проблема в том, что большинство гайдов написано для гиков с RTX 4090 и 64 ГБ оперативки. Они могут запустить [https://ai-manual.ru/article/kak-zapustit-llama-70b-lokalno-na-svoyom-kompyutere-poshagovoe-rukovodstvo-dlya-novichkov/ Llama 70B] и не моргнуть глазом. У нас же другие реалии.

Решение существует. И оно не требует покупки нового железа или продажи почки для облачных кредитов. Всё упирается в три компонента: правильная модель, правильный движок и правильная настройка. На март 2026 года лучший баланс для разработчика с ограниченными ресурсами – это связка OmniCoder-9B, llama.cpp с CUDA и квантование Q4_K_M.

Забудьте про обещания «запустить что угодно на чём угодно». Речь идёт о рабочем инструменте для ежедневного использования, а не демо на один раз. Скорость генерации должна быть комфортной, а качество кода – приемлемым для реальных задач.

* Почему именно эта тройка? Разбор без маркетинга
OmniCoder-9B – не самая новая, но самая выверенная модель для кодинга в своём классе на 2026 год. Её создатели не гнались за параметрами, а оптимизировали архитектуру именно под понимание и генерацию кода. В отличие от общих моделей, она реже «галлюцинирует» названиями функций и лучше понимает контекст.

llama.cpp – де-факто стандарт для запуска LLM на потребительском железе. Его последние версии (на момент написания – ветка 2.5.x) сделали огромный скачок в эффективности использования CUDA, особенно для карт с 8 ГБ памяти. Сборка [https://ai-manual.ru/article/sborka-llamacpp-ne-dlya-vseh-kak-zastavit-ego-letat-na-tvoyom-zheleze/ llama.cpp] теперь умеет грациозно работать с смешанной загрузкой (GPU + RAM), что критично для нас.

* Квантование Q4_K_M – золотая середина. Более агрессивные квантования (Q2_K, Q3_K) сильно бьют по качеству, особенно в логических рассуждениях. Менее агрессивные (Q5_K_M, Q6_K) съедают слишком много памяти. Q4_K_M сжимает модель примерно до 5.5 ГБ, оставляя ей достаточно «интеллекта» для решения нетривиальных задач.

* Альтернатива? Конечно, есть. Например, связка OpenCode Interpreter с GLM-5-9B, которая показывает хорошие результаты в интерактивном выполнении кода. Но её требования к памяти и стабильность работы в марте 2026 года всё ещё оставляют желать лучшего для ежедневной работы на слабом железе.

Установка менеджера лицензий HASP от Etersoft

2026-04-14T11:49:55Z

Vix:

* Просмотр доступности ключа:
$ lsusb
Bus 001 Device 003: '''ID 0529:0001 Aladdin Knowledge Systems HASP copy protection dongle'''
Bus 001 Device 002: ID 80ee:0021 VirtualBox USB Tablet
Bus 001 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub

$ ip a192.168.1.238

* Удаление:
$ sudo apt-get remove aksusbd

* Установка совмещенного драйвера hasp с lm от Etersoft
Берем [https://updates.etersoft.ru/pub/Etersoft/HASP/stable/Debian/ здесь]

$ cd test
$ wget http://download.etersoft.ru/pub/Etersoft/HASP/last/x86_64/Ubuntu/16.04/haspd-modules_7.60-eter1ubuntu_amd64.deb

$ wget http://download.etersoft.ru/pub/Etersoft/HASP/last/x86_64/Ubuntu/16.04/haspd_7.60-eter1ubuntu_amd64.deb

$ sudo apt install libc6-i386
$ sudo dpkg -i haspd-modules_7.60-eter1ubuntu_amd64.deb
$ sudo dpkg -i haspd_7.60-eter1ubuntu_amd64.deb
$ sudo apt install -f
$ sudo systemctl restart haspd.service
$ sudo systemctl status haspd.service
● haspd.service - LSB: Hasp keys support
Loaded: loaded (/etc/init.d/haspd; bad; vendor preset: enabled)
Active: active (running) since Сб 2018-11-10 16:50:47 MSK; 1min 44s ago
Docs: man:systemd-sysv-generator(8)
Process: 1701 ExecStart=/etc/init.d/haspd start (code=exited, status=0/SUCCESS)
Tasks: 11
Memory: 9.2M
CPU: 356ms
CGroup: /system.slice/haspd.service
├─1726 aksusbd
├─1740 winehasp
├─1749 hasplm -c /etc/haspd/hasplm.conf
└─1758 hasplmd -s

ноя 10 16:50:47 u1604 haspd[1701]: Loading HASP LPT kernel module... (/dev/lp0 device has not found) [PASSED]
ноя 10 16:50:47 u1604 aksusbd[1726]: loaded, daemon version: 7.60.1.70367, key API (USB) version: 3.88 (parallel driver not available)
ноя 10 16:50:47 u1604 haspd[1701]: Running aksusbd... [ DONE ]
ноя 10 16:50:47 u1604 winehasp[1740]: winehasp 2.00 loaded
ноя 10 16:50:47 u1604 haspd[1701]: Running winehasp... [ DONE ]
ноя 10 16:50:47 u1604 hasplm[1749]: HASP LM v8.30 loaded
ноя 10 16:50:47 u1604 haspd[1701]: Running hasplm... [ DONE ]
ноя 10 16:50:47 u1604 hasplmd[1758]: HASP LM v20.0.1.70826 loaded
ноя 10 16:50:47 u1604 haspd[1701]: Running hasplmd... [ DONE ]
ноя 10 16:50:47 u1604 systemd[1]: Started LSB: Hasp keys support.

-----------------------------------------------------------------
$ sudo nano /etc/hasplm/hasplm.ini

[SERVER]
ACCremote = 1

http://server_ip:1947
------------------------------------------------------------------

* Работа ключа на удаленной машине – настройка "nethasp.ini"

Для того, чтобы защищенное приложение нормально работало с аппаратным ключом защиты, расположенным на удаленной рабочей станции, необходимо обеспечить беспрепятственный проход UDP- и TCP-пакетов по 475 порту в обе стороны. Также должны проходить и broadcast-пакеты. Если последнее требование не выполняется, необходима настройка приложения через файл "nethasp.ini" (должен находиться в одной директории с защищенным приложением) с целью отключения broadcast-механизма поиска ключа и явного указания IP-адреса машины, обслуживающей ключ.

** Пример "nethasp.ini":

--------------------------------------------------
[NH_COMMON]
NH_TCPIP = Enabled
...
[NH_TCPIP]
NHS_IP_LIMIT 168.192.1.100, 168.192.1.0/24 // разрешим доступ узлу 168.192.1.100(1с сервер) и сети 168.192.1.0/24:
NH_SERVER_ADDR = 168.192.1.41 //ip-адрес компьютера, где расположен менеджер лицензий.
NH_TCPIP_METHOD = TCP
NH_USE_BROADCAST = Disabled
* Однако если часть маршрута проходит через Интернет, могут возникнуть проблемы с тайм-аутами при доставке пакетов.
* Два и более менеджеров лицензий (HASP License Manager) в сети
 
При установке в сети двух и более менеджеров лицензий их необходимо настроить для корректной работы. Иначе в сети может возникать коллизия между менеджерами лицензий по именам: при старте они принимают одно и то же имя по умолчанию, и в результате в сети присутствует несколько ресурсов с одинаковыми именами. Стоит отметить, что нередко менеджеры нормально работают и без настройки. Тем не менее, следует иметь в виду, что возможно возникновение проблемы. Кроме того, настройка может понадобиться, например, чтобы разделить клиентов по разным менеджерам лицензий.
 
Основная идея настройки в данном случае – назначить каждому менеджеру свое имя и сообщить каждой копии 1С эти имена. Задать имя менеджеру можно через файл "nhsrv.ini", он должен находиться в одном каталоге с менеджером лицензий (по умолчанию - C:\Program Files\Aladdin\HASP LM). Если менеджер лицензий установлен как сервис, то данный файл необходимо скопировать в каталог Windows\System32 (для 64-разрядных ОС - Windows\SysWOW64). Имя должно состоять из алфавитно-цифровых символов (только латиница) и не должно быть длиннее 7 символов.

* Пример настройки:

------------------- "nhsrv.ini" #1------------------------------

[NHS_SERVER]
NHS_SERVERNAMES = LM1

----------------------------------------------------------------

------------------- "nhsrv.ini" #2------------------------------

[NHS_SERVER]
NHS_SERVERNAMES = LM2

----------------------------------------------------------------

* Сообщить защищенному приложению имена менеджеров можно через файл "nethasp.ini", он должен находиться в одном каталоге с защищенным приложением или в каталоге, который указал разработчик (для 1С – каталог Bin\Conf от корня установки 1С):

-------------------- "nethasp.ini" ------------------------------

[NH_COMMON]
NH_IPX = Disabled
NH_NETBIOS = Disabled
NH_TCPIP = Enabled
[NH_TCPIP]
NH_SERVER_ADDR = 168.192.1.41, 168.192.1.11
NH_SERVER_NAME = LM1, LM2
NH_TCPIP_METHOD = UDP
NH_USE_BROADCAST = Disabled
NH_SESSION = 4
NH_SEND_RCV = 2

----------------------------------------------------------------
* Параметры "адрес" и "имя" должны соответствовать друг другу, т.е. на машине с адресом 168.192.1.41 должен быть запущен менеджер с именем LM1. Адреса даны для примера, следует указывать реальные IP- адреса машин, где установлены соответствующие менеджеры лицензий.

* [https://renbuar.blogspot.com/2018/11/aksusbd781-1amd64deb.html Источник]

'''Полезное:'''
<hr>
* [https://interface31.ru/tech_it/2021/03/ustanovka-hasp-license-manager-v-linux-debian-ubuntu.html Установка HASP License Manager в Linux (Debian / Ubuntu)]
* [https://1c-programmer-blog.ru/platforma/hasp-license-manager-v-1s-8-2-i-8-3.html HASP License Manager в 1С 8.2 и 8.3]
* [https://www.euromobile.ru/wiki/sentinel-dlya-razrabotchikov-po/sentinel-admin-control-center/ Почему не видно установленного программного Sentinel (HASP) SL ключа в Admin Control Center]
* [https://docs.sentinel.thalesgroup.com/softwareandservices/LDK/LDKdocs/SPNL/LDK_SLnP_Guide/Distributing/Admin_Control_Center/123-Viewing_keys_in_ACC.htm Display of Protection Keys and Sessions in Admin Control Center]
* [https://www.online-ufa.ru/content/articles/1c-nethasp-ini/ Настройка конфигурационных файлов NETHASP.INI и NHSRV.INI...]

Установка менеджера лицензий HASP от Etersoft

2026-04-14T11:48:54Z

Vix:

Установка менеджера лицензий HASP от Etersoft

2026-04-14T11:30:20Z

Vix:

1С не видит ключ защиты - решения

2026-04-10T00:30:15Z

Vix:

'''Статья является копией блога! В случае вопросов на ссылку в конце..'''

Столкнулся на днях с такой проблемой. На одной из машин отказалась работать сетевая версия 1С Предприятие. При подключении к базе, вываливалась следующая ошибка:

Хочу обратить внимание, что ошибка появилась на компьютере, на котором было 2 сетевые карты с 2мя разными сетями. Почему то сразу значения данному моменту не придал. Видимо, потому что монитор HASP обнаруживал данные ключи отлично, из-за чего искал проблему в 1С. В результате чего убил пол дня рабочего времени. Проблема действительно крылась в двух сетевых картах, а если сказать точнее, 2 разные сети, решение было в файле
C:\Program Files\1cv81\bin\conf\nethasp.ini

Отключив сеть, в которой нет ключей HASP, после перезагрузки машины - 1С завелась.... Полез в гугл за решением данной проблемы. Поиск недолго заставил себя ждать, решение следующее:
 
* Начну с маленького ликбеза:
 
1С:Предприятие 8 используется систему защиты с помощью аппаратных ключей HASP, скачать драйвер, программу мониторинга и службу HASP Loader можно на сайте http://www.aladdin-rd.ru/, а конкретно в разделе поддержки http://www.aladdin-rd.ru/support/downloads/hasp/.
Ключи защиты для 1С подразделяются на:
Однопользовательский ключ 1С1. Однопользовательские (обязательно должны физически быть подключены к компьютеру, на котором запускается 1С)
 
модель HASP HL Basic (синего цвета), данный ключ имеет маркировку H4 M1 ORGL8, не имеет встроенной памяти и персонального ID, не хранит в себе никаких параметров и настроек. Поставляется продуктами имеющими лицензию на одно рабочее место.
Многопользовательский ключ 1С

* Сетевой ключ HASP
 
2. Многопользовательские (ключ находится в сети, 1С может запускаться на любых компьютера в пределах локальной сети или домена)
 
Сетевые клиентские ключи включают серию HASP HL Net (красного цвета). Имеют внутреннюю память, в которой хранится количество лицензий, и уникальный ID. Существуют разновидности на 5, 10, 20, 50 и 100 пользователей. Имеет маркировку NETXX ORGL8, где ХX - количество лицензий (например NET5 ORGL8). Существуют также ключи на 300 и 500 пользователей которые имеют маркировку NET250+ ORG8A и NET250+ ORG8B. Поставляются с продуктами имеющими лицензию на 5 рабочих мест, а также отдельно, в виде дополнительных клиентских лицензий.
Сервеный ключ HASP
 
* Ключ для Сервера 1С

3. Серверные (обязательно должны физически быть подключены локально к компьютеру, на котором установлен и работает сервер агента 1С Предприятие)
 
Ключи для сервера 1С Предприятие бывают только локальные. 32-битная версия имеет ключ защиты HASP HL Pro (фиолетового цвета), который имеет внутреннюю память и уникальный ID. Имеет маркировку ENSR8, поставляется вместе с лицензией на сервер 1С Предприятие.
 
Для 64-битного сервера используется ключ HASP HL Max (зеленого цвета) с внутренней памятью и уникальным ID. Имеет маркировку EN8SA и поддерживает также 32-битный сервер. Т.е. имея лицензию на 64-битный сервер можно, не меняя ключа, использовать 32-битную версию, но не наоборот.
 
Для работы однопользовательского и серверного ключа достаточно установить драйвер ключа защиты на локальной машине и вставить ключ защиты в локальный USB порт.
 
* Для многопользовательского (сетевого) ключа защиты необходимо:
# Установить драйвер ключа защиты на одну из машины в сети, которая будет являться сервером ключа - HASP4_driver_setup.zip
# Установить сервер (службу) ключа защиты на эту же машину - HASP_LM_setup.zip
# Вставить ключ защиты в сервер в USB порт
# Установить 1С на клиентские машины
 
В общем случае, данных действий для работы 1С достаточно. В процессе запуска и дальнейшей работы 1С:Предприятие 8 на локальных машинах, система будет обращаться с помощью broadcast-запроса по порту 475 и искать ключ защиты. В случае не удачного поиска будет выдано сообщение „не обнаружен ключ защиты программы“ и работы 1С:Предприятие прервется.
 
* Если вы столкнулись с сообщением „не обнаружен ключ защиты программы“ необходимо проверить:
наличие ключа защиты в порту usb сервера ключа
# проверить запущен ли сервер ключа на сервере (процесс с именем „Hasp loader“)
# проверить командой telnet доступность сервера ключа с локальной машины по порту 475 (например: telnet 192.168.100.100 475)
 
* Если все проверки прошли успешно, но ошибка осталась, переходим к более детальным настройкам. В папке установки 1С:Предприятие 8 (как правило, c:\program files\1cv81\bin\conf или c:\program files\1cv8\bin\) имеет файл nethasp.ini. Это файл настройки ключа защиты, он разбит на секции, нас интересует секция [NH_TCPIP]. При установке 1С, по умолчанию, в данной секции все параметры отделены двойными знаками ";", что означает игнорирование данных настроек. При этом драйвер ключа ведет себя следующим образом:
# посылается пакет типа broadcast по локальной сети по порту 475 в поисках сервера ключа защиты
# если ответ не получен — ошибка

* Недостатки конфигурации по умолчанию:
# на broadcast уходит какое-то время
# не все сервера отвечают на подобные пакеты
# broadcast какая-никакая, но нагрузка на сеть

* Для решения данной проблемы необходимо сделать следующее:
# укажем конкретный адрес где искать сервер ключа (например: NH_SERVER_ADDR = 192.168.100.100)
# запретим broadcast поиск (NH_USE_BROADCAST = Disabled)
# и ограничим типы пакетов только TCP-протоколом (NH_TCPIP_METHOD = TCP)
#
* Как показывает практика, скорость запуска 1С:Предприятие 8 после такой настройки возрастает заметно!
** Но есть и кое-какие недостатки данного метода:

необходимо следить за тем, чтобы адрес сервера ключа защиты не изменился, иначе придется на всех локальных машинах перенастраивать файл nethasp.ini!

* Хотел бы так же уточнить несколько моментов по работе с ключами, с которыми пришлось сталкиваться при работе:
1. Monitor HASP не показывает ключ

Сам по себе монитор может показать только наличие менеджера лицензий на том или ином адресе. Ключ он сможет увидеть только после того, как защищенное приложение успешно откроет хотя бы одну сессию с ключом. Кроме того, следует учитывать, что Aladdin Monitor работает только по протоколу UDP, порт 475. Таким образом, отсутствие данных о ключе в мониторе еще не означает, что ключ недоступен для приложения.
2. Два ключа защиты 1С HASP на одном компьютере

* При установке двух и более ключей защиты программного обеспечения HASP на один компьютер следует учитывать, что:

* Ключи, имеющие разные серии, будут работать нормально. (по отношению к 1С: 1 серверный и 1 сетевой будут работать нормально)
* Ключи одной серии будут работать, если такая возможность была реализована разработчиком защищенного ПО. Если же разработчиком данная возможность не была реализована, то ключи, относящиеся к одной серии, не будут работать совместно на одном компьютере, будет виден только один из них: либо ближний к порту (в случае с LPT-ключами), либо размещенный на порту с младшим адресом (в случае с USB-ключами защиты программ HASP). (по отношению к 1С, - 2 локальный или 2 сетевых ключа на одном компьютере работать корректно, скорее всего не будут)
* не рекомендуется ставить вместе локальный и сетевой ключ, это связано с особенностью защиты 1С Предприятия: находя локальный ключ программа никогда не будет искать сетевой.

* Возможные решения данной проблемы:

* Замена нескольких ключей защиты программ HASP на один, с бОльшим количеством лицензий (об этом хорошо написано [http://v8.1c.ru/predpriyatie/questions_licence.htm тут].
* Установка ключей защиты на разные компьютеры с последующей установкой и настройкой менеджеров лицензий при каждом ключе.

3. Два и более менеджеров лицензий (License Manager) в сети

При наличии двух и более сетевых ключей не всегда достаточно разнести их по разным компьютерам. Следует выполнить настройку менеджеров лицензий. Каждый менеджер лицензий должен иметь уникальное имя, которое следует явным образом сообщить защищаемой программе. Рекомендуется выполнить аналогичную настройку и в случае использования сервера терминалов, даже при одном сетевом ключе.

* На машине где установлен ключ находим файл nhsrv.ini в папке с менеджером лицензий. За имя сервера лицензий отвечает параметр NHS_SERVERNAMES, оно может состоять из латинских букв и цифр и содержать не более 7 символов.

[NHS_SERVER]
NHS_SERVERNAMES = NAME1

* После чего на клиентских машинах желательно отредактировать файл nethasp.ini, явным образом указав адреса и имена менеджеров лицензий:

[NH_COMMON]
NH_TCPIP = Enabled

[NH_TCPIP]
NH_SERVER_ADDR = 192.168.0.10, 192.168.0.11
NH_SERVER_NAME = NAME1, NAME2

* Ну вроде все нюансы описал, если чего вспомню, обязательно дополню! Всем пока!

[http://www.k-max.name/windows/ne-obnaruzhen-klyuch-zashhity-programmy-v-1spredpriyatie-8-ili-likbez-zashhity-1s/ Авторская ссылка]