Настройка Debian 13. Нейросети (Опционально)

10.09.2026 16:25 · отредактировано #440279

Предыдущая часть находится тут.

В этой части будет рассмотрена установка и запуск обученных моделей (LLM).

установка Ollama
Ollama — это программная платформа с открытым исходным кодом для запуска больших языковых моделей (LLM) локально на вашем компьютере или сервере. В последнее время разработчики инструментов (таких как VS Code/IDEA) тем или иным образом урезали функционал автодополнений. Однако появление моделей в свободном доступе привело к созданию AI-агентов, которые путём использования ресурсов компьютера (видеокарты) позволяют получить даже более мощные инструменты чем были доступны ранее.

Установка и обновление осуществляются одной командой:
text
```
curl -fL https://ollama.com/install.sh | sh
```
Удаление:
text
```
curl -fL https://raw.githubusercontent.com/ollama/ollama/main/scripts/uninstall.sh | sh
```
Проверка статуса службы ollama:
text
```
sudo systemctl status ollama
```
Проверка установленной версии ollama:
text
```
ollama --version
```
Установка языковой модели для автодополнения в средах разработки. Т.к. модель не предполагает объяснений и редактирования кода, то она должна быть достаточно лёгкой, чтобы не расходовать ресурсы компьютера. На данный момент для русского языка лучше всего подходит модель qwen2.5-coder:1.5b. Её и установим:
text
```
ollama pull qwen2.5-coder:1.5b
```
Модель для эмбеддинга - ИИ видит весь проект
text
```
ollama pull nomic-embed-text:latest
```
Модель для чата/редактирования кода (в основном если нужна приватность, т.к. модели в интернете гораздо мощнее) для видеокарты объёмом 8Гб vRAM:
text
```
ollama pull qwen2.5-coder:7b
```
Запускаем интерактивный режим для проверки
text
```
ollama run qwen2.5-coder:7b
```
Общение с ИИ происходит точно так же, как и в обычном чате через браузер.
Для того, чтобы выйти из этого режима, достаточно ввести:
text
```
/bye
```
Просмотр всех скачанных моделей
text
```
ollama list
```
Проверка запущенных процессов:
text
```
ollama ps
```
Удаление конкретной версии модели:
text
```
ollama rm deepseek-coder-v2:16b
```