Развертывание Tabby на VPS: создание собственного AI-ассистента

1. Що ми налаштовуємо та навіщо

Програмування в 2026 році немислиме без AI-асистентів. Однак використання хмарних рішень на кшталт GitHub Copilot або ChatGPT пов'язане з ризиками: витік пропрієтарного коду, залежність від стабільності зовнішніх сервісів та постійно зростаюча вартість підписки. Tabby вирішує ці проблеми, пропонуючи open-source движок для запуску LLM (Large Language Models), оптимізованих спеціально для написання коду.

Tabby — це не просто обгортка над моделлю, це повноцінний бекенд, який індексує ваші локальні репозиторії для забезпечення контекстного автодоповнення. Він підтримує сучасні техніки квантування, що дозволяє запускати важкі моделі навіть на споживчому залізі або недорогих VPS без виділених відеокарт (використовуючи тільки CPU та швидкі інструкції AVX-512).

Що ви отримаєте в результаті:

• Власний API-сервер, сумісний з протоколами сучасних AI-розширень.
• Веб-інтерфейс для управління моделями та моніторингу навантаження.
• Повну незалежність від західних хмарних провайдерів.
• Можливість донавчання (fine-tuning) моделі на кодовій базі вашої компанії.

2. Який VPS-конфіг потрібен під цю задачу

Вибір заліза для Tabby критично важливий, оскільки робота LLM безпосередньо залежить від швидкості доступу до пам'яті та обчислювальної потужності процесора. У 2026 році стандартом для комфортної роботи є моделі об'ємом від 3B до 7B параметрів у квантованому вигляді (4-bit або 8-bit).

Для стабільної роботи без затримок (latency) під час генерації коду вкрай важливо використовувати NVMe накопичувачі, оскільки ваги моделей підвантажуються в пам'ять швидко, але індексація репозиторіїв створює високе навантаження на I/O. Якщо ви плануєте використовувати моделі рівня DeepSeek-Coder-7B, орієнтуйтеся на об'єм оперативної пам'яті не менше 16 ГБ.

Для більшості індивідуальних розробників і невеликих команд оптимальним вибором буде відповідний VPS з 4-8 ядрами і швидким NVMe диском. Якщо ж ваша кодова база обчислюється мільйонами рядків, варто розглянути відповідний dedicated сервер, щоб уникнути "галасливих сусідів" і використовувати всю потужність CPU для інференсу.

Локація сервера: Вибирайте дата-центр з мінімальним пінгом до вашого робочого місця. Затримка в 100-150 мс при кожному натисканні клавіші може зробити використання AI-асистента некомфортним.

3. Підготовка сервера

Після отримання доступу до сервера необхідно виконати базове налаштування безпеки. Ми створимо окремого користувача, налаштуємо брандмауер і оновимо пакети системи.

Підключаємось по SSH:

ssh root@your_server_ip

Оновлюємо систему до актуального стану:

apt update && apt upgrade -y

Створюємо користувача для роботи з Tabby (запуск AI-сервісів від root — погана практика):

adduser tabbyuser
usermod -aG sudo tabbyuser

Налаштовуємо базовий брандмауер (UFW). Нам знадобляться порти 22 (SSH), 80 (HTTP) та 443 (HTTPS):

ufw allow 22/tcp
ufw allow 80/tcp
ufw allow 443/tcp
ufw enable

Встановлюємо часовий пояс та корисні утиліти:

timedatectl set-timezone Europe/Moscow
apt install -y curl git vim htop fail2ban

4. Встановлення Docker та необхідних утиліт

Tabby офіційно розповсюджується у вигляді Docker-образів. Це найбільш стабільний спосіб розгортання, оскільки він ізолює залежності моделей та бібліотеки інференсу.

Встановлюємо Docker через офіційний скрипт:

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh

Додаємо нашого користувача до групи docker, щоб не використовувати sudo постійно:

sudo usermod -aG docker tabbyuser

Важливо: Перезайдіть в термінал (logout/login), щоб права застосувалися.

Перевіряємо працездатність:

docker --version && docker compose version

5. Розгортання Tabby: покрокова установка

Ми будемо використовувати Docker Compose для управління контейнером Tabby. Це дозволить легко оновлювати модель та зберігати конфігурацію.

Створюємо директорію для проекту:

mkdir ~/tabby-server && cd ~/tabby-server

Створюємо файл docker-compose.yml. У даному прикладі ми використовуємо конфігурацію для CPU-інференсу, яка підходить для більшості VPS. Ми виберемо модель StarCoder2-3B, яка відмінно збалансована за швидкістю та якістю.

cat < docker-compose.yml
version: '3.8'

services:
  tabby:
    image: tabbyml/tabby:latest
    container_name: tabby
    restart: always
    ports:
      - "8080:8080"
    volumes:
      - ./data:/data
    command: serve --model StarCoder2-3B --device cpu
EOF

Розберемо параметри команди запуску:

• --model StarCoder2-3B: Вказує Tabby автоматично завантажити та використовувати цю модель.
• --device cpu: Явна вказівка використовувати центральний процесор. Якщо у вас є GPU, замініть на cuda.
• --port 8080: Внутрішній порт сервера.

Запускаємо сервер (перший запуск займе час, оскільки скачується образ та ваги моделі — близько 2-5 ГБ):

docker compose up -d

Перевірити статус завантаження моделі можна через логи:

docker compose logs -f

Коли ви побачите повідомлення Listening at 0.0.0.0:8080, сервер готовий до роботи.

6. Конфігурація: домен, SSL та безпека

Відкривати порт 8080 безпосередньо в інтернет небезпечно. Ми налаштуємо реверс-проксі за допомогою Caddy. Caddy автоматично отримає SSL-сертифікати від Let's Encrypt та налаштує HTTPS.

Створюємо Caddyfile у тій самій директорії:

cat < Caddyfile
ai.yourdomain.com {
    reverse_proxy tabby:8080
    
    header {
        Strict-Transport-Security max-age=31536000
    }
}
EOF

Замініть ai.yourdomain.com на ваш реальний домен або піддомен.

Оновимо docker-compose.yml, додавши сервіс Caddy:

cat < docker-compose.yml
version: '3.8'

services:
  tabby:
    image: tabbyml/tabby:latest
    container_name: tabby
    restart: always
    volumes:
      - ./data:/data
    command: serve --model StarCoder2-3B --device cpu

  caddy:
    image: caddy:latest
    container_name: caddy
    restart: always
    ports:
      - "80:80"
      - "443:443"
    volumes:
      - ./Caddyfile:/etc/caddy/Caddyfile
      - caddy_data:/data
      - caddy_config:/config
    depends_on:
      - tabby

volumes:
  caddy_data:
  caddy_config:
EOF

Перезапускаємо стек:

docker compose up -d

Тепер ваш AI-асистент доступний за захищеним протоколом HTTPS. Перейдіть у браузері на https://ai.yourdomain.com. При першому вході Tabby запропонує створити аккаунт адміністратора. Це критично важливо для захисту вашого API від несанкціонованого доступу.

7. Налаштування IDE (VS Code та JetBrains)

Після того, як сервер запущено, його потрібно підключити до вашого редактора коду. Tabby має офіційні розширення для більшості популярних інструментів.

Visual Studio Code

1. Відкрийте Extensions (Ctrl+Shift+X).
2. Знайдіть та встановіть розширення Tabby.
3. Натисніть на іконку Tabby в статус-барі (внизу справа).
4. В полі Server Endpoint введіть https://ai.yourdomain.com.
5. Якщо ви налаштували авторизацію, введіть ваш API Token (його можна знайти у веб-інтерфейсі Tabby в розділі Settings -> Auth).

JetBrains (IntelliJ IDEA, PyCharm, WebStorm)

1. Settings -> Plugins -> Marketplace.
2. Встановіть плагін Tabby.
3. Settings -> Tools -> Tabby.
4. Вкажіть адресу вашого сервера та API ключ.

Перевірка: Почніть писати функцію, наприклад def get_weather(city):. За секунду Tabby повинен запропонувати сірим текстом продовження коду. Натисніть Tab для прийняття пропозиції.

8. Бекапи та обслуговування

AI-сервер потребує регулярного догляду. Основні дані Tabby зберігаються в папці ./data, яку ми примонтували в контейнер. Там знаходяться індекси ваших репозиторіїв, налаштування користувачів та завантажені моделі.

Що потрібно бекапити:

• Файл docker-compose.yml та Caddyfile.
• Директорію ./data/config (там лежать токени та налаштування).
• Базу даних SQLite (зазвичай ./data/tabby.db).

Простий скрипт для щоденного бекапу в локальну папку:

#!/bin/bash
BACKUP_DIR="/home/tabbyuser/backups"
TIMESTAMP=$(date +"%Y%m%d_%H%M%S")
mkdir -p $BACKUP_DIR

# Останавливаем контейнер для консистентности БД
cd /home/tabbyuser/tabby-server
docker compose stop

# Создаем архив
tar -czf $BACKUP_DIR/tabby_backup_$TIMESTAMP.tar.gz ./data Caddyfile docker-compose.yml

# Запускаем обратно
docker compose start

# Удаляем бэкапы старше 7 дней
find $BACKUP_DIR -type f -mtime +7 -name ".gz" -delete

0 3    /home/tabbyuser/tabby-server/backup.sh

docker compose pull
docker compose up -d