Як розгорнути Kubernetes кластер на виділених серверах

Розгортання Kubernetes кластера на виділених серверах включає ретельну підготовку операційної системи, встановлення компонентів контейнеризації та ініціалізацію кластера за допомогою утиліти kubeadm на мінімум трьох нодах, що забезпечує повний контроль над інфраструктурою та значну економію в порівнянні з хмарними рішеннями.

В умовах постійно зростаючих вимог до масштабованості, надійності та продуктивності додатків, Kubernetes став де-факто стандартом для оркестрації контейнерів. Хоча хмарні провайдери пропонують керовані сервіси K8s, розгортання Kubernetes на виділених серверах, або так званий Kubernetes на фізичному обладнанні, відкриває двері до безпрецедентної продуктивності, економії та повного контролю над інфраструктурою. Ця стаття допоможе вам зрозуміти, як налаштувати ефективний виділений сервер для K8s кластер і чому це може бути оптимальним вибором для вашого бізнесу.

Чому варто вибрати K8s на виділених серверах (Kubernetes на фізичному обладнанні)?

Вибір Kubernetes на фізичному обладнанні для вашого кластера K8s надає ряд суттєвих переваг, які часто переважують зручність хмарних рішень, особливо для середніх та великих проєктів:

• Економічна ефективність: При значних обсягах ресурсів виділені сервери стають значно дешевшими за хмарні. Відсутність погодинної оплати за віртуалізацію, мережевий трафік та I/O операції дозволяє скоротити операційні витрати в довгостроковій перспективі. Ви платите фіксовану суму за обладнання, отримуючи при цьому максимальну віддачу.
• Максимальна продуктивність: Розгортання Kubernetes безпосередньо на фізичному обладнанні виключає накладні витрати на віртуалізацію. Це означає, що ваші додатки отримують повний доступ до всіх ресурсів CPU, RAM та I/O диска, забезпечуючи мінімальні затримки та максимальну пропускну здатність. Це критично важливо для високонавантажених сервісів, баз даних та обчислень.
• Повний контроль та кастомізація: Володіючи фізичним сервером, ви отримуєте повний контроль над операційною системою, мережевими налаштуваннями, драйверами та апаратним забезпеченням. Це дозволяє точно налаштувати середовище під специфічні вимоги ваших додатків, використовувати спеціалізоване обладнання (наприклад, FPGA, GPU) та впроваджувати будь-які необхідні патчі або модифікації.
• Передбачуваність ресурсів: На відміну від хмарних середовищ, де ресурси можуть бути "бурстними" або ділитися з іншими клієнтами (noisy neighbor effect), на виділеному сервері ви завжди знаєте, який обсяг ресурсів доступний вашим додаткам. Це забезпечує стабільну та передбачувану продуктивність.
• Безпека: Фізична ізоляція від інших клієнтів провайдера знижує ризики, пов'язані із загальними вразливостями хмарної інфраструктури. Ви контролюєте весь стек від заліза до додатків, що спрощує дотримання суворих вимог безпеки та регуляцій.

Які сервери потрібні для Kubernetes кластера на виділених серверах?

Для створення стабільного та продуктивного кластера Kubernetes на виділених серверах необхідно ретельно підійти до вибору апаратного забезпечення. Мінімальні вимоги можуть бути невисокі, але для продуктивного середовища та забезпечення високої доступності (HA) варто орієнтуватися на більш потужні конфігурації.

Мінімальні вимоги для кожної ноди (control plane і worker):

• Процесор (CPU): Мінімум 2 ядра. Для контрольних нод з високим навантаженням або для робочих нод, що виконують ресурсомісткі задачі, рекомендується 4+ ядер.
• Оперативна пам'ять (RAM): Мінімум 2 ГБ для кожної ноди. Для продуктивних робочих нод та контрольних нод рекомендується 4-8 ГБ RAM і більше, в залежності від кількості та вимог ваших подів.
• Дискова підсистема: Мінімум 20 ГБ вільного місця. Для ОС та основних компонентів K8s. Рекомендується використовувати SSD або NVMe диски для всіх нод, особливо для control plane, де зберігається etcd. NVMe забезпечують значно вищу швидкість I/O, що критично для продуктивності etcd та додатків.
• Мережа: Кожна нода повинна мати стабільне мережеве підключення. Рекомендується 1 Гбіт/с Ethernet, а для високонавантажених кластерів — 10 Гбіт/с. Всі ноди повинні бути в одній плоскій мережі або налаштовані для взаємодії через VPN/тунелювання.

Рекомендації для продуктивного середовища:

• Control Plane Nodes (Мастер-ноди): Рекомендується не менше 3-х нод для забезпечення високої доступності etcd (розподілена база даних K8s) та компонентів управління. Кожна така нода повинна мати не менше 4 vCPU, 8-16 ГБ RAM та швидкі NVMe SSD диски (100-200 ГБ).
• Worker Nodes (Робочі ноди): Кількість та конфігурація цих нод залежать від ваших робочих навантажень. Для початку можна використовувати 2-3 ноди з 4-8 vCPU, 16-32 ГБ RAM та NVMe SSD дисками (200-500 ГБ). По мірі зростання потреб, ви зможете додавати нові робочі ноди.
• Мережеве обладнання: Для оптимальної продуктивності та мінімізації затримок між нодами, особливо у великих кластерах, розгляньте використання мережевих карт з підтримкою 10 Гбіт/с або навіть 25/40 Гбіт/с.

Чому для K8s кластера необхідний мінімум 3 ноди?

Для забезпечення високої доступності та відмовостійкості налаштування кластера Kubernetes, особливо його керуючого рівня (control plane), критично важливо використовувати мінімум три ноди. Ця вимога пов'язана з роботою розподіленої бази даних etcd, яка зберігає весь стан кластера.

• Кворум etcd: etcd використовує алгоритм Raft для забезпечення консистентності даних. Для прийняття рішення (наприклад, про новий стан поду) потрібен кворум — більшість голосів від загального числа учасників кластера.
  • В кластері з 1 ноди: Якщо нода падає, кворум втрачається, і кластер стає непрацездатним.
  • В кластері з 2 нод: При падінні однієї ноди залишається тільки одна, що становить 50% від загального числа. Кворум (більшість, тобто 2 з 2) не досягається, і кластер знову втрачає працездатність. Це сценарій "split-brain", коли дві ноди не можуть домовитися, хто є лідером.
  • В кластері з 3 нод: Якщо одна нода падає, залишаються дві ноди (2 з 3), що становить більшість і дозволяє etcd зберегти кворум та продовжувати функціонувати. Кластер залишається працездатним.
• Відмовостійкість: З трьома нодами control plane, кластер може пережити відмову однієї з них без втрати функціональності. Це забезпечує безперервність роботи ваших додатків.
• Надійність: Більша кількість майстер-нод підвищує загальну надійність системи, знижуючи ймовірність повної відмови через апаратні збої або проблеми з програмним забезпеченням на одній з нод.

Хоча теоретично можна запустити K8s на одній або двох нодах (наприклад, для розробки), для будь-якого продуктивного середовища kubernetes на серверах з виділеними ресурсами настійно рекомендується використовувати мінімум три ноди для control plane.

Підготовка виділених серверів до встановлення Kubernetes

Перш ніж приступати до розгортання кластера Kubernetes за допомогою kubeadm, необхідно виконати ряд підготовчих кроків на кожній з ваших виділених нод (як control plane, так і worker). Ми будемо використовувати Ubuntu Server як приклад операційної системи.

1. Оновлення системи та встановлення залежностей

sudo apt update
sudo apt upgrade -y
sudo apt install -y apt-transport-https ca-certificates curl gnupg lsb-release

2. Відключення Swap

Kubernetes вимагає відключення Swap для коректної роботи kubelet.

sudo swapoff -a
sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

3. Налаштування параметрів ядра (sysctl)

Необхідно включити перенаправлення IPv4-трафіку та дозволити мостовому інтерфейсу бачити вхідний трафік.

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sudo sysctl --system

4. Встановлення контейнерного рантайму (Containerd)

Kubernetes використовує Container Runtime Interface (CRI) для взаємодії з контейнерними рантаймами. Containerd — рекомендований вибір.

# Додавання репозиторію Docker GPG ключа
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg

# Додавання репозиторію Docker
echo \
  "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu \
  $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update
sudo apt install -y containerd.io

# Конфігурація containerd
sudo mkdir -p /etc/containerd
sudo containerd config default | sudo tee /etc/containerd/config.toml

# Заміна системного cgroup driver на systemd
sudo sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml

sudo systemctl restart containerd
sudo systemctl enable containerd

5. Встановлення kubeadm, kubelet і kubectl

Ці інструменти необхідні для розгортання та управління kubernetes на серверах.

# Додавання GPG ключа Kubernetes
sudo curl -fsSLo /usr/share/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg

# Додавання репозиторію Kubernetes
echo "deb [signed-by=/usr/share/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list

sudo apt update
sudo apt install -y kubelet kubeadm kubectl
sudo apt-mark hold kubelet kubeadm kubectl

6. Налаштування Firewall (UFW)

Необхідно відкрити порти для компонентів Kubernetes. На кожній ноді:

sudo ufw disable # Або налаштуйте правила UFW
# Для control plane нод:
# 6443/tcp (Kubernetes API server)
# 2379-2380/tcp (etcd server client API)
# 10250/tcp (Kubelet API)
# 10259/tcp (kube-scheduler)
# 10257/tcp (kube-controller-manager)

# Для worker нод:
# 10250/tcp (Kubelet API)
# 30000-32767/tcp (NodePort Services - діапазон за замовчуванням)

Важливо: Переконайтеся, що всі ноди можуть обмінюватися трафіком по цим портам.

Розгортання Kubernetes кластера за допомогою kubeadm: покрокова інструкція

Після підготовки всіх виділених серверів, можна приступати до ініціалізації налаштування кластера Kubernetes за допомогою kubeadm.

На Control Plane ноді (перша майстер-нода):

1. Ініціалізація кластера

Виконайте цю команду на одній з вибраних вами майстер-нод. Замініть <IP_АДРЕСА_МАЙСТЕР_НОДИ> на реальну IP-адресу вашої майстер-ноди. --pod-network-cidr вказує діапазон IP-адрес для подів, який буде використовуватися плагіном мережевої фабрики (CNI), наприклад, Calico.

sudo kubeadm init --apiserver-advertise-address=<IP_АДРЕСА_МАЙСТЕР_НОДИ> --pod-network-cidr=192.168.0.0/16

Після виконання команди ви побачите вивід, що містить команди для налаштування kubectl і команду для приєднання worker-нод. Збережіть ці команди.

2. Налаштування kubectl для поточного користувача

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

3. Встановлення мережевої фабрики (CNI)

Для коректної роботи мережі між подами необхідно встановити CNI-плагін. Ми рекомендуємо Calico через його надійність і гнучкість.

kubectl apply -f https://raw.githubusercontent.com/projectcalico/calico/v3.25.0/manifests/calico.yaml

Дочекайтеся, поки всі поди в просторі імен kube-system перейдуть в стан Running.

kubectl get pods --all-namespaces

На Worker нодах:

1. Приєднання до кластера

На кожній worker-ноді виконайте команду, яку ви отримали після ініціалізації кластера на control plane ноді. Вона буде виглядати приблизно так:

sudo kubeadm join <IP_АДРЕСА_МАЙСТЕР_НОДИ>:6443 --token <TOKEN> \
    --discovery-token-ca-cert-hash sha256:<HASH>

Якщо ви втратили токен або хеш, їх можна отримати на control plane ноді:

# Отримати токен
sudo kubeadm token create --print-join-command

# Отримати хеш
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 | cut -d' ' -f2

Перевірка кластера

Поверніться на control plane ноду і перевірте статус всіх нод:

kubectl get nodes

Всі ноди повинні бути в статусі Ready.

Оптимальні конфігурації виділених серверів Valebyte для K8s

Valebyte пропонує широкий вибір виділених серверів, які ідеально підходять для розгортання кластера Kubernetes на фізичному обладнанні для Kubernetes. Нижче представлені декілька рекомендованих конфігурацій, які забезпечать високу продуктивність і надійність для ваших K8s кластерів, від стартових до корпоративних рішень.

*Ціни вказані орієнтовно і можуть змінюватися. Актуальну інформацію дивіться на сайті Valebyte.com.

При виборі конфігурації для вашого виділеного сервера для K8s кластера, ми рекомендуємо:
Для control plane нод: орієнтуватися на конфігурації "K8s Start" або "K8s Pro" з швидкими NVMe дисками.
Для worker нод: вибирати "K8s Pro", "K8s Enterprise" або "K8s Scale" в залежності від вимог до CPU, RAM та дискової підсистеми ваших застосунків.

Рекомендації щодо експлуатації Kubernetes на виділених серверах

Успішне розгортання Kubernetes на виділених серверах — це тільки початок. Для забезпечення стабільної, безпечної та ефективної роботи кластера необхідно дотримуватися ряду рекомендацій:

1. Моніторинг ресурсів: Впровадьте комплексну систему моніторингу (наприклад, Prometheus + Grafana) для відстеження стану нод, подів, використання CPU, RAM, диска та мережевого трафіку. Це дозволить своєчасно виявляти проблеми та оптимізувати використання ресурсів.
2. Централізоване логування: Налаштуйте централізовану систему збору логів (наприклад, ELK Stack або Loki + Grafana) для всіх подів та системних компонентів. Це спростить налагодження та аналіз поведінки застосунків.
3. Стратегія резервного копіювання: Регулярно створюйте резервні копії стану etcd (використовуючи etcdctl snapshot save) та конфігураційних файлів кластера. Для персистентних даних використовуйте Volume Snapshots, якщо ваш CSI-драйвер їх підтримує.
4. Оновлення та обслуговування: Розробіть стратегію для регулярного оновлення Kubernetes, операційної системи та контейнерного рантайму. Використовуйте інструменти на кшталт Kured для автоматичного перезавантаження нод після оновлень ядра.
5. Безпека кластера:
   • Використовуйте RBAC (Role-Based Access Control) для обмеження доступу до API Kubernetes.
   • Впровадьте мережеві політики (Network Policies) для контролю трафіку між подами.
   • Регулярно скануйте образи контейнерів на предмет вразливостей.
   • Обмежте доступ до control plane нод тільки з довірених IP-адрес.
6. Рішення для постійного зберігання даних (Persistent Storage): Оскільки виділені сервери надають локальне сховище, для забезпечення постійності даних між подами та їх міграції розгляньте використання рішень на кшталт Ceph (з Rook) або Longhorn. Вони дозволяють створити розподілене сховище поверх локальних дисків ваших нод.
7. Автоматизація розгортання: Використовуйте Ansible, Terraform або інші інструменти IaC (Infrastructure as Code) для автоматизації розгортання та налаштування нод. Це забезпечить повторюваність та знизить ймовірність помилок.
8. Оптимізація мережевої взаємодії: Якщо ваш кластер має високе мережеве навантаження, розгляньте використання мережевих карт 10 Гбіт/с та оптимізованих CNI-плагінів.

Висновки

Розгортання Kubernetes на виділених серверах надає потужну, гнучку та економічно вигідну альтернативу хмарним рішенням для оркестрації контейнерів. Шляхом ретельної підготовки інфраструктури, використання утиліти kubeadm та дотримання рекомендацій щодо експлуатації, ви можете створити високопродуктивний та відмовостійкий виділений сервер для K8s кластер, повністю адаптований під ваші потреби. Valebyte надає ідеальні виділені сервери для побудови такої інфраструктури, забезпечуючи надійну основу для ваших амбітних проєктів.