- PVSM.RU - https://www.pvsm.ru -

Kubernetes в миниатюре для локального запуска: k0s, MicroK8s, kind, k3s и Minikube

Kubernetes в миниатюре для локального запуска: k0s, MicroK8s, kind, k3s и Minikube - 1

Тех, кто работал с Kubernetes, вряд ли удивит ситуация, когда внезапно пришла идея по автоматизации, унификации, преобразованию чего-либо в кластере, но так, чтобы не волноваться за конечный результат. Когда возникает потребность в какой-то песочнице, чтобы провести тестирование, проверить гипотезу «на коленке», не используя рабочий Kubernetes-кластер.

В таких случаях приходят на помощь «мини-кластеры». Их можно запустить на рабочем ПК, «поиграться» с примитивами, построить новую структуру, а после завершения эксперимента — безвозвратно удалить (ведь это уже отработанный материал).

Отвечая на эту потребность, разработчики со всего мира пришли со своими решениями для быстрого запуска облегчённого варианта Kubernetes. Все они по-разному организованы и, конечно, обладают разными возможностями. Чем пользоваться, зависит от нужд и предпочтений. Чтобы получше разобраться в них или вообще понять, с чего стоит начать, предлагаем результаты нашего беглого знакомства с некоторыми популярными решениями. Благо, все они достаточно хорошо документированы (как на сайтах, так и в CLI), что существенно ускоряет первое погружение и взаимодействие с ними. В конце статьи будет сводная таблица с основными особенностями решений.

Обзор

1. k0s

  • Сайт: k0sproject.io [1]

  • Основной GitHub: k0sproject/k0s [2]

  • GH-звёзды: ~4000

  • Контрибьюторы: 30+

  • Первый коммит: июнь 2020

  • Основной разработчик: Mirantis

  • Поддерживаемые версии K8s: 1.20 и 1.21

Название проекта (произносится как «kziros») говорит само за себя: тяжело придумать систему меньше, т.к. настройку и дальнейшую работу с кластером обеспечивает самодостаточный (собранный статически) бинарный файл, а его установка состоит в получении актуальной версии из репозитория проекта. Файл скомпилирован под Linux — соответственно, работа кластера возможна только в этой системе (подробнее о поддерживаемых хост-системах см. в конце обзора). Для полноценного запуска необходимо обладать правами суперпользователя.

После незатейливой установки [3] файла (он помещается в /usr/local/bin) вспомогательным скриптом нужно запустить службу, которая позволит нашей системе выполнять функцию узла кластера (по умолчанию это master):

k0s install controller ; systemctl start k0scontroller.service

Взаимодействие с Kubenetes API осуществляется с помощью встроенного kubectl:

k0s kubectl get nodes

Таким же образом, через k0s kubectl ..., можно создавать желаемые объекты: namespaces, Deployments и т.д. Для добавления в кластер других узлов нужно подготовить систему по соседству (запуск нескольких кластеров на одной физической системе не предусмотрен) и с помощью токена, полученного на существующем master, подключить её в качестве master- или worker-узла. Необходимой «соседней» системой может быть ОС в контейнере или виртуальной машине: главное — обеспечить сетевую доступность сервера API для возможности регистрации узла в кластере.

После прекращения работы узла кластера (k0s stop) нужно произвести остановку задействованных контейнеров командой k0s reset.

За работу контейнеров в Pod’ах отвечает containerd. К Pod’ам можно подключить тома типа HostPath. В качестве CNI по умолчанию используется Calico, на выбор из коробки также предлагается и kube-router, но можно настроить любой другой: ограничений на настройку собственно Kubernetes нет.

Для удобства работы в консоли предусмотрены готовые наборы для автодополнения в разных оболочках: Bash, zsh, fish, PowerShell (через WSL).

k0s максимально аскетичен: это ванильный Kubernetes без каких-либо готовых модулей и плагинов. По умолчанию в нём нет поддержки облачных провайдеров, но её можно добавить [4] при запуске. Устанавливать ПО нужно по аналогии с обычным кластером Kubernetes — через объявление необходимых примитивов (возможно, с применением Helm и подобных инструментов).

2. MicroK8s

  • Сайт: microk8s.io [5]

  • Основной репозиторий на GitHub: ubuntu/microk8s [6]

  • GH-звёзд: ~5600

  • Контрибьюторов: 120+

  • Первый коммит: май 2018

  • Основной разработчик: Canonical

  • Поддерживаемые версии K8s: 1.19—1.21

Этот вариант кластера от Canonical очень похож на предыдущий: узлы кластера нужно готовить самостоятельно (это могут быть любые экземпляры ОС Linux, имеющие связность по TCP/IP с первым узлом кластера в роли master’а), подключать новые — с помощью токена, а для работы с API доступен встроенный kubectl.

В качестве CNI по умолчанию также используется Calico. Для запуска потребуются права суперпользователя. Но поставляется продукт в виде пакета snap и официально поддерживает работу в 42 разновидностях Linux:

# snap install microk8s --classic

После установки остаётся только запустить кластер:

# microk8s start
# microk8s kubectl get nodes
NAME            STATUS   ROLES    AGE    VERSION
thinkpad        Ready    <none>   2m     v1.20.7-34+df7df22a741dbc

Весьма полезным может оказаться набор дополнений [7], который позволяет с помощью одной команды установить, например, Kubernetes dashboard:

# microk8s enable dashboard
# microk8s status
microk8s is running
high-availability: no
  datastore master nodes: 127.0.0.1:19001
  datastore standby nodes: none
addons:
  enabled:
    dashboard            # The Kubernetes dashboard
    ...

По аналогии включается внутренний container registry, который может использоваться как библиотека образов для контейнеров.

Еще одна интересная возможность — команда microk8s inspect, которая проводит анализ состояния кластера и готовит отчёт о его компонентах в виде архива для дальнейшего изучения:

$ ls inspection-report/
apparmor
args
juju
k8s
kubeflow
network
snap.microk8s.daemon-apiserver
snap.microk8s.daemon-apiserver-kicker
snap.microk8s.daemon-cluster-agent
snap.microk8s.daemon-containerd
snap.microk8s.daemon-controller-manager
snap.microk8s.daemon-control-plane-kicker
snap.microk8s.daemon-kubelet
snap.microk8s.daemon-proxy
snap.microk8s.daemon-scheduler
sys
$ ls inspection-report/k8s/
cluster-info
cluster-info-dump
get-all
get-pv
get-pvc
version
$ cat inspection-report/k8s/version 
Client Version: version.Info{Major:"1", Minor:"20+", GitVersion:"v1.20.7-34+df7df22a741dbc", GitCommit:"df7df22a741dbc18dc3de3000b2393a1e3c32d36", GitTreeState:"clean", BuildDate:"2021-05-12T21:08:20Z", GoVersion:"go1.15.10", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"20+", GitVersion:"v1.20.7-34+df7df22a741dbc", GitCommit:"df7df22a741dbc18dc3de3000b2393a1e3c32d36", GitTreeState:"clean", BuildDate:"2021-05-12T21:09:51Z", GoVersion:"go1.15.10", Compiler:"gc", Platform:"linux/amd64"}

3. kind

  • Сайт: kind.sigs.k8s.io [8]

  • Основной репозиторий на GitHub: kubernetes-sigs/kind [9]

  • GH-звёзд: ~8300

  • Контрибьюторов: 200+

  • Первый коммит: сентябрь 2018

  • Основной разработчик: Kubernetes SIG

  • Поддерживаемые версии K8s: 1.21

Название этого дистрибутива представляет собой аббревиатуру: Kubernetes in Docker. Установка совершенно бесхитростна: нужно просто скачать [10] выполняемый файл.

Для создания кластера достаточно обладать правами на создание контейнеров и сетей Docker. После установки и создания кластера (kind create cluster)* появляется узел, представляющий собой контейнер Docker, внутри которого находятся другие контейнеры:

$ docker ps
CONTAINER ID        IMAGE                  COMMAND                  CREATED             STATUS              PORTS                       NAMES
fee30f6d4b73        kindest/node:v1.21.1   "/usr/local/bin/entr…"   2 minutes ago       Up About a minute   127.0.0.1:45331->6443/tcp   kind-control-plane
$ kind get nodes
kind-control-plane
$ kubectl get nodes
NAME                 STATUS   ROLES                  AGE   VERSION
kind-control-plane   Ready    control-plane,master   2m    v1.21.1
$ docker exec -it kind-control-plane bash
root@kind-control-plane:/# crictl ps
CONTAINER           IMAGE               CREATED             STATE               NAME                      ATTEMPT             POD ID
2a0dfe12a5810       296a6d5035e2d       2 minutes ago       Running             coredns                   0                   e13acbf529288
38ef0ad97090a       296a6d5035e2d       2 minutes ago       Running             coredns                   0                   3460cf0419c19
ec11cbc0e9795       e422121c9c5f9       2 minutes ago       Running             local-path-provisioner    0                   a9ffa60dcc12d
fa8057bbf0df6       6de166512aa22       3 minutes ago       Running             kindnet-cni               0                   4f8481acba5fc
e341ce4c5cdfd       ebd41ad8710f9       3 minutes ago       Running             kube-proxy                0                   1b1755819c40a
88c6185beb5c5       0369cf4303ffd       3 minutes ago       Running             etcd                      0                   da01c1b2b0cdc
5cdf1b4ce6deb       d0d10a483067a       3 minutes ago       Running             kube-controller-manager   0                   a0b2651c06136
b704a102409e1       6401e478dcc01       3 minutes ago       Running             kube-apiserver            0                   c2119c740fff2
a5da036de5d10       7813cf876a0d4       3 minutes ago       Running             kube-scheduler            0                   92a22aa99ad29

* При установке создаётся сеть Docker. В случае, если установка не удалась из-за ошибки:

ERROR: failed to create cluster: failed to ensure docker network: command "docker network create -d=bridge -o com.docker.network.bridge.enable_ip_masquerade=true -o com.docker.network.driver.mtu=1500 --ipv6 --subnet fc00:f853:ccd:e793::/64 kind" failed with error: exit status 1
Command Output: Error response from daemon: could not find an available, non-overlapping IPv4 address pool among the defaults to assign to the network

... следует проверить наличие в системе процесса OpenVPN и остановить его на время установки. После завершения установки можно запустить вновь.

Также во время создания кластера производится настройка конфига kubectl для доступа к API. Настройка кластера более сложной конфигурации [11] может быть осуществлена только в момент создания с помощью конфига. Например, для создания кластера, состоящего из трёх узлов:

kind create cluster --config=three-node-conf.yaml

… где three-node-conf.yaml:

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
nodes:
- role: control-plane
- role: worker
- role: worker

После удаления кластера (kind delete cluster) удаляется также информация о нём из конфига kubectl. Поддерживается автодополнение для Bash, zsh, fish.

Поскольку узел представляет собой Docker-контейнер, объявление томов HostPath в Pod’ах приведёт к использованию файловой системы контейнера, каталог на которой, в свою очередь, можно пробросить на ФС родительской ОС. Есть возможность загружать Docker-образы с управляющего хоста на узлы кластера. Плагинов, дополнений нет.

В качестве CNI по умолчанию — собственное решение kindnetd, — но возможно и использование других плагинов. Хотя поддержка этой фичи называется ограниченной, «многие популярные CNI-манифесты работают, например, Calico».

Дальнейшая настройка выполняется при помощи kubectl. Например, установить Ingress NGINX можно командой:

kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/kind/deploy.yaml

4. k3s (и k3d)

  • Сайт: k3s.io [12] k3d.io [13])

  • Основной репозиторий на GitHub: k3s-io/k3s [14] (rancher/k3d [15])

  • GH-звёзд: ~17600 (~2700)

  • Контрибьюторов: 1750+ (50+)

  • Первый коммит: январь 2019 (апрель 2019)

  • Основной разработчик: CNCF (Rancher)

  • Поддерживаемые версии K8s: 1.17—1.21

k3s — дистрибутив от Rancher, название которое сделали «меньше», чем K8s, чтобы подчеркнуть его легковесность и простоту (пусть и с меньшим функционалом). Общая идея схожа с k0s и MicroK8s. После запуска в системе k3s он становится узлом кластера с одной из двух возможных ролей:

  • сервер, выполняющий функции master’а: API server, scheduler и controller manager, — с БД в виде SQLite;

  • агент, выполняющий функции рядового узла Kubernetes: kubelet и containerd, управляющий запуском контейнеров CRI-O [16].

С целью уменьшения размера исполняемого файла при сборке исключены большинство драйверов для работы с дисками и драйверы облачных провайдеров. За счёт того, что он содержит в себе сразу несколько составляющих классического Kubernetes, более экономно расходуется оперативная память.

В «вырожденном» случае для запуска кластера в составе единственного узла можно использовать Docker Desktop без систем полноценной виртуализации.

Помимо собственно дистрибутива существует также k3d — утилита, управляющая узлами k3s, каждый из которых помещён в контейнер Docker. Она устанавливается на систему с Linux с помощью Bash-скрипта [17].

Для запуска кластера достаточно обладать правами на создание контейнеров и сетей Docker.

Кластер создаётся одной командой**:

$ k3d cluster create mycluster --servers 1 --agents 2
$ kubectl get nodes
NAME                  STATUS   ROLES                  AGE   VERSION
k3d-mycluster-agent-0    Ready    <none>                 30s   v1.20.6+k3s1
k3d-mycluster-agent-1    Ready    <none>                 22s   v1.20.6+k3s1
k3d-mycluster-server-0   Ready    control-plane,master   39s   v1.20.6+k3s1

** См. выше примечание про создание сети Docker при установке и возможную ошибку из-за процесса OpenVPN. Только текст ошибки в данном случае будет другим:

Failed Cluster Preparation: Failed Network Preparation: Error response from daemon: could not find an available, non-overlapping IPv4 address pool among the defaults to assign to the network

Под каждый узел кластера выделяется свой контейнер плюс ещё один — служебный с nginx, который выполняет роль балансировщика нагрузки. В качестве CNI используется Flannel, а ingress — Traefik [18]. Предусмотрена возможность выбора других CNI — например, в документации есть [19] особые инструкции для Calico и Canal. Поддерживается автодополнение для Bash, zsh, fish, PowerShell.

Предусмотрена возможность управления репозиториями образов: создавать свои репозитории в кластере, импортировать образы из основной системы. Это может сыграть хорошую службу при локальной разработке образов Docker, т.к. они будут доступны в кластере сразу после сборки.

5. Minikube

  • Сайт: minikube.sigs.k8s.io [20]

  • Основной репозиторий на GitHub: kubernetes/minikube [21]

  • GH-звёзд: ~21500

  • Контрибьюторов: 650+

  • Первый коммит: апрель 2016

  • Основной разработчик: Kubernetes SIG

  • Поддерживаемые версии K8s: 1.11—1.22

Инсталляция Minikube в Linux-дистрибутивах, базирующихся на Debian и Red Hat, сводится к установке [22] соответствующего пакета. Пользователь, который не обязан быть root (но должен обладать правами, достаточными для настройки выбранной системы виртуализации), может создать кластер одной командой:

$ minikube start
* minikube v1.20.0 on Ubuntu 18.04
* Automatically selected the docker driver. Other choices: kvm2, ssh
…
* Preparing Kubernetes v1.20.2 on Docker 20.10.6 ...
…
* Enabled addons: storage-provisioner, default-storageclass
* Done! kubectl is now configured to use "minikube" cluster and "default" namespace by default
$ kubectl get nodes
NAME       STATUS   ROLES                  AGE    VERSION
minikube   Ready    control-plane,master   48s    v1.20.2

После этого доступен конфиг kubectl, дополненный данными доступа к новому кластеру. Поддерживается автодополнение для Bash, zsh, fish.

В рамках локальной ОС Minikube создаёт систему smth1-in-smth2, где:

  • smth1 — одно из значений: docker, cri-o, containerd;

  • smth2 — одно из: virtualbox, vmwarefusion, kvm2, vmware, none, docker, podman, ssh.

Также можно выбрать CNI:

minikube help start
Starts a local Kubernetes cluster

Options:
...    
      --cni='': CNI plug-in to use. Valid options: auto, bridge, calico, cilium, flannel, kindnet, or path to a CNI manifest (default: auto)
      --container-runtime='docker': The container runtime to be used (docker, cri-o, containerd).
...
      --driver='': Driver is one of: virtualbox, vmwarefusion, kvm2, vmware, none, docker, podman, ssh (defaults to auto-detect)

Можно добавить необходимое количество узлов на той же физической машине:

$ minikube node add
* Adding node m02 to cluster minikube

А посмотреть текущее состояние кластера — командой minikube status:

minikube
type: Control Plane
host: Running
kubelet: Running
apiserver: Running
kubeconfig: Configured

minikube-m02
type: Worker
host: Running
kubelet: Running

Для облегчения подключения ФС родительской системы доступна команда [23] minikube mount. После её выполнения содержимое каталога-источника, благодаря протоколу 9P [24], будет доступно на ФС внутри узла кластера. Использование в Pod’ах тома HostPath позволит, таким образом, работать с файлами без выполнения docker cp (хотя и использование этой команды тоже допустимо).

При необходимости подключения внешних каталогов с большим количеством файлов 9P может работать нестабильно. Выйти из этого положения помогут возможности подключения ФС, предоставляемые системами виртуализации (VirtualBox, KVM, VMware).

В minikube есть дополнения, которые легко активировать в кластере:

$ minikube addons enable dashboard
…
* The 'dashboard' addon is enabled
$ minikube addons list
…
| dashboard                   | minikube | enabled ​   |
…
$ kubectl -n kubernetes-dashboard get pod
NAME                                        READY   STATUS    RESTARTS   AGE
dashboard-metrics-scraper-f6647bd8c-rrxq6   1/1     Running   0          29s
kubernetes-dashboard-968bcb79-tk5qt         1/1     Running   0          29s

Аналогично можно включить registry, ingress, Istio и многие другие компоненты [25].

Поддерживается параллельная работа с несколькими кластерами, использующими разные профили:

$ minikube start -p minik2
* [minik2] minikube v1.20.0 on Ubuntu 18.04
* Automatically selected the docker driver. Other choices: kvm2, ssh
* Starting control plane node minik2 in cluster minik2
…
$ minikube profile list
|----------|-----------|---------|--------------|------|---------|---------|-------|
| Profile  | VM Driver | Runtime |      IP      | Port | Version | Status  | Nodes |
|----------|-----------|---------|--------------|------|---------|---------|-------|
| minik2   | docker    | docker  | 192.168.58.2 | 8443 | v1.20.2 | Running |     1 |
| minikube | docker    | docker  | 192.168.49.2 | 8443 | v1.20.2 | Running |     2 |
|----------|-----------|---------|--------------|------|---------|---------|-------|

6. Альтернативные решения

Существуют также и некоторые другие проекты, не попавшие в этот обзор из-за их меньшей популярности или по другим причинам. Например, есть проект Red Hat CRC [26] (CodeReady Containers; ~750 звёзд на GitHuB), пришедший на смену Minishift [27] для запуска минимального кластера OpenShift 4.x на лаптопе/десктопе.

По-своему интересен Firekube [28] от Weaveworks — Kubernetes-кластер, работающий в виртуальной машине Firecracker [29]. Однако его разработка больше не выглядит активной.

Где всё это запускать

Все упомянутые дистрибутивы работают в Linux. Но если в распоряжении находится другая ОС, можно обойтись виртуализацией:

  • В общем случае это могут быть Multipass [30] и VirtualBox [31].

  • В частных случаях — другие средства виртуализации, такие как, например, WSL на Windows [32].

Для kind, k3d, Minikube в минимальном варианте будет достаточно создания одной ВМ с Linux, а для k0s, Microk8s, k3s — по числу узлов кластера.

Итоги с таблицей-сравнением

Систематизирую полученный опыт:

k0s

MicroK8s

kind

k3s + k3d

Minikube

Управление созданием/удалением узлов

Система управления узлами

Docker

Docker

virtualbox, vmwarefusion, kvm2, vmware, none, docker, podman, ssh

Система запуска контейнеров

containerd

containerd

containerd, CRI-O

CRI-O

Docker, CRI-O, containerd

CNI по умолчанию

Calico

Calico

kindnet

Flannel

bridge

Возможность подключения ФС родительской ОС

HostPath

HostPath

HostPath + docker mount

HostPath + docker mount

HostPath + … (зависит от системы виртуализации)

Наличие дополнений

Возможность создания кластера непривилегированным пользователем

Vanilla Kubernetes

Сравнение проводилось в рамках конкретной задачи (песочницы, локального запуска), однако некоторые из рассмотренных продуктов формально ориентированы на иное применение. Например, MicroK8s от Canonical и K3s от Rancher позиционируются как решения для IoT и edge. Поэтому вдвойне полезно напомнить, что окончательный выбор будет сильно зависеть от задачи с оглядкой на требования к доступным ресурсам и сетевой инфраструктуре. Надеюсь, изложенная информация поможет осуществить его правильно.

Полезные ссылки

P.S.

Читайте также в нашем блоге:

Автор:
zevssneg

Источник [48]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/open-source/367177

Ссылки в тексте:

[1] k0sproject.io: https://k0sproject.io/

[2] k0sproject/k0s: https://github.com/k0sproject/k0s

[3] незатейливой установки: https://github.com/k0sproject/k0s/blob/main/docs/install.md

[4] можно добавить: https://github.com/k0sproject/k0s/blob/main/docs/cloud-providers.md

[5] microk8s.io: https://microk8s.io/

[6] ubuntu/microk8s: https://github.com/ubuntu/microk8s

[7] набор дополнений: https://microk8s.io/docs/addons

[8] kind.sigs.k8s.io: https://kind.sigs.k8s.io/

[9] kubernetes-sigs/kind: https://github.com/kubernetes-sigs/kind

[10] скачать: https://kind.sigs.k8s.io/docs/user/quick-start/#installation

[11] сложной конфигурации: https://kind.sigs.k8s.io/docs/user/quick-start/#advanced

[12] k3s.io: https://k3s.io/

[13] k3d.io: https://k3d.io/

[14] k3s-io/k3s: https://github.com/k3s-io/k3s

[15] rancher/k3d: https://github.com/rancher/k3d

[16] CRI-O: https://cri-o.io/

[17] Bash-скрипта: https://k3d.io/#install-script

[18] Traefik: https://traefik.io/traefik/

[19] есть: https://rancher.com/docs/k3s/latest/en/installation/network-options/#custom-cni

[20] minikube.sigs.k8s.io: https://minikube.sigs.k8s.io/

[21] kubernetes/minikube: https://github.com/kubernetes/minikube

[22] установке: https://minikube.sigs.k8s.io/docs/start/

[23] команда: https://minikube.sigs.k8s.io/docs/handbook/mount/#9p-mounts

[24] 9P: https://en.wikipedia.org/wiki/9P_(protocol)

[25] другие компоненты: https://minikube.sigs.k8s.io/docs/handbook/addons/

[26] Red Hat CRC: https://github.com/code-ready/crc

[27] Minishift: https://github.com/minishift/minishift

[28] Firekube: https://github.com/weaveworks/wks-quickstart-firekube

[29] Firecracker: https://habr.com/ru/company/flant/blog/431192/

[30] Multipass: https://multipass.run/

[31] VirtualBox: https://www.virtualbox.org/

[32] WSL на Windows: https://docs.microsoft.com/en-us/windows/wsl/about

[33] K3S + K3D = K8S : a new perfect match for dev and test: https://en.sokube.ch/post/k3s-k3d-k8s-a-new-perfect-match-for-dev-and-test-1

[34] K8s on macOS with K3s, K3d and Rancher: https://habd.as/post/kubernetes-macos-k3s-k3d-rancher/

[35] k3s vs microk8s vs k0s and thoughts about their future: https://www.reddit.com/r/kubernetes/comments/n2bsrz/k3s_vs_microk8s_vs_k0s_and_thoughts_about_their/

[36] K3s, minikube or microk8s?: https://www.reddit.com/r/kubernetes/comments/be0415/k3s_minikube_or_microk8s/

[37] Environment for comparing several on-premise Kubernetes distributions (K3s, MicroK8s, KinD, kubeadm): https://faun.pub/environment-for-comparing-several-on-premise-kubernetes-distributions-k3s-kind-kubeadm-a53675a80a00

[38] MiniKube, Kubeadm, Kind, K3S, how to get started on Kubernetes?: https://www.padok.fr/en/blog/minikube-kubeadm-kind-k3s

[39] Profiling Lightweight Container Platforms: MicroK8s and K3s in Comparison to Kubernetes: http://ceur-ws.org/Vol-2839/paper11.pdf

[40] Minikube vs. kind vs. k3s - What should I use?: https://brennerm.github.io/posts/minikube-vs-kind-vs-k3s.html

[41] Evaluate 3 ways to run Kubernetes locally: https://searchitoperations.techtarget.com/answer/Evaluate-3-ways-to-run-Kubernetes-locally

[42] Choosing a Local Dev Cluster: https://docs.tilt.dev/choosing_clusters.html

[43] What is Mirantis k0s, and how is it different from Rancher k3s: https://kubevious.io/blog/post/what-is-mirantis-k0s-and-how-it-compares-with-rancher-k3s

[44] Navigating the Sea of Kubernetes Local Clusters: https://www.cncf.io/wp-content/uploads/2020/08/CNCF-Webinar-Navigating-the-Sea-of-Local-Clusters-.pdf

[45] Начало работы в Kubernetes с помощью Minikube: https://habr.com/ru/company/flant/blog/333470/

[46] Quake III Arena, Kubernetes (k3s) и Raspberry Pi: https://habr.com/ru/company/flant/blog/532452/

[47] Полноценный Kubernetes с нуля на Raspberry Pi: https://habr.com/ru/company/flant/blog/513908/

[48] Источник: https://habr.com/ru/post/572188/?utm_source=habrahabr&utm_medium=rss&utm_campaign=572188