Релиз v6.11.0

Требования

Предыдущая версия monq == 6.10.1
Опыт администрирования Linux
Базовые знания Kubernetes
Осознание выполняемых команд
Наличие доступа в интернет на обновляемом сервере

подсказка

Инструкция по обновлению до версии monq v6.11.0 без доступа в интернета доступна по ссылке.

В обновлении:

Продукт	Новая версия
pl	6.11.0
sm	6.11.0
cl	6.11.0
fm	6.11.0
plugins	6.10.0

⚠️ Уровень простоя - полная деградация на время обновления

Базовая информация

Релиз включает обновление основных компонентов СПО и различных модулей monq.

Если установлен только определенный набор модулей monq, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

При прочтении данной инструкции необходимо особое внимание уделять цветным блокам и уточнять все условия, которые в них указаны.

Проведение миграции

Для запуска обновления требуется скачать клиент управления monq monqctl и выполнить конфигурацию контекста monqctl если это не было выполнено ранее.

Требования

Минимальная версия monqctl: 1.2.3

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку monq, либо из письма с регистрацией лицензии.

осторожно

⚠️ Выполнить бекап K8s master средствами виртуализации

Выполнить предрелизную подготовку

Проверить контекст monqctl и статус реестра микросервисов

# Просмотреть текущий контекст, с которым работает monqctl.
monqctl config current-context
# Просмотреть статус реестра микросервисов из контекста.
monqctl registry get status
# Просмотреть статус сервисов в реестре микросервисов из контекста.
monqctl registry get services

Примечание: В ответе на команду monqctl registry get status вывод будет содержать

-------------------------
Consul         | Failed 
-------------------------         

На данном этапе можно проигнорировать. Сервис Consul добавлен только для возможности получить адрес и токен monqctl, который формирует файл доступа для программы-мигратора. Но для Consul в реестре микросервисов не реализованы методы генерирования шаблонов микросервисов, поэтому и выбрасывается ошибка валидации. Будет исправлено в последующих версиях.

Выполнить обновление реестра микросервисов

monqctl registry update registry --version=3.5.0

Получить манифесты, необходимые для обновления

mkdir ./update
monqctl release use-version 3.5.0 --product=monq-registry
CONTEXT=$(monqctl config current-context)
cp /tmp/monqctl/updates/${CONTEXT}/monq-registry/3.5.0/mreg/* ./update/

Остановить monq

Выполнить остановку микросервисов

kubectl scale deploy -n production --replicas=0 --all

Выполнить остановку СУБД (при запуске в k8s)

kubectl scale deploy -n infra --replicas=0 --all

Выполнить изменение конфига coredns

kubectl get cm -n kube-system coredns -o json | sed 's/reload/reload\\n    ready :8181/g;s/       upstream\\n//g' | kubectl apply -f -

Выполнить бекап конфига coredns

kubectl get cm -n kube-system coredns -o yaml >> ./update/coredns-cm.yaml

Отключить плагин auto coredns

kubectl get cm -n kube-system coredns -o json | sed -E 's|auto \{.* \}||g' | kubectl apply -f -

Обновление flannel

Выполнить модификацию конфига flannel

kubectl get cm -n kube-system kube-flannel-cfg -o json | sed 's/\\"cbr0\\",\\n/\\"cbr0\\",\\n  \\"cniVersion\\":\\"0.3.1\\",\\n/g' | kubectl apply -f -

Удалить flannel

kubectl delete daemonSet -n kube-system kube-flannel-ds-amd64
kubectl delete podsecuritypolicy -n kube-system psp.flannel.unprivileged
kubectl delete clusterrolebinding -n kube-system flannel
kubectl delete clusterrole -n kube-system flannel

Применить новый манифест

kubectl apply -f ./update/flannel.yaml

Убедиться что статус всех нод "Ready"

kubectl get node

Отметить ноду как master

kubectl label node d-head node-role.kubernetes.io/master=

ТОЛЬКО ДЛЯ УСТАНОВЩИКА С LOOPBACK интерфейсом!

Для того, чтобы проверить какой тип установщика был использован, можно выполнить команду:

ip a show lo1

По результату выполнения команды можно определить:

Установщик с Loopback интерфейсом

3: lo1: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN group default qlen 1000
    link/ether 62:c4:b1:dd:d0:0f brd ff:ff:ff:ff:ff:ff
    inet 10.10.40.50/32 brd 10.10.40.50 scope global noprefixroute lo1
       valid_lft forever preferred_lft forever

Установщик без Loopback интерфейса

Device "lo1" does not exist.

Перегенерировать сертификаты etcd

Выполнить бекап текущих сертификатов:

mkdir ./update/certs
mv /etc/kubernetes/pki/etcd/server.key /etc/kubernetes/pki/etcd/server.crt /etc/kubernetes/pki/etcd/peer.key /etc/kubernetes/pki/etcd/peer.crt /etc/kubernetes/pki/etcd/healthcheck-client.key /etc/kubernetes/pki/etcd/healthcheck-client.crt /etc/kubernetes/pki/apiserver-etcd-client.key /etc/kubernetes/pki/apiserver-etcd-client.crt ./update/certs

Заполнить конфиг kubeadm:

cat > kubeadm.yaml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
apiServer:
  certSANs:
  - "127.0.0.1"
  - "10.10.40.50"
  - "k8s-api.in.monq.local"
  extraArgs:
    advertise-address: "10.10.40.50"
    bind-address: "10.10.40.50"
controllerManager:
  extraArgs:
    allocate-node-cidrs: "true"
    cluster-cidr: "10.244.0.0/16"
etcd:
  local:
    serverCertSANs:
    - "10.10.40.50"
    - "etcd.in.monq.local"
    peerCertSANs:
    - "10.10.40.50"
    - "etcd.in.monq.local"
    extraArgs:
      initial-cluster: "d-head=https://10.10.40.50:2380"
      listen-peer-urls: "https://10.10.40.50:2380"
      listen-client-urls: "https://127.0.0.1:2379,https://10.10.40.50:2379"
      advertise-client-urls: "https://10.10.40.50:2379"
      initial-advertise-peer-urls: "https://10.10.40.50:2380"
controlPlaneEndpoint: "k8s-api.in.monq.local:6443"
networking:
  serviceSubnet: "10.16.0.0/24"
  podSubnet: "10.244.0.0/16"
  dnsDomain: "cluster.local"
EOF

Выпустить новые сертификаты etcd:

kubeadm init phase certs etcd-server --config kubeadm.yaml
kubeadm init phase certs etcd-peer --config kubeadm.yaml
kubeadm init phase certs etcd-healthcheck-client --config kubeadm.yaml
kubeadm init phase certs apiserver-etcd-client --config kubeadm.yaml

Заменить адрес apiserver и etcd:

CURRENT_IP=$(hostname -I | cut -d' ' -f1)
kubectl get cm -n kube-system kubeadm-config -o yaml | sed -E "s/advertiseAddress: .*/advertiseAddress: ${CURRENT_IP}/g" | kubectl apply -f -
sed -i -E "s/listen-client-urls(.*)/listen-client-urls\1,https:\/\/${CURRENT_IP}:2379/g" /etc/kubernetes/manifests/etcd.yaml
systemctl restart kubelet

1.15.12 -> 1.16.15

Обновление master ноды -> 1.16.15

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.16.15-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins,CoreDNSMigration,CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.16.15 --ignore-preflight-errors=CoreDNSUnsupportedPlugins,CoreDNSMigration,CoreDNSUnsupportedPlugins

Выполнить обновление компонентов:

yum install -y kubelet-1.16.15-0 kubectl-1.16.15-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.16.15

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.16.15-0
kubeadm upgrade node
yum install -y kubelet-1.16.15-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.16.15 -> 1.17.17

Обновление master ноды -> 1.17.17

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.17.17-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.17.17 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление компонентов

yum install -y kubelet-1.17.17-0 kubectl-1.17.17-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.17.17

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.17.17-0
kubeadm upgrade node
yum install -y kubelet-1.17.17-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.17.17 -> 1.18.20

Обновление master ноды -> 1.18.20

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.18.20-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.18.20 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление компонентов:

yum install -y kubelet-1.18.20-0 kubectl-1.18.20-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.18.20

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.18.20-0
kubeadm upgrade node
yum install -y kubelet-1.18.20-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.18.20 -> 1.19.16

Обновление master ноды -> 1.19.16

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.19.16-0 kubelet-1.19.16-0 kubectl-1.19.16-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.19.16 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Обновление компонентов:

systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.19.16

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.19.16-0 kubelet-1.19.16-0 kubectl-1.19.16-0
kubeadm upgrade node
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.19.16 -> 1.20.15

Обновление master ноды -> 1.20.15

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.20.15-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.20.15 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Обновление компонентов:

yum install -y kubelet-1.20.15-0 kubectl-1.20.15-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.20.15

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.20.15-0 kubelet-1.20.15-0
kubeadm upgrade node
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.20.15 -> 1.21.12

Обновление master ноды -> 1.21.12

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.21.12-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.21.12 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление компонентов:

yum install -y kubelet-1.21.12-0 kubectl-1.21.12-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.21.12

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.21.12-0 kubelet-1.21.12-0
kubeadm upgrade node
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.21.12 -> 1.22.9

Обновление master ноды -> 1.22.9

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.22.9-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.22.9 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление компонентов

yum install -y kubelet-1.22.9-0 kubectl-1.22.9-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.22.9

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.22.9-0 kubelet-1.22.9-0
kubeadm upgrade node
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

1.22.9 -> 1.23.6

Обновление master ноды -> 1.23.6

Установить значение переменной в имя ноды k8s:

NODE_NAME=<имя master ноды>

Обновить kubeadm:

yum install -y kubeadm-1.23.6-0

Остановить scheduling для ноды (Не выполнять если в кластере всего 1 нода):

kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Проверить план обновления. Не продолжать если завершился с ошибкой:

kubeadm upgrade plan --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление кластера:

kubeadm upgrade apply v1.23.6 --ignore-preflight-errors=CoreDNSUnsupportedPlugins

Выполнить обновление компонентов:

yum install -y kubelet-1.23.6-0 kubectl-1.23.6-0
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу если ранее отключалась:

kubectl uncordon ${NODE_NAME}

Выпонить обновление bash completions:

kubectl completion bash | sudo tee /etc/bash_completion.d/kubectl > /dev/null

Выполняется, если у вас есть worker ноды

Обновление worker ноды -> 1.23.6

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя worker ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Выполнить обновление ноды:

yum install -y kubeadm-1.23.6-0 kubelet-1.23.6-0 kubectl-1.23.6-0
kubeadm upgrade node
systemctl daemon-reload
systemctl restart kubelet

Включить ноду в работу(выполняется на master):

kubectl uncordon ${NODE_NAME}

Выполняется ТОЛЬКО ДЛЯ УСТАНОВЩИКА С LOOPBACK интерфейсом!

Выполнить кастомизацию компонентов

Kube-proxy:

kubectl get cm -n kube-system kube-proxy -o yaml | sed -E 's|server: .*|server: https://k8s-api.in.monq.local:6443|g' | kubectl apply -f -
kubectl delete po -n kube-system -l k8s-app=kube-proxy

Перезапустить flannel:

kubectl delete po -n kube-system -l app=flannel

Apiserver:

sed -i '/--advertise-address/d' /etc/kubernetes/manifests/kube-apiserver.yaml

etcd:

CURRENT_IP=$(hostname -I | cut -d' ' -f1)
sed -i "s|${CURRENT_IP}|10.10.40.50|g" /etc/kubernetes/manifests/etcd.yaml

Восстановление DS coredns

Восстановление coredns:

kubectl scale deploy -n kube-system coredns --replicas=0
kubectl delete cm -n kube-system coredns
kubectl apply -f update/coredns-cm.yaml
kubectl get cm -n kube-system coredns -o json | sed 's/ready :8181/ready :8091/g' | kubectl apply -f -
kubectl patch ds -n kube-system coredns --type='json' \
          -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/readinessProbe/httpGet/path", "value": "/ready"}]'
kubectl patch ds -n kube-system coredns --type='json' \
                    -p='[{"op": "replace", "path": "/spec/template/spec/containers/0/readinessProbe/httpGet/port", "value": 8091}]'
kubectl set image -n kube-system daemonset coredns coredns=k8s.gcr.io/coredns/coredns:v1.8.6

Обновление ingress-nginx-controller

Обновить ingress-nginx-controller

kubectl get cm -n ingress-nginx ingress-nginx-controller -o json | jq '.data."allow-snippet-annotations"="true"' | kubectl apply -f -
kubectl apply -f update/ingress-nginx.yaml

Замена docker на containerd

Настраиваем опции логирования в кластере:

kubectl get cm -n kube-system kubelet-config-1.23 -o yaml | sed 's/containerLogMaxFiles: 5/containerLogMaxFiles: 2/g' | kubectl apply -f -

Проверяем, что текущий runtime Docker (содержится в колонке CONTAINER-RUNTIME)

kubectl get nodes -o wide

Обновление runtime

Внимание!

Последующие операции по обновлению runtime необходимо повторить для каждой ноды кластера!

Остановить scheduling для ноды(выполняется на master):

NODE_NAME=<имя ноды>
kubectl drain ${NODE_NAME} --ignore-daemonsets --delete-local-data

Добавить загрузку модуля ядра:

cat <<EOF > /etc/modules-load.d/k8s.conf
br_netfilter
EOF
modprobe br_netfilter

Останавливаем kubelet:

systemctl stop kubelet

Очищаем и останавливаем docker:

docker rm -vf $(docker ps -aq)
docker rmi -f $(docker images -aq)
systemctl stop docker
systemctl disable docker

Проверяем версию containerd (должна быть >= v1.4.11):

containerd --version

При необходимости Обновляем/устанавливаем containerd:

yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum install containerd.io -y

Настраиваем crictl:

crictl completion bash | sudo tee /etc/bash_completion.d/crictl > /dev/null
cat > /etc/crictl.yaml << EOF
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 2
debug: false
pull-image-on-create: true
EOF

Включаем CRI в containerd:

containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
systemctl restart containerd
systemctl enable containerd --now

Включить поддержку insecure registry в containerd (При использовании http registry):

# Конфигурационный файл имеет определенный формат, строка ниже сформирована с учетом нужного количества пробелов.
sed -i '/plugins."io.containerd.grpc.v1.cri".registry.mirrors.$/a\ \
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."registry.in.monq.local:80"] \
          endpoint = ["http://registry.in.monq.local:80"]' /etc/containerd/config.toml

systemctl restart containerd.service

Добавляем флаги kubelet:

KUBELET_FLAGS=$(cat /var/lib/kubelet/kubeadm-flags.env | sed -nE 's/KUBELET_KUBEADM_ARGS="(.*)"/\1/p')
echo "KUBELET_KUBEADM_ARGS=\"$KUBELET_FLAGS --container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock\"" > /var/lib/kubelet/kubeadm-flags.env
sed -i 's/containerLogMaxFiles: 5/containerLogMaxFiles: 2/g' /var/lib/kubelet/config.yaml
systemctl start kubelet

Проверяем текущий runtime (выполняется на master)

kubectl get nodes -o wide

Изменяем путь socket CRI(выполняется на master):

kubectl annotate node ${NODE_NAME} --overwrite kubeadm.alpha.kubernetes.io/cri-socket=unix:///run/containerd/containerd.sock

Выполнить перезагрузку ноды:

reboot

Включаем ноду в работу (выполняется на master):

kubectl uncordon ${NODE_NAME}

Зафиксировать версию инфраструктурного релиза

cat <<EOF | kubectl apply -f -
apiVersion: v1
data:
  version: 1.6.0
kind: ConfigMap
metadata:
  name: infra
  namespace: infra
EOF

Запуск monq

Выполнить запуск registry (при запуске в k8s):

kubectl scale deploy -n infra --replicas=1 registry

Дождаться запуска registry (при запуске в k8s):

kubectl get po -n infra

Выполнить запуск СУБД (при запуске в k8s):

kubectl scale deploy -n infra --replicas=1 --all

Миграция ingress:

kubectl get ing --all-namespaces -o json | jq '.items[].spec.ingressClassName = "nginx"' | jq '.items[].spec.rules[].http.paths[].pathType = "Prefix"' | kubectl apply -f -

Применить обновленную роль для реестра микросервисов:

kubectl apply -f ./update/pl-microservice-registry-role.yaml -n production

Выполнить запуск реестра микросервисов:

kubectl scale deploy -n production --replicas=1 pl-microservice-registry-api-service

Выполнить обновление шаблонов k8s в реестре микросервисов:

# Получить текущий шаблон k8s из реестра микросервисов.
monqctl registry get services K8s --output json > ./update/registry-k8s-template.backup.json
# Выполнить обновление шаблона.
cat ./update/registry-k8s-template.backup.json | jq '.JsonConfig.Ingress.apiVersion = "networking.k8s.io/v1" |
 .JsonConfig.routingIngress.apiVersion = "networking.k8s.io/v1" | .JsonConfig.Deployment.apiVersion = "apps/v1" |
 .JsonConfig.Ingress.spec.ingressClassName = "nginx" | .JsonConfig.routingIngress.spec.ingressClassName = "nginx" |
 .JsonConfig.Ingress.spec.rules = [{"host":"%AppNameShort%.api.%GlobalDomain%","http":{"paths":[{"path":"/","pathType":"Prefix","backend":{"service":{"name":"%AppName%","port":{"number":80}}}}]}}] |
 .JsonConfig.Deployment.metadata.labels = {"app":"%AppName%","tier":"backend"} |
 .JsonConfig.Deployment.spec.selector.matchLabels = {"app":"%AppName%","tier":"backend"}' > ./update/registry-k8s-template.json
# Применить обновленный шаблон в реестр.
monqctl registry apply service K8s --file ./update/registry-k8s-template.json

Очистить шаблоны микросервисов для сервиса k8s:

NAMESPACE="production"
REGISTRY_CONNECTION_STRING=$(kubectl get secret -n $NAMESPACE registry-pg-con --template={{.data.ConnectionString}} | base64 -d)
REGISTRY_DB_HOST=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*(server|Host)=([^;]+)(;)?.*$/\2/p')
REGISTRY_DATABASE=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*[Dd]atabase=([^;]+)(;)?.*$/\1/p')
REGISTRY_DATABASE_USER=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*(uid|[Uu]sername)=([^;]+)(;)?.*$/\2/p')
REGISTRY_DATABASE_PASS=$(echo $REGISTRY_CONNECTION_STRING | sed -nE 's/.*(pwd|[Pp]assword)=([^;]+)(;)?.*$/\2/p')
PGPASSWORD=${REGISTRY_DATABASE_PASS} psql -h ${REGISTRY_DB_HOST} -U ${REGISTRY_DATABASE_USER} -w -d ${REGISTRY_DATABASE} -a -v ON_ERROR_STOP=1 \
 -c "DELETE FROM public.\"MicroserviceAtService\" WHERE \"ServiceId\" = 9"

Если psql отсутствует в системе

CONTAINER_ID=$(crictl ps --name=postgres -q)
crictl exec -ti ${CONTAINER_ID} psql postgresql://${REGISTRY_DATABASE_USER}:${REGISTRY_DATABASE_PASS}@${REGISTRY_DB_HOST}:5432/${REGISTRY_DATABASE} -a -v ON_ERROR_STOP=1 -c "DELETE FROM public.\"MicroserviceAtService\" WHERE \"ServiceId\" = 9"

Проверить контекст monqctl и статус реестра микросервисов:

# Просмотреть текущий контекст, с которым работает monqctl.
monqctl config current-context
# Просмотреть статус реестра микросервисов из контекста.
monqctl registry get status
# Просмотреть статус сервисов в реестре микросервисов из контекста.
monqctl registry get services

Примечание: В ответе на команду monqctl registry get status вывод будет содержать

-------------------------
 Consul         | Failed 
-------------------------         

Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз:

monqctl release use-version 6.11.0 --product=monq

При обновлении из папки

# Требуется выполнить экспорт релиза в папку
monqctl release version export 6.11.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 6.11.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

Выполнить обновление маршрутизации

monqctl release update routing --module=pl
monqctl release update routing --module=cl
monqctl release update routing --module=plugins
monqctl release update routing --module=sm # Не применять, если не установлен модуль AIOps.
monqctl release update routing --module=fm # Не применять, если не установлен модуль Autotests (ex. TestForge).
monqctl release update routing --module=sm --file monq.json # Не применять если установлена Lite версия monq
monqctl release update routing --module cl --file lite.json # Не применять если установлена full версия monq

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl --full --k8s-merge-type Replace
monqctl release update microservices --module=cl --full --k8s-merge-type Replace
monqctl release update microservices --module=plugins --full --k8s-merge-type Replace
monqctl release update microservices --module=sm --full --k8s-merge-type Replace # Не применять, если не установлен модуль AIOps.
monqctl release update microservices --module=fm --full --k8s-merge-type Replace # Не применять, если не установлен модуль Autotests (ex. TestForge).

Отключить cl-stream-data-ml

kubectl scale -n production deployment --replicas=0 cl-stream-data-ml-scheduler-service
kubectl scale -n production deployment --replicas=0 cl-stream-data-ml-processor-service
kubectl scale -n production deployment --replicas=0 cl-stream-data-ml-model-service

Удостовериться, что все поды во всех пространствах находятся в статусе Running.

Релиз v6.11.0

Базовая информация​

Проведение миграции​

Выполнить предрелизную подготовку​

Проверить контекст monqctl и статус реестра микросервисов​

Выполнить обновление реестра микросервисов​

Получить манифесты, необходимые для обновления​

Остановить monq​

Выполнить остановку микросервисов​

Выполнить остановку СУБД (при запуске в k8s)​

Выполнить изменение конфига coredns​

Выполнить бекап конфига coredns​

Отключить плагин auto coredns​

Обновление flannel​

Выполнить модификацию конфига flannel​

Удалить flannel​

Применить новый манифест​

Убедиться что статус всех нод "Ready"​

Отметить ноду как master​

Перегенерировать сертификаты etcd​

1.15.12 -> 1.16.15​

Обновление master ноды -> 1.16.15​

Обновление worker ноды -> 1.16.15​

1.16.15 -> 1.17.17​

Обновление master ноды -> 1.17.17​

Обновление worker ноды -> 1.17.17​

1.17.17 -> 1.18.20​

Обновление master ноды -> 1.18.20​

Обновление worker ноды -> 1.18.20​

1.18.20 -> 1.19.16​

Обновление master ноды -> 1.19.16​

Обновление worker ноды -> 1.19.16​

1.19.16 -> 1.20.15​

Обновление master ноды -> 1.20.15​

Обновление worker ноды -> 1.20.15​

1.20.15 -> 1.21.12​

Обновление master ноды -> 1.21.12​

Обновление worker ноды -> 1.21.12​

1.21.12 -> 1.22.9​

Обновление master ноды -> 1.22.9​

Обновление worker ноды -> 1.22.9​

1.22.9 -> 1.23.6​

Обновление master ноды -> 1.23.6​

Обновление worker ноды -> 1.23.6​

Выполнить кастомизацию компонентов​

Восстановление DS coredns​

Обновление ingress-nginx-controller​

Замена docker на containerd​

Обновление runtime​

Зафиксировать версию инфраструктурного релиза​

Запуск monq​

Выполнить обновление маршрутизации​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Отключить cl-stream-data-ml​

Базовая информация

Проведение миграции

Выполнить предрелизную подготовку

Проверить контекст monqctl и статус реестра микросервисов

Выполнить обновление реестра микросервисов

Получить манифесты, необходимые для обновления

Остановить monq

Выполнить остановку микросервисов

Выполнить остановку СУБД (при запуске в k8s)

Выполнить изменение конфига coredns

Выполнить бекап конфига coredns

Отключить плагин auto coredns

Обновление flannel

Выполнить модификацию конфига flannel

Удалить flannel

Применить новый манифест

Убедиться что статус всех нод "Ready"

Отметить ноду как master

Перегенерировать сертификаты etcd

1.15.12 -> 1.16.15

Обновление master ноды -> 1.16.15

Обновление worker ноды -> 1.16.15

1.16.15 -> 1.17.17

Обновление master ноды -> 1.17.17

Обновление worker ноды -> 1.17.17

1.17.17 -> 1.18.20

Обновление master ноды -> 1.18.20

Обновление worker ноды -> 1.18.20

1.18.20 -> 1.19.16

Обновление master ноды -> 1.19.16

Обновление worker ноды -> 1.19.16

1.19.16 -> 1.20.15

Обновление master ноды -> 1.20.15

Обновление worker ноды -> 1.20.15

1.20.15 -> 1.21.12

Обновление master ноды -> 1.21.12

Обновление worker ноды -> 1.21.12

1.21.12 -> 1.22.9

Обновление master ноды -> 1.22.9

Обновление worker ноды -> 1.22.9

1.22.9 -> 1.23.6

Обновление master ноды -> 1.23.6

Обновление worker ноды -> 1.23.6

Выполнить кастомизацию компонентов

Восстановление DS coredns

Обновление ingress-nginx-controller

Замена docker на containerd

Обновление runtime

Зафиксировать версию инфраструктурного релиза

Запуск monq

Выполнить обновление маршрутизации

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Отключить cl-stream-data-ml