Инструкция по обновлению Monq до версии 7.3.0

Внимание - Изменение системных требований!

В связи с расширением функционала Monq для приема метрик были изменены системные требования к ресурсам.

⚠️ Перед установкой Monq 7.3.0 необходимо установить патч версию 7.2.2

Требования

Предыдущая версия Monq: 7.2.1

В обновлении:

Продукт	Новая версия
pl	7.2.2

Уровень простоя - без простоя.

Патч-Релиз Monq 7.2.2

Релиз включает обновление различных модулей Monq. Если установлен только определенный набор модулей, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

Проведение миграции 7.2.1 -> 7.2.2

Для запуска обновления требуется скачать клиент управления Monq monqctl и выполнить конфигурацию контекста monqctl, если ранее этого не выполнялось.

!!! MonqCtl !!!

Минимальная версия monqctl: 1.6.0

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в Monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку Monq, либо из письма с регистрацией лицензии.

Выполнить предрелизную подготовку

Проверить контекст monqctl и статус реестра микросервисов.

# Просмотреть текущий контекст, с которым работает monqctl.
monqctl config current-context
# Просмотреть статус реестра микросервисов из контекста.
monqctl registry get status
# Просмотреть статус сервисов в реестре микросервисов из контекста.
monqctl registry get services

Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз.
```
monqctl release use-version 7.2.2 --product=monq
```

При обновлении из папки

# Требуется выполнить экспорт релиза в папку
monqctl release version export 7.2.2 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 7.2.2 --product=monq --sourceDir=<папка с экспортированным обновлением>

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=pl

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl

Релиз Monq 7.3.0

Требования

Предыдущая версия Monq: 7.2.2

В обновлении:

Продукт	Новая версия
pl	7.3.0
sm	7.3.0
cl	7.3.0
fm	7.3.0
plugins	7.2.0
mcs	7.3.0

Уровень простоя - без простоя.

Проведение миграции 7.2.2 -> 7.3.0

!!! MonqCtl !!!

Минимальная версия monqctl: 1.7.0

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в Monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку Monq, либо из письма с регистрацией лицензии.

Выполнить обновление реестра микросервисов

monqctl registry update registry --version=3.9.2

При обновлении из папки

mkdir registry
monqctl registry export registry 3.9.2  --dest=./registry/
cd registry
monqctl registry update registry --version=3.9.2 --sourceDir=./
rm -rf ../registry

Выполнить запуск СПО victoria-metrics

Внимание

Данный пример запуска применим для образа VM. Для нестандартных решений требуется привлечение Системных администраторов для кастомизации запуска СПО.

Для систем без доступа в интернет необходимо предварительно загрузить образ victoria-metrics:v1.85.1 из DockerHub.

Задать переменные:

victoria_user="monq"
victoria_pass=$(head /dev/urandom | tr -dc A-Za-z0-9 | head -c16)
victoria_retention="3"
victoria_memory_gb="2"

Запустить victoria-metrics

kubectl label node d-head victoriametrics=
cat <<EOF | kubectl create -f -
apiVersion: v1
items:
- apiVersion: v1
  kind: Secret
  type: Opaque
  metadata:
    name: victoria-metrics-secret
    namespace: infra
  stringData:
    VM_AUTH_USER: "${victoria_user}"
    VM_AUTH_PASSWORD: "${victoria_pass}"
- kind: Deployment
  apiVersion: apps/v1
  metadata:
    labels:
      app: victoria-metrics
    name: victoria-metrics
    namespace: infra
  spec:
    replicas: 1
    revisionHistoryLimit: 10
    selector:
      matchLabels:
        app: victoria-metrics
    strategy:
      rollingUpdate:
        maxSurge: 1
        maxUnavailable: 1
      type: RollingUpdate
    template:
      metadata:
        labels:
          app: victoria-metrics
      spec:
        containers:
          - name: victoria-metrics
            image: victoriametrics/victoria-metrics:v1.85.1
            imagePullPolicy: IfNotPresent
            args:
            - "-http.disableResponseCompression=true"
            - "-retentionPeriod=${victoria_retention}"
            - "-memory.allowedBytes=${victoria_memory_gb}GB"
            - "-denyQueryTracing=true"
            - "-httpAuth.username=%{VM_AUTH_USER}"
            - "-httpAuth.password=%{VM_AUTH_PASSWORD}"
            - "-flagsAuthKey=%{VM_AUTH_PASSWORD}"
            - "-metricsAuthKey=%{VM_AUTH_PASSWORD}"
            - "-pprofAuthKey=%{VM_AUTH_PASSWORD}"
            envFrom:
            - secretRef:
                name: victoria-metrics-secret
            ports:
              - name: http
                containerPort: 8428
                protocol: TCP
            volumeMounts:
              - name: host-volume
                mountPath: /victoria-metrics-data
                subPath: victoria-metrics-data
            livenessProbe:
              httpGet:
                path: /health
                port: 8428
                scheme: HTTP
              initialDelaySeconds: 30
              timeoutSeconds: 30
            resources:
              limits:
                cpu: 2
                memory: ${victoria_memory_gb}Gi
              requests:
                cpu: 250m
                memory: 256Mi
        volumes:
          - name: host-volume
            hostPath:
              path: /storage/victoria-metrics
              type: DirectoryOrCreate
        nodeSelector:
          victoriametrics: ""
- apiVersion: v1
  kind: Service
  metadata:
    labels:
      app: victoria-metrics
      instance: vm-ui.in.monq.local
    name: victoria-metrics
    namespace: infra
  spec:
    ports:
    - name: http
      port: 8428
      protocol: TCP
      targetPort: 8428
    type: ClusterIP
    selector:
      app: victoria-metrics
- apiVersion: networking.k8s.io/v1
  kind: Ingress
  metadata:
    name: victoria-metrics
    namespace: infra
  spec:
    ingressClassName: nginx
    rules:
    - host: vm-ui.in.monq.local
      http:
        paths:
        - backend:
            service:
              name: victoria-metrics
              port:
                number: 8428
          path: /
          pathType: Prefix
kind: List
metadata:
  resourceVersion: ""
  selfLink: ""
EOF

Сконфигурировать сервис в реестре микросервисов

cat > vm.json <<EOF
{
  "Id": 20,
  "ConsulName": "VictoriaMetrics",
  "RootLogin": null,
  "RootPassword": "",
  "Host": "",
  "Database": null,
  "Port": 0,
  "JsonConfig": {
    "Uri": "http://victoria-metrics.infra.svc.cluster.local:8428",
    "BasicAuthUsername": "${victoria_user}",
    "BasicAuthPassword": "${victoria_pass}",
    "IsCluster": false
  },
  "JsonTemplateTestResult": null
}
EOF

monqctl registry apply service VictoriaMetrics --file vm.json

Выполнить предрелизную подготовку

Проверить контекст monqctl и статус реестра микросервисов.

# Просмотреть текущий контекст, с которым работает monqctl.
monqctl config current-context
# Просмотреть статус реестра микросервисов из контекста.
monqctl registry get status
# Просмотреть статус сервисов в реестре микросервисов из контекста.
monqctl registry get services

Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз.
```
monqctl release use-version 7.3.0 --product=monq
```

При обновлении из папки

# Требуется выполнить экспорт релиза в папку
monqctl release version export 7.3.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 7.3.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=pl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=pl --microservice=pl-i18n-service --file pl-i18n-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-userspaces-api-service --file sqls/pl-userspaces-api-service.sql
monqctl release update db clickhouse --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service-clickhouse.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl

Обновить существующие и установить новые библиотеки автоматона

monqctl release update automaton-libraries --module=pl --file=automaton-libs/automaton.core.import

При ошибке HTTP 500 и сообщении в теле ответа "Operation timeout exception" повторить команды.

Перезапустить микросервисы автоматон v2

monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service
monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service-runner

Запустить мигратор

monqctl release update migrator --module=pl --command="migrate automaton"

Применить новую маршрутизацию

monqctl release update routing --module=pl

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-i18n-service
monqctl instance clear cache --microservice=pl-userspaces-api-service

Monq Service Monitor (sm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=sm

Выполнить конфигурацию баз данных микросервисов

monqctl release update db arangodb --module=sm --microservice=sm-rsm-service --file sqls/sm-rsm-service.aql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=sm

Monq Collector (cl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=cl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=cl --microservice=cl-streams-service --file sqls/cl-streams-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=cl

Выполнить конфигурацию баз данных микросервисов

monqctl release update db clickhouse --module=cl --microservice=cl-streams-service --file sqls/cl-streams-service-clickhouse.sql

Применить новую маршрутизацию

monqctl release update routing --module=cl

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=fm

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=fm

Metrics (mcs)

Установить новый модуль - Метрики

monqctl instance create module mcs --product monq

Добавить новый продукт

Добавить common-appsettings в Consul:

PRODUCT="monq"
MODULE="mcs"
NAMESPACE=$(monqctl registry get services KubeOptions --output=json | jq -r '.JsonConfig.KubeNamespace')

CONSUL_CONNECTION_STRING=$(monqctl registry get services Consul --output json)
CONSUL_HOST=$(echo ${CONSUL_CONNECTION_STRING} | jq -r '.Host')
CONSUL_TOKEN=$(echo ${CONSUL_CONNECTION_STRING} | jq -r '.RootPassword')

curl -s -H "X-Consul-Token: ${CONSUL_TOKEN}" ${CONSUL_HOST}/v1/kv/${NAMESPACE}/pl/common-appsettings.json?raw | curl \
    -X PUT -s -H "X-Consul-Token: ${CONSUL_TOKEN}" --data-binary @- ${CONSUL_HOST}/v1/kv/${NAMESPACE}/${MODULE}/common-appsettings.json

Добавить токен авторизации в Consul:

# Ввести токен с правами global-management
CONSUL_ROOT_TOKEN=""
curl -s -X PUT -H "X-Consul-Token: ${CONSUL_ROOT_TOKEN}" ${CONSUL_HOST}/v1/acl/policy -d \
    "{\"Name\":\"${NAMESPACE}-${MODULE}-read\",\"Rules\":\"key_prefix \\\"${NAMESPACE}/${MODULE}\\\" {policy = \\\"read\\\"}\"}"
CONSUL_MODULE_TOKEN=$(curl -s -X PUT -H "X-Consul-Token: ${CONSUL_ROOT_TOKEN}" ${CONSUL_HOST}/v1/acl/token -d \
     "{\"Description\":\"${NAMESPACE}-${MODULE}-read\",\"Policies\":[{\"Name\":\"${NAMESPACE}-${MODULE}-read\"}]}" | jq -r '.SecretID')

Справка

Для получения токена можно использовать команду monqctl registry get services Consul, он будет указан в поле RootPassword

Создать configMap для авторизации микросервиса:

cat <<EOF | kubectl apply -f -
apiVersion: v1
data:
  aspnet_consul_config.json: |
    { "Consul": { "Address": "${CONSUL_HOST}", "Token":  "${CONSUL_MODULE_TOKEN}", "RootFolder": "${NAMESPACE}/${MODULE}"}}
kind: ConfigMap
metadata:
  name: ${MODULE}-consul-auth-microservice
  namespace: ${NAMESPACE}
EOF

Зарегистрировать модуль в IdentityServer

monqctl release update db pgsql --module=mcs --microservice=pl-identity-service --file sqls/pl-identity-service.sql

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

monqctl release update images --module=mcs

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=mcs

Применить новую маршрутизацию

monqctl release update routing --module=mcs

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-identity-service

Патч-Релиз Monq 7.2.2​

Проведение миграции 7.2.1 -> 7.2.2​

Выполнить предрелизную подготовку​

Monq Platform (pl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Релиз Monq 7.3.0​

Проведение миграции 7.2.2 -> 7.3.0​

Выполнить обновление реестра микросервисов​

Выполнить запуск СПО victoria-metrics​

Сконфигурировать сервис в реестре микросервисов​

Выполнить предрелизную подготовку​

Monq Platform (pl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

Выполнить конфигурацию баз данных микросервисов​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Обновить существующие и установить новые библиотеки автоматона​

Перезапустить микросервисы автоматон v2​

Запустить мигратор​

Применить новую маршрутизацию​

Сбросить кэш для микросервисов​

Monq Service Monitor (sm)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

Выполнить конфигурацию баз данных микросервисов​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Monq Collector (cl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

Выполнить конфигурацию баз данных микросервисов​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Выполнить конфигурацию баз данных микросервисов​

Применить новую маршрутизацию​

Test Forge (fm)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Metrics (mcs)​

Добавить новый продукт​

Зарегистрировать модуль в IdentityServer​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Применить новую маршрутизацию​

Сбросить кэш для микросервисов​

Патч-Релиз Monq 7.2.2

Проведение миграции 7.2.1 -> 7.2.2

Выполнить предрелизную подготовку

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Релиз Monq 7.3.0

Проведение миграции 7.2.2 -> 7.3.0

Выполнить обновление реестра микросервисов

Выполнить запуск СПО victoria-metrics

Сконфигурировать сервис в реестре микросервисов

Выполнить предрелизную подготовку

Monq Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

Выполнить конфигурацию баз данных микросервисов

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Обновить существующие и установить новые библиотеки автоматона

Перезапустить микросервисы автоматон v2

Запустить мигратор

Применить новую маршрутизацию

Сбросить кэш для микросервисов

Monq Service Monitor (sm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

Выполнить конфигурацию баз данных микросервисов

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Monq Collector (cl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

Выполнить конфигурацию баз данных микросервисов

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Выполнить конфигурацию баз данных микросервисов

Применить новую маршрутизацию

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Metrics (mcs)

Добавить новый продукт

Зарегистрировать модуль в IdentityServer

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Применить новую маршрутизацию

Сбросить кэш для микросервисов