Инструкция по обновлению Monq до версии 8.3.0

Требования

Предыдущая версия Monq: 8.2.2

При обновлении продуктовых стендов настоятельно рекомендуется произвести последовательную установку версий 8.3.0 -> 8.3.1 -> 8.3.2.

В обновлении:

Продукт	Новая версия
pl	8.3.0
sm	8.3.0
cl	8.3.0
fm	8.3.0
plugins	8.3.0
mcs	8.3.0

Уровень простоя

Без простоя

Проведение миграции 8.2.2 -> 8.3.0

Требования

Для запуска обновления требуется скачать клиент управления Monq monqctl и выполнить конфигурацию контекста monqctl, если ранее этого не выполнялось.

!!! MonqCtl !!!

Минимальная версия monqctl: 1.15.0

Примечание

Токен доступа в Monq ReleaseHub для скачивания обновления можно взять из письма о регистрации лицензии или получить, обратившись в техническую поддержку Monq.

Выполнить предрелизную подготовку

Проверить контекст monqctl и статус реестра микросервисов

# Просмотреть текущий контекст, с которым работает monqctl
monqctl config current-context

# Просмотреть статус реестра микросервисов из контекста
monqctl registry get status

# Просмотреть статус сервисов в реестре микросервисов из контекста
monqctl registry get services

Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq

Команда при этом скачивает и подготавливает релиз для установки.

monqctl release use-version 8.3.0 --product=monq

При обновлении из папки

# Требуется выполнить экспорт релиза в папку
monqctl release version export 8.3.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 8.3.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

Выполнить обновление реестра микросервисов

monqctl registry update registry --version=3.14.0

# Проверить статус реестра микросервисов после обновления.
monqctl registry get status

При обновлении из папки

mkdir registry
monqctl registry export registry 3.14.0  --dest=./registry/
cd registry
monqctl registry update registry --version=3.14.0 --sourceDir=./

# Проверить статус реестра микросервисов после обновления
# !ВНИМАНИЕ: дождаться, пока `monqctl registry get status` не выдаст в результате версию `Version: "3.14.0"`

monqctl registry get status

rm -rf ../registry

MONQ Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

monqctl release update images --module=pl

Опционально. Очистить текущее хранилище плагинов

Начиная с версии Monq 8.3.0 плагины отсутствующие в хранилище агента загружаются в него автоматически. Если вы используете собственные плагины на системном агенте - будьте осторожны при удалении.

namespace=$(monqctl registry get services KubeOptions --output=json | jq -r '.JsonConfig.KubeNamespace')
monq_agent=$(kubectl get po -n ${namespace} -l app=pl-monq-agent -o=jsonpath='{.items[0].metadata.name}')
kubectl exec -it -n ${namespace} ${monq_agent} -- sh -c 'rm -rf /storage/plugins/*'

Выполнить переустановку системного агента

monqctl registry delete microservice pl-monq-agent

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=pl --microservice=pl-i18n-service --file pl-i18n-service.sql
monqctl release update db clickhouse --module=pl --microservice=pl-bp-service --file sqls/pl-bp-service-clickhouse.sql
monqctl release update db pgsql --module=pl --microservice=pl-agents-service --file sqls/pl-agents-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-userspaces-api-service --file sqls/pl-userspaces-api-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-identity-service --file sqls/pl-identity-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=pl

Применить новую маршрутизацию

monqctl release update routing --module=pl

Обновить существующие и установить новые библиотеки автоматона

monqctl release update automaton-libraries --module=pl --file=automaton-libs/automaton.core.import
monqctl release update automaton-libraries --module=pl --file=automaton-libs/automaton.metrics.import
monqctl release update automaton-libraries --module=pl --file=automaton-libs/automaton.notification.import

При ошибке HTTP 500 и сообщении в теле ответа "Operation timeout exception" повторить команды. Такая ошибка может возникнуть, если микросервис "pl-automaton-v2-service" не успел перезапуститься после обновления контейнера.

Остановить pl-automaton-v2-processor-service-runner

Перед остановкой сервиса посмотреть и запомнить количество реплик сервиса pl-automaton-v2-processor-service-runner, запущенных в данный момент (если это количество устанавливалось вручную).

Остановить сервис обработчиков сценариев автоматона:

monqctl instance scale microservice --microservice=pl-automaton-v2-processor-service-runner --replicas=0

Запустить миграцию данных

monqctl release update migrator --module=pl --command="migrate automaton"

Перезапустить микросервисы автоматон v2

monqctl instance restart microservice --microservice=pl-automaton-v2-service
monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service
monqctl instance restart microservice --microservice=pl-automaton-v2-processor-service-compiler

Сервисы обработчиков (pl-automaton-v2-processor-service-runner) нужно будет включить после установки версии Monq 8.3.2

Сбросить кэш для микросервисов

monqctl instance clear cache --microservice=pl-i18n-service
monqctl instance clear cache --microservice=pl-identity-service

Выполнить удаление устаревших ключей маршрутизации

monqctl instance delete queue-binding --queue=pl_agents_service --bindingKey=pl.agent-task.command.holder.update
monqctl instance delete queue-binding --queue=pl_agents_service --bindingKey=pl.agent-task.command.holder.delete
monqctl instance delete queue-binding --queue=pl_agents_service --bindingKey=pl.agent-task.command.holder.update.agents-service.retry
monqctl instance delete queue-binding --queue=pl_agents_service --bindingKey=pl.agent-task.command.holder.delete.agents-service.retry
monqctl instance delete queue-binding --queue=pl_userspace_admins_service --bindingKey=userspace.create
monqctl instance delete queue-binding --queue=pl_user_grants_api_service --bindingKey=userspace.create
monqctl instance delete queue-binding --queue=pl_user_groups_service --bindingKey=userspace.create
monqctl instance delete queue-binding --queue=pl_identity_service --bindingKey=userspace.create

MONQ Service Monitor (sm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

monqctl release update images --module=sm

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=sm --microservice=sm-rsm-mode-api-service --file sqls/sm-rsm-mode-api-service.sql
monqctl release update db pgsql --module=sm --microservice=sm-rsm-maps-service --file sqls/sm-rsm-maps-service.sql
monqctl release update db pgsql --module=sm --microservice=sm-signals-service --file sqls/sm-signals-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=sm

Применить новую маршрутизацию

monqctl release update routing --module=sm

MONQ Collector (cl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

monqctl release update images --module=cl

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=cl

Применить новую маршрутизацию

monqctl release update routing --module=cl

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

monqctl release update images --module=fm

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=fm

MONQ Metrics (mcs)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

monqctl release update images --module=mcs

Выполнить конфигурацию баз данных микросервисов

monqctl release update db pgsql --module=mcs --microservice=mcs-thresholds-service --file sqls/mcs-thresholds-service.sql
monqctl release update db pgsql --module=mcs --microservice=mcs-thresholds-service --file sqls/mcs-thresholds-service-1.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=mcs

PLUGINS (plugins)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

monqctl release update images --module=plugins

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

monqctl release update microservices --module=plugins

Agent plugins + content packs

Выполнить загрузку плагинов агента в центральное хранилище распространения плагинов Monq

monqctl release update agent-plugins --module=plugins --plugin=k8sMetricsDataFlow
monqctl release update agent-plugins --module=plugins --plugin=k8sTopologySync
monqctl release update agent-plugins --module=plugins --plugin=metricsFromStaticTargets
monqctl release update agent-plugins --module=plugins --plugin=nagiosCheckConnection
monqctl release update agent-plugins --module=plugins --plugin=nagiosEventsDataFlow
monqctl release update agent-plugins --module=plugins --plugin=scomCheckConnection
monqctl release update agent-plugins --module=plugins --plugin=scomEventsDataFlow
monqctl release update agent-plugins --module=plugins --plugin=vmwareEventsDataFlow
monqctl release update agent-plugins --module=plugins --plugin=vmwareTopologySync
monqctl release update agent-plugins --module=plugins --plugin=zabbixCheckConnection
monqctl release update agent-plugins --module=plugins --plugin=zabbixCheckVersion
monqctl release update agent-plugins --module=plugins --plugin=zabbixEventsDataFlow
monqctl release update agent-plugins --module=plugins --plugin=syslog
monqctl release update agent-plugins --module=plugins --plugin=snmpTrap
monqctl release update agent-plugins --module=plugins --plugin=postgresqlPlugin
monqctl instance restart microservice --microservice=pl-monq-agent

Выполнить загрузку контент-паков

monqctl release update content-packs --module=plugins --replace --file=content-packs/k8s.zip

Уровень простоя​

Проведение миграции 8.2.2 -> 8.3.0​

Требования​

Выполнить предрелизную подготовку​

Выполнить обновление реестра микросервисов​

MONQ Platform (pl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ​

Опционально. Очистить текущее хранилище плагинов​

Выполнить переустановку системного агента​

Выполнить конфигурацию баз данных микросервисов​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Применить новую маршрутизацию​

Обновить существующие и установить новые библиотеки автоматона​

Остановить pl-automaton-v2-processor-service-runner​

Запустить миграцию данных​

Перезапустить микросервисы автоматон v2​

Сбросить кэш для микросервисов​

Выполнить удаление устаревших ключей маршрутизации​

MONQ Service Monitor (sm)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ​

Выполнить конфигурацию баз данных микросервисов​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Применить новую маршрутизацию​

MONQ Collector (cl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Применить новую маршрутизацию​

Test Forge (fm)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

MONQ Metrics (mcs)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ​

Выполнить конфигурацию баз данных микросервисов​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

PLUGINS (plugins)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ​

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

Agent plugins + content packs​

Выполнить загрузку плагинов агента в центральное хранилище распространения плагинов Monq​

Выполнить загрузку контент-паков​

Уровень простоя

Проведение миграции 8.2.2 -> 8.3.0

Требования

Выполнить предрелизную подготовку

Выполнить обновление реестра микросервисов

MONQ Platform (pl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

Опционально. Очистить текущее хранилище плагинов

Выполнить переустановку системного агента

Выполнить конфигурацию баз данных микросервисов

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Применить новую маршрутизацию

Обновить существующие и установить новые библиотеки автоматона

Остановить pl-automaton-v2-processor-service-runner

Запустить миграцию данных

Перезапустить микросервисы автоматон v2

Сбросить кэш для микросервисов

Выполнить удаление устаревших ключей маршрутизации

MONQ Service Monitor (sm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

Выполнить конфигурацию баз данных микросервисов

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Применить новую маршрутизацию

MONQ Collector (cl)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Применить новую маршрутизацию

Test Forge (fm)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

MONQ Metrics (mcs)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

Выполнить конфигурацию баз данных микросервисов

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

PLUGINS (plugins)

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра MONQ

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes

Agent plugins + content packs

Выполнить загрузку плагинов агента в центральное хранилище распространения плагинов Monq

Выполнить загрузку контент-паков