Перейти к основному содержимому

Релиз v6.10.0

Требования
Предыдущая версия monq6.9.1

В обновлении:

ПродуктНовая версия
pl6.10.0
sm6.10.0
cl6.10.0
fm6.9.1
plugins6.10.0
Уровень простоя

⚠️ Уровень простоя - остановка приема событий по потокам данных.

⚠️ Рекомендация - для того, чтобы не потерять данные из потоков данных Zabbix, SCOM, Nagios, рекомендуется поставить данные потоки на паузу (остановить поток).

Внимание

В текущем релизе удаляется старая система обработчиков событий Потоков данных, использующая Lua-движок и заменяется на визуальный движок программирования Automaton v2 (low-code).

Все нестандартные обработчики не могут быть автоматически мигрированы на новый движок и будут удалены !!!

Для помощи в конвертации нестандартных обработчиков в сценарии Визуального движка - обратитесь в техническую поддержку Monq.

Базовая информация​

Релиз включает обновление различных модулей Monq. Если установлен только определенный набор модулей, например: pl и cl, то разделы с остальными модулями можно проигнорировать.

Проведение миграции​

Для запуска обновления требуется скачать клиент управления monq monqctl и выполнить конфигурацию контекста monqctl.

Требования

Минимальная версия monqctl: 1.2.3

Примечание: можно настроить 2 контекста для stage и production одновременно.

Примечание 2: токен для доступа в monq ReleaseHub для скачивания обновления требуется получить, обратившись в поддержку monq, либо из письма с регистрацией лицензии.

Выполнить предрелизную подготовку​

  1. Проверить контекст monqctl и статус реестра микросервисов.

    # Просмотреть текущий контекст, с которым работает monqctl.
    monqctl config current-context
    # Просмотреть статус реестра микросервисов из контекста.
    monqctl registry get status
    # Просмотреть статус сервисов в реестре микросервисов из контекста.
    monqctl registry get services

    Примечание: В ответе на команду monqctl registry get status вывод будет содержать

    -------------------------
    Consul         | Failed 
    -------------------------

    На данном этапе можно проигнорировать. Сервис Consul добавлен только для возможности получить адрес и токен monqctl, который формирует файл доступа для программы-мигратора. Но для Consul в реестре микросервисов не реализованы методы генерирования шаблонов микросервисов, поэтому и выбрасывается ошибка валидации. Будет исправлено в последующих версиях.

  2. Установить контекст релиза, с которым будет работать monqctl в рамках контекста установленного Monq. Команда при этом скачивает и подготавливает релиз.

    monqctl release use-version 6.10.0 --product=monq
При обновлении из папки
# Требуется выполнить экспорт релиза в папку
monqctl release version export 6.10.0 --product=monq --dest=<export directory>

# Выполнить команду `use-version` с аргументом `--sourceDir`.
monqctl release use-version 6.10.0 --product=monq --sourceDir=<папка с экспортированным обновлением>

Monq Platform (pl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

monqctl release update images --module=pl

Выполнить конфигурацию баз данных микросервисов​

monqctl release update db pgsql --module=pl --microservice=pl-i18n-service --file pl-i18n-service.sql
monqctl release update db pgsql --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service-1.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

monqctl release update microservices --module=pl
# Выполнить полное обновление шаблона из-за изменений в volume mounts k8s.
monqctl release update microservices --module=pl --microservice=pl-automaton-v2-service --k8s-merge-type=Replace
# Выполнить полное обновление шаблона из-за изменений в количестве реплик по умолчанию.
# ВНИМАНИЕ! Если вы вручную выставляли в шаблоне pl-automaton-v2-processor-service в реестре микросервисов количество реплик, то данную команду можно не выполнять.
monqctl release update microservices --module=pl --microservice=pl-automaton-v2-processor-service --k8s-merge-type=Replace

Сбросить кэш для микросервисов​

monqctl instance clear cache --microservice=pl-i18n-service

Обновить существующие и установить новые библиотеки автоматона​

# Получить токен администратора пространства с правами WRITE через интерфейс (pl/profile?tab=private-tokens) либо выписать с помощью программы monq-identity.
TOKEN="*******"
# Задать домен monq
Monq_DOMAIN="monq.local"
# Выполнить операции
CONTEXT=$(monqctl config current-context)
IMPORT=$(cat /tmp/monqctl/updates/${CONTEXT}/monq/6.10.0/pl/automaton-libs/automaton.core.import)
curl -v -k -X POST -H "Authorization: Bearer ${TOKEN}" -H 'Content-Type: application/json' \
https://${Monq_DOMAIN}/api/webui/pl/v2/automaton/libraries/update \
-d "{\"EncodedLibrary\":\"${IMPORT}\"}"

IMPORT=$(cat /tmp/monqctl/updates/${CONTEXT}/monq/6.10.0/pl/automaton-libs/automaton.cl.import)
curl -v -k -X POST -H "Authorization: Bearer ${TOKEN}" -H 'Content-Type: application/json' \
https://${Monq_DOMAIN}/api/webui/pl/v2/automaton/libraries/update \
-d "{\"EncodedLibrary\":\"${IMPORT}\"}"

IMPORT=$(cat /tmp/monqctl/updates/${CONTEXT}/monq/6.10.0/pl/automaton-libs/automaton.cl.extensions.import)
curl -v -k -X POST -H "Authorization: Bearer ${TOKEN}" -H 'Content-Type: application/json' \
https://${Monq_DOMAIN}/api/webui/pl/v2/automaton/libraries/import \
-d "{\"import\":\"${IMPORT}\"}"

Убедится, что запрос вернул HTTP 200.

При ошибке HTTP 500 и сообщении в теле ответа "Operation timeout exception" повторить запрос.

Запустить миграции с помощью мигратора​

monqctl release update migrator --module=pl --command="migrate automaton"

Выполнить конфигурацию баз данных микросервисов pl-automaton-v2​

monqctl release update db pgsql --module=pl --microservice=pl-automaton-v2-service --file sqls/pl-automaton-v2-service-2.sql

Перезапустить микросервисы pl-automaton-v2​

# Проверить, что kubectl контекст смотрит на нужный контур.
kubectl config current-context

# Перезапустить поды.
namespace="" # указать K8s Namespace. По умолчанию, production. Для stage контуров - staging.
kubectl delete po -n ${namespace} -l app=pl-automaton-v2-processor-service
kubectl delete po -n ${namespace} -l app=pl-automaton-v2-processor-service-runner

Monq Service Monitor (sm)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

monqctl release update images --module=sm

Выполнить конфигурацию баз данных микросервисов​

monqctl release update db pgsql --module=sm --microservice=sm-rsm-maps-service --file sqls/sm-rsm-maps-service.sql
monqctl release update db arangodb --module=sm --microservice=sm-rsm-service --file sqls/sm-rsm-service.aql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

monqctl release update microservices --module=sm

Monq Collector (cl)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

monqctl release update images --module=cl

Выполнить конфигурацию баз данных микросервисов​

monqctl release update db pgsql --module=cl --microservice=cl-streams-service --file sqls/cl-streams-service.sql

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

monqctl release update microservices --module=cl

Запустить миграции с помощью мигратора​

monqctl release update migrator --module=cl --command="migrate stream-templates"

Удалить старые очереди RabbitMQ и отвязать ключи маршрутизации​

RMQ_CRED=$(monqctl registry get services RabbitMQ --output json)
RMQ_HOST=$(echo ${RMQ_CRED} | jq -r .Host)
RMQ_USER=$(echo ${RMQ_CRED} | jq -r .RootLogin)
RMQ_PASS=$(echo ${RMQ_CRED} | jq -r .RootPassword)


prefix="" # установить префикс названия очередей. По умолчанию live. Для Staging контуров stage
queues="${prefix}_cl_stream_data_preprocessor_service"
for queue in ${queues}; do
  curl -X DELETE -u ${RMQ_USER}:${RMQ_PASS} ${RMQ_HOST}/api/queues/%2F/${queue}
done

keys="cl.stream-processed-event.new cl.stream-processed-event.retry"
for key in ${keys}; do
  curl -X DELETE -u ${RMQ_USER}:${RMQ_PASS} ${RMQ_HOST}/api/bindings/%2F/e/${prefix}_smon_direct/q/${prefix}_cl_stream_schema_validator_service/${key}
done

Ошибки {"error":"Object Not Found","reason":"Not Found"} можно проигнорировать.

Сбросить кэш для микросервисов​

monqctl instance clear cache --microservice=cl-streams-service

PLUGINS (plugins)​

Выполнить перекачку контейнеров в Docker репозиторий обновляемого экземпляра Monq​

monqctl release update images --module=plugins

Выполнить конфигурацию микросервисов в реестре для микросервисов из обновления и применить шаблоны в Kubernetes​

monqctl release update microservices --module=plugins