Потоки данных
Данное руководство описывает способы подключения различных источников данных для сбора событий (логов) и метрик в Monq.
В качестве источника данных может выступать любая информационная система, имеющая точки присоединения в виде API, или же способная передавать данные посредством Webhook.
Для быстрого доступа к интересующему вас функционалу воспользуйтесь навигацией:
Ручное создание потока данных
Для создания нового потока данных выполните следующие действия:
- Перейдите в раздел Сбор данных - Потоки данных через основное меню
- Нажмите кнопку Создать поток в верхнем правом углу
- Заполните поля:
- Владелец - Рабочая группа, которой принадлежит поток данных
- Название (уникально в рамках Рабочей группы)
- Описание (необязательно)
- Импорт - экспортированный в
base64
формате код (экспорт Потоков данных) - Иконка (в формате SVG до 5мб)
- Нажмите кнопку Создать - откроется страница настройки, добавленного потока данных
- Дальнейшая настройка потока данных зависит от требований источника данных. Перейдите в раздел Интеграции для ознакомления с примерами конфигурации потоков данных под различные источники
Создание потоков данных из мастера настройки
Пользователь может установить заранее подготовленные по шаблону потоки данных (например, Zabbix, vCenter, Prometheus и другие). Каждый шаблон потока - это отдельный контент-пак в Мастере настройки системы.
В данных контент-паках уже сконфигурированы задания для получения данных через агенты Monq, добавлены необходимые обработчики, а также вынесены все необходимые параметры на вкладку "Настройки", создаваемого потока данных.
Чтобы создать поток данных по шаблону из контент-пака:
-
Перейдите в раздел Сбор данных - Потоки данных через основное меню
-
Нажмите кнопку Создать через Мастер настройки в верхнем правом углу
-
Выберите из списка нужный вам контент-пак:
-
Ознакомьтесь с содержимым контент-пака на вкладках Обзор
-
Нажмите кнопку Запустить сценарий
-
В открывшейся форме создания потока данных, вы можете опционально задать с вое название потока данных, его описание и выбрать РГ владельца потока
По умолчанию, без указания данных параметров, поток данных будет создан с названием "Zabbix Stream" и описанием "Zabbix Data Stream created by Content Wizard".
-
Еще раз нажмите кнопку Запустить сценарий в форме создания потока данных
-
На вкладке "История запусков" будет отображаться процесс создания "Потока данных" по выбранному шаблону контент-пака. По завершению создания потока данных будет отображаться инструкция по дальнейшей настройке потока
Запуск, остановка и удаление потока данных
Запуск/остановка потока данных
- Перейдите в раздел Сбор данных ETL - Потоки данных через основное меню системы
- Найдите необходимый поток данных
- Воспользуйтесь переключателем состояния потока или вспомогательным меню ︙ для запуска/остановки соответствующего потока данных
Запустить или остановить поток данных, также, можно со страницы настроек этого потока:
- Перейдите на страницу настройки потока
- В правом верхнем углу нажмите Запустить/Остановить поток
Настройка потока данных
Для настройки потока данных, перейдите в карточку потока данных, который нужно настроить.
Основ ная информация
В блоке "Основная информация" пользователь может изменить следующие параметры
- Владельца
- Название
- Описание
- Иконку
Параметры задания
В блоке "Параметры задания" пользователь может добавить необходимые параметры (переменные), которые можно использовать при написании сценариев "Заданий"
Пример использования переменной
apiUri
-$.vars.stream.params.apiUri
или{{ vars.stream.params.apiUri }}
Задания
В блоке Задания отображается список настроенных заданий по сбору данных.
⚠️ Выполнение сценариев заданий производится на агенте Monq
Создание задания
Чтобы добавить собственное задание, выполните следующие действия:
-
Нажмите кнопку "+ Задание"
-
Задайте основные параметры выполнения задания
-
Название задания
-
Описание задания
-
Режим выполнения задания
на любом агенте
- задание будет выполнено на любом свободном агенте (если все агенты заняты, задание будет поставлено в очередь)на всех агентах
- задание будет вы полнено на всех доступных агентах сразу (если на момент запуска агента он будет занят - будет сгенерирована ошибка выполнения задания)
-
Агент - порядок выбора агента для выполнения задания
-
содержит любую метку из списка
- задание будет выполнено на агенте, содержащем одну из меток, перечисленных в списке -
содержит все метки из списка
- задание будет выполнено на агенте, содержащем все метки, перечисленные в списке
⚠️ Метка
SharedAgents
используется для выполнения заданий на внутреннем агенте Monq (микросервисpl-monq-agent
).⚠️ Обратите внимание, что запуск сценариев, в которых присутствует команда
run
запрещены на системном агенте внутренней политикой безопасности. -
-
Расписание CRON - установите периодичность запуска задания, используя формат CRON
-
-
Для написания сценария нового задания перейдите в окно редактирования кода справа (Yaml скрипт задания)
-
Напишите сценарий Задания (справка по написанию заданий)
-
Активируйте задание переключателем возле названия задания
-
Нажмите кнопку "Сохранить изменения"
Сценарий будет выполнятся на первом "свободном" агенте с выбранной меткой.
Версионирование заданий
После внесения изменений в код сценария задания и сохранения изменений формируется новая исполняемая версия сценария. Предыдущая версия сценария также доступна в выпадающем списке "Версия".
При необходимости можно сделать именованную версию сценария. Для этого в выпадающем списке "Версия" выберите "+ Сохранить версию" и в появившемся модальном окне задайте название этой версии.
Ручной запуск
Чтобы произвести запуск (отладку) сценария Задания воспользуйтесь кнопкой Разовый запуск справа от названия задания.
Выключение задания
Отключить выполнение задание можно соответствующим переключателем слева от названия Задания.
Удаление задания
Для удаления ранее добавленного задания, воспользуйтесь контекстным меню этого задания и выберите "Удалить"
Обработчик
Пользователю Monq доступно написание собственных обработчиков для входящих потоков данных.
В качестве обработчиков потоков выступают сценарии Автоматизации, задачей которых является:
- преобразование события в модель коллектора
- дополнительные преобразования и модификация события
- обогащение события дополнительными меткам
- отправка события в очередь с нужным ключом
Для редактирования обработчика текущего потока кликните по названию обработчика (Handler for stream 4440), чтобы перейти к сценарию предобработки данных.
⚠️ Переход к редактированию сценария обработчика возможен только со страницы конфигурации Потока данных.
Подробная информация по работе со сценариями визуального движка программирования содержится в разделе Автоматизация.
Также дополнительная информация по использованию обработчиков в Потоках данных находится в разделе документации Интеграции - Обработчики
Активация/деактивация обработчика
Активация или деактивация сценария обработчика синхронизирована с состоянием Потока данных.
Деактивировать сценарий можно отключив Поток данных. Активация сценария производится аналогично.