Обновление 5.0 (01.06.2020)

Общая информация

• Одной из главных особенностей данного релиза является добавление сразу двух новых экранов. Это экран просмотра первичных событий и экран администратора пространства.

• Второй по счету, но не по значимости, частью текущей версии можно считать разработку и внедрение такого компонента платформы, как сборщик данных Monq Сollector.

• Важным преимуществом сборщика данных является возможность обработки сырых данных и превращения их в JSON. Таким образом, появилась возможность принимать потоки данных без участия разработки.

• Добавили поддержку асинхронной обработки событий на основе SignalR WebSockets. На текущий момент функционал реализован для экрана первичных событий, но почва для дальнейшего внедрения технологии на других экранах уже готова.

• Теперь, при необходимости, пользователь сможет включить режим получения каждого прошедшего префильтр события. Таким образом, можно будет повторно запускать правила и действия по уже открытому событию мониторинга.

• Выполнена оптимизация скорости загрузки скриншотов ФТ на главном экране Monq.

Новый функционал

Сборщик логов Monq Collector

Приемник потоков данных

Сборщик логов – максимально легковесная программа – точка прослушивания HTTP. Программа обёртывает базовую информацию в модель (_id, _aggregatedAt, _connector, _sourceType, _source), и отправляет сообщение в препроцессор на обработку. Программа также проводит валидацию ключа коннектора, а также валидацию входной модели в зависимости от типа входных данных (если формат JSON – то валидность JSON в целом, если это XML, то валидность XML в целом (без схемы)). Максимально легковесной она должна быть для того, чтобы была возможность минимальным образом вносить обновления для максимальной непрерывности работы.

Препроцессор событий

Препроцессор запускает обработчик входного сообщения, если он есть. Обработчик при этом, может:

• Выполнять парсинг и превращение текста в JSON.
• Выполнять обработку пакетных событий – вычленять из этих событий единичные элементы. Фактически это парсинг, например, события от Prometheus приходят в полу-batch формате.
• Выполнять преобразование входной модели, например – добавлять вычисляемое поле или менять тип поля в модели.
• Добавлять кастомные метки для событий.

Анализатор схемы БД сообщения

Анализатор формирует модель для базы данных, согласно схеме, записанной в коннекторе, создает эту схему исходя из модели JSON или добавляет нужные поля. Выполняет валидацию данных, согласно схеме. Если находит несоответствия в типах полей – отражает в логах.

Буфер событий

Промежуточное решение, учитывая будущую замену на нативную реализацию RabbitMQ для ClickHouse.

Экран первичных событий

Главная задача текущего экрана – предоставить пользователю инструмент визуализации, анализа и обработки логов.

В текущей версии пользователь сможет работать с первичными событиями всех потоков, доступных его рабочей группе. Для этого предоставлен достаточно широкий набор инструментов.

Таблица первичных событий

• По умолчанию на экран загружаются все доступные пользователю первичные события за установленный интервал времени в виде таблицы.
• В текущей версии таблица будет состоять из 2-х столбцов:
  • Время получения события.
  • Перечень всех ключей и значений данного JSON-документа в виде строки.
• Для удобства планируется их визуальное разделение.
• В будущих версиях планируется кастомизация таблицы, по части вывода в таблицу только той информации, которая интересна пользователю.

Визуализация количества событий за период времени

Пользователю предоставлен инструмент визуального представления количества первичных событий на временной шкале на основе числового поля.

В качестве способа графического представления будет использоваться гистограмма:

• Шкала времени, за которое были получены первичные события с ручной разбивкой по интервалам детализации. В будущих версиях планируется добавить автоматический выбор детализации.
  • Временные рамки для ручного выбора детализации:
    • Секунды.
    • Минуты (по умолчанию).
    • Часы.
    • Дни.
      • Добавлено ограничение для случая, если пользователь выбрал интервал в месяц, и выбрал слишком подробную детализацию, например, в секундах. В таком случае система автоматически подберет максимально подробную детализацию.
  • Для автоматического выбора детализации используются шаги:
    • 5 сек.
    • 10 сек.
    • 30 сек.
    • 1 мин.
    • 3 мин.
    • 5 мин.
    • 10 мин.
    • 15 мин.
    • 30 мин.
    • 1 час.
    • 2 часа.
    • 4 часа.
    • 8 часов.
    • 24 часа.
    • 3 дня.
    • 5 дней.
    • 7 дней.
• Ось событий – кол-во событий за период времени.
  • Пользователь сможет увидеть количество событий на графике за указанный интервал.

Детальный просмотр событий

Пользователь сможет перейти к детальному просмотру интересующего его первичного события.

• В формате таблицы:

  

• В формате JSON:

  

Фильтрация событий по потоку

Пользователь сможет выбрать, события какого потока он хочет увидеть на экране первичных событий. Важной особенностью функционала является возможность одновременной работы с данными разных потоков.

Фильтрация по времени

В текущей версии пользователь сможет настроить временной интервал двумя способами:

• Выбрать предзаданный период:
  • Пользователю будет предоставлен набор из нескольких готовых периодов.
  • Фильтр по предзаданному периоду применяется по клику на него.
• Настроить самостоятельно с помощью календаря.
  • Фильтр при выборе даты через календарь применяется при клике на кнопку «Обновить».

Автообновление

Функция Автообновления включает автоматическую загрузку новых событий за указанный интервал времени.

Важно отметить, что благодаря поддержке протокола связи WebSocket, новые события подгружаются в таблицу в реальном времени.

• Если пользователь настроил фильтр по времени с помощью предзаданного значения, например Последние 30 минут, то при включенном Автообновлении 30 минут будет отсчитываться от актуального времени пользователя.
• Автообновление включено по умолчанию.

Панель настройки Автоматона

Панель настройки автоматона значительно расширяет инструментарий пользователя при написании скриптов благодаря возможности подключать, редактировать и управлять внешними Lua библиотеками.

Редактирование библиотеки

• При клике на библиотеку из списка у пользователя есть возможность вносить изменения в те свойства библиотеки, в которых нет на это ограничения;
• На странице с детальной информацией о библиотеке пользователь может за должна быть возможность загрузки файлов (-а) библиотек уже после её создания.

Подсистема плагинов

До текущего момента разработка и добавление плагинов велась силами разработки.

Начиная с этой версии администраторы пространства получили возможность управлять плагинами из экрана администратора.

Экран управления плагинами включает в себя следующие разделы:

• Общая информация о плагинах пространства:
  • Просмотр списка подключенных в пространстве плагинов и детальная информация по ним.
• Создание нового плагина:

• Редактирование скрипта и его отладка.

Правила и действия

Обработка событий по подтверждению синтетического триггера

• Пользователь может в настройках указать опцию выполнения операции по подтверждению событию. Эта опция доступна для всех операций за исключением Закрытия инцидента в HPSM.

• Подтверждение статуса СТ вызывает проверку правил по уже открытым по данному СТ интегральным событиям. В случае успешного прохождения правила запускаются связанные с этим правилом операции, у которых стоит отметка Подтверждение события.

• Выполненные операции Подтверждение события выводятся в подробной информации в виджете События за период, во вкладке Действия.

Унификация шаблонов сообщений

• В конструкторе сообщений убран функционал разделения шаблона на начало и конец. Обновление затрагивает все операции.

• Произведена миграция исторических настроек для операций, которые запускаются как по началу, так и по окончанию событий и при этом имеют разные шаблоны на начало и конец.

  • Такие операции преобразованы в две операции. Одна на начало события с соответствующим шаблоном, а вторая на конец события. Настройки времени активности сохранены.

Добавление опций в запуск скриптов

В операцию Запуск скрипта добавлены опции запуска:

• Начало события
• Подтверждение события
• Конец события

По текущим операциям Запуск скрипта произведена миграция в операцию с выбранной опцией Начало события.

Улучшения

• Выполнена оптимизация скорости загрузки скриншотов ФТ на главном экране Monq.
• Добавлены переменные окружения для инструкции по настройке оповещений в Telegram. При очередном обновлении, в инструкции по настройке оповещений в Telegram, будут подтягиваться актуальные данные о боте текущего окружения.
• Миграция макросов smTrigger.status в plEvent.source.trigger.priority для пользовательских шаблонов.
• При наведении на РГ, которой открыт доступ на редактирование и чтение проекта ФТ, отображается полное название этой РГ.

Изменения

Макросы типа {plEvent._connector... переименованы на {plEvent._stream...