Запуск теста

Пользователь может запустить тест, если у него есть права на запуск тестов. Права настраивает владелец команды и пользователи с типом прав Управление пользователями. Подробнее см. раздел Права доступа.

Чтобы запустить тест, воспользуйтесь одним из способов:

Тест запустится через некоторое время.

Примечание

Если нет свободных ресурсов, то текущий тест будет поставлен в очередь.

Детализация теста

Запущенный тест отображается в разделе Запуски в области Запущенные тесты:

../_images/um_running_test.ru.png

Чтобы следить за выполнением теста, перейдите по ссылке Детализация теста. Откроется страница Сводка запуска, которая содержит:

  • Параметры. Тип нагрузки, комментарий и длительность запуска теста:

    ../_images/um_run_test_parametres.ru.png
  • Текущие показатели. Средние показатели запуска теста за последние 10 секунд:

    ../_images/um_run_current_performance.ru.png
  • Пропускная способность. График количества успешных запросов в секунду и количества ошибок относительно времени запуска теста:

    ../_images/um_run_throughput.ru.png
  • Время ответа. График 95 перцентиль времени отклика относительно количества виртуальных пользователей:

    ../_images/um_run_response_time.ru.png

Обнаружение аномалий

Аномалия – резкое отклонение ключевых метрик от средних значений в скользящем окне в ходе теста. Обнаружение аномалий позволяет своевременно увидеть нестандартное поведение объекта тестирования в режиме онлайн и упрощает анализ метрик по окончании тестирования.

Boomq с помощью AI-модели анализирует время отклика для всего теста и отдельных транзакций и обнаруживает аномалии:

  • Отклонение времени отклика. Экстремальное изменение времени отклика от средних значений в скользящем окне;

  • Обратная корреляция времени отклика. Обратная корреляция времени отклика при изменении количества виртуальных пользователей. Например, время отклика серьезно падает при увеличении количества виртуальных пользователей.

Чтобы включить обнаружение аномалий:

  1. В правом верхнем углу страницы нажмите anomaly_detection_button. Откроется окно:

    ../_images/um_anomaly_detection.png
  2. Установите переключатель Найти аномалии в тесте.

  3. Настройте чувствительность обнаружения аномалий для вашего теста.

    Примечание

    Использование AI-модели не исключает обнаружение ложных аномалий. Выберите чувствительность так, чтобы сократить количество ложных аномалий.

Аномалии отображаются:

  • на графике Время ответа для всего теста:

    ../_images/um_response_time_anomaly.png
  • на графике Время ответа для выбранной транзакции, например:

    ../_images/um_anomaly_detection_transaction1.png
    ../_images/um_anomaly_detection_transaction2.png
    ../_images/um_anomaly_detection_transaction3.png

Чтобы проанализировать аномалии в Grafana, нажмите на точку аномалии и перейдите по ссылке Перейти в Grafana.

Остановка теста

Чтобы остановить тестирование, воспользуйтесь одним из способов:

  • в разделе Запуски в области Запущенные тесты нажмите stop_button;

  • на странице детализации теста нажмите Остановить.

Тест прекращается через некоторое время.

Просмотр результатов

После завершения теста доступны:

  • лог-файл JMeter;

  • графики Пропускная способность и Время ответа;

  • дашборд Grafana;

  • статус выполнения SLA. Также SLA можно добавить после завершения теста. Подробнее см. раздел Настройка SLA.

Примечание

Если завершенный тест удовлетворяет условиям тренд-отчета, то тренд-отчет обновится. Подробнее см. раздел Тренд-отчеты.

Подробнее см. раздел Анализ результатов тестов.

Импорт системных метрик

В запуск теста можно импортировать системные метрики, полученные из стороннего источника, например, Grafana. Импортированные метрики можно отображать в отчетах на Boomq графиках.

Чтобы импортировать метрику в запуск теста:

  1. Экспортируйте данные метрики из стороннего источника в CSV-файл и приведите их к формату:

    <Время в формате Unix-time>,<Значение метрики>
    
    Time, System - Processes executing in kernel mode
    1749217420,0.018375
    1749217440,0.018236
    1749217460,0.018467
    1749217480,0.020124
    1749217500,0.021355
    ...
    
  2. В области Системные метрики нажмите Добавить.

  3. Нажмите на область для загрузки файла и выберите CSV-файл. Размер файла не должен превышать 10 Мбайт.

    Примечание

    Если у вас несколько CSV-файлов с метриками, то загрузите их по одному.

  4. Нажмите Загрузить. Появятся настройки метрики:

    ../_images/um_import_system_metric.ru.png
  5. Заполните поля:

    • Название. Название метрики, например, Memory usage;

    • Тип. Тип метрики, например, RAM;

    • Единица измерения. Единица измерения метрики;

    • Хост/докер-контейнер. Хост тестируемой системы или имя docker-контейнера;

    • Разделитель. Символ, разделяющий колонки в CSV-файле, например ,;

    • Первая строка содержит названия полей. Установите переключатель, если первая строка CSV-файла содержит заголовок таблицы. Заголовок таблицы не будет учитываться как значение метрики;

    • Часовой пояс. Часовой пояс, в котором собирались данные о запуске теста в стороннем источнике. Например, +0300 для часового пояса Москвы.

  6. Нажмите Импорт.

В области Системные метрики отображается количество импортированных метрик. Чтобы посмотреть список импортированных метрик, нажмите chevron_button.

Отладочные тесты

Отладка позволяет проверить тест. Пользовательские настройки теста переопределяются:

  • тест выполняется с 1 виртуальным пользователем в каждой группе;

  • тест длится 5 минут, или выполняется 10 итераций теста, что наступит раньше.

Чтобы запустить отладочный тест, на вкладке Профиль нагрузки установите переключатель Отладочный тест и нажмите Запустить.

Просмотр подробных данных о запросах и ответах

Подробная информация о запросах и ответах при отладке теста содержится в файле debug.jtl. Ссылка на файл появляется после завершения отладочного теста:

../_images/um_run_results_of_debug.ru.png

Подробнее о JTL-файлах см. в Apache JMeter Wiki.