Сбор логов с хостов

ICAgent собирает логи с хоста на основе указанных правил сбора, а также упаковывает и отправляет собранные данные в LTS. Просмотр логов доступен в консоли LTS в реальном времени.

Только логи Elastic Cloud Server (ECS) могут собираться при приеме логов хоста. Для сбора логов в контейнерах нужно использовать сервис Application Operations Management (AOM).

Для сбора логов:

  1. Войдите в консоль управления Advanced:

  2. Чтобы открыть список сервисов, нажмите Service List.

  3. Перейдите в раздел Management & Deployment → Log Tank Service.

  4. На странице Log Management нажмите на название группы логов.

  5. Выберите поток логов.

  6. В левой навигационной панели выберите Log Ingestion → Host и нажмите Add Path.

  7. В окне Add Collection Path выберите хосты, логи которых нужно собрать, и нажмите Next.

  8. Откроется окно Add Host Path, в нем добавьте путь к логам для сбора:

    • Логи могут собираться рекурсивно. Двойная звездочка (**) может обозначать до пяти уровней каталога.

      Например, /var/log/**.log будет соответствовать следующим логам:

      /var/log/1.log
      /var/log/1/2.log
      /var/log/1/2/3.log
      /var/log/1/2/3/4.log
      /var/log/1/2/3/4/5.log
      

    Примечание

    /1/2/3/4/5/ указывает каталоги 5 уровней в каталоге /var/log. Все файлы a.log, найденные во всех этих каталогах, будут собраны.

    В пути к журналу логов может содержаться двойная звездочка (**) только в одном случае. Например, /var/log/**.log — допустимое написание, но /opt/test/**/log/** — нет.

    Путь к журналу логов не может начинаться с двойной звездочки (**), например /**/test, поскольку в нем могут находиться системные файлы.

    • Для нечеткого сопоставления можно использовать в качестве подстановочного знака звездочку (*). Он может представлять один или несколько символов имени каталога или файла.

      • Например, /var/log/*.log вернет ответ:

        /var/log/1.log /var/log/2.log

      • Например /var/log/service-*.log вернет ответ:

        /var/log/service-1.log /var/log/service-2.log

      • Например, /var/log/service*.log вернет ответ:

        /var/log/service1.log /var/log/service2.log

    • Если в качестве пути сбора указан каталог (например, /var/log/), будут собраны файлы .log, .trace и .out в текущем каталоге и подкаталогах на два уровня ниже.

      Если для пути сбора задано имя файла, будет собран соответствующий файл. Собирать можно только текстовые файлы.

      Примечание

      Убедитесь, что конфиденциальная информация не собирается в логах.

      LTS не может собирать логи экземпляров PostgreSQL (базы данных). Он собирает только логи экземпляров ECS (хоста).

      Путь сбора можно настроить только один раз. Это значит, что путь к хосту нельзя добавить для разных потоков логов. В противном случае сбор будет проведен неверно.

      Если путь сбора хоста был настроен в AOM, его не нужно настраивать в LTS. В случае, когда путь настроен как в AOM, так и в LTS, вступает в силу только тот путь, который будет настроен самым последним.

      Если файлы логов были в последний раз изменены более чем на 12 часов раньше времени добавления пути, файлы не собираются.

  9. Нажмите Next для перехода к этапу установки правил сбора — Set Collection Rule.

    Параметр

    Описание

    Формат логов (Log Format)

    • Single-line — каждая строка лога отображается как одно событие.

    • Multi-line — несколько строк событий лога исключений могут отображаться как одно событие. Это полезно, когда нужна проверка для поиска проблем.

    Лог времени (Log Time)

    • System time — время сбора логов по умолчанию, отображается в начале каждого события.

    • Time wildcard — позволяет установить подстановочное значение времени, чтобы ICAgent искал время публикации лога в качестве начала события журнала.

      • Если формат времени должен быть «2019-01-01 23:59:59», то подстановочное значение будет YYYY-MM-DD hh:mm:ss.

      • Если формат времени должен быть «19-1-1 23:59:59», то подстановочное значение будет YY-M-D hh:mm:ss.

      Примечание

      При отсутствии в событиях лога информации о годе, ICAgent рассматривает его как опубликованное в текущем году.

      Примеры значений:

      YY   - year (21)
      YYYY - year (2021)
      M    - month (1)
      MM   - month (01)
      D    - day (1)
      DD   - day (01)
      hh   - hours (23)
      mm   - minutes (59)
      ss   - seconds (59)
      hpm     - hours (03PM)
      h:mmpm    - hours:minutes (03:04PM)
      h:mm:sspm  - hours:minutes:seconds (03:04:05PM)
      hh:mm:ss ZZZZ (16:05:06 +0100)
      hh:mm:ss ZZZ  (16:05:06 CET)
      hh:mm:ss ZZ   (16:05:06 +01:00)
      

    Сегментация журнала логов (Log Segmentation)

    Этот параметр необходимо заполнить, если Log Format установлен в режиме Multi-line. By generation time — указывает, что для определения границ лога используется подстановочное значение времени, тогда как в By regular expression используется регулярное выражение.

    Регулярное выражение (Regular Expression)

    Можно задать регулярное выражение для поиска определенного шаблона, указывающего начало события лога. Этот параметр необходимо указать при выборе режима Multi-line для Log Format и при выборе By regular expression для Log Segmentation.

  10. Нажмите OK.

Теперь LTS будет собирать логи на основе указанных правил сбора. Их можно изменить после создания.

Запустили Evolution free tier
для Dev & Test
Получить