Как контролировать систему Ubuntu 16.04 с помощью Sysdig

Sysdig - это комплексное приложение для мониторинга, сбора и анализа активности системы с открытым исходным кодом. Он обладает мощным языком фильтрации с настраиваемым выводом и основными функциями, которые можно расширить с помощью скриптов Lua, называемых chisels.

Приложение работает, подключаясь к ядру, что позволяет ему видеть каждый системный вызов и всю информацию, проходящую через ядро. Это также делает его отличным инструментом для мониторинга и анализа активности системы и событий, генерируемых контейнерами приложений, работающими в системе.

Основное приложение Sysdig контролирует сервер, на котором оно установлено. Однако компания, стоящая за проектом, предлагает размещенную версию под названием Sysdig Cloud, которая может удаленно контролировать любое количество серверов.

Автономное приложение доступно в большинстве дистрибутивов Linux, но также доступно с более ограниченной функциональностью в Windows и macOS. Помимо инструмента командной строки + sysdig +, Sysdig также поставляется с интерактивным интерфейсом под названием + csysdig + с аналогичными параметрами.

В этом руководстве вы будете устанавливать и использовать Sysdig для мониторинга сервера Ubuntu 16.04. Вы будете транслировать живые события, сохранять события в файлы, фильтровать результаты и исследовать интерактивный интерфейс + csysdig +.

Для завершения этого урока вам понадобится:

В репозитории Ubuntu есть пакет Sysdig, но обычно за текущей версией стоит одна или две ревизии. Например, во время публикации, установив Sysdig с помощью диспетчера пакетов Ubuntu, вы получите Sysdig 0.8.0. Однако вы можете установить его с помощью официального скрипта со страницы разработки проекта, который является рекомендуемым методом установки. Это метод, который мы будем использовать.

Но сначала обновите базу данных пакетов, чтобы у вас был последний список доступных пакетов:

Теперь загрузите скрипт установки Sysdig с помощью + curl +, используя следующую команду:

Это загружает скрипт установки в файл + install-sysdig + в текущую папку. Вам нужно будет выполнить этот скрипт с повышенными привилегиями, и опасно запускать скрипты, которые вы загружаете из Интернета. Перед выполнением сценария проверьте его содержимое, открыв его в текстовом редакторе или с помощью команды + less +, чтобы отобразить содержимое на экране:

Когда вы освоитесь с командами, которые будет запускать сценарий, выполните сценарий с помощью следующей команды:

Команда установит все зависимости, включая заголовки ядра и модули. Вывод установки будет аналогичен следующему:

Теперь, когда у вас установлен Sysdig, давайте рассмотрим некоторые способы его использования.

В этом разделе вы будете использовать команду + sysdig + для просмотра некоторых событий на вашем сервере Ubuntu 16.04. Для выполнения команды + sysdig + требуются права суперпользователя, а также любое количество параметров и фильтров. Самый простой способ выполнить команду - без аргументов. Это позволит вам в режиме реального времени просматривать системные данные, обновляемые каждые две секунды:

Но, как вы увидите, как только вы выполните команду, может быть сложно проанализировать данные, записываемые на экран, потому что они непрерывно передаются, и на вашем сервере происходит много событий. Остановите + sysdig +, нажав + CTRL + C +.

Прежде чем мы снова запустим команду с некоторыми опциями, давайте ознакомимся с выводом, посмотрев пример вывода команды:

Столбцы вывода:

Вот что означает каждый столбец:

Вряд ли есть значение для запуска + sysdig +, как вы делали в предыдущей команде, потому что поток информации настолько велик. Но вы можете применить параметры и фильтры к команде, используя этот синтаксис:

Вы можете просмотреть полный список доступных фильтров, используя:

Существует обширный список фильтров, охватывающих несколько классов или категорий. Вот некоторые из классов:

Поскольку охватывать каждый фильтр в этом учебном пособии нецелесообразно, давайте просто попробуем пару, начиная с фильтра * syslog.severity.str * в классе * syslog *, который позволяет просматривать сообщения, отправляемые в системный журнал с определенным уровнем серьезности. Эта команда показывает сообщения, отправленные в системный журнал на уровне «информации»:

Убейте команду, нажав + CTRL + C +.

Вывод, который должен быть довольно легко интерпретировать, должен выглядеть примерно так:

Вы также можете фильтровать по одному процессу. Например, чтобы найти события из + nano +, выполните эту команду:

Поскольку эта команда подает файл в + nano +, вам придется использовать текстовый редактор + nano +, чтобы открыть файл и увидеть любой вывод. Откройте другой редактор терминала, подключитесь к вашему серверу и используйте + nano +, чтобы открыть текстовый файл. Напишите несколько символов и сохраните файл. Затем вернитесь к исходному терминалу.

Затем вы увидите вывод, похожий на этот:

Снова убейте команду, набрав + CTRL + C +.

Получение в реальном времени системных событий с помощью + sysdig + не всегда лучший способ его использования. К счастью, есть и другой способ - захват событий в файл для последующего анализа. Давайте посмотрим, как.

Захват системных событий в файл с помощью + sysdig + позволяет анализировать эти события позднее. Чтобы сохранить системные события в файл, передайте + sysdig + параметр * -w * и укажите имя целевого файла, например:

Sysdig будет сохранять сгенерированные события в целевой файл, пока вы не нажмете + CTRL + C +. Со временем этот файл может стать довольно большим. Однако с помощью опции * -n * вы можете указать, сколько событий вы хотите, чтобы Sysdig захватывал. После того, как целевое количество событий было захвачено, оно выйдет. Например, чтобы сохранить 300 событий в файл, введите:

Хотя вы можете использовать Sysdig для записи определенного количества событий в файл, лучше использовать опцию * -C *, чтобы разбить захват на более мелкие файлы определенного размера. И чтобы не перегружать локальное хранилище, вы можете дать Sysdig команду сохранить только несколько сохраненных файлов. Другими словами, Sysdig поддерживает захват событий в журналы с ротацией файлов в одну команду.

Например, чтобы непрерывно сохранять события в файлы размером не более 1 МБ и сохранять только последние пять файлов (это то, что делает параметр * -W *), выполните эту команду:

Перечислите файлы с помощью + ls -l sysdig-trace * +, и вы увидите вывод, похожий на этот, с пятью файлами журнала:

Как и при захвате в реальном времени, вы можете применять фильтры к сохраненным событиям. Например, чтобы сохранить 200 событий, сгенерированных процессом + nano +, введите следующую команду:

Затем в другом терминале, подключенном к вашему серверу, откройте файл с помощью + nano + и сгенерируйте некоторые события, набрав текст или сохранив файл. События будут записываться в + sysdig-trace-nano.scap +, пока + sysdig + не запишет 200 событий.

Как бы вы собрали все события записи, созданные на вашем сервере? Вы примените фильтр следующим образом:

Нажмите + CTRL + C + через несколько секунд, чтобы выйти.

Вы можете сделать гораздо больше, сохраняя системную активность в файл с помощью + sysdig +, но эти примеры должны были дать вам довольно хорошее представление о том, как это сделать. Давайте посмотрим, как анализировать эти файлы.

Чтение захваченных данных из файла с помощью Sysdig так же просто, как передача ключа * -r * команде + sysdig +, например так:

Это приведет к выводу всего содержимого файла на экран, что на самом деле не лучший подход, особенно если файл большой. К счастью, вы можете применять те же фильтры при чтении файла, который вы применили к нему во время записи.

Например, чтобы прочитать созданный вами файл трассировки + sysdig-trace-nano.scap +, но посмотреть только на определенный тип события, например, на запись событий, введите следующую команду:

Вывод должен быть похож на:

Давайте посмотрим на содержимое файла, который вы сохранили в предыдущем разделе: файл + sysdig-write-events.scap +. Мы знаем, что все события, сохраненные в файле, являются событиями записи, поэтому давайте посмотрим содержимое:

Это частичный вывод. Вы увидите что-то вроде этого, если на сервере были какие-либо действия SSH при захвате событий:

Обратите внимание, что все строки в предыдущем выводе содержат * 11.11.11.11: 51282→ 22.22.22.22:ssh*. Это события, поступающие с внешнего IP-адреса клиента, + 11.11.11.11 + на IP-адрес сервера, + 22.22.22.22 +. Эти события произошли через соединение SSH с сервером, поэтому эти события ожидаются. Но есть ли другие события записи SSH, которые не с этого известного IP-адреса клиента? Это легко узнать.

Есть много операторов сравнения, которые вы можете использовать с Sysdig. Первое, что вы увидели, это * = . Другие *! = *, *> *, *> = *, * < И * ⇐ *. В следующей команде * fd.rip * фильтрует удаленный IP-адрес. Мы будем использовать оператор сравнения *! = * Для поиска событий с IP-адресов, отличных от + 11.11.11.11 +:

Частичный вывод, который показал, что были события записи с IP-адресов, отличных от IP-адреса клиента, показан в следующем выводе:

Дальнейшее расследование также показало, что мошеннический IP-адрес + 33.33.33.33 + принадлежал машине в Китае. Вот о чем беспокоиться! Это всего лишь один пример того, как вы можете использовать Sysdig, чтобы следить за трафиком, попадающим на ваш сервер.

Давайте рассмотрим использование некоторых дополнительных скриптов для анализа потока событий.

На языке Sysdig chisels - это сценарии Lua, которые можно использовать для анализа потока событий Sysdig для выполнения полезных действий. Существует около 50 сценариев, которые поставляются с каждой установкой Sysdig, и вы можете просмотреть список доступных долот в вашей системе с помощью этой команды:

Некоторые из наиболее интересных долот включают в себя:

Для более подробного описания долота, включая все связанные аргументы, используйте флаг + -i +, за которым следует имя зубила. Так, например, чтобы просмотреть дополнительную информацию о долоте + netstat +, введите:

Теперь, когда вы знаете все, что вам нужно знать об использовании долота + netstat, включите его, чтобы отслеживать систему, выполнив:

Вывод должен быть похож на следующее:

Если вы видите * ESTABLISHED * SSH-соединения с IP-адреса, отличного от вашего, в столбце * Client Address *, это должен быть красный флажок, и вам следует проверить глубже.

Гораздо более интересное долото - + spy_users +, которое позволяет просматривать интерактивные действия пользователя в системе.

Выйдите из этой команды:

Затем откройте второй терминал и подключитесь к вашему серверу. Выполните некоторые команды в этом втором терминале, а затем вернитесь к своему терминалу с + sysdig +. Команды, которые вы ввели на первом терминале, будут отображаться на терминале, на котором вы выполнили команду + sysdig -c spy_users +.

Далее давайте рассмотрим Csysdig, графический инструмент.

Csysdig - это другая утилита, которая поставляется с Sysdig. Он имеет интерактивный пользовательский интерфейс, который предлагает те же функции, которые доступны в командной строке с помощью + sysdig +. Это как + top +, + htop + и + strace +, но более многофункциональный.

Как и команда + sysdig +, команда + csysdig + может выполнять мониторинг в реальном времени и может записывать события в файл для последующего анализа. Но + csysdig + дает более полезное представление системных данных в режиме реального времени, обновляемых каждые две секунды. Чтобы увидеть пример этого, введите следующую команду:

Это откроет интерфейс, подобный показанному на следующем рисунке, который показывает данные о событиях, сгенерированные всеми пользователями и приложениями на контролируемом хосте.

изображение: https: //assets.digitalocean.com/articles/sysdig_ubuntu_1604/LEhCwvI.jpg [Основной интерфейс Csysdig]

В нижней части интерфейса расположены несколько кнопок, которые можно использовать для доступа к различным аспектам программы. Наиболее заметной является кнопка * Views *, которая похожа на категории метрик, собранных с помощью + csysdig +. Из коробки доступно 29 представлений, включая * Процессы *, * Системные вызовы *, * Потоки *, * Контейнеры *, * Процессы ЦП *, * Сбой страниц *, * Файлы * и * Каталоги *.

Когда вы запустите + csysdig + без аргументов, вы увидите живые события из представления * Processes *. Нажав кнопку * Views * или клавишу + F2 +, вы увидите список доступных представлений, включая описание столбцов. Вы также можете просмотреть описание столбцов, нажав клавишу + F7 + или нажав кнопку * Legend *. А краткая справочная страница самого приложения (+ csysdig +) доступна нажатием клавиши + F1 + или нажатием кнопки * Help *.

На следующем рисунке показан список интерфейса приложения * Views *.

изображение: https: //assets.digitalocean.com/articles/sysdig_ubuntu_1604/R7oHhHT.jpg [окно просмотра Csysdig]

Хотя вы можете запустить + csysdig + без каких-либо параметров и аргументов, синтаксис команды, как и в случае с + sysdig + ', обычно принимает следующую форму:

Наиболее распространенным параметром является * -d *, который используется для изменения задержки между обновлениями в миллисекундах. Например, чтобы просмотреть вывод + csysdig +, обновляемый каждые 10 секунд, вместо значения по умолчанию, равного 2 секундам, введите:

Вы можете исключить информацию о пользователях и группах из представлений с помощью опции * -E *:

Это может ускорить запуск + csysdig +, но в большинстве случаев выигрыш в скорости незначителен.

Чтобы указать + csysdig +, чтобы остановить захват после определенного количества событий, используйте параметр * -n *. Приложение будет закрыто после того, как этот номер будет достигнут. Количество захваченных событий должно быть в пяти цифрах; в противном случае вы даже не увидите пользовательский интерфейс + csysdig +:

Чтобы проанализировать файл трассировки, передайте + csysdig + параметр * -r *, например, так:

Вы можете использовать те же фильтры, которые вы использовали с + sysdig +, чтобы ограничить вывод + csysdig +. Так, например, вместо просмотра данных событий, сгенерированных всеми пользователями в системе, вы можете отфильтровать выходные данные пользователей, запустив + csysdig + с помощью следующей команды, которая покажет данные событий, сгенерированные только пользователем root:

Вывод должен быть аналогичен показанному на следующем рисунке, хотя вывод будет отражать то, что работает на вашем сервере:

изображение: https: //assets.digitalocean.com/articles/sysdig_ubuntu_1604/CFsMTrH.jpg [данные Csysdig, созданные пользователем root]

Чтобы просмотреть выходные данные для исполняемого файла, генерирующего событие, передайте фильтру имя двоичного файла без пути. В следующем примере будут показаны все события, сгенерированные командой + nano +. Другими словами, он покажет все открытые файлы, где текстовый редактор + nano +:

Доступно несколько десятков фильтров, которые вы можете просмотреть с помощью следующей команды:

Вы заметите, что это была та же опция, которую вы использовали для просмотра фильтров, доступных с помощью команды + sysdig +. Таким образом, + sysdig + и + csysdig + примерно одинаковы. Основное отличие состоит в том, что + csysdig + поставляется с удобным для пользователя интерактивным интерфейсом. Чтобы выйти из + csysdig + в любое время, нажмите клавишу + Q + на клавиатуре.

Sysdig поможет вам контролировать и устранять неполадки вашего сервера. Это даст вам глубокое понимание всей активности системы на контролируемом хосте, в том числе сгенерированной контейнерами приложений. Хотя это руководство не касается конкретно контейнеров, именно способность отслеживать активность системы, создаваемую контейнерами, отличает Sysdig от аналогичных приложений. Дополнительная информация доступна на странице проекта home.

Зубила Sysdig являются мощным расширением основных функциональных возможностей Sysdig. Они написаны на Lua, так что вы всегда можете настроить их или написать с нуля. Чтобы узнать больше о создании долот, посетите страницу проекта official chisel page.