Введение в метрики, мониторинг и оповещение

Метрики представляют собой необработанные измерения использования ресурсов или поведения, которые можно наблюдать и собирать во всех ваших системах. Это могут быть сводки по низкоуровневому использованию, предоставляемые операционной системой, или это могут быть типы данных более высокого уровня, привязанные к определенной функциональности или работе компонента, например запросы, обслуживаемые в секунду, или членство в пуле веб-серверов. Некоторые показатели представлены в отношении общей емкости, в то время как другие представлены в виде скорости, которая указывает на «занятость» компонента.

Часто для начала проще всего использовать метрики, уже представленные вашей операционной системой, которые отражают использование базовых физических ресурсов. Данные о дисковом пространстве, загрузке процессора, использовании подкачки и т. Д. уже доступны, предоставляют ценность немедленно и могут быть переданы в систему мониторинга без особой дополнительной работы. Многие веб-серверы, серверы баз данных и другое программное обеспечение также предоставляют свои собственные метрики, которые также можно передавать вперед.

Для других компонентов, особенно для ваших собственных приложений, вам, возможно, придется добавить код или интерфейсы, чтобы предоставить нужные вам показатели. Сбор и раскрытие метрик иногда называют добавлением * инструментовки * к вашим услугам.

Метрики полезны, потому что они дают представление о поведении и работоспособности ваших систем, особенно в совокупности. Они представляют собой сырье, используемое вашей системой мониторинга для создания целостного представления о вашей среде, автоматизации реагирования на изменения и оповещения людей при необходимости. Метрики - это базовые значения, используемые для понимания исторических тенденций, сопоставления различных факторов и измерения изменений в вашей производительности, потреблении или показателях ошибок.

В то время как метрики представляют данные в вашей системе, мониторинг - это процесс сбора, агрегирования и анализа этих значений для повышения осведомленности о характеристиках и поведении ваших компонентов. Данные из различных частей вашей среды собираются в * систему мониторинга *, которая отвечает за хранение, агрегирование, визуализацию и инициирование автоматических ответов, когда значения соответствуют определенным требованиям.

В целом, разница между показателями и мониторингом отражает разницу между данными и информацией. Данные состоят из необработанных, необработанных фактов, в то время как информация создается путем анализа и организации данных для создания контекста, который обеспечивает ценность. Мониторинг берет данные метрик, агрегирует их и представляет их различными способами, которые позволяют людям извлекать информацию из коллекции отдельных частей.

Системы мониторинга выполняют множество связанных функций. Их первая обязанность - принимать и хранить входящие и исторические данные. Хотя значения, представляющие текущий момент времени, полезны, почти всегда более полезно просматривать эти числа по отношению к прошлым значениям, чтобы обеспечить контекст вокруг изменений и тенденций. Это означает, что система мониторинга должна быть способна управлять данными в течение периодов времени, что может включать выборку или агрегирование более старых данных.

Во-вторых, системы мониторинга обычно обеспечивают визуализацию данных. Хотя показатели могут отображаться и пониматься как отдельные значения или таблицы, люди гораздо лучше распознают тенденции и понимают, как компоненты сочетаются друг с другом, когда информация организована визуально значимым образом. Системы мониторинга обычно представляют компоненты, которые они измеряют, с помощью настраиваемых графиков и панелей мониторинга. Это позволяет понять взаимодействие сложных переменных или изменений в системе, взглянув на дисплей.

Дополнительной функцией, которую обеспечивают системы мониторинга, является организация и сопоставление данных из различных входных данных. Чтобы метрики были полезны, администраторы должны иметь возможность распознавать шаблоны между различными ресурсами и между группами серверов. Например, если приложение испытывает всплеск частоты ошибок, администратор должен иметь возможность использовать систему мониторинга, чтобы определить, совпадает ли это событие с исчерпанием емкости соответствующего ресурса.

Наконец, системы мониторинга обычно используются в качестве платформы для определения и активации оповещений, о которых мы поговорим позже.

Оповещение - это отзывчивый компонент системы мониторинга, который выполняет действия, основанные на изменениях значений метрик. Определения оповещений состоят из двух компонентов: условия или порогового значения на основе метрик и действия, выполняемого, когда значения выходят за пределы допустимых условий.

Хотя системы мониторинга невероятно полезны для активной интерпретации и расследования, одно из основных преимуществ полной системы мониторинга - это разрешение администраторам отключаться от системы. Оповещения позволяют вам определять ситуации, которыми имеет смысл активно управлять, полагаясь на пассивный мониторинг программного обеспечения для наблюдения за изменяющимися условиями.

В то время как уведомление ответственных сторон является наиболее распространенным действием для оповещения, некоторые программные ответы могут быть инициированы также на основе пороговых нарушений. Например, на предупреждение, указывающее, что вам требуется больше ЦП для обработки текущей нагрузки, можно ответить сценарием, который автоматически масштабирует этот уровень вашего приложения. Хотя это не является строго предупреждением, поскольку оно не приводит к уведомлению, один и тот же механизм системы мониторинга часто можно использовать и для запуска этих процессов.

Однако основная цель оповещения по-прежнему заключается в том, чтобы привлечь внимание людей к текущему состоянию ваших систем. Автоматизация ответов является важным механизмом обеспечения того, чтобы уведомления запускались только в ситуациях, которые требуют рассмотрения со стороны знающего человека. Само оповещение должно содержать информацию о том, что не так и куда идти, чтобы найти дополнительную информацию. Человек, отвечающий на предупреждение, может затем использовать систему мониторинга и связанные с ней инструменты, такие как файлы журналов, для расследования причины проблемы и реализации стратегии смягчения.

Инфраструктура даже средней сложности требует различий в серьезности оповещения, чтобы ответственные команды или отдельные лица могли быть уведомлены с использованием методов, соответствующих масштабу проблемы. Например, растущее использование хранилища может потребовать рабочего билета или электронной почты, в то время как увеличение числа ошибок или безответственности, с которыми сталкиваются клиенты, может потребовать отправки страницы сотрудникам по вызову.

Внизу иерархии примитивных метрик находятся индикаторы на основе хоста. Это может быть все, что связано с оценкой работоспособности или производительности отдельного компьютера, без учета его стеков и служб. Они в основном состоят из использования или производительности операционной системы или оборудования, например:

Они могут дать вам представление о факторах, которые могут повлиять на способность одного компьютера оставаться стабильным или выполнять работу.

Следующая категория метрик, которые вы можете посмотреть, это метрики приложений. Это показатели, относящиеся к единицам обработки или работы, которые зависят от ресурсов уровня хоста, таких как сервисы или приложения. Конкретные типы метрик, на которые нужно смотреть, зависят от того, что предоставляет сервис, какие у него зависимости и с какими другими компонентами он взаимодействует. Метрики на этом уровне являются показателями работоспособности, производительности или нагрузки приложения:

Эти показатели помогают определить, работает ли приложение правильно и эффективно.

Для большинства типов инфраструктуры показатели сети и подключения будут еще одним набором данных, который стоит изучить. Это важные показатели внешней доступности, но они также важны для обеспечения доступности служб для других компьютеров для любых систем, охватывающих более одного компьютера. Как и другие метрики, которые мы обсуждали до сих пор, сети должны быть проверены на их общую функциональную корректность и способность обеспечивать необходимую производительность, рассматривая:

Мониторинг сетевого уровня может помочь вам улучшить доступность и скорость реагирования как ваших внутренних, так и внешних сервисов.

При работе с горизонтально масштабируемой инфраструктурой еще одним уровнем инфраструктуры, для которого вам необходимо добавить метрики, являются пулы серверов. В то время как метрики об отдельных серверах полезны, в масштабе сервис лучше представлен как способность совокупности машин выполнять работу и адекватно реагировать на запросы. Этот тип метрики во многих отношениях является просто экстраполяцией метрик приложения и сервера более высокого уровня, но ресурсы в этом случае представляют собой однородные серверы, а не компоненты машинного уровня. Некоторые данные, которые вы можете отслеживать:

Сбор данных, которые суммируют работоспособность наборов серверов, важен для понимания реальных возможностей вашей системы по обработке нагрузки и реагированию на изменения.

Другие метрики, которые вы можете добавить в свою систему, связаны с внешними зависимостями. Часто службы предоставляют страницы состояния или API для обнаружения перебоев в обслуживании, но отслеживание их в ваших собственных системах, а также фактическое взаимодействие с службой могут помочь вам выявить проблемы с вашими поставщиками, которые могут повлиять на ваши операции. Некоторые элементы, которые могут быть применимы для отслеживания на этом уровне:

Есть много других типов метрик, которые могут быть полезны для сбора. Концептуализация наиболее важной информации на разных уровнях фокусировки может помочь вам определить показатели, которые наиболее полезны для прогнозирования или выявления проблем. Имейте в виду, что наиболее ценными показателями на более высоких уровнях, вероятно, будут ресурсы, предоставляемые более низкими уровнями.

Одним из самых основных требований адекватной системы мониторинга является внешняя связь с другими службами. Хотя иногда полезно группировать службы, основные обязанности системы мониторинга, ее полезность в диагностике проблем и ее связь с наблюдаемыми системами означает, что важно, чтобы ваша система мониторинга была доступна независимо. Ваша система мониторинга неизбежно окажет некоторое влияние на системы, которые она контролирует, но вы должны стремиться к тому, чтобы этот минимум был минимальным, чтобы уменьшить влияние отслеживания на производительность и повысить надежность вашего мониторинга в случае других системных проблем.

Другое основное требование - надежность. Поскольку система мониторинга отвечает за сбор, хранение и предоставление доступа к ценной информации, важно, чтобы вы могли доверять ее правильной работе на ежедневной основе. Отказ от метрик, перебои в обслуживании и ненадежные оповещения могут оказать непосредственное вредное влияние на вашу способность эффективно управлять инфраструктурой. Это относится не только к надежности основного программного обеспечения, но и к конфигурации, которую вы включаете, поскольку такие ошибки, как неточное оповещение, могут привести к потере доверия к системе.

Возможность отображать сводные данные высокого уровня и запрашивать более подробную информацию по требованию является важной функцией, гарантирующей, что данные метрик будут полезными и пригодными для использования оператором. Разработка информационных панелей, которые представляют наиболее часто просматриваемые данные в понятной форме, может помочь пользователям понять состояние системы с первого взгляда. Множество различных видов панели инструментов могут быть созданы для различных рабочих функций или областей интересов.

Не менее важна способность развернуть сводные дисплеи для отображения информации, наиболее подходящей для текущей задачи. Динамическая настройка масштаба графиков, переключение ненужных метрик и наложение информации из нескольких систем очень важны для интерактивного использования инструмента для исследований или анализа первопричин.

Система мониторинга наиболее полезна, когда она имеет богатую историю данных, которая может помочь установить тенденции, закономерности и согласованность в течение длительных периодов времени. Хотя в идеале вся информация будет сохраняться в течение неопределенного времени в исходной степени детализации, иногда из-за ограничений по стоимости и ресурсам может потребоваться хранение более старых данных с уменьшенным разрешением. Системы мониторинга, обладающие гибкостью для работы с данными как с полной детализацией, так и в формате выборки, предоставляют более широкий диапазон вариантов обработки постоянно растущего объема данных.

Еще одна полезная функция - возможность легко импортировать существующие наборы данных. Если снижение информационной плотности ваших исторических показателей не является привлекательным вариантом, то лучшим вариантом может быть выгрузка старых данных в решение для долгосрочного хранения. В этом случае вам не нужно хранить старые данные в системе, но вы должны иметь возможность перезагрузить их в большом количестве, когда вы хотите проанализировать или использовать их.

Система мониторинга отвечает за обеспечение целостного представления всей вашей инфраструктуры, поэтому она должна иметь возможность отображать связанную информацию, даже если она поступает из разных систем или имеет разные характеристики. Администраторы должны иметь возможность склеивать информацию из разрозненных частей своих систем по своему желанию, чтобы понять потенциальные взаимодействия и общее состояние всей инфраструктуры. Обеспечение того, чтобы синхронизация времени настраивалась в ваших системах, является обязательным условием для возможности надежной корреляции данных из разных систем.

Чтобы ваша система мониторинга была точным представлением ваших систем, вы должны иметь возможность вносить изменения по мере изменения машин и инфраструктуры. Минимальное трение при добавлении дополнительных машин поможет вам сделать это. Не менее важна способность легко удалять списанные машины, не уничтожая собранные данные, связанные с ними. Система должна сделать эти операции как можно более простыми, чтобы поощрять настройку мониторинга как часть процесса подготовки экземпляра или вывода из эксплуатации.

Важная связанная с этим способность - это простота настройки системы мониторинга для отслеживания совершенно новых показателей. Это зависит от того, как метрики определяются в конфигурации мониторинга ядра, а также от разнообразия и качества механизмов, доступных для отправки метрических данных в систему. Определение новых метрик обычно сложнее, чем добавление дополнительных компьютеров, но снижение сложности добавления или настройки метрик поможет вашей команде реагировать на изменяющиеся требования в надлежащие сроки.

Одним из наиболее важных аспектов системы мониторинга для оценки является ее способность оповещения. Помимо очень строгих требований к надежности, система оповещения должна быть достаточно гибкой, чтобы уведомлять операторов через несколько сред, и достаточно мощной, чтобы иметь возможность составлять продуманные, действенные триггеры уведомлений. Многие системы откладывают ответственность за фактическую доставку уведомлений другим сторонам, предлагая интеграцию с существующими службами пейджинга или приложениями обмена сообщениями. Это сводит к минимуму ответственность за функциональность оповещений и обычно предоставляет более гибкие возможности, поскольку плагину просто нужно использовать внешний API.

Однако та часть, которую система мониторинга не может отложить, определяет параметры оповещения. Оповещения определяются на основе значений, выходящих за пределы допустимых диапазонов, но определения могут потребовать некоторого нюанса, чтобы избежать чрезмерного оповещения. Например, кратковременные пики часто не являются проблемой, но постоянная повышенная нагрузка может потребовать внимания оператора. Способность четко определять параметры для оповещения является требованием для составления надежного, заслуживающего доверия набора условий оповещения.