ИЗМЕРЕНИЕ ХАРАКТЕРИСТИК ТРАФИКА

КОРПОРАТИВНОЙ ВЫЧИСЛИТЕЛЬНОЙ СЕТИ БАНКА

Абросимов Л.И. д.т.н., профессор, Московский энергетический институт (ТУ)

Беззубченко И.Л. инженер, Московский энергетический институт (ТУ)

Невзоров Ю.Ю. начальник отдела ТС, Международный Московский Банк

Горбунов М.Е. главный эксперт УИТ Международный Московский Банк

В процессе функционирования корпоративных вычислительных сетей (КВС) могут возникать различные проблемные ситуации:

• работники корпорации недовольны длительными задержками в доставке оперативных сообщений в процессе выполнения технологических операций,
• дистанционно обслуживаемые клиенты выражают неудовлетворенность неустойчивым информационным обслуживанием,
• службы эксплуатирующие КВС затрудняются в установлении причин появления случайно возникающих перегрузок сети,
• у службы развития сети при модернизации и развитии функционирующей КВС возникают различные вопросы:

• какие аппаратные средства перегружены и необходимо заменять?
• какие аппаратные и/или программные средства следует выбрать для замены, чтобы устранить “узкие места сети”?
• какие изменения следует вносить в распределение функций и организацию работы серверов?
• каким образом можно уменьшить оплату за трафик по арендованным каналам связи?

Одним из эффективных подходов для устранения возникающих проблем и формирования ответов на перечисленные вопросы является измерение характеристик трафика функционирующей КВС и определение по ним количественных оценок, обеспечивающих принятие обоснованных решений.

Чтобы разрешить возникающие проблемы необходимо выполнить длительные измерения трафика.

• Трафик, измеренный в битах в секунду и в кадрах в секунду, позволит выявить месячные, недельные, суточные закономерности изменения нагрузки и установить интервалы наибольшей нагрузки (ИНН). Именно в эти интервалы, как правило, возникают сбои в обслуживании пользователей, особенно в тех случаях, когда появляются “узкие места сети”.
• В процессе измерений необходимо по каждому передаваемому кадру канального уровня зафиксировать и сохранить набор параметров канального, сетевого, транспортного и прикладного уровней. Только собранный в реальном времени дамп с полным набором параметров может позволить осуществить анализ трафика с необходимой детальностью.
• Собранный дамп следует анализировать в несколько этапов. На каждом этапе сужается временной и пространственный диапазон анализа и повышается детальность исследований.

• временных задержек при доставке и обработке данных в КВС,
• причин возникновения временных задержек, превышающих допустимые значения,
• причин возникновения неустойчивой работы в КВС,
• перегрузок в узлах КВС, их местоположения и причин возникновения.

Следует отметить, что при исследовании трафика реальных КВС возникает ряд трудностей, к которым следует отнести:

• большой объем трафика при высоких скоростях обмена в КВС,
• случайный характер трафика, который зависит как от технологических процессов корпорации, так и от субъективных характеристик пользователей,
• необходимость исследования трафика в нескольких точках КВС, количество и местоположение которых определяется размерностью и структурными особенностями КВС,
• необходимость при анализе осуществлять совмещение во времени отдельных функций сетевых процессов, которые территориально распределены по КВС,
• необходимость определять обобщенные, интегрированные численные значения случайных динамично изменяющихся событий на длительном (например, суточном) интервале функционирования, учитывая, что через исследуемый узел за 1 секунду могут перемещаться большое количество транзакций, количество которых может измеряться тысячами.

Для решения перечисленных задач по исследованию трафика могут использоваться аппаратные и программные измерительные средства.

Аппаратные анализаторы имеют высокую стоимость. Использовать несколько измерителей при необходимости проведения одновременных исследований в разных точках не оправдано с экономической точки зрения.

Результаты сравнения наиболее известных и функционально-полных программных анализаторов [1], [2] приведен в таблице 1.

Таблица 1 Сравнение разработанных программ и анализаторов трафика:

Инструментальные средства для проведения измерений должны обеспечивать выполнение следующих требований:

- точность фиксирования в микросекундах времени поступления каждого кадра в соответствующий канал,

- фиксацию и хранение информации заголовков всех уровней для каждого кадра и время поступления кадра,

- возможность проводить измерения во всех сегментах КС,

- возможность проводить измерения одновременно в нескольких сегментах,

- возможность организации наполнения и хранения дампа с информацией заголовков при определении среднечасовой, среднесуточной, средненедельной, среднемесячной информации о трафике/

Анализ показывает, что для проведения детального, многоэтапного анализа необходимо в реальном времени формировать и сохранять дамп без ограничений на время исследований (например, недельный) с полным набором параметров, что реализовано в программных продуктах Stat6.exe и Sheets.exe, которые созданы в лаборатории Вычислительных сетей Московского энергетического института (ТУ) [3]. Дамп, сформированный разработанными средствами сохраняется , что позволяет осуществлять многоэтапный анализ с необходимой детальностью.

Предложенный подход прошел всестороннюю проверку при измерении и оценке трафика Московского Международного банка.

При составлении плана проведения экспериментальных исследований следует учитывать, что измерения должны производиться на функционирующей сети, и поэтому перед началом плановых измерений необходимо провести комплексную апробацию инструментальных средств.

В каждом плане исследований необходимо предусмотреть:

- достаточный объем памяти для оперативной фиксации дампа,

- возможность перезаписи дампа в базу данных для последующей обработки.

Формат дампа и базы данных выбирается с учетом возможностей выбранных инструментальных средств для проведения измерений.

Требования к ЭВМ, которые используются для проведения измерений параметров, характеризующих трафик

Место установки и количество ЭВМ для выполнения измерений параметров трафика определяется целями исследования и структурой КВС.

Для КВС ММБ использовались 2 ЭВМ, которые подключались к свободным портам коммутаторов высокоскоростной магистрали. На выбранные порты “зеркалируются” порты исследуемых высокоскоростных магистралей.

Разработанный программный модуль обеспечивает сбор дампа, в котором регистрируются данные всех заголовков, которые имеет каждый передаваемый кадр.

Длительность измерений при исследовании КВС ММБ составляла 7 суток, так как одной из целей исследования являлось определение трафика для различных дней недели.

При первых измерениях могут отсутствовать даже предварительные количественные оценки. Чтобы избежать потерь информации целесообразно проведение “пилотных” исследований, которые фиксируют параметры для определения среднечасового трафика. На этом этапе необходимо провести оценку максимально возможного объема дампа в течение часа и установить оценки – какому интервалу времени функционирования КВС ММБ соответствует этот дамп.

При проведении последующих измерений для определения характеристик пикового среднесуточного, пикового средненедельного, пикового среднемесячного трафика из условий требуемой точности, а также учитывая измеренную “пиковость” трафика, выбирается интервал сканирования измерений.

Записанные на компакт-диски дампы передаются для анализа. Выполняется обработка, чтобы выявить по записанным в дампах параметрам трафика состав серверов, наиболее загруженных внешней нагрузкой.

Выполняется обработка, чтобы выявить по записанным в дампах параметрам все требуемые параметры трафика КВС ММБ, которые необходимы:

• для определения характеристик производительности КВС ММБ,
• для определения перегруженности участков сети КВС ММБ (“узких мест”),
• для выработки обоснованных решений по модернизации аппаратных и программных средств КВС ММБ.

Измерения проводились с 25 октября по 31 октября 2004 г. Для сбора данных о трафике в режиме “зеркало” использовались 2 точки измерения.

В течение указанного срока получен дампы трафика, которые содержали необходимые для обработки параметры общим объемом - 37,5 Гб..

Для проведения анализа использовались разработанные программы “sheets.exe, excelwork.dll”

При помощи разработанных программ проводился анализ дампов трафика, собранного для обработки. В результате обработки из данных дампов трафика получены:

• суточные таблицы внешнего трафика КВС ММБ,
• суточные графики внешнего трафика КВС ММБ,

Разработанные программы “sheets.exe, excelwork.dll” позволили произвести анализ функционирования серверов Центральной части КВС ММБ на базе собранной статистики, не проводя дополнительных работ по сбору дампов, характеризующих трафик в КВС ММБ.

При исследовании использовался следующий подход.

2) для каждого характерного участка по каждому направлению определены пиковые значения трафика.

3) определены интервалы наибольшей нагрузки (ИНН).

4) Для выделенных ИНН определены адреса серверов Центральной части КВС ММБ, которые наиболее загружены.

5) Дополнительно проанализирован качественный состав трафика.

В результате статистической обработки получены:

• Таблицы загрузки пиковым трафиком серверов Центральной части КВС ММБ,
• Список адресов наиболее загруженных серверов трафиком в течение всех суток.
• Список адресов наиболее загруженных серверов трафиком в течение ИНН для точек измерения 1 и 2
• Качественный состав трафика транзакций (на примере дампа от 25.10.2004, для точек измерения 1 и 2.
• Список адресов серверов и пользователей активно генерирующих трафик UDP
• Список адресов серверов и пользователей активно генерирующих трафик UDP.

Разработанная программа Dump Viewer.exe позволяет прочитать параметры каждого кадра, как показано на рисунке 1.

Рисунок 1. Пример представления параметров кадра

Для анализа используется графическое представление данных о трафике транзакций. По каждому дню, для каждого внешнего пользователя представлены 2 графика. В каждом из них по горизонтальной оси отложены минуты анализируемых суток. По вертикальной оси в 1-м графике отложено количество бит в секунду, усредненное за минуту измерений. По вертикальной оси во 2-м графике отложено количество кадров в секунду, усредненное за минуту измерений. Пример графического представление данных о трафике транзакций представлен на рисунке 2.

Рисунок 2 – Пример графика суточного трафика в узле КВС ММБ

Для возможности детального количественного анализа данные о трафике транзакций представлены также в табличной форме, которая представлена в виде файлов.

- дневная работа (9.00 - 18.00),

- вечерняя работа (18.00 – 24.00),

- ночная работа (0.00 – 9.00)

Анализ показывает, что часть дневной работы характеризуется большой неоднородностью и “взрывным” характером трафика. Вид графиков, отображающих интенсивность трафика транзакций сохраняется для всех дней недели.

Для дневной части:

Количественные характеристики трафика, измеренного в битах в секунду следующие.

Минимальное значение – 500 000 бит/с

Максимальное значение – 2 500 000 бит/с

Среднее значение – 1 500 000 бит/с

Количественные характеристики трафика, измеренного в кадрах в секунду следующие

Минимальное значение – 130 кадров/с

Максимальное значение – 630 кадров/с

Среднее значение – 350 кадров/с

Для вечерней части:

Количественные характеристики трафика, измеренного в битах в секунду следующие.

Минимальное значение – 165 000 бит/с

Максимальное значение – 2 200 000 бит/с

Среднее значение – 500 000 бит/с

Количественные характеристики трафика, измеренного в кадрах в секунду следующие

Минимальное значение – 60 кадров/с

Максимальное значение – 630 кадров/с

Среднее значение – 135 кадров/с

Для ночной части:

Количественные характеристики трафика, измеренного в битах в секунду следующие.

Минимальное значение – 2 100 000 бит/с

Максимальное значение – 2 550 000 бит/с

Среднее значение – 2 300 000 бит/с

Количественные характеристики трафика, измеренного в кадрах в секунду следующие

Минимальное значение – 420 кадров/с

Максимальное значение – 630 кадров/с

Среднее значение – 520 кадров/с

Каналы связи между Центральной частью КВС ММБ и несколькими внешними пользователями обеспечивают передачу трафика транзакций. Наибольший интерес для администраторов сети ММБ представляет функционирование КВС в интервалы дневной работы, а также в интервалы пиковых нагрузок.

• Исследуемый канал связи между Центральной частью КВС ММБ и отделением внешних пользователями имеет номинальную пропускную способность 2 Мбит/c в каждом направлении.

В интервале дневной работы максимальное значение – 2,5 Мбит/с, среднее значение – 1,5 Мбит/с, плотность трафика загрузки 60% (отношение средней нагрузки к пиковой).

Пиковые нагрузки приходятся на ночной интервал и имеют максимальное значение – 2,55 Мбит/с, среднее значение – 2,3 Мбит/с, плотность трафика загрузки 90%.

Следовательно, в пиковые интервалы канал перегружен, т.е. канал находится в состоянии повышенной загрузки.

Серверы наиболее загружены в интервалы наибольшей загрузки (ИНН). Статистическая обработка дампа собранных данных позволила выявить ИНН для трафика транзакций, проходящих через узлы 1 и 2.

Собранные данные сведены в Таблицу ИНН, в которой занесены: число и номер коммутатора; время начала ИНН, номер кадра в начале ИНН, время окончания ИНН, номер кадра в конце ИНН.

Выполненные исследования позволили определить производительность серверов Центральной части КВС ММБ в режиме пиковой нагрузки, которая соответствует ИНН. Производительность серверов оценивается количеством обработанных транзакций в единицу времени, т.е. количеством кадров в секунду.

В результате статистического анализа были выделены 10 наиболее загруженных серверов. Адреса выделенных серверов с параметрами их загрузки сведены в таблицы:

• Список адресов наиболее загруженных серверов трафиком в течение всех суток,
• Список адресов наиболее загруженных серверов трафик в течение ИНН,
• Список адресов наиболее загруженных серверов трафик в течение всех суток,
• Список адресов наиболее загруженных серверов трафик в течение ИНН

• мало изменяется состав наиболее загруженных серверов, обслуживающих трафик, который проходит через узлы 1 и 2 в течение всех дней недели;
• состав наиболее загруженных серверов, обслуживающих трафик, который проходит через узлы 1 и 2 в течение суток и в ИНН остается практически одним и тем же;
• составы наиболее загруженных серверов, обслуживающих трафик, который проходит через узлы 1 и 2 имеют незначительное количество общих серверов;
• Определен IP-адрес самого загруженного сервера в ИНН, интенсивность трафика составляет 1 731 645 кадров/секунду.

Обработка дампа, полученного в результате измерений позволяет производить детальный анализ состава трафика, что дает возможность выявить нестандартные отклонения от принятого соотношения количества служебных и информационных транзакций. Увеличенное количество служебных сообщений не только уменьшает коэффициент полезного использования оборудования, но и свидетельствует о необходимости совершенствования процедур управления сетью.

Данные, приведенные в таблице Качественный состав трафика транзакций позволяют осуществлять такой анализ.

Из полученной таблицы следует, что трафик транзакций, формируемый протоколом UDP составляет 12,49% от общего суточного трафика транзакций, это заметная величина, особенно в условиях пиковой нагрузки.

Так как протокол UDP обычно используется для управления, то проведен уточняющий анализ, который позволил установить адреса тех узлов сети (серверов и рабочих станций), которые формируют указанный трафик протокола UDP.

Сформированы 2 списка:

• Список адресов серверов и пользователей активно генерирующих трафик UDP
• Список адресов серверов и пользователей активно генерирующих трафик UDP

Расшифровка соответствия адресов и функциональности узлов позволяет сделать конструктивные выводы о степени целесообразности трафика UDP .

Разработанные программные средства статистического анализа дампов позволяют представить в табличной форме для детального исследования данные о взаимодействии Сервер – Рабочая станция в пиковом режиме с фиксацией установленных при этом сессий. Так как каждая сессия требует резервирования памяти и влияет на регулирование темпа взаимодействия Клиент –Сервер, такие данные являются необходимыми для оптимизации работы СУБД перегруженных серверов.

3. Абросимов Л.И., Трущенко М.А., Беззубченко И.Л., Белушкин С.Д., Демин О.В., Мониторинг трафика взаимодействия отраслевой телекоммуникационной сети сферы образования с ядром ИАИС Минобразования России. Электронный журнал ВЫЧИСЛИТЕЛЬНЫЕ СЕТИ. Теория и практика, 2004, №1 (4), раздел 8, статья 1.