BC/NW 2016 № 1 (29):
11.1
АНАЛИЗ
ПРОИЗВОДИТЕЛЬНОСТИ ЯДРА КОРПОРАТИВНОЙ ВЫЧИСЛИТЕЛЬНОЙ СЕТИ НИУ МЭИ
Абросимов
Л.И., Тагирова М.А. Хорьков С.Н.
Национальный
Исследовательский Университет «МЭИ» (НИУ МЭИ) сегодня – это один из крупнейших
технических университетов России в области энергетики, электротехники,
электроники, информатики, в котором обучается 28
тысяч студентов.
На фоне массового развития высших учебных
заведений, Московский энергетический институт остается одним из ведущих учебных
вузов страны. Современные технологии обучения, выполнение научных исследований
и управления такой сложной многофункциональной системой невозможны без
использования информационных технологий. Первые сети в институте были
построены в конце 80-х годов и заработали в 1989 году.[1]
В рамках инновационной программы
развития МЭИ в 2007-2008 гг. было перестроено ядро Информационной вычислительной
сети (ИВС) МЭИ на основе оборудования Cisco Systems и технологий MPLS. Это дало
уникальную возможность использовать физическую структуру сети для решения
множества задач, создавая на базе ИВС МЭИ выделенные логические сети различного
назначения.
Сейчас в Корпоративной
Вычислительной Сети (КВС)НИУ МЭИ, связывающей 12 зданий,
насчитывается около 30000 пользователей. Постоянно работают в сети около 5000
компьютеров. Служба электронной почты поддерживает 10000 почтовых ящиков. Одним
из достоинств ИВС МЭИ является то, что всем сотрудникам и студентам
предоставляется персональный «ящик» электронной почты, с хорошим уровнем защиты
от спама.
В настоящее
время сотрудники МЭИ осуществляют не только эксплуатацию КВС НИУ МЭИ, но и внедряют
новые сервисы и осваивает новые технологии, в частности, технологии виртуальных
машин. Новый многомашинный комплекс с виртуализацией ресурсов обеспечивает
работу более 300 виртуальных серверов. Внедряется технология виртуальных
рабочих столов, которая нашла широкое применение в учебном процессе. Системы
виртуализации накладывают высокие требования к надежности работы сети и к
системам хранения данных. На современной сетевой инфраструктуре разворачиваются
системы электронного документооборота, распределенные системы хранения данных,
системы видеоконференц-связи.
Разработка и
модернизация, обеспечивающая эффективное функционирование региональных и
корпоративных сетей ЭВМ, является сложным и трудоемким процессом, так как
разработчику необходимо учитывать много критериев эффективности, большое
количество ограничений, широкий спектр разнообразный устройств, каждое из
которых обладает индивидуальным набором технических характеристик, которые
часто зависят от местоположения и взаимосвязей с другими устройствами.
Таким
образом, в настоящее время актуальными являются задачи:
·
поиска
«узких мест» в корпоративной сети,
·
разработки
предложений по модернизации структуры сети,
·
определение
приоритетов для трафика,
·
выработка
рекомендаций для перестроения структуры сети с использованием протокола STP.
Решение
указанных задач невозможно без проведения комплексного исследования и анализа
параметров оценивающих качество функционирования КВС НИУ МЭИ.
Концепция технологии анализа
производительности КВС НИУ МЭИ
Технические
характеристики КВС НИУ "МЭИ:
·
Общее количество подключений к сети (включая сети подразделений
и беспроводной сегмент) – 7300 устройств.
·
Подключено к сети – 3200 компьютеров.
·
Общее количество телекоммуникационного оборудования
(коммутаторы, маршрутизаторы) – свыше 200 единиц.
·
Реализовано централизованное управление 120-ю коммутаторами и
маршрутизаторами.
·
Пропускная способность линий связи внутри ядра сети (между
корпусами МЭИ) – 4 Гбит/сек.
·
Пропускная способность основного канала связи с Интернет – 1
Гбит/сек.
·
Пропускная способность резервного канала связи с Интернет – 100
Мбит/сек.
·
Среднесуточный объем передаваемой/принимаемой информации – 350
Гбайт.
·
Общая протяженность кабельной сети – 110 км.
·
Протяженность оптических линий связи – 8000 м.
Выводы:
o
Исходя
из большой размерности устройств и линий связи КВС НИУ МЭИ, целесообразно производить
анализ производительности функционирующей сети по частям.
o
В
качестве главного фрагмента КВС целесообразно в первую очередь исследовать
Центральное ядро (ЦЯ), представленное на рис 1.
o
В
качестве инструментальных средств исследования целесообразно использовать
программный комплекс оценки производительности (ПКОП) , разработанный Хорьковым
С.Н.
Состав и идентификация устройств и линий связи Центрального ядра
КВС НИУ МЭИ
§ Коммутаторы 3-го уровня.
§ Маршрутизаторы
§ Оптические
линии связи
Три
коммутаторы
3-го уровня, имеющие сетевые имена Core-13, Core-14, Core-17,
соединенные оптоволоконными линиями связи, образуют высокоскоростное дуплексное
кольцо, которое связывает виртуальные локальные сети (VILAN) корпусов
между собой и с Internet.
Вход/выход VILAN осуществляется
через маршрутизаторы: Core- <корпус>
Подключение к Internet
осуществляется через маршрутизаторы: Core-129, Core-146.
Каждому
коммутатору
3-го уровня,
кроме сетевого имени, присваивается IP адрес. Для описания маршрута
используются точки входа/выхода, которые идентифицируются номером
интерфейса. При этом вход коммутатора, соединенный с выходом
канала связи идентифицируют как (in),а выход
маршрутизатора, соединенный с входом канала связи идентифицируют как (out).
Например,
Core-14.69.
(in/ out)
Рис.1
Центральное ядро КВС НИУ МЭИ
По
оптоволоконным линиям связи между машрутизаторами организуются
дуплексные каналы. Каждый канал определяется выходом одного
маршрутизатора и входом другого (соседнего) маршрутизатора. Например, Core-14.69.in – Core-13.69. out
Идентификация
трафика
Трафик,
обрабатываемый устройствами КВС, оценивается количеством В единиц информации
(битами, байтами, кадрами, MTU), передаваемым за временной интервал (секунды , минуты, часы), где н – номер
интервала.
Средняя
интенсивность трафика за временной интервал определяется по соотношению:
Величина
трафика зависит от местоположения устройств в структуре КВС.
Для
обеспечения компактности символов математического описания параметров введем
таблицу метаданных 1М, в которой
каждому идентификатору точки входа/выхода
коммутатора и маршрутизатора ставится в соответствие порядковый номер i.
При
измерении трафика в течение суток можно выделить интервал в котором принимает максимальное значение, то
такой интервал называем интервалом с пиковой нагрузкой и . Пиковая нагрузка определяет напряженный
режим работы КВС и требует проведение обязательного контроля в этом режиме
работы.
Пропускная
способность канала связи (бит/c), (Байт/с), (MTU/c) характеризует
интенсивность обслуживания трафика
Таблица 1 Метаданных
|
Core13In55
|
Core13Out55
|
Core13In57
|
Core13Out57
|
Core13In89
|
Core13Out89
|
i,j
|
1
|
2
|
3
|
4
|
5
|
6
|
|
Core13In88
|
Core13Out88
|
Core13In90
|
Core13Out90
|
Core13In91
|
Core13Out91
|
i,j
|
7
|
8
|
9
|
10
|
11
|
12
|
|
|
Core14In69
|
Core14Out69
|
Core14In71
|
Core14Out71
|
Core14In82
|
Core14Out82
|
i,j
|
13
|
14
|
15
|
16
|
17
|
18
|
|
Core14In123
|
Core14Out123
|
Core14In153
|
Core14Out153
|
i,j
|
19
|
20
|
21
|
22
|
|
|
ore17In69
|
Core17Out69
|
Core17In71
|
Core17Out71
|
Core17In113
|
i,j
|
23
|
24
|
25
|
26
|
27
|
28
|
|
Core17Out113
|
Core17In121
|
Core17Out121
|
|
i,j
|
29
|
30
|
31
|
Задачи исследования
производительности КВС
Формулировка
задач исследования
Исследуется
Центральное
ядро КВС НИУ МЭИ, представленное на рис1.
Все
контура считаем разомкнутыми.
Даже
замкнутый контур клиент-сеть-сервер-сеть-клиент разбиваем на два –
клиент-сеть-сервер и сервер-сеть-клиент.
В качестве
математической модели канала связи КВС принимаем модель одноканальной системы
массового обслуживания М/М/1/
Требуется
определить:
·
пиковую
интенсивность трафика (ПИТ) на входах (in) и выходах (out) коммутирующих узлов во всех каналах ядра КВС;
·
время
начала и конца интервала ПИТ для всех каналов ядра КВС;
·
коэффициенты
загрузки каналов ядра КВС в режиме ПИТ;
·
отличия
входящего в канал и выходящего из канала интенсивности трафика в режиме ПИТ;
·
длительность
задержки MTU в очереди на передачу
по каналу в режиме ПИТ;
·
количество
MTU в очереди на передачу
по каналу в режиме ПИТ;
·
определение
пользователя КВС НИУ МЭИ, использующего не рекомендованный источник информации
Соотношения
для расчета характеристик
·
коэффициенты
загрузки каналов определяется по соотношению:
·
количество
MTU в очереди на передачу по
каналу в режиме ПИТ определяется по соотношению:
=
Суточные графики трафика в каналах связи ЦЯ
На
суточных графиках нагрузки по оси абсцисс откладываем количество байт (октетов)
переданных/принятых за интервал времени 10 минут. По оси абсцисс откладываем
границы интервалов времени (чч.мм.сс).
Интервалы
времени выбраны из условий удобства зрительного анализа исследователя, хотя
разработанный программный
комплекс оценки производительности (ПКОП) позволяет использовать интервалы
микросекундные интервалы времени.
Рис2
Рис3
Рис4.
Выводы:
o
Трафик
во всех каналов ЦЯ неравномерный, несмотря на его «сглаживание» из-за довольно
большого интервала времени.
o
Начало
интенсивного трафика, как правило, совпадает с началом рабочего дня, но окончан
Таблица
пиковых нагрузок и рассчитанных параметров для каналов связи
Устройство
|
Пиковый
трафик
|
Интервал
измерений
|
Коэффициент
загрузки(%)
|
Примечание
|
интерфейс
|
Соседний
узел
|
За 10
мин
|
За 1 сек
|
начало
|
конец
|
Длитель
ность
|
|
|
Core13
|
Байты
|
MTU(/1,5КВ)
|
бит
|
MTU
|
чч:мм :сс
|
чч:мм :сс
|
(сек)
|
|
|
In55
|
Core
14-69
|
2 741 304 530
|
1
827 536
353
|
36 550
727
|
30 458
942
|
10:20:01
|
10:30:01
|
600
|
|
|
Out55
|
Core
14-69
|
1 158 406 953
|
772 271 302
|
15 445
426
|
1 287 118
|
14:40:01
|
14:50:01
|
600
|
|
|
In57
|
Core
17-69
|
4 115 660 303
|
2 743 773 535
|
54 875
470
|
4 572 955
|
17:00:01
|
17:10:01
|
600
|
|
|
Out57
|
Core
17-69
|
3 384 376 691
|
2 256 251 127
|
45 125
022
|
3 760 418
|
16:40:01
|
16:50:01
|
600
|
|
|
In89
|
Корп Е
|
544 619 754
|
363 079
836
|
7 261
596
|
605 133
|
16:30:01
|
16:40:01
|
600
|
|
|
Out89
|
Корп Е
|
1 455 352 755
|
970 235
170
|
19 404
703
|
1 617
059
|
15:40:01
|
15:30:01
|
600
|
|
|
In88
|
Корп С
|
149 237 765
|
99 491
843
|
1 989
836
|
16 581
203
|
7:50:01
|
8:00:01
|
600
|
|
|
Out88
|
Корп С
|
467 009 708
|
311 339
805
|
6 226
796
|
518 900
|
13:30:01
|
13:40:01
|
600
|
|
|
In90
|
Корп М
|
1 588 949 094
|
1 059
299 396
|
21 185
987
|
176 500
|
19:10:01
|
19:20:01
|
600
|
|
|
Out90
|
Корп
М
|
4 025 006 192
|
2 683
337 461
|
53 666
749
|
4 472
229
|
9:40:01
|
9:50:02
|
600
|
|
|
In91
|
библ
|
110 802
|
73 868
|
1 477
|
123
|
14:30:01
|
14:40:01
|
600
|
|
|
Out91
|
библ
|
496 966
|
198 786
|
6 626
|
331
|
3:10:01
|
3:20:01
|
600
|
|
|
Core14
|
|
|
|
|
|
|
|
|
|
In69
|
Core
13-69
|
1 155 519 726
|
770 346
484
|
15 406
929
|
770 346
484
|
14:50:01
|
15:00:01
|
600
|
|
|
Out69
|
Core
13-69
|
2 892 356 409
|
1 928
237 606
|
38 564
752
|
32 137
294
|
13:10:01
|
13:20:01
|
600
|
|
|
In71
|
Core
17-71
|
1 106 446 410
|
737 630
940
|
14 752
618
|
1 229
385
|
16:00:01
|
16:10:01
|
600
|
|
|
Out71
|
Core
17-71
|
3 486 079 479
|
2 324
052 986
|
4 648
1059
|
3 873
422
|
13:50:01
|
14:00:01
|
600
|
|
|
In82
|
машзал
|
1 492 649 202
|
995 099
468
|
19 901
989
|
16 585
001
|
16:00:01
|
16:10:01
|
600
|
|
|
Out82
|
машзал
|
3 656 084 506
|
2 437
389 671
|
48 747
793
|
4 062
316
|
18:10:01
|
18:20:01
|
600
|
|
|
In123
|
Корп
14
|
2 742 829 619
|
1 828
553 079
|
36 571
061
|
3 047
588
|
3:30:01
|
3:40:01
|
600
|
|
|
Out123
|
Корп17
|
1 497 449 114
|
998 299
409
|
19 965
988
|
16 638
324
|
17:40:01
|
17:50:01
|
600
|
|
|
In153
|
Core
129
|
4 152 686 478
|
2 768
457 652
|
55 369
153
|
4 614
096
|
14:10:01
|
14:20:01
|
600
|
|
|
Out153
|
Core
129
|
2 874 700 045
|
1 916
466 697
|
38 329
333
|
3 194
111
|
3:20:01
|
3:30:01
|
600
|
|
|
Core17
|
|
|
|
|
|
|
|
|
|
In69
|
Core
13-69
|
1 928 060 431
|
1 285
373 621
|
25 707
472
|
2 142
289
|
19:40:01
|
19:50:01
|
600
|
|
|
Out69
|
Core
13-69
|
3 617 575 813
|
2 411
717 209
|
48 234
344
|
4 019
529
|
15:10:01
|
15:20:01
|
600
|
|
|
In71
|
Core
14-71
|
3 780 405 094
|
2 520
270 063
|
504 05
401
|
4 200
450
|
13:30:01
|
13:40:01
|
600
|
|
|
Out71
|
Core
14-71
|
1 656 922 904
|
1 104
615 269
|
22 092
305
|
1 841
025
|
15:50:01
|
16:00:01
|
600
|
|
|
In113
|
Корп17
|
1 681 791 727
|
1 121
194 485
|
22 423
889
|
1 868
657
|
14:20:01
|
14:30:01
|
600
|
|
|
Out113
|
Корп17
|
3 572 093 594
|
2 381
395 729
|
47 627
914
|
3 968
992
|
14:10:01
|
14:20:01
|
600
|
|
|
In121
|
Core
146
|
3 609 299 867
|
2 406
199 911
|
48 123
998
|
4 010
333
|
11:30:01
|
11:40:01
|
600
|
|
|
Out121
|
Core
146
|
2 138 420 007
|
1 425
613 338
|
28 512
266
|
2 376
022
|
11:30:01
|
11:40:01
|
600
|
|
|
Усредненный
по интервалу измерений коэффициент загрузки самого загруженного канала Core14 In153 – Core128 out равен 0,0276845765 (= 2 Гбит/с), следовательно все каналы
могут качественно обслуживать поступающий трафик.
Средняя
длина очереди самого загруженного канала Core14 In153 – Core128 out , усредненная по
интервалу измерений равна 0,078825 MTU. Это свидетельствует о том, передаваемые блоки
данных больших размеров, использующих максимальную пропускную способность
канала передаются редко и появляющиеся очереди быстро «рассасывются».
Интервал
измерений =600с является достаточно большим и
существенно сглаживает трафик нагрузки, поэтому его следует использовать для
определения областей пиковых нагрузок. Для выявленных областей следует
производить измерения, используя укороченный интервал измерений.
Анализ
полученных графиков нагрузки позволил установить, что в области пиковых
нагрузок трафик на входе (in) в канал отличается от трафика на выходе (out) из канала. Указанные
отличия можно объяснить кратковременным сглаживанием – загрузкой и разгрузкой
буферных накопителей.
Усредненное
по интервалу измерений время задержки в канале
= 0,514 х10-9 с
Пример
определения контуров в ИВС МЭИ их параметров.
1.
Определяем,
кто создает нагрузку на сеть.
Например,
выходной маршрутизатор ИВС МЭИ показывает нам, что у него есть следующие
потоки:
SrcIf
SrcIPaddress DstIf DstIPaddress Pr SrcP DstP Bytes
Gi0/0
193.233.67.41 Gi1/0* 178.216.8.22 11 C4FD E1D3 484M
Gi0/1
193.233.71.20 Gi1/0* 107.182.230.198 06 F2FD 0BB9 390M
Gi1/0
87.240.163.78 Gi0/0 193.233.69.12 06 01BB DF9C 190M
Gi0/0
193.233.67.41 Gi1/0* 95.86.236.147 1 C4FD 5305 157M
В
этой таблице вызывает вопрос третья строка.( 190M ?)
2.
Смотрим,
где в нашей сети находится сервер 193.233.69.12
Информация о коммутаторе
|
Параметр
|
Значение
|
Дата
|
2016-10-08
|
Время
|
16:25:01
|
Имя
коммутатора
|
Morozoff
switch
|
IP адрес
коммутатора
|
10.12.14.98
|
Тип
коммутатора
|
cisco
|
Описание
|
Cisco
IOS Software, Catalyst 4500 L3 Switch Software (cat4500e-IPBASE-M), Version
15.0(2)SG2, RELEASE SOFTWARE (fc3) Technical Support:
http://www.cisco.com/techsupport Copyright (c) 1986-2011 by Cisco Systems,
Inc. Compiled
Wed 07-Dec-11 20:14 by prod
|
Время
работы
|
123:7:01:54.83
|
VLAN Id
|
200
|
VLAN
Name
|
real-14
|
Interface
index
|
45
|
Interface
|
GigabitEthernet1/43
|
Interface
type
|
ethernetCsmacd
|
Interface
speed
|
100 000 000
|
Interface
admin status
|
up
|
Interface
oper status
|
up
|
Последнее
изменение интерфейса
|
28:8:46:30.77
|
Interswitch
link status
|
NO
|
MAC
адресов на интерфейсе
|
1
|
3.
Строим
контур от выходного маршрутизатора до порта GigabitEthernet1/43 коммутатора
10.12.14.98
Получим примерно следующее:
Core-17
(Gi3/13) – Core-17 (Po2) – Core-14(Po2) – Core-14(Gi4/21) – sw-oplf(gi1/0/1) –
sw-oplf(gi1/0/2) – i-pmr(gi1/48) – i-pmr(gi1/43)
4.
Определяем
нагрузку на входящие в контур коммутаторы (например для sw-oplf это 6% за последние 5
сек) и для линий связи (для sw-oplf(gi1/0/2) это:
5
minute input rate 157000 bits/sec, 161 packets/sec
5 minute output rate 3629000 bits/sec, 381 packets/sec
5.
В
результате мы видим весь контур в нашей части сети, который связывает сервер
87.240.163.78 с клиентом 193.233.69.12 и делаем вывод, что сейчас на
автосервисе МЭИ слушают музыку из ВКонтакте.
Весь этот процесс должен
делаться автоматически, по команде администратора. В данном контуре самым
нагруженным коммутатором является sw-oplf, самым нагруженным каналом (относительно)
интерфейс Gi3/13 коммутатора Core-17.
Построив контура для
всех 4-х строк, увидим что интерфейс Gi3/13 коммутатора Core-17 является самым
нагруженным ( => его надо апгрейдить) а наибольший вклад в его нагрузку
сейчас внес сервер 193.233.67.41, который подключен к порту
GigabitEthernet1/0/23 коммутатора server switch 1 в машзале ИВЦ. Данные по
потоку показывают, что это группа сопровождения пользователей ИВС МЭИ
записывает новые обновления.
Выводы
и рекомендации
Литература
1. Хорьков С.Н. ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ
СЕТИ НИУ «МЭИ»
(20-ЛЕТ СПУСТЯ) Электронный
журнал Вычислительные сети. Теория и практика ВC/NW 2015 № 2
(27):10.2
2.Абросимов Л.И. Базисные
методы проектирования и анализа сетей ЭВМ: учебное пособие / Л.И. Абросимов. –
М.: Университетская книга, 2015. – 248 с. – ISBN 978-5-98699-153-5
2.Базисные методы
проектирования и анализа сетей ЭВМ: учебное пособие / Л.И. Абросимов. – М.:
Университетская книга, 2015. – 248 с. – ISBN 978-5-98699-153-5