BC/NW 2016 № 1 (29): 11.1

АНАЛИЗ ПРОИЗВОДИТЕЛЬНОСТИ ЯДРА КОРПОРАТИВНОЙ ВЫЧИСЛИТЕЛЬНОЙ СЕТИ НИУ МЭИ

Абросимов Л.И., Тагирова М.А. Хорьков С.Н.

Национальный Исследовательский Университет «МЭИ» (НИУ МЭИ) сегодня – это один из крупнейших технических университетов России в области энергетики, электротехники, электроники, информатики, в котором обучается  28 тысяч студентов.

На фоне массового развития высших учебных заведений, Московский энергетический институт остается одним из ведущих учебных вузов страны. Современные технологии обучения, выполнение научных исследований и управления такой сложной многофункциональной системой невозможны без использования информационных технологий. Первые сети в институте были построены в конце 80-х годов и заработали в 1989 году.[1]

В рамках инновационной программы развития МЭИ в 2007-2008 гг. было перестроено ядро Информационной вычислительной сети (ИВС) МЭИ на основе оборудования Cisco Systems и технологий MPLS. Это дало уникальную возможность использовать физическую структуру сети для решения множества задач, создавая на базе ИВС МЭИ выделенные логические сети различного назначения.

Сейчас в Корпоративной Вычислительной Сети (КВС)НИУ МЭИ, связывающей 12 зданий,  насчитывается около 30000 пользователей. Постоянно работают в сети около 5000 компьютеров. Служба электронной почты поддерживает 10000 почтовых ящиков. Одним из достоинств ИВС МЭИ является то, что всем сотрудникам и студентам предоставляется персональный «ящик» электронной почты, с хорошим уровнем защиты от спама.

В настоящее время сотрудники МЭИ осуществляют не только эксплуатацию КВС НИУ МЭИ, но и  внедряют новые сервисы и осваивает новые технологии, в частности, технологии виртуальных машин. Новый многомашинный комплекс с виртуализацией ресурсов обеспечивает работу более 300 виртуальных серверов. Внедряется технология виртуальных рабочих столов, которая нашла широкое применение в учебном процессе. Системы виртуализации накладывают высокие требования к надежности работы сети и к системам хранения данных. На современной сетевой инфраструктуре разворачиваются системы электронного документооборота, распределенные системы хранения данных, системы видеоконференц-связи.

Разработка и модернизация, обеспечивающая эффективное функционирование региональных и корпоративных сетей ЭВМ, является сложным и трудоемким процессом, так как разработчику необходимо учитывать много критериев эффективности, большое количество ограничений, широкий спектр разнообразный устройств, каждое из которых обладает индивидуальным набором технических характеристик, которые часто зависят от местоположения и взаимосвязей с другими устройствами.

Таким образом, в настоящее время актуальными являются задачи:

·       поиска «узких мест» в корпоративной сети,

·        разработки предложений по модернизации структуры сети,

·       определение приоритетов для трафика,

·       выработка рекомендаций для перестроения структуры сети с использованием протокола STP.

Решение указанных задач невозможно без проведения комплексного  исследования и анализа параметров оценивающих качество функционирования КВС НИУ МЭИ.

Концепция технологии анализа производительности КВС НИУ МЭИ

Технические характеристики КВС НИУ "МЭИ:

·       Общее количество подключений к сети (включая сети подразделений и беспроводной сегмент) – 7300 устройств.

·       Подключено к сети – 3200 компьютеров.

·       Общее количество телекоммуникационного оборудования (коммутаторы, маршрутизаторы) – свыше 200 единиц.

·      Реализовано централизованное управление 120-ю коммутаторами и маршрутизаторами.

·       Пропускная способность линий связи внутри ядра сети (между корпусами МЭИ) – 4 Гбит/сек.

·       Пропускная способность основного канала связи с Интернет – 1 Гбит/сек.

·       Пропускная способность резервного канала связи с Интернет – 100 Мбит/сек.

·       Среднесуточный объем передаваемой/принимаемой информации – 350 Гбайт.

·      Общая протяженность кабельной сети – 110 км.

·       Протяженность оптических линий связи – 8000 м.

Выводы:

o      Исходя из большой размерности устройств и линий связи КВС НИУ МЭИ, целесообразно производить анализ производительности функционирующей сети по частям.

o      В качестве главного фрагмента КВС целесообразно в первую очередь исследовать Центральное ядро (ЦЯ), представленное на рис 1.

o      В качестве инструментальных средств исследования целесообразно использовать программный комплекс оценки производительности (ПКОП) , разработанный Хорьковым С.Н.

Состав и идентификация устройств и линий связи Центрального ядра КВС НИУ МЭИ

§       Коммутаторы 3-го уровня.

§       Маршрутизаторы

§       Оптические линии связи

Три коммутаторы 3-го уровня, имеющие сетевые имена  Core-13, Core-14, Core-17, соединенные оптоволоконными линиями связи, образуют высокоскоростное дуплексное кольцо, которое связывает виртуальные локальные сети (VILAN) корпусов между собой и с Internet.

Вход/выход  VILAN осуществляется через маршрутизаторы: Core- <корпус>

Подключение к Internet осуществляется через маршрутизаторы: Core-129, Core-146.

Каждому коммутатору 3-го уровня, кроме сетевого имени, присваивается IP адрес. Для описания маршрута используются точки входа/выхода, которые идентифицируются номером интерфейса. При этом вход коммутатора, соединенный с выходом канала связи идентифицируют как (in),а выход маршрутизатора, соединенный с входом канала связи идентифицируют как (out).

Например, Core-14.69. (in/ out)

 

 

Рис.1 Центральное ядро КВС НИУ МЭИ

По оптоволоконным линиям связи между машрутизаторами организуются  дуплексные каналы. Каждый канал определяется выходом одного маршрутизатора и входом другого (соседнего) маршрутизатора. Например, Core-14.69.in – Core-13.69. out

Идентификация трафика

Трафик, обрабатываемый устройствами КВС, оценивается количеством В единиц информации (битами, байтами, кадрами, MTU), передаваемым за временной интервал   (секунды , минуты, часы), где н – номер интервала.

Средняя интенсивность  трафика за временной интервал  определяется по соотношению:

Величина трафика зависит от местоположения устройств в структуре КВС.

Для обеспечения компактности символов математического описания параметров введем таблицу метаданных 1М, в которой каждому идентификатору точки входа/выхода коммутатора и маршрутизатора  ставится в соответствие порядковый номер i.

При измерении трафика в течение суток можно выделить интервал  в котором  принимает максимальное значение, то такой интервал называем интервалом с пиковой нагрузкой и . Пиковая нагрузка определяет напряженный режим работы КВС и требует проведение обязательного контроля в этом режиме работы.

 

Пропускная способность канала связи (бит/c), (Байт/с), (MTU/c)  характеризует интенсивность  обслуживания трафика

 

Таблица 1 Метаданных

 

Core13In55

Core13Out55

Core13In57

Core13Out57

Core13In89

Core13Out89

i,j

1

2

3

4

5

6

 

Core13In88

Core13Out88

Core13In90

Core13Out90

Core13In91

Core13Out91

i,j

7

8

9

10

11

12

 

 

Core14In69

Core14Out69

Core14In71

Core14Out71

Core14In82

Core14Out82

i,j

13

14

15

16

17

18

 

Core14In123

Core14Out123

Core14In153

Core14Out153

i,j

19

20

21

22

 

 

ore17In69

Core17Out69

Core17In71

Core17Out71

Core17In113

i,j

23

24

25

26

27

28

 

Core17Out113

Core17In121

Core17Out121

 

i,j

29

30

31

 

Задачи исследования производительности КВС

Формулировка задач исследования

Исследуется Центральное ядро КВС НИУ МЭИ, представленное на рис1.

Все контура считаем разомкнутыми.

Даже замкнутый контур клиент-сеть-сервер-сеть-клиент разбиваем на два – клиент-сеть-сервер и сервер-сеть-клиент.

В качестве математической модели канала связи КВС принимаем модель одноканальной системы массового обслуживания М/М/1/ 

 

Требуется определить:

·       пиковую интенсивность  трафика (ПИТ) на входах (in)  и выходах (out) коммутирующих узлов  во всех каналах ядра КВС;

·       время начала и конца интервала ПИТ для всех каналов ядра КВС;

·       коэффициенты загрузки  каналов   ядра КВС в режиме ПИТ;

·       отличия входящего в канал и выходящего из канала интенсивности  трафика в режиме ПИТ;

·       длительность задержки MTU в очереди на передачу по каналу  в режиме ПИТ;

·       количество  MTU в очереди на передачу по каналу  в режиме ПИТ;

·       определение пользователя КВС НИУ МЭИ, использующего не рекомендованный  источник информации

 

Соотношения для расчета характеристик

 

·       коэффициенты загрузки  каналов определяется по соотношению:

·       количество  MTU в очереди на передачу по каналу  в режиме ПИТ определяется по соотношению:

 =  

 

Суточные графики трафика в каналах связи ЦЯ

 

На суточных графиках нагрузки по оси абсцисс откладываем количество байт (октетов) переданных/принятых за интервал времени 10 минут. По оси абсцисс откладываем границы интервалов времени (чч.мм.сс).

Интервалы времени выбраны из условий удобства зрительного анализа исследователя, хотя разработанный программный комплекс оценки производительности (ПКОП) позволяет использовать интервалы микросекундные интервалы времени.

 

 

Рис2

 

Рис3

 

 

Рис4.

 

Выводы:

o      Трафик во всех каналов ЦЯ неравномерный, несмотря на его «сглаживание» из-за довольно большого интервала времени.

o      Начало интенсивного трафика, как правило, совпадает с началом рабочего дня, но окончан

 

Таблица пиковых нагрузок и рассчитанных параметров для каналов связи

 

Устройство

Пиковый трафик

Интервал измерений

Коэффициент загрузки(%)

Примечание

интерфейс

Соседний узел

За 10 мин

За 1 сек

начало

конец

Длитель

ность

 

 

 

Core13

Байты

MTU(/1,5КВ)

 бит

MTU

чч:мм :сс

 

чч:мм :сс

 

(сек)

 

 

In55

Core 14-69

2 741 304 530

 

1 827 536 353

36 550 727

30 458 942

10:20:01

 

10:30:01

 

600

 

 

Out55

Core 14-69

1 158 406 953

 

772 271 302

15 445 426

1 287 118

14:40:01

 

14:50:01

 

600

 

 

In57

Core 17-69

 

4 115 660 303

 

 

2 743 773 535

54 875 470

4 572 955

17:00:01

 

17:10:01

 

600

 

 

Out57

Core 17-69

3 384 376 691

 

2 256 251 127

45 125

022

3 760 418

16:40:01

 

16:50:01

 

600

 

 

In89

Корп Е

 

544 619 754

 

363 079 836

7 261 596

605 133

16:30:01

 

16:40:01

 

600

 

 

Out89

Корп Е

 

1 455 352 755

 

970 235 170

19 404 703

1 617 059

15:40:01

 

15:30:01

 

600

 

 

In88

Корп С

 

149 237 765

 

99 491 843

1 989 836

16 581 203

7:50:01

 

8:00:01

 

600

 

 

Out88

Корп С

 

467 009 708

 

311 339 805

6 226 796

518 900

 

13:30:01

 

13:40:01

 

600

 

 

In90

Корп М

1 588 949 094

 

1 059 299 396

21 185 987

176 500

19:10:01

 

19:20:01

 

600

 

 

Out90

Корп

М

4 025 006 192

 

2 683 337 461

53 666 749

4 472 229

9:40:01

 

9:50:02

 

600

 

 

In91

библ

110 802

 

73 868

1 477

123

14:30:01

 

14:40:01

 

600

 

 

Out91

библ

496 966

 

198 786

6 626

331

3:10:01

 

3:20:01

 

600

 

 

Core14

 

 

 

 

 

 

 

 

 

 

In69

Core 13-69

 

1 155 519 726

770 346 484

15 406 929

770 346 484

14:50:01

 

15:00:01

 

600

 

 

Out69

Core 13-69

2 892 356 409

 

1 928 237 606

38 564 752

32 137 294

13:10:01

 

13:20:01

 

600

 

 

In71

Core 17-71

 

1 106 446 410

 

737 630 940

14 752 618

1 229 385

16:00:01

 

16:10:01

 

600

 

 

Out71

Core 17-71

3 486 079 479

 

2 324 052 986

4 648 1059

3 873 422

13:50:01

 

14:00:01

 

600

 

 

In82

машзал

 

1 492 649 202

 

995 099 468

19 901 989

16 585 001

16:00:01

 

16:10:01

 

600

 

 

Out82

машзал

3 656 084 506

 

2 437 389 671

48 747 793

4 062 316

18:10:01

 

18:20:01

 

600

 

 

In123

Корп 14

2 742 829 619

 

1 828 553 079

36 571 061

3 047 588

3:30:01

 

3:40:01

 

600

 

 

Out123

Корп17

1 497 449 114

 

998 299 409

19 965 988

16 638 324

17:40:01

 

17:50:01

 

600

 

 

In153

Core 129

4 152 686 478

 

2 768 457 652

55 369 153

4 614 096

14:10:01

 

14:20:01

 

600

 

 

Out153

Core 129

 

2 874 700 045

 

1 916 466 697

38 329 333

3 194 111

3:20:01

 

3:30:01

 

600

 

 

Core17

 

 

 

 

 

 

 

 

 

 

In69

Core 13-69

1 928 060 431

 

1 285 373 621

25 707 472

2 142 289

19:40:01

 

19:50:01

 

600

 

 

Out69

Core 13-69

 

3 617 575 813

 

2 411 717 209

48 234 344

4 019 529

15:10:01

 

15:20:01

 

600

 

 

In71

Core 14-71

3 780 405 094

 

2 520 270 063

504 05 401

4 200 450

13:30:01

 

13:40:01

 

600

 

 

Out71

Core 14-71

 

1 656 922 904

 

1 104 615 269

22 092 305

1 841 025

15:50:01

 

16:00:01

 

600

 

 

In113

Корп17

1 681 791 727

 

1 121 194 485

22 423 889

1 868 657

14:20:01

 

14:30:01

 

600

 

 

Out113

Корп17

3 572 093 594

 

2 381 395 729

47 627 914

3 968 992

14:10:01

 

14:20:01

 

600

 

 

In121

Core 146

 

3 609 299 867

2 406 199 911

48 123 998

4 010 333

11:30:01

 

11:40:01

 

600

 

 

Out121

Core 146

 

2 138 420 007

1 425 613 338

28 512 266

2 376 022

11:30:01

 

11:40:01

 

600

 

 

 

Усредненный по интервалу измерений коэффициент загрузки самого загруженного канала Core14 In153 – Core128 out  равен 0,0276845765   (= 2 Гбит/с), следовательно все каналы могут качественно обслуживать поступающий трафик.

 

Средняя длина  очереди самого загруженного канала Core14 In153 – Core128 out  , усредненная по интервалу измерений равна 0,078825 MTU. Это свидетельствует о том, передаваемые блоки данных больших размеров, использующих максимальную пропускную способность канала передаются редко и появляющиеся очереди быстро «рассасывются».

 

Интервал измерений =600с является достаточно большим и существенно сглаживает трафик нагрузки, поэтому его следует использовать для определения областей пиковых нагрузок. Для выявленных областей следует производить измерения, используя укороченный интервал измерений.

Анализ полученных графиков нагрузки позволил установить, что в области пиковых нагрузок трафик на входе (in) в канал отличается от трафика на выходе (out) из канала. Указанные отличия можно объяснить кратковременным сглаживанием – загрузкой и разгрузкой буферных накопителей.

 

Усредненное по интервалу измерений время задержки в канале

       = 0,514 х10-9  с

 

Пример определения контуров в ИВС МЭИ их параметров.

1.     Определяем, кто создает нагрузку на сеть.

Например, выходной маршрутизатор ИВС МЭИ показывает нам, что у него есть следующие потоки:

SrcIf         SrcIPaddress    DstIf         DstIPaddress         Pr SrcP DstP         Bytes

Gi0/0         193.233.67.41   Gi1/0*    178.216.8.22         11 C4FD E1D3    484M

Gi0/1         193.233.71.20   Gi1/0*   107.182.230.198    06 F2FD 0BB9     390M

Gi1/0         87.240.163.78   Gi0/0       193.233.69.12      06 01BB DF9C     190M

Gi0/0         193.233.67.41   Gi1/0*     95.86.236.147       1 C4FD 5305       157M

В этой таблице вызывает вопрос третья строка.( 190M ?)

 

2.      Смотрим, где в нашей сети находится сервер 193.233.69.12

Информация о коммутаторе

Параметр

Значение

Дата

2016-10-08

Время

16:25:01

Имя коммутатора

Morozoff switch

IP адрес коммутатора

10.12.14.98

Тип коммутатора

cisco

Описание

Cisco IOS Software, Catalyst 4500 L3 Switch Software (cat4500e-IPBASE-M), Version 15.0(2)SG2, RELEASE SOFTWARE (fc3) Technical Support: http://www.cisco.com/techsupport Copyright (c) 1986-2011 by Cisco Systems, Inc. Compiled Wed 07-Dec-11 20:14 by prod

Время работы

123:7:01:54.83

VLAN Id

200

VLAN Name

real-14

Interface index

45

Interface

GigabitEthernet1/43

Interface type

ethernetCsmacd

Interface speed

100 000 000

Interface admin status

up

Interface oper status

up

Последнее изменение интерфейса

28:8:46:30.77

Interswitch link status

NO

MAC адресов на интерфейсе

1

 

3.     Строим контур от выходного маршрутизатора до порта GigabitEthernet1/43 коммутатора 10.12.14.98

Получим примерно следующее:

Core-17 (Gi3/13) – Core-17 (Po2) – Core-14(Po2) – Core-14(Gi4/21) – sw-oplf(gi1/0/1) – sw-oplf(gi1/0/2) – i-pmr(gi1/48) – i-pmr(gi1/43)

4.                                                           Определяем нагрузку на входящие в контур коммутаторы (например для sw-oplf это 6% за последние 5 сек) и для линий связи (для sw-oplf(gi1/0/2) это:

  5 minute input rate 157000 bits/sec, 161 packets/sec

  5 minute output rate 3629000 bits/sec, 381 packets/sec

 

5.                                                           В результате мы видим весь контур в нашей части сети, который связывает сервер 87.240.163.78 с клиентом 193.233.69.12 и делаем вывод, что сейчас на автосервисе МЭИ слушают музыку из ВКонтакте.

Весь этот процесс должен делаться автоматически, по команде администратора. В данном контуре самым нагруженным коммутатором является sw-oplf, самым нагруженным каналом (относительно) интерфейс Gi3/13 коммутатора Core-17.

Построив контура для всех 4-х строк, увидим что интерфейс Gi3/13 коммутатора Core-17 является самым нагруженным ( => его надо апгрейдить) а наибольший вклад в его нагрузку сейчас внес сервер 193.233.67.41, который подключен к порту GigabitEthernet1/0/23 коммутатора server switch 1 в машзале ИВЦ. Данные по потоку показывают, что это группа сопровождения пользователей ИВС МЭИ записывает новые обновления.

 

Выводы и рекомендации

 

Литература

1. Хорьков С.Н. ИНФОРМАЦИОННО-ВЫЧИСЛИТЕЛЬНОЙ СЕТИ НИУ «МЭИ»

(20-ЛЕТ СПУСТЯ) Электронный журнал Вычислительные сети. Теория и практика ВC/NW 2015 № 2 (27):10.2

2.Абросимов Л.И. Базисные методы проектирования и анализа сетей ЭВМ: учебное пособие / Л.И. Абросимов. – М.: Университетская книга, 2015. – 248 с. – ISBN 978-5-98699-153-5

 

2.Базисные методы проектирования и анализа сетей ЭВМ: учебное пособие / Л.И. Абросимов. – М.: Университетская книга, 2015. – 248 с. – ISBN 978-5-98699-153-5