Мониторинг трафика взаимодействия отраслевой телекоммуникационной сети сферы образования с ядром ИАИС  Минобразования России

 

Абросимов Л.И., д.т.н., проф, Трущенко М.А., асп., Беззубченко И.Л.

г. Москва, (МЭИ(ТУ))

E-mail: AbrosimovLI@mpei.ru

Белушкин С.Д., к.т.н., с.н.с., Демин О.В.,

г. Москва,  (ГосНИИСИ)

тел./факс (095) 237-66-84,  E-mail:integro@ministry.ru

 

Методика оценки сетевых параметров

Объектом исследования является корпоративная сеть (КС), которая содержит в своем составе рабочие станции пользователей, серверы и коммуникационные узлы, объединенные единой средой передачи данных. КС предоставляет пользователям в диалоговом режиме информацию, необходимую для выполнения функциональных обязанностей.

         Цель исследования состоит в получении количественных характеристик трафика КС, которые необходимы:

·        для определения характеристик производительности КС,

·        для определения перегруженности участков КС («узких мест»),

·        для выработки обоснованных решений по модернизации аппаратных и программных средств КС.

Методика оценки сетевых параметров

Методика предусматривает выполнение следующих этапов:

1.               - Анализ организации исследуемой КС.

·         Формирование состава измеряемых параметров.

·         Выбор и описание инструментальных средств для проведения измерений параметров.

·         Составление плана проведения измерения параметров.

·         Проведение измерений параметров.

2.               - Обработка результатов и расчет требуемых характеристик.

Анализ организации исследуемой КС позволит:

·        зарегистрировать состав пользователей и их привязку к функциональной структуре корпорации, (в каком отделе сколько пользователей) (в каком сегменте сколько рабочих станций),

·        зарегистрировать состав серверов и их функциональную ориентацию (какие базы данных и какие услуги предоставляет сервер), (в каком сегменте КС расположен сервер),

·        задокументировать структуру сегментов КС (как связаны сегменты между собой).

 

Формирование состава измеряемых параметров

Для определения понятия производительности КС используется система взаимосвязанных определений различной степени детальности, каждая из которых определяется показателями двух типов:

- производительность элементов каждого из узлов КС, которая оценивается:

множеством интервалов времени, которые затрачивает каждый элемент каждого обслуживающего узла при обработке транзакции соответствующего типа,

множеством интенсивностей обработки каждым элементом каждого обслуживающего узла транзакции соответствующего типа.

- производительность узлов КС, которая оценивается:

множеством интервалов времени, которые затрачивает каждый обслуживающий узел при обработке транзакции соответствующего типа,

множеством интенсивностей обработки каждым обслуживающим узлом транзакции соответствующего типа.

- комплексная производительность КС, которая оценивается:

·         множеством интервалов времени, которые затрачивает при обработке транзакции каждого рассматриваемого типа соответствующий набор обслуживающих узлов,

·         множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов.

- рабочая производительность КС, которая оценивается:

·        - множеством интервалов времени, которые затрачивает при обработке транзакции каждого рассматриваемого типа соответствующий набор обслуживающих узлов при известном соотношении типов транзакций, составляющих рабочий трафик,

·        - множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов при известном соотношении типов транзакций, составляющих рабочий трафик.

- пиковая производительность КС, которая оценивается:

·         множеством интервалов времени, которые затрачивает при обработке транзакций каждого рассматриваемого типа транзакции соответствующий набор обслуживающих узлов при известном соотношении типов транзакций, составляющих пиковый трафик нагрузки,

·         множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов при известном соотношении типов транзакций составляющих пиковый трафик нагрузки.

- предельная производительность КС, которая оценивается:

множеством интервалов времени, которые затрачивает при обработке транзакций каждого рассматриваемого типа соответствующий набор обслуживающих узлов при известном соотношении типов транзакций, составляющих пиковый трафик нагрузки, и предельной нагрузке в одном из обслуживающих узлов КС.

·         множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов при известном соотношении типов транзакций, составляющих пиковый трафик нагрузки, и предельной нагрузке в одном из обслуживающих узлов КС.

 

Приведенная классификация производительностей КС основана на разбиении диалогового (замкнутого) потока транзакций сетевого трафика по различным контурам.

Каждый контур сетевого трафика определяется:

·         идентификаторами пользователя и сервера,

·         типом обработки в сервере,

·         идентификаторами транзитных коммутирующих узлов.

Пользователи в различные интервалы времени могут начинать и отменять трафик для функционирования различных контуров. Следовательно, каждый пользователь в разное время может быть участником различных контуров.

 

Таким образом, в результате измерений необходимо:

·        определить и идентифицировать перечень всех контуров КС,

·        установить, в каких контурах участвует каждый пользователь,

·        измерить на канальном уровне интенсивности трафика для каждого контура (среднечасовую, среднесуточную, средненедельную, среднемесячную),

·        измерить интенсивность служебного сетевого трафика на канальном уровне в каждом сегменте,

·        измерить длину кадра на канальном уровне и количество кадров в каждом кадре пользователя для контуров всех типов.

 

Выбор и описание инструментальных средств для проведения измерений параметров

Инструментальные средства для обеспечения измерений должны обеспечивать выполнение следующих требований:

·         точность фиксирования в микросекундах времени поступления каждого кадра в соответствующий канал,

·         фиксацию и хранение информации заголовков всех уровней для каждого кадра и время поступления кадра,

·         возможность проводить измерения во всех сегментах КС,

·         возможность проводить измерения одновременно в нескольких сегментах,

·         возможность организации наполнения и хранения дампа с информацией заголовков при определении среднечасовой, среднесуточной, средненедельной, среднемесячной информации о трафике,

 

Составление плана проведения измерения параметров

При составлении плана проведения экспериментальных исследований следует учитывать, что измерения должны производиться на функционирующей сети, и поэтому перед началом плановых измерений необходимо провести комплексную апробацию инструментальных средств.

Планы проведения измерений составляются отдельно для определения характеристик среднечасового, среднесуточного, средненедельного, среднемесячного трафика каждого контура.

В каждом плане исследований необходимо предусмотреть:

·         достаточный объем памяти для оперативной фиксации дампа,

·         возможность перезаписи дампа в базу данных для последующей обработки.

Формат дампа и базы данных выбирается с учетом возможностей выбранных инструментальных средств для проведения измерений.

 

Проведение измерений параметров

Начинать проведения измерений параметров трафика следует с фиксирования данных для определения среднечасового трафика. На этом этапе необходимо провести оценку максимально возможного объема дампа и установить оценки – какому интервалу времени функционирования КС соответствует этот дамп.

В связи с тем, что при первых измерениях могут отсутствовать даже предварительные количественные оценки, может происходить потеря информации. Проведение таких «пилотных» исследований, может потребовать корректировки плана исследований.

При проведении последующих измерений для определения характеристик пикового среднесуточного, пикового средненедельного, пикового среднемесячного трафика каждого контура из условий требуемой точности, а также учитывая измеренную «пиковость» трафика, выбирается интервал сканирования измерений.

 

Обработка результатов и расчет требуемых характеристик

Для приведенной системы производительностей КС предложена система математических соотношений, выведенных для ассоциации одноканальных СМО, каждая из которых соответствует узлу КС (серверу, коммуникационному узлу, каналу, абонентской станции)

Основой для вычисления оценок производительности КС является метод контуров, содержащий следующие этапы:

·        описание структуры вычислительной сети,

·        описание функциональной схемы вычислительной сети,

·        представление графовой модели вычислительной сети,

·        составление линейных уравнений баланса,

·        составление нелинейных уравнений баланса,

·        решение линейных уравнений баланса,

·        решение нелинейных уравнений баланса,

·        определение функциональных характеристик КС.

 

Определение нормативных параметров трафика КС осуществляется на основе обработки экспериментальных данных, полученных на функционирующих сегментах КС, для этого проводится:

·         измерение характеристик трафика для функционирующей КС и при этом фиксируется тип выполняемой функции и количество работающих пользователей;

·         статистическая обработка результатов измерения трафика для определения значений рабочего трафика и пикового трафика для разных типов функций;

·         обработка измеренных значений трафика для классификации типовых контуров, составляющих трафик, и формирование на этой основе нормативно-справочных данных

 

Реализованные разработки являются методологической основой, чтобы выполнить:

·        анализ информационно-управляющих потоков и коммуникационной инфраструктуры взаимообмена между объектами управления в системе образования,

·        оценку аппаратно-программной оснащенности  ядра КС и отраслевой  телекоммуникационной сети сферы образования. 

 

3.  Проведение измерения сетевых параметров коммуникационной инфраструктуры Ядра ИАИС

 

Организация измерений

Измерения проводились с целью:

·        проверки работоспособности разработанного программного комплекса,

·        оценки характеристик реального трафика взаимодействия Ядра администрирования с коммуникационной сетью ИАИС.

Чтобы реализовать поставленные цели, в качестве точки измерения был выбран выход Firewall, использующий канал Fast Ethernet 100M, через который центральный сегмент ИАИС подключен к междугороднему узлу связи ММТС-9.

Измеряющий компьютер использовал интерфейс - Intel PRO/1000 Server Adapter.

Измерения проводились 20 ноября 2003 г, начало измерений - 11:25:36, конец измерений- 18:15:00.

Измерения производились с помощью разработанного модуля NetDump

Зарегистрировано количество пакетов - 10 448 934

Размер дампа - 816 322 КБ

 

Результаты измерения сетевых параметров

В результате измерений было зафиксировано  10 448 934 пакетов канального уровня.

После того, как данные о сетевом трафике канального уровня были собраны и сохранены в файл Default11.net, с помощью модуля NetDump можно проводить тестирование модуля PacketAnalyzer.

Так как модуль PacketAnalyzer не работает в режиме реального времени, то для его работы не требуется компьютер большой мощности. Однако, нужно отметить, что модуль работает с большими массивами информации (сотни мегабайт), полученными из сети, и для того, чтобы время его работы не становилось слишком большим, следует обеспечить компьютер достаточным количеством оперативной памяти (≥128 МБ).

При помощи модуля NetDump был получен файл Default11.net размером 816 322 КБайт с информацией о сетевом трафике. После этого файл был загружен в  PacketAnalyzer.

Модуль PacketAnalyzer проанализировал файл Default11.net.

Измерения проводились в реальном времени, а для выявления часа наибольшей нагрузки (ЧНН), вычислены минутные интервалы времени, данные о которых представлены на рисунке 1 и в таблице 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рисунок 1 - Диаграмма распределения объема трафика по времени

 

Таблица 1 - Объем трафика между Ядром ИАИС и ММТС-9 для выявления ЧНН

ЧНН	№ минуты	Объём, Б	*	136	7298740		273	18403578
11.25.36	0	0	*	137	10115685		274	17600860
	1	3216	*	138	10302034	15.00	275	16310320
	2	3060	*	139	9387310		276	12691607
	3	3588	*	140	11054679		277	14327877
	4	10740	*	141	11728156		278	16467347
	5	5538	*	142	5402548		279	15587099
	6	11244	*	143	6172250		280	17319179
	7	4188	*	144	6433803		281	13493663
	8	8713	*	145	7811626		282	19160970
	9	3120	*	146	7623875		283	20974365
	10	3120	*	147	12474081		284	16543051
	11	3579	*	148	11195682		285	16476723
	12	3060	*	149	11508524		286	15674806
	13	3120	*	150	21575914		287	18741467
	14	3120	*	151	11303470		288	16323649
	15	3060	*	152	15738429		289	16212941
	16	3396	*	153	16477127		290	18703845
	17	3060	*	154	18098908		291	15851803
	18	2138413	13.00*	155	20954894		292	18428773
	19	13974191	*	156	16893267		293	23061326
	20	17959881		157	29284843		294	16007219
	21	16614834		158	27476349		295	14140605
	22	12786386		159	11054501		296	8786242
	23	20760935		160	19753265		297	9535268
	24	14850801		161	28573629		298	11139489
	25	15138484		162	18603693		299	8355377
	26	13293860		163	11687409		300	9490032
	27	14714934		164	26496217		301	10030501
	28	9785574		165	20516452		302	12453201
	29	13717188		166	14408028		303	22022374
	30	12868727		167	9844911		304	10646140
	31	9621374		168	17017596		305	10259633
	32	9112360		169	11158811		306	10821778
	33	10547832		170	7543761		307	17592614
	34	8470743		171	23572512		308	23377465
12.00	35	7027036		172	19049077		309	20602406
	36	13457755		173	12868353		310	14099209
	37	6913923		174	9792714		311	14484839
	38	11312247		175	28702049		312	16247175
	39	17671939		176	18183429		313	13839826
	40	16977305		177	8317170		314	11817921
	41	15029959		178	10520597		315	13537794
	42	12406357		179	11246743		316	15745295
	43	13724230		180	17590497		317	18421069
	44	10988000		181	20106205		318	14038400
	45	5712642		182	17135247		319	12172635
	46	5357516		183	18191969		320	17560706
	47	12632682		184	19906222		321	13815986
	48	7379735		185	16365197		322	10393935
	49	5740027		186	22916482		323	13282770
	50	6473898		187	26871992		324	13570701
	51	6017649		188	25361041		325	17127719
	52	6606146		189	21421195		326	15952758
	53	7026671		190	11695281		327	14093580
	54	7541565		191	12381181		328	12993266
	55	5893894		192	14047581		329	16823401
	56	7811626		193	17003424		330	11735377
	57	5593937		194	14785979		331	12120930
	58	5921214		195	18629184		332	12558644
	59	5343745		196	16215614		333	9798030
	60	6181231		197	16932204		334	22977652
	61	4922205		198	17414994	16.00	335	37574124
	62	4640868		199	21100913		336	37929727
	63	5108283		200	21277529		337	18315463
	64	6401630		201	21686011		338	20375278
	65	5759539		202	15935174		339	15044647
	66	5863890		203	15118612		340	24716275
	67	4840817		204	13208476		341	21074649
	68	6177030		205	21925038		342	22437259
	69	7348744		206	14849162		343	12648289
	70	6163085		207	16782682		344	13288401
	71	6210909		208	16381780		345	17049853
	72	5480383		209	17080365		346	21683343
	73	8987656		210	17110423		347	17970633
	74	7048845		211	20862711		348	15941842
	75	6158450		212	26708064		349	15731663
	76	5048421		213	29722813		350	14510910
	77	5733005		214	26394871		351	13252658
	78	5963260	15.00	215	22304377		352	13495773
	79	8268031		216	15687687		353	13334751
	80	7585642		217	16760194		354	16476878
	81	6669941		218	17151788		355	19422080
	82	7035686		219	16379908		356	15312265
	83	9070192		220	19561686		357	17522681
	84	9519961		221	17545285		358	14000915
	85	9372327		222	11737337		359	14049734
	86	15780312		223	11879990		360	15698197
	87	9348829		224	15847835		361	16063837
	88	8846353		225	12635793		362	12479862
	89	5444425		226	10283617		363	11627122
	90	4040379		227	11024531		364	9004634
	91	6410612		228	11574807		365	14088359
	92	5145627		229	11918511		366	12298135
	93	4727912		230	11214180		367	11573878
	94	6967749		231	9681829		368	10061626
13.00	95	12404694		232	9360366		369	8781250
	96	12353149		233	11012163		370	11303127
	97	12293935		234	12724688		371	18918867
	98	11341133		235	12622504		372	9818862
	99	39440353		236	15056039		373	40963235
*	100	62895880		237	15272395		374	54045644
*	101	64288267		238	13410002		375	51412459
*	102	60852190		239	12342738		376	55082236
*	103	52967898		240	14629602		377	54769927
*	104	57719121		241	17422229		378	53731576
*	105	63566330		242	14830162		379	53474046
*	106	64888586		243	12980103		380	50316183
*	107	63226576		244	19626888		381	7654901
*	108	62786365		245	11922726		382	7295302
*	109	64062542		246	13660277		383	9308430
*	110	64014179		247	11986095		384	8712942
*	111	63084305		248	10792305		385	9135877
*	112	56560232		249	12834945		386	10411216
*	113	7228970		250	15970606		387	11705521
*	114	9383362		251	14386728		388	12624216
*	115	12698524		252	13665387		389	10480392
*	116	19673672		253	11440957		390	9312836
*	117	16071740		254	13592059		391	9890348
*	118	12354718		255	11040815		392	11274912
*	119	10142671		256	10135312		393	11214436
*	120	10739264		257	10251280		394	9809739
*	121	9658456		258	11063590	18.00	395	9675833
*	122	11148156		259	12517997		396	10552829
*	123	9092769		260	10568067		397	9981296
*	124	8876264		261	10208195		398	10541336
*	125	5620651		262	11619701		399	10957285
*	126	17320841		263	11312604		400	8148992
*	127	18592324		264	9600669		401	8846389
*	128	15745913		265	11244849		402	6220405
*	129	21426520		266	13510631		403	7740337
*	130	19154402		267	15692634		404	7496998
*	131	13677026		268	12407253		405	6678143
*	132	14542695		269	12746963		406	5827344
*	133	10480185		270	13520847		407	7496490
*	134	10170394		271	13439128		408	7609827
*	135	8903418		272	17057569	18.15	409	3861

 

1.                 Анализ трафика, представленного на рисунке 1 и в таблице 1 показывает, что канал наиболее загружен с 13.08 до 13.25, т.е. в качестве ЧНН наблюдается наибольшая загрузка канала, которая составляет 64 000 000 байт в минуту (8,5 Мбит/сек)  ЧНН на рисунке 1 и в таблице 1. выделены другим цветом.

 

 

Проведенный анализ измеренного трафика позволил установить, что основу трафика составляют IP-пакеты, смотри таблицу 2.

Таблица 2 Статистика по Ethernet-кадрам

Тип	Кол-во	Объём	Доля
IP	10 398 936	1 871 904 340	0,99842
ARP	9 373	528 072	0,00028
IPX	0	0	0
Другие	40 627	2 437 888	0,0013

 

Кроме того, на основании анализ длины кадров в канале связи, (смотри таблицу 3) можно отметить в канале достаточно большое количество «коротких » кадров. (более 50% по количеству).

Таблица 3 - Статистика по размерам канальных кадров

Статистика по размерам
Размер	Кол-во
<64	4 664 533
64 - 128	1 479 995
128 - 256	294 583
256 - 512	416 869
512 - 1024	336 819
1024 - 1536	4 035 557

 

Предложения и рекомендации по модернизации коммуникационной инфраструктуры Ядра ИАИС

В результате проведенного анализа установлено, что в настоящее время канал между Ядром ИАИС и ММТС-9 имеет запас по пропускной способности, так как в ЧНН используется около 10% его пропускной способности. Однако, учитывая, что в настоящее время:

·         большое внимание уделяется созданию специализированных баз данных в Едином серверном центре,

·         стремительно растет количество пользователей в связи с работами по созданию Единой Образовательной Информационной среды.

Измерения проведены только в одном канале ИАИС, чтобы иметь более полную информацию о состоянии и загруженности коммуникационных средста ИАИС следует провести измерения в других ключевых узлах ИАИС, которыми могут являться:

·         узлы центрального сегмента ИАИС ,

·         региональные центры,

·        серверы коллективного доступу, обслуживающие большое количество пользователей.

Измерения проведены в течение одного рабочего дня. Однако, чтобы делать статистически обоснованные выводы, следует провести измерения в разные дни недели и в различные месяцы.

2. В процессе измерений зафиксировано наличие большого количества коротких кадров, которые используются в протоколах управления и при коллизиях. Они «тормозят» нормальный трафик, поэтому необходимо провести дополнительные исследования, чтобы установить их причину.

 

Литература

1. Феррари Д. Оценка производительности вычислительных систем. – М.:Мир, 1981. 576 с.

2. Танненбаум Э. Компьютерные сети. СПб.: Питер 2002, 848 с.

3. Glenn Herrin. Linux IP Networking. A guide to the implementation and
modification of the Linux protocol stack, http://www.kernelnewbies.org/documents/ipnetworking/linuxipnetworking.html

4. Ivan Bowman. Conceptual architecture of the Linux kernel,

http://www.grad.math.uwaterloo.ca/~itbowman/CS746G/a1/

5. Ivan Bowman, Saheem Siddiqi, Meyer C. Tanuan. Concrete architecture of the Linux kernel, http://plg.uwaterloo.ca/~itbowman/CS746G/a2

6. http://www.opersys.com/LTT.html

7. Абросимов Л.И. Анализ и проектирование вычислительных сетей: Учебное пособие - М.:, Изд-во МЭИ. 2000. - 52 с

8 Lehr- und Uebungsbuch Telematik /Hrsg. Gerhard Kruger ; Dietrich Reschke. Autoren Leonid I. Abrosimov, Jorg Deutschmann, Werner Horn, Holger Reif, Dietrich Reschke, Jochen Schiller, Jochen Seitz. Muenchen; Wien:Fachbucherverl. Leipzig im Carl-Hanser-Verl., 2000.S 85-98(412 s)

9. Абросимов Л.И. Основные положения теории производительности вычислительных сетей. Вестник МЭИ, 2001, № 4, Издательство МЭИ, М.:70-75 с.

10. Абросимов Л.И.Проблемы оценки производительности вычислительных сетей. Электронный журнал «Вычислительные сети. Теория и практика»

BC/NW 2003г., №1(3)/ раздел7, статья 1 http://network-journal.mpei.ac.ru