Мониторинг трафика взаимодействия отраслевой телекоммуникационной сети сферы образования с ядром ИАИС  Минобразования России

 

Абросимов Л.И., д.т.н., проф, Трущенко М.А., асп., Беззубченко И.Л.

г. Москва, (МЭИ(ТУ))

E-mail: AbrosimovLI@mpei.ru

Белушкин С.Д., к.т.н., с.н.с., Демин О.В.,

г. Москва,  (ГосНИИСИ)

тел./факс (095) 237-66-84,  E-mail:integro@ministry.ru

 

Методика оценки сетевых параметров

Объектом исследования является корпоративная сеть (КС), которая содержит в своем составе рабочие станции пользователей, серверы и коммуникационные узлы, объединенные единой средой передачи данных. КС предоставляет пользователям в диалоговом режиме информацию, необходимую для выполнения функциональных обязанностей.

         Цель исследования состоит в получении количественных характеристик трафика КС, которые необходимы:

·        для определения характеристик производительности КС,

·        для определения перегруженности участков КС («узких мест»),

·        для выработки обоснованных решений по модернизации аппаратных и программных средств КС.

Методика оценки сетевых параметров

Методика предусматривает выполнение следующих этапов:

1.               - Анализ организации исследуемой КС.

·         Формирование состава измеряемых параметров.

·         Выбор и описание инструментальных средств для проведения измерений параметров.

·         Составление плана проведения измерения параметров.

·         Проведение измерений параметров.

2.               - Обработка результатов и расчет требуемых характеристик.

Анализ организации исследуемой КС позволит:

·        зарегистрировать состав пользователей и их привязку к функциональной структуре корпорации, (в каком отделе сколько пользователей) (в каком сегменте сколько рабочих станций),

·        зарегистрировать состав серверов и их функциональную ориентацию (какие базы данных и какие услуги предоставляет сервер), (в каком сегменте КС расположен сервер),

·        задокументировать структуру сегментов КС (как связаны сегменты между собой).

 

Формирование состава измеряемых параметров

Для определения понятия производительности КС используется система взаимосвязанных определений различной степени детальности, каждая из которых определяется показателями двух типов:

- производительность элементов каждого из узлов КС, которая оценивается:

множеством интервалов времени, которые затрачивает каждый элемент каждого обслуживающего узла при обработке транзакции соответствующего типа,

множеством интенсивностей обработки каждым элементом каждого обслуживающего узла транзакции соответствующего типа.

- производительность узлов КС, которая оценивается:

множеством интервалов времени, которые затрачивает каждый обслуживающий узел при обработке транзакции соответствующего типа,

множеством интенсивностей обработки каждым обслуживающим узлом транзакции соответствующего типа.

- комплексная производительность КС, которая оценивается:

·         множеством интервалов времени, которые затрачивает при обработке транзакции каждого рассматриваемого типа соответствующий набор обслуживающих узлов,

·         множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов.

- рабочая производительность КС, которая оценивается:

·        - множеством интервалов времени, которые затрачивает при обработке транзакции каждого рассматриваемого типа соответствующий набор обслуживающих узлов при известном соотношении типов транзакций, составляющих рабочий трафик,

·        - множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов при известном соотношении типов транзакций, составляющих рабочий трафик.

- пиковая производительность КС, которая оценивается:

·         множеством интервалов времени, которые затрачивает при обработке транзакций каждого рассматриваемого типа транзакции соответствующий набор обслуживающих узлов при известном соотношении типов транзакций, составляющих пиковый трафик нагрузки,

·         множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов при известном соотношении типов транзакций составляющих пиковый трафик нагрузки.

- предельная производительность КС, которая оценивается:

множеством интервалов времени, которые затрачивает при обработке транзакций каждого рассматриваемого типа соответствующий набор обслуживающих узлов при известном соотношении типов транзакций, составляющих пиковый трафик нагрузки, и предельной нагрузке в одном из обслуживающих узлов КС.

·         множеством интенсивностей обработки транзакций каждого рассматриваемого типа соответствующим набором обслуживающих узлов при известном соотношении типов транзакций, составляющих пиковый трафик нагрузки, и предельной нагрузке в одном из обслуживающих узлов КС.

 

Приведенная классификация производительностей КС основана на разбиении диалогового (замкнутого) потока транзакций сетевого трафика по различным контурам.

Каждый контур сетевого трафика определяется:

·         идентификаторами пользователя и сервера,

·         типом обработки в сервере,

·         идентификаторами транзитных коммутирующих узлов.

Пользователи в различные интервалы времени могут начинать и отменять трафик для функционирования различных контуров. Следовательно, каждый пользователь в разное время может быть участником различных контуров.

 

Таким образом, в результате измерений необходимо:

·        определить и идентифицировать перечень всех контуров КС,

·        установить, в каких контурах участвует каждый пользователь,

·        измерить на канальном уровне интенсивности трафика для каждого контура (среднечасовую, среднесуточную, средненедельную, среднемесячную),

·        измерить интенсивность служебного сетевого трафика на канальном уровне в каждом сегменте,

·        измерить длину кадра на канальном уровне и количество кадров в каждом кадре пользователя для контуров всех типов.

 

Выбор и описание инструментальных средств для проведения измерений параметров

Инструментальные средства для обеспечения измерений должны обеспечивать выполнение следующих требований:

·         точность фиксирования в микросекундах времени поступления каждого кадра в соответствующий канал,

·         фиксацию и хранение информации заголовков всех уровней для каждого кадра и время поступления кадра,

·         возможность проводить измерения во всех сегментах КС,

·         возможность проводить измерения одновременно в нескольких сегментах,

·         возможность организации наполнения и хранения дампа с информацией заголовков при определении среднечасовой, среднесуточной, средненедельной, среднемесячной информации о трафике,

 

Составление плана проведения измерения параметров

При составлении плана проведения экспериментальных исследований следует учитывать, что измерения должны производиться на функционирующей сети, и поэтому перед началом плановых измерений необходимо провести комплексную апробацию инструментальных средств.

Планы проведения измерений составляются отдельно для определения характеристик среднечасового, среднесуточного, средненедельного, среднемесячного трафика каждого контура.

В каждом плане исследований необходимо предусмотреть:

·         достаточный объем памяти для оперативной фиксации дампа,

·         возможность перезаписи дампа в базу данных для последующей обработки.

Формат дампа и базы данных выбирается с учетом возможностей выбранных инструментальных средств для проведения измерений.

 

Проведение измерений параметров

Начинать проведения измерений параметров трафика следует с фиксирования данных для определения среднечасового трафика. На этом этапе необходимо провести оценку максимально возможного объема дампа и установить оценки – какому интервалу времени функционирования КС соответствует этот дамп.

В связи с тем, что при первых измерениях могут отсутствовать даже предварительные количественные оценки, может происходить потеря информации. Проведение таких «пилотных» исследований, может потребовать корректировки плана исследований.

При проведении последующих измерений для определения характеристик пикового среднесуточного, пикового средненедельного, пикового среднемесячного трафика каждого контура из условий требуемой точности, а также учитывая измеренную «пиковость» трафика, выбирается интервал сканирования измерений.

 

Обработка результатов и расчет требуемых характеристик

Для приведенной системы производительностей КС предложена система математических соотношений, выведенных для ассоциации одноканальных СМО, каждая из которых соответствует узлу КС (серверу, коммуникационному узлу, каналу, абонентской станции)

Основой для вычисления оценок производительности КС является метод контуров, содержащий следующие этапы:

·        описание структуры вычислительной сети,

·        описание функциональной схемы вычислительной сети,

·        представление графовой модели вычислительной сети,

·        составление линейных уравнений баланса,

·        составление нелинейных уравнений баланса,

·        решение линейных уравнений баланса,

·        решение нелинейных уравнений баланса,

·        определение функциональных характеристик КС.

 

Определение нормативных параметров трафика КС осуществляется на основе обработки экспериментальных данных, полученных на функционирующих сегментах КС, для этого проводится:

·         измерение характеристик трафика для функционирующей КС и при этом фиксируется тип выполняемой функции и количество работающих пользователей;

·         статистическая обработка результатов измерения трафика для определения значений рабочего трафика и пикового трафика для разных типов функций;

·         обработка измеренных значений трафика для классификации типовых контуров, составляющих трафик, и формирование на этой основе нормативно-справочных данных

 

Реализованные разработки являются методологической основой, чтобы выполнить:

·        анализ информационно-управляющих потоков и коммуникационной инфраструктуры взаимообмена между объектами управления в системе образования,

·        оценку аппаратно-программной оснащенности  ядра КС и отраслевой  телекоммуникационной сети сферы образования. 

 

3.  Проведение измерения сетевых параметров коммуникационной инфраструктуры Ядра ИАИС

 

Организация измерений

Измерения проводились с целью:

·        проверки работоспособности разработанного программного комплекса,

·        оценки характеристик реального трафика взаимодействия Ядра администрирования с коммуникационной сетью ИАИС.

Чтобы реализовать поставленные цели, в качестве точки измерения был выбран выход Firewall, использующий канал Fast Ethernet 100M, через который центральный сегмент ИАИС подключен к междугороднему узлу связи ММТС-9.

Измеряющий компьютер использовал интерфейс - Intel PRO/1000 Server Adapter.

Измерения проводились 20 ноября 2003 г, начало измерений - 11:25:36, конец измерений- 18:15:00.

Измерения производились с помощью разработанного модуля NetDump

Зарегистрировано количество пакетов - 10 448 934

Размер дампа - 816 322 КБ

 

Результаты измерения сетевых параметров

В результате измерений было зафиксировано  10 448 934 пакетов канального уровня.

После того, как данные о сетевом трафике канального уровня были собраны и сохранены в файл Default11.net, с помощью модуля NetDump можно проводить тестирование модуля PacketAnalyzer.

Так как модуль PacketAnalyzer не работает в режиме реального времени, то для его работы не требуется компьютер большой мощности. Однако, нужно отметить, что модуль работает с большими массивами информации (сотни мегабайт), полученными из сети, и для того, чтобы время его работы не становилось слишком большим, следует обеспечить компьютер достаточным количеством оперативной памяти (≥128 МБ).

При помощи модуля NetDump был получен файл Default11.net размером 816 322 КБайт с информацией о сетевом трафике. После этого файл был загружен в  PacketAnalyzer.

Модуль PacketAnalyzer проанализировал файл Default11.net.

Измерения проводились в реальном времени, а для выявления часа наибольшей нагрузки (ЧНН), вычислены минутные интервалы времени, данные о которых представлены на рисунке 1 и в таблице 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


Рисунок 1 - Диаграмма распределения объема трафика по времени

 


Таблица 1 - Объем трафика между Ядром ИАИС и ММТС-9 для выявления ЧНН

ЧНН

№ минуты

Объём, Б

*

136

7298740

 

273

18403578

11.25.36 

0

0

*

137

10115685

 

274

17600860

 

1

3216

*

138

10302034

15.00 

275

16310320

 

2

3060

*

139

9387310

 

276

12691607

 

3

3588

*

140

11054679

 

277

14327877

 

4

10740

*

141

11728156

 

278

16467347

 

5

5538

*

142

5402548

 

279

15587099

 

6

11244

*

143

6172250

 

280

17319179

 

7

4188

*

144

6433803

 

281

13493663

 

8

8713

*

145

7811626

 

282

19160970

 

9

3120

*

146

7623875

 

283

20974365

 

10

3120

*

147

12474081

 

284

16543051

 

11

3579

*

148

11195682

 

285

16476723

 

12

3060

*

149

11508524

 

286

15674806

 

13

3120

*

150

21575914

 

287

18741467

 

14

3120

*

151

11303470

 

288

16323649

 

15

3060

*

152

15738429

 

289

16212941

 

16

3396

*

153

16477127

 

290

18703845

 

17

3060

*

154

18098908

 

291

15851803

 

18

2138413

13.00*

155

20954894

 

292

18428773

 

19

13974191

*

156

16893267

 

293

23061326

 

20

17959881

 

157

29284843

 

294

16007219

 

21

16614834

 

158

27476349

 

295

14140605

 

22

12786386

 

159

11054501

 

296

8786242

 

23

20760935

 

160

19753265

 

297

9535268

 

24

14850801

 

161

28573629

 

298

11139489

 

25

15138484

 

162

18603693

 

299

8355377

 

26

13293860

 

163

11687409

 

300

9490032

 

27

14714934

 

164

26496217

 

301

10030501

 

28

9785574

 

165

20516452

 

302

12453201

 

29

13717188

 

166

14408028

 

303

22022374

 

30

12868727

 

167

9844911

 

304

10646140

 

31

9621374

 

168

17017596

 

305

10259633

 

32

9112360

 

169

11158811

 

306

10821778

 

33

10547832

 

170

7543761

 

307

17592614

 

34

8470743

 

171

23572512

 

308

23377465

12.00 

35

7027036

 

172

19049077

 

309

20602406

 

36

13457755

 

173

12868353

 

310

14099209

 

37

6913923

 

174

9792714

 

311

14484839

 

38

11312247

 

175

28702049

 

312

16247175

 

39

17671939

 

176

18183429

 

313

13839826

 

40

16977305

 

177

8317170

 

314

11817921

 

41

15029959

 

178

10520597

 

315

13537794

 

42

12406357

 

179

11246743

 

316

15745295

 

43

13724230

 

180

17590497

 

317

18421069

 

44

10988000

 

181

20106205

 

318

14038400

 

45

5712642

 

182

17135247

 

319

12172635

 

46

5357516

 

183

18191969

 

320

17560706

 

47

12632682

 

184

19906222

 

321

13815986

 

48

7379735

 

185

16365197

 

322

10393935

 

49

5740027

 

186

22916482

 

323

13282770

 

50

6473898

 

187

26871992

 

324

13570701

 

51

6017649

 

188

25361041

 

325

17127719

 

52

6606146

 

189

21421195

 

326

15952758

 

53

7026671

 

190

11695281

 

327

14093580

 

54

7541565

 

191

12381181

 

328

12993266

 

55

5893894

 

192

14047581

 

329

16823401

 

56

7811626

 

193

17003424

 

330

11735377

 

57

5593937

 

194

14785979

 

331

12120930

 

58

5921214

 

195

18629184

 

332

12558644

 

59

5343745

 

196

16215614

 

333

9798030

 

60

6181231

 

197

16932204

 

334

22977652

 

61

4922205

 

198

17414994

16.00 

335

37574124

 

62

4640868

 

199

21100913

 

336

37929727

 

63

5108283

 

200

21277529

 

337

18315463

 

64

6401630

 

201

21686011

 

338

20375278

 

65

5759539

 

202

15935174

 

339

15044647

 

66

5863890

 

203

15118612

 

340

24716275

 

67

4840817

 

204

13208476

 

341

21074649

 

68

6177030

 

205

21925038

 

342

22437259

 

69

7348744

 

206

14849162

 

343

12648289

 

70

6163085

 

207

16782682

 

344

13288401

 

71

6210909

 

208

16381780

 

345

17049853

 

72

5480383

 

209

17080365

 

346

21683343

 

73

8987656

 

210

17110423

 

347

17970633

 

74

7048845

 

211

20862711

 

348

15941842

 

75

6158450

 

212

26708064

 

349

15731663

 

76

5048421

 

213

29722813

 

350

14510910

 

77

5733005

 

214

26394871

 

351

13252658

 

78

5963260

15.00 

215

22304377

 

352

13495773

 

79

8268031

 

216

15687687

 

353

13334751

 

80

7585642

 

217

16760194

 

354

16476878

 

81

6669941

 

218

17151788

 

355

19422080

 

82

7035686

 

219

16379908

 

356

15312265

 

83

9070192

 

220

19561686

 

357

17522681

 

84

9519961

 

221

17545285

 

358

14000915

 

85

9372327

 

222

11737337

 

359

14049734

 

86

15780312

 

223

11879990

 

360

15698197

 

87

9348829

 

224

15847835

 

361

16063837

 

88

8846353

 

225

12635793

 

362

12479862

 

89

5444425

 

226

10283617

 

363

11627122

 

90

4040379

 

227

11024531

 

364

9004634

 

91

6410612

 

228

11574807

 

365

14088359

 

92

5145627

 

229

11918511

 

366

12298135

 

93

4727912

 

230

11214180

 

367

11573878

 

94

6967749

 

231

9681829

 

368

10061626

13.00 

95

12404694

 

232

9360366

 

369

8781250

 

96

12353149

 

233

11012163

 

370

11303127

 

97

12293935

 

234

12724688

 

371

18918867

 

98

11341133

 

235

12622504

 

372

9818862

 

99

39440353

 

236

15056039

 

373

40963235

*

100

62895880

 

237

15272395

 

374

54045644

*

101

64288267

 

238

13410002

 

375

51412459

*

102

60852190

 

239

12342738

 

376

55082236

*

103

52967898

 

240

14629602

 

377

54769927

*

104

57719121

 

241

17422229

 

378

53731576

*

105

63566330

 

242

14830162

 

379

53474046

*

106

64888586

 

243

12980103

 

380

50316183

*

107

63226576

 

244

19626888

 

381

7654901

*

108

62786365

 

245

11922726

 

382

7295302

*

109

64062542

 

246

13660277

 

383

9308430

*

110

64014179

 

247

11986095

 

384

8712942

*

111

63084305

 

248

10792305

 

385

9135877

*

112

56560232

 

249

12834945

 

386

10411216

*

113

7228970

 

250

15970606

 

387

11705521

*

114

9383362

 

251

14386728

 

388

12624216

*

115

12698524

 

252

13665387

 

389

10480392

*

116

19673672

 

253

11440957

 

390

9312836

*

117

16071740

 

254

13592059

 

391

9890348

*

118

12354718

 

255

11040815

 

392

11274912

*

119

10142671

 

256

10135312

 

393

11214436

*

120

10739264

 

257

10251280

 

394

9809739

*

121

9658456

 

258

11063590

18.00 

395

9675833

*

122

11148156

 

259

12517997

 

396

10552829

*

123

9092769

 

260

10568067

 

397

9981296

*

124

8876264

 

261

10208195

 

398

10541336

*

125

5620651

 

262

11619701

 

399

10957285

*

126

17320841

 

263

11312604

 

400

8148992

*

127

18592324

 

264

9600669

 

401

8846389

*

128

15745913

 

265

11244849

 

402

6220405

*

129

21426520

 

266

13510631

 

403

7740337

*

130

19154402

 

267

15692634

 

404

7496998

*

131

13677026

 

268

12407253

 

405

6678143

*

132

14542695

 

269

12746963

 

406

5827344

*

133

10480185

 

270

13520847

 

407

7496490

*

134

10170394

 

271

13439128

 

408

7609827

*

135

8903418

 

272

17057569

18.15 

409

3861

 

1.                 Анализ трафика, представленного на рисунке 1 и в таблице 1 показывает, что канал наиболее загружен с 13.08 до 13.25, т.е. в качестве ЧНН наблюдается наибольшая загрузка канала, которая составляет 64 000 000 байт в минуту (8,5 Мбит/сек)  ЧНН на рисунке 1 и в таблице 1. выделены другим цветом.

 

 

Проведенный анализ измеренного трафика позволил установить, что основу трафика составляют IP-пакеты, смотри таблицу 2.

Таблица 2 Статистика по Ethernet-кадрам

 

 

Тип

Кол-во

Объём

Доля

IP

10 398 936

1 871 904 340

0,99842

ARP

9 373

528 072

0,00028

IPX

0

0

0

Другие

40 627

2 437 888

0,0013

 

Кроме того, на основании анализ длины кадров в канале связи, (смотри таблицу 3) можно отметить в канале достаточно большое количество «коротких » кадров. (более 50% по количеству).

Таблица 3 - Статистика по размерам канальных кадров

Статистика по размерам

 

Размер

Кол-во

 

<64

4 664 533

 

64 - 128

1 479 995

 

128 - 256

294 583

 

256 - 512

416 869

 

512 - 1024

336 819

 

1024 - 1536

4 035 557

 

 

Предложения и рекомендации по модернизации коммуникационной инфраструктуры Ядра ИАИС

В результате проведенного анализа установлено, что в настоящее время канал между Ядром ИАИС и ММТС-9 имеет запас по пропускной способности, так как в ЧНН используется около 10% его пропускной способности. Однако, учитывая, что в настоящее время:

·         большое внимание уделяется созданию специализированных баз данных в Едином серверном центре,

·         стремительно растет количество пользователей в связи с работами по созданию Единой Образовательной Информационной среды.

Измерения проведены только в одном канале ИАИС, чтобы иметь более полную информацию о состоянии и загруженности коммуникационных средста ИАИС следует провести измерения в других ключевых узлах ИАИС, которыми могут являться:

·         узлы центрального сегмента ИАИС ,

·         региональные центры,

·        серверы коллективного доступу, обслуживающие большое количество пользователей.

Измерения проведены в течение одного рабочего дня. Однако, чтобы делать статистически обоснованные выводы, следует провести измерения в разные дни недели и в различные месяцы.

2. В процессе измерений зафиксировано наличие большого количества коротких кадров, которые используются в протоколах управления и при коллизиях. Они «тормозят» нормальный трафик, поэтому необходимо провести дополнительные исследования, чтобы установить их причину.

 

Литература

1. Феррари Д. Оценка производительности вычислительных систем. – М.:Мир, 1981. 576 с.

2. Танненбаум Э. Компьютерные сети. СПб.: Питер 2002, 848 с.

3. Glenn Herrin. Linux IP Networking. A guide to the implementation and
modification of the Linux protocol stack, http://www.kernelnewbies.org/documents/ipnetworking/linuxipnetworking.html

4. Ivan Bowman. Conceptual architecture of the Linux kernel,

http://www.grad.math.uwaterloo.ca/~itbowman/CS746G/a1/

5. Ivan Bowman, Saheem Siddiqi, Meyer C. Tanuan. Concrete architecture of the Linux kernel, http://plg.uwaterloo.ca/~itbowman/CS746G/a2

6. http://www.opersys.com/LTT.html

7. Абросимов Л.И. Анализ и проектирование вычислительных сетей: Учебное пособие - М.:, Изд-во МЭИ. 2000. - 52 с

8 Lehr- und Uebungsbuch Telematik /Hrsg. Gerhard Kruger ; Dietrich Reschke. Autoren Leonid I. Abrosimov, Jorg Deutschmann, Werner Horn, Holger Reif, Dietrich Reschke, Jochen Schiller, Jochen Seitz. Muenchen; Wien:Fachbucherverl. Leipzig im Carl-Hanser-Verl., 2000.S 85-98(412 s)

9. Абросимов Л.И. Основные положения теории производительности вычислительных сетей. Вестник МЭИ, 2001, № 4, Издательство МЭИ, М.:70-75 с.

10. Абросимов Л.И.Проблемы оценки производительности вычислительных сетей. Электронный журнал «Вычислительные сети. Теория и практика»

BC/NW 2003г., №1(3)/ раздел7, статья 1 http://network-journal.mpei.ac.ru