10 Модели и методы для оценки качества при проектировании ВС

 

 

АРГУМЕНТАЦИЯ ЭКСПЕРТНЫХ ЗАКЛЮЧЕНИЙ
С ИСПОЛЬЗОВАНИЕМТЕХНОЛОГИИ

АКТУАЛИЗАЦИИ ЗНАНИЙ

 

Ю.В. Аляева, П.М. Сорокин

 

(Москва, Московский Энергетический Институт, Российская Федерация)

 

 

В настоящее время в сфере информационных технологий значительное внимание уделяется вопросу интеллектуальной обработки данных. Свои решения в этой области предлагают такие компании как IBM (система «Intelligent  Miner»), Megaputer Intelligence (система PolyAnalist). В МЭИ на основе методологии [1] разработана во многом оригинальная система извлечения эмпирического знания «Решатель открытых задач»[2]. Созданная на ее основе технология актуализации знаний позволяет сформировать целевую базу данных (ЦБД), содержащую требуемые для анализа данные путем интеграции разрозненных сетевых информационных ресурсов, а затем, используя математический аппарат Решателя, получить искомое знание об объекте исследования в виде аналитической функции выбора [3].

Основное преимущество данной технологии состоит в возможности повторного решения поставленной задачи, при изменении данных в информационных ресурсах, что позволяет поддерживать знание об объекте исследования в актуальном состоянии [4]. 

Экспертные методы применяют сейчас в ситуациях, когда выбор, обоснование и оценка последствий решений не могут быть выполнены на основе точных расчетов. Для того, чтобы повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, необходим разносторонний анализ, основанный как на расчетах, так и на аргументированных суждениях специалистов, знакомых с состоянием дел и перспективами развития в рассматриваемой предметной области. Применение экспертных методов обеспечивает активное и целенаправленное участие специалистов на всех этапах принятия решений, что позволяет существенно повысить их качество и эффективность.

Для иллюстрации механизма работы данной технологии, рассмотрим решение задачи экспертизы исследований  и научных проектов ВУЗов и других научных организаций (далее ВУЗов). Объектом исследования являются ВУЗы и организации Министерства образования и науки РФ на основе данных о научной деятельности которых с помощью предложенных механизмов будет проведен анализ результативности научных исследований.

Основное требование к методам анализа и оценки – это обеспечение минимума методологических искажений и неконтролируемых человеком потерь информации в процессе ее обработки. В качестве членов экспертной комиссии (экспертов) привлекаются квалифицированные ученые и специалисты системы образования, академической и отраслевой науки, Министерства образования и науки РФ , профильных  предприятий промышленности, а также заинтересованных федеральных министерств и ведомств. Кандидатуры экспертов утверждаются научно-техническим советом  по представлению председателя научно-технического совета Управления научно-инновационной деятельности Министерства образования и науки РФ.

Для решения подобных экспертных задач накоплена база данных о более чем 300 ВУЗах, содержащая около 900 параметров, описывающих конкретную научную организацию. Однако для данного частного исследования количество анализируемых параметров может быть существенно сокращено.

Процесс получения искомого знания об объекте исследования можно условно разделить на следующие этапы:

1. Постановка открытой задачи исследования научного потенциала ВУЗов.

Задача исследования сводится к получению аналитической зависимости научного потенциала ВУЗа от его численных характеристик. Решение этой задачи позволит определить степень влияния определенной характеристики ВУЗа на совокупную оценку его потенциала,  наиболее/наименее результативные в научном плане ВУЗы, оптимальное сочетание значений параметров ВУЗа, определяющее его результативность.

Определим пространство решения задачи. Решается задача исследования объекта "ВУЗ". Каждый объект необходимо описать рядом показателей (предметных переменных). В качестве таких показателей совет экспертов определил:

полученные патенты (в РФ и за рубежом), монографии, статьи и сборники, лицензии, премии, участие в выставках (международных и российских), представленные экспонаты, проведенные конференции (международные и российские), и другие параметры, характеризующие научную деятельность ВУЗа. Всего 19 параметров. Все количественные показатели являются приведенными к числу студентов, аспирантов и докторантов соответственно.

Определим внешние показатели качества (ВПК). Они позволят произвести разбиение целевой базы данных на множества "удачных" и "неудачных" объектов, и сформировать базу фактов для дальнейшего анализа математическим аппаратом Решателя. Выбраны следующие количественные показатели: участвующие в НИР профессорско-преподавательский состав

1.           Участвующие в НИР студенты

2.           Участвующие в НИР аспиранты и докторанты

Для каждого ВПК устанавливается порог значений, "удачным" будем считать объект, у которого все ВПК превышают установленное пороговое значение.

2. Анализ доступных информационных ресурсов и определение источников данных

База данных, содержащая информацию об исследуемых ВУЗах, расположена на сервере организации и представляет из себя более 30 связанных таблиц. Поскольку в данном исследовании не будут использованы все имеющиеся в базе данных поля, необходимо указать, какие именно данные необходимо извлекать для анализа. Настройка Агента актуализации данных заключается в указании извлекаемых из базы данных полей и их отображения на поля целевой базы данных [3]. Основную сложность представляет возможная противоречивость данных, взятых из различных информационных ресурсов, однако, в данной задаче возможность появления одинаковых показателей в различных источниках отсутствует, что позволяет  не настраивать правила разрешения противоречивости данных. Кроме того, задачи интеграции облегчается тем, что на этапе наполнения информационной системы объекты кодируются уникальными кодами (для обеспечения объективной экспертной оценки, собственно названия ВУЗов эксперту недоступны), таким образом, идентификация объектов  по ключевому полю также не требует дополнительной настройки.

3. Формирование целевой базы данных при помощи "Агента актуализации данных"

При наличии настроенных правил интеграции данных, формирование ЦБД происходит полностью автоматически (с возможностью контроля процесса со стороны пользователя). Агент актуализации данных осуществляет доступ к хранилищу данных по протоколу ODBC, извлекая из его таблиц указанные поля и формируя ЦБД в соответствие с заданной структурой.

4. Преобразование целевой базы данных в базу фактов.

Преобразование ЦБД в базу фактов заключается в формировании пространства параметров базы фактов, и разделения записей об объектах на множества "удач" и "неудач" в соответствии с ВПК, хранящимися в ЦБД. Поскольку пространство решения задачи дискретно, непрерывные значения должны быть преобразованы путем разделения на диапазоны значений. Модуль формирования базы фактов производит данные действия автоматически на основании анализа ЦБД.

 

5. Выявление эмпирического знания из базы фактов при помощи "Решателя открытых задач"

Собственно решение открытой задачи происходит итерационно. На каждой итерации строится очередное приближение к искомой функции выбора, после чего для ее уточнения эксперту предлагается оценить ряд автоматически сгенерированных гипотез, что позволяет перейти к следующей итерации [2]. Данная задача была решена в течение пяти итераций. Результатом решения является функция выбора вида

g(x)=(c^p,x^p)+H(x^p)-c_{0   ,}

принимающая неотрицательные значения для "удачных" фактов и отрицательные для "неудач". Численное значение функции позволяет сравнивать различные объекты, а также производить поиск максимумов, определяя оптимальное сочетание параметров исследуемого объекта. Присутствующая в функции выбора нелинейная часть позволяет сделать вывод о неоднородности пространства и высокой точности полученного знания.

 

Таким образом, задача экспертизы исследований  и научных проектов ВУЗов была решена. Основным отличием от традиционно использовавшегося метода неформальной экспертной оценки, является возможность четкого аргументирования выбора того или иного ВУЗа, а также определения приоритетных параметров при вынесении оценки их научного потенциала.

 

ЛИТЕРАТУРА

1.            Дзегеленок И.И. Методология поискового проектирования мультикомпьютерных систем// Информационная математика. –М.: Физматлит, №1(4), 2004, с.110–119

2.            АРГОНАВТ– система приобретения эмпирических знаний// Справочно-практическое издание "СОФТЕЛЬ – Сто компьютерных программ для бизнеса". Вып. 1997-1998. –М.: ХАМТЕК ПАБЛИШЕР, 1997, с. 117–125

3.            Сорокин П.М. Механизм актуализации целевой базы данных в предметно ориентированной сетевой среде//Системы управления и силовая электроника – М.: ВЭИ, 2001. с 56 – 65.

4.            Дзегеленок И.И., Сорокин П.М. Сетевая технология актуализации знаний//МФИ-2003. Доклады международной конференции «Информационные средства и технологии» в 3-х т.т. Т.3.–М.: Янус-К, 2003, с. 107–110