BC/NW 2010; №2 (17):12.1

 

АНАЛИЗ КРИТЕРИЕВ ЭФФЕКТИВНОСТИ ОЦЕНКИ ФУНКЦИОНИРОВАНИЯ СИСТЕМЫ ПОСЛЕВУЗОВСКОГО ОБРАЗОВАНИЯ

Мосичева И.А., Полотнов М.М., Ситников К.Ю.,  Фомин К.В.

(Рособразование, Московский энергетический институт (технический университет), Россия)

 

Подготовка научных, научно-педагогических и научно-технических кадров высшей квалификации в системе Рособразования осуществляется через структуры послевузовского образования: аспирантуры функционируют в 341 образовательном учреждении, докторантуры в 251.  На масштаб и эффективность такой подготовки в том числе оказывают влияние управленческие решения со стороны Рособразования, определяемые образовательным учреждениям контрольные цифры приёма (КЦП) в аспирантуру и докторантуру за счет средств федерального бюджета. Суммарные показатели КЦП, детализированные по отраслям наук, определяются ежегодным при­казом Министерства образования и науки.

Объём заявок на количество мест в аспирантуре и докторантуре часто превышает установленный план приёма, поэтому удовлетворить заявки образовательных учреждений в полном объёме невозможно, а значит, необходимо объективно распределить КЦП, учитывая ранее установленный план приёма, поданные заявки и эффективность работы образовательных учреждений по подготовке кадров за предшествующий период. В таких условиях процедура распределения КЦП является довольно трудоёмкой и требует не только принятия управленческого решения, но и использование формализованного подхода, позволяющего автоматизировать эту процедуру.

При формировании КЦП учитываются такие факторы, как КЦП предыдущего года, заявки на количество мест на планируемый год, показатели эффективности деятельности аспирантуры и докторантуры.

Обучение аспирантов и подготовка докторантов являются безусловно эффективными, если соискатели учёной степени защищают диссертации в срок обучения или подготовки. Вместе с тем, защиты диссертаций зачастую проходят уже после окончания срока обучения или подготовки, а значительная часть аспирантов и докторантов не выходят на защиту диссертаций вообще. Показатель эффективности должен показывать, насколько полученный результат близок к идеальному. Показатели эффективности могут быть рассчитаны различными способами.

Приём аспирантов (докторантов) за счёт средств федерального бюджета осуществляется в соответствии с установленными КЦП. Часть контингента может прибавиться за счет восстановления или переводов. В процессе обучения (подготовки) часть аспирантов (докторантов) выбывает до окончания срока. По окончании срока закончившие обучение аспиранты и подготовку докторанты выпускаются. Часть аспирантов (докторантов) защищают диссертацию в срок, часть – в последующий период, а часть так и не выходит на защиту диссертации.

 

Эффективность необходимо оценивать как отношение выходной величины (результата) к входной величине. Выбор выходной и входной величин является неоднозначным.

В качестве выходной величины можно использовать количество выпущенных аспирантов (докторантов) с защитой диссертации в срок. Но можно также учитывать количество аспирантов (докторантов), дозащитившихся в течение календарного года после окончания срока обучения (подготовки), в течение одного-двух лет после окончания срока. Можно использовать показатель эффективности за последний отчётный год, а можно использовать усредненный показатель за несколько лет.

В качестве входной величины можно использовать общее количество выпущенных аспирантов (докторантов). При таком выборе оценка не учитывает “текучесть” кадров. В процессе подготовки значительная часть аспирантов (докторантов) выбывает: по аспирантурам в год выбывает  порядка 10% годового контингента, по докторантурам – около 5%. Также осуществляются восстановления и переводы из других образовательных учреждений, переводы с одной формы обучения на другую и т.п.: по аспирантурам в 2008 г. – порядка 2% годового контингента, по докторантурам – около 0,3%.  . Удобство при использовании показателя выпуска состоит в том, что необходимы данные только по одному отчётному году.

Другой вариант – выбрать в качестве входной величины количество принятых аспирантов (докторантов). Причём для очной формы обучения в аспирантуре по данным за 3 года до выпуска и для заочной (в аспирантуре) – за 4. В этом случае будет учтена “текучесть” кадров. Строгость оценки повышается, но необходимы данные по предыдущим годам, что усложняет процедуру расчётов.

Выбор критериев является дискуссионным, поэтому необходимо решить задачу сравнения показателей эффективности с учётом выпуска и с учётом приёма, чтобы выявить их достоинства и недостатки.

Были рассмотрены два критерия эффективности функционирования системы аспирантур (докторантур):

Критерий А. Отношение величины выпущенных аспирантов (докторантов) с защитой в срок к величине выпущенных аспирантов (докторантов).

Критерий В. Отношение величины выпущенных аспирантов (докторантов) с защитой в срок к величине принятых.

Было оценено, насколько согласуются показатели эффективности подготовки кадров высшей квалификации в зависимости от выбранного критерия. Для удобства сравнения образовательные учреждения были разбиты на группы по значению показателя эффективности, а затем оценено влияние выбора критерия.

Для упрощения изложения в дальнейшем рассмотрен случай обучения аспирантов за счёт средств федерального бюджета, а образовательные учреждения именуются «вузами», хотя в их число входят и учреждения дополнительного профессионального образования.

Все вузы, упорядоченные по значению показателя эффективности, были разбиты на N равных по численности групп. При N=5 разбиение на ранги (груп­пы) работа аспирантур была охарактеризована следующим образом:  для ранга I – как неудовлетворительная, для ранга II – как слабая, для ранга III – как средняя, для ранга IV – как хорошая, для ранга V – как очень хорошая.

Для каждого вуза рассчитывались критерии А и В следующим образом:

; ,

где  и  – оценки критериев А и В соответственно для i-го вуза. , , – количество аспирантов, выпущенных с защитой в срок, количество выпущенных аспирантов и количество принятых аспирантов соответственно для i-го вуза. Причём количество принятых рассчитывалось как сумма принятых на очную форму обучения три года назад и на заочную четыре года назад. Контингент восстановленных и переведённых аспирантов не учитывался, так как незначительно влиял на общую оценку. Для исследования использованы отчётные данные по 340 вузам.

Для определения рангов использовались критерии А и В. При этом один и тот же вуз при использовании того или другого критерия мог попасть в разные группы. Поэтому необходимо было исследовать группы на устойчивость по составу в зависимости от выбора критерия.

 

Рис.1. Значения эффективности подготовки аспирантов, рассчитанные по критериям А (от выпуска) и В (от приёма) по вузам

 

Рис.2. Распределение образовательных учреждений по группам при использование критериев А (от выпуска) и В (от приёма)

 

На рис. 1 по оси ординат отмечены оценки эффективности, по оси абсцисс – вузы. Вузы отсортированы по возрастанию показателя эффективности по критерию А (от выпуска). Рисунок отображает явную разницу в оценке эффективности в зависимости от выбора критерия. Редкие увеличения эффективности по критерию В по сравнению с критерием А   обусловлены малочисленностью аспирантов в данном вузе и не учитываемым показателем численности контингента восстановленных и переведенных аспирантов.

Распределение вузов по группам приведено на рис. 2. По оси ординат отмечены группы, к которым отнесён вуз согласно критериям А или В, по оси абсцисс – вузы. Вузы отсортированы по возрастанию значения критерия А и показаны расхождения на вхождение в ту или другую группу при использовании разных критериев.

При таком разделении учитывается лишь соотношение между оценками эффективности для разных вузов, а не сами оценки. Поэтому при переходе от группы к группе изменение эффективности обуславливается использованием разных критериев, и вузы, определенные в одну группу, могут иметь существенную разницу в оценке эффективности.

Из полученных результатов получаем, что критерий В даёт более плотное разбиение по значению эффективности   в группах (6-8% для групп I-IV), чем критерий А (10-14% для групп I-IV). Группа V содержит вузы с эффективностью в более широком диапазоне, так как включает вузы с максимальной эффективностью (90% - для критерия А, 73% - для критерия В).

Были исследованы группы на устойчивость по составу. Мера устойчивости  для каждой j-й группы (j = 1..5)  была определена как процент отношения ко­ли­чества вузов, сохранивших места в своей группе по критерию В, к общему количеству вузов в своей группе по критерию А, тогда ; ; ; ; .

Другой подход – применение метода штрафных функции. Тогда устойчивость  для j-й группы можно определить как

,

где  – штрафная функция для j-й группы.

В качестве штрафной функции используем:

,

где ,  – количество вузов в группе j.

Получили: ; ; ; ; .

Высокая устойчивость (больше 85%) характерна лишь для первой группы – группы, где большинство вузов имеет нулевую или очень низкую эффективность, остальные группы имеют устойчивый состав лишь на 40-60%.

Учитывая, что КЦП устанавливается по отраслям наук, было рассмотрено влияние выбора критерия на оценку эффективности  по отраслям наук. Исследовались самые многочисленные отрасли, а именно: физико-математические науки (примерно 8% контингента, обучение проводится в 248 вузах); технические науки (примерно 31%, 272 вуза); экономические науки (примерно 15%, 280 вузов); педагогические науки (примерно 7%, 196 вузов).

Для вузов каждой отрасли наук оценивалась эффективность подготовки кадров высшей квалификации по критериям А и В. Затем вузы были разбиты по эффективности на группы, равные по численности.

Полученные результаты свидетельствуют о том, что существенная часть вузов для всех четырёх отраслей наук входит в первую группу по эффективности, независимо от выбранного критерия.

В области физико-математических наук, где преимущественно выполняются фундаментальные исследования, требующие больших временных ресурсов, количество вузов с нулевой эффективностью около 65%. Для трёх остальных отраслей доля вузов в первой группе колеблется от 30 до 40%.

Для вузов, имеющих отличный от нуля показатель эффективности, выбор критерия может существенно изменить оценку эффективности (разница в оценке может достигать 80%), а значит, и вуз будет отнесён к другой группе.

В результате исследования групп на устойчивость для каждой отрасли наук получаем, что устойчивость состава групп для физико-математических наук высока (более 85%), но это объясняется тем, что группы I-III содержат вузы с нулевой эффективностью, а в IV и V группах изменение критерия редко приводит к значительному изменению оценки эффективности.

В технических, экономических и педагогических науках устойчивость состава групп изменяется от группы к группе. I и II группы, как и в случае физико-математических наук, представляют собой случай групп, содержащих в основном вузы с нулевой эффективностью. Группы III-V имеют устойчивость на уровне 50-75%, т.е. выбор критерия В вместо критерия А часто существенно изменяет оценку эффективности. 

Оценивая эффективность подготовки кадров высшей квалификации в вузах по отраслям наук и, сравнивая вузы по эффективности путем разделения их на группы, получили, что для вузов, имеющих отличный от нуля показатель эффективности, выбор критерия существенно меняет оценку эффективности и ведёт к тому, что вуз определяется в другую группу. При этом устойчивость состава групп составляет 50-80%, т.е. менее половины вузов в группе сохраняют своё распределение.

Таким образом, выбор критерия эффективности А (от выпуска) или В (от приема) так же вносит существенные изменения по сравнительной оценке эффективности функционирования аспирантур отдельных образовательных учреждений по всем и отдельным отраслям наук.

Критерий В более сложен в точном учете контингента принятых, так как требует разного учета периода по очным и заочным аспиранта, а так же трудно корректно отследить численность восстановленных аспирантов.

При формировании критериев оценки эффективности подготовки кадров высшей квалификации в вузах необходимо учитывать, что целью деятельности аспирантур вузов является подготовка кандидатов и докторов наук независимо от времени защиты диссертации. Поэтому при оценке эффективности как отношения величины выпущенных аспирантов с защитой диссертаций к величине выпущенных аспирантов, можно учитывать дозащиты в последующие периоды.

Было исследовано влияние дозащит на оценку эффективности согласно критерию А (от выпуска). Учитывались дозащиты в отчётном году, через год после отчётного, через два года после отчётного.

Полученные результаты свидетельствуют о том, что основной прирост эффективности при учёте дозащит приходится на дозащиты через год после отчётного (относительный прирост эффективности увеличивается на 25-35%, а абсолютный – на 10-15%).

 

Проведенные расчеты отражают объективную картину временных затрат на подготовку кандидатских диссертаций. Отметим, что приём в аспирантуру сразу после окончания высшего учебного заведения широко практикуется лишь последние 15 лет. В предыдущий период большая часть принимаемого контингента аспирантов обычно имела стаж в несколько лет работы по специальности, во время которого выполнялся определенный задел по диссертационной работе, конкретизировалась тематика. Прием же аспирантов непосредственно со «студенческой скамьи» делает первый год обучения в аспирантуре малопродуктивным, затрачивается на сам процесс становления бывшего студента исследователем.

Если увеличение срока обучения в аспирантуре является экономически затратным и, возможно, неоправданным, то учёт дозащит в отчётном году после выпуска и через год после отчётного как показателя эффективности деятельности аспирантур имеет определённые преимущества. Стимулируется связь бывшего аспиранта с вузом, происходит закрепление квалифицированных кадров в сфере высшего образования.

При расчёте эффективности подготовки кадров высшей квалификации в вузах целесообразно учитывать дозащиты в отчётном году и через год после отчётного, так как они вносят основной вклад в повышение оценки эффективности.

Учёт дозащит через два года и более  после отчётного повысит точность расчётов незначительно (относительный прирост эффективности увеличивается только на 5-10%, а абсолютный – на 3-6%). Кроме того, обработка данных только за два года облегчит расчёты, в то время как использование информации за три года и более влечёт повышение сложности обработки информации.

Литература

1.     Средства мониторинга функционирования сети аспирантур и докторантур в системе Рособразования / О.М. Державин, И.А. Мосичева, Л.А. Мочалова и др. // Тр. XVI Межд.конф. «Инф. средства и технологии», 21- 23 октября 2008 г. В 3-х томах. Т.3. – М.: Издательский дом МЭИ, 2008. С.92-96.