BC/NW 2010; №2 (17):12.1
АНАЛИЗ КРИТЕРИЕВ ЭФФЕКТИВНОСТИ ОЦЕНКИ ФУНКЦИОНИРОВАНИЯ СИСТЕМЫ ПОСЛЕВУЗОВСКОГО ОБРАЗОВАНИЯ
Мосичева И.А., Полотнов М.М., Ситников К.Ю., Фомин К.В.
(Рособразование,
Московский энергетический институт (технический университет), Россия)
Подготовка научных, научно-педагогических и научно-технических кадров высшей квалификации в системе Рособразования осуществляется через структуры послевузовского образования: аспирантуры функционируют в 341 образовательном учреждении, докторантуры в 251. На масштаб и эффективность такой подготовки в том числе оказывают влияние управленческие решения со стороны Рособразования, определяемые образовательным учреждениям контрольные цифры приёма (КЦП) в аспирантуру и докторантуру за счет средств федерального бюджета. Суммарные показатели КЦП, детализированные по отраслям наук, определяются ежегодным приказом Министерства образования и науки.
Объём заявок на количество мест в аспирантуре и докторантуре часто превышает установленный план приёма, поэтому удовлетворить заявки образовательных учреждений в полном объёме невозможно, а значит, необходимо объективно распределить КЦП, учитывая ранее установленный план приёма, поданные заявки и эффективность работы образовательных учреждений по подготовке кадров за предшествующий период. В таких условиях процедура распределения КЦП является довольно трудоёмкой и требует не только принятия управленческого решения, но и использование формализованного подхода, позволяющего автоматизировать эту процедуру.
При формировании КЦП учитываются такие факторы, как КЦП предыдущего года, заявки на количество мест на планируемый год, показатели эффективности деятельности аспирантуры и докторантуры.
Обучение аспирантов и подготовка докторантов являются безусловно эффективными, если соискатели учёной степени защищают диссертации в срок обучения или подготовки. Вместе с тем, защиты диссертаций зачастую проходят уже после окончания срока обучения или подготовки, а значительная часть аспирантов и докторантов не выходят на защиту диссертаций вообще. Показатель эффективности должен показывать, насколько полученный результат близок к идеальному. Показатели эффективности могут быть рассчитаны различными способами.
Приём аспирантов (докторантов) за счёт средств федерального бюджета осуществляется в соответствии с установленными КЦП. Часть контингента может прибавиться за счет восстановления или переводов. В процессе обучения (подготовки) часть аспирантов (докторантов) выбывает до окончания срока. По окончании срока закончившие обучение аспиранты и подготовку докторанты выпускаются. Часть аспирантов (докторантов) защищают диссертацию в срок, часть – в последующий период, а часть так и не выходит на защиту диссертации.
Эффективность необходимо оценивать как отношение выходной величины (результата) к входной величине. Выбор выходной и входной величин является неоднозначным.
В качестве выходной величины можно использовать количество выпущенных аспирантов (докторантов) с защитой диссертации в срок. Но можно также учитывать количество аспирантов (докторантов), дозащитившихся в течение календарного года после окончания срока обучения (подготовки), в течение одного-двух лет после окончания срока. Можно использовать показатель эффективности за последний отчётный год, а можно использовать усредненный показатель за несколько лет.
В качестве входной величины можно использовать общее
количество выпущенных аспирантов (докторантов). При таком выборе оценка не
учитывает “текучесть” кадров. В процессе подготовки
значительная часть аспирантов (докторантов) выбывает: по аспирантурам в год
выбывает порядка 10% годового
контингента, по докторантурам – около 5%. Также осуществляются восстановления и
переводы из других образовательных учреждений, переводы с одной формы обучения
на другую и т.п.: по аспирантурам в
Другой вариант – выбрать в качестве входной величины количество принятых аспирантов (докторантов). Причём для очной формы обучения в аспирантуре по данным за 3 года до выпуска и для заочной (в аспирантуре) – за 4. В этом случае будет учтена “текучесть” кадров. Строгость оценки повышается, но необходимы данные по предыдущим годам, что усложняет процедуру расчётов.
Выбор критериев является дискуссионным, поэтому необходимо решить задачу сравнения показателей эффективности с учётом выпуска и с учётом приёма, чтобы выявить их достоинства и недостатки.
Были рассмотрены два критерия эффективности функционирования системы аспирантур (докторантур):
Критерий А. Отношение величины выпущенных аспирантов (докторантов) с защитой в срок к величине выпущенных аспирантов (докторантов).
Критерий В. Отношение величины выпущенных аспирантов (докторантов) с защитой в срок к величине принятых.
Было оценено, насколько согласуются показатели эффективности подготовки кадров высшей квалификации в зависимости от выбранного критерия. Для удобства сравнения образовательные учреждения были разбиты на группы по значению показателя эффективности, а затем оценено влияние выбора критерия.
Для упрощения изложения в дальнейшем рассмотрен случай обучения аспирантов за счёт средств федерального бюджета, а образовательные учреждения именуются «вузами», хотя в их число входят и учреждения дополнительного профессионального образования.
Все вузы, упорядоченные по значению показателя эффективности, были разбиты на N равных по численности групп. При N=5 разбиение на ранги (группы) работа аспирантур была охарактеризована следующим образом: для ранга I – как неудовлетворительная, для ранга II – как слабая, для ранга III – как средняя, для ранга IV – как хорошая, для ранга V – как очень хорошая.
Для каждого вуза рассчитывались критерии А и В следующим образом:
; 
,
где 
и 
– оценки критериев
А и В соответственно для i-го вуза. 
, 
, 
– количество аспирантов,
выпущенных с защитой в срок, количество выпущенных аспирантов и количество
принятых аспирантов соответственно для i-го вуза. Причём количество принятых
рассчитывалось как сумма принятых на очную форму обучения три года назад и на
заочную четыре года назад. Контингент восстановленных и переведённых аспирантов
не учитывался, так как незначительно влиял на общую оценку. Для исследования
использованы отчётные данные по 340 вузам.
Для определения рангов использовались критерии А и В. При этом один и тот же вуз при использовании того или другого критерия мог попасть в разные группы. Поэтому необходимо было исследовать группы на устойчивость по составу в зависимости от выбора критерия.
Рис.1. Значения
эффективности подготовки аспирантов, рассчитанные по критериям А (от выпуска) и В (от приёма) по вузам
Рис.2. Распределение
образовательных учреждений по группам при использование критериев А (от выпуска) и В (от приёма)
На рис. 1 по оси ординат отмечены оценки эффективности, по оси абсцисс – вузы. Вузы отсортированы по возрастанию показателя эффективности по критерию А (от выпуска). Рисунок отображает явную разницу в оценке эффективности в зависимости от выбора критерия. Редкие увеличения эффективности по критерию В по сравнению с критерием А обусловлены малочисленностью аспирантов в данном вузе и не учитываемым показателем численности контингента восстановленных и переведенных аспирантов.
Распределение вузов по группам приведено на рис. 2. По оси ординат отмечены группы, к которым отнесён вуз согласно критериям А или В, по оси абсцисс – вузы. Вузы отсортированы по возрастанию значения критерия А и показаны расхождения на вхождение в ту или другую группу при использовании разных критериев.
При таком разделении учитывается лишь соотношение между оценками эффективности для разных вузов, а не сами оценки. Поэтому при переходе от группы к группе изменение эффективности обуславливается использованием разных критериев, и вузы, определенные в одну группу, могут иметь существенную разницу в оценке эффективности.
Из полученных результатов получаем, что критерий В даёт более плотное разбиение по значению эффективности в группах (6-8% для групп I-IV), чем критерий А (10-14% для групп I-IV). Группа V содержит вузы с эффективностью в более широком диапазоне, так как включает вузы с максимальной эффективностью (90% - для критерия А, 73% - для критерия В).
Были исследованы группы на устойчивость по составу. Мера устойчивости 
для каждой j-й группы (j
= 1..5) была определена как процент
отношения количества вузов, сохранивших места в своей группе по критерию В, к
общему количеству вузов в своей группе по критерию А, тогда 
; 
; 
; 
; 
.
Другой подход – применение метода штрафных функции. Тогда
устойчивость 
для j-й группы можно
определить как
,
где 
– штрафная
функция для j-й
группы.
В качестве штрафной функции используем:
,
где 
, 
– количество
вузов в группе j.
Получили: 
; 
; 
; 
; 
.
Высокая устойчивость (больше 85%) характерна лишь для первой группы – группы, где большинство вузов имеет нулевую или очень низкую эффективность, остальные группы имеют устойчивый состав лишь на 40-60%.
Учитывая, что КЦП устанавливается по отраслям наук, было рассмотрено влияние выбора критерия на оценку эффективности по отраслям наук. Исследовались самые многочисленные отрасли, а именно: физико-математические науки (примерно 8% контингента, обучение проводится в 248 вузах); технические науки (примерно 31%, 272 вуза); экономические науки (примерно 15%, 280 вузов); педагогические науки (примерно 7%, 196 вузов).
Для вузов каждой отрасли наук оценивалась эффективность подготовки кадров высшей квалификации по критериям А и В. Затем вузы были разбиты по эффективности на группы, равные по численности.
Полученные результаты свидетельствуют о том, что существенная часть вузов для всех четырёх отраслей наук входит в первую группу по эффективности, независимо от выбранного критерия.
В области физико-математических наук, где преимущественно выполняются фундаментальные исследования, требующие больших временных ресурсов, количество вузов с нулевой эффективностью около 65%. Для трёх остальных отраслей доля вузов в первой группе колеблется от 30 до 40%.
Для вузов, имеющих отличный от нуля показатель эффективности, выбор критерия может существенно изменить оценку эффективности (разница в оценке может достигать 80%), а значит, и вуз будет отнесён к другой группе.
В результате исследования групп на устойчивость для каждой
отрасли наук получаем, что устойчивость состава групп для физико-математических
наук высока (более 85%), но это объясняется тем, что группы I-III содержат вузы
с нулевой эффективностью, а в IV и V группах изменение критерия редко приводит
к значительному изменению оценки эффективности.
В технических, экономических и педагогических науках устойчивость состава групп изменяется от группы к группе. I и II группы, как и в случае физико-математических наук, представляют собой случай групп, содержащих в основном вузы с нулевой эффективностью. Группы III-V имеют устойчивость на уровне 50-75%, т.е. выбор критерия В вместо критерия А часто существенно изменяет оценку эффективности.
Оценивая эффективность подготовки кадров высшей квалификации
в вузах по отраслям наук и, сравнивая вузы по эффективности путем разделения их
на группы, получили, что для вузов, имеющих отличный от нуля показатель
эффективности, выбор критерия существенно меняет оценку эффективности и ведёт к
тому, что вуз определяется в другую группу. При этом устойчивость состава групп
составляет 50-80%, т.е. менее половины вузов в группе сохраняют своё
распределение.
Таким образом, выбор критерия эффективности А (от выпуска) или В (от приема) так же вносит существенные изменения по сравнительной оценке эффективности функционирования аспирантур отдельных образовательных учреждений по всем и отдельным отраслям наук.
Критерий В более сложен в точном учете контингента принятых, так как требует разного учета периода по очным и заочным аспиранта, а так же трудно корректно отследить численность восстановленных аспирантов.
При формировании критериев оценки эффективности подготовки кадров высшей квалификации в вузах необходимо учитывать, что целью деятельности аспирантур вузов является подготовка кандидатов и докторов наук независимо от времени защиты диссертации. Поэтому при оценке эффективности как отношения величины выпущенных аспирантов с защитой диссертаций к величине выпущенных аспирантов, можно учитывать дозащиты в последующие периоды.
Было исследовано влияние дозащит на оценку эффективности согласно критерию А (от выпуска). Учитывались дозащиты в отчётном году, через год после отчётного, через два года после отчётного.
Полученные результаты свидетельствуют о том, что основной прирост эффективности при учёте дозащит приходится на дозащиты через год после отчётного (относительный прирост эффективности увеличивается на 25-35%, а абсолютный – на 10-15%).
Проведенные расчеты отражают объективную картину временных затрат на подготовку кандидатских диссертаций. Отметим, что приём в аспирантуру сразу после окончания высшего учебного заведения широко практикуется лишь последние 15 лет. В предыдущий период большая часть принимаемого контингента аспирантов обычно имела стаж в несколько лет работы по специальности, во время которого выполнялся определенный задел по диссертационной работе, конкретизировалась тематика. Прием же аспирантов непосредственно со «студенческой скамьи» делает первый год обучения в аспирантуре малопродуктивным, затрачивается на сам процесс становления бывшего студента исследователем.
Если увеличение срока обучения в аспирантуре является экономически затратным и, возможно, неоправданным, то учёт дозащит в отчётном году после выпуска и через год после отчётного как показателя эффективности деятельности аспирантур имеет определённые преимущества. Стимулируется связь бывшего аспиранта с вузом, происходит закрепление квалифицированных кадров в сфере высшего образования.
При расчёте эффективности подготовки кадров высшей квалификации в вузах целесообразно учитывать дозащиты в отчётном году и через год после отчётного, так как они вносят основной вклад в повышение оценки эффективности.
Учёт дозащит через два года и более после отчётного повысит точность расчётов незначительно (относительный прирост эффективности увеличивается только на 5-10%, а абсолютный – на 3-6%). Кроме того, обработка данных только за два года облегчит расчёты, в то время как использование информации за три года и более влечёт повышение сложности обработки информации.
Литература
1. Средства
мониторинга функционирования сети аспирантур и докторантур в системе Рособразования / О.М. Державин, И.А. Мосичева, Л.А.
Мочалова и др. // Тр. XVI Межд.конф.
«Инф. средства и технологии», 21- 23 октября