Вычислительные сети, теория и практика.

BC/NW 2025 № 1 (42):10.1

ОПТИМИЗАЦИЯ РАСЧЕТА КРИТЕРИЕВ ДОВЕРИЯ К КЛАССИФИКАТОРУ

Човен Д.В., Елисеев В.Л

Глубокие нейронные сети позволили решить множество задач, которые ранее были не доступны инженерам.

Однако их применение и внедрение в критически важных системах принятия решений имеет ряд ограничений [1], что обусловлено уязвимостью искусственных нейронных сетей к состязательным атакам и отравлению данных.

Расчет классических критериев качества классификации по матрице ошибок делается на ограниченном множестве объектов обучающих и тестовых выборок. При этом никак не оценивается поведение классификатора за пределами области принятия решений (ЦОПР), заданной этими множествами.

Объективную картину работы классификатора могла бы дать оценка фактической области принятия решений (ФОПР) и её сопоставление с ЦОПР. В частности, стало бы возможным оценить уязвимость классификатора к состязательным атакам.

В работах [2][3] были введены критерии качества одноклассовых и многоклассовых классификаторов — EDCA и EDCAP, позволяющие провести подобную оценку.

Представляется важным разработать эффективную реализацию численного расчёта этих критериев в условиях многомерности пространства данных, на которых задан классификатор.

Программа расчёта должна быть адаптирована для работы с моделями, функционирующими в среде Python и использовать оптимизацию как по памяти, так и по времени вычислений.

В данной работе рассматривается архитектура и реализация программы расчёта критериев EDCA и EDCAP, а также описываются ограничения по размерности входных данных и точности расчета ЦОПР и ФОПР.

Приводятся примеры расчётов критериев EDCA и EDCAP для нескольких классификаторов.

Литература

1. Namiot D., Ilyushin E. On the reasons for the failures of machine learning projects // International Journal of Open Information Technologies. — 2023. — Т.11. — № 1. — С. 60–69.

2. Гурина А.О., Елисеев В.Л. Эмпирический критерий качества одноклассового классификатора // Информационные системы и технологии (ИСТ-2021). — 2021. — С. 648–657.

3. Гурина А.О., Елисеев В.Л. Критерий оценки качества классификации за пределами обучающей выборки // Вестник Московского энергетического института. Вестник МЭИ. — 2022. — № 1. — С. 98–110. — DOI 10.24160/1993-6982-2022-1-98-110.