Нейросеть не сходится

Question

Имеется многослойный полносвязный перцептрон с одним скрытым слоем. Функция активации - сигмоидальная. Обучаю методом обратного распространения ошибки. Её предназначение - распознавать рукописные цифры от 0 до 9. Количество входных данных 225(изображения цифр 15х15), количество скрытых слоев 50. Тренировочная выборка состоит из 500 изображений - по 50 вариаций на каждую цифру.

После обучения на тренировочной выборке средняя ошибка составляет около 5% и достигается довольно быстро. Но! Если посмотреть на самую минимальную ошибку и на самую максимальную из всех тренировочных примеров, то их разница составляет где-то 50%. То есть при тренировке минимальная ошибка постоянно стремиться к 0, а максимальная колебается в пределах 40 - 60%.

Пытался настраивать значения количества скрытых нейронов, скорость обучения и момент, но это не принесло особо позитивных результатов.

Нейросеть сходиться если я обучаю её лишь на 10 изображений цифр(по 1 варианту на каждую), тогда достигается баланс минимальной и максимальной ошибки. Иначе очень сильная разница, что приводит к порой странным результатам распознавания. В целом она распознает цифры, которые я её показываю, но не всегда верно.

Получается, что на некоторых изображения оно тренируется с ошибкой 0.0001%, а на некоторых 50% и больше. Что за бред?

С чем это может быть связано?

Answer 1

1. sigmoid используется для задач бинарной классификации (два класса, например является ли число на картинке нулем - Да/Нет), а у вас на выходе 10 классов (десять цифр), поэтому надо использовать softmax в качестве функции активации.
2. насколько мне известно многослойный перцептрон - не самый лучший алгоритм для распознавания картинок/образов. Для таких задач обычно используют сверточные нейронные сети.