Добавление шума к данным

Question

Написал для себя маленькую нейронку для распознавания цифр из базы MNIST (from scratch так сказать). С готовыми данными справляется нормально, но когда я хочу распознавать свои рукописные цифры, получаются ошибки - тут объснили почему. Хотел спросить, а на какие матрицы мне умножать картинку, чтобы получить сдвиг цифры или ее поворот?

Answer 1

В общем, пока вопрос лежал, нашел ответы на него сам. Привожу код

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
from scipy import ndimage
from PIL import ImageEnhance, Image
data = pd.read_csv('....digit-recognizer\train.csv')
data = np.array(data)
image = data[1][1:]
def add_some_noise(image):
image.shape = (28,28)

image = image / 1

temp_file = Image.fromarray(image).convert('L')
temp_size = np.random.randint(10,35)
temp_file = temp_file.resize((temp_size,temp_size))

image = np.array(temp_file.crop((temp_file.size[0] / 2 - 14, temp_file.size[1] / 2 - 14, temp_file.size[1] / 2 + 14, temp_file.size[1] / 2 + 14)))


temp_file = ndimage.rotate(image, random.randint(-20, 20), reshape=False, prefilter=False) / 1
temp_file = Image.fromarray(temp_file).convert("L")

enhancer = ImageEnhance.Sharpness(temp_file)
factor = np.random.random(1)[0] * 10
temp_file = enhancer.enhance(factor)
image = np.array(temp_file)

image = np.roll(image, random.randint(-4,4), axis = 1)
image = np.roll(image, random.randint(-2,2), axis = 0)

pixels = [250, 150,  100, 50 , 0]
noise = np.random.choice(pixels, 784,  p=[0.003, 0.005,  0.007,  0.015, 0.97])

noise.shape = (28,28)

image = image + (1 * image < 50) * noise

image.shape = (1,784)

return image[0]

image = image / 1

метод fromarray почему-то работает c float, но не int

    temp_file = Image.fromarray(image).convert('L')
    temp_size = np.random.randint(10,35)
    temp_file = temp_file.resize((temp_size,temp_size))
image = np.array(temp_file.crop((temp_file.size[0] / 2 - 14, temp_file.size[1] / 2 - 14, temp_file.size[1] / 2 + 14, temp_file.size[1] / 2 + 14)))

Изменяю рандомно размер изображения и потом делаю вырез 28x28

temp_file = scipy.ndimage.rotate(image, random.randint(-20, 20), reshape=False, prefilter=False) / 1 

Поворот изображения. Деление на 1, чтобы совпали типы данных. (возвращает картинку)

temp_file = Image.fromarray(temp_file).convert("L")

массив из картинки

factor = np.random.random(1)[0] * 10
temp_file = enhancer.enhance(factor)
image = np.array(temp_file)

изменяем резкость или размываем

image = np.roll(image, random.randint(-2,2), axis = 0)

сдвиг по осям

pixels = [250, 150,  100, 50 , 0]
noise = np.random.choice(pixels, 784,  p=[0.003, 0.005,  0.007,  0.015, 0.97])
noise.shape = (28,28)
image = image + (1 * image < 100) * noise

добавление шума

(1 * image < 100) * noise

именно в те места, где не изображена сама цифра

Результат

Вообще, очень классно, что доступно там много инструментов на python)