Questions tagged [машинное-обучение]

Машинное обучение посвящено разработке самообучающихся алгоритмов, основывающихся на выявлении закономерностей в данных, и использовании их для принятия решений.

Машинное обучение — подраздел информатики (компьютерных наук), выросший из распознавания образов и вычислительной теории стастистического обучения. Машинное обучение исследует построение алгоритмов, обучающихся на данных для предсказания характеристик новых наблюдений, с которыми система ранее не сталкивалась. Эти алгоритмы, как правило, работают путём построения математической модели по данным вместо того, чтобы полагаться на набор предопределённых программистом правил.

Классические задачи:

  • Классификация (обучение с учителем)
  • Кластеризация (обучение без учителя)
  • Регрессия
  • Оценка плотности
  • Семплирование
  • Обучение с подкреплением

Релевантный алгоритмы:

  • Метод главных компонент (Principal Component Analysis, PCA)
  • Искусственные нейронные сети, нейросети (Artificial neural networks, ANN)
  • Машины опорных векторов (Support vector machines, SVM)
  • Метод k-ближайших соседей (K-nearest neighbor, kNN)
  • Байесовские сети (Bayesian networks)
  • Модель смеси нормальных распределений (Gaussian mixture model, GMM)
  • Решающие деревья (Decision trees)
  • Генетические алгоритмы (Genetic algorithms)
  • Алгоритм имитации отжига (Simulated annealing)
  • Скрытые марковские модели (Hidden Markov model, HMM)
  • Условные случайные поля (Conditional Random Field, CRF)
  • Фильтр Калмана (Kalman filter)
  • Фильтр частиц (Particle filter)
  • Семплирование по Гиббсу (Gibbs sampling)
  • Графические модели (Graphical models)
  • Ансамбли (Ensemble methods; bagging, boosting, ...)
  • Глубинное обучение (Deep learning)
  • Q-Learning

Приложения:

Программное обеспечение:

924 questions
3
votes
1 answer

Бинарное категориальное кодирование

В чем преимущество бинарного кодирования перед простой нумерацией категорий? Создается впечатление, что оно не несет никакой дополнительной информации. Пример. Пусть есть континенты Европа, Африка, Америка, Австралия. Они получат номера 0,1,2,3…
3
votes
1 answer

о чём мне скажет MSE и обязательно ли ему верить?

если алгоритм даёт хороший result на cross-validation, обязательно ли он будет также хорошо справляться с реальными данными ?
3
votes
1 answer

Какими должны быть выходные значения выходного нейрона

Прошу прощения за тавтологию, собственно вопрос в заголовке. Знаю что скрытые нейроны оперируют данными в диапазоне от 0 до 1, а данные с входов входных нейронов проходят нормализацию т.е. как раз приведение любого значения к интервалу от 0 до 1, но…
Сергей
  • 3,880
2
votes
1 answer

Применимость Ридж-регрессии в задачах регрессии

Столкнулся с проблемой, связанной с Ридж-регрессией. Как известно, Ридж-регрессия применяется в случае сильной обусловленности матрицы признаков. Это как раз мой случай: определитель моей матрицы межфакторной корреляции имеет порядок 10^(-18).…
2
votes
1 answer

Добавление шума к данным

Написал для себя маленькую нейронку для распознавания цифр из базы MNIST (from scratch так сказать). С готовыми данными справляется нормально, но когда я хочу распознавать свои рукописные цифры, получаются ошибки - тут объснили почему. Хотел…
2
votes
1 answer

Почему утверждается, что self-attention не умеет различать позиции, хотя на самом деле он сордежит Linear на v,k,q?

Для self-attention утверждается, что он не умеет различать позиции значений, и поэтому делается предварительный энкодинг позиций. Это было бы справедливо, если бы он только умножал матрицы. Но ведь у self-attention на каждый вход есть еще…
1
vote
1 answer

Сферы применения машинного обучения

В последнее время часто сталкиваюсь с термином "Машинное обучение". Мой вопрос состоит из двух частей. Во-первых, для чего используется машинное обучение, если можно с наиболее интересными примерами. И второе, более волнующее меня, какие…
1
vote
2 answers

Как обучить модель, на основе текстов из статей

Подскажите как можно обучить модель ,способную определить возможность банкротства фирм, основываясь на текстах/заголовках статей в интернете? На руках есть файл эксель с выборкой где присутствует id_фирмы название фирмы, название статьи, дата…
1
vote
2 answers

Признаки для xgboost

Подскажите, мешают ли лишние признаки в xgboost, или он их просто не будет их использовать(при построение деревьев), если там нет полезной информации. Т.е. много признаков для этой модели не вредно?
1
vote
2 answers

Шум выборки и смещение выборки в машинном обучении

подскажите, пожалуйста, что значат эти значения: шум выборки (sample noise) и смещение выборки (sampling bias)? Вот полный абзац из книги: Крайне важно применять обучающий набор, репрезентативный для примеров, на которые вы хотите обобщить. Достичь…
hyper-cookie
  • 1,166
1
vote
1 answer

Подсчет параметров у нейронной сети

Прохожу курс по машинному обучению. В разделе на нейронные сети (в тесте) просят посчитать количество параметров у нейронной сети, если нам известно: количество входных признаков количество нейронов в скрытом слое количество нейронов в выходном…
1
vote
1 answer

Нахождение коэфициентов регерсии

Разбирая статьи с хабра https://habr.com/ru/company/ods/blog/322076/ https://habr.com/ru/company/ods/blog/323890/ возникли вопросы Есть функция y=sin2x+1.5 В Python есть массив значений пар переменных x и y по данной функции с шумом На основании…
1
vote
0 answers

Как создать recommend system на основании обратной связи от пользователя?

Задача: У меня есть список шаблонов емейлов, скажем их 100 штук. Эти емейлы мы предлагаем пользователю. В свою очередь, он может выбрать один шаблон и отправить своему клиенту. В клиента тоже есть ряд признаков (например, город, стать, доход и т.…
0
votes
0 answers

Нейронные сети выдающие вероятность принадлежности элемента определенному классу

Видел примеры нейронных сетей которые могут определять что изображено на картинке с определенной вероятностью. Что за вид нейронных сетей или как получить вероятность того что элемент принадлежит определенному классу?
0
votes
0 answers

Методы детекции объекта, обучающиеся на неразмеченых данных или не требующие обучения

интересует какие методы Object detection, не требующие размеченых данных существуют, помимо RCN и ее разновидностей. (требуется только bound рамка вокруг объекта, без попиксельной сегментации)
Welaury
  • 99
1
2 3