Этот блог в основном предназначен для пересмотра концепций алгоритмов машинного обучения перед собеседованием с DS. Важные вопросы интервью покрыты !!

Запуск блога В основном это для новичков, которые плохо знакомы с ML и беспокоятся о процессе своего собеседования, поскольку их спрашивают об алгоритме и почему они его использовали. Итак, позвольте мне начать с краткого введения в ML. Это тип искусственного интеллекта (ИИ), который позволяет программным приложениям более точно прогнозировать результаты без явного программирования для этого. Алгоритмы машинного обучения используют исторические данные в качестве входных данных для прогнозирования новых выходных значений.

Как инженер машинного обучения в процессе найма, это основной вопрос, который задают большинство рекрутеров, почему вы используете этот алгоритм и какие предположения делаются при использовании этого алгоритма. Так что этот блог будет руководством по пересмотру для всех вас. Двигаясь вперед, я сначала познакомлю вас с предположениями, сделанными при использовании конкретного алгоритма, а также с их преимуществами и недостатками.

ЛИНЕЙНАЯ РЕГРЕССИЯ

Линейная регрессия — это алгоритм машинного обучения, основанный на обучении с учителем. Он выполняет задачу регрессии. Регрессия моделирует целевое значение прогноза на основе независимых переменных. Он в основном используется для выяснения взаимосвязи между переменными и прогнозирования.

Допущения линейной регрессии:

  1. Должна быть линейная зависимость.
  2. Данные имеют гауссово распределение.
  3. Мультиколлинеарности не должно быть или быть мало.
  4. Гомоскедастичность: дисперсия остатка должна быть одинаковой для любого значения X.

Преимущества линейной регрессии:

  1. Работает очень хорошо, когда существует линейная связь между независимыми и зависимыми переменными.
  2. Если иногда это приводит к переобучению, переобучение можно легко уменьшить с помощью регуляризации L1 (LASSO) или L2 (RIDGE).

Недостатки линейной регрессии:

  1. Его предположение о независимости данных.
  2. Предположение о линейной отделимости.
  3. Чувствителен к выбросам.

ЛОГИСТИЧЕСКАЯ РЕГРЕССИЯ

Логистическая регрессия — это статистическая модель, которая в своей базовой форме использует логистическую функцию для моделирования бинарной зависимой переменной, хотя существует множество более сложных расширений. В регрессионном анализе логистическая регрессия (или логит-регрессия) оценивает параметры логистической модели (форма бинарной регрессии). Мы можем использовать это для бинарной классификации и мультиклассовой классификации.

Допущения логистической регрессии:

  1. Предполагается, что мультиколлинеарность между независимыми переменными минимальна или отсутствует.
  2. Обычно для правильного прогнозирования требуется большой размер выборки.
  3. Предполагается, что наблюдения независимы друг от друга.

Преимущества логистической регрессии:

  1. Легко интерпретировать, внедрять и обучать. Не требует слишком больших вычислительных мощностей.
  2. Не делает никаких предположений о распределении классов.
  3. Быстро классифицирует неизвестные записи.
  4. Может легко разместить новые точки данных.
  5. Очень эффективен, когда функции линейно разделимы.

Недостатки логистической регрессии:

  1. Пытается предсказать точные вероятностные результаты, что приводит к переоснащению в больших размерностях.
  2. Поскольку он имеет линейную поверхность решений, он не может решать нелинейные задачи.
  3. Трудно получить сложные отношения, отличные от линейных отношений.
  4. Требует очень мало или вообще не требует мультиколлинеарности.
  5. Требуется большой набор данных и достаточное количество обучающих примеров для всех категорий, чтобы делать правильные прогнозы.

ДЕРЕВО РЕШЕНИЙ

Дерево решений представляет собой древовидную структуру, похожую на блок-схему, где каждый внутренний узел обозначает проверку атрибута, каждая ветвь представляет результат проверки, а каждый конечный узел содержит метку класса. Его можно использовать для решения как задач регрессии, так и задач классификации. Так что помните об этом ключевом моменте в деревьях решений, мы определяем чистый разлив на основе энтропии и коэффициента Джини, а для выбора функций в DT мы принимаем во внимание получение информации, что является важным вопросом интервью.

Допущения деревьев решений:

  1. Первоначально все обучающие данные считаются корневыми.
  2. Записи распределяются рекурсивно на основе значения атрибута.

Преимущества деревьев решений:

  1. По сравнению с другими алгоритмами подготовка данных требует меньше времени.
  2. Не требует нормализации данных.
  3. Отсутствующие значения в некоторой степени не сильно влияют на его производительность.
  4. Очень интуитивно понятен, так как может быть объяснен как условия if-else.

Недостатки деревьев решений:

  1. Требуется много времени для обучения модели.
  2. Небольшое изменение данных может привести к значительным изменениям в структуре дерева решений.
  3. Сравнительно дорогое обучение.
  4. Не подходит для задач регрессии.

Примечание:

1. Деревья решений имеют худшую временную сложность

2. Говоря о времени, энтропия тратит больше времени на определение разделения, если у нас есть 100–200 признаков, мы должны использовать примесь Джини, иначе наоборот.

СЛУЧАЙНЫЙ ЛЕС (СБОРКА)

Случайные леса или случайные леса решений — это метод ансамблевого обучения для классификации, регрессии и других задач, который работает путем построения множества деревьев решений во время обучения. По сути, это метод бэггинга (параллельные модели).

Предположения случайного леса:

  1. Предположение об отсутствии формальных распределений. Будучи непараметрической моделью, она может обрабатывать искаженные и мультимодальные данные.

Преимущества случайного леса:

  1. Устойчив к выбросам.
  2. Хорошо работает для нелинейных данных.
  3. Низкий риск переобучения.
  4. Эффективно работает с большими наборами данных.

Недостатки случайного леса:

  1. Медленное обучение.
  2. Предвзятость при работе с категориальными переменными.

K БЛИЖАЙШИЙ СОСЕД (KNN)

Алгоритм K ближайших соседей относится к категории контролируемого обучения и используется для классификации (чаще всего) и регрессии. Это универсальный алгоритм, который также используется для вменения пропущенных значений и повторной выборки наборов данных.

Предположения KNN:

  1. Данные находятся в пространстве признаков, что означает, что данные в пространстве признаков могут быть измерены с помощью показателей расстояния, таких как Манхэттен, Евклидов и т. д.
  2. Каждая из точек обучающих данных состоит из набора векторов и метки класса, связанной с каждым вектором.
  3. Желательно иметь 'K' в качестве нечетного числа в случае классификации 2-го класса.

Преимущества KNN:

  1. Легко понять, реализовать и объяснить.
  2. Является непараметрическим алгоритмом, поэтому не имеет строгих допущений.
  3. Никаких этапов обучения не требуется. Он использует обучающие данные во время выполнения, чтобы делать прогнозы, что делает его быстрее, чем все те алгоритмы, которые необходимо обучить.
  4. Поскольку обучение на данных поезда не требуется, точки данных можно легко добавить.

Недостатки KNN:

  1. Неэффективно и медленно, когда набор данных большой. Что касается стоимости расчета, то расстояние между новой точкой и пунктами поезда велико.
  2. Плохо работает с многомерными данными, потому что становится сложнее найти расстояние в более высоких измерениях.
  3. Чувствителен к выбросам, так как выбросы легко влияют на него.
  4. Не может работать, когда данные отсутствуют. Таким образом, данные необходимо вводить вручную, чтобы заставить их работать.
  5. Требуется масштабирование/нормализация функций.

НАИВНЫЙ БАЙЕС

Наивный байесовский алгоритм классификации подходит для бинарной и мультиклассовой классификации. Наивный байесовский метод хорошо работает в случаях категориальных входных переменных по сравнению с числовыми переменными. Это полезно для прогнозирования и прогнозирования данных на основе исторических результатов.

Наивные байесовские предположения:

  1. Самым большим и единственным предположением является предположение об условной независимости.

Преимущества наивного байесовского метода:

  1. Дает высокую производительность, когда выполняется предположение об условной независимости.
  2. Простота реализации, потому что нужно рассчитать только вероятности.
  3. Хорошо работает с многомерными данными, такими как текст.
  4. Быстро для прогнозов в реальном времени.

Недостатки наивного байесовского метода:

  1. Если условная независимость не выполняется, то он работает плохо.
  2. Имеет проблему числовой стабильности иличисленного недополнения из-за умножения нескольких маленьких цифр.

МАШИНЫ ОПОРНЫХ ВЕКТОРОВ (SVM)

SVM – это контролируемый алгоритм машинного обучения, который можно использовать для решения задач классификации или регрессии. Он использует метод, называемый трюком ядра, для преобразования ваших данных, а затем на основе этих преобразований находит оптимальную границу между возможными выходными данными.

Предположения SVM:

  1. Предполагается, что данные независимы и одинаково распределены.

Преимущества SVM:

  1. Очень хорошо работает с многомерными данными.
  2. Эффективная память.
  3. Эффективно в тех случаях, когда количество измерений больше, чем количество выборок.

Недостатки SVM:

  1. Не подходит для больших наборов данных.
  2. Не работает, когда в наборе данных есть шум, т. е. целевые классы перекрываются.
  3. Медленно тренироваться.
  4. Нет вероятностного объяснения классификации.

XGBOOST (Экстремальное усиление градиента)

XGBoost — это масштабируемая и высокоточная реализация повышения градиента, которая расширяет пределы вычислительной мощности для алгоритмов форсированного дерева и в основном предназначена для повышения производительности модели машинного обучения и скорости вычислений.

Предположения XGBoost:

  1. У него может быть предположение, что закодированное целочисленное значение для каждой переменной имеет порядковое отношение.

Преимущества XGBoost:

  1. Может работать параллельно.
  2. Может обрабатывать пропущенные значения.
  3. Нет необходимости масштабировать или нормализовать данные.
  4. Быстро интерпретировать.
  5. Отличная скорость выполнения.

Недостатки XGBoost:

  1. Может легко подходить, если параметры не настроены должным образом.
  2. Трудно настроить.

Статья только для предположений Нажмите здесь

Мои социальные ссылки: LinkedIn, Research Gate, GitHub, Tableau