Цитата
Я студент и новичок в машинном обучении. Я хочу сделать выбор столбцов feature
. Мой набор данных 50000 X 370, и это проблема бинарной классификации. Сначала я удалил столбцы со std.deviation = 0, затем удалил повторяющиеся столбцы. После этого я проверил 20 лучших функций с самой высокой площадью кривой ROC. Каким должен быть следующий шаг после проведения PCA? Может ли кто-нибудь дать последовательность шагов для выбора функции?
Вы уже делаете много предварительной обработки. Единственным дополнительным шагом, который я рекомендую, является нормализация значений после PCA. Затем ваши данные должны быть готовы к вводу в ваш алгоритм обучения.
Или вы хотите избежать PCA? Если корреляция между вашими функциями не слишком сильна, это может быть нормально. Затем пропустите PCA и просто нормализуйте значения.
Попробуйте регуляризацию L1. Это стандартный способ удаления менее важных функций.
Вы можете попробовать следующие методы/алгоритмы:
Регуляризация L1: создаст разреженную матрицу признаков; вес большинства функций будет равен нулю. Но этот метод полезен, если у вас есть многомерный набор данных, что кажется верным в вашем случае. Существуют алгоритмы, которые не поддерживают регуляризацию.
Последовательный выбор признаков. Может быть полезен для алгоритмов, не поддерживающих регуляризацию. Такие алгоритмы автоматически выбирают подмножество функций, которые более важны для решения проблемы. Подробнее об этом можно узнать здесь: (1) Сравнительное изучение методов для выбора крупномасштабных объектов, Ф. Ферри, П. Пудил, М. Хатеф и Дж. Киттлер. Сравнительное исследование методов крупномасштабного отбора признаков. Распознавание образов на практике IV, стр. 403–413, 1994. (2) Выбор признаков в scikit- учиться.
Уменьшение размерности: PCA (анализ главных компонентов) и LDA (линейный дискриминантный анализ) будут хорошо работать, если ваша задача является линейной, т. е. ваши данные линейно разделимы. Если данные не являются линейно разделимыми, вы можете попробовать компонентный анализ ядра.
Важность признаков со случайным лесом. Это метод ансамбля, который даст вам важность признаков (числовые значения). Вы можете отбросить функции с низкой важностью.
