特征选择与降维重在精准筛选与稳定压缩：需区分冗余与噪声，保留解释力，控制计算与过拟合风险；方法包括统计初筛（方差阈值、相关性、单变量检验）、模型导向选择（树重要性、RFE、L1正则）及线性降维（PCA、LDA），并强调数据泄露防范、预处理适配与组合实践。
特征选择和降维不是“选不选”的问题，而是“怎么选得准、降得稳”的问题。核心在于：区分冗余信息与噪声，保留对目标变量有解释力的结构，同时控制计算开销和过拟合风险。
用统计方法做快速特征筛选
适合初筛大量数值型特征，不依赖模型，速度快、可解释性强。
-
方差阈值法：剔除本身几乎不变的特征（如99%样本值都为0），
sklearn.feature_selection.VarianceThreshold直接过滤； - 相关性分析：计算特征与标签的皮尔逊/斯皮尔曼系数，或特征两两之间的相关系数矩阵，对高相关（|r| > 0.9）的特征组只留一个；
-
单变量统计检验：如
SelectKBest配合f_classif（分类）或f_regression（回归），按p值或F值排序选前K个。
用模型反馈做有导向的特征选择
利用训练过程中的模型“注意力”，识别真正影响预测的关键特征，更贴近建模目标。
-
基于树模型的重要性：随机森林、XGBoost等内置
feature_importances_，排序后取Top N，注意需标准化数据再比较； - 递归特征消除（RFE）：反复训练模型、剔除最不重要特征，直到剩指定数量，适合中小规模特征集；
-
L1正则化路径：用
LogisticRegression或Lasso配合select_from_model，自动将不重要系数压缩为0，天然稀疏。
用线性变换做结构化降维
当特征存在强线性相关或原始维度太高（如图像、文本向量），需要压缩并重构空间。
立即学习“Python免费学习笔记（深入）”；
-
PCA（主成分分析）：最大化方差方向，适合数值型特征；先标准化，再用
sklearn.decomposition.PCA，通过explained_variance_ratio_决定保留多少主成分（如累计95%）； - 线性判别分析（LDA）：有监督降维，最大化类间距离、最小化类内距离，仅适用于分类任务，且要求类别数 ≥ 2；
- 注意点：PCA/LDA会丢失原始特征物理意义，结果不可逆；若后续要解释特征作用，优先选特征选择而非降维。
实际操作中的关键提醒
很多效果差不是方法不对，而是流程踩了坑。
- 特征选择/降维必须在训练集上拟合，再用同一套规则变换验证集和测试集，不能整体标准化后再分数据——否则造成数据泄露；
- 类别型特征需先编码（如OneHot、TargetEncoder），再参与数值型方法；高基数类别特征建议先用统计聚合或嵌入压缩；
- 文本、图像等非结构数据，通常先用专用方法（TF-IDF、ResNet特征提取）转为稠密向量，再走PCA或SelectKBest；
- 没有银弹：可先用方差+相关性粗筛，再用树模型重要性精筛，最后对剩余高维子集尝试PCA——组合使用比单一步骤更稳。
基本上就这些。特征工程不是一步到位的工序，而是和模型迭代绑定的闭环：试→看效果→查特征分布→调筛选逻辑→再试。动手跑通一两个流程，比背十种方法更有用。
