线性可分时用 kernel='linear',非线性但样本量小用 kernel='rbf',样本量大且特征维数高优先考虑 linear 或预处理后用 rbf。

svm.SVC 的 kernel 参数选哪个才不翻车
线性可分时用 kernel='linear',非线性但样本量小(kernel='rbf';别一上来就用 'poly' 或 'sigmoid'——它们对参数敏感、收敛慢、泛化常更差。
常见错误:在高维稀疏文本数据上硬套 rbf,结果训练极慢还过拟合。这时该换 LinearSVC(它本质是线性 SVM 的优化实现,不支持核技巧但快得多)。
-
rbf实际只靠两个参数起作用:C(正则强度)和gamma(影响单个支持向量的影响半径) -
gamma太大 → 每个支持向量只“管”自己附近一点点,模型复杂度爆炸,容易过拟合 -
gamma太小 → 所有样本看起来都差不多远,决策边界变模糊,欠拟合 -
C和gamma要一起调,单独调一个意义不大
为什么 fit() 后 predict() 结果全是同一类
不是代码写错了,大概率是 C 设得太小(比如 C=0.001),或者数据没标准化。
SVM 对特征尺度极度敏感:身高(米)和收入(元)混在一起,后者数值大几百倍,就会主导距离计算,导致间隔方向歪掉。必须做 StandardScaler 或 MinMaxScaler 预处理。
立即学习“Python免费学习笔记(深入)”;
- 先
scaler = StandardScaler().fit(X_train),再X_train_scaled = scaler.transform(X_train) - 测试集必须用训练集的 scaler:
X_test_scaled = scaler.transform(X_test),不能重新 fit - 如果用了
rbfkernel,C低于 0.1 就容易压垮 margin,试试从 1 开始往上试 - 检查标签是否全是一个值:
np.unique(y_train),有时数据加载出错会导致 y 全是 0
怎么快速验证是不是几何间隔真被最大化了
你没法直接“看到”间隔,但能通过支持向量数量和决策函数值间接判断。
调用 clf.support_vectors_ 得到支持向量坐标,再用 clf.decision_function(X) 算每个样本到超平面的带符号距离。理想情况下,所有支持向量的 abs(decision_function) 应该非常接近 1(软间隔下允许略小于 1,但多数应在 0.9~1.1 之间)。
- 如果大部分支持向量的 decision_function 值远小于 0.5 →
C太小,松弛变量放得太宽 - 如果只有 2~3 个支持向量,且分布在类别边缘尖角处 → 可能过拟合,尤其当训练样本多但支持向量极少时
- 注意:线性 kernel 下可直接看
clf.coef_和clf.intercept_推出超平面方程;rbf 下无法显式写出,只能靠 decision_function 数值分析
GridSearchCV 调参时最容易漏掉的三个配置项
光扫 C 和 gamma 不够,这三个不设好,搜出来的“最优参数”可能根本不可复现或无效。
-
cv=5默认用StratifiedKFold,但如果类别极度不均衡(如 99% vs 1%),得显式传StratifiedKFold(n_splits=5, shuffle=True, random_state=42) -
scoring='accuracy'在不平衡数据上完全失效,换成'f1'或'roc_auc'(需 y 是二值) - 必须设
refit=True(默认就是 True,但显式写上防手误),否则 GridSearchCV 训练完不会保留最优模型,predict()会报错 - 小提醒:
GridSearchCV默认并行是开的(n_jobs=-1),但在 Jupyter 中可能卡死,临时改成n_jobs=1更稳
核函数映射本身没有“可解释性”,它只是把难分的问题悄悄搬到另一个空间去硬刚。真正要盯住的,永远是支持向量的数量、分布,还有 decision_function 输出的数值是否落在合理区间——这些比背公式更能告诉你模型到底有没有学到位。










