python中的局部加权回归实例
局部加权回归（Locally Weighted Regression）是一种非参数回归方法，与传统的回归方法相比，它不使用固定的参数进行回归，而是根据样本数据进行自适应地构建模型。这种自适应性质使得局部加权回归在回归分析、时间序列预测等领域广泛应用。
在Python中，可以使用scikit-learn包中的locally weighted scatterplot smoothing（LOWESS）算法进行局部加权回归分析。在本文中，我们将介绍如何使用Python实现LOWESS算法，并使用实例进行演示分析。
以下是使用Python实现局部加权回归的步骤：
- 导入所需的库
在Python中实现局部加权回归，使用导入numpy、pandas、matplotlib.pyplot和sklearn.neighbors等库。
立即学习“Python免费学习笔记（深入）”；
- 准备数据
使用pandas库读取数据，准备数据为X和y。其中，X为自变量，y为因变量。
- 数据预处理
将X和y的数据进行标准化处理。这样可以消除数据之间的量度不同，在建模之前将数据集中到零点附近，减少量级的影响。
- 拟合模型
使用sklearn.neighbors库中的LocallyWeightedRegression类拟合模型。使用这种方法时，需要指定两个超参数：带宽（bandwidth）和权值函数（weight function）。大多数情况下，带宽值越小，模型越准确，但计算成本也越高。
- 预测值
使用locally_weighted_regression对象的predict方法来预测新输入的自变量所对应的因变量。
下面，我们来看一个局部加权回归的实例。
例1：基于人口数据进行房价预测
我们使用UCI数据库中的波士顿房价数据集进行模型拟合和预测。该数据集包含506个样本和13个自变量，其中包括城镇人均犯罪率（CRIM）、修建后1940年以前的自有住房比例（ZN）、一氧化氮浓度（NOX）、房间数人均（RM）等。
- 导入所需库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsRegressor
- 准备数据
读取波士顿房价数据集
data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/housing/housing.data', header = None, sep = 's+')
指定X和y
X = data.iloc[:, :13].values
y = data.iloc[:, 13].values
- 数据预处理
对X和y进行标准化处理
sc_X = StandardScaler()
sc_y = StandardScaler()
X = sc_X.fit_transform(X)
y = sc_y.fit_transform(y.reshape(-1, 1))
将数据集拆分为训练集和测试集
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=0)
- 拟合模型
使用LocallyWeightedRegression拟合模型
lwr = KNeighborsRegressor(n_neighbors=2, weights='uniform')
lwr.fit(X_train, y_train)
- 预测值
使用lwr对象的predict方法预测
y_pred = lwr.predict(X_test)
y_pred = sc_y.inverse_transform(y_pred)
y_test = sc_y.inverse_transform(y_test)
- 结果可视化
将预测结果与测试集中的真实值绘制在同一张图上比较
plt.scatter(X_test[:,5], y_test, color='red')
plt.scatter(X_test[:,5], y_pred, color='blue')
plt.xlabel('Number of rooms')
plt.ylabel('Price')
plt.title('The Price of Houses')
plt.show()
根据可视化图形，我们可以看出模型的预测结果与测试集中的真实值很接近。这说明局部加权回归模型可以准确地预测房价。
