sklearn基础教程：从入门到精通

个人博客【 洛秋小站】洛秋资源小站【洛秋资源小站】

sklearn基础教程：从入门到精通

Scikit-learn（简称sklearn）是Python中一个强大且易于使用的机器学习库。它提供了丰富的工具集，包括数据预处理、特征选择、模型训练、评估和预测。本文将带领读者从零开始，详细讲解sklearn的基本用法，并通过多个实例帮助读者掌握如何在实际项目中应用这款工具。

一、sklearn简介

Scikit-learn是一个开源的机器学习库，基于NumPy、SciPy和matplotlib构建。它为机器学习提供了简单而高效的工具，并且具有以下特点：

• 丰富的算法支持：包含了回归、分类、聚类、降维等多种机器学习算法。
• 易用性：提供了简洁的API接口，便于快速上手和使用。
• 良好的文档支持：详细的文档和大量的示例代码，便于学习和参考。

二、安装与配置

安装scikit-learn非常简单，只需使用pip命令即可。

pip install scikit-learn

安装完成后，可以通过以下命令检查安装是否成功：

import sklearn
print(sklearn.__version__)

三、数据预处理

数据预处理是机器学习的第一步，也是非常关键的一步。良好的数据预处理可以显著提高模型的性能。下面我们将介绍数据预处理的几项重要操作。

数据导入

首先，我们需要导入数据。sklearn提供了一些内置的数据集，方便我们进行学习和测试。以下示例展示了如何加载波士顿房价数据集。

from sklearn.datasets import load_boston
import pandas as pd

# 加载数据集
boston = load_boston()
data = pd.DataFrame(boston.data, columns=boston.feature_names)
data['PRICE'] = boston.target

# 查看数据集前几行
print(data.head())

数据清洗

数据清洗包括处理缺失值、重复值和异常值。

# 检查缺失值
print(data.isnull().sum())

# 删除含有缺失值的行
data = data.dropna()

# 检查重复值
print(data.duplicated().sum())

# 删除重复值
data = data.drop_duplicates()

特征选择

特征选择是通过选择最有用的特征来提高模型的性能和可解释性。

from sklearn.feature_selection import SelectKBest, f_regression

# 选择最有用的5个特征
selector = SelectKBest(f_regression, k=5)
X_new = selector.fit_transform(data.drop('PRICE', axis=1), data['PRICE'])

# 查看选择的特征
print(X_new[:5])

数据标准化与归一化

数据标准化和归一化是为了将数据缩放到相同的尺度上，从而提高模型的训练效果。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 标准化
scaler = StandardScaler()
data_scaled = scaler.fit_transform(data.drop('PRICE', axis=1))

# 归一化
scaler = MinMaxScaler()
data_normalized = scaler.fit_transform(data.drop('PRICE', axis=1))

四、常用模型介绍与应用

线性回归

线性回归是一种最简单的回归模型，用于预测连续型目标变量。

from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(data.drop('PRICE', axis=1), data['PRICE'], test_size=0.2, random_state=42)