HoRain云--Scikit-learn数据预处理实战指南-编程阁

# 1. 先划分训练集和测试集（避免数据泄露） X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 2. 仅在训练集上拟合预处理器 scaler = StandardScaler() scaler.fit(X_train) # 3. 在训练集和测试集上应用预处理 X_train_scaled = scaler.transform(X_train) X_test_scaled = scaler.transform(X_test)

二、常用数据预处理方法详解

1. 标准化（StandardScaler）

将特征缩放到均值为0、标准差为1的分布，适合假设数据服从正态分布的模型。

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 查看均值和标准差 print("均值:", scaler.mean_) print("标准差:", scaler.scale_)

2. 归一化（MinMaxScaler）

将特征缩放到指定范围（如[0, 1]），适合需要固定范围的算法。

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler(feature_range=(0, 1)) X_normalized = scaler.fit_transform(X_train)

StandardScaler vs MinMaxScaler：

StandardScaler：对异常值不敏感，大多数算法首选
MinMaxScaler：对异常值敏感，适合需要特定范围的算法（如神经网络）

3. 缺失值处理（SimpleImputer）

处理数值型、类别型数据的缺失值填充，核心参数为strategy。

from sklearn.impute import SimpleImputer # 数值型特征：用均值填充 imputer_mean = SimpleImputer(strategy='mean') X_train_imputed = imputer_mean.fit_transform(X_train) # 数值型特征：用中位数填充 imputer_median = SimpleImputer(strategy='median') X_train_median = imputer_median.fit_transform(X_train) # 类别型特征：用最频繁值填充 imputer_mode = SimpleImputer(strategy='most_frequent') X_train_mode = imputer_mode.fit_transform(X_train)

from sklearn.preprocessing import LabelEncoder, OneHotEncoder # 标签编码 le = LabelEncoder() y_encoded = le.fit_transform(y) # 特征编码 ohe = OneHotEncoder() X_encoded = ohe.fit_transform(X)

5. 数据划分（train_test_split）

将数据集分割成训练集和测试集。

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, # 测试集比例 random_state=42, # 固定随机种子 stratify=y # 保持类别比例 )

三、高级预处理技巧

1. 特征工程

多项式特征：通过生成原始特征的多项式组合，发现特征交互关系
特征选择：去除冗余特征，减少模型复杂度

2. 流水线处理（Pipeline）

将多个预处理步骤组合成一个整体，简化代码并提高效率。

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.impute import SimpleImputer pipeline = Pipeline([ ('imputer', SimpleImputer(strategy='median')), ('scaler', StandardScaler()) ]) X_train_processed = pipeline.fit_transform(X_train) X_test_processed = pipeline.transform(X_test)

3. 异常值检测

使用IsolationForest等算法识别并处理异常数据。

from sklearn.ensemble import IsolationForest iso_forest = IsolationForest(contamination=0.01) anomaly_mask = iso_forest.fit_predict(X) X_clean = X[anomaly_mask == 1] # 保留正常样本